CN103607940B - 荧光观察装置、荧光观察系统和荧光图像处理方法 - Google Patents

荧光观察装置、荧光观察系统和荧光图像处理方法 Download PDF

Info

Publication number
CN103607940B
CN103607940B CN201180071671.1A CN201180071671A CN103607940B CN 103607940 B CN103607940 B CN 103607940B CN 201180071671 A CN201180071671 A CN 201180071671A CN 103607940 B CN103607940 B CN 103607940B
Authority
CN
China
Prior art keywords
image
back light
fluorescence
fluoroscopic image
monitoring apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180071671.1A
Other languages
English (en)
Other versions
CN103607940A (zh
Inventor
石原康成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103607940A publication Critical patent/CN103607940A/zh
Application granted granted Critical
Publication of CN103607940B publication Critical patent/CN103607940B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Geometry (AREA)

Abstract

充分去除除法运算后的图像中残存的对距离等的依赖性,利用高定量性的荧光图像来进行观察。提供荧光观察装置(1),其具有:照明部(4),其具有照射照明光和激励光的光源(3);荧光摄像部(18),其拍摄在被摄体(A)中产生的荧光,取得荧光图像(G2);返回光摄像部(17),其拍摄从被摄体(A)返回的返回光,取得返回光图像(G1);预处理部(23),其将荧光图像(G2)或返回光图像(G1)中的至少一方乘以使对标准试样取得的荧光强度的距离特性与返回光强度的距离特性相互成正比例关系的系数,生成校正用荧光图像(G2ˊˊ)和校正用返回光图像(G1ˊˊ);以及荧光图像校正部(24),其将该预处理部(23)生成的校正用荧光图像(G2ˊˊ)除以校正用返回光图像(G1ˊˊ)。

Description

荧光观察装置、荧光观察系统和荧光图像处理方法
技术领域
本发明涉及荧光观察装置、荧光观察系统和荧光图像处理方法。
背景技术
过去,已知有将荧光图像除以反射光图像,对由观察距离、角度引起的荧光图像的亮度变动进行校正的方法(例如,参照专利文献1~专利文献3)。
现有技术文献
专利文献
专利文献1:日本特开昭62-247232号公报
专利文献2:日本特公平3-58729号公报
专利文献3:日本特开2006-175052号公报
发明内容
发明要解决的问题
但是,在荧光与反射光中,拍摄亮度对观察距离的依赖性和拍摄亮度对观察角度的依赖性不同的,因此,如果只是简单地将荧光图像除以反射光图像,则存在不能充分校正距离和角度的影响这样的问题。
本发明是鉴于上述的情况而完成的,目的在于提供一种荧光观察装置、荧光观察系统和荧光图像处理方法,能够充分去除残存在经过除法运算而得到的图像中的对距离等的依赖性,利用高定量性的荧光图像进行观察。
用于解决问题的手段
为了达成上述目的,本发明提供如下手段。
本发明的第1方式提供一种荧光观察装置,其具有:照明部,其具有照射照明光和激励光的光源;荧光摄像部,其拍摄被摄体中产生的荧光,取得荧光图像,返回光摄像部,其拍摄从被摄体返回的返回光,取得返回光图像;预处理部,其将所述荧光图像或所述返回光图像中的至少一方乘以使预先对标准试样取得的荧光强度的距离特性与返回光强度的距离特性相互成正比例关系的系数,生成校正用荧光图像和校正用返回光图像;以及荧光图像校正部,其将由该预处理部生成的所述校正用荧光图像除以所述校正用返回光图像。
根据本发明的第1方式,在从照明部向被摄体照射激励光时,被摄体内存在的荧光物质被激励而产生荧光。通过荧光摄像部拍摄所产生的荧光,取得荧光图像。另一方面,在从照明部向被摄体照射照明光时,通过返回光摄像部拍摄在被摄体的表面被反射等而返回的返回光,取得返回光图像。在荧光图像校正部中,使用返回光图像来校正取得的荧光图像。
在该情况下,在荧光图像校正部的校正之前,在预处理部中,通过将荧光图像和返回光图像中的至少一方乘以使预先对标准试样取得的荧光强度的距离特性与返回光强度的距离特性相互成正比例关系的系数,来生成校正用荧光图像和校正用返回光图像。
即,构成荧光图像的各像素的荧光强度和构成返回光图像的各像素的返回光强度根据从照明部到与该像素对应的被摄体上的位置之间的距离而变化,且能够近似为各个距离的指数函数。由于荧光强度的距离特性的指数与返回光强度的距离特性的指数不同,因此如果直接将荧光图像除以返回光图像,不能去除距离的依赖性。因此,预先以各个距离特性的指数的倒数对荧光强度和返回光强度进行幂运算,由此,能够使荧光强度的距离特性与返回光强度的距离特性相互成正比例关系,在进行除法运算时能够去除距离的依赖性。
因此,根据预先对标准试样取得的荧光强度的距离特性和返回光强度的距离特性,预先求出通过与荧光图像和返回光图像中的至少一方相乘而得到与以上述的指数的倒数进行幂运算相同效果的系数。并且,将求出的系数乘以荧光图像和返回光图像中的至少一方,生成校正用荧光图像和校正用返回光图像,在荧光图像校正部中,将校正用荧光图像除以校正用返回光图像,由此,能够得到被校正为充分降低了距离依赖性的荧光图像。
即,根据本发明的第1方式,与指数近似的情况相比,能够精确地降低距离的依赖性,进行高定量性的荧光观察。
此外,本发明的第2方式提供一种荧光观察装置,其具有:照明部,其具有照射照明光和激励光的光源;荧光摄像部,其拍摄被摄体中产生的荧光,取得荧光图像;返回光摄像部,其拍摄从被摄体返回的返回光,取得返回光图像;预处理部,其将所述荧光图像或所述返回光图像中的至少一方乘以使预先对标准试样取得的荧光强度的角度特性与返回光强度的角度特性相互成正比例关系的系数,生成校正用荧光图像和校正用返回光图像;以及荧光图像校正部,其将由该预处理部生成的所述校正用荧光图像除以所述校正用返回光图像。
根据本发明的第2方式,在荧光图像校正部的校正之前,在预处理部中,将荧光图像和返回光图像中的至少一方乘以使预先对标准试样取得的荧光强度的角度特性与返回光强度的角度特性相互成正比例关系的系数,由此生成校正用荧光图像和校正用返回光图像。
即,构成荧光图像的各像素的荧光强度和构成返回光图像的各像素的返回光强度根据从照明部到与该像素对应的被摄体上的位置之间的角度而变化,且能够近似为各个角度的指数函数。由于荧光强度的角度特性的指数与返回光强度的角度特性的指数不同,因此,如果直接将荧光图像除以返回光图像,则不能去除角度的依赖性。因此,通过预先以各个角度特性的指数的倒数对荧光强度和返回光强度进行幂运算,能够使荧光强度的角度特性与返回光强度的角度特性相互成正比例关系,在进行除法运算时,能够去除角度的依赖性。
因此,根据预先对标准试样取得的荧光强度的角度特性和返回光强度的角度特性,预先求出通过与荧光图像和返回光图像中的至少一方相乘而得到与以上述的指数的倒数进行幂运算相同效果的系数。并且,将求出的系数乘以荧光图像和返回光图像中的至少一方,生成校正用荧光图像和校正用返回光图像,在荧光图像校正部中,将校正用荧光图像除以校正用返回光图像,由此,能够得到被校正为充分降低了角度依赖性的荧光图像。
即,根据本发明的第2方式,与指数近似的情况相比,能够精确地降低角度的依赖性,进行高定量性的荧光观察。
在本发明的第1方式或第2方式中,可以构成为具有存储所述系数的存储部,所述预处理部将所述存储部中存储的系数乘以所述荧光图像或所述返回光图像中的至少一方。
由此,仅通过乘以存储部中存储系数,就能够简单地降低距离或角度的依赖性,进行高定量性的荧光观察。
此外,上述结构中,具有为了变更观察条件而被拆装的拆装部件,该拆装部件中记录有识别信息,荧光观察装置具有读取该拆装部件中存储的识别信息的识别信息读取单元,在所述存储部中,将所述识别信息和所述系数对应起来进行存储。
由此,在通过拆装拆装部件来变更观察条件时,能够通过识别信息读取单元读取拆装部件中存储的识别信息,设定在存储部中与识别信息对应起来进行存储的系数。作为拆装部件,例如可举出内窥镜装置的镜体等,在该情况下,作为被变更的观察条件,可举出物镜光学系统的NA和瞳径,可观察的荧光的波长和观察对象部位(胃,大肠等)等。由此,能够与观察条件对应地设定最优的系数,即使在观察条件发生变动的情况下,也能够进行高定量性的荧光观察。
此外,在本发明的第1方式或第2方式中,也可以是,所述预处理部根据所述荧光摄像部和所述返回光摄像部的增益和曝光时间,对所述荧光图像的各像素的荧光强度和所述返回光图像的各像素的返回光强度进行归一化,生成归一化荧光图像和归一化返回光图像,将这些归一化荧光图像或归一化返回光图像中的至少一方乘以所述系数,生成校正用荧光图像和校正用返回光图像。
由此,在荧光摄像部和返回光摄像部中,即使在拍摄荧光图像和返回光图像时进行了不同的增益调整和曝光时间调整,也能够生成将其归一化了的归一化荧光图像和归一化返回光图像,并使用它们来生成校正用荧光图像和校正用返回光图像,由此,能够进行更高定量性的荧光观察。
此外,本发明的第3方式提供一种荧光观察系统,该荧光观察系统具有:上述荧光观察装置;以及矫正装置,其与该荧光观察装置连接,计算所述系数,其中,该矫正装置具有标准试样和观察距离设定机构,该观察距离设定机构以能够变更的方式设定所述荧光观察装置相对于该标准试样的观察距离,基于由所述观察距离设定机构设定的观察距离和由所述荧光观察装置拍摄所述标准试样而取得的荧光图像和返回光图像,计算通过与该荧光图像和所述返回光图像中的至少一方相乘使荧光强度的距离特性与返回光强度的距离特性成正比例的系数,并存储在所述存储部中。
根据本发明的第3方式,一边通过矫正装置的观察距离设定机构变更荧光观察装置相对于标准试样的观察距离,一边通过荧光观察装置拍摄标准试样,由此,能够得到标准试样的荧光亮度的距离特性和返回光强度的距离特性,根据这些距离特性,能够计算出使两个距离特性成正比例的系数。并且,将计算出的系数存储在荧光观察装置的存储部中,由此,在通过荧光观察装置对被摄体进行荧光观察时,即使在荧光观察装置存在个体差异或者存在拆装部件的情况下,也能够与该个体差异无关地,使用精确地计算出的系数,进行更高定量性的荧光观察。
此外,本发明的第4方式提供一种荧光观察系统,该荧光观察系统具有:上述荧光观察装置;以及矫正装置,其与该荧光观察装置连接,计算所述系数,其中,该矫正装置具有标准试样和观察角度设定机构,该观察角度设定机构以能够变更的方式设定所述荧光观察装置相对于该标准试样的观察角度,基于由所述观察角度设定机构设定的观察角度和由所述荧光观察装置拍摄所述标准试样取得的荧光图像和返回光图像,计算通过与该荧光图像和所述返回光图像中的至少一方相乘使荧光强度的角度特性与返回光强度的角度特性成正比例的系数,并存储在所述存储部中。
根据本发明的第4方式,一边通过矫正装置的观察角度设定机构变更荧光观察装置相对于标准试样的观察角度,一边通过荧光观察装置拍摄标准试样,由此,能够得到标准试样的荧光亮度的角度特性和返回光强度的角度特性,根据这些角度特性,能够计算出使两个角度特性成正比例的系数。并且,将计算出的系数存储在荧光观察装置的存储部中,由此,在通过荧光观察装置对被摄体进行荧光观察时,即使在荧光观察装置存在个体差异或者存在拆装部件的情况下,也能够与该个体差异无关地,使用精确地计算出的系数,进行更高定量性的荧光观察。
此外,本发明的第5方式提供一种荧光图像处理方法,该荧光图像处理方法包含:预处理步骤,使用通过拍摄向被摄体照射激励光在被摄体中产生的荧光而取得的荧光图像,拍摄向被摄体照射照明光从被摄体返回的返回光而取得的返回光图像,将所述荧光图像或所述返回光图像中的至少一方乘以使预先对标准试样取得的荧光强度的距离特性与返回光强度的距离特性相互成正比例关系的系数,生成校正用荧光图像和校正用返回光图像;以及荧光图像校正步骤,将通过该预处理步骤生成的所述校正用荧光图像除以所述校正用返回光图像。
发明效果
根据本发明,能够发挥如下效果:充分去除进行了除法运算后的图像中残存的对距离等的依赖性,利用高定量性的荧光图像来进行观察。
附图说明
图1是示出本发明的一个实施方式的荧光观察装置的整体结构图。
图2是示出用于导出在图1的荧光观察装置中使用的系数的图像的灰度值、增益、曝光时间和归一化图像与由它们导出的系数之间对应关系的一览表例的图。
图3是示出根据图2导出的归一化返回光图像的灰度值与系数之间的对应关系的一览表例的图。
图4是示出图1的荧光观察装置的变形例的整体结构图。
图5是示出本发明的一个实施方式的荧光观察系统的整体结构图。
图6是示出图1的荧光观察系统的矫正装置的图。
具体实施方式
以下,参照附图,对本发明的一个实施方式的荧光观察装置1和荧光图像处理方法进行说明。
本实施方式的荧光观察装置1是内窥镜装置,如图1所示,其具有:插入体内的细长的插入部2;光源(照明部)3;照明单元(照明部)4,其从插入部2的前端向观察对象A照射来自该光源3的照明光和激励光;摄像单元5,其设置在插入部2的前端,取得作为观察对象A的活体组织的图像信息;图像处理部6,其配置在插入部2的基端侧,处理由摄像单元5取得的图像信息;以及监视器7,其显示由该图像处理部6处理后的图像G。
光源3具有:氙气灯8;滤光片9,其在从该氙气灯8发出的照明光中,分离出激励光和照明光(例如,波长范围为400~740nm);以及耦合镜头10,其使由滤光片9分离出的激励光和照明光会聚。
照明单元4具有:光导纤维11,其在插入部2的长度方向的几乎全长上进行配置,引导被耦合镜头10会聚的激励光和照明光;以及照明光学系统12,其设置在插入部2的前端,使由光导纤维11引导的激励光和照明光扩散并照射于与插入部2的前端面2a相对的观察对象A。
摄像单元5具有:物镜13,其使从观察对象A的规定的观察范围返回的返回光会聚;分色镜(分支部)14,其在由该物镜13会聚的返回光中,使激励波长以上的光(激励光和荧光)反射,使波长小于激励波长的照明光透过;两个会聚镜头(摄像光学系统)15、16,它们分别会聚透过分色镜14的照明光和被分色镜14反射的荧光;以及两个CCD这样的摄像元件17、18,它们拍摄由会聚镜头15、16会聚的荧光和照明光。图中,标号19是在被分色镜14反射的光中遮断激励光(例如,仅使波长范围760~850nm的光透过)的激励光截止滤光片。
图像处理部6具有:返回光图像生成部20,其根据由摄像元件17取得的返回光图像信息S1,生成返回光图像G1;荧光图像生成部21,其根据由摄像元件18取得的荧光图像信息S2,生成荧光图像G2;以及图像归一化部22,其对由这些返回光图像生成部20和荧光图像生成部21生成的返回光图像G1和荧光图像G2进行归一化,生成归一化返回光图像G1’和归一化荧光图像G2’。
此外,图像处理部6具有:预处理部23,其根据由图像归一化部22生成的归一化返回光图像G1’和归一化荧光图像G2’,生成校正用返回光图像G1''和校正用荧光图像G2'';图像校正部24,其通过将由该预处理部23生成的校正用荧光图像G2''除以校正用返回光图像G1'',来进行校正;以及图像合成部25,其合成在该图像校正部24中生成的校正后的荧光图像G3和在返回光图像生成部20中生成的返回光图像G1,生成图像G。
图像合成部25例如合成图像G并将其输出到监视器7,该图像G中返回光图像G1和校正后的荧光图像G3并排地配置,同时在监视器7中显示。
此处,作为荧光图像G2,例如是来自荧光色素Cy7的荧光图像即可。尤其是,如果预先对观察对象A投放肿瘤特异的荧光药剂,例如使和癌特异的分子CEA对应的抗体(Anti-CEA抗体)与Cy7结合的荧光药剂,则能够得到肿瘤特异的荧光图像G2。此外,作为返回光图像G1,例如使用如下图像即可:该图像是基于照明光在观察对象A的表面进行反射的返回光和在观察对象A的内部的散射的返回光而得到的。
图像归一化部22使用式1所示的关系式,对返回光图像G1和荧光图像G2进行归一化。
[式1]
即,假设在取得返回光图像G1和荧光图像G2时,通过摄像元件17、18以16bit的灰度来取得,则调节曝光时间和增益,使得各像素的灰度值收敛在该范围内,因此,进行归一化,使观察条件固定。在式1中,规定增益例如是进行白色光观察时设定为1、进行荧光观察时设定为100的增益。
预处理部23具有存储部(省略图示),该存储部将荧光强度相对于标准试样的距离特性和返回光强度相对于同一标准试样的距离特性相互成正比例的系数与返回光强度对应起来进行存储,并根据所输入的返回光图像的每个像素,从存储部读出与各像素的灰度值对应的系数进行乘法运算,由此生成校正用返回光图像G1''。在该情况下,在预处理部23中,将所输入的荧光图像G2直接作为校正用荧光图像G2''进行输出。
此处,图2和图3示出了例如使观察距离在10~200mm内变化,根据作为标准试样观察模型(Phantom)或猪等的脏器时的返回光图像G1和荧光图像G2的灰度值而计算出的系数的例子。
即,在取得的返回光图像G1中的一个像素的灰度值(返回光强度)为16.6时,将2.024作为系数与该像素的灰度值相乘。对全部的像素反复该操作,由此得到校正用返回光图像G1''。在任意一个像素的灰度值为图3所示的两个灰度值之间的值的情况下,乘以对与图2的灰度值对应的两个系数进行线性插值而得到的系数。
在使用这样构成的本实施方式的荧光观察装置1对观察对象A进行荧光观察时,将插入部2的前端2a配置为朝向观察对象A,使照明单元4工作,经由光导纤维11,从插入部2的前端2a的照明光学系统12向观察对象A照射来自光源3的照明光和激励光。在观察对象A的表面进行反射而返回的返回光被物镜13会聚,透过分色镜14,被摄像元件17拍摄。另一方面,通过照射激励光而在观察对象A的内部产生的荧光被物镜13会聚,在分色镜14处进行反射而被摄像元件18拍摄。
由摄像元件17取得的返回光图像信息S1被输入到返回光图像生成部20,由此生成返回光图像G1,由摄像元件18取得的荧光图像信息S2被输入到荧光图像生成部21,由此生成荧光图像G2。所生成的返回光图像G1和荧光图像G2被输入到图像归一化部22,根据式1进行归一化,归一化返回光图像G1’和归一化荧光图像G2’在预处理部23中,被转换为校正用返回光图像G1''和校正用荧光图像G2''(预处理步骤)。
本实施方式中,将归一化返回光图像G1’乘以系数而成为校正用返回光图像G1'',将归一化荧光图像G2’直接作为校正用荧光图像G2''。
并且,在图像校正部24中,将校正用荧光图像G2''除以校正用返回光图像G1'',由此,取得校正后的荧光图像G3(荧光图像校正步骤),在图像合成部25中,与返回光图像G1进行合成并在监视器7中显示。
在预处理部23中,与归一化返回光图像G1’相乘的系数为使用标准试样取得的归一化荧光图像G2’与归一化返回光图像G1’之比,该系数是按照使标准试样的归一化荧光图像G2’的荧光强度的距离特性与相同的标准试样的归一化返回光图像G1’的返回光强度的距离特性一致的方式来进行选择。由此,在图像校正部24中,将该系数乘以观察对象A的归一化返回光图像G1’而得到校正用返回光图像G1'',并将校正用荧光图像G2''除以校正用返回光图像G1'',由此能够得到充分降低了观察距离依赖性的校正后的荧光图像G3。即,具有能够进行高定量性的荧光观察这样的优点。
此外,在本实施方式中,在有摄像元件18、17取得的荧光图像G2和返回光图像G1中,包含由摄像元件18、17的暗电流和读取引起的噪声。此外,在进行除法处理时,如果返回光图像G1中存在亮度值为零的像素,则除法结果为无限大,不能够进行适当的校正。
因此,在预处理部23中,可以对荧光图像G2赋予去除由暗电流或读取引起的噪声成分的这样的偏移,在返回光图像G1中,去除由暗电流或读取引起的噪声成分,并赋予使全部的像素的亮度值不为零这样的偏移。
此外,作为返回光图像G1,除了来自观察对象A的表面反射光和散射返回光以外,还可以是观察从观察对象A产生的自身荧光、来自其它荧光药剂的荧光而得到的图像,所述其它荧光药剂具有与用于取得荧光图像G2的荧光药剂不同的波长范围的荧光特性。
此外,关于监视器7中显示的图像,作为与校正后的荧光图像G3并排地显示的图像,也可以显示另外取得的白色反射图像来替代返回光图像G1
此外,在本实施方式中,图4所示,可以将插入部(拆装部件)2以可拆装方式设置于光源3。在该情况下,通过拆除插入部2更换为另一插入部2,来变更插入部2中包含的物镜13等各种光学系统,因此,由于物镜13的开口数(NA)和瞳径等变化或者检测的荧光的波长、观察对象部位(胃组织和大肠组织等)等发生变化,系数会发生变化。
因此,优选的是,在插入部2中设置存储识别信息的IC芯片31,在安装有插入部2的光源3侧设置读取装置32和存储部33,其中,读取装置32读取IC芯片31内的识别信息,存储部33将识别信息与适合于各插入部2的系数对应起来进行存储。并且,预处理部23接受与从存储部33输出的插入部2的识别信息对应的系数,进行上述运算即可。
由此,即使对光源3更换了插入部2,也能够对该插入部2设定最优的系数,具有始终取得高定量性的荧光图像G3这样的优点。
此外,在本实施方式中,采用了使返回光强度相对于标准试样的距离特性与荧光强度的距离特性一致的系数,但是不限于此,也可以是使两个特性成正比例的系数。
此外,可以替代存储与归一化返回光图像G1’相乘的系数,而存储与归一化荧光图像G2’相乘的系数,也可以存储与归一化返回光图像G1’和归一化荧光图像G2’分别相乘的系数。
此外,在本实施方式中,采用了用于降低观察距离依赖性而进行高定量性的荧光观察的结构,但是也可以替代该方式,采用降低观察角度依赖性的结构。具体而言,在预处理部23中,将如下系数乘以观察对象A的归一化返回光图像G1’:该系数是使用标准试样改变观察角度的同时取得的归一化荧光图像G2’与归一化返回光图像G1’之比,该系数是按照使标准试样的归一化荧光图像G2’的荧光强度的角度特性与相同的标准试样的归一化返回光图像G1’的返回光强度的角度特性成正比例的方式而选择出的。并且,在图像校正部24中,通过将校正用荧光图像G2''除以得到的校正用返回光图像G1'',能够得到充分降低了观察角度依赖性的校正后的荧光图像G3。即,具有能够进行高定量性的荧光观察这样的优点。
接下来,参照附图,对本发明的一个实施方式的荧光观察系统40进行如下说明。
此外,在本实施方式的说明中,对于与上述的一个实施方式的荧光观察装置1结构相同的部位,标注相同的标号,并省略说明。
如图5所示,本实施方式的荧光观察系统40具有荧光观察装置1和安装该荧光观察装置1的矫正装置41。
在本实施方式中,荧光观察装置1具有计算系数的系数决定部42。
如图5和图6所示,矫正装置41具有:固定插入部2的夹具43;标准试样44,其与固定于该夹具43上的插入部2的前端面2a隔着观察距离相对;直动台45,其变更插入部2的前端面2a与标准试样44之间的观察距离;倾斜台46,其变更标准试样44的表面相对于物镜13的光轴的角度(观察角度);以及控制部47,其控制这些台45、46。
控制部47驱动台45、46,改变观察距离或观察角度,并且在预先设定的定时输出触发信号S。
此外,系数决定部42接收从图像归一化部22发送来的归一化荧光图像G2’和归一化返回光图像G1’,并且,保存接收来自控制部47的触发信号S时的归一化荧光图像G2’的亮度值和归一化返回光图像G1’的亮度值,通过将归一化荧光图像G2’的亮度值除以归一化返回光图像G1’的亮度值来计算系数,并将计算出的系数与归一化返回光图像G1’的亮度值对应起来进行存储。
在取得改变观察距离时的系数时,如图6所示,控制部47首先驱动直动台45,使得插入部2的前端面2a相对于标准试样44的表面成为观察开始的距离。接下来,从单元4对标准试样44照射照明光和激励光,作为拍摄到返回光和荧光的状态,控制部47使台45移动,每次移动预先确定的距离并输出触发信号S。由此,在系数决定部42中,将在不同的多个观察距离取得的多个系数与归一化返回光图像G1’的亮度值对应起来进行存储。
另一方面,在取得改变观察角度时的系数时,如图6所示,控制部47首先驱动直动台45和倾斜台46,使得插入部2的前端面2a相对于标准试样44的表面成为观察开始的距离和角度。接下来,从单元4对标准试样44照射照明光和激励光,作为拍摄到返回光和荧光的状态,控制部47移动倾斜台46,每次移动预先确定的距离并输出触发信号S。由此,在系数决定部42中,将在不同的多个观察角度取得的多个系数与归一化返回光图像G1’的亮度值对应起来进行存储。
根据观察条件适当选择改变观察距离时的系数和改变观察角度时的系数即可。
此外,系数决定部42在从预处理部23被输入了归一化返回光图像G1’的亮度值时,计算与该亮度值对应的系数,并向预处理部23输出。即,在系数决定部42中,存储有与具有间隔的多个归一化返回光图像G1’的亮度值相对应的多个系数,因此,在输入了中间的亮度值时,在夹着所输入的亮度值的亮度值之间,对系数进行插值,计算出新的系数,并将其输出到预处理部23。
这样,根据本实施方式的荧光观察系统40,具有如下优点:即使观察对象A或观察条件例如各个光学系统或用于观察的荧光波长等发生变化,也能够在每次变化时设定与变化对应的系数,能够在各种观察对象A和观察条件下,利用高定量性的荧光图像G3来进行观察。
例如,在将荧光观察装置1应用于内窥镜的情况下,即使存在硬性镜或软性镜这样的种类的不同、或者上消化器内窥镜或下消化器内窥镜这样的观察部位的不同等,也能够分别设定对应的最优系数。此外,即使是同一种类的荧光观察装置1,也能够与个体差异无关地,对各个装置设定系数。
此外,作为本实施方式的标准试样44,可以使用具有与要观察的活体相同的散射和吸收特性的模型,也可以使用人和动物(猪和老鼠等)的切片组织。
[标号说明]
A观察对象(被摄体),1荧光观察装置,2插入部(拆装部件),3光源,4照明单元(照明部),17摄像元件(返回光摄像部),18摄像元件(荧光摄像部),24图像校正部,32读取装置(识别信息读取单元),33存储部,40荧光观察系统,41矫正装置,42系数决定部,44标准试样,45直动台(观察距离设定机构),46倾斜台(观察角度设定机构)。

Claims (9)

1.一种荧光观察装置,其中,该荧光观察装置具有:
照明部,其具有照射照明光和激励光的光源;
荧光摄像部,其拍摄被摄体中产生的荧光,取得荧光图像;
返回光摄像部,其拍摄从被摄体返回的返回光,取得返回光图像;
预处理部,其将所述荧光图像或所述返回光图像中的至少一方乘以使预先对标准试样取得的荧光强度的距离特性与返回光强度的距离特性相互成正比例关系的系数,生成校正用荧光图像和校正用返回光图像;以及
荧光图像校正部,其将由该预处理部生成的所述校正用荧光图像除以所述校正用返回光图像。
2.一种荧光观察装置,其中,该荧光观察装置具有:
照明部,其具有照射照明光和激励光的光源;
荧光摄像部,其拍摄被摄体中产生的荧光,取得荧光图像;
返回光摄像部,其拍摄从被摄体返回的返回光,取得返回光图像;
预处理部,其将所述荧光图像或所述返回光图像中的至少一方乘以使预先对标准试样取得的荧光强度的角度特性与返回光强度的角度特性相互成正比例关系的系数,生成校正用荧光图像和校正用返回光图像;以及
荧光图像校正部,其将由该预处理部生成的所述校正用荧光图像除以所述校正用返回光图像。
3.根据权利要求1所述的荧光观察装置,其中,
所述荧光观察装置具有存储所述系数的存储部,
所述预处理部将所述存储部中存储的系数乘以所述荧光图像或所述返回光图像中的至少一方。
4.根据权利要求2所述的荧光观察装置,其中,
所述荧光观察装置具有存储所述系数的存储部,
所述预处理部将所述存储部中存储的系数乘以所述荧光图像或所述返回光图像中的至少一方。
5.根据权利要求3或4所述的荧光观察装置,其中,
所述荧光观察装置具有为了变更观察条件而被拆装的拆装部件,
该拆装部件中记录有识别信息,
所述荧光观察装置具有读取该拆装部件中存储的识别信息的识别信息读取单元,
在所述存储部中,所述识别信息与所述系数对应起来进行存储。
6.根据权利要求1或2所述的荧光观察装置,其中,
所述预处理部根据所述荧光摄像部和所述返回光摄像部的增益和曝光时间,对所述荧光图像的各像素的荧光强度和所述返回光图像的各像素的返回光强度进行归一化,生成归一化荧光图像和归一化返回光图像,将这些归一化荧光图像或归一化返回光图像中的至少一方乘以所述系数,生成校正用荧光图像和校正用返回光图像。
7.一种荧光观察系统,其中,
该荧光观察系统具有:
权利要求3所述的荧光观察装置;以及
矫正装置,其与该荧光观察装置连接,计算所述系数,
其中,该矫正装置具有标准试样和观察距离设定机构,该观察距离设定机构以能够变更的方式设定所述荧光观察装置相对于该标准试样的观察距离,基于由所述观察距离设定机构设定的观察距离和由所述荧光观察装置拍摄所述标准试样而取得的荧光图像和返回光图像,计算通过与该荧光图像和所述返回光图像中的至少一方相乘而使荧光强度的距离特性与返回光强度的距离特性成正比例的系数,并存储在所述存储部中。
8.一种荧光观察系统,其中,
该荧光观察系统具有:
权利要求4所述的荧光观察装置;以及
矫正装置,其与该荧光观察装置连接,计算所述系数,
其中,该矫正装置具有标准试样和观察角度设定机构,该观察角度设定机构以能够变更的方式设定所述荧光观察装置相对于该标准试样的观察角度,基于由所述观察角度设定机构设定的观察角度和由所述荧光观察装置拍摄所述标准试样而取得的荧光图像和返回光图像,计算通过与该荧光图像和所述返回光图像中的至少一方相乘而使荧光强度的角度特性与返回光强度的角度特性成正比例的系数,并存储在所述存储部中。
9.一种荧光图像处理方法,其中,该荧光图像处理方法包含:
预处理步骤,使用通过拍摄由于向被摄体照射激励光而在被摄体中产生的荧光而取得的荧光图像、以及通过拍摄由于向被摄体照射照明光而从被摄体返回的返回光而取得的返回光图像,将所述荧光图像或所述返回光图像中的至少一方乘以使预先对标准试样取得的荧光强度的距离特性与返回光强度的距离特性相互成正比例关系的系数,生成校正用荧光图像和校正用返回光图像;以及
荧光图像校正步骤,将通过该预处理步骤生成的所述校正用荧光图像除以所述校正用返回光图像。
CN201180071671.1A 2011-06-21 2011-06-21 荧光观察装置、荧光观察系统和荧光图像处理方法 Expired - Fee Related CN103607940B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/064184 WO2012176285A1 (ja) 2011-06-21 2011-06-21 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法

Publications (2)

Publication Number Publication Date
CN103607940A CN103607940A (zh) 2014-02-26
CN103607940B true CN103607940B (zh) 2015-11-25

Family

ID=47422167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180071671.1A Expired - Fee Related CN103607940B (zh) 2011-06-21 2011-06-21 荧光观察装置、荧光观察系统和荧光图像处理方法

Country Status (4)

Country Link
US (1) US9460496B2 (zh)
EP (1) EP2724657B1 (zh)
CN (1) CN103607940B (zh)
WO (1) WO2012176285A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5592700B2 (ja) * 2010-05-25 2014-09-17 オリンパス株式会社 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法
JP5926909B2 (ja) 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
WO2015174146A1 (ja) * 2014-05-14 2015-11-19 オリンパス株式会社 撮像システム
CN107708518A (zh) * 2015-06-17 2018-02-16 奥林巴斯株式会社 摄像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1572231A (zh) * 2003-06-23 2005-02-02 奥林巴斯株式会社 得到适当的调光状态观察图像的内窥镜装置
WO2008008231A2 (en) * 2006-07-11 2008-01-17 The General Hospital Corporation Systems and methods for generating fluorescent light images
JP2008229025A (ja) * 2007-03-20 2008-10-02 Olympus Corp 蛍光観察装置
CN101584572A (zh) * 2008-05-22 2009-11-25 富士胶片株式会社 荧光图像获取方法及设备、荧光内窥镜和激发光装置
EP2312363A1 (en) * 1998-05-25 2011-04-20 Panasonic Corporation Range finder device and camera

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247232A (ja) 1986-04-21 1987-10-28 Agency Of Ind Science & Technol 蛍光測定装置
JPS63252134A (ja) 1987-04-10 1988-10-19 工業技術院長 螢光検出を利用したがん診断装置
JP2537154B2 (ja) 1989-07-26 1996-09-25 ダイワ精工株式会社 釣竿及び釣竿の製造法
US6795238B2 (en) * 1997-12-02 2004-09-21 Olympus Optical Co., Ltd. Electronic camera for microscope
JP2001137173A (ja) 1999-11-11 2001-05-22 Fuji Photo Film Co Ltd 蛍光画像測定方法および装置
US6917377B2 (en) * 2000-02-04 2005-07-12 Olympus Optical Co., Ltd. Microscope system
JP2003111716A (ja) 2001-10-09 2003-04-15 Fuji Photo Film Co Ltd 標準光源、補正係数算出方法および装置並びに蛍光画像生成方法および装置
DE102004015587A1 (de) * 2003-04-04 2004-11-11 Olympus Corporation Fluoreszenzmikroskop mit totaler interner Reflexion
JP2004309702A (ja) * 2003-04-04 2004-11-04 Olympus Corp 顕微鏡
JP4198086B2 (ja) * 2003-06-25 2008-12-17 オリンパス株式会社 蛍光観察用装置
JP4550380B2 (ja) * 2003-07-03 2010-09-22 オリンパス株式会社 共焦点顕微鏡
JP2006175052A (ja) 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
US8039816B2 (en) * 2006-11-24 2011-10-18 Olympus Corporation Fluorescence observation apparatus
JP5396004B2 (ja) * 2007-01-31 2014-01-22 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP5289756B2 (ja) * 2007-11-26 2013-09-11 オリンパス株式会社 顕微鏡観察システム
JP5074256B2 (ja) * 2008-03-24 2012-11-14 オリンパス株式会社 蛍光観察装置
EP2412296A4 (en) * 2009-03-24 2014-12-17 Olympus Corp FLUORESCENCE OBSERVATION DEVICE, FLUORESCENCE OBSERVATION SYSTEM, AND METHOD FOR PROCESSING FLUORESCENCE IMAGES
JP5346635B2 (ja) * 2009-03-24 2013-11-20 オリンパス株式会社 蛍光観察装置
CN102333473A (zh) * 2009-03-24 2012-01-25 奥林巴斯医疗株式会社 荧光观察装置
JP5393216B2 (ja) * 2009-03-24 2014-01-22 オリンパス株式会社 蛍光観察システムおよび蛍光観察システムの作動方法
JP5361488B2 (ja) * 2009-03-24 2013-12-04 オリンパス株式会社 蛍光観察装置
JP5443802B2 (ja) * 2009-03-24 2014-03-19 オリンパス株式会社 蛍光観察装置
JP5449816B2 (ja) * 2009-03-26 2014-03-19 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
CN102164530B (zh) * 2009-03-30 2014-07-30 奥林巴斯医疗株式会社 荧光观察装置
JP4773583B2 (ja) * 2009-10-20 2011-09-14 オリンパスメディカルシステムズ株式会社 蛍光観察装置
JPWO2011048886A1 (ja) * 2009-10-20 2013-03-07 オリンパスメディカルシステムズ株式会社 蛍光観察装置
JP5356191B2 (ja) * 2009-11-26 2013-12-04 オリンパス株式会社 蛍光観察装置
JP2011124948A (ja) * 2009-12-14 2011-06-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置
JP5498282B2 (ja) * 2010-07-06 2014-05-21 オリンパス株式会社 蛍光観察装置
CN103327880B (zh) * 2011-01-31 2015-08-26 奥林巴斯株式会社 荧光观察装置
WO2012165553A1 (ja) * 2011-06-03 2012-12-06 オリンパス株式会社 蛍光観察装置および蛍光観察方法
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
CN103841876B (zh) * 2011-10-06 2016-03-09 奥林巴斯株式会社 荧光观察装置
CN104010558B (zh) * 2011-12-28 2017-03-01 奥林巴斯株式会社 荧光观察装置、荧光观察方法以及荧光观察装置的工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2312363A1 (en) * 1998-05-25 2011-04-20 Panasonic Corporation Range finder device and camera
CN1572231A (zh) * 2003-06-23 2005-02-02 奥林巴斯株式会社 得到适当的调光状态观察图像的内窥镜装置
WO2008008231A2 (en) * 2006-07-11 2008-01-17 The General Hospital Corporation Systems and methods for generating fluorescent light images
JP2008229025A (ja) * 2007-03-20 2008-10-02 Olympus Corp 蛍光観察装置
CN101584572A (zh) * 2008-05-22 2009-11-25 富士胶片株式会社 荧光图像获取方法及设备、荧光内窥镜和激发光装置

Also Published As

Publication number Publication date
EP2724657B1 (en) 2015-08-05
CN103607940A (zh) 2014-02-26
EP2724657A1 (en) 2014-04-30
US20140098207A1 (en) 2014-04-10
WO2012176285A1 (ja) 2012-12-27
US9460496B2 (en) 2016-10-04
EP2724657A4 (en) 2014-04-30

Similar Documents

Publication Publication Date Title
JP5498481B2 (ja) 蛍光観察装置、蛍光観察システム、蛍光観察装置の作動方法および蛍光観察装置が行う蛍光画像処理方法
US9066676B2 (en) Endoscopic image display apparatus
CN102355844B (zh) 荧光观察系统、荧光观察装置以及荧光观察方法
JP4855728B2 (ja) 照明装置及び観察装置
JP5356191B2 (ja) 蛍光観察装置
CN103687529B (zh) 荧光内窥镜装置
JP2010220890A (ja) 蛍光観察装置および蛍光観察方法
CN103607940B (zh) 荧光观察装置、荧光观察系统和荧光图像处理方法
CN102469913A (zh) 穿透率调整装置、观察装置及观察系统
US20110012025A1 (en) Fluorescence observation apparatus
CN102361581B (zh) 荧光观察装置、荧光观察系统以及荧光图像处理方法
CN102843951A (zh) 荧光观察装置
CN102802495B (zh) 荧光观察装置以及荧光观察方法
JP2012055391A (ja) 内視鏡用光源装置及びその光量制御方法並びに内視鏡システム及びその制御方法
US8654185B2 (en) Fluorescence observation apparatus
JP5592715B2 (ja) 画像処理装置および画像処理方法
CN109549614B (zh) 内窥镜系统
JP5592700B2 (ja) 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法
CN106455948B (zh) 摄像系统
CN105338882B (zh) 摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20180621