CN102802495B - 荧光观察装置以及荧光观察方法 - Google Patents
荧光观察装置以及荧光观察方法 Download PDFInfo
- Publication number
- CN102802495B CN102802495B CN201180014122.0A CN201180014122A CN102802495B CN 102802495 B CN102802495 B CN 102802495B CN 201180014122 A CN201180014122 A CN 201180014122A CN 102802495 B CN102802495 B CN 102802495B
- Authority
- CN
- China
- Prior art keywords
- image
- fluorescence
- correction
- fluoroscopic image
- fluoroscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims description 27
- 238000012937 correction Methods 0.000 claims abstract description 118
- 238000005286 illumination Methods 0.000 claims abstract description 25
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 8
- 238000003860 storage Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 description 48
- 238000003780 insertion Methods 0.000 description 31
- 230000037431 insertion Effects 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 150000003736 xenon Chemical class 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
充分去除在除法运算后的图像中残存的对距离的依赖性，利用定量性高的荧光图像进行观察。荧光观察装置（1）具备：照明部（4），其具有对被摄体（A）照射照明光以及激励光的光源（3）；荧光摄像部（18），其对来自被摄体（A）的荧光进行摄影并取得荧光图像（G2）；返回光摄像部（17），其对来自被摄体（A）的返回光进行摄影并取得参照图像（G1）；距离信息取得部，其取得返回光摄像部（17）与被摄体（A）的距离信息；以及图像校正部（24），其采用参照图像（G1）来校正荧光摄像部（18）所摄像的荧光图像（G2），图像校正部（24）根据距离信息来设定校正系数，采用校正系数作为指数对参照图像（G1）或荧光图像（G2）中至少一方的光强度信息进行幂运算，由此来生成校正用参照图像或校正用荧光图像，并将校正用荧光图像除以校正用参照图像。
Description
技术领域
本发明涉及荧光观察装置以及荧光观察方法。
背景技术
目前公知有将荧光图像除以反射光图像来校正由于观察距离而引起的荧光图像的亮度变动的方法（例如，参照专利文献1~专利文献3。）。
现有技术文献
专利文献
【专利文献1】日本特开昭62-247232号公报
【专利文献2】日本特公平3-58729号公报
【专利文献3】日本特开2006-175052号公报
发明内容
发明所要解决的课题
但是，在荧光与反射光中，因为摄像亮度对观察距离的依赖性不同，所以具有仅仅将荧光图像除以反射光图像无法完全校正距离影响这样的问题。
本发明是鉴于上述情况而作出的，其目的是提供可充分去除在除法运算后的图像中残存的对距离的依赖性并利用定量性高的荧光图像进行观察的荧光观察装置以及荧光观察方法。
用于解决问题的手段
为了达到上述目的，本发明提供以下的手段。
本发明的第1方式提供一种荧光观察装置，具备：照明部，其具有对被摄体照射照明光以及激励光的光源；荧光摄像部，其拍摄因来自该照明部的激励光的照射而在被摄体中产生的荧光，取得荧光图像；返回光摄像部，其拍摄因来自所述照明部的照明光的照射而从被摄体返回的返回光，取得参照图像；距离信息取得部，其取得该返回光摄像部与所述被摄体的距离信息；以及图像校正部，其采用所述返回光摄像部所取得的参照图像来校正所述荧光摄像部所拍摄的荧光图像，该图像校正部根据所述距离信息取得部所取得的距离信息来设定校正系数，并采用所设定的校正系数作为指数对所述参照图像或所述荧光图像中至少一方的光强度信息进行幂运算，由此生成校正用参照图像或校正用荧光图像，并将所述校正用荧光图像除以所生成的所述校正用参照图像。
根据本发明的第1方式，当从照明部对被摄体照射激励光时，激励在被摄体内存在的荧光物质并产生荧光。通过荧光摄像部对所产生的荧光进行摄影并取得荧光图像。另一方面，当从照明部对被摄体照射照明光时，通过返回光摄像部对在被摄体的表面上反射等后返回的返回光进行摄影并取得参照图像。在图像校正部中采用参照图像来校正所取得的荧光图像。
这里，所取得的荧光图像中的各个像素的强度信号以及参照图像的各个像素的强度信号分别对距离具有依赖性，所以利用某指数对参照图像以及荧光图像的强度信号进行取幂，由此能够降低它们的依赖性。在此情况下，因为构成参照图像的照明光的反射光与构成荧光图像的荧光的路线不同，所以对距离的依赖性也依赖于距离而变动。在本发明的第1方式中，图像校正部将根据距离信息设定的校正系数作为指数来生成校正用参照图像或校正用荧光图像中的至少一方，所以即使观察距离变动较大，也能够获得高精度地对其进行校正的定量性高的荧光图像，能够进行准确的荧光观察。
在上述发明中，上述距离信息取得部可根据上述返回光摄像部所取得的参照图像的信号强度来取得上述距离信息。
这样，无需采用特别的传感器就能够取得距离信息，获得定量性高的荧光图像。
在上述发明中，具有距离调节部，其使上述被摄体在近接或远离上述返回光摄像部的方向移动，上述距离信息取得部可以是上述距离调节部所具备的移动量传感器。
这样，可通过使被摄体移动的距离调节部具备的移动量传感器直接取得距离信息，来获得定量性高的荧光图像。
在上述发明中，上述图像校正部具有将上述距离信息与上述校正系数对应存储的校正系数存储部，可采用上述距离信息取得部所取得的距离信息来读出在上述校正系数存储部中存储的校正系数。
这样，能够针对距离信息迅速地设定可最优地校正参照光图像和/或荧光图像的校正系数。
本发明的第2方式提供一种荧光观察方法，其中，从照明部对被摄体照射照明光以及激励光，拍摄因来自该照明部的激励光的照射而在被摄体中产生的荧光，取得荧光图像，由返回光摄像部拍摄因来自所述照明部的照明光的照射而从被摄体返回的返回光，取得参照图像，取得该返回光摄像部与所述被摄体的距离信息，根据所取得的距离信息来设定校正系数，采用所设定的校正系数作为指数对所述参照图像或所述荧光图像中至少一方的光强度信息进行幂运算，由此生成校正用参照图像或校正用荧光图像，并将所述校正用荧光图像除以所生成的所述校正用参照图像
发明效果
本发明起到如下这样的效果：可充分去除在除法运算后的图像中残存的对距离的依赖性并利用定量性高的荧光图像来进行观察。
附图说明
图1是示出本发明一实施方式的荧光观察装置的整体结构图。
图2是示出图1的荧光观察装置的图像校正部的内部构造的框图。
图3是说明在图1的荧光观察装置中设定校正系数以及边界值的作业的图。
图4是示出图3的作业的流程图。
图5是示出图4的作业内的数据取得步骤的流程图。
图6是示出图4的作业内的校正系数等决定步骤的流程图。
图7是示出利用图4的作业取得的观察距离与信号强度之间的关系的标绘图。
图8是示出在图7中进行幂近似后所获得的数据库的图。
图9是示出图2的图像校正部的变形例的框图。
图10是示出在图1的荧光观察装置上设置的图像处理部的变形例的部分框图。
图11是示出在图1的荧光观察装置上设置的图像处理部的其它变形例的部分框图。
图12是示出图1的荧光观察装置的变形例的整体结构图。
图13是示出在图1的荧光观察装置中执行图6的流程后取得的观察距离与信号强度之间的关系的标绘图。
图14是采用图13中的研究结果来表示幂运算处理的效果的结果的标绘图。
具体实施方式
以下，参照附图来说明本发明一实施方式的荧光观察装置1以及荧光观察方法。
本实施方式的荧光观察装置1是内窥镜装置，如图1所示具备：插入体内的细长插入部2；光源（照明部）3；照明单元（照明部）4，其从插入部2的前端向观察对象A照射来自该光源3的照明光以及激励光；摄像单元5，其设置在插入部2的前端，并取得作为观察对象A的生物体组织的图像信息；图像处理部6，其配置在插入部2的基端侧，对摄像单元5所取得的图像信息进行处理；以及监视器7，其显示该图像处理部6所处理的图像G4。
光源3具备：氙气灯8、滤波器9，其从由该氙气灯8发出的照明光中截取激励光以及照明光（例如，波长带400~750nm）；以及耦合透镜10，其会聚滤波器9所截取的激励光以及照明光。
照明单元4具备：光导纤维11，其在插入部2的长边方向的几乎全长中进行配置，并传导耦合透镜10所会聚的激励光以及照明光；以及照明光学系统12，其设置到插入部2的前端，使光导纤维11所传导来的激励光以及照明光扩散，并照射至与插入部2的前端面2a相对的观察对象A。
摄像单元5具备：物镜13，其会聚从观察对象A的规定观察范围内返回的返回光；分色镜（分支部）14，其反射由该物镜13会聚的返回光中的激励波长以上的光（激励光以及荧光），并透过比激励波长短的波长的照明光；两个会聚透镜（摄像光学系统）15、16，其分别会聚已透过分色镜14的照明光以及由分色镜14反射的荧光；以及对会聚透镜15、16所会聚的荧光以及照明光进行摄像的CCD这样的两个摄像元件17、18。图中，标号19是从分色镜14所反射的光中截断激励光的（例如，仅透过波长带765~850nm的光）激励光截止滤波器。
图像处理部6具备：参照图像生成部（RI Generator：Reference Image Generator）20，其根据摄像元件17所取得的参照图像信息S1来生成参照图像G1；荧光图像生成部（FI Generator：Fluoroscopic Image Generator）21，其根据摄像元件18所取得的荧光图像信息S2来生成荧光图像G2；曝光时间调节部（ET Controller：Exposure Time Controller）22、23，其根据这些参照图像生成部20以及荧光图像生成部21所生成的参照图像G1以及荧光图像G2，来计算摄像元件17、18的曝光时间S3、S4，并进行 摄像元件17、18的曝光调节；图像校正部24，其输入参照图像G1、荧光图像G2以及摄像元件17、18的曝光时间S3、S4，采用参照图像G1来校正荧光图像G2；以及图像合成部25，其合成该图像校正部24所校正的校正后荧光图像G3与参照图像G1来生成图像G4。
这里，图像校正部24如图2所示，具备：归一化参照图像生成部（距离信息取得部）26以及归一化荧光图像生成部27，其根据参照图像G1以及荧光图像G2来生成归一化参照图像G1’以及归一化荧光图像G2’；校正系数设定部28，其根据归一化参照图像生成部26所生成的归一化参照图像G1’来设定校正系数α、β；幂运算处理部29，其采用该校正系数设定部28所设定的校正系数α、β作为指数，进行归一化参照图像G1’的幂运算；以及除法运算处理部30，其将在该幂运算处理部29中进行幂运算后的校正用参照图像G1”除以归一化荧光图像G2’。
归一化参照图像生成部26将参照图像G1除以曝光时间调节部22所调节的摄像元件17的曝光时间S3，来生成归一化参照图像G1’，归一化荧光图像生成部27将荧光图像G2除以曝光时间调节部23所调节的摄像元件18的曝光时间S4，来生成归一化荧光图像G2’。由此，去除依赖于摄像元件17、18的曝光时间S3、S4的参照图像G1以及荧光图像G2的整体信号强度的变动，而获得已归一化的归一化参照图像G1’以及归一化荧光图像G2’。
校正系数设定部28例如与从插入部2的前端面2a到观察对象A表面的距离信息（以下，称为观察距离信息。）相对应地存储有作为校正系数的指数α、β。具体地说，因为归一化参照图像G1’的各个像素的信号强度与观察距离D一一对应，所以与信号强度相对应地存储指数α、β。
本实施方式中，设定信号强度的规定边界值D（n），存储在该边界值D（n）的前后不同的两个校正系数α1、α2以及两个校正系数β1、β2。然后，校正系数设定部28对从归一化参照图像生成部26送来的归一化参照图像G1’在各个像素的信号强度与边界值D（n）进行比较，当小于边界值D（n）时设定第1校正系数α1、β1，当是边界值D（n）以上时设定第2校正系数α2、β2。
在此情况下，两个校正系数α、β以及边界值D（n）通过在荧光观察之前的测定，如以下这样进行决定。
即，在校正系数α、β以及边界值D（n）的决定时，如图3所示准备固定插入部 2的保持架31、相对于在该保持架31上固定的插入部2的前端面2a留出观察距离D而对置的标准试样32和变更插入部2的前端面2a与标准试样32之间的观察距离D的直动工作台33。在直动工作台33上设置有未图示的编码器这样的移动量传感器。
作为标准试样32可采用与要观察的生物体同样的具有散射或吸收特性的模型，或者可采用人或动物（猪或老鼠等）的切除组织。
根据图4~图6所示的流程图，进行数据取得步骤ST1和校正系数等决定步骤ST2。
首先，数据取得步骤ST1如图5所示，使n初始化（ST11、ST12），使直动工作台33进行动作，利用移动量传感器来高精度地设定观察距离D（n）（n是自然数）（ST13），取得此时的参照图像G1以及荧光图像G2（ST14），计算归一化参照图像G1’以及归一化荧光图像G2’（ST15），计算预先设定的关注区域的信号强度的平均值（ST16），标绘为与观察距离D（n）相对的信号强度的值（ST17）。反复该作业（ST18），如图7所示，获得多个点（a个）的标绘曲线。
这里，作为关注区域，当标准试样32内的荧光强度固定时，与观察距离D无关，可设定固定的大小。当标准试样32的表面具有凹凸时或者标准试样32中的荧光分布不均时，随着观察距离D变大，关注区域的大小变小，从而优选始终取得相同区域的信号强度。
然后，校正系数等决定步骤ST2如图6所示，首先，设置n=3（ST21、ST22），并将第n点的观察距离D（n）设定为边界值（ST23）。将D（3）作为最初的边界值是因为在使用基于最小二乘法等的幂近似时需要3点以上的数据。
然后，在观察距离D（1）~D（n）的区域以及D（n）~D（a）的区域中进行幂近似（ST24、ST25），分别计算指数，并与该决定系数R2以及边界值D（n）一起进行保存（ST26）。
使n每次加一（ST22），反复上述作业直至n=a-2（ST27），获得图8所示的数据表。然后，从该数据表中选择决定系数R2的总和与4最接近的边界值D（n）以及指数α、β的组合（ST28），并预先存储到校正系数设定部28（ST29）。
在本实施方式中，通过将对荧光图像G2获得的指数α除以对参照图像获得的指数β，来使指数α/β作为校正系数预先进行存储。
幂运算处理部29将在校正系数设定部28中设定的校正系数α/β作为指数对归一 化参照图像G1’的各像素的强度信号（光强度信息）实施幂运算处理来生成校正用参照图像G1”。对除法运算处理部30输入在幂运算处理部29中生成的校正用参照图像G1”。另一方面，针对荧光图像将归一化荧光图像G2’直接作为校正用荧光图像输入到除法运算处理部30。
在本说明书中，在未对归一化荧光图像进行幂运算处理而直接作为校正用荧光图像输入到除法运算处理部30时，将所输入的归一化荧光图像称为校正用荧光图像。同样，当未对归一化参照图像进行幂运算处理而直接作为校正用参照图像输入到除法运算处理部30时，将所输入的归一化参照图像称为校正用参照图像。
除法运算处理部30针对每个像素将校正用荧光图像G2’除以校正用参照图像G1”，由此来生成校正后荧光图像G3。
图像合成部25例如以并排地配置参照图像G1与校正后荧光图像G3并使监视器7同时显示的方式来合成图像G4，并输出至监视器7。
以下，说明在图1的荧光观察装置中通过执行对图3所示的校正系数以及边界值进行设定的作业来确认校正系数计算以及校正效果的结果。
此外，作为观察的标准试样采用在荧光药剂的溶液中混入散射物质而成的试样。
图13是示出在图1的荧光观察装置中执行图6的流程后取得的观察距离与信号强度之间的关系的标绘图，纵轴用对数标尺来表示归一化参照图像的信号强度以及归一化荧光图像的信号强度，横轴用对数标尺来表示观察距离。执行图6所示流程的结果是，如图13所示在ST28中选择D=4mm作为边界值。此外，图13所述的公式是在ST24以及ST25中当进行幂近似时求出的近似值。
图14是采用图13中的研究结果表示幂运算处理效果的结果的标绘图。“没有幂运算处理”的情况与现有例相同，表示将荧光图像除以参照图像所得的结果。“具有幂运算处理”的情况下，采用通过图6的流程获得的指数，来表示在图像校正部内执行幂运算处理的结果。
针对各自的情况，按照观察距离来生成校正后荧光图像。计算已生成的校正后荧光图像在中心附近的ROI（Region Of Interest：感兴趣区域）内的平均信号强度，进一步利用各条件内（改变距离后的11点）的平均值进行归一化后绘成曲线。由此可知，通过施加幂运算处理使误差变小。
以下说明采用这样构成的本实施方式的荧光观察装置1的荧光观察方法。
根据本实施方式的荧光观察装置1，将来自光源3的照明光以及激励光经由照明单元4从插入部2的前端面2a向观察对象（被摄体）A照射，由摄像元件17取得观察对象A在表面的反射光，利用参照图像生成部20生成参照图像G1。另一方面，摄像元件18取得因激励光照射而在观察对象A的内部产生的荧光，并利用荧光图像生成部21生成荧光图像G2。
当生成参照图像G1以及荧光图像G2时，曝光时间调节部22、23根据所生成的参照图像G1以及荧光图像G2来计算摄像元件17、18的曝光时间S3、S4，并自动调节摄像元件17、18的曝光。将参照图像G1、荧光图像G2以及对它们进行摄影时的各摄像元件17、18的曝光时间S3、S4发送至图像校正部24。
在图像校正部24中，归一化参照图像生成部26通过将参照图像G1除以摄像元件17的曝光时间S3来生成归一化参照图像G1’，归一化荧光图像生成部27通过将荧光图像G2除以摄像元件18的曝光时间S4来生成归一化荧光图像G2’。
然后，根据归一化参照图像G1’的各个像素的信号强度，在校正系数设定部28中设定校正系数α、β，在幂运算处理部29中将针对各个像素设定的校正系数α/β作为指数，利用该指数对各个像素的信号强度进行幂运算，由此来生成校正用参照图像G1”。
然后，将从校正用参照图像G1”以及归一化荧光图像生成部27输出的校正用荧光图像即归一化荧光图像G2’输入至除法运算处理部30，并将校正用荧光图像G2’除以校正用参照图像G1”，由此生成校正后荧光图像G3。
在图像合成部25中合成已生成的校正后荧光图像G3以及参照图像G1，然后并排显示到监视器7。
这样，根据本实施方式的荧光观察装置1以及荧光观察方法具有如下这样的优点：通过将校正用荧光图像G2’除以校正用参照图像G1”，即使观察距离D变动较大，也能够获得定量性高的校正后荧光图像G3，所述校正用参照图像G1”是将规定的观察距离D作为边界值D（n）并将其前后不同的校正系数α1、β1、α2、β2作为指数进行幂运算而得到的图像。
本实施方式具有如下优点：采用由归一化荧光图像G2’的信号强度以及归一化参照图像G1’的信号强度双方计算出的指数α、β仅对归一化参照图像G1’的信号强度实施幂运算，所以与对归一化荧光图像G2’以及归一化参照图像G1’双方实施幂运算的 情况相比可降低运算量，并进行迅速的运算。取而代之，如图9所示，在归一化荧光图像G2’侧还设置幂运算处理部34，可采用在校正系数设定部28中设定的指数α、β，对归一化参照图像G1’实施1/β的幂运算，并且对归一化荧光图像G2’实施1/α的幂运算，来获得校正用荧光图像G2”。
可针对在除法运算处理部30中将校正用荧光图像G2”除以校正用参照图像G1”获得的校正后荧光图像G3的每个像素，实施利用对归一化荧光图像G2’获得的指数α进行取幂的幂运算。由此，能够使各个像素的信号强度与观察对象A内的荧光存在量成比例，还可以进行定量的观察。
取而代之，可具有校正后荧光图像G3的信号强度与荧光浓度的对应表（变换表），在图像上显示特定区域的荧光浓度。
如图10所示，在采用可作为插入部2拆装的部件时，在插入部2上设置保持插入部信息S5的插入部信息保持部35，在图像处理部6侧可预先设置读取插入部信息的插入部信息读取部36以及与插入部信息S5对应着存储校正系数α、β以及边界值D（n）的校正系数存储部（CC Storage：Correction Coefficient Storage）37。由此，当在图像处理部6上安装插入部2时，利用插入部信息读出部（IMIR Section：Insert Member Information Reading Section）36读出在插入部2的插入部信息保持部（IMIH Section：Insert Member Information Holding Section）35中存储的插入部信息S5，读出在校正系数存储部37中与插入部信息对应存储的校正系数α、β以及边界值D（n），并存储到校正系数设定部28内。
这样，具有能够高精度地校正由于插入部2的个体差而引起的校正系数变动这样的优点。
另外，如图11所示，也可以代替插入部信息保持部35保持插入部信息S5并在校正系数存储部37中存储校正系数α、β等的情况，而是插入部信息保持部35直接存储有校正系数α、β以及边界值D（n），并将插入部信息读出部36所读出的校正系数α、β以及边界值D（n）发送至校正系数设定部28。
在本实施方式中，设定单一的边界值D（n），并设定在其前后不同的校正系数，但也可以取而代之，设定2个以上的边界值D（n），设定3个以上的校正系数。即使在存在2个以上的边界值D（n）的情况下，各校正系数的设定方法只要以图4~图6的流程图为基准即可。
例如，当设定3个以上的校正系数时，在观察距离D（3）≤D≤D（a-2）的范围内选择两个边界值D1、D2，在D（1）≤D≤D1、D1≤D≤D2、D2≤D≤D（a-2）的各个区域中进行幂近似，针对全部边界值D1、D2的组合保存指数、边界值以及决定系数。只要从由此获得的数据库中采用决定系数的总和与6最接近的指数以及边界值D1、D2即可。
在进一步利用多个边界值进行分割时，例如可针对在观察距离D（1）≤D≤D（a）的范围内连续的3点以上的每个观察距离D进行幂近似来获得校正系数。
在本实施方式中，利用摄像元件17、18的曝光时间S3、S4分别使参照图像G1以及荧光图像G2归一化，但也可以取而代之，根据参照图像G1以及荧光图像G2的信号强度来调节摄像元件17、18的增益，并将参照图像G1以及荧光图像G2除以与增益对应的增益增倍率，由此来获得归一化参照图像G1’以及归一化荧光图像G2’。
如图12所示，作为光源3有Xe灯8以及激光光源38，在可通过由Xe灯控制部39以及激光控制部40控制它们的输出来进行调光的情况下，利用照明光调光部（ILCSection：Illumination Light Control Section）41以及激励光调光部（ELC Section：Excitation Light Control Section）42，将参照图像G1以及荧光图像G2除以根据参照图像G1以及荧光图像G2的信号强度计算出的照明光的强度S3’以及激励光的强度S4’，由此来获得归一化参照图像G1’以及归一化荧光图像G2’。标号43是会聚透镜，标号44是分色镜。
在进行参照图像G1以及荧光图像G2的归一化之前，可减去摄像元件17、18的噪音成分。由此具有能够提高运算精度这样的优点。
虽然作为照明光例示了白色光，作为荧光例示了近红外荧光，但不仅限于此，作为参照光可应用可视区域的激励光，作为荧光对如可视区域的荧光这样的任意荧光色素均可应用。
标号说明
A 观察对象（被摄体）
1 荧光观察装置
2 插入部
3 光源
4 照明单元（照明部）
6 图像校正部
17 摄像元件（返回光摄像部）
18 摄像元件（荧光摄像部）
28 校正系数设定部（校正系数存储部）
33 直动工作台（距离调节部）
Claims (4)
1.一种荧光观察装置，具备：
照明部，其具有对被摄体照射照明光以及激励光的光源；
荧光摄像部，其拍摄因来自该照明部的激励光的照射而在被摄体中产生的荧光，取得荧光图像；
返回光摄像部，其拍摄因来自所述照明部的照明光的照射而从被摄体返回的返回光，取得参照图像；
距离信息取得部，其取得该返回光摄像部与所述被摄体的距离信息；以及
图像校正部，其采用所述返回光摄像部所取得的参照图像来校正所述荧光摄像部所拍摄的荧光图像，
所述图像校正部具有校正系数存储部，该校正系数存储部存储预定的观察距离和与该预定的观察距离相应的校正系数之间的对应关系，
所述校正系数存储部根据所述对应关系和所述距离信息取得部所取得的所述距离信息来设定校正系数，
所述图像校正部采用所设定的所述校正系数作为指数对所述参照图像和所述荧光图像中至少一方的光强度信息进行幂运算，由此生成校正用参照图像和校正用荧光图像中至少一方，并将所述校正用荧光图像除以所述校正用参照图像、将所述荧光图像除以所述校正用参照图像、或者将所述校正用荧光图像除以所述参照图像。
2.根据权利要求1所述的荧光观察装置，其中，
所述距离信息取得部根据所述返回光摄像部所取得的参照图像的信号强度来取得所述距离信息。
3.根据权利要求1所述的荧光观察装置，其中，
所述荧光观察装置具有距离调节部，该距离调节部使所述被摄体在接近或远离所述返回光摄像部的方向上移动，
所述距离信息取得部是所述距离调节部所具备的移动量传感器。
4.一种荧光观察方法，其中，
从照明部对被摄体照射照明光以及激励光，
拍摄因来自该照明部的激励光的照射而在被摄体中产生的荧光，取得荧光图像，
由返回光摄像部拍摄因来自所述照明部的照明光的照射而从被摄体返回的返回光，取得参照图像，
取得该返回光摄像部与所述被摄体的距离信息，
根据所取得的距离信息以及存储的距离信息与校正系数之间的对应关系来设定校正系数，采用所设定的校正系数作为指数对所述参照图像和所述荧光图像中至少一方的光强度信息进行幂运算，由此生成校正用参照图像以及校正用荧光图像中至少一方，并将所述校正用荧光图像除以所生成的所述校正用参照图像、将所述荧光图像除以所述校正用参照图像、或者将所述校正用荧光图像除以所述参照图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010062548 | 2010-03-18 | ||
| JP2010-062548 | 2010-03-18 | ||
| PCT/JP2011/056017 WO2011115095A1 (ja) | 2010-03-18 | 2011-03-15 | 蛍光観察装置および蛍光観察方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102802495A CN102802495A (zh) | 2012-11-28 |
| CN102802495B true CN102802495B (zh) | 2015-08-05 |
Family
ID=44649180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180014122.0A Expired - Fee Related CN102802495B (zh) | 2010-03-18 | 2011-03-15 | 荧光观察装置以及荧光观察方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8481972B2 (zh) |
| EP (1) | EP2548497A4 (zh) |
| JP (1) | JP5860802B2 (zh) |
| CN (1) | CN102802495B (zh) |
| WO (1) | WO2011115095A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012217673A (ja) * | 2011-04-11 | 2012-11-12 | Fujifilm Corp | 内視鏡診断装置 |
| JP5816486B2 (ja) | 2011-08-18 | 2015-11-18 | オリンパス株式会社 | 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法 |
| JP6017219B2 (ja) * | 2012-08-01 | 2016-10-26 | オリンパス株式会社 | 蛍光観察装置および蛍光観察システム |
| JP6300781B2 (ja) * | 2013-02-13 | 2018-03-28 | オリンパス株式会社 | 蛍光観察装置 |
| JP6198426B2 (ja) * | 2013-03-29 | 2017-09-20 | 浜松ホトニクス株式会社 | 蛍光観察装置及び蛍光観察方法 |
| EP3334094B1 (en) * | 2016-12-08 | 2019-08-07 | InCoax Networks AB | Node distribution in a multi channel moca network |
| CN108670172A (zh) * | 2018-03-20 | 2018-10-19 | 广东欧谱曼迪科技有限公司 | 基于测光反馈的荧光导航系统及其术中荧光导航调整方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101584572A (zh) * | 2008-05-22 | 2009-11-25 | 富士胶片株式会社 | 荧光图像获取方法及设备、荧光内窥镜和激发光装置 |
| CN102361580A (zh) * | 2009-03-24 | 2012-02-22 | 奥林巴斯株式会社 | 荧光观察装置、荧光观察系统以及荧光图像处理方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62247232A (ja) | 1986-04-21 | 1987-10-28 | Agency Of Ind Science & Technol | 蛍光測定装置 |
| JPS63252134A (ja) | 1987-04-10 | 1988-10-19 | 工業技術院長 | 螢光検出を利用したがん診断装置 |
| JP2537154B2 (ja) | 1989-07-26 | 1996-09-25 | ダイワ精工株式会社 | 釣竿及び釣竿の製造法 |
| JP2001169999A (ja) * | 1999-12-21 | 2001-06-26 | Fuji Photo Film Co Ltd | 蛍光収率測定方法および装置 |
| DE60109989T2 (de) * | 2000-06-26 | 2006-02-23 | Fuji Photo Film Co. Ltd., Minamiashigara | Vorrichtung zur Aufnahme von Fluoreszenzbildern |
| JP2003000528A (ja) | 2001-06-27 | 2003-01-07 | Fuji Photo Film Co Ltd | 蛍光診断画像生成方法および装置 |
| JP4311607B2 (ja) * | 2002-05-27 | 2009-08-12 | 富士フイルム株式会社 | 蛍光診断情報生成方法および装置 |
| JP5461753B2 (ja) * | 2004-07-30 | 2014-04-02 | オリンパス株式会社 | 内視鏡装置 |
| JP2006175052A (ja) | 2004-12-22 | 2006-07-06 | Fuji Photo Film Co Ltd | 蛍光画像撮像装置 |
| JP2007205918A (ja) * | 2006-02-02 | 2007-08-16 | Olympus Corp | 計測内視鏡 |
| JP5044126B2 (ja) * | 2006-02-23 | 2012-10-10 | オリンパス株式会社 | 内視鏡観察装置および画像形成を行う内視鏡の作動方法 |
| WO2008072579A1 (ja) * | 2006-12-11 | 2008-06-19 | Olympus Corporation | 蛍光内視鏡 |
| JP5396004B2 (ja) | 2007-01-31 | 2014-01-22 | オリンパス株式会社 | 蛍光観察装置および蛍光観察装置の作動方法 |
| JP2009034224A (ja) * | 2007-07-31 | 2009-02-19 | Olympus Medical Systems Corp | 医療装置 |
| JP5229723B2 (ja) * | 2008-05-22 | 2013-07-03 | 富士フイルム株式会社 | 蛍光画像取得装置 |
-
2011
- 2011-03-15 EP EP11756280.1A patent/EP2548497A4/en not_active Withdrawn
- 2011-03-15 JP JP2012505692A patent/JP5860802B2/ja not_active Expired - Fee Related
- 2011-03-15 WO PCT/JP2011/056017 patent/WO2011115095A1/ja active Application Filing
- 2011-03-15 CN CN201180014122.0A patent/CN102802495B/zh not_active Expired - Fee Related
-
2012
- 2012-09-10 US US13/608,541 patent/US8481972B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101584572A (zh) * | 2008-05-22 | 2009-11-25 | 富士胶片株式会社 | 荧光图像获取方法及设备、荧光内窥镜和激发光装置 |
| CN102361580A (zh) * | 2009-03-24 | 2012-02-22 | 奥林巴斯株式会社 | 荧光观察装置、荧光观察系统以及荧光图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5860802B2 (ja) | 2016-02-16 |
| US8481972B2 (en) | 2013-07-09 |
| WO2011115095A1 (ja) | 2011-09-22 |
| EP2548497A1 (en) | 2013-01-23 |
| US20130003922A1 (en) | 2013-01-03 |
| CN102802495A (zh) | 2012-11-28 |
| JPWO2011115095A1 (ja) | 2013-06-27 |
| EP2548497A4 (en) | 2015-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102802495B (zh) | 荧光观察装置以及荧光观察方法 | |
| CN102361580B (zh) | 荧光观察装置、荧光观察系统以及荧光图像处理方法 | |
| CN103764007B (zh) | 荧光观察装置和荧光观察系统以及荧光图像处理方法 | |
| CN102355844B (zh) | 荧光观察系统、荧光观察装置以及荧光观察方法 | |
| US9532719B2 (en) | Fluorescence endoscope apparatus | |
| JP5356191B2 (ja) | 蛍光観察装置 | |
| CN102843951A (zh) | 荧光观察装置 | |
| JP5393215B2 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法 | |
| CN102958417B (zh) | 荧光观察装置 | |
| EP2589328B1 (en) | Image processing apparatus and image processing method | |
| CN212326346U (zh) | 一种内窥镜成像系统 | |
| US9460496B2 (en) | Fluorescence observation apparatus, fluorescence observation system, and method for fluorescence image processing | |
| JP2011244952A (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150805 Termination date: 20180315 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |