CN102361580A - 荧光观察装置、荧光观察系统以及荧光图像处理方法 - Google Patents
荧光观察装置、荧光观察系统以及荧光图像处理方法 Download PDFInfo
- Publication number
- CN102361580A CN102361580A CN2010800129652A CN201080012965A CN102361580A CN 102361580 A CN102361580 A CN 102361580A CN 2010800129652 A CN2010800129652 A CN 2010800129652A CN 201080012965 A CN201080012965 A CN 201080012965A CN 102361580 A CN102361580 A CN 102361580A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- photograph
- fluoroscopic image
- fluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002073 fluorescence micrograph Methods 0.000 title claims abstract description 65
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000005286 illumination Methods 0.000 claims abstract description 58
- 238000012937 correction Methods 0.000 claims description 157
- 238000012544 monitoring process Methods 0.000 claims description 88
- 238000004364 calculation method Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 22
- 230000001678 irradiating effect Effects 0.000 claims description 19
- 230000003760 hair shine Effects 0.000 claims description 18
- 230000001915 proofreading effect Effects 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000002203 pretreatment Methods 0.000 description 38
- 238000000034 method Methods 0.000 description 24
- 238000004519 manufacturing process Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 239000003814 drug Substances 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 229910052724 xenon Inorganic materials 0.000 description 12
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000012467 final product Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 230000001105 regulatory effect Effects 0.000 description 5
- 231100000915 pathological change Toxicity 0.000 description 4
- 230000036285 pathological change Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 238000000205 computational method Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 2
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6452—Individual samples arranged in a regular 2D-array, e.g. multiwell plates
- G01N21/6454—Individual samples arranged in a regular 2D-array, e.g. multiwell plates using an integrated detector array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
通过充分去除了距离的依赖性用定量性较高的荧光图像进行观察。荧光观察装置(101)具有:具有向观察对象部位(X)照射照明光和激励光的光源(10)的照明单元(20);对由于激励光的照射而在观察对象部位(X)产生的荧光进行摄影并获得荧光图像的荧光摄像部(42);对由于照明光的照射而从观察对象部位(X)返回的返回光进行摄影并获得参照图像的白色光摄像部(44);以及用对荧光图像的亮度的观察距离的距离特性进行幂近似而获得的第1指数的倒数对荧光图像的亮度值求幂,获得校正用荧光图像,用对参照图像的亮度的观察距离的距离特性进行幂近似而获得的第2指数的倒数对参照图像的亮度值求幂,获得校正用参照图像,使校正用荧光图像除以校正用参照图像,获得校正荧光图像的图像校正部(60)。
Description
技术领域
本发明涉及荧光观察装置、荧光观察系统以及荧光图像处理方法。
背景技术
以往已知如下荧光观察装置,其对于投放了特别聚集在癌细胞等病变部的荧光色素的观察对象部位,照射激励荧光色素以使之产生药剂荧光的激励光,对所产生的药剂荧光进行摄影,从而能在病变部获得亮度较高的荧光图像(例如参见专利文献1)。
关于专利文献1所述的荧光观察装置,由于照射在观察对象部位的激励光的照射强度会依赖于距离而产生变化,因而为了校正距离的影响,需要进行用观察对象部位的荧光图像除以相同观察对象部位处的反射光图像的运算处理。
现有技术文献
专利文献
专利文献1:日本特开昭62-247232号公报
发明内容
发明要解决的课题
然而由于内部散射或表面反射等的影响,其性质在荧光与反射光的条件下是不同的,因此在同一观察对象部位摄像得到的明亮度对距离的依赖性也不同。因此如专利文献1所述的荧光观察装置那样仅凭用荧光图像除以反射光图像是无法完全抵消距离的依赖性的,存在无法高精度地进行校正的问题。
本发明就是鉴于这种情况而完成的,其目的在于提供一种能够通过充分去除距离的依赖性利用定量性较高的荧光图像进行观察的荧光观察装置。
为了解决上述课题,本发明采用如下手段。
本发明的第1方面提供的荧光观察装置具有:照明部,其具有向被摄体照射照明光和激励光的光源;荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光摄像部获得的上述荧光图像进行校正,该图像校正部,用第1指数的倒数对上述荧光图像的亮度值求幂从而获得校正用荧光图像,用第2指数的倒数对上述参照图像的亮度值求幂从而获得校正用参照图像,用上述校正用荧光图像除以上述校正用参照图像从而获得校正荧光图像,上述第1指数通过对上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而获得,上述荧光图像在朝上述被摄体照射既定强度的上述激励光时由上述荧光摄像部获得,上述第2指数通过对参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而获得,上述参照图像在朝上述被摄体照射既定强度的上述照明光时由上述返回光摄像部获得。
根据本方面,当照明部发出的激励光照射到被摄体时,在被摄体产生的荧光会被荧光图像摄像部所摄影而获得荧光图像,当从照明部与激励光一起发出的照明光照射到被摄体时,其返回光会被返回光摄影部所摄影而获得参照图像。
这种情况下,荧光图像摄像部所获得的荧光图像包含从照明部到被摄体的荧光距离的求幂信息,返回光摄像部获得的参照图像包含从照明部到被摄体的照明光的距离的求幂信息。另外,由于内部散射或表面反射等的影响使得荧光与返回光的性质彼此不同,因此荧光图像的亮度从照明部到被摄体的距离特性和参照图像的亮度从照明部到被摄体的距离特性不同。
根据本发明的荧光观察装置,在图像校正部中通过对荧光图像的亮度的从照明部到被摄体的距离特性进行幂近似获得的第1指数的倒数对荧光图像的亮度值求幂,从而能够获得亮度相对于距离变化大致恒定的校正用荧光图像。另外,通过对参照图像的亮度的从照明部到被摄体的距离特性进行幂近似获得的第2指数的倒数对参照图像的亮度值求幂,从而能获得亮度相对于距离变化大致恒定的校正用参照图像。因此通过用校正用荧光图像除以校正用参照图像,能抵消荧光图像和参照图像对距离的依赖性获得具有被高精度地校正的定量性的校正荧光图像,能正确诊断病变部。
在本方面中,上述图像校正部还可以用上述第1指数对上述校正荧光图像的亮度值求幂。
通过如上构成,能通过图像校正部使得校正荧光图像的亮度值与被摄体内所含荧光药剂的存在量(即荧光药剂的浓度)具有正比例关系,同时能降低对距离的依赖性。
本发明的第2方面的荧光观察装置具有:照明部,其具有向被摄体照射照明光和激励光的光源;荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光图像摄像部获得的上述荧光图像进行校正,该图像校正部对朝上述被摄体照射既定亮度的上述激励光时由上述荧光摄像部获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似从而求出第1指数,对朝上述被摄体照射既定亮度的上述照明光时由返回光摄像部获得的参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似从而求出第2指数,用上述第1指数除以上述第2指数得到的第3指数对上述参照图像的亮度值求幂从而获得校正用参照图像,通过用上述荧光图像除以上述校正用参照图像或者用上述第2指数除以上述第1指数而获得的第4指数对上述荧光图像的亮度值求幂从而获得校正用荧光图像,用上述校正用荧光图像除以上述参照图像从而获得校正荧光图像。
根据本方面,在图像校正部仅通过进行1次求幂运算就能高精度地对距离的影响进行校正,获得亮度值与荧光药剂的存在量具有正比例关系的校正荧光图像。
本发明的第3方面提供的荧光观察装置具有:照明部,其具有向被摄体照射照明光和激励光的光源;荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光摄像部获得的上述荧光图像进行校正,该图像校正部用第1校正系数对上述荧光图像的亮度值求幂从而获得校正用荧光图像,用该校正用荧光图像除以上述参照图像从而获得校正荧光图像,上述第1校正系数使得用上述第1校正系数对上述荧光图像的亮度值求幂之后得到的求幂后上述荧光图像的亮度与上述参照图像的亮度之比在多个不同距离一致。
根据本方面,仅获得多个不同距离处的荧光图像与参照光图像的亮度的强度之比即可,无需获得距离信息。另外,由于没有对距离特性进行幂近似,因此能通过简单的运算确定第1校正系数。
本发明的第4方面提供的荧光观察装置具有:照明部,其具有向被摄体照射照明光和激励光的光源;荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光摄像部获得的上述荧光图像进行校正,该图像校正部用第2校正系数对上述参照图像的亮度值求幂从而获得校正用参照图像,用上述荧光图像除以上述校正用参照图像从而获得校正荧光图像,上述第2校正系数使得上述荧光图像的亮度与以第2校正系数对上述参照图像的亮度值求幂之后得到的求幂后上述参照图像的亮度之比在多个不同距离一致。
根据本方面,仅通过根据多个不同距离处的荧光图像和参照图像的亮度信息来确定第2校正系数,能简单获得减轻了荧光图像和参照图像对距离的依赖性的定量性较高的校正荧光图像。
本发明的第5方面的荧光观察装置具有:照明部,其具有向被摄体照射照明光和激励光的光源;荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光摄像部获得的上述荧光图像进行校正,该图像校正部用第1校正系数对上述荧光图像的亮度值求幂从而获得校正用荧光图像,并且用第2校正系数对上述参照图像的亮度值求幂从而获得校正用参照图像,用上述校正用荧光图像除以上述校正用参照图像从而获得校正荧光图像,上述第1校正系数和上述第2校正系数使得用上述第1校正系数对上述荧光图像的亮度值求幂之后得到的求幂后上述荧光图像的亮度与用上述第2校正系数对上述参照图像的亮度值求幂之后得到的求幂后上述参照图像的亮度之比在多个不同距离一致。
根据本方面,仅通过根据多个不同距离处的荧光图像和参照图像的亮度信息来确定2个校正系数,能简单获得减轻了荧光图像和参照图像对距离的依赖性的定量性较高的校正荧光图像。
在上述方面中,还可以具有根据上述荧光摄像部获得的上述荧光图像的亮度值调节摄影条件的摄影条件调节部,上述图像校正部通过上述摄影条件使上述荧光图像的亮度标准化。
通过如上构成,能通过摄影条件调节部与被摄体产生的荧光的亮度无关地获得适当明亮度的荧光图像。此时图像校正部通过摄影条件对荧光图像的亮度进行标准化,即使摄影条件调节部的摄影条件发生变化也能统一荧光图像的亮度值。
在上述方面中,还可以构成为上述摄影条件调节部调节上述荧光摄像部的曝光时间,上述图像校正部使上述荧光图像的亮度值除以上述曝光时间。
通过如上构成,能通过摄影条件调节部改变荧光摄像部的曝光时间,调整荧光图像的明亮度。另外,即使荧光摄像部的曝光时间发生变化,也能通过图像校正部将荧光图像统一为每单位时间的亮度值。
在上述方面中,还可以构成为上述摄影条件调节部调节上述荧光摄像部的增益倍率,上述图像校正部使上述荧光图像的亮度值除以上述增益倍率。
通过如上构成,能通过摄影条件调节部改变荧光摄像部的增益倍率,调整荧光图像的明亮度。另外,即使荧光摄像部的增益倍率发生变化,也能通过图像校正部将荧光图像统一为固定的每放大值的亮度值。
在上述方面中,还可以构成为上述摄影条件调节部调节来自上述照明部的激励光强度,上述图像校正部使上述荧光图像的亮度值除以上述激励光强度。
通过如上构成,能通过摄影条件调节部改变对被摄体照射的激励光的强度,调整荧光图像的明亮度。另外,即使来自照明部的激励光强度发生变化,也能通过图像校正部将荧光图像统一为固定的每激励光强度的亮度值。
在上述方面中,还可以具有根据上述返回光摄像部获得的上述参照图像的亮度值调节摄影条件的摄影条件调节部,上述图像校正部通过上述摄影条件使上述参照图像的亮度标准化。
通过如上构成,能通过摄影条件调节部与从被摄体返回的返回光的亮度无关地获得适当明亮度的参照图像。这种情况下,图像校正部通过摄影条件使参照图像的亮度标准化,从而即使摄影条件调节部的摄影条件发生变化也能统一参照图像的亮度值。
在上述方面中,还可以构成为上述摄影条件调节部调节上述返回光摄像部的曝光时间,上述图像校正部使上述参照图像的亮度值除以上述曝光时间。
通过如上构成,能通过摄影条件调节部改变返回光摄像部的曝光时间,调整参照图像的明亮度。另外,即使返回光摄像部的曝光时间发生变化,也能通过图像校正部将参照图像统一为每单位时间的亮度值。
在上述方面中,还可以构成为上述摄影条件调节部调节上述返回光摄像部的增益倍率,上述图像校正部使上述参照图像的亮度值除以上述增益倍率。
通过如上构成,能通过摄影条件调节部改变返回光摄像部的增益倍率,调整参照图像的明亮度。另外,即使返回光摄像部的增益倍率发生变化,也能通过图像校正部将参照图像统一为固定的每放大值的亮度值。
在上述方面中,还可以构成为上述摄影条件调节部调节来自上述照明部的照明光强度,上述图像校正部使上述参照图像的亮度值除以上述照明光强度。
通过如上构成,能通过摄影条件调节部改变从被摄体返回的返回光的强度,调整参照图像的明亮度。另外,即使来自照明部的照明光强度发生变化,也能通过图像校正部将参照图像统一为固定的每激励光强度的亮度值。
本发明第6方面的荧光观察系统具有上述本发明的荧光观察装置以及校正该荧光观察装置的校正装置,该校正装置具有标准样本以及以能够变更的方式对该标准样本设定上述荧光观察装置的观察距离的观察状态设定机构,上述荧光观察装置或上述校正装置具有指数计算部,该指数计算部根据上述观察状态设定机构所设定的观察距离和上述荧光观察装置对上述标准样本进行摄影而获得的荧光图像以及参照图像,计算上述第1指数和上述第2指数。
根据本方面,在荧光观察之前,将荧光观察这种设置于校正装置,能够根据使用标准样本摄影得到的图像,通过指数计算部的工作计算荧光观察装置的更为正确的第1指数和第2指数。
本发明第7方面的荧光观察系统具有上述本发明的荧光观察装置以及校正该荧光观察装置的校正装置,该校正装置具有标准样本以及以能够变更的方式对该标准样本设定上述荧光观察装置的观察距离的观察状态设定机构,上述荧光观察装置或上述校正装置具有校正系数计算部,该校正系数计算部根据上述观察状态设定机构所设定的观察距离和上述荧光观察装置对上述标准样本摄影而获得的荧光图像以及参照图像,计算上述第1校正系数和上述第2校正系数。
根据本方面,在荧光观察之前,将荧光观察装置设置于校正装置,能够根据使用标准样本摄影得到的图像,通过指数计算部的工作计算荧光观察装置的更为正确的第1校正系数和第2校正系数。
本发明第8方面的荧光图像处理方法使用参照图像对荧光图像进行如下校正处理,该参照图像通过对从照明部向被摄体照射照明光而从该被摄体返回的返回光进行摄影而获得,该荧光图像通过对从上述照明部向上述被摄体照射激励光而在该被摄体产生的荧光进行摄影而获得:
FLrevice=FLafter/RLafter,
其中,FLrevice是校正后的荧光图像的亮度值,
FLafter=A×FLbefore x、RLafter=B×RLbefore y,
FLbefore、RLbefore是所获得的荧光图像、参照图像的亮度值,
A、B是常数,
x是对朝上述被摄体照射既定强度的激励光时获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似得到的指数的倒数,
y是对朝上述被摄体照射既定强度的照明光时获得的上述参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似得到的指数的倒数。
本发明第9方面的荧光图像处理方法使用参照图像对荧光图像进行如下校正处理,该参照图像通过对从照明部向被摄体照射照明光而从该被摄体返回的返回光进行摄影而获得,该荧光图像通过对从上述照明部向上述被摄体照射激励光而在该被摄体产生的荧光进行摄影而获得:
FLrevice=(FLafter/RLafter)1/x,
其中,FLrevice是校正后的荧光图像的亮度值,
FLafter=A×FLbefore x、RLafter=B×RLbefore y,
FLbefore、RLbefore是所获得的荧光图像、参照图像的亮度值,
A、B是常数,
x是对朝上述被摄体照射既定强度的激励光时获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似得到的指数的倒数,
y是对朝上述被摄体照射既定强度的照明光时获得的上述参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似得到的指数的倒数。
本发明第10方面的荧光图像处理方法使用参照图像对荧光图像进行如下校正处理,该参照图像通过对从照明部向被摄体照射照明光而从该被摄体返回的返回光进行摄影而获得,该荧光图像通过对从上述照明部向上述被摄体照射激励光而在该被摄体产生的荧光进行摄影而获得:
FLrevice=FLbefore/RLafter,
其中,FLrevice是校正后的荧光图像的亮度值,
RLafter=B×RLbefore y,
FLbefore、RLbefore是所获得的荧光图像、参照图像的亮度值,
B是常数,
y是第1指数除以第2指数而得到的值,上述第1指数通过对朝上述被摄体照射既定强度的激励光时获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而得到,上述第2指数通过对朝上述被摄体照射既定强度的照明光时获得的上述参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而得到。
本发明第11方面的荧光图像处理方法使用参照图像对荧光图像进行如下校正处理,该参照图像通过对从照明部向被摄体照射照明光而从该被摄体返回的返回光进行摄影而获得,该荧光图像通过对从上述照明部向上述被摄体照射激励光而在该被摄体产生的荧光进行摄影而获得:
FLrevice=FLafter/RLbefore,
其中,FLrevice是校正后的荧光图像的亮度值,
FLafter=B×FLbefore 1/y,
FLbefore、RLbefore是所获得的荧光图像、参照图像的亮度值,
B是常数,
y是第1指数除以第2指数而得到的值,上述第1指数通过对朝上述被摄体照射既定强度的激励光时获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而得到,上述第2指数通过对朝上述被摄体照射既定强度的照明光时获得的上述参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而得到。
发明效果
根据本发明可以获得通过充分去除了距离的依赖性利用定量性较高的荧光图像进行观察的效果。
附图说明
图1是示出本发明第1实施方式的荧光观察装置的概要构成的框图。
图2是示出变更图1的荧光观察装置的插入部与标准样本的观察距离的情形的图。
图3是示出图1的荧光观察装置的指数的计算方法的流程图。
图4A是示出未变更关注区域大小时的观察距离D0的状态的图像的图。
图4B是示出未变更关注区域大小时的观察距离D1的状态的图像的图。
图4C是示出未变更关注区域大小时的观察距离D2的状态的图像的图。
图5A是示出变更了关注区域大小时的观察距离D0的状态的图像的图。
图5B是示出变更了关注区域大小时的观察距离D1的状态的图像的图。
图5C是示出变更了关注区域大小时的观察距离D2的状态的图像的图。
图6是示出本发明第1实施方式的荧光观察装置的指数的其他计算方法的流程图。
图7是示出图1的荧光观察装置的图像合成部所具备的浓度转换表的一例的图。
图8是图1的图像处理部的图像处理的流程图。
图9A是示出校正荧光图像的亮度值与观察距离的关系的图表。
图9B是示出作为参考例的校正荧光图像的亮度值与观察距离的关系的图表。
图10是将实施了求幂运算处理时荧光图像的亮度值的偏差与未实施求幂运算处理时荧光图像的亮度值的偏差进行比较的图表。
图11是示出本发明第1实施方式第1变形例的荧光观察装置的概要构成的框图。
图12是示出本发明第1实施方式第2变形例的荧光观察装置的图像处理部的图像处理的流程图。
图13是示出本发明第1实施方式第2变形例的荧光观察装置的亮度值与荧光药剂的存在量的关系的图表。
图14是示出作为对于图13的荧光观察装置的参考例的亮度值与荧光药剂的存在量的关系的图表。
图15是本发明第1实施方式第3变形例的荧光观察装置的图像处理部的图像处理的流程图。
图16是示出通过本发明第1实施方式第5变形例的荧光观察装置同时观察配置于不同的观察距离的2个相同标准样本的情形的图。
图17A是示出本发明第1实施方式第5变形例的荧光观察装置的荧光图像的亮度值与观察距离的关系的图。
图17B是示出本发明第1实施方式第5变形例的荧光观察装置的参照图像的亮度值与观察距离的关系的图。
图18是示出通过本发明第1实施方式第8变形例的荧光观察装置同时观察标准样本的观察距离不同的2处关注区域的情形的图。
图19是示出通过本发明第1实施方式第9变形例的荧光观察装置同时观察标准样本的观察距离不同的3处以上关注区域的情形的图。
图20是示出通过本发明第1实施方式第10变形例的荧光观察装置同时观察标准样本的包含连续性距离变化的关注区域的情形的图。
图21是示出每个校正系数的关心区域内的FL/RLa的标准偏差的图。
图22是示出本发明第2实施方式的荧光观察装置的概要构成的框图。
图23是示出图22的荧光观察装置的荧光图像标准部所具备的增益转换表的一例的图。
图24是图22的图像处理部的图像处理的流程图。
图25是示出本发明第3实施方式的荧光观察装置的概要构成的框图。
图26是示出图25的荧光观察装置的荧光图像标准部所具备的激励光强度转换表的一例的图。
图27是图25的图像处理部的图像处理的流程图。
具体实施方式
(第1实施方式)
以下参照附图说明本发明第1实施方式的荧光观察系统、荧光观察装置以及荧光图像处理方法。
如图1所示,本实施方式的荧光观察系统150具有荧光观察装置101、与荧光观察装置101组合起来的校正装置102。荧光观察装置101是内窥镜装置,具有插入到体腔内的细长的插入部2、具有发出从插入部2的前端2a射出的照明光的光源10的照明单元(照明部)20、配置于插入部2内以获得作为被摄体的观察对象部位X的图像信息的摄像单元30、对摄像单元30获得的图像信息进行运算处理的图像处理部50、显示图像处理部50所处理的图像等的监视器4。
光源10具有发出照明光的氙灯12、从氙灯12发出的照明光中切取包含激励光的白色光(照明光)的滤波器14、会聚滤波器14所切取的包含激励光在内的白色光的耦合透镜16。滤波器14例如切取包含波长频带为400~750nm的激励光在内的白色光。
照明单元20具有在插入部2的长度方向的大致全长范围内配置并将耦合透镜16所会聚的包含激励光在内的白色光引导至插入部2的前端2a的光导纤维22、配置于插入部2的前端2a使光导纤维22所引导的包含激励光在内的白色光扩散并照射到观察对象部位X的扩散透镜24。
摄像单元30具有对从被照明单元20照射了包含激励光的白色光的观察对象部位X返回的返回光进行会聚的物镜32、对物镜32所会聚的返回光中大于等于激励波长的光(激励光和荧光)进行反射并透射波长比激励波长短的白色光的二向色镜34。物镜32在插入部2的前端2a与上述扩散透镜24并列配置。
该摄像单元30具有切断二向色镜34所反射的激励光和荧光中的激励光而仅使荧光(例如近红外荧光)透射的激励光截止滤波器36、分别会聚通过该激励光截止滤波器36的荧光和通过二向色镜34的白色光的2个聚光透镜38、对聚光透镜38所会聚的荧光进行摄影以获得荧光图像信息的荧光摄像部42以及对聚光透镜38所会聚的白色光进行摄影以获得参照图像信息的白色光摄像部(返回光摄像部)44。
激励光截止滤波器36例如仅使波长频带为765~850nm的荧光透射。
荧光摄像部42例如是荧光用的高灵敏度单色CCD。白色光摄像部44例如是白色光用彩色CCD,具有镶嵌(mosaic)滤波器(省略图示)。
图像处理部50具有:根据荧光摄像部42获得的荧光图像信息生成2维荧光图像的荧光图像生成部52和调节荧光摄像部42的曝光时间(摄影条件)的荧光曝光时间调节部(摄影条件调节部)54;根据白色光摄像部44获得的参照图像信息生成2维参照图像的参照图像生成部56和调节白色光摄像部44的曝光时间(摄影条件)的白色光曝光时间调节部(摄影条件调节部)58;以及使用参照图像生成部56生成的参照图像对荧光图像生成部52生成的荧光图像进行校正的图像校正部60。
荧光曝光时间调节部54根据荧光图像生成部52生成的荧光图像的亮度值调节荧光摄像部42的曝光时间。
同样地,白色光曝光时间调节部58根据参照图像生成部56生成的参照图像的亮度值调节白色光摄像部44的曝光时间。
图像校正部60具有:对荧光图像生成部52生成的荧光图像的亮度进行标准化的荧光图像标准部62和对亮度得以标准化的荧光图像实施运算处理的荧光图像前处理部64;对参照图像生成部56获得的参照图像的亮度进行标准化的参照图像标准部66和对亮度得以标准化的参照图像实施运算处理的参照图像前处理部68;以及使用参照图像前处理部68获得的校正用参照图像除以荧光图像前处理部64获得的校正用荧光图像以获得校正荧光图像K的除法处理部72。
荧光图像标准部62从荧光图像生成部52读取出荧光图像的亮度值,并除以荧光曝光时间调节部54所设定的荧光摄像部42的曝光时间。
荧光图像前处理部64用对向观察对象部位X照射既定强度的激励光时由荧光摄像部42获得并通过荧光图像标准部62得以标准化的荧光图像的亮度在观察距离Dn的距离特性进行幂近似而获得的第1指数α的倒数1/α(或-1/α),对标准化后的荧光图像的亮度值求幂,从而获得校正用荧光图像。具体进行如下的求幂运算。
FLafter=A×FLbefore x (1)
其中,FLafter是校正用荧光图像的亮度值,FLbefore是荧光图像的亮度值,x是1/α或-1/α,α是第1指数,A是常数,通过该求幂运算,获得亮度与距离变化成比例(-1/α的情况下成反比例)的校正用荧光图像。
同样地,参照图像标准部66从参照图像生成部56读取出参照图像的亮度值,并除以白色光曝光时间调节部58所设定的白色光摄像部44的曝光时间。
另外,参照图像前处理部68用对向观察对象部位X照射既定强度的白色光时由白色光摄像部44获得并通过参照图像标准部66得以标准化的参照图像的亮度在观察距离Dn的距离特性进行幂近似而获得的第2指数β的倒数1/β(或-1/β),对标准化后的参照图像的亮度值求幂,从而获得校正用参照图像。具体进行如下的求幂运算。
RLafter=B×RLbefore y (2)
其中,RLafter是校正用参照图像的亮度值,RLbefore是参照图像的亮度值,y是1/β或-1/β,β是第2指数,B是常数,通过该求幂运算,获得亮度与距离变化成比例(-1/β的情况下成反比例)的校正用参照图像。
这种情况下,如图2所示,第1指数α和第2指数β是通过先于荧光观察的测量而使标准样本81与插入部2的前端2a相对配置,使用校正装置102如下确定的。
校正装置102具有变更插入部2的前端2a与标准样本81之间距离(以下称之为“观察距离”)Dn的直动工作台(观察状态设定机构)92、控制直动工作台92的位置的工作台控制部94、检测观察距离Dn的距离信息的距离信息检测部96、计算第1指数α和第2指数β的依赖常数确定部(指数计算部)98。
依赖常数确定部98根据从荧光图像标准部62和参照图像标准部66发送来的标准化后的荧光图像和参照图像以及距离信息检测部96检测出的距离信息,计算第1指数α和第2指数β。
作为标准样本81,优选例如对猪大肠的组织注入了荧光色素等接近活体光学特性的结构。
下面参照图3的流程图说明依赖常数确定部98对第1指数α和第2指数β的计算方法。
首先,通过工作台94的工作设定观察距离Dn(步骤SC1),通过距离信息检测部96检测出此时的观察距离Dn,并发送给依赖常数确定部98。在该状态下,从照明单元20向标准样本81照射包含激励光的白色光。然后通过荧光摄像部42和白色光摄像部44对荧光和白色光进行摄影,通过荧光图像生成部52和参照图像生成部56获得荧光图像和参照图像(步骤SC2)。
接着计算所获得的荧光图像和参照图像中预先确定的区域(以下称之为“关注区域”)的亮度值的平均值(步骤SC3)。
举例示出如下的参考例以说明亮度值的求得方式。
例如图2所示,在将观察距离Dn变更为D0、D1、D2(D0<D1<D2)的同时向标准样本81照射照明光,获得图4A~图4C和图5A~图5C所示的荧光图像。在该图中,符号83表示荧光摄像部42的视野,符号85表示关注区域。
当标准样本81中的荧光强度固定的情况下,例如当作为被摄体的标准样本81的表面大致平坦时,如图4A~图4C所示,无论观察距离Dn是多少都使关注区域85的大小固定来计算亮度值。而当标准样本81中的荧光强度不固定的情况下,例如标准样本81的表面存在凹凸或标准样本81中的荧光强度存在不均时,如图5A~图5C所示,按照观察距离Dn变更关注区域85的大小来计算亮度值。通过变更关注区域85的大小,即使变更了观察距离Dn也能获得同一部位的亮度值。
接着,通过荧光图像标准部62和参照图像标准部66将根据荧光图像和参照图像计算出的关注区域的亮度值的平均值除以曝光时间而进行了标准化后(步骤SC4),发送给依赖常数确定部98,将亮度值与距离信息对应起来描绘(步骤SC5)。
工作台控制部94按照预先确定的次数a(a至少为2以上)多次重复上述步骤SC1~SC6(步骤SC6)。例如按照D0、D1变更观察距离Dn,对获得的距离特性进行幂近似、即回归为幂函数Dα、Dβ,从而获得回归曲线(步骤SC7),计算表示对于观察距离Dn的依赖性的第1指数α、第2指数β(步骤SC8)。作为参考例,图17A、图17B示出根据回归曲线求出第1指数α和第2指数β的结果。在图17A、图17B中,纵轴表示荧光图像或参照图像的亮度值,横轴表示观察距离Dn。
由此就能够通过依赖常数确定部98确定观察距离Dn及与之对应的荧光图像和参照图像的正确指数。依赖常数确定部98确定的第1指数α被发送给荧光图像前处理部64,第2指数β被发送给参照图像前处理部66。
在本实施方式中,也可以不具备距离信息检测部96,而是通过手动将观察距离Dn的距离信息输入到依赖常数确定部98。
另外,在本实施方式中,当计算出标准化前的荧光图像和参照图像的关注区域的亮度值的平均值之后(参见图3的步骤SC3),将其作为亮度值,除以曝光时间进行标准化(参见该SC4),但也可以不进行上述处理,而是例如图6的流程图所示,分别用荧光图像整体的亮度和参照图像整体的亮度除以曝光时间进行标准化(步骤SC3’),然后计算标准化后的荧光图像和参照图像的关注区域的亮度值的平均值(步骤SC4’)。
另外,上述图像处理部50具有图像合成部74,该图像合成部74生成将参照图像生成部56生成的参照图像S与图像校正部75生成的校正荧光图像K合成起来的图像。图像合成部74将除法处理部72获得的校正荧光图像K与参照图像生成部56生成的参照图像S合成起来,同时并列配置在监视器4进行显示。另外,图像合成部74具有图7所示的将校正荧光图像K的亮度值与荧光药剂的存在量(即荧光药剂的浓度)对应起来的浓度转换表87,在监视器4显示特定区域的荧光浓度。
下面说明如上构成的本实施方式的荧光观察装置101和荧光图像处理方法的作用。
为了使用本实施方式的荧光观察装置101例如对活体体腔内的观察对象部位X进行观察,需要将插入部2插入到体腔内使前端2a与观察对象部位X相对。
在该状态下,启动照明单元20,通过耦合透镜16会聚包含从氙灯12发出并由滤波器14切取的激励光在内的白色光,并使其射入光导纤维22。射入到光导纤维22的包含激励光的白色光被引导至插入部2的前端2a,通过扩散透镜24扩散后照射到观察对象部位X。
在观察对象部位X,内部包含的荧光药剂被激励光所激励而发出荧光,同时在观察对象部位X的表面反射白色光。荧光和白色光的返回光被插入部2的物镜32所会聚,通过二向色镜34而分支为各种波长。
在二向色镜34中,反射大于等于激励波长的光、即激励光和荧光,使波长比激励波长短的白色光透射。
二向色镜34所反射的激励光和荧光通过激励光截止滤波器36被去除激励光,聚光透镜38仅会聚荧光。然后通过荧光摄像部42进行摄影,作为荧光图像信息而获得。
另外,通过了二向色镜34的白色光被聚光透镜38会聚而被白色光摄像部44摄影,作为参照图像信息而获得。
关于荧光图像信息和参照图像信息,既可以先获得某一方,也可以同时获得双方。
荧光摄像部42所获得的荧光图像信息和白色光摄像部44所获得的参照图像信息分别被输入到图像处理部50而进行图像处理。以下,参照图8的流程图说明图像处理部50的图像处理。
在图像处理部50,荧光图像信息被输入到荧光图像生成部52,生成2维荧光图像。此时,荧光曝光时间调节部54根据荧光图像生成部52所生成的荧光图像的亮度值设定荧光摄像部42的曝光时间(步骤SF1)。由此,荧光图像生成部52无论在观察对象部位X产生的荧光的亮度如何,都获得适当明亮度的荧光图像(步骤SF2)。
同样地,参照图像信息被输入到参照图像生成部56,生成2维参照图像。这种情况下,白色光曝光时间调节部58根据参照图像生成部56生成的参照图像的亮度值调节白色光摄像部44的曝光时间(步骤SR1)。由此,参照图像生成部56无论从观察对象部位X返回的白色光的亮度如何,都获得适当明亮度的参照图像(步骤SR2)。
荧光图像生成部52生成的荧光图像和参照图像生成部56生成的参照图像分别被发送到图像校正部60。
在图像校正部60中,首先通过荧光图像标准部62使得荧光图像的亮度值除以荧光摄像部42的曝光时间(步骤SF3)。由此使得荧光图像的曝光时间的差异得以标准化,荧光图像被统一为每单位时间的亮度值。另外,通过参照图像标准部66使得参照图像的亮度值除以白色光摄像部44的曝光时间(步骤SR3)。由此使得参照图像的曝光时间的差异得以标准化,参照图像被统一为每单位时间的亮度值。
通过荧光图像标准部62而亮度得以标准化的荧光图像被发送给荧光图像前处理部64,并且通过参照图像标准部66而亮度得以标准化的参照图像被发送给参照图像前处理部68。
接着,在荧光图像前处理部64中,通过上述校正运算式(1)用第1指数α的倒数1/α对荧光图像的每个像素的亮度值求幂(步骤SF4)。由此去除了对距离求幂的信息,获得亮度与距离变化成比例的校正用荧光图像。另外,在参照图像前处理部68中,通过上述校正运算式(2)用第2指数β的倒数1/β对参照图像的每个像素的亮度值求幂(步骤SR4)。由此去除了对距离求幂的信息,获得亮度与距离变化成比例的校正用参照图像。
校正用荧光图像和校正用参照图像分别被发送给除法处理部72,用校正用荧光图像除以校正用参照图像(步骤SFR5)。通过上述求幂运算处理使得校正用荧光图像和校正用参照图像处于亮度与彼此的距离变化成比例的关系,因此通过校正用荧光图像除以校正用参照图像就能够如图9A所示,抵消对距离的依赖性,获得被高精度地进行了校正且具有定量性的校正荧光图像K。
除法处理部72获得的校正荧光图像K和校正用参照图像被发送给图像合成部74。在图像合成部74中,将校正荧光图像K与参照图像S合成起来,同时显示于监视器4上,根据浓度转换表87在监视器4上显示特定区域的荧光浓度。
如上所述,根据本实施方式的荧光观察装置101和荧光图像处理方法,在对荧光图像和参照图像所包含的距离的求幂信息进行相同处理之后对荧光图像进行校正处理,从而能够获得抵消了荧光图像和参照图像对距离的依赖性且定量性较高的校正荧光图像K以进行观察。由此能够根据校正荧光图像K的亮度值正确诊断病变部。
作为参考例,图9B示出未经求幂运算处理即用荧光图像除以参照图像时荧光图像的亮度值与观察距离Dn的关系。未经求幂运算处理的荧光图像和参照图像彼此具有距离的求幂信息,因此仅用荧光图像除以参照图像无法完全抵消对距离的依赖性,会在相除后的荧光图像残留距离的影响。图10示出进行了求幂运算和未进行求幂运算的情况下荧光图像的观察距离Dn与相对于亮度值的平均值的偏差的关系。在该图中,纵轴表示相对于亮度值的平均值的偏差(%),横轴表示观察距离Dn。
另外,在本实施方式中,作为荧光图像前处理部64的校正系数举例示出了x=1/α,作为参照图像前处理部68的校正系数举例示出了y=1/β,也可以使用对x、y双方乘以常数k所得的校正系数。这种情况也能获得相同的效果。
另外,当选择α或β作为常数k的值的情况下,能够使荧光图像前处理部64和参照图像前处理部68中的一个校正系数为1,削减计算量。
本实施方式可进行如下变形。
例如作为第1变形例,如图11所示,可以采取不具备校正装置而仅有荧光观察装置100的构成。这种情况下,在荧光图像前处理部64保存预先确定的校正系数x,在参照图像前处理部66保存预先确定的校正系数y即可。
作为第2变形例,例如图12的流程图所示,可以在图像校正部60的除法处理部72与图像合成部74之间设置后处理部(省略图示),后处理部进一步用第1指数α对除法处理部72获得的校正荧光图像K的每个像素的亮度值求幂(步骤SFR6)。通过如上处理,如图13所示,通过后处理部能够在保持校正荧光图像K的亮度值与荧光药剂的存在量(即荧光药剂的浓度)的比例关系的同时降低对距离的依赖性。作为参考例,在图14示出后处理部未用第1指数α求幂的情况下校正荧光图像K的亮度值与荧光药剂的浓度的关系。
在本实施方式中,图像校正部60具有荧光图像前处理部64,而作为第3变形例,例如可以不具备荧光图像前处理部64,而是由参照图像前处理部68通过用第1指数α除以第2指数β得到的第3指数α/β(或-α/β)对参照图像的亮度值求幂,获得校正用参照图像。
这种情况下,如图15的流程图所示,通过荧光图像标准部62进行标准化后的荧光图像被发送给除法处理部72,在参照图像前处理部68进行如下的求幂运算即可(步骤SR4’)。
RLafter=B×RLbefore z (3)
其中,RLafter是校正用参照图像的亮度值,RLbefore是参照图像的亮度值,z是第3指数(α/β或-α/β),α是第1指数,β是第2指数,B是常数,通过如上处理,图像校正部60仅进行一次求幂运算就能高精度地校正距离的影响,能获得亮度值与荧光药剂的存在量具有正比例关系的校正荧光图像K。
在本实施方式中,图像校正部60具有参照图像前处理部66,但作为第4变形例,例如可以不具备参照图像前处理部66,而是由荧光图像前处理部64通过用第2指数β除以第1指数α得到的第4指数β/α(或-β/α)、即第3指数α/β(或-α/β)的倒数对荧光图像的亮度值求幂,获得校正用荧光图像。
这种情况下,将通过参照图像标准部66标准化后的参照图像发送给除法处理部72,在荧光图像前处理部64进行如下的求幂运算即可。
FLafter=A×FLbefore z’ (4)
其中,FLafter是校正用荧光图像的亮度值,FLbefore是荧光图像的亮度值,z’是第4指数β/α(或-β/α),α是第1指数,β是第2指数,A是常数,通过如上处理,图像校正部60仅进行一次求幂运算就能高精度地校正距离的影响。
在第3变形例中,参照图像前处理部68通过作为校正系数z的第3指数(α/β或-α/β)对参照图像的亮度值求幂,获得校正用参照图像,但在第5变形例中,可由未图示的依赖常数确定部(校正系数计算部)使用通过如下方法确定的校正系数(第2校正系数)a来代替校正系数z。
如图16所示,设定校正系数a,该校正系数a使得在荧光摄像部42和白色光摄像部44的视野范围内将2个相同的标准样本81配置于不同的观察距离D0、D1且同时进行观察时,从配置于观察距离D0的校正荧光图像的关注区域85获得的亮度值与从配置于观察距离D1的校正荧光图像的关注区域85获得的亮度值大致一致。
具体而言,计算出通过如下算式获得的校正系数a,即校正系数a使得荧光图像与用校正系数a对配置于观察距离D0的标准样本81的参照图像的亮度值求幂得到的校正用参照图像之比同荧光图像与用校正系数a对配置于观察距离D1的标准样本81的参照图像的亮度值求幂得到的校正用参照图像之比大致一致。
FL(D0)/RL(D0)a=FL(D1)/RL(D1)a (5)
a=log(FL(D1)/FL(D0))/log(RL(D1)/RL(D0)) (6)
其中,FL(D0)是观察距离D0处荧光图像的亮度值,RL(D0)是观察距离D0处参照图像的亮度值,FL(D1)是观察距离D1处荧光图像的亮度值,RL(D1)是观察距离D1处参照图像的亮度值。
参照图像前处理部68通过如下算式获得活体体腔内的观察对象部位X的校正用参照图像,发送给除法处理部72。
RLafter=B×RLbefore a (7)
通过式(5)、(6)在观察距离不同的2点(D0和D1)计算出校正系数a使得校正荧光图像K的亮度值一致。另一方面,如图17(A)和图17(B)那样,关于荧光图像的亮度值与参照图像的亮度值的距离依赖性,距离的幂指数不同,而双方都处于与距离的幂大致成反比例的关系。因此在观察距离不同的2点确定的校正系数a的值成为接近第3指数α/β的值,即使对观察距离D0、D1之外的观察距离的图像进行使用校正系数a的校正,也能减少对距离的依赖性的差异。
若观察距离D0和D1的距离较近,则各个距离处荧光图像的亮度值与参照图像的亮度值的差异变小,容易产生误差,因此观察距离D0和D1的距离越大越好。
变更观察距离Dn多次获得图像,而不通过幂近似求指数,即使不知道观察距离D0、D1也能计算出校正系数a,能简单设定校正系数a。
在第4变形例中,荧光图像前处理部64通过作为第3指数的倒数的β/α(或-β/α)对荧光图像的亮度值求幂,获得校正用荧光图像,但作为第6变形例,也可以通过在第5变形例计算出的校正系数a的倒数(第1校正系数)1/a进行校正。
具体而言,FLafter=A×FLbefore (1/a) (8)
通过如上构成,能获得与第5变形例相同的效果。
在第4变形例中,作为参照图像前处理部64的校正值,设定观察距离Dn不同的2个相同的标准样本81处的校正荧光图像的亮度值大致一致的校正系数a,而在第7变形例中,也可以将通过如下算式获得的校正系数(第1校正系数、第2校正系数)b、c分别设定为荧光图像前处理部64、参照图像前处理部68的校正系数。
FL(D0)b/RL(D0)c=FL(D1)c/RL(D1)c (9)
c/b=log(FL(D1)/FL(D0))/log(RL(D1)/RL(D0)) (10)
在式(10)中,求出b与c之比,然而数值无法确定。于是将b的值任意设定(例如为2),并根据式(10)确定c的值。也可以不这样,而是在任意设定了c的值后,根据式(10)确定b的值。
将确定的校正系数b设定给荧光图像前处理部64,在荧光图像前处理部64进行如下运算。
FLafter=A×FLbefore b (11)
将确定的校正系数c设定给参照图像前处理部68,在参照图像前处理部68进行如下运算。
RLafter=B×RLbefore c (12)
其中,用校正系数c除以校正系数b得到的值与第4变形例计算出的校正系数a相等,成为接近第3指数α/β的值。本变形例也能获得与第4变形例同等的效果。
在第5~7变形例中,将2个相同的标准样本81配置于不同观察距离D0、D1而根据从各关注区域85获得的亮度值计算校正系数a,而在第8变形例中,如图18所示,可以在荧光摄像部42和白色光摄像部44的视野范围内斜向配置标准样本81,在1个标准样本81根据从观察距离Dn不同的2处关注区域85获得的亮度值计算校正系数a。
这种情况下,与本实施方式同样地,计算使得从观察距离D0处的校正荧光图像的关注区域85获得的亮度值与从观察距离D1处的校正荧光图像的关注区域85获得的亮度值大致一致的校正系数a和校正系数b、c即可。这样能够通过1个标准样本81容易设定校正系数a、b、c。
在第5变形例中,根据从观察距离Dn不同的2处关注区域85获得的亮度值设定校正系数a,而在第9变形例中,如图19所示,可以根据在斜向配置于荧光摄像部42和白色光摄像部44的视野范围内的标准样本81从3处以上的关注区域85获得的亮度值中观察距离Dn彼此接近的2处关注区域85各自的亮度值计算校正系数a。
例如计算使得从观察距离D0的关注区域85获得的亮度值与从观察距离D1的关注区域85获得的亮度值大致一致的校正系数a01、使得从观察距离D1的关注区域85获得的亮度值与从观察距离D2的关注区域85获得的亮度值大致一致的校正系数a02,根据各校正系数a01、a02的平均值(a=(a01+a02)/2)确定校正系数a即可。这样就可以根据多个关注区域85的亮度值来降低校正系数a的误差。
如图20所示,作为第10变形例,可以在斜向配置于荧光摄像部42和白色光摄像部44的视野范围内的标准样本81中,例如将包含从观察距离D0到观察距离D1的连续性距离变化的范围设定为关注区域85,使校正系数a从1开始以0.05的刻度变化,对关注区域85内的所有像素的每一个计算FL/RLa,并且如图21所示,计算每个校正系数a的关注区域85内的FL/RLa的标准偏差σ,设定标准偏差σ最小的校正系数a。这样能进一步减少校正系数a的误差。
(第2实施方式)
接着说明本发明第2实施方式的荧光观察装置以及荧光图像处理方法。
如图22所示,本实施方式的荧光观察装置200与第1实施方式的不同之处在于,图像处理部250不具备荧光曝光时间调节部54,而具有调节对荧光摄像部42获得的荧光图像信息进行放大的增益值(摄影条件、增益倍率)的荧光增益值调节部(摄影条件调节部)254。
以下对于与第1实施方式的荧光观察装置100、101构成相同的部分赋予相同符号并省略说明。
荧光增益值调节部254根据荧光图像生成部52生成的荧光图像的亮度值,调节荧光摄像部42的增益值。
荧光图像标准部62被输入由荧光增益值调节部254设定的荧光摄像部42的增益值。另外,荧光图像标准部62具有图23所示的将增益值与增益倍增率对应起来的增益倍率转换表287。
在如上构成的荧光观察装置200中,如图24的流程图所示,荧光增益值调节部254根据荧光图像生成部52生成的荧光图像的亮度值,设定荧光摄像部42的增益值(步骤SG1)。由此,在荧光图像生成部52中,与在观察对象部位X产生的荧光的入射光量无关地获得适当明亮度的荧光图像(步骤SG2)。
在荧光图像标准部62,用从荧光图像生成部52读取出的荧光图像的亮度值除以与荧光摄像部42获得荧光图像时的增益值对应的增益倍增率(步骤SG3)。由此能够使得荧光图像的增益值的影响得以标准化,将荧光图像统一为每个固定的放大值的亮度值。
(第3实施方式)
接着说明本发明第3实施方式的荧光观察装置以及荧光图像处理方法。
如图25所示,本实施方式的荧光观察装置300与第1实施方式的不同之处在于,光源310还具有半导体激光器312,图像处理部350不具备荧光曝光时间调节部54和白色光曝光时间调节部58,而具有调节照明单元20发出的激励光的调光电平的激励光调光部(摄影条件调节部)354和调节照明光的调光电平的白色光调光部(摄影条件调节部)358。
以下对于与第1实施方式的荧光观察装置100、101构成相同的部分赋予相同符号并省略说明。
光源310具有氙灯12、氙灯控制部13、切断从氙灯12发出的照明光中的红外线而仅使白色光透射的红外线截止滤波器314、发出波长频带为740nm的激励光的半导体激光器312、半导体激光器控制部313、使通过了红外线截止滤波器314的白色光透射并将从半导体激光器312射出的激励光反射从而将白色光和激励光引导至同一光路的光源二向色镜315。红外线截止滤波器14例如仅使波长频带为400~680nm的白色光透射。符号316A表示会聚通过了红外线截止滤波器314的白色光的第1耦合透镜,符号316B表示会聚由光源二向色镜315引导至同一光路的白色光和激励光的第2耦合透镜。
激励光调光部354根据荧光图像生成部52生成的荧光图像的亮度值,调节半导体激光器控制部313对半导体激光器312的调光电平。
同样地,白色光调光部358根据参照图像生成部56生成的参照图像的亮度值,调节氙灯控制部13对氙灯12的调光电平。
荧光图像标准部62被输入由激励光调光部354设定的半导体激光器控制部313的调光电平。荧光图像标准部62具有图26所示的将调光电平与激励光强度对应起来的激励光强度转换表387。
同样地,参照图像标准部66被输入由白色光调光部358设定的氙灯控制部13的调光电平。参照图像标准部66具有将调光电平与白色光强度(照明光强度)对应起来的白色光强度转换表(省略图示)。激励光强度和白色光强度通过分别以最小值作为基准的强度比来确定即可。
在如上构成的荧光观察装置300中,由氙灯12发出而通过红外线截止滤波器314且被第1耦合透镜316A会聚的白色光通过光源二向色镜315,并且由半导体激光器312发出的激励光被光源二向色镜315反射,分别通过同一光路后被第2耦合透镜316B会聚,射入光导纤维22。
在图像校正部60中,如图27的流程图所示,激励光调光部354根据荧光图像生成部52生成的荧光图像的亮度值设定半导体激光器控制部313的调光电平(步骤SL1)。由此在荧光图像生成部52改变在观察对象部位X产生的荧光强度,获得适当明亮度的荧光图像(步骤SL2)。
同样地,白色光调光部358根据参照图像生成部56生成的参照图像的亮度值设定氙灯控制部13的调光电平(步骤SM1)。由此在参照图像生成部56改变从观察对象部位X返回的白色光的强度,获得适当明亮度的参照图像(步骤SM2)。
而且荧光图像标准部62使从荧光图像生成部52读取出的荧光图像的亮度值除以与半导体激光器控制部313的调光电平对应的激励光强度(步骤SL3)。由此,激励光的调光电平的影响被标准化,能够将荧光图像统一为每个固定的激励光强度的亮度值。
另外,参照图像标准部66使从参照图像生成部56读取出的参照图像的亮度值除以与氙灯控制部13的调光电平对应的白色光强度(步骤SM3)。由此,照明光的调光电平的影响被标准化,能够将参照图像统一为每个固定的白色光强度的亮度值。
以上参照附图详细说明了本发明的实施方式,但具体构成不限于该实施方式,还包含不脱离本发明主旨的范围内的设计变更等。例如,不限于将本发明应用于上述实施方式和变形例的情况,还可以应用于适当组合这些实施方式和变形例而得到的实施方式,不做特别限定。
另外,在上述各实施方式中举例示出近红外荧光和白色光加以说明,然而不限于此,例如既可以使用可见区域的荧光代替近红外荧光,也可以使用可见区域的激励光代替白色光。另外,例如还可以在荧光图像前处理部64和参照图像前处理部68中减去荧光摄像部42和白色光摄像部44的噪声分量之后再进行求幂运算。这样能提升求幂运算的精度。
符号说明
10、310光源;20照明单元(照明部);42荧光摄像部;44白色光摄像部(返回光摄像部);54荧光曝光时间调节部(摄影条件调节部);58白色光曝光时间调节部(摄影条件调节部);60、460图像校正部;92直动工作台(观察状态设定机构);98依赖常数确定部(指数计算部、校正系数计算部);100、101、200、300、400荧光观察装置;102校正装置;150荧光观察系统;254荧光增益值调节部(摄影条件调节部);354激励光调光部(摄影条件调节部);358白色光调光部(摄影条件调节部)
Claims (20)
1.一种荧光观察装置,其具有:
照明部,其具有向被摄体照射照明光和激励光的光源;
荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;
返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及
图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光摄像部获得的上述荧光图像进行校正,
该图像校正部,用第1指数的倒数对上述荧光图像的亮度值求幂从而获得校正用荧光图像,用第2指数的倒数对上述参照图像的亮度值求幂从而获得校正用参照图像,用上述校正用荧光图像除以上述校正用参照图像从而获得校正荧光图像,上述第1指数通过对上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而获得,上述荧光图像在朝上述被摄体照射既定强度的上述激励光时由上述荧光摄像部获得,上述第2指数通过对参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而获得,上述参照图像在朝上述被摄体照射既定强度的上述照明光时由上述返回光摄像部获得。
2.根据权利要求1所述的荧光观察装置,其中,上述图像校正部还用上述第1指数对上述校正荧光图像的亮度值求幂。
3.一种荧光观察装置,其具有:
照明部,其具有向被摄体照射照明光和激励光的光源;
荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;
返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及
图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光图像摄像部获得的上述荧光图像进行校正,
该图像校正部对朝上述被摄体照射既定亮度的上述激励光时由上述荧光摄像部获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似从而求出第1指数,对朝上述被摄体照射既定亮度的上述照明光时由返回光摄像部获得的参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似从而求出第2指数,用上述第1指数除以上述第2指数得到的第3指数对上述参照图像的亮度值求幂从而获得校正用参照图像,通过用上述荧光图像除以上述校正用参照图像或者用上述第2指数除以上述第1指数而获得的第4指数对上述荧光图像的亮度值求幂从而获得校正用荧光图像,用上述校正用荧光图像除以上述参照图像从而获得校正荧光图像。
4.一种荧光观察装置,其具有:
照明部,其具有向被摄体照射照明光和激励光的光源;
荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;
返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及
图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光摄像部获得的上述荧光图像进行校正,
该图像校正部用第1校正系数对上述荧光图像的亮度值求幂从而获得校正用荧光图像,用该校正用荧光图像除以上述参照图像从而获得校正荧光图像,上述第1校正系数使得用上述第1校正系数对上述荧光图像的亮度值求幂之后得到的求幂后上述荧光图像的亮度与上述参照图像的亮度之比在多个不同距离一致。
5.一种荧光观察装置,其具有:
照明部,其具有向被摄体照射照明光和激励光的光源;
荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;
返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及
图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光摄像部获得的上述荧光图像进行校正,
该图像校正部用第2校正系数对上述参照图像的亮度值求幂从而获得校正用参照图像,用上述荧光图像除以上述校正用参照图像从而获得校正荧光图像,上述第2校正系数使得上述荧光图像的亮度与以第2校正系数对上述参照图像的亮度值求幂之后得到的求幂后上述参照图像的亮度之比在多个不同距离一致。
6.一种荧光观察装置,其具有:
照明部,其具有向被摄体照射照明光和激励光的光源;
荧光摄像部,其对由于来自该照明部的激励光的照射而在上述被摄体产生的荧光进行摄影,并获得荧光图像;
返回光摄像部,其对由于来自上述照明部的照明光的照射而从上述被摄体返回的返回光进行摄影,并获得参照图像;以及
图像校正部,其使用该返回光摄像部获得的上述参照图像,对上述荧光摄像部获得的上述荧光图像进行校正,
该图像校正部用第1校正系数对上述荧光图像的亮度值求幂从而获得校正用荧光图像,并且用第2校正系数对上述参照图像的亮度值求幂从而获得校正用参照图像,用上述校正用荧光图像除以上述校正用参照图像从而获得校正荧光图像,上述第1校正系数和上述第2校正系数使得用上述第1校正系数对上述荧光图像的亮度值求幂之后得到的求幂后上述荧光图像的亮度与用上述第2校正系数对上述参照图像的亮度值求幂之后得到的求幂后上述参照图像的亮度之比在多个不同距离一致。
7.根据权利要求1至6中任一项所述的荧光观察装置,其中,上述荧光观察装置具有根据上述荧光摄像部获得的上述荧光图像的亮度值调节摄影条件的摄影条件调节部,
上述图像校正部通过上述摄影条件使上述荧光图像的亮度标准化。
8.根据权利要求7所述的荧光观察装置,其中,上述摄影条件调节部调节上述荧光摄像部的曝光时间,
上述图像校正部使上述荧光图像的亮度值除以上述曝光时间。
9.根据权利要求7所述的荧光观察装置,其中,上述摄影条件调节部调节上述荧光摄像部的增益倍率,
上述图像校正部使上述荧光图像的亮度值除以上述增益倍率。
10.根据权利要求7所述的荧光观察装置,其中,上述摄影条件调节部调节来自上述照明部的激励光强度,
上述图像校正部使上述荧光图像的亮度值除以上述激励光强度。
11.根据权利要求1至6中任一项所述的荧光观察装置,其中,上述荧光观察装置具有根据上述返回光摄像部获得的上述参照图像的亮度值调节摄影条件的摄影条件调节部,
上述图像校正部通过上述摄影条件使上述参照图像的亮度标准化。
12.根据权利要求11所述的荧光观察装置,其中,上述摄影条件调节部调节上述返回光摄像部的曝光时间,
上述图像校正部使上述参照图像的亮度值除以上述曝光时间。
13.根据权利要求11所述的荧光观察装置,其中,上述摄影条件调节部调节上述返回光摄像部的增益倍率,
上述图像校正部使上述参照图像的亮度值除以上述增益倍率。
14.根据权利要求11所述的荧光观察装置,其中,上述摄影条件调节部调节来自上述照明部的照明光强度,
上述图像校正部使上述参照图像的亮度值除以上述照明光强度。
15.一种荧光观察系统,其具有权利要求1至3中任一项所述的荧光观察装置以及校正该荧光观察装置的校正装置,
该校正装置具有标准样本以及以能够变更的方式对该标准样本设定上述荧光观察装置的观察距离的观察状态设定机构,
上述荧光观察装置或上述校正装置具有指数计算部,该指数计算部根据上述观察状态设定机构所设定的观察距离和上述荧光观察装置对上述标准样本进行摄影而获得的荧光图像以及参照图像,计算上述第1指数和上述第2指数。
16.一种荧光观察系统,其具有权利要求4至6中任一项所述的荧光观察装置以及校正该荧光观察装置的校正装置,
该校正装置具有标准样本以及以能够变更的方式对该标准样本设定上述荧光观察装置的观察距离的观察状态设定机构,
上述荧光观察装置或上述校正装置具有校正系数计算部,该校正系数计算部根据上述观察状态设定机构所设定的观察距离和上述荧光观察装置对上述标准样本进行摄影而获得的荧光图像以及参照图像,计算上述第1校正系数和上述第2校正系数。
17.一种荧光图像处理方法,其使用参照图像对荧光图像进行如下校正处理,该参照图像通过对从照明部向被摄体照射照明光而从该被摄体返回的返回光进行摄影而获得,该荧光图像通过对从上述照明部向上述被摄体照射激励光而在该被摄体产生的荧光进行摄影而获得:
FLrevice=FLafter/RLafter,
其中,FLrevice是校正后的荧光图像的亮度值,
FLafter=A×FLbefore x、RLafter=B×RLbefore y,
FLbefore、RLbefore是所获得的荧光图像、参照图像的亮度值,
A、B是常数,
x是对朝上述被摄体照射既定强度的激励光时获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似得到的指数的倒数,
y是对朝上述被摄体照射既定强度的照明光时获得的上述参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似得到的指数的倒数。
18.一种荧光图像处理方法,其使用参照图像对荧光图像进行如下校正处理,该参照图像通过对从照明部向被摄体照射照明光而从该被摄体返回的返回光进行摄影而获得,该荧光图像通过对从上述照明部向上述被摄体照射激励光而在该被摄体产生的荧光进行摄影而获得:
FLrevice=(FLafter/RLafter)1/x,
其中,FLrevice是校正后的荧光图像的亮度值,
FLafter=A×FLbefore x、RLafter=B×RLbefore y,
FLbefore、RLbefore是所获得的荧光图像、参照图像的亮度值,
A、B是常数,
x是对朝上述被摄体照射既定强度的激励光时获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似得到的指数的倒数,
y是对朝上述被摄体照射既定强度的照明光时获得的上述参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似得到的指数的倒数。
19.一种荧光图像处理方法,其使用参照图像对荧光图像进行如下校正处理,该参照图像通过对从照明部向被摄体照射照明光而从该被摄体返回的返回光进行摄影而获得,该荧光图像通过对从上述照明部向上述被摄体照射激励光而在该被摄体产生的荧光进行摄影而获得:
FLrevice=FLbefore/RLafter,
其中,FLrevice是校正后的荧光图像的亮度值,
RLafter=B×RLbefore y,
FLbefore、RLbefore是所获得的荧光图像、参照图像的亮度值,
B是常数,
y是第1指数除以第2指数而得到的值,上述第1指数通过对朝上述被摄体照射既定强度的激励光时获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而得到,上述第2指数通过对朝上述被摄体照射既定强度的照明光时获得的上述参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而得到。
20.一种荧光图像处理方法,其使用参照图像对荧光图像进行如下校正处理,该参照图像通过对从照明部向被摄体照射照明光而从该被摄体返回的返回光进行摄影而获得,该荧光图像通过对从上述照明部向上述被摄体照射激励光而在该被摄体产生的荧光进行摄影而获得:
FLrevice=FLafter/RLbefore,
其中,FLrevice是校正后的荧光图像的亮度值,
FLafter=B×FLbefore 1/y,
FLbefore、RLbefore是所获得的荧光图像、参照图像的亮度值,
B是常数,
y是第1指数除以第2指数而得到的值,上述第1指数通过对朝上述被摄体照射既定强度的激励光时获得的上述荧光图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而得到,上述第2指数通过对朝上述被摄体照射既定强度的照明光时获得的上述参照图像的亮度的从上述照明部到上述被摄体的距离特性进行幂近似而得到。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009072852 | 2009-03-24 | ||
JP2009-072852 | 2009-03-24 | ||
PCT/JP2010/054510 WO2010110138A1 (ja) | 2009-03-24 | 2010-03-17 | 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102361580A true CN102361580A (zh) | 2012-02-22 |
CN102361580B CN102361580B (zh) | 2014-06-04 |
Family
ID=42780830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080012965.2A Expired - Fee Related CN102361580B (zh) | 2009-03-24 | 2010-03-17 | 荧光观察装置、荧光观察系统以及荧光图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (5) | US8472749B2 (zh) |
EP (1) | EP2412296A4 (zh) |
JP (1) | JP5498481B2 (zh) |
CN (1) | CN102361580B (zh) |
WO (1) | WO2010110138A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102802495A (zh) * | 2010-03-18 | 2012-11-28 | 奥林巴斯株式会社 | 荧光观察装置以及荧光观察方法 |
CN103230252A (zh) * | 2013-04-12 | 2013-08-07 | 中国科学院上海光学精密机械研究所 | 多光谱成像内窥检测系统和检测方法 |
CN103565393A (zh) * | 2012-08-01 | 2014-02-12 | 奥林巴斯株式会社 | 荧光观察装置和荧光观察系统 |
CN104471361A (zh) * | 2012-04-20 | 2015-03-25 | 色彩化学研究所有限公司 | 变角分光成像测定方法及其装置 |
CN109219385A (zh) * | 2016-06-21 | 2019-01-15 | 奥林巴斯株式会社 | 内窥镜系统、图像处理装置、图像处理方法以及程序 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011081141A1 (ja) * | 2009-12-28 | 2011-07-07 | オリンパス株式会社 | 光散乱性を有する対象の内部観察装置、生体内部観察装置および内部観察用内視鏡、並びに内部観察方法 |
JP5752945B2 (ja) * | 2011-01-24 | 2015-07-22 | オリンパス株式会社 | 内視鏡システム |
EP2656774B1 (en) * | 2011-01-31 | 2016-05-11 | Olympus Corporation | Fluorescence observation apparatus |
CN103379848B (zh) | 2011-02-21 | 2015-11-25 | 奥林巴斯株式会社 | 荧光观察装置 |
CN103491850B (zh) * | 2011-04-28 | 2016-08-17 | 奥林巴斯株式会社 | 荧光观察装置及其图像显示方法 |
EP2724657B1 (en) | 2011-06-21 | 2015-08-05 | Olympus Corporation | Fluorescence observation system, and method fluorescence image processing |
WO2013024788A1 (ja) * | 2011-08-15 | 2013-02-21 | オリンパスメディカルシステムズ株式会社 | 撮像装置 |
JP5816486B2 (ja) * | 2011-08-18 | 2015-11-18 | オリンパス株式会社 | 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法 |
JP5926909B2 (ja) * | 2011-09-07 | 2016-05-25 | オリンパス株式会社 | 蛍光観察装置 |
JP5863709B2 (ja) * | 2013-06-04 | 2016-02-17 | 富士フイルム株式会社 | 内視鏡システム |
JP6113033B2 (ja) * | 2013-09-11 | 2017-04-12 | オリンパス株式会社 | 内視鏡装置 |
JP6357377B2 (ja) * | 2014-07-24 | 2018-07-11 | オリンパス株式会社 | 観察装置 |
FR3036187B1 (fr) | 2015-05-12 | 2019-09-13 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de correction d’une image de fluorescence |
EP3231348A4 (en) * | 2015-10-30 | 2018-11-14 | Olympus Corporation | Control device for endoscope system, endoscope system, and endoscope system control method |
EP3417758A1 (en) | 2017-06-19 | 2018-12-26 | Ambu A/S | A method for processing image data using a non-linear scaling model and a medical visual aid system |
CN109758093B (zh) * | 2019-01-31 | 2023-08-25 | 广东欧谱曼迪科技有限公司 | 一种指导曝光型荧光内窥镜系统及指导曝光方法 |
US20230076477A1 (en) * | 2021-09-05 | 2023-03-09 | Shimadzu Corporation | Imaging device and imaging method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001137173A (ja) * | 1999-11-11 | 2001-05-22 | Fuji Photo Film Co Ltd | 蛍光画像測定方法および装置 |
JP2001169999A (ja) * | 1999-12-21 | 2001-06-26 | Fuji Photo Film Co Ltd | 蛍光収率測定方法および装置 |
US20030144585A1 (en) * | 1999-12-15 | 2003-07-31 | Howard Kaufman | Image processing using measures of similarity |
JP2005185452A (ja) * | 2003-12-25 | 2005-07-14 | Pentax Corp | 内視鏡装置 |
JP2008183349A (ja) * | 2007-01-31 | 2008-08-14 | Olympus Corp | 蛍光観察装置および蛍光観察方法 |
US20080255426A1 (en) * | 2007-04-13 | 2008-10-16 | Hoya Corporation | Autofluorescence endoscope system and light-source unit |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62247232A (ja) | 1986-04-21 | 1987-10-28 | Agency Of Ind Science & Technol | 蛍光測定装置 |
US20040240716A1 (en) * | 2003-05-22 | 2004-12-02 | De Josselin De Jong Elbert | Analysis and display of fluorescence images |
JP2006263044A (ja) * | 2005-03-23 | 2006-10-05 | Fuji Photo Film Co Ltd | 蛍光検出システム |
DE102007016319A1 (de) * | 2007-04-04 | 2008-10-09 | Siemens Ag | Ermittlungsverfahren zum Ermitteln einer endgültigen dreidimensionalen Rekonstruktion eines Untersuchungsobjekts durch mehrfache Segmentierung von Metall und hiermit korrespondierende einrichtungstechnische Gegenstände |
WO2009059072A2 (en) * | 2007-10-30 | 2009-05-07 | Tufts University | Analysis of endogenous fluorescence images to extract morphological/organization information about living samples |
US8031938B2 (en) * | 2008-04-14 | 2011-10-04 | Eastman Kodak Company | Method and apparatus for providing improved human observer XYZ functions and calculations for CIELAB |
JP5558178B2 (ja) * | 2010-04-07 | 2014-07-23 | オリンパス株式会社 | 蛍光観察装置 |
-
2010
- 2010-03-17 WO PCT/JP2010/054510 patent/WO2010110138A1/ja active Application Filing
- 2010-03-17 EP EP10755936.1A patent/EP2412296A4/en not_active Withdrawn
- 2010-03-17 JP JP2011505995A patent/JP5498481B2/ja not_active Expired - Fee Related
- 2010-03-17 CN CN201080012965.2A patent/CN102361580B/zh not_active Expired - Fee Related
-
2011
- 2011-09-19 US US13/235,886 patent/US8472749B2/en active Active
-
2013
- 2013-03-15 US US13/834,549 patent/US8831374B2/en active Active
- 2013-03-15 US US13/834,395 patent/US8693802B2/en active Active
- 2013-03-15 US US13/834,725 patent/US8682096B2/en active Active
- 2013-03-15 US US13/834,898 patent/US8718397B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001137173A (ja) * | 1999-11-11 | 2001-05-22 | Fuji Photo Film Co Ltd | 蛍光画像測定方法および装置 |
US20030144585A1 (en) * | 1999-12-15 | 2003-07-31 | Howard Kaufman | Image processing using measures of similarity |
JP2001169999A (ja) * | 1999-12-21 | 2001-06-26 | Fuji Photo Film Co Ltd | 蛍光収率測定方法および装置 |
JP2005185452A (ja) * | 2003-12-25 | 2005-07-14 | Pentax Corp | 内視鏡装置 |
JP2008183349A (ja) * | 2007-01-31 | 2008-08-14 | Olympus Corp | 蛍光観察装置および蛍光観察方法 |
US20080255426A1 (en) * | 2007-04-13 | 2008-10-16 | Hoya Corporation | Autofluorescence endoscope system and light-source unit |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102802495A (zh) * | 2010-03-18 | 2012-11-28 | 奥林巴斯株式会社 | 荧光观察装置以及荧光观察方法 |
CN102802495B (zh) * | 2010-03-18 | 2015-08-05 | 奥林巴斯株式会社 | 荧光观察装置以及荧光观察方法 |
CN104471361A (zh) * | 2012-04-20 | 2015-03-25 | 色彩化学研究所有限公司 | 变角分光成像测定方法及其装置 |
CN104471361B (zh) * | 2012-04-20 | 2017-05-03 | 色彩化学研究所有限公司 | 变角分光成像测定方法及其装置 |
US9823130B2 (en) | 2012-04-20 | 2017-11-21 | Office Color Science Co., Ltd. | Multi-angle spectral imaging measurement method and apparatus |
CN103565393A (zh) * | 2012-08-01 | 2014-02-12 | 奥林巴斯株式会社 | 荧光观察装置和荧光观察系统 |
CN103230252A (zh) * | 2013-04-12 | 2013-08-07 | 中国科学院上海光学精密机械研究所 | 多光谱成像内窥检测系统和检测方法 |
CN103230252B (zh) * | 2013-04-12 | 2015-03-25 | 中国科学院上海光学精密机械研究所 | 多光谱成像内窥检测系统和检测方法 |
CN109219385A (zh) * | 2016-06-21 | 2019-01-15 | 奥林巴斯株式会社 | 内窥镜系统、图像处理装置、图像处理方法以及程序 |
Also Published As
Publication number | Publication date |
---|---|
US20130200275A1 (en) | 2013-08-08 |
JPWO2010110138A1 (ja) | 2012-09-27 |
JP5498481B2 (ja) | 2014-05-21 |
WO2010110138A1 (ja) | 2010-09-30 |
US20130201320A1 (en) | 2013-08-08 |
US20120076434A1 (en) | 2012-03-29 |
US20130200273A1 (en) | 2013-08-08 |
US20130200274A1 (en) | 2013-08-08 |
EP2412296A1 (en) | 2012-02-01 |
US8682096B2 (en) | 2014-03-25 |
CN102361580B (zh) | 2014-06-04 |
EP2412296A4 (en) | 2014-12-17 |
US8831374B2 (en) | 2014-09-09 |
US8693802B2 (en) | 2014-04-08 |
US8718397B2 (en) | 2014-05-06 |
US8472749B2 (en) | 2013-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102361580B (zh) | 荧光观察装置、荧光观察系统以及荧光图像处理方法 | |
US9182347B2 (en) | Fluoroscopy apparatus, fluoroscopy system, and fluorescence-image processing method | |
CN103687529B (zh) | 荧光内窥镜装置 | |
CN102355844B (zh) | 荧光观察系统、荧光观察装置以及荧光观察方法 | |
CN111803013A (zh) | 一种内窥镜成像方法和内窥镜成像系统 | |
CN102802495B (zh) | 荧光观察装置以及荧光观察方法 | |
CN105764401A (zh) | 荧光观察装置 | |
CN212326346U (zh) | 一种内窥镜成像系统 | |
US8654185B2 (en) | Fluorescence observation apparatus | |
US9055862B2 (en) | Image processing device and image processing method | |
CN103607940B (zh) | 荧光观察装置、荧光观察系统和荧光图像处理方法 | |
JP5592700B2 (ja) | 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法 | |
US20240069316A1 (en) | Microscope and imaging method for a microscope | |
CN115087387A (zh) | 配光检查装置、配光检查方法、内窥镜系统以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140604 Termination date: 20200317 |