CN105074433A - 荧光观察装置以及荧光观察方法 - Google Patents

荧光观察装置以及荧光观察方法 Download PDF

Info

Publication number
CN105074433A
CN105074433A CN201380075257.7A CN201380075257A CN105074433A CN 105074433 A CN105074433 A CN 105074433A CN 201380075257 A CN201380075257 A CN 201380075257A CN 105074433 A CN105074433 A CN 105074433A
Authority
CN
China
Prior art keywords
image
period
field picture
exciting light
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380075257.7A
Other languages
English (en)
Other versions
CN105074433B (zh
Inventor
平译和胜
三轮光春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN105074433A publication Critical patent/CN105074433A/zh
Application granted granted Critical
Publication of CN105074433B publication Critical patent/CN105074433B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/062—LED's

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)

Abstract

在荧光观察装置(1A)中，通过取得从摄像装置(12)输出的第1帧图像以及第2帧图像中的一方与被存储在图像存储单元的第1帧图像以及第2帧图像中的另一方的差分，从而能够取得除去了背景光的影响的鲜明的观测图像。另外，在荧光观察装置(1A)中，荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间互相不同。这样，通过使荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间为非对称从而观测图像的流畅性变得良好。另外，因为激发光的开启/断开的时间对应于曝光时间的非对称性也变成非对称，所以能够减少由激发光的忽亮忽灭引起的对使用者的不协调感。

Description

荧光观察装置以及荧光观察方法
技术领域
本发明涉及荧光观察装置以及荧光观察方法。
背景技术
一直以来，众所周知相对于观测对象物供给·照射规定波长的激发光并由摄像装置取得在观测对象物发生的荧光的观测图像的荧光观察装置。所涉及的荧光观察装置例如在医疗领域中被用于所谓淋巴管或淋巴结的生物组织的鉴定等。在荧光观察中，在对观测对象物的状态的时间变化等进行观测的情况下，使用以规定的帧频(framerate)按时间序列取得图像并对观测对象物的运动图像进行观测的方法(例如参照专利文献1、2)。
现有技术文献
专利文献
专利文献1：日本专利申请公开平10-151104号公报
专利文献2：日本专利申请公开平7-155292号公报
发明内容
发明所要解决的问题
荧光观察装置由于对微弱的荧光的观测图像进行摄像，因而如果室内光或太阳光等的红外波长成分作为背景光而存在的话则恐怕观测图像的S/N比会降低。因此，为了除去背景光的影响，研究探讨获取开启激发光的供给的时候的图像(开启图像)与断开激发光的供给的时候的图像(断开图像)的差分的方法。然而，期望能够除去背景光的影响。另一方面，能够以短时间取得高的S/N比的观测图像。如果延长曝光时间的话则预计S/N比会提高，但是，如果单纯地延长曝光时间的话则恐怕会失去对象物的图像(运动图像)的流畅性。另外，由于开启图像的曝光时间与断开图像的曝光时间的关系，相对于目视辨认观测图像的使用者恐怕会产生由激发光的忽亮忽灭引起的不协调感。
本发明是为了解决上述问题而完成的发明，其目的在于，提供一种能够获得鲜明且视觉辨认性优异的观测图像的荧光观察装置以及荧光观察方法。
解决问题的技术手段
为了解决上述问题，本发明所涉及的荧光观察装置，其特征在于，具备：激发光供给单元，相对于观测对象物提供用于荧光观测的激发光并且能够切换激发光的供给的开启/断开(ON/OFF)；逐行(progressive)读出式的摄像单元，对来自观测对象物的光学图像进行摄像并且作为所获得的观测对象物的图像数据而以时间序列交替地输出第1帧图像以及第2帧图像；图像存储单元，存储从摄像单元输出的第1帧图像或者第2帧图像；差分图像生成单元，生成取得了从摄像单元输出的第1帧图像以及第2帧图像中的一方与存储在图像存储单元的第1帧图像以及第2帧图像中的另一方之差分的差分图像；激发光供给单元以由摄像单元进行的第1帧图像取得期间以及第2帧图像取得期间中的一方成为开启激发光的供给的荧光图像取得期间，另一方成为断开激发光的供给的背景图像取得期间的方式切换激发光的供给，在摄像单元中，荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间互相不同。
在该荧光观察装置中，由逐行读出而以时间序列取得观测对象物的图像数据。另外，以第1帧图像取得期间以及第2帧图像取得期间中的一方成为荧光图像取得期间而另一方成为背景图像取得期间的方式使帧图像的取得与激发光的开启/断开相同步。由此，通过取得从摄像单元输出的第1帧图像以及第2帧图像中的一方与存储在图像存储单元的第1帧图像以及第2帧图像中的另一方之差分，从而能够取得除去了背景光的影响的鲜明的观测图像。另外，在该荧光观测装置中，荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间互相不同。这样，通过使荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间为非对称从而观测图像的流畅性变得良好。另外，因为激发光的开启/断开的时间对应于曝光时间的非对称性也变成非对称，所以能够减少由激发光的忽亮忽灭引起的对使用者的不协调感。
另外，优选，还具备基于荧光图像取得期间的曝光时间与背景图像取得期间曝光时间之比，修正荧光图像的亮度以及背景图像的亮度的图像处理单元。通过修正由曝光时间的不同引起的荧光图像与背景图像之间的亮度的不同，从而在取得差分的时候能够有效地除去背景光的影响，并且能够取得更加鲜明的观测图像。
另外，图像处理单元优选与激发光供给的切换相同步地执行使用第1修正值来修正荧光图像亮度的第1修正、以及基于第2修正值修正背景图像的亮度的第2修正。在此情况下，因为在各个图像取得期间内进行亮度的修正所以能够谋求到处理的迅速化。
另外，激发光供给单元优选以荧光图像取得期间长于背景图像取得期间的方式切换激发光的供给。由此，在荧光图像中能够进一步充分地确保观测对象物的荧光强度。因此，可以获得更加鲜明的观测图像。
另外，背景图像取得期间的曝光时间或者荧光图像取得期间的曝光时间优选被设定成小于30msec。在此情况下，因为荧光图像取得期间或者背景图像取得期间被设定成人体中的视网膜的时间分辨能力以下，所以能够进一步有效地减少由激发光的忽亮忽灭引起的对使用者的不协调感。还有，在背景图像取得期间的曝光时间被设定成小于30msec的情况下，因为荧光图像取得期间相对变长所以在荧光图像中能够进一步充分地确保观测对象物的荧光强度。因此，可以获得更加鲜明的观测图像。
另外，优选荧光图像取得期间以及背景图像取得期间的合计时间被设定成60msec以下。这样的话，能够进一步确保观测图像的流畅性。
另外，优选还具备将白色光提供给观测对象物的白色光供给单元、对由白色光供给单元形成的观测对象物的光学图像进行摄像的摄像单元、以及使由摄像单元摄像的彩色图像重叠于由差分图像生成单元生成的差分图像的重叠图像生成单元。因为通过使由白色光供给单元形成的观测对象物的彩色图像重叠于差分图像从而荧光被显示于由彩色表示的观测对象物，所以进一步提高了观测图像的视觉辨认性。
另外，优选还具备：滤波处理单元，其相对于从图像存储单元输出到差分图像生成单元的荧光图像或者背景图像，对于包含于这些图像中的各个像素的亮度，进行将对对象像素加上处于其附近的规定范围内的像素后的多个像素中的最大亮度作为对象像素的亮度的最大滤波处理、或者将对对象像素加上处于其附近的规定范围内的像素后的多个像素中的最小亮度作为对象像素的亮度的最小滤波处理。
在第1帧图像与第2帧图像的差分图像中，例如会有假的差分图像成分在明亮的图像部分与暗淡的图像部分的边界被抽出的情况。另外，即使是在对于观测对象物来说有活动情况下，也会有假的差分图像成分被抽出的情况。相对于此，通过将最大滤波处理以及最小滤波处理应用于背景图像和荧光图像从而能够抑制假的差分图像成分的抽出。
另外，本发明所涉及的荧光观察方法，其特征在于，具备：激发光供给步骤，相对于观测对象物提供用于荧光观测的激发光并且切换激发光的供给的开启/断开；摄像步骤，对来自观测对象物的光学图像进行摄像并且作为所获得的观测对象物的图像数据将第1帧图像以及第2帧图像以时间序列交替地进行逐行读出；图像存储步骤，存储摄像步骤中获得的第1帧图像或者第2帧图像；差分图像生成步骤，生成取得了摄像步骤中获得的第1帧图像以及第2帧图像中的一方与图像存储步骤中存储的第1帧图像以及第2帧图像中的另一方之差分的差分图像；在激发光供给步骤中，以摄像步骤中的第1帧图像取得期间以及第2帧图像取得期间中的一方成为开启激发光的供给的荧光图像取得期间，另一方成为断开激发光的供给的背景图像取得期间的方式切换激发光的供给，在摄像步骤中，使荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间互相不同。
在该荧光观察方法中，由逐行读出而以时间序列取得观测对象物的图像数据。另外，以第1帧图像取得期间以及第2帧图像取得期间中的一方成为荧光图像取得期间而另一方成为背景图像取得期间的方式使帧图像的取得与激发光的开启/断开相同步。由此，通过取得在摄像步骤中获得的第1帧图像以及第2帧图像中的一方与在图像存储步骤中存储的第1帧图像以及第2帧图像中的另一方之差分，从而能够取得除去了背景光的影响的鲜明的观测图像。另外，在该荧光观测方法中，荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间互相不同。这样，通过使荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间为非对称从而观测图像的流畅性变得良好。另外，因为激发光的开启/断开的时间对应于曝光时间的非对称性也变成非对称，所以能够减少由激发光的忽亮忽灭引起的对使用者的不协调感。
发明的效果
根据本发明所涉及的荧光观察装置以及荧光观察方法，能够获得鲜明且视觉辨认性优异的观测图像。
附图说明
图1是表示本发明的第1实施方式所涉及的荧光观察装置的方块图。
图2是表示在图1所表示的荧光观察装置中被执行的荧光观察方法的时序图。
图3是表示比较例中的图像的一个例子的示意图，(a)为荧光图像，(b)为背景图像，(c)为差分图像。
图4是表示实施例中的图像的一个例子的示意图，(a)为荧光图像，(b)为背景图像，(c)为差分图像。
图5是表示本发明的第2实施方式所涉及的荧光观察装置的方块图。
图6是表示在图5所表示的荧光观察装置中被执行的荧光观察方法的时序图。
图7是表示在图5所表示的荧光观察装置中被执行的荧光观察方法的变形例的时序图。
图8是表示本发明的第3实施方式所涉及的荧光观察装置的方块图。
图9是表示在图8所表示的荧光观察装置中被执行的荧光观察方法的时序图。
图10是表示图8所表示的荧光观察装置中的图像的一个例子的示意图，(a)为背景图像，(b)荧光图像。
图11是表示在图10的例子中假的差分图像成分的除去的情况的示意图，(a)为取得通常的差分的情况，(b)、(c)为进行了最大滤波处理的情况。
图12是表示在图8所表示的荧光观察装置中被执行的荧光观察方法的变形例的时序图。
图13是表示图8所表示的荧光装置中的图像的一个例子的示意图，(a)为荧光图像，(b)为背景图像。
图14是表示在图13的例子中假的差分图像成分的除去的情况的示意图，(a)为取得通常的差分的情况，(b)为进行了最大滤波处理的情况。
图15是表示在图8所表示的荧光观察装置中被执行的荧光观察方法的其他的变形例的时序图。
具体实施方式
以下，参照附图，对本发明所涉及的荧光观察装置以及荧光观察方法的优选的实施方式进行详细的说明。
[第1实施方式]
图1是表示本发明的第1实施方式所涉及的荧光观察装置的方块图。同图所表示的荧光观察装置1A以通过以规定的帧频(framerate)按时间序列取得有关观察对象物P的观察图像从而使用者能够以动画观察观测对象物P的方式被构成。观测对象物P例如是生物组织，预先导入有吲哚菁绿(indocyaninegreen)等的荧光色素。荧光观察装置1A具备例如激发光源11、摄像装置12、图像处理部13、帧存储器14、差分运算器15、显示装置16、以及控制装置17。
激发光源11是一种相对于观测对象物P提供用于荧光观测的激发光的装置。作为激发光源11使用例如近红外的LED或SLD。激发光源11由控制装置17的控制而能够切换激发光的供给的开启/断开(ON/OFF)。激发光源11更加具体来说以与摄像装置12的动作相同步地将激发光提供给观测对象物的方式进行控制。激发光源11以由摄像装置12进行的第1帧图像取得期间以及第2帧图像取得期间中的一方成为开启激发光的供给的荧光图像取得期间，另一方成为断开激发光的供给的背景图像取得期间的方式进行激发光的供给。还有，所谓激发光的供给的开启，是指例如使激发光源11点灯的状态，所谓激发光的供给的断开，是指例如使激发光源熄灯的状态。另外，对于激发光的供给的断开来说，不仅限于完全地停止激发光的供给的情况，还包括与开启的情况相比减小激发光的强度的情况。
摄像装置12是一种由控制装置17的控制来对来自观测对象物P的光学图像进行摄像的装置。摄像装置12是一种作为观测对象物P的图像数据而以时间序列交替地输出第1帧图像以及第2帧图像的逐行(progressive)读出式的摄像装置。逐行读出式的摄像装置是一种作为摄像元件的信号读出方式而采用了逐行读出的装置。逐行读出与摄像元件的信号读出方式之一的交错(interlaced)读出不同，是一种在光栅扫描(rasterscanning)中不进行跳跃扫描而依次读出信号的方式。摄像装置12具备将激发光波长区域的光截止(cut)并且使荧光波长区域的光透过的滤波器等的分光单元(没有图示)，由CCD图像传感器或CMOS图像传感器等的面图像传感器(areaimagesensor)来对来自分光单元的光进行摄像。
在该摄像装置12中，1帧的图像取得期间由曝光时间和图像数据的读出时间所构成，荧光图像取得期间的曝光时间和背景图像取得期间的曝光时间以互相不同的方式设定。因此，荧光图像取得期间的曝光时间和背景图像取得期间的曝光时间不相等，以任意一方与另一方相比变长的方式被设定，在本实施方式中，荧光图像取得期间的曝光时间以相对于背景图像取得期间的曝光时间变长的方式被设定，它们的比例如成为5∶1左右。还有，也可以以短于背景取得期间的方式设定荧光图像取得期间。
第1帧的图像取得期间的曝光时间以及第2帧的图像取得期间的曝光时间例如被设定成100msec以下，优选被设定成60msec以下。在逐行读出式的摄像装置中，帧频一般为30fps左右，1帧的图像取得期间为33.3msec左右。因此，对于获得了荧光图像与背景图像之差分的差分图像(下述)的取得来说因为有必要取得2帧量的图像，所以60msec左右的时间作为第1帧图像取得期间的曝光时间以及第2帧图像取得期间的曝光时间的合计时间而成为必要，差分图像的帧频成为16.7fps左右。
一般来说，人体中的视网膜的时间分辨能力为50msec～100mse左右的范围，在超过该范围的时间分辨能力的情况(小于所对应的帧频的帧频的情况)下，恐怕失去以动画显示差分图像的时候的流畅性。因此，通过将第1帧图像取得期间以及第2帧图像取得期间设为100msec以下并且优选设为60msec以下，从而能够保证差分图像的流畅性。
另外，荧光图像取得期间的曝光时间被设定在30msec以上，另一方面，背景图像取得期间的曝光时间被设定在30msec以下。这样，通过充分地确保荧光图像取得期间从而能够取得鲜明的荧光图像。另一方面，背景图像取得期间的曝光时间与荧光图像取得期间的曝光时间相比即使短也不会在背景图像的取得方面有问题，即使是10msec左右也是足够的。还有，读出时间通常是数十μsec～数百μsec左右，相比于曝光时间非常小。因此，如果调整曝光时间的设定的话则能够取得充分鲜明的荧光图像。
再有，荧光图像取得期间的曝光时间以及背景图像取得期间的曝光时间中的任意一方优选被设定成人体中的视网膜的时间分辨能力以下。在本实施方式中，配合于荧光图像取得期间与背景图像取得期间的切换，激发光源11的激发光的开启/断开也被切换。即，控制装置17以在荧光图像取得期间的曝光时间中激发光成为开启的方式控制激发光源11，并且控制装置17以在背景图像取得期间的曝光时间中激发光成为断开的方式(以激发光的强度变小的方式)控制激发光源11。对于视网膜的时间分辨能力来说有各人差异，但是大概在50msec～100msec的范围内。因此，荧光图像取得期间的曝光时间以及背景图像取得期间的曝光时间中的任意一方如果是小于30msec的话则相对于视觉辩认观测图像的使用者能够有效地减少由激发光的忽亮忽灭引起的不协调感。
图像处理部13是一种基于由控制装置17进行的控制来调整由摄像装置12进行摄像的图像数据的亮度的图像处理部分。图像处理部13基于荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间之比，修正荧光图像的亮度以及背景图像的亮度。图像处理部13配合于输入基于荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间之比的修正值的图像的切换来进行切换，修正荧光图像的亮度以及背景图像的亮度。即，图像处理部13配合于激发光源11的激发光的开启/断开的切换来切换修正值。
如本实施方式那样，在荧光图像取得期间的曝光时间以相对于背景图像取得期间的曝光时间变长的方式进行设定的情况下，图像处理部13例如在将荧光图像取得期间的曝光时间设为t1并且将背景图像取得期间的曝光时间设为t2的情况下，如果荧光图像被输入的话则就这样维持荧光图像的亮度(第1修正值)，另一方面，如果背景图像被输入的话则使背景图像的亮度为(t1/t2)倍(第2修正值)。还有，有关于被输入的图像的切换的信号从控制装置17被输入到图像处理部13。
这样，通过修正由曝光时间的差异引起的荧光图像与背景图像之间的亮度差异，从而能够在取得差分的时候有效地除去背景光的影响，能够取得更加鲜明的观测图像。还有，即使是在就这样维持被输入到图像处理部13的亮度并进行输出的情况下，如果修正值考虑为1倍的修正的话即可。另外，图像处理部13也可以就这样维持背景图像的亮度(第2修正值)，另一方面，使荧光图像的亮度为(t2/t1)倍(第1修正值)。
帧存储器14是一种存储从摄像装置12输出的第1帧图像或者第2帧图像的部分。帧存储器14存储由图像处理部13进行修正的荧光图像或者背景图像。
差分运算器15是一种生成取得了从摄像装置12输出的第1帧图像以及第2帧图像中的一方与被存储到图像存储单元的第1帧图像以及第2帧图像的另一方之差分的差分图像的部分。更加具体来说，将从图像处理部13输出的荧光图像或者背景图像中的一方和被存储到帧存储器14的荧光图像以及背景图像中的另一方输入到差分运算器15并进行该差分的运算。
作为差分运算器，例如使用算术逻辑装置(ALU：ArithmeticLogicUnit)。图像处理部13的输出被输出到差分运算器15的A1输入端子，帧存储器14的输出被连接到差分运算器15的B1输入端子。另外，运算结果即差分图像从差分运算器15的Y1输出端子被输出至显示装置16。还有，在差分运算中，在运算结果成为负的情况下成为0输出。
显示装置16为显示由差分运算器15生成的差分图像的装置。在荧光观察装置1A中可以设置显示装置16以外的图像输出装置也可以不设置显示装置16而作为将所获得的差分图像的图像数据输出至外部的结构。
图2是表示在图1所表示的荧光观察装置中被执行的荧光观察方法的时序图。在该时序图中，(a)表示激发光源的开启/断开，(b)表示摄像装置中的第1帧图像取得期间以及第2帧图像取得期间，(c)表示差分运算器的A1输入，(d)表示差分运算器的B1输入，(e)表示被生成的差分图像。
在图2的时序图中，用于取得1帧的差分图像的帧图像取得期间TN由第1帧图像取得期间T11和第2帧图像取得期间T21所构成。在同图的例子中，图像取得期间T11是荧光图像取得期间，激发光的供给成为开启。另外，图像取得期间T21是背景图像取得期间，激发光的供给成为断开。
如以上所述，荧光图像取得期间的曝光时间t1以长于背景图像取得期间的曝光时间t2的方式被设定。在图2的例子中，曝光时间t1例如成为50msec，曝光时间t2例如成为10msec。因此，图像取得期间T11中的激发光的开启时间也大约成为50msec，图像取得期间T21中的激发光的断开时间也大约成为10msec。还有，摄像装置的读出时间也被加到这些激发光的开启时间以及断开时间。
以图像取得期间T11取得的荧光图像在图像取得期间T21中经过基于图像处理部13中的第1修正值的亮度修正而被输入到差分运算器15的A1输入端子。另外，以1个之前的帧图像取得期间TN-1的图像取得期间T20进行取得的背景图像在图像取得期间T11中经过基于图像处理部13中的第2修正值的亮度修正而被输入到帧存储器14，并在图像取得期间T21中被输入到差分运算器15的B1输入端子。然后，在图像取得期间T21中执行取得A1输入的荧光图像与B1输入的背景图像之差分的A1-B1运算，并生成荧光被抽出的差分图像。
激发光的供给、摄像装置12中的摄像、图像处理部13中的亮度修正以及差分运算器15中的差分图像的生成在各个帧图像取得期间的第1帧图像取得期间以及第2帧图像取得期间中被重复执行。由此，所生成的差分图像从Y1输出以时间序列被输出到显示装置16，观测对象物P的观测图像作为运动图像被显示。
如以上所说明的那样，在荧光观测装置1A中，由逐行读出以时间序列取得观测对象物P的图像数据。另外，以第1帧图像取得期间以及第2帧图像取得期间中的一方成为荧光图像取得期间而另一方成为背景图像取得期间的方式使帧图像的取得和激发光的开启/断开同步。由此，通过取得从摄像装置12输出的第1帧图像以及第2帧图像中的一方与被存储在图像存储单元的第1帧图像以及第2帧图像中的另一方之差分，从而能够取得除去了背景光的影响的鲜明的观测图像。
另外，在该荧光观测装置1A中，荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间互相不同。这样，通过使荧光图像取得期间的曝光时间和背景图像取得期间为非对称，从而观测图像的流畅性变得良好。另外，因为激发光的开启/断开的时间对应于曝光时间的非对称性也成为非对称，所以能够减少由激发光的忽亮忽灭引起的给使用者的不协调感。
在该荧光观测装置1A中，基于荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间之比，修正荧光图像的亮度以及背景图像的亮度。这样，通过修正由曝光时间的差异引起的荧光图像与背景图像之间的亮度的差异，从而能够在取得差分的时候有效地除去背景光的影响，并且能够取得更加鲜明的观测图像。
在本实施方式中，以荧光图像取得期间长于背景图像取得期间的方式切换激发光的供给，伴随于此，荧光图像取得期间的曝光时间以长于背景图像取得期间的曝光时间的方式进行设定。由此，能够以充分的曝光时间取得荧光图像，并且在荧光图像中能够进一步充分地确保观测对象物的荧光强度。因此，可以获得更加鲜明的观测图像。
图3是表示比较例中的图像的一个例子的示意图，(a)为荧光图像，(b)为背景图像，(c)为差分图像。另外，图4是表示实施例中的图像的一个例子的示意图，(a)为荧光图像，(b)为背景图像，(c)为差分图像。
在图3所表示的比较例中，荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间之比被设为1∶1(30msec∶30msec)。另外，在图4所表示的实施例中，在与比较例相同地设定帧图像取得期间之后将荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间之比设定为5∶1(50msec∶10msec)，将背景图像的亮度以5倍修正从而取得与荧光图像的差分。根据该结果，即使是在使荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间不同的荧光观测装置1A的荧光观测方法中，也能够确认可以有效地除去背景光的影响并取得鲜明的观测图像。
[第2实施方式]
图5是表示本发明的第2实施方式所涉及的荧光观察装置的方块图。如同图所示，第2实施方式所涉及的荧光观测装置1B在还具备将白色光提供给观测对象物P的白色光源21、对由白色光源21形成的观测对象物P的光学图像进行摄像的摄像装置22、使由摄像装置22进行摄像的彩色图像重叠于由差分运算器15生成的差分图像的重叠运算器23的方面与第1实施方式不同。
白色光源21例如是白色LED等的照明光源。另外，摄像装置22具备使可视范围的光透过的滤波器等的分光单元(没有图示)，将来自分光单元的光由CCD图像传感器或CMOS图像传感器等的面图像传感器(areaimagesensor)，对观测对象物P的彩色图像进行摄像。还有，激发光源用的摄像装置12和白色光源用的摄像装置22优选以对被同轴分光的光学图像进行摄像的方式进行配置。在此情况下，如果以能够分别对例如由棱镜或分光镜(beamsplitter)等的分光单元(没有图示)被分光成多条光路的光学图像进行摄像的方式配置面图像传感器即可。另外，被分光成多条光路的光学图像也可以作为由1个面图像传感器进行受光的结构。
重叠运算器23是一种与差分运算器15相同的算术逻辑装置。由摄像装置22取得的彩色图像数据被输入到重叠运算器23的A2输入端子，来自差分运算器15的Y1输出端子的差分图像数据被输入到重叠运算器23的B2输入端子。于是，重叠运算器23将彩色图像重叠于差分图像数据并从Y2输出端子输出到显示装置16。
图6是表示在图5所表示的荧光观察装置中被执行的荧光观察方法的时序图。在该时序图中，(a)表示激发光源的开启/断开，(b)表示白色光源开启/断开，(c)表示激发光源用的摄像装置中所涉及的第1帧图像取得期间以及第2帧图像取得期间，(d)表示白色光源用的摄像装置中的第1帧图像取得期间以及第2帧图像取得期间，(e)表示所生成的差分图像，(f)表示所生成的重叠图像。
在图6的时序图中，激发光源11和激发光源11用的摄像装置12的动作以及所生成的差分图像与图2的情况相同。白色光源21即使是在荧光图像取得期间以及背景图像取得期间中的任一期间中也成为开启状态而不变，白色光源21用的摄像装置22与激发光源11用的摄像装置12的动作同步，执行彩色图像的曝光以及读出。于是，在图像取得期间T21，执行取得A2输入的彩色图像与B2输入的差分图像的重叠的A2+B2运算，由此，生成了差分图像被重叠于彩色图像的观察图像。
即使是在以上那样的荧光观察装置1B中，荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间也互相不同。这样，通过使荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间为非对称从而观测图像的流畅性变得良好。另外，因为激发光的开启/断开的时间对应于曝光时间的非对称性也变成非对称，所以能够减少由激发光的忽亮忽灭引起的给使用者的不协调感。另外，因为通过使由白色光源21形成的观测对象物P的彩色图像重叠于差分图像从而荧光被显示于由彩色进行显示的观测对象物P，所以能够进一步提高观测图像的视觉辨认性。
还有，在图6的时序图中，因为常时将白色光源21作为开启(点灯)的状态所以白色光源21的白色光的波长区域与激发光源11的激发光的波长区域即使重复(包括一部分重复)也在荧光图像和背景图像中包含被白色光激发的荧光，并且在差分图像中排除了该影响。但是，如图7所示，也可以以与激发光源11的开启/断开的切换翻转的方式切换白色光源21的开启/断开。还有，即使是由图6所表示的时序图的情况下，也因为通过以从来自白色光源21的白色光的波长区域截止激发光的波长区域的光的方式将带通滤波器等的分光单元(没有图示)配置于白色光源21的白色光的光路上从而荧光图像能够避免由于白色光源而受到影响，所以能够适宜地获得以彩色进行显示的观测图像。
[第3实施方式]
图8是表示本发明的第3实施方式所涉及的荧光观察装置的方块图。如同图所示，第3实施方式所涉及的荧光观测1C在帧存储器14的后段还具备MAX/MIN滤波器31的方面与第1实施方式不同。
该MAX/MIN滤波器31为如下滤波器：相对于从帧存储器14输出到差分运算器15的荧光图像或者背景图像，对于包含于这些图像中的各个像素的亮度，进行将对对象像素加上处于其附近的规定范围内的像素后的多个像素中的最大亮度作为对象像素的亮度的最大滤波处理、或者将对对象像素加上处于其附近的规定范围内的像素后的多个像素中的最小亮度作为对象像素的亮度的最小滤波处理。
图9是表示在图8所表示的荧光观察装置中被执行的荧光观察方法的时序图。在同图所表示的例子中，以图像取得期间T11取得的荧光图像在图像取得期间T21中经过基于图像处理部13中的第1修正值的亮度修正而被输入到差分运算器15的A1输入端子。另外，以1个之前的帧图像取得期间TN-1的图像取得期间T20进行取得的背景图像在图像取得期间T11中经过基于图像处理部13中的第2修正值的亮度修正而被输入到帧存储器14，并在图像取得期间T21中在由MAX/MIN滤波器31进行最大滤波处理之后被输入到差分运算器15的B1输入端子。于是，在图像取得期间T21中，执行取得A1输入的荧光图像与B1输入的背景图像之差分的A1-MAX(B1)运算，并生成荧光被抽出的差分图像。
即使是在以上那样的荧光观察装置1C中，荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间也互相不同。这样，通过使荧光图像取得期间的曝光时间与背景图像取得期间的曝光时间为非对称从而观测图像的流畅性变得良好。另外，因为激发光的开启/断开的时间对应于曝光时间的非对称性也变成非对称，所以能够减少由激发光的忽亮忽灭引起的给使用者的不协调感。
另外，在荧光观察装置1C中，相对于从帧存储器14被输出到差分运算器15的背景图像，进行由MAX/MIN滤波器31进行的最大滤波处理。在第1帧图像与第2帧图像的差分图像中，例如会有假的差分图像成分在明亮的图像部分与暗淡的图像部分的边界上被抽出的情况。另外，即使是在对于观测对象物P来说有活动的情况下也会有假的差分图像成分被抽出的情况。相对于此，通过将最大滤波处理应用于背景图像从而能够抑制假的差分图像成分的抽出。
接着，对由MAX/MIN滤波器31的最大滤波处理得到的假的差分图像成分的抽出的抑制效果进行说明。图10是表示图8所表示的荧光观察装置中的图像的一个例子的示意图，(a)为背景图像，(b)荧光图像。这些背景图像以及荧光图像是已完成亮度修正，表示从取得背景图像到取得荧光图像为止，观测对象物P仅以2个像素份向上侧移动的状态。另外，图11是表示在图10的例子中假的差分图像成分的除去的情况的示意图，(a)为取得通常的差分的情况，(b)、(c)为进行了最大滤波处理的情况。
图11(a)的X为沿着图10(a)的线L1的亮度分布，Y表示沿着图10(b)的线L2的亮度分布。相对于在亮度分布X中，从图中的上侧的像素按顺序成为“暗→亮→暗→亮→暗→暗→亮→亮→亮→暗→暗”，在亮度分布Y中，观测对象物P移动的结果，从图中的上侧按顺序成为“暗→亮→暗→暗→亮→亮→亮→暗→暗→亮→亮”。此时，在由Y-X运算取得的差分图像中，本来除了荧光信号之外所有的像素中亮度分布不得不成为“暗”，但是在亮度分布Y为“亮”并且亮度分布X为“暗”的像素中产生假的差分图像成分Z1,Z2。
相对于这样的假的差分图像成分，在图11(b)中，将滤波处理的像素数设为n＝2并进行最大滤波处理，将对对象像素加上了在垂直方上在时间上之前的1个像素后的2个像素中的最大亮度作为对象像素的亮度。另外，在图11(c)中，将滤波处理的像素数设为n＝3并进行最大滤波处理，将对对象像素加上了在垂直方上在时间上之前的2个像素后的3个像素中的最大亮度作为对象像素的亮度。
如图11(b)所示，在n＝2的最大滤波处理中，在背景图像的亮度分布MAX(X)中，1个之前的像素的亮度从“暗”被替换成“亮”，并成为“暗→亮→亮→亮→亮→暗→亮→亮→亮→亮→暗”。由此，在由Y-MAX(X)运算获得的差分图像中，假的差分图像成分Z1,Z2被除去。另外，在由Y-MAX(X)运算获得的差分图像中，因为亮度分布MAX(X)中的第6个像素依然为“暗”，所以产生了假的差分图像成分Z3。
相对于此，如图11(c)所示，在n＝3的最大滤波处理中，在背景图像的亮度分布MAX(X)中，2个之前以及1个之前的像素的亮度从“暗”被替换成“亮”，并成为“暗→亮→亮→亮→亮→亮→亮→亮→亮→亮→亮”。由此，在由Y-MAX(X)运算获得的差分图像中，所有的假的差分图像成分被除去。
图12是表示在图8所表示的荧光观察装置中被执行的荧光观察方法的变形例的时序图。在同图所表示的例子中，以图像取得期间T11取得的荧光图像在图像取得期间T21中经过基于图像处理部13中的第1修正值的亮度修正而被输入到帧存储器14。被输入到帧存储器14的荧光图像在图像取得期间T12中由MAX/MIN滤波器31进行最小滤波处理，之后被输入到差分运算器15的B1输入端子。另外，以图像取得期间T21取得的背景图像在图像取得期间T12中经过基于图像处理部13中的第2修正值的亮度修正而被输入到差分运算器15的A1输入端子。于是，在图像取得期间T12中，执行取得B1输入的荧光图像与A1输入的背景图像之差分的MIN(B1)-A1运算，生成荧光被抽出的差分图像。
接着，对由MAX/MIN滤波器31的最小滤波处理得到的假的差分图像成分的抽出的抑制效果进行说明。图13是表示图8所表示的荧光观察装置中的图像的一个例子的示意图，(a)为荧光图像，(b)背景图像。这些荧光图像以及背景图像是已完成亮度修正，表示从取得荧光图像到取得背景图像为止，观测对象物P仅以2个像素份向下侧移动的状态。另外，图14是表示在图13的例子中假的差分图像成分的除去的情况的示意图，(a)为取得通常的差分的情况，(b)、(c)为进行了最小滤波处理的情况。
图14(a)的X为沿着图13(a)的线L3的亮度分布，Y表示沿着图13(b)的线L4的亮度分布。相对于在亮度分布X中从图中的上侧的像素按顺序成为“暗→亮→暗→暗→亮→亮→亮→暗→暗→亮→亮”，在亮度分布Y中，观测对象物P移动的结果，从图中的上侧按顺序成为“暗→亮→暗→亮→暗→暗→亮→亮→亮→暗→暗”。此时，在由Y-X运算取得的差分图像中，在亮度分布X为“亮”并且亮度分布Y为“暗”的像素上产生假的差分图像成分Z4,Z5。
相对于这样的假差分图像成分，在图14(b)中，将滤波处理的像素数设为n＝2并进行最小滤波处理，将对对象像素加上了在垂直方上在时间上之前的1个像素后的2个像素中的最小亮度作为对象像素的亮度。另外，在图14(c)中，将滤波处理的像素数设为n＝3并进行最小滤波处理，将对对象像素加上了在垂直方上在时间上之前的2个像素后的3个像素中的最小亮度作为对象像素的亮度。
如图14(b)所示，在n＝2的最小滤波处理中，在荧光图像的亮度分布MIN(X)中，1个之前的像素的亮度从“亮”被替换成“暗”，并成为“暗→暗→暗→暗→暗→亮→亮→暗→暗→暗→亮”。由此，在由MIN(X)-Y运算获得的差分图像中，假的差分图像成分Z4,Z5被除去。另一方面，在由MIN(X)-Y运算获得的差分图像中，因为亮度分布MIN(X)中的第6,7个像素依然为“亮”所以产生了假的差分图像成分Z6。
相对于此，如图14(c)所示，在n＝3的最小滤波处理中，在荧光图像的亮度分布MIN(X)中，2个之前以及1个之前的像素的亮度从“亮”被替换成“暗”，并成为“暗→暗→暗→暗→暗→暗→亮→暗→暗→暗→暗”。由此，在由MIN(X)-Y运算获得的差分图像中，所有的假的差分图像成分被除去。
还有，也可以组合上述的最大滤波处理以及最小滤波处理。图15是表示在图8所表示的荧光观察装置中被执行的荧光观察方法的其他的变形例的时序图。在同图所表示的例子中，以图像取得期间T11取得的荧光图像在图像取得期间T21中经过基于图像处理部13中的第1修正值的亮度修正而被输入到帧存储器14并且被输入到差分运算器15的A1输入端子。另外，以图像取得期间T20取得的背景图像在图像取得期间T21中经过基于图像处理部13中的第2修正值的亮度修正而由MAX/MIN滤波器31被最大滤波处理，之后被输入到差分运算器15的B1输入端子。于是，在图像取得期间T21中，执行取得A1输入的荧光图像与B1输入的背景图像之差分的A1-MAX(B1)运算，生成荧光被抽出的差分图像。
另一方面，被输入到帧存储器14的荧光图像在图像取得期间T12中由MAX/MIN滤波器31被最小滤波处理，之后被输入到差分运算器15的B1输入端子。另外，以图像取得期间T21取得的背景图像在图像取得期间T12中经过基于图像处理部13中的第2修正值的亮度修正而被输入到差分运算器15的A1输入端子，并且被输入到帧存储器14。于是，在图像取得期间T12中，执行取得B1输入的荧光图像与A1输入的背景图像之差分的MIN(B1)-A1运算，生成荧光被抽出的差分图像。
在MAX/MIN滤波器31中的最大滤波处理以及最小滤波处理中，如果将应用滤波处理的对象像素的附近的像素数n设定为较大的话则能够提高假的差分图像成分的除去能力。另一方面，如果将像素数n设定为较大的话则会产生用于执行滤波处理的电路规模的增大等的问题。另外，大的像素数n中的滤波处理的执行也有例如减小了差分图像自身的效果。
如果考虑这样的点的话则最大滤波处理以及最小滤波处理中的对象像素的附近的像素数n优选设定成3以上且50以下的整数。另外，对于相对于对象像素在垂直方向上在时间上成为后的像素而言，对应于滤波处理电路、存储器的结构等，也可以为用于滤波处理的结构。再有，可以作为在水平方向上应用同样的MAX/MIN滤波器的结构，也可以作为在垂直方向以及水平方向上组合MAX/MIN滤波器来进行应用的结构。
符号的说明
1A～1C…荧光观察装置、11…激发光源(激发光供给单元)、12…摄像装置(摄像单元)、13…图像处理部(图象处理单元)、14…帧存储器(图像存储单元)、15…差分运算器(差分图像生成单元)、21…白色光源(白色光供给单元)、22…摄像装置(摄像单元)、23…重叠运算器(重叠图像生成单元)、31…MAX/MIN滤波器(滤波处理单元)、P…观测对象物。

Claims (9)

1.一种荧光观察装置，其特征在于：
具备：
激发光供给单元，相对于观测对象物提供用于荧光观测的激发光并且能够切换所述激发光的供给的开启/断开；
逐行读出式的摄像单元，对来自所述观测对象物的光学图像进行摄像并且作为所获得的所述观测对象物的图像数据将第1帧图像以及第2帧图像以时间序列交替地输出；
图像存储单元，存储从所述摄像单元输出的所述第1帧图像或者所述第2帧图像；以及
差分图像生成单元，生成取得了从所述摄像单元输出的所述第1帧图像以及所述第2帧图像中的一方与存储在所述图像存储单元的所述第1帧图像以及所述第2帧图像中的另一方的差分的差分图像，
所述激发光供给单元以由所述摄像单元进行的所述第1帧图像取得期间以及所述第2帧图像取得期间中的一方成为开启所述激发光的供给的荧光图像取得期间，另一方成为断开所述激发光的供给的背景图像取得期间的方式切换所述激发光的供给，
在所述摄像单元中，所述荧光图像取得期间的曝光时间与所述背景图像取得期间的曝光时间互相不同。
2.如权利要求1所述的荧光观察装置，其特征在于：
还具备基于所述荧光图像取得期间的曝光时间与所述背景图像取得期间的曝光时间的比，修正所述荧光图像的亮度以及所述背景图像的亮度的图像处理单元。
3.如权利要求2所述的荧光观察装置，其特征在于：
所述图像处理单元与所述激发光的供给的切换相同步地执行使用第1修正值来修正所述荧光图像的亮度的第1修正、以及基于第2修正值来修正所述背景图像的亮度的第2修正。
4.如权利要求1～3中的任意一项所述的荧光观察装置，其特征在于：
所述激发光供给单元以所述荧光图像取得期间长于所述背景图像取得期间的方式切换所述激发光的供给。
5.如权利要求1～4中的任意一项所述的荧光观察装置，其特征在于：
所述背景图像取得期间的曝光时间或者所述荧光图像取得期间的曝光时间被设定成小于30msec。
6.如权利要求1～5中的任意一项所述的荧光观察装置，其特征在于：
所述荧光图像取得期间以及所述背景图像取得期间的合计时间被设定成60msec以下。
7.如权利要求1～6中的任意一项所述的荧光观察装置，其特征在于：
还具备：
将白色光提供给所述观测对象物的白色光供给单元；
对由所述白色光供给单元形成的所述观测对象物的光学图像进行摄像的摄像单元；以及
使由所述摄像单元摄像的彩色图像重叠于由所述差分图像生成单元生成的所述差分图像的重叠图像生成单元。
8.如权利要求1～7中的任意一项所述的荧光观察装置，其特征在于：
还具备：滤波处理单元，其相对于从所述图像存储单元输出到所述差分图像生成单元的所述荧光图像或者所述背景图像，对于包含于这些图像中的各个像素的亮度，进行将对对象像素加上处于其附近的规定范围内的像素后的多个像素中的最大亮度作为所述对象像素的亮度的最大滤波处理、或者将对对象像素加上处于其附近的规定范围内的像素后的多个像素中的最小亮度作为所述对象像素的亮度的最小滤波处理。
9.一种荧光观察方法，其特征在于：
具备：
激发光供给步骤，相对于观测对象物提供用于荧光观测的激发光并且切换所述激发光的供给的开启/断开；
摄像步骤，对来自所述观测对象物的光学图像进行摄像并且作为所获得的所述观测对象物的图像数据将第1帧图像以及第2帧图像以时间序列交替地进行逐行读出；
图像存储步骤，存储所述摄像步骤中获得的所述第1帧图像或者所述第2帧图像；以及
差分图像生成步骤，生成取得了所述摄像步骤中获得的所述第1帧图像以及所述第2帧图像中的一方与所述图像存储步骤中存储的所述第1帧图像以及所述第2帧图像中的另一方的差分的差分图像，
在所述激发光供给步骤中，以所述摄像步骤中的所述第1帧图像取得期间以及所述第2帧图像取得期间中的一方成为开启所述激发光的供给的荧光图像取得期间，另一方成为断开所述激发光的供给的背景图像取得期间的方式切换所述激发光的供给，
在所述摄像步骤中，使所述荧光图像取得期间的曝光时间与所述背景图像取得期间的曝光时间互相不同。
CN201380075257.7A 2013-03-29 2013-12-18 荧光观察装置以及荧光观察方法 Expired - Fee Related CN105074433B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013072782A JP6198426B2 (ja) 2013-03-29 2013-03-29 蛍光観察装置及び蛍光観察方法
JP2013-072782 2013-03-29
PCT/JP2013/083927 WO2014155869A1 (ja) 2013-03-29 2013-12-18 蛍光観察装置及び蛍光観察方法

Publications (2)

Publication Number Publication Date
CN105074433A true CN105074433A (zh) 2015-11-18
CN105074433B CN105074433B (zh) 2019-01-01

Family

ID=51622901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380075257.7A Expired - Fee Related CN105074433B (zh) 2013-03-29 2013-12-18 荧光观察装置以及荧光观察方法

Country Status (5)

Country Link
US (1) US10048206B2 (zh)
EP (1) EP2980562B1 (zh)
JP (1) JP6198426B2 (zh)
CN (1) CN105074433B (zh)
WO (1) WO2014155869A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105910708A (zh) * 2016-02-03 2016-08-31 麦长 一种利用荧光传感器探测激发光谱特征的方法及装置
CN106772975A (zh) * 2017-01-19 2017-05-31 宁波纳美致生物科技有限公司 针对细胞或组织不同深度超分辨率显微成像的照明系统
CN108392180A (zh) * 2017-02-07 2018-08-14 株式会社岛津制作所 时间强度曲线测定装置
WO2020052626A1 (zh) * 2018-09-12 2020-03-19 上海逸思医学影像设备有限公司 一种基于图像曝光的多光谱成像系统和方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122344A1 (en) 2005-09-02 2007-05-31 University Of Rochester Medical Center Office Of Technology Transfer Intraoperative determination of nerve location
US20080161744A1 (en) 2006-09-07 2008-07-03 University Of Rochester Medical Center Pre-And Intra-Operative Localization of Penile Sentinel Nodes
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US8406860B2 (en) 2008-01-25 2013-03-26 Novadaq Technologies Inc. Method for evaluating blush in myocardial tissue
CN102036599B (zh) 2008-03-18 2013-06-19 诺瓦达克技术公司 用于组合的全色反射和近红外成像的成像系统
US10492671B2 (en) 2009-05-08 2019-12-03 Novadaq Technologies ULC Near infra red fluorescence imaging for visualization of blood vessels during endoscopic harvest
US10278585B2 (en) 2012-06-21 2019-05-07 Novadaq Technologies ULC Quantification and analysis of angiography and perfusion
CN107209118B (zh) * 2014-09-29 2021-05-28 史赛克欧洲运营有限公司 在自体荧光存在下生物材料中目标荧光团的成像
EP3203902B1 (en) 2014-10-09 2021-07-07 Novadaq Technologies ULC Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography
CN105991901A (zh) * 2015-02-06 2016-10-05 群光电子股份有限公司 影像撷取装置与影像处理的方法
EP3273223A4 (en) * 2015-03-17 2018-09-26 Hamamatsu Photonics K.K. Device for generating fluorescence image and method for generating fluorescence image
CN108289723B (zh) 2015-11-13 2021-07-06 史赛克欧洲运营有限公司 用于目标的照明和成像的系统和方法
JPWO2017119340A1 (ja) * 2016-01-05 2018-10-25 浜松ホトニクス株式会社 生体観察方法及び生体観察装置
EP4155716A1 (en) 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
CA3027592A1 (en) 2016-06-14 2017-12-21 John Josef Paul FENGLER Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
GB201610988D0 (en) * 2016-06-23 2016-08-10 Inspection Tech Ltd Apparatus and method for extracting low intensity photonic signals
JP6931705B2 (ja) 2017-02-10 2021-09-08 ノバダック テクノロジーズ ユーエルシー オープンフィールドハンドヘルド蛍光イメージングシステムおよび方法
CN106896370B (zh) * 2017-04-10 2023-06-13 上海图漾信息科技有限公司 结构光测距装置及方法
JP6924727B2 (ja) * 2018-06-25 2021-08-25 富士フイルム株式会社 内視鏡装置
EP3730042A1 (en) * 2019-02-07 2020-10-28 Canon U.S.A., Inc. Apparatus for reducing thermal noise and ambient light noise in fluorescence imaging

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101424569A (zh) * 2008-10-17 2009-05-06 华南师范大学 紫外线强度荧光差分检测方法与装置
CN101634748A (zh) * 2009-08-27 2010-01-27 上海交通大学 微弱发光及荧光光学成像装置及其成像方法
CN101766476A (zh) * 2009-07-08 2010-07-07 中国科学院自动化研究所 自发荧光分子影像系统
JP2010197251A (ja) * 2009-02-25 2010-09-09 Fujitsu Ltd 撮影装置、撮影方法および撮影プログラム
US20120134603A1 (en) * 2010-11-30 2012-05-31 General Electric Company Methods for scaling images to differing exposure times
WO2013024773A1 (ja) * 2011-08-18 2013-02-21 オリンパス株式会社 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3285265B2 (ja) 1993-12-03 2002-05-27 オリンパス光学工業株式会社 蛍光観察装置
JP3713347B2 (ja) * 1996-11-25 2005-11-09 オリンパス株式会社 蛍光内視鏡装置
JP2001070227A (ja) 1999-07-07 2001-03-21 Fuji Photo Film Co Ltd 蛍光観察装置
JP3771790B2 (ja) 2000-10-18 2006-04-26 ペンタックス株式会社 電子内視鏡装置
JP2002336187A (ja) 2001-05-18 2002-11-26 Fuji Photo Film Co Ltd 規格化蛍光画像生成方法および装置
JP2003298952A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd Ｃｃｄ撮像装置
WO2004054439A2 (en) * 2002-12-13 2004-07-01 Ietmed Ltd. Optical examination method and apparatus particularly useful for real-time discrimination of tumors from normal tissues during surgery
JP2005204905A (ja) 2004-01-22 2005-08-04 Pentax Corp 光の照射制御機能を有する電子内視鏡装置
JP2006349574A (ja) * 2005-06-17 2006-12-28 Hitachi High-Technologies Corp 発光測定方法、発光測定装置及びプログラム
JP5374809B2 (ja) * 2006-06-29 2013-12-25 パナソニック株式会社 微生物計測システム
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
JP5229723B2 (ja) 2008-05-22 2013-07-03 富士フイルム株式会社 蛍光画像取得装置
JP5110702B2 (ja) 2008-05-22 2012-12-26 富士フイルム株式会社 蛍光画像取得装置
JP5449816B2 (ja) * 2009-03-26 2014-03-19 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
CN102802495B (zh) * 2010-03-18 2015-08-05 奥林巴斯株式会社 荧光观察装置以及荧光观察方法
JP5460536B2 (ja) 2010-09-24 2014-04-02 富士フイルム株式会社 電子内視鏡システム
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
JP5798430B2 (ja) * 2011-10-03 2015-10-21 浜松ホトニクス株式会社 蛍光観測装置及び蛍光観測方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101424569A (zh) * 2008-10-17 2009-05-06 华南师范大学 紫外线强度荧光差分检测方法与装置
JP2010197251A (ja) * 2009-02-25 2010-09-09 Fujitsu Ltd 撮影装置、撮影方法および撮影プログラム
CN101766476A (zh) * 2009-07-08 2010-07-07 中国科学院自动化研究所 自发荧光分子影像系统
CN101634748A (zh) * 2009-08-27 2010-01-27 上海交通大学 微弱发光及荧光光学成像装置及其成像方法
US20120134603A1 (en) * 2010-11-30 2012-05-31 General Electric Company Methods for scaling images to differing exposure times
WO2013024773A1 (ja) * 2011-08-18 2013-02-21 オリンパス株式会社 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105910708A (zh) * 2016-02-03 2016-08-31 麦长 一种利用荧光传感器探测激发光谱特征的方法及装置
CN106772975A (zh) * 2017-01-19 2017-05-31 宁波纳美致生物科技有限公司 针对细胞或组织不同深度超分辨率显微成像的照明系统
CN106772975B (zh) * 2017-01-19 2019-08-13 宁波纳美致生物科技有限公司 针对细胞或组织不同深度超分辨率显微成像的照明系统
CN108392180A (zh) * 2017-02-07 2018-08-14 株式会社岛津制作所 时间强度曲线测定装置
CN108392180B (zh) * 2017-02-07 2021-07-30 株式会社岛津制作所 时间强度曲线测定装置
US11937898B2 (en) 2017-02-07 2024-03-26 Shimadzu Corporation Time intensity curve measuring apparatus
WO2020052626A1 (zh) * 2018-09-12 2020-03-19 上海逸思医学影像设备有限公司 一种基于图像曝光的多光谱成像系统和方法

Also Published As

Publication number Publication date
EP2980562A4 (en) 2016-12-14
EP2980562B1 (en) 2018-05-16
US10048206B2 (en) 2018-08-14
JP6198426B2 (ja) 2017-09-20
EP2980562A1 (en) 2016-02-03
CN105074433B (zh) 2019-01-01
US20160041098A1 (en) 2016-02-11
JP2014196953A (ja) 2014-10-16
WO2014155869A1 (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
CN105074433A (zh) 荧光观察装置以及荧光观察方法
JP6088629B2 (ja) 組み合わされたフルカラー反射および近赤外線画像化のための画像化システム
EP2735262B1 (en) Imaging device
CN103732119B (zh) 摄像装置
US9635343B2 (en) Stereoscopic endoscopic image processing apparatus
US20160065865A1 (en) Imaging device and imaging system
JP6660707B2 (ja) 内視鏡システム
US9560292B2 (en) Frame-sequential multiwavelength imaging system and method
US10729310B2 (en) Endoscope image processing devices
CN103842802B (zh) 荧光观测装置以及荧光观测方法
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
EP2229869B1 (en) Medical image processing device and medical imaging system
JP6411597B2 (ja) 蛍光観察装置及び蛍光観察方法
JP5977909B1 (ja) 信号処理装置及び内視鏡システム
JP2014183908A (ja) 撮像システム
WO2018211600A1 (ja) 撮像装置、内視鏡システム、制御方法およびプログラム
JP6326356B2 (ja) 撮像装置及び撮像装置の作動方法
CN111511263B (zh) 图像处理装置及图像处理方法
JP2010279457A (ja) 電子内視鏡、電子内視鏡システムおよび色調整方法
JP2010124921A (ja) 画像取得方法および装置
JP2020124320A (ja) 撮像システムおよび同期制御方法
KR20210086870A (ko) 여기광 펄스 제어 또는 개폐기를 이용한 다채널 형광 영상 시스템
JP2006121242A (ja) 電子内視鏡装置
JP2013187593A (ja) 立体映像表示装置および立体映像表示方法
JP2013187592A (ja) 立体映像表示装置および立体映像表示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190101

Termination date: 20201218

CF01 Termination of patent right due to non-payment of annual fee