JP2013039275A - 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法 - Google Patents

蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法 Download PDF

Info

Publication number
JP2013039275A
JP2013039275A JP2011178922A JP2011178922A JP2013039275A JP 2013039275 A JP2013039275 A JP 2013039275A JP 2011178922 A JP2011178922 A JP 2011178922A JP 2011178922 A JP2011178922 A JP 2011178922A JP 2013039275 A JP2013039275 A JP 2013039275A
Authority
JP
Japan
Prior art keywords
image
fluorescence
reference light
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011178922A
Other languages
English (en)
Other versions
JP2013039275A5 (ja
JP5816486B2 (ja
Inventor
Yasunari Ishihara
康成 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011178922A priority Critical patent/JP5816486B2/ja
Priority to PCT/JP2012/070241 priority patent/WO2013024773A1/ja
Priority to CN201280039584.2A priority patent/CN103764007B/zh
Priority to EP12823651.0A priority patent/EP2745761B1/en
Publication of JP2013039275A publication Critical patent/JP2013039275A/ja
Priority to US14/173,202 priority patent/US9182347B2/en
Publication of JP2013039275A5 publication Critical patent/JP2013039275A5/ja
Application granted granted Critical
Publication of JP5816486B2 publication Critical patent/JP5816486B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】除算した画像に残存する距離等に対する依存性を十分に除去して、定量性の高い蛍光画像によって観察を行うことができる蛍光観察装置を提供する。
【解決手段】蛍光画像または参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理部４６と、補正用蛍光画像を補正用参照光画像で除算し、除算画像を生成する除算画像生成部４３と、除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定部４５と、設定された閾値より大きい階調値を有する領域と閾値より小さい階調値を有する領域との除算画像におけるコントラストを拡大する画像調整部５１と、コントラストが拡大された除算画像を表示するモニタ５０とを備える蛍光観察装置１００を採用する。
【選択図】図１

Description

本発明は、蛍光観察装置およびこれを備える蛍光観察システム並びに蛍光画像処理方法に関するものである。
従来、蛍光画像を反射光画像で除算して、観察距離や角度による蛍光画像の明るさの変動を補正する方法が知られている（例えば、特許文献１〜特許文献３参照。）。
特開昭６２−２４７２３２号公報 特公平３−５８７２９号公報 特開２００６−１７５０５２号公報
しかしながら、除算をすることによって距離や角度の変化を軽減することはできるものの、一定の誤差が生じてしまう。
これは、蛍光と反射光において、撮像される明るさの観察距離に対する依存性、観察角度に対する依存性が異なるため、蛍光画像を反射光画像で除算をしても、距離と角度の影響を補正しきれないことに起因する。
また、大腸や胃、もしくは腹腔内を観察するときなど、拍動や、臓器の蠕動運動などによって、被写体の形状が変化する。これにより照明光および励起光の光学的な分布が変化するため、蛍光画像を反射光画像で除算をするだけでは、これによる影響を補正しきれないことも、誤差の要因となっている。
本発明は上述した事情に鑑みてなされたものであって、除算した画像に残存する距離等に対する依存性を十分に除去して、定量性の高い蛍光画像によって観察を行うことができる蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法を提供することを目的としている。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、被写体に励起光および参照光を照射する光源と、該光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、前記光源からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照光画像を取得する参照光画像取得部と、前記蛍光画像または前記参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理部と、該前処理部により生成された前記補正用蛍光画像を前記補正用参照光画像で除算し、除算画像を生成する除算画像生成部と、該除算画像生成部により生成された前記除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定部と、該閾値設定部により設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記除算画像におけるコントラストを拡大する画像調整部と、該画像調整部により前記コントラストが拡大された前記除算画像を表示する表示部とを備える蛍光観察装置である。
本発明の第１の態様によれば、光源から発せられた励起光が被写体に照射されると、蛍光画像取得部により被写体において発生した蛍光の蛍光画像が取得され、光源から励起光とともに発せられた参照光が被写体に照射されると、参照光画像取得部によりその戻り光の参照光画像が取得される。そして、取得された蛍光画像は、除算画像生成部において参照光画像を用いて補正される。
この場合に、除算画像生成部における補正に先立って、前処理部において蛍光画像および参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とを相互に正比例関係とする係数が乗算されることにより補正用蛍光画像および補正用参照光画像が生成される。
すなわち、蛍光画像を構成する各画素の蛍光強度および参照光画像を構成する各画素の戻り光強度は、照明部から当該画素に対応する被写体上の位置までの距離に依存して変化し、それぞれ距離の指数関数に近似させることができる。蛍光強度の距離特性における指数は、戻り光強度の距離特性における指数とは異なるので、蛍光画像を参照光画像でそのまま除算しても距離の依存性を除去することはできない。従って、蛍光強度および戻り光強度をそれぞれ距離特性における指数の逆数で予め累乗しておくことで、蛍光強度の距離特性と戻り光強度の距離特性とを相互に正比例関係とすることができ、除算したときに距離の依存性を除去することができる。
そこで、標準試料について予め取得した蛍光強度の距離特性と戻り光強度の距離特性とから、蛍光画像および参照光画像の少なくとも一方に乗算することにより、上述した指数の逆数を累乗したのと同様の効果を得られる係数を予め求めておく。そして、求められた係数を蛍光画像および参照光画像の少なくとも一方に乗算して、補正用蛍光画像と補正用参照光画像を生成し、除算画像生成部において、補正用蛍光画像を補正用参照光画像で除算することにより、距離の依存性を十分に低減するように補正された除算画像を得ることができる。
ここで、観察距離に対する参照光と励起光との依存性が異なることにより、観察距離の影響を補正しきれず除算画像に一定の誤差が生じてしまう場合がある。この場合において、画像調整部によって階調値が閾値より大きい領域と小さい領域とのコントラストが拡大された除算画像を表示部により表示することで、バックグラウンドから発生される微弱な蛍光の影響を抑制した鮮明な除算画像を取得することができる。
また、観察距離等が変動して誤差要因により除算画像における画素ごとの階調値が変動したとしても、閾値設定部により階調値の変動に追従して閾値を更新し、画像調整部により除算画像の鮮明度を維持することができる。これにより、被写体の定量的な情報を取得することができる。
すなわち、本発明によれば、精度よく距離の依存性を低減することができ、定量性の高い蛍光観察を行うことができる。
本発明の第２の態様は、被写体に励起光および参照光を照射する光源と、該光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、前記光源からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照光画像を取得する参照光画像取得部と、前記蛍光画像または前記参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の角度特性と戻り光強度の角度特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理部と、該前処理部により生成された前記補正用蛍光画像を前記補正用参照光画像で除算し、除算画像を生成する除算画像生成部と、該除算画像生成部により生成された前記除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定部と、該閾値設定部により設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記除算画像におけるコントラストを拡大する画像調整部と、該画像調整部により前記コントラストが拡大された前記除算画像を表示する表示部とを備える蛍光観察装置である。
本発明の第２の態様によれば、光源から発せられた励起光が被写体に照射されると、蛍光画像取得部により被写体において発生した蛍光の蛍光画像が取得され、光源から励起光とともに発せられた参照光が被写体に照射されると、参照光画像取得部によりその戻り光の参照光画像が取得される。そして、取得された蛍光画像は、除算画像生成部において参照光画像を用いて補正される。
この場合に、除算画像生成部における補正に先立って、前処理部において蛍光画像および参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の角度特性と戻り光強度の角度特性とを相互に正比例関係とする係数が乗算されることにより補正用蛍光画像および補正用参照光画像が生成される。
すなわち、蛍光画像を構成する各画素の蛍光強度および参照光画像を構成する各画素の戻り光強度は、照明部から当該画素に対応する被写体上の位置までの角度に依存して変化し、それぞれ角度の指数関数に近似させることができる。蛍光強度の角度特性における指数は、戻り光強度の角度特性における指数とは異なるので、蛍光画像を参照光画像でそのまま除算しても角度の依存性を除去することはできない。従って、蛍光強度および戻り光強度をそれぞれ角度特性における指数の逆数で予め累乗しておくことで、蛍光強度の角度特性と戻り光強度の角度特性とを相互に正比例関係とすることができ、除算したときに角度の依存性を除去することができる。
そこで、標準試料について予め取得した蛍光強度の角度特性と戻り光強度の角度特性とから、蛍光画像および参照光画像の少なくとも一方に乗算することにより、上述した指数の逆数を累乗したのと同様の効果を得られる係数を予め求めておく。そして、求められた係数を蛍光画像および参照光画像の少なくとも一方に乗算して、補正用蛍光画像と補正用参照光画像を生成し、除算画像生成部において、補正用蛍光画像を補正用参照光画像で除算することにより、角度の依存性を十分に低減するように補正された除算画像を得ることができる。
ここで、観察角度に対する参照光と励起光との依存性が異なることにより、観察角度の影響を補正しきれず除算画像に一定の誤差が生じてしまう場合がある。この場合において、画像調整部によって階調値が閾値より大きい領域と小さい領域とのコントラストが拡大された除算画像を表示部により表示することで、バックグラウンドから発生される微弱な蛍光の影響を抑制した鮮明な除算画像を取得することができる。
また、観察角度等が変動して誤差要因により除算画像における画素ごとの階調値が変動したとしても、閾値設定部により階調値の変動に追従して閾値を更新し、画像調整部により除算画像の鮮明度を維持することができる。これにより、被写体の定量的な情報を取得することができる。
すなわち、本発明によれば、精度よく角度の依存性を低減することができ、定量性の高い蛍光観察を行うことができる。
上記の各態様において、前記参照光画像取得部が、前記被写体において反射または散乱されて戻る前記参照光の反射光または散乱光を取得することとしてもよい。
このように構成することで、被写体において反射または散乱されて戻る参照光の反射光または散乱光から参照光画像を生成するため、蛍光をほとんど生じない領域においても、参照光画像の階調値がゼロまたはゼロに近い値になることは無く、正確な除算画像を生成することができる。
上記の各態様において、前記光源が、さらに白色光を照射し、前記画像調整部が、前記閾値より小さい階調値を有する領域を非表示としたバックグラウンド除去画像を生成し、前記白色光の照射により得られる前記被写体の白色光画像を取得する白色光画像取得部と、該白色光画像取得部により取得された白色光画像と前記画像調整部により生成されたバックグラウンド除去画像とを重畳した合成画像を生成する画像合成部とを備え、前記表示部が、前記画像合成部により生成された合成画像を表示することとしてもよい。
画像合成部により、白色光画像取得部により取得された白色光画像と画像調整部により生成されたバックグラウンド除去画像とを重畳した合成画像を生成することで、白色光画像と除算画像の位置関係をより明瞭に術者に提供することができる。この場合において、閾値以下の領域を非表示としているため、両画像が重畳された合成画像においても、病変部以外の領域において、白色光画像の表示が除算画像によって阻害されずに済む。
上記の各態様において、前記光源が、前記参照光として白色光を照射し、前記参照光画像取得部が、前記参照光画像として被写体から戻る白色光画像を取得し、前記画像調整部が、前記閾値より小さい階調値を有する領域を非表示としたバックグラウンド除去画像を生成し、前記参照光画像取得部により取得された前記被写体の白色光画像と前記画像調整部により生成されたバックグラウンド除去画像とを重畳した合成画像を生成する画像合成部を備え、前記表示部が、前記画像合成部により生成された合成画像を表示することとしてもよい。
このように構成することで、被写体からの反射光および散乱戻り光により生成される白色光画像を参照光画像として用いているため、蛍光をほとんど生じない領域においても、参照光画像の階調値がゼロまたはゼロに近い値になることは無く、正確な除算画像を生成することができる。
また、画像合成部により、白色光画像取得部により取得された白色光画像と画像調整部により生成されたバックグラウンド除去画像とを重畳した合成画像を生成することで、白色光画像と除算画像の位置関係をより明瞭に術者に提供することができる。この場合において、閾値以下の領域を非表示としているため、両画像が重畳された合成画像においても、病変部以外の領域において、白色光画像の表示が除算画像によって阻害されずに済む。
上記の各態様において、前記閾値設定部が、前記階調値の平均値と標準偏差とに基づいて前記閾値を設定することとしてもよい。
このように構成することで、除算画像における画素ごとの階調値にばらつきがある場合であっても、階調値の平均値だけに基づいて閾値を設定する場合と比較してより精度が高い閾値を設定することができる。
なお、閾値設定部が、階調値の平均値に標準偏差を加えて得られる値を閾値として設定することとしてもよい。
上記の各態様において、前記前処理部が、前記蛍光画像の各画素の蛍光強度および前記参照光画像の各画素の戻り光強度を前記蛍光撮像部および前記参照光撮像部のゲインおよび露光時間によって規格化して規格化蛍光画像および規格化参照光画像を生成し、これら規格化蛍光画像または規格化参照光画像の少なくとも一方に、前記係数を乗算して補正用蛍光画像と補正用参照光画像とを生成することとしてもよい。
このように構成することで、蛍光画像取得部および参照光画像取得部において、蛍光画像および参照光画像の撮影時に異なるゲイン調整および露光時間調整が行われてもこれを規格化した規格化蛍光画像および規格化参照光画像を生成し、これらを用いて補正用蛍光画像および補正用参照光画像を生成することにより、より定量性の高い蛍光観察を行うことができる。
上記の各態様において、前記係数を記憶する記憶部を備え、前記前処理部が、前記記憶部に記憶されている係数を前記蛍光画像または前記参照光画像の少なくとも一方に乗算することとしてもよい。
このように構成することで、記憶部に記憶しておいた係数を乗算するだけで、簡易に距離または角度の依存性を低減して定量性の高い蛍光観察を行うことができる。
上記の各態様において、観察条件を変更するために着脱される着脱部品を備え、該着脱部品に識別情報が記録され、該着脱部品に記憶された識別情報を読み取る識別情報読取手段とを備え、前記記憶部に、前記識別情報と前記係数とが対応づけて記憶されていることとしてもよい。
このようにすることで、着脱部品を着脱して観察条件を変更すると、着脱部品に記憶されている識別情報が、識別情報読取手段によって読みとられ、記憶部に識別情報と対応づけて記憶されている係数を設定することができる。着脱部品としては、例えば、内視鏡装置におけるスコープ等を挙げることができ、その場合に変更される観察条件としては、対物光学系のＮＡや瞳径、観察可能な蛍光の波長および観察対象部位（胃、大腸など）等を挙げることができる。これにより、観察条件に合わせて、最適な係数を設定でき、観察条件が変動した場合においても定量性の高い蛍光観察を行うことができる。
本発明の第３の態様は、上記の第１の態様の蛍光観察装置と、該蛍光観察装置に接続され、前記係数を算出する較正装置とを備え、該較正装置が、標準試料と、該標準試料に対して前記蛍光観察装置の観察距離を変更可能に設定する観察距離設定機構とを備え、前記観察距離設定機構により設定された観察距離と、前記蛍光観察装置により前記標準試料を撮影して取得された蛍光画像および参照光画像とに基づいて、該蛍光画像および前記参照光画像の少なくとも一方に乗算することにより、蛍光強度の距離特性と戻り光強度の距離特性とが正比例することとなる係数を算出する係数決定部を有する蛍光観察システムである。
本発明の第３の態様によれば、較正装置の観察距離設定機構により、標準試料に対する蛍光観察装置の観察距離を変更しつつ蛍光観察装置によって標準試料を撮影することにより、標準試料の蛍光輝度の距離特性および戻り光強度の距離特性を得ることができ、これらの距離特性基づいて、両距離特性を正比例させる係数を算出することができる。そして、算出された係数を蛍光観察装置の記憶部に記憶させることにより、蛍光観察装置により被写体を蛍光観察する際に、蛍光観察装置に存在する個体差や、着脱部品が存在する場合にはその個体差にかかわらず、精度よく算出された係数を用いて、より定量性の高い蛍光観察を行うことができる。
本発明の第４の態様は、上記の第２の態様の蛍光観察装置と、該蛍光観察装置に接続され、前記係数を算出する較正装置とを備え、該較正装置が、標準試料と、該標準試料に対して前記蛍光観察装置の観察角度を変更可能に設定する観察角度設定機構とを備え、前記観察角度設定機構により設定された観察角度と、前記蛍光観察装置により前記標準試料を撮影して取得された蛍光画像および参照光画像とに基づいて、該蛍光画像および前記参照光画像の少なくとも一方に乗算することにより、蛍光強度の角度特性と戻り光強度の角度特性とが正比例することとなる係数を算出する係数決定部を有する蛍光観察システムである。
本発明の第４の態様によれば、較正装置の観察角度設定機構により、標準試料に対する蛍光観察装置の観察角度を変更しつつ蛍光観察装置によって標準試料を撮影することにより、標準試料の蛍光輝度の角度特性および戻り光強度の角度特性を得ることができ、これらの角度特性基づいて、両角度特性を正比例させる係数を算出することができる。そして、算出された係数を蛍光観察装置の記憶部に記憶させることにより、蛍光観察装置により被写体を蛍光観察する際に、蛍光観察装置に存在する個体差や、着脱部品が存在する場合にはその個体差にかかわらず、精度よく算出された係数を用いて、より定量性の高い蛍光観察を行うことができる。
本発明の第５の態様は、励起光を被写体に照射することにより被写体において発生した蛍光を撮影して取得された蛍光画像と、参照光を被写体に照射することにより被写体から戻る戻り光を撮影して取得された参照光画像とを用いて、前記蛍光画像または前記参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理ステップと、該前処理ステップにより生成された前記補正用蛍光画像を前記補正用参照光画像で除算し、除算画像を生成する除算画像生成ステップと、該除算画像生成ステップにより生成された前記除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定ステップと、該閾値設定ステップにより設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記除算画像におけるコントラストを拡大する画像調整ステップと、該画像調整ステップにより前記コントラストが拡大された前記除算画像を表示する表示ステップとを含む蛍光画像処理方法である。
本発明の第６の態様は、励起光を被写体に照射することにより被写体において発生した蛍光を撮影して取得された蛍光画像と、参照光を被写体に照射することにより被写体から戻る戻り光を撮影して取得された参照光画像とを用いて、前記蛍光画像または前記参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の角度特性と戻り光強度の角度特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理ステップと、該前処理ステップにより生成された前記補正用蛍光画像を前記補正用参照光画像で除算し、除算画像を生成する除算画像生成ステップと、該除算画像生成ステップにより生成された前記除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定ステップと、該閾値設定ステップにより設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記除算画像におけるコントラストを拡大する画像調整ステップと、該画像調整ステップにより前記コントラストが拡大された前記除算画像を表示する表示ステップとを含む蛍光画像処理方法である。
本発明によれば、除算した画像に残存する距離等に対する依存性を十分に除去して、定量性の高い蛍光画像によって観察を行うことができるという効果を奏する。
本発明の第１の実施形態に係る蛍光観察装置の概略構成図である。 図１の蛍光観察装置において使用される係数を導くための画像の階調値、ゲイン、露光時間および規格化画像とこれらにより導かれた係数との対応の一覧表例を示す図である。 図２により導かれた規格化参照光画像の階調値と係数との対応の一覧表例を示す図である。 図１のモニタに表示される白色光画像と除算画像の一例を示す図である。 図４の除算画像における画素の階調値と画像全体に占める頻度との関係を示すヒストグラムである。 図１の蛍光観察装置の作用を示すフローチャートである。 モニタに表示される白色光画像と新たな除算画像の一例を示す図である。 図７の除算画像における画素の階調値と画像全体に占める頻度との関係を示すヒストグラムである。 階調値の変動後の除算画像における画素の階調値と画像全体に占める頻度との関係を示すヒストグラムである。 図９の除算画像の一例を示した図である。 画像調整後の除算画像における画素の階調値と画像全体に占める頻度との関係を示すヒストグラムである。 図１１の除算画像の一例を示した図である。 第１の変形例に係る蛍光観察装置の作用を示すフローチャートである。 第２の変形例に係る蛍光観察装置の概略構成図である。 図１４の蛍光観察装置の効果を説明する図である。 第３の変形例に係る蛍光観察装置の概略構成図である。 第４の変形例に係る蛍光観察装置の概略構成図である。 本発明の第２の実施形態に係る蛍光観察システムの概略構成図である。 図１８の蛍光観察システムの較正装置を示す図である。
［第１の実施形態］
以下、本発明の第１の実施形態に係る蛍光観察装置について、図面を参照して説明する。
本実施形態に係る蛍光観察装置１００は、図１に示すように、体腔内に挿入される細長いスコープ２と、スコープ２の先端２ａから射出させる照明光を発する光源１０を備える照明ユニット２０と、スコープ２内に配置され、被写体である観察対象部位Ｘの画像情報を取得する撮影ユニット３０と、撮影ユニット３０により取得された画像情報を処理する画像処理部４０と、画像処理部４０により処理された画像および画像情報等を表示するモニタ（表示部）５０とを備えている。
光源１０は、照明光を発するキセノンランプ（Ｘｅランプ）１１と、キセノンランプ１１から発せられた照明光から励起光および白色光（参照光）を切り出す励起光フィルタ１３と、励起光フィルタ１３により切り出された励起光を含む白色光を集光するカップリングレンズ１５とを備えている。励起光フィルタ１３は、例えば、波長帯域が４００〜７４０ｎｍの励起光を含む白色光を切り出すようになっている。
照明ユニット２０には、スコープ２の長手方向の略全長にわたって配置されたライトガイドファイバ２１と、スコープ２の先端２ａに配置された拡散レンズ２３とが備えられている。
ライトガイドファイバ２１は、カップリングレンズ１５によって集光された励起光を含む白色光をスコープ２の先端２ａまで導光するものである。拡散レンズ２３は、ライトガイドファイバ２１により導光された励起光を含む白色光を拡散させて観察対象部位Ｘに照射するようになっている。
撮影ユニット３０は、照明ユニット２０により励起光を含む白色光が照射された観察対象部位Ｘから戻る戻り光を集光する対物レンズ３１と、対物レンズ３１により集光された戻り光を波長ごとに分岐するビームスプリッタ３３とを備えている。
対物レンズ３１は、スコープ２の先端２ａに拡散レンズ２３と並列して配置されている。ビームスプリッタ３３は、戻り光のうち、励起波長以上の光（励起光および蛍光）を反射し、励起波長より波長が短い白色光（戻り光）を透過するようになっている。
この撮影ユニット３０には、ビームスプリッタ３３により反射された励起光および蛍光のうち、励起光を遮断して蛍光（例えば、近赤外蛍光）のみを透過させる励起光カットフィルタ３５と、励起光カットフィルタ３５を透過した蛍光を集光する集光レンズ３７Ａおよびビームスプリッタ３３を透過した白色光を集光する集光レンズ３７Ｂと、集光レンズ３７Ａにより集光された蛍光を撮影する蛍光撮影部３８および集光レンズ３７Ｂにより集光された白色光を撮影する白色光撮影部３９とを備えている。
励起光カットフィルタ３５は、例えば、波長帯域が７６５〜８５０ｎｍの蛍光のみを透過させるようになっている。蛍光撮影部３８は、例えば、蛍光用の高感度モノクロＣＣＤである。この蛍光撮影部３８は、蛍光を撮影することにより蛍光画像情報を取得するようになっている。白色光撮影部３９は、例えば、白色光用のカラーＣＣＤであり、モザイクフィルタ（図示略）を備えている。この白色光撮影部３９は、白色光を撮影することにより白色光画像情報を取得するようになっている。
画像処理部４０は、白色光撮影部３９により取得された白色光画像情報から白色光画像（参照光画像）を生成する参照画像生成部４１と、蛍光撮影部３８により取得された蛍光画像情報から蛍光画像を生成する蛍光画像生成部４２と、これら参照画像生成部４１および蛍光画像生成部４２により生成された参照光画像および蛍光画像を規格化して、規格化参照光画像および規格化蛍光画像を生成する画像規格化部４４とを備えている。
また、画像処理部４０は、画像規格化部４４により生成された規格化参照光画像および規格化蛍光画像から補正用参照光画像および補正用蛍光画像を生成する前処理部４６と、該前処理部４６により生成された補正用蛍光画像を補正用参照光画像で除算することにより除算画像（以降では、「補正蛍光画像」ともいう。）を生成する除算画像生成部４３と、除算画像生成部４３により生成された除算画像における階調値の閾値を設定する閾値設定部４５とを備えている。
参照画像生成部４１は、白色光撮影部３９により取得された白色光画像情報から２次元的な白色光画像を生成するようになっている。
蛍光画像生成部４２は、蛍光撮影部３８により取得された蛍光画像情報から２次元的な蛍光画像を生成するようになっている。
ここで、蛍光画像としては、たとえば蛍光色素Ｃｙ７からの蛍光画像とすればよい。特に、腫瘍特異的な蛍光薬剤、例えば癌特異的分子ＣＥＡに対する抗体（Ａｎｔｉ−ＣＥＡ抗体）とＣｙ７とを結合させた蛍光薬剤を予め観察対象に投与しておけば、腫瘍特異的な蛍光画像を得ることができる。また、参照光画像としては、例えば照明光が観察対象の表面で反射した戻り光および観察対象の内部での散乱による戻り光に基づく画像を用いればよい。
画像規格化部４４は、数１に示される関係式を用いて参照光画像および蛍光画像を規格化するようになっている。
Figure 2013039275
すなわち、参照光画像および蛍光画像を取得する際に、白色光撮影部３９および蛍光撮影部３８により１６ｂｉｔの階調で取得するものとすると、各画素の階調値がこの範囲内に入るように露光時間とゲインが調節されるので、観察条件を一定にするために規格化が行われる。数１において所定ゲインは、例えば、白色光観察時には１、蛍光観察時には１００と設定されるゲインであるとする。
前処理部４６は、標準試料に対する蛍光強度の距離特性と、同じ標準試料に対する戻り光強度の距離特性とを相互に正比例させる係数を戻り光強度に対応づけて記憶する記憶部（図示略）を備えていて、入力された参照光画像の画素毎に、各画素の階調値に対応する係数を記憶部から読み出して乗算することにより、補正用参照光画像を生成するようになっている。この場合、前処理部４６においては、入力された蛍光画像をそのまま補正用蛍光画像として出力するようになっている。
ここで、観察距離を、例えば１０〜２００ｍｍに変化させ、標準試料としてファントムまたは豚等の臓器を観察したときの参照光画像および蛍光画像の階調値に基づいて算出された係数の例を図２および図３に示す。
すなわち、取得された参照光画像における、一の画素の階調値（戻り光強度）が１６．６のときは、係数として２．０２４をこの画素の階調値に乗算する。これを全ての画素について繰り返すことにより、補正用参照光画像が得られる。いずれかの画素の階調値が、図３に示される２つの階調値の間の値である場合には、図２の階調値に対応する２つの係数を線形補間した係数を乗算するようになっている。
除算画像生成部４３は、上記のように前処理部４６により生成された補正用蛍光画像を補正用参照光画像で除算することにより除算画像を生成するようになっている。これにより、蛍光画像における観察距離等に依存する蛍光強度変化を軽減した除算画像が生成される。また、除算画像生成部４３は、白色光画像および生成した除算画像（補正蛍光画像）をモニタ５０に出力するようになっている。
閾値設定部４５は、以下の計算式（１）に示されるように、除算画像における各画素の階調値の平均値（画像全体の平均階調値）ｍに所定の係数ａを乗算して得られる値を閾値として設定するようになっている。
Figure 2013039275
モニタ５０は、除算画像生成部４３から送られてくる白色光画像および除算画像（補正蛍光画像）を同時に表示することができるようになっている。また、モニタ５０は、除算画像における階調値を調整する画像調整部５１を備えている。
画像調整部５１は、閾値設定部４５により設定された閾値Ｓより大きい階調値を有する画素の領域と小さい階調値を有する画素の領域との除算画像におけるコントラストを拡大するように、閾値Ｓ未満の階調値を有する画素を階調値０に置き換えて表示するようになっている。
このように構成された本実施形態に係る蛍光観察装置１００の作用について説明する。
本実施形態に係る蛍光観察装置１００を用いて、生体の体腔内の観察対象部位Ｘを観察するには、癌細胞等の病変部に特異的に集積する蛍光薬剤を観察対象部位Ｘに付着または吸収させる。この状態で、観察対象部位Ｘに励起光を照射することにより、蛍光薬剤が励起され蛍光が発せられる。この蛍光薬剤は、実際には病変部だけでなく正常部にも若干集積してしまうため、病変部以外の部分（バックグラウンド）からも微弱な蛍光が発せられることになる。
本実施形態においては、まず、体腔内にスコープ２を挿入して先端２ａを観察対象部位Ｘに対向させる。この状態で、光源１０を作動させることによりキセノンランプ１１から発せられて励起光フィルタ１３によって切り出される励起光を含む白色光が、カップリングレンズ１５により集光され、ライトガイドファイバ２１によりスコープ２の先端２ａへと導光される。そして、この白色光は拡散レンズ２３により拡散され、観察対象部位Ｘに照射される。
観察対象部位Ｘにおいては、内部に含まれている蛍光物質が励起光によって励起されることにより蛍光が発せられるとともに、表面において白色光および励起光の一部が反射させられる。これら蛍光、白色光および励起光は、対物レンズ３１により集光され、ビームスプリッタ３３により励起波長以上の光、すなわち、励起光および蛍光が反射され、励起波長より波長が短い白色光は透過させられる。
ビームスプリッタ３３により反射された励起光および蛍光は、励起光カットフィルタ３５により励起光が除去され、蛍光のみが集光レンズ３７Ａにより集光されて蛍光撮影部３８により撮影される。これにより、蛍光撮影部３８において観察対象部位Ｘの蛍光画像情報が取得される。ビームスプリッタ３３を透過した白色光は、集光レンズ３７Ｂによって集光され、白色光撮影部３９により撮影される。これにより、白色光撮影部３９において観察対象部位Ｘの白色光画像情報が取得される。蛍光画像情報と白色光画像情報は、どちらを先に取得してもよいし同時に取得してもよい。
白色光撮影部３９により取得された白色光画像情報は、画像処理部４０の参照画像生成部４１に入力される。参照画像生成部４１においては、白色光画像情報に基づき２次元的な白色光画像が生成される。
蛍光撮影部３８により取得された蛍光画像情報は、画像処理部４０の蛍光画像生成部４２に入力される。蛍光画像生成部４２においては、蛍光画像情報に基づき２次元的な蛍光画像が生成される。
参照画像生成部４１および蛍光画像生成部４２により生成された蛍光画像および白色光画像は、画像規格化部４４に入力されて、数１により規格化される。このように規格化された規格化参照光画像および規格化蛍光画像は、前処理部４６において、補正用参照光画像および補正用蛍光画像に変換される。
本実施形態においては、規格化参照光画像に係数が乗算されて補正用参照光画像となり、規格化蛍光画像はそのまま補正用蛍光画像となる。
そして、除算画像生成部４３において、補正用蛍光画像が補正用参照光画像によって除算されることにより、除算画像が取得される。
前処理部４６において規格化参照光画像に乗算される係数は、標準試料を用いて取得された規格化蛍光画像と規格化参照光画像との比であり、標準試料における規格化蛍光画像の蛍光強度の距離特性を、同じく標準試料における規格化参照光画像の戻り光強度の距離特性に一致させるように選定されている。したがって、除算画像生成部４３において、この係数を、観察対象部位Ｘの規格化参照光画像に乗算することにより得られた補正用参照光画像によって、補正用蛍光画像を除算することにより、観察距離の依存性を十分に低減した除算画像を得ることができる。
そして、このように生成された除算画像（補正蛍光画像）は、閾値設定部４５に送られるとともに、図４に示すように、白色光画像と一緒にモニタ５０に送られて表示される。
この除算画像は、図５に示されるように、主にバックグラウンドからの微弱な蛍光が表示される領域と病変部からの強い蛍光が表示される領域とにより構成されている。同図において、横軸は階調値を示し、縦軸は除算画像全体に占める頻度を示している。なお、図５に示すようなヒストグラムをモニタ５０に表示することとしてもよい。
ここで、蛍光と反射光とでは観察距離に対する依存性が異なるため、除算画像において観察距離の影響を完全に補正することができず一定の誤差が生じてしまう場合がある。
以下、観察対象部位Ｘの定量的な情報を取得するために行う閾値設定部４５による閾値の設定および画像調整部５１による除算画像の調整について、図６に示すフローチャートを参照して説明する。
閾値設定部４５においては、あらかじめ、上述した計算式（１）の係数ａ（例えば、ａ＝１．５）が決定される（ステップＳＡ１）。続いて、閾値設定部４５は、除算画像生成部４３から送られてきた除算画像を取得すると（ステップＳＡ２）、画像全体の平均階調値ｍを算出する（ステップＳＡ３）。
画像全体の平均階調値ｍは、例えば、以下の計算式（２）により算出される。
Figure 2013039275
ここで、除算画像の全画素数を１００万画素とした場合、そのうちの９５万画素がバックグランドからの蛍光を表示し（バックグラウンドの総画素数ｎ１＝９５０，０００）、５万画素が病変部からの蛍光を表示しているものと仮定する（病変部の総画素数ｎ２＝５０，０００）。蛍光薬剤のコントラストを１：２とした場合、バックグラウンドの平均階調値ｍ１＝１０００、病変部の平均階調値ｍ２＝２０００と仮定する。
このように仮定した場合、計算式（２）により、画像全体の平均階調値ｍ＝１０５０が算出される。
次に、閾値設定部４５において、設定された係数ａと算出された画像全体の平均階調値ｍを用いて、計算式（１）により、閾値Ｓ＝１５７５が算出される。これにより、除算画像における階調値の閾値Ｓが設定され（ステップＳＡ４）、画像調整部５１へ送られる。
画像調整部５１においては、モニタ５０に表示されている除算画像の全画素のうち、閾値Ｓ＝１５７５未満の階調値を有する画素が階調値０に置き換えられる（ステップＳＡ５）。この場合、バックグラウンドを表示する画素の階調値および病変部を表示する画素の階調値の分布が正規分布に従い、標準偏差が、バックグラウンドを表示する画素の階調値および病変部を表示する画素の階調値の平均値の平方根の１０倍と仮定すると、バックグラウンドの表示の９６．５％が消去され、病変部の表示の８２．９％が残されることになる。
これにより、図７に示すように、病変部を表示する領域とバックグラウンドを表示する領域とのコントラストが拡大した新たな除算画像（補正蛍光画像）がモニタ５０に表示される（ステップＳＡ６）。新たな除算画像は、図８に示されるように、閾値Ｓより階調値が高い主に病変部からの蛍光が表示される領域により構成されている。
次に、観察距離が変動し、誤差要因により次フレームの除算画像における各画素の階調値の平均値が図９に示すように高くなる方向に変動するとする。ここで、バックグラウンドを表示する画素の階調値と病変部を表示する画素の階調値の平均値がそれぞれ５０％増加するように変動する、すなわち、ｍ１＝１５００、ｍ２＝３０００となると仮定する。
この場合、仮に、階調値の変動後も現在の閾値を変更せずに閾値Ｓ＝１５７５のままとすると、閾値Ｓを超える階調値を有する領域の増加により、図１０に示すように、病変部の表示の９９．５％が残されるもののバックグラウンドの表示の５７．７％しか消去されず、除算画像の鮮明度が低下することになる。
本実施形態においては、閾値設定部４５により画像全体の平均階調値ｍに基づいて閾値Ｓを設定するため、ステップＳＡ２〜ステップＳＡ６が繰り返される。
閾値設定部４５により、次フレームの除算画像が取得されると（ステップＳＡ２）、計算式（２）に基づき次フレームの画像全体の平均階調値ｍが算出され（ステップＳＡ３）、図１１に示されるように、前フレーム時の閾値Ｓ＝１５７５より大きい新たな閾値Ｓ＝２３６３が設定される（ステップＳＡ４）。
これにより、画像調整部５１において、除算画像における階調値が調整され（ステップＳＡ５）、図１２に示されるように、バックグラウンドの表示の９８．７％が消去され、病変部の表示の８７．８％が残された新たな除算画像が表示される（ステップＳＡ６）。
このように、ステップＳＡ２〜ステップＳＡ６が繰り返され、次フレームの除算画像が生成されるとその画像全体の平均階調値ｍに基づき閾値Ｓが更新されて、階調値が調整された新たな除算画像がモニタ５０に表示される。
以上説明したように、本実施形態に係る蛍光観察装置１００によれば、光源１０から発せられた励起光が観察対象部位Ｘに照射されると、蛍光画像生成部４２により観察対象部位Ｘにおいて発生した蛍光の蛍光画像が取得され、光源１０から励起光とともに発せられた参照光が観察対象部位Ｘに照射されると、参照画像生成部４１によりその戻り光の参照光画像が取得される。そして、取得された蛍光画像は、除算画像生成部４３において参照光画像を用いて補正される。
この場合に、除算画像生成部４３における補正に先立って、前処理部４６において蛍光画像および参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とを相互に正比例関係とする係数が乗算されることにより補正用蛍光画像および補正用参照光画像が生成される。
すなわち、蛍光画像を構成する各画素の蛍光強度および参照光画像を構成する各画素の戻り光強度は、照明部から当画素に対応する観察対象部位Ｘ上の位置までの距離に依存して変化し、それぞれ距離の指数関数に近似させることができる。蛍光強度の距離特性における指数は、戻り光強度の距離特性における指数とは異なるので、蛍光画像を参照光画像でそのまま除算しても距離の依存性を除去することはできない。従って、蛍光強度および戻り光強度をそれぞれ距離特性における指数の逆数で予め累乗しておくことで、蛍光強度の距離特性と戻り光強度の距離特性とを相互に正比例関係とすることができ、除算したときに距離の依存性を除去することができる。
そこで、標準試料について予め取得した蛍光強度の距離特性と戻り光強度の距離特性とから、蛍光画像および参照光画像の少なくとも一方に乗算することにより、上述した指数の逆数を累乗したのと同様の効果を得られる係数を予め求めておく。そして、求められた係数を蛍光画像および参照光画像の少なくとも一方に乗算して、補正用蛍光画像と補正用参照光画像を生成し、除算画像生成部４３において、補正用蛍光画像を補正用参照光画像で除算することにより、距離の依存性を十分に低減するように補正された除算画像を得ることができる。
また、画像調整部５１により所定の閾値を基準として病変部とバックグラウンドとのコントラストが拡大するように除算画像の階調値を調整することで、バックグラウンドから発生される微弱な蛍光の影響を抑制した鮮明な除算画像を取得することができる。
また、本実施形態においては、被写体からの反射光および散乱戻り光により生成される白色光画像を参照光画像として用いているため、蛍光をほとんど生じない領域においても、参照光画像の階調値がゼロまたはゼロに近い値になることは無く、正確な除算画像を生成することができる。
また、閾値設定部４５により除算画像の平均階調値に基づいて閾値を設定することで、除算画像における階調値の変動に追従して閾値を更新し、取得する除算画像ごとの鮮明度を維持することができる。これにより、観察対象部位Ｘの定量的な情報を取得することができる。
なお、本実施形態においては、係数ａ＝１．５を例示して説明したが、観察状況に応じて係数ａの値を変更すればよい。
また、本実施形態においては、標準試料に対する戻り光強度の距離特性を蛍光強度の距離特性に一致させる係数を採用したが、これに限定されるものではなく、両特性を正比例させる係数でもよい。
また、本実施形態においては、観察距離の依存性を低減して定量性の高い蛍光観察を行うための構成を採用したが、これに代えて、観察角度の依存性を低減する構成を採用してもよい。具体的には、前処理部４６において、標準試料を用いて観察角度を変化させつつ取得された規格化蛍光画像と規格化参照光画像との比であり、標準試料における規格化蛍光画像の蛍光強度の角度特性を、同じく標準試料における規格化参照光画像の戻り光強度の角度特性に正比例させるように選定された係数を、観察対象部位Ｘの規格化参照光画像に乗算する。そして、除算画像生成部４３においては、得られた補正用参照光画像によって、補正用蛍光画像を除算することにより、観察角度の依存性を十分に低減した補正された除算画像を得ることができ、定量性の高い蛍光観察を行うことができる。
［第１の変形例］
本実施形態は以下のように変形することができる。
例えば、本実施形態においては、除算画像全体の平均階調値ｍに基づいて閾値を設定することとしたが、第１の変形例として、閾値設定部４５が、以下の計算式（３）に示されるように、画像全体の平均階調値ｍと標準偏差との和に基づいて閾値Ｓを設定することとしてもよい。
Figure 2013039275
 σ：除算画像における各画素の階調値の標準偏差
画像全体の標準偏差σは、以下の計算式（４）により算出することとすればよい。
Figure 2013039275
ここで、バックグラウンドの標準偏差σ１および病変部の標準偏差σ２は、理想的にはそれぞれ平均階調値の平方根に近い値となるが、照明の配光分布の揺らぎや観察対象部位Ｘの表面における凹凸等の影響により、揺らぎが大きくなる。そこで、標準偏差σ１，σ２は理想的な値（平均階調値の平方根）の１０倍あると仮定し、バックグラウンドの標準偏差σ１＝３１６、病変部の標準偏差σ２＝４４７とする。
このように仮定した場合、図１３のフローチャートに示されるように、閾値設定部４５において除算画像が取得されると（ステップＳＢ１）、計算式（２），（４）により、その画像全体の平均階調値ｍ＝１０５０、その標準偏差σ＝３９１が算出される（ステップＳＢ２）。閾値設定部４５において、算出された画像全体の平均階調値ｍと標準偏差σを用いて、計算式（３）により閾値Ｓ＝１４４１が算出されて設定される（ステップＳＢ３）。
画像調整部５１においては、除算画像の全画素のうち閾値Ｓ＝１４４１未満の階調値を有する画素が階調値０に置き換えられる（ステップＳＢ４）。これにより、バックグラウンドの表示の９１．８％が消去され、病変部の表示の８９．５％が残された新たな除算画像がモニタ５０に表示される（ステップＳＢ５）。
次に、観察距離が変動し、誤差要因により次フレームの除算画像における各画素の階調値の平均値が高くなる方向に変動するとした場合、仮に、閾値を変更せずに閾値Ｓ＝１４４１のままとすると、階調値の変動後は病変部の表示の９８．８％が残されるもののバックグラウンドの表示の６５．２％しか消去されず、除算画像の鮮明度が低下する。
本変形例においては、閾値設定部４５により画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓを設定するため、ステップＳＢ１〜ステップＳＢ５が繰り返される。
例えば、各画素の階調値の平均値が３０％変動したとすると、バックグラウンドの平均階調値ｍ１＝１３００、その標準偏差σ１＝３６１、病変部の平均階調値ｍ２＝２６００、その標準偏差σ２＝５１０と仮定することができる。
閾値設定部４５により、次フレームの除算画像が取得されると（ステップＳＢ１）、計算式（２），（４）に基づき算出される次フレームの画像全体の平均階調値ｍ＝１３６５と標準偏差σ＝４６６により（ステップＳＢ２）、計算式（３）に基づいて新たな閾値Ｓ＝１８３１が設定される（ステップＳＢ３）。これにより、画像調整部５１により除算画像の階調値が調整され（ステップＳＢ４）、バックグラウンドの表示の９２．９％が消去されて、病変部の表示の９３．４％が残された新たな除算画像が表示される（ステップＳＢ５）。
以上説明したように、本変形例に係る蛍光観察装置によれば、画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓを設定することで、除算画像に観察距離に対する誤差要因が残存している場合でも、鮮明な除算画像を常時取得することができる。また、除算画像における画素ごとの階調値にばらつきがある場合であっても、平均階調値だけに基づいて閾値を設定する場合と比較してより精度が高い閾値を設定することができる。
ここで、本変形例の比較例について以下に説明する。
例えば、各画素の階調値の平均値が３０％変動し、バックグラウンドの平均階調値ｍ１＝７００、その標準偏差σ１＝２６５、病変部の平均階調値ｍ２＝１４００、その標準偏差σ２＝３７４になったと仮定する。この場合、比較例として、画像全体の平均階調値ｍだけに基づいて閾値Ｓを算出すると、閾値Ｓ＝１１０３となり、バックグラウンドの表示の９３％が消去されるが、病変部の表示の７８％が残されるに留まる。
一方、本変形例のように画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓを算出すると、閾値Ｓ＝１０４６となり、バックグラウンドの表示の９０％が消去され、病変部の表示の８３％が残される。したがって、病変部の表示をより多く残存させるような閾値を設定することができ、特異度よりも感度を優先する際に特に有効となる。
なお、平均値ｍと標準偏差σにそれぞれ任意の係数ａ，ｂを乗じて、以下の式に示すように閾値を設定しても良い。
Ｓ＝ａｍ＋ｂσ
このようにすることで、病変を見落とさないこと（感度が高いこと）を優先するときは係数ａ，ｂの値を小さく、病変以外の部分を表示しないこと（特異度が高いこと）を優先するときは係数ａ，ｂの値を大きくするなど、観察の目的に応じて、より最適な閾値Ｓを算出することができる。
［第２の変形例］
本実施形態の第２の変形例として、図１４に示すように、白色光画像に除算画像との合成画像を生成する画像合成部４７を設け、生成された合成画像をモニタ５０に表示してもよい。
上記構成を有する本変形例に係る蛍光観察装置１０１によれば、白色光画像と除算画像の位置関係をより明瞭に術者に提供することができる。閾値以下の領域を階調値０として表示しているため、両画像が重畳された合成画像においても、図１５に示すように、病変部以外の領域において、白色光画像の表示が除算画像によって阻害されずに済む。
［第３の変形例］
本実施形態の第３の変形例について以下に説明する。
前述の実施形態においては、白色光画像を参照光画像として用いたが、本変形例に係る蛍光観察装置１０２では、図１６に示すように、たとえば、白色光画像を、ＲＧＢの３チャネルからなるＣＣＤもしくはＣＭＯＳ（白色光画像取得部）および白色光画像生成部４８により生成し、除算画像（補正蛍光画像）と合成を行っている。
この際、Ｒチャネルのみを参照光画像として用いるなどの方法をとってもよい。
もしくは、白色光とは別の波長帯域、たとえば赤や近赤外の光を別途参照光として照射し、白色光画像と別に参照光画像を取得するという方法でもよい。いずれの場合においても、白色光画像と除算画像を同時に表示するので、白色光画像による観察を阻害することなく、さらに除算画像の情報を術者に提供することができる。
［第４の変形例］
本実施形態の第４の変形例について以下に説明する。
本実施形態の第４の変形例として、図１７に示されるように、挿入部（着脱部品）２が光源１０に着脱可能に設けられていてもよい。この場合には、挿入部２が着脱されて他の挿入部２に交換されることによって、対物レンズ３１を始め、挿入部２に含まれる種々の光学系が変更されるので、対物レンズ３１の開口数（ＮＡ）や瞳径等の変化、あるいは、検出する蛍光の波長、観察対象部位（胃組織や大腸組織など）等の変化によって、係数が変化する。
したがって、本変形例に係る蛍光観察装置１０３は、挿入部２に識別情報を記憶するＩＣチップ６０を備え、挿入部２が取り付けられる光源１０側にＩＣチップ６０内の識別情報を読み取る識別情報読取部６１を備えている。また、画像処理部４０内に、ＩＣチップ６０内の識別情報と各挿入部２に適した係数とを対応づけて記憶する記憶部６２を備えている。
そして、前処理部４６が、記憶部６２から出力される挿入部２の識別情報に対応する係数を受け取って、上記演算を行うことにすればよい。
このようにすることで、光源１０に対して挿入部２が交換されても、該挿入部２に最適な係数が設定され、定量性の高い除算画像を常に取得することができる。
なお、規格化参照光画像に乗算する係数に代えて規格化蛍光画像に乗算する係数を記憶していてもよいし、規格化参照光画像および規格化蛍光画像にそれぞれ乗算する係数を記憶していてもよい。
また、記憶部６２には、距離・角度依存補正の係数だけでなく、閾値の設定を
Ｓ＝ａｍ＋ｂσ
とし、閾値設定の係数ａ，ｂを記憶しておくこととしてもよい。
また、本変形例においては、観察距離の依存性を低減して定量性の高い蛍光観察を行うための構成を採用したが、これに代えて、観察角度の依存性を低減する構成を採用してもよい。
［第２の実施形態］
次に、本発明の第２の実施形態に係る蛍光観察システム７０について、図面を参照して以下に説明する。
なお、本実施形態の説明において、上述した第１の実施形態に係る蛍光観察装置１００と構成を共通とする箇所には同一符号を付して説明を省略する。
本実施形態に係る蛍光観察システム７０は、図１８に示されるように、蛍光観察装置１００と、該蛍光観察装置１００を装着する較正装置７１とを備えている。
本実施形態においては、蛍光観察装置１００は、係数を算出する係数決定部７２を備えている。
較正装置７１は、図１８および図１９に示されるように、挿入部２を固定するホルダ７３と、該ホルダ７３に固定された挿入部２の先端面２ａに対して観察距離をあけて対向させられる標準試料７４と、挿入部２の先端面２ａと標準試料７４との間の観察距離を変更する直動ステージ７５と、対物レンズ３１の光軸に対する標準試料７４の表面の角度（観察角度）を変更するチルトステージ７６と、これらのステージ７５，７６を制御する制御部７７とを備えている。
制御部７７は、ステージ７５，７６を駆動して、観察距離または観察角度を変化させるとともに、予め設定されたタイミングでトリガ信号Ｓを出力するようになっている。
また、係数決定部７２は、画像規格化部４４から送られてくる規格化蛍光画像および規格化参照光画像を受信するとともに、制御部７７からのトリガ信号Ｓの受信時における規格化蛍光画像の輝度値および規格化参照光画像の輝度値を保持し、規格化蛍光画像の輝度値を規格化参照光画像の輝度値で除算することにより係数を算出し、算出された係数を規格化参照光画像の輝度値と対応づけて記憶するようになっている。
観察距離を変化させたときの係数を取得する場合には、制御部７７は、まず、図１９に示されるように、標準試料７４の表面に対して挿入部２の先端面２ａが観察開始の距離となるように直動ステージ７５を駆動させる。次いで、ユニット７から照明光および励起光を標準試料７４に対して照射し、戻り光および蛍光が撮影される状態として、制御部７７は、予め定められた距離ずつステージ７５を移動させ、その都度、トリガ信号Ｓを出力する。これにより、係数決定部７２には、異なる複数の観察距離において取得された複数の係数が規格化参照光画像の輝度値と対応づけて記憶される。
一方、観察角度を変化させたときの係数を取得する場合には、制御部７７は、まず、図１９に示されるように、標準試料７４の表面に対して挿入部２の先端面２ａが観察開始の距離および角度となるように直動ステージ７５およびチルトステージ７６を駆動させる。次いで、ユニット７から照明光および励起光を標準試料７４に対して照射し、戻り光および蛍光が撮影される状態として、制御部７７は、予め定められた距離ずつチルトステージ７６を移動させ、その都度、トリガ信号Ｓを出力する。これにより、係数決定部７２には、異なる複数の観察角度において取得された複数の係数が規格化参照光画像の輝度値と対応づけて記憶される。
観察距離を変化させたときの係数と、観察角度を変化させたときの係数とは、観察条件に応じて適宜選択することにすればよい。
また、係数決定部７２は、前処理部７６から規格化参照光画像の輝度値が入力されると、該輝度値に対応する係数を算出して、前処理部４６に対して出力するようになっている。すなわち、係数決定部７２には、間隔をあけた複数の規格化参照光画像の輝度値に対応づけた複数の係数が記憶されているので、その間の輝度値が入力されたときには、入力された輝度値を挟む輝度値間で係数を補間して新たな係数を算出し、前処理部４６に出力するようになっている。
このように、本実施形態に係る蛍光観察システム７０によれば、観察対象や観察条件、例えば、各光学系や観察に使用する蛍光波長などが変化しても、その都度、変化に応じた係数を設定することができ、種々の観察対象や観察条件においても定量性の高い蛍光画像により観察することができる。
例えば、蛍光観察装置１００として内視鏡に適用する場合には、硬性鏡や軟性鏡のような種類の違い、あるいは、上部消化器内視鏡や下部消化器内視鏡のような観察部位の違いなどがあったとしても、それぞれに対応した最適な係数を設定することができる。また、同一種類の蛍光観察装置１００であったとしても、個体差に拘わらず、個々の装置に対して係数を設定することができる。
なお、本実施形態における標準試料７４としては、観察しようとする生体と同様の散乱や吸収特性を有するファントムを用いてもよいし、ヒトや動物（ブタやマウス等）の切除組織を用いてもよい。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の各実施形態および各変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
また、上記実施形態および変形例においては、画像調整部５１が、バックグラウンドの蛍光の表示を消去し、病変部の表示を残すこととしたが、病変部からの蛍光とバックグラウンドからの蛍光とのコントラストを拡大させればよく、例えば、バックグラウンドの表示を消去しない程度にその画素の階調値を下げたり、病変部を表示する画素の階調値を高くしたりすることとしてもよい。
１０ 光源
４１ 参照画像生成部
４２ 蛍光画像生成部
４３ 除算画像生成部
４４ 画像規格化部
４５ 閾値設定部
４６ 前処理部
４７ 画像合成部
４８ 白色光画像生成部
５０ モニタ（表示部）
５１ 画像調整部
６０ ＩＣチップ
６１ 識別情報読取部（識別情報読取手段）
６２ 記憶部
７０ 蛍光観察システム
７１ 較正装置
７２ 係数決定部
７４ 標準試料
７５ 直動ステージ（観察距離設定機構）
７６ チルトステージ（観察角度設定機構）
１００，１０１，１０２，１０３ 蛍光観察装置

Claims (13)

  1. 被写体に励起光および参照光を照射する光源と、
    該光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、
    前記光源からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照光画像を取得する参照光画像取得部と、
    前記蛍光画像または前記参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理部と、
    該前処理部により生成された前記補正用蛍光画像を前記補正用参照光画像で除算し、除算画像を生成する除算画像生成部と、
    該除算画像生成部により生成された前記除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定部と、
    該閾値設定部により設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記除算画像におけるコントラストを拡大する画像調整部と、
    該画像調整部により前記コントラストが拡大された前記除算画像を表示する表示部とを備える蛍光観察装置。
  2. 被写体に励起光および参照光を照射する光源と、
    該光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、
    前記光源からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照光画像を取得する参照光画像取得部と、
    前記蛍光画像または前記参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の角度特性と戻り光強度の角度特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理部と、
    該前処理部により生成された前記補正用蛍光画像を前記補正用参照光画像で除算し、除算画像を生成する除算画像生成部と、
    該除算画像生成部により生成された前記除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定部と、
    該閾値設定部により設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記除算画像におけるコントラストを拡大する画像調整部と、
    該画像調整部により前記コントラストが拡大された前記除算画像を表示する表示部とを備える蛍光観察装置。
  3. 前記参照光画像取得部が、前記被写体において反射または散乱されて戻る前記参照光の反射光または散乱光を取得する請求項１または２に記載の蛍光観察装置。
  4. 前記光源が、さらに白色光を照射し、
    前記画像調整部が、前記閾値より小さい階調値を有する領域を非表示としたバックグラウンド除去画像を生成し、
    前記白色光の照射により得られる前記被写体の白色光画像を取得する白色光画像取得部と、
    該白色光画像取得部により取得された白色光画像と前記画像調整部により生成されたバックグラウンド除去画像とを重畳した合成画像を生成する画像合成部とを備え、
    前記表示部が、前記画像合成部により生成された合成画像を表示する請求項１または２に記載の蛍光観察装置。
  5. 前記光源が、前記参照光として白色光を照射し、
    前記参照光画像取得部が、前記参照光画像として被写体から戻る白色光画像を取得し、
    前記画像調整部が、前記閾値より小さい階調値を有する領域を非表示としたバックグラウンド除去画像を生成し、
    前記参照光画像取得部により取得された前記被写体の白色光画像と前記画像調整部により生成されたバックグラウンド除去画像とを重畳した合成画像を生成する画像合成部を備え、
    前記表示部が、前記画像合成部により生成された合成画像を表示する請求項１または２に記載の蛍光観察装置。
  6. 前記閾値設定部が、前記階調値の平均値と標準偏差とに基づいて前記閾値を設定する請求項１または２に記載の蛍光観察装置。
  7. 前記前処理部が、前記蛍光画像の各画素の蛍光強度および前記参照光画像の各画素の戻り光強度を前記蛍光撮像部および前記参照光撮像部のゲインおよび露光時間によって規格化して規格化蛍光画像および規格化参照光画像を生成し、これら規格化蛍光画像または規格化参照光画像の少なくとも一方に、前記係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する請求項１または２に記載の蛍光観察装置。
  8. 前記係数を記憶する記憶部を備え、
    前記前処理部が、前記記憶部に記憶されている係数を前記蛍光画像または前記参照光画像の少なくとも一方に乗算する請求項１または２に記載の蛍光観察装置。
  9. 観察条件を変更するために着脱される着脱部品を備え、
    該着脱部品に識別情報が記録され、
    該着脱部品に記憶された識別情報を読み取る識別情報読取手段とを備え、
    前記記憶部に、前記識別情報と前記係数とが対応づけて記憶されている請求項８に記載
    の蛍光観察装置。
  10. 請求項１に記載の蛍光観察装置と、
    該蛍光観察装置に接続され、前記係数を算出する較正装置とを備え、
    該較正装置が、標準試料と、該標準試料に対して前記蛍光観察装置の観察距離を変更可能に設定する観察距離設定機構とを備え、
    前記観察距離設定機構により設定された観察距離と、前記蛍光観察装置により前記標準試料を撮影して取得された蛍光画像および参照光画像とに基づいて、該蛍光画像および前記参照光画像の少なくとも一方に乗算することにより、蛍光強度の距離特性と戻り光強度の距離特性とが正比例することとなる係数を算出する係数決定部を有する蛍光観察システム。
  11. 請求項２に記載の蛍光観察装置と、
    該蛍光観察装置に接続され、前記係数を算出する較正装置とを備え、
    該較正装置が、標準試料と、該標準試料に対して前記蛍光観察装置の観察角度を変更可能に設定する観察角度設定機構とを備え、
    前記観察角度設定機構により設定された観察角度と、前記蛍光観察装置により前記標準試料を撮影して取得された蛍光画像および参照光画像とに基づいて、該蛍光画像および前記参照光画像の少なくとも一方に乗算することにより、蛍光強度の角度特性と戻り光強度の角度特性とが正比例することとなる係数を算出する係数決定部を有する蛍光観察システム。
  12. 励起光を被写体に照射することにより被写体において発生した蛍光を撮影して取得された蛍光画像と、参照光を被写体に照射することにより被写体から戻る戻り光を撮影して取得された参照光画像とを用いて、
    前記蛍光画像または前記参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理ステップと、
    該前処理ステップにより生成された前記補正用蛍光画像を前記補正用参照光画像で除算し、除算画像を生成する除算画像生成ステップと、
    該除算画像生成ステップにより生成された前記除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定ステップと、
    該閾値設定ステップにより設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記除算画像におけるコントラストを拡大する画像調整ステップと、
    該画像調整ステップにより前記コントラストが拡大された前記除算画像を表示する表示ステップとを含む蛍光画像処理方法。
  13. 励起光を被写体に照射することにより被写体において発生した蛍光を撮影して取得された蛍光画像と、参照光を被写体に照射することにより被写体から戻る戻り光を撮影して取得された参照光画像とを用いて、
    前記蛍光画像または前記参照光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の角度特性と戻り光強度の角度特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用参照光画像とを生成する前処理ステップと、
    該前処理ステップにより生成された前記補正用蛍光画像を前記補正用参照光画像で除算し、除算画像を生成する除算画像生成ステップと、
    該除算画像生成ステップにより生成された前記除算画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定ステップと、
    該閾値設定ステップにより設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記除算画像におけるコントラストを拡大する画像調整ステップと、
    該画像調整ステップにより前記コントラストが拡大された前記除算画像を表示する表示ステップとを含む蛍光画像処理方法。
JP2011178922A 2011-08-18 2011-08-18 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法 Expired - Fee Related JP5816486B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011178922A JP5816486B2 (ja) 2011-08-18 2011-08-18 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
PCT/JP2012/070241 WO2013024773A1 (ja) 2011-08-18 2012-08-08 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法
CN201280039584.2A CN103764007B (zh) 2011-08-18 2012-08-08 荧光观察装置和荧光观察系统以及荧光图像处理方法
EP12823651.0A EP2745761B1 (en) 2011-08-18 2012-08-08 Fluorescence observation apparatus and fluorescence observation system
US14/173,202 US9182347B2 (en) 2011-08-18 2014-02-05 Fluoroscopy apparatus, fluoroscopy system, and fluorescence-image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011178922A JP5816486B2 (ja) 2011-08-18 2011-08-18 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法

Publications (3)

Publication Number Publication Date
JP2013039275A true JP2013039275A (ja) 2013-02-28
JP2013039275A5 JP2013039275A5 (ja) 2014-10-02
JP5816486B2 JP5816486B2 (ja) 2015-11-18

Family

ID=47715093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011178922A Expired - Fee Related JP5816486B2 (ja) 2011-08-18 2011-08-18 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法

Country Status (5)

Country Link
US (1) US9182347B2 (ja)
EP (1) EP2745761B1 (ja)
JP (1) JP5816486B2 (ja)
CN (1) CN103764007B (ja)
WO (1) WO2013024773A1 (ja)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156493A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 蛍光観察装置
WO2016147822A1 (ja) * 2015-03-17 2016-09-22 浜松ホトニクス株式会社 重畳画像生成装置及び重畳画像生成方法
JP2017504307A (ja) * 2013-10-07 2017-02-09 セルラー リサーチ， インコーポレイテッド アレイ上のフィーチャーをデジタルカウントするための方法およびシステム
US10202646B2 (en) 2009-12-15 2019-02-12 Becton, Dickinson And Company Digital counting of individual molecules by stochastic attachment of diverse labels
US10208356B1 (en) 2013-08-28 2019-02-19 Becton, Dickinson And Company Massively parallel single cell analysis
JP2019168423A (ja) * 2018-03-26 2019-10-03 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
WO2019230095A1 (ja) * 2018-05-31 2019-12-05 パナソニックＩｐマネジメント株式会社 カメラ装置、画像処理方法およびカメラシステム
US10640763B2 (en) 2016-05-31 2020-05-05 Cellular Research, Inc. Molecular indexing of internal sequences
US10669570B2 (en) 2017-06-05 2020-06-02 Becton, Dickinson And Company Sample indexing for single cells
US10697010B2 (en) 2015-02-19 2020-06-30 Becton, Dickinson And Company High-throughput single-cell analysis combining proteomic and genomic information
US10941396B2 (en) 2012-02-27 2021-03-09 Becton, Dickinson And Company Compositions and kits for molecular counting
CN112967207A (zh) * 2021-04-23 2021-06-15 北京恒安嘉新安全技术有限公司 一种图像处理方法、装置、电子设备及存储介质
US11124823B2 (en) 2015-06-01 2021-09-21 Becton, Dickinson And Company Methods for RNA quantification
USRE48913E1 (en) 2015-02-27 2022-02-01 Becton, Dickinson And Company Spatially addressable molecular barcoding
US11319583B2 (en) 2017-02-01 2022-05-03 Becton, Dickinson And Company Selective amplification using blocking oligonucleotides
US11332776B2 (en) 2015-09-11 2022-05-17 Becton, Dickinson And Company Methods and compositions for library normalization
US11365409B2 (en) 2018-05-03 2022-06-21 Becton, Dickinson And Company Molecular barcoding on opposite transcript ends
US11371076B2 (en) 2019-01-16 2022-06-28 Becton, Dickinson And Company Polymerase chain reaction normalization through primer titration
US11390914B2 (en) 2015-04-23 2022-07-19 Becton, Dickinson And Company Methods and compositions for whole transcriptome amplification
US11460468B2 (en) 2016-09-26 2022-10-04 Becton, Dickinson And Company Measurement of protein expression using reagents with barcoded oligonucleotide sequences
US11492660B2 (en) 2018-12-13 2022-11-08 Becton, Dickinson And Company Selective extension in single cell whole transcriptome analysis
US11525157B2 (en) 2016-05-31 2022-12-13 Becton, Dickinson And Company Error correction in amplification of samples
US11535882B2 (en) 2015-03-30 2022-12-27 Becton, Dickinson And Company Methods and compositions for combinatorial barcoding
US11639517B2 (en) 2018-10-01 2023-05-02 Becton, Dickinson And Company Determining 5′ transcript sequences
US11649497B2 (en) 2020-01-13 2023-05-16 Becton, Dickinson And Company Methods and compositions for quantitation of proteins and RNA
US11661625B2 (en) 2020-05-14 2023-05-30 Becton, Dickinson And Company Primers for immune repertoire profiling
US11661631B2 (en) 2019-01-23 2023-05-30 Becton, Dickinson And Company Oligonucleotides associated with antibodies
US11739443B2 (en) 2020-11-20 2023-08-29 Becton, Dickinson And Company Profiling of highly expressed and lowly expressed proteins
US11773441B2 (en) 2018-05-03 2023-10-03 Becton, Dickinson And Company High throughput multiomics sample analysis
US11773436B2 (en) 2019-11-08 2023-10-03 Becton, Dickinson And Company Using random priming to obtain full-length V(D)J information for immune repertoire sequencing
US11845986B2 (en) 2016-05-25 2023-12-19 Becton, Dickinson And Company Normalization of nucleic acid libraries
US11932901B2 (en) 2020-07-13 2024-03-19 Becton, Dickinson And Company Target enrichment using nucleic acid probes for scRNAseq
US11932849B2 (en) 2018-11-08 2024-03-19 Becton, Dickinson And Company Whole transcriptome analysis of single cells using random priming
US11939622B2 (en) 2019-07-22 2024-03-26 Becton, Dickinson And Company Single cell chromatin immunoprecipitation sequencing assay
US11946095B2 (en) 2017-12-19 2024-04-02 Becton, Dickinson And Company Particles associated with oligonucleotides
US12071617B2 (en) 2019-02-14 2024-08-27 Becton, Dickinson And Company Hybrid targeted and whole transcriptome amplification

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5677378B2 (ja) * 2012-07-25 2015-02-25 富士フイルム株式会社 内視鏡システム
JP6198426B2 (ja) * 2013-03-29 2017-09-20 浜松ホトニクス株式会社 蛍光観察装置及び蛍光観察方法
CN106999020A (zh) * 2014-12-17 2017-08-01 卡尔斯特里姆保健公司 口腔内3d荧光成像
JP6633065B2 (ja) * 2015-05-20 2020-01-22 ソニー・オリンパスメディカルソリューションズ株式会社 信号処理装置及び医療用観察システム
KR101717362B1 (ko) * 2015-08-05 2017-03-16 왕용진 평면 스캔 비디오 카이모그라피와 후두 스트로보스코피 기능이 있는 비디오 후두 내시경 시스템
JPWO2017060954A1 (ja) 2015-10-05 2018-07-19 オリンパス株式会社 撮像装置
KR101771325B1 (ko) * 2015-10-29 2017-08-24 한국 한의학 연구원 적응 임계값 도출과 설태, 설질, 및 혼합 영역을 구분하는 장치 및 방법
KR101822969B1 (ko) * 2016-09-01 2018-01-31 한국과학기술연구원 근적외선과 cmos 영상 센서를 이용한 비침습 생체 이미징 방법 및 시스템
EP3417758A1 (en) 2017-06-19 2018-12-26 Ambu A/S A method for processing image data using a non-linear scaling model and a medical visual aid system
TWI659395B (zh) * 2017-07-19 2019-05-11 銳準醫光股份有限公司 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統
US10835116B2 (en) * 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy
US10665000B2 (en) * 2018-01-08 2020-05-26 AcuSolutions Inc. Pseudo H and E image producing method and optical system using same
JP6856559B2 (ja) * 2018-01-23 2021-04-07 浜松ホトニクス株式会社 光測定装置及び光測定方法
KR102457527B1 (ko) * 2018-01-25 2022-10-21 한화정밀기계 주식회사 플립 칩의 플럭스 도포 상태 검사 방법
CN109840912B (zh) * 2019-01-02 2021-05-04 厦门美图之家科技有限公司 一种图像中异常像素的修正方法及计算设备
CN111369478B (zh) * 2020-03-04 2023-03-21 腾讯科技（深圳）有限公司 人脸图像增强方法、装置、计算机设备和存储介质
CN115406905A (zh) * 2021-05-28 2022-11-29 上海微电子装备（集团）股份有限公司 缺陷检测装置及缺陷检测的校正方法
WO2024073291A2 (en) * 2022-09-26 2024-04-04 Life Technologies Corporation Normalization methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017379A (ja) * 1999-07-09 2001-01-23 Fuji Photo Film Co Ltd 蛍光診断装置
JP2003164414A (ja) * 2001-11-29 2003-06-10 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
WO2010110138A1 (ja) * 2009-03-24 2010-09-30 オリンパス株式会社 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法
JP2010220894A (ja) * 2009-03-24 2010-10-07 Olympus Corp 蛍光観察システム、蛍光観察装置および蛍光観察方法
JP2011087929A (ja) * 2009-10-14 2011-05-06 Carestream Health Inc 歯の領域を識別するための方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247232A (ja) 1986-04-21 1987-10-28 Agency Of Ind Science & Technol 蛍光測定装置
JPS63252134A (ja) 1987-04-10 1988-10-19 工業技術院長 螢光検出を利用したがん診断装置
DE60109989T2 (de) * 2000-06-26 2006-02-23 Fuji Photo Film Co. Ltd., Minamiashigara Vorrichtung zur Aufnahme von Fluoreszenzbildern
JP4202671B2 (ja) 2001-04-27 2008-12-24 富士フイルム株式会社 規格化画像生成方法および装置
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
CN1169079C (zh) * 2002-03-25 2004-09-29 北京工业大学 基于样条思内克斯(Snakes)模型的中医舌象计算机分割方法
JP4311607B2 (ja) * 2002-05-27 2009-08-12 富士フイルム株式会社 蛍光診断情報生成方法および装置
EP1387315B1 (en) * 2002-06-07 2007-09-12 Honda Research Institute Europe GmbH Preparation of a digital image with subsequent edge detection
JP4199510B2 (ja) * 2002-09-30 2008-12-17 Ｈｏｙａ株式会社 診断補助用装置
JP2006175052A (ja) 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
US8129105B2 (en) * 2006-04-13 2012-03-06 Ralph Zuckerman Method and apparatus for the non-invasive measurement of tissue function and metabolism by determination of steady-state fluorescence anisotropy
CN100541601C (zh) * 2007-04-13 2009-09-16 四川长虹电器股份有限公司 亮度信号处理方法
JP5160343B2 (ja) * 2008-08-22 2013-03-13 オリンパスメディカルシステムズ株式会社 撮像システム及び内視鏡システム
EP2520211B1 (en) * 2010-02-10 2014-04-23 Olympus Corporation Fluorescence endoscope device
JP5690327B2 (ja) * 2010-03-09 2015-03-25 オリンパス株式会社 蛍光内視鏡装置
CN102802495B (zh) * 2010-03-18 2015-08-05 奥林巴斯株式会社 荧光观察装置以及荧光观察方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001017379A (ja) * 1999-07-09 2001-01-23 Fuji Photo Film Co Ltd 蛍光診断装置
JP2003164414A (ja) * 2001-11-29 2003-06-10 Fuji Photo Film Co Ltd 蛍光診断画像表示方法および表示装置
WO2010110138A1 (ja) * 2009-03-24 2010-09-30 オリンパス株式会社 蛍光観察装置、蛍光観察システムおよび蛍光画像処理方法
JP2010220894A (ja) * 2009-03-24 2010-10-07 Olympus Corp 蛍光観察システム、蛍光観察装置および蛍光観察方法
JP2011087929A (ja) * 2009-10-14 2011-05-06 Carestream Health Inc 歯の領域を識別するための方法

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11970737B2 (en) 2009-12-15 2024-04-30 Becton, Dickinson And Company Digital counting of individual molecules by stochastic attachment of diverse labels
US10619203B2 (en) 2009-12-15 2020-04-14 Becton, Dickinson And Company Digital counting of individual molecules by stochastic attachment of diverse labels
US10202646B2 (en) 2009-12-15 2019-02-12 Becton, Dickinson And Company Digital counting of individual molecules by stochastic attachment of diverse labels
US10392661B2 (en) 2009-12-15 2019-08-27 Becton, Dickinson And Company Digital counting of individual molecules by stochastic attachment of diverse labels
US12060607B2 (en) 2009-12-15 2024-08-13 Becton, Dickinson And Company Digital counting of individual molecules by stochastic attachment of diverse labels
US11993814B2 (en) 2009-12-15 2024-05-28 Becton, Dickinson And Company Digital counting of individual molecules by stochastic attachment of diverse labels
US11634708B2 (en) 2012-02-27 2023-04-25 Becton, Dickinson And Company Compositions and kits for molecular counting
US10941396B2 (en) 2012-02-27 2021-03-09 Becton, Dickinson And Company Compositions and kits for molecular counting
JPWO2014156493A1 (ja) * 2013-03-29 2017-02-16 オリンパス株式会社 蛍光観察装置
WO2014156493A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 蛍光観察装置
US10219701B2 (en) 2013-03-29 2019-03-05 Olympus Corporation Fluorescence observation apparatus
US10927419B2 (en) 2013-08-28 2021-02-23 Becton, Dickinson And Company Massively parallel single cell analysis
US10253375B1 (en) 2013-08-28 2019-04-09 Becton, Dickinson And Company Massively parallel single cell analysis
US11618929B2 (en) 2013-08-28 2023-04-04 Becton, Dickinson And Company Massively parallel single cell analysis
US10954570B2 (en) 2013-08-28 2021-03-23 Becton, Dickinson And Company Massively parallel single cell analysis
US10208356B1 (en) 2013-08-28 2019-02-19 Becton, Dickinson And Company Massively parallel single cell analysis
US11702706B2 (en) 2013-08-28 2023-07-18 Becton, Dickinson And Company Massively parallel single cell analysis
JP2017504307A (ja) * 2013-10-07 2017-02-09 セルラー リサーチ， インコーポレイテッド アレイ上のフィーチャーをデジタルカウントするための方法およびシステム
US10697010B2 (en) 2015-02-19 2020-06-30 Becton, Dickinson And Company High-throughput single-cell analysis combining proteomic and genomic information
US11098358B2 (en) 2015-02-19 2021-08-24 Becton, Dickinson And Company High-throughput single-cell analysis combining proteomic and genomic information
USRE48913E1 (en) 2015-02-27 2022-02-01 Becton, Dickinson And Company Spatially addressable molecular barcoding
WO2016147822A1 (ja) * 2015-03-17 2016-09-22 浜松ホトニクス株式会社 重畳画像生成装置及び重畳画像生成方法
JP2016173282A (ja) * 2015-03-17 2016-09-29 浜松ホトニクス株式会社 重畳画像生成装置及び重畳画像生成方法
US10223779B2 (en) 2015-03-17 2019-03-05 Hamamatsu Photonics K.K. Superimposed image creation apparatus and superimposed image creation method
US11535882B2 (en) 2015-03-30 2022-12-27 Becton, Dickinson And Company Methods and compositions for combinatorial barcoding
US11390914B2 (en) 2015-04-23 2022-07-19 Becton, Dickinson And Company Methods and compositions for whole transcriptome amplification
US11124823B2 (en) 2015-06-01 2021-09-21 Becton, Dickinson And Company Methods for RNA quantification
US11332776B2 (en) 2015-09-11 2022-05-17 Becton, Dickinson And Company Methods and compositions for library normalization
US11845986B2 (en) 2016-05-25 2023-12-19 Becton, Dickinson And Company Normalization of nucleic acid libraries
US11525157B2 (en) 2016-05-31 2022-12-13 Becton, Dickinson And Company Error correction in amplification of samples
US11220685B2 (en) 2016-05-31 2022-01-11 Becton, Dickinson And Company Molecular indexing of internal sequences
US10640763B2 (en) 2016-05-31 2020-05-05 Cellular Research, Inc. Molecular indexing of internal sequences
US11460468B2 (en) 2016-09-26 2022-10-04 Becton, Dickinson And Company Measurement of protein expression using reagents with barcoded oligonucleotide sequences
US11467157B2 (en) 2016-09-26 2022-10-11 Becton, Dickinson And Company Measurement of protein expression using reagents with barcoded oligonucleotide sequences
US11782059B2 (en) 2016-09-26 2023-10-10 Becton, Dickinson And Company Measurement of protein expression using reagents with barcoded oligonucleotide sequences
US11319583B2 (en) 2017-02-01 2022-05-03 Becton, Dickinson And Company Selective amplification using blocking oligonucleotides
US10676779B2 (en) 2017-06-05 2020-06-09 Becton, Dickinson And Company Sample indexing for single cells
US10669570B2 (en) 2017-06-05 2020-06-02 Becton, Dickinson And Company Sample indexing for single cells
US12084712B2 (en) 2017-06-05 2024-09-10 Becton, Dickinson And Company Sample indexing for single cells
US11946095B2 (en) 2017-12-19 2024-04-02 Becton, Dickinson And Company Particles associated with oligonucleotides
JP2019168423A (ja) * 2018-03-26 2019-10-03 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
US11365409B2 (en) 2018-05-03 2022-06-21 Becton, Dickinson And Company Molecular barcoding on opposite transcript ends
US11773441B2 (en) 2018-05-03 2023-10-03 Becton, Dickinson And Company High throughput multiomics sample analysis
JP7272670B2 (ja) 2018-05-31 2023-05-12 ｉ－ＰＲＯ株式会社 カメラ装置、画像処理方法およびカメラシステム
WO2019230095A1 (ja) * 2018-05-31 2019-12-05 パナソニックＩｐマネジメント株式会社 カメラ装置、画像処理方法およびカメラシステム
JPWO2019230095A1 (ja) * 2018-05-31 2021-06-24 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ装置、画像処理方法およびカメラシステム
US11639517B2 (en) 2018-10-01 2023-05-02 Becton, Dickinson And Company Determining 5′ transcript sequences
US11932849B2 (en) 2018-11-08 2024-03-19 Becton, Dickinson And Company Whole transcriptome analysis of single cells using random priming
US11492660B2 (en) 2018-12-13 2022-11-08 Becton, Dickinson And Company Selective extension in single cell whole transcriptome analysis
US11371076B2 (en) 2019-01-16 2022-06-28 Becton, Dickinson And Company Polymerase chain reaction normalization through primer titration
US11661631B2 (en) 2019-01-23 2023-05-30 Becton, Dickinson And Company Oligonucleotides associated with antibodies
US12071617B2 (en) 2019-02-14 2024-08-27 Becton, Dickinson And Company Hybrid targeted and whole transcriptome amplification
US11939622B2 (en) 2019-07-22 2024-03-26 Becton, Dickinson And Company Single cell chromatin immunoprecipitation sequencing assay
US11773436B2 (en) 2019-11-08 2023-10-03 Becton, Dickinson And Company Using random priming to obtain full-length V(D)J information for immune repertoire sequencing
US11649497B2 (en) 2020-01-13 2023-05-16 Becton, Dickinson And Company Methods and compositions for quantitation of proteins and RNA
US11661625B2 (en) 2020-05-14 2023-05-30 Becton, Dickinson And Company Primers for immune repertoire profiling
US11932901B2 (en) 2020-07-13 2024-03-19 Becton, Dickinson And Company Target enrichment using nucleic acid probes for scRNAseq
US11739443B2 (en) 2020-11-20 2023-08-29 Becton, Dickinson And Company Profiling of highly expressed and lowly expressed proteins
CN112967207A (zh) * 2021-04-23 2021-06-15 北京恒安嘉新安全技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112967207B (zh) * 2021-04-23 2024-04-12 北京恒安嘉新安全技术有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2013024773A1 (ja) 2013-02-21
EP2745761A4 (en) 2015-05-27
EP2745761A1 (en) 2014-06-25
US9182347B2 (en) 2015-11-10
US20140161369A1 (en) 2014-06-12
JP5816486B2 (ja) 2015-11-18
EP2745761B1 (en) 2018-10-10
CN103764007A (zh) 2014-04-30
CN103764007B (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
JP5816486B2 (ja) 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
JP5393216B2 (ja) 蛍光観察システムおよび蛍光観察システムの作動方法
US9241139B2 (en) Fluorescence observation device
JP5690327B2 (ja) 蛍光内視鏡装置
US9417188B2 (en) Fluorescence observation device
EP2520211B1 (en) Fluorescence endoscope device
JP5558178B2 (ja) 蛍光観察装置
US9052286B2 (en) Fluorescence endoscope apparatus
US20140128680A1 (en) Fluorescence endoscope apparatus
US8489179B2 (en) Fluoroscopy apparatus, fluoroscopy system and fluorescence-image processing method
JP5860802B2 (ja) 蛍光観察装置および蛍光観察装置の作動方法
JP5592715B2 (ja) 画像処理装置および画像処理方法
US9460496B2 (en) Fluorescence observation apparatus, fluorescence observation system, and method for fluorescence image processing
JP5592700B2 (ja) 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140815

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150928

R151 Written notification of patent or utility model registration

Ref document number: 5816486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees