JP2015227778A - 画像取得装置及び画像取得方法 - Google Patents

画像取得装置及び画像取得方法 Download PDF

Info

Publication number
JP2015227778A
JP2015227778A JP2014112382A JP2014112382A JP2015227778A JP 2015227778 A JP2015227778 A JP 2015227778A JP 2014112382 A JP2014112382 A JP 2014112382A JP 2014112382 A JP2014112382 A JP 2014112382A JP 2015227778 A JP2015227778 A JP 2015227778A
Authority
JP
Japan
Prior art keywords
image
optical fiber
imaging
light source
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014112382A
Other languages
English (en)
Inventor
木島 公一朗
Koichiro Kishima
公一朗 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014112382A priority Critical patent/JP2015227778A/ja
Priority to PCT/JP2015/061422 priority patent/WO2015182269A1/ja
Publication of JP2015227778A publication Critical patent/JP2015227778A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence

Landscapes

  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】装置の小型化を図りつつ、多光子励起過程による蛍光画像をより安定して取得する。
【解決手段】本開示に係る画像取得装置は、被撮像体を2以上の光子で励起して蛍光を発生させるための励起光を被撮像体へと導光する光源光学系と、マルチモードの光ファイバ素線が複数束ねられたものであり、一方の端部に入射した励起光を被撮像体へと伝送しつつ、被撮像体で発生した蛍光によって他方の端部へと結像している被撮像体の像を一方の端部へと伝送するイメージガイドファイバと、被撮像体の像を複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査し、光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、被撮像体の画像データを複数生成する撮像光学系と、光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を代表画素値として選択する選択部とを備える。
【選択図】図5

Description

本開示は、画像取得装置及び画像取得方法に関する。
複数の光ファイバ素線からなるイメージガイドファイバを用いたレーザコンフォーカル顕微鏡(顕微内視鏡)システムとして、例えば、以下の特許文献1や非特許文献1に示したようなものが提案されている。
例えば特許文献1に提案されている顕微内視鏡システムは、観察対象を1光子で励起させることで発生する蛍光をイメージガイドファイバにより伝達し、発生した蛍光を観察するものである。また、例えば非特許文献1に提案されている顕微内視鏡システムは、観察対象を2光子で励起させることで発生する蛍光を、GRINレンズ及びイメージガイドファイバを用いて伝達し、発生した蛍光を観察するものである。
これらの顕微内視鏡システムは、イメージガイドファイバの直径が細径のものでは約1mm程度と細いため、従来の顕微鏡ではアクセスすることのできない観察対象を観察することが可能となる。
特表2007−530197号公報
W.Gobel,J.N.D.Kerr,A.Nimmerjahn,F.Helmchen,"Miniaturized two−photon microscope based on a flexible coherent fiber bundle and a gradient−index lens objective",OPTICS LETTERS,2004,Vol.29,No.21,p.2521.
しかしながら、以下で詳述するように、上記特許文献1に提案されている顕微内視鏡システムは、マルチモードの光ファイバ素線からなるイメージガイドファイバを利用しているため、そのままでは2光子励起過程を利用した蛍光顕微鏡システムに適用することができない。
また、上記非特許文献1に提案されている顕微内視鏡システムは、2光子励起過程を利用したとされている。かかる顕微内視鏡システムでは、イメージガイドファイバを構成する光ファイバ素線を導波するモードの次数を考慮せず、得られた画像に対してガウシアン・フィルタなどのブラーフィルタを作用させているため、以下で詳述するように、2光子励起過程による蛍光の蛍光効率が悪化し、安定して蛍光信号を取得することができない。
そこで、本開示では、上記事情に鑑みて、装置の小型化を図りつつ、多光子励起過程による蛍光の画像をより安定して取得することが可能な、画像取得装置及び画像取得方法を提案する。
本開示によれば、被撮像体を2以上の光子で励起することで蛍光を発生させるための励起光を、当該被撮像体へと導光する光源光学系と、マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被撮像体へと伝送するとともに、前記被撮像体で発生した前記蛍光によって他方の端部へと結像している前記被撮像体の像を、前記一方の端部へと伝送するイメージガイドファイバと、前記イメージガイドファイバの前記一方の端部へと伝送された前記被撮像体の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被撮像体の画像データを複数生成する撮像光学系と、前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、を備える画像取得装置が提供される。
また、本開示によれば、被撮像体を2以上の光子で励起することで蛍光を発生させるための励起光を、当該被撮像体へと導光することと、マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被撮像体へと伝送するとともに、前記被撮像体で発生した前記蛍光によって他方の端部へと結像している前記被撮像体の像を、前記一方の端部へと伝送することと、前記イメージガイドファイバの前記一方の端部へと伝送された前記被撮像体の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被撮像体の画像データを複数生成することと、前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、を含む画像取得方法が提供される。
本開示によれば、被撮像体に対して所定波長の励起光を照射して被撮像体を2以上の光子で励起させることで、蛍光が発生し、マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、イメージガイドファイバの片側の端部に結像している被撮像体の像が、もう片側の端部へと伝送され、伝送された被撮像体の像を複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像することで、被撮像体の画像データが複数生成され、光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の画像データの中で最大輝度となる画素値が、当該画素の代表画素値として選択される。
以上説明したように本開示によれば、装置の小型化を図りつつ、多光子励起過程による蛍光の画像をより安定して取得することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は、上記の効果に代えて、本明細書に示されたいずれかの効果、又は、本明細書から把握され得る他の効果が奏されてもよい。
光ファイバ素線に励起される光のモードについて説明するための説明図である。 光ファイバ素線を導波する光の到達時間の違いを説明するための説明図である。 光ファイバ素線を導波する光のモードと発生する蛍光の輝度との関係を説明するための説明図である。 本開示の第1の実施形態に係る画像取得装置の構成を模式的に示した説明図である。 同実施形態に係る画像取得装置が備える顕微鏡ユニットの構成を模式的に示した説明図である。 同実施形態に係る顕微鏡ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る顕微鏡ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る顕微鏡ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る顕微鏡ユニットが備える光源の一例を模式的に示した説明図である。 同実施形態に係る顕微鏡ユニットが備えるイメージガイドファイバの構造を模式的に示した説明図である。 同実施形態に係る顕微鏡ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。 同実施形態に係る顕微鏡ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。 同実施形態に係る画像取得装置が備える演算処理ユニットの構成を模式的に示したブロック図である。 同実施形態に係る演算処理ユニットにおける代表画素値の選択処理を説明するための説明図である。 同実施形態に係る演算処理ユニットにおける代表画素値の選択処理を説明するための説明図である。 同実施形態に係る演算処理ユニットにおける代表画素値の選択処理を説明するための説明図である。 同実施形態に係る画像取得方法の流れの一例を示した流れ図である。 同実施形態に係る演算処理ユニットのハードウェア構成の一例を示したブロック図である。 実験例で用いた顕微鏡ユニットの構成を模式的に示した説明図である。 実験例で撮像された蛍光画像を示した説明図である。 実験例で撮像された蛍光画像を示した説明図である。 実験例で撮像された蛍光画像を示した説明図である。 実験例で撮像された蛍光画像を示した説明図である。 実験例で撮像された蛍光画像を示した説明図である。 実験例で撮像された蛍光画像を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本発明者による検討について
2.第1の実施形態
2.1.画像取得装置の構成について
2.2.画像取得方法について
3.演算処理ユニットのハードウェア構成について
4.実験例
(本発明者による検討について)
本開示の実施形態に係る画像取得装置について説明するに先立ち、本発明者が行った多光子励起過程による蛍光を取得可能な画像取得装置に関する検討結果について、簡単に説明する。
上記特許文献1や非特許文献1に開示されているようなレーザ顕微内視鏡では、イメージガイドファイバの本体側(光源や検出器側)の端面にて、レーザ顕微鏡に用いるガルバノミラーなどで焦点をスキャンする方式が採用されている。これにより、イメージガイドファイバの本体側の端面でのスキャンスポットが試料側端面へと投影され、試料側端面に投影されたスポットによって、試料からの情報を取得する。すなわち、用いるレーザ顕微鏡が蛍光顕微鏡である場合には、投影されたスポット光により試料を蛍光励起し、試料から発せられた蛍光を再びイメージガイドファイバに導くことで、本体側に配置されている受光素子に発生した蛍光を導光する。
ここで、一般的なイメージガイドファイバは、複数の光ファイバ素線を束ねたものである。このようなイメージガイドファイバにおいて光導波路であるコアを密度高く近接させるためには、光ファイバ素線のコアとクラッドとの屈折率差は大きくし、均一なイメージ感度を実現するために光ファイバ素線用いられる光ファイバをマルチモード化し、クロストーク防止のためにクラッド部分における電界強度分布が滲み出る幅を小さくすることが重要となる。
図1は、光ファイバ素線に励起される光のモードについて説明するための説明図であり、イメージガイドファイバを構成する光ファイバ素線の一部を拡大して模式的に示したものである。一般的なイメージガイドファイバでは、複数の光ファイバ素線を束ねる(バンドルする)際に、各光ファイバ素線がなるべく六方細密構造となるように光ファイバ素線を配設していく。しかしながら、製造された光ファイバ素線の断面構造を見てみると、図1に模式的に示したように、光ファイバ素線のコアC〜Cは、ほぼ六方細密構造となっているものの、配列に歪みが生じている。
ここで、コアCのように、光源から射出された励起光がコアCの中心部を含むようにコア全体に照射された場合、コアCでは、主に基本波(0次モードの光:コア断面の強度分布において、中心部の強度が大きくなるモードの光)が励起される。また、励起光がコアC及びコアCにまたがるように照射された場合、コアの中心部を含む大部分の領域に励起光が照射されるコアCでは、主に基本波と1次波(1次モードの光:コア断面の強度分布において、2つの腹が存在するモードの光)が励起される一方で、コアの中心部を含まない一部の領域に励起光が照射されるコアCでは、主に1次波が励起される。また、コアC及びコアCのように、コアの中心部を含まない一部の領域にのみ励起光が照射される場合には、各コアにおいて、主に1次波又は更に高次のモードが励起される。
ところで、1光子励起過程によって発生する蛍光の強度(信号量)は、励起光エネルギーに比例する一方で、2光子励起過程によって発生する蛍光の強度(信号量)は、励起光エネルギーの2乗に比例することが知られている。
上記特許文献1に開示されている顕微内視鏡システムは、1光子励起過程を利用したシステムであるため、光ファイバ素線を導波する光のモードが0次モードであろうと1次モードであろうと、モードの区別なく、試料側端面における光エネルギーの総和に応じて、情報(すなわち、蛍光信号)を取得することができる。そのため、上記特許文献1に開示されているような1光子励起過程を利用したシステムでは、イメージガイドファイバの端面における集光スポットの大きさを、光ファイバ素線のコア径に比較して少々大きくする程度で、安定な蛍光画像を取得することができる。
標準的なイメージガイドファイバの構成の一つに、以下のような設定値を有するイメージガイドファイバがある。
コアの直径=約3μm
コアの屈折率ncore=1.4903276
クラッドの屈折率nclad=1.4324508
導波する光の波長λ=1300nm
本発明者が、かかるイメージガイドファイバの構成において、光ファイバ素線のモード計算を実施したところ、0次モード(基本波)の有効屈折率は1.4702となり、1次モード(1次波)の有効屈折率は1.4406となった。この値は、図2に模式的に示したように、イメージガイドファイバの長さが2mである場合において、1次モードの光が0次モードに比較して198ピコ秒だけ早く試料側端面に到達することを示している。
1光子励起過程を利用した特許文献1のシステムでは、0次モードと1次モードの光の到達時間に198ピコ秒の差があっても、それぞれの光のエネルギーに比例した蛍光量が得られるため、蛍光量の総和は変化しない。しかしながら、上述のように、2光子励起過程を利用したシステムの場合には、得られる蛍光の信号量は励起光のエネルギーの2乗に比例するため、光ファイバ素線を導波する光が0次モードの光と1次モードの光とに分離してしまうと、2光子励起過程によって発生する蛍光の信号量は低下してしまう。
図3は、光ファイバ素線を導波する光のモードと発生する蛍光の輝度との関係を説明するための説明図であり、光ファイバ素線を導波した光が蛍光ビーズに照射された場合に発生する蛍光の明るさを、パターンA〜パターンEに大別して示したものである。
パターンAに示したように、0次モードの励起光がコアの中心に位置する蛍光ビーズに照射された場合を考える。この場合は、1光子励起過程による蛍光であろうが、2光子励起過程による蛍光であろうが、発生する蛍光の輝度は大きい(すなわち、明るい蛍光が発生する)。また、パターンBに示したように、1次モードの励起光がコアの中心に位置する蛍光ビーズに照射された場合には、1光子励起過程による蛍光の輝度は大きいのに対し、2光子励起過程による蛍光の輝度はあまり大きくはない。
また、パターンCやパターンDに示したように、蛍光ビーズがコアの中心には位置していない場合、1光子励起過程による蛍光の輝度は、励起光のモードによらず大きくなるのに対し、2光子励起過程による蛍光の輝度は、励起光のモードによらずあまり大きくはならない。
なお、パターンEに示したように、蛍光ビーズがコアから外れて位置している場合には、励起過程によらず、発生する蛍光の輝度は小さくなる。
図3からも明らかなように、2光子励起過程による蛍光の輝度を大きくするためには、励起光の導波はシングルモード(より詳細には、0次モード)であることが好ましい。また、特許文献1のようにマルチモードの光ファイバ素線から構成されるイメージガイドファイバをそのまま利用するだけでは、蛍光輝度の低下や蛍光輝度のばらつきが生じてしまい、2光子励起過程(更には、多光子励起過程)を利用した蛍光の画像を取得することはできないこともわかる。
イメージガイドファイバを用いて多光子励起過程による蛍光を測定する場合に、イメージガイドファイバを構成する光ファイバ素線をシングルモードの光ファイバ素線とすることも考えられる。この場合、シングルモードの光ファイバ素線を用いる場合において隣り合う光ファイバ素線とのクロストークを減少させるためには、光ファイバのコアとクラッドの屈折率差を少なくすることが必要となる。しかしながら、コアとクラッドの屈折率差を小さくするということは、クラッドへの電界強度分布のしみだしを大きくすることを意味する。従って、隣り合う光ファイバ素線とのクロストークを減少させるためには、隣り合う光ファイバ素線との間隔を広くすることが重要となる。
ここで、イメージガイドファイバの分解能は、光ファイバ素線の配置間隔に依存し、光ファイバ素線の配置間隔が小さいほど、得られる分解能は高くなる。従って、シングルモードの光ファイバ素線を利用し、光ファイバ素線の間隔を広げた場合には、通常のイメージガイドファイバと同程度の分解能の解像度を得るためには光ファイバをスキャンするなどの更なる機構が必要となる一方で、細径化を行うことが困難となる。
更には、光ファイバのコアとクラッドの屈折率差を少なくすることは、光ファイバ素線の開口数(NA)を低めることとなるため、2光子励起過程による蛍光の信号を効率良く取得するためには、ダブルクラッドファイバを用いるなどの工夫が重要となる。
このように、マルチモードの光ファイバ素線で構成されたイメージガイドファイバを用いて、上記特許文献1と同様の画像取得方法を用いた場合には、2光子励起過程による蛍光画像を安定して取得することはできない。また、2光子励起過程を安定して行うために、光ファイバ素線をシングルモード光導波路により構成した場合には、得られる画像の解像度が落ちてしまうため、細径化(すなわち、小型化)が困難になってしまう。
また、上記非特許文献1に提案されている顕微内視鏡システムは、イメージガイドファイバを構成する光ファイバ素線を導波するモードの次数を考慮しておらず、上記特許文献1と同様の画像取得方法により蛍光画像を取得して、ガウシアン・フィルタなどのブラーフィルタを作用させている。そのため、上記非特許文献1に提案されているシステムを用いた場合であっても、2光子励起過程による蛍光を安定して得ることはできない。
本発明者は、上記のような知見に基づいて、マルチモードの光ファイバ素線からなるイメージガイドファイバを用いた場合であっても安定的に多光子励起蛍光画像を取得可能な画像取得装置について、鋭意検討を行った。その結果、(1)イメージガイドファイバの入射端面でシングルモードが励起されれば、確率的に試料側端面にシングルモードで到達する場合も存在すること、(2)複数回画像取得を行い、最も高い蛍光値を選択することにより、試料側端面にシングルモードで到達した励起光のデータを取得できること、に想到し、以下で説明するような本開示の実施形態に係る画像取得装置及び画像取得方法を完成したのである。
(第1の実施形態)
以下では、図4〜図12を参照しながら、上記知見に基づいて完成された、本開示の第1の実施形態に係る画像取得装置について、詳細に説明する。
<画像取得装置について>
[画像取得装置の全体構成]
まず、図4を参照しながら、本実施形態に係る画像取得装置1の全体構成について説明する。図4は、本実施形態に係る画像取得装置の構成を模式的に示した説明図である。
本実施形態に係る画像取得装置1は、撮像対象である被撮像体に対して所定波長の励起光を照射し、被撮像体から多光子励起過程による蛍光を発生させて、かかる蛍光に基づく被撮像体の撮像画像を取得する装置である。この画像取得装置1は、図4に示したように、顕微鏡ユニット10と、演算処理ユニット20と、を備える。
顕微鏡ユニット10は、被撮像体に対して所定波長の励起光を照射し、多光子励起過程によって発生した蛍光を検出することで、発生した蛍光に関する画像データを生成するユニットである。顕微鏡ユニット10によって生成された画像データは、演算処理ユニット20へと出力される。かかる顕微鏡ユニット10の詳細な構成については、以下で詳述する。
演算処理ユニット20は、顕微鏡ユニット10による被撮像体の撮像処理を統括的に制御するとともに、顕微鏡ユニット10によって生成された画像データに対して後述する演算処理を施し、被撮像体の撮像画像を生成するユニットである。
この演算処理ユニット20は、顕微鏡ユニット10の外部に設けられた各種のコンピュータやサーバ等といった情報処理装置であってもよいし、顕微鏡ユニット10に実装されているCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等からなる演算チップであってもよい。
かかる演算処理ユニット20の詳細な構成については、以下で詳述する。
[顕微鏡ユニット10の構成]
次に、図5〜図8Bを参照しながら、本実施形態に係る顕微鏡ユニット10の詳細な構成について説明する。
図5は、本実施形態に係る画像取得装置1が備える顕微鏡ユニットの構成を模式的に示した説明図である。図6A〜図6Dは、本実施形態に係る顕微鏡ユニットが備える光源の一例を模式的に示した説明図である。図7は、本実施形態に係る顕微鏡ユニットが備えるイメージガイドファイバの構造を模式的に示した説明図である。図8A及び図8Bは、本実施形態に係る顕微鏡ユニットにおけるイメージガイドファイバの走査方法を模式的に示した説明図である。
本実施形態に係る画像取得装置1が備える顕微鏡ユニット10は、光源光学系101と、イメージガイドファイバ103と、撮像光学系105と、を主に備える。
光源光学系101は、被撮像体Sを2以上の光子で励起する(すなわち、多光子で励起する)ことで蛍光を発生させるための所定波長の励起光を、被撮像体Sへと導光する光学系である。この光源光学系101は、所定波長の励起光を射出するレーザ光源と、光源から射出された励起光を被撮像体Sまで導光する、各種レンズ、各種ミラー、各種フィルタ等の光学素子と、から構成される。
光源光学系101における各種光学素子の詳細な配置については、特に限定されるものではなく、公知の光学系を採用することが可能である。
また、光源光学系101が有するレーザ光源についても、特に限定されるものではなく、各種の半導体レーザや固体レーザやガスレーザ等のように、様々な光源を利用することが可能である。レーザ光源として各種の半導体レーザを用いた光源を用いることで、画像取得装置1をより小型化することが可能となる。
光源光学系101が有するレーザ光源部として利用可能な半導体レーザを用いた光源としては、例えば図6A〜図6Dに示したような半導体レーザ及び半導体レーザの光を波長変換する波長変換部を用いた光源を用いることが可能である。
図6Aは、レーザ光源部に適用可能な半導体レーザの一例である、半導体レーザと共振器とから構成される主発振器出力増幅器(Master Oscillator Power Amplifier:MOPA)111を模式的に示したものである。レーザ光源部として設けられるMOPA111は、所定波長(例えば、波長405nm)のレーザ光を射出可能な半導体レーザユニット112と、半導体レーザユニット112から射出されたレーザ光を増幅させるための共振器部113と、から構成されている。
図6Bは、レーザ光源部に適用可能な半導体レーザの一例である、MOPAと光増幅器とを有する光源を、模式的に示したものである。かかる光源では、図6Aに示したMOPA111の後段に、射出されたレーザ光を更に増幅させるための光増幅器114が設けられている。光増幅器114としては、例えば、半導体光増幅器(Semiconductor Opical Amplifier:SOA)等を好適に用いることができる。
図6Cは、レーザ光源部に適用可能な半導体レーザの光を波長変換する波長変換部を用いた光源の一例である、MOPAと光増幅器と波長変換部とを有する光源を、模式的に示したものである。かかる光源では、図6Bに示した光増幅器114の後段に、強度が増幅されたレーザ光の波長を変換するための波長変換部115が設けられている。波長変換部115としては、例えば、各種の非線形結晶を用いた光パラメトリック発振器(Optical Parametric Oscilator:OPO)等を好適に用いることができる。また、光増幅器114と波長変換部115の間に、図6Dに示したように、レーザ光のビーム形状を補正するビーム形状補正部116を設けて、波長変換部115における波長変換効率を更に向上させてもよい。
また、レーザ光源から射出される励起光の波長は、特に限定されるものではなく、被撮像体Sに含まれている蛍光体を励起するために適した波長を適宜選択すればよい。更に、光源として用いられるレーザは、CW(Continuous Wave)レーザであってもよいし、パルスレーザであってもよい。
イメージガイドファイバ103は、図7に模式的に示したように、マルチモードの光ファイバ素線121が複数束ねられたものである。それぞれの光ファイバ素線121は、0次モードの光のみならず、より高次のモードの光も導波可能なコア123と、コア123を覆うように設けられたクラッド125と、から形成されている。それぞれの光ファイバ素線121は、図7に模式的に示したように、なるべく六方細密構造となるように配設されている。隣り合う光ファイバ素線121の離隔距離dは、求める画像解像度に応じて適宜設定すればよく、例えば3.5μmなどのような値にすればよい。また、コア123の直径d’についても適宜設定すればよく、例えば3μmなどのような値にすればよい。
このイメージガイドファイバ103は、光源光学系101により一方の端部(例えば図5における端部A)に入射した励起光を被撮像体Sへと伝送するとともに、被撮像体Sで発生した蛍光によって他方の端部(例えば図5における端部B)へと結像している被撮像体Sの像を、もう一方の端部(例えば図5における端部A)へと伝送する。
撮像光学系105は、イメージガイドファイバ103の端部(例えば図5における端部A)へと伝送された被撮像体の像を、複数の光ファイバ素線121のコア123の大きさ(図7におけるコア径d’)よりも狭い走査ピッチで走査する。この際、撮像光学系105は、それぞれの光ファイバ素線121に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像を行い、被撮像体Sの画像データを複数生成する。
かかる撮像光学系105は、イメージガイドファイバ103により伝送された被撮像体の像(すなわち、発生した蛍光に対応する蛍光信号)を検出する各種の検出器と、この検出器へと被撮像体の像(蛍光信号)を導光する、各種レンズ、各種ミラー、各種フィルタ等の光学素子と、から構成される。
撮像光学系105における各種光学素子の詳細な配置については、特に限定されるものではなく、公知の光学系を採用することが可能である。
撮像光学系105に設けられる検出器ついても、蛍光の強度に関する情報を電気的な信号へと変換することが可能なものであれば、公知のものを利用することが可能である。かかる検出器として、例えば、CCD(Charge−Coupled Device)や、光電子増倍管(PhotoMultiplier Tube:PMT)等といった各種の検出器を挙げることができる。
また、図5に示した光源光学系101又は撮像光学系105の少なくとも何れか一方には、以下で詳述するようなイメージガイドファイバ103の端面を走査するための機構が設けられている。このような走査機構については特に限定するものではなく、例えばガルバノミラー等の公知の機構を利用することが可能である。
以上、図5〜図7を参照しながら、本実施形態に係る顕微鏡ユニット10の構成について、詳細に説明した。
[イメージガイドファイバの走査方法]
次に、図8A及び図8Bを参照しながら、撮像光学系105によるイメージガイドファイバ103の端面の走査方法について、詳細に説明する。
先だって説明したように、本発明者は、イメージガイドファイバの入射端面でシングルモード(0次モード)が励起されれば、確率的に試料側端面にシングルモードで到達する場合も存在するとの知見を得て、図8A及び図8Bに模式的に示したようなイメージガイドファイバ103の端面の走査方法に想到した。
すなわち、本実施形態に係る顕微鏡ユニット10は、イメージガイドファイバ103の端面(例えば図5における端部Aの端面)を、複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査する。
例えば図8Aでは、イメージガイドファイバ103の端面の走査方向に対して平行な方向に、光ファイバ素線121のコアの大きさd’よりも狭いピッチpで走査していく例を示している。かかる場合、使用するイメージガイドファイバ103の直径や光ファイバ素線121のコア径d’等に応じて、走査方向を表わす軸(走査軸)の位置が予め設定されており、演算処理ユニット20の制御のもとで、図8A中の黒丸の位置で、イメージガイドファイバ103の端面が撮像されていく。この際、走査方向に対して平行な方向の撮像間隔は、走査ピッチpに基づいて演算処理ユニット20により制御されるが、走査方向に対して直交する方向の撮像間隔は、イメージガイドファイバ103の隣り合う光ファイバ素線121の間隔dに基づいて制御される。図8Aに示した走査方法では、以上説明したような制御により、被撮像体Sの全体が1回撮像される。すなわち、図8Aに示した走査方法では、撮像により生成される画像データの頻度(データ復元頻度)が、光ファイバ素線121の数よりも高頻度となる。
また、例えば図8Bでは、イメージガイドファイバ103の端面の走査方向に対して直交する方向に、光ファイバ素線121のコアの大きさd’よりも狭いピッチpで走査していく例を示している。かかる場合、使用するイメージガイドファイバ103の直径や光ファイバ素線121のコア径d’等に応じて、走査方向を表わす軸(走査軸)の位置が予め設定されており、演算処理ユニット20の制御のもとで、図8B中の黒丸の位置で、イメージガイドファイバ103の端面が撮像されていく。この際、走査方向に対して平行な方向の撮像間隔は、イメージガイドファイバ103の隣り合う光ファイバ素線121の間隔dに基づいて演算処理ユニット20により制御され、走査方向に対して直交する方向の撮像間隔は、走査ピッチpに基づいて制御される。図8Bに示した走査方法では、以上説明したような制御により、被撮像体Sの全体が複数回(図8Bの例では、例えば5回)撮像される。すなわち、図8Bに示した走査方法では、1回の走査におけるデータの復元頻度は光ファイバ素線121の数に対応しており、それぞれの走査処理における基準位置(走査開始位置)が光ファイバ素線121の配置ピッチよりも狭いピッチpで変化していく。
なお、上記説明における「撮像」とは、図8A及び図8B中のそれぞれの黒丸の位置で、光源光学系101により導光された励起光が結像するとともに、黒丸の位置においてイメージガイドファイバ103の端面に伝送されている像(蛍光像)を撮像することを意味している。
以上説明したような走査方法が実現されることで、それぞれの光ファイバ素線121に該当する領域(以下、「光ファイバ素線該当領域」とも称する。)の少なくとも一部が、複数の画像に含有されるように撮像されることとなる。
図8A及び図8Bに示したようにイメージガイドファイバ103の端面を走査することで、撮像処理によって生成される複数の画像データの中に、例えば図1のコアCに示したような、励起光がコア全体に対して照射されているような状況となっている場合の画像データが含まれることとなる。図1のコアCに示したような状況では、イメージガイドファイバ103のコアにおいて基本波(0次モード)が励起されるため、確率的に試料側端面に基本波で到達する場合も生じることとなる。
なお、図8A及び図8Bに示したような各撮像位置において、顕微鏡ユニット10は、1回だけ撮像処理を行ってもよいし、上記確率をより高めるために、各撮像位置において複数回の撮像処理を行ってもよい。
また、本実施形態に係る顕微鏡ユニット10では、図8A及び図8Bを組み合わせたような走査方法(すなわち、走査方向及び走査方向に対して直交する方向のそれぞれについて、走査ピッチpで走査する方法)を採用してもよいことは言うまでもない。
図8A及び図8Bに示した走査ピッチpの具体的な大きさは、光ファイバ素線121のコア径d’に応じて適宜設定すればよいが、コア径d’の1/10程度とすることが好ましい。本発明者による検討の結果、走査ピッチpをコア径d’の1/10以下とする(例えばコア径d’が3μmの場合、走査ピッチpを0.3μm以下とする)ことで、光ファイバ素線121に励起される最大輝度に対して86%以上の輝度を得ることができる。また、走査ピッチpをコア径d’の1/12以下とすることで、光ファイバ素線121に励起される最大輝度に対して90%以上の輝度を得ることができる。
なお、図8A及び図8Bに示した走査方向及び撮像位置や図8Bに示した走査回数はあくまでも一例であり、図8A及び図8Bに示した例に限定されるものではない。
以上、図8A及び図8Bを参照しながら、本実施形態に係るイメージガイドファイバ103の端面の走査方法の一例について、具体的に説明した。
[演算処理ユニット20の構成]
次に、図9〜図12を参照しながら、本実施形態に係る画像取得装置1が備える演算処理ユニット20の構成について、詳細に説明する。
図9は、本実施形態に係る画像取得装置が備える演算処理ユニットの構成を模式的に示したブロック図である。図10〜図12は、本実施形態に係る演算処理ユニットにおける代表画素値の選択処理を説明するための説明図である。
本実施形態に係る演算処理ユニット20は、顕微鏡ユニット10の動作を制御するとともに、顕微鏡ユニット10により生成された画像データに対して所定の演算処理を行うことで、被撮像体Sの撮像画像を生成するユニットである。
この演算処理ユニット20は、図9に模式的に示したように、顕微鏡ユニット制御部201と、データ取得部203と、選択部205と、撮像画像再構成部207と、データ出力部209と、表示制御部211と、記憶部213と、を主に備える。
顕微鏡ユニット制御部201は、例えば、CPU、ROM、RAM、通信装置等により実現される。顕微鏡ユニット制御部201は、本実施形態に係る顕微鏡ユニット10を構成する光源、光学素子、走査機構等との間で各種の制御信号を送受信することにより、顕微鏡ユニット10における各種の動作を全般的に統括する。これにより、顕微鏡ユニット10が備える光源が所定のタイミングで励起光を射出したり、イメージガイドファイバ103の端面が上記のような走査方法に即して走査されたりする。また、顕微鏡ユニット10を構成する光源、光学素子、走査機構等は、この顕微鏡ユニット制御部201を介して、互いに連携しながら各種の制御を行うことも可能である。また、顕微鏡ユニット制御部201が顕微鏡ユニット10を制御する際に利用する各種の制御情報(例えば、撮像位置に関する情報等)は、データ取得部203や選択部205等に必要に応じて出力され、これらの処理部における各種の処理に適宜利用される。
データ取得部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。データ取得部203は、顕微鏡ユニット10が上記のような走査方法に即して生成した複数の画像データを、顕微鏡ユニット10から取得する。データ取得部203が取得した複数の画像データは、後述する選択部205へと伝送される。また、データ取得部203は、取得した複数の画像データに対して、当該画像データを取得した日時等に関する時刻情報を関連付けて、履歴情報として後述する記憶部213に格納してもよい。
選択部205は、例えば、CPU、ROM、RAM等により実現される。選択部205は、光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、データ取得部203から伝送された複数の画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する。以下、選択部205により実施される代表画素値の選択処理について、図10〜図12を参照しながら具体的に説明する。
イメージガイドファイバ103は、複数の光ファイバ素線121が束ねられたものであるため、図10に模式的に示したように、隣り合う光ファイバ素線の間隔(配置ピッチ)dや光ファイバ素線121のコア径d’に基づいて、1本の光ファイバ素線121に該当する領域である光ファイバ素線該当領域を仮想的に規定することができる。本実施形態に係る選択部205は、各光ファイバ素線121に対して規定される光ファイバ素線該当領域を、以下で詳述するような代表画素値の選択処理における選択対象領域として取り扱う。
図8A及び図8Bに示したような走査方法が顕微鏡ユニット10において実現されることで、図11に模式的に示したように、ある選択対象領域において撮像光学系105に設けられた検出器の撮像視野は、時間経過に応じて移動していく。その結果、ある瞬間には、図1において、各コアC〜Cに対応するような状況が、ある選択対象領域において実現されていくこととなる。
ここで、2光子励起過程を含む多光子励起過程では、図3を参照しながら模式的に説明したように、光ファイバ素線中での光の導波モードが低次であるほど、発生する蛍光輝度は大きくなる。また、その時点における被撮像体の撮像対象領域がコアに対して中心に位置するほど、発生する蛍光輝度は大きくなる。従って、複数回画像取得を行い、最も高い蛍光値を選択することにより、試料側端面に0次モードで到達した励起光による多光子励起過程を経て発生した蛍光の情報を選択的に取得することができる。ここで、最も高い蛍光値は、図11において時刻T=tMAXに該当するような位置を撮像した画像データで与えられると考えられる。
そこで、選択部205は、選択対象領域を構成する各画素について、着目している画素を含む複数の画像データの該当位置での輝度値を参照し、最も高い輝度値を特定する。その上で、選択部205は、特定した最高輝度値を、着目画素の代表画素値として利用する。例えば図12に模式的に示したように、ある着目画素に対してN個の画像データ1〜Nが存在した場合、N個の画像データを横断的に探索し、最高輝度値LMAXを与える画像データを、着目画素の画像データとして利用する。図12の場合には、画像データkが、着目画素の代表画素値を与える画像データとして利用されることとなる。
選択部205は、以上のような代表画素値の選択処理を、全ての選択対象領域(すなわち、全ての光ファイバ素線該当領域)に対して実施する。
ここで、最大輝度値を与える画像データは、その輝度値に伴うノイズが重畳しているとも考えられるため、選択部205は、最高輝度値を与える画像データの代わりに、最高輝度値に近い輝度値を与える画像データを、選択してもよい。
なお、以上の説明では、選択部205が、複数生成された画像データを横断的に探索して、最高輝度値を与える画像データを選択する場合について説明したが、以下のような方法を用いることでも、最高輝度値の具体的な値を特定することが可能である。すなわち、選択部205は、周辺画素のデータを比較し、光ファイバ素線該当領域での最大輝度値を選択するようなフィルタ処理を施すことで、最高輝度値を特定してもよい。このようなフィルタ処理の一例として、例えば10画素×10画素の領域に対するオーディナリフィルタ(ordinary filter)等を挙げることができる。フィルタ処理を利用することで、より高速かつ簡便に、着目している画素における最高輝度値を探索することが可能となる。
選択部205は、以上のような方法により代表画素値を選択すると、選択した代表画素値に関する情報を、撮像画像再構成部207に出力する。
撮像画像再構成部207は、例えば、CPU、ROM、RAM等により実現される。撮像画像再構成部207は、選択された代表画素値を利用して、被撮像体Sの撮像画像を再構成する。これにより、多光子励起過程を経て発生した蛍光の様子を表わした被撮像体Sの撮像画像を得ることができる。
なお、撮像画像再構成部207は、再構成した被撮像体Sの撮像画像に対して、ガウシアン・フィルタに代表されるブラーフィルタ(blur filter)を作用させてもよい。これにより、選択された代表画素値がより滑らかに接続された撮像画像を得ることが可能となる。
また、撮像画像再構成部207は、再構成した撮像画像に対して、上記以外の公知の後処理を実施してもよい。
撮像画像再構成部207は、以上のようにして再構成した撮像画像を、データ出力部209に出力する。
データ出力部209は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。データ出力部209は、撮像画像再構成部207から出力された被撮像体Sの撮像画像に関する情報を、表示制御部211に出力する。これにより、被撮像体Sの撮像画像に関する情報が、画像取得装置1や画像取得装置1と相互に通信が可能な情報処理装置等が有する表示部(図示せず。)に出力されることとなる。また、データ出力部209は、得られた撮像画像に関する情報を、各種の記録媒体や各種の情報処理装置に出力してもよいし、プリンタ等の出力装置を利用して紙媒体等に出力してもよい。また、データ出力部209は、被撮像体Sの撮像画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部213等に履歴情報として格納してもよい。
表示制御部211は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示制御部211は、データ出力部209から伝送された、被撮像体Sの撮像画像を含む各種の処理結果を、演算処理ユニット20が備えるディスプレイ等の出力装置や演算処理ユニット20の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、画像取得装置1の利用者は、被撮像体Sの撮像画像等といった各種の処理結果を、その場で把握することが可能となる。
記憶部213は、例えば本実施形態に係る演算処理ユニット20が備えるRAMやストレージ装置等により実現される。記憶部213には、本実施形態に係る演算処理ユニット20が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部213は、顕微鏡ユニット制御部201、データ取得部203、選択部205、撮像画像再構成部207、データ出力部209、表示制御部211等が、自由にデータのリード/ライト処理を行うことが可能である。
以上、本実施形態に係る演算処理ユニット20の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理ユニットの各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<画像取得方法について>
続いて、図13を参照しながら、本実施形態に係る画像取得装置1で実施される画像取得方法の流れについて、簡単に説明する。図13は、本実施形態に係る画像取得方法の流れの一例を示した流れ図である。
本実施形態に係る画像取得装置1の顕微鏡ユニット10では、演算処理ユニット20による制御のもとで、光源光学系101及びイメージガイドファイバ103により、所定波長の励起光が被撮像体Sに対して照射される(ステップS101)。これにより、被撮像体Sにおいて多光子励起過程による蛍光が発生し、イメージガイドファイバ103を経て、かかる蛍光による被撮像体Sの像が伝送されることとなる。
次に、顕微鏡ユニット10の撮像光学系105は、演算処理ユニット20の制御に基づいてイメージガイドファイバ103の端面を所定のピッチで走査して(ステップS103)、イメージガイドファイバ103の端面まで伝送された被撮像体Sの像に関する画像データを複数生成する。その後、撮像光学系105は、生成した複数の画像データを、演算処理ユニット20に出力する。
演算処理ユニット20の選択部205は、顕微鏡ユニット10で生成された複数の画像データを利用し、最大輝度を与える画素値を光ファイバ該当領域の代表画素値として選択する(ステップS105)。その後、選択部205は、選択した代表画素値に関する情報を、撮像画像再構成部207に出力する。
撮像画像再構成部207は、選択部205によって選択された代表画素値に関する情報を利用して、被撮像体Sの撮像画像を再構成する(ステップS107)。また、撮像画像再構成部207は、必要に応じて、再構成した撮像画像に対して、ブラーフィルタを用いたフィルタ処理などの後処理を実施する(ステップS109)。
これにより、本実施形態に係る画像取得装置1では、被撮像体Sからの蛍光を撮像した撮像画像を取得することができる。
以上、図13を参照しながら、本実施形態に係る画像取得方法の流れについて、簡単に説明した。
(ハードウェア構成について)
次に、図14を参照しながら、本開示の実施形態に係る演算処理ユニット20のハードウェア構成について、詳細に説明する。図14は、本開示の実施形態に係る演算処理ユニット20のハードウェア構成を説明するためのブロック図である。
演算処理ユニット20は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理ユニット20は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、演算処理ユニット20内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理ユニット20の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。演算処理ユニット20のユーザは、この入力装置915を操作することにより、演算処理ユニット20に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、演算処理ユニット20が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理ユニット20が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、演算処理ユニット20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、演算処理ユニット20に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート923は、機器を演算処理ユニット20に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、演算処理ユニット20は、外部接続機器929から直接音響信号データや画像信号データを取得したり、外部接続機器929に音響信号データや画像信号データを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本開示の実施形態に係る演算処理ユニット20の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
続いて、実験例を示しながら、本開示に係る画像取得装置及び画像取得方法について、具体的に説明する。なお、以下に示す実験例は、本開示の実施形態に係る画像取得装置及び画像取得方法のあくまでも一例にすぎず、本開示に係る画像取得装置及び画像取得方法が、下記の例に限定されるものではない。
以下に示す実験例では、図15に模式的に示した画像取得装置を利用して、イメージガイドファイバ103の先端部に配設した蛍光ビーズからの蛍光を取得した。
図15は、実験例で用いた顕微鏡ユニットの構成を模式的に示した説明図である。本実験例では、光源として、図6Cや図6Dに示したMOPAを利用した光源を利用した。光源から射出された励起光は、レンズLやミラーMを介して、XY−ガルバノミラーXY−galまで導光され、かかるガルバノミラーにより、イメージガイドファイバ103への結像位置が制御される。ガルバノミラーを経た励起光は、リレーレンズRL、ミラーM、ダイクロイックミラーDMを経て、対物レンズObjへと導光される。本実験例では、対物レンズObjとして、開口数NA=0.75である20倍の対物レンズを利用した。
対物レンズObjの焦点位置に、市販のイメージガイドファイバ103の一方の端部を配設した。かかるイメージガイドファイバ103は、マルチモードの光ファイバ素線(コア径3μm)が3.5μmピッチで配設されたバンドルファイバであり、その全長は2mである。なお、イメージガイドファイバ103の屈曲部の曲率半径は15〜20cm程度とした。
イメージガイドファイバ103のもう一方の端部に、φ2.1μmの蛍光ビーズ群を配設した。イメージガイドファイバ103を経て蛍光ビーズ群へと導光された励起光により、蛍光ビーズから蛍光が発生する。発生した蛍光は、イメージガイドファイバ103、対物レンズObj、ダイクロイックミラーDM、レンズL、ノッチフィルタF等を経て、検出器である光電子倍増管へと導光される。
なお、イメージガイドファイバ103の端面の走査方法としては、図8Aに示した走査方法を採用し、走査ピッチpは、光ファイバ素線のコア径の1/10以下の値である0.1μmとした。また、走査ラインの間隔も0.1μmとした。得られる画像データにおいて、1画素は0.1μmに対応している。
上記のような蛍光ビーズを波長405nmの励起光で励起すると、1光子励起過程による蛍光像を得ることができ、波長780nmの励起光で励起すると、2光子励起過程による蛍光像を得ることができる。図16に、2つの波長の励起光を利用した蛍光画像を示した。
図16から明らかなように、1光子励起過程による蛍光像は、撮像視野中の蛍光ビーズが存在する領域の全域にわたって分布していることがわかる。一方、2光子励起過程による蛍光像では、蛍光輝度の大きなものから、蛍光が観測されていない部分まで、様々な状態の蛍光像が観察された。ここで、2光子励起蛍光画像において、蛍光強度が大きいものが、0次モードの励起光によって励起され、蛍光ビーズの中心部に励起光が導光されたものに対応し、蛍光輝度が暗いものほど、高次モードの励起光で励起されたり、励起光の照射位置が蛍光ビーズの中心部からずれたりしているものに該当していると考えられる。
このような2光子励起蛍光画像に対して、10画素×10画素の2次元オーディナリフィルタを作用させて、代表画素値を選択する処理を行った。得られた代表画素値を用いて再構成した蛍光画像を、そのオリジナル画像とともに図17に示した。図17に示した再構成画像から明らかなように、本実施形態に係る代表画素の選択処理を行うことによって、蛍光ビーズが存在する領域の全域にわたって、2光子励起過程による蛍光像を得ることができた。
ここで、イメージガイドファイバでは、光ファイバ素線に屈曲部が存在したり、光ファイバ素線に対して振動が加えられたりすることによって、ファイバ入射端面においてシングルモード(0次モード)で励起された導波光が高次のモードに遷移してしまい、多光子励起過程による蛍光の励起効率が低下してしまう可能性がある。そこで、本実験例では、画像データの取得中にイメージガイドファイバに対して振動を与え、得られる画像がどのように変化するかを検証した。
図18は、振動を加えない状態(以下、「静的条件」という。)において、1光子励起過程による蛍光を10回撮像した場合の1光子励起蛍光画像を示しており、図19は、振動を加えた場合(以下、「動的条件」という。)において、1光子励起過程による蛍光を10回撮像した場合の1光子励起蛍光画像を示している。
1光子励起過程による蛍光は、先だって説明したように、励起光の強度に比例した蛍光強度が得られるため、同一条件中におけるそれぞれの撮像画像を比較した場合において、輝度のばらつきは観測されなかった。また、静的条件での撮像画像と動的条件での撮像画像を比較した場合においても、輝度のばらつきは観測されなかった。
図20は、静的条件において、2光子励起過程による蛍光を10回撮像した場合の2光子励起蛍光画像を示しており、図21は、動的条件において、2光子励起過程による蛍光を10回撮像した場合の2光子励起蛍光画像を示している。
図20及び図21から明らかなように、2光子励起蛍光画像においても、同一条件中におけるそれぞれの撮像画像を比較した場合において、輝度のばらつきは観測されず、静的条件での撮像画像と動的条件での撮像画像を比較した場合においても、輝度のばらつきは観測されなかった。
図18〜図21において、蛍光輝度が飽和していない5つの画素を選択し、10回の撮像における蛍光輝度値の最大値と最小値とをそれぞれ特定し、最小値/最大値で与えられる値の画素間の平均値を算出した。この平均値は、輝度のばらつきを表わす指標として考えることができる。得られた結果を、以下の表1に示した。
上記表1から明らかなように、静的条件においては、1光子励起蛍光画像に比べて2光子励起蛍光画像の輝度のばらつきは若干大きいものの、実用に耐えうる値であることがわかる。また、動的条件においては、1光子励起蛍光画像と2光子励起蛍光画像では、輝度のばらつきはほぼ同程度であることがわかる。
以上の結果から、本開示の実施形態に係る画像取得方法を用いることで、多光子励起過程による蛍光画像を、より安定して取得することが可能であることが明らかとなった。また、イメージガイドファイバに振動を与えた場合であっても、入射側端面で発生したシングルモード(0次モード)の励起光を、出射側端面までシングルモードのままで伝送できることが明らかとなった。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
被撮像体を2以上の光子で励起することで蛍光を発生させるための励起光を、当該被撮像体へと導光する光源光学系と、
マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被撮像体へと伝送するとともに、前記被撮像体で発生した前記蛍光によって他方の端部へと結像している前記被撮像体の像を、前記一方の端部へと伝送するイメージガイドファイバと、
前記イメージガイドファイバの前記一方の端部へと伝送された前記被撮像体の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被撮像体の画像データを複数生成する撮像光学系と、
前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、
を備える、画像取得装置。
(2)
前記走査ピッチは、前記光ファイバ素線のコア径の1/10以下である、(1)に記載の画像取得装置。
(3)
前記撮像光学系は、撮像位置を前記走査ピッチごとにずらしながら前記被撮像体を1回撮像することで、前記複数の画像データを生成する、(1)又は(2)に記載の画像取得装置。
(4)
前記撮像光学系は、撮像位置を前記光ファイバ素線の配設間隔でずらしつつ走査して前記被撮像体を撮像するという処理を、走査方向に対して直交する方向に撮像開始位置を前記走査ピッチだけずらしながら複数回実施することで、前記複数の画像データを生成する、(1)又は(2)に記載の画像取得装置。
(5)
前記選択部は、フィルタ処理により前記代表画素値を選択する、(1)〜(4)の何れか1つに記載の画像取得装置。
(6)
選択された前記代表画素値を利用して、前記被撮像体の撮像画像を再構成する撮像画像再構成部を更に備える、(1)〜(5)の何れか1つに記載の画像取得装置。
(7)
前記撮像画像再構成部は、再構成された前記撮像画像に対してブラーフィルタを作用させる、(6)に記載の画像取得装置。
(8)
前記光源光学系に配設される光源は、半導体レーザと共振器とから構成される主発振器出力増幅器(Master Oscillator Power Amplifier:MOPA)である、(1)〜(7)の何れか1つに記載の画像取得装置。
(9)
前記光源光学系に配設される光源は、半導体レーザと共振器とから構成される主発振器出力増幅器と、当該主発振器出力増幅器からのレーザ光を増幅する光増幅器と、を有する光源である、(1)〜(7)の何れか1つに記載の画像取得装置。
(10)
前記光源光学系に配設される光源は、半導体レーザと共振器とから構成される主発振器出力増幅器と、当該主発振器出力増幅器からのレーザ光を増幅する光増幅器と、増幅された前記レーザ光の波長を変換する波長変換部と、を有する光源である、(1)〜(7)の何れか1つに記載の画像取得装置。
(11)
被撮像体を2以上の光子で励起することで蛍光を発生させるための励起光を、当該被撮像体へと導光することと、
マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被撮像体へと伝送するとともに、前記被撮像体で発生した前記蛍光によって他方の端部へと結像している前記被撮像体の像を、前記一方の端部へと伝送することと、
前記イメージガイドファイバの前記一方の端部へと伝送された前記被撮像体の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被撮像体の画像データを複数生成することと、
前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、を含む、画像取得方法。
1 画像取得装置
10 顕微鏡ユニット
20 演算処理ユニット
101 光源光学系
103 イメージガイドファイバ
105 撮像光学系
121 光ファイバ素線
123 コア
125 クラッド
201 顕微鏡ユニット制御部
203 データ取得部
205 選択部
207 撮像画像再構成部
209 データ出力部
211 表示制御部
213 記憶部

Claims (11)

  1. 被撮像体を2以上の光子で励起することで蛍光を発生させるための励起光を、当該被撮像体へと導光する光源光学系と、
    マルチモードの光ファイバ素線が複数束ねられたものであり、前記光源光学系により一方の端部に入射した前記励起光を前記被撮像体へと伝送するとともに、前記被撮像体で発生した前記蛍光によって他方の端部へと結像している前記被撮像体の像を、前記一方の端部へと伝送するイメージガイドファイバと、
    前記イメージガイドファイバの前記一方の端部へと伝送された前記被撮像体の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被撮像体の画像データを複数生成する撮像光学系と、
    前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択する選択部と、
    を備える、画像取得装置。
  2. 前記走査ピッチは、前記光ファイバ素線のコア径の1/10以下である、請求項1に記載の画像取得装置。
  3. 前記撮像光学系は、撮像位置を前記走査ピッチごとにずらしながら前記被撮像体を1回撮像することで、前記複数の画像データを生成する、請求項2に記載の画像取得装置。
  4. 前記撮像光学系は、撮像位置を前記光ファイバ素線の配設間隔でずらしつつ走査して前記被撮像体を撮像するという処理を、走査方向に対して直交する方向に撮像開始位置を前記走査ピッチだけずらしながら複数回実施することで、前記複数の画像データを生成する、請求項2に記載の画像取得装置。
  5. 前記選択部は、フィルタ処理により前記代表画素値を選択する、請求項1に記載の画像取得装置。
  6. 選択された前記代表画素値を利用して、前記被撮像体の撮像画像を再構成する撮像画像再構成部を更に備える、請求項1に記載の画像取得装置。
  7. 前記撮像画像再構成部は、再構成された前記撮像画像に対してブラーフィルタを作用させる、請求項6に記載の画像取得装置。
  8. 前記光源光学系に配設される光源は、半導体レーザと共振器とから構成される主発振器出力増幅器(Master Oscillator Power Amplifier:MOPA)である、請求項1に記載の画像取得装置。
  9. 前記光源光学系に配設される光源は、半導体レーザと共振器とから構成される主発振器出力増幅器と、当該主発振器出力増幅器からのレーザ光を増幅する光増幅器と、を有する光源である、請求項1に記載の画像取得装置。
  10. 前記光源光学系に配設される光源は、半導体レーザと共振器とから構成される主発振器出力増幅器と、当該主発振器出力増幅器からのレーザ光を増幅する光増幅器と、増幅された前記レーザ光の波長を変換する波長変換部と、を有する光源である、請求項1に記載の画像取得装置。
  11. 被撮像体を2以上の光子で励起することで蛍光を発生させるための励起光を、当該被撮像体へと導光することと、
    マルチモードの光ファイバ素線が複数束ねられたイメージガイドファイバにより、当該イメージガイドファイバの一方の端部に入射した前記励起光を前記被撮像体へと伝送するとともに、前記被撮像体で発生した前記蛍光によって他方の端部へと結像している前記被撮像体の像を、前記一方の端部へと伝送することと、
    前記イメージガイドファイバの前記一方の端部へと伝送された前記被撮像体の像を前記複数の光ファイバ素線のコアの大きさよりも狭い走査ピッチで走査して、それぞれの前記光ファイバ素線に該当する光ファイバ素線該当領域の少なくとも一部が複数の画像に含有されるように撮像し、前記被撮像体の画像データを複数生成することと、
    前記光ファイバ素線該当領域を構成する複数の画素のそれぞれについて、複数の前記画像データの中で最大輝度となる画素値を、当該画素の代表画素値として選択することと、
    を含む、画像取得方法。
JP2014112382A 2014-05-30 2014-05-30 画像取得装置及び画像取得方法 Pending JP2015227778A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014112382A JP2015227778A (ja) 2014-05-30 2014-05-30 画像取得装置及び画像取得方法
PCT/JP2015/061422 WO2015182269A1 (ja) 2014-05-30 2015-04-14 画像取得装置及び画像取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014112382A JP2015227778A (ja) 2014-05-30 2014-05-30 画像取得装置及び画像取得方法

Publications (1)

Publication Number Publication Date
JP2015227778A true JP2015227778A (ja) 2015-12-17

Family

ID=54698610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014112382A Pending JP2015227778A (ja) 2014-05-30 2014-05-30 画像取得装置及び画像取得方法

Country Status (2)

Country Link
JP (1) JP2015227778A (ja)
WO (1) WO2015182269A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2535843A1 (en) * 2003-08-19 2005-06-23 Cornell Research Foundation, Inc. Optical fiber delivery and collection system for biological applications such as multiphoton microscopy, spectroscopy, and endoscopy
FR2877103B1 (fr) * 2004-10-22 2012-02-10 Mauna Kea Technologies Systeme et procede d'imagerie microscopique multiphotonique fibre d'un echantillon
JP5848116B2 (ja) * 2011-12-22 2016-01-27 富士フイルム株式会社 光源装置

Also Published As

Publication number Publication date
WO2015182269A1 (ja) 2015-12-03

Similar Documents

Publication Publication Date Title
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
JP6587004B2 (ja) 装置、システム、方法、及びプログラム
US10241050B2 (en) Systems and methods for camera-based image processing in microscopy instruments
US8933418B2 (en) Sample observation apparatus
US20220205919A1 (en) Widefield, high-speed optical sectioning
US11143854B2 (en) Method for imaging a sample using a fluorescence microscope with stimulated emission depletion
US10416427B2 (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
US20190064495A1 (en) High-Resolution 2D Microscopy with Improved Section Thickness
KR20200070313A (ko) 이미지 재건 방법, 장치 및 현미 이미징 장치
Lochocki et al. Epi-fluorescence imaging of the human brain through a multimode fiber
JP6253395B2 (ja) 画像生成システム
JP2006023476A (ja) 共焦点走査型顕微鏡
US11209636B2 (en) High-resolution scanning microscopy
JP2008180579A (ja) 光ファイバ素線計数装置
JP6681068B2 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
Borah et al. Nyquist-exceeding high voxel rate acquisition in mesoscopic multiphoton microscopy for full-field submicron resolution resolvability
WO2015182269A1 (ja) 画像取得装置及び画像取得方法
US11860101B2 (en) Multi-photon microscopy and imaging method, lowering repetition rate to use time-gated detection
KR102561360B1 (ko) 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템
Zhang et al. Overcoming tissue scattering in wide-field two-photon imaging by extended detection and computational reconstruction
Chen et al. Generative adversarial network improves the resolution of pulsed STED microscopy
WO2012144515A1 (ja) 顕微鏡装置、及び画像処理方法
JP2007024801A (ja) 顕微鏡制御装置及びプログラム
JP6218394B2 (ja) 標本観察方法及び標本観察装置
CN116337832A (zh) 基于合成孔径的双光子显微成像方法及装置