JP2014240870A - 共焦点画像生成装置 - Google Patents

共焦点画像生成装置 Download PDF

Info

Publication number
JP2014240870A
JP2014240870A JP2013122678A JP2013122678A JP2014240870A JP 2014240870 A JP2014240870 A JP 2014240870A JP 2013122678 A JP2013122678 A JP 2013122678A JP 2013122678 A JP2013122678 A JP 2013122678A JP 2014240870 A JP2014240870 A JP 2014240870A
Authority
JP
Japan
Prior art keywords
confocal image
image
confocal
light receiving
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013122678A
Other languages
English (en)
Other versions
JP6253266B2 (ja
Inventor
真市 林
Shinichi Hayashi
林　　真市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013122678A priority Critical patent/JP6253266B2/ja
Priority to US14/292,621 priority patent/US9383563B2/en
Publication of JP2014240870A publication Critical patent/JP2014240870A/ja
Application granted granted Critical
Publication of JP6253266B2 publication Critical patent/JP6253266B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Television Systems (AREA)

Abstract

【課題】S/N比の高い超解像画像を生成する共焦点画像生成装置の技術を提供する。【解決手段】共焦点画像生成装置は、２次元配列検出器１０と画像演算装置２０ａとを備えている。２次元配列検出器１０は、複数の受光素子を有し、励起光の光路から分岐した蛍光の光路上であって焦点面と光学的に共役な像面に受光面が位置するように、複数の受光素子が像面に形成される蛍光のエアリーディスクの径よりも短いピッチで２次元に配列されている。画像演算装置２０ａは、複数の受光素子から出力される信号に基づいて、対物レンズの開口数及び蛍光の波長によって定まる対物レンズのカットオフ周波数を上回る周波数成分である超解像成分が強調された標本の共焦点画像を生成する。【選択図】図５

Description

本発明は、共焦点画像生成装置に関し、特に、超解像成分が可視化された共焦点画像を生成する共焦点画像生成装置に関する。
共焦点顕微鏡は、標本上の一点に集光させた光をガルバノミラーなどの走査手段で移動させて標本を走査することにより標本の画像を生成する走査顕微鏡の一種であり、現在さまざまな分野で広く用いられている。
共焦点顕微鏡には、ピンホール径、ＰＭＴ（Photomultiplier Tube）の電圧、光源の出力強度や波長、スキャンスピードなど種々の設定項目が存在し、これらの設定によって画質が大きく異なることがある。
このうち、ピンホール径については、ピンホール径をエアリーディスク径に対して十分に小さくすると、光学系のカットオフ周波数を超える解像（以降、超解像と記す。）成分が得られることが知られている。このような技術は、例えば、非特許文献１に開示されている。
T. Wilsonand C. Sheppard, "Theory and Practice of Scanning Optical Microscopy", Academic Press, 1984, 第6章6節
しかしながら、共焦点顕微鏡では、超解像成分を得るためにピンホール径をエアリーディスク径に対して絞りすぎると、検出器で検出される光量が大幅に減少することになる。このため、共焦点画像のＳ／Ｎ比が著しく低下してしまう。
一方で、検出効率の確保を優先してピンホール径をエアリーディスク径程度に設定すると、検出器で検出される光に含まれる超解像成分は極めて微弱となってしまう。このため、超解像成分が可視化されないため、超解像画像は得られない。
以上のような実情を踏まえ、Ｓ／Ｎ比の高い超解像画像を生成する共焦点画像生成装置の技術を提供することを目的とする。
本発明の第１の態様は、標本を励起する励起光を出射するレーザ光源と、前記励起光を集光させて前記標本に照射するとともに、前記励起光の照射により前記標本から生じた蛍光を取り込む対物レンズと、前記レーザ光源と前記対物レンズの間の光路上に配置された、前記励起光の光路と前記蛍光の光路とを分岐させる光路分岐素子と、前記対物レンズと前記光路分岐素子との間の光路上に配置された、前記対物レンズの焦点面における前記励起光の集光位置を前記対物レンズの光軸と直交する方向に移動させる走査光学系と、複数の受光素子を有し、前記励起光の光路から分岐した前記蛍光の光路上であって前記焦点面と光学的に共役な像面に受光面が位置するように、前記複数の受光素子が前記像面に形成される前記蛍光のエアリーディスクの径よりも短いピッチで２次元に配列された光検出器と、前記複数の受光素子から出力される信号に基づいて、前記対物レンズの開口数及び前記蛍光の波長によって定まる前記対物レンズのカットオフ周波数を上回る周波数成分である超解像成分が強調された前記標本の共焦点画像を生成する画像演算装置と、を備える共焦点画像生成装置を提供する。
本発明の第２の態様は、第１の態様に記載の共焦点画像生成装置において、前記画像演算装置は、前記複数の受光素子からの信号に基づいて複数の共焦点画像要素を生成する共焦点画像生成部と、前記共焦点画像生成部で生成された前記複数の共焦点画像要素の原点位置を補正する原点位置補正部と、前記原点位置補正部で原点位置が補正された複数の共焦点画像要素を加算して前記標本の共焦点画像を生成する画像加算部と、を備える共焦点画像生成装置を提供する。
本発明の第３の態様は、第２の態様に記載の共焦点画像生成装置において、前記画像演算装置は、さらに、前記画像加算部で生成された共焦点画像に対して、前記超解像成分を強調する超解像演算部を備える共焦点画像生成装置を提供する。
本発明の第４の態様は、第２の態様に記載の共焦点画像生成装置において、前記画像演算装置は、さらに、前記共焦点画像生成部で生成された複数の共焦点画像要素の各々に対して、前記超解像成分を強調する超解像演算部を備える共焦点画像生成装置を提供する。
本発明の第５の態様は、第２の態様に記載の共焦点画像生成装置において、前記画像演算装置は、さらに、前記原点位置補正部で原点位置が補正された複数の共焦点画像要素の各々に対して、前記超解像成分を強調する超解像演算部を備える共焦点画像生成装置を提供する。
本発明の第６の態様は、第２の態様乃至第５の態様のいずれか１つに記載の共焦点画像生成装置において、前記原点位置補正部は、前記複数の受光素子の中心に位置する受光素子からの信号に基づいて生成された共焦点画像要素の標本の投影位置に近づくように、前記複数の共焦点画像要素の原点位置を補正し、前記複数の受光素子の中心位置から前記共焦点画像要素に対応する受光素子の中心位置までの距離が長いほど、当該共焦点画像要素の原点位置を大きく補正する共焦点画像生成装置を提供する。
本発明の第７の態様は、第６の態様に記載の共焦点画像生成装置において、前記原点位置補正部は、前記複数の受光素子の中心位置から前記共焦点画像要素に対応する受光素子の中心位置までの距離の半分に相当する当該共焦点画像要素上の距離だけ、当該共焦点画像要素の原点位置を補正する共焦点画像生成装置を提供する。
本発明の第８の態様は、第２の態様に記載の共焦点画像生成装置において、前記画像加算部は、前記原点位置補正部で原点位置が補正された複数の共焦点画像要素のうちの、所定値を上回る強度の信号を出力した受光素子からの信号に基づいて生成された共焦点画像要素を加算して前記標本の共焦点画像を生成する共焦点画像生成装置を提供する。
本発明の第９の態様は、第２の態様に記載の共焦点画像生成装置において、前記画像加算部は、前記原点位置補正部で原点位置が補正された複数の共焦点画像要素のうちの、前記像面に形成される前記蛍光のエアリーディスクの領域内に受光面を有する受光素子からの信号に基づいて生成された共焦点画像要素を加算して前記標本の共焦点画像を生成する共焦点画像生成装置を提供する。
本発明の第１０の態様は、第１の態様に記載の共焦点画像生成装置において、前記画像演算装置は、前記複数の受光素子からの信号の各々を、当該信号を出力した受光素子に応じた遅延量だけ遅延させる遅延部と、前記遅延部で遅延した複数の信号を加算して加算信号を出力する信号加算部と、前記信号加算部から出力された加算信号から前記標本の共焦点画像を生成する共焦点画像生成部と、を備える共焦点画像生成装置を提供する。
本発明の第１１の態様は、第１の態様に記載の共焦点画像生成装置において、前記光検出器は、前記複数の受光素子からの信号の各々を、当該信号を出力した受光素子に応じた遅延量だけ遅延させる遅延部と、前記遅延部で遅延した複数の信号を加算して加算信号を出力する信号加算部と、を備え、前記画像演算装置は、前記信号加算部から出力された加算信号から前記標本の共焦点画像を生成する共焦点画像生成部と、を備える共焦点画像生成装置を提供する。
本発明の第１２の態様は、第１０の態様または第１１の態様に記載の共焦点画像生成装置において、前記画像演算装置は、さらに、前記共焦点画像生成部で生成された共焦点画像に対して、前記超解像成分を強調する超解像演算部を備える共焦点画像生成装置を提供する。
本発明の第１３の態様は、第１の態様に記載の共焦点画像生成装置において、前記画像演算装置は、前記複数の受光素子からの信号の各々を、当該信号を出力した受光素子に応じた遅延量だけ遅延させる遅延部と、前記遅延部で遅延した複数の信号に基づいて複数の共焦点画像要素を生成する共焦点画像生成部と、前記共焦点画像生成部で生成された複数の共焦点画像要素を加算して前記標本の共焦点画像を生成する画像加算部と、を備える共焦点画像生成装置を提供する。
本発明の第１４の態様は、第１３の態様に記載の共焦点画像生成装置において、前記画像演算装置は、さらに、前記画像加算部で生成された共焦点画像に対して、前記超解像成分を強調する超解像演算部を備える共焦点画像生成装置を提供する。
本発明の第１５の態様は、第１３の態様に記載の共焦点画像生成装置において、前記画像演算装置は、さらに、前記共焦点画像生成部で生成された複数の共焦点画像要素の各々に対して、前記超解像成分を強調する超解像演算部を備える共焦点画像生成装置を提供する。
本発明の第１６の態様は、第１０の態様乃至第１５の態様のいずれか１つに記載の共焦点画像生成装置において、前記遅延部は、前記複数の受光素子からの信号が有する時間方向の重心位置が合致するように、前記複数の受光素子からの信号の各々を遅延させる共焦点画像生成装置を提供する。
本発明の第１７の態様は、標本を励起する励起光を発生させる励起光発生手段と、前記励起光を集光させて前記標本に照射するとともに、前記励起光の照射により前記標本から生じた蛍光を取り込む対物レンズと、前記励起光発生手段と前記対物レンズの間の光路上に配置された、前記励起光の光路と前記蛍光の光路とを分岐させる光路分岐手段と、前記対物レンズと前記光路分岐手段との間の光路上に配置された、前記対物レンズの焦点面における前記励起光の集光位置を前記対物レンズの光軸と直交する方向に移動させる走査手段と、複数の受光素子を有し、前記励起光の光路から分岐した前記蛍光の光路上であって前記焦点面と光学的に共役な像面に受光面が位置するように、前記複数の受光素子が前記像面に形成される前記蛍光のエアリーディスクの径よりも短いピッチで２次元に配列された光検出手段と、前記複数の受光素子から出力される信号に基づいて、前記対物レンズの開口数及び前記蛍光の波長によって定まる前記対物レンズのカットオフ周波数を上回る周波数成分である超解像成分が強調された前記標本の共焦点画像を生成する画像演算手段と、を備える共焦点画像生成装置を提供する。
本発明によれば、Ｓ／Ｎ比の高い超解像画像を生成する共焦点画像生成装置の技術を提供することができる。
２次元配列検出器と蛍光スポットの関係を示す図である。 受光素子の点像分布関数の重心位置について説明するための図である。 重心位置補正前の各受光素子の点像分布関数の重心位置を示した図である。 重心位置補正後の各受光素子の点像分布関数の重心位置を示した図である。 画像演算装置が採用し得る構成の第１の例を示した図である。 画像演算装置が採用し得る構成の第２の例を示した図である。 画像演算装置が採用し得る構成の第３の例を示した図である。 画像加算部で加算すべき共焦点画像要素について説明するための図である。 画像演算装置が採用し得る構成の第４の例を示した図である。 画像演算装置が採用し得る構成の第５の例を示した図である。 画像演算装置が採用し得る構成の第６の例を示した図である。 ２次元配列検出器が採用し得る構成の一例を示した図である。 蛍光のエアリーディスクの分割数と装置の点像分布関数の半値全幅の関係を示した図である。 実施例１に係る共焦点画像生成装置の構成を例示した図である。 実施例１に係る共焦点画像生成装置で実行される処理全体のフローを示す図である。 図１５に示すパラメータ設定処理のフローを示す図である。 図１５に示す超解像画像取得処理のフローを示す図である。 実施例２に係る共焦点画像生成装置の構成を例示した図である。 実施例３に係る共焦点画像生成装置の構成を例示した図である。 ＴＤＩ−ＣＣＤの動作について説明するための図である。 ＴＤＩ−ＣＣＤと遅延加算部の関係を示した図である。
まず、Image Scanning Microscopy（以降、ＩＳＭと記す）について概説する。
ＩＳＭは、非特許文献（Claus B. Muller and Jorg Enderlein,"Image Scanning Microscopy", Physical Review Letters, 14 May 2010, 104巻, 198101-1頁から198101-4頁）に記載されているように、従来の共焦点顕鏡法に領域分割による検出を組み合わせた顕鏡法である。ＩＳＭで用いられる共焦点顕微鏡（以降、ＩＳＭ装置と記す）は、光検出器として、対物レンズの焦点面と光学的に共役な位置に、複数の受光素子が２次元に配列された２次元配列検出器を備える点が、受光素子をひとつのみ備えた従来の共焦点顕微鏡と異なっている。
ＩＳＭ装置は、２次元配列検出器の各受光素子（チャンネル）の信号から共焦点画像を生成し、生成された複数の共焦点画像の原点位置を補正して合成することで一枚の共焦点画像を生成する。以降、チャンネル毎に生成される共焦点画像を共焦点画像要素と記し、共焦点画像要素を合成して生成される共焦点画像を合成共焦点画像と記す。２次元配列検出器に設けられた複数の受光素子の各々が従来の共焦点顕微鏡の共焦点ピンホールと同様に機能することで、ＩＳＭ装置で生成される合成共焦点画像では、共焦点ピンホール径を小さく絞った場合と同様の高い解像度が実現される。
ＩＳＭを用いることで高い解像度の共焦点画像（合成共焦点画像）が得られる点について、図１から図４を参照しながら、詳細に説明する。
蛍光観察に用いられる一般的な共焦点顕微鏡の結像特性を示す点像分布関数（ＰＳＦ：Point Spread Function）は式（１）によって表わされる。
（但し、
はコンボリューション演算子）
ここで、PSFLSMは、共焦点顕微鏡の結像特性を示す点像分布関数（ＰＳＦ：Point Spread Function）である。PSFexは、励起光のスポットの点像分布関数であり、励起光が標本面に集光する際の集光特性を示す。PSFflは、蛍光のスポットの点像分布関数であり、標本面から生じた蛍光が像面に結像する際の結像特性を示す。なお、PSFLSM、PSFex、PSFflは、いずれも標本面上で定義される関数である。PHは、共焦点ピンホールを有する共焦点絞りの透過関数を標本面に投影した関数である。rは、標本面における光軸からの距離である。
式（１）に示されるように、共焦点顕微鏡の点像分布関数PSFLSMは、共焦点絞りの透過関数PH、即ち、ピンホール径によって変化する。より具体的には、ピンホールを絞るほど、共焦点顕微鏡の点像分布関数PSFLSMの半値全幅（ＦＷＨＭ：Full Width Half Maximum）が細くなって極限値
に近づいてゆき、PSFLSMのフーリエ変換である変調伝達関数（ＭＴＦ: Modulation Transfer Function）MTFLSMの高周波数成分の強度が高くなる。このため、共焦点顕微鏡では、ピンホールを絞るほどより高い周波数成分まで検出することが可能となり、解像度の高い共焦点画像が得られる。
一方、ＩＳＭ装置では、蛍光のスポット（像面に投影されたPSFflの広がり、即ち、エアリーディスク）は図１に示されるように２次元配列検出器１０が有する複数の受光素子１１に跨って受光面（像面）上に形成されるため、各受光素子１１からの信号とガルバノミラーなどの走査手段の走査位置に関する情報とから受光素子１１毎に共焦点画像（共焦点画像要素）が生成される。従って、ＩＳＭ装置では、PSFLSMも受光素子１１毎に定義される。なお、図１には、２次元配列検出器１０を標本面に投影した像が図示されている。
各々が共焦点ピンホールと同様に機能する複数の受光素子は同じサイズを有し、且つ、そのサイズは蛍光のスポット径（エアリーディスク径）よりも十分に小さい。このため、複数の受光素子のPSFLSMの半値全幅は、共焦点顕微鏡でピンホールを十分に絞ったときのような小さな一定の値となる。
ただし、受光素子毎にPHが分布する位置が異なるため、各受光素子のPSFLSMの重心位置は同じではない。例えば、受光素子１１ｃに着目すると、図２に示されるように、PSFexは２次元配列検出器１０の中心位置を中心に分布するのに対して、PSFfl と受光素子１１ｃのPH のコンボリューションは受光素子１１ｃを中心に分布する。その結果、受光素子１１ｃのPSFLSM(c)の重心位置は、２次元配列検出器１０の中心位置からずれることになる。なお、このずれ量は、概ね、２次元配列検出器１０の中心位置から受光素子１１ｃの中心位置までの距離の半分、つまり、２次元配列検出器１０の中心位置を原点とすると、およそ受光素子１１ｃの中心位置の座標の半分、に対応する値を標本面から像面までの投影倍率で除した値である。
このため、各受光素子のPSFLSM（受光素子１１ａのPSFLSM(a)、受光素子１１ｂのPSFLSM(b)、受光素子１１ｃのPSFLSM(c) 等）の重心位置は、図３に示すように、その受光素子の位置に応じて異なる。従って、複数の受光素子で生成される共焦点画像要素をそのまま合成して合成共焦点画像を生成すると、各受光素子のPSFLSMの半値全幅が小さいにもかかわらず、装置全体の結像性能を示すΣPSFLSMの半値全幅は大きくなってしまう。このΣPSFLSMは、ピンホール径を蛍光のスポット径と同程度に設定した場合の従来の共焦点顕微鏡のPSFLSMとほとんど同じである。
そこで、ＩＳＭ装置では、各受光素子で生成される共焦点画像要素の原点位置が特定の受光素子（例えば、２次元配列検出器１０の中心に位置する受光素子１１ａ）の原点位置に一致するように共焦点画像要素を補正してからそれらを合成して、合成共焦点画像を生成する。この場合、補正により、各受光素子のPSFLSM（受光素子１１ａのPSFLSM(a)、受光素子１１ｂのPSFLSM(b)、受光素子１１ｃのPSFLSM(c)等）の重心位置は、図４に示すように、互いに一致することになり、その結果、ＩＳＭ装置のΣPSFLSM（換言すると、合成共焦点画像のPSFLSM）の半値全幅は、各受光素子のPSFLSM（換言すると、各共焦点画像要素のPSFLSM）の半値全幅と同程度に細く維持される。
従って、ＩＳＭ装置では、共焦点顕微鏡のピンホールを十分に絞った場合と同様に高い周波数成分まで検出することが可能となり、解像度の高い合成共焦点画像が得られる。また、共焦点顕微鏡のピンホールを十分に絞った場合とは異なり、ＩＳＭ装置では、受光素子全体で無駄なく蛍光を検出する。つまり、高周波成分を検出するために光検出器へ入射する蛍光を遮断することがないため、光検出器で蛍光を効率的に検出することが可能である。このため、ノイズが少なくＳ/Ｎ比の高い合成共焦点画像を得ることができる。
次に、本発明の各実施例に係るＩＳＭ装置について概説する。
本発明の各実施例に係るＩＳＭ装置は、少なくとも、光検出器（２次元配列検出器１０）を含む顕微鏡本体と、光検出器（２次元配列検出器１０）から出力された信号に基づいて共焦点画像を生成する画像演算手段である画像演算装置と、を備えている。これらのＩＳＭ装置では、画像演算装置で共焦点画像に含まれる超解像成分を強調するためのデジタルフィルター処理（以降、超解像フィルタ処理と記す）が行われる。これにより、超解像成分が良好に可視化された共焦点画像が生成される。なお、超解像成分とは、使用する対物レンズのカットオフ周波数を上回る周波数成分のことである。対物レンズのカットオフ周波数ｆｃは、下式により示される。
ここで、λflは、蛍光波長であり、ＮＡは、対物レンズの開口数である。また、以降では、共焦点画像のうち超解像成分が強調された共焦点画像を特に超解像画像と記す。
図５から図７を参照しながら、本発明の各実施例に係るＩＳＭ装置に含まれる画像演算装置が採用し得る構成について説明する。
図５から図７に示すように、超解像画像を生成する画像演算装置（画像演算装置２０ａ、画像演算装置２０ｂ、画像演算装置２０ｃ）は、複数の受光素子１１（検出チャンネル）からの信号に基づいて複数の共焦点画像要素を生成する共焦点画像生成部３０と、共焦点画像生成部３０で生成された複数の共焦点画像要素の原点位置を補正する原点位置補正部４０と、原点位置補正部４０で原点位置が補正された複数の共焦点画像要素を加算して標本の合成共焦点画像を生成する画像加算部５０と、超解像成分を強調する超解像演算部６０を有している。
超解像演算部６０は、図５に示すように、画像加算部５０で生成された合成共焦点画像に対して超解像成分を強調して、超解像画像を生成しても良い。また、図６に示すように、共焦点画像生成部３０で生成された複数の共焦点画像要素の各々に対して超解像成分を強調して、複数の超解像画像要素を生成してもよい。また、図７に示すように、原点位置補正部４０で原点位置が補正された複数の共焦点画像要素の各々に対して超解像成分を強調して、複数の超解像画像要素を生成してもよい。
なお、図５から図７に示す画像演算装置を比較すると、以下のようになる。図５に示す画像演算装置２０ａでは、超解像演算部６０は一つの画像（合成共焦点画像）に対して超解像フィルタ処理を行えばよく、超解像フィルタ処理の効率が良い。このため、画像演算装置２０ａは、一枚の超解像画像を生成するために必要となる超解像フィルタ処理の時間を短く抑えることができる。図６に示す画像演算装置２０ｂ及び図７に示す画像演算装置２０ｃでは、共焦点画像要素の各々に対して超解像フィルタ処理が行われ、超解像画像要素を加算することにより超解像画像が生成される。このため、各超解像画像要素の信号強度やノイズレベルに応じて加算する時に用いられる係数を調整することが可能である。その結果、画像演算装置２０ｂ及び画像演算装置２０ｃは、超解像画像に含まれるノイズ成分を抑えることができる。さらに、図６に示す画像演算装置２０ｂでは、超解像フィルタ処理後に原点位置補正部４０による各画像要素の原点位置の補正が行われるため、超解像処理によって各画像要素の原点位置の補正精度が劣化してしまうことがない。このため、画像演算装置２０ｂは、原点位置の補正精度の劣化を防止することができる。
原点位置補正部４０は、特定の受光素子、具体的には、複数の受光素子の中心に位置する受光素子（図１に示す受光素子１１ａ）からの信号に基づいて生成された共焦点画像要素の標本の投影位置に近づくように、そして、より望ましくは一致するように、複数の共焦点画像要素の原点位置を補正する。換言すると、原点位置補正部４０は、複数の共焦点画像要素のPSFLSMの重心位置が受光素子１１ａからの信号に基づいて生成された共焦点画像要素のPSFLSMの重心位置に近づくように、そして、より望ましくは一致するように、複数の共焦点画像要素のPSFLSMを補正する。
このような補正では、受光素子１１ａの中心位置から補正対象の共焦点画像要素に対応する受光素子の中心位置までの距離が長いほど、その共焦点画像要素の原点位置が大きく補正される。より具体的には、原点位置補正部４０が、例えば、受光素子１１ａの中心位置から補正対象の共焦点画像要素に対応する受光素子の中心位置までの距離の半分に相当する補正対象の共焦点画像要素上の距離だけ、その共焦点画像要素の原点位置を補正することが望ましい。この点についてより詳細に説明する。
まず、光検出器の各受光素子の開口がPSFLSMに比較して十分に小さいと仮定すると、透過関数PHは下式（３）に示すＤｉｒａｃのδ関数で近似できるため、受光素子のPSFLSMは、下式（４）で示される。ここで、xp、ypは、それぞれ受光素子の開口を標本面に投影した開口像のＸ方向、Ｙ方向の中心座標を示している。
ここで、PSFexは、半値全幅がΔexであるガウシアン分布で近似すると、下式（５）で示される。また、PSFflは、半値全幅がΔflであるガウシアン分布で近似すると、下式（６）で示される。
式（５）と式（６）を用いて式（４）を変形すると、PSFLSMは下式（７）に示すように変形される。
式（７）から明らかなように、受光素子のPSFLSMの半値全幅ΔLSMは、下式（８）で示され、開口の座標、つまり、受光素子によらず常に一定値である。
また、式（７）から明らかなように、受光素子のPSFLSMの重心座標（xp、yp）は、下式（９）で示される。
蛍光観察では、一般にΔexとΔflの差は１０％程度と小さいので、式（９）のαはおよそ０．５である。このため、図２に示されるように、各受光素子（共焦点画像要素）のPSFLSMの重心位置は、PSFexの重心位置（図２では受光素子１１ａの中心）とPSFfl と受光素子のPH のコンボリューションの重心位置（図２では受光素子１１ｃの中心）のおよそ中間に位置する。
従って、上述したように、原点位置補正部４０は、２次元配列検出器１０の中心位置から補正対象の共焦点画像要素に対応する受光素子の中心位置までの距離のα倍（およそ半分）に相当する共焦点画像要素上の距離だけ、その共焦点画像要素の原点位置を補正すればよく、近似的には、２次元配列検出器１０の中心位置から補正対象の共焦点画像要素に対応する受光素子の中心位置までの距離の半分に相当する共焦点画像要素上の距離だけ、その共焦点画像要素の原点位置を補正すればよい。つまり、補正量は、共焦点画像要素の縦横それぞれの方向について、受光素子のピッチの半分に相当する画像上の距離の整数倍である。
このように、原点位置補正部４０が受光素子の位置に基づいて決定された補正量を利用して処理を行うことで、各受光素子（共焦点画像要素）のPSFLSMを算出してさらにその重心位置を算出するといった処理を省略することができる。このため、原点位置補正部４０で行われる補正処理の計算量を大幅に減らすことが可能であり、その結果、補正処理の高速化を図ることができる。
なお、上記のように、原点位置補正部４０での補正量が、受光素子のピッチのα倍（およそ半分）に相当する画像上の距離を整数倍したものであることを踏まえると、共焦点画像上の各画素ピッチを、標本面に投影された２次元配列検出器１０の受光素子のピッチのα倍（およそ半分）に設定することが望ましく、近似的には、標本面に投影された２次元配列検出器１０の受光素子のピッチの半分に設定すればよい。このように設定することで、原点位置補正部４０での補正を画素シフトのみによって達成することができるため、高速な処理が可能となる。
画像加算部５０は、複数の共焦点画像要素（超解像画像要素を含む）を加算して合成共焦点画像（超解像画像を含む）を生成するが、必ずしもすべての共焦点画像要素を加算する必要はなく、加算する共焦点画像要素を所定の基準に従って選択してもよい。
例えば、画像加算部５０は、原点位置補正部４０で原点位置が補正された複数の共焦点画像要素のうちの、所定値を上回る強度の信号を出力した受光素子１１からの信号に基づいて生成された共焦点画像要素のみを加算して合成共焦点画像を生成してもよい。また、画像加算部５０は、図８に示すように、原点位置補正部４０で原点位置が補正された複数の共焦点画像要素のうちの、像面（２次元配列検出器１０の受光面）に形成される蛍光のエアリーディスク（像面に投影されたPSFflの広がり）の領域内に受光面を有する受光素子１１からの信号に基づいて生成された共焦点画像要素のみを加算して合成共焦点画像を生成してもよい。なお、図８は、より厳密には、受光素子の中心が蛍光のエアリーディスクの領域内にある受光素子１１から信号に基づいて生成された共焦点画像要素を加算する例を示している。
一般に弱い信号強度に基づいて生成された共焦点画像要素のＳ／Ｎ比は低いが、複数の共焦点画像要素を加算することで合成共焦点画像の信号強度が増す。従って、加算する共焦点画像要素の数を増やすと合成共焦点画像のＳ／Ｎ比を改善することができる。一方、加算される共焦点画素要素の検出開口の総面積が増えると、従来の共焦点顕微鏡の共焦点ピンホールの開口を広げた場合と同様に、光学的切断能が低下する。従って、加算対象となる共焦点画像要素の数を、合成共焦点画像のＳ／Ｎ比と光学的切断能のトレードオフを調整して最適化することができる。
画像加算部５０は、加算する共焦点画像要素を選択する代わりに、または、選択するとともに、受光素子毎に重み係数を定めて、共焦点画像要素を対応する受光素子の重み係数で重み付けして共焦点画像要素を加算しても良い。また、すべての共焦点画像要素を加算して超解像画像を生成し、その結果を見て改めて加算対象とする共焦点画像要素を改めて選択してもよい。この場合、例えば、共焦点画像要素を加算対象とするか否かを判断する信号強度の閾値を最初は低く設定しておき、生成された超解像画像（例えば、そのＳ／Ｎ比）を見ながら徐々に閾値を大きくして超解像画像の生成を繰り返すことができる。これにより、超解像画像のＳ／Ｎ比及び光学的切断能の調整を自動化することができる。
さらに、画素シフトにより原点位置が補正されることを考慮すると、画素シフトする画素数だけ加算する共焦点画像要素を多く選択することが望ましい。例えば、原点位置を補正するために最大３画素分だけＸ方向にシフトするのであれば、−Ｘ方向に３列分多くの共焦点画像要素を選択する。これにより、画素シフトによって選択されることになった共焦点画像要素が得られていないため、超解像画像の周辺部分の画素が異常な値を示すといった事態を回避することができる。シフトする最大画素数は、超解像画像の画素数（画像加算部５０で加算される共焦点画像要素の数）によって決まる。このため、超解像画像の画素数に応じて選択する共焦点画像要素の範囲を広げればよい。また、超解像画像の大きさに対して取るべきマージンを予め大きめに設定してもよい。
超解像演算部６０は、合成共焦点画像または共焦点画像要素の超解像成分を強調する超解像フィルタ処理を行う。具体的には、例えば、実空間上で行われるコンボリューションフィルタ処理、または、周波数空間で行われるフーリエフィルタ処理によって、超解像成分を強調する。なお、超解像演算部６０で行われる超解像フィルタ処理は、超解像成分のみを強調する処理に限られず、低周波成分に比べて高周波成分、好ましくは、超解像成分を相対的に強調すればよい。
超解像演算部６０は、上述した超解像フィルタ処理を行わずに、原点位置を補正することなしに共焦点画像要素を加算して生成した第２の合成共焦点画像を用いて超解像画像を生成してもよい。具体的には、第１の合成共焦点画像から一定の係数を掛けた第２の合成共焦点画像を差し引くことにより、第１の合成共焦点画像の超解像成分を強調しても良い。このような処理であればリアルタイム処理が可能となるため、リアルタイムで超解像画像を得ることができる。
コンボリューションフィルタ処理は、一般に高速な超解像演算が可能であるのに対して、フーリエフィルタ処理は、ノイズと解像の調整が容易であるといった違いがある。なお、２次元配列検出器１０のナイキスト周波数と光学系のカットオフ周波数の比に応じて、フィルタ処理に用いられるフィルタ係数やフィルタサイズを変化させてもよい。これにより、超解像性の向上や計算コストの抑制といった効果が期待できる。より具体的には、コンボリューションフィルタ及びフーリエフィルタの係数は、受光素子の数に応じて調整して最適化されてもよい。また、コンボリューションフィルタのカーネルサイズは、受光素子の数が少ないほど小さくしてもよい。これにより、受光素子の数が少ない場合には計算量を抑えることができる。
以上では、画像演算装置が原点位置補正部４０を備える構成を示したが、図９から図１１に示すように、画像演算装置（画像演算装置２０ｄ、画像演算装置２０ｅ、画像演算装置２０ｆ）は、原点位置補正部４０の代わりに、複数の受光素子からの信号の各々を当該信号を出力した受光素子に応じた遅延量だけ遅延させる遅延部７０を備えても良い。これは、ＩＳＭ装置で生成される画像は走査手段を用いて取得される共焦点画像であるので、信号を遅延させることで位置情報を補正することができるからである。遅延部７０を備える画像演算装置では、遅延部７０での時間遅延により原点位置補正部４０による重心補正と同様の処理をリアルタイムに処理することができるため、超解像画像の高速な生成が可能となる。
図９に示す画像演算装置２０ｄは、遅延部７０に加えて、遅延部７０で遅延した複数の信号を加算して加算信号を出力する信号加算部５１と、信号加算部５１から出力された加算信号から合成共焦点画像を生成する共焦点画像生成部３０と、共焦点画像生成部３０で生成された合成共焦点画像に対して超解像成分を強調する超解像演算部６０を備えている。画像演算装置２０ｄでは、共焦点画像生成部３０は受信した信号から一つの共焦点画像（合成共焦点画像）を生成すればよく、また、超解像演算部６０は、一つの画像（合成共焦点画像）に対して超解像フィルタ処理を行えばよい。このため、画像演算装置２０ｄは、一枚の超解像画像を生成するために必要となる処理の時間を短く抑えることができる。
図１０に示す画像演算装置２０ｅは、遅延部７０に加えて、遅延部７０で遅延した複数の信号に基づいて複数の共焦点画像要素を生成する共焦点画像生成部３０と、共焦点画像生成部３０で生成された複数の共焦点画像要素を加算して合成共焦点画像を生成する画像加算部５０と、画像加算部５０で生成された合成共焦点画像に対して超解像成分を強調する超解像演算部６０とを備えている。画像演算装置２０ｅでは、共焦点画像要素の信号強度やノイズレベルに応じて加算する時に用いられる係数を調整することが可能である。その結果、合成共焦点画像、ひいては、超解像画像に含まれるノイズ成分を抑えることができる。
図１１に示す画像演算装置２０ｆは、遅延部７０に加えて、遅延部７０で遅延した複数の信号に基づいて複数の共焦点画像要素を生成する共焦点画像生成部３０と、共焦点画像生成部３０で生成された複数の共焦点画像要素の各々に対して超解像成分を強調する超解像演算部６０と、超解像演算部６０で超解像成分が強調された複数の超解像画像要素を加算して超解像画像を生成する画像加算部５０と、を備えている。画像演算装置２０ｆでは、共焦点画像要素の各々に対して超解像フィルタ処理が行われ、超解像画像要素を加算することにより超解像画像が生成される。このため、各超解像画像要素の信号強度やノイズレベルに応じて加算する時に用いられる係数を調整することが可能である。その結果、超解像画像に含まれるノイズ成分を抑えることができる。
また、図１２に示すように、画像演算装置外に遅延部を備えても良い。図１２に示す光検出器（２次元配列検出器１０ａ）は、遅延部７０ａと信号加算部５１ａを備え、信号加算部５１ａが、２次元配列検出器１０の受光素子１１から出力され遅延部７０ａで遅延した複数の信号を受光素子１１の行毎に加算して遅延加算器２１に出力する。図１２に示す遅延加算器２１は、信号加算部５１ａから出力された行毎の信号を行毎に異なる遅延量だけ遅延させる遅延部７０ｂと、遅延部７０ｂから行毎に出力された信号を加算する信号加算部５１ｂと、を備える。２次元配列検出器１０から出力される行毎の信号は、遅延加算器２１から一つの信号として出力される。図１２に示す画像演算装置２０ｇは、遅延加算器２１からの出力される信号から合成共焦点画像を生成する共焦点画像生成部３０と、共焦点画像生成部３０で生成された合成共焦点画像に対して超解像成分を強調する超解像演算部６０を備える。このような構成では、光検出器として、例えばＴＤＩ−ＣＣＤを用いることができる。
上記の図９から図１２に示すＩＳＭ装置では、遅延部７０（遅延部７０ａ、遅延部７０ｂ）は、複数の受光素子からの信号が有する時間方向の重心位置が合致するように、複数の受光素子からの信号の各々を異なる遅延量で遅延させる。これにより、原点位置補正部４０と同様の効果が得られるため、超解像成分が十分に可視化された超解像画像を生成することができる。
本発明の各実施例に係るＩＳＭ装置に含まれる顕微鏡本体について説明する。
顕微鏡本体は、標本を励起する励起光を発生させて出射する励起光発生手段であるレーザ光源と、励起光を集光させて標本に照射するとともに、励起光の照射により標本から生じた蛍光を取り込む対物レンズと、レーザ光源と対物レンズの間の光路上に配置された、励起光の光路と蛍光の光路とを分岐させる光路分岐手段である光路分岐素子と、対物レンズと光路分岐素子との間の光路上に配置された、対物レンズの焦点面における前記励起光の集光位置を対物レンズの光軸と直交する方向に移動させる走査手段である走査光学系と、画像演算装置に信号を出力する光検出手段である光検出器とを備えている。
光検出器は、例えば、図１に示すような２次元配列検出器１０であり、複数の受光素子を有し、励起光の光路から分岐した蛍光の光路上であって焦点面と光学的に共役な像面に受光面が位置するように、複数の受光素子が２次元に配列された光検出器である。そして、上述したように、超解像成分が検出されるように、それら受光素子のピッチは、受光面に形成される蛍光のエアリーディスクの径よりも短くなっている。
具体的には、２次元配列検出器１０では、蛍光のエアリーディスクが形成される領域を３×３以上に分割するように、複数の受光素子が配列されていることが望ましい。これにより、共焦点画像要素のナイキスト周波数が、顕微鏡本体の光学系のカットオフ周波数よりも大きくなるため、ナイキスト周波数が低いために超解像成分が検出されないといった事態を防止することができる。ここでナイキスト周波数とは、画像サンプリングによるカットオフ周波数を示す。つまり、画像データはナイキスト周波数以上の周波数成分を表現することができない。特に、図１３に示すように、蛍光のエアリーディスクが形成される領域を５×５に分割するように複数の受光素子が配列されていると、共焦点画像要素の超解像性とノイズ特性のバランスがよい。また、蛍光のエアリーディスクが形成される領域を４×４に分割するように複数の受光素子を配列する場合には、２次元配列検出器１０として市販されているＰＭＴアレーセンサを用いて高速な処理が可能となる。
なお、図１３は、シミューレーションにより算出されたエアリーディスクの分割数と装置のPSFLSMの半値全幅の関係を示した図である。破線（ＬＳＭ）は２次元配列検出器１０を使用しない従来の共焦点顕微鏡における結果を示している。また、実線（ＩＳＭ）と一点鎖線（ＩＳＭ−ＳＲ）は、それぞれ、従来のＩＳＭ装置、本発明のＩＳＭ装置における結果を示している。点線（Nyquist）は、共焦点画像要素の画素ピッチを標本面に投影された２次元配列検出器１０の受光素子のピッチの半分に設定した場合における、共焦点画像要素のナイキスト周波数による解像限界を示している。図１３では、分割数を５×５よりも多くしてもＦＷＨＭ（半値全幅）が細くならない、または、ほとんど変化しない、という結果が示されている。シミューレーションは、蛍光波長が５２０ｎｍ、対物レンズの開口数が１．４、カットオフ周期（１／カットオフ周波数）が１８６ｎｍ、PSFLSMのレイリー径が４５３ｎｍの条件下で行われ、超解像演算は、それぞれの分割数に最適化されたフィルタを使用して行われている。
２次元配列検出器１０としては、ＰＭＴ（Photomultiplier Tube）アレーセンサの他にも、ＥＭ（Electron Multiplying）−ＣＣＤアレーセンサ、ＴＤＩ（Time Delay Integration）−ＣＣＤアレーセンサ、ＡＰＤ（Avalanche Photo Diode）アレーセンサなど種々のアレーセンサを用いることができる。例えば、ＥＭ−ＣＣＤアレーセンサを用いることで、通常のＣＣＤに比べてフレームレートを高くすることができるので、高速な画像取得が可能となる。また、ＰＭＴアレーセンサは画素数（受光素子数）が少ないため、光軸をセンサの配列の中心に合わせる必要があるが、ＥＭ−ＣＣＤアレーセンサは画素数が多いため、光軸がセンサの配列の中心からずれている場合であっても加算対称とする画素を変更すればよく、光軸と線差の配列の中心を厳密に合わせる必要がない。また、ＡＰＤアレーセンサを用いることによっても、ＰＭＴアレーセンサよりも更に高速な処理が可能となる。これらのアレーセンサは、いずれも複数の受光素子が所定のピッチで配列されているので、各受光素子のPSFLSMの半値全幅は一定となる。また、各受光素子の受光感度もおよそ一定であるが、製造誤差等によって生じる受光素子間の受光感度の差を出力信号に対するゲイン補正により補償してもよい。これは、例えば、一様な明るさの標本を撮像した画像の各画素の輝度値の情報に基づいて行われる。
顕微鏡本体には、さらに、２次元配列検出器１０の受光面へ投影される蛍光スポット（エアリーディスク）の径を変更するための変倍光学系を備えてもよい。変倍光学系は、光路分岐素子と２次元配列検出器１０の間の光路上、つまり、蛍光のみに作用する位置、に配置される。変倍光学系を備えることで、エアリーディスク領域内の受光素子の数を調整することができる。具体的には、例えば、使用する対物レンズや蛍光波長によって変化し得るエアリーディスク径を変倍光学系によって一定の径に維持することができる。
なお、波長が長いほどエアリーディスク径も大きくなることから、複数の波長の蛍光を同時に検出する場合には、最も短い波長の蛍光によって形成されるエアリーディスクの領域内に適切な数の受光素子が含まれるように変倍光学系を設定することが望ましい。これにより、すべての波長の蛍光を良好に検出することができる。また、複数の波長の蛍光を順番に検出する場合にも同様に設定してもよい。これにより、蛍光波長が変更される際の変倍光学系の再設定を省略することができる。
顕微鏡本体には、さらに、蛍光の光路上であって、対物レンズの焦点面と光学的に共役な位置に開口絞りを備えても良い。超解像成分を検出するためには絞りを設ける必要はないが、開口絞りを設けることで、迷光の検出を抑制する効果やセクショニング効果を得ることができる。なお、迷光の検出を抑制する目的であれば、開口絞りを２次元配列検出器１０の受光面の直前に配置しても良い。
顕微鏡本体には、さらに、蛍光の光軸に対して２次元配列検出器１０の位置を調整する位置合わせ機構を備えてもよい。位置合わせ機構は、例えば、２次元配列検出器１０の受光面の中心位置と蛍光の光軸とが一致するように２次元配列検出器１０を蛍光に対して相対的に移動させる。これにより、エアリーディスク領域内に確実に受光素子を配置させることができる。
なお、位置合わせ機構は、２次元配列検出器１０の各受光素子からの信号に応じて制御されてもよい。例えば、位置合わせ機構が２次元配列検出器１０の中心に位置する受光素子からの信号強度が最も高くなるように２次元配列検出器１０を蛍光に対して相対的に移動させることで、２次元配列検出器１０の位置合わせを自動化することができる。
以下、各実施例について、具体的に説明する。
図１４は、本実施例に係る共焦点画像生成装置の構成を例示した図である。図１４に示す共焦点画像生成装置１００は、ＩＳＭを用いて超解像画像を生成する装置であり、共焦点顕微鏡本体と、ＰＭＴコントローラ１１６と、ガルバノコントローラ１１７と、超解像画像を生成する画像演算装置であるＰＣ１１８とを備えている。
共焦点顕微鏡本体は、レーザ光源１０１から標本１０９までの光学系と標本１０９から共焦点ピンホール板１１３までの光学系については、通常の共焦点顕微鏡と同様である。共焦点顕微鏡本体は、共焦点ピンホール板１１３の後段に拡大レンズ１１４を備える点、シングルチャンネルの検出器の代わりにマルチチャンネルＰＭＴ１１５を備える点が、通常の共焦点顕微鏡と異なっている。なお、マルチチャンネルＰＭＴ１１５は、複数の受光素子を有し、且つ、対物レンズ１０８の焦点面と光学的に共役な像面に受光面が位置するように、複数の受光素子が像面に形成される蛍光のエアリーディスクの径よりも短いピッチで２次元に配列された光検出器である。
共焦点画像生成装置１００では、レーザ光源１０１から標本１０９を励起する励起光として出射したレーザ光は、シングルモード光ファイバ１０２を通って、第１の中間像位置Ｐ１に集光する。その後、コリメータ１０３でコリメートされたレーザ光は、光路分岐素子であるダイクロイックミラー１０４で反射し、走査光学系であるガルバノミラー１０５、瞳レンズ１０６、結像レンズ１０７を介して対物レンズ１０８に入射する。そして、対物レンズ１０８がレーザ光を標本１０９上、つまり、対物レンズ１０８の焦点面上に集光することで、レーザ光が標本１０９に照射される。なお、レーザ光の集光位置は、ＰＣ１１８からの変調制御信号に基づいて、ガルバノコントローラ１１７がガルバノミラー１０５を駆動することにより、光軸と直交するＸＹ方向に移動する。これにより、標本１０９がレーザ光で２次元に走査される。
レーザ光が照射された標本１０９では、集光位置に存在する蛍光物質が励起されて、標本１０９から蛍光が生じる。蛍光は、レーザ光と同じ経路を反対方向に進行してダイクロイックミラー１０４を透過する。ダイクロイックミラー１０４を透過した蛍光は、レーザ光を遮断するバリアフィルタ１１０を透過して、共焦点レンズ１１１により集光され、第２の中間像位置Ｐ２に共焦点ピンホールが形成された共焦点ピンホール板１１３にシフタ１１２を介して入射する。なお、シフタ１１２は、共焦点ピンホールの中心に蛍光の光軸が一致するように、予めその傾きが調整されている。即ち、共焦点画像生成装置１００では、シフタ１１２は、蛍光の光軸に対してマルチチャンネルＰＭＴ１１５の位置を調整する位置合わせ機構として機能する。
共焦点ピンホール板１１３では、集光位置以外から生じた蛍光が遮断される。このため、集光位置から生じた蛍光のみが共焦点ピンホールを通過する。なお、共焦点ピンホール板１１３のピンホール径は、セクショニングすべき厚さに応じて設定されればよいため、共焦点画像生成装置１００では、超解像成分を検出するために共焦点ピンホール板１１３のピンホール径を過度に小さく設定する必要はない。ピンホールを通過した蛍光は、その後、拡大レンズ１１４に入射する。拡大レンズ１１４が共焦点ピンホール板１１３を通過した蛍光のスポットをマルチチャンネルＰＭＴ１１５の受光面に拡大して投影することで、マルチチャンネルＰＭＴ１１５の複数の受光素子で蛍光が検出される。なお、拡大レンズ１１４は例えばズーム変倍光学系であり、拡大レンズ１１４の倍率は、マルチチャンネルＰＭＴ１１５の受光面に形成される蛍光のエアリーディスクの領域内に所定数の受光素子が位置するように、調整される。
顕微鏡本体で蛍光が検出されると、ＰＣ１１８は、マルチチャンネルＰＭＴ１１５の複数の受光素子から出力される信号とガルバノミラー１０５の走査位置情報とに基づいて、標本１０９の超解像画像を生成する。
図１５は、共焦点画像生成装置１００で実行される処理全体のフローを示す図である。図１６及び図１７は、それぞれ図１５に示すパラメータ設定処理、超解像画像取得処理のフローを示す図である。以下、共焦点画像生成装置１００による超解像画像の生成方法について、図１５から図１７を参照しながら、具体的に説明する。
図１５に示す処理が開始されると、まず、共焦点画像生成装置１００は、利用者からの入力に従って、パラメータを設定する（ステップＳ１０）。
より詳細には、図１６に示すように、まず、利用者が観察に使用する励起波長λex、蛍光波長（検出波長）λflを選択し、それを受けて、共焦点画像生成装置１００は、選択された励起波長λex、蛍光波長（検出波長）λflを設定する（ステップＳ１１）。さらに、利用者が対物レンズ１０８を選択し、それを受けて、共焦点画像生成装置１００は、選択された対物レンズの開口数ＮＡ、第２の中間像位置Ｐ２における蛍光のエアリーディスク径などを設定する。
次に、共焦点画像生成装置１００は、マルチチャンネルＰＭＴ１１５が有する複数の受光素子のうち、使用する受光する受光素子の数（つまり、開口の数）を設定する（ステップＳ１３）。ここでは、利用者が選択した受光素子の数を設定してもよく、または、予め決定されている３×３以上の受光素子の数が設定されてもよい。その後、共焦点画像生成装置１００は、使用する受光素子に蛍光が入射するように第２の中間像位置Ｐ２における蛍光のエアリーディスクが拡大して投影される拡大レンズ１１４の倍率（つまり、エアリーディスク投影倍率）を算出し設定する（ステップＳ１４）。
最後に、共焦点画像生成装置１００は、共焦点画像要素の画素ピッチを設定する（ステップＳ１５）。ここでは、原点位置補正部４０での補正量が共焦点画像要素の画素ピッチの整数倍になるように、共焦点画像要素の画素ピッチが設定される。
図１６に示すパラメータ設定処理が終了すると、共焦点画像生成装置１００は、標本１０９の超解像画像を取得する（ステップＳ２０）。
より詳細には、図１７に示すように、まず、共焦点画像生成装置１００は、共焦点画像要素を取得する（ステップＳ２１）。このステップで行われる処理は、図５の共焦点画像生成部３０の処理に相当するものである。ガルバノミラー１０５で標本１０９を走査することにより図１６のステップＳ１３で設定した受光素子の各々から出力される信号に基づいてそれらの受光素子の各々に対応する共焦点画像要素が取得される。
次に、共焦点画像生成装置１００は、共焦点画像要素に対して画素シフト処理を行う（ステップＳ２２）。このステップで行われる処理は、図５の原点位置補正部４０の処理に相当するものであり、共焦点画像要素毎に決定される画素数分だけ画像データをシフトさせる。ステップＳ１５の設定により、各共焦点画像要素の原点位置の補正量は共焦点画像要素の画素ピッチの整数倍となっているため、画素シフトにより各共焦点画像要素の原点位置が適切に補正される。
さらに、共焦点画像生成装置１００は、画素シフト処理が施された共焦点画像要素を加算して合成共焦点画像を生成する（ステップＳ２３）。このステップで行われる処理は、図５の画像加算部５０の処理に相当するものである。そして、共焦点画像生成装置１００は、合成共焦点画像に対して超解像フィルタ処理を行い、超解像画像を生成する（ステップＳ２４）。このステップで行われる処理は、図５の超解像演算部６０の処理に相当するものである。その後、共焦点画像生成装置１００は、生成された超解像画像をＰＣ１１８の表示部に表示させる（ステップＳ２５）。
図１７に示す超解像画像取得処理が終了すると、共焦点画像生成装置１００は、超解像画像の再取得が指示されたか否かを判断する（ステップＳ３０）。再取得が指示されている場合には、ステップＳ２０に戻って超解像画像を再度取得する。一方、再取得が指示されていない場合には、超解像画像の保存が指示されたか否かを判断する（ステップＳ４０）。そして、保存が指示されている場合には、超解像画像をＰＣ１１８の不揮発性の記録媒体に記録してから（ステップＳ５０）図１５の処理を終了し、保存が指示されていない場合には、超解像画像を記録することなく図１５の処理を終了する。
本実施例に係る共焦点画像生成装置１００によれば、従来の共焦点顕微鏡とは異なり、蛍光を無駄なく検出しながら超解像画像を生成することができる。このため、Ｓ／Ｎ比の高い超解像画像を生成することができる。
なお、以上では、ＰＣ１１８が図５に示す画像演算装置２０ａと同様に動作する例を示したが、ＰＣ１１８は、図６に示す画像演算装置２０ｂ、図７に示す画像演算装置２０ｃと同様に動作してもよい。また、ＰＣ１１８では画素シフト処理の代わりに信号を遅延させる処理が行われてもよく、ＰＣ１１８は、図８に示す画像演算装置２０ｄ、図９に示す画像演算装置２０ｅ、図１０に示す画像演算装置２０ｆと同様に動作してもよい。
図１８は、本実施例に係る共焦点画像生成装置の構成を例示した図である。図１８に示す共焦点画像生成装置２００は、実施例１に係る共焦点画像生成装置１００と同様に、ＩＳＭを用いて超解像画像を生成する装置であり、２波長同時検出を可能とするように共焦点画像生成装置１００を変形したものである。
共焦点画像生成装置２００は、レーザ光源１０１の代わりに多波長のレーザ光を出射する多波長レーザ光源２０１を備える点、拡大レンズ１１４の後段に波長の異なる蛍光を分離してそれぞれを異なるマルチチャンネルＰＭＴに導く構成（ダイクロイックミラー２１９、共焦点ピンホール板２１３ａ、共焦点ピンホール板２１３ｂ、マルチチャンネルＰＭＴ２１５ａ、マルチチャンネルＰＭＴ２１５ｂ、ＰＭＴコントローラ２１６ａ、ＰＭＴコントローラ２１６ｂ）を備える点、シフタ１１２の代わりにダイクロイックミラー２１９で分離された蛍光の各々の光軸に対してマルチチャンネルＰＭＴを相対的に移動させる位置合わせ機構（ステージ２１２ａ、ステージ２１２ｂ）を備える点が、共焦点画像生成装置１００と異なっている。
本実施例に係る共焦点画像生成装置２００によっても、実施例１に係る共焦点画像生成装置１００と同様に、蛍光を無駄なく検出しながら超解像画像を生成することができる。このため、Ｓ／Ｎ比の高い超解像画像を生成することができる。また、共焦点画像生成装置２００では、多波長レーザ光源２０１が異なる励起波長のレーザ光を出射することでマルチチャンネルＰＭＴ２１５ａとマルチチャンネルＰＭＴ２１５ｂで異なる波長の蛍光を同時に検出することができる。このため、２色の超解像画像を同時に生成することができる。これにより、例えば、異なる蛍光色素の位置の動的な相関を算出することができる。
なお、共焦点ピンホール板２１３ａ及び共焦点ピンホール板２１３ｂのピンホール径は、セクショニングすべき厚さに応じて設定されるが、それらは、検出波長の相違を考慮して、異なる径に設定してもよい。また、共焦点ピンホール板２１３ａ、共焦点ピンホール板２１３ｂは、それぞれマルチチャンネルＰＭＴ２１５ａ、マルチチャンネルＰＭＴ２１５ｂの受光面近傍に配置されているが、共焦点ピンホール板が配置される位置は、対物レンズ１０８の焦点面と共役な位置であればよく、マルチチャンネルＰＭＴの近傍に限られない。また、拡大レンズ１１４は、ダイクロイックミラー２１９と共焦点レンズ１１１の間に配置されているが、拡大レンズ１１４は、ダイクロイックミラー２１９と共焦点ピンホール板２１３ａの間とダイクロイックミラー２１９と共焦点ピンホール板２１３ｂの間にそれぞれ一つずつ配置しても良い。その他、ＰＣ１１８が図６から図１０に示す画像演算装置と同様に動作してもよい点は、実施例１に係る共焦点画像生成装置１００と同様である。また、図示しないが、ダイクロイックミラー２１９を例えば回折格子などの分光素子に置き換えることにより、異なる波長の蛍光スポットをひとつのマルチチャンネルＰＭＴ２１５ｂの受光素子配列中の異なる部分に結像させて同時検出する構成も可能である。
図１９は、本実施例に係る共焦点画像生成装置の構成を例示した図である。図１９に示す共焦点画像生成装置３００は、実施例１に係る共焦点画像生成装置１００と同様に、ＩＳＭを用いて超解像画像を生成する装置である。共焦点画像生成装置３００は、マルチチャンネルＰＭＴ１１５の代わりにＴＤＩ−ＣＣＤ３０１を備える点、ＰＭＴコントローラ１１６の代わりにＴＤＩ−ＣＣＤコントローラ３０２を備える点、ＰＣ１１８の代わりにＰＣ３０３を備える点、ＴＤＩ−ＣＣＤ３０１とＰＣ３０３の間に遅延加算部３０４を備える点が、実施例１に係る共焦点画像生成装置１００と異なっている。
ＴＤＩ−ＣＣＤ３０１は、図１２に例示される２次元配列検出器１０ａと同様の構成を有している。つまり、ＴＤＩ−ＣＣＤ３０１は、２次元に配列された複数の受光素子に加えて、第１の遅延部と第１の信号加算部を備えている。より具体的には、ＴＤＩ−ＣＣＤ３０１は、図２０（ａ）に示されるように、行毎に、複数の受光素子（受光素子３０１ａ、受光素子３０１ｂ、受光素子３０１ｃ、受光素子３０１ｄ、受光素子３０１ｅ）と、第１の信号加算部である加算回路（加算回路Ａ１、加算回路Ａ２、加算回路Ａ３、加算回路Ａ４、これらを区別しない場合には加算回路Ａと記す）と、第１の遅延部である遅延回路（遅延回路Ｄ１、遅延回路Ｄ２、遅延回路Ｄ３、遅延回路Ｄ４、これらを区別しない場合には遅延回路Ｄと記す）とを備えている。
遅延加算部３０４は、図１２に例示される遅延加算器２１と同様の構成を有している。つまり、遅延加算部３０４は、ＴＤＩ−ＣＣＤ３０１から出力された行毎の信号を行毎に異なる遅延量だけ遅延させる第２の遅延部と、第２の遅延部から行毎に出力された信号を加算する第２の信号加算部と、を備える。
ＰＣ３０３は、図１２に例示される画像演算装置２０ｇと同様の構成を有している。つまり、ＰＣ３０３は、遅延加算部３０４からの出力される信号から合成共焦点画像を生成する共焦点画像生成部と、共焦点画像生成部で生成された合成共焦点画像に対して超解像成分を強調する超解像演算部を備える。
まず、各受光素子に遅延回路Ｄによる遅延時間と同じ時間間隔で順番に蛍光スポットを照射した場合のＴＤＩ−ＣＣＤ３０１の一般的な動作について図２０を参照しながら説明する。
時刻０において図２０（ｂ）に示すように蛍光スポットＳＰ１が受光素子３０１ａに照射されると、受光素子３０１ａから出力された信号ｓ１は、遅延回路Ｄ１で所定の遅延時間（ｔ１）だけ遅延してから加算回路Ａ１に伝送される。次に、図２０（ｃ）に示すように、蛍光スポットＳＰ１の照射からｔ１後に蛍光スポットＳＰ２が受光素子３０１ｂに照射されると、受光素子３０１ｂから出力された信号ｓ２は、信号ｓ１と同じタイミングで加算回路Ａ１に伝送され、加算回路Ａ１で信号ｓ１と信号ｓ２が加算される。このため、加算回路Ａ１からの出力である信号ｓｃ１は、信号ｓ１（信号ｓ２）と同じパルス波形を有し、且つ、強度が２倍に増幅された信号となる。信号ｓｃ１は、遅延回路Ｄ２でさらに所定の遅延時間（ｔ１）だけ遅延してから加算回路Ａ２に伝送される。
そして、受光素子３０１ｃ、受光素子３０１ｄ、受光素子３０１ｅからの信号も、図２０（ｄ）から図２０（ｆ）に示されるように、同様に加算される。その結果、ＴＤＩ−ＣＣＤ３０１では、行方向（電気パルスの伝送方向）に並んだ受光素子からの信号が加算されて、各受光素子から発生する電気パルスと同じ波形を有し、且つ、各受光素子から発生する電気パルスを行方向に配列された受光素子の数（画素数）分だけ増幅した信号が出力される。ＴＤＩ−ＣＣＤ３０１は、図２０（ｇ）に示されるように、電気パルスの伝送方向と直交する方向（つまり、列方向）に同様の構成を複数有していることから、このような信号が、図２１に示す遅延加算部３０４へ行毎に出力される。一般にはこのような動作を用いて、各受光素子の遅延回路Ｄの遅延時間を適宜設定し、例えば等速度に移動する物体を画像では止まったように撮像を行うこと可能とするものである。
共焦点画像生成装置３００では、以上のように動作するＴＤＩ−ＣＣＤ３０１を用いてＩＳＭで行われる原点位置の補正を１次走査方向で受光素子毎、１次走査方向と直交する２次走査方向で受光素子列毎に遅延時間を設定し時間遅延により行う。これは、共焦点画像生成装置３００に以下のような設定を行うことで実現される。
ＴＤＩ−ＣＣＤ３０１の伝送速度をガルバノミラー１０５の１次走査方向（ＴＤＩ−ＣＣＤ３０１の行方向に相当する方向）の走査速度のおよそ２倍に設定する。ＴＤＩ−ＣＣＤ３０１の１次走査方向の各受光素子について、例えば受光素子３０１ｃの位置を基準として遅延時間を設定する場合、その受光素子３０１ｃの走査方向側で遅い時間となり、走査方向と逆側で早い時間となる、よう適宜遅延時間を設定する。これにより受光素子３０１ｃの信号に他の各受光素子からの信号が近づくように各受光素子からの信号の吐き出しのタイミングが補正される。この際、往復方向ではなく、常に１次走査方向の正方向にガルバノミラー１０５が走査している際の信号を取得する。往復方向で、信号取得する場合は、方向により遅延時間の正負を切り替えればよい。さらに、ガルバノミラー１０５により１次走査方向に１行分の走査が完了し、次の行に向かう方向の２次走査方向の走査については、ＰＣ３０３の遅延加算部３０４内部の伝送速度をガルバノミラー１０５の２次走査方向（ＴＤＩ−ＣＣＤ３０１の列方向に相当する方向）の走査速度のおよそ２倍に設定する。また、ＴＤＩ−ＣＣＤ３０１から遅延加算部３０４に信号を吐き出すにあたり、１次走査方向の各受光素子の遅延時間設定と同様の考えに基づいて、各行の遅延時間を設定する。これにより、各受光素子からの信号は、遅延加算部３０４から出力されるまでの間に、ガルバノミラー１０５の走査速度と受光素子の位置に基づいて決定される遅延時間だけ遅延して足し合わされることになる。
以上のように設定された共焦点画像生成装置３００では、時間遅延により原点位置が補正されるため、ＰＣ３０３は、遅延加算部３０４から受信した信号からほぼリアルタイムに超解像画像を生成することができる。また、ＴＤＩ−ＣＣＤ３０１及び遅延加算部３０４での信号に対する時間遅延によりリアルタイムに原点位置を補正することができるため、一時的に記憶すべきデータを削減することができる。
なお、図１９では、ＴＤＩ−ＣＣＤ３０１とＰＣ３０３の間に遅延加算部３０４を備える構成を例示したが、遅延加算部３０４は省略してもよい。その場合、ＰＣ３０３がＴＤＩ−ＣＣＤ３０１から出力される行毎の信号から共焦点画像要素を生成し、行毎の共焦点画像要素の原点位置を補正してからそれらの共焦点画像要素を合成し、合成共焦点画像から超解像画像を生成しても良い。また、行毎の信号から共焦点画像要素を生成した後に超解像画像要素を生成し、行毎の超解像画像要素の原点位置を補正してからそれらの超解像画像要素を合成して超解像画像を生成しても良い。
上述した実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。共焦点画像生成装置は、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。
１０、１０ａ ２次元配列検出器
１１、１１ａ、１１ｂ、１１ｃ、３０１ａ、３０１ｂ、３０１ｃ、３０１ｄ、３０１ｅ
受光素子
２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ 画像演算装置
２１ 遅延加算器
３０ 共焦点画像生成部
４０ 原点位置補正部
５０ 画像加算部
５１、５１ａ、５１ｂ 信号加算部
６０ 超解像演算部
７０、７０ａ、７０ｂ 遅延部
１００、２００、３００ 共焦点画像生成装置
１０１ レーザ光源
１０２ シングルモード光ファイバ
１０３ コリメータ
１０４、２１９ ダイクロイックミラー
１０５ ガルバノミラー
１０６ 瞳レンズ
１０７ 結像レンズ
１０８ 対物レンズ
１０９ 標本
１１０ バリアフィルタ
１１１ 共焦点レンズ
１１２ シフタ
１１３、２１３ａ、２１３ｂ 共焦点ピンホール板
１１４ 拡大レンズ
１１５、２１５ａ、２１５ｂ マルチチャンネルＰＭＴ
１１６、２１６ａ、２１６ｂ ＰＭＴコントローラ
１１７ ガルバノコントローラ
１１８、３０３ ＰＣ
２０１ 多波長レーザ光源
２１２ａ、２１２ｂ ステージ
３０１ ＴＤＩ−ＣＣＤ
３０２ ＴＤＩ−ＣＣＤコントローラ
３０４ 遅延加算部
Ａ１、Ａ２、Ａ３、Ａ４ 加算回路
Ｄ１、Ｄ２、Ｄ３、Ｄ４ 遅延回路
ｓ１、ｓ２、ｓ３、ｓ４、ｓ５、ｓｃ１、ｓｃ２、ｓｃ３、ｓｃ４ 信号
ＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４、ＳＰ５ 蛍光スポット
Ｐ１ 第１の中間像位置
Ｐ２ 第２の中間像位置

Claims (17)

  1. 標本を励起する励起光を出射するレーザ光源と、
    前記励起光を集光させて前記標本に照射するとともに、前記励起光の照射により前記標本から生じた蛍光を取り込む対物レンズと、
    前記レーザ光源と前記対物レンズの間の光路上に配置された、前記励起光の光路と前記蛍光の光路とを分岐させる光路分岐素子と、
    前記対物レンズと前記光路分岐素子との間の光路上に配置された、前記対物レンズの焦点面における前記励起光の集光位置を前記対物レンズの光軸と直交する方向に移動させる走査光学系と、
    複数の受光素子を有し、前記励起光の光路から分岐した前記蛍光の光路上であって前記焦点面と光学的に共役な像面に受光面が位置するように、前記複数の受光素子が前記像面に形成される前記蛍光のエアリーディスクの径よりも短いピッチで２次元に配列された光検出器と、
    前記複数の受光素子から出力される信号に基づいて、前記対物レンズの開口数及び前記蛍光の波長によって定まる前記対物レンズのカットオフ周波数を上回る周波数成分である超解像成分が強調された前記標本の共焦点画像を生成する画像演算装置と、を備える
    ことを特徴とする共焦点画像生成装置。
  2. 請求項１に記載の共焦点画像生成装置において、
    前記画像演算装置は、
    前記複数の受光素子からの信号に基づいて複数の共焦点画像要素を生成する共焦点画像生成部と、
    前記共焦点画像生成部で生成された前記複数の共焦点画像要素の原点位置を補正する原点位置補正部と、
    前記原点位置補正部で原点位置が補正された複数の共焦点画像要素を加算して前記標本の共焦点画像を生成する画像加算部と、を備える
    ことを特徴とする共焦点画像生成装置。
  3. 請求項２に記載の共焦点画像生成装置において、
    前記画像演算装置は、さらに、前記画像加算部で生成された共焦点画像に対して、前記超解像成分を強調する超解像演算部を備える
    ことを特徴とする共焦点画像生成装置。
  4. 請求項２に記載の共焦点画像生成装置において、
    前記画像演算装置は、さらに、前記共焦点画像生成部で生成された複数の共焦点画像要素の各々に対して、前記超解像成分を強調する超解像演算部を備える
    ことを特徴とする共焦点画像生成装置。
  5. 請求項２に記載の共焦点画像生成装置において、
    前記画像演算装置は、さらに、前記原点位置補正部で原点位置が補正された複数の共焦点画像要素の各々に対して、前記超解像成分を強調する超解像演算部を備える
    ことを特徴とする共焦点画像生成装置。
  6. 請求項２乃至請求項５のいずれか１項に記載の共焦点画像生成装置において、
    前記原点位置補正部は、
    前記複数の受光素子の中心に位置する受光素子からの信号に基づいて生成された共焦点画像要素の標本の投影位置に近づくように、前記複数の共焦点画像要素の原点位置を補正し、
    前記複数の受光素子の中心位置から前記共焦点画像要素に対応する受光素子の中心位置までの距離が長いほど、当該共焦点画像要素の原点位置を大きく補正する
    ことを特徴とする共焦点画像生成装置。
  7. 請求項６に記載の共焦点画像生成装置において、
    前記原点位置補正部は、前記複数の受光素子の中心位置から前記共焦点画像要素に対応する受光素子の中心位置までの距離の半分に相当する当該共焦点画像要素上の距離だけ、当該共焦点画像要素の原点位置を補正する
    ことを特徴とする共焦点画像生成装置。
  8. 請求項２に記載の共焦点画像生成装置において、
    前記画像加算部は、前記原点位置補正部で原点位置が補正された複数の共焦点画像要素のうちの、所定値を上回る強度の信号を出力した受光素子からの信号に基づいて生成された共焦点画像要素を加算して前記標本の共焦点画像を生成する
    ことを特徴とする共焦点画像生成装置。
  9. 請求項２に記載の共焦点画像生成装置において、
    前記画像加算部は、前記原点位置補正部で原点位置が補正された複数の共焦点画像要素のうちの、前記像面に形成される前記蛍光のエアリーディスクの領域内に受光面を有する受光素子からの信号に基づいて生成された共焦点画像要素を加算して前記標本の共焦点画像を生成する
    ことを特徴とする共焦点画像生成装置。
  10. 請求項１に記載の共焦点画像生成装置において、
    前記画像演算装置は、
    前記複数の受光素子からの信号の各々を、当該信号を出力した受光素子に応じた遅延量だけ遅延させる遅延部と、
    前記遅延部で遅延した複数の信号を加算して加算信号を出力する信号加算部と、
    前記信号加算部から出力された加算信号から前記標本の共焦点画像を生成する共焦点画像生成部と、を備える
    ことを特徴とする共焦点画像生成装置。
  11. 請求項１に記載の共焦点画像生成装置において、
    前記光検出器は、
    前記複数の受光素子からの信号の各々を、当該信号を出力した受光素子に応じた遅延量だけ遅延させる遅延部と、
    前記遅延部で遅延した複数の信号を加算して加算信号を出力する信号加算部と、を備え、
    前記画像演算装置は、
    前記信号加算部から出力された加算信号から前記標本の共焦点画像を生成する共焦点画像生成部と、を備える
    ことを特徴とする共焦点画像生成装置。
  12. 請求項１０または請求項１１に記載の共焦点画像生成装置において、
    前記画像演算装置は、さらに、前記共焦点画像生成部で生成された共焦点画像に対して、前記超解像成分を強調する超解像演算部を備える
    ことを特徴とする共焦点画像生成装置。
  13. 請求項１に記載の共焦点画像生成装置において、
    前記画像演算装置は、
    前記複数の受光素子からの信号の各々を、当該信号を出力した受光素子に応じた遅延量だけ遅延させる遅延部と、
    前記遅延部で遅延した複数の信 号に基づいて複数の共焦点画像要素を生成する共焦点画像生成部と、
    前記共焦点画像生成部で生成された複数の共焦点画像要素を加算して前記標本の共焦点画像を生成する画像加算部と、を備える
    ことを特徴とする共焦点画像生成装置。
  14. 請求項１３に記載の共焦点画像生成装置において、
    前記画像演算装置は、さらに、前記画像加算部で生成された共焦点画像に対して、前記超解像成分を強調する超解像演算部を備える
    ことを特徴とする共焦点画像生成装置。
  15. 請求項１３に記載の共焦点画像生成装置において、
    前記画像演算装置は、さらに、前記共焦点画像生成部で生成された複数の共焦点画像要素の各々に対して、前記超解像成分を強調する超解像演算部を備える
    ことを特徴とする共焦点画像生成装置。
  16. 請求項１０乃至請求項１５のいずれか１項に記載の共焦点画像生成装置において、
    前記遅延部は、前記複数の受光素子からの信号が有する時間方向の重心位置が合致するように、前記複数の受光素子からの信号の各々を遅延させる
    ことを特徴とする共焦点画像生成装置。
  17. 標本を励起する励起光を発生させる励起光発生手段と、
    前記励起光を集光させて前記標本に照射するとともに、前記励起光の照射により前記標本から生じた蛍光を取り込む対物レンズと、
    前記励起光発生手段と前記対物レンズの間の光路上に配置された、前記励起光の光路と前記蛍光の光路とを分岐させる光路分岐手段と、
    前記対物レンズと前記光路分岐手段との間の光路上に配置された、前記対物レンズの焦点面における前記励起光の集光位置を前記対物レンズの光軸と直交する方向に移動させる走査手段と、
    複数の受光素子を有し、前記励起光の光路から分岐した前記蛍光の光路上であって前記焦点面と光学的に共役な像面に受光面が位置するように、前記複数の受光素子が前記像面に形成される前記蛍光のエアリーディスクの径よりも短いピッチで２次元に配列された光検出手段と、
    前記複数の受光素子から出力される信号に基づいて、前記対物レンズの開口数及び前記蛍光の波長によって定まる前記対物レンズのカットオフ周波数を上回る周波数成分である超解像成分が強調された前記標本の共焦点画像を生成する画像演算手段と、を備える
    ことを特徴とする共焦点画像生成装置。
JP2013122678A 2013-06-11 2013-06-11 共焦点画像生成装置 Active JP6253266B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013122678A JP6253266B2 (ja) 2013-06-11 2013-06-11 共焦点画像生成装置
US14/292,621 US9383563B2 (en) 2013-06-11 2014-05-30 Confocal image generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013122678A JP6253266B2 (ja) 2013-06-11 2013-06-11 共焦点画像生成装置

Publications (2)

Publication Number Publication Date
JP2014240870A true JP2014240870A (ja) 2014-12-25
JP6253266B2 JP6253266B2 (ja) 2017-12-27

Family

ID=52004660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013122678A Active JP6253266B2 (ja) 2013-06-11 2013-06-11 共焦点画像生成装置

Country Status (2)

Country Link
US (1) US9383563B2 (ja)
JP (1) JP6253266B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210471A (ja) * 2014-04-30 2015-11-24 オリンパス株式会社 標本観察装置
WO2016151666A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム
JP2017053918A (ja) * 2015-09-07 2017-03-16 オリンパス株式会社 シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム
JP2017102013A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 走査型顕微鏡
CN109313327A (zh) * 2016-06-06 2019-02-05 卡尔蔡司显微镜有限责任公司 显微镜和显微成像方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6253266B2 (ja) * 2013-06-11 2017-12-27 オリンパス株式会社 共焦点画像生成装置
JP6300658B2 (ja) * 2014-06-19 2018-03-28 オリンパス株式会社 標本観察装置
DE102015111702A1 (de) * 2015-07-20 2017-01-26 Carl Zeiss Microscopy Gmbh Hochauflösende, spektral selektive Scanning-Mikroskopie einer Probe
JP2017102381A (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 顕微鏡システム
IT201800001891A1 (it) * 2018-01-25 2019-07-25 Fondazione St Italiano Tecnologia Metodo di imaging risolto nel tempo ad alta risoluzione spaziale.
DE102018104693A1 (de) * 2018-03-01 2019-09-05 Carl Zeiss Microscopy Gmbh Verfahren zur beschleunigten, hochauflösenden Scanning-Mikroskopie
DE102020120190A1 (de) 2020-07-30 2022-02-03 Carl Zeiss Microscopy Gmbh Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laser-scanning-mikroskop

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020083A (ja) * 2011-07-11 2013-01-31 Olympus Corp 標本観察装置
US20130027518A1 (en) * 2011-07-25 2013-01-31 Mad City Labs, Lnc. Microscope stability using a single optical path and image detector

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2944895B2 (ja) * 1994-09-02 1999-09-06 株式会社日立製作所 情報再生装置及び情報記録方法
US5915048A (en) * 1996-06-05 1999-06-22 Zetetic Institute Method and apparatus for discriminating in-focus images from out-of-focus light signals from background and foreground light sources
US6166853A (en) * 1997-01-09 2000-12-26 The University Of Connecticut Method and apparatus for three-dimensional deconvolution of optical microscope images
US20010015411A1 (en) * 1999-09-24 2001-08-23 Yasuo Ohdaira Laser scanning microscope
US7173245B2 (en) * 2001-01-04 2007-02-06 The Regents Of The University Of California Submicron thermal imaging method and enhanced resolution (super-resolved) AC-coupled imaging for thermal inspection of integrated circuits
US6643015B2 (en) * 2001-04-26 2003-11-04 Affymetrix, Inc. System, method, and product for symmetrical filtering in scanning of biological materials
US7863552B2 (en) * 2001-07-06 2011-01-04 Palantyr Research Llc Digital images and related methodologies
US7151246B2 (en) * 2001-07-06 2006-12-19 Palantyr Research, Llc Imaging system and methodology
DE10161613A1 (de) * 2001-12-15 2003-06-18 Leica Microsystems Verfahren zur Selbstüberwachung eines Mikroskopsystems, Mikroskopsystem und Software zur Selbstüberwachung
DE10229407B4 (de) * 2002-06-29 2021-10-14 Leica Microsystems Cms Gmbh Verfahren zur Einstellung der Systemparameter eines Rastermikroskops und Rastermikroskop
JP3903027B2 (ja) * 2003-08-07 2007-04-11 キヤノン株式会社 放射線画像処理方法及び装置並びにグリッドの選別方法及び装置
WO2007058978A1 (en) * 2005-11-10 2007-05-24 Tautheta Instruments Llc Apparatus and method for system identification
JP4608436B2 (ja) * 2006-01-05 2011-01-12 オリンパス株式会社 画像撮影装置
DE102006046369A1 (de) * 2006-09-29 2008-04-03 Carl Zeiss Microimaging Gmbh Auflösungsgesteigerte Lumineszenzmikroskopie
JP2008107557A (ja) * 2006-10-25 2008-05-08 Nikon Corp 顕微鏡装置および顕微鏡画像の解像方法
WO2008061548A1 (en) * 2006-11-22 2008-05-29 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Reconstruction and visualization of neuronal cell structures with brigh-field mosaic microscopy
JP5412394B2 (ja) * 2010-09-30 2014-02-12 オリンパス株式会社 標本観察装置
JP6253266B2 (ja) * 2013-06-11 2017-12-27 オリンパス株式会社 共焦点画像生成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013020083A (ja) * 2011-07-11 2013-01-31 Olympus Corp 標本観察装置
US20130027518A1 (en) * 2011-07-25 2013-01-31 Mad City Labs, Lnc. Microscope stability using a single optical path and image detector

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015210471A (ja) * 2014-04-30 2015-11-24 オリンパス株式会社 標本観察装置
US10642013B2 (en) 2014-04-30 2020-05-05 Olympus Corporation Specimen observation apparatus
WO2016151666A1 (ja) * 2015-03-20 2016-09-29 株式会社ニコン 構造化照明顕微鏡、観察方法、及び画像処理プログラム
JP2017053918A (ja) * 2015-09-07 2017-03-16 オリンパス株式会社 シート照明顕微鏡システム、画像処理装置、シート照明顕微鏡法、及び、プログラム
JP2017102013A (ja) * 2015-12-01 2017-06-08 キヤノン株式会社 走査型顕微鏡
CN109313327A (zh) * 2016-06-06 2019-02-05 卡尔蔡司显微镜有限责任公司 显微镜和显微成像方法
CN109313327B (zh) * 2016-06-06 2022-04-29 卡尔蔡司显微镜有限责任公司 显微镜和显微成像方法

Also Published As

Publication number Publication date
US20140361154A1 (en) 2014-12-11
JP6253266B2 (ja) 2017-12-27
US9383563B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
JP6253266B2 (ja) 共焦点画像生成装置
JP6669909B2 (ja) 高解像度スキャニング顕微鏡法
US10234667B2 (en) Evaluation of signals of fluorescence scanning microscopy using a confocal laser scanning microscope
US9864182B2 (en) High-resolution scanning microscopy
JP6059190B2 (ja) 分解能の向上した顕微鏡法および顕微鏡
US9470883B2 (en) High-resolution scanning microscopy
US10802256B2 (en) Multifocal scanning fluorescence microscope
JP6510044B2 (ja) 顕微鏡用の検出装置
JP5823287B2 (ja) 分解能の向上したルミネセンス顕微鏡
JP2012521540A5 (ja)
US10001632B2 (en) Laser microscope apparatus
US20120162754A1 (en) Pinhole for a Confocal Laser Scanning Microscope
WO2020171173A1 (ja) 顕微鏡システム、焦点調整プログラム、および焦点調整システム
JP2016219985A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
US20080180791A1 (en) Photosensor-chip, laser-microscope comprising a photosensor-chip and method for reading a photosensor-chip
JP2004093721A (ja) 共焦点スキャナ顕微鏡
JP5502644B2 (ja) Ｘ線検出システム
CN116249891A (zh) 探测发射光的方法、探测设备和激光扫描显微镜
JP2018036660A (ja) 光観察装置、及びそれに用いる撮像装置
JP2023008411A (ja) 蛍光顕微鏡装置、観察条件最適化方法、及びプログラム
JP5371538B2 (ja) 顕微鏡
JP2006276840A (ja) 顕微鏡装置、その制御装置、及びプログラム
Jerome Confocal Digital Image Capture
JP5454942B2 (ja) 分光装置とそれを用いた顕微鏡
JP6238686B2 (ja) 光検出回路および顕微鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171128

R151 Written notification of patent or utility model registration

Ref document number: 6253266

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250