JP2010243970A

JP2010243970A - 共焦点顕微鏡、画像処理装置、および、プログラム

Info

Publication number: JP2010243970A
Application number: JP2009095506A
Authority: JP
Inventors: Tomoko Kobayashi; 智子小林
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-04-10
Filing date: 2009-04-10
Publication date: 2010-10-28

Abstract

【課題】試料から発せられる蛍光ごとに、任意のセクショニング分解能の画像を得る。
【解決手段】アンミキシング部１１２は、In-focus画像の各画素のスペクトル分布および各試薬のIn-focus画像用の参照用のスペクトル分布に基づいて、In-focus画像の各画素における各試薬の寄与率を算出する。画像分離部１１３は、In-focus画像の各画素における各試薬の寄与率に基づいて、In-focus画像を各試薬による蛍光の成分ごとに分離した画像、および、Near-focus画像を各試薬による蛍光の成分ごとに分離した画像を生成する。本発明は、例えば、共焦点顕微鏡に適用できる。
【選択図】図３

Description

本発明は、共焦点顕微鏡、画像処理装置、および、プログラムに関し、特に、試料から発せられる蛍光ごとに、任意のセクショニング分解能の画像を得ることができるようにした共焦点顕微鏡、画像処理装置、および、プログラムに関する。

従来、共焦点顕微鏡では、生体標本などの試料に照明光を集光し、その照明光が集光するスポット（集光部）を走査し、スポットから射出する光束を共焦点絞り面に集光し、その共焦点絞りを通過した光束を光検出器で検出することにより、試料の二次元の画像が取得される。

また、共焦点顕微鏡は、共焦点面にピンホール部材を配置し、そのピンホール（開口）内に集光する光のみを通過させることで、試料の特定の高さから射出した光のみが光検出器に入射し、その高さ以外の部分から射出した光がカットされるよう構成されている。これにより、共焦点顕微鏡では、試料の特定の高さに位置する薄い層にのみ限定（セクショニング）された画像を取得することができる。

そして、共焦点顕微鏡では、ピンホール部材の開口径を変更することにより、セクショニング分解能（観察対象となる層の厚み）を変更することができ、開口径を大きくするとセクショニング分解能が低くなり、開口径を小さくするとセクショニング分解能が高くなる。

また、例えば、特許文献１、２に開示されている共焦点顕微鏡では、試料から射出する観察光を分離し、開口径が異なるピンホールをそれぞれ通過させ、それぞれの光を光検出器で検出することにより、セクショニング分解能の異なる複数の画像が取得される。そして、それらのセクショニング分解能の異なる複数の画像に基づいて、それらの画像とはセクショニング分解能の異なる任意のセクショニング分解能の画像を生成することができる。

特開２００５−２７４５９１号公報国際公開第２００７／０１０６９７号パンフレット

しかしながら、特許文献１、２に開示されている共焦点顕微鏡では、試料から発せられる蛍光ごとに、任意のセクショニング分解能の画像を得ることはできなかった。

本発明は、このような状況を鑑みてなされたものであり、試料から発せられる蛍光ごとに、任意のセクショニング分解能の画像を得ることができるようにするものである。

本発明の第１の側面の共焦点顕微鏡は、光源から射出される照明光を、互いに波長特性が異なる蛍光を発する複数の蛍光色素を含む試料に集光する照明光学系と、前記試料からの観察光を結像する結像光学系と、前記結像光学系を介して前記照明光学系の集光点と略共役な位置に入射する前記観察光を、前記集光点の近傍領域からの第１の観察光とその周辺領域からの第２の観察光とに分離する光分離手段と、前記第１の観察光のスペクトル分布を検出する検出手段と、前記第１の観察光のスペクトル分布、および、予め取得されている前記近傍領域から発生するであろう前記複数の蛍光色素の第１の参照スペクトル分布に基づいて、前記第１の観察光に前記複数の蛍光がそれぞれ含まれる割合を示す寄与率を算出するアンミキシング手段と、前記寄与率に基づいて、前記第１の観察光に基づく第１の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第１の分離画像、および、前記第２の観察光に基づく第２の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第２の分離画像を生成する分離手段とを含む。

本発明の第１の側面の共焦点顕微鏡においては、光源から射出される照明光が、互いに波長特性が異なる蛍光を発する複数の蛍光色素を含む試料に集光され、前記試料からの観察光が結像され、前記結像光学系を介して前記照明光学系の集光点と略共役な位置に入射する前記観察光が、前記集光点の近傍領域からの第１の観察光とその周辺領域からの第２の観察光とに分離され、前記第１の観察光のスペクトル分布が検出され、前記第１の観察光のスペクトル分布、および、予め取得されている前記近傍領域から発生するであろう前記複数の蛍光色素の第１の参照スペクトル分布に基づいて、前記第１の観察光に前記複数の蛍光がそれぞれ含まれる割合を示す寄与率が算出され、前記寄与率に基づいて、前記第１の観察光に基づく第１の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第１の分離画像、および、前記第２の観察光に基づく第２の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第２の分離画像像が生成される。

本発明の第２の側面の画像処理装置は、光源から射出される照明光を、互いに波長特性が異なる蛍光を発する複数の蛍光色素を含む試料に集光し、前記試料からの観察光を結像し、前記照明光学系の集光点と略共役な位置に入射する前記観察光を、前記集光点の近傍領域からの第１の観察光とその周辺領域からの第２の観察光とに分離する共焦点顕微鏡の画像を処理する画像処理装置において、前記第１の観察光のスペクトル分布、および、予め取得されている前記近傍領域から発生するであろう前記複数の蛍光色素の第１の参照スペクトル分布に基づいて、前記第１の観察光に前記複数の蛍光がそれぞれ含まれる割合を示す寄与率を算出するアンミキシング手段と、前記寄与率に基づいて、前記第１の観察光に基づく第１の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第１の分離画像、および、前記第２の観察光に基づく第２の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第２の分離画像を生成する分離手段とを含む。

本発明の第２の側面のプログラムは、光源から射出される照明光を、互いに波長特性が異なる蛍光を発する複数の蛍光色素を含む試料に集光し、前記試料からの観察光を結像し、前記照明光学系の集光点と略共役な位置に入射する前記観察光を、前記集光点の近傍領域からの第１の観察光とその周辺領域からの第２の観察光とに分離する共焦点顕微鏡の画像を処理するコンピュータに、前記第１の観察光のスペクトル分布、および、予め取得されている前記近傍領域から発生するであろう前記複数の蛍光色素の第１の参照スペクトル分布に基づいて、前記第１の観察光に前記複数の蛍光がそれぞれ含まれる割合を示す寄与率を算出し、前記寄与率に基づいて、前記第１の観察光に基づく第１の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第１の分離画像、および、前記第２の観察光に基づく第２の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第２の分離画像を生成するステップを含む処理を実行させる。

本発明の第２の側面の画像処理装置またはプログラムを実行するコンピュータにおいては、前記第１の観察光のスペクトル分布、および、予め取得されている前記近傍領域から発生するであろう前記複数の蛍光色素の第１の参照スペクトル分布に基づいて、前記第１の観察光に前記複数の蛍光がそれぞれ含まれる割合を示す寄与率が算出され、前記寄与率に基づいて、前記第１の観察光に基づく第１の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第１の分離画像、および、前記第２の観察光に基づく第２の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第２の分離画像が生成される。

本発明の第１または第２の側面によれば、試料から発せられる蛍光ごとに、任意のセクショニング分解能の画像を得ることができる。

本発明を適用した共焦点顕微鏡の一実施の形態の構成例を示すブロック図である。光分離部材について説明する図である。画像処理部の機能の構成の例を示すブロック図である。画像処理部により実行される画像処理を説明するためのフローチャートである。 In-focus画像の蛍光分離の結果の例を示す図である。 Near-focus画像の蛍光分離の結果の例を示す図である。 In-focus画像、Near-focus画像、および、全体合成画像のスペクトル分布の例を示している。 ECFPに対するIn-focus分離画像、Near-focus分離画像、および、分離合成画像のスペクトル分布の例を示している。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明を適用した共焦点顕微鏡の一実施の形態の構成例を示すブロック図である。

図１において、共焦点顕微鏡１１のステージ１３には、観察の対象となる試料１２が載置されている。試料１２は、複数の種類の蛍光試薬（以下、単に試薬とも称する）により染色されている。そして、試料１２に励起光を照射することにより、各試薬による蛍光成分が励起され、それぞれ特定の波長成分を有する複数の蛍光が試料１２から発せられる。共焦点顕微鏡１１は、その試料１２から発せられる蛍光を検出することで、試料１２の画像データを取得する。

なお、以下、CFP（Cyan Fluorescent Protein）の一種であるECFP（Enhanced Cyan Fluorescent Protein）、GFP（Green Fluorescent Protein）の一種であるFITC（Fluorescein Isothiocyanate）、YFP（Yellow Fluorescent Protein）の一種であるEYFP（Enhanced Yellow Fluorescent Protein）、RFP（Red Fluorescent Protein）の一種であるTRITC（Tetramethyl Rhodamine Iso-Thiocyanate）の４種類の試薬により、試料１２が染色されている場合の例について説明する。

光源１４から射出される光束は、照明用レンズ１５により平行光とされ、励起フィルタ１６によりフィルタリングされることによって試料１２に含まれている蛍光成分を励起する波長領域の励起光となり、ダイクロイックミラー１７に入射する。

ダイクロイックミラー１７は、所定の波長領域の光のみを反射するとともに、他の波長領域の光を透過することができ、励起フィルタ１６を介して入射する励起光を、光軸Ｌに沿って反射してガルバノミラー１８に入射させる。ガルバノミラー１８は、励起光を反射しつつ回動することで、光軸Ｌに直交する平面で励起光を走査させ、その励起光は、対物レンズ１９により集光されて試料１２上にスポットを形成する。

試料１２では、励起光のスポットが形成された領域から蛍光が射出され、その蛍光は、対物レンズ１９を介してガルバノミラー１８に入射する。ガルバノミラー１８は、試料１２に照射した励起光を走査したときと同様の角度で試料１２からの蛍光を反射して（デスキャンして）ダイクロイックミラー１７に入射させる。

ダイクロイックミラー１７に入射した蛍光は、励起光とは波長が異なることからダイクロイックミラー１７を透過し、蛍光フィルタ２０を通過することにより、試料１２から発せられた蛍光のみをフィルタリングして集光レンズ２１に入射する。集光レンズ２１は蛍光フィルタ２０を介して入射する蛍光を集光し、その焦点位置には、すなわち、対物レンズ１９の焦点位置とほぼ共役な位置（共焦点位置）には、光分離部材２２が配置されている。

光分離部材２２には、直径がそれぞれ異なるピンホール２２ａおよびピンホール２２ｂの２つのピンホールが設けられている。図２を参照して後述するように、光分離部材２２は、入射する蛍光を、ピンホール２２ａを通過する蛍光（以下、In-focus光と称する）、および、ピンホール２２ｂを通過する蛍光（以下、Near-focus光と称する）に分離し、抽出する。そして、In-focus光は光検出器２３ａに入射し、Near-focus光は光検出器２３ｂに入射する。

光検出器２３ａは、In-focus光を分光し、分光した各波長の光の強度（明るさ）を検出する。すなわち、光検出器２３ａは、In-focus光のスペクトル分布を検出する。

より具体的には、例えば、光検出器２３ａは、回折格子、および、複数のPMT（Photo Multiplier Tube、光電子増倍管）などにより構成される。そして、光検出器２３ａに入射したIn-focus光は、回折格子により分光され、分光された後の各波長の光が、それぞれ対応するPMTに入射する。各PMTは、入射した光を検出して光電変換を行い、その強度（明るさ）に応じたデジタルの検出信号を出力する。すなわち、各PMTからは、In-focus光の各波長の強度を示す検出信号が出力される。光検出器２３ａは、各PMTから出力される複数の検出信号をIn-focus光検出信号として、コンピュータ２４に出力する。このように、光検出器２３ａは、In-focus光の各波長の強度、すなわち、In-focus光のスペクトル分布を検出し、In-focus光のスペクトル分布を示すIn-focus光検出信号をコンピュータ２４に出力する。

光検出器２３ｂも同様に、例えば、回折格子、および、複数のPMTなどにより構成され、Near-focus光のスペクトル分布を検出し、Near-focus光のスペクトル分布を示すNear-focus光検出信号をコンピュータ２４に出力する。

コンピュータ２４は、In-focus光検出信号を画像処理し、In-focus光に基づく画像（以下、In-focus画像と称する）を表すデータ（以下、In-focus画像データと称する）を生成する。また、コンピュータ２４は、Near-focus光検出信号を画像処理し、Near-focus光に基づく画像（以下、Near-focus画像と称する）を表すデータ（以下、Near-focus画像データと称する）を生成する。さらに、コンピュータ２４は、In-focus光に含まれる、各試薬による蛍光に基づく画像（以下、In-focus分離画像と称する）を表すデータ（以下、In-focus分離画像データと称する）を生成する。また、コンピュータ２４は、Near-focus光に含まれる、各試薬による蛍光に基づく画像（以下、Near-focus分離画像と称する）を表すデータ（以下、Near-focus分離画像データと称する）を生成する。

そして、コンピュータ２４は、それらの画像データに基づく画像を、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などからなる表示装置２５に表示させるとともに、それらの画像データを内蔵する記録部に記録させる。また、コンピュータ２４は、キーボードやマウスなどからなる入力装置２６に対するユーザの操作に応じて、光検出器２３ａおよび２３ｂに対する電圧の設定などの各種の制御を行う。

このように、共焦点顕微鏡１１では、光分離部材２２において試料１２から発せられる蛍光が分離され、直径がそれぞれ異なる２つのピンホール２２ａおよびピンホール２２ｂを通過した蛍光に基づいた２つの画像データ（In-focus画像データ、Near-focus画像データ）が取得される。また、２つの画像データから、各試薬による蛍光に基づく画像データタ（In-focus分離画像データ、Near-focus分離画像データ）が分離される。

なお、共焦点顕微鏡１１では、照明用レンズ１５、ダイクロイックミラー１７、対物レンズ１９などにより照明光学系が構成され、対物レンズ１９、ダイクロイックミラー１７、集光レンズ２１などにより結像光学系が構成される。

次に、図２を参照して、光分離部材２２の詳細について説明する。

光分離部材２２は、例えば、光を透過する性質の光学ガラス基板などからなる透明基板の両側面に、反射膜（クロム膜などの光を反射する性質の光学膜）が成膜されて構成されており、光検出器２３ａおよび２３ｂ側の側面の反射膜には、ピンホール２２ａおよび２２ｂが形成されている。ピンホール２２ａおよび２２ｂは、ピンホール２２ａの径よりもピンホール２２ｂの径が大きく（例えば、２倍に）なるように形成される。

また、光分離部材２２の集光レンズ２１（図１）側の反射膜には、集光レンズ２１により集光される蛍光を入射させるための開口部２２ｃが形成されており、開口部２２ｃには、反射防止膜が成膜されている。また、光分離部材２２は、反射膜が成膜されている側面が、光軸Ｌに垂直な面に対して所定の角度（例えば、１５度程度）で傾斜し、開口部２２ｃおよびピンホール２２ａが光軸Ｌ上となり、ピンホール２２ａおよび２２ｂが集光レンズ２１の焦点深度内となるように、光軸Ｌ上の所定の位置に配置される。

そして、集光レンズ２１により集光された蛍光は、開口部２２ｃを透過して光分離部材２２内に入射し、ピンホール２２ａを通過する蛍光（In-focus光）と、ピンホール２２ａの周囲の反射膜２２ｄにより反射され、対向する側面の反射膜２２ｅにより反射された後にピンホール２２ｂを通過する蛍光（Near-focus光）とに分離される。

ここで、ピンホール２２ｂの開口径は、ピンホール２２ａの開口径よりも大きく（例えば、２倍に）設定されており、集光レンズ２１により集光されて光分離部材２２に入射する蛍光のうち、その中央部付近の蛍光がピンホール２２ａを通過し、中央部付近が除かれたリング状の周辺部（ピンホール２２ａの開口径を内径とし、ピンホール２２ｂの開口径を外形とするリング状の領域）の蛍光がピンホール２２ｂを通過する。

すなわち、光分離部材２２では、対物レンズ１９による励起光の集光位置を中心とした試料１２の薄い層から発せられる蛍光（対物レンズ１９の集光位置の近傍領域において発生した蛍光）がピンホール２２ａを通過し、この薄い層を挟む上下２層から発せられる蛍光（対物レンズ１９の集光位置近傍の周辺領域において発生した蛍光）がピンホール２２ｂを通過する。

このように、光分離部材２２において、集光レンズ２１により集光される蛍光が分離され、ピンホール２２ａを通過した蛍光（In-focus光）が、光検出器２３ａに入射し、ピンホール２２ｂを通過した蛍光（Near-focus光）が、光検出器２３ｂに入射する。

次に、図３を参照して、コンピュータ２４が所定の制御プログラムを実行することにより実現される機能の構成の例について説明する。コンピュータ２４が所定の制御プログラムを実行することにより、画像生成部１１１、アンミキシング部１１２、画像分離部１１３、画像合成部１１４、および、表示制御部１１５を含む画像処理部１０１が実現される。

画像生成部１１１は、図４を参照して後述するように、光検出器２３ａから供給されるIn-focus光検出信号に基づいて、対物レンズ１９による励起光の集光位置を中心とした試料１２の薄い層から発せられるIn-focus光から得られるセクショニング分解能が高い画像（In-focus画像）を表すIn-focus画像データを生成する。また、画像生成部１１１は、図４を参照して後述するように、Near-focus光検出信号を画像処理し、対物レンズ１９による励起光の集光位置を中心とした試料１２の薄い層を挟む上下２層から発せられるNear-focus光から得られるセクショニング分解能が低い画像（Near-focus画像）を表すNear-focus画像データを生成する。画像生成部１１１は、アンミキシング部１１２および画像合成部１１４に供給する。

アンミキシング部１１２は、ECFP、FITC、EYFP、TRITCの各試薬に対するIn-focus画像用の参照用のスペクトル分布（以下、In-focus参照スペクトル分布と称する）を表すデータ（以下、In-focus参照スペクトルデータと称する）を、コンピュータ２４の図示せぬ記録部から取得する。

ここで、In-focus参照スペクトル分布とは、対物レンズ１９の集光位置の近傍領域からの各試薬による蛍光のスペクトル分布のことである。すなわち、In-focus参照スペクトル分布は、試料１２を１種類の試薬により染色し、共焦点顕微鏡１１の照明光学系により照射される励起光を、試料１２の試薬により染色した部分に照射した場合に、対物レンズ１９による励起光の集光位置の近傍領域から発せられる蛍光のスペクトル分布を表す。例えば、In-focus参照スペクトル分布は、試料１２を１種類の試薬により染色し、共焦点顕微鏡１１の照明光学系により照射される励起光を、試料１２の試薬により染色した部分に照射した場合に、ピンホール２２ａを通過する蛍光のスペクトル分布を測定することにより得られる。

なお、各試薬に対するIn-focus参照スペクトル分布は、予め測定され、その測定結果を表すIn-focus参照スペクトルデータが、コンピュータ２４の図示せぬ記録部に格納される。

そして、アンミキシング部１１２は、図４を参照して後述するように、In-focus画像データ、および、各試薬に対するIn-focus参照スペクトルデータに基づいて、In-focus画像の各画素における各試薬の寄与率を算出する。

ここで、寄与率とは、In-focus画像の各画素に対応するIn-focus光において、各試薬により発せられた蛍光がそれぞれ含まれる割合を示す値である。アンミキシング部１１２は、In-focus画像の各画素における各試薬の寄与率を示す情報を画像分離部１１３に供給する。

画像分離部１１３は、各試薬に対するIn-focus参照スペクトルデータを、コンピュータ２４の図示せぬ記録部から取得する。そして、画像分離部１１３は、図４を参照して後述するように、In-focus画像の各画素における各試薬の寄与率、および、In-focus参照スペクトルデータに基づいて、In-focus画像を、各試薬による蛍光の成分ごとに分離した画像（In-focus分離画像）を表すIn-focus分離画像データを生成する。換言すれば、画像分離部１１３は、In-focus画像に含まれる、各試薬による蛍光に基づく画像（In-focus分離画像）を表すIn-focus分離画像データを生成する。

また、画像分離部１１３は、ECFP、FITC、EYFP、TRITCの各試薬に対するNear-focus画像用の参照用のスペクトル分布（以下、Near-focus参照スペクトル分布と称する）を表すデータ（以下、Near-focus参照スペクトルデータと称する）を、コンピュータ２４の図示せぬ記録部から取得する。

ここで、Near-focus参照スペクトル分布とは、対物レンズ１９の集光位置近傍の周辺領域からの各試薬による蛍光のスペクトル分布のことである。すなわち、Near-focus参照スペクトル分布は、試料１２を１種類の試薬により染色し、共焦点顕微鏡１１の照明光学系により照射される励起光を、試料１２の試薬により染色した部分に照射した場合に、対物レンズ１９による励起光の集光位置近傍の周辺領域から発せられる蛍光のスペクトル分布を表す。例えば、Near-focus参照スペクトル分布は、試料１２を１種類の試薬により染色し、共焦点顕微鏡１１の照明光学系により照射される励起光を、試料１２の試薬により染色した部分に照射した場合に、ピンホール２２ｂを通過する蛍光のスペクトル分布を測定することにより得られる。

なお、各試薬に対するNear-focus参照スペクトル分布は、予め測定され、その測定結果を表すNear-focus参照スペクトルデータが、コンピュータ２４の図示せぬ記録部に格納される。

そして、画像分離部１１３は、図４を参照して後述するように、In-focus画像の各画素における各試薬の寄与率、および、Near-focus参照スペクトルデータに基づいて、Near-focus画像を、各試薬による蛍光の成分ごとに分離した画像（Near-focus分離画像）を表すNear-focus分離画像データを生成する。換言すれば、画像分離部１１３は、Near-focus画像に含まれる、各試薬による蛍光に基づく画像（Near-focus分離画像）を表すNear-focus分離画像データを生成する。

画像分離部１１３は、生成したIn-focus分離画像データおよびNear-focus画像データを画像合成部１１４に供給する。

画像合成部１１４は、図４を参照して後述するように、In-focus画像とNear-focus画像を合成した画像（以下、全体合成画像と称する）を表すデータ（以下、全体合成画像データと称する）を生成する。また、画像合成部１１４は、図４を参照して後述するように、各試薬に対するIn-focus分離画像とNear-focus分離画像を合成した画像（以下、分離合成画像と称する）を表すデータ（以下、分離合成画像データと称する）を生成する。画像合成部１１４は、全体合成画像データ、各試薬に対する分離合成画像データ、In-focus画像データ、および、Near-focus画像データを表示制御部１１５に供給する。

表示制御部１１５は、全体合成画像データ、分離合成画像データ、In-focus画像データ、および、Near-focus画像データに基づいて、全体合成画像、各試薬に対する分離合成画像、In-focus画像およびNear-focus画像を、表示装置２５に表示させる。

次に、図４のフローチャートを参照して、画像処理部１０１により実行される画像処理について説明する。

ステップＳ１において、画像生成部１１１は、In-focus画像データおよびNear-focus画像データを生成する。具体的には、画像生成部１１１は、光検出器２３ａから供給されるIn-focus光検出信号を、ガルバノミラー１８によるスポットのスキャン速度に応じて１画素ずつ並べる画像処理を行う。これにより、In-focus画像の各画素のスペクトル分布を示すIn-focus画像データが生成される。同様に、画像生成部１１１は、光検出器２３ｂから供給されるNear-focus光検出信号を、ガルバノミラー１８によるスポットのスキャン速度に応じて１画素ずつ並べる画像処理を行う。これにより、Near-focus画像の各画素のスペクトル分布を示すNear-focus画像データが生成される。画像生成部１１１は、生成したIn-focus画像データおよびNear-focus画像データを、アンミキシング部１１２および画像合成部１１４に供給する。

ステップＳ２において、アンミキシング部１１２は、In-focus画像のアンミキシング処理を行う。具体的には、まず、アンミキシング部１１２は、ECFP、FITC、EYFP、TRITCの各試薬に対するIn-focus参照スペクトルデータを、コンピュータ２４の図示せぬ記録部から取得する。

次に、アンミキシング部１１２は、In-focus画像の画素ごとに、その画素におけるIn-focus光全体のスペクトル分布を、各試薬に対するIn-focus参照スペクトル分布を重み付けて加算することにより近似する場合に、その誤差が最小となる重みを、例えば、最小二乗法などの手法を用いて算出する。そして、アンミキシング部１１２は、各試薬について算出された重みを、各試薬の寄与率とする。これにより、In-focus画像の各画素における各試薬の寄与率が算出される。アンミキシング部１１２は、In-focus画像の各画素における各試薬の寄与率を示す情報を画像分離部１１３に供給する。

ステップＳ３において、画像分離部１１３は、In-focus画像のアンミキシング処理の結果に基づいて、In-focus画像を蛍光分離する。具体的には、まず、画像分離部１１３は、蛍光分離を行う対象となる試薬Ｒを１つ選択し、試薬Ｒに対するIn-focus参照スペクトルデータを、コンピュータ２４の図示せぬ記録部から取得する。そして、画像分離部１１３は、In-focus画像の各画素について、画素ごとに算出されている試薬Ｒの寄与率を、試薬Ｒに対するIn-focus参照スペクトル分布に乗じることにより、試薬Ｒによる蛍光のスペクトル分布を求める。これにより、In-focus画像の各画素における、試薬Ｒによる蛍光のスペクトル分布を示すIn-focus分離画像データが生成される。

例えば、試薬Ｒに対するIn-focus参照スペクトル分布の波長fの強度をDRin、In-focus画像のある画素Ｐにおける試薬Ｒの寄与率をxとした場合、試薬Ｒに対するIn-focus分離画像の画素Ｐにおけるスペクトル分布の波長fの強度DSinは、以下の式（１）により求められる。

DSin＝x×DRin ・・・（１）

画像分離部１１３は、全ての試薬について、以上の処理を実行し、各試薬に対するIn-focus分離画像データを生成する。画像分離部１１３は、生成したIn-focus分離画像データを画像合成部１１４に供給する。

図５は、In-focus画像のある画素Ｐにおける蛍光分離の結果の例を示している。具体的には、曲線２０１は、画素ＰにおけるIn-focus光全体のスペクトル分布の例を示している。曲線２０２は、画素ＰにおけるECFPによる蛍光のスペクトル分布を示しており、ECFPに対するIn-focus参照スペクトル分布に、画素ＰにおけるECFPの寄与率である0.3を乗じることにより求められる。曲線２０３は、画素ＰにおけるFITCによる蛍光のスペクトル分布を示しており、FITCに対するIn-focus参照スペクトル分布に、画素ＰにおけるFITCの寄与率である0.15を乗じることにより求められる。曲線２０４は、画素ＰにおけるEYFPによる蛍光のスペクトル分布を示しており、EYFPに対するIn-focus参照スペクトル分布に、画素ＰにおけるEYFPの寄与率である0.35を乗じることにより求められる。曲線２０５は、画素ＰにおけるTRITCによる蛍光のスペクトル分布を示しており、TRITCに対するIn-focus参照スペクトル分布に、画素ＰにおけるTRITCの寄与率である0.2を乗じることにより求められる。

なお、曲線２０２乃至曲線２０５を足し合わせることにより、画素ＰにおけるIn-focus光全体のスペクトル分布を示す曲線２０１を近似することができる。

ステップＳ４において、画像分離部１１３は、In-focus画像のアンミキシング処理の結果に基づいて、Near-focus画像を蛍光分離する。具体的には、まず、画像分離部１１３は、蛍光分離を行う対象となる試薬Ｒを１つ選択し、試薬Ｒに対するNear-focus参照スペクトルデータを、コンピュータ２４の図示せぬ記録部から取得する。そして、画像分離部１１３は、Near-focus画像の各画素について、In-focus画像の対応する画素における試薬Ｒの寄与率を、試薬Ｒに対するNear-focus参照スペクトル分布に乗じることにより、試薬Ｒによる蛍光のスペクトル分布を求める。これにより、Near-focus画像の各画素における、試薬Ｒによる蛍光のスペクトル分布を示すNear-focus分離画像データが生成される。

例えば、試薬Ｒに対するNear-focus参照スペクトル分布の波長fの強度をDRnear、Near-focus画像のある画素Ｐに対応するIn-focus画像の画素Ｐにおける試薬Ｒの寄与率をxとした場合、試薬Ｒに対するNear-focus分離画像の画素Ｐにおけるスペクトル分布の波長fの強度DSnearは、以下の式（２）により求められる。

DSnear＝x×DRnear ・・・（２）

画像分離部１１３は、全ての試薬について、以上の処理を実行し、各試薬に対するNear-focus分離画像データを生成する。画像分離部１１３は、生成したNear-focus分離画像データを画像合成部１１４に供給する。

図６は、Near-focus画像のある画素Ｐにおける蛍光分離の結果の例を示している。具体的には、曲線２１１は、画素ＰにおけるNear-focus光全体のスペクトル分布の例を示している。曲線２１２は、画素ＰにおけるECFPによる蛍光のスペクトル分布を示しており、ECFPに対するNear-focus参照スペクトル分布に、In-focus画像の画素ＰにおけるECFPの寄与率である0.3を乗じることにより求められる。曲線２１３は、画素ＰにおけるFITCによる蛍光のスペクトル分布を示しており、FITCに対するNear-focus参照スペクトル分布に、In-focus画像の画素ＰにおけるFITCの寄与率である0.15を乗じることにより求められる。曲線２１４は、画素ＰにおけるEYFPによる蛍光のスペクトル分布を示しており、EYFPに対するNear-focus参照スペクトル分布に、In-focus画像の画素ＰにおけるEYFPの寄与率である0.35を乗じることにより求められる。曲線２１５は、画素ＰにおけるTRITCによる蛍光のスペクトル分布を示しており、TRITCに対するNear-focus参照スペクトル分布に、In-focus画像の画素ＰにおけるTRITCの寄与率である0.2を乗じることにより求められる。

なお、曲線２１２乃至曲線２１５を足し合わせることにより、画素ＰにおけるNear-focus光全体のスペクトル分布を示す曲線２１１を近似することができる。

なお、上述したように、In-focus光は、対物レンズ１９の集光位置の近傍領域において発せられ蛍光であり、Near-focus光は、対物レンズ１９の集光位置近傍の周辺領域において発せられる蛍光であり、試料１２の互いに非常に近い位置から発せられる。従って、In-focus光に基づくIn-focus画像をアンミキシング処理することにより求められる各試薬の寄与率と、Near-focus光に基づくNear-focus画像をアンミキシング処理することにより求められる各試薬の寄与率とは、ほぼ同じ値となる。ゆえに、Near-focus画像のアンミキシング処理を行わずに、代わりにIn-focus画像のアンミキシング処理の結果を用いて、Near-focus画像の蛍光分離を行うようにしても、その分離精度はほとんど低下しない。

ステップＳ５において、画像合成部１１４は、分離前のIn-focus画像とNear-focus画像、および、分離後のIn-focus画像とNear-focus画像を合成する。具体的には、まず、画像合成部１１４は、セクショニング分解能が高いIn-focus画像と、セクショニング分解能が低いNear-focus画像とを、観察者により指定された比率αで合成することにより、任意のセクショニング分解能の画像（全体合成画像）を生成する。すなわち、画像分離部１１３は、対応する画素ごとに、In-focus画像のスペクトル分布と、Near-focus画像のスペクトル分布に比率αを乗じたスペクトル分布とを足し合わせることにより、全体合成画像の各画素におけるスペクトル分布を求める。

例えば、In-focus画像のある画素Ｐにおけるスペクトル分布の波長fの強度をDin、Near-focus画像の画素Ｐにおけるスペクトル分布の波長fの強度をDnearとした場合、全体合成画像の画素Ｐにおけるスペクトル分布の波長fの強度Dmixは、以下の式（３）により求められる。

Dmix＝Din＋α×Dnear ・・・（３）

図７は、In-focus画像、Near-focus画像、および、全体合成画像の同じ画素Ｐにおけるスペクトル分布の例を示している。具体的には、曲線２２１は、In-focus画像の画素Ｐにおけるスペクトル分布の例を示し、曲線２２２は、Near-focus画像の画素Ｐにおけるスペクトル分布の例を示している。そして、曲線２２３は、比率αを0.1に設定した場合の全体合成画像の画素Ｐにおけるスペクトル分布の例を示している。

また、画像合成部１１４は、各試薬について、セクショニング分解能が高いIn-focus分離画像と、セクショニング分解能が低いNear-focus分離画像を、比率αで合成することにより、任意のセクショニング分解能の画像（分離合成画像）を生成する。

例えば、ある試薬Ｒに対するIn-focus分離画像のある画素Ｐにおけるスペクトル分布の波長fの強度をDSin、試薬Ｒに対するNear-focus分離画像の画素Ｐにおけるスペクトル分布の波長fの強度をDSnearとした場合、試薬Ｒに対する分離合成画像の画素Ｐにおけるスペクトル分布の波長fの強度DSmixは、以下の式（４）により求められる。

DSmix＝DSin＋α×DSnear ・・・（４）

図８は、ECFPに対するIn-focus分離画像、Near-focus分離画像、および、分離合成画像の同じ画素Ｐにおけるスペクトル分布の例を示している。具体的には、曲線２３１は、In-focus分離画像の画素Ｐにおけるスペクトル分布の例を示し、曲線２３２は、Near-focus分離画像の画素Ｐにおけるスペクトル分布の例を示している。そして、曲線２３３は、比率αを0.15に設定した場合の分離合成画像の画素Ｐにおけるスペクトル分布の例を示している。

画像合成部１１４は、全体合成画像の各画素のスペクトル分布を示す全体合成画像データ、各試薬に対する分離合成画像の各画素のスペクトル分布を示す分離合成画像データ、In-focus画像データ、および、Near-focus画像データを表示制御部１１５に供給する。

ステップＳ６において、表示装置２５は、表示制御部１１５の制御の基に、各画像を表示する。すなわち、表示装置２５は、表示制御部１１５の制御の基に、In-focus画像データに基づくIn-focus画像、Near-focus画像データに基づくNear-focus画像、全体合成画像データに基づく全体合成画像、並びに、分離合成画像データに基づく試薬毎の分離合成画像を表示する。その後、画像処理は終了する。

このようにして、試料から発せられる蛍光ごとに、任意のセクショニング分解能の画像（分離合成画像）を得ることができる。

また、Near-focus画像のアンミキシング処理を省略し、In-focus画像のアンミキシング処理の結果により得られた寄与率を用いて、Near-focus画像の蛍光分離を行うことにより、処理負荷を軽減し、処理時間を短縮することができる。

なお、以上の説明では、In-focus画像データを生成してから、In-focus画像のアンミキシング処理を行う例を示したが、In-focus画像の各画素に対応するIn-focus光検出信号を取得したときに、In-focus光検出信号を１画素ずつ配列する処理を行うのと並行して、各画素に対するアンミキシング処理を行い、各画素における各試薬の寄与率を求めるようにしてもよい。

また、もちろん、In-focus画像と同様に、Near-focus画像のアンミキシング処理を行い、Near-focus画像の各画素における各試薬の寄与率を求め、その結果を用いて、Near-focus画像を蛍光分離するようにすることも可能である。

さらに、以上の説明では、光分離部材２２を用いて、In-focus光とNear-focus光を同時に分離する例を示したが、例えば、ピンホールと、そのピンホールの開口径を内径とするリング状の開口部を有する部材とを交互に光軸Ｌ上に配置するようにして、In-focus光とNear-focus光を、時間差をおいて得るようにしてもよい。

また、以上の説明では、試薬を用いて試料１２から蛍光を発する場合の例について説明したが、本発明は、試薬以外の方法を用いて試料１２から蛍光が発せられる場合にも適用することが可能である。

なお、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。

また、コンピュータ２４が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１共焦点顕微鏡，１２試料，１３ステージ，１４光源，１５照明用レンズ，１６励起フィルタ，１７ダイクロイックミラー，１８ガルバノミラー，１９対物レンズ，２０蛍光フィルタ，２１集光レンズ，２２光分離部材，２３ａおよび２３ｂ光検出器，２４コンピュータ，２５表示装置，２６入力装置，１０１画像処理部，１１１画像生成部，１１２アンミキシング部，１１３画像分離部，１１４画像合成部, １１５表示制御部

Claims

光源から射出される照明光を、互いに波長特性が異なる蛍光を発する複数の蛍光色素を含む試料に集光する照明光学系と、
前記試料からの観察光を結像する結像光学系と、
前記結像光学系を介して前記照明光学系の集光点と略共役な位置に入射する前記観察光を、前記集光点の近傍領域からの第１の観察光とその周辺領域からの第２の観察光とに分離する光分離手段と、
前記第１の観察光のスペクトル分布を検出する検出手段と、
前記第１の観察光のスペクトル分布、および、予め取得されている前記近傍領域から発生するであろう前記複数の蛍光色素の第１の参照スペクトル分布に基づいて、前記第１の観察光に前記複数の蛍光がそれぞれ含まれる割合を示す寄与率を算出するアンミキシング手段と、
前記寄与率に基づいて、前記第１の観察光に基づく第１の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第１の分離画像、および、前記第２の観察光に基づく第２の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第２の分離画像を生成する分離手段と
を含む共焦点顕微鏡。
前記分離手段は、複数の前記蛍光のそれぞれについて、前記蛍光色素の第１の参照スペクトル分布に、前記第１の観察画像の各画素における前記蛍光の前記寄与率を乗じることより、前記蛍光に基づく前記第１の分離画像の各画素におけるスペクトル分布を求め、予め取得されている前記周辺領域から発生するであろう前記複数の蛍光色素の第２の参照スペクトル分布に、前記第１の観察画像の各画素における前記蛍光の前記寄与率を乗じることより、前記蛍光に基づく前記第２の分離画像の各画素におけるスペクトル分布を求める
請求項１に記載の共焦点顕微鏡。
前記第１の観察画像と前記第２の観察画像とを重みをつけて合成する、あるいは、同じ蛍光色素から発した蛍光に対する前記第１の分離画像と前記第２の分離画像とを重みをつけて合成する合成手段を
さらに含む請求項１に記載の共焦点顕微鏡。
光源から射出される照明光を、互いに波長特性が異なる蛍光を発する複数の蛍光色素を含む試料に集光し、前記試料からの観察光を結像し、前記照明光学系の集光点と略共役な位置に入射する前記観察光を、前記集光点の近傍領域からの第１の観察光とその周辺領域からの第２の観察光とに分離する共焦点顕微鏡の画像を処理する画像処理装置において、
前記第１の観察光のスペクトル分布、および、予め取得されている前記近傍領域から発生するであろう前記複数の蛍光色素の第１の参照スペクトル分布に基づいて、前記第１の観察光に前記複数の蛍光がそれぞれ含まれる割合を示す寄与率を算出するアンミキシング手段と、
前記寄与率に基づいて、前記第１の観察光に基づく第１の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第１の分離画像、および、前記第２の観察光に基づく第２の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第２の分離画像を生成する分離手段と
を含む画像処理装置。
前記分離手段は、複数の前記蛍光のそれぞれについて、前記蛍光色素の第１の参照スペクトル分布に、前記第１の観察画像の各画素における前記蛍光の前記寄与率を乗じることより、前記蛍光に基づく前記第１の分離画像の各画素におけるスペクトル分布を求め、予め取得されている前記周辺領域から発生するであろう前記複数の蛍光色素の第２の参照スペクトル分布に、前記第１の観察画像の各画素における前記蛍光の前記寄与率を乗じることより、前記蛍光に基づく前記第２の分離画像の各画素におけるスペクトル分布を求める
請求項４に記載の画像処理装置。
前記第１の観察画像と前記第２の観察画像とを重みをつけて合成する、あるいは、同じ蛍光色素から発した蛍光に対する前記第１の分離画像と前記第２の分離画像とを重みをつけて合成する合成手段を
さらに含む請求項４に記載の画像処理装置。
光源から射出される照明光を、互いに波長特性が異なる蛍光を発する複数の蛍光色素を含む試料に集光し、前記試料からの観察光を結像し、前記照明光学系の集光点と略共役な位置に入射する前記観察光を、前記集光点の近傍領域からの第１の観察光とその周辺領域からの第２の観察光とに分離する共焦点顕微鏡の画像を処理するコンピュータに、
前記第１の観察光のスペクトル分布、および、予め取得されている前記近傍領域から発生するであろう前記複数の蛍光色素の第１の参照スペクトル分布に基づいて、前記第１の観察光に前記複数の蛍光がそれぞれ含まれる割合を示す寄与率を算出し、
前記寄与率に基づいて、前記第１の観察光に基づく第１の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第１の分離画像、および、前記第２の観察光に基づく第２の観察画像に含まれる、前記複数の蛍光のそれぞれに基づく複数の第２の分離画像を生成する
ステップを含む処理を実行させるためのプログラム。