JP2010266709A - レーザ走査顕微鏡及びその制御方法、並びにプログラム - Google Patents

レーザ走査顕微鏡及びその制御方法、並びにプログラム Download PDF

Info

Publication number
JP2010266709A
JP2010266709A JP2009118295A JP2009118295A JP2010266709A JP 2010266709 A JP2010266709 A JP 2010266709A JP 2009118295 A JP2009118295 A JP 2009118295A JP 2009118295 A JP2009118295 A JP 2009118295A JP 2010266709 A JP2010266709 A JP 2010266709A
Authority
JP
Japan
Prior art keywords
crop
scanning
sample
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009118295A
Other languages
English (en)
Other versions
JP2010266709A5 (ja
JP5299078B2 (ja
Inventor
Shigeyuki Mano
繁行 眞野
Tokuji Tsurumune
篤司 鶴旨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009118295A priority Critical patent/JP5299078B2/ja
Publication of JP2010266709A publication Critical patent/JP2010266709A/ja
Publication of JP2010266709A5 publication Critical patent/JP2010266709A5/ja
Application granted granted Critical
Publication of JP5299078B2 publication Critical patent/JP5299078B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】少ないリソースで、有効な解析を行うことができるようにする。
【解決手段】まず、設定されたXYZ走査領域AXYZをプレビュー走査して(S12)、プレビュー画像IP1ないしIPnを取得し(S13)、クロップ領域AC1ないしACnを設定する(S15ないしS18)。次に、設定されたクロップ領域AC1ないしACnに基づいて算出した本走査を行う際の各Zステップにおけるクロップ領域AC1ないしACmを本走査して(S19,S20)、クロップ画像IC1ないしICmを取得する。そして、取得したクロップ画像IC1ないしICmから3次元画像を生成することで、少ないリソースで有効な解析を行うことができる。本発明は、例えば、試料Sの3次元データを取得するコンフォーカル顕微鏡に適用できる。
【選択図】図3

Description

本発明は、レーザ走査顕微鏡及びその制御方法、並びにプログラムに関する。
レーザ走査顕微鏡は、その光学原理から焦点面近傍の限られた厚さの面情報のみを取得できる顕微鏡である。この原理を利用して、焦点面をZ方向にずらしながら、各断面を取得することにより、試料の3次元画像データを取得することが可能となる。
このようにして取得した画像データを立体画像として表示したり、任意方向の断面を表示することにより、試料の立体構造や試料内の物質の3次元的な移動の解析を行うことができる。
この種のレーザ走査顕微鏡としては、例えば、特許文献1に開示されているものが知られている。
特開平10−161034号公報
しかしながら、より詳細な画像データを得るためには、XY方向の解像度を上げたり、Z方向の移動ピッチを細かくする必要があるが、走査時間がかかるとともに、相対的にデータ量が膨大なものとなるという側面を持っている。データ量が増えると、ソフトウェアの演算速度が遅くなったり、パーソナルコンピュータの記憶領域におけるデータの占める領域が肥大したりするので、有効な解析を行うためには、リソースを増やす必要が出てくる。
本発明はこのような状況に鑑みてなされたものであり、解析のために取得するデータ量を少なくすることで、リソースを削減できるようにするものである。
本発明のレーザ走査顕微鏡は、光源と、前記光源からの光を試料上で2次元走査する走査手段と、前記走査手段と前記試料との間に配置された対物レンズと、前記対物レンズと前記試料とを前記対物レンズの光軸方向に相対移動させる駆動手段とを備えるレーザ走査顕微鏡において、前記駆動手段によって第1の移動量ごとに移動させながら、前記走査手段によって前記試料の概略の形状を得るための領域であるプレビュー領域内を走査することで得られるプレビュー画像を取得するプレビュー画像取得手段と、取得された前記プレビュー画像に基づいて、前記駆動手段によって前記第1の移動量よりも細かい第2の移動量ごとに移動させながら前記試料の詳細な形状を得るために前記走査手段により走査すべき領域であるクロップ領域を設定するクロップ領域設定手段と、前記駆動手段によって前記第2の移動量ごとに移動させながら、前記走査手段によって前記クロップ領域内を走査することで得られるクロップ画像を取得するクロップ画像取得手段と、取得された前記クロップ画像に基づいて、前記試料の3次元画像を生成する3次元画像生成手段とを備える。
本発明によれば、高速で画像を取得できるとともに、少ないリソースで、有効な解析を行うことができる。
本発明を適用したレーザ走査顕微鏡の一実施の形態を示す図である。 制御コントロールユニットの詳細な構成例を示す図である。 試料Sの3次元構造表示処理を説明するフローチャートである。 XYZ走査領域AXYZの設定方法を示す図である。 クロップ領域ACの設定手順と、設定されたクロップ領域ACから生成されるクロップ画像ICを説明するための図である。 試料Sの各断面の中心点を結んだ軸に沿って求められるクロップ領域ACを示す図である。 最小限エリア法を採用した場合の画像処理について説明する図である。 最大エリア法を採用した場合の画像処理について説明する図である。 光刺激による励起特性変更処理を説明するフローチャートである。 カエデを使用する場合の蛍光検出部の構成例を示す図である。 ファムレットを使用する場合の蛍光検出部の構成例を示す図である。 断面ごとに異なる形状を有する試料Sの3次元構造表示処理を説明するフローチャートである。 XYZ走査領域AXYZの設定方法を示す図である。 クロップ領域ACの設定手順と、設定されたクロップ領域ACから生成されるクロップ画像ICを説明するための図である。 試料Sの各断面の中心点を結んだ軸に沿って求められるクロップ領域ACを示す図である。
以下、図面を参照しながら本発明の実施の形態について説明する。
図1は、本発明を適用したレーザ走査顕微鏡の一実施の形態を示す図である。
図1において、レーザ走査顕微鏡システム1は、試料Sに照射されるレーザ光により画像を取得するレーザ走査顕微鏡11と、そのレーザ走査顕微鏡11を制御するパーソナルコンピュータ12とが接続されて構成される。
パーソナルコンピュータ12には、マウスやキーボードからなる入力装置13と、LCD(Liquid Crystal Display)などからなる表示装置14が接続される。パーソナルコンピュータ12は、内蔵するCPU(Central Processing Unit)がアプリケーションソフトウェア61を実行することで、レーザ走査顕微鏡11によって取得された画像や、レーザ走査顕微鏡11の設定値をユーザに入力させるためのGUI(Graphical User Interface)などを表示装置14に表示させたり、ユーザが入力装置13を操作することにより入力される設定値に基づいて、レーザ走査顕微鏡11を制御する。
レーザ走査顕微鏡11では、レーザ光源部21からのレーザ光が試料Sに照射され、そのレーザ光により試料Sの蛍光物質が励起されて試料から発せられる蛍光による蛍光画像及び試料Sを透過する透過光による透過光画像が取得される。
レーザ光源部21には、それぞれ異なる波長のレーザ光を発する3つのレーザ光源31aないし31c及びレーザ光の照射をオン/オフするための3つのシャッタ32aないし32cが設けられている。シャッタ32aないし32cは、例えば、AOM(音響光学素子)やAOFT(音響光学可変フィルタ)等の高速シャッタ素子であり、後述する制御コントロールユニット27の制御にしたがって、レーザ光源31aないし31cからのレーザ光による試料Sの照射を、それぞれオン/オフする。
レーザ光源部21から発せられるレーザ光(励起光)は、出力端がファイバコネクタ(不図示)に接続された光ファイバ(不図示)によりダイクロイックミラー22に導入される。
ダイクロイックミラー22により反射された光は、レーザ走査部23により走査され、顕微鏡部24内に入射し、対物レンズ41により集光されて、ステージ42上の試料Sに照射される。レーザ走査部23は、例えば、レーザ光を反射するミラーと、そのミラーを駆動する駆動機構を有して構成されるガルバノスキャナであって、レーザ光源部21からのレーザ光を、試料SのX−Y平面(試料Sに照射されるレーザ光の光軸に対し直交する平面)で走査する。
なお、顕微鏡部24において、対物レンズ41及びステージ42には、ピエゾ駆動装置又はDCモータ等の駆動装置(不図示)がそれぞれ接続されており、光軸方向に移動可能となっている。
レーザ光を照射することにより励起された試料Sから発せられた蛍光は、対物レンズ41を経てレーザ走査部23に入射し、デスキャンされた後、ダイクロイックミラー22を透過して蛍光検出部25に入射される。
蛍光検出部25において、試料Sからの蛍光は、DM(Dichroic Mirror:ダイクロイックミラー)51aに入射し、第1の波長領域の蛍光がDM51aにより反射されて、BAフィルタ(Barrier filter)52aにより、フィルタリングされた後、PMT(photo multiplier tube:光電子増倍管)53aに入射される。
また、DM51aを透過した蛍光は、DM51bに入射し、第2の波長領域の蛍光がDM51bにより反射されて、BAフィルタ52bによりフィルタリングされた後、PMT53bに入射される。また、DM51bを透過した第3の波長領域の蛍光は、BAフィルタ52cによりフィルタリングされた後、PMT53cに入射される。
そして、PMT53aないし53cは、それぞれ受光した蛍光を検出し、その光量に応じた電圧の電気信号を制御コントロールユニット27に供給する。なお、以下、適宜、PMT53aないし53cを、それぞれ区別する必要がない場合、PMT53と称する。
また、試料Sに照射されたレーザ光のうち、試料Sを透過した透過光は、透過光検出部26に入射する。透過光検出部26は、試料Sを透過した透過光の光量に応じた電圧の電気信号を制御コントロールユニット27に供給する。
制御コントロールユニット27は、PMT53から供給される電気信号を増幅してA/D(Analog/Digital)変換し、その電気信号から画像を組み立てる画像処理を行い、その画像処理により得られる画像データをパーソナルコンピュータ12に供給する。また、制御コントロールユニット27は、レーザ走査顕微鏡11の各部の動作を制御する。
次に、図2を参照して、制御コントロールユニット27の詳細な構成を説明する。
制御コントロールユニット27は、走査領域設定部101、レーザ走査部制御部102、画像取得部103、画像処理部104、及びチャンネル設定部105から構成される。
本実施の形態において、レーザ走査顕微鏡システム1は、図1に示すようなハードウェア構成を有しているので、走査領域設定部101ないしチャンネル設定部105の機能は、例えば、記録部(不図示)に記録されたプログラムを実行する制御コントロールユニット27に内蔵されたCPU(不図示)により実現される。ただし、走査領域設定部101ないしチャンネル設定部105は、ハードウェアとして構成することもできるし、ソフトウェアとハードウェアの組み合わせとして構成することもできる。
制御コントロールユニット27において、走査領域設定部101ないし画像処理部104によって実行される処理の詳細については、後述する図3及び図12のフローチャートを参照して説明する。また、チャンネル設定部105によって実行される処理の詳細については、後述する図9のフローチャートを参照して説明する。
次に、レーザ走査顕微鏡システム1の動作について説明する。
まず、図3のフローチャートを参照して、制御コントロールユニット27により実行される、試料Sの3次元構造を表示する処理について説明する。
例えば、ユーザによって、観察対象となる試料Sがステージ42上に載置され、レーザ走査顕微鏡システム1が起動されると、パーソナルコンピュータ12側では、アプリケーションソフトウェア61によって、試料Sのおおよその構造を取得するプレビュー用の走査(プレビュー走査)をするための条件設定画面が、表示装置14に表示される。ユーザが入力装置13を操作して、プレビュー走査を行う範囲のZ方向のトップ位置、ボトム位置、及び移動ピッチ、並びにXY方向の領域(以下、プレビュー領域APという)を入力すると、ステップS11において、走査領域設定部101は、それらの操作入力に応じたプレビュー用のXYZ方向の走査領域(以下、XYZ走査領域AXYZという)を設定する。そして、ステップS12において、レーザ走査部制御部102は、レーザ走査部23などを制御して、設定されたXYZ走査領域AXYZのプレビュー走査を行う。
具体的には、図4に示すように、試料Sに対し、プレビュー画像IPの取り込みを開始するトップ位置と、その取り込みを終了するボトム位置を設定し、さらに、トップ位置とボトム位置との間におけるZ方向の走査の間隔であるZ移動ピッチと、XY方向の領域であるプレビュー領域APを設定することで、XYZ走査領域AXYZが設定される。なお、このZ移動ピッチは、プレビュー走査を行うためのものであるため、試料Sの詳細な構造を取得するための本走査(後述するステップS20の処理)を比して、その間隔は、例えば5倍〜10倍などの広いものとなる。すなわち、Z方向のステップ(Zステップ)数で考えれば、プレビュー走査においては、本走査の1/5〜1/10のステップ数が設定される。
そして、このXYZ走査領域AXYZが走査されることで、ステップS13において、画像取得部103は、トップ位置からボトム位置までの間、プレビュー領域APに対応するプレビュー画像IPを、Z移動ピッチごとに順次取得する。図4の例では、Zステップ数は、n(n:自然数)となるので、n枚のプレビュー画像IP1ないしIPnが取得される。
ステップS14において、画像処理部104は、取得したプレビュー画像IP1ないしIPnを用いて、試料Sの概略の形状に対応する3次元画像を生成し、パーソナルコンピュータ12に出力する。これにより、パーソナルコンピュータ12側では、試料Sの3次元画像が表示装置14に表示される。この3次元画像は、Z移動ピッチを広くとって取得したプレビュー画像IP1ないしIPnから生成した試料Sの概略の形状を示した画像であるため、厳密には正確であるとは言えないが、試料Sのおおよその立体構造を把握することは可能である。また、ここでは、3次元画像に限らず、試料Sを2次元画像で表示してもよい。
また、このとき、表示装置14には、上記の試料Sの概略の形状を示した3次元画像の他に、その試料Sのクロップ領域ACを設定するためのクロップ領域設定画面が表示される。
ここで、クロップ領域ACとは、元になる画像のうち必要な部分のみを切り出す(クロップ:Crop)走査であるクロップ走査を行う領域を意味する。このクロップ走査では、必要な部分を画像化する方式と異なり、元の画像の分解能と走査速度を落とさずに必要な部分を走査するので、データを短時間で取得することが可能となる。クロップ領域ACの設定には、領域の中心となる座標と、その座標を中心とする領域のX,Y方向のピクセル数の設定が必要となり、以下に、本実施の形態におけるクロップ領域ACの設定手順を、図5を参照しながら説明する。
図5aには、プレビュー走査によって得られたプレビュー画像IP1ないしIPnが、図示されている。これらのプレビュー画像IP1ないしIPnには、試料Sの観察対象となる細胞の断面像と観察対象外の細胞の断面像とが表示されているが、これは、例えば、脳組織の神経細胞などでは、1つのプレビュー領域AP内に複数の神経軸策が存在することが多くあるため、観察対象の細胞の近くに他の細胞があると、それらの観察対象ではない細胞までプレビュー画像IPに表示されることになる。そのため、本実施の形態では、プレビュー画像IPに表示された複数の細胞の像の中から観察対象となる細胞のみ含むクロップ領域ACを設定するようにしている。
例えば、図5bに示すように、プレビュー画像IP1からクロップ領域ACをユーザの操作により設定するには、試料Sの断面像のうち、クロップ領域ACとして切り出す領域の中心点をユーザがマウス等の入力装置13を操作して指定し、その点を中心とするクロップ領域AC1をマウス等のドラッグ操作により選択する、又はその点を中心とする領域のX,Y方向の各ピクセル数をキーボードで入力することにより選択すると、ステップS15において、そのユーザの操作入力に応じたクロップ領域AC1が、走査領域設定部101によって設定される。
そして、ステップS16において、走査領域設定部101は、他のクロップ領域ACの設定が必要か否かを判定し、まだ、図5bのプレビュー画像IP2ないしIPnのクロップ領域ACを設定していないので、ステップS15に戻り、それらの画像に対してクロップ領域ACが設定されるまで、ステップS15及びS16の処理が繰り返される。これにより、図5bに示すように、プレビュー画像IP2ないしIPnにおいては、プレビュー画像IP1と同様に、試料Sの断面像上の任意の中心点を指示することで、その点を中心とするクロップ領域AC2ないしACnをそれぞれ設定する。
ステップS17において、画像処理部104は、プレビュー画像IP1ないしIPnに対して設定されたクロップ領域AC1ないしACnに基づいて、観察対象である試料Sのいずれの部位がクロップ領域AC1ないしACnとして設定されたかを示すクロップ領域確認画面を生成し、パーソナルコンピュータ12に出力する。これにより、パーソナルコンピュータ12に接続された表示装置14には、クロップ領域確認画面が表示される。すなわち、図5aに示したように、プレビュー画像IP1ないしIPnには、観察対象となる試料Sの断面像以外の像が表示される場合があり、誤った像に対して、クロップ領域ACを設定した場合には、試料Sの正しい立体構造が得られないことになる。そのため、クロップ領域ACの設定が終了した後、クロップ領域確認画面を表示して、設定されたクロップ領域ACを変更する必要があるか否かをユーザに判断させる(ステップS18の処理)。
ステップS18において、ユーザの操作入力に基づいて、設定されたクロップ領域ACを変更すると判定された場合、処理は、ステップS15に戻り、上述したステップS15及びS16の処理が行われることで、再度、クロップ領域AC1ないしACnの設定が行われる。これにより、クロップ領域ACが正確に設定できなかった場合には、再設定が行われるので、クロップ領域ACの過誤設定を防止できる。
一方、ステップS18において、クロップ領域ACの変更を行わないと判定された場合、ユーザの操作入力に応じたクロップ領域ACに設定を確定する。
なお、クロップ領域ACの設定方法であるが、上述したユーザによる手動の設定以外にも、例えば、プレビュー画像IPに表示された観察対象となる試料Sの輝度値が他の領域と異なることに注目し、次のような所定の画像処理を施すことにより、ソフトウェアにより自動的に切り出すことができる。すなわち、試料Sの断面像に表示されている蛍光波長の輝度値を所定の閾値で2値化して、観察対象となる細胞の断面部分を白(輝度値=255)、その周辺のバックグラウンドを黒(輝度値=0)で表示する。白い部分の重心を求めて、その重心を中心座標とした白い部分を含む所定の四角形領域を求める。これにより、観察対象となる細胞を含む最小限の領域をクロップ領域ACとして設定してもよい。
この場合におけるクロップ領域ACの範囲は、例えば、最大エリア法又は最小限エリア法により設定される。ここで、最大エリア法とは、各断面で切り出すクロップ領域ACの大きさ(形状、面積を含む概念)が全て同じになるように、各断面中の最大画角にサイズを合わせる方法である。この最大エリア法を採用した場合、クロップ領域ACは、各断面ごとに揃ったデータサイズとなるため、後段の画像処理を容易にすることが可能となるが、走査領域は増大することになるので、画像データを取得する時間が増大する。一方、最小限エリア法とは、必要となるXY領域の最小限の大きさを、クロップ領域ACとして設定する方法である。試料Sの観察対象となる細胞断面形状に適合した範囲のみを設定するために、前述の画像処理にて2値化して表示された観察対象となる細胞の断面部分が、全体の80%〜90%程度の面積を占めるように四角形領域をクロップ領域ACとして設定する。この最小限エリア法を採用した場合、クロップ領域ACは、各断面ごとに個別の大きさとなるが、そのXY領域が、観察対象となる試料Sの断面形状に合った適切な範囲で指定されるので、画像データを取得する時間を短縮することが可能となる。図3のフローチャートでは、この最小限エリア法を採用した場合を例にして説明する。
また、上述したように、プレビュー画像IPには、試料Sの観察対象となる細胞断面像以外の複数の細胞像が表示されることも考えられるため、単純に試料Sの観察対象となる細胞断面像の輝度値と閾値との比較を行うだけでは、所望の断面像を指定できない可能性も出てくるが、その場合には、例えば、試料Sの細胞にフォトコンバージョンタイプの蛍光蛋白質を予め発現させておき、観察したい細胞のみにUVレーザ光(紫外光)による光刺激によって励起特性(発生する蛍光波長)を変更させてからプレビュー画像IPを取得することで、観察したい細胞とそれ以外の細胞を、この励起特性の違いにより容易に区別することができる。すなわち、本実施の形態においては、蛍光を取得するPMT53(図1)のうち、励起特性の変更後の蛍光のみが取得されるPMT53からの画像を領域設定に用いることで、観察対象となる細胞のみが表示されている画像を利用することができるようになる。この方法の詳細については、図9以降の図面を参照して後述する。
そして、クロップ領域ACの設定が確定されると、処理は、ステップS19に進む。ステップS19において、走査領域設定部101は、プレビュー画像IPにて設定された複数のクロップ領域AC1ないしACnに基づいて、本走査を行う際の各Zステップにおけるクロップ領域の中心座標とクロップ領域を算出する。
本実施の形態では、対物レンズ41及びステージ42は、ピエゾ駆動装置(不図示)によりZ方向(光軸方向)に駆動されるので、例えば、対物レンズ41を、25nmずつ段階的にZ方向に移動させることが可能である。つまり、本走査では、トップ位置からボトム位置までの間を、プレビュー走査よりも細かい間隔で段階的に移動しながら、各Zステップにおけるクロップ領域ACを走査することになる。
具体的には、本走査のZステップ数mは、プレビュー走査(上述したステップS12の処理)のステップ数に対してユーザが任意に決めることができ(m:自然数,m>n)、通常、5倍〜10倍のステップ数である。本走査のステップ数が決まったら、以下の手順で仮想的に設定された各Zステップごとのクロップ領域ACを設定する。
つまり、上述のステップ12の処理で設定されたn個のステップの各断面におけるクロップ領域AC1からACnのそれぞれの中心点を結ぶ直線または曲線(この設定方法については後述する)と、仮想的に設定された本走査用の各Zステップの断面との交点を算出し、その交点を各Zステップごとのクロップ領域ACの中心座標とする。
次に、各Zステップのクロップ領域ACを設定する。前述の最大エリア法では上述のステップ12の処理で設定したクロップ領域ACの最大領域を、全てのZステップにおいて適用してクロップ領域AC1からACmまで設定する。前述の最小エリア法では、2つの設定方法をユーザが選択できるものとする。第1の方法は、上述のステップ12の処理で設定されたnステップの各断面におけるクロップ領域AC1からACnのうち、クロップ領域AC1からAC2までの間に入る本走査のZステップのクロップ領域をクロップ領域AC1と同じに設定する。同様に、クロップ領域AC2からAC3まではクロップ領域AC2と同じクロップ領域を設定し、クロップ領域ACn-1からACnまでではクロップ領域ACn-1と同じクロップ領域に設定する。
また、第2の方法は、クロップ領域ACx-1からACx(xは2からn)までの間に入る本走査用のZステップの領域を、クロップ領域ACx-1とクロップ領域ACxの四角形の各頂点同士を結ぶ4本の各線分と、仮想的に設定された本走査用の各Zステップの断面との交点を算出し、各Zステップの断面上に求められる4つの点からなる四角形を、そのZステップの断面のクロップ領域とする。この方法では、各Zステップにおけるクロップ領域AC1からACmの面積が、徐々に大きくなったり小さくなったりすることで、プレビューステップx−1からx(xは2からn)の間に変化する観察対象細胞の断面積の変化に対応することができる。
また、クロップ領域AC1ないしACnのそれぞれの中心点を結ぶ方法としては、例えば、直線、スプライン曲線、ベジェ曲線などが選択できるものとし、ユーザにより所望の方法が選択される。また、予め学習させておいた方法により中心点を結ぶようにしてもよい。そして、この中心点を結んだ軸を含むXY領域であるクロップ領域AC1ないしACmが、上述した最小限エリア法に従った範囲で決定され、Zステップごとのクロップ領域ACの中心座標とクロップ領域ACが算出される。
以上により、図6に示すような、試料Sの各走査断面における観察対象の細胞の断面の輪郭を含むクロップ領域AC1,AC2,AC3,・・・,ACmが、試料Sの各断面の観察対象の細胞の中心点を結んだ軸に沿って求められる。
図3のフローチャートに戻り、ステップS20において、レーザ走査部制御部102は、レーザ走査部23などを制御して、Zステップごとに、算出されたクロップ領域ACの走査(本走査)を行う。そして、ステップS21において、この本走査で得られるクロップ画像ICが、画像取得部103により取得される。
ステップS22において、レーザ走査部制御部102は、本走査を行う次のZステップにおけるクロップ領域ACが存在するか否かを判定する。ステップS22において、次のZステップのクロップ領域ACが存在すると判定された場合、ステップS20に戻り、次のZステップのクロップ領域ACが存在しないと判定されるまで、ステップS20ないしS22の処理が繰り返される。すなわち、ステップS20ないしS22の処理が繰り返し実行されることで、各Zステップ(1,2,3,・・・,m)の本走査が順次行われ、図6のクロップ領域AC1,AC2,AC3,・・・,ACmに対応するクロップ画像IC1,IC2,IC3,・・・,ICmが順次取得される。
そして、ステップS22において、次のZステップのクロップ領域ACが存在しないと判定された場合、クロップ領域AC1ないしACmの走査が終了し、すべてのクロップ領域ACに対応するクロップ画像ICが取得されたことになるので、ステップS23において、画像処理部104は、取得されたクロップ画像IC1ないしICmに対し、補間処理を施す。すなわち、図5c、図5dを参照して説明すれば、最小限エリア法を採用した場合、図5cのクロップ画像IC1ないしICmが取得されるため、同一平面上で見た場合には、図5dに示すように、クロップ画像IC1ないしICmのそれぞれは、互いに領域の大きさと中心座標が異なるものとなる。そこで、図5dに示すように、クロップ画像IC1ないしICmのそれぞれを、クロップ画像IC1ないしICmを全て包含する最大領域(以下、最大領域RMAXという)に合わせる必要がある。従って、画像処理部104は、クロップ画像IC1ないしICmのそれぞれについて、最大領域RMAXを基準とした場合に不足している分の領域を補間する処理を行って、全てのクロップ画像ICが最大領域RMAXと同じになるようにする。
ステップS24において、画像処理部104は、補間処理が施されたクロップ画像IC1ないしICmから試料Sの3次元画像を生成する。すなわち、図7を参照して簡単に説明すれば、最小限エリア法を採用した場合には、例えば、図7aのクロップ領域AC1ないしAC6に対応するクロップ画像IC1ないしIC6が順次取得されるが、それら画像では大きさや、同一平面上での中心座標が異なっている場合があるので、クロップ画像IC1ないしIC6のそれぞれを最大領域RMAXに合わせることで、図7bのハッチングを施した部分を補間し、試料Sの3次元画像を生成できるようにしている。なお、図8に示すように、最大エリア法を採用した場合には、例えば、図8aのクロップ領域AC1ないしAC4に対応するクロップ画像IC1ないしIC4が順次取得されるが、それらの画像では大きさや同一平面上での中心座標が一致しているため、最小限エリア法のような補間処理を行う必要はない。そのため、最大エリア法の場合、ステップS19のクロック領域域ACの中心座標とクロップ領域域ACを求める処理と、ステップS23の補間処理を行う必要がない。
なお、上記の補間処理は一例であり、クロップ画像IC1ないしICmを用いて試料Sの3次元画像を生成することができる方法であれば、他の方法でもよい。また、補間処理を適用する時期であるが、クロップ画像IC1ないしICmを取得後、直ちに行ってもよいし、クロップ画像IC1ないしICmを一旦保存した後に解析を行う場合には、その解析を行う際の画像の読み込み時に行ってもよい。
そして、この3次元画像は、パーソナルコンピュータ12に出力される。これにより、ステップS25において、パーソナルコンピュータ12は、試料Sの観察対象となる細胞の3次元画像を表示装置14に表示する。この3次元画像は、Zステップ数を上げて取得したクロップ画像IC1ないしICmから生成されたものであるため、試料Sの観察対象となる細胞の正確な立体構造を把握することが可能となる。
ところで、脳細胞などの神経細胞の観察を行う場合、1つのクロップ領域内に複数の神経軸策が存在する可能性が高くなる。この場合、特定の神経細胞に着目して軸の中心を決定していくことは、人間の目、ましてや画像処理による判別では、注目している目的の細胞と、他の細胞とが同一に表示されるため、軸の中心の決定には相当の困難を生じる。
そこで、本実施の形態においては、観察する神経細胞に対し、いわゆるフォトコンバージョンタイプの蛍光蛋白質を、予め発現させておくことにより、目的の細胞を容易に識別できるようにする。
ここで、フォトコンバージョン(photoconversion)とは、所定の波長の光の照射によって色が変化する特性をいう。フォトコンバージョンタイプの蛍光蛋白質は、光刺激を与える前後で、発する蛍光の波長が変化する蛍光蛋白質のことである。この蛍光蛋白質としては、例えば、カエデ(Kaede)やファムレット(Phamret)などが良く知られているが、それぞれの蛋白質ごとに若干特性が異なるため、各蛋白質の特徴に合わせた使い方が必要となる。そこで、共通となる基本的なシーケンスについての説明をし、その後、カエデとファムレットを例にとり、それぞれの特徴にあった手順を説明する。
図9は、フォトコンバージョンタイプの蛍光蛋白質を利用する場合に行われる光刺激による励起特性変更処理を説明するフローチャートである。
ステップS31において、ユーザによって、フォトコンバージョンタイプの蛍光蛋白質を発現した試料Sがステージ42上に載置され、所定の操作が行われた場合(ステップS31の「Yes」)、処理が開始される。なお、この例では、試料Sは、蛍光蛋白質を神経細胞へ発現させた脳組織であるとする。また、組織中の神経細胞は生かされたままであることとする。
ステップS32において、チャンネル設定部105は、ユーザの操作に応じて、1ch目と2ch目の各励起レーザ波長と、各蛍光観察フィルタの組み合わせを設定する。
この例では、図1のレーザ走査顕微鏡11は、少なくとも2つの異なる波長の蛍光を同時に観察するため、蛍光検出部25においては、PMT53aないし53cのうち、1つ目のPMT53aを1ch(チャンネル)、2つ目のPMT53bを2ch(チャンネル)と定義して説明する。
すなわち、ユーザは、入力装置13を操作して、試料Sを観察する前に、レーザ走査顕微鏡11の1ch目には、光刺激前の蛍光観察が行える設定をし、2ch目には、光刺激後の蛍光観察が行える設定をしておく。これにより、1ch,2ch目の各励起レーザ波長と、各蛍光観察フィルタの組み合わせが設定されるが、その詳細については、カエデ(図10)とファムレット(図11)を例にして後述する。
上記の設定が終了した後、制御コントロールユニット27は、ユーザの操作に応じて、対物レンズ41やステージ42等の各部の駆動を制御することで、ステップS33において、試料Sの観察部位を決定し、観察に適した観察部位が見つかった場合には、ステップS34において、さらに視野の中から観察したい神経細胞を特定する。この際、蛍光励起に使用する波長は、1ch目の設定を使用してフォトコンバージョン前の励起波長で走査を行い、取得する蛍光も変化前の蛍光を取得する。
ステップS35において、制御コントロールユニット27は、レーザ光源部21を制御して、特定された神経細胞に対し、405nm〜408nmのUVレーザ光をあてて、光刺激を与えることにより、蛍光蛋白質の性質を変化させる。このとき、UVレーザ光は、スポット上に収束させ、目的の神経細胞のみに光刺激を行うことが重要であり、目的以外の細胞の色が変化しないように注意する。
この光刺激の最中は、チャンネル設定部105は、ステップS36において、刺激前の蛍光と刺激後の蛍光の2波長を同時に観察できる設定をする。この観察の設定は、光刺激と同時に行う設定だけでなく、光刺激と2波長観察を交互に行う設定であってもよい。
これにより、目的の細胞の刺激(性質の変化)具合を観察しつつ、少しずつ光刺激を行い、目的の細胞の励起特性が他と区別できるのに十分な励起特性変化を示したところで、光刺激を止める。その結果、UVレーザ光による細胞へのダメージを最小限とすることが可能である。
すなわち、ユーザは、UVレーザ光による光刺激により、細胞の励起特性が変化していないと判断した場合、光刺激を続行する操作を行い(ステップS37の「No」)、ステップS35及びS37が繰り返し行われ、目的の細胞に対しUVレーザ光があてられる。一方、細胞の励起特性が変化したと判断した場合、ユーザは、光刺激を中止する操作を行うことで(ステップS37の「Yes」)、処理は、ステップS38に進む。
光刺激により細胞の励起特性を変化させた後、チャンネル設定部105は、ステップS38において、光刺激後の蛍光蛋白質の性質に合わせた2ch目の励起波長や取得蛍光波長に設定を変更する。これにより、光刺激後の細胞の観察が可能となる。
上記の基本シーケンスにより、光刺激による対象細胞の励起特性変更が行われた後は、励起特性を変更した細胞のみが観察されるために細胞の特定が容易になり、観察部位全体の走査をして試料Sの観察対象となる細胞の概略の形状に対応する3次元画像データを取得した後の各断面画像における神経軸策の中心部の指定を、手動でも、画像処理による抽出でも、確実に指定することができるようになる。
次に、その具体例として、カエデを使用した場合について説明する。
カエデは、最初488nmの波長で励起することにより、518nm付近の緑色の蛍光を発し、408nmなどのUVレーザ光をあてることにより、561nmの励起で580nm付近のオレンジ色の蛍光を発するようになる。このように、UVレーザ光による光刺激の前後で励起波長と蛍光波長がそれぞれ変わるため、カエデは、2励起2波長タイプの蛍光蛋白質であると言われている。
この性質を活かすためには、上述した図9のステップS32の処理において、1ch目と2ch目の励起レーザ波長と、蛍光観察フィルタを適切に設定する必要がある。このような、カエデを使用する場合の設定が行われた図1の蛍光検出部25の構成について、図10を参照して説明する。なお、図10において、図1と対応する部分については、同一の符号が付してある。
例えば、図1のレーザ光源31aによって、488nmのレーザ光を試料Sに照射した場合、このレーザ光を照射することにより励起された試料Sから発せられた蛍光は、レーザ走査部23等を経由して、蛍光検出部25に到達し、図10の光路P1上のDM51a1に入射する。
DM51a1は、光路P1に対して45度の傾きを持って配置されるダイクロイックミラーであって、例えば、560nmの波長までの光を反射させ、それよりも長い波長の光を透過させる。従って、DM51a1に入射した光のうち、560nmの波長までの光がBA52a1に入射され、560nmの波長よりも長い光がDM51b1に入射される。
BA52a1は、例えば、525±25nmの範囲の蛍光を透過させるフィルタであって、その背後の光路P2上には、1ch目のPMT53aが配置される。これにより、PMT53aには、DM51a1により反射され、BA52a1を透過した光が入射する。すなわち、この光は、488nmの波長で励起される518nm付近の蛍光となるので、緑色の蛍光を発する神経細胞が、1ch目のPMT53aにより検出される。
また、例えば、図1のレーザ光源31bによって、561nmのレーザ光を試料Sの観察対象である細胞に照射した場合、このレーザ光を照射することにより励起された試料Sの観察対象である細胞から発せられた蛍光は、レーザ走査部23等を経由して、蛍光検出部25に到達し、図10のDM51a1に入射する。そして、DM51a1を透過した560nmの波長よりも長い光は、DM51b1に入射する。
DM51b1は、光路P1に対して45度の傾きを持って配置されるダイクロイックミラーであって、例えば、640nmの波長までを反射させ、それよりも長い波長を透過させる。従って、DM51b1に入射した光のうち、640nmの波長までの光がBA52b1に入射され、640nmの波長よりも長い光がBA52c1に入射される。
BA52b1は、例えば、595±25nmの範囲の蛍光を透過させるフィルタであって、その背後の光路P3上には、2ch目のPMT53bが配置される。これにより、PMT53bには、DM51b1により反射され、BA52b1を透過した光が入射する。すなわち、この光は、561nmの波長で励起される580nm付近の蛍光となるので、オレンジ色の蛍光を発する神経細胞が、2ch目のPMT53bにより検出される。
これにより、UVレーザ光による光刺激前には、1ch目で緑色の蛍光を発する神経細胞を観察することができるので、実験の目的にあった蛍光の発現具合や形状などを持つ細胞を探すことが可能となる。そして、UVレーザ光による光刺激後は、2ch目でオレンジ色の蛍光を発する細胞のみを観察すること可能となる。
なお、この例では、3ch目は使用しないため、3ch目で使用されるBA52c1及びPMT53cの説明は省略する。
次に、ファムレットを使用した場合について説明する。
ファムレットは、457nmの波長で励起することにより、最初は475nm付近の青色の蛍光を発し、408nmなどのUVレーザ光をあてることにより、同じ457nmの励起で、今度は509nm付近の緑色の蛍光を発するようになる。このように、UVレーザ光による光刺激の前後で励起波長は同じだが蛍光波長が変わるため、ファムレットは、1励起2波長タイプの蛍光蛋白質であると言われ、励起光が1つで済むことに特徴がある。
この性質を活かすためには、上述したカエデを使用した場合と同様に、図9のステップS32の処理において、1ch目と2ch目の励起レーザ波長と、蛍光観察フィルタを適切に設定する必要がある。そこで、図11を参照して、ファムレットを使用する設定の場合の設定が行われた図1の蛍光検出部25の構成について説明する。なお、図11において、図1と対応する部分については、同一の符号が付してある。
例えば、図1のレーザ光源31aによって、457nmのレーザ光を試料Sの観察対象である細胞に照射した場合、励起された試料Sの観察対象である細胞から発せられた蛍光は、レーザ走査部23等を経由して、蛍光検出部25に到達し、図11の光路P1上のDM51a2に入射する。
DM51a2は、例えば、515nmの波長までの光を反射させ、それよりも長い波長の光を透過させるダイクロイックミラーであり、DM51a2に入射した光のうち、515nmの波長までの光がBA52a2に入射され、515nmの波長よりも長い光がDM51b2に入射される。
BA52a2は、例えば、482±17.5nmの範囲の蛍光を透過させるフィルタであり、その背後の光路P2上に配置される1ch目のPMT53aには、DM51a2により反射され、BA52a2を透過した光が入射する。すなわち、この光は、457nmの波長で励起される475nm付近の蛍光となるので、青色の蛍光を発する神経細胞が、1ch目のPMT53aにより検出される。
また、DM51b2は、例えば、560nmの波長までの光を反射させ、それよりも長い波長の光を透過させるダイクロイックミラーであり、DM51b2に入射した光のうち、560nmの波長までの光がBA52b2に入射され、560nmの波長よりも長い光がBA52c2に入射される。
BA52b2は、例えば、525±25nmの範囲の蛍光を透過させるフィルタであり、その背後の光路P3上に配置される2ch目のPMT53bには、DM51b2により反射され、BA52b2を透過した光が入射する。すなわち、この光は、457nmの波長で励起される509nm付近の蛍光となるので、緑色の蛍光を発する神経細胞が、2ch目のPMT53bにより検出される。
これにより、UVレーザ光による光刺激前には、1ch目で青色の蛍光を発する神経細胞を観察することができるので、実験の目的にあった蛍光の発現具合や形状などを持つ細胞を探すことが可能となる。そして、UVレーザ光による光刺激後は、2ch目で緑色の蛍光を発する細胞のみを観察すること可能となる。
なお、この例においても、3ch目は使用しないため、3ch目で使用されるBA52c2及びPMT53cの説明は省略する。
以上のように、カエデとファムレットの両方について、UVレーザ光による光刺激前は、1ch目のみの設定と蛍光観察を行い、光刺激中は、1ch目と2ch目の設定と蛍光観察を同時に行う。そして、光刺激後は、2ch目のみの設定と蛍光観察を行うことで、余計な画像信号を排除した状態で、必要な蛍光像のみを取得することが可能となる。
ところで、上述した例では、試料Sの観察対象である細胞の断面形状が一定である場合について説明したが、神経細胞などでは、その断面の形状が一定とならないものもある。そこで、次に、図12のフローチャートを参照して、断面ごとに異なる形状を有する試料Sの観察対象である細胞の3次元構造を表示する処理について説明する。
なお、この例では、脳細胞などの神経細胞である試料Sの観察対象である細胞を容易に識別できるようにするため、ステップS50において、観察対象となる試料Sに対し、図9のUVレーザ光による光刺激による励起特性変更処理を事前に行っておくものとする。
ステップS51ないしS54においては、図3のステップS11ないしS14と同様に、走査領域設定部101ないし画像処理部104によって、例えば、図13に示すような、断面ごとに異なる形状を有する試料Sの観察対象である細胞に対し設定されたXYZ走査領域AXYZのプレビュー走査が行われ、プレビュー領域AP1ないしAPnに対応するプレビュー画像IP1ないしIPnが取得され(図14a)、試料Sの観察対象である細胞の3次元画像と、クロップ領域設定画面が表示される。
図14aのプレビュー画像IP1ないしIPnのそれぞれには、試料Sの観察対象である細胞の断面像が表されているが、試料Sの観察対象である細胞は、その中央部が他の紐状の部分と比して膨らんだ形状を有しているので、上記の図5aに示した断面像とは異なり、プレビュー画像IP3などの試料Sの観察対象である細胞の中央部の膨らんだ形状に近い位置の断面像ほど、試料Sの観察対象である細胞の形状に対応してより大きな断面を有している。また、試料Sの観察対象である細胞は光刺激により励起特性を変更させた細胞であるので、その像の他の細胞の像との違いは一目瞭然である(図14aのハッチングが施された試料Sの観察対象である細胞)。
ステップS55ないしS58においては、図3のステップS15ないしS18と同様に、走査領域設定部101、画像取得部103、及び画像処理部104によって、例えば、図14bに示すように、プレビュー画像IP1ないしIPn内の励起特性が変更された試料Sの断面像上の点を中心とするクロップ領域AC1ないしACnが選択される。この選択方法としては、ユーザが手動により選択する方法の他、プレビュー画像IP1ないしIPnに対する画像処理により選択する方法でもよく、画像処理によっても励起特性が変更された試料Sの観察対象である細胞の像を確実に抽出することが可能となる。このように、UVレーザ光による光刺激によって、予め対象となる細胞である試料Sの観察対象である細胞の励起特性を変化させておくことにより、神経軸策の中心部の指定を、手動でも画像処理による抽出でも、間違いなく指定することが可能となる。
ステップS59において、走査領域設定部101は、設定された複数のクロップ領域AC1ないしACnに基づいて、各Zステップにおけるクロップ領域ACの中心座標を算出する。つまり、各断面ごとに試料Sの観察対象である細胞の断面像が異なるので、図14bに示すように、クロップ領域AC1ないしACnにおいては、その中心座標だけでなく、領域の大きさも断面ごとに変化する。従って、例えばピエゾ駆動装置により25nmずつ段階的にZ方向に移動させたときのクロップ領域ACの中心座標を、設定された複数のクロップ領域AC1ないしACnから算出する。すなわち、図15に示すような、試料Sの観察対象である細胞の走査方向の断面の輪郭を含むクロップ領域AC1,AC2,AC3,・・・,ACmが、試料Sの各断面の中心点を結んだ軸に沿って求められ、これらのクロップ領域AC1ないしACmを特定するクロップ領域ACの中心座標とクロップ領域ACが算出される。
ステップS60ないしS62において、図3のステップS20ないしステップS22と同様に、レーザ走査部制御部102による制御よって本走査が行われ、画像取得部103によって、図15のクロップ領域AC1,AC2,AC3,・・・,ACmに対応するクロップ画像IC1,IC2,IC3,・・・,ICmが順次取得される。
そして、すべてのクロップ領域ACに対応するクロップ画像ICが取得されると、ステップS63ないしS65において、図3のステップS23ないしS25と同様に、画像処理部104によって、取得されたクロップ画像IC1ないしICmに対して補間処理が施され、試料Sの3次元画像が生成され、パーソナルコンピュータ12の表示装置14に表示される。
以上のように、本発明によれば、Z方向に移動させながら、走査の中心を試料Sの構造軸に沿った位置に移動させてクロップ走査を行うので、試料Sの持つ3次元構造のうち、必要な部分のみを切り出してデータを取得することが可能となる。すなわち、2次元のクロップ走査を用いて高速に各断面を取得することで、結果として高速にZ方向に移動する、いわば3次元クロップ走査を実現している。そして、この3次元クロップ走査では、最小限の走査時間で、必要な部分のみのデータが切り出されて取得されるので、データ量を削減することが可能となり、メモリやハードディスクといったリソースを闇雲に増やす必要がなくなる。その結果、少ないリソースで、有効な解析を行うことができる。また、全体のデータ量が削減されることにより、ソフトウェアのデータ処理速度を向上させることができる。
また、レーザ走査顕微鏡11において、Z方向は光軸方向となる。このため、試料Sが光軸に対して斜め方向に構造を持っていて、その構造全体を1つの3次元画像データに収めようとした場合、試料Sの上端と下端を全て包含する必要があり、必然的に走査領域を拡げる必要が出てくる。このような走査で得られるデータでは、各断面において試料Sのデータ部分とは関係のない不要な領域の多い画像となってしまうが、本発明では、3次元クロップ走査により、試料Sと関係のある必要な領域を含む画像のみを取得することができる。また、必要な領域のみを走査するので、走査を高速にできるとともに、高解像度の画像を取得することができる。その結果、観察対象である細胞のZ方向上で起こる生命現象の変化を、ユーザの必要とする時間分解能や水平分解能を得ることが可能となる。
なお、本実施の形態においては、制御コントロールユニット27にて、デジタル信号から画像を生成して、それをパーソナルコンピュータ12に送り画像表示する構成で説明したが、そのデジタル信号データをデジタル信号の状態でパーソナルコンピュータ12に送り、パーソナルコンピュータ12側で画像を生成して表示してもよい。
また、本実施の形態においては、ピエゾ駆動装置(不図示)によりZ方向の駆動を行う例について説明したが、勿論、他の駆動手段により駆動してもよく、例えば、対物レンズ41及びステージ42を連続的に移動させることができるDCモータなどを用いて駆動することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている記録手段などで構成される。
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 レーザ走査顕微鏡システム, 11 レーザ走査顕微鏡, 12 パーソナルコンピュータ, 13 入力装置, 14 表示装置, 21 レーザ光源部, 22 ダイクロイックミラー, 23 レーザ走査部, 24 顕微鏡部, 25 蛍光検出部, 26 透過光検出部, 27 制御コントロールユニット, 31a,31b,31c レーザ光源, 32a,32b,32c シャッタ, 41 対物レンズ, 42 ステージ, 51a,51b DM, 52a,52b,52c BA, 53a,53b,53c PMT, 101 走査領域設定部, 102 レーザ走査部制御部, 103 画像取得部, 104 画像処理部, 105 チャンネル設定部, AC クロップ領域, AP プレビュー領域, IC クロップ画像, IP プレビュー画像, RMAX 最大領域, S 試料

Claims (9)

  1. 光源と、前記光源からの光を試料上で2次元走査する走査手段と、前記走査手段と前記試料との間に配置された対物レンズと、前記対物レンズと前記試料とを前記対物レンズの光軸方向に相対移動させる駆動手段とを備えるレーザ走査顕微鏡において、
    前記駆動手段によって第1の移動量ごとに移動させながら、前記走査手段によって前記試料の概略の形状を得るための領域であるプレビュー領域内を走査することで得られるプレビュー画像を取得するプレビュー画像取得手段と、
    取得された前記プレビュー画像に基づいて、前記駆動手段によって前記第1の移動量よりも細かい第2の移動量ごとに移動させながら前記試料の詳細な形状を得るために前記走査手段により走査すべき領域であるクロップ領域を設定するクロップ領域設定手段と、
    前記駆動手段によって前記第2の移動量ごとに移動させながら、前記走査手段によって前記クロップ領域内を走査することで得られるクロップ画像を取得するクロップ画像取得手段と、
    取得された前記クロップ画像に基づいて、前記試料の3次元画像を生成する3次元画像生成手段と
    を備えることを特徴とするレーザ走査顕微鏡。
  2. 前記試料には、フォトコンバージョンタイプの蛍光蛋白質が予め発現されており、
    前記蛍光蛋白質が発現された前記試料に対して、所定の波長のUVレーザ光を照射するレーザ照射手段をさらに備え、
    前記クロップ領域設定手段は、前記UVレーザ光による光刺激によって励起特性が変化した前記試料の前記プレビュー画像に基づいて、前記クロップ領域を設定する
    ことを特徴とする請求項1に記載のレーザ走査顕微鏡。
  3. 前記クロップ領域は、前記プレビュー画像の所定の閾値以上の輝度値を有する領域の重心を中心として決定する
    ことを特徴とする請求項2に記載のレーザ走査顕微鏡。
  4. 前記蛍光蛋白質は、フォトコンバージョンタイプの蛍光蛋白質ある
    ことを特徴とする請求項2に記載のレーザ走査顕微鏡。
  5. 取得された前記プレビュー画像に基づいて、前記試料の走査方向の各断面の像を表示する表示手段をさらに備え、
    前記クロップ領域設定手段は、ユーザの操作に応じて、前記クロップ領域を設定する
    ことを特徴とする請求項1に記載のレーザ走査顕微鏡。
  6. 前記クロップ領域設定手段は、前記第2の移動量ごとに走査される前記クロップ領域の大きさが全て同じになるように、前記クロップ領域を設定する
    ことを特徴とする請求項1に記載のレーザ走査顕微鏡。
  7. 前記クロップ領域設定手段は、前記第2の移動量ごとに走査される前記クロップ領域が必要最小限の大きさであって、個別の大きさとなるように、前記クロップ領域を設定する
    ことを特徴とする請求項1に記載のレーザ走査顕微鏡。
  8. 光源と、前記光源からの光を試料上で2次元走査する走査手段と、前記走査手段と前記試料との間に配置された対物レンズと、前記対物レンズと前記試料とを前記対物レンズの光軸方向に相対移動させる駆動手段とを備えるレーザ走査顕微鏡の制御方法において、
    前記駆動手段によって第1の移動量ごとに移動させながら、前記走査手段によって前記試料の概略の形状を得るための領域であるプレビュー領域内を走査することで得られるプレビュー画像を取得し、
    取得された前記プレビュー画像に基づいて、前記駆動手段によって前記第1の移動量よりも細かい第2の移動量ごとに移動させながら前記試料の詳細な形状を得るために前記走査手段により走査すべき領域であるクロップ領域を設定し、
    前記駆動手段によって前記第2の移動量ごとに移動させながら、前記走査手段によって前記クロップ領域内を走査することで得られるクロップ画像を取得し、
    取得された前記クロップ画像に基づいて、前記試料の3次元画像を生成する
    ステップを含むことを特徴とする制御方法。
  9. 光源と、前記光源からの光を試料上で2次元走査する走査手段と、前記走査手段と前記試料との間に配置された対物レンズと、前記対物レンズと前記試料とを前記対物レンズの光軸方向に相対移動させる駆動手段とを備えるレーザ走査顕微鏡の画像処理をコンピュータに実行させるプログラムであって、
    前記駆動手段によって第1の移動量ごとに移動させながら、前記走査手段によって前記試料の概略の形状を得るための領域であるプレビュー領域内を走査することで得られるプレビュー画像を取得し、
    取得された前記プレビュー画像に基づいて、前記駆動手段によって前記第1の移動量よりも細かい第2の移動量ごとに移動させながら前記試料の詳細な形状を得るために前記走査手段により走査すべき領域であるクロップ領域を設定し、
    前記駆動手段によって前記第2の移動量ごとに移動させながら、前記走査手段によって前記クロップ領域内を走査することで得られるクロップ画像を取得し、
    取得された前記クロップ画像に基づいて、前記試料の3次元画像を生成する
    ステップを含むことを特徴とするプログラム。
JP2009118295A 2009-05-15 2009-05-15 レーザ走査顕微鏡、3次元画像取得方法、及びプログラム Active JP5299078B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009118295A JP5299078B2 (ja) 2009-05-15 2009-05-15 レーザ走査顕微鏡、3次元画像取得方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009118295A JP5299078B2 (ja) 2009-05-15 2009-05-15 レーザ走査顕微鏡、3次元画像取得方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2010266709A true JP2010266709A (ja) 2010-11-25
JP2010266709A5 JP2010266709A5 (ja) 2012-06-28
JP5299078B2 JP5299078B2 (ja) 2013-09-25

Family

ID=43363721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009118295A Active JP5299078B2 (ja) 2009-05-15 2009-05-15 レーザ走査顕微鏡、3次元画像取得方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5299078B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014097996A1 (ja) * 2012-12-20 2014-06-26 浜松ホトニクス株式会社 光観察装置
JP2015513065A (ja) * 2011-12-28 2015-04-30 フェムトニクス ケイエフティー.Femtonics Kft. レーザ走査顕微鏡を備えた測定システムによる試料の3次元測定方法及びシステム
JP2017044752A (ja) * 2015-08-24 2017-03-02 オリンパス株式会社 顕微鏡システム、制御方法、プログラム、貼り合わせ画像生成方法
JP2019530020A (ja) * 2016-09-02 2019-10-17 フェムトニクス・カーエフテー 三次元ラインに沿った走査方法及び複数三次元ラインの走査による関心領域の走査方法
CN114303172A (zh) * 2019-02-15 2022-04-08 珀金埃尔默细胞技术德国有限公司 用于使用显微镜对物体如细胞成像的x、y和z方向的低倍显微镜物镜预扫描和高倍显微镜物镜扫描

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003195174A (ja) * 2001-12-28 2003-07-09 Olympus Optical Co Ltd 走査型レーザ顕微鏡システム
JP2005128086A (ja) * 2003-10-21 2005-05-19 Olympus Corp 走査型顕微鏡システム
JP2006023476A (ja) * 2004-07-07 2006-01-26 Olympus Corp 共焦点走査型顕微鏡
JP2008170969A (ja) * 2006-12-11 2008-07-24 Olympus Corp 顕微鏡対物レンズ及びそれを用いた蛍光観察装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003195174A (ja) * 2001-12-28 2003-07-09 Olympus Optical Co Ltd 走査型レーザ顕微鏡システム
JP2005128086A (ja) * 2003-10-21 2005-05-19 Olympus Corp 走査型顕微鏡システム
JP2006023476A (ja) * 2004-07-07 2006-01-26 Olympus Corp 共焦点走査型顕微鏡
JP2008170969A (ja) * 2006-12-11 2008-07-24 Olympus Corp 顕微鏡対物レンズ及びそれを用いた蛍光観察装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513065A (ja) * 2011-12-28 2015-04-30 フェムトニクス ケイエフティー.Femtonics Kft. レーザ走査顕微鏡を備えた測定システムによる試料の3次元測定方法及びシステム
WO2014097996A1 (ja) * 2012-12-20 2014-06-26 浜松ホトニクス株式会社 光観察装置
JP2014122969A (ja) * 2012-12-20 2014-07-03 Hamamatsu Photonics Kk 光観察装置
CN104871064A (zh) * 2012-12-20 2015-08-26 浜松光子学株式会社 光观察装置
US9846267B2 (en) 2012-12-20 2017-12-19 Hamamatsu Photonics K.K. Optical observation device
JP2017044752A (ja) * 2015-08-24 2017-03-02 オリンパス株式会社 顕微鏡システム、制御方法、プログラム、貼り合わせ画像生成方法
JP2019530020A (ja) * 2016-09-02 2019-10-17 フェムトニクス・カーエフテー 三次元ラインに沿った走査方法及び複数三次元ラインの走査による関心領域の走査方法
JP2023002517A (ja) * 2016-09-02 2023-01-10 フェムトニクス・カーエフテー 三次元ラインに沿った走査方法及び複数三次元ラインの走査による関心領域の走査方法
JP7226316B2 (ja) 2016-09-02 2023-02-21 フェムトニクス・カーエフテー 三次元ラインに沿った走査方法及び複数三次元ラインの走査による関心領域の走査方法
JP7418715B2 (ja) 2016-09-02 2024-01-22 フェムトニクス・カーエフテー 三次元ラインに沿った走査方法及び複数三次元ラインの走査による関心領域の走査方法
CN114303172A (zh) * 2019-02-15 2022-04-08 珀金埃尔默细胞技术德国有限公司 用于使用显微镜对物体如细胞成像的x、y和z方向的低倍显微镜物镜预扫描和高倍显微镜物镜扫描

Also Published As

Publication number Publication date
JP5299078B2 (ja) 2013-09-25

Similar Documents

Publication Publication Date Title
US11460685B2 (en) Systems and methods for three-dimensional imaging
EP2997353B1 (en) Microscopy of a tissue sample using structured illumination
JP6899963B2 (ja) リアルタイムの自動焦点調節走査
JP4756819B2 (ja) 走査型顕微鏡システム
US9804376B2 (en) Scanner with increased dynamic range
JP5299078B2 (ja) レーザ走査顕微鏡、3次元画像取得方法、及びプログラム
US20150153559A1 (en) Image processing apparatus, imaging system, and image processing system
JP7239324B2 (ja) 生物試料の向上された被写界深度の合成2d画像を生成するシステム
JP7064796B2 (ja) 画像再構成方法、装置及び顕微結像装置
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
US10416427B2 (en) Scan-based imaging with variable scan speed using predictions of region-of-interest positions
KR20120140672A (ko) 촬상장치 및 촬상 방법
JP4700299B2 (ja) 共焦点走査型顕微鏡
JP6479041B2 (ja) 観察システム、光学部品、及び観察方法
JP2014063041A (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP4855139B2 (ja) 顕微鏡装置および細胞観察方法
JP4350365B2 (ja) レーザ走査型顕微鏡
JPWO2020012825A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP4803974B2 (ja) 共焦点観察システム、光照射方法、及び光照射プログラム
JP2006084960A (ja) 3次元共焦点顕微鏡システム
JP6617774B2 (ja) 顕微鏡装置
JP2021501913A (ja) 試料を走査するための方法および装置
JP2007219406A (ja) 走査型顕微鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130603

R150 Certificate of patent or registration of utility model

Ref document number: 5299078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250