JP2012083621A - 走査型レーザ顕微鏡 - Google Patents

走査型レーザ顕微鏡 Download PDF

Info

Publication number
JP2012083621A
JP2012083621A JP2010230884A JP2010230884A JP2012083621A JP 2012083621 A JP2012083621 A JP 2012083621A JP 2010230884 A JP2010230884 A JP 2010230884A JP 2010230884 A JP2010230884 A JP 2010230884A JP 2012083621 A JP2012083621 A JP 2012083621A
Authority
JP
Japan
Prior art keywords
image
partial image
scanning
enlarged partial
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010230884A
Other languages
English (en)
Other versions
JP5718012B2 (ja
Inventor
Keigo Mori
啓悟 森
Shingo Suzuki
伸吾 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010230884A priority Critical patent/JP5718012B2/ja
Publication of JP2012083621A publication Critical patent/JP2012083621A/ja
Application granted granted Critical
Publication of JP5718012B2 publication Critical patent/JP5718012B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】広範囲かつ高解像な画像を、高速に且つ撮りもらしなく取得することができる走査型レーザ顕微鏡を提供する。
【解決手段】標本4上においてレーザ光を2次元走査するガルバノミラー2と、走査されたレーザ光を標本4に集光する対物レンズ3と、標本4からの光を検出するPMT8と、PMT8により検出された光の強度とガルバノミラー2の走査位置情報に基づいて、相互に重複せずに隣接する標本4の部分画像を含み、且つ、部分画像よりも大きな拡大部分画像を、部分画像と同じ画素分解能で生成する拡大部分画像生成部(CPU9)と、生成された複数の拡大部分画像を蓄積するハードディスク11と、蓄積された複数の拡大部分画像を互いに一部重複するように合成して、標本4の全体画像を生成する画像合成部(CPU9)とを備える走査型レーザ顕微鏡100,101を採用する。
【選択図】図1

Description

本発明は、走査型レーザ顕微鏡に関するものである。
広範囲で高解像な顕微鏡画像を取得したい場合、高倍率の部分画像を複数取得して後で貼り合わせる方法が一般的である。しかし、顕微鏡のステージの移動には誤差があるため、隣接する部分画像どうしを単純につないだだけでは、観察領域の重複や欠損が生じる可能性がある。そこで、重複領域を設けながら部分画像を複数枚取得し、部分画像間の重複を利用してパターンマッチングを行って画像を合成する方法が用いられている。
部分画像観察領域の設定方法には2つの方法がある。第1の方法は、特許文献1に示されるように、ユーザーが注目領域の範囲および対物レンズの倍率を指定すると、注目領域を不足なく覆うように、且つ所定の大きさの重複領域だけ重なり合うように複数の部分画像観察領域が設定される方法である。1つの部分画像観察領域の大きさは、指定された対物レンズの倍率における観察領域の大きさである。
第2の方法は、ユーザーが部分画像数と対物レンズの倍率を指定すると、指定された数の部分画像観察領域が重複領域を設けながら設定され、各部分画像が取得される方法である。1つの部分画像観察領域の大きさは、指定された対物レンズの倍率における観察領域の大きさである。
特許第3824116号公報
第1の方法で生じる問題点として、重複領域を設ける分だけ部分画像の枚数が増えることが挙げられる。例えば、隣接する部分画像観察領域の重複領域が1つの部分画像観察領域の大きさに対して20%とすると、重複させないときと比較しておよそ1.6倍の画像枚数が必要となる。その結果、全ての部分画像を撮影するのにかかる時間が増える。複数の領域の画像を取得する際に必要な時間は、画像取得自体よりもステージの移動のほうが支配的なことが多い。つまり、たとえ注目領域の大きさが同じでも、画像の枚数が多いとステージの移動回数が多くなり、全ての部分画像を撮影する時間が増えてしまう。また、画像の枚数が多いとパターンマッチングを行う回数が増えるので、画像合成処理にかかる時間も増える。
また、第2の方法においては、重複領域の分だけ全体の撮影範囲が減少し、ユーザーが要求する領域を撮りもらす可能性があるという問題が生じる。
本発明は、上述した事情に鑑みてなされたものであって、広範囲かつ高解像な画像を、高速に且つ撮りもらしなく取得することができる走査型レーザ顕微鏡を提供することを目的とする。
上記目的を達成するために、本発明は以下の手段を採用する。
本発明は、標本上においてレーザ光を2次元走査する走査部と、該走査部により走査されたレーザ光を前記標本に集光する対物レンズと、前記標本からの光を検出する光検出部と、該光検出部により検出された光の強度と前記走査部の走査位置情報に基づいて、相互に重複せずに隣接する前記標本の部分画像を含み、且つ、該部分画像よりも大きな拡大部分画像を、前記部分画像と同じ画素分解能で生成する拡大部分画像生成部と、該拡大部分画像生成部により生成された複数の前記拡大部分画像を蓄積する拡大部分画像蓄積部と、該拡大部分画像蓄積部に蓄積された複数の前記拡大部分画像を互いに一部重複するように合成して、前記標本の全体画像を生成する画像合成部とを備える走査型レーザ顕微鏡を採用する。
本発明によれば、走査部により標本上において2次元走査されたレーザ光が、対物レンズにより標本に集光され、標本からの光が光検出部により検出される。そして、拡大部分画像生成部により、光検出部により検出された光の強度と走査部の走査位置情報に基づいて、拡大部分画像が、標本の部分画像と同じ画素分解能で生成される。ここで、拡大部分画像とは、相互に重複せずに隣接する標本の部分画像を含み、且つ、該部分画像よりも大きな画像のことである。このように生成された複数の拡大部分画像は、拡大部分画像蓄積部に蓄積され、画像合成部により、互いに一部重複するように合成されて、標本の全体画像が生成される。
ここで、従来のように、部分画像を互いに一部重複するように合成した場合には、全体画像において重複領域の分だけ撮影範囲が小さくなってしまう。これに対して、本発明によれば、部分画像よりも大きな拡大部分画像を、互いに一部重複するように合成して標本の全体画像が生成されるので、全体画像における撮影範囲の減少を防ぐことができ、所望の撮影範囲を撮りもらすことがなくなる。また、この場合において、拡大部分画像は部分画像と同じ画素分解能で生成されているため、解像度を落とすことなく全体画像を取得することができる。
上記発明において、前記拡大部分画像生成部が、前記走査部による走査範囲を広げることで、前記拡大部分画像を生成することとしてもよい。
このようにすることで、拡大部分画像を部分画像と同じ画素分解能で生成することができ、解像度を落とすことなく全体画像を取得することができる。
上記発明において、前記拡大部分画像生成部が、前記部分画像を重複領域の半分の大きさだけ拡大させて拡大部分画像を生成することとしてもよい。
重複領域の半分の大きさだけ部分画像を拡大させることにより、後で複数の拡大部分画像を配置したときに、拡大前の部分画像を互いに接するように配置したときと同じ配置になり、ユーザーにとってどのように拡大部分画像が配置されるかがわかりやすくなる。
上記発明において、前記対物レンズの光軸に直交する方向に、前記標本を前記対物レンズに対して相対的に移動させるステージを備え、前記拡大部分画像生成部が、前記ステージの移動誤差に基づいて、前記部分画像の拡大および前記拡大部分画像の重複領域の設定を行うこととしてもよい。
ステージの移動誤差を重複領域の計算のパラメータとして使用することによって、隣接する部分画像を確実に重複させながら撮影することができ、全体画像における観察領域の欠損を防止することができる。
上記発明において、前記拡大部分画像生成部が、画像合成の結果得られた合成位置から前記ステージの移動誤差を算出することとしてもよい。
このようにすることで、画像合成の結果得られた合成位置からステージの移動誤差を算出し、このステージの移動誤差に基づいて重複領域の大きさを計算することができ、最低限の大きさの重複領域で拡大部分画像を取得することができる。
上記発明において、前記対物レンズの光軸に直交する方向に、前記標本を前記対物レンズに対して相対的に移動させるステージを備え、前記画像合成部が、前記ステージの移動誤差に基づいて画像の合成位置を探索する範囲を設定することとしてもよい。
ステージの移動誤差に基づいて画像合成時の探索範囲を設定することで、合成位置を探索する範囲の中に正しい合成位置を確実に含ませることができ、全体画像における観察領域の欠損を防止することができる。
上記発明において、前記画像合成部が、前記光検出部まで前記標本からの光が届かなかった前記拡大部分画像の外周部分を除いてから画像合成を行うこととしてもよい。
このようにすることで、標本からの光が光検出部まで届かなかった領域を除いて、画像合成に有効な領域だけを合成して全体画像を生成することができ、全体画像における観察領域の欠損を防止することができる。
上記発明において、前記画像合成部が、前記全体画像の大きさを調整することとしてもよい。
このようにすることで、画像合成によって得られた全体画像の大きさを、ユーザーが1枚の画像として所望する大きさに調整することができ、ユーザーは所望のサイズの全体画像を得ることができる。
上記発明において、前記走査部の走査範囲を維持したまま、前記標本上でレーザ光を照射する範囲および画像化する範囲を変えるように前記走査部および前記光検出部を制御する制御部を備えることとしてもよい。
このようにすることで、走査範囲を容易に変更できない走査部を用いている場合や、高速にタイムラプス観察を行っているときなど、途中で走査範囲を変更することが困難な場合でも、レーザ光を照射する範囲および画像化する範囲を変更することができる。
本発明によれば、広範囲かつ高解像な画像を、高速に且つ撮りもらしなく取得することができるという効果を奏する。
本発明の実施形態に係る走査型レーザ顕微鏡の概略構成を示すブロック図である。 本発明の第1の実施形態に係る走査型レーザ顕微鏡により実行される処理を示すフローチャートである。 登録時の部分画像観察領域、拡大後の部分画像観察領域、重複領域の関係を説明する図である。 部分画像観察領域を配置したときの状態を示す図である。 部分画像観察領域と視野円との関係を説明する図である。 画像合成の方法を説明する図である。 本発明の第2の実施形態に係る走査型レーザ顕微鏡により実行される処理を示すフローチャートである。
[第1の実施形態]
本発明の第1の実施形態に係る走査型レーザ顕微鏡100について、図面を参照して以下に説明する。
図1に示すように、本実施形態に係る走査型レーザ顕微鏡100は、レーザ光源1と、ガルバノミラー2(走査部)と、対物レンズ3と、標本4と、XYステージ5と、ダイクロイックミラー6と、ピンホール7と、PMT8(光検出部)と、PC15とを備えている。
ガルバノミラー2は、XYステージ5に置かれた標本4の上で、レーザ光源1からのレーザ光を2次元走査する。
対物レンズ3は、標本4に対向して配置されており、レーザ光を標本4に集光させ、標本4を照明する。
XYステージ5は、対物レンズ3の光軸に直交する方向(XY方向)に、標本4と対物レンズ3とを相対的に移動させる。
ダイクロイックミラー6は、レーザ光源1からのレーザ光は反射する一方、標本4からの観察光を透過させる。これにより、ダイクロイックミラー6は、レーザ光と標本4からの観察光を分離する。
ピンホール7は、ダイクロイックミラー6を透過してきた観察光のうち、対物レンズ3の焦点以外からの光を遮断する。
PMT(Photomultiplier Tube)8は、ピンホール7を通過した観察光を検出し、電気信号に変換してPC15に出力する。
PC15は、CPU9(拡大部分画像生成部、画像合成部、制御部)と、メモリ10と、ハードディスク11(拡大部分画像蓄積部)と、モニタ12と、マウス13と、キーボード14とを備えている。
CPU9は、PMT8からの情報に基づいて部分画像を生成したり、ガルバノミラー2やPMT8、XYステージ5に制御指令を与えたり、部分画像から画像合成を行って全体画像を生成する。
具体的には、CPU9は、PMT8により検出された標本4からの観察光の強度とガルバノミラー2の走査位置情報に基づいて、拡大部分画像を標本4の部分画像と同じ画素分解能で生成する。ここで、拡大部分画像とは、図3に示すように、相互に重複せずに隣接する標本4の部分画像を含み、且つ、該部分画像よりも大きな画像のことである。
また、CPU9は、このように生成された複数の拡大部分画像を、図4に示すように、互いに一部重複するように合成して、標本4の全体画像を生成する。
メモリ10は、部分画像の取得条件や部分画像の情報を一時的に保持する。
ハードディスク11は、CPU9により生成された拡大部分画像を蓄積する。
モニタ12は、画像取得条件の設定画面およびCPU9により生成された全体画像を表示する。
マウス13およびキーボード14は、部分画像取得条件や部分画像観察領域、1枚の画像として取得する注目領域をユーザーに指定させる。
ユーザーは、モニタ12を参照しながらマウス13およびキーボード14を操作することによって、各種の設定を行うことができる。
上記構成を有する走査型レーザ顕微鏡100の動作について、図2のフローチャートを参照して説明する。
まず、部分画像観察領域の設定を行う(ステップS1)。ユーザーは、モニタ12を参照しながらマウス13やキーボード14を操作して、部分画像取得条件を設定する。具体的には、対物レンズ3の倍率、ズーム倍率、画素分解能、画像サイズ、レーザ強度、PMT8の感度を指定する。また、ユーザーは、1つの画像として取得したい範囲の中心にXYステージ5を移動させ、マウス13やキーボード14を使用して、その際の観察領域を部分画像観察領域として登録する。登録した際の部分画像取得条件はメモリ10に保存される。本実施形態では、部分画像取得条件として、画素分解能を1μm/pixel、画像サイズを512pixel×512pixelに設定する。
次に、注目領域の設定を行う(ステップS2)。ユーザーは、マウスやキーボードを使用して、1つの画像として取得したい範囲全体を撮影できるように、登録した部分画像観察領域を中心として縦、横に広げたい部分画像数を指定する。本実施形態では、図4に示すように、縦3、横3、合計9個の部分画像を取得するように設定する。
次に、CPU9により重複領域の大きさを計算する(ステップS3)。重複領域の大きさとは、隣接する画像間で重複させる長方形の領域の短辺の長さを意味する。まず、パターンマッチングに最低限必要な重複領域の一辺の画素数を適当に決めておく。数値が大きければパターンマッチングの精度は高くなるが、処理に時間がかかることを考慮して、適当な数値を設定する。本実施形態では、30pixelとする。
また、ステージ制御の最大誤差を10μmとする。重複領域の大きさ[μm]は、ステージ制御の最大誤差[μm]+パターンマッチングに必要な画素数×画素分解能で求める。本実施形態では、10+30×1=40[μm]となる。このように重複領域を計算することによって、取得した部分画像においてパターンマッチングに必要な画素数分の領域を確実に重複させることができる。
次に、部分画像観察領域の拡大と配置が行われる(ステップS4、ステップS5)。
ここで、図3と図4を用いて部分画像観察領域の拡大と配置を説明する。図3は、ステップS1で登録した時の部分画像観察領域21(部分画像)、拡大後の部分画像観察領域22(拡大部分画像)、そして重複領域23の関係を示したものである。斜線部分が重複領域23で、矢印の長さが重複領域の大きさを示す。図3のように、部分画像観察領域は重複領域の1/2の大きさだけ拡大させ、周辺部に重複領域を設定する。
図4は、9個の部分画像観察領域を配置したときの状態を示している。CPU9は、縦横の部分画像数をもとに、重複領域31が重なり合うように拡大後の部分画像観察領域32を配置し、全ての部分画像観察領域のステージ座標を計算する。このように重複領域の1/2の大きさだけ拡大し、重複領域で重なり合うように部分画像観察領域を配置すると、登録時の部分画像観察領域33を互いに接するように配置したときと同じ配置になり、ユーザーにとってどのように部分画像観察領域が配置されるかが予想しやすくなる。
次に、CPU9は、最初の部分画像観察領域のステージ座標にXYステージ5を移動させる(ステップS6)。部分画像の取得する順番は、例えば左上から右下に向かって順に取得する方法や、中心から外に向かって取得する方法が考えられる。
次に、CPU9は、ガルバノミラー2やPMT8等に制御指令を送り、部分画像観察領域を撮影する(ステップS7)。画像取得条件はメモリ10に保存された部分画像観察領域登録時の条件を用いる。このようにして得た部分画像はハードディスク11に保存される。
次に、全ての部分画像を取得したか否かが判断され(ステップJ1)、全ての部分画像を取得するまでステップS6〜S7の処理を繰り返す。
全ての部分画像を取得し終わったら、CPU9は、ハードディスク11から部分画像をメモリ10に読み込む(ステップS8)。
次に、1つの部分画像観察領域の大きさと光学系の視野円の大きさから、部分画像観察領域が視野円の中に収まっているか確認する(ステップJ2)。図5のように、もし部分画像観察領域41が視野円42よりも大きい場合、観察光がPMT8に届かないと予想される部分画像観察領域の外周部分43は切り取られ、次のテンプレートマッチングには使用されないようにする(ステップS9)。
次に、CPU9は重複領域を利用してパターンマッチングを行い、全ての部分画像を合成して全体画像を生成する(ステップS10)。
ここで、図6のように、部分画像A51と、部分画像A51の右隣の領域を撮影した部分画像B52のパターンマッチングを例に画像合成の方法を説明する。まず、部分画像A51または部分画像B52の重複領域だけを切り取る。この場合の重複領域は、画像取得時の重複領域の大きさと同じである。今回は部分画像A51の重複領域を切り取り、これをテンプレート画像53と呼ぶ(図6の斜線部)。
そして、テンプレート画像53を部分画像B52上で移動させて、差の二乗和や相互相関係数等を用いて類似度を計算する。テンプレートマッチングのアルゴリズムに関しては公知の技術を用いる。テンプレート画像53を移動させる探索範囲54は、部分画像B52の重複領域55から左右上下に(ステージ制御の最大誤差[μm]/画素分解能)の分だけ広げた範囲であり、この探索範囲54の中をテンプレート画像53がはみ出さないように移動させ、それぞれの場所で類似度を計算する。類似度が最も高かった位置を合成位置とする。このようにXYステージ5の移動誤差に基づいてパターンマッチング時の探索範囲を設定すると、探索範囲54の中に正しい合成位置が確実に含まれることになり、画像合成で失敗する可能性が下がる。
次に、CPU9は、全体画像の大きさをユーザーが指定した注目領域の大きさと等しくなるようにする(ステップS11)。本実施形態では部分画像取得条件が512pixel×512pixelで縦3個横3個の部分画像数を指定したので、全体画像が1536pixel×1536pixelの画像サイズになるように、余分であれば周囲を切り取る。この処理によって、ユーザーは注目領域登録時に要求したサイズの全体画像を得ることができる。
以上のように、本実施形態に係る走査型レーザ顕微鏡100によれば、広範囲かつ高解像な画像を取得できるとともに、部分画像観察領域を拡大するので重複領域の分だけ撮影する範囲が小さくなることがなく、ユーザーが要求した範囲を撮りもらすことがなくなる。具体的には、本実施形態では、部分画像の一辺が512μmで、縦3個横3個の部分画像数を指定したので、全体画像の一辺が1536μmになることが保証される。一方、従来技術で画像取得を行った場合は、重複領域(40μm)の分だけ減るため、全体画像の一辺は1536−40×2=1456[μm]となってしまう。その結果、観察対象物の末端部などが切れてしまった場合、再度画像を取得しなくてはならない。
高倍率で画像を取得したり、ステージの移動誤差が大きくて部分画像に対する重複領域の割合が増える場合には、さらに顕著な効果を得ることができる。
また、重複領域の1/2の大きさだけ部分画像観察領域を拡大させることにより、後で複数の部分画像観察領域を配置したときに、拡大前の部分画像観察領域を互いに接するように配置したときと同じ配置になり、ユーザーにとってどのように部分画像観察領域が配置されるかがわかりやすくなる。
また、画素分解能を維持したまま部分画像観察領域を拡大するので、解像度を落とすことなく全体画像を取得することができる。
また、ステージの移動誤差を重複領域の計算のパラメータとして使用することによってパターンマッチングに必要な重複領域を確実に確保することができ、画像合成で失敗する可能性が下がる。
また、ステージの移動誤差に基づいてパターンマッチング時の探索範囲を設定するため、探索範囲の中に正しい合成位置が確実に含まれ、画像合成で失敗する可能性が下がる。
また、部分画像観察領域の拡大時に生じうる検出手段まで観察光が届かない領域を除くため、画像合成で失敗する可能性が下がる。
また、全体画像の大きさをユーザーが指定した注目領域の大きさと等しくなるように調整するため、ユーザーは要求したサイズの全体画像を得ることができる。
[第1の変形例]
以下に、本実施形態に係る走査型レーザ顕微鏡100の第1の変形例について説明する。
本実施形態に係る走査型レーザ顕微鏡100の第1の変形例として、ユーザーが注目領域を設定する際に、部分画像数を指定するのではなく、注目領域の範囲を指定してもよい。その場合は、注目領域の大きさと部分画像の取得条件(対物レンズ3の倍率とズーム倍率)から最低限必要な部分画像数を計算する。例えば、部分画像取得条件の画素分解能を1μm/pixel、画像サイズを512pixel×512pixel、重複領域の大きさを40μm、注目領域の大きさを縦3000μm、横4000μmとすると、縦は3000/(512×1+40)でおよそ5.4、横は4000/(512×1+40)でおよそ7.2となる。したがって、縦は6個、横は8個、合計48個の部分画像を配置すれば注目領域を不足なく撮影できることになる。
このように注目領域の範囲を指定する方法において、部分画像観察領域の拡大を適用すると、部分画像の枚数が減ってXYステージ5の移動回数が減ることにより、画像取得にかかる時間や画像を合成する時間を減少させることができる。さらに、標本4が蛍光染色されている場合においては、重複領域の総数が減るために2度レーザ光で走査される領域、つまり蛍光の退色が進みやすい領域を減少させることができる。
[第2の変形例]
以下に、本実施形態に係る走査型レーザ顕微鏡100の第2の変形例について説明する。
前述の実施形態では、部分画像の生成やガルバノミラー2、PMT8、XYステージ5の制御と画像合成処理を、同じPC15のCPU9で行ったが、本変形例では、それぞれ異なるPC(PC−1、PC−2)で行ってもよい。例えば、部分画像の生成やガルバノミラー2、PMT8、XYステージ5の制御を担当するPC−1と、画像合成処理を担当するPC−2がネットワークでつながれており、PC−2はPC−1のハードディスクに保存された部分画像を参照して全体画像を生成することとしてもよい。
[第2の実施形態]
本発明の第2の実施形態に係る走査型レーザ顕微鏡101について、図面を参照して以下に説明する。
標本4が蛍光染色されている場合においては、重複領域は退色が進みやすいので、ユーザーにとって重複領域はできるだけ小さいほうが良い。第1の実施形態では、ステージ制御の最大誤差を用いて重複領域を計算しているが、ステージの移動誤差は様々な条件に依存して変動するため、実際にはもっと少ない誤差で重複領域を計算しても貼り合わせに成功することも大いにありうる。特に、同じ条件で同じ領域の画像を取得する場合の誤差はいずれも近い値になることが予想される。
そこで、第2の実施形態では、同じ条件で同じ領域の画像を複数回取得するタイムラプス観察を行う場合において、部分画像を取得し画像合成を行った結果求まるステージの移動誤差を、次回の部分画像取得時の重複領域の計算に反映させる。生細胞の観察時には細胞が変形することがあるため、このような広範囲の領域のタイムラプス観察がよく行われている。
以下、本実施形態の走査型レーザ顕微鏡101について、第1の実施形態のレーザ顕微鏡装置100と共通する点については説明を省略し、異なる点について主に説明する。
本実施形態に係る走査型レーザ顕微鏡101は、第1の実施形態に係る走査型レーザ顕微鏡100と同様の構成を有しており、図1に示すように、レーザ光源1と、ガルバノミラー2(走査部)と、対物レンズ3と、標本4と、XYステージ5と、ダイクロイックミラー6と、ピンホール7と、PMT8(光検出部)と、PC15とを備えている。
本実施形態に係る走査型レーザ顕微鏡101の動作について、図7を参照して説明する。
まず、部分画像観察領域の設定を行う(ステップS21)。ユーザーは、モニタ12を参照しながらマウス13やキーボード14を操作して、部分画像の取得条件を設定する。具体的には、対物レンズ3の倍率、ズーム倍率、画素分解能、画像サイズ、レーザ強度、PMT8の感度、そしてタイムラプスのシリーズ数を指定する。また、ユーザーは、1つの画像として取得したい範囲の中心にXYステージ5を移動させ、マウス13やキーボード14を使用して現在の観察領域を部分画像観察領域として登録する。登録した際の部分画像取得条件はメモリ10に保存される。
次に、第1の実施形態と同様に、注目領域の設定が行われ(ステップS22)、1シリーズ目か2シリーズ目であることの判断が行われる(ステップJ21)。
まず、1シリーズ目の処理について説明する。
1シリーズ目の処理の場合には、重複領域の大きさの計算(ステップS23)、部分画像観察領域の拡大(ステップS24)、部分画像観察領域の配置(ステップS25)、ステージの移動(ステップS26)、部分画像の取得と保存(ステップS27)、全ての画像を取得したかの判断(ステップJ22)、部分画像の読み込み(ステップS28)、部分画像観察領域が視野円よりも大きいかの判断(ステップJ23)、部分画像観察領域の外周部分の除去(ステップS29)、画像合成処理(ステップS30)を行う。
これらの処理は第1の実施形態と同様であるため、ここでは説明を省略する。
次に、1シリーズ目であることの判断が行われ(ステップJ24)、CPU9は、画像合成処理で求まった合成位置とステージの移動誤差が無かったときの理想的な合成位置との差(つまりXYステージ5の移動誤差)を計算する(ステップS31)。例えば、X方向に2μm、Y方向に3μmずれていたとすると、理想的な合成位置からの差は、およそ3.6μmとなる。この計算を全ての隣接する部分画像間で行い、最大値をメモリ10またはハードディスク11に保存されたステージ制御の最大誤差に代入する。
次に、第1の実施形態と同様に全体画像のサイズを調整する(ステップS32)。
全体画像をハードディスク11に保存する(ステップS33)。これで1シリーズ目の処理は終了である。
次に、2シリーズ目の処理について説明する。
まず、CPU9は、重複領域の大きさの計算を更新されたステージ制御の最大誤差を用いて行う(ステップS23)。
次に、CPU9は、更新された重複領域の大きさを用いて部分画像観察領域の拡大(ステップS24)、部分画像観察領域の配置(ステップS25)を行う。
そして、ステージの移動(ステップS26)、部分画像の取得と保存(ステップS27)、部分画像の読み込み(ステップS28)、部分画像観察領域の外周部分の除去(ステップS29)、画像合成処理(ステップS30)、全体画像のサイズの調整(ステップS32)、全体画像の保存(ステップS33)を同様に行う。
3シリーズ目以降は、ステージの移動(ステップS26)、部分画像の取得と保存(ステップS27)、全ての画像を取得したかの判断(ステップJ22)、部分画像の読み込み(ステップS28)、部分画像観察領域が視野円よりも大きいかの判断(ステップJ23)、部分画像観察領域の外周部分の除去(ステップS29)、画像合成処理(ステップS30)、全体画像のサイズ調整(ステップS32)、全体画像の保存(ステップS33)を繰り返し(ステップJ25)、全てのシリーズ画像を取得する。
以上のように、本実施形態に係る走査型レーザ顕微鏡101によれば、画像合成処理を行うことで求まるXYステージ5の移動誤差を次回の重複領域の大きさの計算に使用するため、次回は必要最低限の大きさの重複領域で部分画像の取得ができる。また、標本4が蛍光染色されている場合においては、蛍光の退色が進みやすい領域を減らすことができる。また、生細胞の観察ではレーザによる損傷を減らすことができる。
[第1の変形例]
以下に、本実施形態に係る走査型レーザ顕微鏡101の第1の変形例について説明する。
XYステージ5の移動誤差は、XYステージ5の位置や動かす距離に強く依存すると考えられる。そこで、本変形例では、同じ領域を同じ条件で画像を取得する場合に、それぞれの場所ごとに誤差を計算し、それを次回の重複領域の大きさの計算に使用してもよい。これによって、さらに小さい重複領域で部分画像を取得することができる。
[第2の変形例]
以下に、本実施形態に係る走査型レーザ顕微鏡101の第2の変形例について説明する。
本変形例では、2シリーズ目で部分画像観察領域の拡大を行って、1シリーズ目と部分画像観察領域の大きさを変更するときに、ガルバノミラー2の駆動範囲は維持したまま、レーザ光を照射する範囲と画像化する範囲を変更してもよい。これにより、駆動範囲を変える電気信号を生成する必要も無くなり、また途中で駆動範囲を変更することが困難な共振型ガルバノミラーをガルバノミラー2の代わりに用いることもできるようになる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の各実施形態および各変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
1 レーザ光源
2 ガルバノミラー(走査部)
3 対物レンズ
4 標本
5 XYステージ
6 ダイクロイックミラー
7 ピンホール
8 PMT(光検出部)
9 CPU(拡大部分画像生成部、画像合成部、制御部)
10 メモリ
11 ハードディスク(拡大部分画像蓄積部)
12 モニタ
13 マウス
14 キーボード
15 PC
100,101 走査型レーザ顕微鏡

Claims (9)

  1. 標本上においてレーザ光を2次元走査する走査部と、
    該走査部により走査されたレーザ光を前記標本に集光する対物レンズと、
    前記標本からの光を検出する光検出部と、
    該光検出部により検出された光の強度と前記走査部の走査位置情報に基づいて、相互に重複せずに隣接する前記標本の部分画像を含み、且つ、該部分画像よりも大きな拡大部分画像を、前記部分画像と同じ画素分解能で生成する拡大部分画像生成部と、
    該拡大部分画像生成部により生成された複数の前記拡大部分画像を蓄積する拡大部分画像蓄積部と、
    該拡大部分画像蓄積部に蓄積された複数の前記拡大部分画像を互いに一部重複するように合成して、前記標本の全体画像を生成する画像合成部とを備える走査型レーザ顕微鏡。
  2. 前記拡大部分画像生成部が、前記走査部による走査範囲を広げることで、前記拡大部分画像を生成する請求項1に記載の走査型レーザ顕微鏡。
  3. 前記拡大部分画像生成部が、前記部分画像を重複領域の半分の大きさだけ拡大させて拡大部分画像を生成する請求項1または請求項2に記載の走査型レーザ顕微鏡。
  4. 前記対物レンズの光軸に直交する方向に、前記標本を前記対物レンズに対して相対的に移動させるステージを備え、
    前記拡大部分画像生成部が、前記ステージの移動誤差に基づいて、前記部分画像の拡大および前記拡大部分画像の重複領域の設定を行う請求項1から請求項3のいずれかに記載の走査型レーザ顕微鏡。
  5. 前記拡大部分画像生成部が、画像合成の結果得られた合成位置から前記ステージの移動誤差を算出する請求項4に記載の走査型レーザ顕微鏡。
  6. 前記対物レンズの光軸に直交する方向に、前記標本を前記対物レンズに対して相対的に移動させるステージを備え、
    前記画像合成部が、前記ステージの移動誤差に基づいて画像の合成位置を探索する範囲を設定する請求項1から請求項5のいずれかに記載の走査型レーザ顕微鏡。
  7. 前記画像合成部が、前記光検出部まで前記標本からの光が届かなかった前記拡大部分画像の外周部分を除いてから画像合成を行う請求項1から請求項6のいずれかに記載の走査型レーザ顕微鏡。
  8. 前記画像合成部が、前記全体画像の大きさを調整する請求項1から請求項7のいずれかに記載の走査型レーザ顕微鏡。
  9. 前記走査部の走査範囲を維持したまま、前記標本上でレーザ光を照射する範囲および画像化する範囲を変えるように前記走査部および前記光検出部を制御する制御部を備える請求項1から請求項8のいずれかに記載の走査型レーザ顕微鏡。
JP2010230884A 2010-10-13 2010-10-13 走査型レーザ顕微鏡 Expired - Fee Related JP5718012B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010230884A JP5718012B2 (ja) 2010-10-13 2010-10-13 走査型レーザ顕微鏡

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010230884A JP5718012B2 (ja) 2010-10-13 2010-10-13 走査型レーザ顕微鏡

Publications (2)

Publication Number Publication Date
JP2012083621A true JP2012083621A (ja) 2012-04-26
JP5718012B2 JP5718012B2 (ja) 2015-05-13

Family

ID=46242542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010230884A Expired - Fee Related JP5718012B2 (ja) 2010-10-13 2010-10-13 走査型レーザ顕微鏡

Country Status (1)

Country Link
JP (1) JP5718012B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150036214A (ko) * 2012-06-26 2015-04-07 케이엘에이-텐코 코포레이션 각도 분해형 반사율 측정에서의 스캐닝 및 광학 계측으로부터 회절의 알고리즘적 제거
JP2016017990A (ja) * 2014-07-04 2016-02-01 オリンパス株式会社 走査型顕微鏡装置
JP2019511913A (ja) * 2016-02-22 2019-05-09 ミルテニー バイオテック ゲゼルシャフト ミット ベシュレンクテル ハフツングMiltenyi Biotec GmbH 生体試料のための自動化された分析ツール

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333056A (ja) * 1997-05-28 1998-12-18 Nikon Corp 顕微鏡装置及び画像作成方法
JPH11211988A (ja) * 1998-01-29 1999-08-06 Nippon Telegr & Teleph Corp <Ntt> 顕微鏡画像遠隔制御システム
JP2002098639A (ja) * 2000-09-21 2002-04-05 Olympus Optical Co Ltd 画像データ取得方法
JP2006030683A (ja) * 2004-07-16 2006-02-02 Canon Inc 信号処理装置
JP2007047466A (ja) * 2005-08-10 2007-02-22 Olympus Corp レーザ装置、レーザ変調方法およびレーザ顕微鏡
JP2007156792A (ja) * 2005-12-05 2007-06-21 Nissan Motor Co Ltd 車両周辺画像表示装置
JP2008191427A (ja) * 2007-02-05 2008-08-21 Olympus Corp バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2008216996A (ja) * 2007-02-05 2008-09-18 Olympus Corp 走査型レーザ顕微鏡および観察方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10333056A (ja) * 1997-05-28 1998-12-18 Nikon Corp 顕微鏡装置及び画像作成方法
JPH11211988A (ja) * 1998-01-29 1999-08-06 Nippon Telegr & Teleph Corp <Ntt> 顕微鏡画像遠隔制御システム
JP2002098639A (ja) * 2000-09-21 2002-04-05 Olympus Optical Co Ltd 画像データ取得方法
JP2006030683A (ja) * 2004-07-16 2006-02-02 Canon Inc 信号処理装置
JP2007047466A (ja) * 2005-08-10 2007-02-22 Olympus Corp レーザ装置、レーザ変調方法およびレーザ顕微鏡
JP2007156792A (ja) * 2005-12-05 2007-06-21 Nissan Motor Co Ltd 車両周辺画像表示装置
JP2008191427A (ja) * 2007-02-05 2008-08-21 Olympus Corp バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2008216996A (ja) * 2007-02-05 2008-09-18 Olympus Corp 走査型レーザ顕微鏡および観察方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102231730B1 (ko) * 2012-06-26 2021-03-24 케이엘에이 코포레이션 각도 분해형 반사율 측정에서의 스캐닝 및 광학 계측으로부터 회절의 알고리즘적 제거
JP2020073888A (ja) * 2012-06-26 2020-05-14 ケーエルエー コーポレイション 角度分解反射率測定における走査および回折の光計測からのアルゴリズム的除去
JP7046898B2 (ja) 2012-06-26 2022-04-04 ケーエルエー コーポレイション 角度分解反射率測定における走査および回折の光計測からのアルゴリズム的除去
US9958385B2 (en) 2012-06-26 2018-05-01 Kla-Tencor Corporation Scanning in angle-resolved reflectometry and algorithmically eliminating diffraction from optical metrology
US10126238B2 (en) 2012-06-26 2018-11-13 Kla-Tencor Corporation Scanning in angle-resolved reflectometry and algorithmically eliminating diffraction from optical metrology
KR102330743B1 (ko) 2012-06-26 2021-11-23 케이엘에이 코포레이션 각도 분해형 반사율 측정에서의 스캐닝 및 광학 계측으로부터 회절의 알고리즘적 제거
JP2015524555A (ja) * 2012-06-26 2015-08-24 ケーエルエー−テンカー コーポレイション 角度分解反射率測定における走査および回折の光計測からのアルゴリズム的除去
US10533940B2 (en) 2012-06-26 2020-01-14 Kla-Tencor Corporation Scanning in angle-resolved reflectometry and algorithmically eliminating diffraction from optical metrology
KR102330741B1 (ko) * 2012-06-26 2021-11-23 케이엘에이 코포레이션 각도 분해형 반사율 측정에서의 스캐닝 및 광학 계측으로부터 회절의 알고리즘적 제거
KR20150036214A (ko) * 2012-06-26 2015-04-07 케이엘에이-텐코 코포레이션 각도 분해형 반사율 측정에서의 스캐닝 및 광학 계측으로부터 회절의 알고리즘적 제거
KR20210033063A (ko) * 2012-06-26 2021-03-25 케이엘에이 코포레이션 각도 분해형 반사율 측정에서의 스캐닝 및 광학 계측으로부터 회절의 알고리즘적 제거
KR20210080592A (ko) * 2012-06-26 2021-06-30 케이엘에이 코포레이션 각도 분해형 반사율 측정에서의 스캐닝 및 광학 계측으로부터 회절의 알고리즘적 제거
US10379330B2 (en) 2014-07-04 2019-08-13 Olympus Corporation Scanning microscope apparatus for generating super-resolution image based on set zoom magnification or set number of pixels
JP2016017990A (ja) * 2014-07-04 2016-02-01 オリンパス株式会社 走査型顕微鏡装置
JP2019511913A (ja) * 2016-02-22 2019-05-09 ミルテニー バイオテック ゲゼルシャフト ミット ベシュレンクテル ハフツングMiltenyi Biotec GmbH 生体試料のための自動化された分析ツール

Also Published As

Publication number Publication date
JP5718012B2 (ja) 2015-05-13

Similar Documents

Publication Publication Date Title
US20140313312A1 (en) Digital microscope and method for optimizing the work process in a digital microscope
JP5154392B2 (ja) 撮像装置
JP6637653B2 (ja) 顕微鏡およびspim顕微鏡検査方法
JP5447516B2 (ja) 画像処理装置、画像処理方法、プログラム、および、顕微鏡
JP2011008245A (ja) 生体観察装置
JP2007102190A (ja) 観察装置および観察方法
JP4700299B2 (ja) 共焦点走査型顕微鏡
KR20110030275A (ko) 화상 생성 방법 및 화상 생성 장치
JP5562653B2 (ja) バーチャルスライド作成装置およびバーチャルスライド作成方法
JP2010256530A (ja) 顕微鏡装置
JP6716383B2 (ja) 顕微鏡システム、情報提示方法、プログラム
JP5718012B2 (ja) 走査型レーザ顕微鏡
JP2006293219A (ja) 走査型共焦点顕微鏡および試料情報測定方法
JP2016099370A (ja) 顕微鏡システム
US10475198B2 (en) Microscope system and specimen observation method
JP2012058665A (ja) 顕微鏡制御装置及び処理範囲決定方法
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP5209100B2 (ja) 撮像装置
JP5149984B2 (ja) 撮像装置
JP7042361B2 (ja) 撮像装置
JP5209137B2 (ja) 撮像装置
JP2013088570A (ja) 顕微鏡装置
JP2010164635A (ja) 共焦点顕微鏡
JPH11287618A (ja) 画像処理装置
JP2005173561A (ja) カラー画像取得方法及び共焦点レーザ顕微鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150318

R151 Written notification of patent or utility model registration

Ref document number: 5718012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

LAPS Cancellation because of no payment of annual fees