JP2015082099A - 顕微鏡を制御する制御装置、顕微鏡システム、制御方法およびプログラム - Google Patents
顕微鏡を制御する制御装置、顕微鏡システム、制御方法およびプログラム Download PDFInfo
- Publication number
- JP2015082099A JP2015082099A JP2013221500A JP2013221500A JP2015082099A JP 2015082099 A JP2015082099 A JP 2015082099A JP 2013221500 A JP2013221500 A JP 2013221500A JP 2013221500 A JP2013221500 A JP 2013221500A JP 2015082099 A JP2015082099 A JP 2015082099A
- Authority
- JP
- Japan
- Prior art keywords
- navigation image
- image
- navigation
- observation position
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Microscoopes, Condenser (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】ナビゲーション画像を選択する際のユーザーの負担を軽減する。
【解決手段】顕微鏡システムはXYステージ6上における対物レンズの観察位置を判別し(S1402)、観察位置に対応したナビゲーション画像を選択し(S1403)、観察位置を中心とする顕微鏡1の視野範囲を示す図形をナビゲーション画像に重ね合わせて表示する(S1406)。
【選択図】図14
【解決手段】顕微鏡システムはXYステージ6上における対物レンズの観察位置を判別し(S1402)、観察位置に対応したナビゲーション画像を選択し(S1403)、観察位置を中心とする顕微鏡1の視野範囲を示す図形をナビゲーション画像に重ね合わせて表示する(S1406)。
【選択図】図14
Description
本発明は、顕微鏡の観察位置を把握するために役立つナビゲーション画像に関する。
顕微鏡システムではXYステージ上のどの位置を対物レンズで観察しているかを分かりやすくするために観察位置の画像とは別にナビゲーション画像が表示される(特許文献1)。ナビゲーション画像は、1回の撮影で取得可能な観察画像と比較して広い範囲をカバーした画像であり、低倍率の対物レンズで取得された観察画像や複数の観察画像を連結して作成される。なお、XYステージとは対物レンズの光軸と直交したXY方向に移動可能なステージであり、標本を入れた容器などを保持する。
観察や撮影の対象となる複数の地点が相互に離れていることがある。また、XYステージの可動範囲が非常に広いこともある。このような場合に、低倍率の対物レンズを使用して取得された単一の観察画像や連結画像を用いたとしても、すべての観察対象地点を包含する単一のナビゲーション画像を作成することは困難である。
たとえば、生物顕微鏡で用いられる容器として複数のウェルを備えたマルチウェルプレートが存在する。このマルチウェルプレートのサイズは、たとえば、13cmx8.5cmであり、これを観察する顕微鏡のXYステージの可動範囲もこのサイズと同程度となる。ここで2倍の対物レンズを用いてマルチウェルプレートの全域をカバーするナビゲーション画像を作成することを想定する。2倍の対物レンズであれば視野範囲が7.3mmx5.5mmである。そこで、この場合、ナビゲーション画像を完成させるために必要となる観察画像の枚数は、最低でも288枚となる(18x16=288)。取得された288枚の画像のなかには標本の入っていないウェルの画像も存在するだろう。よって、マルチウェルプレートなどの容器を交換する度に極めて多数の観察画像を取得すれば、ユーザーの待機時間が長時間になってしまうだろう。さらに、2倍の対物レンズでは解像度が不足するため4倍や10倍の対物レンズを使う場合、ナビゲーション画像を作成するために必要となる観察画像の枚数はそれぞれ1200枚や7200枚に増えてしまう。これは、XYステージの駆動機構やカメラ装置の動作速度を向上させたとしても、極めて長時間にわたりユーザーを待たせてしまうだろう。
全域にわたるナビゲーション画像を取得することはあきらめて、観察を行う各地点の周囲だけをカバーするようなナビゲーション画像を作成し、観察地点を切り替える度にユーザーが手動でナビゲーション画像を切り替えることも考えられる。たとえば、各地点におけるナビゲーション画像が見た目にそれぞれ特徴を持つような画像であれば、ユーザーは手動でナビゲーション画像を選択して切り替えることが可能であろう。しかし、マルチウェルプレートなどのように同一形状のウェルが多数並んでいると各ナビゲーション画像が似通った画像になってしまうため、ユーザーが適切なナビゲーション画像を手動で選択することは極めて困難となってしまうだろう。
そこで、本発明は、ナビゲーション画像を選択する際のユーザーの負担を軽減することを目的とする。
本発明は、たとえば、顕微鏡と当該顕微鏡を制御する制御装置とを有する顕微鏡システムであって、
前記顕微鏡は、
試料に照明光を照射する光源と、
対物レンズと、
前記試料を載置する載置手段と、
前記試料と前記対物レンズとを、前記対物レンズの光軸と直交したXY方向に相対的に移動させるか、前記光軸と平行に相対的に移動させる移動制御手段と、
前記対物レンズを通じて前記試料を撮影する撮影装置と
を有し、
前記制御装置は、
前記載置手段に対する前記対物レンズのXY方向の観察位置を判別する判別手段と、
前記判別手段により判別された前記観察位置に対応したナビゲーション画像を選択する選択手段と、
前記観察位置を中心とする前記顕微鏡の視野範囲を示す図形を前記選択手段により選択されたナビゲーション画像に重ね合わせて表示するナビゲーション画像表示手段と
を有することを特徴とする。
前記顕微鏡は、
試料に照明光を照射する光源と、
対物レンズと、
前記試料を載置する載置手段と、
前記試料と前記対物レンズとを、前記対物レンズの光軸と直交したXY方向に相対的に移動させるか、前記光軸と平行に相対的に移動させる移動制御手段と、
前記対物レンズを通じて前記試料を撮影する撮影装置と
を有し、
前記制御装置は、
前記載置手段に対する前記対物レンズのXY方向の観察位置を判別する判別手段と、
前記判別手段により判別された前記観察位置に対応したナビゲーション画像を選択する選択手段と、
前記観察位置を中心とする前記顕微鏡の視野範囲を示す図形を前記選択手段により選択されたナビゲーション画像に重ね合わせて表示するナビゲーション画像表示手段と
を有することを特徴とする。
本発明によれば、ナビゲーション画像を選択する際のユーザーの負担が軽減される。
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
図1(A)および図1(B)は顕微鏡システムの中核をなす顕微鏡1の斜視図である。図1(A)が示すように顕微鏡1は、筐体自体を暗室として利用するため、ユーザーが暗室を用意する必要がない。ユーザー(操作者)は、上面カバー190を開けると、透過照明光学系5の下方に配置されたXYステージ6にアクセス可能となる。XYステージ6は試料を載置する載置手段の一例であり、たとえば、対物レンズの光軸方向に対して直交方向に相対的移動するステージである。このように、XYステージ6と対物レンズとが相対的に移動することで、観察位置や試料に対する合焦位置が変更される。上面カバー190を閉じることで、暗室が形成される。ユーザーは前面カバー191を開けることでカラーフィルタターレット14に搭載されたフィルタキューブ(カラーフィルタなど)を交換できる。
図2は、顕微鏡システム100を構成する主要部を示すブロック図である。顕微鏡1は図2に示す制御装置2によって制御される。制御装置2は、たとえば、制御プログラムをインストールされた情報処理装置(パーソナルコンピュータ:PC)である。つまりPCが顕微鏡1の制御装置2として機能する。このように顕微鏡システム100は、顕微鏡1と制御装置2とを有している。
顕微鏡1は、試料3のモノクロ画像、カラー画像および蛍光画像を取得することができる顕微鏡であるが、このうち1つの画像のみを取得する顕微鏡であってもよい。XYステージ6には試料3を保持するための容器ユニット7が固定される。試料3は標本、サンプル、検体またはワークと呼ばれることもある。容器ユニット7は、プレパラート、ディッシュまたはウェル等の容器とこの容器を支持する容器ホルダーとを有している。透過照明光源4が出力された照明光はコンデンサレンズなどを含む透過照明光学系5を介して試料3に照射される。透過照明光学系5には遮光用のメカシャッターが設けられていてもよい。透過照明光源4からの照明光は、試料3のモノクロ画像やカラー画像を取得する際に使用される。試料3について蛍光観察を実行する際は、蛍光落射照明光源8から励起光が出力される。励起光は、蛍光落射照明光学系9および励起フィルタ10を通過する。蛍光落射照明光学系9には遮光機構としてメカシャッターや絞り、光変調素子が設けられていてもよい。同様に蛍光落射照明光源8に関しても遮光機構が設けられていてもよい。遮光機構は制御部20によって制御され、蛍光落射照明光源8からの光を遮光したり、通過させたりする。励起フィルタ10は、蛍光落射照明光源8から出力された光のうち励起光となる波長成分のみを透過させる波長選択性フィルタである。励起光はさらにダイクロックミラー11で反射され、対物レンズユニット12の対物レンズを通過して試料3に照射される。ダイクロックミラー11も波長選択性のミラーであり、励起光を反射するが、試料3に添加された蛍光試薬(蛍光染料や蛍光色素とも呼ばれる)が発光する蛍光については透過する。対物レンズユニット12は、モータ13によって回転する電動レボルバと、電動レボルバに搭載された複数の対物レンズとを有している。フィルタターレット14は、4つの開口を有し、そのうち3つの開口には励起フィルタ10、ダイクロイックミラー11、吸収フィルタ16を有するそれぞれ異なるフィルタキューブが取り付けられているが、残りの1つの開口は何も取り付けられていない。フィルタの取り付けられていない開口は、明視野画像を取得する際に使用される。フィルタターレット14は、モータ15によって回転する。吸収フィルタ16は、試料3からの光のうち必要な波長成分のみを透過させる波長選択性フィルタである。光学系17は、試料3を撮影装置18の撮影面に結像させるレンズである。カラーフィルタ24は、たとえば、液晶チューナブルフィルタであり、透過波長を切り替えることにより順にR、G、Bの画像を取得、これらを画像処理部19で合成することでカラー画像を作成する。なお、カラーフィルタとしては上述した液晶チューナブルフィルタに限られず、異なる透過波長のフィルタを機械的に切り替えるカラーフィルタターレットを配置してもよい。画像処理部19は、撮影装置18から出力される画像信号を増幅してA/D変換し、さらにシェーディング補正を行ったりするなど、様々な画像処理を行う。制御部20は、制御装置2からの指示にしたがって顕微鏡1の各部を制御する。たとえば、制御部20は、モータ群21を制御してXYステージ6をX軸方向またはY軸方向へ移動させたり、モータ22を制御してZステージと呼ばれることもある対物レンズユニット12をZ軸方向に移動させたりする。対物レンズユニット12をZ軸方向に移動させることで合焦位置が変化し、オートフォーカスが実行される。Zステージは合焦位置を調整するために対物レンズの光軸に対して平行に移動する。XYステージ6およびZステージは手動調整機構を有していてもよい。ここで、Z軸方向は対物レンズの光軸方向であり、X軸方向およびY軸方向はZ軸方向に直交した方向である。通信部23は、制御装置2からの指示を受信したり、制御部20からの情報や画像データを制御装置2へ送信したりするユニットである。制御部20は、たとえば、マイクロプロセッサやCPU、LSI、FPGA、ASICなどで構成される。つまり、制御部20は、ソフトウエアとその実行手段で実現されてもよいし、ハードウエアのみで実現されてもよいし、前者と後者との混在によって実現されてもよい。
制御装置2においてCPU30は、記憶装置31に記憶された制御プログラムを実行して顕微鏡1を制御したり、通信インタフェース32を通じて受信した画像データを表示部34に表示させたりする。通信部23および通信インタフェース32は、USBやIEEE1394、LANなどの一般的な通信プロトコルで接続されていてもよいし、専用の通信プロトコルで接続されていてもよい。記憶装置31は、ROM、RAMなどのメモリやハードディスク記憶装置などを含んでいる。記憶装置31には、SSDなどの半導体記憶装置や光ディスク、磁気ディスクがふくまれてもよい。またコンシューマ用のデジタルカメラで使用されているようなメモリカードであってもよい。操作部33は、キーボードやポインティングデバイスなどの入力装置である。表示部34は、顕微鏡1を制御するための制御パラメータを設定するユーザーインタフェース(UI)や観察結果(静止画または動画)を表示するUIを提供する。
顕微鏡システム100はZスタック画像の撮影やタイムラプス撮影を実行できる。Zスタックとは試料3とレンズとの間における光軸方向(Z軸方向)の距離を変化させながら試料3を撮影して複数枚の画像(Zスタック画像)を取得する技術である。つまり、Zスタック画像とは、Zステージを少しずつ移動させることで合焦位置をずらしながら各合焦位置において取得された試料3の複数の画像(レイヤー画像)をいう。微生物などの試料3は観察中にX軸方向やY軸方向だけでなくZ軸方向にも移動する。よって、Z軸方向に少量ずつ合焦位置をずらして複数の画像を取得することで、試料3に合焦した画像を取得しやすくなる。なお、1回のZスタックによって取得される画像の枚数をZスタック数またはZスタック枚数と呼ぶことにする。つまり、Zスタック数Nzは、Zスタック画像を構成している画像の枚数を示している。タイムラプス撮影とは、一定時間ごとに1枚または複数枚の画像を取得する撮影方法をいう。微生物などの試料3は観察中に成長したり変化したりする。そのため、その経過を知る上でタイムラプス撮影は有効である。本実施形態は、基本的に、Zスタックとタイムラプス撮影とを組み合わせて実行する。つまり、顕微鏡1は、一定時間ごとに到来する各撮影タイミングでZスタックを実行する。なお、タイムラプス撮影の開始から終了までの全工程において取得された画像の枚数をトータル撮影枚数Ntと呼ぶことにする。
[ユーザインタフェース]
図3はユーザインタフェースの一例を示す図である。ユーザインタフェース300は、ユーザーが顕微鏡1により取得した試料3の画像を表示して画像を観察したり、顕微鏡1を制御するための制御パラメータ(例:観察位置、倍率、露光時間など)を設定したりするために使用される。ユーザインタフェース300は3つのエリアから構成されている。ナビゲーション画像表示エリア301は、ナビゲーション画像302が表示されるエリアである。ナビゲーション画像302には、顕微鏡1の現在の視野範囲を示す矩形の視野範囲枠303が重ね合されて表示される。なお、視野範囲枠303の中心がXYステージ6上の観察位置(対物レンズの光軸が通る位置)に対応している。観察画像表示エリア304には顕微鏡1により取得された観察画像305が表示される。観察画像305は、視野範囲枠303に対応している。ホルダー画像(ステージ画像)表示エリア306は、試料3を収容する容器の画像と、この容器を保持する容器ホルダーの画像とを有したホルダー画像307を表示するエリアである。ホルダー画像307には、現在の観察位置を示す十字線308が重ねあわされて表示される。ホルダー画像307は、容器ホルダーを俯瞰した絵であり、観察画像305やナビゲーション画像302と比較して最もマクロな画像である。反対に観察画像305はホルダー画像307やナビゲーション画像302と比較して最もミクロな画像である。ホルダー画像307の任意の位置をポインタ309によってダブルクリックすることで観察位置が指定される。ポインタ309は操作部33のポインティングデバイスの操作に連動して移動するようCPU30が制御する。観察位置が指定されると、CPU30が観察位置の座標を制御部20に伝達する。制御部20は、モータ群21を駆動し、指定された観察位置にXYステージ6を移動させる。制御部20は、位置センサを用いてXYステージ6の位置(XY座標)を監視しており、CPU30にその位置を通知する。たとえば、XYステージ6がユーザーによって手動で移動されたときに、XYステージ6の位置をCPU30に伝達する。CPU30は、観察位置の座標に基づき視野範囲枠303の位置を決定し、視野範囲枠303の表示位置を更新する。また、撮影装置18が取得した観察画像は画像処理部19および制御部20を通じてCPU30に渡される。CPU30は、受信した観察画像を表示部34に表示させる。つまり、観察画像表示エリア304に観察画像305が表示される。
図3はユーザインタフェースの一例を示す図である。ユーザインタフェース300は、ユーザーが顕微鏡1により取得した試料3の画像を表示して画像を観察したり、顕微鏡1を制御するための制御パラメータ(例:観察位置、倍率、露光時間など)を設定したりするために使用される。ユーザインタフェース300は3つのエリアから構成されている。ナビゲーション画像表示エリア301は、ナビゲーション画像302が表示されるエリアである。ナビゲーション画像302には、顕微鏡1の現在の視野範囲を示す矩形の視野範囲枠303が重ね合されて表示される。なお、視野範囲枠303の中心がXYステージ6上の観察位置(対物レンズの光軸が通る位置)に対応している。観察画像表示エリア304には顕微鏡1により取得された観察画像305が表示される。観察画像305は、視野範囲枠303に対応している。ホルダー画像(ステージ画像)表示エリア306は、試料3を収容する容器の画像と、この容器を保持する容器ホルダーの画像とを有したホルダー画像307を表示するエリアである。ホルダー画像307には、現在の観察位置を示す十字線308が重ねあわされて表示される。ホルダー画像307は、容器ホルダーを俯瞰した絵であり、観察画像305やナビゲーション画像302と比較して最もマクロな画像である。反対に観察画像305はホルダー画像307やナビゲーション画像302と比較して最もミクロな画像である。ホルダー画像307の任意の位置をポインタ309によってダブルクリックすることで観察位置が指定される。ポインタ309は操作部33のポインティングデバイスの操作に連動して移動するようCPU30が制御する。観察位置が指定されると、CPU30が観察位置の座標を制御部20に伝達する。制御部20は、モータ群21を駆動し、指定された観察位置にXYステージ6を移動させる。制御部20は、位置センサを用いてXYステージ6の位置(XY座標)を監視しており、CPU30にその位置を通知する。たとえば、XYステージ6がユーザーによって手動で移動されたときに、XYステージ6の位置をCPU30に伝達する。CPU30は、観察位置の座標に基づき視野範囲枠303の位置を決定し、視野範囲枠303の表示位置を更新する。また、撮影装置18が取得した観察画像は画像処理部19および制御部20を通じてCPU30に渡される。CPU30は、受信した観察画像を表示部34に表示させる。つまり、観察画像表示エリア304に観察画像305が表示される。
記憶装置31には、予め作成された1つ以上のナビゲーション画像の画像データが記憶されている。各画像データはナビゲーション画像のXY座標を示すメタデータと関連付けて保存されている。
CPU30は、XYステージ6上における対物レンズのXY方向の観察位置を判別する。観察位置は、ナビゲーション画像302またはホルダー画像307上でポインタ309によって指定された位置または顕微鏡1において手動で指定された位置である。CPU30は、記憶装置31に記憶されている1つ以上のナビゲーション画像のうち、判別した観察位置に対応したナビゲーション画像を選択する。さらに、CPU30は、観察位置を中心とする顕微鏡1の視野範囲を示す図形である視野範囲枠303を選択されたナビゲーション画像に重ね合わせてナビゲーション画像表示エリア301に表示する。このように指定した観察位置に対応した適切なナビゲーション画像が選択されて表示されるため、ユーザーは手動でナビゲーション画像を選択して切り替える手間を省ける。
[制御ユニット]
図4は、主にCPU30によって実現される機能を示すブロック図である。撮影制御部401は顕微鏡1の制御部20を通じて撮影装置18を制御するユニットである。撮影制御部401は顕微鏡1から受信した画像信号から観察画像の画像データ431を作成し記憶装置31に保存する。また、撮影制御部401は、観察画像を取得するために顕微鏡1に設定した制御パラメータを含むメタデータ432を作成し、画像データ431に関連付ける。なお、画像データ431とメタデータ432とが1つの画像ファイルとして保存されてもよい。テンプレートデータ433は、ホルダー画像307を表示するためのデータである。ナビゲーション画像データ434はナビゲーション画像を表示するための画像データである。
図4は、主にCPU30によって実現される機能を示すブロック図である。撮影制御部401は顕微鏡1の制御部20を通じて撮影装置18を制御するユニットである。撮影制御部401は顕微鏡1から受信した画像信号から観察画像の画像データ431を作成し記憶装置31に保存する。また、撮影制御部401は、観察画像を取得するために顕微鏡1に設定した制御パラメータを含むメタデータ432を作成し、画像データ431に関連付ける。なお、画像データ431とメタデータ432とが1つの画像ファイルとして保存されてもよい。テンプレートデータ433は、ホルダー画像307を表示するためのデータである。ナビゲーション画像データ434はナビゲーション画像を表示するための画像データである。
観察位置判別部402はXYステージ6上における対物レンズの観察位置を判別する。ステージ座標取得部409は顕微鏡1からXYステージ6の座標を取得し、座標データを観察位置判別部402に渡す。観察位置判別部402は、XYステージ6の座標に基づき対物レンズの観察位置を判別する。選択部403は、観察位置判別部402により判別された観察位置に対応したナビゲーション画像を選択する。ナビゲーション画像表示部404は、観察位置を中心とする顕微鏡1の視野範囲を示す視野範囲枠303を選択部403により選択されたナビゲーション画像302に重ね合わせて表示する。
切り替え判定部405は、ナビゲーション画像表示部404が表示するナビゲーション画像の切り替え条件が満たされているかどうかを判定する。選択部403は、切り替え条件が満たされていると切り替え判定部405が判定すると、ナビゲーション画像を切り替え、切り替え条件が満たされてないと切り替え判定部405が判定すると、ナビゲーション画像を切り替えない。
観察画像表示部406は、撮影装置18によって取得された視野範囲の画像(観察画像305)を観察画像表示エリア304に表示する視野画像表示手段として機能する。容器画像表示部407は、試料3を収容する容器を模した容器画像(ホルダー画像307)をホルダー画像表示エリア306に表示する。
観察位置指定部412は、次の観察位置を指定するユニットである。観察位置指定部412は、上述したようにナビゲーション画像302またはホルダー画像307においてポインタ309によってダブルクリックされた位置を検知し、その位置をXYステージ6の座標に変換する。ステージ制御部408は、観察位置指定部412により指定された次の観察位置にXYステージ6を移動させるよう制御部20を通じて顕微鏡1を制御する。撮影制御部401は、XYステージ6が次の観察位置に到達すると制御部20を通じて撮影装置18を制御して視野範囲の画像を取得させる。
ナビゲーション画像作成部410は、撮影装置18によって取得された画像からナビゲーション画像を作成する。作成位置指定部411は、容器画像を含むホルダー画像307においてナビゲーション画像302の作成位置を指定する。ナビゲーション画像作成部410は、作成位置指定部411により指定された作成位置を含むようにナビゲーション画像を作成する。
[ナビゲーション画像の作成]
図5は、96個の穴(ウェル)を有するマルチウェルプレートを模したホルダー画像307である。生物顕微鏡では複数のウェルを備えたマルチウェルプレートがよく用いられる。マルチウェルプレートでは各ウェルにそれぞれ別の試料3を収容して観察できる。各ウェルごとに細胞の培養条件を変更することで、培養条件の違いによって細胞がどのように変化するかを比較観察する際に役立つ。このためユーザーは離れたいくつかのウェルを交互に観察して比較する。たとえば、ユーザーがポインタ309によって目的のウェルを指定すると、観察位置指定部412がその座標を検知し、ステージ制御部408に通知する。ステージ制御部408が次の観察位置の座標データを制御部20に送信する。制御部20は、次の観察位置の座標データにしたがってモータ群21を制御してXYステージ6を次の観察位置へ移動させる。制御部20は、4倍の対物レンズなどの低倍レンズを使って試料3のサンプル面にピントを合せる。
図5は、96個の穴(ウェル)を有するマルチウェルプレートを模したホルダー画像307である。生物顕微鏡では複数のウェルを備えたマルチウェルプレートがよく用いられる。マルチウェルプレートでは各ウェルにそれぞれ別の試料3を収容して観察できる。各ウェルごとに細胞の培養条件を変更することで、培養条件の違いによって細胞がどのように変化するかを比較観察する際に役立つ。このためユーザーは離れたいくつかのウェルを交互に観察して比較する。たとえば、ユーザーがポインタ309によって目的のウェルを指定すると、観察位置指定部412がその座標を検知し、ステージ制御部408に通知する。ステージ制御部408が次の観察位置の座標データを制御部20に送信する。制御部20は、次の観察位置の座標データにしたがってモータ群21を制御してXYステージ6を次の観察位置へ移動させる。制御部20は、4倍の対物レンズなどの低倍レンズを使って試料3のサンプル面にピントを合せる。
図6は、ナビゲーションウィンドウ(ナビゲーション画像表示エリア301)の一例を示す図である。ここでは、ナビゲーション画像がまだ作成されていないものとする。ナビゲーション画像作成部410は、作成ボタン310の押下を検知すると、ナビゲーション画像の作成を開始する。
図7は、ナビゲーション画像の作成の手順を示す図である。ここでは、ナビゲーション画像が、撮影装置18によって取得された複数の観察画像を渦巻状に連結して生成された画像と仮定している。連結範囲の端点を指定して矩形状の連結画像が作成されてもよい。
ナビゲーション画像作成部410は、撮影制御部401に観察位置を指定して観察画像の取得を指示する。ここでは、観察位置(作成開始位置)を中心として予め定められた範囲をカバーするように各観察画像の座標が決定される。渦巻連結手法では、最初に、ナビゲーション画像の中心に位置することになる観察画像が取得される。以降は、ナビゲーション画像作成部410が、図7に示した矢印にしたがった順番で観察画像を取得し、配置する。この例では、8枚の観察画像が取得されて配置されている。また、8枚の観察画像は、隣接した画像と一部で重複するように取得されている。よって、ナビゲーション画像作成部410は、画像認識によって重複したエリアを確定し、各観察画像の配置位置を微調整し、あたかも一度に取得された1枚の画像であるかのようにナビゲーション画像を作成する。なお、停止ボタン311が操作されたことを検知すると、ナビゲーション画像作成部410は、その時点でナビゲーション画像の作成を終了する。渦巻連結手法の最大撮影枚数は、撮影時間短縮のために、真円である一つのウェル全体が、作成されるナビゲーション画像に収まる最小の撮影枚数に制限される。
図8は、完成したナビゲーション画像302の一例を示す図である。このように1つのウェルを俯瞰できるようなナビゲーション画像302が作成される。ナビゲーション画像表示部404は、視野範囲枠303もナビゲーション画像302に重ね合わせて表示する。この状態で倍率切り替え部320によって対物レンズの倍率がより高い倍率に切り替えられると、図3に示したように、視野範囲枠303が小さくなる。つまり、ナビゲーション画像表示部404は、対物レンズの倍率に応じて視野範囲枠303のサイズを決定して表示している。対物レンズの切り替え指示がCPU30から制御部20に伝達されると、制御部20はモータ13を駆動してレボルバを回転させ、指定された倍率の対物レンズを顕微鏡1の光軸に配置する。対物レンズの倍率が変更されると、制御部20は、撮影装置18を制御して試料3を撮影する。その結果、観察画像305の表示が更新される。このように倍率の変更は視野範囲枠303のサイズに反映されるとともに、観察画像305にも反映される。
ここでは、1つのウェルについてナビゲーション画像を作成する例を説明したが、別のウェルについても同様の手順を実行することで、その別のウェルのナビゲーション画像が作成される。ナビゲーション画像データ434には、ナビゲーション画像データ434の範囲を示す4隅の座標データが含まれていてもよい。
図9は、ナビゲーション画像の作成位置の指定の例を示す図である。作成位置指定部411は、操作部33を通じて入力されたクリック操作を検知すると、そのときのポインタ309の座標に対応するウェルの中心座標をナビゲーション画像の作成位置に決定する。この例ではF3、D5、B2といった3つの番地のウェルが指定されている。なお、各ウェルは操作部33のキーボード等によって直接的に入力される番地に基づいて指定されてもよい。
図10は、ナビゲーション画像の作成位置の指定の例を示す図である。この例では、ポインタ309をドラッグさせることで実現される範囲指定によってナビゲーション画像の作成範囲321が指定される。作成位置指定部411は、作成範囲321の4隅の座標データを求め、作成範囲321をすべてカバーするように各観察画像の撮影位置(中心位置)を決定する。
図11は、ナビゲーション画像の作成位置の指定の例を示す図である。図10ではポインタ309によって指定された範囲だけを作成範囲321としたが、図11では指定範囲322に一部でも含まれているウェルについてはそのウェルの全体が含まれるように、作成位置指定部411が、作成範囲321を指定している。このように、指定範囲322を拡張して作成範囲321が決定されてもよい。
図12は、プレパラートホルダーを模したホルダー画像1200を示している。ホルダー画像1200には3つのプレパラートを模した3つのプレパラート画像1201と番地情報1202が付与されている。また、各番地によって識別される領域を視覚的にさらに明確にするために、ホルダー画像1200には縦横に領域区別線(分割線)が配置されている。つまり、容器画像表示部407は、プレパラートホルダー用のテンプレートデータ433にしたがって各プレパラート画像を複数の領域に分割する分割線を表示する。
マルチウェルプレートに関して説明したように、プレパラートに関しても同様にナビゲーション画像の作成位置を指定できる。図12では上から3番目のプレパラートのC2番地の領域が指定されている。作成位置指定部411は、ポインタ309によるクリック、番地の直接入力、ポインタ309による範囲指定のいずれかを検知して作成位置を決定する。また、作成位置指定部411は、範囲指定によって複数の領域を一度に作成位置として指定してもよい。
図13は3つのディッシュを保持可能なディッシュホルダーを模したホルダー画像1300を示す図である。容器画像表示部407は、テンプレートデータ433に基づき3つのディッシュを模したディッシュ画像1301を含むホルダー画像1300を表示部34に表示する。各ディッシュ画像1301の中心に付与された十字マークはディッシュの中心を示している。マルチウェルプレートやプレパラートと同様に、作成位置指定部411は、ポインタ309によるクリック、番地の直接入力、ポインタ309による範囲指定のいずれかを検知して作成位置を決定する。
なお、作成位置指定部411は、ポインタ309によるクリック、番地の直接入力およびポインタ309による範囲指定によってそれぞれ個別に設定された作成位置をまとめてナビゲーション画像作成部410に設定してもよい。これにより、ナビゲーション画像作成部410は、指定されたすべての作成位置についてナビゲーション画像を作成してもよい。
[ナビゲーション画像の選択と表示]
図14は、ナビゲーション画像の選択と表示の各工程を示すフローチャートである。S1401で、CPU30は、ユーザインタフェース300を表示部34に表示させる。S1402で、観察位置判別部402は対物レンズの観察位置を判別する。たとえば、手動でXYステージ6の位置が設定されると、観察位置判別部402はステージ座標取得部409を通じてXYステージ6の座標データを取得する。XYステージ6の座標データは観察位置の座標そのものであってもよい。S1403で、選択部403は、観察位置判別部402により判別された観察位置に対応したナビゲーション画像を選択する。たとえば、選択部403は、視野範囲の座標(観察位置の座標)とナビゲーション画像の座標とを比較し、視野範囲の画像(観察画像)の少なくとも一部を含むナビゲーション画像を記憶装置31に記憶されている複数のナビゲーション画像から選択する。選択部403は、視野範囲に関連した複数のナビゲーション画像が記憶装置31に記憶されている場合、複数ナビゲーション画像のそれぞれに予め付与されている優先度または複数のナビゲーション画像のそれぞれのメタデータから算出された優先度に応じて記憶装置31に記憶されている複数のナビゲーション画像からナビゲーション画像表示部404によって表示するナビゲーション画像を選択してもよい。各ナビゲーション画像のメタデータにはそのナビゲーション画像の基準座標を示す座標データが含まれていてもよい。選択部403は、複数のナビゲーション画像のそれぞれの基準座標のうち、XYステージ6の可動範囲内での位置を示すステージ座標に対して最も近い基準座標のナビゲーション画像を選択してもよい。つまり、選択部403は、各ナビゲーション画像の基準座標から観察位置の座標までの距離を算出し、距離の短さに応じて優先度が高くなるように、各ナビゲーション画像の優先度を決定する。なお、ナビゲーション画像が撮影装置18によって取得された複数の観察画像を渦巻状に連結して生成された画像であれば、基準座標は、渦巻状に複数の画像を連結した際の最初の画像の中心の座標であってもよい。このようにして選択部403は1つのナビゲーション画像を表示対象の候補として選択する。
図14は、ナビゲーション画像の選択と表示の各工程を示すフローチャートである。S1401で、CPU30は、ユーザインタフェース300を表示部34に表示させる。S1402で、観察位置判別部402は対物レンズの観察位置を判別する。たとえば、手動でXYステージ6の位置が設定されると、観察位置判別部402はステージ座標取得部409を通じてXYステージ6の座標データを取得する。XYステージ6の座標データは観察位置の座標そのものであってもよい。S1403で、選択部403は、観察位置判別部402により判別された観察位置に対応したナビゲーション画像を選択する。たとえば、選択部403は、視野範囲の座標(観察位置の座標)とナビゲーション画像の座標とを比較し、視野範囲の画像(観察画像)の少なくとも一部を含むナビゲーション画像を記憶装置31に記憶されている複数のナビゲーション画像から選択する。選択部403は、視野範囲に関連した複数のナビゲーション画像が記憶装置31に記憶されている場合、複数ナビゲーション画像のそれぞれに予め付与されている優先度または複数のナビゲーション画像のそれぞれのメタデータから算出された優先度に応じて記憶装置31に記憶されている複数のナビゲーション画像からナビゲーション画像表示部404によって表示するナビゲーション画像を選択してもよい。各ナビゲーション画像のメタデータにはそのナビゲーション画像の基準座標を示す座標データが含まれていてもよい。選択部403は、複数のナビゲーション画像のそれぞれの基準座標のうち、XYステージ6の可動範囲内での位置を示すステージ座標に対して最も近い基準座標のナビゲーション画像を選択してもよい。つまり、選択部403は、各ナビゲーション画像の基準座標から観察位置の座標までの距離を算出し、距離の短さに応じて優先度が高くなるように、各ナビゲーション画像の優先度を決定する。なお、ナビゲーション画像が撮影装置18によって取得された複数の観察画像を渦巻状に連結して生成された画像であれば、基準座標は、渦巻状に複数の画像を連結した際の最初の画像の中心の座標であってもよい。このようにして選択部403は1つのナビゲーション画像を表示対象の候補として選択する。
S1404で、選択部403は、表示対象の候補が1つ以上見つかったかどうかを判定する。表示対象の候補が1つも見つからなければS1408に進み、ナビゲーション画像作成部410が観察位置に対応したナビゲーション画像を作成し、記憶装置31に記憶する。なお、ナビゲーション画像作成部410は、ナビゲーション画像を作成する際に、撮影装置18の撮影時間を短縮するよう撮影装置18の制御パラメータを調整してもよい。たとえば、ナビゲーション画像作成部410は、ナビゲーション画像を作成する際に、つなぎ目補正やシェーディング補正などの画像処理を省略してもよい。また、撮影制御部401を撮影装置18のゲインやビニングを制御して露光時間を短縮してもよい。観察画像と比較して、ナビゲーション画像には高い解像度の画像や精度の高い画像は要求されないからである。その後、S1408に進む。一方で、表示対象の候補が見つかればS1405に進む。
S1405で、切り替え判定部405は、切り替え条件が満たされているかどうかを判定する。たとえば、観察位置や視野範囲の少なくとも一部がその時点でナビゲーション画像表示エリア301に表示されているナビゲーション画像302に含まれている場合、ナビゲーション画像を切り替えなくてもよい。よって、この場合は、切り替え条件が満たされていない。一方で、観察位置や視野範囲の少なくとも一部がその時点でナビゲーション画像表示エリア301に表示されているナビゲーション画像302に含まれていない場合は、切り替え条件が満たされていると判定する。なお、表示対象の候補となっているナビゲーション画像がその時点で作成途中であり、未完成であれば、切り替え条件が満たされていない。切り替え条件が満たされていなければ、ナビゲーション画像を更新せずに、S1407に進む。このように、観察位置が移動したとしても当該観察位置に対応した視野範囲が、ナビゲーション画像表示部404によって表示されているナビゲーション画像に含まれている場合、選択部403は、別のナビゲーション画像の選択を実行しない。これにより、ナビゲーション画像の頻繁な切り替えを抑制することができる。一方で、切り替え条件が満たされていれば、S1406に進む。
S1406で、ナビゲーション画像表示部404は、観察位置を中心とする顕微鏡1の視野範囲を示す視野範囲枠を選択部403により選択されたナビゲーション画像に重ね合わせて表示する。このように、観察位置が移動したことで当該観察位置に対応した視野範囲が、ナビゲーション画像表示部404によって表示されているナビゲーション画像に含まれていなくなった場合、選択部403は、別のナビゲーション画像の選択を実行することになる。
S1407で、観察位置指定部412は次の観察位置がユーザーによって指定されたかどうかを判定する。観察位置指定部412はステージ座標取得部409を通じてXYステージ6の座標を監視することで、XYステージ6の座標が手動で変更されたかどうかを監視してもよい。観察位置指定部412は、ナビゲーション画像やホルダー画像に対して観察位置の指定処理が実行されたかどうかを監視してもよい。ステージ制御部408は、観察位置指定部412により指定された次の観察位置にXYステージ6を移動させるよう顕微鏡1を制御する。撮影制御部401はXYステージ6が次の観察位置に到達すると撮影装置18に視野範囲の画像(観察画像)を取得させる。観察画像表示部406は、観察画像表示エリア304に撮影装置18によって取得された観察画像305を表示する。その後、S1403に戻り、新しい観察画像305についてナビゲーション画像の選択が実行される。
なお、ユーザーによって観察位置が変更されると、視野範囲がナビゲーション画像表示部404によって表示されているナビゲーション画像の範囲外になることがある。これは、S1404でナビゲーション画像の表示候補が見つからなかった場合に相当する。この場合に、ナビゲーション画像表示部404は、ナビゲーション画像の範囲外を観察していることを示すメッセージを出力してもよい。
図15は、ナビゲーション画像の優先度を説明するための図である。ここでは、マルチウェルプレートのホルダー画像307において、ナビゲーション画像が存在するエリアを示す矩形1501と、視野範囲を示す枠1502とが表示されている。図15によれば、C2番地とB2番地のウェルにはナビゲーション画像が作成済みである。また、観察位置指定部412によって観察位置(視野範囲を示す枠1502の中心)が指定されている。この場合、選択部403は、C2番地のウェルに対応したナビゲーション画像の中心位置から枠1502の中心までの距離と、B2番地のウェルに対応したナビゲーション画像の中心位置から枠1502の中心までの距離とを比較する。図15の例では、B2番地のウェルに対応したナビゲーション画像の中心が観察位置に近いため、選択部403によって優先度が高いと判定される。なお、選択部403は、ナビゲーション画像と枠1502とが重複している面積を算出し、より大きな面積となるナビゲーション画像の優先度を高いものと判定してもよい。
図16は、観察位置が変更されてもナビゲーション画像を更新する必要がない例を示している。ここでは、視野範囲枠303によって示されている第1の観察位置が視野範囲枠303’によって示されている第2の観察位置に変更されたと仮定する。この場合は、視野範囲枠303も視野範囲枠303’も同一のナビゲーション画像の範囲内であるため、ナビゲーション画像の切り替えが抑制される。なお、視野範囲枠303’の中心に近い別のナビゲーション画像が存在する場合もあろう。この場合であってもナビゲーション画像の更新をキャンセルして、ナビゲーション画像の頻繁な切り替えを抑制してもよい。もちろん、ナビゲーション画像の頻繁な切り替えを抑制する必要がない場合は、ナビゲーション画像が切り替えられてもよい。また、CPU30は、ユーザーに切り替えを実行するかしないかを選択させるためのダイアログを表示し、ユーザーの選択結果に応じて切り替えを実行したり抑制したりしてもよい。
図16に示すように、ナビゲーション画像の自動選択をON/OFFするためのコントロール323が配置されてもよい。選択部403は、コントロール323によって自動選択がONになっていれば、上述したルールにしたがってナビゲーション画像を選択する。一方、コントロール323によって自動選択がOFFになっていれば、選択部403は、ナビゲーション画像を選択しない。この場合、ユーザーは表示させたいナビゲーション画像を記憶装置31から探し出してそのファイル名を指定することで、ナビゲーション画像表示エリア301に表示させてもよい。
[連結画像について]
ナビゲーション画像の作成方法の一つとして複数の観察画像(視野画像)を連結して1つの画像を作成する画像連結についてすでに説明した。そもそも画像連結は、高倍率の対物レンズで取得した観察画像をつなぎ合わせて1つの連結画像を作成する手法である。これにより、低倍率の対物レンズでカバーできる視野範囲と同等の視野範囲の画像をしかも高解像度で得ることが可能となる。このような連結画像はしばしば作成される。連結画像を取得するための制御パラメータに限らず、多点撮影の対象となる撮影位置などを、ナビゲーション画像と重ね合わせて表示したり、ホルダー画像と重ね合わせて表示したりできれば、ユーザーは実行しようとする撮影内容が自分の意図したものであるかを容易に確認できよう。
ナビゲーション画像の作成方法の一つとして複数の観察画像(視野画像)を連結して1つの画像を作成する画像連結についてすでに説明した。そもそも画像連結は、高倍率の対物レンズで取得した観察画像をつなぎ合わせて1つの連結画像を作成する手法である。これにより、低倍率の対物レンズでカバーできる視野範囲と同等の視野範囲の画像をしかも高解像度で得ることが可能となる。このような連結画像はしばしば作成される。連結画像を取得するための制御パラメータに限らず、多点撮影の対象となる撮影位置などを、ナビゲーション画像と重ね合わせて表示したり、ホルダー画像と重ね合わせて表示したりできれば、ユーザーは実行しようとする撮影内容が自分の意図したものであるかを容易に確認できよう。
図17は、連結範囲を示す連結範囲枠1701をナビゲーション画像302に対して重ねて表示する一例を示している。撮影制御部401は、操作部33を通じてユーザーによって指定される連結範囲の座標データを制御パラメータの一部として記憶装置31に記憶する。ナビゲーション画像表示部404は連結範囲の座標データを読み出して連結範囲枠1701の表示データを作成し、ナビゲーション画像302にオーバーレイ表示する。撮影制御部401は、連結範囲の座標データに基づき連結画像を作成するために必要となる複数の観察画像の座標データを求め、顕微鏡1の制御部20に制御信号として送信する。制御部20は制御信号にしたがって撮影装置18とXYステージ6を制御し、必要となる複数の観察画像を取得し、それぞれの画像信号を制御装置2に転送する。CPU30は、複数の観察画像を連結し、ユーザーにより指定された連結範囲の連結画像を作成する。
図18は、ホルダー画像1200に対して連結範囲を示す3つの連結範囲枠1701を重ねて表示する一例を示している。撮影制御部401は、操作部33を通じてユーザーによって指定される連結範囲の座標データを制御パラメータの一部として記憶装置31に記憶する。ナビゲーション画像表示部404は連結範囲の座標データを読み出して連結範囲枠1701の表示データを作成し、ナビゲーション画像302にオーバーレイ表示する。撮影の手順は図17に関して説明したとおりである。ここでは、プレパラートホルダーを一例としているが、ディッシュホルダーなど他の容器セットであっても本実施例は適用可能である。
ここでは連結画像を作成するための連結範囲をユーザーに対して視覚的にわかりやすいように表示する例を示したが、上述したように多点撮影の撮影ポイント示すマークなどをナビゲーション画像302やホルダー画像1200に対してオーバーレイ表示してもよい。
[ナビゲーション画像の他の例]
図19は、ナビゲーション画像表示エリア301の他の例を示す図である。上述した実施例ではナビゲーション画像302として直接的に連結画像を使用する例について説明した。一方、図19では、連結画像表示エリア1900、連結範囲表示エリア1910および要素画像表示エリア1920がナビゲーション画像表示エリア301に設けられている。
図19は、ナビゲーション画像表示エリア301の他の例を示す図である。上述した実施例ではナビゲーション画像302として直接的に連結画像を使用する例について説明した。一方、図19では、連結画像表示エリア1900、連結範囲表示エリア1910および要素画像表示エリア1920がナビゲーション画像表示エリア301に設けられている。
ナビゲーション画像表示部404は、連結画像表示エリア1900に連結画像1901を表示する。ナビゲーション画像表示部404は、連結範囲表示エリア1910に連結画像に含まれる各要素画像を示す複数の矩形1911を表示する。ユーザーは操作部33を操作して複数の矩形1911のうち、要素画像表示エリア1920に表示すべき要素画像に対応した矩形1912を指定する。ナビゲーション画像表示部404は操作部33を通じて指定された矩形1912については色を変えたりマーク付与したりするなどの強調表示を行う。ナビゲーション画像表示部404は、連結範囲表示エリア1910においてどの矩形が指定されたかを検出し、検出した矩形の座標に対応する要素画像1921を記憶装置31から読み出し、要素画像表示エリア1920に表示する。さらに、ナビゲーション画像表示部404は、顕微鏡1に設定されている現在の視野範囲を示すために視野範囲枠303を要素画像1921に重ね合わせて表示する。
このように、ナビゲーション画像表示部404は、連結画像と、その連結範囲と、要素画像とを個別に表示し、要素画像において視野範囲を明示する。これにより、連結画像上に直接的に視野範囲を矩形枠で表示する場合と比較して、ユーザーは、より的確に現在の視野範囲を把握できるようになろう。
なお、観察位置指定部412が連結範囲表示エリア1910において操作部33に連動して移動するポインタのホバーやクリックを検知すると、その時のポインタの位置を、ナビゲーション画像表示部404とステージ制御部408に通知する。ナビゲーション画像表示部404は、ポインタの座標データに基づきポインタによって指定されている矩形に対応した要素画像を記憶装置31から読み出して要素画像表示エリア1920に表示される要素画像を更新してもよい。ステージ制御部408は、ポインタの座標を写像変換してXYステージ6上の観察位置の座標に変換し、制御部20に送信する。制御部20は、観察位置の座標にしたがってモータ群21を駆動してXYステージ6を次の観察位置に移動させる。視野範囲枠303は観察位置の座標にしたがって表示される。これにより、次の観察位置に指定も容易となる。
図20は、ユーザーが手動でXYステージ6を移動させることに連動して視野範囲枠303が右方に移動したことを示している。ナビゲーション画像表示部404は、ステージ座標取得部409によって取得されたXYステージ6の座標データに連動して視野範囲枠303の表示座標を決定して表示する。しかし、ユーザーがさらに右方に視野範囲枠303を移動させると現在の要素画像の外側に視野範囲が移動してしまうことになる。そこで、ナビゲーション画像表示部404は、XYステージ6の座標データに応じて要素画像1921を切り替えてもよい。視野範囲枠303が要素画像表示エリア1920を逸脱したことを検知すると、ナビゲーション画像表示部404は、XYステージ6の座標データに対応した別の要素画像の画像データを記憶装置31から読み出して、要素画像表示エリア1920に表示する。
図21は、XYステージ6の座標データに応じて別の要素画像1921が表示された例を示している。なお、ナビゲーション画像表示部404は、要素画像を変更する際に、要素画像の位置を示す矩形1912の表示もXYステージ6の座標データに基づき更新する。
このように、XYステージ6の移動により現在の要素画像の範囲から観察位置が外れたときには次の観察位置に対応した要素画像に切り替わることで、ユーザーは、常にどの箇所を観察中なのかを把握しやすくなろう。
なお、連結画像表示エリア1900と連結範囲表示エリア1910とを重ね合わせて一つ表示エリアとしてもよい。つまり、連結画像1901に対して各要素画像を示す複数の矩形1911、1912がオーバーラップして表示されるため、現在の視野範囲をさらに把握し易くなろう。
ナビゲーション画像は純粋な連結画像としての利用価値も高い。そこで、ナビゲーション画像作成部410が作成したナビゲーション画像はナビゲーション画像データ434として記憶装置31に保存され、ナビゲーション用や観察用に再利用されてもよい。ナビゲーション画像の再利用や自動切り替えを使用することは、毎日継続して試料3を観察するときに特に有用であろう。たとえばウェルなどを使って試料3の経時変化を把握する場合には、同じウェルを使用して毎日その変化を観察することになる。よって、同じナビゲーション画像が繰り返し使用可能であり、毎回、ナビゲーション画像を作成する手間を省けるであろう。また、XYステージ6の移動に応じて自動でナビゲーション画像が切り替わるため、従来よりもユーザーの観察効率を上げることができよう。ナビゲーション画像を撮影したときの設定(制御パラメータ)はメタデータ432として保存されるため、撮影制御部401がこれを読み出して顕微鏡1に再設定すれば、毎回同じ設定で試料3の状態を撮影できるようになろう。
[まとめ]
以上説明したように本実施例によれば、顕微鏡システム100はXYステージ6に対する対物レンズの観察位置を判別し、観察位置に対応したナビゲーション画像を選択し、観察位置を中心とする顕微鏡1の視野範囲を示す図形をナビゲーション画像に重ね合わせて表示する。これによりナビゲーション画像を選択する際のユーザーの負担が軽減される。また、ナビゲーション画像に視野範囲枠303が示されるため、ユーザーは現在の視野範囲とナビゲーション画像との関係を容易に把握できるようになろう。
以上説明したように本実施例によれば、顕微鏡システム100はXYステージ6に対する対物レンズの観察位置を判別し、観察位置に対応したナビゲーション画像を選択し、観察位置を中心とする顕微鏡1の視野範囲を示す図形をナビゲーション画像に重ね合わせて表示する。これによりナビゲーション画像を選択する際のユーザーの負担が軽減される。また、ナビゲーション画像に視野範囲枠303が示されるため、ユーザーは現在の視野範囲とナビゲーション画像との関係を容易に把握できるようになろう。
選択部403は、視野範囲の座標とナビゲーション画像の座標とを比較し、視野範囲の画像の少なくとも一部を含むナビゲーション画像を記憶装置31に記憶されている複数のナビゲーション画像から選択してもよい。これにより、視野範囲に関連したナビゲーション画像を容易に選択できるようになろう。
視野範囲に関連した複数のナビゲーション画像が記憶装置31に記憶されている場合がある。このような場合に選択部403は複数のナビゲーション画像のそれぞれに予め付与されている優先度または複数のナビゲーション画像のそれぞれのメタデータから算出された優先度に応じて記憶装置31に記憶されている複数のナビゲーション画像からナビゲーション画像表示部404に表示するナビゲーション画像を選択してもよい。このように複数の表示候補が存在する場合は何らかの手法で1つに絞り込む必要がある。そこで、CPU30は、ユーザーの指示によって各ナビゲーション画像に予め優先度を付与したり、上述した距離計算に基づいて優先度を付与したりしてもよい。これにより、ユーザーが希望するものや観察位置から最も距離の近いナビゲーション画像を選択できるようになろう。なお、CPU30は、視野範囲と各ナビゲーション画像との重複面積に応じて優先度を決定してもよい。
ナビゲーション画像のメタデータにはナビゲーション画像の基準座標を示す座標データが含まれていてもよい。選択部403は、複数のナビゲーション画像のそれぞれの基準座標のうち、XYステージ6の可動範囲内での位置を示すステージ座標(観察位置の座標)に対して最も近い基準座標のナビゲーション画像を選択してもよい。これにより距離的に関連性の高いナビゲーション画像を選択できるようになろう。
基準座標はナビゲーション画像の重心座標であってもよい。ナビゲーション画像は撮影装置18によって取得された複数の画像を渦巻状に連結して生成された連結画像であってもよい。この場合、基準座標は、渦巻状に複数の画像を連結した際の最初の画像の中心の座標であってもよい。この場合、基準座標はナビゲーション画像の中心または中心近くに位置するため、視野範囲のすべてがナビゲーション画像に含まれやすくなろう。
ナビゲーション画像表示部404は、観察位置の移動に応じてナビゲーション画像を連動して移動してもよい。上述したように手動でXYステージ6が移動されたときに観察位置は移動する。また、ユーザインタフェースのXYカーソルをポインタで操作することでXYステージ6が電動で移動されたときも観察位置は移動する。よって、観察位置は視野範囲の中心位置である。そこで、XYステージ6に応じて視野範囲を示す図形を移動させることで、ナビゲーション画像に対してどのように観察位置が変化するかを視覚的にユーザーは把握できるようになる。
ところで、観察位置が少しでも変更されるとすぐにナビゲーション画像を変更してしまうとユーザーの操作性を損なうことがある。よって、観察位置が移動したことに加えて追加の条件を課してナビゲーション画像の切り替えを許可してもよい。制御装置2は、ナビゲーション画像表示部404が表示するナビゲーション画像の切り替え条件が満たされているかどうかを判定してもよい。選択部403は、切り替え条件が満たされていると切り替え判定部405が判定すると、ナビゲーション画像を切り替え、切り替え条件が満たされてないと切り替え判定部405が判定すると、ナビゲーション画像を切り替えない。たとえば、観察位置が移動したとしても当該観察位置に対応した視野範囲が、ナビゲーション画像表示部404に表示されているナビゲーション画像に含まれている場合、選択部403は別のナビゲーション画像の選択を実行しない。また、観察位置が移動したことで当該観察位置に対応した視野範囲がナビゲーション画像表示部404によって表示されているナビゲーション画像に含まれていなくなった場合、選択部403は、別のナビゲーション画像の選択を実行してもよい。これによって、ナビゲーション画像の頻繁な切り替えを抑制することが可能となろう。
視野範囲がナビゲーション画像表示部404に表示されているナビゲーション画像の範囲外になると、ナビゲーション画像表示部404は、ナビゲーション画像の範囲外を観察していることを示すメッセージを出力してもよい。たとえば、ユーザーがXYステージ6を急激に移動させると、ナビゲーション画像の作成が間に合わないことがある。この場合に、警告メッセージを表示することで、ユーザーはナビゲーション画像が作成されていないエリアに観察位置が存在していることを認識しやすくなろう。
ナビゲーション画像作成部410が新たなナビゲーション画像を作成している最中には、選択部403は、別のナビゲーション画像を選択しない。このよう場合に視野範囲との関連性が低いナビゲーション画像を表示してしまうとユーザーを混乱させることもあろう。よって、このよう場合にはナビゲーション画像を表示しないことで、ユーザーの混乱を軽減できよう。また、ナビゲーション画像の不意の切り替えに起因するユーザーの操作感の低下を招きにくくなろう。
ナビゲーション画像作成部410は、ナビゲーション画像を作成する際に、撮影装置18の撮影時間を短縮するよう撮影装置18のゲインやビニングなどの制御パラメータを調整してもよい。たとえば、ナビゲーション画像作成部410は、ナビゲーション画像を作成する際に、連結画像のつなぎ目を目立ちにくくするつなぎ目補正やシェーディング補正(光源の光量ムラを低減する画像処理)などの画像処理を省略してもよい。ナビゲーション画像は視野範囲を含むエリアを俯瞰するものにすぎず、観察目的で使用されることは少ないと考えられる。よって、ナビゲーション画像については画像の精緻さなどは要求されにくく、作成時間の短縮化が要求される。そこで、画像の精緻さを向上させるような作業工程を省略することで、作成時間を短縮できる。
図17や図18を用いて説明したように、ナビゲーション画像表示部404は、ナビゲーション画像に重ね合わせて、複数の画像を連結する連結範囲を表示してもよい。これにより、ユーザーは連結範囲を視覚的に把握しやすくなろう。
制御装置2は、顕微鏡1からXYステージ6の座標を取得するステージ座標取得部409をさらに備えていてもよい。観察位置判別部402は、XYステージ6の座標に基づき対物レンズの観察位置を判別してもよい。
ナビゲーション画像やホルダー画像において次の観察位置がユーザーによって指定されると、ステージ制御部408は次の観察位置にXYステージ6を移動させてもよい。つまり、ナビゲーション画像やホルダー画像は次の観察位置を指定するために目安としても役立つであろう。
図9ないし図11を用いて説明したように制御装置2は、容器画像においてナビゲーション画像の作成位置を指定する作成位置指定部411をさらに有していてもよい。ナビゲーション画像作成部410は、作成位置指定部411により指定された作成位置を含むようにナビゲーション画像を作成してもよい。ホルダー画像は試料3を保持している容器を示している。よってホルダー画像上で作成位置を指定すれば、ユーザーにとってはナビゲーション画像の作成位置を視覚的に確認できて便利であろう
Claims (23)
- 顕微鏡と当該顕微鏡を制御する制御装置とを有する顕微鏡システムであって、
前記顕微鏡は、
試料に照明光を照射する光源と、
対物レンズと、
前記試料を載置する載置手段と、
前記試料と前記対物レンズとを、前記対物レンズの光軸と直交したXY方向に相対的に移動させるか、前記光軸と平行に相対的に移動させる移動制御手段と、
前記対物レンズを通じて前記試料を撮影する撮影装置と
を有し、
前記制御装置は、
前記載置手段に対する前記対物レンズのXY方向の観察位置を判別する判別手段と、
前記判別手段により判別された前記観察位置に対応したナビゲーション画像を選択する選択手段と、
前記観察位置を中心とする前記顕微鏡の視野範囲を示す図形を前記選択手段により選択されたナビゲーション画像に重ね合わせて表示するナビゲーション画像表示手段と
を有することを特徴とする顕微鏡システム。 - 前記制御装置は、複数のナビゲーション画像を記憶した記憶手段をさらに有し、
前記選択手段は、前記視野範囲の座標と前記ナビゲーション画像の座標とを比較し、前記視野範囲の画像の少なくとも一部を含むナビゲーション画像を前記記憶手段に記憶されている前記複数のナビゲーション画像から選択することを特徴とする請求項1に記載の顕微鏡システム。 - 前記選択手段は、前記視野範囲に関連した複数のナビゲーション画像が前記記憶手段に記憶されている場合、前記複数のナビゲーション画像のそれぞれに予め付与されている優先度または前記複数のナビゲーション画像のそれぞれのメタデータから算出された優先度に応じて前記記憶手段に記憶されている前記複数のナビゲーション画像から前記ナビゲーション画像表示手段に表示するナビゲーション画像を選択することを特徴とする請求項2に記載の顕微鏡システム。
- 前記メタデータにはナビゲーション画像の基準座標を示す座標データが含まれており、
前記選択手段は、前記複数のナビゲーション画像のそれぞれの基準座標のうち、前記載置手段の可動範囲内での位置を示す座標に対して最も近い基準座標のナビゲーション画像を選択することを特徴とする請求項3に記載の顕微鏡システム。 - 前記基準座標はナビゲーション画像の重心座標であることを特徴とする請求項4に記載の顕微鏡システム。
- 前記ナビゲーション画像は、前記撮影装置によって取得された複数の画像を渦巻状に連結して生成された画像であり、
前記基準座標は、前記渦巻状に前記複数の画像を連結した際の最初の画像の中心の座標であることを特徴とする請求項4に記載の顕微鏡システム。 - 前記ナビゲーション画像表示手段は、前記観察位置の移動に応じて前記視野範囲を示す図形を連動して移動することを特徴とする請求項1ないし6のいずれか1項に記載の顕微鏡システム。
- 前記制御装置は、前記ナビゲーション画像表示手段が表示するナビゲーション画像の切り替え条件が満たされているかどうかを判定する判定手段をさらに有し、
前記選択手段は、前記切り替え条件が満たされていると前記判定手段が判定すると、前記ナビゲーション画像を切り替え、前記切り替え条件が満たされてないと前記判定手段が判定すると、前記ナビゲーション画像を切り替えないことを特徴とする請求項1ないし7のいずれか1項に記載の顕微鏡システム。 - 前記観察位置が移動したとしても当該観察位置に対応した視野範囲が、前記ナビゲーション画像表示手段に表示されているナビゲーション画像に含まれている場合、前記ナビゲーション画像の切り替えを抑制するために、前記選択手段は、別のナビゲーション画像の選択を実行せず、
前記観察位置が移動したことで当該観察位置に対応した視野範囲が、前記ナビゲーション画像表示手段に表示されているナビゲーション画像に含まれていなくなった場合、前記選択手段は、別のナビゲーション画像の選択を実行することを特徴とする請求項8に記載の顕微鏡システム。 - 前記視野範囲が前記ナビゲーション画像表示手段に表示されているナビゲーション画像の範囲外になると、前記ナビゲーション画像表示手段は、ナビゲーション画像の範囲外を観察していることを示すメッセージを出力することを特徴とする請求項1ないし9のいずれか1項に記載の顕微鏡システム。
- 前記撮影装置によって取得された画像からナビゲーション画像を作成する作成手段を更に有し、
該作成手段により作成されたナビゲーション画像を、前記顕微鏡に設定した制御パラメータに関連付けて前記記憶手段に記憶し、
前記制御装置は、該記憶手段に記憶されたナビゲーション画像を読み出して、前記ナビゲーション画像表示手段に表示するとともに、読み出されたナビゲーション画像に関連付けられた制御パラメータを設定する請求項1乃至10のいずれか1項に記載の顕微鏡システム。 - 前記撮影装置によって取得された画像からナビゲーション画像を作成する作成手段をさらに有し、
前記作成手段が新たなナビゲーション画像を作成している最中には、前記選択手段は、別のナビゲーション画像を選択しないことを特徴とする請求項1ないし10のいずれか1項に記載の顕微鏡システム。 - 前記作成手段は、前記ナビゲーション画像を作成する際に、前記撮影装置の露光時間、ゲイン、ビニングの少なくともいずれか一つを調整することにより該撮影装置の撮影時間を短縮するよう前記撮影装置の制御パラメータを調整することを特徴とする請求項12に記載の顕微鏡システム。
- 前記作成手段は、前記ナビゲーション画像を作成する際に、つなぎ目補正やシェーディング補正などの画像処理を省略することを特徴とする請求項13に記載の顕微鏡システム。
- 前記ナビゲーション画像表示手段は、前記ナビゲーション画像に重ね合わせて、複数の画像を連結する連結範囲を表示することを特徴とする請求項1ないし14のいずれか1項に記載の顕微鏡システム。
- 前記制御装置は、前記顕微鏡から前記載置手段の座標を取得する座標取得手段をさらに備え、
前記判別手段は、前記載置手段の座標に基づき前記対物レンズの観察位置を判別することを特徴とする請求項1ないし15のいずれか1項に記載の顕微鏡システム。 - 前記制御装置は、
次の観察位置を指定する観察位置指定手段と、
前記観察位置指定手段により指定された前記次の観察位置に前記載置手段または前記対物レンズが到達すると前記撮影装置に視野範囲の画像を取得させる撮影制御手段と、
前記撮影装置によって取得された前記視野範囲の画像を表示する視野画像表示手段と
を有することを特徴とする請求項1ないし16のいずれか1項に記載の顕微鏡システム。 - 前記制御装置は、前記試料を収容する容器を模した容器画像を表示する容器画像表示手段を有し、
前記観察位置指定手段は、前記容器画像において前記次の観察位置を指定することを特徴とする請求項17に記載の顕微鏡システム。 - 前記制御装置は、前記容器画像においてナビゲーション画像の作成位置を指定する作成位置指定手段をさらに有し、
前記作成位置指定手段により指定された作成位置を含むように前記ナビゲーション画像が作成されることを特徴とする請求項18に記載の顕微鏡システム。 - 前記観察位置指定手段は、前記ナビゲーション画像表示手段により表示されているナビゲーション画像において前記次の観察位置を指定することを特徴とする請求項17に記載の顕微鏡システム。
- 試料に照明光を照射する光源と、対物レンズと、前記試料を載置する載置手段と、前記試料と前記対物レンズとを、前記対物レンズの光軸と直交したXY方向に相対的に移動させるか、前記光軸と平行に相対的に移動させる移動制御手段と、前記対物レンズを通じて前記試料を撮影する撮影装置とを有する顕微鏡を制御する制御装置であって、
前記載置手段に対する前記対物レンズのXY方向の観察位置を判別する判別手段と、
前記判別手段により判別された前記観察位置に対応したナビゲーション画像を選択する選択手段と、
前記観察位置を中心とする前記顕微鏡の視野範囲を示す図形を前記選択手段により選択されたナビゲーション画像に重ね合わせて表示するナビゲーション画像表示手段と
を有することを特徴とする制御装置。 - 試料に照明光を照射する光源と、対物レンズと、前記試料を載置する載置手段と、前記試料と前記対物レンズとを、前記対物レンズの光軸と直交したXY方向に相対的に移動させるか、前記光軸と平行に相対的に移動させる移動制御手段と、前記対物レンズを通じて前記試料を撮影する撮影装置とを有する顕微鏡を制御する制御方法であって、
前記載置手段に対する前記対物レンズのXY方向の観察位置を判別する判別工程と、
前記判別工程において判別された前記観察位置に対応したナビゲーション画像を選択する選択工程と、
前記観察位置を中心とする前記顕微鏡の視野範囲を示す図形を前記選択工程おいて選択されたナビゲーション画像に重ね合わせて表示するナビゲーション画像表示工程と
を有することを特徴とする制御方法。 - 請求項22に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013221500A JP2015082099A (ja) | 2013-10-24 | 2013-10-24 | 顕微鏡を制御する制御装置、顕微鏡システム、制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013221500A JP2015082099A (ja) | 2013-10-24 | 2013-10-24 | 顕微鏡を制御する制御装置、顕微鏡システム、制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015082099A true JP2015082099A (ja) | 2015-04-27 |
Family
ID=53012697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013221500A Pending JP2015082099A (ja) | 2013-10-24 | 2013-10-24 | 顕微鏡を制御する制御装置、顕微鏡システム、制御方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015082099A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019074669A (ja) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | 拡大観察装置 |
JP2019139131A (ja) * | 2018-02-14 | 2019-08-22 | オリンパス株式会社 | 顕微鏡システム、表示制御方法、及び、プログラム |
JPWO2021117244A1 (ja) * | 2019-12-13 | 2021-06-17 | ||
JP2022537657A (ja) * | 2019-06-04 | 2022-08-29 | エスエムアイ・ドラッグ・ディスカバリー・リミテッド | 光学顕微鏡 |
CN118642262A (zh) * | 2024-08-14 | 2024-09-13 | 浙江大学 | 一种用于显微操作系统的末端执行器尖端自动初始化定位装置及方法 |
-
2013
- 2013-10-24 JP JP2013221500A patent/JP2015082099A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019074669A (ja) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | 拡大観察装置 |
JP7023667B2 (ja) | 2017-10-17 | 2022-02-22 | 株式会社キーエンス | 拡大観察装置 |
JP2019139131A (ja) * | 2018-02-14 | 2019-08-22 | オリンパス株式会社 | 顕微鏡システム、表示制御方法、及び、プログラム |
JP7060394B2 (ja) | 2018-02-14 | 2022-04-26 | オリンパス株式会社 | 顕微鏡システム、表示制御方法、及び、プログラム |
JP2022537657A (ja) * | 2019-06-04 | 2022-08-29 | エスエムアイ・ドラッグ・ディスカバリー・リミテッド | 光学顕微鏡 |
JPWO2021117244A1 (ja) * | 2019-12-13 | 2021-06-17 | ||
WO2021117244A1 (ja) * | 2019-12-13 | 2021-06-17 | オリンパス株式会社 | 顕微鏡検査装置およびナビゲーション方法 |
US11887327B2 (en) | 2019-12-13 | 2024-01-30 | Evident Corporation | Microscopic examination device and navigation method |
CN118642262A (zh) * | 2024-08-14 | 2024-09-13 | 浙江大学 | 一种用于显微操作系统的末端执行器尖端自动初始化定位装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9007452B2 (en) | Magnification observation device, magnification observation method, and magnification observation program | |
Edelstein et al. | Advanced methods of microscope control using μManager software | |
JP4970869B2 (ja) | 観察装置および観察方法 | |
EP2992377B1 (en) | Adjustable digital microscope display | |
JP5157901B2 (ja) | 観察装置 | |
JP5863357B2 (ja) | 拡大観察装置、並びに、拡大観察装置の画像表示方法及び検鏡法切換方法 | |
EP2328009B1 (en) | Microscope system, storage medium in which control program therefor is stored, and control method therefor | |
JP2015082099A (ja) | 顕微鏡を制御する制御装置、顕微鏡システム、制御方法およびプログラム | |
JP2007316258A (ja) | 顕微鏡システム、顕微鏡画像の合成方法、及びプログラム | |
EP2804145B1 (en) | Microscope system and stitched area decision method | |
US20120293864A1 (en) | Microscope system | |
JP2015082095A (ja) | 画像処理装置、顕微鏡システム、画像処理方法およびプログラム | |
JP6327829B2 (ja) | 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム | |
JP2015082098A (ja) | 顕微鏡を制御する制御装置、容器ホルダー、顕微鏡システム、制御方法およびプログラム | |
JP2008158379A (ja) | 顕微鏡装置、コントローラ、及びプログラム | |
JP2009162974A (ja) | 顕微鏡システム及びその制御方法 | |
JP5192965B2 (ja) | 顕微鏡システム、該制御プログラム、及び該制御方法 | |
JP2010078983A (ja) | 顕微鏡システム、該プログラム、及び該方法 | |
JP2004004856A (ja) | 顕微鏡システム | |
JP6246551B2 (ja) | 制御装置、顕微鏡システム、制御方法およびプログラム | |
JP2019159092A (ja) | 顕微鏡システム、画像解析装置および画像解析方法 | |
JP4979464B2 (ja) | 顕微鏡装置、該制御プログラム、及び該制御方法 | |
JP7251957B2 (ja) | 拡大観察装置 | |
JP6635893B2 (ja) | 拡大観察装置 | |
JP6378869B2 (ja) | 顕微鏡、顕微鏡システム、制御方法およびプログラム |