JP2023045793A - 顕微鏡補助装置、顕微鏡補助装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】操作手段が視野範囲外に移動したことに起因する作業者の手間を軽減することができる顕微鏡補助装置を提供する。
【解決手段】顕微鏡補助装置２００は、顕微鏡１００及び表示手段３００と接続されている。顕微鏡補助装置２００は、顕微鏡１００で観察する対象物１０３を操作する操作手段１０Ｌ，１０Ｒと、操作手段１０Ｌ，１０Ｒが対象物１０３を操作する様子を撮像した画像５１１を表示手段３００に表示させる制御を行う制御手段２とを備える。制御手段２は、顕微鏡１００の視野に相当する表示手段３００における視野範囲１６を取得し、視野範囲１６外に移動した操作手段１０Ｌ，１０Ｒの位置を示すラベル５１２，５１３を画像５１１に重畳表示させる。
【選択図】図５

Description

本発明は、顕微鏡補助装置、顕微鏡補助装置の制御方法、及びプログラムに関する。

ライフサイエンス分野や微細加工分野では、顕微鏡を用いて様々な作業が行われる。顕微鏡を用いた作業として、例えば、細胞を選り分ける作業、プローブにより微小部分の電位を測定する作業、細胞内に機械的に外部から物質を挿入する作業、半導体素子に混入した異物をピックアップする作業が挙げられる。また、不妊治療の手段として卵子の中に機械的に外部から精子を注入する作業を行う顕微授精も、顕微鏡を用いた作業の代表的な例である。

対象物に機械的操作を行うためのピペット、プローブ、ピンセット等の操作手段（以下、単に「操作手段」という。）を三次元方向に移動させるために、操作手段可動部を含む顕微鏡補助装置が顕微鏡に取り付けられて使用される。この顕微鏡補助装置は通常「マイクロマニピュレータ」又は単に「マニピュレータ」等と呼ばれている。

顕微鏡補助装置の操作手段可動部は、取り付けられた操作手段を三次元方向に移動させるための複数のアクチュエータを組み合わせて構成される。三次元方向とは、フォーカス調整のための光軸方向と、光軸方向に直交する平面方向の移動を合わせた、いわゆるＸＹＺの三次元方向である。しかし、顕微鏡で観察可能な視野は高倍率のレンズを使用する程限定され、限定された視野状況で操作手段を所望の位置に移動させることは非常に難しく、熟練の作業者が経験に基づいて作業を行っている。これに対し、顕微鏡補助装置の操作性を向上させる技術として、特許文献１，２の技術が提案されている。特許文献１では、顕微鏡補助装置の先端の高さ位置が、画像上に重畳表示される。これにより、作業者は二次元の画像から読み取ることが難しい高さ位置を把握することができ、操作性が向上する。また、特許文献２では、顕微鏡における合焦位置に基づいて容器と操作手段の相対位置関係を取得して操作手段が容器底面に接触しないように制御される。これにより、操作手段が容器底面に接触して破損するのを防止可能となる。

特開平７－２８７１７２号公報 特開平６－１６７６５６号公報

上述したように限定された視野状況で操作手段を所望の位置に移動させることは非常に難しいため、上述した特許文献１，２の技術を用いても、作業者の誤操作により操作手段が視野範囲外に移動してしまうことがある。操作手段が視野範囲外に移動すると、作業者は、上記操作手段を視野範囲に戻すために、対物レンズの倍率を切り替える、ピントの位置を変更する、操作手段を移動させる等の様々な操作を行って、上記操作手段を探し出す必要があり、手間が生じる。

本発明の目的は、操作手段が視野範囲外に移動したことに起因する作業者の手間を軽減することができる顕微鏡補助装置、顕微鏡補助装置の制御方法、及びプログラムを提供することにある。

上記目的を達成するために、本発明の顕微鏡補助装置は、顕微鏡及び表示装置に接続された顕微鏡補助装置であって、前記顕微鏡で観察する対象物を操作する操作手段と、前記操作手段が前記対象物を操作する様子を撮像した画像を前記表示装置に表示させる制御を行う制御手段と、前記顕微鏡の視野に相当する前記表示装置における視野範囲を取得する取得手段とを備え、前記制御手段は、前記視野範囲外に移動した操作手段の位置を示す情報を前記画像に重畳表示させることを特徴とする。

本発明によれば、操作手段が視野範囲外に移動したことに起因する作業者の手間を軽減することができる。

本発明の実施の形態に係る顕微鏡補助装置の構成を概略的に示す構成図である。 図１の操作手段の外観図である。 本実施の形態における作業時の視野範囲を示す図である。 図１の制御手段によって実行される表示制御処理の手順を示すフローチャートである。 視野範囲における操作手段の位置とその時に表示手段に表示される画面の一例を示す図である。 第２の実施形態に係る顕微鏡補助装置の制御手段によって実行される操作手段移動制御処理の手順を示すフローチャートである。 視野範囲における操作手段の位置とその時に表示手段に表示される画面の一例を示す図である。

以下、本発明の実施の形態について図面を参照しながら詳述する。まず、本発明の第１の実施の形態に係る顕微鏡補助装置及びその制御方法について説明する。

図１は、本発明の実施の形態に係る顕微鏡補助装置２００の構成を概略的に示す構成図である。なお、図１では理解を容易にするために、一部の部品が省略されており、また、内部の構成が透過して示される。図１は、顕微鏡補助装置２００が顕微鏡１００に接続された状態を示す。なお、本実施の形態では、顕微鏡１００と顕微鏡補助装置２００が別々の装置である構成について説明するが、この構成に限られず、顕微鏡１００と顕微鏡補助装置２００が一体型の構成であってもよい。図１（ａ）は、顕微鏡１００と顕微鏡補助装置２００の正面図である。図１（ｂ）は、顕微鏡１００の側面図である。第１の実施形態では、ユーザが表示手段３００を見ながら操作手段１０Ｌ，１０Ｒを使用して対象物１０３を操作する顕微鏡補助システムについて説明する。本実施の形態では、表示手段３００はモニタとして記述し、主にライフサイエンス分野で細胞等を操作する際に使用される系を用いて説明するがあくまで例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。本実施の形態の座標系について、Ｚ方向は、顕微鏡１００の光軸に沿い且つ顕微鏡１００を正面から眺めて上方向を正とする方向である。Ｘ方向は、顕微鏡１００の光軸に直交し且つ顕微鏡１００を正面から眺めて右方向を正とする方向である。Ｙ方向は、顕微鏡１００の光軸に直交し且つ顕微鏡１００を正面から眺めた際の視線が向かう方向を正とする方向である。

顕微鏡１００はその上部の照明光学系１０１によって透明の観察皿１０２に置かれた対象物１０３を照明する。作業者は、図１（ｂ）の接眼レンズ１０４ｂを覗き込んで対象物１０３を観察する。観察光学系１０４は、対物レンズ１０４ａを透過した光学像を、不図示の他のレンズや屈折光学系を経由して、接眼レンズ１０４ｂで肉眼による観察を可能にしている。顕微鏡１００は、対物レンズ１０４ａをＺ方向に微小移動させることで、ピントの調整を行う。この微小移動は、顕微鏡１００に設けられたノブ１０５を回転させることで行われる。ノブ１０５の回転操作は、不図示の減速伝達機構を介して、対物レンズ１０４ａの微小移動量に変換される仕組みになっている。なお、図示されていないが、顕微鏡１００は、倍率の異なる複数の対物レンズ１０４ａを切り替え可能な構成である。観察光学系１０４は、不図示の分光手段を備え、光学像を撮像手段１０６に結像する。撮像手段１０６は、操作手段１０Ｌ，１０Ｒが対象物１０３を操作する様子を撮像した画像を生成し、当該画像を顕微鏡補助装置２００へ出力する。撮像手段１０６は、専用機器でもよく、一般のデジタルカメラを所定のマウントアダプタを介して取り付けてもよい。

顕微鏡補助装置２００は、一般には「マイクロマニピュレータ」等と呼ばれ、操作手段可動部１Ｌ，１Ｒ、及び制御手段２を備える。操作手段可動部１Ｌ，１Ｒは、それぞれ顕微鏡１００の左右に取り付けられる。操作手段可動部１Ｌは、顕微鏡１００の視野内で対象物１０３を操作するための操作手段１０Ｌを顕微鏡１００のＸＹＺの三次元方向に移動させる。操作手段可動部１Ｒは、顕微鏡１００の視野内で対象物１０３を操作するための操作手段１０Ｒを顕微鏡１００のＸＹＺの三次元方向に移動させる。なお、操作手段可動部１Ｌ，１Ｒは、ヨー、ピッチ、ロールの回転方向の軸を含んでいる構成であってもよく、また、粗動用の高速駆動機構と微動用の高分解能駆動機構を個別に備えている構成であってもよい。

制御手段２は、操作手段可動部１Ｌ，１Ｒの制御を行う。制御手段２は、ＣＰＵ２ａ、駆動回路Ｌ２ｂ、駆動回路Ｒ２ｃ、画像処理回路２ｄ、入力読取回路２ｅ、及びメモリ２ｆを備える。

ＣＰＵ２ａは、顕微鏡補助装置２００全体を制御する。駆動回路Ｌ２ｂは操作手段可動部１Ｌの三次元方向の移動を制御し、駆動回路Ｒ２ｃは操作手段可動部１Ｒの三次元方向の移動を制御する。操作手段１０Ｌ，１０Ｒをそれぞれ三次元方向に移動させることで、操作手段１０Ｌ，１０Ｒの先端を利用して対象物１０３を自在に操作することができる。

画像処理回路２ｄは、撮像手段１０６によって取得された画像に画像処理を施し、画像処理済みの画像を表示手段３００に出力する。入力読取回路２ｅは、入力手段２０Ｌ，２０Ｒからそれぞれ取得した操作手段１０Ｌ，１０Ｒの移動方向や移動量を示す情報（以下、「操作手段移動関連情報」という。）をＣＰＵ２ａへ伝達する。メモリ２ｆは、ＣＰＵ２ａが実行するプログラム等を格納する記憶部である。顕微鏡補助装置２００は、制御手段２を用いて、顕微鏡１００から得られる画像を参照して操作手段可動部１Ｌ，１Ｒの移動量を制御する。

入力手段２０Ｌ，２０Ｒは、一般には「ジョイスティック」等と呼ばれる。作業者は、入力手段２０Ｌに操作手段１０Ｌの移動方向と移動量を入力し、入力手段２０Ｒに操作手段１０Ｒの移動方向と移動量を入力する。例えば、作業者は、入力手段２０Ｌ，２０Ｒの上端を前後左右に変位させることでＸＹ方向の移動量を入力することができ、また、入力手段２０Ｌ，２０Ｒの上端を回転させることでＺ方向の移動量を入力することができる。なお、本実施の形態では、入力手段２０Ｌ，２０Ｒの下端が支持され、これらの上端を操作する構成となっているが、この構成に限られず、入力手段２０Ｌ，２０Ｒの上端が支持され下端を操作するように吊り下げられた構成でもよい。また、ボタン、ダイヤル、タッチパネル等と組み合わせた構成であってもよい。

以上の構成により、作業者は、接眼レンズ１０４ｂを覗きながら、又は表示手段３００を見ながら、入力手段２０Ｌ，２０Ｒを操作して、所望の位置に操作手段１０Ｌ，１０Ｒを移動させることができる。また、本実施の形態では、設定されたプログラムに従って、操作手段１０Ｌ，１０Ｒをそれぞれ自動で三次元方向に移動させる等の自動動作も可能である。

次に、操作手段１０Ｒ，１０Ｌの構成について説明する。なお、本実施の形態では、操作手段１０Ｒ，１０Ｌは同様の構成であり、以下では、一例として、操作手段１０Ｒを用いてその構成を説明する。

図２は、図１の操作手段１０Ｒの外観図である。図２（ａ）は、操作手段１０Ｒの先端付近の外観図である。図２（ｂ）は、図２（ａ）の点線部の断面拡大図である。

１１は操作手段１０Ｒの先端に着脱可能に装着されるピペットである。図２（ａ）に示すように、ピペット１１は、その根本から所定の長さにおいてストレート形状で形成されたピペットストレート部１１ａと、先端に近付くにつれて徐々に細くなるテーパー部１１ｂと、所定の長さのピペット微細ストレート部１１ｃと、ピペット屈曲部１１ｄと、ピペット先端部１１ｅとで構成される。ピペット１１は、図２（ｂ）に示すように、中空形状となっている。このため、気体や液体等の流体を、ピペットストレート部１１ａの端の開口部から、ピペット先端部１１ｅへ流すことが可能となっている。

１２はピペット固定部材である。１３は主軸である。１４は弾性保持部材である。１５はインナーチューブである。弾性保持部材１４はシリコンゴム等の弾性部材でチューブ状に形成されており、両端からインナーチューブ１５とピペット１１を差し込んでこれらを保持することが可能である。また、弾性保持部材１４の内径は、ピペット１１の外径及びインナーチューブ１５の外径よりも小さい。このため、インナーチューブ１５からピペット先端部１１ｅへ流体を漏れなく流すことが可能となっている。主軸１３は、その後端まで中空となっており、インナーチューブ１５を通すことが可能となっている。また、主軸１３の先端には、弾性保持部材１４を保持する空間があり、ピペット１１とインナーチューブ１５を保持した状態を維持可能となっている。また、主軸１３の外側には雄ネジが形成され、固定部材１２の内側には雌ねじが形成されており、十分な強度で固定することが可能である。固定部材１２にはピペット１１を通すための穴が開いており、弾性保持部材１４を固定してピペット１１を保持可能な構成となっている。以上のように、ピペット１１を弾性保持部材１４に差し込んで保持しているため、取り付け誤差を持つ構成になっている。また、ピペット１１の軸方向の寸法は、製造誤差が大きいため、ピペット先端部１１ｅの軸方向の位置については取り付け誤差が大きくなっている。

なお、本実施の形態では、操作手段１０Ｌが操作手段１０Ｒと同様の構成として説明したが、対象物１０３を操作可能な構成であれば操作手段１０Ｌが操作手段１０Ｒと異なる構成であってもよい。

図３は、本実施の形態における作業時の視野範囲を示す図である。図３（ａ）は、撮像手段１０６が撮影した画像を表示手段３００に表示する場合のＸＹ方向の視野範囲を示す図である。観察光学系１０４は、光学像３０１を撮像手段１０６の撮像素子３０２上に結像する。また、デジタルズーム等をＵＩとして提供する場合、表示範囲３０３が実際に表示手段３００に表示される範囲となる。本実施の形態では、作業者が、複数の選択肢の中からＸＹ方向の視野範囲を選択可能なＵＩが提供される。複数の選択肢は、例えば、光学像３０１の全領域に対応する範囲、撮像素子３０２の全領域に対応する範囲、表示範囲３０３、これらの範囲の少なくとも２つの論理積である。これにより、作業者の好みに合った視野範囲が設定され、作業者の操作性が向上する。

図３（ｂ）は、撮像手段１０６が撮影した画像を表示手段３００に表示する場合のＺ方向の視野範囲を示す図である。１０２ｆは作業面であり、本実施の形態では、観察皿１０２の表面である。対象物１０３は、例えば、細胞である。対象物１０３が細胞である場合、作業者は、周囲を媒質で満たして作業を行う。このとき、周囲の媒質の密度を対象物１０３より小さくすることで、対象物１０３を沈めて作業面１０２ｆに接触させることが可能となる。１６は、顕微鏡１００の視野に相当する表示手段３００における視野範囲である。視野範囲１６のＸＹ方向の範囲４０４は、上述したように作業者が複数の選択肢の中から設定した選択肢に対応する範囲である。視野範囲１６のＺ方向の範囲４０５は、操作手段１０Ｒ，１０ＬがＺ方向に移動することで焦点がずれても作業者が認識可能な程度のぼやけ具合となる範囲である。高倍率の対物レンズ１０４ａの被写界深度は、数μｍからサブμｍオーダーになる場合もあり、焦点が合う範囲は極めて小さくなる。また、一般的に被写界深度から外れるに従って物体の像は集光せずにぼやけた像となり、認識が困難になる。

ここで、対象物１０３の形状やどの様に認識を行うかによって、Ｚ方向の視野範囲は異なる。このため、本実施の形態では、作業者にＺ方向の視野範囲を設定させるＵＩが提供される。なお、本実施の形態では、Ｚ方向の視野範囲の設定方法として、Ｚ方向の視野範囲をコントラスト評価値に基づいて設定する方法を用いるが、これに限られない。例えば、Ｚ方向の視野範囲を高さの範囲を示す数値で入力する方法でも良く、また、錯乱円の大きさとして設定する方法でも良い。

また、実際のピペット１１の画像を使用して画像処理を行うことで認識可能範囲を特定し、当該認識可能範囲を視野範囲に設定しても良い。また、顕微鏡１００が倍率が異なる複数の対物レンズ１０４ａをレボルバ等により切り替え可能な構成である場合、各対物レンズ１０４ａに対応する複数の特徴量が予め保持され、複数の対物レンズ１０４ａの中から設定された対物レンズ１０４ａに対応する特徴量を用いて、視野範囲が設定されても良い。特徴量は、倍率、開口数、キャリブレーションによって取得可能な内部パラメータ及び外部パラメータ等である。内部パラメータは、例えば、対物レンズ１０４ａを含む光学系のレンズ歪みを補正するパラメータである。外部パラメータは、例えば、対物レンズ１０４ａを含む光学系の位置関係を補正するパラメータである。

なお、倍率が異なる複数の対物レンズ１０４ａを切り替え可能な構成において、各対物レンズ１０４ａに対してそれぞれ視野範囲を設定する構成であっても良い。また、視野範囲の光軸方向の範囲をコントラスト評価値により設定することで複数の対物レンズ１０４ａに対して一括で視野範囲を設定する構成であっても良い。このように視野範囲を設定可能なＵＩを提供することで、作業者は、目的や作業に合わせて適切な視野範囲を設定可能となる。

図４は、図１の制御手段２によって実行される表示制御処理の手順を示すフローチャートである。図４の表示制御処理は、制御手段２のＣＰＵ２ａがメモリ２ｆに格納されたプログラムを実行することによって実現される。図４の表示制御処理は、例えば、顕微鏡補助装置２００の電源がオンに設定された際に実行される。

図４において、まず、制御手段２は、ステップＳ４０１において、操作手段可動部１Ｌ，１Ｒの制御を開始する。例えば、作業者が入力手段２０Ｌ，２０Ｒの両方を操作した場合、制御手段２は、入力手段２０Ｌ，２０Ｒからそれぞれ取得した操作手段移動関連情報に基づいて、操作手段可動部１Ｌ，１Ｒの制御量を決定する。制御手段２は、決定した制御量に基づいて操作手段可動部１Ｌ，１Ｒの制御を行う。

次いで、ステップＳ４０２では、制御手段２は、操作手段１０Ｌ，１０Ｒのキャリブレーションを完了しているか否かを判別する。操作手段１０Ｌ，１０Ｒのキャリブレーションは、操作手段１０Ｌ，１０Ｒの先端位置と操作手段可動部１Ｌ，１Ｒの制御量を対応付ける処理である。操作手段１０Ｌ，１０Ｒのキャリブレーションは、例えば、操作手段１０Ｌ，１０Ｒの初期調整時に実行される。操作手段１０Ｌ，１０Ｒの初期調整では、作業者が操作手段１０Ｌ，１０Ｒにピペット１１を取り付け、作業者がピペット１１の先端位置を調整した後、操作手段１０Ｌ，１０Ｒのキャリブレーションが実行される。なお、操作手段１０Ｌ，１０Ｒのキャリブレーションの実行タイミングは、操作手段１０Ｌ，１０Ｒの初期調整時に限られず、顕微鏡補助装置２００の起動時、作業開始時等といった別のタイミングであっても良い。

ステップＳ４０２において、操作手段１０Ｌ，１０Ｒのキャリブレーションを完了していないと判別された場合、制御手段２は、ステップＳ４０３において、操作手段１０Ｌ，１０Ｒのキャリブレーションを完了していない旨を通知する。例えば、制御手段２は、操作手段１０Ｌ，１０Ｒのキャリブレーションを完了していない旨を示すポップアップダイアログ等を表示手段３００に表示させる。次いで、表示制御処理はステップＳ４０１へ戻る。

ステップＳ４０２において、操作手段１０Ｌ，１０Ｒのキャリブレーションを完了していると判別された場合、制御手段２は、ステップＳ４０４において、視野範囲１６を取得する。本実施の形態では、撮像手段１０６と観察光学系１０４は事前に所定のキャリブレーションが行われており、画像面上の位置と顕微鏡１００上の位置が一意に対応しており相互に変換可能な状態となっている。このため、制御手段２は、観察光学系１０４の状態と表示範囲３０３から画面上のＸＹ位置を決定し、顕微鏡１００上のＸＹ位置に変換した情報と、観察光学系１０４の状態から顕微鏡１００上のＺ位置に関する情報を得ることで、視野範囲１６を一意に求めることが可能である。例えば、制御手段２は、上述したように作業者がＵＩを操作して複数の選択肢の中から設定した選択肢に基づいて、視野範囲１６のＸＹ方向の範囲４０４を取得する。また、制御手段２は、ノブ１０５を操作して設定されたピント調整のための設定値、及び顕微鏡１００のエンコーダ等の検出器から受信した信号に基づいて特定した対物レンズ１０４ａの倍率を用いて観察光学系１０４の状態を特定し、当該観察光学系１０４の状態に基づいて視野範囲１６のＺ方向の範囲４０５を取得する。これにより、作業者による光学系の切り替えを素早く推定し迅速に視野範囲１６を取得することが可能となる。

次いで、ステップＳ４０５において、制御手段２は、視野範囲１６における操作手段１０Ｌ，１０Ｒの位置を算出する。ここで、上述した操作手段１０Ｌ，１０Ｒのキャリブレーションにより、操作手段１０Ｌ，１０Ｒの先端位置と操作手段可動部１Ｌ，１Ｒの制御量が一意に対応している状態である。このため、操作手段可動部１Ｌ，１Ｒの制御量とステップＳ４０４にて取得した視野範囲１６に基づいて、視野範囲１６における操作手段１０Ｌ，１０Ｒの位置を算出することが可能である。

次いで、ステップＳ４０６において、制御手段２は、視野範囲１６における操作手段１０Ｌ，１０Ｒの位置を、表示手段３００を介してユーザに通知する。図５は、視野範囲１６における操作手段１０Ｌ，１０Ｒの位置とその時に表示手段３００に表示される画面の一例を示す図である。制御手段２は、図５（ａ）や図５（ｃ）に示すようなＧＵＩを提供することで、ユーザ操作をサポートする情報を通知する。

図５（ａ）は、操作手段１０Ｌ，１０Ｒの位置が、図５（ｂ）に示すように、それぞれ視野範囲１６内である場合に表示手段３００に表示される画面の一例を示す図である。図５（ｂ）のように操作手段１０Ｌ，１０Ｒの両方の位置が視野範囲１６内である場合、制御手段２は、表示手段３００に表示される画像５０１に、操作手段１０Ｌに対応する位置にラベル５０２を重畳表示し、操作手段１０Ｒに対応する位置にラベル５０３を重畳表示する。ユーザは、これらのラベルから、表示手段３００に表示された操作手段を直感的に認識することができる。

図５（ｃ）は、操作手段１０Ｌ，１０Ｒの位置が図５（ｄ）に示すように視野範囲１６外（視野範囲外）である場合に表示手段３００に表示される画面の一例を示す図である。なお、図５（ｄ）では、操作手段１０Ｌは、ＸＹＺ方向のうち、Ｚ方向のみ視野範囲１６外となっており、操作手段１０ＲはＸＹＺ方向の全てにおいて視野範囲１６外となっている。図５（ｄ）のように、ＸＹＺ方向のうち、Ｚ方向のみ視野範囲１６外である操作手段１０Ｌについて、制御手段２は、表示手段３００に表示される図５（ｃ）の画像５１１における操作手段１０Ｌに対応する位置に、合焦位置で結像した際に見えるであろう輪郭と共にラベル５１２を重畳表示する。ラベル５１２は、操作手段１０Ｌの位置を示す情報、例えば、高さ情報を含む。このように、本実施の形態では、視野範囲１６と操作手段１０Ｌ，１０Ｒの位置関係に基づいて、視野範囲１６外に移動した操作手段１０Ｌ，１０Ｒの位置を示す情報を画像５１１に重畳表示する位置が決定される。これにより、ユーザは画像５１１における操作手段１０Ｌ，１０Ｒを直感的に認識することができる。

また、図５（ｄ）のように、ＸＹＺ方向の全てにおいて視野範囲１６外である操作手段１０Ｒについて、制御手段２は、表示手段３００に表示される図５（ｃ）の画像５１１に、操作手段１０Ｒが存在する方向を示すラベル５１３を重畳表示する。ラベル５１３は、操作手段１０Ｒが存在する方向を示す矢印を含む。このように、本実施の形態では、視野範囲１６と操作手段１０Ｌ，１０Ｒの位置関係に基づいて、視野範囲１６外に移動した操作手段１０Ｌ，１０Ｒの位置を示す情報の態様が決定される。これにより、操作手段１０Ｌ，１０Ｒの位置に適した情報をユーザに通知することができる。なお、ラベル５１３は、矢印に限られず、操作手段１０Ｒが存在する方向を示す他のアイコンを含んでいても良い。次いで、制御手段２は表示制御処理を終了する。

上述した実施の形態によれば、視野範囲１６外に移動した操作手段１０Ｌ，１０Ｒの位置を示すラベル５１２，５１３が画像５１１に重畳表示される。これにより、操作手段１０Ｌ，１０Ｒが視野範囲１６外に移動した際に、作業者は対物レンズ１０４ａの倍率を切り替える、ピントの位置を変更する、操作手段１０Ｌ，１０Ｒを移動させる等の様々な操作を行うことなく、操作手段１０Ｌ，１０Ｒの位置を把握することができる。その結果、操作手段１０Ｌ，１０Ｒが視野範囲１６外に移動したことに起因する作業者の手間を軽減することができる。

また、上述した実施の形態では、キャリブレーションが実行されたと判別された場合、視野範囲１６外に移動した操作手段１０Ｌ，１０Ｒの位置を示すラベル５１２，５１３が画像５１１に重畳表示される。これにより、操作手段可動部１Ｌ，１Ｒの制御量を用いて視野範囲１６における操作手段１０Ｌ，１０Ｒの位置を算出することができ、もって、画像フィードバックによって操作手段１０Ｌ，１０Ｒの位置を特定する場合より、処理を高速化することができる。

上述した実施の形態では、顕微鏡１００が倍率が異なる複数の対物レンズ１０４ａを切り替え可能な構成である場合、複数の対物レンズ１０４ａの中から設定された対物レンズ１０４ａの特徴量に基づいて、視野範囲１６が取得される。これにより、倍率が異なる複数の対物レンズ１０４ａを切り替え可能な構成において、適切な視野範囲１６を設定することができる。

なお、ライフサイエンス分野で細胞等を操作する場合、作業毎にピペットの交換が行われる、つまり、作業者は作業開始時に上記初期調整を行うので、ステップＳ４０２において、作業者に初期調整のサポート機能の実行を促す通知を表示手段３００に表示させても良い。

また、新たなピペットに交換したために、ステップＳ４０２にて操作手段１０Ｌ，１０Ｒのキャリブレーションを完了していないと判別された場合、ステップＳ４０３にて視野範囲１６における操作手段１０Ｌ，１０Ｒの位置が表示手段３００を介してユーザに通知されてもよい。この場合、交換前のピペットが取り付けられていた際に実行されたキャリブレーションによる操作手段１０Ｌ，１０Ｒの先端位置と操作手段可動部１Ｌ，１Ｒの制御量の対応付け関係を用いて、視野範囲１６における操作手段１０Ｌ，１０Ｒの位置が算出される。これにより、ピペットの交換後にキャリブレーションを実行せずに作業を開始しようとする作業者に対し、交換のために視野範囲１６外に移動した操作手段１０Ｌ，１０Ｒの位置を知らせることができる。

ステップＳ４０４において、倍率が異なる複数の対物レンズ１０４ａの中から設定されている対物レンズ１０４ａを特定するための信号を顕微鏡１００のエンコーダ等から取得するのが困難である場合、操作手段１０Ｌ，１０Ｒの制御値から画像中で投影されるであろう領域に対して画像処理を行い、そのコントラスト評価値と操作手段可動部１Ｌ，１Ｒの制御量から光軸方向の範囲を特定しても良い。これにより、既存のエンコーダ等を備えない顕微鏡１００に顕微鏡補助装置２００を取り付けた構成において、操作手段１０Ｌ，１０Ｒが視野範囲１６外に移動したことに起因する作業者の手間を軽減することができる。

また、撮像手段１０６から取得した画像から操作手段１０Ｌ，１０Ｒを検出し、これらの大きさや形状から、倍率が異なる複数の対物レンズ１０４ａの中から設定されている対物レンズ１０４ａを特定しても良い。これにより、倍率が異なる複数の対物レンズ１０４ａの中から設定された対物レンズ１０４ａを検出する検出装置を持たない顕微鏡１００に顕微鏡補助装置２００を取り付けた構成において、視野範囲１６の取得に必要となる観察光学系１０４の状態を特定することができる。

また、ステップＳ４０６において、別ウィンドウ上に視野範囲１６外を含めて操作手段１０Ｌ，１０Ｒの位置を縮小表示しても良い。

ステップＳ４０６において、表示手段３００に画面を表示する以外の方法として、音やＬＥＤ等の様々な手段で、操作手段１０Ｌ，１０Ｒの位置をユーザに通知しても良い。

次に、本発明の第２の実施の形態に係る顕微鏡補助装置及びその制御方法について説明する。第２の実施の形態は、その構成や作用が上述した第１の実施の形態と基本的に同じであり、操作手段１０Ｌ，１０Ｒの移動を制限する点で上述した第１の実施の形態と異なる。したがって、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。

図６は、第２の実施形態に係る顕微鏡補助装置２００の制御手段２によって実行される操作手段移動制御処理の手順を示すフローチャートである。図６の操作手段移動制御処理も、図４の表示制御処理と同様に、制御手段２のＣＰＵ２ａがメモリ２ｆに格納されたプログラムを実行することによって実現される。図６の操作手段移動制御処理も、図４の表示制御処理と同様に、例えば、顕微鏡補助装置２００の電源がオンに設定された際に実行される。

図６において、まず、制御手段２は、ステップＳ４０１～Ｓ４０５と同様の処理であるステップＳ６０１～Ｓ６０５を行う。次いで、ステップＳ６０６において、制御手段２は、視野範囲１６に対応する制限範囲（所定の範囲）を設定する。ステップＳ６０６では、視野範囲１６と同じ範囲が制限範囲として設定されてもよいが、図７（ａ）に示すように、視野範囲１６より所定の幅だけ内側の領域７０１が制限範囲として設定されるのが好ましい。このように視野範囲１６に対してマージンを持たせて制限範囲を設定することで、図７(ｂ)に示すように、操作手段１０Ｌ，１０Ｒが視野範囲１６外に移動することが無いように操作手段１０Ｌ，１０Ｒの移動を制御することができる。なお、本実施の形態では、ユーザに上記制限範囲を設定させるＵＩを提供しても良い。例えば、視野範囲１６に対する距離や割合がＸＹＺ方向それぞれに設定された場合、制御手段２は、設定された値に基づいて制限範囲を算出する。また、本実施の形態では、制御手段２が操作手段１０Ｌ，１０Ｒの形状から制限範囲７０１を決定しても良い。これにより、ユーザに設定を強いることなく、制限範囲を容易に設定することができる。

次いで、ステップＳ６０７では、制御手段２は、操作手段１０Ｌ，１０Ｒの移動を制限するか否かを判別する。なお、本実施の形態では、操作手段１０Ｌ，１０Ｒの移動を制限する操作手段移動制限機能を有効にするか否かをユーザに設定させるＵＩが提供される。ステップＳ６０７では、制御手段２は、操作手段移動制限機能が有効に設定されているか否かに基づいて、操作手段１０Ｌ，１０Ｒの移動を制限するか否かを判別する。これにより、操作手段１０Ｌ，１０Ｒの移動の制限について、ユーザの意思を反映させることができる。なお、ステップＳ６０７では、操作手段移動制限機能の設定以外の方法で判別を行っても良い。例えば、制御手段２は、操作手段１０Ｌ，１０Ｒの位置を監視し、操作手段１０Ｌ，１０Ｒが制限範囲に予め設定された所定の時間以上留まっていた場合、操作手段１０Ｌ，１０Ｒの移動を制限すると判別しても良い。ここで、ユーザは、作業開始後、必然的に制限範囲内で操作手段１０Ｌ，１０Ｒを動かす。このため、上述したように、操作手段１０Ｌ，１０Ｒが予め設定された所定の時間以上制限範囲に留まっていた場合、操作手段１０Ｌ，１０Ｒの移動を制限すると判別することで、作業開始後、シームレスに操作手段１０Ｌ，１０Ｒの移動の制限を行うことができる。

ステップＳ６０７において、操作手段１０Ｌ，１０Ｒの移動を制限しないと判別された場合、操作手段移動制御処理は終了する。ステップＳ６０７において、操作手段１０Ｌ，１０Ｒの移動を制限すると判別された場合、制御手段２は、ステップＳ６０８において、操作手段１０Ｌ，１０Ｒの移動を制限する。例えば、作業者が入力手段２０Ｌに対し、操作手段１０Ｌを制限範囲外に移動させるような操作を行った場合、制御手段２は、操作手段１０Ｌを制限範囲の境界で停止させる。次いで、操作手段移動制御処理は終了する。

上述した第２の実施の形態では、操作手段１０Ｌ，１０Ｒの移動が視野範囲１６における制限範囲内に制限される。すなわち、作業者は、対物レンズ１０４ａの倍率を切り替える、ピントの位置を変更する、操作手段１０Ｌ，１０Ｒを移動させる等の様々な操作を行って、視野範囲１６外に移動した操作手段１０Ｌ，１０Ｒを探し出す必要がない。これにより、操作手段１０Ｌ，１０Ｒが視野範囲１６外に移動したことに起因する作業者の手間を軽減することができる。

なお、上述した第２の実施の形態では、作業者から制限範囲を離脱させるための所定の操作を受け付けた場合、操作手段移動制限機能が無効に切り替えられても良い。例えば、図７(ｃ)のように、操作手段１０Ｌが制限範囲７０１のＺ方向端に留まり、また、操作手段１０Ｒが制限範囲７０１のＸ方向端に留まっている場合について説明する。このような場合に、作業者が入力手段２０Ｌに対してＺ方向側に追加の操作、又は入力手段２０Ｒに対してＸ方向側に追加の操作を行うと、制御手段２は、制限範囲を離脱させるための所定の操作を受け付けたと判別し、操作手段移動制限機能を無効に切り替える。これにより、操作手段１０Ｌ，１０Ｒは、移動の制限が解除され、制限範囲から離脱可能となる。このように、制限範囲を離脱させるための所定の操作を受け付けた場合に操作手段移動制限機能を無効に切り替えることで、ユーザは、操作手段１０Ｌ，１０Ｒ以外のＵＩを操作することなく、操作手段移動制限機能を無効にする指示を容易に行うことができる。

また、上述した第２の実施の形態では、ステップＳ６０８における操作手段１０Ｌ，１０Ｒの移動を制限する方法は、操作手段１０Ｌ，１０Ｒを制限範囲の境界で停止させる方法に限られない。例えば、制限範囲の境界に近付くにつれて、操作手段１０Ｌ，１０Ｒの移動速度を遅くするといった方法であってもよい。

また、上述した第２の実施の形態では、ステップＳ６０７の判別結果に基づいて、表示手段３００に表示される画面に制限範囲を表示するか否かを制御しても良い。例えば、ステップＳ６０７において、操作手段１０Ｌ，１０Ｒの移動を制限しないと判別された場合、制御手段２は、表示手段３００に表示される画面に制限範囲を表示させない。一方、ステップＳ６０７において、操作手段１０Ｌ，１０Ｒの移動を制限すると判別された場合、制御手段２は、図７（ｂ）や図７（ｄ）のように、表示手段３００に表示される画面に制限範囲７０２を表示させる。このように、制限範囲の表示を制御することにより、作業者は操作手段移動制限機能の設定状態や制限範囲を直感的に知ることができる。

以上、本発明をその好適な実施形態について詳述したが，本発明はこれらの特定の実施形態に限られるものではなく、この発明の趣旨を逸脱しない範囲の様々な形態も本発明に含まれる。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２ 制御手段
１０Ｌ 操作手段
１０Ｒ 操作手段
１６ 視野範囲
１００ 顕微鏡
１０３ 対象物
２００ 顕微鏡補助装置
３００ 表示手段
５１１ 画像
５１２ ラベル
５１３ ラベル

Claims (17)

1. 顕微鏡及び表示装置に接続された顕微鏡補助装置であって、
   前記顕微鏡で観察する対象物を操作する操作手段と、
   前記操作手段が前記対象物を操作する様子を撮像した画像を前記表示装置に表示させる制御を行う制御手段と、
   前記顕微鏡の視野に相当する前記表示装置における視野範囲を取得する取得手段とを備え、
   前記制御手段は、前記視野範囲外に移動した操作手段の位置を示す情報を前記画像に重畳表示させることを特徴とする顕微鏡補助装置。
2. 前記操作手段の先端位置と前記操作手段の制御量を対応付けるためのキャリブレーションが実行されたか否かを判別する判別手段を更に備え、
   前記キャリブレーションが実行されたと判別された場合、前記制御手段は、前記視野範囲外に移動した操作手段の位置を示す情報を前記画像に重畳表示させることを特徴とする請求項1に記載の顕微鏡補助装置。
3. 前記制御手段は、前記視野範囲と前記操作手段の位置関係に基づいて、前記視野範囲外に移動した操作手段の位置を示す情報を前記画像に重畳表示する位置を決定することを特徴とする請求項１又は２に記載の顕微鏡補助装置。
4. 前記制御手段は、前記視野範囲と前記操作手段の位置関係に基づいて、前記視野範囲外に移動した操作手段の位置を示す情報の態様を決定することを特徴とする請求項１乃至３のいずれか１項に記載の顕微鏡補助装置。
5. 顕微鏡及び表示装置に接続された顕微鏡補助装置であって、
   前記顕微鏡で観察する対象物を操作する操作手段と、
   前記操作手段を制御する制御手段であって、前記操作手段が前記対象物を操作する様子を撮像した画像を前記表示装置に表示させる制御を行う制御手段と、
   前記顕微鏡の視野に相当する前記表示装置における視野範囲を取得する取得手段とを備え、
   前記制御手段は、前記操作手段の移動を前記視野範囲における所定の範囲内に制限することを特徴とする顕微鏡補助装置。
6. 前記操作手段が前記所定の範囲に予め設定された所定の時間以上留まった場合、前記制御手段は、前記操作手段の移動を前記所定の範囲内に制限することを特徴とする請求項５に記載の顕微鏡補助装置。
7. 前記操作手段を前記所定の範囲から離脱させるための所定の操作を受け付けた場合、前記制御手段は、前記操作手段の移動の制限を解除すること特徴とする請求項５又は６に記載の顕微鏡補助装置。
8. 前記所定の範囲は、前記操作手段の形状に基づいて決定されることを特徴とする請求項５乃至７のいずれか１項に記載の顕微鏡補助装置。
9. 前記視野範囲における光軸方向の範囲をコントラスト評価値に基づいて設定することを特徴とする請求項１乃至８のいずれか１項に記載の顕微鏡補助装置。
10. 前記視野範囲における光軸方向の範囲を、前記操作手段の制御量及び前記画像に基づいて設定することを特徴とする請求項１乃至９のいずれか１項に記載の顕微鏡補助装置。
11. 前記顕微鏡が倍率が異なる複数の対物レンズを切り替え可能な構成である場合、前記取得手段は、前記複数の対物レンズの中から設定された対物レンズの特徴量に基づいて、前記視野範囲を取得することを特徴とする請求項１乃至１０のいずれか１項に記載の顕微鏡補助装置。
12. 前記顕微鏡の検出器から出力された信号に基づいて前記設定された対物レンズを特定すること特徴とする請求項１１に記載の顕微鏡補助装置。
13. 前記画像に基づいて前記設定された対物レンズを特定することを特徴とする請求項１１に記載の顕微鏡補助装置。
14. 前記視野範囲をユーザに設定させるためのＵＩを更に備えることを特徴とする請求項１乃至１３のいずれか１項に記載の顕微鏡補助装置。
15. 顕微鏡及び表示装置に接続された顕微鏡補助装置の制御方法であって、前記顕微鏡で観察する対象物を操作する操作手段を備える顕微鏡補助装置の制御方法において、
    前記操作手段が前記対象物を操作する様子を撮像した画像を前記表示装置に表示させる制御を行う制御工程と、
    前記顕微鏡の視野に相当する前記表示装置における視野範囲を取得する取得工程とを有し、
    前記制御工程は、前記視野範囲外に移動した操作手段の位置を示す情報を前記画像に重畳表示させることを特徴とする顕微鏡補助装置の制御方法。
16. 顕微鏡及び表示装置に接続された顕微鏡補助装置の制御方法であって、前記顕微鏡で観察する対象物を操作する操作手段を備える顕微鏡補助装置の制御方法において、
    前記操作手段を制御する第１の制御工程と、
    前記操作手段が前記対象物を操作する様子を撮像した画像を前記表示装置に表示させる制御を行う第２の制御工程と、
    前記顕微鏡の視野に相当する前記表示装置における視野範囲を取得する取得工程とを有し、
    前記第１の制御工程は、前記操作手段の移動を前記視野範囲における所定の範囲内に制限することを特徴とする顕微鏡補助装置の制御方法。
17. 請求項１乃至１４のうちいずれか１項に記載の顕微鏡補助装置の各手段をコンピュータに実行させるためのプログラム。

Images