JP2006251559A - マイクロマニピュレータシステム、プログラム、及び結果確認支援方法 - Google Patents

Abstract

【課題】 標本に対する操作の成否を作業者が迅速に確認できるようにするマイクロマニピュレータシステム、更には自動的に行った操作が失敗した標本に対し、その操作を再度、自動的に行うことができるマイクロマニピュレータシステムを提供する。
【解決手段】 ＣＰＵ１０２は、標本容器Ｓに入っている標本に針３０ａを刺して溶液を注入する操作を自動的に行う場合、その操作を行った標本毎に、カメラ制御ユニット９から送られる、針３０ａを標本に刺した後の画像の記憶装置１０１への保存、及びその画像を画像表示用メモリ１１２に格納することによるモニタ１１３への表示を行う。作業者には、入力装置１０３を操作させて、標本への溶液の注入が成功したか否かを示すデータを表示させた画像から判定させて入力させる。
【選択図】 図１

Description

本発明は、顕微鏡の視野下で標本に対してマイクロマニピュレータにより器具を用いた操作を行うマイクロマニピュレータシステムに関する。

例えば細胞や卵といった微少な標本（試料）にＤＮＡ溶液などの注入処理を施す場合、一方に微少針を配置したマイクロマニピュレータと、その注入処理の操作内容を確認するための顕微鏡と、を備えたマイクロマニピュレータシステム（以下「マニピュレータシステム」と略記）が用いられる。一般的なマイクロマニピュレータシステムでは、顕微鏡視野内の映像をＣＲＴディスプレイ等の表示装置に表示させる。それにより、その表示内容を観察しながら、微少な針等の器具を操作して、シャーレ等の容器内に入れられた細胞や卵等の標本に針を刺し込み、所定の処理を施すようになっている。

そのような処理では、標本毎に針との相対的な位置を合わせた後、針を標本に刺し込むといった精密な作業を行わなくてはならない。これまで、そのような処理は手作業によって行われていたが、手作業では、精密な作業を行う作業者の負担は大きい。対象となる標本の数が多くなる場合も少なくなく、その場合には、作業者の負担は著しく大きなものとなる。

このようなことから、従来のマニピュレータシステムには、作業者の負担を軽減させるために、針や標本の位置調節を自動的に行う制御装置を備えたものがある。そのような制御装置を備えた従来のシステムとしては、特許文献１、２にそれぞれ記載されているようなものが挙げられる。

特許文献１に記載された従来のマニピュレータシステムでは、モニタ上で標本像の位置を作業者が指示すると、制御装置は、標本の存在するステージ座標を算出し、標本との位置調節、及び針の刺し込みを自動的に行うようになっている。特許文献２に記載された従来のマニピュレータシステムでは、制御装置は、顕微鏡画像から標本の位置と形を認識して、標本との位置調節、及び針の刺し込みを自動的に行うようになっている。
特開昭６４−３５６０号公報 特開平０９−２１１３３８号公報 特開２０００−２９５４６２号公報

上記特許文献１、２にそれぞれ記載された従来のマニピュレータシステムでは、標本との位置調節、及び針（器具）の刺し込み等を自動的に行うことが可能であるために、作業者の負担を大幅に軽減することができる。しかし、そのように自動化して標本への溶液の注入、或いは標本からの内容物の吸引といった操作（処理）を行わせても、その操作が必ず正確に行われるとは限らない。例えば表面が堅い標本では、針を刺す位置や角度によって刺すことに失敗する確率が小さくない。溶液の注入では、針の刺し入れた量が小さければ標本外に溶液が漏れてしまうといったことも生じる。

操作の成否が不明であれば、その操作後の標本における経過が不良となった原因がその操作、及び標本自体の生物学的な因子の何れに因るのかさえ判別することができない。その操作の成否は、その操作が行われている様子を観察するか、或いは操作後の標本の状態を観察することで知ることが可能であるが、そのような観察には何れも長い時間が必要となるため、操作を自動化させた利点が半減することになる。

操作を行うことに成功しなかった標本は、経過観察の対象とはならないだけでなく、そのままでは無駄に浪費することになる。観察の邪魔となる場合もある。このようなことから、そのような標本はできる限り少なくすることも重要であると言える。

本発明は、標本に対する操作の成否を作業者が迅速に確認できるようにするマイクロマニピュレータシステムを提供することを第１の目的とする。
本発明は、自動的に行った操作が失敗した標本に対し、その操作を再度、自動的に行うことができるマイクロマニピュレータシステムを提供することを第２の目的とする。

本発明の第１の態様のマイクロマニピュレータシステムは、顕微鏡の視野下で標本に対してマイクロマニピュレータにより器具を用いた操作を行うためのマイクロマニピュレータシステムの構築に用いられることを前提とし、顕微鏡が形成する画像を取得する画像取得手段と、画像取得手段が取得した画像中に存在する標本の位置を特定してマイクロマニピュレータに器具を用いた操作を自動的に行わせる自動制御手段と、画像取得手段が取得する、自動制御手段が標本に対する器具を用いた操作を自動的に行わせる際の画像を保存するデータ管理手段と、データ管理手段が保存した画像を表示装置に表示できる表示制御手段と、を具備する。

本発明の第２の態様のマイクロマニピュレータシステムは、上記第１の態様における構成に加えて、表示制御手段が表示装置に表示させる画像毎に、該画像中の標本に対する器具を用いた操作が成功したか否かを示す成否データをユーザに入力させるためのデータ入力手段、を更に具備し、データ管理手段は、データ入力手段により入力された成否データ、及び該成否データが入力された画像を標本毎に保存する。

本発明の第３の態様のマイクロマニピュレータシステムは、上記第１の態様における構成に加えて、画像取得手段が取得する画像を基に、標本に対する器具を用いた操作が成功したか否かを自動的に判定し、該判定結果を成否データとして入力する自動判定手段、を更に具備し、データ管理手段は、自動判定手段が入力した成否データ、及び該成否データが示す判定結果が得られた画像を標本毎に保存する。

なお、上記第３の態様では、上記自動判定手段は、器具が針であった場合、画像取得手段が取得した画像から該針を刺す対象とする標本の画像領域、及び該針の先端部の位置をそれぞれ特定し、該先端部が該画像領域内に存在するか否かにより、操作が成功したか否かを自動的に判定する、ことが望ましい。器具を用いた操作が針を刺しての溶液の注入であった場合には、画像取得手段が取得した画像から該針を刺す対象とする標本の画像領域、及び該針の先端部の位置をそれぞれ特定して、該画像領域内に位置する該先端部の周辺における色や輝度、或いはコントラスト等の特徴量の抽出を行い、予め設定の特徴量範囲内の特徴量を抽出できたか否かにより、操作が成功したか否かを自動的に判定する、ことが望ましい。

上記第１の態様では、上記データ管理手段は、標本毎に、自動制御手段が特定した該標本が存在する位置を示す位置データを併せて保存し、自動制御手段は、データ管理手段が保存する位置データを基に、成否データが成功を示していない標本に対してマイクロマニピュレータによる器具を用いた操作を自動的に再度、行わせることができる、ことが望ましい。

本発明のプログラムは、顕微鏡の視野下で標本に対してマイクロマニピュレータにより器具を用いた操作を行うためのマイクロマニピュレータシステムの制御装置に実行させるプログラムであって、顕微鏡が形成する画像を取得する機能と、取得する機能により取得した画像中に存在する標本の位置を特定してマイクロマニピュレータに器具を用いた操作を自動的に行わせる機能と、取得する機能により取得する、行わせる機能により標本に対する器具を用いた操作を自動的に行わせる際の画像を記憶装置に保存する機能と、保存する機能により記憶装置に保存した画像を表示装置に表示できる機能と、を実現させる。

本発明の結果確認支援方法は、顕微鏡の視野下で標本に対してマイクロマニピュレータにより器具を用いた操作を行うためのマイクロマニピュレータシステムで該操作の結果を確認させるための方法であって、顕微鏡が形成する画像を取得させ、該取得させた画像中に存在する標本の位置を特定させてマイクロマニピュレータに器具を用いた操作を自動的に行わせ、マニピュレータによる操作が行われた際の画像を取得させて記憶装置に保存させ、記憶装置に保存させた画像により、操作の結果を確認させる。

本発明によれば、標本に対する操作の正否を作業者が迅速に確認できるようにするマイクロマニピュレータシステムを提供することができる。また、自動的に行った操作が失敗した標本に対し、その操作を再度、自動的に行うことができるマイクロマニピュレータシステムを提供することができる。

以下、図面を参照しながら本発明の実施の形態について述べる。
＜第１の実施の形態＞
図１は、第１の実施の形態によるマイクロマニピュレータシステムの構成を示す図である。

そのマイクロマニピュレータシステム（以下「マニピュレータシステム」と略記）は、大別して、卵や細胞などの標本を入れる標本容器Ｓの視野内における画像を所望の倍率で形成する顕微鏡、その視野内で標本に対する３次元操作を行うためのマイクロマニピュレータ部（以下「マニピュレータ部」）、その画像を電気信号に変換するカメラ部、電気信号に変換された画像を基に各部に送信すべき制御信号を生成して出力するコンピュータ１００、及びそのコンピュータ１００が出力する画像データを表示するモニター１１３、を備えた構成となっている。本実施の形態における制御装置は、コンピュータ１００としてマニピュレータシステムを構成している。

上記顕微鏡は、標本容器Ｓを載置する標本ステージ５を有し、そのステージ２上には、コレクタレンズ２０、透過視野絞り２１、透過開口絞り２２、コンデンサ光学素子ユニット２３、及び例えばハロゲンランプである透過照明用の光源１が配置されている。それにより、標本ステージ５上に標本容器Ｓを上方から照明する構成となっている。

また、標本ステージ２の下方に位置する観察光路には、複数個の対物レンズ３を交換可能に装着し、対物レンズ３のうちの一つをその光路の光軸上に移動可能なレボルバ４、標本ステージ５からの光を２つに分岐するビームスプリッタ６、そのスプリッタ６により分岐された一方の光が入射する接眼レンズ７、がそれぞれ配置されている。スプリッタ６により分岐された他方の光はカメラ部に入射される。顕微鏡制御ユニット１９はコンピュータ１００からの指示に従って、全体の制御を行う。

上記のように構成された顕微鏡は、光源１から出射された照明光をコレクタレンズ２０で集光し、視野絞り２１、開口絞り２２、及びコンデンサ光学ユニット２３を通して、標本ステージ５上から標本容器Ｓを照明する。

標本ステージ５は、顕微鏡制御ユニット１９によって、標本容器Ｓの観察位置と方向を変更するために、光軸と直交する平面内での２次元水平移動、及び回転移動が行えるとともに、ピント合わせのための光軸方向移動を行えるものである。そのステージ５を通過した光（観察光）はビームスプリッタ６により分岐されて、カメラ部のカメラヘッド８、及び接眼レンズ７にそれぞれ入射される。

カメラ部は、そのカメラヘッド８、及びカメラ制御ユニット９から構成されている。カメラヘッド８は、例えばＣＭＤ（Charge Modulation Device）である固体撮像素子と、その固体撮像素子上に光りを結像させる光学系と、を備えている。他方のカメラ制御ユニット９は、入射光量対出力電圧のゲインを自動調節するＡＧＣを備えたものである。カメラヘッド８からのアナログの画像データを自動調節してコンピュータ１００に出力する。

そのアナログの画像データは、Ａ／Ｄ変換器１１０によりデジタルの画像データに変換されてＣＰＵ１０２に出力される。ＣＰＵ１０２は、記憶装置１０１に格納されたプログラムをメモリ１０５に読み出して実行することにより、システム全体の制御を行う。Ａ／Ｄ変換器１１０が出力する画像データは、例えば画像表示用のメモリ１１２に格納することにより、モニター１１３に表示させる。また、必要に応じて、ＪＰＥＧ等の圧縮方式により符号化（圧縮）して記憶装置１０１に格納する。入力装置１０３は、例えばマウスやキーボードなどをまとめて表したものであり、通信装置１０４は、各部への制御信号の送信等を行うものである。

マニピュレータ部は、先端に器具ホルダ３０を有するアーム３１が操作台側に突設されている。器具ホルダ３０は、インジェクションピペットや吸着用ピペット、或いは針等の微少器具３０ａを保持させるものである。そのアーム３１は、器具ホルダ３０に保持された微少器具３０ａを移動させるために、水平方向（Ｘ、Ｙ軸方向）、及び上下方向（Ｚ軸方向）の駆動機構（不図示）により移動可能となっている。その駆動機構は、Ｘ、Ｙ、及びＺ軸方向にそれぞれ移動させるための計３つのステッピングモータ、及び各軸方向に案内するためのガイドレールを備えている。

マイクロマニピュレータ操作ユニット３２には、ジョイスティックが設けられている。このジョイスティックは、鉛直軸方向に対して傾斜可能となっており、作業者は傾斜させる方向によってマニピュレータの水平方向（Ｘ、Ｙ軸方向）の制御量を指示することができるようになっている。そのジョイスティックの上部には回転ダイヤルが設けられており、その回転ダイヤルを操作することによって上下方向（Ｚ軸方向）の制御量を指示できるようになっている。また、手動モードとＰＣ制御モードを切り替えるためのキースイッチが設けられている。そのキースイッチにより手動モードが設定された場合、作業者はジョイスティック等への操作によりマニピュレータ部を動作させることができる。ＰＣ制御モードが設定された場合には、ジョイスティック等への操作は無効となり、コンピュータ１００により自動的に動作される。器具駆動ユニット３３は、器具３０ａとして保持された針により標本への溶液の注入や、その標本の内容物の吸引等を行うためのものである。以降、便宜的に、器具３０ａとしては標本への溶液の注入、及びその内容物の吸引を行える針を想定する。

コンピュータ１００の通信装置１０４には、顕微鏡制御ユニット１９、マイクロマニピュレータ操作ユニット３２、及び器具駆動ユニット３３がそれぞれ接続されている。ＣＰＵ１０２は、入力装置１０３への作業者の操作に応じて、通信装置１０４を介して顕微鏡制御ユニット１９への指示を行い、顕微鏡の上記構成要素を制御する。キースイッチにより手動モードを設定した状態で作業者がマイクロマニピュレータ操作ユニット３２のジョイスティックを操作した場合には、その操作により傾けた方向に応じて、水平方向に移動させるための２つのステッピングモータのうちの何れかを駆動して、アーム３１を水平移動させる。回転ダイヤルを操作した場合には、それを回転させた方向、及び回転量に応じて、上下方向に移動させるためのステッピングモータを駆動して、アーム３１を垂直移動させる。器具駆動ユニット３３の制御は、操作ユニット３２に設けられた別の操作子への操作による指示に応じて行う。キースイッチによりＰＣ制御モードを設定した状態では、作業者が入力装置１０３に対して行う操作に応じて、顕微鏡制御ユニット１９、各ステッピングモータ、及び器具駆動ユニット３３をそれぞれ自動的に制御し、標本に対する器具３０ａを用いた操作を自動的に行う。それらの制御は何れも、ＣＰＵ１０２が、記憶装置１０１に格納されたアプリケーション・ソフトウェア（以降「ソフト」と略記）をメモリ１０５に読み出して実行することで行う。そのソフトは、本実施の形態によるプログラムに相当し、本実施の形態における制御装置は、コンピュータ１００に搭載されたＣＰＵ１０２にそのソフトを実行させることで実現されている。

図２は、メイン画面を説明する図である。そのメイン画面は、上記ソフトをＣＰＵ１０２が実行することでモニタ１１３に表示されるものであり、記憶装置１０１に格納されている。その画面には、図２に示すように、カメラ制御ユニット９からアナログの画像データとしてリアルタイムに送信される画像（リアルタイム画像）、或いは記憶装置１０１に保存した画像を表示する画像表示部２０１、針３０ａを刺し込んだ時の画像を標本毎にサムネイル表示するサムネイル画像表示部２０２、カメラ制御ユニット９からの画像中に存在する標本の位置を特定し、標本毎に針３０ａを刺して溶液の注入を自動的に行うのを指示するための「インジェクション開始」ボタン２０３、及びソフトの終了を指示するための「ソフト終了」ボタン２０５、などが配置されている。

作業者が入力装置１０３を操作して「インジェクション開始」ボタン２０３をクリックすると、コンピュータ１００のＣＰＵ１０２は、Ａ／Ｄ変換器１１０から受け取った画像中に存在する標本の座標位置を標本毎に特定し、その特定結果から、溶液を注入するインジェクション処理（操作）を行う順序、そのためにステッピングモータを駆動する順序や駆動量、などを決定して自動制御を行い、各標本へのインジェクション処理を自動的に行う。そのインジェクション処理を含め、標本に対して器具３０ａを用いた処理（操作）を自動的に行うこと自体は周知の技術である。

自動的にインジェクション処理を行っている間も、Ａ／Ｄ変換器１１０はカメラ制御ユニット９から受信する画像データの変換を行う。本実施の形態では、インジェクション処理のために針３０ａを標本に刺し込んだ時の画像を標本毎に記憶装置１０１に保存する。保存する画像は、例えば標本に刺すために針３０ａを標本に向けて移動させた後のものである。インジェクション処理を行う場合には、その処理を行った後のものを保存するのが望ましい。そのように保存した画像をサムネイル画像表示部２０２に配置する。

図４は、インジェクション処理を実行後の標本と針３０ａの様子を説明する図である。図４（ａ）は、針３０ａが刺さってその先端部が標本Ｍ内の領域Ａに存在している場合の様子を表している。図４（ｂ）は、標本Ｍが変形、或いはその位置がずれたために針３０ａが刺さらなかった場合の様子を表している。図４（ｃ）は、針３０ａが刺さって溶液が注入されたために、その先端部が存在する標本Ｍ内の領域Ｂのコントラスト、輝度、或いはカラーといった特徴量がその周辺のそれとは変化した場合の様子を表している。

図４に示すように、針３０ａを標本Ｍに刺すために移動させた後の画像から、自動的に行ったインジェクション処理が成功したか否か容易に判定することができる。本実施の形態では、図２に示すように、その画像を標本Ｍ毎にサムネイル画像表示部２０２に配置して表示することにより、その判定を常に迅速に行えるようにさせている。それにより、作業者にとっては、インジェクション処理が自動的に行われている様子を常時、監視する必要性が回避されることから、他の作業を並行して行うこともより容易となる。このようなことからも、マイクロインジェクションシステムの利便性は向上することになる。

なお、本実施の形態では画像として静止画を保存しているが、動画を保存するようにしても良い。動画を保存するようにした場合には、例えば針３０ａが刺さるところから溶液を注入し終わるまでの経過を確認できるようにしても良い。動画を保存することにより、作業者はより多くの情報を得られることから、成否をより正確に判定できるようになる。保存する画像の種類を作業者が選択できるようにしても良い。サムネイル画像表示部２０２への画像の配置は、画像表示用メモリ１１２に格納した１画面分の画像データのなかでその画像を配置する部分の画像データを更新することで行われる。

サムネイル画像表示部２０２には、画像（標本Ｍ）毎に、インジェクション処理が成功したか否かを入力するボックス２０２ａが配置されている。そのボックス２０２ａにはプルダウンボタンが配置されており、そのボタンをクリックすると、「ＯＫ」「ＮＧ」が配置された結果表示コンボボックス２０７が表示される。成否を示すデータの入力は、それらのなかの何れかを選択することで行うようになっている。「ＯＫ」は成功を表し、「ＮＧ」は失敗を表している。

図３は、インジェクション処理結果の保存方法を説明する図である。図３中の「Ｓｌｉｄｅ＿ＡＡＡ」は標本容器Ｓを示し、「Ｓａｍｐｌｅ＿１」はその標本容器Ｓに入っていた（或いは現在も入っている）、番号として１が付された標本Ｍを示している。それにより、処理結果は、図３（ａ）に示すように、標本容器Ｓ毎、標本Ｍ毎に分類して保存するようにしている。

図３中の「Ｒｅｓｕｌｔ．ｄａｔ」「ｘｘｘ．ｊｐｇ」はそれぞれ、インジェクション結果データ保存ファイル、画像ファイルの各ファイル名を表している。図３（ｂ）は、その保存ファイルのデータ構成を示している。図３（ｂ）において、「Ｓａｍｐｌｅ＝ＮＯ．５」はこの保存ファイルが番号５の標本Ｍのものであることを表している。「Ｒｅｓｕｌｔ＝ＯＫ」は処理が成功したことを表している。「ＰＸ」「ＰＹ」「ＰＺ」はそれぞれ標本Ｍが存在していた（或いは現在も存在している）、基準点からのＸＹＺ軸方向上の座標位置を表すシンボルであり、「＝」の後に続く数値（図中「ｘｘｘ」と表記）はその座標位置を示している。「Ｉｍａｇｅ＝」に続く「ｘｘｘ．ｊｐｇ」は画像ファイル名である。

本実施の形態では、インジェクション処理結果として、上述したようなデータを上述したような形式で記憶装置１０１に保存している。それにより、標本容器Ｓ、標本番号等をキーにした検索も可能とさせている。このため、作業者にとっては、所望の処理結果を随時、表示させることができる。

図５は、自動インジェクション処理のフローチャートである。その処理は、「インジェクション開始」ボタン２０３のクリックにより、標本容器Ｓに入っている標本Ｍに対して溶液を注入する操作（インジェクション処理）を自動的に行うためにＣＰＵ１０２が実行する処理である。次に図５を参照して、その処理について詳細に説明する。

先ず、ステップＳ０１では、顕微鏡制御ユニット１９に指示して、標本ステージ５を順次、移動させながら、カメラ制御ユニット９が撮影する画像を選択することにより、標本容器Ｓ全体分の画像を取得して貼り合わせ合成し、そのように貼り合わせ合成した画像中に存在する標本Ｍ毎に、その位置、及び形状を認識し、それらを認識した標本Ｍで針３０ａを刺す位置（インジェクション位置）を指定（決定）し、その指定した位置を座標位置に変換する。続くステップＳ０２では、認識した標本Ｍの一つに着目し、着目した標本Ｍのインジェクション位置が顕微鏡視野（カメラ制御ユニット９が送る画像）の中央となるように、顕微鏡制御ユニット１９に指示して標本ステージ５を移動させる。その後はステップＳ０３に移行する。

ステップＳ０３では、視野の中央に移動させた標本Ｍに針３０ａを刺すために、マニピュレータ部の駆動機構を構成するステッピングモータを駆動し、その後、器具駆動ユニット３３に指示して、注入すべき溶液を所定量分、注入させる。次のステップＳ０４では、カメラ制御ユニット９から送られる画像を取得し、その画像をサムネイル画像表示部２０２に表示させるとともに、その画像、及び座標位置に変換したインジェクション位置を図３に示すように記憶装置１０１に保存する。その保存後はステップＳ０５に移行して、全ての標本Ｍに対する操作（インジェクション処理）が終了したか否か判定する。インジェクション位置を指定した標本Ｍ全てに対する操作が終了した場合、判定はＹＥＳとなってステップＳ０６に移行する。そうでない場合には、判定はＮＯとなって上記ステップＳ０２に戻り、操作を行っていない別の標本Ｍを着目して、それ以降の処理を同様に実行する。座標位置に変換したインジェクション位置は、インジェクション結果データ保存ファイル中に、データＰＸ、ＰＹ、ＰＺとして格納される。

ステップＳ０６では、記憶装置１０１に画像ファイルとして保存した各標本Ｍの画像をサムネイル画像表示部２０２に一覧表示する（図２）。続くステップＳ０７では、作業者の入力装置１０３への操作に応じて、標本Ｍ毎に操作（インジェクション処理）の成否の入力を行う。作業者がその入力の終了を指示すると、ステップＳ０８に移行して、作業者が入力した成否を示す成否データ（「ＯＫ」或いは「ＮＧ」）をインジェクション結果データ保存ファイルに格納する。そのようにして、画像、及びインジェクション結果データ保存ファイルをインジェクション結果として標本Ｍ毎に記憶装置１０１に一括保存した後、一連の処理を終了する。
＜第２の実施の形態＞
上記第１の実施の形態では、標本Ｍへの溶液の注入が成功したか否かを作業者に判定させるようにしている。第２の実施の形態は、その判定を自動的に行えるようにしたものである。

標本Ｍへの溶液の注入の成否を自動的に行い、その判定結果を入力すると、作業者は判定結果の入力を行わなくとも済むようになる。たとえ入力を行うとしても、判定結果が誤っているもののみを対象にすれば良いようになる。このことから、第１の実施の形態と比較して、更なる自動化によって作業者にとっての利便性はより向上することとなる。

第２の実施の形態によるマニピュレータシステム（コンピュータ１００を含む）の構成は、基本的に第１の実施の形態におけるそれと同じである。このことから、第１の実施の形態と同じ、或いは基本的に同じものには同じ符号をそのまま用いつつ、第１の実施の形態から異なる部分についてのみ説明することとする。

第２の実施の形態では、図２に示すメイン画面において、溶液の注入が成功したか否かの自動判定の実行を指示するためのチェックボックス２０６を更に配置している。それにより作業者は、入力装置１０３を操作してチェックボックス２０６にチェックマークを表示させた状態で「インジェクション開始」ボタン２０３をクリックすることにより、その自動判定を行わせることができるようになっている。

図６は、第２の実施の形態における自動インジェクション処理のフローチャートである。図６では、第１の実施の形態との相違をより理解し易くするために、チェックボックス２０６にチェックマークを表示させた状態で「インジェクション開始」ボタン２０３を作業者がクリックした場合に実行される処理を抽出してその流れを示している。次に図６を参照して、その処理について詳細に説明する。

図６では、第１の実施の形態と同じ、或いは基本的に同じ処理ステップには同一の符号を付している。それにより、第１の実施の形態から異なる部分についてのみ着目する形で説明する。

第２の実施の形態では、ステップＳ０４の処理が実行した後、ステップＳ２１に移行する。そのステップＳ２１では、ステップＳ０４で保存した画像中に存在する標本Ｍの画像領域、及び針３０ａの先端部が存在する領域の抽出をそれぞれ行う。その抽出は、例えば特許文献３に記載された技術を利用して行うことができる。

ステップＳ２１に続くステップＳ２２では、針３０ａの先端部の領域が標本Ｍの画像領域内か否か判定する。ステップＳ０４で保存した画像が図４（ａ）に示すようなものであった場合、針３０ａの先端部の領域は標本Ｍの画像領域内であることから、判定はＹＥＳとなり、インジェクション結果は成功（ＯＫ）として、ステップＳ２３でその旨を示すデータを成否データに設定した後、ステップＳ２５に移行する。そうでない場合には、つまりステップＳ０４で保存した画像が図４（ｂ）に示すようなものであった場合には、針３０ａの先端部の領域は標本Ｍの画像領域外であることから、判定はＮＯとなり、インジェクション結果は失敗（ＮＧ）として、ステップＳ２４でその旨を示すデータを成否データに設定した後、ステップＳ２５に移行する。

ステップＳ２５では、ステップＳ０４で保存したインジェクション結果データ保存ファイルに、ステップＳ２３、或いはＳ２４で設定した成否データを格納する。ステップＳ０５にはその後に移行する。
＜第３の実施の形態＞
上記第２の実施の形態では、標本Ｍへの溶液の注入が成功したか否かの自動判定を、針３０ａが標本Ｍに刺さったか否かにより行っている。注入する溶液、その量によっては、その溶液の注入に伴い、標本Ｍに視覚的変化が生じることがある。第３の実施の形態は、その視覚的変化を考慮して自動判定を行うようにしたものである。

上記視覚的変化を考慮することにより、自動判定はより高精度に行えるようになる。このことから、第２の実施の形態と比較して、作業者にとっての利便性はより向上することとなる。

第３の実施の形態によるマニピュレータシステム（コンピュータ１００を含む）の構成は、基本的に第１の実施の形態におけるそれと同じである。このことから、第１の実施の形態と同じ、或いは基本的に同じものには同じ符号をそのまま用いつつ、第２の実施の形態から異なる部分についてのみ説明することとする。

第３の実施の形態では、図２に示すメイン画面において、溶液に注入によって視覚的変化が生じたか否か判定するうえでの判定値（基準値）の設定を指示するための「判定値設定」ボタン２０８、及びその判定値としてコントラスト値を入力するための判定値テキストボックス２０９を更に配置している。それにより作業者は、入力装置１０３を操作して、テキストボックス２０９に所望の判定値を入力した後、「判定値設定」ボタン２０８をクリックすることにより、自動判定で用いる判定値を設定できるようになっている。

図７は、第３の実施の形態における自動インジェクション処理のフローチャートである。図７では、第２の実施の形態と同じく、その第２の実施の形態との相違をより理解し易くするために、作業者が判定値を設定している場合に実行される処理を抽出してその流れを示している。次に図７を参照して、その処理について詳細に説明する。

図７でも第２の実施の形態と同様に、第１、或いは第２の実施の形態と同じ、或いは基本的に同じ処理ステップには同一の符号を付している。それにより、第２の実施の形態から異なる部分についてのみ着目する形で説明する。

第３の実施の形態では、ステップＳ２２の判定がＹＥＳとなるとステップＳ４１に移行する。そのステップＳ４１では、針３０ａの先端部が存在する標本Ｍ内の周辺の領域（図４（ｃ）の領域Ｂ）のコントラスト値を求める。次のステップＳ４２では、そのコントラスト値は設定された判定値（図中「設定値」と表記）より大きいか否か判定する。そのコントラスト値が判定値より大きい場合、判定はＹＥＳとなってステップＳ２３に移行する。そうでない場合には、判定はＮＯとなってステップＳ２４に移行する。

このようにして、第３の実施の形態では、作業者がコントラスト値を判定値として設定している場合、針３０ａが標本Ｍに刺さり、且つ溶液の注入によってコントラスト値が作業者の設定した判定値より大きくなっていることを条件として、その注入が成功したと自動判定することにより、その判定精度をより向上させている。そのコントラスト値を設定していない場合には、図６と同様の処理内容となる。
＜第４の実施の形態＞
上記第３の実施の形態では、標本Ｍへの溶液の注入が成功したか否かの自動判定を、針３０ａが標本Ｍに刺さったか否かに加えて、溶液の注入による視覚的変化としてコントラスト変化を考慮して行っている。第４の実施の形態は、その視覚的変化としてカラー変化を考慮して自動判定を行うようにしたものである。

注入する溶液に色素等を混合させた場合、その溶液の注入によって、標本Ｍのその溶液が存在する部分のカラーは変化することになる。そのため、そのカラー変化を考慮しても、第３の実施の形態と同様に、溶液が注入されたか否かを高精度に自動判定できる。

第４の実施の形態によるマニピュレータシステム（コンピュータ１００を含む）の構成は、基本的に第１の実施の形態におけるそれと同じである。このことから、第１の実施の形態と同じ、或いは基本的に同じものには同じ符号をそのまま用いつつ、第３の実施の形態から異なる部分についてのみ説明することとする。

第４の実施の形態では、図２に示すメイン画面において、判定値としてコントラスト値を入力するための判定値テキストボックス２０９に加えて、判定値としてのカラー値を入力するための判定値テキストボックス２１０を更に配置している。それにより作業者は、入力装置１０３を操作して、テキストボックス２１０に所望の判定値を入力した後、「判定値設定」ボタン２０８をクリックすることにより、自動判定で用いるカラー値を設定できるようになっている。

図８は、第４の実施の形態における自動インジェクション処理のフローチャートである。図８では、第２、及び第３の実施の形態と同じく、上述した実施の形態との相違をより理解し易くするために、作業者が判定値としてカラー値のみを設定している場合に実行される処理を抽出してその流れを示している。次に図８を参照して、その処理について詳細に説明する。

図８でも第３の実施の形態と同様に、第１〜第３の何れかの実施の形態と同じ、或いは基本的に同じ処理ステップには同一の符号を付している。それにより、第３の実施の形態から異なる部分についてのみ着目する形で説明する。

第４の実施の形態では、ステップＳ２２の判定がＹＥＳとなるとステップＳ５１に移行する。そのステップＳ５１では、針３０ａの先端部が存在する標本Ｍ内の周辺の領域（図４（ｃ）の領域Ｂ）のカラー値を求める。次のステップＳ５２では、そのカラー値は判定値として設定されたカラー値（図中「設定値」と表記）より大きいか否か判定する。そのカラー値が判定値のカラー値より大きい場合、判定はＹＥＳとなってステップＳ２３に移行する。そうでない場合には、判定はＮＯとなってステップＳ２４に移行する。

このようにして、第４の実施の形態では、作業者がカラー値のみを判定値として設定している場合、針３０ａが標本Ｍに刺さり、且つ溶液の注入によってカラー値が作業者の設定したカラー値より大きくなっていることを条件として、その注入が成功したと自動判定することにより、その判定精度をより向上させている。そのコントラスト値のみを作業者が設定している場合には、図７と同様の処理内容となる。カラー値、及びコントラスト値を共に設定している場合には、例えばステップＳ５２のＹＥＳの判定により図７のステップＳ４１に移行して、それ以降の処理を同様に実行する形となる。
＜第５の実施の形態＞
上記第１〜第４の実施の形態では、溶液の注入の成否を標本Ｍ毎に容易に確認できるようにさせている。第５の実施の形態は、溶液の注入に失敗した標本Ｍに対して、その溶液の注入を再度、試みる再試行を自動的に行えるようにしたものである。

その再試行により、溶液の注入により多くの標本Ｍで成功させることができるようになる。これは、溶液の注入といった操作を成功した標本Ｍを、より少ない標本Ｍから得られるようになることを意味する。それにより、作業者にとっては、標本容器Ｓの取り替え等を行う回数はより少なくなり、操作に失敗した標本Ｍを除去する手間はより省かれることから、より高い作業効率で作業を行えることとなる。

第５の実施の形態によるマニピュレータシステム（コンピュータ１００を含む）の構成は、基本的に第１の実施の形態におけるそれと同じである。このことから、第１の実施の形態と同じ、或いは基本的に同じものには同じ符号をそのまま用いつつ、第４の実施の形態から異なる部分についてのみ説明することとする。

第５の実施の形態では、図２に示すメイン画面において、溶液の注入に失敗した標本Ｍを対象にその注入を再度、行わせるための「リトライ開始」ボタン２０４を更に配置している。それにより作業者は、溶液の注入を行う操作が全ての標本Ｍに対して行われた後、入力装置１０３を操作して、「リトライ開始」ボタン２０４をクリックすることにより、溶液の注入に失敗した標本Ｍを対象にその注入を再度、行わせることができるようになっている。

図９は、第５の実施の形態における自動インジェクション処理のフローチャートである。図９では、第２〜第４の実施の形態と同じく、上述した実施の形態との相違をより理解し易くするために、作業者が「リトライ開始」ボタン２０４をクリックする場合に実行される処理を抽出してその流れを示している。次に図９を参照して、その処理について詳細に説明する。

図９でも第３の実施の形態と同様に、第１〜第３の何れかの実施の形態と同じ、或いは基本的に同じ処理ステップには同一の符号を付している。それにより、第４の実施の形態から異なる部分についてのみ着目する形で説明する。ここでは、作業者がカラー値、コントラスト値の何れも設定していない状況下で「インジェクション開始」ボタン２０３をクリックしたことを想定している。それにより、ステップＳ０１〜Ｓ０６までの一連の処理は図６に示すものと同じとなっている。

第５の実施の形態では、ステップＳ０６の次にステップＳ９２に移行する。そのステップＳ９２では、作業者がリトライを指示、つまり「リトライ開始」ボタン２０４をクリックするのを待つ。その指示を作業者が行うと、ステップＳ９３に移行する。その指示以外の指示を行った場合には、図９に示す一連の処理を終了する。

ステップＳ９３では、例えば記憶装置１０１に標本Ｍ毎に記憶された結果（図３）のうちの一つに着目して、着目した標本Ｍへの溶液の注入が失敗（ＮＧ）か否か判定する。その標本Ｍのインジェクション結果データ保存ファイルに成否データとしてＮＧが格納されていた場合、判定はＹＥＳとなってステップＳ９４に移行し、その標本Ｍに対する溶液の注入を再度、行うリトライ処理を実行する。そのリトライ処理では、その結果の自動判定等も併せて行うために、例えばステップＳ０２〜Ｓ２５の処理が行われる。そのような再リトライ処理を実行した後はステップＳ９５に移行する。一方、そうでない場合には、判定はＮＯとなり、次にそのステップＳ９５に移行する。

ステップＳ９５では、失敗した全ての標本Ｍに対するリトライ処理が終了したか否か判定する。失敗した標本Ｍに対するリトライ処理を一通り実行した場合、判定はＹＥＳとなり、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなって上記ステップＳ９３に戻り、リトライ処理を実行していない他の失敗した標本Ｍに着目して、それ以降の処理を同様に実行する。

インジェクション結果データ保存ファイルには、図３に示すように、インジェクション位置の座標位置を示すデータＰＸ、ＰＹ、及びＰＺが格納されている。それにより、標本ステージ５の移動は、それらのデータＰＸ、ＰＹ、及びＰＺが示す座標位置を基に行うようになっている。その座標位置を基にした移動は、データＰＸ、ＰＹ、及びＰＺに従って行っても良いが、前回の操作時に標本Ｍの位置がズレることも考えられることから、データＰＸ、ＰＹ、及びＰＺで示される座標位置、及びその近傍に存在する標本Ｍの認識を行い、再度、インジェクション位置を指定（決定）して行うようにしても良い。

なお、第５の実施の形態では、リトライは１回のみ、作業者が指示できるようにさせているが、それを複数回、指示できるようにしても良い。その結果を作業者が確認できるように、サムネイル画像表示部２０２に画像、及び成否を一覧表示させるようにしても良い。その表示は、全ての標本Ｍを対象に行うようにしても良いが、リトライした標本Ｍのみを対象に行うようにしても良い。

なお、第１〜第５の実施の形態（本実施の形態）では、標本Ｍに対する器具３０ａを用いた操作として、溶液の注入に着目しているが、着目する操作は、標本Ｍの内容物の吸引といった別の操作であっても良い。

上記第１〜第５の実施の形態における制御装置（コンピュータ１００）は、実行させるアプリケーション・ソフトウェアの変更により既存の制御装置でも実現させることができる。このことから、既存のマイクロマニピュレータシステムでは、制御装置の交換、或いはそれに実行させるアプリケーション・ソフトウェアの変更により、本発明を適用した制御装置を用いて構築したマイクロマニピュレータシステムを実現させることができる。

第１の実施の形態によるマイクロマニピュレータシステムの構成を示す図である。 メイン画面を説明する図である。 インジェクション処理結果の保存方法を説明する図である。 インジェクション処理を実行後の標本と針の様子を説明する図である。 自動インジェクション処理のフローチャートである。 自動インジェクション処理のフローチャートである（第２の実施の形態）。 自動インジェクション処理のフローチャートである（第３実施の形態：抜粋）。 自動インジェクション処理のフローチャートである（第４の実施の形態：抜粋）。 自動インジェクション処理のフローチャートである（第５の実施の形態：抜粋）。

符号の説明

５ 標本ステージ
８ カメラヘッド
９ カメラ制御ユニット
１９ 顕微鏡制御ユニット
３０ 器具ホルダ
３０ａ 器具（針）
３１ アーム
３２ マイクロマニピュレータ操作ユニット
３３ 器具駆動ユニット
１００ コンピュータ（制御装置）
１０１ 記憶装置
１０２ ＣＰＵ
１０３ 入力装置
１０４ 通信装置
１０５ メモリ
１１０ Ａ／Ｄ変換器
１１２ 画像表示用メモリ
１１３ モニタ
Ｓ 標本容器
Ｍ 標本

Claims (8)

1. 顕微鏡の視野下で標本に対してマイクロマニピュレータにより器具を用いた操作を行うためのマイクロマニピュレータシステムにおいて、
   前記顕微鏡が形成する画像を取得する画像取得手段と、
   前記画像取得手段が取得した画像中に存在する前記標本の位置を特定してマイクロマニピュレータに器具を用いた操作を自動的に行わせる自動制御手段と、
   前記画像取得手段が取得する、前記自動制御手段が前記標本に対する器具を用いた操作を自動的に行わせる際の画像を保存するデータ管理手段と、
   前記データ管理手段が保存した画像を表示装置に表示できる表示制御手段と、
   を具備することを特徴とするマイクロマニピュレータシステム。
2. 前記表示制御手段が前記表示装置に表示させる画像毎に、該画像中の標本に対する器具を用いた操作が成功したか否かを示す成否データをユーザに入力させるためのデータ入力手段、を更に具備し、
   前記データ管理手段は、前記データ入力手段により入力された成否データ、及び該成否データが入力された画像を前記標本毎に保存する、
   ことを特徴とする請求項１記載のマイクロマニピュレータシステム。
3. 前記画像取得手段が取得する画像を基に、前記標本に対する器具を用いた操作が成功したか否かを自動的に判定し、該判定結果を成否データとして入力する自動判定手段、を更に具備し、
   前記データ管理手段は、前記自動判定手段が入力した成否データ、及び該成否データが示す判定結果が得られた画像を前記標本毎に保存する、
   ことを特徴とする請求項１記載のマイクロマニピュレータシステム。
4. 前記自動判定手段は、前記器具が針であった場合、前記画像取得手段が取得した画像から該針を刺す対象とする前記標本の画像領域、及び該針の先端部の位置をそれぞれ特定し、該先端部が該画像領域内に存在するか否かにより、前記操作が成功したか否かを自動的に判定する、
   ことを特徴とする請求項３記載のマイクロマニピュレータシステム。
5. 前記自動判定手段は、前記器具を用いた操作が針を刺しての溶液の注入であった場合、前記画像取得手段が取得した画像から該針を刺す対象とする前記標本の画像領域、及び該針の先端部の位置をそれぞれ特定して、該画像領域内に位置する該先端部の周辺における色や輝度、或いはコントラスト等の特徴量の抽出を行い、予め設定の特徴量範囲内の特徴量を抽出できたか否かにより、前記操作が成功したか否かを自動的に判定する、
   ことを特徴とする請求項３記載のマイクロマニピュレータシステム。
6. 前記データ管理手段は、前記標本毎に、前記自動制御手段が特定した該標本が存在する位置を示す位置データを併せて保存し、
   前記自動制御手段は、前記データ管理手段が保存する位置データを基に、前記成否データが成功を示していない標本に対して前記マイクロマニピュレータによる器具を用いた操作を自動的に再度、行わせることができる、
   ことを特徴とする請求項１記載のマイクロマニピュレータシステム。
7. 顕微鏡の視野下で標本に対してマイクロマニピュレータにより器具を用いた操作を行うためのマイクロマニピュレータシステムの制御装置に実行させるプログラムであって、
   前記顕微鏡が形成する画像を取得する機能と、
   前記取得する機能により取得した画像中に存在する前記標本の位置を特定して前記マイクロマニピュレータに器具を用いた操作を自動的に行わせる機能と、
   前記取得する機能によって取得された、前記マニピュレータによる操作が行われた際の画像を記憶装置に保存する機能と、
   前記保存する機能により記憶装置に保存した画像を表示装置に表示できる機能と、
   を実現させるためのプログラム。
8. 顕微鏡の視野下で標本に対してマイクロマニピュレータにより器具を用いた操作を行うためのマイクロマニピュレータシステムで該操作の結果の確認を支援するための方法であって、
   前記顕微鏡が形成する画像を取得させ、
   該取得させた画像中に存在する前記標本の位置を特定させて前記マイクロマニピュレータに器具を用いた操作を自動的に行わせ、
   前記マニピュレータによる操作が行われた際の画像を取得させて記憶装置に保存させ、
   前記記憶装置に保存させた画像により、前記操作の結果を確認させる、
   ことを特徴とする結果確認支援方法。
   
   

Images