JP2022057695A - マニピュレーションシステムおよび三次元位置提示方法 - Google Patents

Abstract

【課題】試料およびマニピュレータの三次元位置を提示する。【解決手段】マニピュレーションシステム１０は、試料４０およびマニピュレータ１６を観察するための対物レンズ２０と、対物レンズ２０を通過した観察光が入射する焦点可変レンズ２２と、焦点可変レンズ２２の屈折力を変化させ、対物レンズ２０の先端から観察光４２の焦点位置までの作動距離を変化させるレンズ駆動機構２８と、作動距離を変化させて撮像した複数の撮像画像に基づいて試料の三次元位置を特定し、マニピュレータ駆動機構の動作に基づいてマニピュレータの三次元位置を特定し、試料およびマニピュレータの立体的な配置関係を仮想空間にマッピングする制御装置３０と、仮想空間にマッピングされた試料およびマニピュレータの立体的な配置関係を表示する表示装置と、を備える。【選択図】図１

Description

特許法第３０条第２項適用申請有り ロボティクス・メカトロニクス講演会２０２０ ｉｎ Ｋａｎａｚａｗａ、オンライン予稿集、令和２年５月２７日（掲載日） ロボティクス・メカトロニクス講演会２０２０ ｉｎ Ｋａｎａｚａｗａ、オンラインポスター発表、令和２年５月２８日（発表日）

本開示は、マニピュレーションシステムに関する。

細胞をマニピュレータを用いて操作するためのマニピュレーションシステムが知られている。細胞は微小であるため、細胞やマニピュレータの位置を顕微鏡で観察しながら細胞に対する操作がなされる。例えば、複数の顕微鏡を配置して複数の方向から細胞を観察できるようにすることで、細胞とマニピュレータの立体的な配置関係を把握できるようにしたシステムが提案されている。

特開２０２０－１２２８９１号公報

複数の顕微鏡を組み合わせる場合、特定の方向から見たときの配置関係しか確認できない。立体的な配置関係を任意の視点で確認できることが好ましい。

本開示はこうした課題に鑑みてなされたものであり、その例示的な目的の一つは、試料およびマニピュレータの三次元位置を提示する技術を提供することにある。

本開示のある態様のマニピュレーションシステムは、試料を支持するステージと、ステージ上の試料を操作するためのマニピュレータと、マニピュレータを移動させるマニピュレータ駆動機構と、試料およびマニピュレータを観察するための対物レンズと、対物レンズを通過した観察光が入射する焦点可変レンズと、焦点可変レンズを通過した観察光を撮像して撮像画像を生成する撮像装置と、焦点可変レンズの屈折力を変化させ、対物レンズの先端から観察光の焦点位置までの作動距離を変化させるレンズ駆動機構と、作動距離を変化させて撮像した複数の撮像画像に基づいて試料の三次元位置を特定し、マニピュレータ駆動機構の動作に基づいてマニピュレータの三次元位置を特定し、試料およびマニピュレータの立体的な配置関係を仮想空間にマッピングする制御装置と、仮想空間にマッピングされた試料およびマニピュレータの立体的な配置関係を表示する表示装置と、を備える。

本開示の別の態様は、三次元位置提示方法である。この方法は、ステージ上の試料およびマニピュレータを観察するための対物レンズを通過した観察光が入射する焦点可変レンズの屈折力を変化させ、対物レンズの先端から観察光の焦点位置までの作動距離を変化させるステップと、作動距離を変化させながら観察光を撮像装置を用いて撮像して複数の撮像画像を生成するステップと、複数の撮像画像に基づいて試料の三次元位置を特定するステップと、マニピュレータの動作に基づいてマニピュレータの三次元位置を特定するステップと、試料およびマニピュレータの立体的な配置関係を仮想空間にマッピングするステップと、仮想空間にマッピングされた試料およびマニピュレータの立体的な配置関係を表示するステップと、を備える。

本開示のさらに別の態様は、プログラムである。このプログラムは、ステージ上の試料およびマニピュレータを観察するための対物レンズを通過した観察光が入射する焦点可変レンズの屈折力を変化させるためのレンズ駆動機構を制御し、対物レンズの先端から観察光の焦点位置までの作動距離を変化させる機能と、作動距離を変化させながら観察光を撮像装置を用いて撮像した複数の撮像画像を取得する機能と、複数の撮像画像に基づいて試料の三次元位置を特定する機能と、マニピュレータの動作に基づいてマニピュレータの三次元位置を特定する機能と、試料およびマニピュレータの立体的な配置関係を仮想空間にマッピングする機能と、をコンピュータに実現させる。

なお、以上の構成要素の任意の組み合わせや、本開示の構成要素や表現を方法、システムなどの間で相互に置換したものもまた、本開示の態様として有効である。

本開示によれば、試料およびマニピュレータの三次元位置を提示できる。

実施の形態に係るマニピュレーションシステムの構成を模式的に示す図である。 屈折率の影響を考慮した作動距離を模式的に示す図である。 試料のｚ方向の位置座標の特定方法を模式的に示す図である。 ガウス分布近似した平均エッジ強度と作動距離の相関を示すグラフである。 座標変換パラメータを導出するときのマニピュレータの計測パターンを模式的に示す図である。 図６（ａ）～（ｊ）は、対物レンズの視野内の撮像画像および三次元表示装置の表示例を示す図である。 実施の形態に係る三次元位置提示方法を示すフローチャートである。

まず、本開示の概要を説明する。本開示は、マニピュレーションシステムに関する。マニピュレーションシステムは、細胞などの試料を観察するための光学顕微鏡と、試料を操作するためのマニピュレータとを備える。ユーザは、光学顕微鏡で試料およびマニピュレータを観察しながらマニピュレータを移動させることで試料を操作する。試料およびマニピュレータのそれぞれの位置は三次元で変化するため、試料およびマニピュレータの立体的な配置関係が分からなければ、試料を適切に操作することが困難である。本開示では、試料およびマニピュレータの三次元位置をリアルタイムで特定し、両者を仮想空間にマッピングすることで試料およびマニピュレータの立体的な配置関係をユーザに提示する。試料およびマニピュレータの立体的な配置関係は、例えば、立体視が可能な三次元表示装置を通じてユーザに提供される。本開示によれば、試料およびマニピュレータの三次元位置を立体的に表示することで、ユーザが任意の視点で試料およびマニピュレータの配置関係を確認することが可能となり、マニピュレーションシステムの利便性を高めることができる。

図１は、実施の形態に係るマニピュレーションシステム１０の構成を模式的に示す図である。マニピュレーションシステム１０は、倒立型の顕微鏡構成を備える。マニピュレーションシステム１０は、ステージ１２と、照明装置１４と、マニピュレータ１６と、折り返しミラー１８と、対物レンズ２０と、焦点可変レンズ２２と、撮像装置２４と、マニピュレータ駆動機構２６と、レンズ駆動機構２８と、制御装置３０と、三次元表示装置３２と、二次元表示装置３４と、入力装置３６と、を備える。

図１において、ステージ１２上での対物レンズ２０の光軸Ａを基準とする第１座標系を設定している。ステージ１２上での対物レンズ２０の光軸Ａが延びる方向をｚ方向とし、光軸Ａに直交する方向をｘ方向およびｙ方向としている。図示する例において、ステージ１２上での対物レンズ２０の光軸Ａが延びる方向は、ステージ１２の支持面１２ａに直交する方向と一致する。なお、ステージ１２上での対物レンズ２０の光軸Ａが延びる方向は、ステージ１２の支持面１２ａに直交する方向からずれていてもよい。

ステージ１２は、試料４０を水平に支持するための支持面１２ａと、試料４０からの観察光４２を通過させるための開口１２ｂとを有する。操作対象とする試料４０は特に問わないが、ヒトや動物などの細胞を操作対象とすることができる。試料４０は、例えば、樹脂やガラスなどの透明材料で構成される試料皿４６に収容され、試料皿４６がステージ１２の上に配置される。試料４０は、例えば、試料皿４６に収容される水などの液体４８内に浮遊している。

照明装置１４は、ステージ１２の上方に設けられ、ステージ１２上の試料４０を照射する。照明装置１４は、試料４０に向けて白色光などの照明光４４を投射する。照明装置１４は、透過照明を提供するよう構成される。照明装置１４は、蛍光観察などのために選択された特定波長の可視光の照明光４４を投射可能であってもよい。照明装置１４は、例えば、ステージ１２上の照度分布が均一となる照明光４４を投射する。

マニピュレータ１６は、ステージ１２上に設けられ、試料４０の操作に用いられる。図示する例において、マニピュレータ１６は、ホールディングピペット１６ａおよびインジェクションピペット１６ｂを含む。例えば、ホールディングピペット１６ａを用いて細胞を固定し、インジェクションピペット１６ｂを用いて細胞内への遺伝子導入などの細胞操作がなされる。図示する例では、二つのマニピュレータが設けられているが、マニピュレータの数は一つであってもよいし、三以上であってもよい。

折り返しミラー１８は、ステージ１２の開口１２ｂの直下に設けられる。折り返しミラー１８は、試料４０からの観察光４２を対物レンズ２０に向けて反射させるよう配置される。図示する例では、対物レンズ２０の光軸Ａが折り返しミラー１８にて折り返される構成となっているが、折り返しミラー１８を設けずにｚ方向に延びる光軸上に対物レンズ２０を配置してもよい。

対物レンズ２０は、折り返しミラー１８からの観察光４２が入射する位置に配置される。対物レンズ２０は、折り返しミラー１８から＋ｘ方向に離れた位置に配置される。対物レンズ２０は、比較的長い作動距離（ＷＤ；Working Distance）を有することが望ましい。対物レンズ２０の拡大倍率や作動距離などの仕様は特に限られないが、例えば、１０倍～５０倍の拡大倍率において２０ｍｍ～４０ｍｍの作動距離を有する超長作動タイプの対物レンズを用いることができる。

焦点可変レンズ２２は、対物レンズ２０を通過した観察光４２が入射する位置に配置される。焦点可変レンズ２２は、対物レンズ２０と撮像装置２４の間に配置され、例えば対物レンズ２０に隣接または近接して配置される。焦点可変レンズ２２は、所定の範囲内で屈折力が可変となるよう構成される。焦点可変レンズ２２は、正の屈折力のみを有する凸レンズであってもよいし、負の屈折力のみを有する凹レンズであってもよいし、正負の屈折力を切り替えできるように構成されてもよい。

焦点可変レンズ２２は、例えば、液体レンズで構成され、液体レンズを封止する可撓性の透明膜を変形させることで焦点距離が可変となるよう構成される。透明膜の形状は、透明膜に加える圧力を変化させることで制御される。例えば、電磁アクチュエータや圧電素子を用いることで焦点可変レンズ２２の焦点距離を電気的に制御できる。焦点可変レンズ２２は、例えば、対物レンズ２０と焦点可変レンズ２２の組み合わせによる実効的な作動距離を２ｍｍ程度の範囲で可変にするよう構成される。

撮像装置２４は、焦点可変レンズ２２を通過した観察光４２を撮像して撮像画像を生成する。撮像装置２４は、撮像レンズ２４ａと、撮像素子２４ｂとを有する。撮像レンズ２４ａは、観察光４２を撮像素子２４ｂに結像させる。撮像素子２４ｂは、ＣＭＯＳセンサなどの画像センサであり、高フレームレートで撮像画像を生成することが可能である。撮像装置２４のフレームレートは特に限られないが、毎秒１００フレーム以上であることが好ましく、毎秒５００フレーム以上であることがより好ましい。

対物レンズ２０、焦点可変レンズ２２および撮像装置２４は、ｘ方向に延びる光軸Ａに沿って配置され、例えばｘ方向に延びる鏡筒に対して固定される。なお、焦点可変レンズ２２と撮像装置２４の間に図示しない追加の折り返しミラーが設けられてもよく、光軸Ａがさらに折り返される構成であってもよい。

マニピュレータ駆動機構２６は、マニピュレータ１６を移動させ、マニピュレータ１６の三次元位置を可変にする。図示する例において、マニピュレータ駆動機構２６は、第１駆動機構２６ａと、第２駆動機構２６ｂとを含む。第１駆動機構２６ａは、ホールディングピペット１６ａを移動させ、ホールディングピペット１６ａの三次元位置を可変にするよう構成される。第２駆動機構２６ｂは、インジェクションピペット１６ｂを移動させ、インジェクションピペット１６ｂの三次元位置を可変にするよう構成される。ホールディングピペット１６ａおよびマニピュレータ１６のそれぞれの三次元位置は、互いに独立して制御可能である。

レンズ駆動機構２８は、焦点可変レンズ２２を駆動し、焦点可変レンズ２２の屈折力を変化させる。レンズ駆動機構２８は、焦点可変レンズ２２の屈折力を変化させることで、対物レンズ２０と焦点可変レンズ２２の組み合わせによる実効的な作動距離を変化させる。ここで、実効的な作動距離とは、対物レンズ２０の先端から観察光４２の焦点位置までの距離であり、対物レンズ２０の先端から撮像装置２４が撮像する撮像画像のピントが合う焦点面までの距離である。

制御装置３０は、マニピュレーションシステム１０の動作全般を制御する。制御装置３０は、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現される。制御装置３０は、例えば、汎用のパーソナルコンピュータにより構成される。

三次元表示装置３２は、試料４０およびマニピュレータ１６の三次元位置を立体的に表示する。三次元表示装置３２は、例えば、Looking Glassなどのホログラムディスプレイであり、３Ｄメガネなどを使用することなく立体視を可能とする表示装置である。三次元表示装置３２には、試料４０およびマニピュレータ１６を模したコンピュータグラフィック（ＣＧ）画像が表示される。三次元表示装置３２は、ヘッドマウント型の仮想現実（ＶＲ）表示装置であってもよい。

二次元表示装置３４は、液晶ディスプレイなどであり、撮像装置２４が撮像する撮像画像などをリアルタイムで表示する。二次元表示装置３４は、試料４０およびマニピュレータ１６の三次元位置を表示してもよく、仮想空間にマッピングされた試料４０およびマニピュレータ１６を任意の観察面に透視投影して生成されるレンダリング画像を表示してもよい。

入力装置３６は、制御装置３０への入力操作およびマニピュレータ１６の操作をするための装置である。制御装置３０への入力操作手段として、マウスやキーボードなどを用いることができる。マニピュレータ１６の操作手段として、ジョイスティックなどを用いることができる。入力装置３６を用いることで、マニピュレータ１６の先端位置をマイクロメートルオーダで移動させることができ、試料４０を精密に操作することができる。

以下、試料４０およびマニピュレータ１６の三次元位置をリアルタイムで特定する方法について説明する。

制御装置３０は、撮像装置２４が撮像する撮像画像に基づいて、撮像画像に含まれる試料４０の三次元位置を特定する。制御装置３０は、対物レンズ２０の光軸Ａを基準とする第１座標系を用いて試料４０の三次元位置を特定する。制御装置３０は、撮像画像に含まれる試料４０を画像認識技術を用いて特定し、撮像画像における試料４０の中心位置から試料４０のｘ方向およびｙ方向の位置座標を特定する。制御装置３０は、試料４０を撮像するときの作動距離に基づいて試料４０のｚ方向の位置座標を特定する。制御装置３０は、例えば、対物レンズ２０の先端をｚ方向の原点（ｚ＝０）とし、対物レンズ２０から試料４０までの作動距離を試料４０のｚ方向の位置座標とする。

作動距離ＷＤは、対物レンズ２０の焦点距離ｆ_１と、焦点可変レンズ２２の焦点距離ｆ_２と、対物レンズ２０と焦点可変レンズ２２の距離ｄと、対物レンズ２０から試料４０までの光路の屈折率分布とに基づいて算出できる。対物レンズ２０と焦点可変レンズ２２の組み合わせによる合成焦点距離ｆ_０は、ｆ_０＝ｆ_１（ｆ_２－ｄ）／（ｆ_１＋ｆ_２－ｄ）と表される。合成焦点距離ｆ_０は、対物レンズ２０から試料４０までの光路が空気であり、屈折率がほぼ１である場合の作動距離に相当する。実際には、対物レンズ２０から試料４０までの光路には試料皿４６や液体４８が存在する。そのため、実際の作動距離ＷＤは、試料皿４６や液体４８の屈折率の影響によって合成焦点距離ｆ_０からずれてしまう。

図２は、屈折率の影響を考慮した作動距離ＷＤを模式的に示す図である。図示されるように、対物レンズ２０から試料４０までの光路に試料皿４６および液体４８が存在することで、対物レンズ２０に入射する観察光４２が屈折する。その結果、実際の作動距離ＷＤは、試料皿４６および液体４８が存在しない場合の対物レンズ２０および焦点可変レンズ２２の合成焦点距離ｆ_０よりも長くなる。実際の作動距離ＷＤは、合成焦点距離ｆ_０、空気の屈折率ｎ_０、試料皿４６の屈折率ｎ_１、液体４８の屈折率ｎ_２、対物レンズ２０から試料皿４６までの距離ａ、試料皿４６の厚さｂ、対物レンズ２０を理想的な平凸レンズと仮定した場合の有効半径ｒを用いて、以下の式（１）で表すことができる。式（１）は、スネルの法則に基づく幾何学的な関係性に基づいて導出可能である。

実際の作動距離ＷＤの一例を挙げると、合成焦点距離ｆ_０＝２１．０５９ｍｍ、ポリスチレン（ＰＳ）の試料皿４６の屈折率ｎ_１＝１．５９２、純水の液体４８の屈折率ｎ_２＝１．３３、距離ａ＝１９．１３５ｍｍ、厚さｂ＝１．０ｍｍ、有効半径ｒ＝５．０ｍｍの場合、作動距離ＷＤ＝２１．８９４ｍｍとなる。このとき、作動距離ＷＤと合成焦点距離ｆ_０の差は０．８３５ｍｍであり、対物レンズ２０の被写界深度（約０．０３ｍｍ）や細胞の大きさ（約０．１ｍｍ）に比べて非常に大きい。したがって、対物レンズ２０から試料４０までの屈折率分布の影響を考慮して作動距離ＷＤを補正することで、試料４０のｚ方向の位置座標を正確に特定できる。

制御装置３０は、レンズ駆動機構２８を制御して作動距離ＷＤを変化させる。制御装置３０は、作動距離ＷＤを変化させて撮像した複数の撮像画像に基づいて試料４０のｚ方向の位置座標を特定する。具体的には、複数の撮像画像のそれぞれに含まれる試料４０の平均エッジ強度Ｆを算出し、作動距離ＷＤと平均エッジ強度Ｆの相関をガウス分布近似したときの極大値に基づいて試料４０のｚ方向の位置座標を特定する。平均エッジ強度Ｆは、撮像画像の各画素のエッジ強度ｆ（ｘ，ｙ）を算出し、試料４０が含まれる領域の全画素のエッジ強度ｆ（ｘ，ｙ）を平均することで求められる。各画素の輝度値をＩ（ｘ，ｙ）とすると、エッジ強度はｆ（ｘ，ｙ）＝｛（Ｉ（ｘ＋１，ｙ）－Ｉ（ｘ，ｙ））^２＋（Ｉ（ｘ，ｙ＋１）－Ｉ（ｘ，ｙ））^２｝^１／２と表される。平均エッジ強度Ｆは、撮像画像に含まれる試料４０のコントラストを示し、平均エッジ強度Ｆが大きいほど試料４０がピントの合った状態で高コントラストで撮像されていることを示す。

図３は、試料４０のｚ方向の位置座標の特定方法を模式的に示す図である。図３では、対物レンズ２０の作動距離ＷＤを第１距離ｚ_１、第２距離ｚ_２、第３距離ｚ_３（ｚ_１＜ｚ_２＜ｚ_３）に設定し、各距離ｚ_１～ｚ_３に位置する焦点面５０ａ、５０ｂ、５０ｃを撮像した撮像画像５２ａ、５２ｂ、５２ｃを模式的に示す。図示する例では、試料４０の中心座標ｚが第１距離ｚ_１と第２距離ｚ_２の間に位置し、試料４０が第２焦点面５０ｂが交差している状態を示している。第２焦点面５０ｂは、試料４０と交差しているため、第２焦点面５０ｂを撮像した第２撮像画像５２ｂにはピントが合った状態の試料４０が含まれる。一方、試料４０から離れた第１焦点面５０ａを撮像した第１撮像画像５２ａにはピントが多少ぼけた状態の試料４０が含まれる。また、試料４０からより離れた第３焦点面５０ｃを撮像した第３撮像画像５２ｃにはピントが合っていない状態の試料４０が含まれる。第１距離ｚ_１、第２距離ｚ_２および第３距離ｚ_３の間隔Δｚは、試料４０のサイズの１～２倍程度の値が設定される。例えば、試料４０のサイズが１００μｍ程度であれば、Δｚ＝１００μｍ～２００μｍ程度である。

制御装置３０は、作動距離ＷＤを変化させて撮像した複数の撮像画像５２ａ～５２ｃを取得し、各撮像画像５２ａ～５２ｃにおいて試料４０が含まれる領域５４ａ～５４ｃの平均エッジ強度Ｆ_１、Ｆ_２、Ｆ_３を算出する。図３に示される例では、各撮像画像５２ａ～５２ｃの平均エッジ強度の大小関係は、Ｆ_３＜Ｆ_１＜Ｆ_２となる。制御装置３０は、算出した平均エッジ強度Ｆ_１、Ｆ_２、Ｆ_３と各焦点面５０ａ～５０ｃまでの距離ｚ_１，ｚ_２，ｚ_３の相関をガウス分布で近似する。

図４は、ガウス分布近似した平均エッジ強度Ｆ_１、Ｆ_２、Ｆ_３と作動距離ＷＤの関係性を示すグラフである。図示されるように、平均エッジ強度の大小関係がＦ_１＜Ｆ_２かつＦ_３＜Ｆ_２であれば、平均エッジ強度Ｆ_１～Ｆ_３をガウス分布で近似して極大値Ｆ_ｍａｘを特定できる。極大値Ｆ_ｍａｘは、試料４０のピントが最も合う位置に相当するため、極大値Ｆ_ｍａｘに対応する作動距離ｚ_０を試料４０の中心のｚ座標とみなすことができる。なお、極大値Ｆ_ｍａｘに対応する作動距離ｚ_０は、平均エッジ強度Ｆ_１、Ｆ_２、Ｆ_３と、各焦点面までの距離ｚ_１、ｚ_２、ｚ_３とを用いて、以下の式（２）を用いて算出できる。

制御装置３０は、マニピュレータ駆動機構２６の動作に基づいてマニピュレータ１６の三次元位置を特定する。制御装置３０は、まず、マニピュレータ１６の駆動軸を基準とする第２座標系を用いてマニピュレータ１６の三次元位置を特定する。第２座標系を基準とするマニピュレータ１６の三次元位置は、マニピュレータ駆動機構２６のモータの回転角やアクチュエータの駆動量などからマニピュレータ１６の三次元方向の移動量を算出することで相対的に特定できる。第２座標系は、例えば、ホールディングピペット１６ａおよびインジェクションピペット１６ｂのそれぞれについて設定され、それぞれの第２座標系においてホールディングピペット１６ａおよびインジェクションピペット１６ｂの先端３８ａ，３８ｂの三次元位置が特定される。第２座標系は、ホールディングピペット１６ａおよびインジェクションピペット１６ｂの共通の座標系であってもよい。

制御装置３０は、第２座標系から第１座標系への座標変換をすることで、マニピュレータ１６の第１座標系における三次元位置を特定する。上述した通り、第１座標系は対物レンズ２０の光軸Ａを基準とする座標系である。第１座標系における位置座標をＰ_１（Ｘ_１，Ｙ_１，Ｚ_１）とし、第２座標系における位置座標をＰ_２（Ｘ_２，Ｙ_２，Ｚ_２）とすると、第２座標系から第１座標系への座標変換は、以下の式（３）で表すことができる。

上記式（３）において、ｒ_ｉｊは、第２座標系から第１座標系への回転を示す変換パラメータであり、ｔ_ｉは、第２座標系の原点から第１座標系の原点への平行移動を示す変換パラメータである。座標変換パラメータｒ_ｉｊおよびｔ_ｉは、第２座標系で計測されるマニピュレータ１６の先端の位置座標と、第１座標系で計測されるマニピュレータ１６の先端の位置座標との相関から導出できる。具体的には、マニピュレータ１６の先端を１００～２００程度の互いに異なる複数の計測位置に配置し、各計測位置におけるマニピュレータ１６の先端の位置座標を第１座標系と第２座標系のそれぞれで計測する。その後、第１座標系および第２座標系での位置座標の相関を最小二乗法を用いて特定することで、座標変換パラメータｒ_ｉｊおよびｔ_ｉを推定できる。

第１座標系における位置座標は、マニピュレータ１６の先端を撮像するときの対物レンズ２０の作動距離ＷＤと、撮像画像におけるマニピュレータ１６の先端の画素の座標（ｕ，ｖ）から特定できる。第１座標系の位置座標Ｐ_１（Ｘ_１，Ｙ_１，Ｚ_１）と撮像画像の画素の座標（ｕ，ｖ）の関係性は、透視投影変換によって以下の式（４）で表すことができる。

式（４）において、（ｃ_ｘ，ｃ_ｙ）は、撮像画像の中心座標であり、ｓは任意の定数である。式（３）と式（４）を連立すると、以下の式（５）が得られる。

式（５）を用いることで、対物レンズ２０の作動距離ＷＤ、撮像画像における画素の座標（ｕ，ｖ）および第２座標系における位置座標Ｐ_２（Ｘ_２，Ｙ_２，Ｚ_２）に基づいて、座標変換パラメータｒ_ｉｊおよびｔ_ｉを推定できる。

図５は、座標変換パラメータを導出するためのマニピュレータ１６の計測パターンを模式的に示す図である。対物レンズ２０の光軸Ａを基準とする第１座標系においてｚ方向に距離δで離間した複数の計測面６０ａ、６０ｂ、６０ｃが設定され、各計測面６０ａ～６０ｃ内に複数の計測位置６２ａ、６２ｂ、６２ｃが格子状に設定される。図示する例では、三つの計測面６０ａ～６０ｃが設定され、一つの計測面（例えば第１計測面６０ａ）内に９×６＝５４の計測位置（例えば複数の第１計測位置６２ａ）が設定される。なお、計測面の数および計測位置の個数はこれに限られない。計測面の数は４以上であってもよいし、各計測面内の計測位置の個数は５４より多くても少なくてもよい。

最初に、対物レンズ２０の視野内にマニピュレータ１６の先端３８が位置するようマニピュレータ１６を移動させる。次に対物レンズ２０の作動距離ＷＤを調整してマニピュレータ１６の先端３８にピントが合うようにする。これにより、第１計測面６０ａまでの距離ＷＤが決まる。つづいて、マニピュレータ１６の先端３８にピントが合った状態で、マニピュレータ１６を移動させ、第１計測面６０ａ内の複数の計測位置６２ａにおいて第１座標系および第２座標系のそれぞれでマニピュレータ１６の先端３８の位置座標を特定する。

第１計測面６０ａ内の全ての計測位置６２ａでの計測が終了すると、次に第２計測面６０ｂにマニピュレータ１６の先端３８を移動させる。このとき、マニピュレータ１６の先端３８をｚ方向にδだけ移動させるとともに、作動距離をδだけ大きくしてＷＤ＋δとする。第１計測面６０ａと第２計測面６０ｂの距離δは、対物レンズ２０の被写界深度よりも大きい値が設定され、例えば、被写界深度の５倍～１０倍程度である。一例を挙げれば、対物レンズ２０の被写界深度が３０μｍであり、δ＝２００μｍである。したがって、図５の計測パターンにおける複数の計測位置６２ａ、６２ｂ、６２ｃは、対物レンズ２０の光軸方向（ｚ方向）について対物レンズ２０の被写界深度よりも広い範囲にわたって分布している。

第２計測面６０ｂにおいても、第１計測面６０ａと同様、マニピュレータ１６の先端３８にピントが合った状態でマニピュレータ１６を移動させる。これにより、第２計測面６０ｂ内の複数の計測位置６２ｂにおいて第１座標系および第２座標系のそれぞれでマニピュレータ１６の先端３８の位置座標を特定する。第２計測面６０ｂ内の全ての計測位置６２ｂでの計測が終了すると、第３計測面６０ｃにマニピュレータ１６の先端３８が位置するようにマニピュレータ１６をｚ方向にδだけ移動させ、作動距離ＷＤをδだけ大きくしてＷＤ＋２δとする。その後、第３計測面６０ｃ内の複数の計測位置６２ｃにおいて、第１座標系および第２座標系のそれぞれでマニピュレータ１６の先端３８の位置座標が特定される。

制御装置３０は、全ての計測位置６２ａ、６２ｂ、６２ｃでの位置座標を特定した後、上記式（５）を用いて座標変換パラメータｒ_ｉｊおよびｔ_ｉを決定する。制御装置３０は、ホールディングピペット１６ａおよびインジェクションピペット１６ｂのそれぞれの先端３８ａ，３８ｂについて別個に計測をして座標変換パラメータｒ_ｉｊおよびｔ_ｉを決定してもよい。なお、座標変換パラメータｒ_ｉｊおよびｔ_ｉは、一度決定してしまえば、装置構成が変わらない限り、継続して使用できる。つまり、制御装置３０は、マニピュレーションシステム１０の使用のたびに座標変換パラメータｒ_ｉｊおよびｔ_ｉを決定しなくてもよい。制御装置３０は、事前に決定しておいた座標変換パラメータｒ_ｉｊおよびｔ_ｉを記憶しておき、記憶しておいた座標変換パラメータｒ_ｉｊおよびｔ_ｉを用いて、マニピュレータ１６の先端３８の位置座標を変換してもよい。

座標変換パラメータｒ_ｉｊおよびｔ_ｉは、マニピュレータ１６の第２座標系における相対移動を第１座標系における相対移動に精度良く変換する。その一方で、座標変換パラメータｒ_ｉｊおよびｔ_ｉを用いて第２座標系の座標点を第１座標系の座標点に変換した場合、発明者の知見によれば、両者の座標点がずれてしまうことが分かっている。つまり、座標変換パラメータｒ_ｉｊおよびｔ_ｉだけでは、位置座標の絶対値の精度が低くなってしまう。上述の座標変換パラメータｒ_ｉｊおよびｔ_ｉは、撮像される物体が視点に近いほど大きく見え、遠いほど小さく見えるという透視投影変換の性質を利用して決定している。通常のカメラの場合、カメラの被写界深度が比較的大きいために、カメラの被写界深度内で物体の奥行き方向の位置をずらすことで、物体の見た目の大きさを有意に異ならせることができる。一方、顕微鏡の場合、対物レンズ２０の被写界深度が小さいため、対物レンズ２０の被写界深度内で物体の奥行き方向の位置をずらしたとしても、物体の見た目の大きさはほとんど変わらない。つまり、マニピュレータ１６の先端３８のｚ方向の座標を変化させたときの撮像画像における見た目の変化が小さく、撮像画像に基づいて第１座標系のｚ方向の座標を推定すると、実際の位置（真値）からのずれが大きくなってしまう。そこで、本開示では、試料４０のｚ方向の位置座標の特定手法と同様、マニピュレータ１６の先端３８を撮像した撮像画像の平均エッジ強度Ｆに基づいて、マニピュレータ１６の先端３８のｚ座標の絶対値を特定し、第１座標系における位置座標の絶対値（初期値または原点）を較正する。

以下、マニピュレータ１６の原点の較正方法について説明する。制御装置３０は、まず、マニピュレータ１６の先端３８を対物レンズ２０の視野内に設定される初期点（仮の原点）Ｏに位置させる。制御装置３０は、初期点Ｏの第２座標系における位置座標（Ｘ_２０，Ｙ_２０，Ｚ_２０）を座標変換することで初期点Ｏの第１座標系における位置座標（Ｘ_１０，Ｙ_１０，Ｚ_１０）を算出する。制御装置３０は、初期点Ｏに位置するマニピュレータ１６の先端３８を作動距離ＷＤを変化させながら撮像して複数の撮像画像を生成する。作動距離ＷＤの変化幅はできるだけ小さいことが好ましく、対物レンズ２０の被写界深度以下（例えば１μｍ程度）であることが好ましい。制御装置３０は、複数の撮像画像のそれぞれに含まれるマニピュレータ１６の先端３８の平均エッジ強度Ｆを算出し、平均エッジ強度Ｆが最大となる撮像画像を特定する。制御装置３０は、平均エッジ強度Ｆが最大となる撮像画像を撮像したときの作動距離ＷＤ_ｍａｘを初期点Ｏのｚ座標の真値とする。ここで、第１座標系におけるマニピュレータ１６の先端３８の較正前のｚ座標をＺ_１とし、較正後のｚ座標をＺ_１’とすると、Ｚ_１’＝Ｚ_１－Ｚ_１０＋ＷＤ_ｍａｘと表される。

制御装置３０は、マニピュレーションシステム１０の使用中、対物レンズ２０の視野内にある試料４０の第１座標系における三次元位置をリアルタイムで特定するとともに、マニピュレータ１６の先端３８の第１座標系における三次元位置をリアルタイムで特定する。試料４０の三次元位置は、作動距離ＷＤを変えて少なくとも三枚の撮像画像を取得することで特定できる。試料４０の三次元位置を特定するための時間は、主に焦点可変レンズ２２を駆動して作動距離ＷＤを変化させるために必要な時間によって制約される。作動距離ＷＤの変更に必要な時間は、焦点可変レンズ２２の仕様や作動距離ＷＤの変更量に依存するが、一例を挙げれば、１０ミリ秒～２０ミリ秒程度である。したがって、作動距離ＷＤを変えて三枚の撮像画像を取得するために必要な時間は３０ミリ秒～６０ミリ秒程度であり、１秒あたり１６回～３３回の周期で試料４０の三次元位置を捕捉できる。一方、マニピュレータ１６の先端３８の三次元位置は、マニピュレータ駆動機構２６の動作に基づいて逐次捕捉でき、試料４０の三次元位置を特定するための時間内で特定できる。

制御装置３０は、特定した試料４０およびマニピュレータ１６の三次元位置に基づいて、試料４０およびマニピュレータ１６の立体的な配置関係を仮想空間上にマッピングする。マッピングされる仮想空間の範囲は、対物レンズ２０の視野の範囲よりも広い。試料４０の三次元位置は、対物レンズ２０の視野内でしか特定できないが、マニピュレータ１６の三次元位置は、対物レンズ２０の視野内および視野外の双方において特定できる。したがって、仮想空間では、対物レンズ２０の視野内にマニピュレータ１６の先端３８が位置していなくても、マニピュレータ１６の先端３８の位置を常時マッピングできる。仮想空間にマッピングされる試料４０およびマニピュレータ１６の立体的な配置関係は、リアルタイムで三次元表示装置３２に表示される。三次元表示装置３２の表示周期は、一例を挙げれば４０ミリ秒（毎秒２５フレーム）である。

図６（ａ）～（ｊ）は、対物レンズ２０の視野内の撮像画像および三次元表示装置３２の表示例を示す図であり、左側からホールディングピペット１６ａで試料４０を固定し、右側からインジェクションピペット１６ｂで試料４０を操作する流れを時系列で示している。図６（ａ）～（ｅ）は、対物レンズ２０の視野内の撮像画像（つまり、顕微鏡画像）であり、図６（ｆ）～（ｊ）は、図６（ａ）～（ｅ）のそれぞれに対応する三次元表示装置３２の表示例である。三次元表示装置３２には、試料４０を模した第１オブジェクト７０、ホールディングピペット１６ａを模した第２オブジェクト７２およびインジェクションピペット１６ｂを模した第３オブジェクト７４が立体的に表示される。

図６（ａ），（ｂ）は、試料４０にインジェクションピペット１６ｂを近づける前の状態を示し、撮像画像にインジェクションピペット１６ｂが写っていない。しかしながら、インジェクションピペット１６ｂの三次元位置は対物レンズ２０の視野外であっても捕捉可能である。そのため、図６（ｆ），（ｇ）の三次元表示装置３２にはインジェクションピペット１６ｂを模した第３オブジェクト７４も表示されている。その結果、対物レンズ２０の視野内にインジェクションピペット１６ｂが見えなくても、三次元表示装置３２を見ながら、インジェクションピペット１６ｂの先端が試料４０に近づくようにインジェクションピペット１６ｂを操作できる。

三次元表示装置３２は、視点を任意に切り替えることが可能であり、例えば、試料４０をｚ方向に見たときの上面視、試料４０をｘ方向に見たときの側面視および試料４０をｙ方向に見たときの側面視のいずれかに表示を切り替えることができる。図６（ｆ）は、試料４０をｚ方向に見たときの上面視の表示例であり、図６（ｇ）は、試料４０をｙ方向に見たときの側面視の表示例である。視点を適宜切り替えることで、試料４０に対するマニピュレータ１６の挿入角度なども容易に確認できる。

図６（ｃ），（ｄ）は、試料４０にインジェクションピペット１６ｂを接触させて操作している状態を示している。図６（ｃ）の撮像画像を見ると、インジェクションピペット１６ｂが試料４０に刺さっているように見える。しかしながら、図６（ｈ）の三次元表示装置３２を見ると、試料４０の下にインジェクションピペット１６ｂが潜り込んでおり、試料４０にインジェクションピペット１６ｂが刺さっていないことが分かる。また、試料４０がインジェクションピペット１６ｂによって上方に持ち上げられ、ホールディングピペット１６ａによる試料４０の固定が外れそうな状態であることが分かる。

図６（ｅ）は、試料４０にインジェクションピペット１６ｂが刺さり、ホールディングピペット１６ａから試料４０が離れている状態を示している。このとき、図６（ｉ）の三次元表示装置３２を見ることで、試料４０のどの程度の深さまでインジェクションピペット１６ｂが刺さっているかを確認できる。また、三次元表示装置３２の視点を切り替えることで、インジェクションピペット１６ｂが試料４０の中心付近に刺さっているかどうかを確認できる。

つづいて、マニピュレーションシステム１０の動作の流れを説明する。図７は、実施の形態に係る三次元位置提示方法を示すフローチャートである。最初に、マニピュレータ１６の原点を較正する（Ｓ１０）。マニピュレータ１６の原点の較正は、マニピュレータ１６の先端３８を作動距離を変えて撮像し、撮像画像の平均エッジ強度Ｆが最大となる作動距離ＷＤ_ｍａｘを特定することで実行される。つづいて、観察領域を撮像した撮像画像を取得し（Ｓ１２）、撮像画像に試料４０があれば（Ｓ１４のＹ）、作動距離ＷＤを変えて複数の撮像画像を取得する（Ｓ１６）。複数の撮像画像に含まれる試料４０の平均エッジ強度Ｆをガウス分布近似したときの最大値に基づいて試料４０の三次元位置を特定する（Ｓ１８）。つづいて、マニピュレータ１６の動作に基づいてマニピュレータ１６の第２座標系における三次元位置を特定し、第２座標系から第１座標系への座標変換により第１座標系におけるマニピュレータ１６の三次元位置を特定する（Ｓ２０）。特定した第１座標系における試料４０およびマニピュレータ１６の三次元位置に基づいて、仮想空間に試料４０およびマニピュレータ１６をマッピングし（Ｓ２２）、仮想空間にマッピングされた試料４０およびマニピュレータ１６の立体的な配置関係を三次元表示装置３２などに表示する（Ｓ２４）。Ｓ１４にて試料４０がなければ（Ｓ１４のＮ）、Ｓ１６～Ｓ２４の処理をスキップする。マニピュレーションシステム１０の使用を継続する場合（Ｓ２６のＮ）、Ｓ１２～Ｓ２４の処理を繰り返す。マニピュレーションシステム１０の使用を終了する場合（Ｓ２６のＹ）、本フローを終了する。

本開示の一例によれば、Ｓ１２～Ｓ２４の処理が４０ミリ秒ごとに繰り返され、毎秒２５フレームの周期で試料４０およびマニピュレータ１６の三次元位置が更新されて表示される。この表示周期は、一般的な動画のフレームレートとほぼ同じであるため、三次元表示装置３２を視認するユーザからすると、試料４０およびマニピュレータ１６の三次元位置がタイムラグなしで即時反映されているかのように見える。その結果、実際の位置と表示上の位置がずれることによるストレスを感じることなく、三次元表示装置３２を見ながら試料４０をマニピュレータ１６で正確に操作できる。三次元表示装置３２は、立体視が可能な状態で試料４０とマニピュレータ１６の配置関係を提示するため、三次元表示装置３２に対する視線の向きを変えることで、様々な角度から試料４０とマニピュレータ１６の配置関係を確認することができる。言い換えれば、拡大された試料４０とマニピュレータ１６が目の前に立体的に存在するかのように表示できるため、両者の立体的な位置関係の把握が容易となる。これにより、細胞などの微小な試料４０を精密に操作する際の操作性を向上させることができ、マニピュレーションシステム１０の利便性を高めることができる。

以上、本開示を実施の形態にもとづいて説明した。本開示は上記実施の形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本開示の範囲にあることは、当業者に理解されるところである。

１０…マニピュレーションシステム、１２…ステージ、１６…マニピュレータ、１６ａ…ホールディングピペット、１６ｂ…インジェクションピペット、２０…対物レンズ、２２…焦点可変レンズ、２４…撮像装置、２６…マニピュレータ駆動機構、２８…レンズ駆動機構、３０…制御装置、３２…三次元表示装置、３８…先端、４０…試料、４２…観察光、４６…試料皿、４８…液体。

Claims (8)

1. 試料を支持するステージと、
   前記ステージ上の前記試料を操作するためのマニピュレータと、
   前記マニピュレータを移動させるマニピュレータ駆動機構と、
   前記試料および前記マニピュレータを観察するための対物レンズと、
   前記対物レンズを通過した観察光が入射する焦点可変レンズと、
   前記焦点可変レンズを通過した前記観察光を撮像して撮像画像を生成する撮像装置と、
   前記焦点可変レンズの屈折力を変化させ、前記対物レンズの先端から前記観察光の焦点位置までの作動距離を変化させるレンズ駆動機構と、
   前記作動距離を変化させて撮像した複数の撮像画像に基づいて前記試料の三次元位置を特定し、前記マニピュレータ駆動機構の動作に基づいて前記マニピュレータの三次元位置を特定し、前記試料および前記マニピュレータの立体的な配置関係を仮想空間にマッピングする制御装置と、
   前記仮想空間にマッピングされた前記試料および前記マニピュレータの立体的な配置関係を表示する表示装置と、を備えることを特徴とするマニピュレーションシステム。
2. 前記制御装置は、前記対物レンズの光軸を基準とする第１座標系を用いて前記試料の三次元位置を特定し、前記マニピュレータの駆動軸を基準とする第２座標系から前記第１座標系への座標変換により前記マニピュレータの前記第１座標系における三次元位置を特定し、前記第１座標系を用いて前記試料および前記マニピュレータの立体的な配置関係を前記仮想空間にマッピングすることを特徴とする請求項１に記載のマニピュレーションシステム。
3. 前記第２座標系から前記第１座標系への座標変換に用いる座標変換パラメータは、前記マニピュレータの先端を複数の計測位置に移動させたときの前記マニピュレータの先端の前記第２座標系における複数の座標値と、前記マニピュレータを前記複数の計測位置に移動させたときの前記マニピュレータの先端を撮像した撮像画像に基づいて特定される前記マニピュレータの先端の前記第１座標系における複数の座標値とに基づいて決定され、
   前記複数の位置は、前記対物レンズの光軸方向について前記対物レンズの被写界深度よりも広い範囲にわたって分布することを特徴とする請求項２に記載のマニピュレーションシステム。
4. 前記制御装置は、前記作動距離を変化させて撮像した前記複数の撮像画像に含まれる前記試料の平均エッジ強度を算出し、前記作動距離と前記平均エッジ強度の相関をガウス分布近似したときの極大値に基づいて前記試料の三次元位置を特定することを特徴とする請求項１から３のいずれか一項に記載のマニピュレーションシステム。
5. 前記制御装置は、前記作動距離を変化させて撮像した複数の撮像画像に含まれる前記マニピュレータの先端の平均エッジ強度を算出し、前記平均エッジ強度が最大となるときの作動距離に基づいて、前記マニピュレータの三次元位置を較正することを特徴とする請求項１から４のいずれか一項に記載のマニピュレーションシステム。
6. 前記制御装置は、前記対物レンズの焦点距離と、前記焦点可変レンズの焦点距離と、前記対物レンズと前記焦点可変レンズの距離と、前記対物レンズの先端から前記試料までの光路の屈折率分布とに基づいて、前記作動距離を算出することを特徴とする請求項１から５のいずれか一項に記載のマニピュレーションシステム。
7. ステージ上の試料およびマニピュレータを観察するための対物レンズを通過した観察光が入射する焦点可変レンズの屈折力を変化させ、前記対物レンズの先端から前記観察光の焦点位置までの作動距離を変化させるステップと、
   前記作動距離を変化させながら前記観察光を撮像装置を用いて撮像して複数の撮像画像を生成するステップと、
   前記複数の撮像画像に基づいて前記試料の三次元位置を特定するステップと、
   前記マニピュレータの動作に基づいて前記マニピュレータの三次元位置を特定するステップと、
   前記試料および前記マニピュレータの立体的な配置関係を仮想空間にマッピングするステップと、
   前記仮想空間にマッピングされた前記試料および前記マニピュレータの立体的な配置関係を表示するステップと、を備えることを特徴とする三次元位置提示方法。
8. ステージ上の試料およびマニピュレータを観察するための対物レンズを通過した観察光が入射する焦点可変レンズの屈折力を変化させるためのレンズ駆動機構を制御し、前記対物レンズの先端から前記観察光の焦点位置までの作動距離を変化させる機能と、
   前記作動距離を変化させながら前記観察光を撮像装置を用いて撮像した複数の撮像画像を取得する機能と、
   前記複数の撮像画像に基づいて前記試料の三次元位置を特定する機能と、
   前記マニピュレータの動作に基づいて前記マニピュレータの三次元位置を特定する機能と、
   前記試料および前記マニピュレータの立体的な配置関係を仮想空間にマッピングする機能と、をコンピュータに実現させることを特徴とするプログラム。

Images