JP2022018785A

JP2022018785A - マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Info

Publication number: JP2022018785A
Application number: JP2020122135A
Authority: JP
Inventors: 裕基植田; Yuki Ueda; 伸明田中; Nobuaki Tanaka
Original assignee: NSK Ltd
Current assignee: NSK Ltd
Priority date: 2020-07-16
Filing date: 2020-07-16
Publication date: 2022-01-27
Anticipated expiration: 2040-07-16
Also published as: JP7468211B2

Abstract

【課題】操作者の熟練度及び技術によらず、微細操作用治具の先端位置を高精度で取得することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供する。【解決手段】マニピュレーションシステムは、微小試料を操作するためのピペット（第２ピペット３５）を備えるマニピュレータと、ピペットを撮像する撮像部と、撮像部によって撮像した撮像画像について、ピペットの付け根から先端に向かう方向に検出位置を移動させながらピペットの中心軸に直交する方向（Ｙ軸方向）にエッジ検出を行い、エッジＥが不検出になった位置の直前にエッジＥが検出された検出位置を、ピペットの先端位置Ｐの中心軸に平行な方向（Ｘ軸方向）の位置として取得するコントローラと、を備える。【選択図】図７

Description

本発明は、マニピュレーションシステム及びマニピュレーションシステムの駆動方法に関する。

細胞へのＤＮＡインジェクション、ＩＣＳＩ（顕微授精）、核移植等、マイクロピペット等の治具を用いた微細操作を自動で行うマイクロマニピュレーションシステムが知られている。細胞等の微小試料に対する微細操作を自動で行う場合、顕微鏡視野下で微小試料及びマイクロピペット等の治具を検出して、各々の位置関係を把握する必要がある。例えば、特許文献１には、マイクロピペットの先端位置を形状から推定する技術が開示されている。

特開２００７－１４０５５７号公報

しかしながら、特許文献１の推定方法は、使用するピペットの正確な形状データが必要とされるため、用途に合わせて複数種類のピペットを使用する場合、各々に対応する形状データを用意する必要がある。また、製造誤差によるずれが発生する可能性がある。

本発明は、上記に鑑みてなされたものであって、操作者の熟練度及び技術によらず、微細操作用治具の先端位置を高精度で取得することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供することを目的とする。

本発明の一態様に係るマニピュレーションシステムは、微小試料を操作するためのピペットを備えるマニピュレータと、前記ピペットを撮像する撮像部と、前記撮像部によって撮像した撮像画像について、前記ピペットの付け根から先端に向かう方向に検出位置を移動させながら前記ピペットの中心軸に直交する方向にエッジ検出を行い、エッジが不検出になった位置の直前にエッジが検出された検出位置を、前記ピペットの先端位置の前記中心軸に平行な方向の位置として取得するコントローラと、を備える。

これによれば、撮像画像に鮮明に写すことが困難な微細操作用のピペットであっても、先端位置を高精度で取得することができる。また、これらの動作を操作者の目視による判断ではなく、画像処理によって定量的かつ自動的に行うため、操作者の熟練度及び技術によらず、ピペットの先端位置を高精度で取得することができる。また、本実施形態の画像処理では、エッジ検出の有無によって先端位置を特定するため、ピペットの先端形状によらず、先端位置を検出することができる。さらに、高精度でピペットの先端位置を取得できるので、ピペットと微小試料との相関的な位置情報を高精度で得ることができる。また、例えば、マイクロピペットの先端を容器底面又は細胞上端等の対象物に接触させることによって先端位置を取得する従来の方法と比較して、ピペットの先端の折損を抑制できる。

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像画像について前記ピペットの中心軸に直交する方向にエッジ検出を行い、検出されたエッジのうち両端のエッジが検出された２点の中点を、前記ピペットの先端位置の前記中心軸に直交する方向の位置として取得する。これによれば、容易にピペットの先端位置を取得することができる。

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像画像に所定の検出範囲を設定し、前記検出範囲で前記エッジ検出を行う。これによれば、画像処理を行う領域を限定するので、画像処理に伴う消費電力及びメモリ量等の負荷の低減に寄与できる。

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、操作者が予め設定した前記ピペットの情報に基づいて前記検出範囲を設定する。これによれば、好適な領域でピペットの撮像画像からエッジを検出することができるので、先端位置を高精度で取得することができる。

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記ピペットを焦点合わせ方向に移動させながら前記撮像部によって撮像画像を撮像した各々の撮像位置と、各々の前記撮像画像における所定の検出範囲のコントラスト比との関係に基づいて取得した焦点位置に、前記ピペットを移動させる。これによれば、ピペットを焦点位置に高精度で一致させることができるので、ピペットの先端位置を取得するためのより鮮明な撮像画像を取得することができる。これにより、撮像画像におけるピペットの中心軸に直交する方向からより高精度でエッジを検出することができるので、先端位置をより高精度で取得することができる。

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、各々の撮像位置と前記コントラスト比との関係から正規分布に近似する近似関数を算出し、前記近似関数の中央値を焦点位置として設定する。これによれば、容易に焦点位置を取得することができるので、ピペットを焦点位置に容易に高精度で一致させることができる。

本発明の一態様に係るマニピュレーションシステムの駆動方法は、微小試料を操作するためのピペットを備えるマニピュレータと、前記ピペットを撮像する撮像部と、を備えるマニピュレーションシステムの駆動方法であって、前記撮像部に前記ピペットを撮像させるステップと、前記ピペットの中心軸に直交する方向にエッジ検出を行うステップと、エッジが検出されたか否かを判断するステップと、エッジが検出された場合、前記ピペットの付け根から先端に向かう方向に検出位置を移動させて再度エッジ検出を行うステップと、エッジが検出されなかった場合、エッジが不検出になった位置の直前にエッジが検出された検出位置を、前記ピペットの先端位置の前記中心軸に平行な方向の位置として取得するステップと、を含む。

本発明によれば、操作者の熟練度及び技術によらず、微細操作用治具の先端位置を高精度で取得することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供することができる。

図１は、実施形態に係るマニピュレーションシステムの構成を模式的に示す図である。図２は、微動機構の一例を示す断面図である。図３は、マニピュレーションシステムの制御ブロック図である。図４は、実施形態の第２ピペット及び検出範囲の一例を平面視で示す模式図である。図５は、図５に示す検出範囲のコントラスト比とコントラスト比を取得したＺ座標との関係を示すグラフである。図６は、実施形態のマニピュレーションシステムの動作の一例を示すフローチャート図である。図７は、実施形態の第２ピペット及びエッジ検出位置の一例を平面視で示す模式図である。図８は、図７に示す第２ピペットの濃度分布を説明する説明図である。図９は、実施形態のマニピュレーションシステムの動作の一例を示すフローチャート図である。図１０は、第１変形例に係る第２ピペット及びエッジ検出位置の一例を平面視で示す模式図である。図１１は、図１０に示す第２ピペットの濃度分布を説明する説明図である。図１２は、図１０に示す第２ピペットの濃度分布を説明する説明図である。図１３は、第２変形例に係る第２ピペット及びエッジ検出位置の一例を平面視で示す模式図である。図１４は、図１３に示す第２ピペットの濃度分布を説明する説明図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。

（実施形態）
［システムの構成］
まず、マニピュレーションシステム１０の物理構成について、図１及び図２を参照して説明する。図１は、実施形態に係るマニピュレーションシステム１０の構成を模式的に示す図である。図２は、微動機構４４の一例を示す断面図である。マニピュレーションシステム１０は、顕微鏡観察下で細胞等の微小試料を操作するためのシステムである。図１において、マニピュレーションシステム１０は、顕微鏡ユニット１２と、第１マニピュレータ１４と、第２マニピュレータ１６と、マニピュレーションシステム１０を制御するコントローラ（制御装置）４３とを備えている。顕微鏡ユニット１２の両側に第１マニピュレータ１４と第２マニピュレータ１６とが分かれて配置されている。

撮像部としての顕微鏡ユニット１２は、撮像素子を含むカメラ１８と、顕微鏡２０と、試料ステージ２２とを備えている。細胞等の微小試料を載置する試料ステージ２２の基準面は、Ｘ軸－Ｙ軸平面に平行なＸ－Ｙ平面である。試料ステージ２２は、シャーレ等の試料保持部材１１を支持可能であり、試料保持部材１１の直上に顕微鏡２０が配置される。顕微鏡ユニット１２は、顕微鏡２０とカメラ１８とが一体構造となっており、試料保持部材１１に向けて光を照射する光源（図示は省略している）を備えている。なお、カメラ１８は、顕微鏡２０と別体に設けてもよい。

試料保持部材１１には、微小試料を含む溶液が収容される。溶液は、例えば、パラフィンオイル等である。試料保持部材１１の微小試料に光が照射され、試料保持部材１１の微小試料で反射した光が顕微鏡２０に入射すると、微小試料に関する光学像は、顕微鏡２０で拡大された後、カメラ１８で撮像される。カメラ１８で撮像された画像を基に微小試料の観察が可能となっている。

第１マニピュレータ１４は、第１ピペット保持部材２４と、Ｘ－Ｙ軸テーブル２６と、Ｚ軸テーブル２８と、Ｘ－Ｙ軸テーブル２６を駆動する駆動装置３０と、Ｚ軸テーブル２８を駆動する駆動装置３２とを備える。第１マニピュレータ１４は、Ｘ軸－Ｙ軸－Ｚ軸の３軸構成のマニピュレータである。なお、本実施形態において、水平面内の一方向をＸ軸方向、水平面内においてＸ軸方向と交差する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと交差する方向（すなわち鉛直方向）をＺ軸方向とする。Ｚ軸方向は、顕微鏡２０の焦点合わせ方向である。

Ｘ－Ｙ軸テーブル２６は、駆動装置３０の駆動により、Ｘ軸方向又はＹ軸方向に移動可能となっている。Ｚ軸テーブル２８は、Ｘ－Ｙ軸テーブル２６上に上下移動可能に配置され、駆動装置３２の駆動によりＺ軸方向に移動可能になっている。駆動装置３０、３２は、コントローラ４３に接続されている。

第１ピペット保持部材２４は、Ｚ軸テーブル２８に連結され、先端に毛細管チップである第１ピペット２５が取り付けられている。第１ピペット保持部材２４は、Ｘ－Ｙ軸テーブル２６とＺ軸テーブル２８の移動に従って３次元空間を移動領域として移動し、試料保持部材１１に収容された微小試料を、第１ピペット２５を介して保持することができる。

すなわち、第１マニピュレータ１４は、微小試料の保持に用いられる保持用マニピュレータであり、第１ピペット２５は、微小試料の保持手段として用いられるホールディングピペットである。微小試料は、例えば、第１ピペット２５と連通されているシリンジポンプ２９（図３参照）によって、第１ピペット２５の先端にて吸引保持される。第１ピペット２５の内部圧力は、シリンジポンプ２９から供給される圧力の制御値により制御される。

第２マニピュレータ１６は、第２ピペット保持部材３４と、Ｘ－Ｙ軸テーブル３６と、Ｚ軸テーブル３８と、Ｘ－Ｙ軸テーブル３６を駆動する駆動装置４０と、Ｚ軸テーブル３８を駆動する駆動装置４２とを備える。第２マニピュレータ１６は、Ｘ軸－Ｙ軸－Ｚ軸の３軸構成のマニピュレータである。

Ｘ－Ｙ軸テーブル３６は、駆動装置４０の駆動により、Ｘ軸方向又はＹ軸方向に移動可能となっている。Ｚ軸テーブル３８は、Ｘ－Ｙ軸テーブル３６上に上下移動可能に配置され、駆動装置４２の駆動によりＺ軸方向に移動可能になっている。駆動装置４０、４２は、コントローラ４３に接続されている。

第２ピペット保持部材３４は、Ｚ軸テーブル３８に連結され、先端にガラス製の第２ピペット３５が取り付けられている。第２ピペット保持部材３４は、Ｘ－Ｙ軸テーブル３６とＺ軸テーブル３８の移動に従って３次元空間を移動領域として移動し、試料保持部材１１に収容された微小試料を人工操作することが可能である。

すなわち、第２マニピュレータ１６は、微小試料の操作（ＤＮＡ溶液の注入操作や穿孔操作等）に用いられる操作用マニピュレータであり、第２ピペット３５は、微小試料のインジェクション操作手段として用いられるインジェクションピペットである。微小試料は、例えば、第２ピペット３５と連通されている注入ポンプ３９（図３参照）によって、第２ピペット３５の先端から溶液等が注入される。第２ピペット３５の内部圧力は、注入ポンプ３９から供給される圧力の制御値により制御される。

Ｘ－Ｙ軸テーブル３６とＺ軸テーブル３８は、第２ピペット保持部材３４を、試料保持部材１１に収容された微小試料等の操作位置まで粗動駆動する粗動機構（３次元移動テーブル）として構成されている。また、Ｚ軸テーブル３８と第２ピペット保持部材３４との連結部には、ナノポジショナとして微動機構４４が備えられている。微動機構４４は、第２ピペット保持部材３４をその長手方向（軸方向）に移動可能に支持するとともに、第２ピペット保持部材３４をその長手方向（軸方向）に沿って微動駆動するように構成される。

図２に示すように微動機構４４は、第２ピペット保持部材３４を駆動対象とする圧電アクチュエータ４４ａを備える。圧電アクチュエータ４４ａは、筒状のハウジング８７と、ハウジング８７の内部に設けられた転がり軸受８０、８２と、圧電素子９２とを含む。ハウジング８７の軸方向に第２ピペット保持部材３４が挿通される。転がり軸受８０、８２は、第２ピペット保持部材３４を回転可能に支持する。圧電素子９２は、印加される電圧に応じて第２ピペット保持部材３４の長手方向に沿って伸縮する。第２ピペット保持部材３４の先端側（図２左側）には第２ピペット３５（図１参照）が取り付けられ固定される。

第２ピペット保持部材３４は、転がり軸受８０、８２を介してハウジング８７に支持される。転がり軸受８０は、内輪８０ａと、外輪８０ｂと、内輪８０ａと外輪８０ｂとの間に設けられたボール８０ｃとを備える。転がり軸受８２は、内輪８２ａと、外輪８２ｂと、内輪８２ａと外輪８２ｂとの間に設けられたボール８２ｃとを備える。各外輪８０ｂ、８２ｂがハウジング８７の内周面に固定され、各内輪８０ａ、８２ａが中空部材８４を介して第２ピペット保持部材３４の外周面に固定される。このように、転がり軸受８０、８２は、第２ピペット保持部材３４を回転自在に支持するようになっている。

中空部材８４の軸方向の略中央部には、径方向外方に突出するフランジ部８４ａが設けられている。転がり軸受８０は、フランジ部８４ａに対して第２ピペット保持部材３４の軸方向の先端側に配置され、転がり軸受８２はフランジ部８４ａに対して後端側に配置される。内輪間座としてのフランジ部８４ａを挟んで転がり軸受８０の内輪８０ａと、転がり軸受８２の内輪８２ａとが配置される。第２ピペット保持部材３４の外周面にねじ加工が施されており、内輪８０ａの先端側及び内輪８２ａの後端側からロックナット８６及びロックナット８６が第２ピペット保持部材３４に螺合されて、転がり軸受８０、８２の軸方向の位置が固定される。

円環状のスペーサ９０は、転がり軸受８０、８２と同軸に外輪８２ｂの軸方向後端側に配置される。スペーサ９０の軸方向後端側には、円環状の圧電素子９２がスペーサ９０と略同軸に配置され、さらにその軸方向後端側にはハウジング８７の蓋８８が配置される。蓋８８は、圧電素子９２を軸方向に固定するためのもので、第２ピペット保持部材３４が挿通する孔部を有する。蓋８８は、例えば、ハウジング８７の側面に不図示のボルトにより締結されていてもよい。なお、圧電素子９２は、棒状又は角柱状としてスペーサ９０の周方向に略等配となるように並べても良く、第２ピペット保持部材３４を挿通する孔部を有した角筒としても良い。

圧電素子９２はスペーサ９０を介して転がり軸受８２と接している。圧電素子９２は、リード線（図示せず）を介して制御回路としてのコントローラ４３に接続されている。圧電素子９２は、コントローラ４３からの印加電圧に応答して第２ピペット保持部材３４の軸方向に沿って伸縮し、第２ピペット保持部材３４をその軸方向に沿って微動させるようになっている。

第２ピペット保持部材３４が軸方向に沿って微動すると、この微動が第２ピペット３５（図１参照）に伝達され、第２ピペット３５の位置が微調整されることになる。また、圧電素子９２により第２ピペット保持部材３４が軸方向に振動すると、第２ピペット３５も軸方向に振動する。このように微動機構４４により、微小試料への操作（ＤＮＡ溶液や細胞の注入操作や穿孔操作等）の際には、より正確な操作が可能となり、圧電素子９２による穿孔作用の向上を実現できる。

なお、上述の微動機構４４は、微小試料の操作用の第２マニピュレータ１６に設けられるとしているが、図１に示すように微小試料の固定用の第１マニピュレータ１４に微動機構４４と同様の微動機構５４を設けてもよく、省略することも可能である。

［システムの制御構成］
次に、コントローラ４３によるマニピュレーションシステム１０の制御について図３を参照して説明する。図３は、マニピュレーションシステム１０の制御ブロック図である。

コントローラ４３は、ＣＰＵ（Central Processing Unit）等のマイクロプロセッサを有する演算処理装置を含む演算部４６Ａ、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等のメモリを有する記憶装置を含む記憶部４６Ｂ、及び入出力インターフェース装置等のハードウェア資源を備える。コントローラ４３の機能は、記憶部４６Ｂに格納された所定のプログラムを演算部４６Ａが実行することで実現される。コントローラ４３は、演算部４６Ａによる演算結果に従って、各構成要素に各種機能を実行させる制御信号を出力する。

コントローラ４３は、顕微鏡ユニット１２の焦点合わせ機構８１、第１マニピュレータ１４の駆動装置３０、駆動装置３２、シリンジポンプ２９、第２マニピュレータ１６の駆動装置４０、駆動装置４２、圧電素子９２、注入ポンプ３９を制御し必要に応じて設けられたドライバやアンプ等を介してそれぞれに制御信号を出力する。コントローラ４３は、駆動装置３０、３２、４０、４２にそれぞれ駆動信号Ｖ_ＸＹ、Ｖ_Ｚ（図１参照）を供給する。駆動装置３０、３２、４０、４２は、駆動信号Ｖ_ＸＹ、Ｖ_Ｚに基づいてＸ－Ｙ－Ｚ軸方向に駆動する。コントローラ４３は、微動機構４４にナノポジショナ制御信号Ｖ_Ｎ（図１参照）を供給して、微動機構４４の制御を行ってもよい。

コントローラ４３は、情報入力手段としてジョイスティック４７と、キーボード、マウス又はタッチパネル等の入力部４９とが接続されている。ジョイスティック４７は公知のものを用いることができる。ジョイスティック４７は、基台と、基台から直立するハンドル部とを備えており、ハンドル部を傾斜させるように操作することで駆動装置３０、４０のＸ－Ｙ駆動を行うことができ、ハンドル部をねじることで駆動装置３２、４２のＺ駆動を行うことができる。

ジョイスティック４７は、シリンジポンプ２９、圧電素子９２、注入ポンプ３９の各駆動を操作するためのボタン４７Ａを備えていてもよい。また、コントローラ４３は、液晶パネル等の表示部４５が接続される。表示部４５にはカメラ１８で取得した顕微鏡画像や各種制御用画面が表示されるようになっている。なお、入力部４９としてタッチパネルが用いられる場合には、表示部４５の表示画面にタッチパネルを重ねて用い、操作者が表示部４５の表示画像を確認しつつ入力操作を行うようにしてもよい。

図３に示すように、コントローラ４３は、さらに画像入力部４３Ａ、画像処理部４３Ｂ、画像出力部４３Ｃ及び位置検出部４３Ｄを備えている。顕微鏡２０を通してカメラ１８で撮像した画像信号Ｖ_ＰＩＸ（図１参照）が画像入力部４３Ａに入力される。画像処理部４３Ｂは、画像入力部４３Ａから画像信号を受け取って、画像処理を行う。画像処理部４３Ｂは、画像入力部４３Ａから受け取った画像信号をグレースケール化して、グレースケール画像に基づいてエッジ抽出処理やパターンマッチングを行う。画像出力部４３Ｃは、画像処理部４３Ｂで画像処理された画像情報を表示部４５へ出力する。

位置検出部４３Ｄは、カメラ１８で撮像された微小試料の位置や、微小試料に対して操作を行う第１ピペット２５及び第２ピペット３５等の治具の位置を、画像処理後の画像情報に基づいて検出することができる。位置検出部４３Ｄは、画像情報に基づいてカメラ１８の撮像領域内における微小試料及び治具等の有無を検出することができる。画像入力部４３Ａ、画像処理部４３Ｂ、画像出力部４３Ｃ及び位置検出部４３Ｄは、演算部４６Ａにより制御される。

コントローラ４３は、位置検出部４３Ｄからの微小試料及び治具等の有無の情報及び位置情報に基づいて、第１マニピュレータ１４及び第２マニピュレータ１６を制御する。本実施形態において、コントローラ４３は、第１マニピュレータ１４及び第２マニピュレータ１６を所定のシーケンスで自動的に駆動する。かかるシーケンス駆動は、記憶部４６Ｂにあらかじめ保存された所定のプログラムによる演算部４６Ａの演算結果に基づいて、コントローラ４３が順次それぞれに駆動信号を出力することで行われる。

［ピペット先端位置のＺ座標の設定方法］
ピペット先端位置をより好適に取得するために、予め好適な焦点位置Ｚｆをピペット先端位置のＺ座標に設定する方法について説明する。以下の説明では、図４及び図５を参照して、第２ピペット３５の先端位置ＰのＺ座標の設定方法について説明する。なお、第２ピペット３５の先端位置ＰのＸ座標Ｘｐ及びＹ座標Ｙｐの取得方法は、後述にて図７及び図８を参照して説明する。図４は、実施形態の第２ピペット３５及び検出範囲１００の一例を平面視で示す模式図である。図５は、図４に示す検出範囲１００のコントラスト比とコントラスト比を取得したＺ座標との関係を示すグラフである。

本実施形態において、第２ピペット３５の先端位置ＰのＺ座標は、以下に説明する設定方法によって、顕微鏡２０の視野内において第２ピペット３５の先端の焦点が合っている状態である焦点位置ＺｆのＺ座標に設定される。焦点が合っている状態とは、カメラ１８が撮像する撮像画像において、第２ピペット３５の濃度値と背景の濃度値とのコントラスト比が最も大きい状態である。濃度値は、グレースケール化された撮像画像における階調値に対応する。撮像画像は、例えば、２５６階調の８ｂｉｔである場合、濃度値は、白色から黒色まで２５６段階で示される。

なお、第２ピペット３５は、中心軸がＸ軸方向に平行な姿勢に維持されるものとする。また、カメラ１８及び顕微鏡２０が第２ピペット３５を撮像する方向は、Ｚ軸方向に平行な方向であるものとする。平行とは、予め設定された許容範囲内の傾きを有するものを含む。また、顕微鏡２０の視野内において、第２ピペット３５の先端位置Ｐは、第２ピペット保持部材３４（図１参照）に保持される付け根側に対して左側に位置するものとする。

図４に示すように、本実施形態では、第２ピペット３５の撮像画像、すなわち視野内において、第２ピペット３５の先端位置Ｐを検出するための所定の検出範囲１００を設定する。検出範囲１００は、Ｘ座標がＸｍｉｎ≦Ｘ≦Ｘｍａｘ、及びＹ座標がＹｍｉｎ≦Ｙ≦Ｙｍａｘの範囲である。すなわち、検出範囲１００は、Ｘ軸方向の幅ＷをＷ＝Ｘｍａｘ－Ｘｍｉｎとし、Ｙ軸方向の幅ＬをＬ＝Ｙｍａｘ－Ｙｍｉｎとする長方形状に設定される。

なお、検出範囲１００は、第２ピペット３５の先端の大まかなＸ座標に対して、Ｘｍａｘが十分に大きく、かつＸｍｉｎが十分に小さくなるように設定する。また、検出範囲１００は、第２ピペット３５の中心軸の大まかなＹ座標に対して、Ｙｍａｘが十分に大きく、かつＹｍｉｎが十分に小さくなるように設定する。

検出範囲１００を設定する際には、第２ピペット３５の大まかな位置を検出する必要がある。すなわち、第２ピペット３５の先端の大まかなＸ座標及び第２ピペット３５の中心軸の大まかなＹ座標を検出する必要がある。この検出には、例えば、幾何学マッチングを利用する。本実施形態における幾何学マッチングでは、顕微鏡ユニット１２による撮像画像から、長方形状の図形パターンに合致する部分を第２ピペット３５として定義する。検出範囲１００は、例えば、幾何学マッチングで検出された第２ピペット３５の所定の基準点のＸＹ座標を含んで設定される所定範囲である。

図５では、Ｚ座標がＺｆｔ－α≦Ｚ≦Ｚｆｔ＋αの範囲で、定数ｚずつずらして検出範囲１００のコントラスト比を取得した際の、Ｚ座標とコントラスト比との関係を示したグラフを示す。仮焦点位置Ｚｆｔは、操作者が顕微鏡２０の焦点合わせ機構８１を用いて、第２ピペット３５に大まかに焦点を合わせた状態のＺ座標である。定数αは、仮焦点位置ＺｆｔからのＺ軸方向の距離であって、撮像画像を取得するＺ軸方向の範囲を限定するため値である。定数ｚは、予め記憶部４６Ｂに記憶された撮像画像を取得するＺ軸方向の間隔の値である。定数α及び定数ｚは、予め記憶部４６Ｂに記憶される。

焦点位置Ｚｆは、各々の撮像画像を撮像した位置のＺ座標と、各々の撮像画像の検出範囲１００におけるコントラスト比との関係に基づいて設定される。より詳しくは、図５に示すように、Ｚ座標とコントラスト比との関係から正規分布に近似する近似関数が算出される。算出された近似関数の中央値であるＺ座標が、焦点位置Ｚｆであるとみなされる。

［システムの動作］
次に、第２ピペット３５の先端位置Ｐを焦点位置Ｚｆに設定する際の、マニピュレーションシステム１０の駆動方法について説明する。マニピュレーションシステム１０の動作を開始する前に、操作者は、まず、図１に示すカメラ１８の視野内に、第２ピペット３５を配置する。操作者は、次に、顕微鏡２０の焦点合わせ機構８１を用いて、焦点を第２ピペット３５に合わせる。また、操作者は、コントローラ４３の記憶部４６Ｂに、検出範囲１００を設定するための幅Ｗ及び幅Ｌの値、コントラスト比を取得するＺ軸方向の範囲を限定するための定数αの値、コントラスト比を取得するＺ軸方向の間隔である定数ｚの値等を予め設定しておく。

図６は、実施形態のマニピュレーションシステム１０の動作の一例を示すフローチャート図である。マニピュレーションシステム１０は、第２ピペット３５の先端位置Ｐの焦点位置Ｚｆへの設定に関する操作を自動で実行する。マニピュレーションシステム１０による自動操作は、例えば、ＰＣソフト上の開始ボタンを押すことで開始され、コントローラ４３が図６に示すステップＳＴ１０１の処理を開始する。

まず、ステップＳＴ１０１において、コントローラ４３の画像処理部４３Ｂは、第２ピペット３５の画像データを取得する。ステップＳＴ１０２において、位置検出部４３Ｄは、取得した画像データに基づいて、第２ピペット３５の位置を幾何学マッチングにより検出する。

次に、ステップＳＴ１０３において、位置検出部４３Ｄは、第２ピペット３５が検出されたか否かを判断する。ステップＳＴ１０３において、第２ピペット３５が検出されないと判断された場合（ステップＳＴ１０３；Ｎｏ）、コントローラ４３は、ステップＳＴ１０１に戻り、ステップＳＴ１０３でＹｅｓと判断されるまでステップＳＴ１０１からステップＳＴ１０３までの処理を繰り返し実行する。

なお、ステップＳＴ１０３において、第２ピペット３５が検出されないと判断した場合、コントローラ４３は、図６に示すフローチャートの処理を一度終了してもよい。この場合、操作者は、第２ピペット３５の配置及び顕微鏡２０の焦点等を手動で調整した後、図６に示すフローチャートの処理を再度開始させる。

ステップＳＴ１０３において、第２ピペット３５が検出されたと判断された場合（ステップＳＴ１０３；Ｙｅｓ）、コントローラ４３は、ステップＳＴ１０４へ移行する。ステップＳＴ１０４において、コントローラ４３の演算部４６Ａは、画像データにおいて、検出範囲１００を設定する。検出範囲１００は、Ｘ座標がＸｍｉｎ≦Ｘ≦Ｘｍａｘ、及びＹ座標がＹｍｉｎ≦Ｙ≦Ｙｍａｘの範囲である長方形状である。

次に、ステップＳＴ１０５において、演算部４６Ａは、仮焦点位置Ｚｆｔを設定する。仮焦点位置Ｚｆｔは、ステップＳＴ１０３において第２ピペット３５が検出された状態のＺ座標である。次に、ステップＳＴ１０６において、演算部４６Ａは、Ｚ軸方向にコントラスト比を取得するＺ座標である変数Ｚｄを、Ｚｄ＝Ｚｆｔ＋αに示す数式によって算出する。αは、予め記憶部４６Ｂに記憶された所定の定数である。演算部４６Ａは、算出したＺｄを記憶部４６Ｂに記憶する。

次に、ステップＳＴ１０７において、演算部４６Ａは、第２マニピュレータ１６を駆動して、第２ピペット３５をＺ＝Ｚｄの位置へ移動させる。次に、ステップＳＴ１０８において、画像処理部４３Ｂは、検出範囲１００を含む画像データを取得する。

次に、ステップＳＴ１０９において、演算部４６Ａは、ステップＳＴ１０８で取得した画像データにおいて、検出範囲１００のコントラスト比を取得する。すなわち、演算部４６Ａは、Ｚ座標がＺ＝Ｚｄである際の検出範囲１００のコントラスト比を取得する。演算部４６Ａは、取得したコントラスト比を、コントラスト比を取得したＺ座標と紐づけて記憶部４６Ｂに記憶する。次に、ステップＳＴ１１０において、演算部４６Ａは、コントラスト比を取得するＺ座標の変数Ｚｄを、Ｚｄ＝Ｚｄ－ｚとして更新して、記憶部４６Ｂに記憶する。

ステップＳＴ１１１において、演算部４６Ａは、Ｚｄが（Ｚｆｔ－α）より下回ったか否かを判断する。ステップＳＴ１１１において、Ｚｄ≧Ｚｆｔ－αであると判断された場合（ステップＳＴ１１１；Ｎｏ）、ステップＳＴ１０７に戻り、ステップＳＴ１１１でＹｅｓと判断されるまでステップＳＴ１０７からステップＳＴ１１１までの処理を繰り返し実行する。

ステップＳＴ１１１において、Ｚｄ＜Ｚｆｔ－αであると判断された場合（ステップＳＴ１１１；Ｙｅｓ）、コントローラ４３は、ステップＳＴ１１２へ移行する。ステップＳＴ１１２において、演算部４６Ａは、ステップＳＴ１０７からステップＳＴ１１１までの処理で取得したコントラスト比とコントラスト比を取得したＺ座標との関係について、Ｚ座標とコントラスト比との関係から正規分布に近似する近似関数を算出する。

次に、ステップＳＴ１１３において、演算部４６Ａは、ステップＳＴ１１２で算出した近似関数に基づいて、焦点位置Ｚｆを設定する。より詳しくは、演算部４６Ａは、Ｚ座標とコントラスト比との関係から算出された正規分布を近似する近似関数において中央値のＺ座標を、焦点位置Ｚｆとして取得する。演算部４６Ａは、取得した焦点位置Ｚｆを記憶部４６Ｂに記憶する。

次に、ステップＳＴ１１４において、演算部４６Ａは、第２マニピュレータ１６を駆動して、第２ピペット３５をＺ＝Ｚｆの位置へ移動させる。これにより、第２ピペット３５を焦点位置Ｚｆに移動させる。コントローラ４３は、図６に示すフローチャートの処理を終了する。

［ピペット先端位置のＸ座標及びＹ座標の取得方法］
次に、ピペット先端位置のＸ座標及びＹ座標の取得方法について説明する。以下の説明では、図７及び図８を参照して、第２ピペット３５の先端位置ＰのＸ座標及びＹ座標の取得方法について説明する。図７は、実施形態の第２ピペット３５及びエッジ検出位置の一例を平面視で示す模式図である。図８は、図７に示す第２ピペット３５の濃度分布を説明する説明図である。

第２ピペット３５の先端位置ＰのＸ座標は、第２ピペット保持部材３４（図１参照）に保持される付け根側に対して反対側の端部のＸ座標である。第２ピペット３５の先端位置ＰのＹ座標は、第２ピペット３５の中心軸のＹ座標である。

なお、第２ピペット３５は、中心軸がＸ軸方向に平行な姿勢に維持されるものとする。また、カメラ１８及び顕微鏡２０の視野において第２ピペット３５の焦点を調整する方向は、Ｚ軸方向に平行な方向であるものとする。平行とは、予め設定された許容範囲内の傾きを有するものを含む。また、顕微鏡２０の視野内において、第２ピペット３５の先端位置Ｐは、第２ピペット保持部材３４（図１参照）に保持される付け根側に対して左側に位置するものとする。

図７に示すように、本実施形態では、第２ピペット３５の撮像画像、すなわち視野内において、第２ピペット３５の先端位置Ｐを検出するための所定の検出範囲１００を設定する。検出範囲１００は、図４に示す焦点位置Ｚｆを設定する際に設定した検出範囲１００と同様の手順で設定される。図４から図６までに示す焦点位置Ｚｆの設定方法によって検出範囲１００が既に設定される場合は、既に設定された検出範囲１００をそのまま利用してもよい。

第２ピペット３５の先端位置ＰのＹ座標Ｙｐは、検出範囲１００の右端、すなわちＸ＝Ｘｍｉｎでの第２ピペット３５の外形のＹ座標Ｙａ、Ｙｂに基づいて算出する。具体的には、まず、検出範囲１００において、Ｘ＝ＸｍｉｎについてＹ軸方向にエッジ検出を行う。具体的には、Ｘ＝Ｘｍｉｎについて、Ｙｍｉｎ≦Ｙ≦Ｙｍａｘの範囲の濃度値の分布に基づいて、エッジ検出を行う。

図８では、検出範囲１００の右端を通るＹ軸に平行な直線（Ｘ＝Ｘｍｉｎ）上の濃度値の分布を示したグラフを示す。濃度値は、グレースケール化された撮像画像における階調値に対応する。撮像画像は、例えば、２５６階調の８ｂｉｔである場合、濃度値は、白色から黒色まで２５６段階で示される。

図８に示すＸ＝Ｘｍｉｎの直線上のＹ座標と濃度値との分布において、エッジ強度に基づいて検出されたエッジＥ１、Ｅ２、Ｅ３、Ｅ４（以降、検出された全てのエッジを区別しない場合はエッジＥと称する）のＹ座標が取得可能である。エッジ強度とは、濃度値の変化の度合いであり、例えば、図８に示すグラフの傾き、すなわち濃度値の微分値である。

次に、検出されたエッジＥのうち、最もＹ座標の値が大きいエッジＥ１が検出された位置を点Ａ（Ｘｍｉｎ，Ｙａ）とし、最もＹ座標の値が小さいエッジＥ４が検出された位置を点Ｂ（Ｙｍｉｎ，Ｙｂ）として取得する。すなわち、エッジＥのうち両端に位置する２つのエッジＥ１、Ｅ４を取得する。点Ａ及び点Ｂは、Ｘ＝ＸｍｉｎにおけるＹ軸方向において、それぞれ第２ピペット３５の輪郭の位置を示す。

点Ａと点Ｂとの中点のＹ座標は、第２ピペット３５の中心軸のＹ座標である。また、上述の通り、第２ピペット３５の先端位置ＰのＹ座標Ｙｐは、第２ピペット３５の中心軸のＹ座標である。したがって、第２ピペット３５の先端位置ＰのＹ座標Ｙｐは、Ｙｐ＝（Ｙａ＋Ｙｂ）／２に示す数式よって算出される。

第２ピペット３５の先端位置ＰのＸ座標Ｘｐは、検出範囲１００において、Ｘ＝Ｘｍｉｎから定数ｘずつずらしてＹ軸方向にエッジ検出を行った際のエッジＥの検出の有無に基づいて取得する。定数ｘは、エッジ検出を行うＸ軸方向の間隔の値である。定数ｘは、予め記憶部４６Ｂに記憶される。定数ｘは、例えば、１ｐｉｘｅｌである。具体的には、まず、検出範囲１００において、変数ＸｄをＸｄ＝Ｘｍｉｎ＋ｘとして、Ｘ＝ＸｄについてＹ軸方向にエッジ検出を行う。具体的には、Ｘ＝Ｘｄについて、Ｙｍｉｎ≦Ｙ≦Ｙｍａｘの範囲の濃度値の分布に基づいて、エッジ検出を行う。濃度値の分布によるエッジ検出の方法は、Ｘ＝Ｘｍｉｎにおける検出方法と同様である。

Ｘ＝Ｘｄについて、１つ以上のエッジＥが検出された場合、変数ＸｄをＸｄ＝Ｘｄ＋ｘとして、再びＸ＝ＸｄについてＹ軸方向にエッジ検出を行う。この動作をエッジＥが検出されなくなるまで繰り返し実行する。エッジＥが検出されなかった場合、エッジＥが不検出になった位置の直前にエッジＥが検出された位置のＸ座標を、第２ピペット３５の先端位置ＰのＸ座標Ｘｐであるとみなす。したがって、第２ピペット３５の先端位置ＰのＸ座標Ｘｐは、Ｘｐ＝Ｘｄ－ｘに示す数式によって算出される。

［システムの動作］
次に、第２ピペット３５の先端位置Ｐを取得する際の、マニピュレーションシステム１０の駆動方法について説明する。マニピュレーションシステム１０の動作を開始する前に、操作者は、まず、図１に示すカメラ１８の視野内に、第２ピペット３５を配置する。操作者は、次に、顕微鏡２０の焦点合わせ機構８１を用いて、焦点を第２ピペット３５に合わせる。また、操作者は、コントローラ４３の記憶部４６Ｂに、検出範囲１００を設定するための幅Ｗ及び幅Ｌの値、エッジ検出を行うＸ軸方向の間隔である定数ｘの値等を予め設定しておく。

図９は、実施形態のマニピュレーションシステム１０の動作の一例を示すフローチャート図である。マニピュレーションシステム１０は、第２ピペット３５の先端位置Ｐの検出に関する操作を自動で実行する。マニピュレーションシステム１０による自動操作は、例えば、ＰＣソフト上の開始ボタンを押すことで開始され、コントローラ４３が図９に示すステップＳＴ２０１の処理を開始する。

まず、ステップＳＴ２０１において、コントローラ４３の画像処理部４３Ｂは、第２ピペット３５の画像データを取得する。ステップＳＴ２０２において、位置検出部４３Ｄは、取得した画像データに基づいて、第２ピペット３５の位置を幾何学マッチングにより検出する。

次に、ステップＳＴ２０３において、位置検出部４３Ｄは、第２ピペット３５が検出されたか否かを判断する。ステップＳＴ２０３において、第２ピペット３５が検出されないと判断された場合（ステップＳＴ２０３；Ｎｏ）、コントローラ４３は、ステップＳＴ２０１に戻り、ステップＳＴ２０３でＹｅｓと判断されるまでステップＳＴ２０１からステップＳＴ２０３までの処理を繰り返し実行する。

なお、ステップＳＴ２０３において、第２ピペット３５が検出されないと判断した場合、コントローラ４３は、図９に示すフローチャートの処理を一度終了してもよい。この場合、操作者は、第２ピペット３５の配置及び顕微鏡２０の焦点等を手動で調整した後、図９に示すフローチャートの処理を再度開始させる。

ステップＳＴ２０３において、第２ピペット３５が検出されたと判断された場合（ステップＳＴ２０３；Ｙｅｓ）、コントローラ４３は、ステップＳＴ２０４へ移行する。ステップＳＴ２０４において、コントローラ４３の演算部４６Ａは、画像データにおいて、検出範囲１００を設定する。検出範囲１００は、Ｘ座標がＸｍｉｎ≦Ｘ≦Ｘｍａｘ、及びＹ座標がＹｍｉｎ≦Ｙ≦Ｙｍａｘの範囲である長方形状である。

なお、図９に示すフローチャートの処理を、図６に示すフローチャートの処理の後に行う場合等、既に検出範囲１００が設定されている場合は、ステップＳＴ２０２からステップＳＴ２０４までの処理を省略してもよい。この場合、ステップＳＴ２０１において、Ｚ＝Ｚｆでの第２ピペット３５の画像データを取得した後、コントローラ４３は、ステップＳＴ２０５へ移行する。

次に、ステップＳＴ２０５において、画像処理部４３Ｂは、Ｘ＝Ｘｍｉｎについて、Ｙ軸方向にエッジ検出を行う。ステップＳＴ２０６において、演算部４６Ａは、エッジＥが２点以上検出されたか否かを判断する。ステップＳＴ２０６において、エッジＥが２点以上検出されないと判断された場合（ステップＳＴ２０６；Ｎｏ）、コントローラ４３は、ステップＳＴ２０１に戻り、ステップＳＴ２０６でＹｅｓと判断されるまでステップＳＴ２０１からステップＳＴ２０６までの処理を繰り返し実行する。

ステップＳＴ２０６において、エッジＥが２点以上検出されたと判断された場合（ステップＳＴ２０６；Ｙｅｓ）、コントローラ４３は、ステップＳＴ２０７へ移行する。ステップＳＴ２０７において、演算部４６Ａは、２点のエッジＥの座標を取得する。より詳しくは、演算部４６Ａは、ステップＳＴ２０５において検出されたエッジＥ（例えば、図５に示すエッジＥ１、Ｅ４）のうち、最もＹ座標の値が大きいエッジＥ１が検出された位置である点Ａの座標（Ｘｍｉｎ，Ｙａ）を取得する。演算部４６Ａは、ステップＳＴ２０５において検出されたエッジＥのうち、最もＹ座標の値が小さいエッジＥ４が検出された位置である点Ｂの座標（Ｙｍｉｎ，Ｙｂ）を取得する。

次に、ステップＳＴ２０８において、演算部４６Ａは、第２ピペット３５の先端位置ＰのＹ座標Ｙｐを、Ｙｐ＝（Ｙａ＋Ｙｂ）／２に示す数式よって算出する。演算部４６Ａは、算出したＹｐを記憶部４６Ｂに記憶する。

次に、ステップＳＴ２０９において、演算部４６Ａは、Ｙ軸方向にエッジ検出するＸ座標である変数Ｘｄを、Ｘｄ＝Ｘｍｉｎ＋ｘに示す数式によって算出する。ｘは、予め記憶部４６Ｂに記憶された所定の定数である。演算部４６Ａは、算出したＸｄを記憶部４６Ｂに記憶する。

次に、ステップＳＴ２１０において、画像処理部４３Ｂは、Ｘ＝Ｘｄについて、Ｙ軸方向にエッジ検出を行う。ステップＳＴ２１１において、演算部４６Ａは、エッジＥが検出されたか否かを判断する。ステップＳＴ２１１において、エッジＥが検出されたと判断された場合（ステップＳＴ２１１；Ｙｅｓ）、コントローラ４３は、ステップＳＴ２１２へ移行する。

ステップＳＴ２１２において、演算部４６Ａは、Ｙ軸方向にエッジ検出するＸ座標の変数Ｘｄを、Ｘｄ＝Ｘｄ＋ｘとして更新して、記憶部４６Ｂに記憶する。ステップＳＴ２１２の処理を実行すると、コントローラ４３は、ステップＳＴ２１０に戻り、ステップＳＴ２１１でＮｏと判断されるまでステップＳＴ２１０からステップＳＴ２１２までの処理を繰り返し実行する。

ステップＳＴ２１１において、エッジＥが検出されないと判断された場合（ステップＳＴ２１１；Ｎｏ）、コントローラ４３は、ステップＳＴ２１３へ移行する。ステップＳＴ２１３において、演算部４６Ａは、第２ピペット３５の先端位置ＰのＸ座標Ｘｐを、Ｘｐ＝Ｘｄ－ｘに示す数式よって算出する。すなわち、エッジＥが検出されなかった場合、エッジＥが不検出になった位置の直前にエッジＥが検出された位置のＸ座標が、第２ピペット３５の先端位置ＰのＸ座標Ｘｐであるとみなされる。エッジＥが不検出になった位置の直前にエッジＥが検出されてから、ステップＳＴ２１２において変数ＸｄをＸｄ＝Ｘｄ＋ｘとして更新しているので、エッジＥが不検出になった位置の直前にエッジＥが検出された位置のＸ座標を、Ｘ＝Ｘｄ－ｘに示す数式から算出できる。すなわち、第２ピペット３５の先端位置ＰのＸ座標Ｘｐを、Ｘｐ＝Ｘｄ－ｘに示す数式よって算出できる。演算部４６Ａは、算出したＹｐを記憶部４６Ｂに記憶する。コントローラ４３は、図９に示すフローチャートの処理を終了する。

以上説明したように、本実施形態のマニピュレーションシステム１０は、微小試料を操作するためのピペット（第２ピペット３５）を備えるマニピュレータ（第２マニピュレータ１６）と、ピペットを撮像する撮像部（顕微鏡ユニット１２）と、撮像部によって撮像した撮像画像について、ピペットの付け根から先端に向かう方向に検出位置を移動させながらピペットの中心軸に直交する方向（Ｙ軸方向）にエッジ検出を行い、エッジＥが不検出になった位置の直前にエッジＥが検出された検出位置を、ピペットの先端位置Ｐの中心軸に平行な方向（Ｘ軸方向）の位置として取得するコントローラ４３と、を備える。

また、本実施形態のマニピュレーションシステム１０の駆動方法は、微小試料を操作するためのピペット（第２ピペット３５）を備えるマニピュレータ（第２マニピュレータ１６）と、ピペットを撮像する撮像部（顕微鏡ユニット１２）と、を備えるマニピュレーションシステム１０の駆動方法であって、撮像部にピペットを撮像させるステップと、ピペットの中心軸に直交する方向（Ｙ軸方向）にエッジ検出を行うステップと、エッジＥが検出されたか否かを判断するステップと、エッジＥが検出された場合、ピペットの付け根から先端に向かう方向に検出位置を移動させて再度エッジ検出を行うステップと、エッジＥが検出されなかった場合、エッジＥが不検出になった位置の直前にエッジＥが検出された検出位置を、ピペットの先端位置Ｐの中心軸に平行な方向（Ｘ軸方向）の位置として取得するステップと、を含む。

これにより、撮像画像に鮮明に写すことが困難な微細操作用のピペット（第２ピペット３５）であっても、先端位置Ｐを高精度で取得することができる。また、これらの動作を操作者の目視による判断ではなく、画像処理によって定量的かつ自動的に行うため、操作者の熟練度及び技術によらず、ピペットの先端位置Ｐを高精度で取得することができる。また、本実施形態の画像処理では、エッジ検出の有無によって先端位置Ｐを特定するため、ピペットの先端形状によらず、先端位置Ｐを検出することができる。さらに、高精度でピペットの先端位置Ｐを取得できるので、ピペットと微小試料との相関的な位置情報を高精度で得ることができる。また、例えば、マイクロピペットの先端を容器底面又は細胞上端等の対象物に接触させることによって先端位置を取得する従来の方法と比較して、ピペットの先端の折損を抑制できる。

また、本実施形態のマニピュレーションシステム１０において、コントローラ４３は、撮像画像についてピペット（第２ピペット３５）の中心軸に直交する方向（Ｙ軸方向）にエッジ検出を行い、検出されたエッジＥのうち両端のエッジＥ１、Ｅ４（図８参照）が検出された２点（点Ａ、Ｂ）の中点を、ピペットの先端位置Ｐの中心軸に直交する方向の位置として取得する。これにより、容易にピペットの先端位置Ｐを取得することができる。

また、本実施形態のマニピュレーションシステム１０において、コントローラ４３は、撮像画像に所定の検出範囲１００を設定し、検出範囲１００でエッジ検出を行う。これにより、画像処理を行う領域を限定するので、画像処理に伴う消費電力及びメモリ量等の負荷の低減に寄与できる。

また、本実施形態のマニピュレーションシステム１０において、コントローラ４３は、ピペット（第２ピペット３５）を焦点合わせ方向（Ｚ軸方向）に移動させながら撮像部（顕微鏡ユニット１２）によって撮像画像を撮像した各々の撮像位置（Ｚ座標）と、各々の撮像画像における所定の検出範囲１００のコントラスト比との関係に基づいて取得した焦点位置Ｚｆに、ピペットを移動させる。これにより、ピペットを焦点位置Ｚｆに高精度で一致させることができるので、ピペットの先端位置Ｐを取得するためのより鮮明な撮像画像を取得することができる。これにより、撮像画像におけるピペットの中心軸に直交する方向（Ｙ軸方向）からより高精度でエッジＥを検出することができるので、先端位置Ｐをより高精度で取得することができる。

また、本実施形態のマニピュレーションシステム１０において、コントローラ４３は、各々の撮像位置（Ｚ座標）とコントラスト比との関係から正規分布に近似する近似関数を算出し、近似関数の中央値を焦点位置Ｚｆとして設定する。これにより、容易に焦点位置Ｚｆを取得することができるので、ピペットを焦点位置Ｚｆに容易に高精度で一致させることができる。

なお、本実施形態は、上記態様に限定されるものではない。即ち、本実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。例えば、先端位置Ｐを検出するピペットは、実施形態の第２ピペット３５のような先端が平らである形状に限定されず、テーパ形状のピペット（例えば、後述の図１０に示す第２ピペット３５Ａ）、又はスパイク形状のピペット（例えば、後述の図１３に示す第２ピペット３５Ｂ）等でもよい。

（第１変形例）
［ピペット先端位置のＸ座標及びＹ座標の取得方法］
次に、図１０から図１２を参照して、第１変形例に係る第２ピペット３５Ａの先端位置Ｐの取得方法について説明する。図１０は、第１変形例に係る第２ピペット３５Ａ及びエッジ検出位置の一例を平面視で示す模式図である。図１１及び図１２は、図１０に示す第２ピペット３５Ａの濃度分布を説明する説明図である。

第２ピペット３５Ａの先端位置ＰのＸ座標は、第２ピペット保持部材３４（図１参照）に保持される付け根側に対して反対側の端部のＸ座標である。第２ピペット３５Ａの先端位置ＰのＹ座標は、第２ピペット３５の中心軸のＹ座標である。図１０に示すように、第１変形例の第２ピペット３５Ａは、付け根から先端に向かって径方向に均一に先細るテーパ形状である。すなわち、第１変形例において、第２ピペット３５Ａの先端位置ＰのＹ座標は、第２ピペット３５Ａの尖端のＹ座標と一致する。

第１変形例の第２ピペット３５Ａについて、先端位置ＰのＹ座標Ｙｐの取得方法は、図７から図９に示す実施形態の第２ピペット３５の先端位置ＰのＹ座標Ｙｐの取得方法と同様である。すなわち、まず、図１１に示す検出範囲１００の右端を通るＹ軸に平行な直線（Ｘ＝Ｘｍｉｎ）上の濃度値の分布から、エッジＥが検出される。図１１に示す一例において、検出されたエッジＥは、２点のエッジＥ５、Ｅ６である。

次に、検出されたエッジＥのうち、最もＹ座標の値が大きいエッジＥ５が検出された位置を点Ａ（Ｘｍｉｎ，Ｙａ）とし、最もＹ座標の値が小さいエッジＥ６が検出された位置を点Ｂ（Ｙｍｉｎ，Ｙｂ）として取得される。第２ピペット３５の先端位置ＰのＹ座標Ｙｐは、点Ａと点Ｂとの中点の座標に等しいので、Ｙｐ＝（Ｙａ＋Ｙｂ）／２に示す数式よって算出される。

第１変形例の第２ピペット３５Ａについて、先端位置ＰのＸ座標Ｘｐの取得方法は、基本的に図７から図９に示す実施形態の第２ピペット３５の先端位置ＰのＸ座標Ｘｐの取得方法と同様である。すなわち、検出範囲１００において、Ｘ＝Ｘｍｉｎから定数ｘずつずらしてＹ軸方向にエッジ検出を行った際のエッジＥの検出の有無に基づいて取得する。

ここで、第１変形例において、第２ピペット３５Ａは、付け根から先端に向かって径方向に均一に先細るテーパ形状であるため、Ｘ座標が大きくなるにつれてＹ軸方向の輪郭の幅が小さくなる。したがって、図１２に示すように、最初に検出されたエッジＥ５、Ｅ６と比較して、エッジＥ７、Ｅ８が検出されるＹ座標が接近する。このように、実施形態の第２ピペット３５では、検出されるエッジＥのＹ座標がほぼ一定であるが、第１変形例の第２ピペット３５Ａでは、検出されるエッジＥのＹ座標が変化する。

しかしながら、単にエッジＥの検出の有無に基づいて先端位置ＰのＸ座標Ｘｐを取得できるので、図７から図９に示す実施形態と同様に、検出位置をＸ軸方向にずらしながらエッジ検出を行い、エッジＥが不検出になった位置の直前にエッジＥが検出された位置のＸ座標を、第２ピペット３５Ａの先端位置ＰのＸ座標Ｘｐであるとみなせばよい。

（第２変形例）
［ピペット先端位置のＸ座標及びＹ座標の取得方法］
次に、図１３を参照して、第２変形例に係る第２ピペット３５Ａの先端位置Ｐの取得方法について説明する。図１３は、第２変形例に係る第２ピペット３５Ｂ及びエッジ検出位置の一例を平面視で示す模式図である。図１４は、図１３に示す第２ピペット３５Ｂの濃度分布を説明する説明図である。

第２ピペット３５Ｂの先端位置ＰのＸ座標は、第２ピペット保持部材３４（図１参照）に保持される付け根側に対して反対側の端部のＸ座標である。第２ピペット３５Ｂの先端位置ＰのＹ座標は、第２ピペット３５の中心軸のＹ座標である。図１３に示すように、第２変形例の第２ピペット３５Ａは、付け根から先端に向かって径方向に偏って先細るスパイク形状である。すなわち、第２変形例において、第２ピペット３５Ｂの先端位置ＰのＹ座標は、第２ピペット３５Ａの尖端のＹ座標と一致しない。

第２変形例の第２ピペット３５Ｂについて、先端位置ＰのＹ座標Ｙｐの取得方法は、図７から図９に示す実施形態の第２ピペット３５、及び図１０から図１２に示す第１変形例の第２ピペット３５Ａの先端位置ＰのＹ座標Ｙｐの取得方法と同様である。

しかしながら、図１３に示すように、第２変形例の第２ピペット３５Ｂは、付け根から先端に向かって径方向に偏って先細るスパイク形状であるため、スパイク形状の部分で検出された２点のエッジＥの中点は、中心軸に一致しない。したがって、第２変形例では、検出範囲１００の右端のＸ座標（Ｘ＝Ｘｍｉｎ）が、スパイク形状の部分より十分に第２ピペット３５Ｂの付け根側にあるように設定する必要がある。

マニピュレーションシステム１０では、例えば、図９に示すピペットの先端位置Ｐの検出処理が開始される前に、操作者によってピペットの初期設定値を入力可能である。初期設定値は、例えば、検出範囲１００に含めるピペットのＸ軸方向の長さの下限値を含む。これにより、コントローラ４３（図３参照）は、操作者が予め設定した第２ピペット３５Ｂの情報に基づいて検出範囲１００を設定することができる。

第１変形例の第２ピペット３５Ａについて、先端位置ＰのＸ座標Ｘｐの取得方法は、基本的に図７から図９に示す実施形態の第２ピペット３５、及び図１０から図１２に示す第１変形例の第２ピペット３５Ａの先端位置ＰのＸ座標Ｘｐの取得方法と同様である。すなわち、検出範囲１００において、Ｘ＝Ｘｍｉｎから定数ｘずつずらしてＹ軸方向にエッジ検出を行った際のエッジＥの検出の有無に基づいて取得する。

ここで、第２変形例において、第２ピペット３５Ｂは、付け根から先端に向かって径方向に偏って先細るスパイク形状であるため、Ｘ座標が大きくなるにつれてＹ軸方向の輪郭の幅が小さくなる。したがって、図１４に示すように、最初に検出されたエッジＥ９、Ｅ１０と比較して、エッジＥ１１、Ｅ１２が検出されるＹ座標が接近する。より詳しくは、エッジＥ１０のＹ座標と比較して、エッジＥ１２のＹ座標が大きくなる。このように、実施形態の第２ピペット３５では、検出されるエッジＥのＹ座標がほぼ一定であるが、第２変形例の第２ピペット３５Ｂでは、検出されるエッジＥのうち一部のエッジＥ１０、Ｅ１２のＹ座標が変化する。

しかしながら、単にエッジＥの検出の有無に基づいて先端位置ＰのＸ座標Ｘｐを取得できるので、図７から図９に示す実施形態及び図１０から図１２に示す第１変形例と同様に、検出位置をＸ軸方向にずらしながらエッジ検出を行い、エッジＥが不検出になった位置の直前にエッジＥが検出された位置のＸ座標を、第２ピペット３５Ｂの先端位置ＰのＸ座標Ｘｐであるとみなせばよい。

以上説明したように、本実施形態のマニピュレーションシステム１０において、第１変形例又は第２変形例のような種々の形状のピペット（第２ピペット３５Ａ、３５Ｂ）の先端位置Ｐを取得する場合、コントローラ４３は、操作者が予め設定したピペットの情報に基づいて検出範囲１００を設定する。これにより、好適な領域でピペットの撮像画像からエッジＥを検出することができるので、先端位置Ｐを高精度で取得することができる。

１０マニピュレーションシステム
１２顕微鏡ユニット（撮像部）
１４第１マニピュレータ
１６第２マニピュレータ
１８カメラ
２０顕微鏡
２２試料ステージ
３４第２ピペット保持部材
３５、３５Ａ、３５Ｂ第２ピペット
４３コントローラ（制御装置）
４３Ａ画像入力部
４３Ｂ画像処理部
４３Ｃ画像出力部
４３Ｄ位置検出部
４６Ａ演算部
４６Ｂ記憶部
１００検出範囲
Ｐ先端位置
Ｚｆ焦点位置
Ｚｆｔ仮焦点位置
Ａ、Ｂ点

Claims

微小試料を操作するためのピペットを備えるマニピュレータと、
前記ピペットを撮像する撮像部と、
前記撮像部によって撮像した撮像画像について、前記ピペットの付け根から先端に向かう方向に検出位置を移動させながら前記ピペットの中心軸に直交する方向にエッジ検出を行い、エッジが不検出になった位置の直前にエッジが検出された検出位置を、前記ピペットの先端位置の前記中心軸に平行な方向の位置として取得するコントローラと、
を備える、マニピュレーションシステム。
前記コントローラは、前記撮像画像について前記ピペットの中心軸に直交する方向にエッジ検出を行い、検出されたエッジのうち両端のエッジが検出された２点の中点を、前記ピペットの先端位置の前記中心軸に直交する方向の位置として取得する、
請求項１に記載のマニピュレーションシステム。
前記コントローラは、前記撮像画像に所定の検出範囲を設定し、前記検出範囲で前記エッジ検出を行う、
請求項１又は２に記載のマニピュレーションシステム。
前記コントローラは、操作者が予め設定した前記ピペットの情報に基づいて前記検出範囲を設定する、
請求項３に記載のマニピュレーションシステム。
前記コントローラは、前記ピペットを焦点合わせ方向に移動させながら前記撮像部によって撮像画像を撮像した各々の撮像位置と、各々の前記撮像画像における所定の検出範囲のコントラスト比との関係に基づいて取得した焦点位置に、前記ピペットを移動させる、
請求項１から４のいずれか１項に記載のマニピュレーションシステム。
前記コントローラは、各々の撮像位置と前記コントラスト比との関係から正規分布に近似する近似関数を算出し、前記近似関数の中央値を焦点位置として設定する、
請求項５に記載のマニピュレーションシステム。
微小試料を操作するためのピペットを備えるマニピュレータと、
前記ピペットを撮像する撮像部と、
を備えるマニピュレーションシステムの駆動方法であって、
前記撮像部に前記ピペットを撮像させるステップと、
前記ピペットの中心軸に直交する方向にエッジ検出を行うステップと、
エッジが検出されたか否かを判断するステップと、
エッジが検出された場合、前記ピペットの付け根から先端に向かう方向に検出位置を移動させて再度エッジ検出を行うステップと、
エッジが検出されなかった場合、エッジが不検出になった位置の直前にエッジが検出された検出位置を、前記ピペットの先端位置の前記中心軸に平行な方向の位置として取得するステップと、
を含む、マニピュレーションシステムの駆動方法。