JP2007140557A - マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 - Google Patents
マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 Download PDFInfo
- Publication number
- JP2007140557A JP2007140557A JP2007036636A JP2007036636A JP2007140557A JP 2007140557 A JP2007140557 A JP 2007140557A JP 2007036636 A JP2007036636 A JP 2007036636A JP 2007036636 A JP2007036636 A JP 2007036636A JP 2007140557 A JP2007140557 A JP 2007140557A
- Authority
- JP
- Japan
- Prior art keywords
- operation tool
- image
- tip
- cell
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
【課題】撮像しても写らないほど微細な操作具の先端位置を、折損することなく正確に求めることができる手段の提供を目的とする。
【解決手段】画像を撮影する撮像手段と、前記撮像手段の撮影解像度限界より小さく、前記撮像手段による検出ができない大きさの先端を有し、当該先端が顕微鏡によって観察される微小な操作対象物に接触又は挿入されて当該操作対象物を操作する操作手段2aと、前記撮像手段の撮影解像度限界より大きく、前記撮像手段による検出が可能な大きさを有し、操作手段2aを保持する保持部(保持手段)と、前記撮像手段によって撮影された前記保持部を含む画像に基づき、操作手段の先端の位置を推定する推定手段と、を備えた。
【選択図】図4
【解決手段】画像を撮影する撮像手段と、前記撮像手段の撮影解像度限界より小さく、前記撮像手段による検出ができない大きさの先端を有し、当該先端が顕微鏡によって観察される微小な操作対象物に接触又は挿入されて当該操作対象物を操作する操作手段2aと、前記撮像手段の撮影解像度限界より大きく、前記撮像手段による検出が可能な大きさを有し、操作手段2aを保持する保持部(保持手段)と、前記撮像手段によって撮影された前記保持部を含む画像に基づき、操作手段の先端の位置を推定する推定手段と、を備えた。
【選択図】図4
Description
本発明は、マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法に関する。
従来より、細胞のような微小試料に対して選択的に物質の注入等の操作を行う場合に、顕微鏡の視野内で標的とする試料に対して針やピペット等の操作具を保持したマニピュレータを3次元的に位置決めし、処置をすることが行われている。このとき、一般的には操作具と試料もしくは容器との間の相対的な位置関係を、観察による焦点のボケ具合等で把握しながら操作することが要求され、熟練を要するものとなっている。
例えば下記特許文献1では、これら作業の操作性を向上させるため、操作具を容器底面に対して直接接触させ、その接触状況を顕微鏡観察で検出する方法を採用している。すなわち、操作具及び容器底面の焦点の一致、もしくは、操作具の撓み変形等を確認することにより、このときの操作具の高さを基準高さとして登録する。そして、予測される試料サイズと操作具の高さ方向の移動量に基づき、試料、操作具および容器底面の高さ関係を管理する。
そして、これらの高さ関係を座標と共に模式的に表示して作業者に認識させることで、3次元的な位置関係を把握させ、操作性を向上させるものとしている。この他の例としては、操作具と容器底面とを接触させず、顕微鏡の焦点間の距離により試料、操作具、容器底面の高さ関係を読み取ったり、または、操作具を試料に対して接触させることで基準高さを検出している。
特開平6−109979号公報
そして、これらの高さ関係を座標と共に模式的に表示して作業者に認識させることで、3次元的な位置関係を把握させ、操作性を向上させるものとしている。この他の例としては、操作具と容器底面とを接触させず、顕微鏡の焦点間の距離により試料、操作具、容器底面の高さ関係を読み取ったり、または、操作具を試料に対して接触させることで基準高さを検出している。
生細胞(大きさ10μm〜20μm程度)等の耐性の低い試料に対して物質の注入等の操作を行う場合、試料内に挿入する操作具は、侵襲を抑えるために先端が極力鋭利で細径であることが求められる。特に、核や神経細胞等においては、先端径が1μm以下、さらには光学分解能をも上回る極小径のピペットや針でなければ高い確率で細胞死を引き起こすことになり、操作効率を著しく損なう虞がある。
しかしながら、従来のマニピュレータ装置のように、観察で接触が検出できる程の歪を生じるよう、操作具を容器の底面や試料に接触させることは、高い確率で操作具を折損し、作業性を著しく阻害する虞がある。また、顕微鏡の合焦位置で判断する場合には、検出精度が焦点深度、すなわち光学系の波長や開口数に依存するため、常に十分とは言えず、同様に操作具を折損し易いものとなっている。また、回折限界により先端を光学的に観察すること自体が困難な条件もある。
しかしながら、従来のマニピュレータ装置のように、観察で接触が検出できる程の歪を生じるよう、操作具を容器の底面や試料に接触させることは、高い確率で操作具を折損し、作業性を著しく阻害する虞がある。また、顕微鏡の合焦位置で判断する場合には、検出精度が焦点深度、すなわち光学系の波長や開口数に依存するため、常に十分とは言えず、同様に操作具を折損し易いものとなっている。また、回折限界により先端を光学的に観察すること自体が困難な条件もある。
本発明は上記事情に鑑みて成されたものであり、撮像しても写らないほど微細な操作具の先端位置を、折損することなく正確に求めることができる手段の提供を目的とする。また、この手段により、操作具及び操作対象物間の3次元的な位置情報を正確に得て装置制御に反映し、侵襲を抑えた操作対象物の操作を高い効率で行うことができるようにすることも目的とする。
本発明は、上記課題を解決するために以下の手段を採用した。
すなわち、請求項1に記載のマニピュレータ装置は、画像を撮影する撮像手段と、前記撮像手段の撮影解像度限界より小さく、前記撮像手段による検出ができない大きさの先端を有し、当該先端が顕微鏡によって観察される微小な操作対象物に接触又は挿入されて当該操作対象物を操作する操作手段と、前記撮像手段の撮影解像度限界より大きく、前記撮像手段による検出が可能な大きさを有し、前記操作手段を保持する保持手段と、前記撮像手段によって撮影された前記保持手段を含む画像に基づき、前記操作手段の先端の位置を推定する推定手段と、を備えたことを特徴とする。
すなわち、請求項1に記載のマニピュレータ装置は、画像を撮影する撮像手段と、前記撮像手段の撮影解像度限界より小さく、前記撮像手段による検出ができない大きさの先端を有し、当該先端が顕微鏡によって観察される微小な操作対象物に接触又は挿入されて当該操作対象物を操作する操作手段と、前記撮像手段の撮影解像度限界より大きく、前記撮像手段による検出が可能な大きさを有し、前記操作手段を保持する保持手段と、前記撮像手段によって撮影された前記保持手段を含む画像に基づき、前記操作手段の先端の位置を推定する推定手段と、を備えたことを特徴とする。
また、請求項2に記載のマニピュレータ装置は、請求項1に記載のマニピュレータ装置において、前記操作対象物が、生体試料を含むことを特徴とする。
また、請求項3に記載のマニピュレータ装置は、請求項2に記載のマニピュレータ装置において、前記生体試料が、生体細胞を含むことを特徴とする。
また、請求項4に記載のマニピュレータ装置は、請求項1に記載のマニピュレータ装置において、前記操作手段が、前記操作対象物に接触又は挿入される針状の操作具であることを特徴とする。
また、請求項5に記載のマニピュレータ装置は、請求項1に記載のマニピュレータ装置において、前記保持手段が、前記操作手段の先端の位置を求めるための参照基準となる基準面を有することを特徴とする。
また、請求項6に記載のマニピュレータ装置は、請求項5に記載のマニピュレータ装置において、前記推定手段が、前記撮像手段によって撮影された前記画像中における前記保持手段の前記基準面を利用して、前記操作手段の先端の位置を推定することを特徴とする。
また、請求項7に記載のマニピュレータ装置における操作手段の先端位置の推定方法は、顕微鏡によって観察される微小な操作対象物に接触又は挿入する先端を有して前記操作対象物を操作する操作手段を備えるマニピュレータ装置における操作手段の先端位置を推定する方法であって、撮像手段の撮影解像度限界より小さく前記撮像手段による検出ができない大きさの前記操作手段の先端を保持する保持手段であって、前記撮像手段の撮影解像度限界より大きく前記撮像手段による検出が可能な大きさを有する保持手段が含まれる画像を、前記撮像手段によって撮影する工程と、前記撮像手段によって撮影された前記保持手段を含む画像に基づき、前記操作手段の先端の位置を推定する工程と、を有することを特徴とする。
上記解決手段を採用する本発明によれば、光学的分解能を上回るような極微細な先端を有する操作手段に対しても、これを接触させて折損させる恐れが無い上に、その先端の水平方向および高さ方向の位置を正確に認識することが可能となる。そして、同じく認識される操作対象物の操作対象点との相対位置を制御して、物質の注入等の操作を低侵襲かつ効率的に行うことができる。なお、これらの動作を制御する方法は手動でも自動でも良い。
本発明のマニピュレータ装置、操作システム、画像処理装置、プログラム、および装置制御方法の各実施形態についての説明を、図面を参照しながら以下に行うが、本発明がこれらのみに限定解釈されるものでないことは勿論である。
<第1実施形態>
まず、図1〜図6を参照しながら、第1実施形態を説明する。なお、図1は、システム構成を示す概略構成図である。また、図2は、装置外観を示す斜視図である。また、図3は、保持部の形状を示す図であって、(a)が左側面図、(b)が正面図、(c)が底面図を示している。また、図4(a)〜(d)は、画像処理による参照形状から、操作具の先端位置を認識する方法を説明する図であり、(a)及び(c)は正面図、(b)及び(d)は底面図である。また、図5は、観察画像における操作具先端と細胞との位置関係を認識する方法を説明する図である。また、図6は、マニピュレータ装置によるインジェクション動作を説明するためのフローチャート図である。
まず、図1〜図6を参照しながら、第1実施形態を説明する。なお、図1は、システム構成を示す概略構成図である。また、図2は、装置外観を示す斜視図である。また、図3は、保持部の形状を示す図であって、(a)が左側面図、(b)が正面図、(c)が底面図を示している。また、図4(a)〜(d)は、画像処理による参照形状から、操作具の先端位置を認識する方法を説明する図であり、(a)及び(c)は正面図、(b)及び(d)は底面図である。また、図5は、観察画像における操作具先端と細胞との位置関係を認識する方法を説明する図である。また、図6は、マニピュレータ装置によるインジェクション動作を説明するためのフローチャート図である。
本実施形態のマニピュレータ装置は、細胞の核に微細針状の操作具を接触または挿入させ、物質を注入するインジェクションを行ったり、細胞に電圧や振動による刺激等を加える操作を行ったり、さらには細胞内の器官や物質の採取を行ったりするための装置であり、細胞の操作、観察、さらには記録までを一括して行う操作システム(図示略)の一部をなしている。なお、この操作システムは、図示を省略するが、前記マニピュレータ装置と、このマニピュレータ装置から送信される各種情報を表示してこれをユーザーに提供するモニタと、前記マニピュレータ装置を外部から制御する計算機と、前記マニピュレータ装置のマニピュレータを交換する交換手段等を備えて構成されている。なお、前記モニタは、マニピュレータ装置自体に備えさせるものとしても良い。
そして、このマニピュレータ装置は、撮影解像度限界よりも小さい寸法を有し、細胞(操作対象物)を操作する操作具(操作手段)と、この操作具を保持し、撮影による検出が可能な(撮影解像度限界よりも大きい)寸法を有する保持部(保持手段)と、この保持具及び細胞を含む画像を取得する画像取得手段の一部をなす撮像手段と、前記画像に基づき、前記操作具の先端の位置を推定する画像処理手段(推定手段)とを備えて概略構成されている。なお、前記画像は、マニピュレータ装置自体に備えられた前記撮像手段が撮影することによって取得しても良いし、または、マニピュレータ装置には含まれない何らかの別手段が撮影した画像を画像取得手段が取り込むものとしても良い。
そして、前記画像処理手段は、前記画像から認識した前記保持具のイメージ情報に基づき、前記操作具の先端の位置を推定することができるようになっている。なお、本発明で言う「イメージ情報」とは、前記保持部の外形や、この保持部に付されたバーコード等の記号など、映し出された保持部の画像(映像イメージ)に基づき、操作具の先端位置を3次元的に求めるための参照基準を示す。
そして、前記画像処理手段は、前記画像から認識した前記保持具のイメージ情報に基づき、前記操作具の先端の位置を推定することができるようになっている。なお、本発明で言う「イメージ情報」とは、前記保持部の外形や、この保持部に付されたバーコード等の記号など、映し出された保持部の画像(映像イメージ)に基づき、操作具の先端位置を3次元的に求めるための参照基準を示す。
以上について図面を参照しながら具体的に説明すると、図1及び図2に示すように、このマニピュレータ装置は、容器Yが載置されるXYステージ1と、このXYステージ1の上方に配置されたマニピュレータ2A1と、このマニピュレータ2A1を保持する操作軸3と、この操作軸3を保持するZステージ4と、これらXYステージ1、操作軸3及びZステージ4を制御する制御部5と、容器Y内の生体試料(細胞S)を2方向から撮像する撮像手段6,7と、これら撮像手段6,7で撮像された画像を取り込んで画像処理する画像処理手段8と、容器Y内に照明光を供給する照明手段9(図1では省略)とを備えて概略構成されている。
なお、マニピュレータ2A1は、操作軸3に保持される保持部2と、この保持部2に保持される操作具2aとを備えて構成されている。また、前記モニタには、保持部2、細胞S、そして後述の方法により推定された操作具2aの先端位置に関する情報(この情報は、情報生成手段を兼ねる画像処理手段8によって生成される。)などが表示されるものとなっている。
なお、マニピュレータ2A1は、操作軸3に保持される保持部2と、この保持部2に保持される操作具2aとを備えて構成されている。また、前記モニタには、保持部2、細胞S、そして後述の方法により推定された操作具2aの先端位置に関する情報(この情報は、情報生成手段を兼ねる画像処理手段8によって生成される。)などが表示されるものとなっている。
そして、このマニピュレータ装置では、細胞Sを収容する容器Yの位置をXYステージ1で位置決めするとともに、マニピュレータ2A1の位置をZステージ4に備わっている各アクチュエータで位置決めすることができるようになっている。マニピュレータ2A1を挿入方向(XYステージ1上の載置面に対して垂直なZ軸方向でかつ真下に向かう方向)に移動させる場合には、操作軸3により駆動する。XYステージ1を駆動するアクチュエータ、Zステージ4を駆動するアクチュエータ、そして操作軸3を駆動するアクチュエータなどの各アクチュエータ類は、例えば、パルスモータやピエゾを駆動源とするとともに、リニアガイド等を用いて直進精度を確保し、さらにはその移動量および速度をパルス管理で制御するようにしている。
前記容器Yは、上方が開口し、光学観察に適した透明部材で底面および側面が構成されている。これに収容される各細胞Sは、容器Y内に保持された培養液中に浸された状態で、容器Yの底面に対して接着保持される。
容器Yの底面に対して直交方向の撮像方向を有する撮像手段6と、前記画像処理手段8とにより、マニピュレータ2A1を構成する保持部2先端に保持されている針などの操作具2aの先端位置xと、細胞Sの核Cの重心位置との相対的な位置関係を、XY平面(XYステージ1の載置面に平行な平面)上において求めることができるようになっている。撮像手段6は、図示しないレンズとCCD(光学撮像素子)とを組み合わせたカメラであり、保持部2と観察領域内の細胞Sとのそれぞれを視野内に収めることができる。なお、これら撮像手段6及び画像処理手段8は、細胞Sの核Cの重心位置を求める以外に、例えば小胞体やゴルジ体等の細胞内小器官の中心位置や、これらを回避する位置など、目的に応じた所定の点に対する位置関係を求めることも可能である。また、この時の画像処理手段8の制御は、制御部5が行うようにしても良い。
容器Yの底面に対して直交方向の撮像方向を有する撮像手段6と、前記画像処理手段8とにより、マニピュレータ2A1を構成する保持部2先端に保持されている針などの操作具2aの先端位置xと、細胞Sの核Cの重心位置との相対的な位置関係を、XY平面(XYステージ1の載置面に平行な平面)上において求めることができるようになっている。撮像手段6は、図示しないレンズとCCD(光学撮像素子)とを組み合わせたカメラであり、保持部2と観察領域内の細胞Sとのそれぞれを視野内に収めることができる。なお、これら撮像手段6及び画像処理手段8は、細胞Sの核Cの重心位置を求める以外に、例えば小胞体やゴルジ体等の細胞内小器官の中心位置や、これらを回避する位置など、目的に応じた所定の点に対する位置関係を求めることも可能である。また、この時の画像処理手段8の制御は、制御部5が行うようにしても良い。
容器Yの底面に平行な撮像方向を有する他の撮像手段7は、前記画像処理手段8との組み合わせにより、操作具(針)2aの最下端(先端)の高さ方向位置と、細胞Sの近傍における容器Yの底面との高さ方向位置との間の相対的位置関係を求めることができるようになっている。
操作具2aの接触高さまたは挿入開始高さは、細胞Sの予測寸法に基づいて容器Yの底面からの高さ寸法として求められる。なお、この他にも、操作具2aを細胞Sに接触させた際の撮像手段7による撮影画像の変化から、操作具2aの接触高さ又は挿入開始高さ、さらには挿入深さを求めるようにしても良い。
撮像手段7は、前記撮像手段6と同様に、図示しないレンズとCCD(光学撮像素子)を組み合わせたカメラであり、保持部2と観察領域内の細胞Sとのそれぞれを視野内に収めることができる。なお、これら撮像手段7及び画像処理手段8は、細胞Sの核Cの重心位置を求める以外に、例えば小胞体やゴルジ体等の細胞内小器官の中心位置や、これらを回避する位置など、目的に応じた所定の点に対する位置関係を求めることも可能である。また、この時の画像処理手段8の制御は、制御部5が行うようにしても良い。
操作具2aの接触高さまたは挿入開始高さは、細胞Sの予測寸法に基づいて容器Yの底面からの高さ寸法として求められる。なお、この他にも、操作具2aを細胞Sに接触させた際の撮像手段7による撮影画像の変化から、操作具2aの接触高さ又は挿入開始高さ、さらには挿入深さを求めるようにしても良い。
撮像手段7は、前記撮像手段6と同様に、図示しないレンズとCCD(光学撮像素子)を組み合わせたカメラであり、保持部2と観察領域内の細胞Sとのそれぞれを視野内に収めることができる。なお、これら撮像手段7及び画像処理手段8は、細胞Sの核Cの重心位置を求める以外に、例えば小胞体やゴルジ体等の細胞内小器官の中心位置や、これらを回避する位置など、目的に応じた所定の点に対する位置関係を求めることも可能である。また、この時の画像処理手段8の制御は、制御部5が行うようにしても良い。
前記制御部5は、画像処理手段8上で認識した操作具2aと細胞Sの接触または挿入開始点との位置関係により、3次元的に前記各アクチュエータを制御して両者の相対位置を合致させ、さらに操作具2aを細胞Sに接触または核Cまで挿入させ、溶液の吐出によるインジェクションや、電圧付与による刺激の印加などの操作を行わせるようになっている。
図3(a)〜(c)に示すように、保持部2には、操作具2aの先端位置を求める際の参照基準となる複数の基準面(イメージ情報)2b,2c,2dが形成されている。基準面2b,2cは、図3(c)に示すように保持部2を底面視した場合に、針状の操作具2aが点となる位置で互いに交差するように設計・製造されている。より詳しく言うと、共に鉛直平面である2つの基準面2b,2cが互いに交差する稜線と、操作具2aの軸線とが同軸をなすようになっている。したがって、XY平面上における操作具2aの先端位置xは、保持部2を底面視して基準面2b,2cの交差点を探すだけで、求めることが可能となっている。
同様に、基準面2dは、図3(b)に示すように保持部2を正面視した場合に直線をなし、この直線の延長線が、前記稜線の延長線と交差する点が、操作具2aの先端位置xに一致するように設計・製造されている。したがって、Z方向における操作具2aの先端位置xは、保持部2を正面視して前記稜線の延長線と基準面2dがなす直線の延長線とが交差する点を探すだけで、求めることが可能となっている。
以上説明のようにして、保持部2の外形をなす基準面2b,2c,2dを参照基準として、操作具2aの先端位置xを3次元的に求めることが可能となる。
以上説明のようにして、保持部2の外形をなす基準面2b,2c,2dを参照基準として、操作具2aの先端位置xを3次元的に求めることが可能となる。
保持部2の画像を画像処理手段8が画像処理することによって操作具2aの先端位置xを認識する方法について、より具体的に説明する。なお、この方法としては、下記(1)の認識方法(上述)に加え、(2)の認識方法も採用可能である。
(1)第1の認識方法
図4(a)に示すように、保持部2を正面視した画像を取得し、前記稜線を含む延長線である直線L2と、基準面2dがなす直線を含む延長線である直線L1との交点Xを画像処理で求める。さらに、図4(b)に示すように、保持部2を底面視した画像を取得し、基準面2cがなす直線の延長線である直線L3と、基準面2bがなす直線の延長線である直線L4との交点Xを画像処理で求める。このようにして、3次元的に求められた交点Xが、操作具2aの先端位置xとして認識できる。
(1)第1の認識方法
図4(a)に示すように、保持部2を正面視した画像を取得し、前記稜線を含む延長線である直線L2と、基準面2dがなす直線を含む延長線である直線L1との交点Xを画像処理で求める。さらに、図4(b)に示すように、保持部2を底面視した画像を取得し、基準面2cがなす直線の延長線である直線L3と、基準面2bがなす直線の延長線である直線L4との交点Xを画像処理で求める。このようにして、3次元的に求められた交点Xが、操作具2aの先端位置xとして認識できる。
(2)第2の認識方法
図4(c)に示すように、保持部2を側面視した場合の外形L5(稜線)をパターン形状として予め記憶しておくとともに、この外形L5に対する操作具2aの先端位置xも併せて記憶しておく。同様に、図4(d)に示す底面視した場合の外形L6(稜線)をパターン形状として予め記憶しておくとともに、この外形L6に対する操作具2aの先端位置xも併せて記憶しておく。そして、認識を行う際には、外形L5及び外形L6の画像を取得し、予め記憶しておいた保持部2のパターン形状と先端位置xとの相対的な位置関係に基づいて、操作具2aの先端位置xを認識する。
図4(c)に示すように、保持部2を側面視した場合の外形L5(稜線)をパターン形状として予め記憶しておくとともに、この外形L5に対する操作具2aの先端位置xも併せて記憶しておく。同様に、図4(d)に示す底面視した場合の外形L6(稜線)をパターン形状として予め記憶しておくとともに、この外形L6に対する操作具2aの先端位置xも併せて記憶しておく。そして、認識を行う際には、外形L5及び外形L6の画像を取得し、予め記憶しておいた保持部2のパターン形状と先端位置xとの相対的な位置関係に基づいて、操作具2aの先端位置xを認識する。
保持部2と操作具2aとの相対位置関係に関して、製造精度の不足から先端位置xの推定精度に誤差が生じる場合には、これら2つの認識方法のうち、製造後の検査結果を基に先端位置xを求める第2の認識方法を選択するのが望ましい。
また、図27(a),(b)に示すように、図4(a),(b)に示すものとは形状寸法の異なるものも含めて複数種類の保持部2を適宜選択して用いたい場合には、各保持部2の参照基準と形状パターンを先端位置xと関連付けたテーブル等を前記画像処理手段8に予め記憶しておき、先端位置xの認識を行う際に、選択した保持部2の形状パターンを呼び出し、この形状パターンに基づいて先端位置xを求めるようにすることも可能である。ただし、これは上記第2の認識方法を採用する場合であり、上記第1の認識方法を用いる場合には、形状パターンを記憶しておく必要はない。
また、図27(a),(b)に示すように、図4(a),(b)に示すものとは形状寸法の異なるものも含めて複数種類の保持部2を適宜選択して用いたい場合には、各保持部2の参照基準と形状パターンを先端位置xと関連付けたテーブル等を前記画像処理手段8に予め記憶しておき、先端位置xの認識を行う際に、選択した保持部2の形状パターンを呼び出し、この形状パターンに基づいて先端位置xを求めるようにすることも可能である。ただし、これは上記第2の認識方法を採用する場合であり、上記第1の認識方法を用いる場合には、形状パターンを記憶しておく必要はない。
さらには、保持部2の外形の代わりに、幾何学形状の配列を参照情報として用いることも可能である。具体的に言うと、例えば図28(a),(b)に示すように、バーコードや2次元コード等の情報Iを持たせておき、この情報Iを画像上で確認して読み込むことにより、保持部2の情報(先端位置xの情報を含む情報)を認識することが容易になる。
なお、上記の画像処理の段階では、前記撮像手段6,7により撮像した画像が映し出される画面上に前記直線L1〜L4や外形L5,L6と、これらによって求められた先端位置xとを模式的に表示することにより、このマニピュレータ装置を操作するオペレータが動作の適否を容易に確認することが可能となる。
以上のようにして操作具2aの先端位置xを求める制御部(推定手段)5は、図5に示すように、画像から認識した細胞Sが存在する所定の位置(例えば、細胞Sの上面でかつ核Cの重心の直上位置)に、画像処理上の基準となる点P1を設定し、さらに、この画像に基づき、操作具2aの先端位置xと前記点P1との相対的な位置関係を推定する位置関係推定手段としての役目を兼ね備えたものとなっている。
なお、上記の画像処理の段階では、前記撮像手段6,7により撮像した画像が映し出される画面上に前記直線L1〜L4や外形L5,L6と、これらによって求められた先端位置xとを模式的に表示することにより、このマニピュレータ装置を操作するオペレータが動作の適否を容易に確認することが可能となる。
以上のようにして操作具2aの先端位置xを求める制御部(推定手段)5は、図5に示すように、画像から認識した細胞Sが存在する所定の位置(例えば、細胞Sの上面でかつ核Cの重心の直上位置)に、画像処理上の基準となる点P1を設定し、さらに、この画像に基づき、操作具2aの先端位置xと前記点P1との相対的な位置関係を推定する位置関係推定手段としての役目を兼ね備えたものとなっている。
以上説明の構成を有する本実施形態のマニピュレータ装置を用いて、細胞Sに対してインジェクション等の操作を行う際の具体的な流れについて、図6を参照しながら以下に説明する。
まず、ステップS1において、細胞Sを収容した容器YをXYステージ1上にセットし、顕微鏡光学系、すなわち、容器Yの底面に直交する撮像方向を有する撮像手段6において、細胞Sに焦点を合わせる。
そして、続くステップS2において、細胞Sの予備観察を行い、インジェクション等の操作対象となる細胞Sを選定する。
まず、ステップS1において、細胞Sを収容した容器YをXYステージ1上にセットし、顕微鏡光学系、すなわち、容器Yの底面に直交する撮像方向を有する撮像手段6において、細胞Sに焦点を合わせる。
そして、続くステップS2において、細胞Sの予備観察を行い、インジェクション等の操作対象となる細胞Sを選定する。
そして、続くステップS3,S4において、選択した細胞Sが観察に適した位置に来るよう、XYステージ1をマニュアル移動で動かし、視野を調節する。
そして、続くステップS5において、細胞Sを前記撮像手段6で撮影する。
そして、続くステップS6において、得られた画像に画像処理を施すことにより、核Cの重心位置を画像内の2次元座標として認識する。
そして、続くステップS5において、細胞Sを前記撮像手段6で撮影する。
そして、続くステップS6において、得られた画像に画像処理を施すことにより、核Cの重心位置を画像内の2次元座標として認識する。
そして、続くステップS7において、マニピュレータ2A1の位置をZステージ4により降下させ、前記撮像手段6での観察に適した既定高さに位置決めする。
そして、続くステップS8において、保持部2の参照形状(外形など)に焦点を合わせ、保持部2を前記撮像手段6で撮影する。
そして、続くステップS9において、得られた画像に前述の方法で画像処理を施すことにより、操作具2aの先端位置xを画像内の2次元座標として認識する。
そして、続くステップS8において、保持部2の参照形状(外形など)に焦点を合わせ、保持部2を前記撮像手段6で撮影する。
そして、続くステップS9において、得られた画像に前述の方法で画像処理を施すことにより、操作具2aの先端位置xを画像内の2次元座標として認識する。
そして、続くステップS10において、容器Yの底面に平行な水平方向の撮像光学系7により、容器Yの側壁面越しに保持部2の参照形状(外形など)及び容器Yの底面を同一視野内で焦点を合わせて観察し、撮影する。
そして、続くステップS11において、得られた画像に画像処理を施すことにより、保持部2に保持されている操作具2aの先端位置xと容器Yの底面との距離を認識する。
そして、続くステップS12において、保持部2に保持されている操作具2aの先端位置xと細胞Sの核CとのXY方向の位置関係、及び、容器Yの底面とのZ方向の位置関係とを算出する。さらに、操作具2aの先端位置xと核C上方の細胞Sの上端位置(接触または挿入開始点)との相対位置を算出する。
そして、続くステップS11において、得られた画像に画像処理を施すことにより、保持部2に保持されている操作具2aの先端位置xと容器Yの底面との距離を認識する。
そして、続くステップS12において、保持部2に保持されている操作具2aの先端位置xと細胞Sの核CとのXY方向の位置関係、及び、容器Yの底面とのZ方向の位置関係とを算出する。さらに、操作具2aの先端位置xと核C上方の細胞Sの上端位置(接触または挿入開始点)との相対位置を算出する。
そして、続くステップS13〜S15において、各アクチュエータを3次元的に制御して先端位置x及び挿入開始点間の相対位置を一致させる。一致しない場合は、一致するまで位置微調整を繰り返す。
そして、位置決め完了後のステップS16において、操作軸3を接触または挿入深さ分だけ駆動し、操作具2aを細胞Sに接触または挿入させた後、インジェクションもしくは刺激等の操作を行う。この操作が完了した後は、操作軸3を退避させ、最後にZステージ4を既定高さまで退避させる。
そして、続くステップS17において、別の細胞Sに対するインジェクション等の操作を連続して行うかを判断し、連続して行うと判断(Yes)した場合には、ステップS18に進み、ここで次の細胞Sを操作するのに必要な前処理を行ってから、前記ステップS3へと進む。
ステップS17において継続して次の細胞Sを操作しないと判断(No)した場合には、インジェクション等の操作が終了する。
そして、位置決め完了後のステップS16において、操作軸3を接触または挿入深さ分だけ駆動し、操作具2aを細胞Sに接触または挿入させた後、インジェクションもしくは刺激等の操作を行う。この操作が完了した後は、操作軸3を退避させ、最後にZステージ4を既定高さまで退避させる。
そして、続くステップS17において、別の細胞Sに対するインジェクション等の操作を連続して行うかを判断し、連続して行うと判断(Yes)した場合には、ステップS18に進み、ここで次の細胞Sを操作するのに必要な前処理を行ってから、前記ステップS3へと進む。
ステップS17において継続して次の細胞Sを操作しないと判断(No)した場合には、インジェクション等の操作が終了する。
以上説明のように、本実施形態のマニピュレータ装置は、従来技術の課題を解決する一手段として、下記(a)から(f)に示す構成要素を備える手段を採用した。
(a)生体試料を底面において保持した状態で光学的に観察可能な容器:ここで言う容器は、例えば前記容器Yのことであり、その底壁面や側壁面を通して外部から内部の状態を観察できればよく、前述の形状のものに限らず、その他の形状の容器も採用可能である。また、この容器の内部に収容する操作対象物も、生体試料(例えば前記細胞S)に限らず、微細な操作具(例えば前記操作具2a)で操作されるものであれば良く、その他の操作対象物を収容するものとしても良い。
(a)生体試料を底面において保持した状態で光学的に観察可能な容器:ここで言う容器は、例えば前記容器Yのことであり、その底壁面や側壁面を通して外部から内部の状態を観察できればよく、前述の形状のものに限らず、その他の形状の容器も採用可能である。また、この容器の内部に収容する操作対象物も、生体試料(例えば前記細胞S)に限らず、微細な操作具(例えば前記操作具2a)で操作されるものであれば良く、その他の操作対象物を収容するものとしても良い。
(b)微細な操作具を有し、この操作具を保持する保持部が、容器の底面に直交あるいは平行な方向で観察される形状において、その先端位置との関係が確定されている参照形状を有し、生体試料に対し操作具を接触または挿入させて操作を行う手段:ここで言う操作具は、例えば前記操作具2a、保持部は例えば前記保持部2、そして操作を行う手段は例えば前記操作軸3をそれぞれ示している。
操作具としては、本実施形態のように針状のものに限らず、少なくとも一部が撮影解像度限界よりも小さい寸法を有するものであればよく、必要に応じてその他の形状のものを採用しても良い。
同様に、保持部は、その形状寸法及びこれに付された情報(例えばバーコードなど)などが撮影された画像から確認できるものであれば良く、図示して説明した形状のものに限らず、その他の任意の形状寸法の保持部が採用可能である。したがって、任意形状を有する複数の保持部に対して対応することが可能である。
同様に、操作を行う手段は、前記操作軸3のみに限らず、保持部を操作対象物に接近・離間させる駆動機構と、操作具を介して操作対象物に薬液を供給する薬液供給機構など、インジェクションや刺激等の操作に要する全ての構成を含む。
操作具としては、本実施形態のように針状のものに限らず、少なくとも一部が撮影解像度限界よりも小さい寸法を有するものであればよく、必要に応じてその他の形状のものを採用しても良い。
同様に、保持部は、その形状寸法及びこれに付された情報(例えばバーコードなど)などが撮影された画像から確認できるものであれば良く、図示して説明した形状のものに限らず、その他の任意の形状寸法の保持部が採用可能である。したがって、任意形状を有する複数の保持部に対して対応することが可能である。
同様に、操作を行う手段は、前記操作軸3のみに限らず、保持部を操作対象物に接近・離間させる駆動機構と、操作具を介して操作対象物に薬液を供給する薬液供給機構など、インジェクションや刺激等の操作に要する全ての構成を含む。
(c)保持部を容器の底面に直交あるいは平行な方向で観察して画像を取り込む撮像手段:ここで言う撮像手段は、例えば前記撮像手段6及び前記撮像手段7であり、少なくとも保持部の画像が撮影できれば良く、その撮影方式及び台数、そして配置に関しては上述及び図示のものに限らず、その他の撮影方式及び台数、そして配置を採用しても良い。
また、この撮像手段は、少なくとも保持部を画像内に写せれば良く、操作具が画像内に入る(実際には見えないので、正しくは操作具があると推測される空間部分が画像内に入る)ようにしてもしなくてもよい。
また、この撮像手段は、少なくとも保持部を画像内に写せれば良く、操作具が画像内に入る(実際には見えないので、正しくは操作具があると推測される空間部分が画像内に入る)ようにしてもしなくてもよい。
(d)取り込まれた画像を処理し、画像内の形状から特定される点の座標を認識する画像処理手段:ここで言う画像処理手段は、例えば前記画像処理手段8である。なお、本実施形態では、この画像処理手段8が制御部5から独立している場合を例に説明したが、これに限らず、制御部5に画像処理手段8の機能を併せ持たせるものとしても良い。
(e)操作具先端と生体試料との相対位置を3次元的に移動および位置決めするアクチュエータ:ここで言うアクチュエータは、例えば前記XYステージ1及びZステージ4であり、操作具/保持部及び容器間の相対的位置を調整できればよく、上述及び図示の構成に限らず、その他構成を有するアクチュエータ機構も採用可能である。
例えば、容器側を上下方向(Z方向)に移動させるとともに、操作具/保持部側を水平方向(XY方向)に移動させるようにしても良い。さらには、容器側及び操作具/保持部側の両方とも、上下方向(Z方向)及び水平方向(XY方向)に移動可能としても良い。
例えば、容器側を上下方向(Z方向)に移動させるとともに、操作具/保持部側を水平方向(XY方向)に移動させるようにしても良い。さらには、容器側及び操作具/保持部側の両方とも、上下方向(Z方向)及び水平方向(XY方向)に移動可能としても良い。
(f)アクチュエータの移動を含む生体試料への操作を制御すると共に、画像処理手段と情報の授受を行い、画像処理手段の制御も行う制御手段:ここで言う制御手段は、例えば前記制御部5であり、本実施形態のようにマニピュレータ装置内に装備しても良いし、もしくは、マニピュレータ装置に接続された他の計算機にこの役目を行わせるようにしても良い。
そして、これら(a)から(f)の構成要素を備えることにより、下記の作用を得ることができるものとなっている。
・すなわち、撮像手段(前記撮像手段6,7)により保持部(前記保持部2)を容器(前記容器Y)の底面に直交及び平行な2方向から観察して撮影する。
・画像処理手段(前記画像処理手段8)により操作具(前記操作具2a)の先端位置を保持部の参照形状に基づいて仮想的に特定してその座標を認識する。
・撮像手段により、容器に保持される生体試料(前記細胞S)を底面に直交あるいは平行な方向から観察して撮影する。
・画像処理手段により、画像上で指定される生体試料の操作対象点の座標を認識する。
・制御手段(前記制御部5)により、操作具の先端位置と生体試料の操作対象点との座標同士の相対位置関係を認識する。
・制御手段により、操作具の先端が生体試料の操作対象点付近になるように移動させて生体試料に操作具が接触または挿入可能となるようアクチュエータ(前記XYステージ1及びZステージ4)を3次元的に制御する。
・制御手段により、操作具を生体試料へ接触または挿入させ、インジェクションや刺激等の操作を行う。
・すなわち、撮像手段(前記撮像手段6,7)により保持部(前記保持部2)を容器(前記容器Y)の底面に直交及び平行な2方向から観察して撮影する。
・画像処理手段(前記画像処理手段8)により操作具(前記操作具2a)の先端位置を保持部の参照形状に基づいて仮想的に特定してその座標を認識する。
・撮像手段により、容器に保持される生体試料(前記細胞S)を底面に直交あるいは平行な方向から観察して撮影する。
・画像処理手段により、画像上で指定される生体試料の操作対象点の座標を認識する。
・制御手段(前記制御部5)により、操作具の先端位置と生体試料の操作対象点との座標同士の相対位置関係を認識する。
・制御手段により、操作具の先端が生体試料の操作対象点付近になるように移動させて生体試料に操作具が接触または挿入可能となるようアクチュエータ(前記XYステージ1及びZステージ4)を3次元的に制御する。
・制御手段により、操作具を生体試料へ接触または挿入させ、インジェクションや刺激等の操作を行う。
そして、上記作用を行うことにより、下記の効果を得ることが可能となる。
すなわち、光学的分解能を上回るような極微細な操作具(前記操作具2a)であっても、接触させて折損させる恐れが無く、その先端の水平方向および高さ方向の位置を正確に認識することができる。そして、同じく認識される生体試料(前記細胞S)の操作対象点との相対位置を制御して、物質の注入等の操作を低侵襲かつ効率的に行うことができる。なお、これらの動作を制御する方法は、手動でも自動でも良い。
すなわち、光学的分解能を上回るような極微細な操作具(前記操作具2a)であっても、接触させて折損させる恐れが無く、その先端の水平方向および高さ方向の位置を正確に認識することができる。そして、同じく認識される生体試料(前記細胞S)の操作対象点との相対位置を制御して、物質の注入等の操作を低侵襲かつ効率的に行うことができる。なお、これらの動作を制御する方法は、手動でも自動でも良い。
さらに、本実施形態のマニピュレータ装置は、前記相対位置情報として保持部2の外形状(イメージ情報)を採用し、画像処理手段8が、保持部2の外形状を基準とする相対的な位置として、操作具2aの先端位置xを求める構成を採用した。
この構成によれば、その画像処理手段8が、撮像された保持部2の外形状を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具2aの先端位置xを求めるものであるので、より正確に操作具2aの先端位置xを求めることが可能となる。
この構成によれば、その画像処理手段8が、撮像された保持部2の外形状を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具2aの先端位置xを求めるものであるので、より正確に操作具2aの先端位置xを求めることが可能となる。
さらに、本実施形態のマニピュレータ装置は、前記座標基準として用いる保持部2の外形状が、操作具2aの先端位置xで延長線が交差する複数の直線部を備え、これら直線部が、保持部2を底面と正面の2方向から見たそれぞれの場合で画像として撮影可能である構成を採用した。
この構成によれば、操作具2aの先端位置xで延長線が交差する複数の直線部を基準とすることで、より確実かつ正確に操作具2aの先端位置xを3次元的に求めることが可能となる。
この構成によれば、操作具2aの先端位置xで延長線が交差する複数の直線部を基準とすることで、より確実かつ正確に操作具2aの先端位置xを3次元的に求めることが可能となる。
<第2実施形態>
続いて、図7及び図8を参照しながら、本発明の第2実施形態の説明を以下に行う。図7は、システム構成を示す概略構成図である。また、図8は、観察画像における操作具先端と細胞との位置関係を認識する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
続いて、図7及び図8を参照しながら、本発明の第2実施形態の説明を以下に行う。図7は、システム構成を示す概略構成図である。また、図8は、観察画像における操作具先端と細胞との位置関係を認識する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
本実施形態は、CCDを用いた前記撮像手段6,7の代わりに、投光素子11,12と受光素子13,14との組み合わせを採用した点が特徴的となっている。
さらに、容器Yの底面に平行な方向の光を受光する受光素子14を、レーザ透過型の寸法測定機構としている。そして、操作具2aと容器Yの底面との高さ方向の位置関係を認識するにあたり、参照形状として用いられる保持部2の最下面(但し保持部2の形状が参照形状として認識できる必要な部分を含む)と、容器Yの底面もしくは細胞Sとが、投光素子12から発せられる光路内に入るように配置し、投光素子12から出射されて受光素子14に入射するレーザ光の分布状態から、容器Yの底面もしくは細胞Sとの間の間隔を測定し、設計・製造時に既知となっている操作具2aの長さを差し引いて算出する。すなわち、図8(b)を参照して具体的に言うと、撮像された画像に基づいて、保持部2の下端と前記容器Yの底面との間の高さ寸法h1がまず求められる。そして、この高さ寸法h1から、操作具2aの長さ寸法Lを差し引くことで、操作具2aの先端位置xから容器Yの底面までの高さ寸法h2が算出される。
さらに、容器Yの底面に平行な方向の光を受光する受光素子14を、レーザ透過型の寸法測定機構としている。そして、操作具2aと容器Yの底面との高さ方向の位置関係を認識するにあたり、参照形状として用いられる保持部2の最下面(但し保持部2の形状が参照形状として認識できる必要な部分を含む)と、容器Yの底面もしくは細胞Sとが、投光素子12から発せられる光路内に入るように配置し、投光素子12から出射されて受光素子14に入射するレーザ光の分布状態から、容器Yの底面もしくは細胞Sとの間の間隔を測定し、設計・製造時に既知となっている操作具2aの長さを差し引いて算出する。すなわち、図8(b)を参照して具体的に言うと、撮像された画像に基づいて、保持部2の下端と前記容器Yの底面との間の高さ寸法h1がまず求められる。そして、この高さ寸法h1から、操作具2aの長さ寸法Lを差し引くことで、操作具2aの先端位置xから容器Yの底面までの高さ寸法h2が算出される。
本実施形態では、CCDに撮像される2次元画像の各画素情報を処理して間隔寸法を求める代りに、必要な領域において参照形状に依存する透過光の分布から間隔寸法(高さ寸法)を認識するものであるので、装置構成を簡略化することが可能となっている。なお、受光素子13,14は、保持部2の外形のうち、参照形状として用いる必要部分を全て認識できるようにして、これら投光素子11,12および受光素子13,14を用いて認識した保持部2の参照形状から、操作具2aの先端位置xを求めるようにすることが望ましい。
本実施形態のマニピュレータ装置では、高倍率の観察光学系が容器Yの底面に直交する方向のみに配置される従来の正立型あるいは倒立型顕微鏡を応用することが可能である。
本実施形態のマニピュレータ装置では、高倍率の観察光学系が容器Yの底面に直交する方向のみに配置される従来の正立型あるいは倒立型顕微鏡を応用することが可能である。
<第3実施形態>
続いて、図9〜図11を参照しながら、本発明の第3実施形態の説明を以下に行う。図9は、システム構成を示す概略構成図である。また、図10は、保持部の形状を示す図である。また、図11は、画像処理により参照形状から操作具2aの先端位置xを認識する方法を説明するための説明図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
続いて、図9〜図11を参照しながら、本発明の第3実施形態の説明を以下に行う。図9は、システム構成を示す概略構成図である。また、図10は、保持部の形状を示す図である。また、図11は、画像処理により参照形状から操作具2aの先端位置xを認識する方法を説明するための説明図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
本実施形態では、保持部2A(第1実施形態の保持部2と区別するために新たな符号2Aを用いて説明する。)を、この保持部2A及び操作具2aの軸線が斜め下方を向くように配置し、操作具2aを細胞Sに対して接触または挿入させるための操作軸3も、前記軸線と平行になるように傾けてZステージ4に保持させている(図9〜図11では省略)。
保持部2Aは、操作具2aの軸線と同軸でかつ、操作具2aの先端位置xに向かって先細りとなる円錐台状の外形(イメージ情報)を有しており、製造段階で、先端位置xが円錐台の頂点に位置するよう形成されている。
保持部2Aは、操作具2aの軸線と同軸でかつ、操作具2aの先端位置xに向かって先細りとなる円錐台状の外形(イメージ情報)を有しており、製造段階で、先端位置xが円錐台の頂点に位置するよう形成されている。
この保持部2Aの画像に画像処理を施して先端位置xを認識する場合には、図10(b)に示す正面視した場合と、図10(c)に示す底面視した場合のそれぞれにおいて、テーパ状の外形稜線を検出し、これら外形稜線の延長線上の交点A1,A2を算出することで求めることができる。
ただし、図10(c)に示す底面視の画像においては、外形稜線の合焦位置が同画像の奥行き方向で連続的に変わるため、この奥行き方向で焦点位置を変え、少なくとも2箇所以上で同じ外形稜線を検出することにより正確に直線を定義するのが好ましい。これについて図11を用いて具体的に説明すると、まず、図11(b)に示す外形稜線L1上の点L1a,外形稜線L2上の点L2aの各位置に焦点を合わせ、同画像内におけるこれらの点L1a,L2aの位置を確定する。続いて、同図に示す外形稜線L1,L2上の点L1b,L2bの各位置に焦点を合わせ、同画像内におけるこれらの点L1b,L2bの位置を確定する。そして、点L1aと点L1bとを含む直線を求めることにより、2本ある外形稜線のうちの1本(L1A)が確定される。同様に、点L2aと点L2bとを含む直線を求めることにより、もう1本の外形稜線(L2A)が確定される。そして、これら2直線の延長線の交点Xの位置を、操作具2aの先端位置xとして求めることができる。なお、図11(a)に示す正面方向については、画像の奥行き方向で外形稜線の合焦位置が変化しないため、単一の画像内で各外形稜線を確定し、交点Xを求められる。
本実施形態では、保持部2Aを斜め配置することができるようになっているので、軸方向に長さを有する一般的なマニピュレータ機構を適用することが可能である。
ただし、図10(c)に示す底面視の画像においては、外形稜線の合焦位置が同画像の奥行き方向で連続的に変わるため、この奥行き方向で焦点位置を変え、少なくとも2箇所以上で同じ外形稜線を検出することにより正確に直線を定義するのが好ましい。これについて図11を用いて具体的に説明すると、まず、図11(b)に示す外形稜線L1上の点L1a,外形稜線L2上の点L2aの各位置に焦点を合わせ、同画像内におけるこれらの点L1a,L2aの位置を確定する。続いて、同図に示す外形稜線L1,L2上の点L1b,L2bの各位置に焦点を合わせ、同画像内におけるこれらの点L1b,L2bの位置を確定する。そして、点L1aと点L1bとを含む直線を求めることにより、2本ある外形稜線のうちの1本(L1A)が確定される。同様に、点L2aと点L2bとを含む直線を求めることにより、もう1本の外形稜線(L2A)が確定される。そして、これら2直線の延長線の交点Xの位置を、操作具2aの先端位置xとして求めることができる。なお、図11(a)に示す正面方向については、画像の奥行き方向で外形稜線の合焦位置が変化しないため、単一の画像内で各外形稜線を確定し、交点Xを求められる。
本実施形態では、保持部2Aを斜め配置することができるようになっているので、軸方向に長さを有する一般的なマニピュレータ機構を適用することが可能である。
<第4実施形態>
続いて、図12〜図14を参照しながら、本発明の第4実施形態の説明を以下に行う。
図12は、操作軸に取り付けられた保持部を示す正面図である。また、図13は、保持部の形状を示す図である。また、図14は、画像処理により、参照形状から操作具2aの先端位置xを認識する方法を説明するための説明図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
続いて、図12〜図14を参照しながら、本発明の第4実施形態の説明を以下に行う。
図12は、操作軸に取り付けられた保持部を示す正面図である。また、図13は、保持部の形状を示す図である。また、図14は、画像処理により、参照形状から操作具2aの先端位置xを認識する方法を説明するための説明図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
本実施形態では、上記第3実施形態と同様に、保持部2B(第1実施形態の保持部2や第3実施形態の保持部2Aと特別するために新たな符号2Bを用いて説明する。)を、この保持部2B及び操作具2aの軸線が斜め下方を向くように配置し、操作具2aを細胞Sに対して接触または挿入させるための操作軸3も、前記軸線と平行になるように傾けて前記Zステージ4(図12〜図14では図示略。)に保持させている。
この保持部2Bは、操作具2aの軸線と同軸をなす例えば円筒状の外形稜線(イメージ情報)と、図13(c)に示す底面視方向に対して垂直をなす端面2b1と、図13(a)に示す左側面視方向に対して垂直をなす端面2b2とを備えている。そして、これら端面2b1,2b2は、製造段階において、操作具2aの先端位置xとの相対的な位置関係が検査で確認済みであり、既知とされている。
この保持部2Bは、操作具2aの軸線と同軸をなす例えば円筒状の外形稜線(イメージ情報)と、図13(c)に示す底面視方向に対して垂直をなす端面2b1と、図13(a)に示す左側面視方向に対して垂直をなす端面2b2とを備えている。そして、これら端面2b1,2b2は、製造段階において、操作具2aの先端位置xとの相対的な位置関係が検査で確認済みであり、既知とされている。
この保持部2Bを基準として操作具2aの先端位置xを求める場合には、まず、図14(b)に示す底面から見た画像と、図14(a)に示す左側面から見た画像とを取得する。そして、図14(a)に示す左側面から見た画像においては、端面2b2と端面2b1とが交差した直線部分であるエッジ2b3を検出し、このエッジ2b3から既知の位置に操作具2aの先端位置xがあるとして認識する。一方、図14(b)に示す底面から見た画像においては、端面2b1の稜線がなす半楕円2b4の形状をパターンとして認識し、このパターンに対する相対的な既知の位置に操作具2aの先端位置xがあるとして認識する。このようにして2方向からの画像に基づいて操作具2aの先端位置xを求めることにより、保持部2Bを基準とする3次元的な位置として、操作具2aの先端位置xを求めることが可能となる。
以上説明のように、本実施形態のマニピュレータ装置は、保持部2Bの形状が、この保持部2Bを底面方向と左側面方向との2方向から見たそれぞれの場合で、操作具2aの先端位置xに対する相対的な位置が予め定められたエッジ(直線)2b3及び半楕円(曲線)2b4を備え、かつ、これら直線内及び曲線内に含まれる任意点が、これら画像を撮像する点である撮像手段6,7から等距離にある構成を採用した。
この構成によれば、保持部2Bが、撮像手段から見て奥行き方向に外形稜線の焦点位置が変化するように傾いた状態に配置しても、エッジ2b3及び半楕円2b4の画像を、それぞれ1枚の画像内に合焦点状態に撮像することができる。したがって、前記奥行き方向で合焦点位置を変えた画像を複数撮像せずに済み、エッジ2b3及び半楕円2b4の検出が容易で画像処理が正確になる。また、例えば図14(b)に示す画像からパターンとしての認識でなくエッジ(エッジ2b3と同一のエッジ)から既知の位置に操作具2aの先端位置Xが存在すると認識してもよく、更に例えば図14(a)に示す画像をパターンとして認識し、このパターンに対する相対的な既知の位置に操作具2aの先端位置Xが存在すると認識しても良い。
また、本実施形態のマニピュレータ装置は、上記第3実施形態と同様に、一般的なマニピュレータが適用可能である。
この構成によれば、保持部2Bが、撮像手段から見て奥行き方向に外形稜線の焦点位置が変化するように傾いた状態に配置しても、エッジ2b3及び半楕円2b4の画像を、それぞれ1枚の画像内に合焦点状態に撮像することができる。したがって、前記奥行き方向で合焦点位置を変えた画像を複数撮像せずに済み、エッジ2b3及び半楕円2b4の検出が容易で画像処理が正確になる。また、例えば図14(b)に示す画像からパターンとしての認識でなくエッジ(エッジ2b3と同一のエッジ)から既知の位置に操作具2aの先端位置Xが存在すると認識してもよく、更に例えば図14(a)に示す画像をパターンとして認識し、このパターンに対する相対的な既知の位置に操作具2aの先端位置Xが存在すると認識しても良い。
また、本実施形態のマニピュレータ装置は、上記第3実施形態と同様に、一般的なマニピュレータが適用可能である。
<第5実施形態>
続いて、図15〜図17を参照しながら、本発明のマニピュレータ装置及びその操作具先端位置検出方法の第5実施形態の説明を以下に行う。図15は、システム構成を示す概略構成図である。また、図16は、細胞を収容する容器の形状を示す図である。また、図17は、鏡面を用いた観察方法を説明するための図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
続いて、図15〜図17を参照しながら、本発明のマニピュレータ装置及びその操作具先端位置検出方法の第5実施形態の説明を以下に行う。図15は、システム構成を示す概略構成図である。また、図16は、細胞を収容する容器の形状を示す図である。また、図17は、鏡面を用いた観察方法を説明するための図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
図15に示すように、本実施形態のマニピュレータ装置では、容器の底面に直交する方向を撮像する前記撮像手段6のみを設け、容器底面に平行な方向を撮像する前記撮像手段7を省略している。また、保持部2を、X軸方向、Y軸方向、Z軸方向の3軸方向に駆動するXYZステージ4Aで駆動するようにしている。このXYZステージ4Aは、保持部2を撮像手段6の光軸に対して移動させても、細胞Sの所定の点に対する位置決めが可能なように十分に座標管理された停止精度を有している。
また、図16(a)〜(c)に示すように、前記Yの代わりに、新たな容器YAを備えている。この容器YAは、四角枠形状の側壁部Y1と、この側壁部Y1によって囲まれる開口部分に配置された透明な底壁部Y2とを備えて構成されている。側壁部Y1の内側面には、鏡面Rが4面、形成されている。これら鏡面Rは、底壁部Y2によって形成される底壁面に対して45ーの傾きをもって配置されており、容器YA内の、前記底壁面に平行な方向の映像を入射角及び反射角45ーで反射させ、真下の前記撮像手段6に向かって投影することが可能となっている。さらに、底壁部Y2は、鏡面Rの最下端位置に対して底上げされており、前記底壁面の映像も鏡面Rに写すことができるようになっている。
以上説明の構成を有するマニピュレータ装置では、XYステージ1の駆動によって容器YAを、各鏡面Rの何れかの真下位置に撮像手段6が来るように移動させることで、保持部2、細胞S、さらには前記底壁面の、前記底壁面に平行な視線で見た画像を撮像手段6がそれぞれ撮像できる。また、XYステージ1の駆動によって容器YAを、その底壁部Y2の中央が撮像手段6の真上に来るように移動させた場合には、保持部2及び細胞Sの、前記底壁面に直交する方向で見た画像を撮像手段6で撮像することができる。
鏡面Rを介して撮像する場合には、図17に示すように、保持部2のXY方向の位置も、反射像として撮像可能な位置まで移動させるようにする。そして、鏡面Rを介して撮像手段6が得る反射像内に、操作具2aの先端位置xを認識するのに必要な保持部2の外形状(イメージ情報)と、底壁部Y2がなす底壁面もしくは細胞Sとが入るよう各種位置調整を行った後、撮像する。このようにして撮像された画像を前述の方法を用いて画像処理することで、操作具2aの先端位置xと前記底壁面または細胞Sとの高さ方向の相対的な位置関係を認識することができる。
以上説明のように、本実施形態のマニピュレータ装置は、上記第1実施形態で説明した(a)から(f)の各構成要素のうちの(a)に記載の容器に、容器底面に対して45ーで交差する反射面(前記鏡面R)をさらに備えた容器YAを採用した。
これにより、本実施形態のマニピュレータ装置は、1系統の光学系による撮像手段6で2方向の観察を行い、操作具2aの先端と細胞Sとの位置関係を水平および高さ方向の両方で認識できるため、従来の正立型あるいは倒立型光学顕微鏡の構成が適用できるものとなっている。
より具体的に言うと、本実施形態のマニピュレータ装置は、鏡面Rを介さずに直接的に保持部2を底面視して撮像した画像と、鏡面Rを介して保持部2を側面視して撮像した画像とを取得することにより、異なる2方向から見た保持部2の画像を、同一方向の視線から撮像することができるものとなっている。これにより、上記第1実施形態における前記撮像手段7を省略することが可能となる。
さらには、前記底壁部Y2の高さ位置を、鏡面Rの最下端位置よりも高くなるように配置しているので、鏡面Rを介して容器YA内を側面視した画像を撮像する際に、この画像内に容器YAの底壁面を写し込むことができる。したがって、細胞Sの底面位置も含めて鮮明に撮像することが可能となる。
これにより、本実施形態のマニピュレータ装置は、1系統の光学系による撮像手段6で2方向の観察を行い、操作具2aの先端と細胞Sとの位置関係を水平および高さ方向の両方で認識できるため、従来の正立型あるいは倒立型光学顕微鏡の構成が適用できるものとなっている。
より具体的に言うと、本実施形態のマニピュレータ装置は、鏡面Rを介さずに直接的に保持部2を底面視して撮像した画像と、鏡面Rを介して保持部2を側面視して撮像した画像とを取得することにより、異なる2方向から見た保持部2の画像を、同一方向の視線から撮像することができるものとなっている。これにより、上記第1実施形態における前記撮像手段7を省略することが可能となる。
さらには、前記底壁部Y2の高さ位置を、鏡面Rの最下端位置よりも高くなるように配置しているので、鏡面Rを介して容器YA内を側面視した画像を撮像する際に、この画像内に容器YAの底壁面を写し込むことができる。したがって、細胞Sの底面位置も含めて鮮明に撮像することが可能となる。
また、高倍率の観察光学系である撮像手段6を、前記底壁面に直交する方向のみに配置すれば良いので、通常の顕微鏡を応用することが可能となっている。
なお、保持部2を反射像で観察するためにこれをXYZステージ4Aで光軸上から移動させる代わりに、撮像手段6側の光軸を保持部2に対して移動させる構成も、勿論、採用可能である。
なお、保持部2を反射像で観察するためにこれをXYZステージ4Aで光軸上から移動させる代わりに、撮像手段6側の光軸を保持部2に対して移動させる構成も、勿論、採用可能である。
<第6実施形態>
続いて、図18及び図19を参照しながら、本発明の第6実施形態の説明を以下に行う。図18(a)は、細胞に対する操作具の接触動作を説明するための図であり、図18(b)は、操作具が接触した前後の細胞を上から見た観察画像である。また、図19は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
続いて、図18及び図19を参照しながら、本発明の第6実施形態の説明を以下に行う。図18(a)は、細胞に対する操作具の接触動作を説明するための図であり、図18(b)は、操作具が接触した前後の細胞を上から見た観察画像である。また、図19は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
本実施形態では、まず、前述のように保持部2の参照形状に基づいて操作具2aの先端位置xを求め、続いて、保持部2の製造誤差等を理由とする先端位置xの算出誤差を補正し、細胞Sや容器Yの底面との間における高さ方向の厳密な位置関係を再認識するようにした点が、特に特徴的となっている。なお、この再認識動作は、上記第1実施形態のみならず、上記第2実施形態〜上第5実施形態の何れに対しても組み合わせて行うことが可能である。
前記再認識動作の詳細について説明すると、まず、図18(a)上図に示すように、前記制御部5により前記各アクチュエータを3次元的に制御し、保持部2を細胞S上端の直上位置に移動させ、操作具2aが細胞Sに対して接触または挿入可能な状態にする。このときの操作具2aが細胞Sに接触していない状態が図18(b)上図である。そして、Zステージ4もしくは操作軸3のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、図18(a)下図に示すように、細胞Sに対して操作具2aの先端位置xを断続的に近づけていく。
この時、図18(b)の上図及び下図に示すように、前記撮像手段6及び前記画像処理手段8により、保持部2の各移動ステップの前後における細胞Sの画像を画像処理して比較する。これにより、操作具2aの先端位置xと細胞Sとが微弱に接触したときに細胞Sに生じる微小な変形を検出することができる。
この変形の検出直後に操作軸3のアクチュエータを一旦停止させ、変形が確認されたステップの駆動前後もしくはその中間の何れかの位置を、正確な接触位置と認識する。そして、停止している位置もしくはそこから一定量戻った位置を操作開始点として再定義し、これに基づいて実際の接触動作または挿入動作を制御する。
この変形の検出直後に操作軸3のアクチュエータを一旦停止させ、変形が確認されたステップの駆動前後もしくはその中間の何れかの位置を、正確な接触位置と認識する。そして、停止している位置もしくはそこから一定量戻った位置を操作開始点として再定義し、これに基づいて実際の接触動作または挿入動作を制御する。
細胞Sの微小な変形を検出する方法としては、細胞Sの輪郭に対する重心位置変化(図5で説明した前記点P1の位置変化)と、細胞Sの輪郭によって形成される面積変化のどちらか一方を検出することにより、細胞SのXY平面内における移動、もしくは、扁平化を捉える方法が採用可能である。
これについて図19を参照して具体的に説明すると、細胞Sの輪郭が、操作具2aの先端位置xの接触により、接触前のF1から接触後のF2へと変形している。そして、これに伴い、細胞Sの重心位置も、接触前の点C1から接触後の点C2へと移動する。同様に、細胞Sの輪郭によって形成される面積も、細胞Sの扁平化により接触前のA1から接触後のA2へと広くなっている。そこで、これら重心位置変化または面積変化の何れか一方もしくは両方を捉えることで、細胞Sの形状変化または移動を捉えることが可能となる。
これについて図19を参照して具体的に説明すると、細胞Sの輪郭が、操作具2aの先端位置xの接触により、接触前のF1から接触後のF2へと変形している。そして、これに伴い、細胞Sの重心位置も、接触前の点C1から接触後の点C2へと移動する。同様に、細胞Sの輪郭によって形成される面積も、細胞Sの扁平化により接触前のA1から接触後のA2へと広くなっている。そこで、これら重心位置変化または面積変化の何れか一方もしくは両方を捉えることで、細胞Sの形状変化または移動を捉えることが可能となる。
なお、変形の有無を判定する閾値の設定においては、例えば、変形を与えない細胞Sの画像を測定する際の寸法測定誤差の1.5倍とする。しかしながら、1.5倍に限らず、測定状況に応じて1を超える倍率を採用しても良い。
以上説明のように、本実施形態の再認識動作を行うことにより、操作具2aの先端位置xと細胞Sと間の厳密な位置関係を再認識することができ、挿入深さの厳密な管理が重要な場合などにおいてその効果を有効に発揮することができる。
以上説明のように、本実施形態の再認識動作を行うことにより、操作具2aの先端位置xと細胞Sと間の厳密な位置関係を再認識することができ、挿入深さの厳密な管理が重要な場合などにおいてその効果を有効に発揮することができる。
以上説明の構成を有する本実施形態のマニピュレータ装置は、撮像手段6で撮像された画像に基づいて細胞Sの重心位置変化、及び細胞Sの外形によって形成される面積変化の少なくとも一方を、判別手段の役目を兼ねた画像処理手段8が判別する構成を採用した。
この構成によれば、上記第1実施形態〜上記第5実施形態で求めた操作具2aの先端位置xと、上記再認識動作で求めた操作具2aの先端位置xとを比較することにより、上記第1実施形態〜上記第5実施形態の推定結果が正しいかを確実に確認することが可能となる。しかも、この再認識動作は自動化に適しているので、本マニピュレータ装置の制御の自動化を進める上で好適なものとなっている。
この構成によれば、上記第1実施形態〜上記第5実施形態で求めた操作具2aの先端位置xと、上記再認識動作で求めた操作具2aの先端位置xとを比較することにより、上記第1実施形態〜上記第5実施形態の推定結果が正しいかを確実に確認することが可能となる。しかも、この再認識動作は自動化に適しているので、本マニピュレータ装置の制御の自動化を進める上で好適なものとなっている。
<第7実施形態>
続いて、図20を参照しながら、本発明の第7実施形態の説明を以下に行う。図20は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
続いて、図20を参照しながら、本発明の第7実施形態の説明を以下に行う。図20は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
本実施形態では、上記第6実施形態と同様に、まず保持部2の参照形状に基づいて操作具2aの先端位置xを求め、続いて、保持部2の製造誤差等を理由とする先端位置xの算出誤差を補正し、細胞Sや容器Yの底面と間における高さ方向の厳密な位置関係を再認識するようにした点が、特に特徴的となっている。さらに、本実施形態では、画像上における細胞Sの形状を複数の領域に分割し、これら領域のうちの少なくとも1つの領域の映像情報の変化に基づき、操作具2aの先端位置xと細胞Sとの接触を判断するものとしている。
なお、前記再認識動作は、上記第1実施形態のみならず、上記第2実施形態〜上第6実施形態の何れに対しても組み合わせて行うことが可能である。
なお、前記再認識動作は、上記第1実施形態のみならず、上記第2実施形態〜上第6実施形態の何れに対しても組み合わせて行うことが可能である。
前記再認識動作の詳細について説明すると、まず、(図示しない)前記制御部5により前記各アクチュエータを3次元的に制御し、保持部2を細胞S上端の直上位置に移動させ、操作具2aが細胞Sに対して接触または挿入可能な状態にする。このときの操作具2aが細胞Sに接触していない状態が図20(a)の破線に示す図である。そして、Zステージ4もしくは(図示しない)操作軸3のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、細胞Sに対して操作具2aの先端位置xを断続的に近づけていく。そして、操作具2aが細胞Sに接触した状態が同図20(a)の実線に示す図となる。
そして、本実施形態における再認識動作では、前記アクチュエータを1ピッチ動かす度に、細胞Sの重心位置と輪郭を画像上で確認する。これが図20(a)の状態である。
この時、図20(b)に示すように、例えば1ピッチ動かす前の画像における細胞Sの輪郭がなす面積と同面積の正方形S1を定義し、これを、その中心が細胞Sの重心C1,C2と一致するように重ね合わせる。すると、同図に示すように、正方形S1からはみ出た箇所すなわち輪郭と正方形S1の辺とで形成される領域が複数(同図では4箇所)形成されるので、これらのうちの何れかの面積変化を検出することにより、細胞Sの変形を捉えることができる。より具体的に言うと、図20(b)及び図20(c)を比較した場合、面積A1a<面積A2a、面積A1b>面積A2b、面積A1c<面積A2c、面積A1d>面積A2dとなり、全ての箇所において面積変化が生じている。もちろん、全箇所でなくとも、少なくとも1箇所において面積変化が認められれば、変形したとして判定することができる。
この時、図20(b)に示すように、例えば1ピッチ動かす前の画像における細胞Sの輪郭がなす面積と同面積の正方形S1を定義し、これを、その中心が細胞Sの重心C1,C2と一致するように重ね合わせる。すると、同図に示すように、正方形S1からはみ出た箇所すなわち輪郭と正方形S1の辺とで形成される領域が複数(同図では4箇所)形成されるので、これらのうちの何れかの面積変化を検出することにより、細胞Sの変形を捉えることができる。より具体的に言うと、図20(b)及び図20(c)を比較した場合、面積A1a<面積A2a、面積A1b>面積A2b、面積A1c<面積A2c、面積A1d>面積A2dとなり、全ての箇所において面積変化が生じている。もちろん、全箇所でなくとも、少なくとも1箇所において面積変化が認められれば、変形したとして判定することができる。
以上説明の本実施形態のマニピュレータ装置は、上記第1実施形態で説明した(a)から(f)と同様の構成において、生体試料(前記細胞S)の微小な変形を検出する構成を採用した。具体的に言うと、判別手段を兼ねる前記画像処理手段8が、細胞Sの画像を、細胞Sの外形をなす稜線を含む縁部分がはみ出て孤立するように正方形(仮想被覆面)S1で被覆し、前記縁部分の面積変化を判断する構成を採用した。
そして、上記第1実施形態と同様に、操作具2aの先端位置と細胞Sの操作対象点との座標同士の相対位置関係を概略認識し、制御部5により操作具2aの先端を細胞Sの操作対象点に移動させて細胞Sに操作具2aが接触または挿入可能となるよう各アクチュエータ(前記XYステージ1及び前記Zステージ4)を3次元的に制御し、接触または挿入可能となる位置付近で更に接触または挿入方向の操作軸3を低速かつ微小な一定ピッチで断続的にステップ駆動する。
このとき、撮像手段6,7および画像処理手段8を用いて各ステップの前後における細胞Sの画像を処理して比較することにより、操作具2aの先端と細胞Sとが微弱に接触したときに細胞Sに生じる微小な変形を検出する。この変形の検出直後に操作軸3は一旦停止し、変形が確認されたステップの駆動前後もしくはその中間のいずれかの位置を正確な接触位置と認識し、停止している位置もしくはそこから一定量戻った位置を開始点として定義し、実際の接触または挿入を制御する。
このとき、撮像手段6,7および画像処理手段8を用いて各ステップの前後における細胞Sの画像を処理して比較することにより、操作具2aの先端と細胞Sとが微弱に接触したときに細胞Sに生じる微小な変形を検出する。この変形の検出直後に操作軸3は一旦停止し、変形が確認されたステップの駆動前後もしくはその中間のいずれかの位置を正確な接触位置と認識し、停止している位置もしくはそこから一定量戻った位置を開始点として定義し、実際の接触または挿入を制御する。
これにより、保持部2の参照形状に基づく先端位置の算出誤差および操作具2aと保持部2の相対位置関係についての製造誤差を補正し、細胞Sとの厳密な位置関係を認識することができる。したがって、細胞Sの重心位置変化及び面積変化のみでは判別困難であった場合においても、細胞Sの変形を確実に捉えることができるので、操作具2aの先端位置xの再認識動作をさらに確実に行うことが可能となる。しかも、操作具2aには、その軸方向の圧縮応力のみが微弱に作用するため、先端を折損させる虞がない。
また、高さ方向の認識手段をこれに依存し、1系統の光学系による容器底面に直交する方向のみの撮像手段、すなわち、従来の正立型あるいは倒立型光学顕微鏡の構成と組み合わせて用いることも可能となる。
なお、細胞Sの変形検出は、画像処理により自動認識するほか、可視化して目視で認識するものとしても良い。また、S1は正方形に限らず、長方形、他の多角形、円や楕円など他の図形でも良い。さらには、細胞Sのイメージを複数領域に分割できればよく、細胞Sのイメージを直線または曲線により複数領域に分割し、これら複数領域の少なくとも一つの変形を確認することにより、細胞Sに対する操作具2aの当接を認識するものとしても良い。
また、高さ方向の認識手段をこれに依存し、1系統の光学系による容器底面に直交する方向のみの撮像手段、すなわち、従来の正立型あるいは倒立型光学顕微鏡の構成と組み合わせて用いることも可能となる。
なお、細胞Sの変形検出は、画像処理により自動認識するほか、可視化して目視で認識するものとしても良い。また、S1は正方形に限らず、長方形、他の多角形、円や楕円など他の図形でも良い。さらには、細胞Sのイメージを複数領域に分割できればよく、細胞Sのイメージを直線または曲線により複数領域に分割し、これら複数領域の少なくとも一つの変形を確認することにより、細胞Sに対する操作具2aの当接を認識するものとしても良い。
<第8実施形態>
続いて、図21を参照しながら、本発明の第8実施形態の説明を以下に行う。図21は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
続いて、図21を参照しながら、本発明の第8実施形態の説明を以下に行う。図21は、細胞の変形を画像処理により検出する方法を説明する図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
本実施形態では、上記第6実施形態と同様に、まず保持部2の参照形状に基づいて操作具2aの先端位置xを求め、続いて、保持部2の製造誤差等を理由とする先端位置xの算出誤差を補正し、細胞Sや容器Yの底面と間における高さ方向の厳密な位置関係を再認識するようにした点が、特に特徴的となっている。なお、この再認識動作は、上記第1実施形態のみならず、上記第2実施形態〜上第7実施形態の何れに対しても組み合わせて行うことが可能である。
前記再認識動作の詳細について説明すると、まず、図示しない前記制御部5により前記各アクチュエータを3次元的に制御し、保持部2を細胞S上端の直上位置に移動させ、操作具2aが細胞Sに対して接触または挿入可能な状態にする。このときの操作具2aが細胞Sに接触していない状態が図21(a)の破線に示す図である。そして、図示しない操作軸3のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、細胞Sに対して操作具2aの先端位置xを断続的に近づけていく。そして、操作具2aが細胞Sに接触した状態が同図21(a)の実線に示す図となる。
そして、本実施形態における再認識動作では、前記アクチュエータを1ピッチ動かす度に、細胞Sの重心位置と輪郭を画像上で確認する。そして、図21(b)に示すように、細胞Sの重心C1を通る基準直線Lsを画像上に設定する。
そして、この基準直線Lsを、重心C1を中心として例えば反時計回りに回転させ、この基準直線Lsが細胞Sの輪郭と交わる交点をQ1θとし、Q1θと重心C1との距離R1θを各角度θ毎に取得する。その結果、操作軸3のアクチュエータを微小かつ一定のピッチ進めた前後において、同角度θにおける長さ寸法R1θが、図21(c)に示す長さ寸法R2θに変化した場合に、当該箇所において細胞Sの輪郭が変形したと判断する。なお、θは一定ピッチで設定し、検出精度を向上させるためにはより微小なピッチで設定する。また、Q2θの位置の変化で判断しても良い。
そして、この基準直線Lsを、重心C1を中心として例えば反時計回りに回転させ、この基準直線Lsが細胞Sの輪郭と交わる交点をQ1θとし、Q1θと重心C1との距離R1θを各角度θ毎に取得する。その結果、操作軸3のアクチュエータを微小かつ一定のピッチ進めた前後において、同角度θにおける長さ寸法R1θが、図21(c)に示す長さ寸法R2θに変化した場合に、当該箇所において細胞Sの輪郭が変形したと判断する。なお、θは一定ピッチで設定し、検出精度を向上させるためにはより微小なピッチで設定する。また、Q2θの位置の変化で判断しても良い。
以上説明のように、本実施形態のマニピュレータ装置は、判別手段を兼ねる画像処理手段8が、細胞Sの画像に対して重心位置(その他の任意の点でも良い)を設定し、この重心位置から細胞Sの外形をなす稜線上の各点Q1θまでの距離寸法の変化を判断する構成を採用した。
この構成によれば、細胞Sの重心位置変化、面積変化、前記縁部分の面積変化でも変形の判別が困難であった場合に、本実施形態のように、細胞Sの外形変化を寸法変化として直接捉えるのが好ましい。これにより、面積が明確に変化しない局部的な変形までを検知することができるので、画像処理手段8による操作具2aの先端位置xの検出を、さらに確実に行うことが可能となる。
この構成によれば、細胞Sの重心位置変化、面積変化、前記縁部分の面積変化でも変形の判別が困難であった場合に、本実施形態のように、細胞Sの外形変化を寸法変化として直接捉えるのが好ましい。これにより、面積が明確に変化しない局部的な変形までを検知することができるので、画像処理手段8による操作具2aの先端位置xの検出を、さらに確実に行うことが可能となる。
<第9実施形態>
続いて、図22〜図24を参照しながら、本発明の第9実施形態の説明を以下に行う。
図22は、容器内に配置された擬似生体試料及び細胞を示す図である。また、図23は、保持部による擬似生体試料への接触動作を説明する図である。また、図24は、接触前後における擬似生体試料の観察画像および画像処理による変形検知方法を説明するための平面図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
続いて、図22〜図24を参照しながら、本発明の第9実施形態の説明を以下に行う。
図22は、容器内に配置された擬似生体試料及び細胞を示す図である。また、図23は、保持部による擬似生体試料への接触動作を説明する図である。また、図24は、接触前後における擬似生体試料の観察画像および画像処理による変形検知方法を説明するための平面図である。
なお、本実施形態の説明においては、上記第1実施形態との相違点を中心に説明を行い、その他については上記第1実施形態と同様であるとして説明を省略する。
本実施形態では、上記第6実施形態と同様に、まず保持部2の参照形状に基づいて操作具2aの先端位置xを求め、続いて、保持部2の製造誤差等を理由とする先端位置xの算出誤差を補正し、細胞Sや容器Yの底面との間における高さ方向の厳密な位置関係を再認識するようにした点が、特に特徴的となっている。そして、本実施形態では、再認識動作において操作具2aの先端位置xを接触させる相手が、細胞Sではなく、寸法形状が既知である擬似生体試料100としている。
なお、この再認識動作は、上記第1実施形態のみならず、上記第2実施形態〜上第8実施形態の何れに対しても組み合わせて行うことが可能である。
なお、この再認識動作は、上記第1実施形態のみならず、上記第2実施形態〜上第8実施形態の何れに対しても組み合わせて行うことが可能である。
前記再認識動作の詳細について説明すると、まず、図22に示すように、操作する細胞Sが収容されている容器Yの底面に、寸法形状が一定かつ既知で、細胞Sよりも柔軟な樹脂からなる微小な球体状の擬似生体試料100を分散保持する。これら擬似生体試料100は、それぞれの寸法が既知であれば、必ずしも形状・寸法共に一定である必要はない。
そして、前記制御部5により前記各アクチュエータを3次元的に制御し、保持部2を操作の対象とする細胞の近傍にある擬似生体試料100上端の直上位置に移動させ、操作具2aが擬似生体試料100に対して接触または挿入可能な状態にする。このときの操作具2aが擬似生体試料100に接触していない状態が、図23上図及び図24上図に示す状態である。そして、操作軸3のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、擬似生体試料100に対して操作具2aの先端位置xを断続的に近づけていく。そして、操作具2aが擬似生体試料100に接触した状態が、図23下図及び図24下図である。
そして、前記制御部5により前記各アクチュエータを3次元的に制御し、保持部2を操作の対象とする細胞の近傍にある擬似生体試料100上端の直上位置に移動させ、操作具2aが擬似生体試料100に対して接触または挿入可能な状態にする。このときの操作具2aが擬似生体試料100に接触していない状態が、図23上図及び図24上図に示す状態である。そして、操作軸3のアクチュエータを微小かつ一定のピッチをもって断続的に駆動することで、擬似生体試料100に対して操作具2aの先端位置xを断続的に近づけていく。そして、操作具2aが擬似生体試料100に接触した状態が、図23下図及び図24下図である。
そして、本実施形態における再認識動作では、前記アクチュエータを1ピッチ動かす度に、擬似生体試料100の輪郭によって形成される面積の変化、または、擬似生体試料100の重心位置の変化を観察し、これらの何れか一方もしくは両方が変化するかどうかを、前記画像処理手段8上で観察する。そして、これらの何れかにおいて変化が見られた場合に、擬似生体試料100の上端に操作具2aの先端位置xが接触して変形したと判断する。
擬似生体試料100の高さ寸法が既知であることから、この変形時における操作具2aの先端位置xが、容器Yの底面から擬似生体試料100の高さ寸法分だけ高い位置にあるとして正確に求められる。そして、この結果を、保持部2の参照形状に基づいて求めた操作具2aの先端位置xと比較して補正する。
擬似生体試料100の高さ寸法が既知であることから、この変形時における操作具2aの先端位置xが、容器Yの底面から擬似生体試料100の高さ寸法分だけ高い位置にあるとして正確に求められる。そして、この結果を、保持部2の参照形状に基づいて求めた操作具2aの先端位置xと比較して補正する。
以上の再認識動作により、容器Yの底面に対する正確な先端位置xが求められるので、これを基準として、細胞Sに対して操作を行うための操作開始点を定義する。そして、この操作開始点に対して操作具2aの先端位置xを配置し、実際の接触または挿入操作を行う。
なお、擬似生体試料100の変形有無及び移動有無を判定する際の閾値としては、例えば、外力を与えない状態で擬似生体試料100を測定した誤差の1.5倍とする。勿論、この閾値は一例であり、1.5倍に限らず、測定状況に応じて1を超える他の倍率を適宜設定しても良い。
なお、擬似生体試料100の変形有無及び移動有無を判定する際の閾値としては、例えば、外力を与えない状態で擬似生体試料100を測定した誤差の1.5倍とする。勿論、この閾値は一例であり、1.5倍に限らず、測定状況に応じて1を超える他の倍率を適宜設定しても良い。
以上説明の本実施形態では、上記第1実施形態と同様の構成において、前記容器Y内に、細胞Sと共に、寸法が既知で細胞Sよりも柔軟な粒子状の擬似生体試料100を分散保持し、前記画像処理手段8が画像を処理し、画像内の形状から特定される点の座標を認識すると共に、擬似生体試料100における微小な変形を検出するものとした。
そして、この構成を備えることにより、操作具2aの先端位置と操作の対象である細胞Sの近傍に保持される擬似生体試料100の上端との座標同士の相対位置関係を概略認識し、制御部5により操作具2aの先端を擬似生体試料100の上端に移動させて擬似生体試料100に操作具2aが接触または挿入可能となるように各アクチュエータ(前記XYステージ1及び前記Zステージ4)を3次元的に制御し、接触または挿入可能となる位置付近で更に接触または挿入方向に操作軸3を低速かつ微小な一定ピッチで断続的にステップ駆動する。この時、撮像手段6,7および画像処理手段8により、各ステップの前後における擬似生体試料100の画像を処理して比較することにより、操作具2aの先端が擬似生体試料100に微弱に接触もしくは接触したときに擬似生体試料100に生じる微小な変形を検出する。この変形の検出直後に操作軸3を一旦停止させ、変形が確認されたステップの駆動前後もしくはその中間のいずれかの位置を正確な接触位置と認識し、この位置と、既知である擬似生体試料100の上端の高さから容器Yの底面の位置を正確に認識し、これに基づいて細胞Sへの挿入深さを管理して実際の接触または挿入を制御する。
これにより、操作具2aの先端位置の算出誤差および操作具2aと保持部2の相対位置関係についての製造誤差を補正し、寸法形状が既知の擬似生体試料100を介して操作具2aの先端と容器Yの底面との厳密な位置関係を認識することができ、細胞Sとの高さ方向の位置関係も予測できる上、細胞Sの寸法形状にばらつきが有る場合でも操作具2aの底面との衝突による接損は防止することができる。
また、高さ方向の認識手段をこれに依存し、1系統の光学系による容器底面に直交する方向のみの撮像手段、すなわち従来の正立型あるいは倒立型光学顕微鏡の構成と組み合わせて用いることも可能となる。
なお、操作具2aには、その軸方向の圧縮応力のみが微弱に作用するが、擬似生体試料100の材質により、この応力は、細胞Sに接触接触する場合に比べて更に微弱に抑えられるので、先端を折損させるものではない。また変形の検出については、画像処理により自動認識するほか、可視化して目視で認識するものとしても良い。
また、高さ方向の認識手段をこれに依存し、1系統の光学系による容器底面に直交する方向のみの撮像手段、すなわち従来の正立型あるいは倒立型光学顕微鏡の構成と組み合わせて用いることも可能となる。
なお、操作具2aには、その軸方向の圧縮応力のみが微弱に作用するが、擬似生体試料100の材質により、この応力は、細胞Sに接触接触する場合に比べて更に微弱に抑えられるので、先端を折損させるものではない。また変形の検出については、画像処理により自動認識するほか、可視化して目視で認識するものとしても良い。
なお、擬似生体試料100としては、細胞Sに比べて変形を検出しやすい材料、接触時の操作具2aへの反力を抑えられる材料等を選択することが好ましい。
<第10実施形態>
続いて、図25を参照しながら、本発明の第10実施形態の説明を以下に行う。図25は、3箇所の座標による平面の定義と任意箇所の高さ算出方法を説明するための図である。
なお、本実施形態は、上記第1実施形態〜上記第9実施形態の変形例に相当するので、これら実施形態との相違点を中心に説明を行い、その他については上記各実施形態と同様であるとして説明を省略する。
続いて、図25を参照しながら、本発明の第10実施形態の説明を以下に行う。図25は、3箇所の座標による平面の定義と任意箇所の高さ算出方法を説明するための図である。
なお、本実施形態は、上記第1実施形態〜上記第9実施形態の変形例に相当するので、これら実施形態との相違点を中心に説明を行い、その他については上記各実施形態と同様であるとして説明を省略する。
本実施形態では、図25に示すように、容器Y内の3箇所(3つの細胞S)に対して、上述の手段を用いて、操作具2aの先端位置xと細胞Sの上端もしくは容器Yの底面との位置関係をそれぞれ求める。そして、容器Yの底面もしくは各細胞S上端を共通の空間座標系の点T1〜T3で表し、これらの点を含む仮想平面を定義する。
仮想平面の定義は、空間上の3つの点T1〜T3を通る平面を下記数式(1)〜(3)として求め、容器Y内における任意の細胞Sの底部もしくは上端が、この仮想平面上に位置すると仮定する。そして、仮想平面を規定する前記方程式に任意位置のXY座標を代入することで、任意位置における仮想平面の高さZを算出することができる。
仮想平面の定義は、空間上の3つの点T1〜T3を通る平面を下記数式(1)〜(3)として求め、容器Y内における任意の細胞Sの底部もしくは上端が、この仮想平面上に位置すると仮定する。そして、仮想平面を規定する前記方程式に任意位置のXY座標を代入することで、任意位置における仮想平面の高さZを算出することができる。
点T1(x1,y,z1)、点T2(x2,y2,z2)、点T3(x3,y3,z3)を含む仮想平面上における任意の点(x,y,z)は、下記数式(1)〜(3)を満たす。
x=x1+(x2−x1)s+(x3−x1)t・・・(1)
y=y1+(y2−y1)s+(y3−y1)t・・・(2)
z=z1+(z2−z1)s+(z3−z1)t・・・(3)
また、この仮想平面上にあってx座標及びy座標が既知である点T4(x4,y4,z4)におけるz座標は、上記数式(1)〜(3)のs,tを消去することで、x=x4,y=y4として求められる。
x=x1+(x2−x1)s+(x3−x1)t・・・(1)
y=y1+(y2−y1)s+(y3−y1)t・・・(2)
z=z1+(z2−z1)s+(z3−z1)t・・・(3)
また、この仮想平面上にあってx座標及びy座標が既知である点T4(x4,y4,z4)におけるz座標は、上記数式(1)〜(3)のs,tを消去することで、x=x4,y=y4として求められる。
以上説明の本実施形態では、容器Y内の複数箇所において、操作具2aの先端と容器Yの底面もしくは細胞S上端との高さ方向の位置関係に基づき、制御部5が容器Yの底面もしくは任意の細胞Sの上端を含む平面を仮想的に認識するものとした。
そして、前記制御部5が、容器Y内の3箇所以上において操作具2aの先端と容器Yの底面もしくは細胞Sの上端との高さ方向の位置関係を認識し、容器Yの底面もしくは細胞Sの上端を共通の空間座標系の点で表し、これらの点を含む最も平均的な平面を定義し、その容器内における任意の細胞Sの底部もしくは上端がこれらの平面状に位置すると仮定するものとした。
これにより、操作具2aの先端と任意の細胞Sとの位置関係を、代表箇所での認識に基づき容器Y内全体を仮想的に予測するので、個別に認識する作業が不要となる上に、複数の細胞Sに対して高さ方向の無駄な動作を省いて効率的に位置決めすることが可能となる。また、位置関係の認識を4箇所以上とし、このうち3箇所の組合せを複数選択し、それぞれで定義される平面の平均を採用することで、任意の細胞Sに関する予測をより正確にすることも可能となる。
そして、前記制御部5が、容器Y内の3箇所以上において操作具2aの先端と容器Yの底面もしくは細胞Sの上端との高さ方向の位置関係を認識し、容器Yの底面もしくは細胞Sの上端を共通の空間座標系の点で表し、これらの点を含む最も平均的な平面を定義し、その容器内における任意の細胞Sの底部もしくは上端がこれらの平面状に位置すると仮定するものとした。
これにより、操作具2aの先端と任意の細胞Sとの位置関係を、代表箇所での認識に基づき容器Y内全体を仮想的に予測するので、個別に認識する作業が不要となる上に、複数の細胞Sに対して高さ方向の無駄な動作を省いて効率的に位置決めすることが可能となる。また、位置関係の認識を4箇所以上とし、このうち3箇所の組合せを複数選択し、それぞれで定義される平面の平均を採用することで、任意の細胞Sに関する予測をより正確にすることも可能となる。
より具体的には、少なくとも3箇所以上の細胞Sそれぞれの上端または底部を含む仮想平面を形成し、この仮想平面と操作具2aの先端位置xとの間の相対位置関係を求める方法を採用した。
これにより、例えば、各細胞Sが載置される容器Yの底面が傾いていたとしても対応することができる。すなわち、各細胞Sが載置される面が傾いていた場合、単一の細胞Sに対してのみ、細胞S及び操作具2a間の相対的な位置を求めただけでは、他の細胞Sに対しては、操作具2aとの間で同様の位置関係が成立しないことになる。
そこで、3箇所以上の細胞Sに対して操作具2aを接触させることにより、前記傾きを加味した上で、各細胞S上端の高さ位置座標または底面の位置座標を示す前記仮想平面を求めることができる。そして、この仮想平面を、操作具2aの先端位置xを求める際の基準として用いることができるようになる。
これにより、例えば、各細胞Sが載置される容器Yの底面が傾いていたとしても対応することができる。すなわち、各細胞Sが載置される面が傾いていた場合、単一の細胞Sに対してのみ、細胞S及び操作具2a間の相対的な位置を求めただけでは、他の細胞Sに対しては、操作具2aとの間で同様の位置関係が成立しないことになる。
そこで、3箇所以上の細胞Sに対して操作具2aを接触させることにより、前記傾きを加味した上で、各細胞S上端の高さ位置座標または底面の位置座標を示す前記仮想平面を求めることができる。そして、この仮想平面を、操作具2aの先端位置xを求める際の基準として用いることができるようになる。
したがって、操作具2aと任意の細胞Sとの間の位置関係を、代表箇所での認識に基づいて仮想的に予測できるため、容器Y内の細胞Sの大きさが比較的一定の場合には、各細胞Sの個別毎に高さを認識する作業が不要となる。
一方、容器Y内の各細胞Sの大きさにある程度のばらつきがある場合には、各細胞S毎に個別に高さを認識する作業が必要であるものの、操作具2aを細胞Sと接触しない安全な高さまで接近させる位置の概略予測が可能であり、作業効率が向上する。
また、容器Yの底面の平面度が十分に得られない場合等では、図25に示すように、上記高さ方向の位置関係の認識を4箇所以上で行い、このうち、3箇所の組み合わせにより形成する仮想平面を複数形成する(仮想平面1,仮想平面2)。例えば4箇所の認識により、このうち3箇所の組合せによる仮想平面は4通り形成できる。そして、図26に示すように、これら仮想平面の傾きの平均の傾きをなす仮想平均面を求めることで、任意の細胞Sに関する予測をより正確に行うことが可能となる。
一方、容器Y内の各細胞Sの大きさにある程度のばらつきがある場合には、各細胞S毎に個別に高さを認識する作業が必要であるものの、操作具2aを細胞Sと接触しない安全な高さまで接近させる位置の概略予測が可能であり、作業効率が向上する。
また、容器Yの底面の平面度が十分に得られない場合等では、図25に示すように、上記高さ方向の位置関係の認識を4箇所以上で行い、このうち、3箇所の組み合わせにより形成する仮想平面を複数形成する(仮想平面1,仮想平面2)。例えば4箇所の認識により、このうち3箇所の組合せによる仮想平面は4通り形成できる。そして、図26に示すように、これら仮想平面の傾きの平均の傾きをなす仮想平均面を求めることで、任意の細胞Sに関する予測をより正確に行うことが可能となる。
なお、以上説明の各実施形態では、本発明をマニピュレータ装置(装置)に適用した場合を例に説明したが、本発明はこれに限らず、撮影による確認が困難(見えない、もしくは見にくい)である操作手段を備えた他の装置で、その操作手段の先端位置を、該操作手段を保持し、撮影による検出が可能な寸法を有する保持手段の画像に基づいて推定する画像処理装置に適用することも可能である。
また、本発明は、操作対象物を操作する操作手段と、該操作手段を保持し、撮影による検出が可能な寸法を有する保持手段と、該保持手段を含む画像を取得する画像取得手段と、前記画像に基づき、前記操作手段の先端の位置の推定を行う推定手段とを備えた装置を制御する制御手段に対して用いられ、前記制御手段に対して、前記推定手段が前記画像に基づいて前記推定を行うように制御させるプログラム、及びこのプログラムを保存した記録媒体をも含むものとする。
また、本発明は、操作対象物を操作する操作手段と、該操作手段を保持し、撮影による検出が可能な寸法を有する保持手段と、該保持手段を含む画像を取得する画像取得手段と、前記画像に基づき、前記操作手段の先端の位置の推定を行う推定手段とを備えた装置を制御する制御手段に対して用いられ、前記制御手段に対して、前記推定手段が前記画像に基づいて前記推定を行うように制御させるプログラム、及びこのプログラムを保存した記録媒体をも含むものとする。
<付記事項>
(1) 被操作物を操作する操作具と、この操作具を保持する保持部とを備えたマニピュレータ装置において、
前記保持部に対する前記操作具の先端位置を示す相対位置情報を取得する画像取得手段と、
該相対位置情報を含む画像を読み込んで前記操作具の先端位置を求める先端位置推定手段とを備える
ことを特徴とするマニピュレータ装置。
上記(1)に記載のマニピュレータ装置によれば、その先端位置推定手段が相対位置情報を読み込むことで、保持部を基準とする相対的な位置として操作具の先端位置を正確に求めることができる。
このように相対位置情報に基づき、保持部を基準とする相対的な位置として操作具の先端位置を求めるので、撮像しても写らないほど微細な操作具であっても、正確に先端位置を求めることができる。しかも、従来のように操作具の先端を容器に接触させる必要がないので、操作具の先端を折損させてしまう虞もない。
また、正確に操作具の先端位置を求めることができるので、操作具及び被操作物間の3次元的な位置情報も正確に得ることができる。そして、この位置情報をマニピュレータ装置の装置制御に反映させることで、侵襲を抑えた被操作物の操作を、高い効率で行うことが可能となる。
(1) 被操作物を操作する操作具と、この操作具を保持する保持部とを備えたマニピュレータ装置において、
前記保持部に対する前記操作具の先端位置を示す相対位置情報を取得する画像取得手段と、
該相対位置情報を含む画像を読み込んで前記操作具の先端位置を求める先端位置推定手段とを備える
ことを特徴とするマニピュレータ装置。
上記(1)に記載のマニピュレータ装置によれば、その先端位置推定手段が相対位置情報を読み込むことで、保持部を基準とする相対的な位置として操作具の先端位置を正確に求めることができる。
このように相対位置情報に基づき、保持部を基準とする相対的な位置として操作具の先端位置を求めるので、撮像しても写らないほど微細な操作具であっても、正確に先端位置を求めることができる。しかも、従来のように操作具の先端を容器に接触させる必要がないので、操作具の先端を折損させてしまう虞もない。
また、正確に操作具の先端位置を求めることができるので、操作具及び被操作物間の3次元的な位置情報も正確に得ることができる。そして、この位置情報をマニピュレータ装置の装置制御に反映させることで、侵襲を抑えた被操作物の操作を、高い効率で行うことが可能となる。
(2) 上記(1)に記載のマニピュレータ装置において、
前記相対位置情報が、前記保持部の形状であり、
前記先端位置推定手段が、前記保持部の形状を基準とする相対的な位置として、前記操作具の先端位置を求める
ことを特徴とするマニピュレータ装置。
上記(2)に記載のマニピュレータ装置によれば、その先端位置推定手段が、撮像された保持部の形状(外形、突起、稜線等の特徴的な形状)を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具の先端位置を求める。
したがって、上記(2)に記載のマニピュレータ装置によれば、設計・製造・検査段階において既知となる保持部の形状を座標基準として用いるものであるので、より正確に操作具の先端位置を求めることが可能となる。
前記相対位置情報が、前記保持部の形状であり、
前記先端位置推定手段が、前記保持部の形状を基準とする相対的な位置として、前記操作具の先端位置を求める
ことを特徴とするマニピュレータ装置。
上記(2)に記載のマニピュレータ装置によれば、その先端位置推定手段が、撮像された保持部の形状(外形、突起、稜線等の特徴的な形状)を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具の先端位置を求める。
したがって、上記(2)に記載のマニピュレータ装置によれば、設計・製造・検査段階において既知となる保持部の形状を座標基準として用いるものであるので、より正確に操作具の先端位置を求めることが可能となる。
(3) 上記(2)に記載のマニピュレータ装置において、
前記保持部の形状が、前記操作具の先端位置で延長線が交差する複数の直線部を備え、これら直線部が、前記保持部を少なくとも2方向から見たそれぞれの場合で視認可能な位置に設けられている
ことを特徴とするマニピュレータ装置。
上記(3)に記載のマニピュレータ装置によれば、先端位置推定手段が、読み込んだ画像上において、各直線部の延長線による交差点を求めることで、操作具の先端位置を求めることができる。これを、少なくとも2方向から保持部を見た画像上のそれぞれにおいて行うことで、保持部の先端位置を3次元的に求めることができる。
つまり、操作具の先端位置で延長線が交差する複数の直線部を基準とすることで、より確実かつ正確に操作具の先端位置を求めることが可能となる。
前記保持部の形状が、前記操作具の先端位置で延長線が交差する複数の直線部を備え、これら直線部が、前記保持部を少なくとも2方向から見たそれぞれの場合で視認可能な位置に設けられている
ことを特徴とするマニピュレータ装置。
上記(3)に記載のマニピュレータ装置によれば、先端位置推定手段が、読み込んだ画像上において、各直線部の延長線による交差点を求めることで、操作具の先端位置を求めることができる。これを、少なくとも2方向から保持部を見た画像上のそれぞれにおいて行うことで、保持部の先端位置を3次元的に求めることができる。
つまり、操作具の先端位置で延長線が交差する複数の直線部を基準とすることで、より確実かつ正確に操作具の先端位置を求めることが可能となる。
(4) 上記(2)に記載のマニピュレータ装置において、
前記保持部の形状が、該保持部を少なくとも2方向から見たそれぞれの場合で、前記操作具の先端位置に対する相対的な位置が予め定められた線または面を備え、かつ、これら線内または面内に含まれる複数の任意点が、前記画像を撮像する点から等距離にある
ことを特徴とするマニピュレータ装置。
上記(4)に記載のマニピュレータ装置によれば、先端位置推定手段が、読み込んだ画像上において、保持部が含む線または面を座標基準とし、この座標基準に対する相対的な位置として操作具の先端位置を求めることができる。これを、少なくとも2方向から保持部を見た画像上のそれぞれに対して行うことで、保持部の先端位置を3次元的に求めることができる。しかも、座標基準として用いる前記線または面は、これに含まれる複数の任意点が、画像を撮像する点から等距離にある。これにより、例え操作具が、画像を撮像する点から見て奥行き方向に焦点位置が変化するように傾いた状態に配置されていても、前記線または面の画像を、1枚の画像内に合焦点状態に撮像することができる。したがって、前記奥行き方向で合焦点位置を変えた画像を複数撮像せずに済むので、簡易な操作で操作具の先端位置を求めることが可能となる。
前記保持部の形状が、該保持部を少なくとも2方向から見たそれぞれの場合で、前記操作具の先端位置に対する相対的な位置が予め定められた線または面を備え、かつ、これら線内または面内に含まれる複数の任意点が、前記画像を撮像する点から等距離にある
ことを特徴とするマニピュレータ装置。
上記(4)に記載のマニピュレータ装置によれば、先端位置推定手段が、読み込んだ画像上において、保持部が含む線または面を座標基準とし、この座標基準に対する相対的な位置として操作具の先端位置を求めることができる。これを、少なくとも2方向から保持部を見た画像上のそれぞれに対して行うことで、保持部の先端位置を3次元的に求めることができる。しかも、座標基準として用いる前記線または面は、これに含まれる複数の任意点が、画像を撮像する点から等距離にある。これにより、例え操作具が、画像を撮像する点から見て奥行き方向に焦点位置が変化するように傾いた状態に配置されていても、前記線または面の画像を、1枚の画像内に合焦点状態に撮像することができる。したがって、前記奥行き方向で合焦点位置を変えた画像を複数撮像せずに済むので、簡易な操作で操作具の先端位置を求めることが可能となる。
(5) 上記(1)から上記(4)の何れか1項に記載のマニピュレータ装置において、
前記被操作物が載置される透明な底壁面と、該底壁面上の空間を側面視した画像を真下に向けて反射する鏡面とを有する容器を備える
ことを特徴とするマニピュレータ装置。
上記(5)に記載のマニピュレータ装置によれば、底壁面の真下位置からこの底壁面を透過して保持部を撮像することで、第1の画像が撮像できる。続いて、鏡面の真下位置から鏡面を撮像することで、鏡面に映り込んでいる、容器内を側面視した第2の画像を撮像することができる。このようにして、異なる2方向のからの画像を、同一方向の視線から撮像することができる。
したがって、鏡面を介さずに直接的に保持部を撮像した画像と、鏡面を介して保持部を撮像した画像とを取得することにより、撮像方向の異なる複数の撮像手段を配置せずに済むことが可能となる。また、通常の顕微鏡を用いることも可能となる。
前記被操作物が載置される透明な底壁面と、該底壁面上の空間を側面視した画像を真下に向けて反射する鏡面とを有する容器を備える
ことを特徴とするマニピュレータ装置。
上記(5)に記載のマニピュレータ装置によれば、底壁面の真下位置からこの底壁面を透過して保持部を撮像することで、第1の画像が撮像できる。続いて、鏡面の真下位置から鏡面を撮像することで、鏡面に映り込んでいる、容器内を側面視した第2の画像を撮像することができる。このようにして、異なる2方向のからの画像を、同一方向の視線から撮像することができる。
したがって、鏡面を介さずに直接的に保持部を撮像した画像と、鏡面を介して保持部を撮像した画像とを取得することにより、撮像方向の異なる複数の撮像手段を配置せずに済むことが可能となる。また、通常の顕微鏡を用いることも可能となる。
(6) 上記(5)に記載のマニピュレータ装置において、
前記底壁面の高さ位置が、前記鏡面の最下端位置よりも高くなるように配置されている
ことを特徴とするマニピュレータ装置。
上記(6)に記載のマニピュレータ装置によれば、底壁面の高さ位置が鏡面の最下端位置よりも高くなるようにすることで、鏡面を介して容器内を側面視した画像を撮像する際に、この画像内に容器の底壁面や、被操作物の底面位置も含めて鮮明に撮像することが可能となる。
前記底壁面の高さ位置が、前記鏡面の最下端位置よりも高くなるように配置されている
ことを特徴とするマニピュレータ装置。
上記(6)に記載のマニピュレータ装置によれば、底壁面の高さ位置が鏡面の最下端位置よりも高くなるようにすることで、鏡面を介して容器内を側面視した画像を撮像する際に、この画像内に容器の底壁面や、被操作物の底面位置も含めて鮮明に撮像することが可能となる。
(7) 上記(1)から上記(6)の何れか1項に記載のマニピュレータ装置において、
前記被操作物を撮像する撮像手段と、該撮像手段で撮像された画像に基づいて前記被操作物の形状及び位置の少なくとも一方の変化を判別する判別手段とを備える
ことを特徴とするマニピュレータ装置。
上記(7)に記載のマニピュレータ装置によれば、操作具を保持部とともに被操作物に対して徐々に接近させていくと同時に被操作物の撮像を行い、その形状及び位置の少なくとも一方が変化しないかを判別手段が画像上で確認する。そして、判別手段により変化が生じたと確認された時点で、操作具の先端が被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記先端位置推定手段が求めた操作具の先端位置と比較することにより、先端位置推定手段の推定結果が正しいかを確実に確認することができる。
前記被操作物を撮像する撮像手段と、該撮像手段で撮像された画像に基づいて前記被操作物の形状及び位置の少なくとも一方の変化を判別する判別手段とを備える
ことを特徴とするマニピュレータ装置。
上記(7)に記載のマニピュレータ装置によれば、操作具を保持部とともに被操作物に対して徐々に接近させていくと同時に被操作物の撮像を行い、その形状及び位置の少なくとも一方が変化しないかを判別手段が画像上で確認する。そして、判別手段により変化が生じたと確認された時点で、操作具の先端が被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記先端位置推定手段が求めた操作具の先端位置と比較することにより、先端位置推定手段の推定結果が正しいかを確実に確認することができる。
(8) 上記(7)に記載のマニピュレータ装置において、
前記判別手段が、前記被操作物の重心位置変化、及び前記被操作物の外形によって形成される面積変化の少なくとも一方を判別する
ことを特徴とするマニピュレータ装置。
上記(8)に記載のマニピュレータ装置によれば、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、被操作物の重心位置、及び被操作物の面積の少なくとも一方が変化する。そこで、この変化を判別手段が捉えることで、被操作物に当接した時の操作具の先端位置をより確実に求めることができるようになる。しかも、この検出作業は自動化に適しているので、マニピュレータ装置の制御の自動化を進める上で好適なものとなっている。
前記判別手段が、前記被操作物の重心位置変化、及び前記被操作物の外形によって形成される面積変化の少なくとも一方を判別する
ことを特徴とするマニピュレータ装置。
上記(8)に記載のマニピュレータ装置によれば、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、被操作物の重心位置、及び被操作物の面積の少なくとも一方が変化する。そこで、この変化を判別手段が捉えることで、被操作物に当接した時の操作具の先端位置をより確実に求めることができるようになる。しかも、この検出作業は自動化に適しているので、マニピュレータ装置の制御の自動化を進める上で好適なものとなっている。
(9) 上記(7)または上記(8)に記載のマニピュレータ装置において、
前記判別手段が、前記被操作物の画像を、前記被操作物の輪郭を含む複数の孤立した領域に分割するように図形で区切り、前記領域の面積変化を判断する
ことを特徴とするマニピュレータ装置。
上記(9)に記載のマニピュレータ装置によれば、操作具の先端を被操作物に当てることで操作具の先端位置を求めようとしたとき、被操作物の重心位置変化及び面積変化のみでは判別困難であった場合に、本発明のように、被操作物の画像を図形で区切って複数の領域に分割し、少なくとも1つの領域の面積変化を判別するのが好ましい。すなわち、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、いずれかの領域の面積が変化する。そこで、この面積変化を判別手段が捉えることで、被操作物の重心位置変化及び面積変化のみでは判別困難であった場合においても、被操作物に当接した時の操作具の先端位置をさらに確実に求めることができるようになる。
前記判別手段が、前記被操作物の画像を、前記被操作物の輪郭を含む複数の孤立した領域に分割するように図形で区切り、前記領域の面積変化を判断する
ことを特徴とするマニピュレータ装置。
上記(9)に記載のマニピュレータ装置によれば、操作具の先端を被操作物に当てることで操作具の先端位置を求めようとしたとき、被操作物の重心位置変化及び面積変化のみでは判別困難であった場合に、本発明のように、被操作物の画像を図形で区切って複数の領域に分割し、少なくとも1つの領域の面積変化を判別するのが好ましい。すなわち、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、いずれかの領域の面積が変化する。そこで、この面積変化を判別手段が捉えることで、被操作物の重心位置変化及び面積変化のみでは判別困難であった場合においても、被操作物に当接した時の操作具の先端位置をさらに確実に求めることができるようになる。
(10) 上記(7)から上記(9)の何れか1項に記載のマニピュレータ装置において、
前記判別手段が、前記被操作物の画像に対して任意の点を設定し、この点から前記被操作物の外形をなす稜線上の各点までの距離寸法の変化を判断する
ことを特徴とするマニピュレータ装置。
上記(10)に記載のマニピュレータ装置によれば、操作具の先端を被操作物に当てることで操作具の先端位置を求めようとしたとき、被操作物の重心位置変化、面積変化、前記縁部分の面積変化でも判別困難であった場合に、本発明のように、被操作物の外形変化を捉えるのが好ましい。すなわち、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、前記任意の点から被操作物の稜線上の各点までの距離寸法が変化する。したがって、前記距離寸法の変化を判別手段が常に監視しながら操作具を被操作物に近づけていき、前記距離寸法が変化した時点を捉えることで、被操作物に当接した時の操作具の先端位置をさらに確実に求めることができるようになる。
前記判別手段が、前記被操作物の画像に対して任意の点を設定し、この点から前記被操作物の外形をなす稜線上の各点までの距離寸法の変化を判断する
ことを特徴とするマニピュレータ装置。
上記(10)に記載のマニピュレータ装置によれば、操作具の先端を被操作物に当てることで操作具の先端位置を求めようとしたとき、被操作物の重心位置変化、面積変化、前記縁部分の面積変化でも判別困難であった場合に、本発明のように、被操作物の外形変化を捉えるのが好ましい。すなわち、操作具の先端を被操作物の上端に当てることで被操作物に外力が作用し、前記任意の点から被操作物の稜線上の各点までの距離寸法が変化する。したがって、前記距離寸法の変化を判別手段が常に監視しながら操作具を被操作物に近づけていき、前記距離寸法が変化した時点を捉えることで、被操作物に当接した時の操作具の先端位置をさらに確実に求めることができるようになる。
(11) 操作具を保持した状態の保持部を撮像する撮像工程と、
前記保持部の画像を基準として、前記操作具の先端位置を求める検出工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(11)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、撮像工程と検出工程を行うことで、保持部を基準とする相対的な位置として、操作具の先端位置を正確に求めることができる。
したがって、保持部を基準とする相対的な位置として操作具の先端位置を求めるので、撮像しても写らないほど微細な操作具であっても、正確に先端位置を求めることができる。しかも、従来のように操作具の先端を容器に接触させる必要がないので、操作具の先端を折損させてしまう虞もない。
また、このようにして正確に操作具の先端位置を求めることができるので、操作具及び被操作物間の3次元的な位置情報も正確に得ることができる。そして、この位置情報をマニピュレータ装置の装置制御に反映させることで、侵襲を抑えた被操作物の操作を、高い効率で行うことが可能となる。
前記保持部の画像を基準として、前記操作具の先端位置を求める検出工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(11)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、撮像工程と検出工程を行うことで、保持部を基準とする相対的な位置として、操作具の先端位置を正確に求めることができる。
したがって、保持部を基準とする相対的な位置として操作具の先端位置を求めるので、撮像しても写らないほど微細な操作具であっても、正確に先端位置を求めることができる。しかも、従来のように操作具の先端を容器に接触させる必要がないので、操作具の先端を折損させてしまう虞もない。
また、このようにして正確に操作具の先端位置を求めることができるので、操作具及び被操作物間の3次元的な位置情報も正確に得ることができる。そして、この位置情報をマニピュレータ装置の装置制御に反映させることで、侵襲を抑えた被操作物の操作を、高い効率で行うことが可能となる。
(12) 上記(11)に記載のマニピュレータ装置の操作具先端位置検出方法において、
前記検出工程では、前記保持部の形状を基準とする相対的な位置として、前記操作具の先端位置を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(12)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、撮像された保持部の形状(外形、突起、稜線等の特徴的な形状)を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具の先端位置を求める。
したがって、変化することのない保持部の形状を座標基準として用いるものであるので、より正確に操作具の先端位置を求めることが可能となる。
前記検出工程では、前記保持部の形状を基準とする相対的な位置として、前記操作具の先端位置を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(12)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、撮像された保持部の形状(外形、突起、稜線等の特徴的な形状)を座標基準とし、この座標基準に対する相対的な位置として、画像内における操作具の先端位置を求める。
したがって、変化することのない保持部の形状を座標基準として用いるものであるので、より正確に操作具の先端位置を求めることが可能となる。
(13) 上記(11)または上記(12)に記載のマニピュレータ装置の操作具先端位置検出方法において、
前記操作具を被操作物に対して接近させる第1の接近工程と、
前記被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つを判別する第1の判別工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(13)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、操作具を保持部とともに被操作物に対して徐々に接近させていくと同時に被操作物の撮像を行い、その形状及び位置の少なくとも一方が変化しないかを画像上で確認する。そして、第1の判別工程において被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つが確認された時点で、操作具の先端が被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記検出工程で求めた操作具の先端位置と比較することにより、前記検出工程の推定結果が正しいかを確実に確認することができる。
前記操作具を被操作物に対して接近させる第1の接近工程と、
前記被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つを判別する第1の判別工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(13)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、操作具を保持部とともに被操作物に対して徐々に接近させていくと同時に被操作物の撮像を行い、その形状及び位置の少なくとも一方が変化しないかを画像上で確認する。そして、第1の判別工程において被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つが確認された時点で、操作具の先端が被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記検出工程で求めた操作具の先端位置と比較することにより、前記検出工程の推定結果が正しいかを確実に確認することができる。
(14) 上記(13)に記載のマニピュレータ装置の操作具先端位置検出方法において、
少なくとも3箇所以上の前記被操作物それぞれに対して、前記第1の接近工程及び前記第1の判別工程を行い、これら被操作物と前記操作具との間の各接点のうち3点を含む仮想平面を形成し、高さ方向に関してはこの仮想平面と前記操作具の先端位置との間の相対位置関係を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(14)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、例えば、各被操作物が載置される面が傾いていたとしても対応することができる。すなわち、各被操作物が載置される面が傾いていた場合、単一の被操作物に対してのみ、被操作物及び操作具間の相対的な位置を求めただけでは、他の被操作物に対しては、操作具との間で同様の高さ方向の位置関係は成立しないことになる。そこで、3箇所以上の被操作物に対して操作具を接触させることにより、前記傾きを加味した上で、各被操作物上端の高さ位置座標を示す仮想平面を求めることができる。この仮想平面を、操作具の先端位置を求める際の基準として用いることができる。
したがって、仮想平面を操作具の先端位置を求める際の基準として用いることができるので、例え、各被操作物が載置される面が傾いていたとしても、この傾きを加味した上で、各被操作物と操作具の先端位置との間の相対位置を正確に求めることが可能となる。
少なくとも3箇所以上の前記被操作物それぞれに対して、前記第1の接近工程及び前記第1の判別工程を行い、これら被操作物と前記操作具との間の各接点のうち3点を含む仮想平面を形成し、高さ方向に関してはこの仮想平面と前記操作具の先端位置との間の相対位置関係を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(14)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、例えば、各被操作物が載置される面が傾いていたとしても対応することができる。すなわち、各被操作物が載置される面が傾いていた場合、単一の被操作物に対してのみ、被操作物及び操作具間の相対的な位置を求めただけでは、他の被操作物に対しては、操作具との間で同様の高さ方向の位置関係は成立しないことになる。そこで、3箇所以上の被操作物に対して操作具を接触させることにより、前記傾きを加味した上で、各被操作物上端の高さ位置座標を示す仮想平面を求めることができる。この仮想平面を、操作具の先端位置を求める際の基準として用いることができる。
したがって、仮想平面を操作具の先端位置を求める際の基準として用いることができるので、例え、各被操作物が載置される面が傾いていたとしても、この傾きを加味した上で、各被操作物と操作具の先端位置との間の相対位置を正確に求めることが可能となる。
(15) 上記(14)に記載のマニピュレータ装置の操作具先端位置検出方法において、
前記仮想平面を複数形成し、これら仮想平面の平均的な傾きを有する仮想平均面を求め、高さ方向に関してはこの仮想平均面と前記操作具の先端位置との間の相対位置関係を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(15)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、1つの仮想平面のみを用いて求めた各被操作物上端の高さ位置座標よりも、複数の仮想平面の平均に基づいて求めた仮想平均面の方を各被操作物上端の高さ位置座標として用いる方が、より正確に各被操作物と操作具の先端位置との間の相対位置を求めることができる。すなわち、各被操作物の形状寸法にある程度のばらつきがあっても、このばらつきを平均化して吸収することが可能となる。
前記仮想平面を複数形成し、これら仮想平面の平均的な傾きを有する仮想平均面を求め、高さ方向に関してはこの仮想平均面と前記操作具の先端位置との間の相対位置関係を求める
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(15)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、1つの仮想平面のみを用いて求めた各被操作物上端の高さ位置座標よりも、複数の仮想平面の平均に基づいて求めた仮想平均面の方を各被操作物上端の高さ位置座標として用いる方が、より正確に各被操作物と操作具の先端位置との間の相対位置を求めることができる。すなわち、各被操作物の形状寸法にある程度のばらつきがあっても、このばらつきを平均化して吸収することが可能となる。
(16) 上記(11)から上記(15)の何れか1項に記載のマニピュレータ装置の操作具先端位置検出方法において、
前記被操作物が配置される容器内に形状寸法が既知の擬似被操作物を配置し、該擬似被
操作物に対して前記操作具を接近させる第2の接近工程と、
前記擬似被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つを判別する第2の判別工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(16)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、操作具を保持部とともに擬似被操作物に対して徐々に接近させていくと同時に擬似被操作物の撮像を行い、その形状変化、位置変化、面積変化のうちの少なくとも一つが生じないかを画像上で確認する。そして、第2の判別工程において被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つに変化が生じたと確認された時点で、操作具の先端が擬似被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記検出工程で求めた操作具の先端位置と比較することにより、前記検出工程の推定結果が正しいかを確実に確認することができる。
前記被操作物が配置される容器内に形状寸法が既知の擬似被操作物を配置し、該擬似被
操作物に対して前記操作具を接近させる第2の接近工程と、
前記擬似被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つを判別する第2の判別工程とを有する
ことを特徴とするマニピュレータ装置の操作具先端位置検出方法。
上記(16)に記載のマニピュレータ装置の操作具先端位置検出方法によれば、操作具を保持部とともに擬似被操作物に対して徐々に接近させていくと同時に擬似被操作物の撮像を行い、その形状変化、位置変化、面積変化のうちの少なくとも一つが生じないかを画像上で確認する。そして、第2の判別工程において被操作物の形状変化、位置変化、面積変化のうちの少なくとも一つに変化が生じたと確認された時点で、操作具の先端が擬似被操作物の上端位置に接触したとして操作具の先端位置を求めることができる。これを、前記検出工程で求めた操作具の先端位置と比較することにより、前記検出工程の推定結果が正しいかを確実に確認することができる。
1・・・保持部(保持手段)
2a・・・操作具(操作手段)
5・・・制御部(推定手段,位置推定手段)
6,7・・・撮像手段(画像取得手段,撮像手段)
8・・・画像処理手段(情報生成手段)
100・・・擬似生体試料
P1・・・点(画像処理上の基準となる点)
S・・・細胞(操作対象物,生体試料)
X・・・先端位置(操作手段の先端の位置)
2a・・・操作具(操作手段)
5・・・制御部(推定手段,位置推定手段)
6,7・・・撮像手段(画像取得手段,撮像手段)
8・・・画像処理手段(情報生成手段)
100・・・擬似生体試料
P1・・・点(画像処理上の基準となる点)
S・・・細胞(操作対象物,生体試料)
X・・・先端位置(操作手段の先端の位置)
Claims (7)
- 画像を撮影する撮像手段と、
前記撮像手段の撮影解像度限界より小さく、前記撮像手段による検出ができない大きさの先端を有し、当該先端が顕微鏡によって観察される微小な操作対象物に接触又は挿入されて当該操作対象物を操作する操作手段と、
前記撮像手段の撮影解像度限界より大きく、前記撮像手段による検出が可能な大きさを有し、前記操作手段を保持する保持手段と、
前記撮像手段によって撮影された前記保持手段を含む画像に基づき、前記操作手段の先端の位置を推定する推定手段と、
を備えたことを特徴とする顕微鏡用マニピュレータ装置。 - 前記操作対象物が、生体試料を含むことを特徴とする請求項1に記載のマニピュレータ装置。
- 前記生体試料が、生体細胞を含むことを特徴とする請求項2に記載のマニピュレータ装置。
- 前記操作手段が、前記操作対象物に接触又は挿入される針状の操作具であることを特徴とする請求項1に記載のマニピュレータ装置。
- 前記保持手段が、前記操作手段の先端の位置を求めるための参照基準となる基準面を有することを特徴とする請求項1に記載のマニピュレータ装置。
- 前記推定手段が、前記撮像手段によって撮影された前記画像中における前記保持手段の前記基準面を利用して、前記操作手段の先端の位置を推定することを特徴とする請求項5に記載のマニピュレータ装置。
- 顕微鏡によって観察される微小な操作対象物に接触又は挿入する先端を有して前記操作対象物を操作する操作手段を備えるマニピュレータ装置における操作手段の先端位置を推定する方法であって、
撮像手段の撮影解像度限界より小さく前記撮像手段による検出ができない大きさの前記操作手段の先端を保持する保持手段であって、前記撮像手段の撮影解像度限界より大きく前記撮像手段による検出が可能な大きさを有する保持手段が含まれる画像を、前記撮像手段によって撮影する工程と、
前記撮像手段によって撮影された前記保持手段を含む画像に基づき、前記操作手段の先端の位置を推定する工程と、
を有することを特徴とするマニピュレータ装置における操作手段の先端位置の推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007036636A JP2007140557A (ja) | 2007-02-16 | 2007-02-16 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007036636A JP2007140557A (ja) | 2007-02-16 | 2007-02-16 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003354015A Division JP3973614B2 (ja) | 2003-10-14 | 2003-10-14 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007140557A true JP2007140557A (ja) | 2007-06-07 |
Family
ID=38203384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007036636A Pending JP2007140557A (ja) | 2007-02-16 | 2007-02-16 | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007140557A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009119329A1 (ja) * | 2008-03-24 | 2009-10-01 | 株式会社ニコン | 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置 |
WO2019176050A1 (ja) * | 2018-03-15 | 2019-09-19 | オリンパス株式会社 | 細胞画像処理装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05305073A (ja) * | 1992-05-01 | 1993-11-19 | Olympus Optical Co Ltd | 挿入具の位置検出表示装置 |
JPH06109979A (ja) * | 1992-09-30 | 1994-04-22 | Shimadzu Corp | マイクロマニピュレータシステム |
JPH0630804B2 (ja) * | 1986-09-06 | 1994-04-27 | 株式会社安川電機 | 溶接ワイヤのワ−ク接触検出方法 |
JPH06308118A (ja) * | 1993-04-26 | 1994-11-04 | Fujitsu Ltd | 細胞の選別と電極刺入方法および装置 |
JPH09273907A (ja) * | 1996-02-09 | 1997-10-21 | Shimadzu Corp | スケール表示方法 |
JPH09323280A (ja) * | 1996-06-04 | 1997-12-16 | Nippon Telegr & Teleph Corp <Ntt> | マニピュレータの制御方法及びシステム |
JPH10113770A (ja) * | 1996-10-14 | 1998-05-06 | Nippon Steel Weld Prod & Eng Co Ltd | エレクトロガスアーク溶接の開先倣い制御装置および方法 |
JPH10133728A (ja) * | 1996-10-30 | 1998-05-22 | Amada Co Ltd | 製品検査データの自動フィードバック装置及びこの装置を用いた自動プログラム修正方法 |
JP2001091857A (ja) * | 1999-09-21 | 2001-04-06 | Sanyu Seisakusho:Kk | 微細作業用マイクロマニピュレーション装置 |
-
2007
- 2007-02-16 JP JP2007036636A patent/JP2007140557A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0630804B2 (ja) * | 1986-09-06 | 1994-04-27 | 株式会社安川電機 | 溶接ワイヤのワ−ク接触検出方法 |
JPH05305073A (ja) * | 1992-05-01 | 1993-11-19 | Olympus Optical Co Ltd | 挿入具の位置検出表示装置 |
JPH06109979A (ja) * | 1992-09-30 | 1994-04-22 | Shimadzu Corp | マイクロマニピュレータシステム |
JPH06308118A (ja) * | 1993-04-26 | 1994-11-04 | Fujitsu Ltd | 細胞の選別と電極刺入方法および装置 |
JPH09273907A (ja) * | 1996-02-09 | 1997-10-21 | Shimadzu Corp | スケール表示方法 |
JPH09323280A (ja) * | 1996-06-04 | 1997-12-16 | Nippon Telegr & Teleph Corp <Ntt> | マニピュレータの制御方法及びシステム |
JPH10113770A (ja) * | 1996-10-14 | 1998-05-06 | Nippon Steel Weld Prod & Eng Co Ltd | エレクトロガスアーク溶接の開先倣い制御装置および方法 |
JPH10133728A (ja) * | 1996-10-30 | 1998-05-22 | Amada Co Ltd | 製品検査データの自動フィードバック装置及びこの装置を用いた自動プログラム修正方法 |
JP2001091857A (ja) * | 1999-09-21 | 2001-04-06 | Sanyu Seisakusho:Kk | 微細作業用マイクロマニピュレーション装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009119329A1 (ja) * | 2008-03-24 | 2009-10-01 | 株式会社ニコン | 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置 |
JP2009229275A (ja) * | 2008-03-24 | 2009-10-08 | Nikon Corp | 細胞観察画像の画像解析方法、画像処理プログラム及び画像処理装置 |
WO2019176050A1 (ja) * | 2018-03-15 | 2019-09-19 | オリンパス株式会社 | 細胞画像処理装置 |
JPWO2019176050A1 (ja) * | 2018-03-15 | 2021-04-08 | オリンパス株式会社 | 細胞画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3973614B2 (ja) | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 | |
Wang et al. | Autofocusing and polar body detection in automated cell manipulation | |
US11754392B2 (en) | Distance determination of a sample plane in a microscope system | |
EP2402813B1 (en) | Microscope and area determination method | |
JP5525953B2 (ja) | 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム | |
JP6690245B2 (ja) | マニピュレーションシステム及びマニピュレーションシステムの駆動方法 | |
CN109387157A (zh) | 通过侧向视角成像来表征样本的高度轮廓 | |
JP5826250B2 (ja) | マイクロ操作ツールを無衝突で位置決めする方法 | |
EP2949285A1 (en) | Surgical microscope | |
US9145572B2 (en) | Observation system, recording medium, and control method of observation system | |
JP2009207416A (ja) | 細胞観察における生細胞の判別手法、細胞観察の画像処理プログラム及び画像処理装置 | |
US10890749B2 (en) | Magnifying observation apparatus | |
JP2023036742A (ja) | マニピュレーションシステム及びマニピュレーションシステムの駆動方法 | |
JPWO2018163683A1 (ja) | 撮像システム | |
US10168520B2 (en) | Microscope system and microscopy method | |
CN103257438B (zh) | 一种基于自动控制电动平移台的平面二维矩形扫描装置及其扫描方法 | |
JP2007140557A (ja) | マニピュレータ装置及び当該装置における操作手段の先端位置の推定方法 | |
US20160274366A1 (en) | Device, System And Method For The Visual Alignment Of A Pipettor Tip And A Reference Point Marker | |
JP2022109258A (ja) | 人間工学的視野に基づく光学顕微鏡システム | |
JP6528911B2 (ja) | マニピュレーションシステム | |
US12055556B2 (en) | Manipulation system and driving method of manipulation system | |
JP5343762B2 (ja) | 制御装置、およびその制御装置を用いた顕微鏡システム | |
Karimirad et al. | Vision-based robot-assisted biological cell micromanipulation | |
WO2009125547A1 (ja) | 培養装置の制御装置及び制御プログラム | |
JP6859861B2 (ja) | マニピュレーションシステム及びマニピュレーションシステムの駆動方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100601 |