JP2004230528A - 微小物の姿勢制御装置及び姿勢制御方法 - Google Patents

微小物の姿勢制御装置及び姿勢制御方法 Download PDF

Info

Publication number
JP2004230528A
JP2004230528A JP2003024036A JP2003024036A JP2004230528A JP 2004230528 A JP2004230528 A JP 2004230528A JP 2003024036 A JP2003024036 A JP 2003024036A JP 2003024036 A JP2003024036 A JP 2003024036A JP 2004230528 A JP2004230528 A JP 2004230528A
Authority
JP
Japan
Prior art keywords
fine particles
minute object
dimensional
unit
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003024036A
Other languages
English (en)
Other versions
JP3887684B2 (ja
Inventor
Yoshio Tanaka
芳夫 田中
Akitsugu Murakami
昭継 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2003024036A priority Critical patent/JP3887684B2/ja
Publication of JP2004230528A publication Critical patent/JP2004230528A/ja
Application granted granted Critical
Publication of JP3887684B2 publication Critical patent/JP3887684B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

【課題】非球状の微小物の位置及び姿勢を、非接触で制御可能な姿勢制御装置及び姿勢制御方法を提供すること。
【解決手段】3個の微粒子が表面に取り付けられた微小物の姿勢及び位置を変化させる微小物の姿勢制御装置であって、2台のカメラと、3本のビームを出力するビーム出力部と、入射するビームの光路を変化させる焦点移動部と、ビームを集束する集束部と、制御部と、操作部とを備え、前記微粒子が、球形であり、周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、前記制御部が、前記カメラによって得られる複数枚の画像から、前記微粒子の3次元位置座標を計算し、前記焦点移動部を制御して、前記ビームが前記集束部によって前記3次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、前記操作部からの指示を受け、前記焦点移動部を制御して前記ビームの集束位置を変化させる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、微小物質又は微小構造物の姿勢制御装置及び姿勢制御方法に関し、特に、化学分析、医療、環境計測、創薬等の諸分野において有用な極微量の試薬、細胞、DNA等の非球状物の精密自動操作、マイクロマシンにおけるマイクロ構造物の自動組立などに必要とされる微小な対象物の3次元空間における位置及び姿勢を、非接触で精密に自動操作することができる微小物の姿勢制御装置及び姿勢制御方法に関するものである。
【0002】
【従来の技術】
近年、医療、化学分析、環境計測などの各分野において、混合・反応系、検出系、電子回路、ポンプなどをマイクロ化して、化学分析システム全体をIC化する技術、すなわちμ−TAS(Micro Total Analysis System)関する要素技術開発の必要性が高まっている。このマイクロ化技術のうち、検査試薬などの微小物質を特定の位置へ注入する技術に関しては、微小ノズルやピンを利用して滴下する技術が実現されている。また、ミクロンサイズのマイクロ構造物の組立に関しては、接触型のマイクロハンドによって行うことが検討されている。
【0003】
他方、光ピンセット法で、レーザ光を利用してミクロンサイズの微粒子や液滴を、非接触で操作できることが知られており、化学分野における微小領域での反応の制御や分析、生物工学における微生物や遺伝子操作などに対しての応用が行われている(下記特許文献1〜3参照)。
【0004】
また、下記特許文献4には、光ピンセット法によって捕捉することができない、周囲の媒質よりも低屈折率の微粒子や、レーザ光を反射する金属微粒子などを保持し、配列させる方法が開示されている。
【0005】
【特許文献1】
特開昭64−34439号公報
【0006】
【特許文献2】
特開平9−329602号公報
【0007】
【特許文献3】
特開平11−56341号公報
【0008】
【特許文献4】
特開2001−232182号公報
【0009】
【発明が解決しようとする課題】
しかし、微小ノズルやピンを利用して滴下する方法では、針状ウイスカ等の球状以外の物質をノズルから排出することや精密に配向配置することは困難であった。
【0010】
また、接触型のマイクロハンドでは、ハンドと操作被対象物であるマイクロ構造物との間の表面間力などに起因する付着などにより、精密な操作が困難であり、かつマイクロハンドの操作には非常に熟練を必要とした。このため、非対称なマイクロ構造物の組立に必要な姿勢制御や自動操作には至っていない。
【0011】
また、光ピンセット法では、安定に捕捉可能な対象は、球状物質や焦点位置におけるレーザ光のスポットサイズに対して比較的大きな細胞に限定されており、レーザ光の放射圧により回転モーメントの発生するウイスカ等の非球状物質やマイクロ構造物を、その姿勢を考慮して操作することは困難であった。さらに、細胞や生体高分子などの操作に際しては、操作に用いるレーザ光の波長によっては、熱的損傷を与えるなどの問題があり、幅広い波長のレーザ光の利用が不可能であった。
【0012】
また、上記特許文献4に開示されているビームの放射圧を使用する方法では、微小粒子を保持し、配列させることは可能であるが、非対称な構造物の精密な姿勢制御を行うことは出来ない。
【0013】
以上のように、針状ウイスカ、複雑な形状のマイクロ構造物、糸状のDNAなど、球状以外のミクロンサイズの対象物を、精密かつ安定に3次元空間において位置、姿勢、形状を自動的に操作できる技術の開発が、上記分野における重要な課題となっていた。
【0014】
上記の課題を解決するために、本発明は、液体中又は気体中において、非接触で、熱的損傷や物理的損傷を与えることなく、非球状の形状を有する微小物質又は微小構造物の3次元空間中の位置、姿勢を安定、正確、且つ自動的に操作することができ、柔軟な微小物又は構造物の3次元的な形状や構造を自動的に変化させることができる微小物の姿勢制御装置及び姿勢制御方法を提供することを目的とする。
【0015】
【課題を解決するための手段】
本発明の目的は、以下の手段によって達成される。
【0016】
即ち、本発明に係る微小物の姿勢制御装置(1)は、少なくとも3個の微粒子が表面に取り付けられた微小物の3次元空間内での姿勢及び位置を変化させる微小物の姿勢制御装置であって、複数台のカメラと、少なくとも3本のビームを出力するビーム出力部と、入射する前記ビームの光路を変化させて出力する焦点移動部と、前記焦点移動部から出力される前記ビームを集束する集束部と、制御部と、操作部とを備え、前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、前記制御部が、複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の3次元位置座標を計算し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記3次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置を変化させることを特徴とする。
【0017】
また、本発明に係る微小物の姿勢制御装置(2)は、上記微小物の姿勢制御装置(1)において、前記制御部が、前記操作部から、前記微小物の姿勢変化情報及び/又は位置変化情報の入力を受け、前記姿勢変化情報及び/又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の3次元位置座標とを使用して、前記微粒子の移動先である目標位置の3次元座標を計算し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記目標位置の3次元座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させることを特徴とする。
【0018】
また、本発明に係る微小物の姿勢制御装置(3)は、上記微小物の姿勢制御装置(2)において、前記微小物が剛性物である場合、前記制御部が、複数枚の前記画像から計算した各々の前記微粒子の3次元位置座標の相対距離を保持するように、前記目標位置の3次元座標を計算することを特徴とする。
【0019】
また、本発明に係る微小物の姿勢制御装置(4)は、上記微小物の姿勢制御装置(1)〜(3)の何れかにおいて、各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、前記制御部が、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の3次元位置座標を計算することを特徴とする。
【0020】
また、本発明に係る微小物の姿勢制御装置(5)は、少なくとも2個の微粒子が表面に取り付けられ、柔軟性を有する微小物の形状を変化させる微小物の姿勢制御装置であって、複数台のカメラと、少なくとも2本のビームを出力するビーム出力部と、入射する前記ビームの光路を変化させて出力する焦点移動部と、前記焦点移動部から出力される前記ビームを集束する集束部と、制御部と、操作部とを備え、前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、前記制御部が、複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の3次元位置座標を計算し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記3次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置の間隔を変化させることを特徴とする。
【0021】
また、本発明に係る微小物の姿勢制御装置(6)は、上記微小物の姿勢制御装置(5)において、前記制御部が、前記操作部から、前記ビームの集束位置の間隔を変化させる変化情報の入力を受け、前記変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の3次元位置座標とを使用して、前記微粒子の移動先である目標位置の3次元座標を計算し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記目標位置の3次元座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させることを特徴とする。
【0022】
また、本発明に係る微小物の姿勢制御装置(7)は、上記微小物の姿勢制御装置(5)又は(6)において、各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、前記制御部が、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の3次元位置座標を計算することを特徴とする。
【0023】
また、本発明に係る微小物の姿勢制御方法(1)は、少なくとも3本のビームを生成する第1ステップと、球形であり、微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも3個の微粒子を複数台のカメラによって撮像する第2ステップと、複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の3次元位置座標を計算する第3ステップと、各々の前記ビームが対応する前記3次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第4ステップと、前記ビームの集束位置を変化させる第5ステップとを含むことを特徴とする。
【0024】
また、本発明に係る微小物の姿勢制御方法(2)は、上記微小物の姿勢制御方法(1)において、前記微小物の姿勢変化情報及び/又は位置変化情報の入力を受け付ける第6ステップと、前記姿勢変化情報及び/又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の3次元位置座標とを使用して、前記微粒子の移動先である目標位置の3次元座標を計算する第7ステップと、各々の前記ビームが対応する前記目標位置の3次元座標に集束するように、前記ビームの光路を変化させ、且つ集束する第8ステップとを含むことを特徴とする。
【0025】
また、本発明に係る微小物の姿勢制御方法(3)は、上記微小物の姿勢制御方法(2)において、前記微小物が剛性物である場合、前記第7ステップにおいて、複数枚の前記画像から計算した各々の前記微粒子の3次元位置座標の相対距離を保持するように、前記目標位置の3次元座標を計算することを特徴とする。
【0026】
また、本発明に係る微小物の姿勢制御方法(4)は、上記微小物の姿勢制御方法(1)〜(3)の何れかにおいて、各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、前記第3ステップにおいて、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の3次元位置座標を計算することを特徴とする。
【0027】
また、本発明に係る微小物の姿勢制御方法(5)は、少なくとも2本のビームを生成する第1ステップと、球形であり、柔軟性を有する微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも2個の微粒子を複数台のカメラによって撮像する第2ステップと、複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の3次元位置座標を計算する第3ステップと、各々の前記ビームが対応する前記3次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第4のステップと、前記ビームの集束位置の間隔を変化させる第5ステップとを含むことを特徴とする。
【0028】
また、本発明に係る微小物の姿勢制御方法(6)は、上記微小物の姿勢制御方法(5)において、前記ビームの集束位置の間隔を変化させる変化情報を受け付ける第5ステップと、前記変化状報情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の3次元位置座標とを使用して、前記微粒子の移動先である目標位置の3次元座標を計算する第6ステップと、各々の前記ビームが対応する前記目標位置の3次元座標に集束するように、前記ビームの光路を変化させ、且つ集束する第7ステップとを含むことを特徴とする。
【0029】
また、本発明に係る微小物の姿勢制御方法(7)は、上記微小物の姿勢制御方法(5)又は(6)において、各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、前記第3ステップにおいて、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の3次元位置座標を計算することを特徴とする。
【0030】
【発明の実施の形態】
以下、本発明の実施の形態を、添付した図面に基づいて説明する。即ち、3個の微粒子を表面に取り付けたマイクロ構造物(以下、微小物と記す)の3次元的姿勢を自動的に制御する微小物の姿勢制御装置及び制御方法について説明する。
【0031】
図1は、本発明の実施の形態に係る微小物の姿勢制御装置の概略構成を示すブロック図である。姿勢制御装置は、制御部5と、第1及び第2カメラ部4、4’と、光源7と、第1〜第3焦点移動機構12〜12”とを備えて構成されている。制御部5は、後述する制御及びデータ処理を行う処理部(以下、CPUと記す)20と、データを一時的に記憶するメモリ部21と、データを持続的に記録する記録部22と、操作部23と、制御インタフェース部24と、ビデオ部25と、制御部5内部でデータを交換するためのデータバス26と、表示部27とを備えている。第1〜第3焦点移動機構12〜12”は、制御インタフェース部24を介して、CPU20によって制御され、光源7から発せられたレーザ光を、顕微鏡(図示せず)試料面内に配置された微小物3に導いて、後述するように微小物3を捕捉する。図1では、光源7から微小物3に対して照射されるレーザ光の経路は省略している。また、第1及び第2カメラ4、4’からの映像信号は、ビデオ部25を介して表示部27に表示され、必要に応じて、ディジタルデータとしてフレーム毎に記録部22に記録される。
【0032】
図2は、レーザ光による微小物3の捕捉を模式的に示す斜視図である。図2では、微小物3の3個の頂点に、レーザ光に対して透明の球状の微粒子(以下、球状粒子と記す)2〜2”が取り付けられている。球状粒子2〜2”の材質は、所定の波長のレーザ光を透過し、微小物3が浮遊する周囲の媒質よりも高屈折率であり、例えば、ポリスチレンやホウ珪酸塩ガラスなどを使用することができる。微小物3に球状粒子2〜2”を取り付ける方法は、微小物3及び球状粒子2〜2”の材質に応じた紫外線硬化性の接着剤を使用するなど、既知の種々の方法を使用することが可能であるので、ここでは説明を省略する。光源7から、3本のレーザ光が生成され、各々のレーザ光は対応する第1〜第3焦点移動機構12〜12”を介して、微小物3に取り付けられた対応する球状粒子2〜2”に照射される。このとき、3本のレーザ光は、各々対応する球状粒子2〜2”に集束するように、第1〜第3焦点移動機構12〜12”によって光路が制御される。この高密度に集束されたレーザ光1〜1”によって光ピンセットの原理により、その焦点位置で球状粒子2〜2”が捕捉される。従って、図2に示したように微小物3を安定に保持することができる。このとき、レーザ光を集束すべき3個の球状粒子2〜2”の3次元位置は、異なる位置に配置された2つのカメラ部4、4’で、球状粒子2〜2”を撮影することによって得られる、2枚の視差を有する画像から、立体視の原理などに基づいて計算される。
【0033】
図3は、図1に示した姿勢制御装置における光学系構成の一実施の形態をより詳細に示すブロック図である。図1に示した光源7として、図3においては2つの光源7’、7”を使用している。
【0034】
光源7’からのレーザ光は、ビームエクスパンダ8によって径、即ちレーザ光の空間的広がりを変化され、半波長板9を通り、第1偏光ビームスプリッタ10、10’によって2方向のレーザ光に分解される。これら2本のレーザ光は、それぞれ電磁シャッタ11、11’を介し、ガルバノミラー対及び焦点位置変更レンズを装備して構成される第1焦点位置移動機構12及び第2焦点位置移動機構12’を経由し、第2偏光ビームスプリッタ13、13’によって各々の光路軸を揃えられ、リレーレンズ14によって落射照明光の軸と一致させて顕微鏡6内に導入される。
【0035】
上記した分解後の2本のレーザ光は、顕微鏡6の対物レンズ15によりその焦点位置で、微小物3に取り付けられた球状粒子2〜2”の直径よりも小さい波長限界程度、例えば1μm程度のスポットサイズまで高密度に集束される。さらに、球状粒子2〜2”は第1及び第2カメラ4、4’から得られる2枚の画像上で認識され、これらの画像を基に、各々の球状粒子2〜2”の位置が計算され、集束されたレーザ光の顕微鏡6内での焦点位置XYZが、対応する球状粒子2、2’の中心位置となるように第1及び第2焦点位置移動機構12、12’が制御される。この際、生成された2本のレーザ光は、光路中に配置された半波長板9、第1偏光ビームスプリッタ10、10’、及び第2偏光ビームスプリッタ13、13’によって、偏光方向が直交しており、干渉を起こすことはない。したがって、2本のビームの相対位置により強度分布が変化することはなく、各々のレーザ光によって安定して目的とする球状粒子2、2’を捕捉することができる。
【0036】
3個目の球状粒子2”を捕捉するためのビームは、上記したレーザ光との干渉を避けるために、上記の2本のビームと波長の異なるレーザ光を発生する光源7”を使用する。光源7”からのレーザ光も上記した2本のビームと同様に、ビームエクスパンダ8’によって径を変化され、電磁シャッタ11”を介した後に、焦点位置移動機構12”を経由して、ビームスプリッタ13”によって上記2本のビームと光路軸を揃えられ、リレーレンズ14を経由して顕微鏡6内に導入され、3個目の微粒子2”を捕捉する。
【0037】
次に、上記したように3本のレーザ光によって安定に保持された、剛性を有する、即ち形状が容易に変化しない微小物3の姿勢及び位置を制御する方法に関して説明する。図4は、本発明の実施の形態に係る姿勢制御方法を示すフローチャートである。以下において、CPU20は、処理に必要なデータを記録部22から読み出し、メモリ部21上で計算を行い、計算結果を必要に応じて記録部22に記録する。
【0038】
ステップS1において、CPU20は、操作部23からの指示を受けて、第1及び第2カメラ部4、4’からの画像データを、ビデオ部25を介して記録部22に取り込む。例えば、第1及び第2カメラ部4、4’から出力される映像データがアナログ信号である場合、第1及び第2カメラ部4、4’からの信号は、所定のタイミングでビデオ部25においてA/D変換された後、各々1フレーム分のディジタル画像データ(同時刻の2枚の画像データ)として記録部22に記録される。
【0039】
ステップS2において、CPU20は、取り込んだ2枚の画像データを、ビデオ部25を介して表示部27に表示し、操作部23によって、表示された2枚の画像の対応する点が指定されるのを待ち受ける。ここで、操作部23が操作されて、各々の画像上で、3個の球状粒子2〜2”に対応する3個の点(合計6個の点)が指定されると、CPU20は、第1及び第2カメラ部4、4’の3次元座標、及び指定された点の各々の画像上での座標を基に、3個の球状粒子2〜2”の3次元座標を計算する。
【0040】
ステップS3において、CPU20は、3本のレーザ光が、ステップS2で3次元座標を計算された3個の球状粒子2〜2”の各々に集束するように、制御インタフェース部24を介して、第1〜第3焦点移動機構12〜12”を制御し、レーザ光の照射を開始する。これによって、光ピンセットの原理で3個の球状粒子2〜2”が捕捉、すなわち、微小物3が安定に保持される。
【0041】
微小物3が保持された後、ステップS4において、CPU20は、微小物3の姿勢及び位置を変更する指示を待ち受ける。剛性物である微小物3の姿勢及び位置の変化は、微粒子の3次元位置を指定するのに使用した座標系における回転ベクトルR及び並進ベクトルVで記述できる。従って、回転ベクトルR及び並進ベクトルVが操作部23から指定され得るようにしておけばよい。これによって、3個の球状粒子2〜2”相互の間隔が保持される。CPU20は、入力されたベクトルR、ベクトルVを基に、球状粒子2〜2”の現在の3次元座標(Xsi,Ysi,Zsi)から、移動後の位置座標(Xei,Yei,Zei)(以下、目標位置座標と記す)を計算する。ここでi=1〜3であり、3個の球状粒子2〜2”に対応する。
【0042】
ステップS4で球状粒子2〜2”の目標位置座標が計算された後、ステップS5において、球状粒子2〜2”を目標位置にゆっくりと移動させるために、最初の微小移動に対応する微小位置変化量(ΔXi、ΔYi、ΔZi)を計算する。これは、球状粒子2〜2”を捕捉しているレーザ光の焦点位置の移動が速過ぎると、球状粒子2〜2”を安定に捕捉することができないからである。位置変化量(ΔXi、ΔYi、ΔZi)は、球状粒子2〜2”の現在の3次元座標(Xsi,Ysi,Zsi)と、微小回転ベクトルΔR及び微小並進ベクトルΔVとを基に計算する。ベクトルΔR及びΔVには、例えば、それぞれベクトルR及びVをN等分したものを使用すればよい。ここで、Nの値は捕捉用レーザ光の焦点の移動が速過ぎないように決定されることが望ましい。
【0043】
ステップS6において、CPU20は、第1〜第3焦点移動機構12〜12”を制御して、各レーザ光の集束位置を微小量だけ変化させて、各レーザ光を(Xsi+ΔXi、Ysi+ΔYi、Zsi+ΔZi)に集束させる。これによって、光ピンセットの原理によって、レーザ光の焦点位置の微小移動に応じて、球状粒子2〜2”も微小移動する。例えば、最終的に図5に示したように微小物3の位置と姿勢を変化させるために、即ち3本のレーザ光によって捕捉された球状粒子2〜2”を移動させるために、球状粒子2〜2”の最初の微小移動が行われる。
【0044】
ステップS7において、CPU20は、ステップS1と同様に第1及び第2カメラ4、4’から画像を取り込み、ステップS2で指定された点、即ち3個の球状粒子2〜2”の現在位置座標(Xi,Yi,Zi)(i=1〜3)を計算する。
【0045】
ステップS8において、CPU20は、各々の球状粒子2〜2”に関して、現在位置座標と(Xi,Yi,Zi)とステップS4で計算した目標座標(Xei,Yei,Zei)との差の絶対値|Xi−Xei|、|Yi−Yei|、|Zi−Zei|を計算し、各々の値が所定の値以下であるか否かを判断する。全ての差の絶対値が、所定の値以下であると判断した場合、ステップS10に移行する。少なくとも1つの差の絶対値が、所定の値以下で無いと判断した場合、ステップS9に移行する。
【0046】
ステップS9において、CPU20は、(Xi,Yi,Zi)を移動開始点として、ステップS5と同様に、微小位置変化量(ΔXi、ΔYi、ΔZi)を計算した後、ステップS6に移行する。
【0047】
ステップS8において、全ての差の絶対値が、所定の値以下であると判断されるまで、即ち、目標位置に全ての球状粒子2〜2”が到達したと判断されるまで、ステップS6〜S9の処理を繰り返す。これによって、図5に示したように、微小物3の姿勢及び位置を変更することができる。
【0048】
ステップS10において、CPU20は、停止の指示があったか否か判断し、停止の指示あったと判断した場合、レーザ光の焦点位置の移動を停止して、その位置と姿勢で微粒子を保持して一連の処理を終了し、停止の指示がなかったと判断した場合、微小物3を移動する指示を受け付けるためにステップS4に戻り、ステップS4〜S9の処理を繰り返す。
【0049】
以上において、ステップS4での微小物3の姿勢及び位置を変更する指示が、微粒子の3次元位置を指定するのに使用した座標系における回転ベクトルR及び並進ベクトルVによって指定される場合を説明したが、球状粒子2〜2”の移動後の位置(目標位置)を直接指定するようにしてもよい。その場合には、3個の球状粒子2〜2”相互の距離を保持する条件で、各々の球状粒子2〜2”の目標位置が指定され得るようにし、微小位置変化量(ΔXi、ΔYi、ΔZi)を計算することが必要となる。この場合にも、最初に回転ベクトルR及び並進移動ベクトルVを計算した後、微小位置変化量(ΔXi、ΔYi、ΔZi)を計算してもよい。
【0050】
また、微小物3の形状が柔軟に変化し得るものであれば、ステップS4における微小物3の姿勢及び位置を変更する指示は、各々の球状粒子2〜2”の目標位置を直接指定することによって行えばよい。この場合、球状粒子2〜2”の3次元座標(Xsi,Ysi,Zsi)と、指定された目標位置座標(Xei,Yei,Zei)とを使用して、球状粒子2〜2”を目標位置にゆるやかに移動するために必要となる微小位置変化量(ΔXi、ΔYi、ΔZi)を、例えば、移動開始点の座標(Xsi,Ysi,Zsi)と、目標位置座標(Xei,Yei,Zei)との差を所定数Nで除して計算すればよい。従って、3個の球状粒子2〜2”全てをレーザ光によって捕捉せずに、2個の球状粒子、例えば球状粒子2、2’のみを捕捉して、その間隔を変化させることによって、微小物3の形状を変化させることもできる。
【0051】
また、3個の球状粒子2〜2”及び3本のレーザ光を使用する場合を説明したが、4個以上の球状粒子又は4本以上のレーザ光を使用してもよい。特に、操作の途中において微小物3の回転などによって、一部の球状粒子をカメラで観測できなくなる場合や、レーザ光で捕捉できなくなる場合にも制御を可能とするには、少なくとも3個の球状粒子がカメラによって常に観測され、且つレーザ光で常に捕捉され得るように、4個以上の球状粒子を微小物3の表面の適切な位置に取り付けて、姿勢制御することが望ましい。
【0052】
また、球状粒子2〜2”の材質は、上記したポリスチレンやホウ珪酸塩ガラスに限定されず、所定の波長のレーザ光を透過し、所定の波長のレーザ光に対して周囲の媒質よりも高屈折率である材質であれば良い。
【0053】
また、上記では、最初に、人によって操作部23が操作されて球状粒子2〜2”の位置が指定される場合を説明したが、第1及び第2カメラ4、4’の画像上で識別可能な3個の球状粒子2〜2”を取り付けることによって、画像認識技術によって自動的に各々の球状粒子2〜2”を識別し、3次元座標を計算するようにしてもよい。識別手段としては、色素による着色、量子ドットやマイクロ加工によるコード化、さらには、粒子径の違いなどを使用すればよい。
【0054】
また、球状粒子2〜2”を捕捉し、操作するためのビームとして使用するレーザ光の波長は特に限定されず、光学レンズによって高密度に集束可能で、球状粒子2〜2”に照射された場合に、球状粒子2〜2”を透過し、その焦点位置に向かって捕捉力を発生する波長であればよい。
【0055】
また、球状粒子2〜2”を捕捉し、操作するためのビームは、レーザ光に限定されず、光学レンズ等の集束手段によって高密度に集束可能で、球状粒子2に照射された場合に、球状粒子2を透過し、その焦点位置に向かって捕捉力を発生するものであればよい。例えば、白色光でもよく、電磁気的な集束手段によって集束可能な荷電粒子(α粒子、電子、陽子、荷電素粒子など)を使用してもよい。
【0056】
また、捕捉用のビームには、捕捉された球状粒子2〜2”を微小移動させる時間間隔よりも十分に短い周期で1本のビームを時分割して複数本のビームを生成し、これを使用してもよい。
【0057】
また、微小物の姿勢や位置を各々3次元データとして指定するのではなく、球状粒子2〜2”の移動経路を指定した一連の時系列座標データや、微小物3の姿勢変化を関数として指定し、これらに基づいて微小物3の姿勢制御を自動的に行うようにしてもよい。
【0058】
さらに、本発明は上記した実施の形態の構成に限定されるものではなく、球状粒子を捕捉するためのビームの選択、光学系など、適宜設計変更し得るものである。
【0059】
【発明の効果】
本発明によれば、微小な3次元空間内に配置された非球状の微小物に対しても、その姿勢及び位置を、非接触で、精密且つ安定に自動操作することができ、この操作の際において微小物に熱的損傷や不安定な回転及び振動を発生させることがない。
【0060】
従って、本発明を用いれば、3次元の微小空間において位置と姿勢を指定した精密な運搬作業が可能となり、マイクロマシニング技術で製作される複雑な3次元構造を有するマイクロ構造物の自動組立が可能となる。
【0061】
また、針状のウイスカや糸状のDNAなど、多様な形状と性質を有する試薬や生体高分子のような非球状の物質を、複雑な経路に沿って姿勢を制御しつつ自動的に運搬できるので、新規な機能や感度の高いμ−TASの構築が可能となる。
【0062】
また操作はすべて非接触で行えるため、外乱物質や細菌の混入を防止できる閉鎖系環境での作業が可能であり、長期間の安定した環境下でのμ−TASやマイクロマシンの自動生産が可能となる。
【0063】
さらに、標識としての微粒子をマイクロハンドに取り付けることにより、ビームを駆動源とする遠隔操作によるマイクロハンドの6自由度駆動操作が可能となり、これによってより精密なマイクロ間接マニピュレーションを行うことも可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る微小物の姿勢制御装置の概略を示すブロック図である。
【図2】姿勢制御の対象である微小物がレーザ光によって捕捉された状態を模式的に示す斜視図である。
【図3】本発明の実施の形態に係る微小物の姿勢制御装置の光学系を示すブロック図である。
【図4】本発明の実施の形態に係る姿勢制御方法を示すフローチャートである。
【図5】対象物が姿勢制御される状態を示す斜視図である。
【符号の説明】
1 集束されたレーザ光
2、2’、2” 球状粒子
3 微小物
4、4’ 第1、第2カメラ部
5 制御部
6 顕微鏡
7、7’、7” レーザ光源
8、8’ ビームエクスパンダ
9 半波長板
10、10’ 第1偏光ビームスプリッタ
11、11’、11” 電磁シャッタ
12、12’、12” 第1〜第3焦点位置移動機構
13、13’、13” 第2偏光ビームスプリッタ
14 リレーレンズ
15 集束レンズ
16 試料面
20 処理部(CPU)
21 メモリ部
22 記録部
23 操作部
24 制御インタフェース部
25 ビデオ部
26 バス
27 表示部

Claims (14)

  1. 少なくとも3個の微粒子が表面に取り付けられた微小物の3次元空間内での姿勢及び位置を変化させる微小物の姿勢制御装置であって、
    複数台のカメラと、
    少なくとも3本のビームを出力するビーム出力部と、
    入射する前記ビームの光路を変化させて出力する焦点移動部と、
    前記焦点移動部から出力される前記ビームを集束する集束部と、
    制御部と、
    操作部とを備え、
    前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、
    前記制御部が、
    複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の3次元位置座標を計算し、
    前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記3次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、
    前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置を変化させることを特徴とする微小物の姿勢制御装置。
  2. 前記制御部が、
    前記操作部から、前記微小物の姿勢変化情報及び/又は位置変化情報の入力を受け、
    前記姿勢変化情報及び/又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の3次元位置座標とを使用して、前記微粒子の移動先である目標位置の3次元座標を計算し、
    前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記目標位置の3次元座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させることを特徴とする請求項1に記載の微小物の姿勢制御装置。
  3. 前記微小物が剛性物である場合、
    前記制御部が、複数枚の前記画像から計算した各々の前記微粒子の3次元位置座標の相対距離を保持するように、前記目標位置の3次元座標を計算することを特徴とする請求項2に記載の微小物の姿勢制御装置。
  4. 各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、
    前記制御部が、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の3次元位置座標を計算することを特徴とする請求項1〜3の何れかの項に記載の微小物の姿勢制御装置。
  5. 少なくとも2個の微粒子が表面に取り付けられ、柔軟性を有する微小物の形状を変化させる微小物の姿勢制御装置であって、
    複数台のカメラと、
    少なくとも2本のビームを出力するビーム出力部と、
    入射する前記ビームの光路を変化させて出力する焦点移動部と、
    前記焦点移動部から出力される前記ビームを集束する集束部と、
    制御部と、
    操作部とを備え、
    前記微粒子が、球形であり、前記ビームに対して周囲の媒体よりも高い屈折率を有し、前記ビームを屈折透過し、
    前記制御部が、
    複数台の前記カメラによって得られる前記微粒子の複数枚の画像から、前記微粒子の3次元位置座標を計算し、
    前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記3次元位置座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させ、
    前記操作部からの指示を受け、前記焦点移動部を制御して、前記ビームの集束位置の間隔を変化させることを特徴とする微小物の姿勢制御装置。
  6. 前記制御部が、
    前記操作部から、前記ビームの集束位置の間隔を変化させる変化情報の入力を受け、
    前記変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の3次元位置座標とを使用して、前記微粒子の移動先である目標位置の3次元座標を計算し、
    前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって対応する前記目標位置の3次元座標に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させることを特徴とする請求項5に記載の微小物の姿勢制御装置。
  7. 各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、
    前記制御部が、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の3次元位置座標を計算することを特徴とする請求項5又は6に記載の微小物の姿勢制御装置。
  8. 少なくとも3本のビームを生成する第1ステップと、
    球形であり、微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも3個の微粒子を複数台のカメラによって撮像する第2ステップと、
    複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の3次元位置座標を計算する第3ステップと、
    各々の前記ビームが対応する前記3次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第4ステップと、
    前記ビームの集束位置を変化させる第5ステップとを含むことを特徴とする微小物の姿勢制御方法。
  9. 前記微小物の姿勢変化情報及び/又は位置変化情報の入力を受け付ける第6ステップと、
    前記姿勢変化情報及び/又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の3次元位置座標とを使用して、前記微粒子の移動先である目標位置の3次元座標を計算する第7ステップと、
    各々の前記ビームが対応する前記目標位置の3次元座標に集束するように、前記ビームの光路を変化させ、且つ集束する第8ステップとを含むことを特徴とする請求項8に記載の微小物の姿勢制御方法。
  10. 前記微小物が剛性物である場合、
    前記第7ステップにおいて、複数枚の前記画像から計算した各々の前記微粒子の3次元位置座標の相対距離を保持するように、前記目標位置の3次元座標を計算することを特徴とする請求項9に記載の微小物の姿勢制御方法。
  11. 各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、
    前記第3ステップにおいて、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の3次元位置座標を計算することを特徴とする請求項8〜10の何れかの項に記載の微小物の姿勢制御方法。
  12. 少なくとも2本のビームを生成する第1ステップと、
    球形であり、柔軟性を有する微小物の表面に取り付けられ、周囲の媒体よりも高屈折率で前記ビームを透過させる、少なくとも2個の微粒子を複数台のカメラによって撮像する第2ステップと、
    複数台の前記カメラによって撮像される複数枚の画像から、前記微粒子の3次元位置座標を計算する第3ステップと、
    各々の前記ビームが対応する前記3次元位置座標に集束するように、前記ビームの光路を変化させ、且つ集束させる第4をステップと、
    前記ビームの集束位置の間隔を変化させる第5ステップとを含むことを特徴とする微小物の姿勢制御方法。
  13. 前記ビームの集束位置の間隔を変化させる変化情報を受け付ける第5ステップと、
    前記変化状報情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記微粒子の3次元位置座標とを使用して、前記微粒子の移動先である目標位置の3次元座標を計算する第6ステップと、
    各々の前記ビームが対応する前記目標位置の3次元座標に集束するように、前記ビームの光路を変化させ、且つ集束する第7ステップとを含むことを特徴とする請求項12に記載の微小物の姿勢制御方法。
  14. 各々の前記微粒子が、前記カメラによって相互に識別可能な特徴を有し、
    前記第3ステップにおいて、複数台の前記カメラによって得られる複数枚の画像を、視差を有する画像として画像処理して前記微粒子を認識し、前記微粒子の3次元位置座標を計算することを特徴とする請求項12又は13に記載の微小物の姿勢制御方法。
JP2003024036A 2003-01-31 2003-01-31 微小物の姿勢制御装置及び姿勢制御方法 Expired - Lifetime JP3887684B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003024036A JP3887684B2 (ja) 2003-01-31 2003-01-31 微小物の姿勢制御装置及び姿勢制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003024036A JP3887684B2 (ja) 2003-01-31 2003-01-31 微小物の姿勢制御装置及び姿勢制御方法

Publications (2)

Publication Number Publication Date
JP2004230528A true JP2004230528A (ja) 2004-08-19
JP3887684B2 JP3887684B2 (ja) 2007-02-28

Family

ID=32952678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003024036A Expired - Lifetime JP3887684B2 (ja) 2003-01-31 2003-01-31 微小物の姿勢制御装置及び姿勢制御方法

Country Status (1)

Country Link
JP (1) JP3887684B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509821A (ja) * 2004-07-23 2008-04-03 ザ サイエンス アンド テクノロジー ファシリティーズ カウンシル 光制御可能なデバイス
JP2009294008A (ja) * 2008-06-04 2009-12-17 Japan Science & Technology Agency 微小物体操作・計測用の局所蛍光標識マイクロデバイス
JP2017078832A (ja) * 2015-10-22 2017-04-27 株式会社ジェイテクト 微粒子捕捉方法及び光ピンセット装置
JP2017121673A (ja) * 2016-01-05 2017-07-13 株式会社ニコン 加工装置及び加工方法、デバイス製造方法、並びに、コンピュータプログラム
CN111867214A (zh) * 2020-07-28 2020-10-30 广东艾罗照明科技股份有限公司 一种灯光照射角度控制系统、方法及装置
CN113400319A (zh) * 2021-02-08 2021-09-17 华南理工大学 一种自校准的液滴机械手结构及微操作方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509821A (ja) * 2004-07-23 2008-04-03 ザ サイエンス アンド テクノロジー ファシリティーズ カウンシル 光制御可能なデバイス
JP2009294008A (ja) * 2008-06-04 2009-12-17 Japan Science & Technology Agency 微小物体操作・計測用の局所蛍光標識マイクロデバイス
JP2017078832A (ja) * 2015-10-22 2017-04-27 株式会社ジェイテクト 微粒子捕捉方法及び光ピンセット装置
JP2017121673A (ja) * 2016-01-05 2017-07-13 株式会社ニコン 加工装置及び加工方法、デバイス製造方法、並びに、コンピュータプログラム
CN111867214A (zh) * 2020-07-28 2020-10-30 广东艾罗照明科技股份有限公司 一种灯光照射角度控制系统、方法及装置
CN113400319A (zh) * 2021-02-08 2021-09-17 华南理工大学 一种自校准的液滴机械手结构及微操作方法
CN113400319B (zh) * 2021-02-08 2024-05-07 华南理工大学 一种自校准的液滴机械手结构及微操作方法

Also Published As

Publication number Publication date
JP3887684B2 (ja) 2007-02-28

Similar Documents

Publication Publication Date Title
CA2601739C (en) Optical manipulation system using a plurality of optical traps
Cho Optomechatronics: Fusion of optical and mechatronic engineering
WO1989001603A1 (en) Scanning type tunnel microscope
US11300771B2 (en) Method for operating a microscopy arrangement and microscopy arrangement having a first microscope and at least one further microscope
JP7150868B2 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
CN101218483B (zh) 三维位置观测方法和装置
JP3887684B2 (ja) 微小物の姿勢制御装置及び姿勢制御方法
JP2017078832A (ja) 微粒子捕捉方法及び光ピンセット装置
Tanikawa et al. Development of vision system for two-fingered micro manipulation
JP2016218282A (ja) 微粒子配列の作成および配向制御方法
Alzarok et al. 3D visual tracking of an articulated robot in precision automated tasks
Buican et al. Optical trapping, cell manipulation, and robotics
Ikuta et al. Optical driven master-slave controllable nano-manipulator with real-time force sensing
JP2023000013A (ja) 三次元検出顕微鏡システム
CN109075099A (zh) 用于照明光束未对准的补偿的系统及方法
Amari et al. Robust laser beam tracking control using micro/nano dual-stage manipulators
Amari et al. Motion of a micro/nanomanipulator using a laser beam tracking system
JP5516928B2 (ja) 微粒子アレイの作成方法および装置
Dagalakis et al. Micro-mirror array control of optical tweezer trapping beams
JP2004243434A (ja) 微小棒状物の姿勢制御装置及び姿勢制御方法
US11961626B2 (en) Fiber optical tweezers
Estaña et al. Exploring the micro‐and nanoworld with cubic centimetre‐sized autonomous microrobots
JP2020091154A (ja) 距離測定装置
JP4006519B2 (ja) 微粒子の標識化装置及び標識化方法
Ni Asynchronous event based vision: algorithms and applications to microrobotics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061025

R150 Certificate of patent or registration of utility model

Ref document number: 3887684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term