JP2004243434A

JP2004243434A - Micro-stick position control device and micro-stick position control method

Info

Publication number: JP2004243434A
Application number: JP2003033827A
Authority: JP
Inventors: Yoshio Tanaka; 芳夫田中; Akitsugu Murakami; 昭継村上
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2003-02-12
Filing date: 2003-02-12
Publication date: 2004-09-02

Abstract

<P>PROBLEM TO BE SOLVED: To provide a micro-stick position control device which automatically controls the location and position of a micro-stick in a manner being out of contact therewith without being influenced by the optical properties of the object, and also to provide a micro-stick position control method. <P>SOLUTION: The device is provided with cameras (4, 4'), a beam output section (7), a focus shifting section (12) for changing an optical path of beams, a converging section for converging the beams via the focus shifting section (12), and a control section (5). The micro-stick (3) has a refractive index higher than that of a medium on the periphery thereof. The control section (5) extracts a skeletal line of the micro-stick (3) from an image of the same obtained by the cameras (4, 4') as a scanning track, and controls the focus shifting section (12) such that the beams passing through the focus shifting section (12) are converged to the scanning track by the converging section and that a focus reciprocatively scans the scanning track to change the optical path of the beams, to thereby grasp the micro-stick (3). Further, the control section controls the focus shifting section (12) to change the focus of the beams to a designated location. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、微小棒状物の姿勢制御装置及び姿勢制御方法に関し、特に、化学分析、医療、環境計測等の諸分野において有用な機能を有するウイスカやナノワイヤ等の棒状材料物質、マイクロマシンにおける棒状マイクロ構造物など、微小な棒状の対象物の３次元空間における位置及び姿勢を、非接触で精密に自動操作することができる微小棒状物の姿勢制御装置及び姿勢制御方法に関するものである。
【０００２】
【従来の技術】
近年、ナノチューブやナノワイヤなどのアスペクト比の高い、即ち細長い形状の新規な材料物質が開発され、その極微細かつ特異な構造を応用した技術の開発が活発に行われている。また、従来から、アスペクト比の高い材料としては、針状のウイスカなどが知られている。これら、ナノメートルサイズの機能性材料を極微量だけ利用し、マイクロメートルサイズの分析装置上に配置することによって、超小型の高機能な分析装置等を開発するナノ・オン・マイクロ（ＮａｎｏｏｎＭｉｃｒｏ）の概念が提案されるに至っている。
【０００３】
マイクロメートルサイズのマイクロ構造物の組立は、接触型のマイクロハンドを使用して行うことが検討されている。また、レーザ光を使用する光ピンセット法によってマイクロメートルサイズの微粒子を非接触で操作できることや（下記特許文献１参照）、レーザ光を高速走査するレーザ走査マニピュレーション法を使用すれば、単一のレーザ光を使用して、高屈折率の球状微粒子を接続して作製したような微小構造物を、レーザ光の光軸に対して長手方向が直交する姿勢で安定に捕捉できることが知られている（下記非特許文献１参照）。
【０００４】
【特許文献１】
特開昭６４−３４４３９号公報
【０００５】
【非特許文献１】
三輪昌史、外２名，「微小構造物のレーザー走査マニピュレーションによる保持」，電学論Ｅ，１２０巻７号，平成１２年，ｐｐ．３４５−３４９
【０００６】
【発明が解決しようとする課題】
しかし、ナノチューブやナノワイヤに関しては、未だそれらを大量に製造する技術を開発する段階であり、ナノ・オン・マイクロの装置を開発するために必要となる、これら単一の材料を容易に操作する技術、例えば、ナノチューブやウイスカなどの先端部のみを特定の位置に固定するための操作技術や、配向を制御してこれらの極微量の材料を精密塗布する技術などを開発できる段階には至っていない。このため、これら材料の電気的特性や機械的強度などの物性を測定するためには、原子間力顕微鏡などの高価な設備を使用しているのが現状である。
【０００７】
また、接触型のマイクロハンドを使用する場合、マイクロハンドと操作被対象物であるマイクロ構造物との間の表面間力などに起因する付着などにより、精密な操作が困難であり、マイクロハンドの操作には非常な熟練を必要とした。このため、球形でないマイクロ構造物の組立に必要な姿勢操作や自動操作は実現されていない。
【０００８】
また、光ピンセット法によって安定に捕捉可能な対象物は、球状物質や焦点位置におけるレーザ光のスポットサイズに対して比較的大きな細胞に限定されており、レーザ光の放射圧により回転モーメントが発生するマイクロ構造物やウイスカ等の棒状物質を安定して操作することはできなかった。
【０００９】
また、レーザ走査マニピュレーション法では、ウイスカ等の棒状物質や、金属又は低屈折率の材料で作られた微小棒状物について、３次元空間において任意の姿勢で捕捉し、姿勢制御を行うことはできなかった。
【００１０】
以上のように、表面間力や材料の光学的性質に影響されることなく、微小棒状物を３次元空間において、任意の姿勢で捕捉し、その姿勢を制御する技術の開発が上記分野における重要な課題の１つとなっていた。
【００１１】
上記の課題を解決するために、本発明は、媒質（液体又は気体）中において、対象物の光学的性質に影響されることなく、非接触で、微小な棒状の形状を有する物質（以下、微小棒状物と記す）の３次元空間中の位置及び姿勢を、安定、正確、且つ自動的に操作することができる微小棒状物の姿勢制御装置及び姿勢制御方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の目的は、以下の手段によって達成される。
【００１３】
即ち、本発明に係る微小棒状物の姿勢制御装置（１）は、微小棒状物の３次元空間内での姿勢及び位置を変化させる微小棒状物の姿勢制御装置であって、複数台のカメラと、ビームを出力するビーム出力部と、入射する前記ビームの光路を変化させて出力する焦点移動部と、前記焦点移動部から出力される前記ビームを集束する集束部と、制御部と、操作部とを備え、前記微小棒状物が、前記ビームに対して周囲の媒質よりも高い屈折率を有し、前記ビームを屈折透過し、前記制御部が、複数台の前記カメラによって得られる前記微小棒状物の複数枚の画像から、前記微小棒状物の骨格ラインを抽出して走査軌道とし、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが前記集束部によって前記走査軌道上に集束され、該集束した焦点位置が前記走査軌道上を往復走査するように、前記焦点移動部に入射する前記ビームの光路を変化させて、前記微小棒状物を捕捉し、前記操作部からの指示を受け、前記焦点移動部を制御して前記走査軌道を変化させることを特徴としている。
【００１４】
また、本発明に係る微小棒状物の姿勢制御装置（２）は、上記微小棒状物の姿勢制御装置（１）において、前記制御部が、前記操作部から、前記微小棒状物の姿勢変化情報及び／又は位置変化情報の入力を受け、前記姿勢変化情報及び／又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記走査軌道の３次元位置とを使用して、前記走査軌道の移動先である目標軌道の３次元位置を決定し、前記焦点移動部を制御して、前記焦点移動部から出力される前記ビームが、前記集束部によって前記目標軌道上に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させることを特徴としている。
【００１５】
また、本発明に係る微小棒状物の姿勢制御装置（３）は、姿微小棒状物の３次元空間内での姿勢及び位置を変化させる微小棒状物の姿勢制御装置であって、複数台のカメラと、２本のビームを出力するビーム出力部と、入射する２本の前記ビームの光路を変化させて出力する焦点移動部と、前記焦点移動部から出力される２本の前記ビームを集束する集束部と、制御部と、操作部とを備え、前記微小棒状物が、前記ビームに対して非透過性若しくは周囲の媒質よりも低い屈折率を有し、前記制御部が、複数台の前記カメラによって得られる前記微小棒状物の複数枚の画像から、前記微小棒状物の長手方向に沿って、前記微小棒状物を挟んで位置する２本の走査軌道を決定し、前記焦点移動部を制御して、２本の前記ビームの各々が前記集束部によって対応する２本の前記走査軌道上に集束され、集束されたこれら焦点位置が同期して各々の前記走査軌道上を走査するように、前記焦点移動部に入射する２本の前記ビームの光路を変化させてビームの空洞を形成し、前記微小棒状物を前記空洞内に捕捉し、前記操作部からの指示を受け、前記焦点移動部を制御して２本の前記走査軌道を変化させることを特徴としている。
【００１６】
また、本発明に係る微小棒状物の姿勢制御装置（４）は、上記微小棒状物の姿勢制御装置（３）において、前記制御部が、前記操作部から、前記微小棒状物の姿勢変化情報及び／又は位置変化情報の入力を受け、前記姿勢変化情報及び／又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される２本の前記走査軌道の３次元位置とを使用して、各々の前記走査軌道に対する移動先の目標軌道の３次元位置を決定し、前記焦点移動部を制御して、前記焦点移動部から出力される２本の前記ビームの各々が、前記集束部によって対応する前記目標軌道上に集束されるように、前記焦点移動部に入射する前記ビームの光路を変化させることを特徴としている。
【００１７】
また、本発明に係る微小棒状物の姿勢制御方法（１）は、ビームを生成する第１ステップと、周囲の媒質よりも高屈折率を有し、前記ビームを透過する微小棒状物を複数台のカメラによって撮像する第２ステップと、複数台の前記カメラによって撮像される複数枚の画像から、前記微小棒状物の骨格ラインを抽出して走査軌道とする第３ステップと、前記ビームが前記走査軌道上に集束し、該集束した焦点位置が前記走査軌道上を往復走査するように、前記ビームの光路を変化させる第４ステップと、前記走査軌道を変化させる第５ステップとを含むことを特徴としている。
【００１８】
また、本発明に係る微小棒状物の姿勢制御方法（２）は、上記微小棒状物の姿勢制御方法（１）において、前記微小棒状物の姿勢変化情報及び／又は位置変化情報の入力を受け付ける第６ステップと、前記姿勢変化情報及び／又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される前記走査軌道の３次元位置とを使用して、前記走査軌道の移動先である目標軌道の３次元位置を決定する第７ステップと、前記ビームが前記目標軌道上に集束するように、前記ビームの光路を変化させる第８ステップとを含むことを特徴としている。
【００１９】
また、本発明に係る微小棒状物の姿勢制御方法（３）は、２本のビームを生成する第１ステップと、前記ビームに対して非透過性若しくは周囲の媒質よりも低い屈折率を有する微小棒状物を複数台のカメラによって撮像する第２ステップと、複数台の前記カメラによって撮像される複数枚の画像から、前記微小棒状物の長手方向に沿って、前記微小棒状物を挟んで位置する２本の走査軌道を決定する第３ステップと、２本の前記ビームの各々が対応する２本の前記走査軌道上に集束され、集束されたこれら焦点位置が同期して各々の前記走査軌道上を走査するように、前記ビームの光路を変化させる第４ステップと、２本の前記走査軌道を変化させる第５ステップとを含むことを特徴としている。
【００２０】
また、本発明に係る微小棒状物の姿勢制御方法（４）は、上記微小棒状物の姿勢制御方法（３）において、前記微小物の姿勢変化情報及び／又は位置変化情報の入力を受け付ける第６ステップと、前記姿勢変化情報及び／又は位置変化情報と、複数台の前記カメラによって得られる複数枚の画像から計算される２本の前記走査軌道の３次元位置とを使用して、各々の前記走査軌道に対応する移動先の目標軌道の３次元位置を計算する第７ステップと、２本の前記ビームの各々が対応する前記目標軌道上に集束するように、前記ビームの光路を変化させる第８ステップとを含むことを特徴としている。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を、添付した図面に基づいて説明する。即ち、微小棒状物の空間的な３次元姿勢及び位置を自動制御する微小棒状物の姿勢制御装置及び制御方法について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る微小棒状物の姿勢制御装置の概略構成を示すブロック図である。姿勢制御装置は、制御部５と、第１及び第２カメラ部４、４’と、光源７と、第１焦点移動機構１２とを備えて構成されている。制御部５は、後述する制御及びデータ処理を行う処理部（以下、ＣＰＵと記す）２０と、データを一時的に記憶するメモリ部２１と、データを持続的に記録する記録部２２と、操作部２３と、制御インタフェース部２４と、ビデオ部２５と、制御部５内部でデータを交換するためのデータバス２６と、表示部２７とを備えている。第１焦点移動機構１２は、制御インタフェース部２４を介して、ＣＰＵ２０によって制御され、光源７から発せられたレーザ光を、顕微鏡（図示せず）試料面内に配置された微小棒状物３に導いて、後述するように微小棒状物３を捕捉する。図１では、光源７から微小棒状物３に対して照射されるレーザ光の経路は省略している。また、第１及び第２カメラ部４、４’からの映像信号は、ビデオ部２５を介して表示部２７に表示され、必要に応じて、ディジタルデータとしてフレーム毎に記録部２２に記録される。
【００２２】
図２は、レーザ光１による微小棒状物３の捕捉および姿勢変更を模式的に示す斜視図である。ここで、微小棒状物３の材質は、照射されるレーザ光１を透過し、微小棒状物３が浮遊する周囲の媒質よりも高屈折率である。図１に示した光源７から射出されたレーザ光１は、微小棒状物３内に集束し、図２に示したように、微小棒状物３内部をその長手方向の骨格に沿って軌道２上を往復走査するように、第１焦点移動機構１２によって光路が制御される。図２において、レーザ光１が軌道２の両端に位置する状態を破線で表わしている。この高密度に集束されたレーザ光１によってレーザ走査マニピュレーションの原理により、図２に示したように微小棒状物３を安定に捕捉することができる。このとき、レーザ光１を往復走査すべき骨格の３次元位置は、異なる位置に配置された２つのカメラ部４、４’で、微小棒状物３を撮影することによって得られる２枚の視差を有する画像から、立体視の原理に基づいて計算される。
【００２３】
図３は、図１に示した姿勢制御装置における光学系構成の一実施の形態をより詳細に示すブロック図である。光源７からのレーザ光１は、ビームエクスパンダ８によって径、即ちレーザ光１の空間的広がりを変化され、電磁シャッタ１１を介し、ガルバノミラー対及び焦点位置変更レンズを装備して構成される第１焦点位置移動機構１２を経由し、リレーレンズ１４によって落射照明光の軸と一致させて顕微鏡６内に導入される。
【００２４】
上記したレーザ光１は、顕微鏡６の対物レンズ１５によりその焦点位置で、微小棒状物３の断面の大きさよりも小さい波長限界程度、例えば１μｍ程度のスポットサイズまで高密度に集束される。さらに、微小棒状物３は第１及び第２カメラ部４、４’から得られる２枚の画像上で認識され、これらの画像を基に、微小棒状物３の骨格の位置が計算され、集束されたレーザ光１の顕微鏡６内での焦点座標が骨格上に位置するように、第１焦点位置移動機構１２が制御される。
【００２５】
次に、上記したようにレーザ光１によって安定に捕捉された微小棒状物３の姿勢及び位置を制御する方法に関して説明する。図４は、本発明の実施の形態に係る姿勢制御方法を示すフローチャートである。以下において、ＣＰＵ２０は、処理に必要なデータを記録部２２から読み出し、メモリ部２１上で計算を行い、計算結果を必要に応じて記録部２２に記録する。
【００２６】
ステップＳ１において、ＣＰＵ２０は、操作部２３からの指示を受けて、第１及び第２カメラ部４、４’からの画像データを、ビデオ部２５を介して記録部２２に取り込む。例えば、第１及び第２カメラ部４、４’から出力される映像データがアナログ信号である場合、第１及び第２カメラ部４、４’からの信号は、所定のタイミングでビデオ部２５においてＡ／Ｄ変換された後、各々１フレーム分のディジタル画像データ（同時刻の２枚の画像データ）として記録部２２に記録される。
【００２７】
ステップＳ２において、ＣＰＵ２０は、取り込んだ２枚の画像データの各々について画像処理を行い、微小棒状物３のエッジを検出する。エッジ検出するための画像処理には、微分法、Ｓｏｂｅｌ法、Ｒｏｂｅｒｔｓ法、ラプラシアン法（Ｌａｐｌａｃｉａｎ）などの各種の方法が既知であるので、ここでは説明を省略する。これらのエッジ検出方法、若しくはこれらと他の処理とを組み合わせたエッジ検出方法の何れの方法を使用してもよい。
【００２８】
ステップＳ３において、ＣＰＵ２０は、ステップＳ２でエッジ検出された２枚の画像の各々に対して骨格を袖出する画像処理を行う。例えば、微小棒状物３が円柱状の場合、検出されるエッジ画像は図５に示したような画像になる。ＣＰＵ２０は、２次元画像上に点Ｏを原点とする直交座標軸Ｘ、Ｙを設定し、最外周に位置する頂点Ａ〜Ｄの４点の相互距離を計算し、微小棒状物３の長手方向（図５ではＡＤ方向又はＢＣ方向）を判断する。次に、ＣＰＵ２０は、近接する２点Ａ及びＢ、２点Ｃ及びＤの各々の中点Ｇ１、Ｇ２（図５においてｎ＝１）の座標を計算する。これらの２点Ｇ１、Ｇ２を結ぶ線分が、２次元画像上での微小棒状物３の骨格ラインとなる。このように、視差を有する２枚の画像の各々を処理し、各画像に対して骨格ラインの両端を表わす２点、合計４点の座標を計算する。
【００２９】
エッジ検出された微小棒状物３の長手方向のエッジラインが直線でない場合、近接する２点、例えば点Ａ、Ｂから、長手方向にあり各々に対応する２点Ｄ、Ｃとの間のエッジラインをｎ等分して点Ｅｉ（ＸＥｉ，ＹＥｉ）、Ｆｉ（ＸＦｉ，ＹＦｉ）（ｉ＝１〜ｎ＋１）を決め、２点Ｅｉ、Ｆｉの中点Ｇｉ（ｉ＝１〜ｎ＋１）を求めて、各々の中点Ｇｉ（ｉ＝１〜ｎ＋１）を通るラインを骨格ラインとすればよい（図５参照）。ここで、点Ａ、Ｂを各々点Ｅ１、Ｆ１とし、点Ｄ、Ｃを各々点Ｅｎ＋１、Ｆｎ＋１とする。
【００３０】
ステップＳ４において、ステップＳ３で骨格ラインが検出された２枚の画像を視差画像として、第１及び第２カメラ部４、４’の位置座標を考慮して立体画像処理を行い、骨格ライン上のＧｉ（ｉ＝１〜ｎ＋１）の３次元座標を計算する。
【００３１】
ステップＳ５において、ＣＰＵ２０は、ステップＳ４で３次元座標を計算された点Ｇｉ（ｉ＝１〜ｎ＋１）を結ぶ骨格ライン上にレーザ光１が集束し、骨格ライン上を高速に往復走査するように、制御インタフェース部２４を介して、第１焦点移動機構１２を制御し、レーザ光１の照射を開始する。このとき、レーザ光１は、走査軌道である骨格ラインの両端の点Ｇ１、Ｇｎ＋１の少し手前で走査方向を反転されてもよく、また、少し超えた点で走査方向を反転されてもよい。これによって、上記したようにレーザ走査マニピュレーションの原理で微小棒状物３が安定に捕捉される。
【００３２】
微小棒状物３が捕捉された後、ステップＳ６において、ＣＰＵ２０は、微小棒状物３の姿勢及び位置を変更する指示が、操作部２３を介して指定されるのを待ち受ける。微小棒状物３の姿勢及び位置の変化は、ステップＳ５で微小棒状物３の骨格ラインの３次元位置を指定するのに使用した座標系における回転ベクトルＲ及び並進ベクトルＶで記述できる。従って、回転ベクトルＲ及び並進ベクトルＶが操作部２３から指定され得るようにしておけばよい。これによって、骨格ラインを画定する各点Ｇｉ（ｉ＝１〜ｎ＋１）の相互の間隔が保持される。ＣＰＵ２０は、入力されたベクトルＲ、ベクトルＶを基に、骨格ライン上の各点Ｇｉ（ｉ＝１〜ｎ＋１）の３次元座標（Ｘｓｉ，Ｙｓｉ，Ｚｓｉ）から、移動後の位置座標（Ｘｅｉ，Ｙｅｉ，Ｚｅｉ）（以下、目標位置座標と記す）を計算する。
【００３３】
ステップＳ６で骨格ライン上の各点Ｇｉ（ｉ＝１〜ｎ＋１）の目標位置座標が計算された後、ステップＳ７において、骨格ライン上の各点Ｇｉ（ｉ＝１〜ｎ＋１）を目標位置にゆっくりと移動させるために、最初の微小移動に対応する微小位置変化量（ΔＸｉ、ΔＹｉ、ΔＺｉ）を計算する。これは、微小棒状物３を捕捉しているレーザ光１の走査軌道の変化が速過ぎると、微小棒状物３を安定に捕捉することができないからである。位置変化量（ΔＸｉ、ΔＹｉ、ΔＺｉ）は、骨格ライン上の各点Ｇｉ（ｉ＝１〜ｎ＋１）の現在の３次元座標（Ｘｓｉ，Ｙｓｉ，Ｚｓｉ）と、微小回転ベクトルΔＲ及び微小並進ベクトルΔＶとを基に計算する。ベクトルΔＲ及びΔＶには、例えば、それぞれベクトルＲ及びＶをＮ等分したものを使用すればよい。ここで、Ｎの値はレーザ光１の焦点の移動が速過ぎないように決定されることが望ましい。
【００３４】
ステップＳ８において、ＣＰＵ２０は、第１焦点移動機構１２を制御して、レーザ光１の集束位置を微小量だけ変化させて、ｎ＋１個の点（Ｘｓｉ＋ΔＸｉ、Ｙｓｉ＋ΔＹｉ、Ｚｓｉ＋ΔＺｉ）（ｉ＝１〜ｎ＋１）を結ぶ軌道上でレーザ光１を高速に走査させる。これによって、微小棒状物３は、レーザ走査マニピュレーションの原理によって捕捉された状態を維持して、レーザ光１の焦点位置の微小移動に応じて微小移動する。
【００３５】
ステップＳ９において、ＣＰＵ２０は、ステップＳ１〜Ｓ４と同様に第１及び第２カメラ部４、４’から画像を取り込み、ステップＳ４で決定された骨格ラインを画定する点、即ち点Ｇｉ（ｉ＝１〜ｎ＋１）の現在位置座標（Ｘｉ，Ｙｉ，Ｚｉ）を計算する。
【００３６】
ステップＳ１０において、ＣＰＵ２０は、両端の２点Ｇ１及びＧｎ＋１に関して、現在位置座標と（Ｘｉ，Ｙｉ，Ｚｉ）（ｉ＝１又はｎ＋１）とステップＳ６で計算した目標座標（Ｘｅｉ，Ｙｅｉ，Ｚｅｉ）との差の絶対値｜Ｘｉ−Ｘｅｉ｜、｜Ｙｉ−Ｙｅｉ｜、｜Ｚｉ−Ｚｅｉ｜を計算し、各々の値が所定の値以下であるか否かを判断する。全ての差の絶対値が、所定の値以下であると判断した場合、ステップＳ１２に移行する。少なくとも１つの差の絶対値が、所定の値以下で無いと判断した場合、ステップＳ１１に移行する。
【００３７】
ステップＳ１１において、ＣＰＵ２０は、（Ｘｉ，Ｙｉ，Ｚｉ）（ｉ＝１〜ｎ＋１）を移動開始点として、ステップＳ７と同様に、微小位置変化量（ΔＸｉ、ΔＹｉ、ΔＺｉ）を計算した後、ステップＳ８に移行する。
【００３８】
ステップＳ１０において、全ての差の絶対値が、所定の値以下であると判断されるまで、即ち、目標位置に２点Ｇ１及びＧｎ＋１が到達したと判断されるまで、ステップＳ８〜Ｓ１１の処理を繰り返す。これによって、図２に示したように、微小棒状物３の姿勢及び位置を、走査軌道２から走査軌道２’の方向に変化させることができる。
【００３９】
ステップＳ１２において、ＣＰＵ２０は、停止の指示があったか否か判断し、停止の指示あったと判断した場合、レーザ光１の走査軌道の移動を停止して、その位置と姿勢で微小棒状物３を捕捉して一連の処理を終了し、停止の指示がなかったと判断した場合、微小棒状物３を移動する指示を受け付けるためにステップＳ６に戻り、ステップＳ６〜Ｓ１１の処理を繰り返す。
【００４０】
以上において説明した微小棒状物３の骨格ラインの検出方法は一例であり、上記した方法、処理順序に限定されず、公知の種々の方法を使用すればよい。
【００４１】
また、ステップＳ６での微小棒状物３の姿勢及び位置を変更する指示が、微小棒状物３の骨格ラインを画定する各点Ｇｉ（ｉ＝１〜ｎ＋１）の３次元位置を指定するのに使用した座標系における回転ベクトルＲ及び並進ベクトルＶによって指定される場合を説明したが、所定の点、例えば両端の２点Ｇ１及びＧｎ＋１の移動後の位置（目標位置）を直接指定するようにしてもよい。その場合には、２点Ｇ１及びＧｎ＋１の距離を保持する条件で、各点Ｇｉ（ｉ＝１〜ｎ＋１）の目標位置が指定され得るようにし、微小位置変化量（ΔＸｉ、ΔＹｉ、ΔＺｉ）を計算することが必要となる。この場合にも、最初に回転ベクトルＲ及び並進移動ベクトルＶを計算した後、微小位置変化量（ΔＸｉ、ΔＹｉ、ΔＺｉ）を計算してもよい。
【００４２】
また、上記では、円柱状、即ち骨格ラインを軸とする回転対称な形状を有する微小棒状物３を捕捉し、その姿勢及び位置を制御する場合について説明したが、骨格ラインに対して回転対称な形状を有しない微小棒状物３の場合、捕捉された微小棒状物３がレーザ光１の走査軸の回りに回転することがある。このような場合、骨格上を走査するビームよりもパワーの小さなレーザ光をさらにもう１本使用し、回転軸、即ちレーザ光１の走査方向に対して直交する方向に走査することによって、回転の発生を防止することができる。
【００４３】
また、微小棒状物３を捕捉し、操作するためのビームとして使用するレーザ光１の波長は特に限定されず、光学レンズによって高密度に集束可能で、微小棒状物３に照射された場合に、微小棒状物３を透過し、その焦点位置に向かって捕捉力を発生する波長であればよい。
【００４４】
また、微小棒状物３を捕捉し、操作するためのビームは、レーザ光に限定されず、光学レンズ等の集束手段によって高密度に集束可能で、微小棒状物３に照射された場合に、微小棒状物３を透過し、その焦点位置に向かって捕捉力を発生するものであればよい。例えば、白色光でもよく、電磁気的な集束手段によって集束可能な荷電粒子（α粒子、電子、陽子、荷電素粒子など）を使用してもよい。
【００４５】
また、微小棒状物３の姿勢や位置を各々３次元データとして指定するのではなく、微小棒状物３の移動経路を指定した一連の時系列座標データや、微小棒状物３の姿勢変化を関数として指定し、これらに基づいて微小棒状物３の姿勢制御を自動的に行うようにしてもよい。
（第２の実施の形態）
図６は、本発明の第２の実施の形態に係る微小棒状物の姿勢制御装置の概略構成を示すブロック図である。周囲の媒質よりも低屈折率又は光を反射する金属性の微小棒状物の場合には、レーザ光を微小棒状物の内部に集束させて捕捉することができないので、図６に示した微小棒状物の姿勢制御装置では、２本のレーザ光を使用して、低屈折率又は光を反射する金属性の微小棒状物を捕捉するために、２本のレーザ光の焦点位置を各々独立に制御することができるように、図１に示した微小棒状物の姿勢制御装置にさらに第２焦点移動機構１２’を備えた構成となっている。
【００４６】
図７は、図６に示した微小棒状物の姿勢制御装置における光学系構成の一実施の形態をより詳細に示すブロック図であり、図３に示した微小棒状物の姿勢制御装置と比較すれば、半波長板９と、第１偏光ビームスプリッタ１０、１０’と、電磁シャッタ１１’と、第２焦点移動機構１２’と、第２偏光ビームスプリッタ１３、１３’とをさらに備えている。
【００４７】
光源７から射出されるのレーザ光は、ビームエクスパンダ８で径を変換され、半波長板９を通り、第１偏光ビームスプリッタ１０、１０’により２本の経路に分解され、それぞれ電磁シャッタ１１、１１’を介した後に、ガルバノミラー対および焦点位置変更レンズで構成される焦点位置移動機構１２、１２’を経由して、第２偏光ビームスプリッタ１３、１３’で再び同軸とされた後、リレーレンズ１４により落射照明光の軸と一致させて顕微鏡６内に導入される。
【００４８】
第１の実施の形態と同様に、分解された２本のレーザ光は、顕微鏡の対物レンズ１５によりその焦点位置で、レーザ光の波長限界程度、例えば１μｍ程度のスポットサイズまで高密度に集光される。このとき、２本のレーザ光の各々の焦点の位置は、第１及び第２カメラ部４、４’によって撮影される２枚の画像を、視差を有する画像として処理することによって求められる微小棒状物３’の３次元情報を基に、微小棒状物３’の長手方向に沿って微小棒状物３’の外側近傍を、同期して走査するように、即ち２本のレーザ光の焦点が、常に微小棒状物３’を挟んで対称に位置するように、制御部５によって第１及び第２焦点位置移動機構１２、１２’が制御されることによって、精密に操作される。これによって、図８に示すように、集束され、同期して往復走査される２本のレーザ光１’、１”の間の空間内に、微小棒状物３’を捕捉することができる。この際、２本の分解されたレーザ光１’、１”は偏光方向が直交するので互いに干渉を起こすことはなく、したがって、２本のレーザ光１’、１”の走査軌道の位置により互いの強度分布が変化することがなく、微小棒状物３’を安定して捕捉することができる。
【００４９】
次に、上記したように２本のレーザ光１’、１”によって安定に捕捉された微小棒状物３’の姿勢及び位置を制御する方法に関して説明する。本発明の実施の形態に係る姿勢制御方法では、図４に示したフローチャート（第１の実施の形態に係る微小棒状物の姿勢制御方法）と同様の処理を行うので、以下においては、図４に示したフローチャートと異なる処理を中心に説明する。
【００５０】
ＣＰＵ２０は、図４に示したステップＳ１〜Ｓ４と同様の処理を行い、微小棒状物３’の骨格ライン上の点Ｇｉ（ｉ＝１〜ｎ＋１）の３次元座標を計算する。次に、ＣＰＵ２０は、点Ｇｉ（ｉ＝１〜ｎ＋１）で画定される骨格ラインを、骨格ラインを挟んで相対する方向に、骨格ラインから所定の垂直距離ｄだけ平行移動させて、微小棒状物３’の外部近傍に位置する２本のラインＬ_１、Ｌ_２を求める（図８参照）。
【００５１】
次に、ＣＰＵは、図４に示したステップＳ５と同様に、２本のレーザ光の各々が、上記で決定した２本のラインＬ_１、Ｌ_２上に集束し、ラインＬ_１、Ｌ_２上を同期して高速に往復走査するように、制御インタフェース部２４を介して第１及び第２焦点移動機構１２、１２’を制御し、２本のレーザ光１’、１”の照射を行う。これによって、上記したように、集束され、同期して往復される２本のレーザ光１’、１”の間の空間内に、微小棒状物３’が捕捉される。
【００５２】
微小棒状物３’が捕捉された後、図４におけるステップＳ６〜Ｓ１１の処理と同様の処理を行う。このとき、ステップＳ６〜Ｓ１１における骨格ラインＧｉ（ｉ＝１〜ｎ＋１）の代わりに、２本のラインＬ_１、Ｌ_２の各々に関して、目的座標の計算、微小移動量の計算、２本のレーザ光の走査軌道（ラインＬ_１、Ｌ_２）の微小移動の処理を、微小棒状物３’移動が完了したと判断するまで繰り返す。これによって、周囲の媒質よりも低屈折率又は光を反射する金属性の微小棒状物３’の姿勢及び位置を変化させることができる。
【００５３】
以上において、第１の実施の形態と同様に、微小棒状物３’の姿勢及び位置を変更する指示が、微小棒状物３’の骨格ラインを画定するのに使用した座標系における回転ベクトルＲ及び並進ベクトルＶによって指定される場合を説明したが、所定の点、例えば両端の２点Ｇ１及びＧｎ＋１の移動後の位置（目標位置）を直接指定するようにしてもよい。その場合には、２点Ｇ１及びＧｎ＋１の距離を保持する条件で、各点Ｇｉ（ｉ＝１〜ｎ＋１）の目標位置が指定され得るようにし、微小位置変化量（ΔＸｉ、ΔＹｉ、ΔＺｉ）を計算することが必要となる。この場合にも、最初に回転ベクトルＲ及び並進移動ベクトルＶを計算した後、微小位置変化量（ΔＸｉ、ΔＹｉ、ΔＺｉ）を計算してもよい。
【００５４】
また、微小棒状物３’を捕捉し、操作するためのビームとして使用するレーザ光の波長は特に限定されず、光学レンズによって高密度に集束可能で、微小棒状物３’に照射された場合に、微小棒状物３’によって反射される波長、あるいはその焦点位置に向かって反発力を発生する波長であればよい。
【００５５】
また、微小棒状物３’を捕捉し、操作するためのビームは、レーザ光に限定されず、光学レンズ等の集束手段によって高密度に集束可能で、微小棒状物３’に照射された場合に、微小棒状物３’によって反射されるもの、あるいはその焦点位置に向かって反発力を発生するものであればよい。例えば、白色光でもよく、電磁気的な集束手段によって集束可能な荷電粒子（α粒子、電子、陽子、荷電素粒子など）を使用してもよい。
【００５６】
また、微小棒状物３’の姿勢や位置を各々３次元データとして指定するのではなく、微小棒状物３’の移動経路を指定した一連の時系列座標データや、微小棒状物３’の姿勢変化を関数として指定し、これらに基づいて微小棒状物３’の姿勢制御を自動的に行うようにしてもよい。
【００５７】
さらに、本発明は上記した第１及び第２の実施の形態の構成に限定されるものではなく、微小棒状物を捕捉するためのビームの選択、光学系などは適宜設計変更され得るものであり、処理に関しても、処理の付加、処理順序の変更など適宜変更され得るものである。
【００５８】
【発明の効果】
本発明によれば、微小棒状物に不安定な回転や振動を発生させることなく、非接触で３次元空間内において安定な捕捉と姿勢制御を自動的に行うことができる。したがって、本発明を用いれば、３次元の微小空間において、姿勢及び位置を指定して微小棒状物を精密に運搬することが可能となり、マイクロマシニング技術で作製されるような柱状のマイクロ構造物の自動組立が容易となる。
【００５９】
また、本発明によれば、針状のウイスカ、ナノワイヤ、ナノチューブなど、マイクロメートルサイズやナノメートルサイズであることによって初めて発現する多様な機能を有する材料を１本だけ取りだして、特定の位置にその配向を制御して配置するような作業が、原子間力顕微鏡のような高価な設備を用いることなく容易に実行可能となることから、マイクロメートルサイズやナノメートルサイズの機能性材料を必要最小量のみ用いた、超小型かつ高機能のセンシングデバイスの構築が可能となる。
【００６０】
さらに、上記した操作はすべて非接触で行うことができるため、外乱物質や細菌の混入を防止できる閉鎖系環境での作業が可能であり、長期間の安定した環境下でのμ−ＴＡＳ（ＭｉｃｒｏＴｏｔａｌＡｎａｌｙｓｉｓＳｙｓｔｅｍ）やマイクロマシンの自動生産が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る微小棒状物の姿勢制御装置の概略を示すブロック図である。
【図２】姿勢制御の対象である透明な微小棒状物がレーザ光によって捕捉された状態を模式的に示す斜視図である。
【図３】本発明の第１の実施の形態に係る微小棒状物の姿勢制御装置の光学系を示すブロック図である。
【図４】本発明の第１の実施の形態に係る微小棒状物の姿勢制御方法を示すフローチャートである。
【図５】微小棒状物のエッジ画像から骨格を抽出する処理の一例を説明する図である。
【図６】本発明の第２の実施の形態に係る微小棒状物の姿勢制御装置の概略を示すブロック図である。
【図７】本発明の第２の実施の形態に係る微小棒状物の姿勢制御装置の光学系を示すブロック図である。
【図８】姿勢制御の対象である不透明な微小棒状物がレーザ光によって捕捉された状態を模式的に示す斜視図である。
【符号の説明】
１、１’、１” 集束されたレーザ光
２、２’ 走査軌道
３、３’ 微小棒状物
４、４’ 第１及び第２カメラ
５制御部
６顕微鏡
７レーザ光源
８、８’ ビームエクスパンダ
９半波長板
１０、１０’ 第１偏光ビームスプリッタ
１１、１１’ 電磁シャッタ
１２、１２’ 第１及び第２焦点位置移動機構
１３、１３’ 第２偏光ビームスプリッタ
１４リレーレンズ
１５対物レンズ
１６試料面
２０処理部（ＣＰＵ）
２１メモリ部
２２記録部
２３操作部
２４制御インタフェース部
２５ビデオ部
２６バス
２７表示部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a posture control apparatus and a posture control method for a minute rod-like material, and in particular, a rod-like material such as whisker or nanowire having a useful function in various fields such as chemical analysis, medical treatment, environmental measurement, and a rod-like micro structure in a micromachine. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a posture control device and a posture control method for a minute rod-like object that can automatically and precisely control the position and posture of a minute rod-like object such as an object in a three-dimensional space without contact.
[0002]
[Prior art]
In recent years, novel materials having a high aspect ratio, that is, elongated shapes, such as nanotubes and nanowires, have been developed, and techniques utilizing their ultrafine and unique structures have been actively developed. Further, conventionally, needle-like whiskers and the like are known as a material having a high aspect ratio. Nano-on-Micro which develops ultra-compact and high-performance analyzers by utilizing only a trace amount of these nanometer-size functional materials and disposing them on a micrometer-size analyzer. ) Has been proposed.
[0003]
It has been studied to assemble a microstructure having a micrometer size using a contact-type microhand. In addition, it is possible to operate micrometer-sized fine particles in a non-contact manner by an optical tweezers method using a laser beam (see Patent Document 1 below), and to use a laser scanning manipulation method for scanning a laser beam at a high speed, a single laser is used. It is known that a microstructure such as one produced by connecting high-refractive-index spherical fine particles using light can be stably captured in a posture in which the longitudinal direction is orthogonal to the optical axis of the laser beam ( See Non-Patent Document 1 below).
[0004]
[Patent Document 1]
JP-A-64-34439
[0005]
[Non-patent document 1]
Masafumi Miwa, et al., "Retention of Microstructures by Laser Scanning Manipulation", IEEJ, Vol. 120, No. 7, 2000, pp. 345-349
[0006]
[Problems to be solved by the invention]
However, with regard to nanotubes and nanowires, it is still at the stage of developing technology for mass-producing them, and technology for easily manipulating these single materials required to develop nano-on-micro devices. For example, an operation technique for fixing only a tip portion of a nanotube, a whisker, or the like at a specific position, or a technique for controlling orientation and precisely applying a trace amount of these materials has not yet been developed. For this reason, at present, expensive equipment such as an atomic force microscope is used to measure physical properties such as electrical properties and mechanical strength of these materials.
[0007]
In addition, when a contact-type microhand is used, precise operation is difficult due to adhesion or the like caused by a surface force between the microhand and the microstructure to be operated. The operation required a great deal of skill. Therefore, the attitude operation and automatic operation required for assembling the non-spherical microstructure have not been realized.
[0008]
In addition, objects that can be stably captured by the optical tweezers method are limited to spherical substances and cells that are relatively large with respect to the spot size of the laser beam at the focal position, and a rotational moment is generated by the radiation pressure of the laser beam. It was not possible to stably operate rod-like substances such as microstructures and whiskers.
[0009]
Also, with the laser scanning manipulation method, it is not possible to capture a rod-like substance such as a whisker or a micro-rod-like substance made of a metal or a material having a low refractive index in an arbitrary posture in a three-dimensional space and control the posture. Was.
[0010]
As described above, it is important in the above-mentioned fields to develop a technology to capture a small rod-like object in an arbitrary posture in a three-dimensional space and to control the posture without being affected by the surface force or the optical properties of the material. Was one of the major issues.
[0011]
In order to solve the above-mentioned problem, the present invention provides a medium (liquid or gas) that is not affected by the optical properties of an object, is non-contact, and has a fine rod-like substance (hereinafter, referred to as a substance). An object of the present invention is to provide a posture control device and a posture control method for a micro-rod which can stably, accurately, and automatically operate the position and posture of a micro-rod in a three-dimensional space.
[0012]
[Means for Solving the Problems]
The object of the present invention is achieved by the following means.
[0013]
That is, the attitude control device (1) for a micro-rod according to the present invention is an attitude control device for a micro-rod that changes the attitude and position of the micro-rod in a three-dimensional space. A beam output unit that outputs a beam, a focus moving unit that changes and outputs an optical path of the incident beam, a focusing unit that focuses the beam output from the focus moving unit, a control unit, and an operation unit The micro rod-shaped object has a higher refractive index to the beam than the surrounding medium, refracts and transmits the beam, and the control unit is a micro rod-shaped object obtained by a plurality of cameras. From a plurality of images of the object, a skeleton line of the minute rod-like object is extracted and used as a scanning trajectory, and the focus moving unit is controlled so that the beam output from the focus moving unit is scanned by the focusing unit. Focused on, By changing the optical path of the beam incident on the focal point moving unit to capture the fine rod-shaped object, receiving an instruction from the operating unit, so that the focused focal position reciprocally scans on the scanning track. The scanning trajectory is changed by controlling a focus moving unit.
[0014]
Further, in the attitude control device for a micro-rod-like object according to the present invention, in the attitude control device for a micro-rod-like object, the control unit may include, from the operation unit, information on a change in attitude of the micro-rod-like object. And / or receiving input of position change information, using the posture change information and / or position change information and the three-dimensional position of the scanning trajectory calculated from a plurality of images obtained by a plurality of cameras. Determining the three-dimensional position of the target trajectory to which the scanning trajectory is moved, controlling the focus moving unit, and focusing the beam output from the focus moving unit on the target trajectory by the focusing unit. As a result, the optical path of the beam incident on the focus moving unit is changed.
[0015]
Further, a posture control device (3) for a minute rod-like object according to the present invention is a posture control device for a minute rod-like object that changes the posture and position of a figure-like minute rod in a three-dimensional space, and includes a plurality of cameras. A beam output unit that outputs two beams, a focus moving unit that changes the optical path of the two incident beams and outputs the beams, and focuses the two beams output from the focus moving unit. A focusing unit, a control unit, and an operation unit, wherein the micro rod-shaped object has a refractive index that is non-transmissive to the beam or lower than a surrounding medium, and the control unit includes a plurality of the From a plurality of images of the fine rod-shaped object obtained by a camera, two scanning trajectories positioned across the fine rod-shaped object are determined along the longitudinal direction of the fine rod-shaped object, and the focus moving unit is controlled. And each of the two beams is Therefore, the optical paths of the two beams incident on the focal point moving unit so that these focused focal positions are focused on the corresponding two scanning trajectories and scan the respective scanning trajectories in synchronization. To form a beam cavity, capture the micro-rods in the cavity, receive an instruction from the operation unit, and control the focus moving unit to change the two scanning trajectories. It is characterized by.
[0016]
Further, in the attitude control device for a micro-rod-like object (4) according to the present invention, in the attitude control device for a micro-rod-like object (3), the control unit may include, from the operation unit, the attitude change information of the micro-rod-like object and And / or receiving input of position change information, converting the posture change information and / or position change information and the three-dimensional positions of the two scanning trajectories calculated from a plurality of images obtained by a plurality of cameras. The three-dimensional position of the target trajectory to be moved with respect to each of the scanning trajectories is determined, and the focus moving unit is controlled so that each of the two beams output from the focus moving unit is The optical path of the beam incident on the focus moving unit is changed so that the beam is focused on the corresponding target trajectory by the focusing unit.
[0017]
Further, the attitude control method (1) for a micro rod-shaped object according to the present invention includes a first step of generating a beam and a plurality of micro rod-shaped objects having a higher refractive index than a surrounding medium and transmitting the beam. A second step of taking an image with the camera, a third step of extracting a skeleton line of the minute rod-shaped object from a plurality of images taken by a plurality of cameras and setting the skeleton line as a scanning trajectory, The method includes a fourth step of changing the optical path of the beam and a fifth step of changing the scanning trajectory such that the focused focus position reciprocally scans on the scanning trajectory. And
[0018]
Also, the attitude control method (2) of the micro-rod according to the present invention is the same as the attitude control method (1) of the micro-stick, wherein the attitude change information and / or position change information of the micro-stick is received. Moving the scanning trajectory using six steps, the posture change information and / or the position change information, and the three-dimensional position of the scanning trajectory calculated from a plurality of images obtained by a plurality of the cameras. The method is characterized by including a seventh step of determining the three-dimensional position of the target trajectory, and an eighth step of changing the optical path of the beam so that the beam is focused on the target trajectory.
[0019]
Further, the attitude control method (3) for a micro-rod-like object according to the present invention includes a first step of generating two beams, and a micro-beam having a non-transmitting property to the beams or a refractive index lower than that of a surrounding medium. A second step of imaging the rod-shaped object with a plurality of cameras, and from a plurality of images captured by the plurality of cameras, positioned along the longitudinal direction of the micro-rod, sandwiching the micro-rod. A third step of determining two scanning trajectories, wherein each of the two beams is focused on a corresponding two of the scanning trajectories, and the focused focal positions are synchronously on each of the scanning trajectories. And a fifth step of changing the two scanning trajectories so as to scan the light beam.
[0020]
Further, the attitude control method (4) for a minute stick according to the present invention is the sixth aspect, in the attitude control method (3) for a minute stick, receiving the input of the attitude change information and / or the position change information of the minute object. Step, the posture change information and / or the position change information, and the three-dimensional positions of the two scanning trajectories calculated from a plurality of images obtained by a plurality of the cameras. A seventh step of calculating a three-dimensional position of a destination target trajectory corresponding to a scanning trajectory; and changing an optical path of the beams such that each of the two beams converges on the corresponding target trajectory. And 8 steps.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. That is, a micro-bar-shaped posture control device and a control method for automatically controlling the spatial three-dimensional posture and position of the micro-bar will be described.
(First Embodiment)
FIG. 1 is a block diagram showing a schematic configuration of a posture control device for a minute rod-like object according to a first embodiment of the present invention. The attitude control device includes a control unit 5, first and second camera units 4, 4 ', a light source 7, and a first focal point moving mechanism 12. The control unit 5 includes a processing unit (hereinafter, referred to as a CPU) 20 that performs control and data processing described below, a memory unit 21 that temporarily stores data, a recording unit 22 that continuously records data, and an operation unit. The control unit 5 includes a unit 23, a control interface unit 24, a video unit 25, a data bus 26 for exchanging data inside the control unit 5, and a display unit 27. The first focal point moving mechanism 12 is controlled by the CPU 20 via the control interface unit 24, and guides the laser light emitted from the light source 7 to the minute rod-shaped object 3 arranged in the microscope (not shown) sample surface. Then, as described later, the minute rod-shaped material 3 is captured. In FIG. 1, the path of the laser light emitted from the light source 7 to the minute rod 3 is omitted. The video signals from the first and second camera units 4 and 4 'are displayed on the display unit 27 via the video unit 25, and are recorded as digital data in the recording unit 22 for each frame as necessary. .
[0022]
FIG. 2 is a perspective view schematically showing capture of the micro-rod 3 by the laser beam 1 and change of the attitude. Here, the material of the minute rod 3 has a higher refractive index than the surrounding medium in which the irradiated laser beam 1 is transmitted and the minute rod 3 floats. The laser beam 1 emitted from the light source 7 shown in FIG. 1 converges in the minute rod 3 and, as shown in FIG. 2, traverses the inside of the minute rod 3 along the longitudinal skeleton along the trajectory 2. The optical path is controlled by the first focal point moving mechanism 12 so as to reciprocally scan. In FIG. 2, the state where the laser beam 1 is located at both ends of the trajectory 2 is indicated by broken lines. The fine rod-shaped object 3 can be stably captured as shown in FIG. 2 by the principle of laser scanning manipulation by the laser beam 1 focused at a high density. At this time, the three-dimensional position of the skeleton to be reciprocally scanned by the laser light 1 is determined by two parallaxes obtained by photographing the minute rod 3 with the two camera units 4 and 4 ′ arranged at different positions. It is calculated based on the principle of stereoscopic vision from the image having the image.
[0023]
FIG. 3 is a block diagram showing an embodiment of the optical system configuration in the attitude control device shown in FIG. 1 in more detail. The diameter of the laser light 1 from the light source 7, that is, the spatial spread of the laser light 1 is changed by the beam expander 8, and the laser light 1 is provided with a galvanomirror pair and a focal position changing lens via an electromagnetic shutter 11. The light passes through the one-focal point moving mechanism 12 and is introduced into the microscope 6 by the relay lens 14 so as to coincide with the axis of the incident illumination light.
[0024]
The above-mentioned laser beam 1 is focused by the objective lens 15 of the microscope 6 at its focal position with a high density up to a wavelength limit smaller than the cross-sectional size of the minute rod 3, for example, a spot size of about 1 μm. Further, the minute rod 3 is recognized on two images obtained from the first and second camera units 4 and 4 ′, and based on these images, the position of the skeleton of the minute rod 3 is calculated, and the focusing is performed. The first focal point moving mechanism 12 is controlled so that the focal point coordinates of the laser beam 1 in the microscope 6 are located on the skeleton.
[0025]
Next, a method for controlling the attitude and the position of the minute rod 3 stably captured by the laser beam 1 as described above will be described. FIG. 4 is a flowchart illustrating a posture control method according to the embodiment of the present invention. In the following, the CPU 20 reads data necessary for processing from the recording unit 22, performs calculations on the memory unit 21, and records the calculation results in the recording unit 22 as necessary.
[0026]
In step S <b> 1, the CPU 20 receives image data from the first and second camera units 4 and 4 ′ into the recording unit 22 via the video unit 25 in response to an instruction from the operation unit 23. For example, when the video data output from the first and second camera units 4 and 4 ′ is an analog signal, the signals from the first and second camera units 4 and 4 ′ are output from the video unit 25 at a predetermined timing. After the A / D conversion, the image data is recorded in the recording unit 22 as digital image data for one frame (two image data at the same time).
[0027]
In step S2, the CPU 20 performs image processing on each of the two captured image data, and detects the edge of the minute rod 3. Various methods, such as a differentiation method, a Sobel method, a Roberts method, and a Laplacian method, are known as image processing for edge detection, and thus description thereof is omitted here. Any of these edge detection methods or an edge detection method combining these with other processing may be used.
[0028]
In step S3, the CPU 20 performs image processing for generating a skeleton for each of the two images whose edges have been detected in step S2. For example, when the minute rod 3 is cylindrical, the detected edge image is an image as shown in FIG. The CPU 20 sets the orthogonal coordinate axes X and Y with the point O as the origin on the two-dimensional image, calculates the mutual distance of the four vertices A to D located at the outermost periphery, and calculates the distance between the vertices A to D in the longitudinal direction ( In FIG. 5, the AD direction or the BC direction is determined. Next, the CPU 20 calculates the coordinates of the midpoints G1 and G2 (n = 1 in FIG. 5) of the two adjacent points A and B and the two points C and D. A line segment connecting these two points G1 and G2 becomes a skeleton line of the minute rod 3 on the two-dimensional image. In this manner, each of the two images having parallax is processed, and coordinates of two points representing both ends of the skeleton line, that is, a total of four points are calculated for each image.
[0029]
When the edge line in the longitudinal direction of the minute rod-shaped object 3 whose edge is detected is not a straight line, an edge line between two adjacent points, for example, points A and B, and two points D and C corresponding to the two points in the longitudinal direction. Is divided into n equal parts to determine points Ei (XEi, YEi) and Fi (XFi, YFi) (i = 1 to n + 1), and find the midpoint Gi (i = 1 to n + 1) of the two points Ei and Fi, A line passing through each midpoint Gi (i = 1 to n + 1) may be set as a skeleton line (see FIG. 5). Here, points A and B are referred to as points E1 and F1, respectively, and points D and C are referred to as points En + 1 and Fn + 1, respectively.
[0030]
In step S4, stereoscopic image processing is performed in consideration of the position coordinates of the first and second camera units 4, 4 ', using the two images from which the skeleton lines have been detected in step S3 as parallax images, and The three-dimensional coordinates of Gi (i = 1 to n + 1) are calculated.
[0031]
In step S5, the CPU 20 causes the laser beam 1 to converge on a skeleton line connecting the points Gi (i = 1 to n + 1) whose three-dimensional coordinates have been calculated in step S4 so that the laser beam 1 reciprocally scans the skeleton line at high speed. The first focal point moving mechanism 12 is controlled via the control interface unit 24 to start irradiation of the laser beam 1. At this time, the scanning direction of the laser beam 1 may be reversed slightly before the points G1 and Gn + 1 at both ends of the skeleton line which is the scanning trajectory, or the scanning direction may be reversed at a point slightly beyond. As a result, as described above, the minute rod-shaped object 3 is stably captured by the principle of laser scanning manipulation.
[0032]
After the minute rod 3 is captured, in step S6, the CPU 20 waits for an instruction to change the attitude and position of the minute rod 3 specified via the operation unit 23. The change in the attitude and the position of the minute rod 3 can be described by the rotation vector R and the translation vector V in the coordinate system used to specify the three-dimensional position of the skeleton line of the minute rod 3 in step S5. Therefore, the rotation vector R and the translation vector V may be specified from the operation unit 23. As a result, the distance between the points Gi (i = 1 to n + 1) that define the skeleton line is maintained. Based on the input vector R and vector V, the CPU 20 converts the three-dimensional coordinates (Xsi, Ysi, Zsi) of each point Gi (i = 1 to n + 1) on the skeleton line to the position coordinates (Xei, Yei, Zei) (hereinafter referred to as target position coordinates) is calculated.
[0033]
After the target position coordinates of each point Gi (i = 1 to n + 1) on the skeleton line are calculated in step S6, in step S7, each point Gi (i = 1 to n + 1) on the skeleton line is slowly moved to the target position. Then, the minute position change amounts (ΔXi, ΔYi, ΔZi) corresponding to the first minute movement are calculated. This is because if the scanning trajectory of the laser beam 1 capturing the minute rod 3 changes too quickly, the minute rod 3 cannot be captured in a stable manner. The position change amount (ΔXi, ΔYi, ΔZi) is calculated based on the current three-dimensional coordinates (Xsi, Ysi, Zsi) of each point Gi (i = 1 to n + 1) on the skeleton line, the minute rotation vector ΔR, and the minute translation vector ΔV. Is calculated based on As the vectors ΔR and ΔV, for example, those obtained by dividing the vectors R and V by N may be used. Here, it is desirable that the value of N is determined so that the focal point of the laser beam 1 does not move too fast.
[0034]
In step S8, the CPU 20 controls the first focal point moving mechanism 12 to change the focusing position of the laser beam 1 by a very small amount, and to make n + 1 points (Xsi + ΔXi, Ysi + ΔYi, Zsi + ΔZi) (i = 1 to n + 1). The laser beam 1 is scanned at high speed on the trajectory connecting. As a result, the minute rod 3 moves minutely according to the minute movement of the focal position of the laser beam 1 while maintaining the state captured by the principle of laser scanning manipulation.
[0035]
In step S9, the CPU 20 captures images from the first and second camera units 4, 4 'as in steps S1 to S4, and defines a skeleton line determined in step S4, that is, a point Gi (i = 1 Ｎn + 1) are calculated at the current position coordinates (Xi, Yi, Zi).
[0036]
In step S10, the CPU 20 calculates the current position coordinates, (Xi, Yi, Zi) (i = 1 or n + 1) and the target coordinates (Xei, Yei, Zei) calculated in step S6 for the two points G1 and Gn + 1 at both ends. The absolute values | Xi-Xei |, | Yi-Yei |, and | Zi-Zei | of the differences are calculated, and it is determined whether each value is equal to or less than a predetermined value. If it is determined that the absolute values of all the differences are equal to or smaller than the predetermined value, the process proceeds to step S12. If it is determined that the absolute value of at least one difference is not smaller than the predetermined value, the process proceeds to step S11.
[0037]
In step S11, the CPU 20 calculates the minute position change amounts (ΔXi, ΔYi, ΔZi) in the same manner as in step S7, using (Xi, Yi, Zi) (i = 1 to n + 1) as the movement start point. Move to S8.
[0038]
In step S10, the processes of steps S8 to S11 are repeated until it is determined that the absolute values of all the differences are equal to or less than the predetermined value, that is, until it is determined that the two points G1 and Gn + 1 have reached the target position. repeat. As a result, as shown in FIG. 2, the attitude and position of the minute rod 3 can be changed from the scanning trajectory 2 to the scanning trajectory 2 '.
[0039]
In step S12, the CPU 20 determines whether or not a stop instruction has been issued, and if it has determined that the stop instruction has been issued, stops the movement of the scanning trajectory of the laser beam 1 and captures the minute rod 3 at that position and orientation. Then, when it is determined that there is no instruction to stop the series of processes, the process returns to step S6 to receive an instruction to move the minute rod 3 and the processes of steps S6 to S11 are repeated.
[0040]
The method of detecting the skeleton line of the minute rod 3 described above is an example, and is not limited to the above-described method and processing order, and various known methods may be used.
[0041]
The instruction to change the attitude and position of the minute rod 3 in step S6 is used to specify the three-dimensional position of each point Gi (i = 1 to n + 1) that defines the skeleton line of the minute rod 3. Although the case where the position is designated by the rotation vector R and the translation vector V in the coordinate system described above has been described, the position (target position) after movement of a predetermined point, for example, two points G1 and Gn + 1 at both ends may be directly designated. Good. In that case, the target position of each point Gi (i = 1 to n + 1) can be designated under the condition of maintaining the distance between the two points G1 and Gn + 1, and the minute position change amounts (ΔXi, ΔYi, ΔZi) are determined. It needs to be calculated. Also in this case, the minute position change amounts (ΔXi, ΔYi, ΔZi) may be calculated after first calculating the rotation vector R and the translation vector V.
[0042]
Further, in the above description, the case where the columnar, that is, the minute rod-shaped object 3 having a rotationally symmetric shape with the skeleton line as the axis is captured and its posture and position are controlled has been described. In the case of the minute rod 3 having no shape, the captured minute rod 3 may rotate around the scanning axis of the laser beam 1. In such a case, one more laser beam having lower power than the beam that scans the skeleton is used, and scanning is performed in the direction perpendicular to the rotation axis, that is, the scanning direction of the laser beam 1, so that the rotation of the laser beam 1 is performed. Occurrence can be prevented.
[0043]
In addition, the wavelength of the laser beam 1 used as a beam for capturing and manipulating the micro-rod 3 is not particularly limited, and can be focused at a high density by an optical lens. Any wavelength may be used as long as it transmits through the minute rod 3 and generates a trapping force toward its focal position.
[0044]
The beam for capturing and manipulating the minute rod 3 is not limited to a laser beam, but can be focused at a high density by a focusing means such as an optical lens. Any material may be used as long as it transmits the rod 3 and generates a capturing force toward its focal position. For example, white light may be used, and charged particles (α particles, electrons, protons, charged element particles, etc.) that can be focused by an electromagnetic focusing means may be used.
[0045]
Also, instead of designating the attitude and position of the micro-rod 3 as three-dimensional data, a series of time-series coordinate data specifying the movement path of the micro-rod 3 and a change in attitude of the micro-rod 3 are used as functions. The orientation of the micro-rod 3 may be automatically controlled based on the designation.
(Second embodiment)
FIG. 6 is a block diagram showing a schematic configuration of a posture control device for a minute stick according to the second embodiment of the present invention. In the case of a metallic small rod that has a lower refractive index or reflects light than the surrounding medium, the laser beam cannot be focused and captured inside the small rod, so that the small rod shown in FIG. The object attitude control device uses two laser beams to independently control the focal position of the two laser beams in order to capture a low refractive index or light-reflective metallic micro-rod. For this purpose, the micro-bar-shaped object attitude control device shown in FIG. 1 is further provided with a second focal point moving mechanism 12 '.
[0046]
FIG. 7 is a more detailed block diagram showing an embodiment of an optical system configuration in the attitude control device for a micro-rod-like object shown in FIG. 6, and compared with the attitude control device for a micro-rod-like object shown in FIG. For example, it further includes a half-wave plate 9, first polarizing beam splitters 10, 10 ', an electromagnetic shutter 11', a second focal point moving mechanism 12 ', and second polarizing beam splitters 13, 13'.
[0047]
The laser light emitted from the light source 7 is converted in diameter by the beam expander 8, passes through the half-wave plate 9, is decomposed into two paths by the first polarizing beam splitters 10 and 10 ′, and is separated into two paths by the electromagnetic shutter 11. , 11 ′, after passing through focal position moving mechanisms 12, 12 ′ composed of a pair of galvanometer mirrors and a focal position changing lens, after being made coaxial again by the second polarizing beam splitters 13, 13 ′, The light is introduced into the microscope 6 by the relay lens 14 so as to coincide with the axis of the incident illumination light.
[0048]
As in the first embodiment, the two separated laser beams are condensed by the objective lens 15 of the microscope at the focal position at a high density up to the wavelength limit of the laser beam, for example, to a spot size of about 1 μm. Is done. At this time, the position of the focal point of each of the two laser beams is determined by processing the two images photographed by the first and second camera units 4 and 4 ′ as an image having parallax. On the basis of the three-dimensional information of the object 3 ′, the vicinity of the outside of the minute rod 3 ′ is synchronously scanned along the longitudinal direction of the minute rod 3 ′, that is, the focal points of the two laser beams are The first and second focal point position moving mechanisms 12, 12 'are controlled by the control unit 5 so as to be precisely operated so as to be always symmetrically positioned with the minute rod-shaped object 3' interposed therebetween. As a result, as shown in FIG. 8, the minute rod 3 'can be captured in the space between the two laser beams 1' and 1 "which are focused and synchronously reciprocally scanned. At this time, the two separated laser beams 1 'and 1 "do not interfere with each other because their polarization directions are orthogonal to each other. Therefore, the two laser beams 1' and 1" do not interfere with each other depending on the position of the scanning orbit of the two laser beams 1 'and 1 ". The intensity distribution does not change, and the minute rod-shaped material 3 'can be stably captured.
[0049]
Next, a method for controlling the attitude and the position of the minute rod 3 'stably captured by the two laser beams 1' and 1 "as described above will be described. The attitude control according to the embodiment of the present invention In the method, the same processing as that of the flowchart shown in FIG. 4 (the method for controlling the attitude of the minute rod-shaped object according to the first embodiment) is performed, so that the following description focuses on processing different from the flowchart shown in FIG. explain.
[0050]
The CPU 20 performs the same processing as in steps S1 to S4 shown in FIG. 4, and calculates the three-dimensional coordinates of the point Gi (i = 1 to n + 1) on the skeleton line of the minute rod 3 '. Next, the CPU 20 translates the skeleton line defined by the points Gi (i = 1 to n + 1) in a direction opposed to the skeleton line by a predetermined vertical distance d from the skeleton line, and Two lines L located near the outside of 3 ' ₁ , L ₂ (See FIG. 8).
[0051]
Next, as in step S5 shown in FIG. 4, the CPU sets each of the two laser beams to the two lines L determined above. ₁ , L ₂ Focus on top, line L ₁ , L ₂ The first and second focal point moving mechanisms 12 and 12 'are controlled via the control interface unit 24 so as to perform high-speed reciprocating scanning in synchronization with the upper part, and irradiate two laser beams 1' and 1 ". As a result, as described above, the minute rod 3 'is captured in the space between the two laser beams 1' and 1 "which are focused and reciprocated synchronously.
[0052]
After the minute rod 3 'has been captured, the same processing as the processing of steps S6 to S11 in FIG. 4 is performed. At this time, instead of the skeleton lines Gi (i = 1 to n + 1) in steps S6 to S11, two lines L ₁ , L ₂ , The calculation of the target coordinates, the calculation of the minute movement amount, and the scanning trajectory of the two laser beams (line L ₁ , L ₂ ) Is repeated until it is determined that the movement of the minute rod 3 'has been completed. This makes it possible to change the attitude and position of the metallic micro-rod 3 'that has a lower refractive index or reflects light than the surrounding medium.
[0053]
In the above, similarly to the first embodiment, the instruction to change the attitude and the position of the minute rod 3 ′ is given by the rotation vector R and the rotation vector R in the coordinate system used to define the skeleton line of the minute rod 3 ′. Although the case where the position is specified by the translation vector V has been described, the position (target position) after movement of a predetermined point, for example, two points G1 and Gn + 1 at both ends may be directly specified. In that case, the target position of each point Gi (i = 1 to n + 1) can be designated under the condition of maintaining the distance between the two points G1 and Gn + 1, and the minute position change amounts (ΔXi, ΔYi, ΔZi) are determined. It needs to be calculated. Also in this case, the minute position change amounts (ΔXi, ΔYi, ΔZi) may be calculated after first calculating the rotation vector R and the translation vector V.
[0054]
In addition, the wavelength of the laser beam used as a beam for capturing and manipulating the micro-rod 3 ′ is not particularly limited, and can be focused at a high density by an optical lens. Any wavelength may be used as long as it is a wavelength reflected by the minute rod 3 'or a wavelength that generates a repulsive force toward its focal position.
[0055]
Further, the beam for capturing and manipulating the minute rod 3 ′ is not limited to the laser beam, and can be focused at a high density by a focusing means such as an optical lens. Any object may be used as long as it is reflected by the minute rod 3 'or generates repulsion toward its focal position. For example, white light may be used, and charged particles (α particles, electrons, protons, charged element particles, etc.) that can be focused by an electromagnetic focusing means may be used.
[0056]
Also, instead of specifying the attitude and position of the minute rod 3 ′ as three-dimensional data, a series of time-series coordinate data specifying the movement path of the minute rod 3 ′, and the change in the attitude of the minute rod 3 ′, May be designated as a function, and the attitude control of the minute rod-shaped object 3 ′ is automatically performed based on these.
[0057]
Furthermore, the present invention is not limited to the configurations of the above-described first and second embodiments, and the selection of a beam for capturing a minute rod-shaped object, the optical system, and the like can be appropriately changed in design. Also, the processing can be changed as appropriate, such as adding processing and changing the processing order.
[0058]
【The invention's effect】
According to the present invention, stable capture and attitude control can be automatically performed in a non-contact three-dimensional space without causing unstable rotation or vibration of the minute rod-shaped object. Therefore, by using the present invention, it is possible to precisely transport a micro-rod-like object by specifying a posture and a position in a three-dimensional micro-space, and to form a columnar micro-structure such as that manufactured by micro-machining technology. Automatic assembly becomes easy.
[0059]
Further, according to the present invention, only one material having a variety of functions that is expressed for the first time by being a micrometer-sized or nanometer-sized material, such as a needle-shaped whisker, a nanowire, or a nanotube, is taken out and placed at a specific position. Because the work of controlling and arranging the orientation can be easily performed without using expensive equipment such as an atomic force microscope, the required amount of micrometer-sized or nanometer-sized functional materials is reduced to a minimum. This makes it possible to construct an ultra-compact and high-performance sensing device that uses only the above.
[0060]
Furthermore, since all of the above operations can be performed in a non-contact manner, it is possible to work in a closed system environment in which disturbance substances and bacteria can be prevented from being mixed, and to perform μ-TAS (Micro) in a long-term stable environment. Automatic production of a total analysis system or a micro machine becomes possible.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a posture control device for a minute rod-like object according to a first embodiment of the present invention.
FIG. 2 is a perspective view schematically showing a state in which a transparent fine rod-shaped object to be subjected to posture control is captured by a laser beam.
FIG. 3 is a block diagram showing an optical system of the attitude control device for the minute rod-like object according to the first embodiment of the present invention.
FIG. 4 is a flowchart illustrating a method of controlling the attitude of a minute rod-like object according to the first embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of a process of extracting a skeleton from an edge image of a minute stick.
FIG. 6 is a block diagram schematically showing a posture control device for a minute rod-like object according to a second embodiment of the present invention.
FIG. 7 is a block diagram illustrating an optical system of a posture control device for a minute rod-like object according to a second embodiment of the present invention.
FIG. 8 is a perspective view schematically showing a state in which an opaque minute rod-shaped object to be subjected to attitude control is captured by a laser beam.
[Explanation of symbols]
1, 1 ', 1 "focused laser light
2, 2 'scanning trajectory
3, 3 'minute rod
4, 4 'first and second camera
5 control part
6 Microscope
7 Laser light source
8, 8 'beam expander
9 Half-wave plate
10, 10 'first polarizing beam splitter
11, 11 'electromagnetic shutter
12, 12 'First and second focus position moving mechanisms
13, 13 'second polarizing beam splitter
14 relay lens
15 Objective lens
16 Sample surface
20 Processing unit (CPU)
21 Memory section
22 Recorder
23 Operation section
24 Control interface section
25 Video section
26 bus
27 Display

Claims

An attitude control device for a micro-rod that changes the attitude and position of the micro-rod in a three-dimensional space,
With multiple cameras,
A beam output unit that outputs a beam,
A focus moving unit that changes and outputs the optical path of the incident beam;
A focusing unit that focuses the beam output from the focus moving unit;
A control unit;
With an operation unit,
The micro-rods have a higher refractive index for the beam than the surrounding medium, refractively transmit the beam,
The control unit includes:
From a plurality of images of the fine rod-shaped object obtained by a plurality of cameras, a skeleton line of the fine rod-shaped object is extracted as a scanning trajectory,
Controlling the focus moving unit, such that the beam output from the focus moving unit is focused on the scanning trajectory by the focusing unit, and the focused focus position reciprocally scans on the scanning trajectory, By changing the optical path of the beam incident on the focus moving unit, to capture the micro-rod,
An attitude control device for a micro-rod-like object, wherein an instruction from the operation unit is received to control the focus moving unit to change the scanning trajectory.

The control unit includes:
Receiving input of posture change information and / or position change information of the minute rod-shaped object from the operation unit,
Using the posture change information and / or position change information and the three-dimensional position of the scanning trajectory calculated from a plurality of images obtained by a plurality of cameras, a target to which the scanning trajectory is moved Determine the three-dimensional position of the orbit,
By controlling the focus moving unit, the optical path of the beam incident on the focus moving unit is changed so that the beam output from the focus moving unit is focused on the target trajectory by the focusing unit. The attitude control device for a micro-rod-like object according to claim 1, wherein:

An attitude control device for a micro-rod that changes the attitude and position of the micro-rod in a three-dimensional space,
With multiple cameras,
A beam output unit that outputs two beams,
A focus moving unit that changes the optical path of the two incident beams and outputs the changed beam;
A focusing unit that focuses the two beams output from the focus moving unit;
A control unit;
With an operation unit,
The microrods are non-transmissive to the beam or have a lower refractive index than the surrounding medium;
The control unit includes:
From a plurality of images of the minute bar obtained by the plurality of cameras, along the longitudinal direction of the minute bar, determine two scanning trajectories located across the minute bar,
By controlling the focus moving unit, each of the two beams is focused on the corresponding two scanning trajectories by the focusing unit, and these focused focal positions are synchronized with each other on each of the scanning trajectories. So as to scan, by changing the optical path of the two beams incident on the focal point moving section to form a beam cavity, capturing the micro-rods in the cavity,
An attitude control device for a fine rod-shaped object, wherein an instruction from the operation unit is received to control the focus moving unit to change the two scanning trajectories.

The control unit includes:
Receiving input of posture change information and / or position change information of the minute rod-shaped object from the operation unit,
Using the attitude change information and / or position change information and the three-dimensional position of the two scan trajectories calculated from a plurality of images obtained by a plurality of cameras, the Determine the three-dimensional position of the target trajectory of the destination,
By controlling the focus moving unit, the two beams output from the focus moving unit enter the focus moving unit such that each of the two beams is focused on the corresponding target trajectory by the focusing unit. 4. The apparatus according to claim 3, wherein an optical path of the beam is changed.

A first step of generating a beam;
A second step of imaging the rod-shaped object having a higher refractive index than the surrounding medium and transmitting the beam with a plurality of cameras;
A third step of extracting a skeleton line of the minute rod-shaped object from a plurality of images captured by the plurality of cameras and setting the skeleton line as a scanning trajectory;
A fourth step of changing an optical path of the beam so that the beam is focused on the scanning trajectory, and the focused focal position reciprocally scans on the scanning trajectory;
And a fifth step of changing the scanning trajectory.

A sixth step of receiving an input of posture change information and / or position change information of the minute rod-shaped object;
Using the posture change information and / or position change information and the three-dimensional position of the scanning trajectory calculated from a plurality of images obtained by a plurality of cameras, a target to which the scanning trajectory is moved A seventh step of determining the three-dimensional position of the trajectory;
The method according to claim 5, further comprising: changing an optical path of the beam so that the beam is focused on the target trajectory.

A first step of generating two beams;
A second step of imaging a micro-rod-like object having a lower refractive index than the surrounding medium with respect to the beam by a plurality of cameras;
A third step of determining, from a plurality of images captured by the plurality of cameras, two scanning trajectories positioned across the minute rod, along the longitudinal direction of the minute rod;
Each of the two beams is focused on a corresponding two of the scanning trajectories, and the optical path of the beam is changed such that the focused focal positions scan each of the scanning trajectories in synchronization. The fourth step,
And a fifth step of changing the two scanning trajectories.

A sixth step of receiving an input of posture change information and / or position change information of the minute object;
Using the attitude change information and / or position change information and the three-dimensional positions of the two scan trajectories calculated from a plurality of images obtained by a plurality of cameras, each scan trajectory A seventh step of calculating a three-dimensional position of a corresponding destination trajectory;
8. The method according to claim 7, further comprising: changing an optical path of the two beams so that each of the two beams converges on the corresponding target trajectory. .