JP2012007934A - 移動体制御システム、プログラム、及び移動体制御方法 - Google Patents

移動体制御システム、プログラム、及び移動体制御方法 Download PDF

Info

Publication number
JP2012007934A
JP2012007934A JP2010142512A JP2010142512A JP2012007934A JP 2012007934 A JP2012007934 A JP 2012007934A JP 2010142512 A JP2010142512 A JP 2010142512A JP 2010142512 A JP2010142512 A JP 2010142512A JP 2012007934 A JP2012007934 A JP 2012007934A
Authority
JP
Japan
Prior art keywords
imaging
coordinate system
unit
rotation
rotation center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010142512A
Other languages
English (en)
Other versions
JP5634764B2 (ja
Inventor
Masaaki Ikeda
政昭 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Priority to JP2010142512A priority Critical patent/JP5634764B2/ja
Priority to PCT/US2011/041222 priority patent/WO2011163209A2/en
Publication of JP2012007934A publication Critical patent/JP2012007934A/ja
Application granted granted Critical
Publication of JP5634764B2 publication Critical patent/JP5634764B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Abstract

【課題】複数の撮像部が撮像したそれぞれの画像に基づいて移動体を制御する移動体制御システムにおいて、それぞれの撮像部に対して定められたそれぞれの撮像座標系の対応関係の精度を向上させる。
【解決手段】第1回転中心位置特定部62がそれぞれの第1画像に含まれるそれぞれの第1基準目印に基づいて、第1撮像座標系における第1点に対応する第1回転中心位置を特定する。第2回転中心位置特定部64がそれぞれの第2画像に含まれるそれぞれの第2基準目印に基づいて、第2撮像座標系における第1点に対応する第2回転中心位置を特定する。座標系対応関係保持部66が第1回転中心位置及び第2回転中心位置に基づく第1撮像座標系及び第2撮像座標系の対応関係を示す座標系対応関係を保持する。
【選択図】図3

Description

本発明は、移動体制御システム、プログラム、及び移動体制御方法に関する。
特許文献1には、位置決め対象物を位置決めする位置決め装置が開示されている。当該位置決め装置は、テーブルに設置された当該対象物に設けられたマークを含む画像を、テーブルを移動させながら複数のカメラで撮像する。当該位置決め装置は、各画像を用いてマークの位置とマークの目標位置とのずれ量を算出し、そのずれが解消するまで、テーブルを回転あるいは平行移動させる。また、特許文献2には、ワークの回転ずれを補正するのに必要なステージの回転中心の座標を特定するワーク位置決め装置が開示されている。当該ワーク位置決め装置は、2台のカメラによる2回の撮像で得られた各画像から各マークの位置を示すそれぞれの座標を計測する。当該ワーク位置決め装置は、各座標から求めた各マークの移動量と予め入力されたマーク間の距離とを用いてステージの回転角度を算出し、回転角度と各マークのそれぞれの座標とを用いてステージの回転中心の座標を算出する。特許文献3には、チップ状の電子部品を電子回路基板の所定の位置に装着する電子部品装着装置が開示されている。当該電子部品装着装置では、予め入力された吸着ノズルの位置データと、カメラで撮像された画像に基づいて求められた電子部品の基準位置の位置データとに基づいて吸着ノズルを回転させることで電子部品の姿勢を補正する。
特許文献1 特許第3531674号公報
特許文献2 特開2006−49755号公報
特許文献3 特開平5−48295号公報
ところで、複数の撮像部が撮像したそれぞれの画像に基づいて移動体を制御する移動体制御システムでは、それぞれの撮像部に対して定められたそれぞれの撮像座標系の対応関係の精度が悪いと、オブジェクトの目標位置への移動に時間が掛かる。
そこで、複数の撮像部が撮像したそれぞれの画像に基づいて移動体を制御する移動体制御システムにおいて、それぞれの撮像部に対して定められたそれぞれの撮像座標系の対応関係の精度を向上させることが望まれている。
本発明の一実施形態に係る移動体制御システムは、移動体に対して予め定められた第1基準目印を含む第1画像を撮像する第1撮像部の第1撮像範囲内の任意の第1点を中心に移動体を回転させた場合に、回転前及び回転後に第1撮像部により撮像された第1画像をそれぞれ取得する第1画像取得部と、第1点を中心に移動体を回転させた場合に、回転前及び回転後に移動体に対して予め定められた第2基準目印を含む第2画像を撮像する第2撮像部により撮像された第2画像をそれぞれ取得する第2画像取得部と、それぞれの第1画像に含まれるそれぞれの第1基準目印に基づいて、第1撮像部に対して予め定められた第1撮像座標系における第1点に対応する第1回転中心位置を特定する第1回転中心位置特定部と、それぞれの第2画像に含まれるそれぞれの第2基準目印に基づいて、第2撮像部に対して予め定められた第2撮像座標系における第1点に対応する第2回転中心位置を特定する第2回転中心位置特定部と、第1回転中心位置及び第2回転中心位置に基づく第1撮像座標系及び第2撮像座標系の対応関係を示す座標系対応関係を保持する座標系対応関係保持部と、を備える。
上記移動体制御システムにおいて、第1画像取得部は、第1撮像範囲内の任意の複数の第1点のそれぞれを中心に順次、移動体を回転させた場合に、それぞれの回転前及び回転後に第1撮像部により撮像された第1画像をそれぞれ取得し、第2画像取得部は、第1撮像範囲内の任意の複数の第1点のそれぞれを中心に順次、移動体を回転させた場合に、それぞれの回転前及び回転後に第2撮像部により撮像された第2画像をそれぞれ取得し、第1回転中心位置特定部は、回転前及び回転後のそれぞれの第1画像に含まれるそれぞれの第1基準目印に基づいて、それぞれの第1点に対応するそれぞれの第1回転中心位置を特定し、第2回転中心位置特定部は、回転前及び回転後のそれぞれの第2画像に含まれるそれぞれの第2基準目印に基づいて、それぞれの第1点に対応するそれぞれの第2回転中心位置を特定し、座標系対応関係保持部は、それぞれの第1回転中心位置及び第2回転中心位置に基づく座標系対応関係を保持してもよい。
上記移動体制御システムにおいて、第1画像取得部は、第2撮像部の第2撮像範囲内の任意の第2点を中心に、移動体を回転させた場合に、回転前及び回転後に第1撮像部により撮像された第1画像をそれぞれ取得し、第2画像取得部は、第2点を中心に、移動体を回転させた場合に、回転前及び回転後に第2撮像部により撮像された第2画像をそれぞれ取得し、第1回転中心位置特定部は、回転前及び回転後のそれぞれの第1画像に含まれるそれぞれの第1基準目印に基づいて、第1撮像座標系における第2点に対応する第1回転中心位置を特定し、第2回転中心位置特定部は、回転前及び回転後のそれぞれの第2画像に含まれるそれぞれの第2基準目印に基づいて、第2撮像座標系における第2点に対応する第2回転中心位置を特定し、座標系対応関係保持部は、第2点に対応する第1回転中心位置及び第2回転中心位置に基づく座標系対応関係を保持してもよい。
上記移動体制御システムにおいて、第1画像取得部は、第2撮像範囲内の任意の複数の第2点のそれぞれを中心に順次、移動体を回転させた場合に、それぞれの回転前及び回転後に第1撮像部により撮像された第1画像をそれぞれ取得し、第2画像取得部は、第2撮像範囲内の任意の複数の第2点のそれぞれを中心に順次、移動体を回転させた場合に、それぞれの回転前及び回転後に第2撮像部により撮像された第2画像をそれぞれ取得し、第1回転中心位置特定部は、回転前及び回転後のそれぞれの第1画像に含まれるそれぞれの第1基準目印に基づいて、それぞれの第2点に対応するそれぞれの第1回転中心位置を特定し、第2回転中心位置特定部は、回転前及び回転後のそれぞれの第2画像に含まれるそれぞれの第2基準目印に基づいて、それぞれの第2点に対応するそれぞれの第2回転中心位置を特定し、座標系対応関係保持部は、それぞれの第2点に対応するそれぞれの第1回転中心位置及び第2回転中心位置に基づく座標系対応関係を保持してもよい。
上記移動体制御システムにおいて、座標系対応関係を参照することで、第1撮像部が撮像した第1画像に含まれる移動体が保持するオブジェクトに対して予め定められた第1目印の第1撮像座標系または第2撮像座標系における第1位置、及び第2撮像部が撮像した第2画像に含まれるオブジェクトに対して予め定められた第2目印の第1撮像座標系または第2撮像座標系における第2位置を特定する位置特定部と、第1撮像座標系または第2撮像座標系における第1位置及び第2位置を結ぶ直線と、第1撮像座標系または第2撮像座標系において予め定められた目標線とがなす角度に基づいて、オブジェクトを目標位置に移動すべく、第1撮像部の第1撮像範囲内または第2撮像部の第2撮像範囲内の予め定められた点を中心として移動機構を介して移動体を回転させる移動機構制御部とを備えてもよい。
上記移動体制御システムにおいて、移動機構制御部は、第1目印または第2目印に基づいて定められる点を中心として移動機構を介して移動体を回転させることで、オブジェクトを目標位置に移動させてもよい。
上記移動体制御システムにおいて、移動機構は、予め定められた第1方向に移動体を平行移動させる2つの第1方向移動機構と、第1方向とは異なる第2方向に移動体を平行移動させる第2方向移動機構とを有し、移動機構制御部は、2つの第1方向移動機構及び第2方向移動機構をそれぞれ制御することで、移動体を回転させてもよい。
上記移動体制御システムにおいて、移動体を任意の距離だけ平行移動させた場合に、平行移動前及び平行移動後の第1基準目印の第1撮像座標系における移動距離の実測値と第2基準目印の第2撮像座標系における移動距離の実測値の比を取得する比取得部と、実測値の比に基づき補正係数を特定する補正係数特定部と、オブジェクトを前記目標位置に移動させる場合に、補正係数に基づいて移動体の平行移動量を特定する平行移動量特定部とをさらに備えてもよい。
上記移動体制御システムにおいて、任意点を中心に前記移動体を複数回、回転させた場合に、それぞれの第1画像あるいは第2画像に含まれるそれぞれの第1基準目印あるいは第2基準目印に基づいて特定される第1撮像座標系あるいは第2撮像座標系における回転角度と、移動体に対して予め定められた移動体座標系における回転角度との対応関係を示す回転角度対応関係を保持する回転角度対応関係保持部をさらに備えてもよい。
本発明の一実施形態に係る移動体制御システムは、移動体に対して予め定められた基準目印を含む画像を撮像する撮像部に対して予め定められた撮像座標系と、移動体に対して予め定められた移動体座標系との対応関係を示す座標系対応関係を保持する座標系対応関係保持部と、撮像座標系における撮像範囲内または撮像範囲外の任意点の座標値を指定座標値として特定する指定座標値特定部と、座標系対応関係に基づいて指定座標値に対応する移動体座標系における座標値を特定し、当該特定された座標値を中心に移動体を任意の回転角度で回転移動させた場合に、移動前及び移動後に撮像部により撮像された画像をそれぞれ取得する画像取得部と、それぞれの画像に含まれるそれぞれの基準目印及び回転角度に基づいて、移動体の回転中心位置に対する撮像座標系における座標値を回転中心座標値として特定する回転中心位置特定部と、移動体座標系における座標値と回転中心座標値とに基づいて座標系対応関係を補正する対応関係補正部とを備える。
上記移動体制御システムにおいて、画像取得部は、特定された座標値を中心に移動体を任意の回転角度で複数回、回転移動させた場合に、移動前及び移動後に撮像部により撮像された3以上の画像をそれぞれ取得し、回転中心位置特定部は、それぞれの画像に含まれるそれぞれの基準目印及び回転角度に基づいて、移動体の回転中心位置に対する撮像座標系における座標値を回転中心座標値として特定してもよい。
上記移動体制御システムにおいて、指定座標値特定部は、複数の指定座標値を特定し、画像取得部は、座標系対応関係に基づいて複数の指定座標値に対応する移動体座標系におけるそれぞれの座標値を特定し、当該特定されたそれぞれの座標値を中心に移動体を任意の回転角度で回転移動させた場合に、移動前及び移動後に撮像部により撮像された画像をそれぞれ取得し、回転中心位置特定部は、それぞれの画像に含まれるそれぞれの基準目印及び回転角度に基づいて、移動体の回転中心位置に対する撮像座標系における座標値を複数の指定座標値ごとに回転中心座標値としてそれぞれ特定し、対応関係補正部は、特定されたそれぞれの座標値とそれぞれの回転中心座標値とに基づいて座標系対応関係を補正してもよい。
上記移動体制御システムにおいて、指定座標値特定部は、撮像座標系において予め定められた線形上に配列された座標値に対応する複数の前記指定座標値を特定し、対応関係補正部は、複数の指定座標値ごとに特定された複数の回転中心座標値を線形上に配列された座標値に基づいて補正し、特定されたそれぞれの座標値と補正後のそれぞれの回転中心座標値とに基づいて座標系対応関係を補正してもよい。
上記移動体制御システムにおいて、画像取得部は、指定座標値を中心に移動体を回転させた場合に、回転前及び回転後に、移動体に対して予め定められた第1基準目印を含む第1画像を撮像する第1撮像部により撮像された第1画像をそれぞれ取得する第1画像取得部と、指定座標値を中心に移動体を回転させた場合に、回転前及び回転後に移動体に対して予め定められた第2基準目印を含む第2画像を撮像する第2撮像部により撮像された第2画像をそれぞれ取得する第2画像取得部と、を有し、座標系対応関係保持部は、第1撮像部の第1撮像座標系と第2撮像部の第2撮像座標系との対応関係を保持し、回転中心位置特定部は、第1画像に含まれる第1基準目印及び第2画像に含まれる第2基準目印のそれぞれに基づいて別個に特定される第1撮像撮像座標系および第2撮像座標系のそれぞれの回転中心座標ちに基づいて、何れか一方の撮像座標系における1の回転中心座標値を特定してもよい。
上記移動体制御システムにおいて、画像取得部は、指定座標値を中心に移動体を回転させた場合に、回転前及び回転後に、移動体に対して予め定められた第1基準目印を含む第1画像を撮像する第1撮像部により撮像された第1画像をそれぞれ取得する第1画像取得部と、指定座標値を中心に移動体を回転させた場合に、回転前及び回転後に移動体に対して予め定められた第2基準目印を含む第2画像を撮像する第2撮像部により撮像された第2画像をそれぞれ取得する第2画像取得部とを有し、座標系対応関係保持部は、第1撮像部の第1撮像座標系と第2撮像部の第2撮像座標系との対応関係を保持し、指定座標値特定部は、第1基準目印に基づいて特定する任意点及び第2基準目印に基づいて特定する任意点を結ぶ線分の中点を通る垂線上の任意点を指定座標値として特定してもよい。
上記移動体制御システムにおいて、座標系対応関係を参照することで、第1撮像部が撮像した第1画像に含まれる移動体が保持するオブジェクトに対して予め定められた第1目印の第1撮像座標系または第2撮像座標系における第1位置、及び第2撮像部が撮像した第2画像に含まれるオブジェクトに対して予め定められた第2目印の第1撮像座標系または第2撮像座標系における第2位置を特定する位置特定部と、第1撮像座標系または第2撮像座標系における第1位置及び第2位置を結ぶ直線と、第1撮像座標系または第2撮像座標系において予め定められた目標線とがなす角度に基づいて、オブジェクトを目標位置に移動すべく、撮像範囲内または撮像範囲外の任意の点を中心として移動機構を介して移動体を回転させる移動機構制御部とを備えてもよい。
本発明の一実施形態に係る移動体制御システムは、移動体に対して予め定められた基準目印を含む画像を撮像する撮像部に対して予め定められた撮像座標系と、移動体に対して予め定められた移動体座標系との対応関係を示す座標系対応関係を保持する座標系対応関係保持部と、撮像座標系における撮像範囲内または撮像範囲外の任意点の座標値を指定座標値として特定する指定座標値特定部と、座標系対応関係に基づいて指定座標値に対応する移動体座標系における座標値を特定し、当該特定された座標値を中心に移動体を任意の回転角度で回転移動させた場合に、移動前及び移動後に撮像部により撮像された画像をそれぞれ取得する画像取得部と、それぞれの画像に含まれるそれぞれの基準目印及び回転角度に基づいて、移動体の回転中心位置に対する撮像座標系における座標値を回転中心座標値として特定する回転中心位置特定部と、回転中心座標値と指定座標値とに基づいて座標系対応関係を補正する対応関係補正部とを備え、画像取得部は、移動体が任意の回転角度による回転移動と平行移動を組み合わせた移動する場合に、移動前及び移動後のいずれの時点においても基準目印が含まれる前記画像を取得する。
上記移動体制御システムにおいて、任意点を中心に前記移動体を複数回、回転させた場合に、それぞれの画像に含まれるそれぞれの基準目印に基づいて特定される撮像座標系における回転角度と、移動体座標系における回転角度との対応関係を示す回転角度対応関係を保持する回転角度対応関係保持部をさらに備えてもよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
一実施形態に係る移動体制御システムの構成例を示す図である。 第1目印及び第2目印を含む第1画像及び第2画像の一例を示す図である。 移動体制御システムの機能ブロックを示す図である。 キャリブレーション部が座標系対応関係を取得する場合の手順の一例を示すフローチャートである。 アライメント部がオブジェクトを目標位置に移動させるべく、アライメントを行う手順の一例を示すフローチャートである。 他の実施形態に係る移動体制御システムの機能ブロックを示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に関わる移動体制御システム100の構成例を示す。移動体制御システム100は、ステージ10、移動機構30、第1撮像部40−1、第2撮像部40−2、及び移動機構制御装置50を備える。
ステージ10は、オブジェクト20を保持する移動体として機能し、ステージ10上にはオブジェクト20が設置される。移動機構30は、ステージ10を水平方向、つまり図1中のXY方向、及び回転方向、つまり図1中のZ方向の任意の回転軸を中心とする回転であるθ方向に移動させる。
第1撮像部40−1は、オブジェクト20の一つの角部20aを含む画像を、ステージ10上のオブジェクト20に対して予め定められた第1目印を含む画像として撮像する。第1撮像部40−1で撮像される画像を「第1画像」という場合がある。なお、本実施形態では、角部20aの頂点20bが第1目印を示す。
第2撮像部40−2は、オブジェクト20の他の角部20cを含む画像を、ステージ10上のオブジェクト20に対して予め定められた第2目印を含む画像として撮像する。第2撮像部40−2で撮像された画像を、「第2画像」という場合がある。なお、本実施形態では、角部20cの頂点20dが第2目印を示す。
移動機構制御装置50は、第1画像内の第1目印及び第2画像内の第2目印に基づいて、オブジェクト20を予め定められた目標位置に移動すべく、移動機構30を介してステージ10の移動を制御する。
また、本実施形態に係る移動体制御システム100では、第1撮像部40−1に対して予め定められた第1撮像座標系と、第2撮像部40−2に対して予め定められた第2撮像座標系との対応関係を示す座標系対応関係を精度よく取得する。本実施形態に係る移動体制御システム100では、その座標系対応関係を参照することで、第1画像に含まれる第1目印及び第2画像に含まれる第2目印の位置を、第1撮像座標系または第2撮像座標系の何れか一方の座標系における座標値としてそれぞれ取得する。さらに、移動体制御システム100は、それぞれの座標値に基づいて、第1撮像部40−1の第1撮像範囲または第2撮像部40−2の第2撮像範囲内の点を中心にオブジェクト20を回転させることで、オブジェクト20を目標位置に移動させる。
なお、本実施形態では、オブジェクト20の移動を、ステージ10を水平方向あるいは回転方向に移動させることで行う例について説明する。しかし、オブジェクト20の移動は必ずしもステージ10の移動でなくてもよい。例えば、ステージ10に設置されたオブジェクト20を、ステージ10の上方に設置された吸着装置により吸着し、吸着装置を水平方向あるいは回転方向に移動させることで、オブジェクト20を移動させてもよい。つまり、この場合、吸着装置が移動体として機能する。
図2は、第1撮像部40−1及び第2撮像部40−2が撮像した第1目印及び第2目印を含む第1画像及び第2画像の一例を示す。符号200が第1画像、符号210が第2画像を示す。また、第1目印である頂点20bと第2目印である頂点20dとを結ぶ直線が符号220で示される。また、第1目印の目標位置が符号204で示され、第2目印の目標位置が符号214で示される。さらに、後述の目標線が符号230で示される。直線220と目標線230とのなす角度が符号222で示される。本実施形態に係る移動体制御システム100では、一点破線で示される目標位置におけるオブジェクト20'にオブジェクト20を移動させるべく、移動体制御システム100がステージ10を制御する。
図3は、移動体制御システム100の機能ブロックを示す。第1撮像部40−1は、第1画像取得部42−1を介して第1画像をキャリブレーション部60及びアライメント部70に提供する。同じく、第2撮像部40−2は、第2画像取得部42−2を介して第2画像をキャリブレーション部60及びアライメント部70に提供する。
移動機構30は、ステージ10をX方向に平行移動させる第1X方向移動機構32及び第2X方向移動機構34、ステージ10をY方向に平行移動させるY方向移動機構36を有する。移動機構30は、第1方向と第1方向とは異なる第2方向に移動可能ないわゆるUVWステージ制御機構であり、第1X方向移動機構32、第2X方向移動機構34、及びY方向移動機構36をそれぞれ制御することで、ステージ10のX方向及びY方向の平行移動と、θ方向の回転移動とを行う。なお、本実施形態では、上記の通り、移動機構30は、UVWステージ制御機構を例に説明する。しかし、移動機構30は、例えば、X方向及びY方向にステージ10を平行移動させる平行移動機構と、平行移動機構によりX方向及びY方向に移動可能でかつθ方向にステージ10を回転させる回転移動機構を有する、いわゆるXYθステージ制御機構でもよい。
移動機構制御装置50は、第1画像取得部42−1、第2画像取得部42−2、キャリブレーション部60、座標系対応関係保持部66、アライメント部70、目標位置保持部78、及び移動機構制御部80を備える。
第1画像取得部42−1は、第1撮像部40−1により撮像された第1画像を取得し、取得された第1画像をキャリブレーション部60及びアライメント部70に提供する。第2画像取得部42−2は第2撮像部40−2により撮像された第2画像を取得し、取得された第2画像をキャリブレーション部60及びアライメント部70に提供する。
キャリブレーション部60は、第1画像及び第2画像に含まれるステージ10上の予め定められた第1基準目印及び第2基準目印の移動軌跡に基づいてキャリブレーションを行う。すなわち、キャリブレーション部60は、ステージ10と第1撮像部40−1及び第2撮像部40−2との位置関係、つまり、ステージ10の直交座標系(「ステージ座標系」という場合がある。)と、第1撮像部40−1及び第2撮像部40−2の撮像範囲における直交座標系である第1撮像座標系及び第2撮像座標系との対応関係を示す座標系対応関係を取得する。さらに、キャリブレーション部60は、第1撮像部40−1の撮像範囲に含まれる任意の第1点を中心としてステージ10を回転させた場合の回転中心における第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係を取得する。なお、第1基準目印及び第2基準目印は、ステージ10に対して予め付された点でよい。
座標系対応関係保持部66は、キャリブレーション部60により取得された座標系対応関係を保持する。
アライメント部70は、位置特定部72、平行移動量特定部74、及び回転量特定部76を備え、第1画像に含まれるオブジェクト20に対して予め定められた第1目印及び第2画像に含まれるオブジェクト20に対して予め定められた第2目印に基づいて、オブジェクト20を目標位置に移動させるべく、アライメントを行う。
位置特定部72は、第1画像に基づいて第1目印の第1撮像座標系におけるxy座標値を特定する。また、位置特定部72は、第2画像に基づいて第2目印の第2撮像座標系におけるxy座標値を特定するとともに、当該xy座標値の第1撮像座標系におけるxy座標値を座標系対応関係を参照することで特定する。平行移動量特定部74は、オブジェクト20を目標位置に移動するためのステージ10のX方向及びY方向の平行移動量を特定する。回転量特定部76は、オブジェクト20を目標位置に移動するためのステージ10のθ方向の回転量を特定する。
図4は、キャリブレーション部60がキャリブレーションにおいて、座標系対応関係を取得する場合の手順の一例を示すフローチャートである。キャリブレーション部60は、第1画像に含まれる第1基準目印に基づいて第1撮像座標系とステージ座標系との第1座標系対応関係を取得する。また、キャリブレーション部60は、移動機構30が初期設定の位置にある場合にステージ10を回転させた場合における第1撮像座標系の仮第1回転中心位置を第1画像に含まれる第1基準目印に基づいて取得する(S100)。
より具体的には、キャリブレーション部60は、まず、移動機構制御部80に対して、初期設定位置にステージ10を移動させるように指示する。ステージ10が初期設定位置に移動後、キャリブレーション部60は、ステージ10をX方向及びY方向に予め定められた平行移動量ずつ移動させ、その都度、第1画像に含まれる第1基準目印の第1撮像座標系におけるxy座標値を取得する。キャリブレーション部60は、その都度取得された初期設定位置に対するステージ座標位置のXY座標値及び第1撮像座標系におけるxy座標値を対応づけて、第1座標系対応関係として、座標系対応関係保持部66に保持する。同様に、キャリブレーション部60は、第2画像に含まれる第2基準目印に基づいて第2撮像座標系とステージ座標系との第2座標系対応関係を取得してもよい。なお、基準目印の座標値というときは、撮像座標系において表わされる基準目印全体の姿勢を意味するとともに、場合により基準目印の特徴点の座標位置を意味するものとする。
また、キャリブレーション部60は、初期設定の位置にあるステージ10を回転させる前から回転させた後までに取得されるそれぞれの第1画像に含まれる第1基準目印の軌跡に基づいて第1撮像座標系におけるステージ10の回転中心位置の座標値を仮第1回転中心位置として取得する。
より具体的には、キャリブレーション部60は、Δθ回転移動する毎に取得された複数の第1画像内における複数の第1基準目印の複数の第1撮像座標系におけるxy座標値を第1xy座標値として取得する。キャリブレーション部60は、複数の第1xy座標値に基づいて最小二乗法に基づき仮想円弧を特定する。キャリブレーション部60は、特定された仮想円弧の中心に相当する第1xy座標値に基づいて、第1撮像座標系の回転中心における第1xy座標値を仮第1回転中心位置として取得する。同様に、キャリブレーション部60は、Δθ回転移動する毎に取得された複数の第2画像に基づいて、第2撮像座標系の回転中心における第2xy座標値を仮第2回転中心位置として取得してもよい。
また、キャリブレーション部60は、以下の手順により、回転中心における第1撮像座標系及び第2撮像座標系のxy座標値をそれぞれ仮第1回転中心位置及び仮第2回転中心位置として取得してもよい。
キャリブレーション部60は、第1基準目印を含む第1画像を取得する。キャリブレーション部60は、回転前の第1画像内における第1基準目印の第1撮像座標系におけるxy座標値を回転前の第1xy座標値として取得する。次いで、第1画像内に第1基準目印が含まれる範囲、つまり第1基準目印が第1撮像部40−1の第1撮像範囲に含まれる範囲で、ステージ10を回転させるべく、ステージ10をΔθ回転するように移動機構制御部80に指示する。ステージ10がΔθ回転した後、再度、キャリブレーション部60は、第1基準目印を含む第1画像を取得する。
次いで、キャリブレーション部60は、回転後の第1画像内における第1基準目印の第1撮像座標系におけるxy座標値を回転後の第1xy座標値として取得する。Δθ回転前及びΔθ回転後のそれぞれの第1xy座標値を取得後、キャリブレーション部60は、Δθ回転前及びΔθ回転後のそれぞれの第1xy座標値からなる直線を底辺、移動機構制御部80に対して指示したステージ10の回転量に対応するΔθを頂角とする二等辺三角形を取得する。キャリブレーション部60は、取得された二等辺三角形の頂角Δθにおける頂点の第1撮像座標系におけるxy座標値を、第1撮像座標系の回転中心における仮第1回転中心位置として取得する。
同様に、キャリブレーション部60は、Δθ回転前の第2画像内における第2基準目印の第2撮像座標系におけるxy座標値及びΔθ回転後の第2画像内における第2基準目印の第2撮像座標系におけるxy座標値を、回転前の第2xy座標値及び回転後の第2xy座標値として取得してもよい。さらに、キャリブレーション部60は、回転前の第2xy座標値及び回転後の第2xy座標値を結ぶ直線を底辺、Δθを頂角とする二等辺三角形を取得し、取得された二等辺三角形の頂角Δθにおける頂点の第2撮像座標系におけるxy座標値を、第2撮像座標系の回転中心における仮第2回転中心位置として取得してもよい。
続いて、キャリブレーション部60は、第1撮像座標系対応関係及び仮第1回転中心位置に基づいて第1撮像部40−1の第1撮像範囲に含まれる任意の第1点を指定し、第1点を中心にステージ10を回転するように、移動機構制御部80に指示する(S102)。
より具体的には、キャリブレーション部60は、第1撮像範囲内に含まれる任意の第1撮像座標系におけるxy座標値を第1点の第1xy座標値として選択する。次いで、キャリブレーション部60は、選択された第1xy座標値と、仮第1回転中心位置の第1xy座標値との差分座標値を取得する。さらに、キャリブレーション部60は、仮第1回転中心位置の第1xy座標値から、取得された差分xy座標値だけ移動した位置を回転中心位置としてステージ10を回転させるように移動機構制御部80に指示する。
次いで、キャリブレーション部60は、第1点を中心とした回転前後の第1画像に含まれる第1基準目印に基づいて、第1点の第1撮像座標系におけるxy座標値を第1回転中心位置として取得する(S104)。キャリブレーション部60は、上記のように、最小二乗法に基づく仮想円弧により第1回転中心位置を取得してもよい。また、キャリブレーション部60は、回転前後の第1基準目印を底辺とする二等辺三角形により第1回転中心位置を取得してもよい。
キャリブレーション部60は、第1点を中心とした回転前後の第2画像に含まれる第2基準目印に基づいて、第1点の第2撮像座標系におけるxy座標値を第2回転中心位置として取得する(S106)。
次いで、キャリブレーション部60は、ステップS104及びステップS106において特定された第1回転中心位置及び第2回転中心位置を対応付けて座標系対応関係として座標系対応関係保持部66に保持する(S108)。
また、キャリブレーション部60は、第1回転中心位置及び第2回転中心位置を対応付けた座標系対応関係が、予め定められた基準数取得できたか否かを判定する(S110)。なお、第1撮像部40−1及び第2撮像部40−2が第1撮像座標系及び第2撮像座標系として、正確な直交座標系を有していれば、基準数は2以上でもよい。また、例えばレンズの歪などの影響により、第1撮像部40−1または第2撮像部40−2が正確な直交座標系を有しない場合には、基準数は3以上でもよい。
なお、上記では、第1撮像範囲内の任意の複数の第1点を中心に回転させた場合におけるそれぞれの第1点に対応する第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係を取得する例について説明した。しかし、第2撮像範囲内の任意の複数の第2点を中心にさらに回転させた場合におけるそれぞれの第2点に対応する第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係をさらに取得してもよい。このように、第1撮像範囲内の点及び第2撮像範囲内の点をそれぞれ中心に回転させた場合における第1撮像座標系と第2撮像座標系との対応関係を取得することで、より正確に第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係を取得することができる。
本実施形態では、アライメント部70が、上記の第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係を利用して、オブジェクト20を目標位置に移動させる。
図5は、アライメント部70がオブジェクト20を目標位置に移動させるべく、アライメントを行う手順の一例を示す。なお、オブジェクト20の目標位置に対応する第1目印の第1撮像座標系における目標第1xy座標値及び第2目印の第2撮像座標系における目標第2xy座標値は予め移動機構制御装置50が保持している。例えば、ステージ10上の目標位置にオブジェクト20を予め正確に設置しておき、その状態で撮像された第1画像及び第2画像に基づいて、移動機構制御装置50は、第1目印の第1撮像座標系における目標第1xy座標値及び第2目印の第2撮像座標系における目標第2xy座標値を予め取得して、保持する。
さて、アライメントを行う場合、まずステージ10にオブジェクト20を設置する。次いで、アライメント部70は、第1撮像部40−1が撮像するオブジェクト20に対して予め定められた第1目印、つまり、角部20aを含む第1画像を取得する。アライメント部70は、第1画像に基づいて、角部20aの頂点20bの第1撮像座標系におけるxy座標値を第1位置として特定する(S200)。また、アライメント部70は、第2撮像部40−2が撮像するオブジェクト20に対して予め定められた第2目印、つまり、角部20cを含む第2画像を取得する。アライメント部70は、第2画像に基づいて、角部20cの頂点20dの第2撮像座標系におけるxy座標値を特定する(S202)。さらに、アライメント部70は、第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係を参照することで、特定された第2撮像座標系におけるxy座標値に対応する第1撮像座標系におけるxy座標値を第2位置として特定する(S204)。
続いて、アライメント部70は、予め取得している目標第1xy座標値と、ステップ200で特定された第1位置に対応するxy座標値との差分を取得し、その差分をステージ10の平行移動量として特定する。
次いで、アライメント部70は、ステップ200で特定された第1位置と、ステップ204で特定された第2位置とを結ぶ直線と、目標第1xy座標値と目標第2xy座標値に対応する第1撮像座標系のxy座標値とを結ぶ目標線とがなす角度を取得する(S208)。アライメント部70は、取得された角度をステージの回転量として特定する(S210)。
平行移動量及び回転量を特定後、アライメント部70は、まず、ステージ10を特定された平行移動量だけX方向及びY方向に移動するように移動機構制御部80に指示する。移動後、アライメント部70は、第1目印を中心に、つまり、目標第1xy座標値を中心に、特定された回転量だけθ方向にステージ10を回転するように移動機構制御部80に指示する。以上により、アライメント部70は、ステージ10を目標位置に移動させることができる。
なお、上記では、アライメント部70は、ステージ10を平行移動させた後に、目標第1xy座標値を中心に回転させることで、ステージ10を目標位置に移動させる例について説明した。しかし、アライメント部70は、以下のようにステージ10を目標位置に移動させてもよい。
すなわち、アライメント部70は、ステップ200で特定される第1位置と、ステップ204で特定される第2位置とを結ぶ直線と、目標第1xy座標値と目標第2xy座標値に対応する第1撮像座標系のxy座標値とを結ぶ目標線とがなす角度を回転量として取得する。次いで、アライメント部70は、第1撮像範囲内の任意の点を中心として、取得された回転量だけ移動させた場合の、第1目印の第1撮像座標系のxy座標値及び第2目印の第1撮像座標系のxy座標値を取得する。アライメント部70は、取得された第1撮像座標系における第1目印のxy座標値と目標第1xy座標値との差分xy座標値を取得する。また、アライメント部70は、取得された第1撮像座標系における第2目印のxy座標値と、目標第2xy座標値に対応する第1撮像座標系のxy座標値との差分xy座標値を取得する。アライメント部70は、取得されたそれぞれの差分xy座標値の平均値を取ることで、ステージ10を目標位置に移動するための、X方向及びY方向の平行移動量を特定する。次いで、アライメント部70は、取得された回転量だけステージ10を移動させる。回転後、アライメント部70は、さらに特定された平行移動量だけステージ10を移動させることで、オブジェクト20を目標位置に移動させる。
また、上記では、アライメント部70は、座標系対応関係を参照することで、第2撮像座標系におけるxy座標値を第1撮像座標系におけるxy座標値に変換することで、オブジェクト20を目標位置に移動させる平行移動量及び回転量を特定する例について説明した。しかし、アライメント部70は、座標系対応関係を参照することで、第1撮像座標系におけるxy座標値を第2撮像座標系におけるxy座標値に変換することで、オブジェクト20を目標位置に移動させる平行移動量及び回転量を特定してもよい。
上記の通り、撮像部の撮像範囲内の任意点を中心としてステージ10を回転させる方法により、ステージ座標系と、第1撮像座標系及び第2撮像座標系との対応関係を示す座標系対応関係を精度良く特定することができる。しかし、より高い精度が要求される場合には、複数の撮像部の間のピッチ精度を向上させることを目的として、さらに、以下の処理を行うことができる。
上記の方法によりある程度の精度のキャリブレーションが完了した後に、キャリブレーション部60は、移動体を平行移動させた場合に移動体に対して予め定められた各基準目印の各撮像座標系における各移動距離の実測値を算出し、算出された実測値の比に基づいて補正係数を算出する。さらに、キャリブレーション部60は、補正係数に基づいて、オブジェクト20を目標位置に移動するためのステージ10のX方向及びY方向の平行移動量を特定する。ここで、移動距離の実測値とは、予めステージ座標系における距離(例えばミリメートル単位で表わされる)と各撮像座標系における距離(ピクセル単位で表わされる)の対応関係が一定精度以上で把握されていることを前提として、各撮像座標系において実際に計測される基準目印の移動量を指すものとする。
具体的には、キャリブレーション部60は、移動機構制御部80に対して、移動前後において第1撮像部40−1により撮像される第1画像内に第1基準目印が収まり、かつ、第2撮像部40−2により撮像される第2画像内に第2基準目印が収まる範囲で、ステージ10を一方向(例えばステージ座標系のX方向)に予め定められた距離だけ平行移動させるように指示する。キャリブレーション部60は、予め定められた距離だけステージ10を平行移動させる場合に、第1画像に基づいて特定される第1基準目印の移動距離の実測値、及び第2画像に基づいて特定される第2基準目印の移動距離の実測値との比に基づき、補正係数を特定する。ここでは、キャリブレーション部60は、第1撮像座標系における第1基準目印の移動距離の実測値を基準実測距離とし、第2撮像座標系における第2基準目印の移動距離の実測値を基準実測距離に対して正規化する係数を特定する。
例えば、ステージ10のステージ座標系におけるX方向への移動が1.000mmであり、第1撮像座標系における移動距離の実測値が1.000mm、第2撮像座標系における移動距離の実測値が何らかの要因により1.001mmであった場合、アライメント部70は、第2撮像座標系に係る補正係数を1.001(1.001/1.000)とし、この係数で平行移動量を除算した値を第2撮像座標系に係る補正後の平行移動量として置き換える。この処理により、複数の撮像座標系がそれぞれ算出する平行移動量の計測誤差を縮小することができる。
上記の通り、複数の撮像部の間のピッチ精度を向上させる場合、移動距離の計測回数は少なくとも1回(撮像回数は各撮像部につき平行移動前後の2回)で十分である。しかし、キャリブレーション部60は、平行移動の始点及び終点を変更して、2回以上移動距離の実測値を計測し、それぞれの実測値の平均値に基づいて補正係数を特定してもよい。
なお、上記の説明においては、ステージ10上の第1基準目印及び第2基準目印を用いたが、ステージ10上に配置されたオブジェクトに対して予め定められた第1目印及び第2目印を第1基準目印及び第2基準目印として用いてもよい。
以上の通り、本実施形態によれば、第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係をキャリブレーションにおいて予め正確に取得できる。よって、例えば、複数の撮像部が撮像したそれぞれの画像に基づいて移動体を制御する移動体制御システムにおいて、それぞれの撮像部に対して定められたそれぞれの撮像座標系の対応関係の精度が悪いことにより、オブジェクトの目標位置への移動に時間が掛かることを防ぐことができる。例えば、従来、それぞれの撮像部の対応関係の精度を正確に保つためには、それぞれの撮像部を予め定められた位置に正確に設置する必要があった。しかし、本実施形態によれば、それぞれの撮像部を設置後に、それぞれの撮像部が撮像した画像に基づいて制度よくそれぞれの撮像部の対応関係を取得することができる。したがって、それぞれの撮像部を予め定められた位置に正確に設置しなくてもよい。また、いずれかの撮像部の設置位置がずれたとしても、上記のようなキャリブレーションを行うことで、それぞれの撮像部の対応関係を改めて精度よく取得することができる。
また、例えば第1撮像範囲内の点を中心とした回転による第1基準目印の軌跡に基づき描かれる円弧の半径は、第1撮像範囲外の点を中心とした回転による第1基準目印の軌跡に基づき描かれる円弧の半径より小さい。よって、第1撮像範囲内の点を中心とした回転による円弧に基づいて特定される第1回転中心位置は、第1撮像範囲外の点を中心した回転による円弧に基づいて特定される第1回転中心位置よりも誤差が少ない。同様に、第1撮像範囲内の点を中心としてステージ10を回転させた場合、取得される二等辺三角形の2等辺のそれぞれの長さは比較的に短く、頂角の角度は比較的大きい。一方、第1撮像範囲外の点を中心としてステージ10を回転させた場合、取得される二等辺三角形の2等辺のそれぞれの長さは比較的に長く、頂角の角度は比較的小さい。よって、二等辺三角形に基づいて取得される第1回転中心位置に含まれる誤差は、第1撮像範囲内の点を中心として回転させた場合のほうが、第1撮像範囲外を中心として回転させた場合より小さい可能性が高い。
そこで、上記のように、例えば、第1撮像範囲内の点を中心としてステージ10を回転させることでステージ10を目標位置に移動させる場合、回転中心の第1撮像座標系における第1xy座標値は、比較的正確に特定される。よって、オブジェクト20を目標位置に移動させるために必要なステージ10の平行移動量及び回転量は比較的正確に特定される。よって、オブジェクトの目標位置への移動に時間が掛かることを防ぐことができる。
さらに、従来は、第1撮像座標系とステージ座標系との対応関係及び第2撮像座標系とステージ座標系との対応関係が、それぞれ個別に保持されていた。しかし、ステージ座標系と第1撮像座標系との対応関係、及びステージ座標系と第2撮像座標系との対応関係にそれぞれ誤差が含まれている場合、ステージ座標系を介して取得される第1撮像座標系と第2撮像座標系との対応関係は多くの誤差が含まれる。よって、アライメント部70が、ステージ座標系を介して取得される第1撮像座標系と第2撮像座標系との対応関係に基づいてオブジェクト20を目標位置に移動させる場合、オブジェクト20の目標位置への移動に時間が掛かる。
一方、本実施形態では、キャリブレーション部60は、ステージ10を第1撮像範囲内の複数の第1点を中心に回転させた場合におけるそれぞれの第1点に対応する第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係を取得する。つまり、ステージ座標系を介さずに第1撮像座標系と第2撮像座標系との対応関係が取得される。よって、本実施形態によれば、ステージ座標系を介して取得される第1撮像座標系と第2撮像座標系との対応関係に基づいてステージ10が制御される場合に比べて、オブジェクト20の目標位置への移動に係る時間を短縮することができる。
上記の実施形態では、撮像範囲内の任意点に関するキャリブレーション精度を向上させる方法について説明した。しかし、当該方法のみによる場合、撮像座標系に基づいて撮像範囲外において特定される任意点に関する撮像座標系とステージ座標系の対応関係については考慮されない。下記では、特筆しない限り1台の撮像部を用いたシステム構成を前提として、撮像範囲内に限定されない任意点における撮像座標系とステージ座標系の対応関係を精度良く把握することを目的とするキャリブレーション方法(「空間キャリブレーション」という場合がある。)について述べる。
図6は、他の実施形態に係る移動体制御システムの機能ブロックを示す。図6では、キャリブレーション部60が、指定座標値特定部65と対応関係補正部67とを備える点で、図3に示す移動体制御システムの機能ブロックとは異なる。指定座標値特定部65は、ステージ10を回転させる場合に回転中心位置として指定される指定座標値として、第1撮像部40−1の撮像範囲内あるいは撮像範囲外の任意の第1撮像座標系における座標値を特定する。対応関係補正部67は、指定座標値に対応する位置を中心としてステージ10を回転させることにより、後述の手順により、ステージ座標系と第1撮像座標系との対応関係を示す座標系対応関係を補正する。
キャリブレーション部60は、図4のステップS100において説明した手順により、第1撮像座標系とステージ座標系との座標系対応関係を予め取得しておく。キャリブレーション部60は、空間キャリブレーションの処理開始時のステージ10の姿勢を第1姿勢とする。ステージ10が第1姿勢にある場合、第1画像内に第1基準目印が存在する。
次いで、キャリブレーション部60は、指定座標値特定部65において、第1撮像部40−1の第1撮像範囲内に限定されない第1撮像座標系における任意点を指定座標値(Px,Py)として特定する。キャリブレーション部60は、座標系対応関係を参照して指定座標値(Px,Py)に対応するステージ座標系上の座標値(px,py)を特定する。キャリブレーション部60は、特定された座標値(px,py)を中心として、回転移動前後において第1画像内に第1基準目印が収まる範囲の任意の回転角度でステージ10を回転させるように移動機構制御部80に指示する。このようにして回転移動した後のステージ10の姿勢を第2姿勢とする。
キャリブレーション部60は、第1姿勢及び第2姿勢における第1基準目印の位置を第1撮像座標系における座標値としてそれぞれ特定する。さらに、キャリブレーション部60は、これらの座標値と上記回転角度に基づいて算出される回転中心位置を第1撮像座標系における座標値(Qx,Qy)として取得する。あるいは、キャリブレーション部60は、同様の回転移動によりステージ10を3以上の姿勢におき、第1画像内における第1基準目印の3以上の座標値に基づいて最小二乗法に基づき仮想円弧を特定し、特定された仮想円弧の中心に相当する座標値を座標値(Qx,Qy)として取得してもよい。
撮像範囲内および撮像範囲外において完全なキャリブレーションが実現されている場合、座標値(Px,Py)と座標値(Qx,Qy)は一致する。しかし、通常は不一致が生じる。そこで、キャリブレーション部60は、座標値(Px,Py)と座標値(Qx,Qy)とに基づいて、補正された座標値(Rx,Ry)を補正後指定座標値として特定する。本実施形態においては、座標値(Qx,Qy)の信頼度が高いものとして、キャリブレーション部60は、座標値(Qx,Qy)をそのまま補正後指定座標値(Rx,Ry)と決定する。次いで、キャリブレーション部60は、対応関係補正部67において、特定された座標値(px,py)と補正後指定座標値(Rx,Ry)とを対応付けることで、座標系対応関係を補正する。
代替的に、キャリブレーション部60は、座標値(Px,Py)と座標値(Qx、Qy)とに任意の重みを付与し、又は重み付けされた座標値(Px,Py)と座標値(Qx,Qy)との平均値をとることによって、補正後指定座標値を特定してもよい。
さらに、代替的に、任意の回転角度でステージ10を回転させるように移動機構制御部80に指示する場合に、キャリブレーション部60は、回転移動前後において第1画像内に第1基準目印が収まるという限定をせずに、複数の姿勢における第1基準目印の座標値を取得してもよい。ただし、第1基準目印が撮像範囲外に移動した場合、撮像部により基準目印を撮像することができなくなるので、キャリブレーション部60は、第1基準目印を撮像範囲内に収めるべく、ステージ10を回転移動後に平行移動させる。
具体的な手順は次の通りである。まず、キャリブレーション部60は、補正前の指定座標値(Px,Py)を特定する。キャリブレーション部60は、撮像範囲内に存在する撮像座標系における第1基準目印の座標値(M1x,M1y)に着目し、補正前の指定座標値(Px,Py)を中心に任意の回転角度でステージ10を回転させる。この場合、第1基準目印は一旦撮像範囲外に移動する可能性がある。次に、キャリブレーション部60は、補正前の指定座標値(Px、Py)と上記任意の回転角度に基づいて第1基準目印の計算上の移動先の位置を座標値(M2x、M2y)として特定する。さらに、キャリブレーション部60は、座標値(M2x、M2y)と座標値(M1x、M1y)とのxy方向の計算上の差分値(M2x−M1x、M2y−M1y)を算出する。次いで、キャリブレーション部60は、第1基準目印をもとの位置に近付けるべく、差分値(M2x−M1x、M2y−M1y)に相当する量だけ、ステージ10を平行移動させる。上記の回転移動と平行移動は、実際には、合成された一回の動きとして実行することができることは当業者に明らかである。
ここで、撮像範囲の内外において完全なキャリブレーションが実現している場合、第1画像から特定される平行移動後の第1基準目印の第1撮像座標系における座標値(M3x、M3y)は、座標値(M1x、M1y)と一致する。しかし、通常は不一致が生じる。この不一致の要因は、補正前の指定座標値(Px、Py)の指定精度が十分でないことに起因する可能性が高い。つまり、座標値(M1x、M1y)に対する座標値(M3x、M3y)のずれ量は、補正前の指定座標値(Px、Py)に対する真の回転中心位置により近い座標値とのずれ量を表わしている可能性が高い。そこで、キャリブレーション部60は、座標値(M2x、M2y)に上記で算出されたxy方向の計算上の差分値を加算することにより、ステージ10が回転後、かつ、平行移動前の姿勢にある場合の第1基準目印の位置を座標値(M4x、M4y)として取得する。
このようにして得られた座標値(M1x、M1y)及び座標値(M4x、M4y)は、回転中心位置を第1撮像座標系における座標値(Qx、Qy)として取得することに関する既述の説明における「第1姿勢及び第2姿勢における第1基準目印の位置」に置き換えることができる。同様の手順により、複数の回転移動に対応する第1基準目印の位置を取得することができる。なお、補正後指定座標値(Rx、Ry)を特定するための以降の手順は既述の通りである。
ここで、第1基準目印をもとの位置に近付けるべく、ステージ10を平行移動させるとするステップは、回転角度を比較的大きくし、かつ第1基準目印を撮像範囲内に収め、第1基準目印の移動軌跡が示す仮想円弧に基づいて補正後指定座標値(Rx、Ry)を特定することが目的である。よって、平行移動量は撮像範囲に基づいて決定すればよく、上記の例のように差分値(M2x−M1x、M2y−M1y)ではなくてもよい。また、上記の平行移動のステップを含むキャリブレーション方法は、撮像部を介して画像処理装置において任意点を指定する際の指定精度を向上させるものである。よって、本明細書に記載する様々なキャリブレーション方法と組み合わせ、或いは一部を置き換え、または単独で実施可能であり、このような各実施態様はいずれも本願の発明の概念に包含される。
同様に、キャリブレーション部60は、指定座標値特定部65において、撮像座標系において予め定められた線形上に配列された線形座標値、例えば予め定められた格子点のいずれかに対応する座標値にそれぞれ対応する複数の指定座標値を特定し、それぞれの指定座標値について補正後指定座標値を特定する。さらに、キャリブレーション部60は、特定された補正後指定座標値を線形座標値に対応させるべく、さらに補正する。つまり、キャリブレーション部60は、補正後指定座標値が予め定められた線形上に配置されるように、補正後指定座標値をさらに補正する。キャリブレーション部60は、補正された補正後指定座標値とステージ座標系の座標値とを対応づけるべく座標系対応関係を補正する。これにより、撮像範囲内に限定されない広い範囲における空間把握精度を向上させることができる。
空間キャリブレーションの実行により特定される補正後指定座標値の分布範囲及び数は実際の用途に応じて任意に決定することができる。しかし、広い範囲で多数の計測を行う程、空間把握精度の向上が期待できるとともに、非計測点について精度良く補間をすることができる。補正指定座標値の各点の配列が非線形である場合、その歪みは多項式変換の数学的モデルを用いて線形に補正可能である。多項式変換の係数の数は(n+1)×(n+2)で表わされる。よって、3次多項式を指定した場合、変換を定義する係数の数は20となる。この場合、20以上の補正後指定座標値を取得する。キャリブレーション部60は、各点の配列が線形に補正された20以上の補正後指定座標値とステージ座標系の座標値とを対応付けることで、座標系対応関係を補正してもよい。
撮像範囲外におけるキャリブレーション精度を向上させるメリットとしては、アライメント時に、撮像範囲内外の如何なる任意の位置を回転中心として特定した場合でもステージ10の回転移動後の姿勢を高い精度で予測できることが挙げられる。他のメリットとして、撮像範囲内の画像に含まれる情報に基づいて、撮像範囲外に存在する物体の位置を正確に特定できることが挙げられる。例えば、撮像範囲内にオブジェクトの一部が見えている場合に、その部分との相対的位置関係が既知である他の一部が撮像範囲外のどの位置に存在するかを計測することができる。いわば「見えない場所を見る」ことができることにより、単一のオブジェクトに対する自動化された作業工程が増加しても撮像部の必要台数を抑えることができる可能性がある。
また、いわゆるUVWステージ制御機構又はこれに類似する機構を用いたシステムでは、機械的な移動限界に起因する制約がある。しかし、オブジェクトをその設置位置から目標位置に移動させるための複数のボール螺子とモーターとを備える移動機構の各駆動部の移動量は、多数の組み合わせが有り得る。このようなシステムでは、望ましい基準に従って戦略的に回転中心を選択することができる。例えば、オブジェクトが置き換えられる度に、移動機構の駆動部の累積的な摩耗度合いを最小化する、または負荷を分散するような移動量の組み合わせに対応する移動経路でオブジェクトを移動させることが可能となる。その場合でも制御の精度が維持される。また、生産工程でオブジェクトが置き換えられる度にステージ10を基本姿勢に戻さない場合でも、制御の精度が維持される。
また、2台の撮像部を用いるシステム構成を採用する場合、第1撮像座標系と第2撮像座標系との対応関係を示す座標系対応関係を参照することで、第1画像に含まれる第1基準目印及び第2画像に含まれる第2基準目印の位置をともに1の撮像座標系におけるxy座標値として座標値(Px、Py)、座標値(Qx、Qy)、及び座標値(Rx、Ry)を特定することができる。具体的には、上述の座標値(Qx、Qy)を取得するステップにおいて、キャリブレーション部60は、第1基準目印の移動軌跡に基づく回転中心位置(Q1x、Q1y)と第2基準目印の移動軌跡に基づく回転中心位置(Q2x、Q2y)をそれぞれ算出し、これらの座標値に基づき座標値(Qx、Qy)を特定することができる。例えば、座標値(Q1x、Q1y)と座標値(Q2x、Q2y)との平均値を座標値(Qx、Qy)とすることができる。
また、撮像範囲内に限定されない任意点を補正前の指定座標値(Px、Py)として特定するステップにおいては、第1画像に含まれる第1基準目印に基づいて特定する任意点と第2画像に含まれる第2基準目印に基づいて特定する任意点とを結ぶ直線の中点を通る垂線上の任意点を補正前の指定座標値(Px、Py)として特定してもよい。これにより、2つの撮像範囲を利用して、より高い精度で座標値(Qx、Qy)を特定することができる。回転中心の算出の精度が円弧の半径及び回転角度に起因することについては既に説明した通りである。さらに、ステージ10を撮像部に対して移動させることにより、第1基準目印及び第2基準目印を別の位置に移動して同様の処理を繰り返してもよい。これにより、上記の垂線上の任意点を多数得ることができる。つまり、2つの撮像範囲を利用することにより、多数の補正後指定座標値を特定することができる。
従来技術が特定の回転中心点(一般的にはステージの基本姿勢における制御中心であり、いわゆるXYθステージ制御機構においてはX軸とY軸の交点)の計測精度の向上に主眼を置いてきた。一方、本実施形態では、撮像部を介して撮像部が撮像した画像を処理する画像処理装置が積極的に制御位置を与え、制御位置に基づいて自在に移動体を制御する。つまり、本実施形態では、制御ストラテジーに柔軟性をもたらすことを意図している。
以上の通り、補正後指定座標値を特定することによりステージ10を精度良く制御できることとなる。しかし、ステージ10に対して指示する回転角度と実際の回転角度の対応関係については未だ検証されていない。そのため、ステージ10は指定した座標値に正確に対応する制御位置を中心として回転したとしても、撮像座標系における回転角度とステージ10の実際の回転角度に差異が生じる可能性がある。このような差異は、オブジェクトを所望の位置に移動させるという本実施形態が適用されることを予定するシステムの最終的な目的の障害となる。そこで、下記に、指定した回転角度に従って正確に回転移動が得られることを目的とするキャリブレーション方法(「回転角度キャリブレーション」という場合がある。)について述べる。
回転角度キャリブレーションの開始にあたり、キャリブレーション部60は、まず、移動機構制御部80に対して、初期設定位置にステージ10を移動させるように指示する。ステージ10が初期設定位置に移動後、キャリブレーション部60は、ステージ10をθ方向に任意の角度ずつ移動させ、その都度、画像に含まれる基準目印の撮像座標系におけるxy座標値を取得する。キャリブレーション部60は、その都度取得された初期設定位置に対するステージ座標系及び撮像座標系におけるステージのxy座標値、並びに、ステージ座標系における回転角度及び撮像座標系における回転角度を対応づけて、回転角度対応関係として、回転角度対応関係保持部69に保持する。ステージ座標系における回転角度は、移動機構制御部80が認識している回転角度である。撮像座標系における回転角度は、各回転移動につき回転中心点および移動前後の基準目印によって仮想的に描かれる二等辺三角形の底角を構成する2頂点の座標値から、三角関数の原理に基づいて算出することができる。なお、各回転移動の任意の回転角度が等角度である必要はない。なお、アライメント部70は、回転角度対応関係を参照して、ステージ10を目標位置に移動させるためのステージ10の回転角度を特定する。つまり、アライメント部70は撮像座標系において特定した回転角度に対応するステージ座標系における回転角度を回転角度対応関係を参照して特定する。
回転中心位置、及び回転角度を変えて計測点を多くするほど、回転角度対応関係の精度は向上する。計測されない角度については、任意の方法により補間を行うことができる。なお、撮像範囲に対して回転角度を大きく取って角度キャリブレーションを行う場合は、基準目印を撮像範囲内に収めるための処理として前述したのと同じ方法により、回転移動と平行移動を組み合わせることで、撮像範囲に基づく制約条件を回避することができる。
なお、本実施形態では主に2台の撮像装置の撮像座標系のキャリブレーション方法を示した。しかし、3台以上の撮像装置の撮像座標系を相互に、かつ、多重的にキャリブレーションしてもよい。例えば、3台の撮像装置A、B、及びCを用いる場合、本実施形態の構成を撮像装置AB間、BC間、及びAC間に適用することにより、AB間、BC間のみに適用した場合よりも、システム全体の精度を向上させることができる。さらに、このような相互かつ多重的なキャリブレーションによれば、複数の一般的に販売される比較的安価な撮像装置を組み合わせることにより、従来技術では対応不可能であった広範囲の作業領域をあたかも単一の巨大な撮像装置で撮像するかのように取り扱うことができる。
なお、本実施形態に係る移動機構制御装置50は、上述のキャリブレーション及びアライメントに関わる各種処理を行うプログラムをインストールし、このプログラムをコンピュータに実行させることで、構成してもよい。つまり、コンピュータにキャリブレーション及びアライメントに関わる各種処理を行うプログラムを実行させることにより、第1画像取得部42−1、第2画像取得部42−2、キャリブレーション部60、座標系対応関係保持部66、アライメント部70、目標位置保持部78、及び移動機構制御部80としてコンピュータを機能させることで、移動機構制御装置50を構成してもよい。
コンピュータはCPU、ROM、RAM、EEPROM(登録商標)等の各種メモリ、通信バス及びインタフェースを有し、予めファームウェアとしてROMに格納された処理プログラムをCPUが読み出して順次実行することで、移動機構制御装置50として機能する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 ステージ
20 オブジェクト
30 移動機構
32 第1X方向移動機構
34 第2X方向移動機構
36 Y方向移動機構
40−1 第1撮像部
40−2 第2撮像部
42−1 第1画像取得部
42−2 第2画像取得部
50 移動機構制御装置
60 キャリブレーション部
66 座標系対応関係保持部
70 アライメント部
72 位置特定部
74 平行移動量特定部
76 回転量特定部
78 目標位置保持部
80 移動機構制御部
100 移動体制御システム

Claims (20)

  1. 移動体に対して予め定められた第1基準目印を含む第1画像を撮像する第1撮像部の第1撮像範囲内の任意の第1点を中心に前記移動体を回転させた場合に、回転前及び回転後に前記第1撮像部により撮像された前記第1画像をそれぞれ取得する第1画像取得部と、
    前記第1点を中心に前記移動体を回転させた場合に、回転前及び回転後に前記移動体に対して予め定められた第2基準目印を含む第2画像を撮像する第2撮像部により撮像された前記第2画像をそれぞれ取得する第2画像取得部と、
    それぞれの前記第1画像に含まれるそれぞれの前記第1基準目印に基づいて、前記第1撮像部に対して予め定められた第1撮像座標系における前記第1点に対応する第1回転中心位置を特定する第1回転中心位置特定部と、
    それぞれの前記第2画像に含まれるそれぞれの前記第2基準目印に基づいて、前記第2撮像部に対して予め定められた第2撮像座標系における前記第1点に対応する第2回転中心位置を特定する第2回転中心位置特定部と、
    前記第1回転中心位置及び前記第2回転中心位置に基づく前記第1撮像座標系及び前記第2撮像座標系の対応関係を示す座標系対応関係を保持する座標系対応関係保持部と、
    を備える移動体制御システム。
  2. 前記第1画像取得部は、前記第1撮像範囲内の任意の複数の第1点のそれぞれを中心に順次、前記移動体を回転させた場合に、それぞれの回転前及び回転後に前記第1撮像部により撮像された前記第1画像をそれぞれ取得し、
    前記第2画像取得部は、前記第1撮像範囲内の任意の複数の第1点のそれぞれを中心に順次、前記移動体を回転させた場合に、それぞれの回転前及び回転後に前記第2撮像部により撮像された前記第2画像をそれぞれ取得し、
    前記第1回転中心位置特定部は、回転前及び回転後のそれぞれの前記第1画像に含まれるそれぞれの前記第1基準目印に基づいて、それぞれの前記第1点に対応するそれぞれの前記第1回転中心位置を特定し、
    前記第2回転中心位置特定部は、回転前及び回転後のそれぞれの前記第2画像に含まれるそれぞれの前記第2基準目印に基づいて、それぞれの前記第1点に対応するそれぞれの前記第2回転中心位置を特定し、
    前記座標系対応関係保持部は、それぞれの前記第1回転中心位置及び前記第2回転中心位置に基づく前記座標系対応関係を保持する
    請求項1に記載の移動体制御システム。
  3. 前記第1画像取得部は、前記第2撮像部の第2撮像範囲内の任意の第2点を中心に、前記移動体を回転させた場合に、回転前及び回転後に前記第1撮像部により撮像された前記第1画像をそれぞれ取得し、
    前記第2画像取得部は、前記第2点を中心に、前記移動体を回転させた場合に、回転前及び回転後に前記第2撮像部により撮像された前記第2画像をそれぞれ取得し、
    前記第1回転中心位置特定部は、回転前及び回転後のそれぞれの前記第1画像に含まれるそれぞれの前記第1基準目印に基づいて、前記第1撮像座標系における前記第2点に対応する前記第1回転中心位置を特定し、
    前記第2回転中心位置特定部は、回転前及び回転後のそれぞれの前記第2画像に含まれるそれぞれの前記第2基準目印に基づいて、前記第2撮像座標系における前記第2点に対応する前記第2回転中心位置を特定し、
    前記座標系対応関係保持部は、前記第2点に対応する前記第1回転中心位置及び前記第2回転中心位置に基づく前記座標系対応関係を保持する
    請求項1または2に記載の移動体制御システム。
  4. 前記第1画像取得部は、前記第2撮像範囲内の任意の複数の第2点のそれぞれを中心に順次、前記移動体を回転させた場合に、それぞれの回転前及び回転後に前記第1撮像部により撮像された前記第1画像をそれぞれ取得し、
    前記第2画像取得部は、前記第2撮像範囲内の任意の複数の第2点のそれぞれを中心に順次、前記移動体を回転させた場合に、それぞれの回転前及び回転後に前記第2撮像部により撮像された前記第2画像をそれぞれ取得し、
    前記第1回転中心位置特定部は、回転前及び回転後のそれぞれの前記第1画像に含まれるそれぞれの前記第1基準目印に基づいて、それぞれの前記第2点に対応するそれぞれの前記第1回転中心位置を特定し、
    前記第2回転中心位置特定部は、回転前及び回転後のそれぞれの前記第2画像に含まれるそれぞれの前記第2基準目印に基づいて、それぞれの前記第2点に対応するそれぞれの前記第2回転中心位置を特定し、
    前記座標系対応関係保持部は、それぞれの前記第2点に対応するそれぞれの前記第1回転中心位置及び前記第2回転中心位置に基づく前記座標系対応関係を保持する
    請求項3に記載の移動体制御システム。
  5. 前記座標系対応関係を参照することで、前記第1撮像部が撮像した第1画像に含まれる前記移動体が保持するオブジェクトに対して予め定められた第1目印の前記第1撮像座標系または前記第2撮像座標系における第1位置、及び前記第2撮像部が撮像した第2画像に含まれる前記オブジェクトに対して予め定められた第2目印の前記第1撮像座標系または前記第2撮像座標系における第2位置を特定する位置特定部と、
    前記第1撮像座標系または前記第2撮像座標系における前記第1位置及び前記第2位置を結ぶ直線と、前記第1撮像座標系または前記第2撮像座標系において予め定められた目標線とがなす角度に基づいて、前記オブジェクトを目標位置に移動すべく、前記第1撮像部の第1撮像範囲内または前記第2撮像部の第2撮像範囲内の予め定められた点を中心として移動機構を介して前記移動体を回転させる移動機構制御部と
    を備える請求項1から請求項4のいずれか1つに記載の移動体制御システム。
  6. 前記移動機構制御部は、前記第1目印または前記第2目印に基づいて定められる点を中心として前記移動機構を介して前記移動体を回転させることで、前記オブジェクトを目標位置に移動させる
    請求項5に記載の移動体制御システム。
  7. 前記移動機構は、予め定められた第1方向に前記移動体を平行移動させる2つの第1方向移動機構と、前記第1方向とは異なる第2方向に前記移動体を平行移動させる第2方向移動機構とを有し、
    前記移動機構制御部は、前記2つの第1方向移動機構及び前記第2方向移動機構をそれぞれ制御することで、前記移動体を回転させる
    請求項5または請求項6に記載の移動体制御システム。
  8. 前記移動体を任意の距離だけ平行移動させた場合に、平行移動前及び平行移動後の前記第1基準目印の前記第1撮像座標系における移動距離の実測値と前記第2基準目印の前記第2撮像座標系における移動距離の実測値の比を取得する比取得部と、
    前記実測値の比に基づき補正係数を特定する補正係数特定部と、
    前記オブジェクトを前記目標位置に移動させる場合に、前記補正係数に基づいて前記移動体の平行移動量を特定する平行移動量特定部と
    をさらに備える請求項5から請求項7のいずれか1つに記載の移動体制御システム。
  9. 任意点を中心に前記移動体を複数回、回転させた場合に、それぞれの前記第1画像あるいは前記第2画像に含まれるそれぞれの前記第1基準目印あるいは前記第2基準目印に基づいて特定される前記第1撮像座標系あるいは前記第2撮像座標系における回転角度と、前記移動体に対して予め定められた移動体座標系における回転角度との対応関係を示す回転角度対応関係を保持する回転角度対応関係保持部をさらに備える
    請求項1から請求項4のいずれか1つに記載の移動体制御システム。
  10. コンピュータを、請求項1から請求項9のいずれか1つの移動体制御システムとして機能させるためのプログラム。
  11. 移動体に対して予め定められた第1基準目印を含む第1画像を撮像する第1撮像部の第1撮像範囲内の任意の第1点を中心に移動体を回転させた場合に、回転前及び回転後に前記第1撮像部により撮像された前記第1画像をそれぞれ取得する第1画像取得段階と、
    前記第1点を中心に前記移動体を回転させた場合に、回転前及び回転後に前記移動体に対して予め定められた第2基準目印を含む第2画像を撮像する第2撮像部により撮像された前記第2画像をそれぞれ取得する第2画像取得段階と、
    それぞれの前記第1画像に含まれるそれぞれの前記第1基準目印に基づいて、前記第1撮像部に対して予め定められた第1撮像座標系における前記第1点に対応する第1回転中心位置を特定する第1回転中心位置特定段階と、
    それぞれの前記第2画像に含まれるそれぞれの前記第2基準目印に基づいて、前記第2撮像部に対して予め定められた第2撮像座標系における前記第1点に対応する第2回転中心位置を特定する第2回転中心位置特定段階と、
    前記第1回転中心位置及び前記第2回転中心位置に基づく前記第1撮像座標系及び前記第2撮像座標系の対応関係を示す座標系対応関係を保持する座標系対応関係保持段階と、
    を含む移動体制御方法。
  12. 移動体に対して予め定められた基準目印を含む画像を撮像する撮像部に対して予め定められた撮像座標系と、前記移動体に対して予め定められた移動体座標系との対応関係を示す座標系対応関係を保持する座標系対応関係保持部と、
    前記撮像座標系における撮像範囲内または撮像範囲外の任意点の座標値を指定座標値として特定する指定座標値特定部と、
    前記座標系対応関係に基づいて前記指定座標値に対応する前記移動体座標系における座標値を特定し、当該特定された座標値を中心に前記移動体を任意の回転角度で回転移動させた場合に、移動前及び移動後に前記撮像部により撮像された前記画像をそれぞれ取得する画像取得部と、
    それぞれの前記画像に含まれるそれぞれの前記基準目印及び前記回転角度に基づいて、前記移動体の回転中心位置に対する前記撮像座標系における座標値を回転中心座標値として特定する回転中心位置特定部と、
    前記移動体座標系における座標値と前記回転中心座標値とに基づいて前記座標系対応関係を補正する対応関係補正部と、
    を備える移動体制御システム。
  13. 前記画像取得部は、前記特定された座標値を中心に前記移動体を任意の回転角度で複数回、回転移動させた場合に、移動前及び移動後に前記撮像部により撮像された3以上の前記画像をそれぞれ取得し、
    前記回転中心位置特定部は、それぞれの前記画像に含まれるそれぞれの前記基準目印及び前記回転角度に基づいて、前記移動体の回転中心位置に対する前記撮像座標系における座標値を回転中心座標値として特定する
    請求項12に記載の移動体制御システム。
  14. 前記指定座標値特定部は、複数の前記指定座標値を特定し、
    前記画像取得部は、前記座標系対応関係に基づいて前記複数の指定座標値に対応する前記移動体座標系におけるそれぞれの座標値を特定し、当該特定されたそれぞれの座標値を中心に前記移動体を任意の回転角度で回転移動させた場合に、移動前及び移動後に前記撮像部により撮像された前記画像をそれぞれ取得し、
    前記回転中心位置特定部は、それぞれの前記画像に含まれるそれぞれの前記基準目印及び前記回転角度に基づいて、前記移動体の回転中心位置に対する前記撮像座標系における座標値を前記複数の指定座標値ごとに回転中心座標値としてそれぞれ特定し
    前記対応関係補正部は、前記特定されたそれぞれの座標値とそれぞれの前記回転中心座標値とに基づいて前記座標系対応関係を補正する
    請求項12または請求項13に記載の移動体制御システム。
  15. 前記指定座標値特定部は、前記撮像座標系において予め定められた線形上に配列された座標値に対応する複数の前記指定座標値を特定し、
    前記対応関係補正部は、前記複数の指定座標値ごとに特定された複数の回転中心座標値を前記線形上に配列された座標値に基づいて補正し、前記特定されたそれぞれの座標値と補正後のそれぞれの前記回転中心座標値とに基づいて前記座標系対応関係を補正する
    請求項14に記載の移動体制御システム。
  16. 前記画像取得部は、
    前記指定座標値を中心に前記移動体を回転させた場合に、回転前及び回転後に、前記移動体に対して予め定められた第1基準目印を含む第1画像を撮像する第1撮像部により撮像された前記第1画像をそれぞれ取得する第1画像取得部と、
    前記指定座標値を中心に前記移動体を回転させた場合に、回転前及び回転後に前記移動体に対して予め定められた第2基準目印を含む第2画像を撮像する第2撮像部により撮像された前記第2画像をそれぞれ取得する第2画像取得部と、
    を有し、
    前記座標系対応関係保持部は、前記第1撮像部の第1撮像座標系と前記第2撮像部の第2撮像座標系との対応関係を保持し、
    前記回転中心位置特定部は、前記第1画像に含まれる前記第1基準目印及び前記第2画像に含まれる前記第2基準目印のそれぞれに基づいて別個に特定される第1撮像撮像座標系および第2撮像座標系のそれぞれの回転中心座標値に基づいて、何れか一方の撮像座標系における1の前記回転中心座標値を特定する
    請求項12から請求項15のいずれか1つに記載の移動体制御システム。
  17. 前記画像取得部は、
    前記指定座標値を中心に前記移動体を回転させた場合に、回転前及び回転後に、前記移動体に対して予め定められた第1基準目印を含む第1画像を撮像する第1撮像部により撮像された前記第1画像をそれぞれ取得する第1画像取得部と、
    前記指定座標値を中心に前記移動体を回転させた場合に、回転前及び回転後に前記移動体に対して予め定められた第2基準目印を含む第2画像を撮像する第2撮像部により撮像された前記第2画像をそれぞれ取得する第2画像取得部と、
    を有し、
    前記座標系対応関係保持部は、前記第1撮像部の第1撮像座標系と前記第2撮像部の第2撮像座標系との対応関係を保持し、
    前記指定座標値特定部は、前記第1基準目印に基づいて特定する任意点及び前記第2基準目印に基づいて特定する任意点を結ぶ線分の中点を通る垂線上の任意点を指定座標値として特定する
    請求項12から請求項15のいずれか1つに記載の移動体制御システム。
  18. 前記座標系対応関係を参照することで、前記第1撮像部が撮像した第1画像に含まれる前記移動体が保持するオブジェクトに対して予め定められた第1目印の前記第1撮像座標系または前記第2撮像座標系における第1位置、及び前記第2撮像部が撮像した第2画像に含まれる前記オブジェクトに対して予め定められた第2目印の前記第1撮像座標系または前記第2撮像座標系における第2位置を特定する位置特定部と、
    前記第1撮像座標系または前記第2撮像座標系における前記第1位置及び前記第2位置を結ぶ直線と、前記第1撮像座標系または前記第2撮像座標系において予め定められた目標線とがなす角度に基づいて、前記オブジェクトを目標位置に移動すべく、撮像範囲内または撮像範囲外の任意の点を中心として移動機構を介して前記移動体を回転させる移動機構制御部と
    を備える請求項16または請求項17に記載の移動体制御システム。
  19. 移動体に対して予め定められた基準目印を含む画像を撮像する撮像部に対して予め定められた撮像座標系と、前記移動体に対して予め定められた移動体座標系との対応関係を示す座標系対応関係を保持する座標系対応関係保持部と、
    前記撮像座標系における撮像範囲内または撮像範囲外の任意点の座標値を指定座標値として特定する指定座標値特定部と、
    前記座標系対応関係に基づいて前記指定座標値に対応する前記移動体座標系における座標値を特定し、当該特定された座標値を中心に前記移動体を任意の回転角度で回転移動させた場合に、移動前及び移動後に前記撮像部により撮像された前記画像をそれぞれ取得する画像取得部と、
    それぞれの前記画像に含まれるそれぞれの前記基準目印及び前記回転角度に基づいて、前記移動体の回転中心位置に対する前記撮像座標系における座標値を回転中心座標値として特定する回転中心位置特定部と、
    前記回転中心座標値と前記指定座標値とに基づいて前記座標系対応関係を補正する対応関係補正部と
    を備え、
    前記画像取得部は、前記移動体が任意の回転角度による回転移動と平行移動を組み合わせた移動する場合に、移動前及び移動後のいずれの時点においても前記基準目印が含まれる前記画像を取得する移動体制御システム。
  20. 任意点を中心に前記移動体を複数回、回転させた場合に、それぞれの前記画像に含まれるそれぞれの前記基準目印に基づいて特定される前記撮像座標系における回転角度と、前記移動体座標系における回転角度との対応関係を示す回転角度対応関係を保持する回転角度対応関係保持部をさらに備える
    請求項12から請求項19のいずれか1つに記載の移動体制御システム。
JP2010142512A 2010-06-23 2010-06-23 移動体制御システム、プログラム、及び移動体制御方法 Active JP5634764B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010142512A JP5634764B2 (ja) 2010-06-23 2010-06-23 移動体制御システム、プログラム、及び移動体制御方法
PCT/US2011/041222 WO2011163209A2 (en) 2010-06-23 2011-06-21 Mobile object control system and program, and mobile object control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010142512A JP5634764B2 (ja) 2010-06-23 2010-06-23 移動体制御システム、プログラム、及び移動体制御方法

Publications (2)

Publication Number Publication Date
JP2012007934A true JP2012007934A (ja) 2012-01-12
JP5634764B2 JP5634764B2 (ja) 2014-12-03

Family

ID=44629860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010142512A Active JP5634764B2 (ja) 2010-06-23 2010-06-23 移動体制御システム、プログラム、及び移動体制御方法

Country Status (2)

Country Link
JP (1) JP5634764B2 (ja)
WO (1) WO2011163209A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018042580A1 (ja) * 2016-08-31 2018-03-08 株式会社ニコン 画像測定方法、画像測定プログラム及び画像測定装置、並びに物品の製造方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102326401B1 (ko) * 2014-12-16 2021-11-16 에이비 엘렉트로룩스 로봇 청소 장치를 위한 청소 방법
US11072074B2 (en) 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160022A (ja) * 1992-11-17 1994-06-07 Shinko Electric Ind Co Ltd 画像位置補正装置
JP2003050106A (ja) * 2001-08-07 2003-02-21 Fast:Kk キャリブレーション方法、位置決め方法、位置決め装置、キャリブレーションプログラム、及び位置決めプログラム
JP2006049755A (ja) * 2004-08-09 2006-02-16 Omron Corp 回転中心算出方法およびこの方法を用いたワーク位置決め装置
JP2008256411A (ja) * 2007-04-02 2008-10-23 Yaskawa Electric Corp 位置決め用画像処理装置および位置決め用画像処理方法
JP2011117914A (ja) * 2009-12-07 2011-06-16 Cognex Corp オブジェクト制御システム、オブジェクト制御方法、プログラム、及び回転中心位置特定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548295A (ja) 1991-08-19 1993-02-26 Toshiba Corp 電子部品装着方法およびその装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06160022A (ja) * 1992-11-17 1994-06-07 Shinko Electric Ind Co Ltd 画像位置補正装置
JP2003050106A (ja) * 2001-08-07 2003-02-21 Fast:Kk キャリブレーション方法、位置決め方法、位置決め装置、キャリブレーションプログラム、及び位置決めプログラム
JP2006049755A (ja) * 2004-08-09 2006-02-16 Omron Corp 回転中心算出方法およびこの方法を用いたワーク位置決め装置
JP2008256411A (ja) * 2007-04-02 2008-10-23 Yaskawa Electric Corp 位置決め用画像処理装置および位置決め用画像処理方法
JP2011117914A (ja) * 2009-12-07 2011-06-16 Cognex Corp オブジェクト制御システム、オブジェクト制御方法、プログラム、及び回転中心位置特定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018042580A1 (ja) * 2016-08-31 2018-03-08 株式会社ニコン 画像測定方法、画像測定プログラム及び画像測定装置、並びに物品の製造方法

Also Published As

Publication number Publication date
JP5634764B2 (ja) 2014-12-03
WO2011163209A3 (en) 2012-04-12
WO2011163209A2 (en) 2011-12-29

Similar Documents

Publication Publication Date Title
KR102532072B1 (ko) 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법
JP6770605B2 (ja) 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム
CN109807885B (zh) 一种机械手的视觉标定方法、装置及智能终端
JP4878385B2 (ja) オブジェクト制御システム、オブジェクト制御方法、プログラム、及び回転中心位置特定装置
JP4021413B2 (ja) 計測装置
JP5670416B2 (ja) ロボットシステム表示装置
CN110276799B (zh) 一种坐标标定方法、标定系统及机械臂
CN105066884A (zh) 一种机器人末端定位偏差校正方法及系统
JP6421722B2 (ja) 画像処理装置、校正方法および校正プログラム
CN104735444A (zh) 根据直线特征执行视觉系统平面手眼校准的系统和方法
JP2005300230A (ja) 計測装置
CN110148187A (zh) 一种SCARA机械手Eye-in-Hand的高精度手眼标定方法和系统
JP2012240174A (ja) キャリブレーション装置及びキャリブレーション方法
EP3967459A1 (en) Coordinate system calibration method, device, and computer readable medium
CN110722558B (zh) 机器人的原点校正方法、装置、控制器和存储介质
CN110712194A (zh) 物体检查装置、物体检查系统以及调整检查位置的方法
US20200189108A1 (en) Work robot and work position correction method
JP5634764B2 (ja) 移動体制御システム、プログラム、及び移動体制御方法
KR102243694B1 (ko) 로봇의 위치 정보 복원 방법
KR20190099122A (ko) 로봇의 위치 정보 복원 방법
JP4345607B2 (ja) 回転中心算出方法およびこの方法を用いたワーク位置決め装置
CN112598752A (zh) 基于视觉识别的标定方法及作业方法
CN114750160B (zh) 机器人控制方法、装置、计算机设备和存储介质
JP6403434B2 (ja) 部品実装方法および部品実装装置
JP2021024053A (ja) 視覚誘導ロボットアームの補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141015

R150 Certificate of patent or registration of utility model

Ref document number: 5634764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250