JP2017083419A - 計測装置および方法、物品製造方法、較正マーク部材、加工装置、ならびに加工システム - Google Patents
計測装置および方法、物品製造方法、較正マーク部材、加工装置、ならびに加工システム Download PDFInfo
- Publication number
- JP2017083419A JP2017083419A JP2016041579A JP2016041579A JP2017083419A JP 2017083419 A JP2017083419 A JP 2017083419A JP 2016041579 A JP2016041579 A JP 2016041579A JP 2016041579 A JP2016041579 A JP 2016041579A JP 2017083419 A JP2017083419 A JP 2017083419A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- image
- light
- calibration
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】 計測精度の点で有利な計測装置を提供すること。【解決手段】 計測装置(100)は、パターンを有する光と当該パターンを有しない光とを物体に投影する投影部(130)と、当該パターンを有する光を投影された物体を撮像してパターン画像を得、当該パターンを有しない光を投影された物体を撮像して濃淡画像を得る撮像部(130)と、第1較正データに基づいてパターン画像の歪みを較正する処理を行い、第1較正データとは異なる第2較正データに基づいて濃淡画像の歪みを較正する処理を行って、物体の領域を認識する処理を行う処理部(150)と、を有する。【選択図】 図1
Description
本発明は、計測装置および方法、物品製造方法、較正マーク部材、加工装置、ならびに加工システムに関する。
物体の領域(3次元領域)を計測(認識)する方式の一つにパターン投影法がある。この方式は、例えばストライプ状にパターン化された光(パターン光または構造化光)を物体に投影し、パターン光が投影された物体を撮像してパターン画像を取得する。また、略均一に照明された物体を撮像して濃淡画像を取得する。次に、画像の歪みを較正するための較正データ(キャリブレーションデータまたはパラメータ)を用いてパターン画像および濃淡画像に対して較正(補正)を行ない、較正されたパターン画像および濃淡画像に基づいて物体の領域の計測を行う。
当該較正データを取得する方式として、3次元座標が既知であるマーク(指標)を所定条件で撮像して得られた画像上での当該マークの座標と当該既知の座標との対応関係に基づくものが知られている(特許文献1)。従来の計測装置は、1つの撮像部(撮像装置)に対して較正データを1種類だけ記憶して画像の較正を行っていた。
ところが、撮像部により得られる画像の歪み(歪み量)は、撮影される物体上の光強度分布と撮像部の点拡がり関数(点像分布関数)とに依って変化する。そのため、パターン画像と濃淡画像とでは、それらに対応する物体上の光強度分布が互いに異なることから、それらが同一の撮像部により得られたものであっても、画像内における歪みの分布が異なる。したがって、画像の種類に依らず1種類の較正データを用いて画像較正を行う従来の計測装置は、計測精度の点で不利であった。
本発明は、例えば、計測精度の点で有利な計測装置を提供することを目的とする。
本発明の一つの側面は、パターンを有する光と前記パターンを有しない光とを物体に投影する投影部と、
前記パターンを有する光を投影された前記物体を撮像してパターン画像を得、前記パターンを有しない光を投影された前記物体を撮像して濃淡画像を得る撮像部と、
第1較正データに基づいて前記パターン画像の歪みを較正する処理を行い、前記第1較正データとは異なる第2較正データに基づいて前記濃淡画像の歪みを較正する処理を行って、前記物体の領域を認識する処理を行う処理部と、
を有することを特徴とする計測装置である。
前記パターンを有する光を投影された前記物体を撮像してパターン画像を得、前記パターンを有しない光を投影された前記物体を撮像して濃淡画像を得る撮像部と、
第1較正データに基づいて前記パターン画像の歪みを較正する処理を行い、前記第1較正データとは異なる第2較正データに基づいて前記濃淡画像の歪みを較正する処理を行って、前記物体の領域を認識する処理を行う処理部と、
を有することを特徴とする計測装置である。
本発明によれば、例えば、計測精度の点で有利な計測装置を提供することができる。
以下、添付図面を参照して本発明の実施形態を説明する。なお、実施形態を説明するための全図を通して、原則として(断りのない限り)、同一の部材等には同一の符号を付し、その繰り返しの説明は省略する。
〔実施形態1〕
図1は、実施形態1に係る計測装置100の構成例を示す図である。図1において、計測装置100は、投影部(第1投影部110、第2投影部120)、撮像部130、記憶部140、および処理部150を有する。同図において、1は、物体(対象物)を示す。111は、パターン化された光(パターン光または第1パターンを有する光)、121は、パターン化されていない光(非パターン光、第1パターンを有しない光、第1パターンとは異なる第2パターンを有する光、または(略)均一化された照度の照明光)を示す。第1投影部110は、物体1にパターン光111を投影する。また、第2投影部120は、物体1に照明光121(非パターン光)を投影する。撮像部130は、パターン光111が投影された物体1を撮像してパターン画像(第1画像)を得、また、照明光121が投影された物体1を撮像して濃淡画像(第1画像とは異なる第2画像)を得る。記憶部140は、較正データを記憶する。較正データには、撮像部130により得られた画像の歪み(ディストーション)を較正するためのデータが含まれる。
図1は、実施形態1に係る計測装置100の構成例を示す図である。図1において、計測装置100は、投影部(第1投影部110、第2投影部120)、撮像部130、記憶部140、および処理部150を有する。同図において、1は、物体(対象物)を示す。111は、パターン化された光(パターン光または第1パターンを有する光)、121は、パターン化されていない光(非パターン光、第1パターンを有しない光、第1パターンとは異なる第2パターンを有する光、または(略)均一化された照度の照明光)を示す。第1投影部110は、物体1にパターン光111を投影する。また、第2投影部120は、物体1に照明光121(非パターン光)を投影する。撮像部130は、パターン光111が投影された物体1を撮像してパターン画像(第1画像)を得、また、照明光121が投影された物体1を撮像して濃淡画像(第1画像とは異なる第2画像)を得る。記憶部140は、較正データを記憶する。較正データには、撮像部130により得られた画像の歪み(ディストーション)を較正するためのデータが含まれる。
記憶部140は、画像の歪みを較正するための較正データとして、パターン画像用の較正データ(第1較正データ)と濃淡画像用の較正データ(第1較正データとは異なる第2較正データ)とを記憶している。処理部150は、第1較正データに基づいてパターン画像の歪みを較正する処理を行い、第2較正データに基づいて濃淡画像の歪みを較正する処理を行って、物体1の領域を認識する処理を行う。なお、物体1は、物品の製造(加工)のための部品としうる。ここで、図1における210は、当該部品に対して加工もしくは組付けまたはそのための保持もしくは移動等(総じて加工という)を行う加工部(例えば、ロボット(ハンド))である。また、220は、当該加工部を制御するための制御部である。制御部220は、処理部150により得られた物体1の領域(位置姿勢)の情報を受信し、当該情報に基づいて加工部210の動作を制御する。加工部210および制御部220は、物体1に対して加工を行う加工装置200を構成している。また、計測装置100と加工装置200とは、加工システムを構成する。
ここで、図2は、計測装置100における処理の流れを例示する図である。同図において、まず、第1投影部110は、パターン光111を物体1に投影する(ステップS1001)。次に、撮像部130は、パターン光111が投影された物体1を撮像してパターン画像を得る(ステップS1002)。次に、撮像部130は、パターン画像を処理部150に伝送する(ステップS1003)。次に、記憶部140は、記憶している第1較正データを処理部150に伝送する(ステップS1004)。次に、処理部150は、第1較正データに基づいてパターン画像の歪みを較正する処理を行う(ステップS1005)。つづいて、第2投影部120は、照明光121を物体1に投影する(ステップS1006)。次に、撮像部130は、照明光121が投影された物体1を撮像して濃淡画像を得る(ステップS1007)。次に、撮像部130は、濃淡画像を処理部150に伝送する(ステップS1008)。次に、記憶部140は、記憶している第2較正データを処理部150に伝送する(ステップS1009)。次に、処理部150は、第2較正データに基づいて濃淡画像の歪みを較正する処理を行う(ステップS1010)。最後に、処理部150は、較正されたパターン画像と較正された濃淡画像とに基づいて、物体1の領域を認識する(ステップS1011)。なお、ステップS1011での認識処理は、公知の処理を採用しうる。例えば、物体の形状を表す3次元モデルを濃淡画像および距離画像の双方にフィッティングする手法を採用しうる。この手法は、『ビンピッキングのための距離・濃淡画像を最尤に統合する高精度高安定なモデルフィッティング手法』(電子情報通信学会論文誌、D、情報・システム、J94−D(8)、1410−1422)に記載されている。濃淡画像上の計測誤差と距離画像上の計測誤差とは、計測している物理量が異なるため、単純な誤差最小化は適用できない。そのため、当該手法は、異なる物理量の計測データに含まれている誤差がそれぞれ固有の確率分布に従うものとして、最尤推定により物体の領域(位置姿勢)を得る。なお、ここで、当該距離画像を得るためにパターン光111を用い、当該濃淡画像を得るために非パターン光121を用いうる。
なお、図2において、各ステップの処理の順番は、上記のものに限定されず、適宜変更が可能である。また、記憶部140から処理部150への較正データの伝送(ステップS1004およびS1009)は、一括して行ってもよい。また、図2における処理は、図2においてはシリアルに実行されるが、その少なくとも一部が並列に実行されてもよい。また、S1005、S1010において、画像較正は、画像の全体に対して行われるものには限らず、例えば、パターン画像または濃淡画像における特徴点(例えば、特定のパターンまたはエッジ)等、画像の部分に対して行なわれるものであってもよい。
以上のように、本実施形態においては、第1較正データに基づいてパターン画像の歪みを較正する処理を行い、第2較正データに基づいて濃淡画像の歪みを較正する処理を行って、物体1の領域を認識する処理を行う。これにより、歪みの量が互いに異なるパターン画像および濃淡画像を正確に較正することができ、もって計測精度(認識精度)の点で有利な計測装置(認識装置)を提供することができる。
〔実施形態2〕
本実施形態は、較正マーク部材に関するものである。ここで、図3は、較正マーク部材の構成例を示す図である。較正マーク部材とは、上記の較正データを得るのに用いられる較正マークを含む部材である。較正データの取得は、3次元座標が既知である較正マーク(指標)を所定条件で撮像して得られた画像上での当該較正マークの座標と当該既知の座標との対応関係に基づいて行われうる。例えば、較正は、相対的な位置(位置座標)の関係が既知である複数の較正マークを含む平板状の較正部材(較正マーク部材)を所定の位置に所定の姿勢で配置して行われうる。なお、当該配置は、位置および姿勢のうち少なくとも一方を制御可能なロボットにより較正マーク部材を保持してなされてもよい。
本実施形態は、較正マーク部材に関するものである。ここで、図3は、較正マーク部材の構成例を示す図である。較正マーク部材とは、上記の較正データを得るのに用いられる較正マークを含む部材である。較正データの取得は、3次元座標が既知である較正マーク(指標)を所定条件で撮像して得られた画像上での当該較正マークの座標と当該既知の座標との対応関係に基づいて行われうる。例えば、較正は、相対的な位置(位置座標)の関係が既知である複数の較正マークを含む平板状の較正部材(較正マーク部材)を所定の位置に所定の姿勢で配置して行われうる。なお、当該配置は、位置および姿勢のうち少なくとも一方を制御可能なロボットにより較正マーク部材を保持してなされてもよい。
ここで、撮像部130は、撮像部130に含まれる光学系の収差等に依存した点拡がり関数を有している。よって、撮像部130により取得される画像は、当該点拡がり関数に依存した歪みを有する。そして、当該歪みは、物体1上の光強度分布にも依存する。そこで、較正マーク部材におけるパターン画像用の第1較正マークは、第1投影部110により物体1に投影されたパターン光の光強度分布に対応する光強度分布を(例えば、第2投影部120により照明光が投影された)第1較正マークが有するように構成される。同様に、濃淡画像用の第2較正マークは、第2投影部120により照明光が投影された物体1上の光強度分布に対応する光強度分布を(例えば、第2投影部120により照明光が投影された)第2較正マークが有するように構成される。図3において、(A)は、パターン画像用の第1較正マークの一例を示し、(B)は、濃淡画像用の第2マークの一例を示す。各マーカの詳細は、後述する。なお、第1較正マークと第2較正マークとは、共通の較正マーク部材にではなく、それぞれ別々の較正マーク部材に含まれていてもよい。
本実施形態によれば、そのような較正マーク部材(第1較正マークおよび第2較正マーク)を用いて得られた較正データ(第1較正データおよび第2較正データ)を用いるから、パターン画像の歪みの較正および濃淡画像の歪みの較正を正確に行うことができる。もって、計測精度(認識精度)の点で有利な計測装置(認識装置)を提供することができる。なお、較正マーク部材における第1較正マークおよび第2較正マークについて、以下の実施例において詳細に説明する。
〔実施例1〕
図4は、計測装置の構成例(図1)を示す別の図である。ここで、記憶部140および処理部150は、図示を省略している。図4において、実線で囲まれた領域10は、計測装置100の計測領域(計測可能領域)である。計測領域10に物体1を配置して計測を行う。計測領域10のうち計測装置100に最も近い面をN面(図中N)、最も遠い面をF面(図中F)とする。131は、撮像部130の光軸である。ここで、図5は、パターン光を例示する図である。ここでは、計測領域10の一断面に投影されたパターン光111の一例を示している。図5において、第1投影部110により投影されるパターン光111は、白で示された複数の明部(ライン光)である。斜線は、暗部を示している。以下、図において、パターン光111(明部)は白で示し、暗部は斜線で示す。また、パターン光111を構成する1つのライン状の光の延びる方向(所定方向)をライン方向と呼ぶことにする。ライン方向に沿ったパターン光(複数のライン状の光)は、ライン方向に交差する方向(典型的には直交する方向)に沿って配列される。また、ライン方向に直交する方向における明部の幅をLW0objとし、暗部の幅をSW0objとし、明暗一周期の幅をP0objとする。なお、物上での幅とは区別して像上での幅は、添え字をobjからimgに替え、明部の幅をLW0imgとし、暗部の幅をSW0imgとし、明暗一周期の幅をP0imgとする。
図4は、計測装置の構成例(図1)を示す別の図である。ここで、記憶部140および処理部150は、図示を省略している。図4において、実線で囲まれた領域10は、計測装置100の計測領域(計測可能領域)である。計測領域10に物体1を配置して計測を行う。計測領域10のうち計測装置100に最も近い面をN面(図中N)、最も遠い面をF面(図中F)とする。131は、撮像部130の光軸である。ここで、図5は、パターン光を例示する図である。ここでは、計測領域10の一断面に投影されたパターン光111の一例を示している。図5において、第1投影部110により投影されるパターン光111は、白で示された複数の明部(ライン光)である。斜線は、暗部を示している。以下、図において、パターン光111(明部)は白で示し、暗部は斜線で示す。また、パターン光111を構成する1つのライン状の光の延びる方向(所定方向)をライン方向と呼ぶことにする。ライン方向に沿ったパターン光(複数のライン状の光)は、ライン方向に交差する方向(典型的には直交する方向)に沿って配列される。また、ライン方向に直交する方向における明部の幅をLW0objとし、暗部の幅をSW0objとし、明暗一周期の幅をP0objとする。なお、物上での幅とは区別して像上での幅は、添え字をobjからimgに替え、明部の幅をLW0imgとし、暗部の幅をSW0imgとし、明暗一周期の幅をP0imgとする。
像上での明部の幅LW0img、暗部の幅SW0img、および明暗一周期の幅P0imgは、計測領域10内における物体1の位置および姿勢(面の位置及び姿勢)によって変化する。以下、図4の構成例に基づき、像上での明暗一周期の幅P0imgと、物体1の面の位置および姿勢との関係を説明する。図4の紙面内において、第1投影部110から撮像部130へと向かう基線長の方向をx軸の正方向とし、x軸に垂直に計測装置から物体1に向かう方向をz軸の正方向とし、x軸とz軸とで張られる面に垂直に紙面奥から紙面手前に向かう方向をy軸の正方向とする。y軸を回転軸とする回転は、右手周り(図4の紙面内において反時計回り)を正の方向とする。
計測領域10内でz軸に垂直な任意の平面を基準面とし、当該基準面をy軸の周りに回転させることを考える。基準面を正の方向に回転させると、像上の明暗一周期の幅P0imgは短くなる。逆に、基準面を負の方向に回転すると、像上の明暗一周期の幅P0imgは長くなる。次に、計測領域10内の位置と像上の明暗一周期の幅P0imgとの関係を示す。図4において、撮像部のモデルとしてピンホールカメラを想定する。投影部110および撮像部130それぞれの倍率は、計測装置100と物体1との間の距離によって異なる。このため、投影部110の投影倍率と撮像部130の撮像倍率との比率によって、像上の明暗一周期の幅P0imgは異なる。よって、計測領域10内の位置によらず当該比率が一定とみなせる場合には、計測領域10内の位置によらず像上の明暗一周期の幅P0imgは一定とみなせる。また、計測領域10内の位置によって当該比率が異なる場合には、計測領域10内の位置によって像上の明暗一周期の幅POimgは変化する。
ここで、計測領域10内の位置の変化による撮像倍率の変化より当該位置の変化による投影倍率の変化の方が大きい場合を考える。この場合、計測領域10内においてz軸方向に基準面を動かした場合の像上の明暗一周期の幅P0imgを比較すると、N面において像上の明暗一周期の幅P0imgは最も狭く、F面において像上の明暗一周期の幅P0imgは最も広くなる。よって、像上の明暗一周期の幅P0imgが最も狭いのは、計測装置から最も近い位置にある面が正の方向に傾いている場合で、この場合の像上の明暗一周期の幅P0imgをP0img_minとする。また、像上の明暗一周期の幅P0imgが最も広いのは、計測装置から最も遠い位置にある面が負の方向に傾いている場合で、この場合の像上の明暗一周期の幅P0imgをP0img_maxとする。ここで、当該面の位置および傾きの範囲は、計測装置100の計測領域10および計測可能角度に依存する。よって、像上の明暗一周期の幅P0imgは、次式(1)に示す範囲内となる。
P0img_min≦P0img≦P0img_max ・・・(1)
P0img_min≦P0img≦P0img_max ・・・(1)
なお、POimg_min及びP0img_maxは、投影部および撮像部の倍率や配置等、計測装置100の構成によって異なりうることは当然である。像上の明暗一周期の幅P0imgは、上記のとおり範囲を有するが、像上において隣接する明部と暗部との間の幅の比(LW0imgとSW0imgとの比)は、像上における明部の幅LW0imgと暗部の幅SW0imgとが狭いため、概ね一定である。
次に、図6は、パターン画像用較正マーク(第1較正マーク)を例示する図である。同図に示す第1較正マークは、ラインアンドスペースパターン(LSパターンまたはLSマーク)であり、同図において、白で示された明部と黒で示された暗部とで形成されている。LSパターンのラインの方向は、パターン光111のライン方向(所定方向)とは平行にして配置されうる。第1較正マークは、ライン方向とは直交する方向における画像の歪みを計測するための較正マークである。LSパターンのライン方向に直交する方向における明部の幅をLW1とし、暗部の幅をSW1とし、明部の幅LW1と暗部の幅SW1との和であるLSパターンの明暗一周期の幅をP1とする。なお、実際の幅(物上における幅)には添え字objを付して、明部の幅をLW1objとし、暗部の幅をSW1objとし、明暗一周期の幅をP1objとする。また、像上における幅は、添え字imgを付して、明部の幅をLW1img、暗部の幅をSW1img、明暗一周期の幅をP1imgとする。
ここで、パターン画像用の第1較正マークの物上における明部の幅LW1obj、暗部の幅SW1obj、明暗一周期の幅P1obj(第1較正マークにおける所定パターンの寸法)は、次のように決定する。すなわち、第1較正マークの像上における明部の幅LW1img、暗部の幅SW1img、明暗一周期の幅P1imgが、パターン画像における明部の幅LW0img、暗部の幅SW0img、明暗一周期の幅P0imgに対応するように決定する。ここで、明暗一周期の幅P0imgは、パターン画像における所定パターンの寸法の一例である。より具体的には、第1較正マークの物上における明部の幅LW1objと暗部の幅SW1objとの比は、パターン光111の像上における明部の幅LW0imgと暗部の幅SW0imgとの比に同じとする。また、第1較正マークの物上における明暗一周期の幅P1objは、その像上における明暗一周期の幅P1imgがパターン光の像上における明暗一周期の幅P0imgに対応するように選択する。但し、パターン光の像上における明暗一周期の幅P0imgは、式(1)の範囲を有しているため、当該範囲から明暗一周期の幅P1imgを選択する。例えば、P0img_min(最小値)とP0img_max(最大値)との平均(中間)に基づいて、第1較正マークの物上における明暗一周期の幅P1objを決定してもよい。また、物体1に関する先験的情報から予め推定が可能ならば、最も出現確率が高いと推定される幅P0imgに基づいて、第1較正マークの物上における明暗一周期の幅P1objを決定してもよい。
なお、パターン画像用の第1較正マークは、1つのLSパターンには限らず、明暗一周期の幅P1objが互いに異なる複数のLSパターンを含むものとしてもよい。その場合、計測装置と較正マーク部材との間の相対位置によって、較正データを得るためのLSパターンを選択しうる。例えば、まず、較正マーク部材の配置(位置および姿勢のうちの少なくとも一方)におけるパターン光111の像上での明暗一周期の幅P0imgを実測または推定する。そして、当該実測または推定により得られた幅に最も近くなる像上の明暗一周期の幅P1imgが得られるようなLSパターンを選択すればよい。
また、それには限定されないが、複数のLSパターンと複数の配置との複数の組合せそれぞれに対応した較正データを予め取得しておいてもよい。この場合、パターン画像における明暗一周期の幅P0imgに対応した(例えば最も近い)像上の明暗一周期の幅P1imgを有するようなLSパターンに基づいて予め取得された較正データを計測に用いればよい。
また、第1較正マークは、その像の中で歪みが同一とみなせるようなサイズ(寸法)有するものとする。また、第1較正マークは、図2の(A)のように、図6に示したLSパターン(第1LSパターン)のみならず、第1LSパターンのライン方向とは90°回転したライン方向を有するLSパターン(第2LSパターン)も含むものとしてもよい。その場合、第1LSパターンから、そのライン方向とは直交する方向の像上の座標(歪み)を得、第2LSパターンから、そのライン方向とは直交する方向の像上の座標(歪み)を得ることができる。以上のようなパターン画像用の第1較正マークを用いることにより、パターン画像の歪みを較正する正確さの点で有利となる。
つづいて、濃淡画像用の第2較正マークについて説明する。第2投影部120から照明光121が投影された物体1を撮像部130により撮像して得られた画像が濃淡画像である。ここで、物(物体1)上でのエッジXRとエッジXLの距離(エッジ間距離)をLobjとし、像(濃淡画像)上でのエッジ間距離をLimgとする。図4において、x方向においてエッジ間距離に着目する。物上でのエッジ間距離Lobjは、変化しないが、像上でのエッジ間距離Limgは、撮像部130に対する物体1の面の配置(位置および姿勢)によって変化する。物体1上でのエッジ間距離Lobjを有する面が撮像部130の光軸131に直交する場合の当該面の回転角θをθ=0とする。また、撮像部130の倍率(撮像倍率)をbとする。当該面を回転角θだけ回転させたときのエッジXRをエッジXRθ、同エッジXLをエッジXLθとする。エッジXRθおよびエッジLRθをピンホールカメラモデルにおいて回転角θ=0の面に投影して得られる点をそれぞれエッジXRθ’およびエッジLRθ’とする。このエッジXRθ’とエッジLRθ’との間の距離(エッジ間距離)をLobj’とすると、回転角θにおける、像上でのエッジ間距離Limgは、次式(2)で表せる。
Limg=Lobj’*b ・・・(2)
Limg=Lobj’*b ・・・(2)
回転角θの範囲は、π/2≦|θ|ではエッジ間距離Lobjを有する面は撮像部からは死角となるから、π/2>|θ|となる。また、実際には、撮像部の解像度等によって像上でのエッジ間を分離できる回転角θの限界(θmax)が決まるため、とりうるθの範囲はさらに狭くなる。すなわち、回転角θの範囲は、θmax>|θ|となる。
図4の例では、ピンホールカメラを撮像部のモデルとして想定しているため、計測装置と物体の間の距離によって撮像部130の倍率が異なる。計測領域10内のN面に物体1があれば、像上でのエッジ間距離Limgは最も長くなり、計測領域10内のF面に物体1があれば、像上でのエッジ間距離Limgは最も短くなる。よって、像上でのエッジ間距離Limgが最も短いのは、計測装置100から最も遠い位置に物体1があり、かつ物体1の面が光軸131とは直交していない場合であり、この場合の像上でのエッジ間距離LimgをLimg_minとする。また、像上でのエッジ間距離Limgが最も長いのは、計測装置から最も近い位置に物体1があり、かつ物体1の面が光軸131に直交している場合であり、この場合の像上でのエッジ間距離LimgをLimg_maxとする。ここで、当該面の位置および傾きの範囲は、計測装置の計測領域10および計測可能角度に依存する。よって、像上でのエッジ間距離Limgは、次式(3)で表せる。
Limg_min≦Limg≦Limg_max ・・・(3)
Limg_min≦Limg≦Limg_max ・・・(3)
ここで、物上でのエッジ間距離Lobjは、物体の形状によって異なりうる。また、物体1が計測領域10内に複数存在する場合、物体1の位置・姿勢によって、像上でのエッジ距離Limgは変動しうる。物上で最も短いエッジ間距離をLminとし、その場合の像上でのエッジ間距離の最も短いものをLmin_img_minとし、物上で最も長いエッジ間距離をLmaxとし、その場合の像上でのエッジ間距離の最も長いものをLmax_img_maxとする。すると、像上でのエッジ間距離Limgは、次式(4)で表せる。
Lmin_img_min≦Limg≦Lmax_img_max ・・・(4)
Lmin_img_min≦Limg≦Lmax_img_max ・・・(4)
つづいて、濃淡画像用の第2較正マークの詳細を説明する。ここで、図7は、濃淡画像用の第2較正マークを例示する図である。図7において、背景は白(明)で示し、第2較正マークは黒(暗)で示している。第2較正マークは、ライン方向(所定方向)に沿ったライン状のパターンを含みうる。暗部の短手方向の幅をKobj、長手方向の幅をJobjとしている。第2較正マークを撮像部130によって撮像して得た画像上での暗部の幅をKimgとする。第2較正マークの暗部の幅Kobj(第2較正マークにおける所定パターンの寸法)は、像上での暗部の幅Kimgが像上でのエッジ間距離Limg(濃淡画像における所定エッジ間の距離)に対応するように決定すればよい。但し、像上でのエッジ間距離Limgは、式(3)または式(4)の範囲(最小値から最大値までの範囲)を有しているため、この範囲に基づいて像上での暗部の幅Kimgを選択する。また、予め取得した濃淡画像または推定に基づいて最も出現確率の高い像上でのエッジ間距離Limgを特定してもよい。
第2較正マークは、物上での暗部の幅Kobjの互いに異なる複数のマークを用いてもよい。この場合は、複数のマーカのそれぞれから較正データを得る。そして、濃淡画像より各像高での像上エッジ間距離Limgを得、当該エッジ間距離Limgに対応する(例えば、最も近い)像上での暗部の幅Kimgを有する第2較正マークから得られた較正データを用いる。
ここで、物上での暗部の幅Jobjは、撮像部130により得られた画像において当該幅内の歪みが同一とみなせるサイズ(寸法)を有するものとする。また、撮像部130の点拡がり関数(PSF)に基づいて像上暗部の幅Kimgを決定してもよい。画像の歪みは、物上の光強度分布と点拡がり関数とのコンボリューションによって得られる。ここで、図8は、第2較正マークと点拡がり関数との関係を説明するための図である。図8の(A)ないし(C)は、暗部の幅Kobjが互いに異なる3つの第2較正マークを示す。同図において、破線で示された円(半径H)は、点拡がり関数の拡がりを示し、マークの右側エッジに当該円の中心を重ねている。(A)は、Kobj<Hの場合を示し、(B)は、Kobj=Hの場合を示し、(C)は、Kobj>Hの場合を示している。(A)の場合、点拡がり関数の拡がりの中にマークの左側の背景としての明部が入っている。そのため、マークの右側のエッジにマークの左側の背景として明部の影響が及ぶ。それに対して、(B)および(C)の場合、点拡がり関数の拡がりの中にマークの左側の背景としての明部が入っていない。そのため、マークの右側のエッジにマークの左側の背景としての明部の影響は及ばない。(B)と(C)とでは、マーク暗部の幅Kobjは異なるが、どちらもKobj≧H(Hは、点拡がり関数の拡がりの1/2)の関係を満たしているため、マークの右側エッジの歪み量は等しくなる。したがって、第2較正マークの寸法は、当該拡がりの1/2以上とするのがよい。ここで、Kobj=Hとすれば、マークを小さくすることができ、もって、例えば、較正マーク部材上に多くのマークを配置することができる。なお、物体上でのパターン化された光(パターン光)の寸法(例えば明部の幅)は、撮像部130の点拡がり関数の拡がり以上の大きさを有している。このことから、パターン画像の有する歪み量と同等または同程度の歪み量を第1較正マークを用いて得るために、第1較正マークの寸法は、撮像部130の点拡がり関数の拡がり以上とする。
また、較正マーク部材は、図8に示したパターン(第1矩形パターン)を90°回転したパターン(第2矩形パターン)も第2較正マークとして含んでいてもよい。第1矩形パターンから、その長手方向に直交する方向における像上での座標(歪み)を得、第2矩形パターンから、その長手方向に直交する方向における像上での座標(歪み)を得ることができる。また、図2の(B)のような1つのパターンから互いに直交する2つの方向のそれぞれにおける像上での座標(歪み)を得るようにしてもよい。
以上のような濃淡画像用の第2較正マークを用いることにより、濃淡画像の歪みを較正する正確さの点で有利となる。そして、以上のような第1較正マークおよび第2較正マークを使用することによって、計測度の点で有利な計測装置を提供することができる。なお、本実施例において、第2較正マークの(暗部の)幅を濃淡画像におけるエッジ間の距離に対応させたが、それには限定されず、濃淡画像における種々の特徴点間の距離に対応させうる。また、例えば、濃淡画像における特定の2画素の値を参照して領域認識をするような場合は、当該2画素の(座標の)間の距離に対応させうる。
〔実施例2〕
図9は、パターン光を例示する図である。パターン光は、ライン状であり、ライン状の明部または暗部は、そのライン上に間欠部を有する。図9の(A)は、明ライン上に暗間欠部を有している。図9の(B)は、暗ライン上に明間欠部を有している。ここでは、パターン光は、図9の(A)のようなものとする。実施例2においても、パターン光のラインが延びる方向をライン方向という。図9の(A)では、複数のライン状の光は、ライン方向に沿って配列される。また、パターン光の明ラインの幅をLWとし、暗ラインの幅をSWとし、LWとSWとの和である明暗一周期の幅をPとし、ライン方向における間欠部の幅をDWとし、ライン方向における間欠部間の幅をDSWとする。マスク上での幅は、添え字pを付し、明ラインの幅LW0p、暗部ラインの幅SW0p、明暗一周期の幅P0p、間欠部の幅DWp、間欠部間の幅DSWpとする。物体上での幅は、添え字objを付し、明ラインの幅LW0obj、暗ラインの幅SW0obj、明暗一周期の幅P0obj、間欠部の幅DW0obj、間欠部間の幅DSW0objとする。像上での幅は、添え字imgを付し、明ラインの幅LW0img、暗ラインの幅SW0img、明暗一周期の幅P0img、間欠部の幅DWimg、間欠部間の幅DSWimgとする。
図9は、パターン光を例示する図である。パターン光は、ライン状であり、ライン状の明部または暗部は、そのライン上に間欠部を有する。図9の(A)は、明ライン上に暗間欠部を有している。図9の(B)は、暗ライン上に明間欠部を有している。ここでは、パターン光は、図9の(A)のようなものとする。実施例2においても、パターン光のラインが延びる方向をライン方向という。図9の(A)では、複数のライン状の光は、ライン方向に沿って配列される。また、パターン光の明ラインの幅をLWとし、暗ラインの幅をSWとし、LWとSWとの和である明暗一周期の幅をPとし、ライン方向における間欠部の幅をDWとし、ライン方向における間欠部間の幅をDSWとする。マスク上での幅は、添え字pを付し、明ラインの幅LW0p、暗部ラインの幅SW0p、明暗一周期の幅P0p、間欠部の幅DWp、間欠部間の幅DSWpとする。物体上での幅は、添え字objを付し、明ラインの幅LW0obj、暗ラインの幅SW0obj、明暗一周期の幅P0obj、間欠部の幅DW0obj、間欠部間の幅DSW0objとする。像上での幅は、添え字imgを付し、明ラインの幅LW0img、暗ラインの幅SW0img、明暗一周期の幅P0img、間欠部の幅DWimg、間欠部間の幅DSWimgとする。
間欠部は、主に、パターン光の符号化のために設けられている。そのため、マスクの間欠部の幅DW0pもしくは間欠部間の幅DSW0p、またはその両方が一定ではないことがある。実施例1で述べたとおり、像上での明ラインの幅LW0imgと暗部の幅SW0imgとの比は、概ね一定であり、像上での明暗一周期の幅P0imgは、式(1)の範囲の値をとりうる。同様に、像上での間欠部の幅DW0imgと間欠部間の幅DSWimgとの比は、概ね一定であり、像上での間欠部の幅DW0img、間欠部間の幅DSW0imgは、それぞれ次式(5)、式(6)の範囲の値をとりうる。
DW0img_min≦DW0img≦DW0img_max ・・・(5)
DSW0img_min≦DSWimg≦DSW0img_max ・・・(6)
DW0img_min≦DW0img≦DW0img_max ・・・(5)
DSW0img_min≦DSWimg≦DSW0img_max ・・・(6)
ここでは、計測領域10内の位置の変化による投影倍率の変化より当該位置の変化による撮像倍率の変化の方が大きい場合を前提としている。式中のDW0img_minおよびDSW0img_minは、計測装置から最も遠い位置に物体1があり、かつ物面が正の方向に傾いている条件下でのDW0imgおよびDSW0imgである。また、式中のDW0img_maxおよびDSW0img_maxは、計測装置から最も近い位置に物体1があり、かつ物面が負の方向に傾いている条件下でのDW0imgおよびDSW0imgである。
次に、図10は、第1較正マークを例示する図である。同図において、パターン画像用の第1較正マークは、白で示された明部であり、その背景が黒で示された暗部である。実施例1の第1較正マークに対して間欠部が追加されている以外は、実施例1とそれと同様である。第1較正マークの間欠部の幅をDW1、間欠部間の幅をDSW1とする。物(物体1)上での幅は、添え字objを付し、間欠部の幅をDW1obj、間欠部間の幅をDSW1objとする。像上での幅は、添え字imgを付し、間欠部の幅をDW1img、間欠部間の幅をDSW1imgとする。ここで、物上での間欠部の幅DW1objは、像上での間欠部の幅DW1imgが像上での間欠部の幅DW0imgに対応するように決定しうる。また、物上での間欠部間の幅DSW1objは、像上での間欠部間の幅DSW1imgが像上での間欠部間の幅DSW0cに対応するように決定しうる。但し、像上での間欠部の幅DW0img、像上での間欠部間の幅DSW0imgは、式(5)、(6)に示すように範囲を有しているため、式(5)、(6)の範囲に基づいて、第1較正マークの間欠部の幅DW1imgおよび間欠部間の幅DSW1imgを選択する。また、図10の第1較正マークは、中央の明ライン上に、間欠部の幅DW1objおよび間欠部間の幅DSW1objを有する間欠部を有している。しかしながら、式(5)の範囲内の複数の間欠部の幅DW1objおよび式(6)範囲内の複数の間欠部間の幅DSW1objのうち少なくとも一方を有する間欠部を有するようにしてもよい。また、すべての明ライン上に間欠部を有していてもよい。また、物上での明暗一周期の幅P1obj、間欠部の幅DW1obj、および間欠部間の幅DSW1objのうち少なくとも1つが互いに異なる複数種類のマーク(パターン)を用意してもよい。ここで、明暗一周期の幅P1obj、間欠部の幅DW1obj、間欠部間の幅DSW1objの間の比は一定とする。例えば、第1マークないし第3マークの3種類のマークを用意する。それぞれのマークの明暗一周期の幅P1obj、間欠部の幅DW1obj、間欠部間の幅DSW1objは、それぞれマークの番号を末尾に付して区別する。第1マークの明暗一周期の幅P11objを基準とし、第2マークの明暗周期P12objは、P11objの1.5倍とし、第3マークの明暗周期P13objは、P11objの2倍とする。また、第2マークの間欠部の幅DW12objは、第1マークの間欠部の幅DW11objの1.5倍とし、第3マークの間欠部の幅DW13objは、DW11objの2倍とする。さらに、間欠部間の幅DSWobjについても同様とする。
なお、パターン画像用の第1較正マークは、1種類のマークには限らず、明暗一周期の幅P1objが互いに異なる複数種類のマークを含むものとしてもよい。その場合、計測装置と較正マーク部材との間の相対的な位置・姿勢によって、較正データを得るためのマークを選択しうる。例えば、まず、較正マーク部材の配置(位置および姿勢のうちの少なくとも一方)におけるパターン光111の像上での明暗一周期の幅P0imgを実測または推定する。そして、当該実測または推定により得られた幅に最も近くなる像上の明暗一周期の幅P1imgが得られるようなマークを選択すればよい。
また、それには限定されないが、複数種類のマークと複数の配置との複数の組合せそれぞれに対応した較正データを予め取得しておいてもよい。この場合、パターン画像における明暗一周期の幅P0imgに対応した(例えば最も近い)像上の明暗一周期の幅P1imgを有するようなマークに基づいて予め取得された較正データを計測に用いればよい。これにより、複数種類のパターン光を投影して物体の領域を認識するような場合、パターン光の種類ごとに画像(例えば第1および第2画像)を得、そうして得られた複数の画像を別々の較正データ(例えば第1および第2較正データ)に基づいて較正しうる。この場合、各画像の歪みの較正をより適切に行え、計測精度の点で有利となりうる。
また、第1較正マークは、その像の中で歪みが同一とみなせるようなサイズ(寸法)有するものとする。また、図10のような第1較正マークは、ライン方向に直交する方向において間欠マークのライン(幅)を検出することにより、当該直交方向における画像の歪みを得ることができる。さらに、ライン方向において間欠マークの間欠部を検出することにより、ライン方向における画像の歪みを得ることができる。以上のようなパターン画像用の第1較正マークを用いることにより、パターン画像の歪みを較正する正確さの点で有利となる。濃淡画像用の第2較正マークは、実施例1で説明したものを用いることにより、濃淡画像の歪みを較正する正確さの点で有利となる。そして、以上のような第1較正マークおよび第2較正マークを使用することによって、計測精度の点で有利な計測装置を提供することができる。
〔実施例3〕
図11は、第1較正マークを例示する図である。同図において、パターン画像用の第1較正マークは、ライン方向が互いに垂直な2つのLSパターン(LSマーク)を含む。左側のパターンを第1LSパターン、右側のパターンを第2LSパターンとする。第1LSパターンは、実施例1におけるLSパターンと同じものであるため、説明を省略する。第2LSパターンにおいて、明ラインの幅をLW2とし、暗ラインの幅をSW2とする。物上での幅は、添え字objを付し、明ラインの幅LW2obj、暗ラインの幅SW2objとする。像上での幅は、添え字imgを付し、明ラインの幅LW2img、暗ラインの幅SW2imgとする。第2LSパターンの明ラインの幅LW2objと暗ラインの幅LW2objとの比は、その像上での明ラインの幅LW2imgと暗ラインの幅SW2imgとの比に同じとする。
図11は、第1較正マークを例示する図である。同図において、パターン画像用の第1較正マークは、ライン方向が互いに垂直な2つのLSパターン(LSマーク)を含む。左側のパターンを第1LSパターン、右側のパターンを第2LSパターンとする。第1LSパターンは、実施例1におけるLSパターンと同じものであるため、説明を省略する。第2LSパターンにおいて、明ラインの幅をLW2とし、暗ラインの幅をSW2とする。物上での幅は、添え字objを付し、明ラインの幅LW2obj、暗ラインの幅SW2objとする。像上での幅は、添え字imgを付し、明ラインの幅LW2img、暗ラインの幅SW2imgとする。第2LSパターンの明ラインの幅LW2objと暗ラインの幅LW2objとの比は、その像上での明ラインの幅LW2imgと暗ラインの幅SW2imgとの比に同じとする。
暗ラインの幅SW2objは、その像上での暗ラインの幅SW2imgがパターン画像における暗ラインの幅SW0imgに対応する(一致または近似する)ように決定する。また、明ラインの幅LW2objは、その像上での明ラインの幅LW2imgがパターン画像における明ラインの幅LW0imgに対応(一致または近似する)ように決定する。実施例1において述べたように、パターン画像における暗ラインの幅SW0imgおよび明ラインの幅LW0imgは範囲を有するため、実施例1の場合と同様にして、暗ラインの幅SW2objおよび明ラインの幅LW2objを選択するのが好ましい。
また、物上での暗ラインの幅SW2obj、物上での明ラインの幅LW2obj、物上での明暗一周期の幅P2objのうち少なくとも1つが互いに異なる複数種類のマーク(パターン)を用意してもよい。ここで、物上での暗ラインの幅SW2obj、物上での明ラインの幅LW2obj、物上での明暗一周期の幅P2objの間の比は一定とする。例えば、第1マークないし第3マークの3種類のマークを用意する。それぞれのマークの物上での暗ラインの幅SW2obj、物上での明ラインの幅LW2obj、物上での明暗一周期の幅P2objは、それぞれマークの番号を末尾に付して区別する。第1マークの物上での暗ラインの幅SW21objを基準とし、第2マークの物上での暗ラインの幅SW22objは、SW21objの1.5倍とし、第3マークの物上での暗ラインの幅SW23objは、SW21objの2倍とする。また、第2マークの物上での明ラインの幅LW22objは、第1マークの物上での明ラインの幅LW21objの1.5倍とし、第3マークの物上での明ラインの幅LW23objは、LW21objの2倍とする。さらに、物上での明暗一周期の幅P2objについても同様とする。
なお、パターン画像用の第1較正マークは、1種類のマークには限らず、明暗一周期の幅P2objが互いに異なる複数種類のマークを含むものとしてもよい。その場合、計測装置と較正マーク部材との間の相対的な位置・姿勢によって、較正データを得るためのマークを選択しうる。例えば、まず、較正マーク部材の配置(位置および姿勢のうちの少なくとも一方)におけるパターン光111の像上での明暗一周期の幅P0imgを実測または推定する。そして、当該実測または推定により得られた幅に最も近くなる像上の明暗一周期の幅P2imgが得られるようなマークを選択すればよい。
また、それには限定されないが、複数種類のマークと複数の配置との複数の組合せそれぞれに対応した較正データを予め取得しておいてもよい。この場合、パターン画像における明暗一周期の幅P0imgに対応した(例えば最も近い)像上の明暗一周期の幅P2imgを有するようなマークに基づいて予め取得された較正データを計測に用いればよい。
また、第1較正マークは、その像の中で歪みが同一とみなせるようなサイズ(寸法)有するものとする。また、図11のような第1較正マークは、左側のマークのライン方向に直交する方向において当該マークのライン(幅)を検出することにより、当該直交方向における画像の歪みを得ることができる。さらに、右側のマークのライン方向に直交する方向おいて当該マークのライン(幅)を検出することにより、当該直交方向における画像の歪みを得ることができる。以上のようなパターン画像用の第1較正マークを用いることにより、パターン画像の歪みを較正する正確さの点で有利となる。濃淡画像用の第2較正マークは、実施例1で説明したものを用いることにより、濃淡画像の歪みを較正する正確さの点で有利となる。そして、以上のような第1較正マークおよび第2較正マークを使用することによって、計測精度の点で有利な計測装置を提供することができる。
〔実施形態1の変形例〕
実施形態1における第1および第2の較正データは、本変形例においては、それぞれ、対応する画像から取得可能な少なくとも1つのパラメータのそれぞれに対応付けられ、当該対応の関係は、例えば、テーブルまたは関数の形で表されうる。ここで、当該画像から取得可能なパラメータは、例えば、撮像により得られた物体1上の光強度分布、または撮像部130と物体1上の特徴点(例えばパターン光が投影された点)との間の相対的配置に関するものとしうる。
実施形態1における第1および第2の較正データは、本変形例においては、それぞれ、対応する画像から取得可能な少なくとも1つのパラメータのそれぞれに対応付けられ、当該対応の関係は、例えば、テーブルまたは関数の形で表されうる。ここで、当該画像から取得可能なパラメータは、例えば、撮像により得られた物体1上の光強度分布、または撮像部130と物体1上の特徴点(例えばパターン光が投影された点)との間の相対的配置に関するものとしうる。
その場合、ステップS1005は、第1較正データを決定したうえで、それに基づいてパターン画像の歪みを較正する処理を行うようにする。また、ステップS1010は、第2較正データを決定したうえで、それに基づいて濃淡画像の歪みを較正する処理を行うようにする。なお、S1005およびS1010での較正は、画像(またはその部分)そのものではなく、画像から特徴を抽出して得られた画像上の座標に対して行われるものであってもよい。
ここで、本実施形態におけるS1005について詳述する。上述のように、画像歪みは、物体1上の光強度分布と撮像部130の点拡がり関数(点像分布関数)とに依って変化する。そのため、画像歪みを正確に較正するためには、上述のようなパラメータに対応付けられた第1較正データを決定(選択)して用いるのが好ましい。なお、パラメータ(の値)が1つしかない場合は、それに対応する唯一の第1較正データを決定すればよい。それに対し、パラメータ(の値)が複数ある場合は、例えば、以下のようにすればよい。まず、パターン画像から特徴点(予め定められた特徴を有する点)を抽出する。次に、各特徴点におけるパラメータ(例えば、各特徴点での光強度または各特徴点と撮像部130との間の相対的配置)を取得する。つづいて、当該パラメータに基づいて、第1較正データを決定する。なお、第1較正データは、パラメータの値に対応する較正データを複数の較正データの中から選択して得られるものであってもよい。また、第1較正データは、複数の較正データに基づいて内挿または外挿して得られるものであってもよい。また、第1較正データは、パラメータを変数とする関数から得られるものであってもよい。第1較正データを決定する方式は、記憶部140の容量や、計測精度、処理時間の観点から適宜選択しうる。本実施形態におけるS1010の処理は、実施形態1におけるS1005の処理を本実施形態におけるS1005の処理に変更したのと同様に、実施形態1におけるS1010の処理を変更したものとしうる。
〔実施例1の変形例〕
実施例1におけるパターン画像用の第1較正マークは、本変形例においては、1つのLSパターンには限らず、明暗一周期の幅P1objが式(1)の範囲内にあって且つ互いに異なる複数のLSパターンを含むものとしうる。この場合、複数の第1較正データを得ることができ、物体の配置(位置および姿勢のうち少なくとも一方)によって変動するパターン光の像上における明暗一周期の幅P0imgにより整合した第1較正データを決定することができる。そのため、より正確な較正が可能となる。
実施例1におけるパターン画像用の第1較正マークは、本変形例においては、1つのLSパターンには限らず、明暗一周期の幅P1objが式(1)の範囲内にあって且つ互いに異なる複数のLSパターンを含むものとしうる。この場合、複数の第1較正データを得ることができ、物体の配置(位置および姿勢のうち少なくとも一方)によって変動するパターン光の像上における明暗一周期の幅P0imgにより整合した第1較正データを決定することができる。そのため、より正確な較正が可能となる。
なお、当該複数のLSパターンは、同一の較正マーク部材に設けられていてもよいし、互いに異なる複数の較正マーク部材に設けられていてもよい。後者の場合、較正データを取得するのに複数の較正マーク部材を順次に撮像してもよい。明暗一周期の幅P1objが互いに異なる複数のLSパターンを用いて取得するのは、1つの較正データであってもよいし、複数の較正データであってもよい。まず、1つの較正データを取得する例を示す。初めに、明暗一周期の幅P1objが互いに異なる複数のLSパターンが設けられた較正マーク部材を撮像して画像を取得する。当該画像は、較正マーク部材の配置(位置及び姿勢のうちの少なくとも一方)が互いに異なる複数の画像を取得する。当該複数の画像から、明暗一周期の幅P1objが互いに異なるLSパターンそれぞれの(画)像上での座標および明暗一周期の幅P1imgを得る。次に、各画像を取得したときの較正マーク部材の配置(位置および姿勢のうちの少なくとも一方)を物体がとった場合のパターン光111の像上での明暗一周期の幅P0imgを実測または推定する。そして、同一の較正マーク部材の配置をとる第1較正マーク内の明暗周期の互いに異なる複数のLSパターンの中から当該実測または推定により得られた幅に最も近い像上の明暗一周期の幅P1imgが得られたLSパターンを選択する。そして、選択されたLSパターンの物上の三次元座標情報および画像上の二次元座標に基づいて第1較正データを取得する。このようにして、計測装置と較正マーク部材との間の相対的な位置および姿勢(相対的配置)による明暗一周期の幅P0imgの変動に基づいて第1較正データを取得すれば、より正確な歪み補正が可能となる。
次に、複数の較正データを取得する例として、像上の明暗一周期の幅P0imgと対応付けられた較正データを取得する例を示す。較正データ取得用の画像に基づいて第1較正マークの各明暗一周期の幅P0objの互いに異なる複数のLSパターンそれぞれの画像上での座標および明暗一周期の幅P1imgを得るところまでは、上記1つの較正データを取得する場合と同じである。次に、式(1)で表されるパターン光111の像上での明暗一周期の幅P0imgの範囲を任意の分割数で分割する。そして、分割により得られた明暗一周期の幅P0imgの範囲毎に、上記のようにして得られた明暗一周期の幅P1imgに基づいて、全画像の第1較正マークのLSパターンをグループ分けする。つづいて、同一グループとなったLSパターンの物上での三次元座標および画像上での座標に基づいて較正データを取得する。例えば、パターン光111の像上での明暗一周期の幅P0imgの範囲を11分割した場合、較正データは11種類取得されることとなる。このようにして得られた像上での明暗一周期の幅P0img(の各範囲)と第1較正データとの対応関係を記憶しておく。
記憶した対応関係の情報は、以下のように利用される。まず、処理部150は、パターン画像から物体領域を認識するため、パターン光111を検出する。パターン光111が検出された点を検出点とする。次に、各検出点における明暗一周期の幅P0imgを決定する。明暗一周期の幅P0imgは、例えば、注目する検出点の座標と、それとはパターン光111のライン方向に直交する方向に隣接する検出点の座標との間の距離(の平均)としうる。次に、明暗一周期の幅P0imgに基づいて第1較正データを決定する。例えば、P0imgと最も近い明暗一周期の幅に対応付けられた第1較正データを採用しうる。また、P0imgに対応する第1較正データから内挿して使用する第1較正データを得てもよい。また、第1較正データは、明暗一周期の幅P0imgを変数とする関数として記憶しておいてもよい。この場合は、P0imgを当該関数に代入することにより、第1較正データを決定する。
このようにして第1較正データを決定することにより、明暗一周期の幅P0imgに相関のある画像歪みに対応した、より正確な歪み補正が可能となる。なお、複数の較正データは、複数のLSパターンと複数の配置との間の複数の組合せそれぞれに対応したものとしうる。ここで、複数の配置(各LSパターンと撮像部130との相対位置)は、例えば、各LSパターンの画像上での座標と物上での三次元座標とに基づいて決定しうる。
次に、式(1)で表されるP0imgの範囲は、適当な分割数で分割する。また、撮像部の光軸131方向における物体の位置の範囲(相対的な配置の範囲、ここでは、光軸に垂直な二つの面の間の計測領域)は、適当な分割数で分割する。そして、上記の分割により得られたP0imgの範囲と相対的配置の範囲との組合せ毎にLSパターンをグループ分けする。同一グループとなった各LSパターンの物上での三次元座標および画像上での座標に基づいて較正データは算出しうる。例えば、P0imgの範囲を11分割し、かつ相対的配置の範囲を11分割した場合、較正データは121種類取得されることとなる。このようにして得られた上記の組合せと第1較正データとの対応関係を記憶しておく。
そして、物体の領域を認識する場合には、まず、パターン画像におけるP0imgと、相対的配置とを得る。相対的配置は、上記の分割により得られた複数の範囲から選択して決定しうる。次に、P0imgと相対的配置とに基づいて第1較正データを決定する。上記の組合せに対応する第1較正データを選択しうる。また、第1較正データは、そのような選択に替えて、内挿により取得してもよい。また、第1較正データは、P0imgと相対的配置とを変数とする関数に基づいて取得してもよい。
このようにすることで、P0imgと相対的配置とに対応した第1較正データを使用することができ、より正確な歪み補正が可能となる。
ところで、第1較正マークの像上の歪みは、パターン画像における歪みと略一致していることが求められる。そのため、第1較正マークは、第1較正マーク内の基準位置(例えば中心位置)において、それらの歪みが同一とみなせるような寸法を有するものとする。具体的には、第1較正マークの基準位置における撮像光学系130の点拡がり関数の拡がり以上の寸法を有するものとする。これは、像の歪みが物体上の光強度分布と撮像部の点拡がり関数とに依って決定されることによる。そして、撮像部の点拡がり関数の広がりの範囲内の物体上の光強度分布が同一とみなせれば、同一とみなせる歪みが生じうるからである。
つづいて、濃淡画像用の第2較正マークについて述べる。図7において、第2較正マークは、上述のように、ライン方向(所定方向)に沿ったライン状のパターンを含み、暗部の短手方向の幅をKobj、長手方向の幅をJobjとしている。第2較正マークは、本変形例では、暗部の短手方向と同じ方向における第2較正マークの幅をKobjより大きな幅(Mobj)とする(暗部の背景は明部となる)。ここで、幅Mobjの範囲内の幅Kobjの暗部の外側の領域には他の暗部を設けない。
第2較正マークは、物上での暗部の幅Kobjが互いに異なる複数のマークを含んでいてもよい。この場合、像上でのエッジ間距離が異なる複数の第2較正データを得ることができ、物体の配置(位置および姿勢のうち少なくとも一方)によって変動する像上でのエッジ間距離に対応した第2較正データを決定することができる。このため、より正確な較正が可能となる。なお、第2較正データの取得方法は、パラメータが、第1較正データに関しては明暗一周期の幅(P0img)であったのが第2較正データに関しては像上でのエッジ間距離に替わるだけであるため、その詳細は省略する。
次に、第2較正マークの寸法について述べる。第2較正マークの像上の歪みは、濃淡画像における歪みと略一致していることが求められる。そのため、第2較正マークは、第2較正マーク内の基準位置(例えば中心位置)において、それらの歪みが同一とみなせるような寸法を有するものとする。具体的には、第2較正マークの基準位置における撮像光学系130の点拡がり関数の拡がり以上の寸法を有するものとする。これは、像の歪みが物体上の光強度分布と撮像部の点拡がり関数とに依って決定されることによる。そして、撮像部の点拡がり関数の広がりの範囲内の物体上の光強度分布が同一とみなせれば、同一とみなせる歪みが生じうるからである。
〔実施例2の変形例〕
本変形例は、実施例2とは逆に、計測領域10内の位置の変化による撮像倍率の変化より当該位置の変化による投影倍率の変化が大きい場合についての例である。この場合、式(5)(6)中のDW0img_minおよびDSW0img_minは、計測装置から最も近い位置に物体1があり、かつ物体1が正の方向に傾いている条件下でのDW0imgおよびDSW0imgである。また、式(5)(6)中のDW0img_maxおよびDSW0img_maxは、計測装置から最も遠い位置に物体1があり、かつ物体1が負の方向に傾いている条件下でのDW0imgおよびDSW0imgである。
本変形例は、実施例2とは逆に、計測領域10内の位置の変化による撮像倍率の変化より当該位置の変化による投影倍率の変化が大きい場合についての例である。この場合、式(5)(6)中のDW0img_minおよびDSW0img_minは、計測装置から最も近い位置に物体1があり、かつ物体1が正の方向に傾いている条件下でのDW0imgおよびDSW0imgである。また、式(5)(6)中のDW0img_maxおよびDSW0img_maxは、計測装置から最も遠い位置に物体1があり、かつ物体1が負の方向に傾いている条件下でのDW0imgおよびDSW0imgである。
なお、パターン画像用の第1較正マークは、実施例1の変形例の場合と同様に、1種類のマークには限られず、明暗一周期の幅P1objが互いに異なる複数種類のマークを含むものとしてもよい。複数種類のマークを含む場合の実施例は、実施例1の変形例の場合と同様に構成できるのは明らかであるため、その詳細は省略する。
〔実施例3の変形例〕
実施例3におけるパターン画像用の第1較正マークは、1種類のマークには限られず、明暗一周期の幅P2objが互いに異なる複数種類のマークを含むものとしてもよい。複数種類のマークを含む場合の実施例は、実施例1の変形例の場合と同様に構成できるのは明らかであるため、その詳細は省略する。
実施例3におけるパターン画像用の第1較正マークは、1種類のマークには限られず、明暗一周期の幅P2objが互いに異なる複数種類のマークを含むものとしてもよい。複数種類のマークを含む場合の実施例は、実施例1の変形例の場合と同様に構成できるのは明らかであるため、その詳細は省略する。
〔物品製造方法に係る実施形態〕
以上に説明した実施形態に係る計測装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測装置を用いて物体の計測を行う工程と、当該工程で計測を行われた物体を処理する工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立(組付)、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも1つにおいて有利である。
以上に説明した実施形態に係る計測装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測装置を用いて物体の計測を行う工程と、当該工程で計測を行われた物体を処理する工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立(組付)、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも1つにおいて有利である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形および変更が可能である。
100 計測装置
110 投影部
130 撮像部
150 処理部
110 投影部
130 撮像部
150 処理部
Claims (30)
- パターンを有する光と前記パターンを有しない光とを物体に投影する投影部と、
前記パターンを有する光を投影された前記物体を撮像してパターン画像を得、前記パターンを有しない光を投影された前記物体を撮像して濃淡画像を得る撮像部と、
第1較正データに基づいて前記パターン画像の歪みを較正する処理を行い、前記第1較正データとは異なる第2較正データに基づいて前記濃淡画像の歪みを較正する処理を行って、前記物体の領域を認識する処理を行う処理部と、
を有することを特徴とする計測装置。 - 前記処理部は、前記撮像部により得られた第1較正マークの画像に基づいて前記第1較正データを得、前記撮像部により得られた第2較正マークの画像に基づいて前記第2較正データを得ることを特徴とする請求項1に記載の計測装置。
- 前記パターンを有する光は、それぞれが所定方向に沿った複数のライン状の光を含むことを特徴とする請求項1または請求項2に記載の計測装置。
- 前記複数のライン状の光は、前記所定方向に交差する方向に沿って配列されることを特徴とする請求項3に記載の計測装置。
- 前記複数のライン状の光は、前記所定方向に沿って配列されることを特徴とする請求項3または請求項4に記載の計測装置。
- 前記パターンを有しない光は、照度が均一化された光を含むことを特徴とする請求項1ないし請求項5のうちいずれか1項に記載の計測装置。
- 前記第1較正マークは、それぞれが所定方向に沿った複数のライン状のパターンを含むことを特徴とする請求項2に記載の計測装置。
- 前記第2較正マークは、所定方向に沿ったライン状のパターンを含むことを特徴とする請求項2または請求項7に記載の計測装置。
- 前記第1較正マークにおける所定パターンの寸法は、前記パターン画像における所定パターンの寸法に対応することを特徴とする請求項2、請求項7および請求項8のうちいずれか1項に記載の計測装置。
- 前記第1較正マークにおける所定パターンの寸法は、前記パターン画像における所定パターンの寸法の最小値から最大値までの範囲内にある寸法に対応することを特徴とする請求項2、請求項7および請求項8のうちいずれか1項に記載の計測装置。
- 前記第2較正マークにおける所定パターンの寸法は、前記濃淡画像における所定エッジ間の距離に対応することを特徴とする請求項2または請求項7ないし請求項10のうちいずれか1項に記載の計測装置。
- 前記第2較正マークにおける所定パターンの寸法は、前記濃淡画像における所定エッジ間の距離の最小値から最大値までの範囲内にある距離に対応することを特徴とする請求項2または請求項7ないし請求項10のうちいずれか1項に記載の計測装置。
- 前記第1較正マークの寸法は、前記撮像部の点拡がり関数の拡がり以上であることを特徴とする請求項2または請求項7ないし請求項12のうちいずれか1項に記載の計測装置。
- 前記第2較正マークの寸法は、前記撮像部の点拡がり関数の拡がりの1/2以上であることを特徴とする請求項2または請求項7ないし請求項13のうちいずれか1項に記載の計測装置。
- 前記処理部は、前記パターンを有する光の種類および前記物体の種類のうちの少なくとも一方に基づいて、前記第1較正データを取得することを特徴とする請求項1ないし請求項14のうちいずれか1項に記載の計測装置。
- 前記処理部は、前記物体の種類に基づいて、前記第2較正データを取得することを特徴とする請求項1ないし請求項15のうちいずれか1項に記載の計測装置。
- 第1パターンを有する光と前記第1パターンとは異なる第2パターンを有する光とを物体に投影する投影部と、
前記第1パターンを有する光を投影された前記物体を撮像して第1画像を得、前記第2パターンを有する光を投影された前記物体を撮像して第2画像を得る撮像部と、
第1較正データに基づいて前記第1画像の歪みを較正する処理を行い、前記第1較正データとは異なる第2較正データに基づいて前記第2画像の歪みを較正する処理を行って、前記物体の領域を認識する処理を行う処理部と、
を有することを特徴とする計測装置。 - 前記処理部は、前記パターン画像に基づいて前記第1較正データを得ることを特徴とする請求項1ないし請求項16のうちいずれか1項に記載の計測装置。
- 前記処理部は、前記濃淡画像に基づいて前記第2較正データを得ることを特徴とする請求項1ないし請求項16のうちいずれか1項に記載の計測装置。
- 前記第1較正マークは、その寸法が互いに異なる複数のパターンを含むことを特徴とする請求項2に記載の計測装置。
- 前記第2較正マークは、その寸法が互いに異なる複数のパターンを含むことを特徴とする請求項2に記載の計測装置。
- 前記処理部は、前記第1画像に基づいて前記第1較正データを得ることを特徴とする請求項17に記載の計測装置。
- 前記処理部は、前記第2画像に基づいて前記第2較正データを得ることを特徴とする請求項17に記載の計測装置。
- 請求項1ないし請求項23のうちいずれか1項に記載の計測装置を用いて物体を計測する工程と、
前記工程で計測された物体を処理する工程と、
を含むことを特徴とする物品製造方法。 - 請求項1ないし請求項23のうちいずれか1項に記載の計測装置において使用される較正マーク部材であって、
前記第1較正データを得るために前記撮像部により撮像される第1較正マークと、
前記第2較正データを得るために前記撮像部により撮像される第2較正マークと、
を含むことを特徴とする較正マーク部材。 - パターンを有する光を物体に投影し、
前記パターンを有する光を投影された前記物体を撮像してパターン画像を得、
前記パターンを有しない光を前記物体に投影し、
前記パターンを有しない光を投影された前記物体を撮像して濃淡画像を得、
第1較正データに基づいて前記パターン画像の歪みを較正する処理と、前記第1較正データとは異なる第2較正データに基づいて前記濃淡画像の歪みを較正する処理とを行って、前記物体の領域を認識する、
ことを特徴とする計測方法。 - 第1パターンを有する光を物体に投影し、
前記第1パターンを有する光を投影された前記物体を撮像して第1画像を得、
前記第1パターンとは異なる第2パターンを有する光を前記物体に投影し、
前記第2パターンを有する光を投影された前記物体を撮像して第2画像を得、
第1較正データに基づいて前記第1画像の歪みを較正する処理と、前記第1較正データとは異なる第2較正データに基づいて前記第2画像の歪みを較正する処理とを行って、前記物体の領域を認識する、
ことを特徴とする計測方法。 - 請求項26または請求項27に記載の計測方法において使用される較正マーク部材であって、
前記第1較正データを得るために撮像される第1較正マークと、
前記第2較正データを得るために撮像される第2較正マークと、
を含むことを特徴とする較正マーク部材。 - 物体に対して加工を行う加工部と、
請求項1ないし請求項23のうちいずれか1項に記載の計測装置から前記物体の領域の情報を受信し、該情報に基づいて前記加工部を制御する制御部と、
を有することを特徴とする加工装置。 - 請求項1ないし請求項23のうちいずれか1項に記載の計測装置と、
請求項29に記載の加工装置と、
を含むことを特徴とする加工システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/298,039 US20170116462A1 (en) | 2015-10-22 | 2016-10-19 | Measurement apparatus and method, program, article manufacturing method, calibration mark member, processing apparatus, and processing system |
DE102016120026.3A DE102016120026B4 (de) | 2015-10-22 | 2016-10-20 | Messvorrichtung und Verfahren, Programm, Produktherstellungsverfahren, Kalibrierungsmarkierungselement, Verarbeitungsvorrichtung und Verarbeitungssystem |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015208241 | 2015-10-22 | ||
JP2015208241 | 2015-10-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017083419A true JP2017083419A (ja) | 2017-05-18 |
Family
ID=58714111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016041579A Pending JP2017083419A (ja) | 2015-10-22 | 2016-03-03 | 計測装置および方法、物品製造方法、較正マーク部材、加工装置、ならびに加工システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017083419A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030038933A1 (en) * | 2001-04-19 | 2003-02-27 | Dimensional Photonics Inc. | Calibration apparatus, system and method |
JP2007271395A (ja) * | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | 3次元色形状計測装置 |
US20090225333A1 (en) * | 2008-03-05 | 2009-09-10 | Clark Alexander Bendall | System aspects for a probe system that utilizes structured-light |
US20090238449A1 (en) * | 2005-11-09 | 2009-09-24 | Geometric Informatics, Inc | Method and Apparatus for Absolute-Coordinate Three-Dimensional Surface Imaging |
WO2011064969A1 (ja) * | 2009-11-30 | 2011-06-03 | 株式会社ニコン | 検査装置、三次元形状測定装置、構造物の製造方法 |
JP2013545972A (ja) * | 2010-10-14 | 2013-12-26 | コー・ヤング・テクノロジー・インコーポレーテッド | 基板検査方法 |
-
2016
- 2016-03-03 JP JP2016041579A patent/JP2017083419A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030038933A1 (en) * | 2001-04-19 | 2003-02-27 | Dimensional Photonics Inc. | Calibration apparatus, system and method |
US20090238449A1 (en) * | 2005-11-09 | 2009-09-24 | Geometric Informatics, Inc | Method and Apparatus for Absolute-Coordinate Three-Dimensional Surface Imaging |
JP2007271395A (ja) * | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | 3次元色形状計測装置 |
US20090225333A1 (en) * | 2008-03-05 | 2009-09-10 | Clark Alexander Bendall | System aspects for a probe system that utilizes structured-light |
WO2011064969A1 (ja) * | 2009-11-30 | 2011-06-03 | 株式会社ニコン | 検査装置、三次元形状測定装置、構造物の製造方法 |
JP2013545972A (ja) * | 2010-10-14 | 2013-12-26 | コー・ヤング・テクノロジー・インコーポレーテッド | 基板検査方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170116462A1 (en) | Measurement apparatus and method, program, article manufacturing method, calibration mark member, processing apparatus, and processing system | |
CN110392252B (zh) | 用于生成相机的校正模型以校正像差的方法 | |
CN108292439B (zh) | 校准安装至车辆的摄像机的取向的方法和存储介质 | |
JP5689681B2 (ja) | 非接触プローブ | |
JP5140761B2 (ja) | 測定システムを較正する方法、コンピュータプログラム、電子制御装置、及び、測定システム | |
Isa et al. | Design and analysis of a 3D laser scanner | |
JP5515432B2 (ja) | 三次元形状計測装置 | |
JP2019507885A (ja) | 3次元非接触スキャニングシステムのフィールド校正 | |
JP5016520B2 (ja) | 3次元形状計測方法および装置 | |
CN103294886A (zh) | 用于再生虚拟物体的系统 | |
JP2005509877A (ja) | コンピュータ視覚システムの較正方法及びそのシステム | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
JP6486083B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020012707A1 (ja) | 3次元測定装置及び方法 | |
JP2017083419A (ja) | 計測装置および方法、物品製造方法、較正マーク部材、加工装置、ならびに加工システム | |
JP5786999B2 (ja) | 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法 | |
US11885650B2 (en) | Motion encoder | |
JP2009267064A (ja) | 測定方法および露光装置 | |
JP2009192483A (ja) | 三次元形状計測方法および三次元形状計測装置 | |
JP2020197495A (ja) | 情報処理装置、計測装置、情報処理方法、プログラム、システム及び物品の製造方法 | |
Percoco et al. | 3D image based modelling for inspection of objects with micro-features, using inaccurate calibration patterns: an experimental contribution | |
JP2018077168A (ja) | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム | |
JP4837541B2 (ja) | 端面形状検査方法および同装置 | |
JP2018044863A (ja) | 計測装置、計測方法、システム及び物品の製造方法 | |
JP2024080670A (ja) | 光三角測量に基づく3次元撮像のための撮像システムの較正において使用するための実世界および画像センサー対応点の提供 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200818 |