JP2018189459A - 計測装置、計測方法、システム、および物品製造方法 - Google Patents

Abstract

【課題】計測精度の低下の検知に有利な計測装置を提供する。【解決手段】パターン光を物体に投影するパターン光投影部１１０と、物体を撮像して画像を得る撮像部１２０と、撮像部が得た画像に基づいて物体までの距離を求める演算部１４０と、を有する計測装置１００であって、物体にスポット光を投影するスポット光投影部１５０を有し、撮像部は、パターン光投影部からパターン光が投影され、かつ、スポット光投影部からスポット光が投影された物体を撮像して画像を得、演算部は、パターン光を基準とするスポット光の投影位置に基づいて第１距離を求め、スポット光が投影された位置を示す画素の位置に基づいて第２距離を求め、第１距離と第２距離との差分の大きさを計測精度の指標として算出する。【選択図】図１

Description

本発明は、計測装置、計測方法、システム、および物品製造方法に関する。

物体の配置（例えば、位置および姿勢）を非接触に計測する装置として、パターン投影法を用いた計測装置が知られている。パターン投影法では、パターン光が投影された物体を撮像して得られた画像を用いて三角測量の原理に基づき各画素位置における距離情報を算出して物体の配置を求める。

計測装置は、例えば、物体を把持して移動させるロボットハンドに支持されて用いられる。ロボットアームは、計測装置による計測結果に基づいて制御される。ロボットアームの移動に伴う振動および発熱等により計測装置に含まれる光学系の配置等にずれが生じ、計測誤差が発生しうる。特許文献１は、ロボットに支持されたカメラのキャリブレーションを行う方法を開示している。

特開平６−１０２０１３号公報

しかしながら、特許文献１に開示された方法は、被検物の検出に先立って行うカメラの調整に関する方法である。当該方法では、ロボットアームを制御している最中に起こりうる、計測装置に含まれる光学系の配置等のずれの発生を検知することは困難である。

本発明は、例えば、計測精度の低下の検知に有利な計測装置を提供することを目的とする。

上記課題を解決するために、本発明は、パターン光を物体に投影するパターン光投影部と、物体を撮像して画像を得る撮像部と、撮像部が得た画像に基づいて物体までの距離を求める演算部と、を有する計測装置であって、物体にスポット光を投影するスポット光投影部を有し、撮像部は、パターン光投影部からパターン光が投影され、かつ、スポット光投影部からスポット光が投影された物体を撮像して画像を得、演算部は、パターン光を基準とするスポット光の投影位置に基づいて第１距離を求め、スポット光が投影された位置を示す画素の位置に基づいて第２距離を求め、第１距離と第２距離との差分の大きさを計測精度の指標として算出する、
ことを特徴とする。

本発明によれば、例えば、計測精度の低下の検知に有利な計測装置を提供することができる。

計測装置の構成を示す概略図である。 計測装置のＡ−Ａ部断面図である。 パターン光を構成する複数の縞のうち一つの縞を形成する光線群がなす面と撮像素子の特定画素に対応する光線との交点位置の算出方法を説明する図である。 パターン光を構成する縞を形成する光線群がなす面とスポット光の投影位置との関係を示す図である。 物体の面に投影された縞とスポット光との関係を示す図である。 物体の画像の画素上における縞とスポット光との関係を示す図である。 計測装置の初期校正の方法を説明する図である。 撮像光学系にずれが生じた場合の計測誤差を説明する図である。 ずれ前後の画像におけるスポット光の投影位置を示す図である。 スポット光投影部を２つ有する計測装置を示す図である。 計測装置が備え付けられた把持装置を含む制御システムを示す図である。

以下、本発明を実施するための形態について図面などを参照して説明する。なお、実施形態を説明するための全図を通して、原則として、同一の部材等には同一の符号を付し、その繰り返しの説明は省略する。

（実施形態）
図１は、本実施形態に係る計測装置１００の構成を示す概略図である。計測装置１００は、パターン投影法により物体の三次元形状を計測する。計測装置１００は、例えば、物体を把持して移動させるロボットアーム等に支持されて用いられる。計測装置１００は、パターン光投影部１１０および撮像部１２０を含む計測ヘッドと、制御部１３０と、演算部１４０と、スポット光投影部１５０と、を有する。

計測ヘッドおよびスポット光投影部１５０は、計測装置１００が支持されるロボットアーム等の支持面Ｓに取り付けられるベース板１６０に配置される。ベース板１６０に配置された計測ヘッドおよびスポット光投影部１５０は、側壁部１８０と、図２に示す上蓋部１７０とで囲まれる。側壁部１８０は、ベース板１６０に、例えば、ねじによって固定される。ここで、図１において、ベース板１６０に平行な面をＸＺ平面、ＸＺ平面に垂直な方向をＹ方向とする。以下で示す図においても、図１と同様の座標軸を用いる。

ベース板１６０は、第１孔部１６１および第２孔部１６２を有する。ベース板１６０は、第１孔部１６１および第２孔部１６２を介してねじ等により支持面Ｓに固定される。第１孔部１６１は、例えば、Ｘ方向に伸びる長穴であり、ベース板１６０を支持面Ｓに取り付ける際のＺ方向の位置決めに用いられる。第２孔部１６２は、位置決めの後にベース板１６０を支持面Ｓに固定するための孔部である。

（パターン光投影部）
パターン光投影部１１０は、照明光学系１１１と、投影光学系１１２と、第１支持台１１３、とを有する。照明光学系１１１は、所定のパターン光を出力して、出力されたパターン光は投影光学系１１２を介して物体に投影される。本実施形態では、パターン光のパターンとして、明線と暗線とがＸ方向に周期的に配列された縞パターンを用いる。第１支持台１１３は、投影光学系１１２を支持する台であり、ベース板１６０に、例えば、ねじによって固定される。

（撮像部）
撮像部１２０は、撮像光学系１２２と、撮像素子１２１と、第２支持台１２３と、を有する。撮像光学系１２２は、物体に投影されたパターンを撮像素子１２１に結像するための結像光学系である。撮像素子１２１は、パターンが投影された物体を撮像するための複数の画素を含むイメージセンサであって、例えば、ＣＭＯＳセンサやＣＣＤセンサなどで構成されている。撮像部１２０は、同時に複数の波長の光が投影された物体を波長が異なる投影光を区別できるような画像を取得できるように構成されうる。撮像素子１２１は、物体の撮像により、画素毎に明暗の白から黒までの色の濃さを表す階調データを含む画像情報を演算部１４０に出力する。第２支持台１２３は、撮像光学系１２２を支持する台であり、ベース板１６０に、例えば、ねじによって固定される。

（制御部）
制御部１３０は、例えばＣＰＵ（処理部）やメモリなどを含む制御回路である。制御部１３０は、パターン光投影部１１０およびスポット光投影部１５０を制御してパターン光またはスポット光を物体に投影する。制御部１３０は、撮像部１２０を制御して、物体を撮像して画像を得て、得られた画像が有する画像情報を演算部１４０へ出力する。

（演算部）
演算部１４０は、予め取得した、パターン光投影部１１０と撮像部１２０との相対的な位置および姿勢の関係を用いて三角測量の原理に基づき物体の表面上にある点の距離（位置）を算出する。本実施形態においては、パターン光のラインが伸びる方向と垂直方向（＝Ｘ軸方向）の点の位置を用いて距離が計算される。演算部１４０は、この計算をパターン光が投影された物体の表面上にある複数の点について実施し、距離情報を有する点群データを取得する。演算部１４０は、距離点群データと３Ｄ−ＣＡＤモデルを用いて、物体の配置（例えば、位置および姿勢）を求めることができる。

演算部１４０は、予め取得した、スポット光投影部１５０と撮像部１２０との相対的な位置および姿勢の関係（パラメータ）を用いて、三角測量の原理に基づき物体の表面上にある点の距離（位置）も算出する。演算部１４０は、計測装置１００の計測精度の指標となる値を算出する。詳細は後述する。

（スポット光投影部）
スポット光投影部１５０は、第３支持台１５１および第３孔部１５２を有する。スポット光投影部１５０は、第３支持台１５１に固定される。第３支持台１５１は、ベース板１６０および支持面Ｓに固定される。固定はねじ等により行われ、特に、支持面Ｓへの固定は、第３孔部１５２を介して行われる。スポット光投影部１５が投影する光としては、レーザ光を用いうる。また、スポット光投影部１５０が投影する光の波長は、パターン光投影部１１０が投影する光の波長と異ならせる。

第３孔部１５２は、第３支持台１５１を支持面Ｓに取り付ける際のＸ方向およびＺ方向の位置決めに用いられうる。第３支持台１５１のＹ方向の基準位置は、第３支持台１５１と支持面Ｓとを接触させて第３支持台１５１を固定することで決定される。第１支持台１１３、第２支持台１２３、第３支持台１５１およびベース板１６０のそれぞれの材料の線膨張係数は一致していることが望ましい。例えば、線膨張係数２×１０^−６／℃以下の低熱膨張材を用いる。少なくとも第３支持台１５１には低熱膨張材を用いる。

図２は、図１に示した計測装置１００のＡ−Ａ部断面図である。計測装置１００を取り付け面Ｓへ設置する際には、まず、第１孔部１６１および第３孔部１５２を用いて、取り付け面Ｓに対する位置決めを行う。次に、第２孔部１６２を用いてベース板１６０を支持面Ｓに固定することで計測装置１００が取り付け面Ｓに設置される。

（計測精度の指標の算出）
演算部１４０による計測精度の指標の算出の概要は次のとおりである。すなわち、演算部１４０は、計測精度の指標を算出するため、まず、パターン光およびスポット光が投影された物体を撮像して得られた画像における、パターン光を基準としたスポット光の投影位置に基づいて第１距離を求める。次に、演算部１４０は、画像におけるスポット光の投影位置に基づいて第２距離を求める。演算部１４０は、第１距離と第２距離との差分の大きさを計測精度の指標として算出する。以下、詳細に説明する。

（第２距離）
まず、第２距離を求める方法を説明する。図３は、パターン光を構成する複数の縞のうち一つの縞を形成する光線群がなす面と撮像素子の特定画素に対応する光線との交点位置の算出方法を説明する図である。パターン光投影部１１０から投影されたＸ方向に配列されたパターン光を構成する縞のうち、Ｘ方向の位置Ｘｐにおける縞を投影する光線群が形成する面を面Ｓｐとする。本実施形態において、パターン光の縞はＹ方向に伸びている。したがって、面Ｓｐにある点のＸ位置およびＹ位置は、ＹｎをＹ方向の任意の位置とすると、（Ｘｐ、Ｙｎ）と表すことができる。

一方、撮像部１２０の撮像素子１２１における画素座標は、（Ｘｃ、Ｙｃ）とする。なお、この座標は、画像におけるスポット光の投影位置とみなせる。面Ｓｐと撮像素子１２１の特定画素に対応する光線との交点のＸＹＺ空間における座標、すなわち、ＸＹＺ空間におけるスポット光投影位置は、関数ｆ_１（α）で表される。ここで、αは、画像の特定画素の座標および、当該特定画素を含む面を形成するパターン光の光線群のＸ座標を示す変数である。関数ｆ_１（α）およびＸｃ、Ｙｃおよび、Ｘｐを用いて、ＸＹＺ空間におけるスポット光投影位置が算出される。算出された座標から、第２距離が求まる。

（第１距離）
次に、第１距離を求める方法を説明する。図４、図５および図６は、パターン光を基準としたスポット光の投影位置に基づいて距離を算出する方法を説明する図である。パターン光およびスポット光を物体１０に投影した場合を考える。図４は、パターン光を構成する縞を形成する光線群がなす面とスポット光の投影位置との関係を示す図である。図３と同様にして、パターン光投影部１１０から投影されたＸ方向に配列されたパターン光を構成する縞のうち、Ｘ方向の位置Ｘｐ_１における縞Ｐ１を投影する光線群が形成する面を面Ｓｐ_１とする。また、Ｘ方向の位置Ｘｐ_２における縞Ｐ２を投影する光線群が形成する面を面Ｓｐ_２とする。面Ｓｐ_１にある点のＸ位置およびＹ位置は、ＹｎをＹ方向の任意の位置とすると、（Ｘｐ_１、Ｙｎ）と表すことができる。また、面Ｓｐ_２にある点のＸ位置およびＹ位置は、（Ｘｐ_２、Ｙｎ）と表すことができる。物体１０の面における、スポット光が投影される地点１５は、面Ｓｐ_１と面Ｓｐ_２との間にあるものとする。

図５は、物体１０の面に投影された縞とスポット光との関係を示す図である。図５に示すとおり、地点１５は、縞Ｐ１と縞Ｐ２との間にある。地点１５のＸＹ平面における位置Ｘｋは、パターン光を基準とした位置の関数ｆ_２（ｋ）として表される。ｋは、複数の縞のうち、何本目の縞に位置１５があるか、どの縞の間に位置１５があるかを示す変数である。

図６は、物体１０の画像の画素上における縞とスポット光との関係を示す図である。図６において、地点１５がパターン光を構成する縞のうち、何本目に配置されているかを特定し、特定した情報および関数ｆ_２（ｋ）を用いて、地点１５の位置Ｘｋを求める。パターン光を基準としたスポット光の投影位置は、関数ｆ_３（β）で表される。ここで、βは、画像におけるスポット光の画素座標およびＸＹ平面におけるスポット光の投影位置座標を示す変数である。関数ｆ_３（β）、Ｘｃ、ＹｃおよびＸｋ（ｋ）を用いて、ＸＹＺ空間における地点１５の座標が算出される。算出された座標から第１距離が得られる。

（計測装置の初期校正）
演算部１４０は、上記方法により、第１距離および第２距離を求め、第１距離と第２距離との差分の大きさを計測精度の指標として算出する。ここで、計測精度は、ロボットアームの移動に伴う振動および発熱等により低下しうる。したがって、ロボットアームに取り付ける前など計測装置１００が計測を開始していない場合は、差分は０となるはずである。以下、第１距離から第２距離を引いた値を０とする初期校正の方法を説明する。

図７は、計測装置の初期校正の方法を説明する図である。初期校正は、Ｚ方向における複数の距離（ワーキングディスタンスという。）において行われる。校正結果は、演算部１４０などに保持され、演算部１４０は、ワーキングディスタンスに応じて校正結果を参照して校正を行う。図７に示す通り、校正用物体Ｗを既知の距離に配置する。

パターン光投影部１１０から投影されたＸ方向に配列されたパターン光をパターン光Ｐとする。また、画像の画素に対応する光線群を光線Ｃとする。スポット光投影部１５０から投影される光線を光線ｋ_１とする。

光線Ｃのうち、スポット光が投影された位置の特定画素に対応する光線を光線Ｃ_１とする。また、特定画素の座標を（Ｘｃ_１、Ｙｃ_１）、特定画素を含む面を構成する縞のＸ方向の位置を位置Ｘｐ_１とする。スポット光が投影される位置は、パターン光を基準とした関数としてｆ_２（ｋ_１）＝Ｘｋ_１と表す。

図３、図４、図５および図６で説明したとおり、スポット光の投影位置の座標は、ｆ_１（Ｘｃ_１、Ｙｃ_１、Ｘｐ_１）＝（ｘ_１、ｙ_１、ｚ_１）と算出される。また、パターン光を基準としたスポット光の投影位置の座標は、関数ｆ_３（Ｘｃ_１、Ｙｃ_１、Ｘｋ_１）＝（ｘ_０、ｙ_０、ｚ_０）と算出される。

Ｘ方向の差分δｘ＝｜ｘ_１−ｘ_０｜、Ｙ方向の差分δｙ＝｜ｙ_１−ｙ_０｜および、Ｚ方向の差分δｚ＝｜ｚ_１−ｚ_０｜が０となるように校正をする。校正は、演算部１４０が距離を算出する時に用いるパラメータ、例えば、スポット光投影部１５０と撮像部１２０との相対的な位置および姿勢の関係を調整することで行われうる。また、各方向の差分をオフセット量として演算部１４０が記憶し、演算部１４０は、記憶したオフセット量を考慮して距離を算出してもよい。

なお、第１距離および第２距離のうち、いずれか一方を既知の位置と比較して、差分を０とする調整をさらに行ってもよい。

（計測誤差の検知）
初期校正によって、画像におけるスポット光の投影位置に基づいて求められる第２距離と、画像におけるパターン光を基準としたスポット光の投影位置に基づいて求められる第１距離とを一致させた。しかしながら、ロボットアームの移動に伴う振動および発熱等により、撮像部１２０の撮像光学系１２２を構成する光学素子の配置にずれが起こりうる。ずれが起こると、スポット光とパターン光の縞との位置関係は変わらないものの、画像上のスポット光の位置が変わる。これにより、第１距離の値は、ずれ前後で変化しないものの、第２距離の値は、ずれ前後で変化する。本実施形態では、第１距離と第２距離との差分の大きさを計測精度の指標として、計測誤差を検知する。以下、図８および図９により、ずれによる計測誤差の発生を説明する。

（誤差の発生）
図８は、撮像光学系にずれが生じた場合の計測誤差を説明する図である。図７における撮像光学系１２２を構成する光学素子の配置にずれが生じた後の撮像部を撮像部２２０とする。ずれの方向および量は、Ｙ軸周りにθのずれとする。計測対象は、パレット１に配置された複数の物体１０とする。ずれが生じた後に撮像された画像の画素に対応する光線群を光線Ｃ´とする。ずれが生じた後の特定画素に対応する光線を光線Ｃ_１１とする。

図９は、ずれ前後の画像におけるスポット光の投影位置を示す図である。ずれが生じる前の画像を画像Ａ、ずれが生じた後の画像を画像Ｂとする。画像におけるスポット光の位置１５は、ずれ前後において、図中矢印で示した分だけシフトする。一方、ずれ前後で縞と位置１５との相対位置関係は変わらない。したがって、ずれ前後で算出される第１距離は変わらず、第２距離が変化することとなる。演算部１４０は、第１距離と第２距離との差分の大きさを計測精度の指標として、計測誤差を検知する。

また、演算部１４０は、差分の成分に基づいて、撮像光学系１２２の光軸のシフトずれ量またはチルトずれ角度量を求めうる。演算部１４０は、求めた量を用いて、算出した距離を補正しうる。

以上の通り、本実施形態の計測装置１００は、計測精度の低下を検知することができる。また、当該検知は、物体の計測動作中にも行いうるため、装置メンテナンスの面でも計測装置１００は有利である。さらに、計測装置１００は、計測精度の低下の検知に用いた値を利用して、求めた距離を補正することもできる。

また、スポット光投影部１５０を複数用いることで、誤差検知の精度、補正の精度を向上させうる。図１０は、スポット光投影部を２つ含むスポット光投影部２５０を有する計測装置２００を示す図である。スポット光投影部のそれぞれから投影されたスポット光ごとに距離を算出することで、計測精度を示す指標を複数得ることができ、誤差検知の精度および補正の精度の向上を図りうる。

（物品製造方法に係る実施形態）
上述の計測装置は、ある支持部材に支持された状態で使用されうる。本実施形態では、一例として、図１１のようにロボットアーム３００（アーム部）に備え付けられて使用される制御システムについて説明する。計測装置１００または計測装置２００は、台Ｔに置かれた物体１０にパターン光を投影して撮像し、画像を取得する。そして、計測装置１００または２００の演算部１４０が、又は、計測装置１００または２００の演算部１４０から画像データを取得したアーム制御部３１０が、物体１０の位置および姿勢を求め、求められた位置および姿勢の情報をアーム制御部３１０が取得する。アーム制御部３１０は、その位置および姿勢の情報（計測結果）に基づいて、ロボットアーム３００に駆動指令を送ってロボットアーム３００を制御する。ロボットアーム３００は先端のロボットハンドなど（把持部）で物体１０を保持して、並進や回転などの移動をさせる。さらに、ロボットアーム３００によって物体１０を他の部品に組み付ける（組立する）ことにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された物体１０を加工（処理）することにより、物品を製造することができる。アーム制御部３１０は、ＣＰＵなどの演算装置やメモリなどの記憶装置を有する。なお、ロボットを制御する制御部をアーム制御部３１０の外部に設けても良い。また、計測装置１００または計測装置２００により計測された計測データや得られた画像をディスプレイなどの表示部３２０に表示してもよい。

なお、上記実施形態では、パターン光とスポット光とを同時に投影していたが、別々に投影してもよい。

（その他の実施形態）
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。

１００ 計測装置
１１０ パターン光投影部
１２０ 撮像部
１３０ 制御部
１４０ 演算部
１５０ スポット光投影部

Claims (10)

1. パターン光を物体に投影するパターン光投影部と、前記物体を撮像して画像を得る撮像部と、前記撮像部が得た前記画像に基づいて前記物体までの距離を求める演算部と、を有する計測装置であって、
   前記物体にスポット光を投影するスポット光投影部を有し、
   前記撮像部は、前記パターン光投影部から前記パターン光が投影され、かつ、前記スポット光投影部から前記スポット光が投影された前記物体を撮像して画像を得、
   前記演算部は、前記パターン光を基準とする前記スポット光の投影位置に基づいて第１距離を求め、前記スポット光が投影された位置を示す画素の位置に基づいて第２距離を求め、前記第１距離と前記第２距離との差分の大きさを計測精度の指標として算出する、
   ことを特徴とする計測装置。
2. 前記パターン光投影部、前記撮像部および前記スポット光投影部のそれぞれを支持する複数の支持台は、支持台間において線膨張係数の差が小さい材料で構成されている、ことを特徴とする請求項１に記載の計測装置。
3. 前記演算部は、予め取得した前記距離に対する、前記第１距離または前記第２距離の誤差が小さくなるように前記距離を求める際に用いる、前記パターン光投影部または前記撮像部に関するパラメータの値を調整する、ことを特徴とする請求項１または２に記載の計測装置。
4. 前記演算部は、前記第１距離と前記第２距離との前記差分が小さくなるように前記距離を求める際に用いる、前記パターン光投影部または前記撮像部に関するパラメータの値を調整する、ことを特徴とする請求項１乃至３のうちいずれか１項に記載の計測装置。
5. 前記パターン光投影部が投影する前記パターン光の波長と、前記スポット光投影部が投影する前記スポット光の波長とは、互いに異なることを特徴とする請求項１乃至４のうちいずれか１項に記載の計測装置。
6. 前記スポット光は、レーザ光であることを特徴とする請求項１乃至５のうちいずれか１項に記載の計測装置。
7. 前記スポット光投影部は、複数のスポット光を投影する投影部を有することを特徴とする請求項１乃至６のうちいずれか１項に記載の計測装置。
8. 物体に投影したパターン光を撮像した画像に基づいて前記物体までの距離を求める計測方法であって、
   前記パターン光およびスポット光を投影した前記物体の画像を取得し、
   前記画像における前記パターン光を基準とした前記スポット光の投影位置に基づいて第１距離を求め、
   前記画像における前記スポット光が投影された位置を示す画素の位置に基づいて第２距離を求め、
   前記第１距離と前記第２距離との差分の大きさが小さくなるように前記距離を求める際に用いる、前記パターン光投影部または前記撮像部に関するパラメータの値を調整し、
   前記調整の後、前記差分の大きさを計測精度の指標として算出する、
   ことを特徴とする計測方法。
9. 請求項１乃至７のうちいずれか１項に記載の計測装置と、
   前記物体を保持して移動させるロボットと、を有し、
   前記計測装置から出力された情報に基づいて、前記ロボットが前記物体を保持する、ことを特徴とするシステム。
10. 請求項１乃至７のうちいずれか１項に記載の計測装置により計測を行われた物体の移動をロボットにより行う工程と、
    前記工程で前記移動を行われた前記物体を処理する工程と、
    を含むことを特徴とする物品製造方法。
    
    

Images