以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図1は、本発明の一側面としての計測装置1の構成を示す概略図である。計測装置1は、パターン投影法を用いて、被計測物5の形状(例えば、3次元形状、2次元形状、位置及び姿勢など)を計測する。図1に示すように、計測装置1は、投影部2と、撮像部3と、処理部4とを有する。
投影部2は、例えば、光源部21と、パターン生成部22と、投影光学系23とを含み、所定のパターンを被計測物5に投影する。光源部21は、光源から射出された光で、パターン生成部22を均一に、例えば、ケーラー照明する。パターン生成部22は、被計測物5に投影するためのパターン光を生成し、本実施例では、ガラス基板をクロムめっきすることによってパターンが形成されたマスクで構成されている。但し、パターン生成部22は、任意のパターンを生成可能なDLP(Digital Light Processing)プロジェクタ、液晶プロジェクタやDMDなどで構成してもよい。投影光学系23は、パターン生成部22で生成されたパターン光を被計測物5に投影する光学系である。
図2は、パターン生成部22によって生成され、被計測物5に投影されるパターンの一例であるドットラインパターンPTを示す図である。ドットラインパターンPTは、図2に示すように、明部(白色)とドット(暗部)DT(黒色)が1方向に連なった明線(ライン)BPと、1方向に延びる暗線(ライン)DP(黒色)とを交互に含む周期的なパターンを含む。ドットDTは、明線BP上において明部が延びる方向において明部を切断するように明部と明部の間に設けられている。ドットは、互いの明線を識別するための識別部である。ドットの位置は各明線上において異なるため、検出されたドットの座標(位置)情報から、投影された各明線がパターン生成部22上のどのラインに対応するかの指標が与えられ、投影された各明線の識別が可能となる。ドットラインパターンPTの明線BPの幅(ライン幅)LWBPと暗線DPの幅LWDPとの比(以下、「デューティー比」と称する)は1:1とする。
撮像部3は、例えば、撮像光学系31と、撮像素子32とを含み、被計測物5を撮像して画像を取得する。撮像部3は、本実施例では、ドットラインパターンPTが投影された被計測物5を撮像して、ドットラインパターンPTに対応する部分を含む画像、所謂、距離画像を取得する。撮像光学系31は、被計測物5に投影されたドットラインパターンPTを撮像素子32に結像するための結像光学系である。撮像素子32は、パターンが投影された被計測物5を撮像するための複数の画素を含むイメージセンサであって、例えば、CMOSセンサやCCDセンサなどで構成されている。
処理部4は、撮像部3で取得された画像に基づいて、被計測物5の形状を求める。処理部4は、制御部41と、メモリ42と、パターン検出部43と、算出部44とを含む。制御部41は、投影部2や撮像部3の動作、具体的には、被計測物5へのパターンの投影やパターンが投影された被計測物5の撮像などを制御する。メモリ42は、撮像部3で取得された画像を記憶する。パターン検出部43は、メモリ42に記憶された画像を用いて、かかる画像におけるパターン光のピーク、エッジやドット(検出対象とする位置)を検出してパターンの座標、即ち、画像におけるパターン光の位置を求める。算出部44は、検出対象とする位置(座標)の情報とドットから識別した各ラインの指標を用いて、三角測量の原理から、撮像素子32の各画素位置における被計測物5の距離情報(3次元情報)を算出する。
以下、パターン検出部43によるパターンの検出について詳細を説明する。パターン検出部43は、距離画像に含まれるドットラインパターンPTの画像を検出して、距離画像におけるドットラインパターンの位置を特定する。具体的には、パターン検出部43は、ドットラインパターンの各線に交差する方向、例えば、各線に対して垂直な方向の評価断面における光学像情報、即ち、輝度分布(光強度分布)から、距離画像におけるドットラインパターンの各線の位置を特定する。
図3に、ドットラインパターンPTをある基準平面に投影した場合における、ドットDTの中心位置に対応する位置DT´付近の画像を示す。ここではシミュレーションによって画像を算出した。画像の横軸xおよび縦軸yは撮像素子32における撮像面の位置に相当する。図3、4に示す画像に基づいて、検出対象とする位置(検出点)を説明する。検出点の座標は、ドットラインパターンの各線が延びるy方向に対して例えば垂直なx方向の評価断面における光学像情報(輝度分布)から算出される。
ドットDTに対応する位置を通らない、即ち、ドットの影響を受けないx方向の評価断面A、ドットDTの中心位置に対応する位置DT´近傍のx方向評価断面B、及び、位置DT´を通るx方向評価断面Cの各々における光学像(輝度分布)を図4に示す。図4の横軸を撮像素子32の画素の位置とし、縦軸を輝度とする。図4において、それぞれの光学像について、セロ点付近において輝度値が最大(極大)となるピーク位置Pを丸で示し、エッジ位置Eを三角で示し、輝度値が最小(極小)となるネガティブピーク位置NPを四角で示す。ピーク位置とネガティブピーク位置は輝度分布から極値を算出することで求めることができ、エッジ位置は、輝度分布を1階微分した輝度勾配から極値を算出することで求めることができる。エッジ位置に関し、輝度勾配が極大又は極小となる2つのエッジが存在するが、図4では輝度勾配が極大となるエッジ位置を示している。また、エッジ位置は、輝度勾配の極値に限らず、輝度勾配を評価した評価値(極値や基準値)から定まる位置としてもよい。また、エッジ位置は、輝度の極大値と極小値との間の中央値となる位置、または、ピーク位置Pとネガティブピーク位置NPの中点を算出することで求めることもできる。つまり、ピーク位置Pとネガティブピーク位置NPの他に、ピーク位置Pとネガティブピーク位置NPとの間の中間位置を検出することができる。
図5は、図4に示すネガティブピーク位置の近傍を拡大した図である。図5において、評価断面A、B及びCのそれぞれのネガティブピーク位置が、互いにずれていることがわかる。評価断面A、B及びCのそれぞれのネガティブピーク位置のずれは、被計測物5の距離情報の算出誤差を生じさせる。具体的には、パターン生成部22上のパターンとの対応関係において、ネガティブピーク位置をパターン生成部22上の暗線の位置と対応づけるため、それぞれのネガティブピーク位置のずれは、パターン生成部22が生成する暗線の位置のずれを示す。暗線の位置のずれによって距離情報がそれぞれ異なることなる。しかし、評価断面A、B及びCのそれぞれにおける基準平面までの距離は同じとしているため、これが計測誤差になる。被計測物5までの距離が異なれば、ドットラインパターンの各線の位置がシフトすることになるが、それぞれのネガティブピーク位置のずれと、被計測物5までの距離が異なることによる各線の位置のシフトが区別されることなく算出されてしまい、計測誤差が生じる。
次に、ドットラインパターンの各線が延びるy方向におけるドットからの距離と計測誤差との関係を説明する。図6に、ドットからの距離と計測誤差との関係を示す。図6の横軸は、ドットラインパターンの各線が延びるy方向において、ドットDTの中心位置に対応する位置DT´からの距離を画素数(pix)に基づいて示す。0は、ドットDTの中心位置に対応する位置DT´上又は位置DT´に最近接する位置を示す。図6の縦軸は、距離を算出したときの計測誤差(位置ずれ)を示す。図6において、輝度値が最大(極大)となるピーク位置Pに関する計測誤差を丸で示し、エッジ位置Eに関する計測誤差を三角で示し、輝度値が最小(極小)となるネガティブピーク位置NPに関する計測誤差を四角で示す。
ピーク位置Pに関してはドットからの距離に関わらず、検出点の位置ずれがほぼ発生しないため、計測誤差もほぼ発生しない。エッジ位置Eに関しては、ドットによる検出点の位置ずれの影響で、ドットに最近接する位置において42μmの計測誤差が生じる。なお、輝度勾配が極小のエッジに対する評価においても同量の計測誤差を引き起こす結果が確認されている。ネガティブピーク位置NPに関しても、ドットによる検出点の位置ずれの影響で、ドットに最近接する位置において380μmの計測誤差が生じる。
パターン検出部43が検出するパターン光の検出点として、ピーク位置Pの他に、ネガティブピーク位置が検出点に加わった場合、検出点の密度(単位面積あたりの検出点の数)は2倍となる。さらに、輝度勾配の極大位置と、輝度勾配の極小位置の2つのエッジ位置の検出点に加わった場合、検出点の密度は4倍となる。したがって、検出点の密度の増加により、距離を算出するためのデータが増えることになり、撮像素子32のランダムノイズに対するS/N比が向上するため、より高い精度で計測することができる。
ただし、先に示した通り、ドット付近の検出点については、数十μmである撮像素子32のランダムノイズに比べて、ネガティブピーク位置の計測誤差が大きい。そのため、ドットラインパターンにおけるドット密度やライン本数によっては、ネガティブピーク位置を検出点として採用しない方が計測精度が向上する場合がある。
そのため、本実施例では、ドット付近のネガティブピーク位置を検出点から除いて、被計測物の形状の情報を求める。図7に、計測フローを示す。まず、パターン光が投影された被計測物を撮像し、画像をメモリ42に記憶する(S100)。次に、処理部4のパターン検出部43は、メモリ42に記憶されている被計測物の画像を取得する(S101)。そして、パターン検出部43は、取得した画像を用いて、y方向の各位置において、x方向における輝度分布(評価断面)からピーク位置Pとネガティブピーク位置NPを演算によって検出点として求め、パターン光の各ラインの位置を検出する(S102)。ここでは、エッジ位置E(ピーク位置Pとネガティブピーク位置NPとの間の位置)の検出は任意である。ピーク位置Pに関しては、輝度分布がある領域(幅)をもって最大(極大)近傍となる場合があるが、その場合には、最大(極大)近傍となる何れかの位置を選択したり、中心位置を選択したりして、最大(極大)の位置としてもよい。ネガティブピーク位置NPに関しても同様である。各ラインの検出については、例えば、画像にガウシアンフィルタなどにより、明線における明部とドットとの輝度値を平滑化し、ドットにより明部が切断された部分であっても連続した1本のラインとして検出することができる。次に、パターン検出部43は、各ラインにおけるドットの位置を検出する(S103)。具体的には、ドットの位置は、例えば、各評価断面で検出されたピーク位置Pをy方向に接続することで設定される検出ラインの輝度分布に基づいて検出することができる。例えば、その検出ラインの輝度分布における極小値となる位置をドットの中心位置として求めることができる(ドット検出処理)。次に、パターン検出部43は、ドットの位置に基づいて、検出点から除くネガティブピーク位置を特定する(S104)。具体的には、ドットを通る評価断面Cや、ドットの近傍(周囲)の評価断面Bにおけるネガティブピーク位置が計測誤差が大きいため、これらのネガティブピーク位置を検出点から除く。つまり、ドット又はドット周囲におけるネガティブピーク位置を検出点から除く。除かれる位置は、ドットによって位置ずれの影響を受ける位置であって、図3、4の例では、ドットが設けられた第1明線と、その第1明線の隣りの第2明線との間の位置である。そして、算出部44は、除かれたネガティブピーク位置以外の、ピーク位置P及び評価断面Aにおけるネガティブピーク位置NP、エッジ位置Eを検出する場合にはエッジ位置E、に基づいて距離情報を算出し、被計測物の形状の情報を求める(S105)。
本実施例においてドット付近のエッジ及びネガティブピークの検出結果には位置ずれが発生する事を説明した。前述のドット検出によりドット位置が特定されるので、検出されたネガティブピークの中でドット位置に近いものを選択し、除外する事が可能である。ドット付近ではないネガティブピークに関しては検出結果の位置ずれがほぼ発生しない。なおかつドットは明線の明部に比べて短く、ドット付近の検出点数よりもドット付近以外の検出点数の方が多いため、ドット付近の検出点を排除しても十分な検出点数の増加効果が得られる。
以上のように、本実施例では、検出点の密度の増加により、計測精度を向上させつつ、比較的計測精度が低いネガティブピーク位置を検出点として用いないことによって、より高い精度で被計測物の形状の情報を求めることができる。また、検出点の密度の増加により、より小型な被計測物の形状も計測することが可能となる。
次に、実施例2について説明する。本実施例では、ドットラインパターンが実施例1と異なる。なお、実施例1と重複する説明は省略する。
本実施例では、ドットラインパターンは、暗部とドット(明部)が1方向に連なった暗線と、1方向に延びる明線とを交互に含む周期的なパターンである。ドットは、暗線上において暗部が延びる方向において暗部を切断するように暗部と暗部の間に設けられている。ドットは、互いの暗線を識別するための識別部である。つまり、本実施例のパターンは、実施例1のパターンとは、明と暗が逆転している。
実施例1では、図4、5のように、ピーク位置Pについては位置ずれがほとんど発生しないが、ネガティブピーク位置NPに関して位置ずれが生じていた。そのため、実施例2のように明と暗が逆転すると、ネガティブピーク位置に関しては位置ずれがほとんど発生せず、輝度分布における最大(極大)となるピーク位置に関しては、位置ずれが生じることになる。
したがって、本実施例では、パターン検出部43は、各評価断面における輝度分布から得られる複数の検出点のうち、ドットの位置に基づいて、検出点から除く最大(極大)ピーク位置を特定する。除かれる位置は、ドットによって位置ずれの影響を受ける位置であって、ドット又はドット周囲、例えば、ドットが設けられた第1暗線とその第1暗線の隣りの第2暗線との間の位置、におけるピーク位置が検出点から除かれる。そして、算出部44は、除かれたピーク位置以外の検出点(ネガティブピーク、ピーク)の位置を用いて距離情報を算出し、被計測物の形状の情報を求める。
このように、実施例2のパターンについても、計測誤差が生じる検出点を除いて距離算出を行うことにより、実施例1と同様の効果が得られる。
次に、実施例3について説明する。なお、実施例1と重複する説明は省略する。
実施例1では、検出点から、ドット付近のネガティブピーク位置を除く例を説明したが、本実施例では、検出点から、ドット付近のエッジ位置を除く例を説明する。
図6に示すように、エッジ位置Eに関しても計測誤差が生じている。そのため、ドット付近のエッジ位置を検出点から除いて、被計測物の形状の情報を求めることができる。
本実施例では、パターン検出部43は、取得した画像を用いて、y方向の各位置において、x方向における輝度分布(評価断面)からピーク位置P又はネガティブピーク位置NPと、エッジ位置Eと、を演算によって検出点として求める。そして、検出点からパターン光の各ラインの位置を検出する。なお、実施例1と同様に、エッジ位置は、輝度勾配の極値に限らず、輝度勾配を評価した評価値から定まる位置としてもよい。また、エッジ位置は、輝度の極大値と極小値との間の中央値となる位置、または、ピーク位置Pとネガティブピーク位置NPの中点を算出することで求めることもできる。つまり、ピーク位置Pとネガティブピーク位置NPとの間の中間位置を検出することができる。
次に、パターン検出部43は、各評価断面における輝度分布から得られる複数の検出点のうち、ドットの位置に基づいて、検出点から除くエッジ位置を特定する。そして、算出部44は、除かれたエッジ位置以外の検出点である、エッジ位置、および、ネガティブピーク又はピーク位置を用いて距離情報を算出し、被計測物の形状の情報を求める。
なお、エッジ位置Eに関する計測誤差は、ネガティブピーク位置に比べて小さいため、検出点の密度が小さくて撮像素子のランダムノイズ等の影響により計測精度が低い場合など条件によっては、エッジ位置を検出点として採用して距離情報を算出してもよい。
エッジ位置を検出点から除くか否かの判断として、以下の方法が考えられる。ドット検出処理によって検出されたドットの位置と、エッジ検出処理によって検出されたドット付近のエッジ位置と、を比較し、それらの位置に大きな乖離が存在する場合、検出点位置に誤差が発生していると考える事が出来る。このようなエッジ位置の検出点を不適な検出点として判断し、エッジ位置を除外する事で、計測誤差が生じる検出点を排除する事が出来、結果として計測の高精度化が可能となる。
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。
上記実施例では、ドットラインパターンPTの明線と暗線のデューティー比を1:1としたが、必ずしも1:1でなくてもよい。ただし、1:1の方がエッジ位置の検出を行う上で好ましい。図8は、明線と暗線のデューティー比が、明線:暗線=1:4の設計上のパターン光と、計測画像の輝度分布を示す。横軸を、各線が延びる方向に対して垂直なx方向の位置とし、縦軸を輝度とする。計測画像として、撮像素子においてベストフォーカス状態(ピントが最適な位置)で撮像される場合の輝度分布と、ベストフォーカス位置から40mmずれたデフォーカス状態(ピントがずれた位置)で撮像される場合の輝度分布を示す。
図8によると、ピントが最適な位置で撮像された画像の輝度分布から検出されるエッジ位置(白抜き三角)に対して、ピントがずれた位置で撮像された画像の輝度分布から検出されるエッジ位置(黒三角)がずれていることがわかる。このエッジ位置のずれ量を距離算出誤差に換算したところ267μmとなる。よって、デューティー比が1:4のパターン光においてはデフォーカスによりエッジ位置ずれに起因する距離算出誤差が発生していることがわかる。
一方、図9は、ドットラインパターンPTの明線と暗線のデューティー比が1:1のパターンに関し、図8と同条件の評価で得られた輝度分布を示すものである。図9によるとピントが最適な位置で撮像された画像の輝度分布から検出されるエッジ位置(白抜き三角)と、ピントがずれた位置で撮像された画像の輝度分布から検出されるエッジ位置(白抜き三角)に、ずれは発生しない。デューティー比が1:1のパターンを照射した際の画像の輝度分布は、デフォーカスによりコントラストは変化するものの、ピークやネガティブピーク位置およびその略中間点であるエッジ位置に関しては位置ずれが発生しない為であると考えられる。よって、検出点としてエッジ位置を用いる場合、デフォーカス時の検出位置ずれの影響の観点から、デューティー比は1:1に近い事が好ましい。
また、パターン生成部22によって生成され、被計測物5に投影されるパターンは、ドットラインパターンに限らない。パターンとしては、明部と暗部に限らず、階調パターンや多色パターンなど、複数の線を含むパターンであればよい。また、線は直線でも曲線でもよい。また、識別部としては、ドットに限らず、丸形状や、幅を狭くした部分など、各線を識別できる符号であればよい。また、明線BPでは、明部よりドットの占める面積が大きくてもよい。