本発明は、対象物体上に投影された光学パターンの不規則性が識別され、ターゲット特徴として使用される写真測量法を使用して対象物体を検査するための方法を提供するものである。
本発明の第1の態様によれば、対象物体を検査するための非接触法が提供され、この方法は、任意の適当な順序で、i)第1の透視位置から撮った、光学的パターンが投影される対象物体の少なくとも1つの第1の画像を得ることと、ii)第1の透視位置と異なる第2の透視位置から撮った、光学的パターンが投影される対象物体の少なくとも1つの第2の画像を得ることと、iii)少なくとも1つの第1および第2の画像内に画像化されているような光学的パターンの不規則性に基づき少なくとも1つの第1および第2の画像のそれぞれの中の少なくとも1つの共通の対象物体特徴を識別することとを含む。
本発明の利点は、対象物体上に置かれているか、または投影されるマーカーを使用せずに、ターゲット特徴を識別できることである。むしろ、これらは、対象物体と光学的パターンとの間の界面によって形成され、対象物体が撮像された光学的パターンを変形させて光学的パターン内に不規則性をもたらす。これにより、対象物体の高精度な測定を迅速に実行することが可能になる。また、高密度の点群をターゲットとし、測定することも可能になる。本発明の方法では、複雑な形状の対象物体上の点を識別するのに必要な処理資源が他の知られている画像処理技術に比べて少なくて済むことも判明している。
ステップi)における光学的パターンの対象物体およびプロジェクタの相対的位置および相対的方向のうちの少なくとも一方は、ステップii)における光学的パターンの対象物体およびプロジェクタとは異なることがある。理解されるように、ステップi)における光学的パターンの対象物体およびプロジェクタの相対的位置および/または方向は、ステップii)における光学的パターンの対象物体およびプロジェクタの相対的位置および/または方向と異なることがあるので、光学的パターンの対象物体およびプロジェクタの間の相対的透視位置は、ステップ間で異なりうる。したがって、この結果、対象物体上の光学的パターンの位置は第1の画像を得るステップと少なくとも第2の画像を得るステップとの間で変化している可能性がある。そのため、対象物体上の光学的パターンの位置は、画像毎に異なりうる。対象物体上の光学的パターンの位置を変えることは、光学的パターンに影が入ったり、遮ったりすることで引き起こされる問題を回避できるため有利であると考えられる。
光学的パターンは、二次元に広がるものとすることができる。投影される光学的パターンにより、対象物体上の光学的パターンの単一像から二次元内の対象物体の表面のトポロジーを決定することができる。光学的パターンは、実質的に全視野である光学的パターンとすることができる。実質的に全視野の光学的パターンは、基準面で第1および第2の画像のうちの少なくとも1つを得るために(以下でさらに詳しく説明される)、パターンが画像センサの視野の少なくとも50%に広がっている、より好ましくは少なくとも75%に広がっている、特に好ましくは少なくとも95%に広がっている、例えば、基準面における画像センサの実質的に視野全体に広がっているパターンとすることができる。基準面は、画像センサから知られている距離だけ離れている平面とすることができる。適宜、基準面は、光学的パターンプロジェクタおよび画像センサの光軸が交わる点を含む平面としてよい。基準面は、画像センサの光軸に対し垂直に伸びるものとしてよい。
好ましくは、少なくとも1つの第1の画像および少なくとも1つの第2の画像内に画像化されるようなパターンが、対象物体の一領域上に投影される。好ましくは、パターンは対象物体のある領域上に広がり、これにより、本発明の方法を使用して少なくとも1つの第1の画像および少なくとも1つの第2の画像からその領域上にある対象物体の複数の点の測定を容易に行える。パターンは、繰り返しパターンでなくてもよい。しかし、好ましくは、パターンは実質的には繰り返しのパターンである。特に好ましい光学的パターンは、実質的に周期的な光学パターンを含む。理解されるように、周期的光学的パターンは、一定の有限な距離の後に繰り返すパターンとすることができる。繰り返しの間の最小距離をパターンの周期とすることができる。好ましくは、光学的パターンは、少なくとも一次元方向に周期的である。適宜、光学的パターンは、少なくとも2つの垂直次元方向に周期的であるものとしてよい。
本発明とともに使用するのに適している光学的パターンとしては、同心円のパターン、様々な色の直線のパターン、陰影、および/または色調が挙げられる。色、陰影、および/または色調は、2つまたはそれ以上の異なる値を交互に取るものとすることも可能であろう。適宜、色、陰影、および/または色調は、複数の離散値の範囲内の値を取るものとすることも可能であろう。好ましくは、色、陰影、および/または色調は、光学的パターン全体にわたって連続的に変化する。好ましくは、光学的パターンは、干渉縞パターンである。例えば、光学的パターンは、一組の正弦波縞模様とすることができる。光学的パターンは、赤外線から紫外線までの範囲内としてよい。好ましくは、光学的パターンは、可視の光学的パターンである。理解されるように、本発明などの方法で使用するための光学的パターンは、通常、構造化光パターンとも称される。
光学的パターンに適したプロジェクタは、プロセッサデバイスから入力された画像を投影するように構成されているデジタル光プロジェクタを含む。このようなプロジェクタを使用することで、投影されるパターンを変更することができる。好適なプロジェクタは、光源および光学的パターンを生成するように配列された1つまたは複数の回折格子を備えることが可能である。(複数の)回折格子は、プロジェクタによって投影されるパターンを変更できるように移動可能であるものとすることも可能である。例えば、(複数の)回折格子を圧電変換器上に取り付けることもできる。適宜、回折格子は、プロジェクタによって投影されるパターンを変更できないように固定することも可能である。適宜、プロジェクタは、光源およびホログラムを備えることが可能である。さらに、プロジェクタは、光源およびパターン形成スライドを備えることが可能である。さらに、プロジェクタは、2つの相互に位相が揃っているコヒーレント光源を備えることが可能である。コヒーレント光源は、プロジェクタによって投影されるパターンを変更できるように移動可能であるものとすることも可能である。例えば、コヒーレント光源を圧電変換器上に取り付けることもできる。適宜、コヒーレント光源は、プロジェクタによって投影されるパターンを変更できないように固定することも可能である。
理解されるように、透視位置は、対象物体の特定の視点であってよい。透視位置は、第1のおよび第2の画像を得る少なくとも1つの撮像デバイスおよび撮像される対象物体の相対的位置および/または方向によって定められうる。好ましくは、第1および第2の透視位置は、互いに関して知られている。特に、好ましくは、互いに関するその位置および方向が知られている。例えば、透視位置同士の間の関係を記述する知られているオフセットベクトルおよび回転行列がありうる。適宜、透視位置を決定するために使用できる位置センサを備えることも可能である。適宜、透視位置を固定することも可能である。さらに、透視位置は、例えば、知られている基準特徴および/または対象物体を探索することによって画像から決定することも可能である。
理解されるように、好ましくは、第1および第2の画像は、対象物体の少なくとも部分的に重なり合うビューを含む。このため、少なくとも1つの共通の対象物体特徴が両方の画像内に存在する。理解されるように、共通の対象物体特徴は、第1および第2の画像内に取り込まれている対象物体上の任意の特徴としてもよい。共通の対象物体特徴は、対象物体上の単一点、例えば、コーナー特徴とすることも可能である。適宜、共通の対象物体特徴は、対象物体上の複数の点とすることも可能である。例えば、共通の対象物体特徴は、対象物体の長いエッジなどの線とすることも可能である。線は、直線でも曲線でもよい。以下でさらに詳しく説明するように、共通の対象物体特徴は、ターゲット特徴として使用することが可能である。特に、共通の対象物体特徴は、写真測量法による測定プロセスにおけるターゲット特徴として使用することが可能である。
理解されるように、対象物体に関して異なる位置および/または方向を有する少なくとも第1および第2の光学的パターンプロジェクタを備えることができる。したがって、第1の画像内に画像化された光学的パターンは、第1の光学的パターンプロジェクタによって投影され、第2の画像内に画像化された光学的パターンは、第2の光学的パターンプロジェクタによって投影されうる。
好ましくは、ステップi)で画像化された光学的パターンのプロジェクタおよびステップii)で画像化された光学的パターンのプロジェクタは、少なくとも1つの光学的パターンプロジェクタを含む共通の光学的パターンプロジェクタユニットによって実現される。したがって、この方法は、ステップi)とii)との間で対象物体と光学的パターンプロジェクタユニットを相対的に移動することを含むことができる。特に、これは、対象物体に相対的に光学的パターンプロジェクタユニットを移動することを含むことができる。光学的パターンプロジェクタユニットは、複数の光学的パターンプロジェクタを備えることが可能である。複数の光学的パターンプロジェクタは、互いに関して固定された空間的関係にあるものとすることが可能である。
より好ましくは、ステップii)で画像化される光学的パターンのプロジェクタは、ステップi)で画像化される光学的パターンのプロジェクタである。したがって、この方法は、単一の光学的パターンプロジェクタのみを使用して実行することができる。したがって、光学的パターンプロジェクタユニットは、単一の光学的パターンプロジェクタのみを備えることができる。これは、複数の光学的パターンプロジェクタを備えることに比べて単純であるといえる。したがって、この方法は、ステップi)とii)との間で対象物体と光学的パターンのプロジェクタとを相対的に移動することをさらに含むことができる。特に、この方法は、対象物体に相対的に光学的パターンのプロジェクタを移動することを含むことができる。
理解されるように、ステップi)で対象物体上に投影される光学的パターンの種類は、ステップii)で投影される光学的パターンの種類と異なる可能性がある。例えば、ステップi)で投影される光学的パターンは、複数の同心円とすることができ、ステップii)で投影される光学的パターンは、複数の直線とすることができる。好ましくは、ステップi)とステップii)で対象物体上に投影される光学的パターンは、同じである。
少なくとも1つの第1の画像および少なくとも1つの第2の画像は、少なくとも1つの好適な撮像デバイスによって得ることができる。好適な撮像デバイスは、少なくとも1つの画像センサを備えることができる。例えば、好適な撮像デバイスは、CCD(電荷結合素子)、CMOS(相補形金属酸化膜半導体)などの光学的EMR(電磁放射線)高感度検出器を備えることができる。好適な撮像デバイスは、像面に集光するように適宜構成されうる。理解されるように、像面は、画像センサによって定められうる。例えば、好適な撮像デバイスは、光学的EMRを像面に集束するように構成された少なくとも1つの光学コンポーネントを備えることができる。適宜、少なくとも1つの光学コンポーネントはレンズを備える。
好適な撮像デバイスは、撮像デバイスの透視中心とも称されうる、ピンホールからなるピンホールカメラモデルに基づくものとしてよく、EMR光線はこのピンホールを通過してから像面と交わると想定される。理解されるように、ピンホールを備えずに、代わりにEMR光線を集束させるレンズを備える撮像デバイスも透視中心を有し、これは、像面と交わるすべてのEMR光線が通過すると想定される点とすることができる。
理解されるように、透視中心は、非特許文献1および非特許文献2で説明されているような較正手順を使用して画像センサに関して見つけることができる。レンズ収差を補正するパラメータなどの補正パラメータを与えることができ、このようなパラメータはよく知られており、例えば、これら2つの文献において説明されている。
好ましくは、少なくとも1つの第1の画像および少なくとも1つの第2の画像は、少なくとも1つの撮像デバイスを備える共通の撮像デバイスユニットによって得られる。したがって、この方法は、第1の透視位置から第2の透視位置へ撮像デバイスユニットと対象物体とを相対的に移動することをさらに含むことができる。対象物体および/または撮像デバイスユニットの移動は、手動でも、自動でも可能である。撮像デバイスユニットは、複数の撮像デバイスを備えることができる。
少なくとも1つの第1の画像および少なくとも1つの第2の画像は、単一の撮像デバイスによって得ることができる。単一の撮像デバイスは、単一の画像センサを備えることができる。したがって、少なくとも1つの第1の画像および少なくとも第2の画像は、単一の画像センサによって得ることができる。したがって、対象物体は、第1および第2の透視位置を得るために少なくとも1つの第1の画像および少なくとも1つの第2の画像を得るステップの間で移動することが可能である。適宜、撮像デバイスは、第1および第2の透視位置を得るために少なくとも1つの第1の画像および少なくとも1つの第2の画像を得るステップの間で移動することが可能である。したがって、この方法は、第1の知られている透視位置から第2の知られている透視位置へ撮像デバイスを移動することを含むことができる。
好ましくは、光学的パターンプロジェクタユニットおよび撮像デバイスユニットは、座標位置決め装置上に取り付けられる。好ましくは、光学的パターンプロジェクタユニットおよび撮像デバイスユニットは、少なくとも直線自由度1で、より好ましくは少なくとも直線自由度2で、特に好ましくは少なくとも直線自由度3で移動できるように座標位置決め装置上に取り付けられる。好ましくは、直線自由度は、互いに垂直である。好ましくは、光学的パターンプロジェクタユニットおよび撮像デバイスユニットは、少なくとも回転自由度1で、より好ましくは少なくとも回転自由度2で、例えば少なくとも回転自由度3で回転できるように座標位置決め装置上に取り付けられる。好ましくは、これら少なくとも回転自由度2および少なくとも回転自由度3は、2本の実質的に垂直な軸を中心とする。回転自由度は、光学的パターンプロジェクタユニットおよび撮像デバイスユニットが取り付けられている関節ヘッドによって与えることができる。自由度3および回転自由度2で移動可能な測定デバイスは、計測業界では「5軸」測定デバイスと一般に称される。しかし、理解されるように、本発明は、このようなシステムに限定されず、それよりもさらに多い自由度で、例えば、3、4、またはそれ以上の回転自由度での移動を容易にするシステムとともに使用することができる。
好ましくは、座標位置決め装置は、コンピュータ制御座標位置決め装置、例えば、コンピュータ数値制御(CNC)座標位置決め装置である。好適な座標位置決め装置は、CMM(三次元座標測定機)および工作機械を含む。
好ましくは、ステップi)およびii)における光学的パターンの少なくとも1つのプロジェクタならびに第1の画像および第2の画像を得るための少なくとも1つの撮像デバイスは、互いに関して固定された空間関係にある。したがって、これらは、単一のユニットとして構成できる。特に、これらは、共通のプローブデバイスとして構成できる。共通プローブデバイスは、座標位置決め装置上に取り付けることができる。これにより、操作および位置判定が簡単に行えるようになる。特に、光学的パターンプロジェクタユニットおよび/または画像センサユニットの複数の知られている位置および方向を素早く定めることができ、したがって、対象物体を測定する精度および速度が向上する。
好ましくは、この方法は、画像解析装置が共通の特徴を測定するため少なくとも1つの第1の画像および第2の画像を使用することをさらに含む。好ましくは、共通の特徴を測定することは、第1の透視位置と第2の透視位置に関して共通の対象物体特徴の位置を決定することを含む。特に、共通の特徴を測定することは、測定容積内の共通の対象物体特徴の位置を決定することを含む。
理解されるように、光学的パターン内の不規則性は、光学的パターン内の不連続と称することもできる。
光学的パターン内の不規則性は、対象物体の不連続の特徴によって引き起こされる光学的パターンの変形とすることができる。光学的パターンのこのような変形は、例えば、対象物体の2つの連続するセクションの間の境界において発生しうる。例えば、境界は、立方体の2つの面が交わる立方体の稜線とすることが可能である。したがって、対象物体上の不連続な特徴は、対象物体の表面の勾配が著しく変化する場所であるとしてよい。光学的パターンプロジェクタに関する表面の勾配が大きければ大きいほど、表面上のその点における光学的パターンの変形度合いは大きくなる。したがって、不規則性は、光学的パターンが所定の閾値を超えて変形される対象物体上の点を識別することによって識別することが可能である。この所定の閾値は、測定される対象物体のサイズおよび形状を含む、多くの因子に依存する。適宜、所定の閾値は、測定される対象物体に関する情報に基づきユーザが操作前に決定し設定できる。
不規則性は、光学的パターンの変化率が所定の閾値変化率より大きい対象物体上の点を画像上で識別することによって識別されうる。例えば、光学的パターンが周期的光学的パターンである実施形態では、不規則性は、周期的光学的パターンの位相の変化率が所定の閾値変化率より大きい対象物体上の点を画像上で識別することによって識別されうる。特に、光学的パターンが干渉縞パターンである実施形態では、不規則性は、干渉縞パターンの位相の変化率が所定の閾値変化率より大きい対象物体上の点を画像上で識別することによって識別されうる。
対象物体上に投影されたときに画像化される光学的パターンの位相の変化率は、画像から位相マップを作成し、次いで、所定の閾値より高い位相マップ内の隣接点の間の位相内の跳躍部を探すことによって識別されうる。理解されるように、位相マップは、画像内の複数のピクセルについて対象物体の表面上に投影される周期的パターンの位相を含むマップである。位相マップは、ラップ位相マップとすることが可能である。位相マップは、アンラップ位相マップとすることが可能である。知られている技術を使用することで、ラップ位相マップをアンラップ処理して、アンラップ位相マップを得ることができる。
位相マップは、光学的パターン対象物体の単一画像から作成することができる。例えば、フーリエ変換技術を使用することで、位相マップを作成することが可能である。
好ましくは、位相マップは、対象物体上の光学的パターンの位置が画像毎に異なる、実質的に同じ透視位置から得られた対象物体の一組の画像から作成される。したがって、位相マップは、位相ステッピング法を使用して作成されうる。これにより、さらに正確な位相マップが得られる。位相ステッピングアルゴリズムが、知られており、例えば、非特許文献3で説明されている。したがって、ステップi)は、第1の知られている透視位置から対象物体上の光学的パターンの一組の第1の画像を得ることを含みうる。ステップii)は、第2の知られている透視位置から対象物体上の光学的パターンの一組の第2の画像を得ることを含みうる。したがって、一組の画像は、与えられた透視位置からの対象物体の複数の画像を含むことができる。好ましくは、一組の画像は、少なくとも2つの画像、より好ましくは少なくとも3つの画像、特に好ましくは少なくとも4つの画像を含む。対象物体上の光学的パターンの位置は、一組の画像に含まれる画像毎に異なりうる。
ステップiii)は、a)一組の第1の画像から少なくとも1つの第1の位相マップを計算することを含むことができる。ステップiii)は、b)一組の第2の画像から少なくとも1つの第2の位相マップを計算することをさらに含むことができる。少なくとも1つの第1の位相マップおよび少なくとも1つの第2の位相マップは、ラップ位相マップとすることができる。適宜、少なくとも1つの第1の位相マップおよび少なくとも1つの第2の位相マップは、アンラップ位相マップとすることができる。ステップiii)は、c)少なくとも1つの第1の位相マップおよび第2の位相マップ内の少なくとも1つの共通の不規則性をターゲット特徴として識別することをさらに含むことができる。
対応する不規則性は、知られているマッチング技術により、また例えば、エピポーラ幾何学を使用することによって決定できる。
ステップa)は、一組の第1の画像から一組の第1の位相マップを計算することを含むことができる。一組の第1の位相マップに含まれるそれぞれの位相マップは、一組の第1の画像の一意的順序を使用して計算することができる。ステップb)は、一組の第2の画像から一組の第2の位相マップを計算することを含むことができる。一組の第2の位相マップに含まれるそれぞれの位相マップは、一組の第2の画像の一意的順序を使用して計算することができる。ステップc)は、少なくとも1つの第1の位相マップからなる一組の位相マップおよび少なくとも第2の位相マップからなる一組の位相マップのそれぞれにおける少なくとも1つの対応する不規則性をターゲット特徴として識別することをさらに含むことができる。
一組の位相マップに含まれるそれぞれの位相マップが対応する一組の画像の一意的順序を使用して計算される複数の組の位相マップを計算する方法は、これにより位相マップ内の実不規則性および偽不規則性を識別できるため有利である。好ましくは、それぞれの組の位相マップは、少なくとも2つの位相マップ、より好ましくは少なくとも3つの位相マップ、特に好ましくは少なくとも4つの位相マップを含む。
ステップc)は、一組の位相マップ内の少なくとも1つの実不規則性を識別することを含むことができる。位相マップが、ラップ位相マップである場合、ラップ位相データのせいで不規則性は誤って識別される。したがって、少なくとも1つの実不規則性を識別することは、一組のマップ内のラップ位相マップのそれぞれを比較して少なくとも2つのラップ位相マップ内で共通に識別されている不規則点を識別することを含むことができる。ラップ位相マップのそれぞれの間の共通でない形で識別されている任意の不規則点は、偽不規則性であるとして破棄することができる。
理解されるように、不規則性は、他の理由により、また例えば、対象物体によって引き起こされる光学的パターン内の影のせいで、誤って識別されることもある。このような偽不規則性は、異なる透視位置から撮られた画像を比較することによって判定され、破棄されうる。特に、このような偽不規則性は、異なる透視位置から撮られた画像の位相マップを比較することによって判定され、破棄されうる。理解されるように、ラップ位相マップが得られる画像(または一組の画像)内にある影によって引き起こされる位相マップ内の不規則性は、異なる透視位置から撮られた異なる画像(または一組の画像)に対してはラップ位相マップ内に存在することはない。したがって、このような不規則性は、偽不規則性であるとして破棄されうる。
上述のように、対象物体上の光学的パターンの位置がラップ位相マップ計算に対するそれぞれの画像内で異なる、与えられた透視位置における対象物体の一組の画像を得ることは有利であると言える。対象物体上の光学的パターンの位置は、光学的パターンプロジェクタによって放出される、光学的パターンを変更することによって変えることが可能である。例えば、光学的パターンプロジェクタによって放出される、干渉縞パターンなどの光学的パターンの位相は、与えられた透視位置について一組の画像内のそれぞれの画像を得る間に変えることが可能である。
適宜、対象物体上の光学的パターンの位置は、対象物体と光学的パターンを投影する光学的パターンプロジェクタとを相対的に移動することによって変えることが可能である。例えば、この方法は、一組の画像内のそれぞれの画像を得る間に対象物体と光学的パターンプロジェクタとを相対的に移動することを含むことが可能である。光学的パターンプロジェクタおよび画像センサが、互いに関して固定されたとき、例えば、単一ユニットとして備えられた場合、画像センサは、対象物体上の光学的パターンの位置の変化を取得した結果として対象物体に相対的に移動する。この場合、一組の画像内の画像のそれぞれによって覆われる共通画像領域を識別することが必要になることがある。そこで、共通画像領域のみを使用して、ラップ位相マップを作成することができる。共通画像領域を識別することは、対象物体と画像センサとの間の相対的移動を補正するように画像座標を調節することを含むことができる。
第1および第2の知られている透視位置は、この方法を運用する前に決定することができる。この場合、少なくとも1つの第1の画像および少なくとも1つの第2の画像を所定の位置および方向で配置されている静止撮像デバイスから取得し、それらの透視位置を求めることができる。適宜、少なくとも1つの撮像デバイスを所定の位置および方向に移動することで、所定の透視位置における画像を得ることが可能である。少なくとも1つの撮像デバイスを、少なくとも1つの撮像デバイスが取り付けられている位置決め装置を操作するユーザが所定の位置および方向に移動させることが可能である。これは、ユーザが少なくとも1つの撮像デバイスを所定の位置および方向に物理的に引っ張ることを伴いうる。適宜、これには、ユーザが少なくとも1つの画像センサを移動するために入力デバイスを介して位置決め装置を制御することが必要になる可能性がある。位置決め装置は、少なくとも1つの撮像デバイスの位置および方向をとるように事前構成され、また少なくとも1つの撮像デバイスを所定の位置および方向に自動的に移動するように構成されうる。
適宜、この方法は、画像の取り出し元の位置および方向を判定することを含むことが可能である。少なくとも1つの撮像デバイスが座標位置決め装置上に取り付けられる実施形態では、位置および方向は、座標位置決め機の位置報告機能から取得することが可能である。例えば、座標位置決め機は、座標位置決め機の相対的に移動可能な部分の位置を判定するためのエンコーダを備えることが可能である。この場合、撮像デバイスの位置および方向は、エンコーダの出力から決定することが可能である。
この方法は、画像解析装置が少なくとも1つの第1の画像および少なくとも1つの第2の画像のそれぞれにおいて複数の共通の対象物体特徴として対象物体上に形成される光学的パターン内の複数の不規則性を識別することを含むことができる。複数の共通の対象物体特徴は、複数のターゲット特徴とすることも可能である。この方法は、少なくとも1つの第1の画像および少なくとも1つの第2の画像から測定空間内の対象物体上の複数のターゲット特徴のうちのそれぞれの特徴の三次元座標を決定することをさらに含むことが可能である。
この方法は、光学的パターンが投影される対象物体の表面に関する凹凸形状データを画像解析装置が決定することをさらに含むことができる。これは、三角測量を介して、および/または例えば、位相解析を介して実行されうる。これは、第1の画像および第2の画像のうちの少なくとも一方によって画像化されている光学的パターンの変形を画像解析装置が処理することによって実行されうる。特に、光学的パターンが周期的光学的パターンである実施形態では、画像解析装置は、表面上の周期的光学的パターンの位相を解析することが可能である。対象物体上に投影される周期的光学的パターンの位相を解析することによって凹凸形状データを決定するための多くの方法が知られている。このような技術は、位相ステッピング使用アルゴリズムを含む。例えば、好適な位相ステッピングアルゴリズムは、非特許文献3で説明されている。理解されるように、このような位相ステッピングアルゴリズムは、対象物体上の周期的光学的パターンの位置がそれぞれの画像内で異なる、実質的に共通の透視位置からの対象物体の複数の画像を必要とする。
このような方法は、位相マップ、特にラップ位相マップを生成するために使用することができ、このマップを処理して凹凸形状高さ情報を得ることができる。
対象物体上の周期的光学的パターンの位置は、プロジェクタによって放出される周期的光学的パターンを変更することによって画像のそれぞれを取得する間で変えることが可能である。例えば、プロジェクタは、レンズ上に入射するレーザビームを備えることができ、このレンズは液晶システム上にビームを発散させて測定される表面上に少なくとも1つの干渉縞パターンを生成する。液晶システムによって生成される干渉縞パターンのピッチおよび位相を制御するために、コンピュータを使用することができる。コンピュータおよび液晶システムは、位相シフト法を用いて、構造化された光パターンの位相を変化させることができる。
適宜、対象物体上の光学的パターンの位置は、対象物体と光学的パターンプロジェクタとを相対的に移動することによって一組の画像内のそれぞれの画像を取得する間に変えることが可能である。このため、さらに、位相マップを位相ステッピングプロセスによって得ることができる。対象物体上の光学的パターンの位置が、対象物体の複数の画像のうちのそれぞれの画像を取得する間に変更され、これらの画像を解析することによって凹凸形状データが得られる方法および装置の詳細は、出願人の参照番号742/WO/0を有し、特許文献2、特許文献3、および特許文献4からの優先権を主張する、「PHASE ANALYSIS MEASUREMENT APPARATUS AND METHOD」という表題を持つ、本出願と同日に出願された同時係属PCT出願において開示されている。
他の知られている技術としては、周期的光学的パターンの画像をフーリエ変換して、位相マップ、特にラップ位相マップを生成し、次いでこれを処理して凹凸形状高さ情報を取得することが挙げられる。
いずれの方法でも、画像解析装置は、ラップ位相マップをアンラップし、そのアンラップされた位相マップから凹凸形状データを決定するように構成されうる。
画像解析装置は、画像全体にわたる凹凸形状データを決定するように構成できる。適宜、画像解析装置は、画像の一部のみにわたる凹凸形状データを決定するように構成できる。特に、画像解析装置は、光学的パターンが投影される対象物体の連続セクションに関する凹凸形状データを決定するように構成することができる。対象物体の連続セクションは、複数のすでに識別されている不規則性によって囲まれている対象物体の一部としてもよい。
理解されるように、凹凸形状データは、対象物体の表面の少なくとも一部の凹凸形状を示すデータとすることができる。凹凸形状データは、対象物体上の少なくとも1つの点、および好ましくは対象物体上の複数の点における、画像センサに相対的な対象物体の表面の高さを示すデータとすることができる。凹凸形状データは、対象物体上の少なくとも1つの点、および好ましくは対象物体上の複数の点における、対象物体の表面の勾配を示すデータとすることができる。
位相解析によって対象物体の表面の凹凸形状データを決定し、さらに対象物体上の共通の特徴の位置を識別し決定するための方法および装置の詳細は、出願人の参照番号743/WO/0を有し、特許文献2、特許文献3、特許文献4からの優先権を主張する、「NON-CONTACT PROBE」という表題を持つ、本出願と同日に出願された同時係属PCT出願において開示されている。その出願において開示されている発明主題は、参照により本出願の明細書に組み込まれている。
この方法は、画像解析装置が複数のターゲット特徴の三次元座標を凹凸形状データと組み合わせて対象物体の三次元モデルデータを取得することをさらに含むことができる。
理解されるように、ターゲット特徴の三次元座標は、三角法によって決定できる。例えば、ターゲット特徴の三次元座標は、写真測量法によって決定できる。したがって、この方法は、画像解析装置が写真測量法を使用して測定空間内の対象物体上のターゲット特徴の三次元座標を決定することを含むことができる。
この方法は、第1および第2の知られている透視位置と異なる少なくとも第3の知られている透視位置から対象物体上の光学的パターンの少なくとも1つの第3の画像を得ることを含むことができる。この場合、この方法は、共通の対象物体特徴として少なくとも1つの第1の画像、第2の画像、および第3の画像のうちのそれぞれの画像内の光学的パターンに含まれる不規則性を識別することを含むことができる。不規則性は、ターゲット特徴として識別することも可能である。この方法は、測定空間内の対象物体上のターゲット特徴の三次元座標を決定することをさらに含むことが可能である。当然のことながら、他の知られている透視位置からの対象物体上の光学的パターンのさらに多くの画像を取得することができる。取得する画像の数を増やすことで、光学的パターン内の不規則性をターゲット特徴として識別し、測定空間内の対象物体上のターゲット特徴の三次元座標を決定するプロセスの精度および信頼度を改善することができる。
本発明の第2の態様によれば、対象物体を検査するための装置が提供され、この装置は、少なくとも第1のプロジェクタ透視位置および第2のプロジェクタ透視位置から光学的パターンを測定される対象物体上に投影するように構成された少なくとも1つのプロジェクタと、第1の画像透視位置から、第1のプロジェクタ透視位置から光学的パターンが投影される対象物体の少なくとも1つの第1の画像を取得するように構成され、第2の画像透視位置から、第2のプロジェクタ透視位置から光学的パターンが投影される対象物体の少なくとも1つの第2の画像を取得するように構成されている少なくとも1つの撮像デバイスと、共通の対象物体特徴として少なくとも1つの第1の画像および第2の画像のうちのそれぞれの画像内の光学的パターンに含まれる不規則性を識別するように構成されている画像解析装置とを備える。
理解されるように、プロジェクタ透視位置は、プロジェクタおよび対象物体の相対的位置を含みうる。プロジェクタ透視位置は、プロジェクタおよび対象物体の相対的方向を含みうる。
装置は、少なくとも1つのプロジェクタを備えるプロジェクタユニットを具備することができる。プロジェクタユニットおよび対象物体は、第1のプロジェクタ透視位置と第2のプロジェクタ透視位置との間で相対的に移動されるように構成されうる。装置は、少なくとも1つの撮像デバイスを備える撮像デバイスユニットを具備することができる。撮像デバイスユニットおよび対象物体は、第1の画像透視位置と第2の画像透視位置との間で相対的に移動されるように構成されうる。プロジェクタユニットおよび撮像デバイスユニットは、固定された空間関係を持つように構成されうる。したがって、プロジェクタユニットおよび撮像デバイスユニットは、単一のユニットとして構成できる。例えば、プロジェクタユニットおよび撮像デバイスユニットは、プローブデバイスとして構成できる。プロジェクタユニットおよび撮像デバイスユニットは、座標位置決め装置の移動可能な部分に取り付けることができる。例えば、これらは、座標位置決め装置のクイール、例えばCMMのクイールに取り付けることも可能である。したがって、例えば、プロジェクタユニットおよび撮像デバイスユニットが、単一プローブとして備えられた場合、プローブは、座標位置決め装置のクイールに取り付けることができる。
理解されるように、装置は、上述の方法に従って構成することができ、この方法に関連して説明されている特徴は、本発明の装置にも等しく適用可能である。
本発明の第3の態様によれば、コンピュータによって実行される方法が提供され、この方法は、第1の透視位置から撮った、光学的パターンが投影される対象物体の少なくとも1つの第1の画像を表す第1の画像データを受け取ることと、第1の透視位置と異なる第2の透視位置から撮った、光学的パターンが投影される対象物体の少なくとも1つの第2の画像を表す第2の画像データを受け取ることと、少なくとも1つの第1および第2の画像内に画像化されているような光学的パターンの不規則性に基づき少なくとも1つの共通の対象物体特徴を識別するために第1および第2の画像データを解析することとを含む。理解されるように、コンピュータによって実行される方法は、上述の方法に従って第1および第2の画像データを解析するように構成されうる。
本発明の第4の態様によれば、プロセッサデバイスによって実行されると、プロセッサデバイスに上述の方法を実行させる命令を含むコンピュータプログラムコードが提供される。したがって、コンピュータプログラムコードは、プロセッサデバイスに上述の方法に従ってプロジェクタ、撮像デバイス、および画像解析装置を制御させることができる。さらに、コンピュータプログラムコードは、プロセッサデバイスに、上述のコンピュータによって実行される方法に従って受け取った画像を処理させることができる。
さらなる態様によれば、上述のようなコンピュータプログラムコードを格納する、コンピュータ可読媒体が提供される。
さらに他の態様によれば、機械コントローラが提供され、これは、プロセッサと、メモリとを備え、プロセッサおよびメモリのうちの少なくとも一方は、上述の方法を実行するように適合される。
したがって、本出願は、対象物体を測定する非接触法を説明するものであり、この方法は、任意の適当な順序で、i)測定空間内に配置されている測定される対象物体上に構造化光パターンを投影するステップと、ii)第1の知られている透視位置から対象物体上の構造化光パターンの少なくとも1つの第1の画像を得るステップと、iii)第1の知られている透視位置と異なる少なくとも1つの第2の知られている透視位置から対象物体上の構造化光パターンの少なくとも1つの第2の画像を得るステップと、iv)少なくとも1つの第1の画像および第2の画像のうちのそれぞれの画像内の構造化光パターンに含まれる不連続性をターゲット特徴として識別するステップと、v)測定空間内の対象物体上のターゲット特徴の三次元座標を決定するステップとを含む。本出願は、測定空間内に配置されている対象物体を測定するための装置を説明するものでもあり、この装置は、構造化光パターンを測定される対象物体上に投影するように構成されているプロジェクタと、第1の知られている透視位置から対象物体上の構造化光パターンの少なくとも1つの第1の画像を、また第1の知られている透視位置と異なる少なくとも1つの第2の知られている透視位置から対象物体上の構造化光パターンの少なくとも1つの第2の画像を得るように構成されている少なくとも1つの画像センサと、少なくとも1つの第1の画像および第2の画像のうちのそれぞれの画像内の構造化光パターン内の不連続性をターゲット特徴として識別し、測定空間内の対象物体上のターゲット特徴の三次元座標を決定するように構成されている画像解析装置とを備える。
次に、本発明の一実施形態について、付属の図を参照しつつ、例としてのみ説明する。
図1を参照すると、そこには、本発明による測定プローブ4が取り付けられる三次元座標測定機(CMM)2が示されている。
CMM2は、クイール14を保持するフレーム12を支持する基盤10を備える。3本の相互に直交するX、Y、およびZ軸にそってクイール14を移動するために、モータ(図に示されていない)が備えられる。クイール14は、関節ヘッド16を保持する。ヘッド16は、クイール14に取り付けられる基部20、中間部22、およびプローブ保持部24を有する。基部20は、第1の回転軸18を中心として中間部22を回転させるための第1のモータ(図に示されていない)を備える。中間部22は、第1の回転軸に実質的に垂直な第2の回転軸を中心としてプローブ保持部24を回転させるための第2のモータ(図に示されていない)を備える。図に示されていないが、関節ヘッド16の可動部の間にベアリングを備えることもできる。さらに、図に示されていないが、基盤10上に配置されている工作物に関して測定プローブ4の位置を決定できるように基盤10、フレーム12、クイール14、および関節ヘッド16の相対的位置を測定するための測定エンコーダを備えることができる。
プローブ4は、プローブ保持部分24上に取り外し可能なように取り付けられる(例えば、運動学的マウントを使用する)。プローブ4は、プローブ4およびプローブ保持部分24上に、またはプローブ4およびプローブ保持部分24内に備えられた対応する磁石(図に示されていない)を使用することによってプローブ保持部分24によって保持することができる。
ヘッド16では、プローブ4をクイール14に対し自由度2で移動できる。ヘッド16とCMM2の3本の直線(X、Y、Z)並進軸によって与えられる自由度2の組合せで、プローブ4を5本の軸の周りで移動させることができる。
CMM2の動作を制御するためのCMMコントローラ27を含むコントローラ26も備えられており、プローブ4の動作を制御するためのプローブコントローラ29およびプローブ4から得られた画像を解析するための画像解析装置31も備えられる。コントローラ26は、専用電子制御システムとすることができ、および/またはパーソナルコンピュータを含むものであってもよい。
CMMコントローラ27は、使用時に、それぞれのモータが必要なトルクを与えるように第1および第2のモータに適切な駆動電流を供給するように配列構成される。それぞれのモータによって与えられるトルクを使用して、関連する回転軸を中心とする移動を引き起こすか、または特定の回転位置を維持することができる。したがって、使用時にヘッド16のそれぞれのモータに駆動電流を連続的に印加する必要がある、つまり、それぞれのモータは、関連する回転軸を中心とする移動が必要ない場合であっても給電される必要があることがわかる。
図1は、CMM2の上位水準の説明のみを示していることに留意されたい。このような装置のさらに詳しい説明は、別のところでなされているが、例えば、参照により本明細書に組み込まれている特許文献5を参照されたい。
次に図11を参照すると、プローブ4は、処理ユニット42の制御の下で、干渉縞パターンを対象物体28上に投影するためのプロジェクタ40、処理ユニット42の制御の下で、干渉縞パターンが投影される対象物体28の画像を得るための撮像デバイス44を備える。理解されるように、撮像デバイス44は、対象物体28の画像を取り込むのに適した光学系およびセンサを備える。説明されている実施形態では、撮像デバイスは、画像センサ、具体的には像面62を定めるCCDを備える。撮像デバイス44は、像面62に光を集束させるためのレンズ(図に示されていない)も備える。
処理ユニット42は、コントローラユニット26内のプローブコントローラ29および画像解析装置31に、処理ユニット42が通信回線46を介して通信できるように接続される。理解されるように、通信回線46は、有線通信回線または無線通信回線とすることが可能である。プローブ4は、処理ユニット42によって使用される、画像データなどの、データを一時的に格納するためのランダムアクセスメモリ(RAM)デバイス48も備える。
理解されるように、プローブ4は、処理ユニット42および/またはRAM48を必ずしも備えている必要はない。例えば、処理およびデータ格納はすべて、プローブ4に接続されているデバイス、例えば、コントローラ26またはプローブ4とコントローラ26との間に接続されている中間デバイスによって実行することができる。
図12に例示されているように、プロジェクタ40の像面60および撮像デバイス44の像面62は、プロジェクタ40および撮像デバイスの光軸61、63が基準面64で交わる角をなす。使用中、プローブ4は、対象物体の表面上に投影される干渉縞が撮像デバイス44によって明瞭に撮像されうるように位置決めされる。
図13を参照すると、プロジェクタ40は、コヒーレント光源を形成するためのレーザダイオード50、レーザダイオード50から放射される光をコリメートするためのコリメータ52、正弦波状干渉縞群を発生するための格子54、および基準面64に集光して干渉縞を形成するためのレンズ集合体56を備える。理解されるように、他の種類のプロジェクタも、本発明とともに使用するのに適しているであろう。例えば、プロジェクタは、光源およびプロジェクタからパターンで放射された光を選択的にブロックし、伝送するためのマスクを備えることが可能である。
説明されている実施形態では、プロジェクタ40によって投影される周期的光学的パターンは、正弦波状干渉縞群である。しかし、理解されるように、他の形態の構造光、例えば、異なる色もしくは色調を有する一組の平行線(例えば、黒色線と白色線とが交互に並ぶ線、または平行な赤色線、青色線、および緑色線)、または例えば、一組の同心円などであっても、投影することが可能である。
次に、図2から図10を参照しつつ、プローブ4の動作について説明する。
最初に図4を参照すると、オペレータがCMM2をオンにしたときに、ステップ100で動作が開始する。ステップ102で、システムが初期化される。これは、プローブ4を関節ヘッド16に装填すること、測定される対象物体28を基盤10上に位置決めすること、CMM2に関する関節ヘッド16の位置が知られるようにCMMのエンコーダをホームまたは基準位置に送ること、さらにCMM2に関するプローブ4の基準点の位置が知られるようにCMM2およびプローブ4を較正することを含む。
初期化が済み、適切に較正された後、制御は、ステップ104に渡り、その時点で対象物体28の一組の画像がプローブ4によって得られる。このステップは、複数の画像群が得られるように複数回実行され、それぞれの画像群は、対象物体28の異なる透視位置または視点に対応する。説明されている実施例では、3つの異なる透視位置に対応する3組の画像が得られる。一組の画像を得るプロセスについて、図5に関して以下でさらに詳しく説明する。
画像すべてが得られた後、それらの画像は、コントローラ26内の画像解析装置31によってステップ106で解析される。画像解析装置31は、対象物体28の形状を記述するCMM2に関する一組の三次元(「3D」)座標を画像から計算する。画像を解析する方法は、図7に関してさらに詳しく説明される。次いで、ステップ108で3D座標が3D点雲として出力される。理解されるように、3D点雲は、後から使用できるようにメモリデバイス上に格納しておくことができる。3D点雲データを使用することで、対象物体の形状および寸法を決定し、それを所定の閾値データと比較して、対象物体28が所定の許容範囲内で作られた物体であるかどうかを評価することが可能である。適宜、3D点雲を、対象物体28の仮想3Dモデルをユーザに提示するグラフィカルユーザインターフェース上に表示することが可能である。
この動作は、システムがオフにされるとステップ110で終了する。その代わりに、その後の動作は、ステップ104から108までを繰り返すことによって開始することが可能である。例えば、ユーザは、同じ対象物体28について複数組の測定データを取得するか、または異なる対象物体に対する測定データを取得することを望んでいる場合がある。
次に図5を参照しつつ、1つの透視位置に対する画像群を取り込むプロセス104について説明する。このプロセスはステップ200から始まり、その時点で、プローブ4は第1の透視位置に移動される。説明されている実施形態では、ユーザは、クイール14を移動するためにCMM2のモータを制御するジョイスティック(図に示されていない)の制御の下でプローブ4を移動することができる。理解されるように、第1の(およびその後の)透視位置は、予め決定しておくことが可能であり、また測定動作時にプローブ4が所定の透視位置に自動的に移動されるようにCMMコントローラ27にロードすることができる。さらに、異なる位置決め装置上で、ユーザは、プローブ4を透視位置まで物理的に引きずることが可能であり、位置決め装置は、例えば、装置の移動部分に取り付けられたエンコーダを介して、プローブ4の位置を監視する。
プローブ4が、第1の透視位置に位置決めされた後、初期化画像がステップ202で得られる。これは、プローブコントローラ29がプローブ4の処理ユニット42に信号を送信し、これにより撮像デバイス44を操作して対象物体28の画像を取り込むようにすることを伴う。
初期化画像は、画像解析装置31に送り返され、ステップ204で、画質特性に関して画像が解析される。これは、例えば、画像の平均光度およびコントラストを決定すること、およびこれらを所定の閾値レベルと比較して、画質が測定プロセスを実行するのに十分かどうかを判定することとを含みうる。例えば、画像が暗すぎる場合、撮像デバイス44またはプロジェクタ40の特性を変えることで、投影された干渉縞パターンの明度を高め、および/または撮像デバイス44の露光時間または利得を調節することが可能である。初期化画像は、対象物体28に関する測定データを取得するためにその後のプロセスで使用されず、したがって、画像の解像度など、画像のいくつかの側面は、後述のように測定画像についてはそれほど高くなくてよい。さらに、代替実施形態では、撮像デバイスから分離されている、フォトダイオードなどの光センサをプローブ内に実装することで、透視位置での光の量を測定することが可能であり、フォトダイオードのこの出力を使用して、プロジェクタ40および/または撮像デバイス44をセットアップする。
プロジェクタ40および撮像デバイス44がセットアップされた後、ステップ206で第1の測定画像が得られる。測定画像というのは、以下でさらに詳しく説明される「画像を解析する」プロセス106で使用されるものである。第1の測定画像を取得することは、プローブコントローラ29が信号をプローブ4の処理ユニット42に送り、これにより処理ユニット42が対象物体28上に干渉縞パターンが投影されるようにプロジェクタ40を動作させ、また撮像デバイス44が干渉縞パターンが載っている対象物体28の画像を同時に取り込むようにすることを伴う。
第1の測定画像は、画像解析装置31に送り返され、ステップ208で、画質特性に関して第1の測定画像が再び解析される。画質が、後述の「画像を解析する」プロセス106で使用するのに十分である場合に、制御はステップ210に渡り、そうでなければ、制御はステップ204に戻される。
ステップ210で、現在の透視位置について干渉縞シフト画像が得られる。干渉縞シフト画像は、実質的に同じ透視位置からであるが、干渉縞の位置はそれぞれの画像内でわずかに異なる対象物体の複数の画像である。このステップの方法は、図6を参照しつつ以下でさらに詳しく説明される。
干渉縞シフト画像が得られた後、画像はすべて、ステップ212で解析するために画像解析装置31に送り返される。理解されるように、それぞれの画像が得られたときにプローブ4が指している位置および方向に関するデータは、それぞれの画像とともに画像解析装置31に送られ、CMM2に関する対象物体28の3D座標は、以下でさらに詳しく説明されるように取得できる。次いで、このプロセスは、ステップ214で終了する。
上で説明されているように、透視画像群取り込みプロセス104は、複数の異なる透視位置について複数回繰り返される。この説明されている実施例では、透視画像群取り込みプロセスは、第1の透視位置、第2の透視位置、および第3の透視位置について、3回実行される。プローブ4は、上で説明されているようにユーザまたはコントローラの制御の下でそれぞれの透視位置に移動される。
次に、図6を参照しつつ、干渉縞シフト画像を得るためのプロセス210について説明する。対象物体28上に投影された干渉縞は、対象物体28上の干渉縞の位置が前の位置と異なるようにある方向にわずかな距離だけプローブ4を物理的に移動することによってシフトされる。プローブ4がシフトされると、中にあるプロジェクタ40、したがってプロジェクタの光軸61も、対象物体28に相対的にシフトされる。これは、対象物体28の干渉縞の位置の変化を与えるものである。
一実施形態では、プローブ4は、撮像デバイス44の像面に平行で、干渉縞の長さ方向に垂直である方向に移動される。
しかし、これは、対象物体上の干渉縞の位置が移動する限り、必ずしもそうである必要はない。例えば、干渉縞シフトは、プローブ4を回転させることによって実現可能である。例えば、プローブ4は、プロジェクタの像面60に垂直な方向に伸びる軸を中心として回転させることが可能である。適宜、プローブは、撮像デバイス44の像面に垂直な方向に伸びる軸を中心として回転させることが可能である。他の好ましい実施形態では、プローブ4は、撮像デバイス44の透視中心を中心として回転させることができる。これは、これにより異なる画像上で撮像デバイス44によって取り込まれた特徴の透視位置が必ず同じになるので有利である。また、これにより、画像の任意の処理で対象物体と画像センサとの間の距離を知ることなく実行すべき対象物体および画像センサの相対的移動を補正することが可能になる。
例えば、図17を参照すると、プローブ4が、検査される対象物体70に関して第1の位置(参照番号4’で示されている)に配置されている。この場合に、プローブのプロジェクタ40は、対象物体70上に点線の干渉縞マーキング72’によって例示される干渉縞パターンを投影する第1の位置(参照番号40’で示されている)にある。干渉縞マーキング72’を持つ対象物体の画像74は、参照番号44’によって示される第1の位置にある撮像デバイス44によって取り込まれる。
次いで、プローブ4は、撮像デバイスの透視中心の周りで対象物体70に関してプローブ4を回転させることにより、参照番号4”で示される第2の位置に移動される。理解されるように、撮像デバイスの透視中心は、像面と交差するすべての光線が通過すると想定される点である。示されている図において、透視中心は、参照番号76で示されている。
これからわかるように、第2の位置において、参照番号40”で示されている、プロジェクタは、対象物体70上の干渉縞パターンの位置が移動されるように移動した。対象物体70上の干渉縞パターンの新しい位置は、対象物体70上のストライプの干渉縞マーキング72”によって例示される。対象物体の画像74は、第2の位置44”のところで撮像デバイスによって取り込まれる。これからわかるように、撮像デバイス44上の対象物体の画像の位置は、撮像デバイスの第1の位置44’と第2の位置44”との間で変化しているけれども、撮像デバイス44が有する対象物体70の透視位置は、位置と位置との間で変化しない。したがって、例えば、1つの画像内で遮られるせいで隠れている特徴は、第2の画像内でも遮られて隠される。これは、対象物体上の背丈の高い特徴80の撮像デバイス44が有する視点を例示している光線78によって示される。これからわかるように、撮像デバイス44は、透視中心を中心として回転するので、光線78は、両方の位置について同一であり、したがって、撮像デバイス44上の特徴の位置のみが、位置と位置との間で変化し、特徴それ自体の形態では変化しない。
したがって、透視中心を中心として回転することは、対象物体の画像センサの透視位置が変化しないという点で有利とすることができ、これにより、対象物体上の同じ点はそれぞれの位置について可視であることが保証される。さらに、任意の見える点について、カメラの相対的回転の前後のその画像点と対象物体との間の距離は、対象物体までの距離と無関係である。つまり、未知の対象物体について、カメラがそれ自体の透視中心の周りを回転する場合、回転前のそれぞれの結像点について、回転後に撮像される場所を予測することが可能である。回転後の像点の位置は、初期像点の位置、回転の角度(および軸)、ならびに内部カメラパラメータに依存し、これはすべて知られている値である。したがって、以下でさらに詳しく説明されるように、透視中心を中心とする回転により、対象物体までの距離を知ることなく、相対運動を補正することができる。
プローブ4は、撮像デバイス44の光軸63が基準面64と交わる点で1/4周期の干渉縞シフトに対応する距離だけ移動される。理解されるように、プローブ4が移動する実際の距離は、投影される干渉縞の周期およびプロジェクタ40の倍率などの他の因子に依存する。
プローブ4がシフトされた後、ステップ302で別の測定画像が得られる。プローブ300をシフトし、測定画像302を得るステップは、さらに2回繰り返される。各回、プローブは、測定画像毎に対象物体上の干渉縞パターンの位置が前のすべての画像について異なるようにシフトされる。したがって、干渉縞シフト画像を取得するプロセス210の終わりに、対象物体の4つの画像が、与えられた透視位置について得られており、それぞれの画像に対する対象物体上の干渉縞パターンの位置はわずかに異なっている。
次に図2を参照する。行Aは、干渉縞が投影されていない3つの透視位置のそれぞれにおける対象物体28の図を示している。行Bは、第1、第2、および第3の透視位置のそれぞれについて、透視画像群104を取り込むためのプロセスのステップ206で撮像デバイス44によって得られる画像1000を例示している。これらの画像1000のそれぞれの背後には、第1、第2、および第3の透視位置のそれぞれについてステップ300および302を実行したときに得られる干渉縞シフト画像1002、1004、および1006の概略が示されている。図14(a)〜14(d)は、第1の透視位置について得られる画像1000〜1006の例を示している。図に示されているように、対象物体および撮像デバイスの相対的位置は、1つの透視位置について画像群内のそれぞれの画像を得る間にわずかに移動しており、これは、以下でさらに詳しく説明されるように(図8に関して特に説明されるように)画像の処理中に考慮し、および/または補正する必要がある。
したがって、第1、第2、および第3の画像群を取り込むステップ104が完了した後、画像解析装置31は、第1、第2、および第3の透視位置のそれぞれについて一組の画像1000〜1006を有することになる。
次に、画像を解析するためのプロセス106について、図7を参照しつつ説明することにする。このプロセスはステップ400から始まり、その時点で、4つのラップ位相マップが第1、第2、および第3の透視位置のそれぞれについて計算される。理解されるように、ラップ位相マップは、位相角が360度の範囲内に束縛されている、透視画像群内の測定画像のうちの1つの画像内の複数のピクセルについて対象物体の表面上に投影される干渉縞の位相を含むマップである。
与えられた透視位置について、ラップ位相マップは、特定の順序でその透視位置に対し4つの位相シフト画像のうちのそれぞれの画像を使用して得られる。与えられた透視位置に対する4つのラップ位相マップは、異なる順序で4つの位相シフト画像のうちのそれぞれの画像を使用することによって得られる。ラップ位相マップを得るための方法は、図8に関してさらに以下でさらに詳しく説明される。
理解されるように、それぞれの透視位置について4つのラップ位相マップを計算する必要はない。例えば、透視位置のそれぞれについて2つまたはそれ以上のラップ位相マップを計算することが可能である。理解されるように、計算するラップ位相マップが多ければ多いほど、以下でさらに詳しく説明するように実際の不連続の決定の信頼度は高くなるが、必要な処理資源は増える。
図3を参照すると、列X、Y、およびZは、異なる透視位置のそれぞれについて、4つの異なるラップ位相マップ1010、1012、1014、および1016を例示している。与えられた透視位置に対するこれらのラップ位相マップのそれぞれは、その透視位置に対する4つの異なる画像1002〜1006の一意的順序を使用して計算されている。それぞれの透視位置に対する4つの異なるラップ位相マップ1010〜1016は、以下でさらに詳しく説明されるように、対象物体28上の特徴によって引き起こされる不連続とその位相のラッピングによって引き起こされる不連続とを区別できるように計算される。
図2の行Bにおける画像を見るとわかるように、対象物体28上のエッジまたはコーナーなどの特徴により、干渉縞パターン内に不連続が生じる。例えば、対象物体28上のエッジ30は、干渉縞が投影されている対象物体28の画像内の直線32にそって干渉縞パターン内に不連続をもたらす。したがって、干渉縞パターン内の不連続を識別することによって対象物体28の特徴を識別することが可能である。
ステップ402では、干渉縞パターン内の不連続は、透視位置のそれぞれについて識別される。これは、ラップ位相マップのそれぞれの中の不連続を識別することによって達成される。ラップ位相マップ内の不連続は、それぞれのピクセルの位相値を隣接する周囲ピクセルの位相値と比較することによって識別される。隣接するピクセル同士の間の位相値の差が、閾値レベルを超えている場合、それらのピクセルのうちのそれぞれによって、不連続点が識別される。理解されるように、これらのピクセルのうちのどのピクセルが不連続点として選択されるかは、その選択基準がすべての不連続点の選択に関して一貫している限り、つまり、隣接するピクセル同士の間の差が画像にそってx方向に計算されているか、y方向に計算されているかに応じて、差の左または差の上のピクセルを常に選択する限り、重要でない。理解されるように、不連続の位置は、上述の方法で見つかった後、必要ならば、画像処理技術を使用して、例えば、位相の勾配、または周囲領域内の測定画像における強度の勾配を見ることによって精密化することができ、これで、例えば、非特許文献4で説明されているようにサブピクセル精度で不連続の位置を見つけることができる。
好ましい閾値レベルは、対象物体形状、画像中のノイズレベル、および干渉縞パターンの周期を含む多くの因子に依存する。閾値レベルは、動作の前にユーザによって設定されるか、または画像それ自体の解析結果から計算することが可能である。
例えば、第1の透視位置について第1のラップ位相マップ1010(図3)を参照すると、エッジ30による干渉縞の直線32にそった歪みによって引き起こされる位相値の差により点34における隣接するピクセル間で不連続性が識別される。この不連続性は、同じ点34における他のラップ位相マップ1012、1014、および1016内でも識別される。
他の不連続性も、エッジ30に対応する、例えばずっと直線32にそってなど、ラップ位相マップ1010〜1016内で識別される。
上記のプロセスの実行の結果、位相マップがラップされることで偽不連続性が識別される可能性がある。例えば、隣接するピクセルが、例えば、0度および360度にそれぞれ近い位相値を有することがある。もしそうであれば、これは、それらのピクセルの間に大きな位相跳躍があったかのように見え、これは不連続性として識別されるであろう。しかし、位相跳躍は、単に、位相のラップアラウンドの結果として引き起こされたのであり、測定されている対象物体の表面の不連続性によるものではない。この例は、位相値が360度から0度に跳躍する点36における第1の透視位置に対する第1のラップ位相マップ1010内に見られる(それぞれ暗色ピクセルと明色ピクセルとによって例示される)。隣接するピクセルに対する位相値は、位相マップがラップされるせいで点36において著しい跳躍をする。
したがって、すべての不連続性が、与えられた透視位置に対する4つのラップ位相マップのそれぞれについて識別された後、ステップ404で、誤って識別された不連続性が取り除かれる。これは、与えられた透視位置に対するラップ位相マップのそれぞれの不連続性を比較し、4つのラップ位相マップのうちの少なくとも2つのラップ位相マップ内に出現する不連続性を保持するだけで達成される。理解されるように、より厳格な試験を、例えば、ラップ位相マップのうちの3つまたは4つのラップ位相マップ内に出現する不連続性を保持するだけで適用することが可能である。こうすることで、画像上のノイズによって引き起こされる問題を解消しやすくなる。このプロセス404は、第1から第3の透視画像群のそれぞれの画像群について実行される。
例えば、上述のように、第1の透視位置について第1のラップ位相マップ1010内の点36で不連続性が識別されている。しかし、第1の透視位置に対する他のラップ位相マップ1012から1016を見ると、その同じ点36で、不連続性は識別されていない。これは、干渉縞シフト画像1000から1006の異なる順序を使用して異なるラップ位相マップが計算されており、これにより、ラップ位相マップ内での位相ラッピングが異なる点で生じることが保証されるからである。したがって、第1のラップ位相マップ1010内の点36で識別された不連続性が他のラップマップ1012から1016でも識別されていないので、その不連続性は破棄できる。
しかし、第1のラップ位相マップ1010内の点34における不連続性が、他のすべてのラップ位相マップ1012から1014内の同じ点34で識別された不連続性によって確認されると、点34は、実際の不連続性として、つまり、位相ラッピングの結果としてではなく、対象物体28上の特徴によって引き起こされた不連続性として識別される。
ステップ406で、透視位置のそれぞれの間の対応する不連続点が識別される。対応する不連続点は、対象物体28上の同じ特徴によって引き起こされる不連続性を識別するラップ位相マップ内の点である。例えば、第1、第2、および第3の透視位置のそれぞれに対する第1のラップ位相マップ1010のそれぞれの上の不連続点38はすべて、対象物体28上の同じコーナー39を識別する。対応する不連続点は、公知のマッチング技術により、また例えば、エピポーラ幾何学を使用することによって決定できる。このような公知の技術は、例えば、非特許文献5で説明されている。次いで、相関する不連続点をターゲット点として使用することができ、プローブ4に関するその3D座標は、例えば、非特許文献6で説明されているような、公知の写真測量法によってステップ408で決定することができる。
したがって、ステップ408の後、対象物体28上の多数の離散点が、識別されており、プローブ4に相対的なその位置が測定される。
ステップ410で、対象物体28の連続セクションに対する高さマップが計算される。高さマップは、プローブ4に関する知られている基準面6より上の表面の高さに関する情報を与える。連続セクションは、不連続な特徴によって囲まれている対象物体の一領域、例えば、4つのエッジによって囲まれている立方体の面である。連続セクションは、ステップ402から406ですでに識別されている不連続点によって囲まれているラップ位相マップ内の領域を識別することによって識別することができる。高さマップは、これらの離散点の間の表面の形状に関する測定データを与える。図9および10を参照しつつ、連続セクションに対する高さマップを得るための方法について以下でさらに詳しく説明する。ステップ410は、異なる透視位置のうちの1つまたは複数の透視位置について異なる連続セクションに対し複数回実行することが可能である。
類似の干渉縞解析システムでは通常のことだが、アンラップ位相マップは、値は知られていないが2πラジアンの数倍程度まで正しく、したがって、基準面64を超える高さは、この知られていない位相差に対応するどのような高さであっても誤りである可能性がある。これは、2π曖昧性と呼ばれることが多い。ステップ408で得られた実際の不連続性の測定された3D座標は、これらの曖昧性を解決するために使用される。
この段階で、ステップ408で得られた実際の不連続点の3D座標とステップ410で得られた高さマップデータとから、プローブ4における所定の基準点に関する対象物体の位置が得られる。したがって、ステップ412で、これらの座標は、CMM2に関して3D座標に変換される。これは、普通の三角法を使用してCMM2の相対的位置として実行することができ、プローブ4内の基準点は、較正結果から、またそれぞれの画像が得られた点でのCMM2に相対的なプローブ4の位置と方向がそれぞれの画像とともに記録されたため知られている。
次に、ラップ位相マップ400を計算するためのプロセスを、図8を参照して説明する。ラップ位相マップを計算することは、一組の干渉縞シフト画像の1つに対するそれぞれのピクセルについて位相を計算することを含む。これは、様々な技術を使用して実行することができるが、その技術の選択は干渉縞シフト画像を得るための方法を含む様々な因子に依存しうる。標準的な位相シフトアルゴリズムは、対象物体と撮像デバイス44との間の相対的位置が、干渉縞シフト画像のすべてにわたって同じであるという事実に依存する。しかし、上述の方法のいずれか(例えば、プローブ4を横方向に移動するか、または撮像デバイスの透視中心を中心として回転させる)が、干渉縞シフト画像を得るために使用される場合、撮像デバイス44は、対象物体に相対的にわずかな距離だけ移動している。したがって、透視画像群に含まれるそれぞれの連続画像について、それぞれの画像内の与えられたピクセルは、対象物体上の異なる点の強度を識別している。したがって、標準的な位相シフトアルゴリズムが使用される場合には、干渉縞シフト画像のすべてにわたってどのピクセルが対象物体上の同じ点に対応するかを識別し、次いでこれを補整する必要がある。撮像デバイス44が横方向に移動したときにこれを行う方法の1つは、それぞれの画像の間で撮像デバイス44がどれだけ、またどのような方向に移動したかにより、またその後、それぞれの画像がそれらのすべてに共通の画像データを含むように画像を刈り込むことによって判定する方法である。例えば、2つの画像の間での撮像デバイス44の移動が、対象物体上の1つの点が1つの次元方向に5ピクセルだけシフトしたことを意味する場合、5ピクセル幅分のデータが取り除かれるように第1の画像を刈り込むことができる。
このことは、第1の画像1000、第2の画像1002、第3の画像1004、および第4の画像1006のそれぞれについてピクセルの対応する行の概略を例示している図15を参照するとさらに明確にわかる。これからわかるように、画像と画像との間における撮像デバイス44および対象物体28の相対的移動により、対象物体上の同じ点が、それぞれの画像内の異なるピクセルによって画像化される。例えば、対象物体28上の点Xは、第1の画像1000に対する左から7番目のピクセル、第2の画像1002に対する左から5番目のピクセル、第3の画像1004に対する左から3番目のピクセル、および第4の画像1006に対する左から4番目のピクセルによって画像化される。画像センサおよび対象物体28の相対的移動を補正する効果的な方法は、それぞれの画像1000〜1006が、図15の窓51によって強調されているような共通領域を表すデータを含むように画像データを刈り込むことである。
画像の刈り込みは、座標変換の一例であり、この変換は一次関数である。これは、対象物体までの距離が知られている状況、または例えば、スタンドオフ距離が測定容積の深さに比べて大きい状況において最も正確なものとなりうる。理解されるように、図18を参照すると、スタンドオフ距離は、撮像デバイスの透視中心76から撮像デバイスの測定容積の中心までの距離であり、被写界深度65または測定容積の深さは、デバイスによって記録される画像がくっきりと見える範囲である。言い換えると、スタンドオフ距離は、プローブ4から測定される対象物体までの公称距離である。例えば、スタンドオフ距離と測定容積の深さとの比が、約10:1である場合、いくつかのピクセルの補正において誤差は最大10%になる可能性がある。スタンドオフ距離が測定容積の深さに比べて大きくないか、または相対運動が直線的平行移動でない場合、撮像デバイスおよび対象物体の相対運動を補正するために最も適している座標変換は、一般的に、対象物体までの距離と実運動に依存しうる。しかし、運動が撮像デバイス44の透視中心を中心とする回転である場合には、運動を最もよく補正する座標変換は、対象物体までの未知の距離には無関係であることが判明している。これは、システムの幾何学的形状と運動のせいである。さらに、これにより、スタンドオフ距離が測定容積の深さに比べて大きくない場合でも、例えば、スタンドオフ距離と測定容積の深さとの比が10:1未満、例えば、5:1未満、例えば、1:1である状況で、正確な補正を実行することが可能である。
したがって、これにより、プローブが対象物体の近くに配置されたときでも対象物体の測定を実行することができる。
それぞれの調整された画像内の同じピクセルが対象物体上の同じ点を表すように相対運動に関してピクセルデータを補正した後、次のステップ502で、位相シフトアルゴリズムを使用してラップ位相をピクセル毎に計算する必要がある。公知の位相シフトを必要としない好適な位相シフトアルゴリズム、例えば、カレアルゴリズムを使用して、ラップ位相、位相シフト、および変調振幅を計算することができる。
ラップ位相マップ400を計算するためのプロセスは、それぞれの透視画像群についてさらに3回繰り返され、毎回位相シフト画像を異なる順序で使用し、それぞれの透視位置について4つのラップ位相マップを得る。したがって、ラップ位相マップ400を計算するためのプロセスは、合計12回実行されることになる。
次に、高さマップ410を得るための第1のプロセスについて、図9を参照しつつ説明する。この方法は、ステップ600で、位相計算アルゴリズムによって見つかった不連続性を取り除くために必要に応じて360度の整数倍を個別ピクセルのラップ位相に加えることによって複数の位相マップのうちの1つの位相マップの連続セクションをアンラップすることを伴う。この方法は、次いで、ステップ602でその連続セクションについてアンラップ位相マップを高さマップに変換することを伴う。1つのピクセルに対する位相は、対象物体の表面の相対的高さに依存する。したがって、ステップ602で、所定のマッピングテーブルおよび手順を使用してそれぞれのピクセルの位相値を直接、高さ値にマッピングすることによってその位相から連続セクションに対する高さマップを作成することが可能である。
図8に関連して上で説明されているラップ位相マップを計算するための方法、つまり、画像座標が補正される方法とは対照的に、対象物体と撮像デバイス44が互いに相対的に移動されたときにラップ位相を計算するための、画像座標補正を必要としない方法が他にあることがわかった。この方法は、撮像デバイス44のCCDのピクセルがそれぞれの異なる画像について対象物体上の異なる点を見ているという事実に依存する。複数の画像内で単一のピクセルによって見られている点が、撮像デバイス44まで異なる距離にある場合に、それぞれの画像内のそのピクセルにおいて異なる位相が記録される。つまり、そのピクセルにおける干渉縞パターンの位相は、それぞれの画像の間でシフトされることになる。実際の位相シフトは、対象物体までの距離および対象物体の勾配、さらには撮像デバイス44および対象物体の公知の相対運動および固定システムパラメータに依存する。したがって、位相シフトは、画像の一面にわたって変化する。
例えば、図16を参照しつつ、カメラ平面内のxで撮像される、対象物体の点Xpを考える。撮像デバイス414が、その平面に関してあるベクトルdXだけ平行移動される場合、撮像デバイス44によって撮像される点は、図に示されているように変化する。わかりやすくするために、プロジェクタ40は図から省かれているが、撮像デバイス44およびプロジェクタ40は、互いに関して固定されていることは理解されるであろう。
hは、撮像デバイス44の透視中心からxで撮像された対象物体の点までの距離であり、δhは、平行移動δXの後のこの距離の変化である。aは、撮像デバイスの光軸の公知の方向であり、Xcは、透視中心の位置であり、これも知られている。撮像デバイス44の運動のみにより生じるhの変化は、δX.aに等しい。この量がゼロであり、したがって、運動の方向が撮像デバイスの軸に垂直で、像面に平行である場合、hの残りの任意の変化は、対象物体の形状によるものでなければならない。
hの変化は、実際には位相の変化δφとして記録され、ここでもまた、これは、対象物体の形状によって引き起こされる成分、および軸に対し平行な撮像デバイスの任意の運動によって引き起こされる成分からなる。
与えられたピクセルにおいて位相を測定するために、複数の位相シフト画像を撮る。画像k内の1つのピクセルで記録された強度は
で表すことができる。
ただし、式中、
A=オフセット(つまり、任意の背景光を含む、そのピクセルによって記録された対象物体上に投影された干渉縞パターンの平均強度)、
B=そのピクセルによって記録された光度の振幅変調、
このときに、平行移動δXが小さいと仮定して、一次のテイラー級数展開を使用する。
カレアルゴリズムを使用し、画像群に含まれる与えられた1つの画像内のそれぞれのピクセルについて、4つの位相シフト画像から位相および位相シフトおよび変調振幅を計算する。カレアルゴリズムでは、位相が一致する4つのシフトは等しいと仮定する。これは、例えば、使用される運動が平行移動であり、表面が平面である場合である。その場合でなければ、表面勾配が運動のスケール上で著しく変化しないように十分に小さい運動を選択することによってよい近似が得られる。
位相データは、高さデータに変換できる。適宜、図10に関連して以下で説明されている方法を使用して、位相シフトデータを勾配データに変換し、その後高さデータに変換することができる。
上述の方法では、対象物体の反射率および表面勾配が相対運動のスケール上で実質的に一定である場合に最適な結果が得られる。したがって、画像群内の画像間の運動が小さいものであることが好ましいとしてよい。撮像デバイスに関して勾配が低すぎるか、または高すぎる、あるいは曲率が高い表面の領域は、カレアルゴリズムが返す変調振幅を検査することによって検出することができ、また位相シフトを引き起こすために使用される相対運動を変更し、必要ならば、異なる透視位置から対象物体を見ることによって引き続き測定することができる。
カレアルゴリズムからは、画像内のそれぞれのピクセルについて位相と位相シフトの両方のデータが得られる。図9に関連して上で説明されている方法では、高さデータを得るために位相データを使用している。しかし、位相シフトデータを使用して高さ情報を得ることが可能となった。具体的に、高さマップ410を得るための第2のプロセスについて、図10を参照しつつ説明する。この方法は、ステップ700で、連続セクション(上で説明されているようにすでに識別されている不連続性から識別可能である)について、透視画像群内の画像のすべてにカレアルゴリズムを使用して位相シフトマップを計算することから始まる。1つのピクセルに対する位相シフトは、対象物体の表面の勾配および対象物体がプローブ4からどれだけ離れているかに依存する。したがって、ステップ702で、所定のマッピングテーブルおよび手順を使用してそれぞれのピクセルの位相シフト値を直接、勾配値にマッピングすることによってその位相シフトから連続セクションに対する勾配マップを作成することが可能である。次いで、ステップ704で、プローブ4に関して連続表面に対する高さマップを得るために、勾配マップを積分する。ステップ408で得られた実際の不連続性の測定された3D座標は、積分定数を求めて基準面64の上の高さを見つけるために使用される。
本発明の利点は、ユーザがマーカーを対象物体上に置かなくても、またはターゲット点を対象物体上に選択的に投影するようにプロジェクタを構成しなくても、ターゲット点を素早く識別できることである。さらに、高密度の複数のターゲット点を識別することもできる。
理解されるように、上の説明は、本発明のただ1つの具体的な実施形態の詳細な説明となっているが、本質的ではない多くの特徴は、本発明に単に任意に選択でき、または好ましいものである。
例えば、説明されている実施形態において、プローブは、CMMのクイールと同等の取り付け構造物上に取り付けられる。本発明は、他の種類の機械に取り付けられている測定デバイスの運動の方向を計画する作業と併せて使用するのにも適している。例えば、プローブ4は、工作機械に取り付けることも可能である。さらに、プローブ4は、例えば、複数の関節を有するロボットアームを備えることができる、検査ロボットの遠位端上に取り付けることもできる。さらに、プローブ4は、固定位置にあってもよく、対象物体は、例えば、位置決め機械を介して移動可能とすることも可能である。
さらに、本発明は、プロジェクタおよび撮像デバイスを収納した単一のプローブとして説明されているが、プロジェクタおよび撮像デバイスは、別々に備えることも可能である(例えば、互いに独立して物理的に操作することができるようにする)。さらに、画像を取り込んでターゲット特徴を決定するのに使用するために、複数の撮像デバイスを、互いに異なる位置および/または方向に備えることもできる。
理解されるように、具体的実施形態の説明は、周期的光学的パターンの位相解析を介して凹凸形状データを得るために画像を取得し処理することも伴う。理解されるように、これは必ずしもその場合である必要はない。例えば、本発明のシステムおよび方法は、写真測量を行うだけのために、ターゲット点を決定するように構成することも可能である。さらに、凹凸形状データが決定される場合、位相ステッピングアルゴリズムを使用する代わりに、三角法などの技術を使用することも可能である。さらに、位相ステッピング法が使用される場合、パターンのシフトは、上述のものと異なる技術を使用して得ることも可能である。例えば、これらは、プロジェクタによって投影されたパターンを変更するか、または対象物体を移動することで得ることが可能である。