JP2018146449A - ３次元形状計測装置及び３次元形状計測方法 - Google Patents

Abstract

【課題】計測対象物に投影したパターンの位相を基に３次元形状を計測する方法において、多重反射の影響を低減し、計測精度を向上するための技術を提供する。【解決手段】制御装置は、撮像装置で観測される観測光が、投影装置から投影された光が計測対象物上の計測点で反射し撮像装置に入射する１次反射光と、投影装置から投影され他の反射面で反射された光が計測対象物上の計測点で反射し撮像装置に入射する２次反射光との合成光であると仮定する。制御装置は、観測光の輝度振幅値について３つ以上のサンプルを取得し、これらのサンプルを用いて２次反射光に起因する位相誤差を算出し、位相誤差を用いて観測光の位相値を補正することにより補正位相値を算出し、補正位相値に基づいて計測対象物上の計測点の３次元位置を算出する。【選択図】図４

Description

本発明は、計測対象物に周期性を有するパターンを投影し、観測される画像を用いて当該計測対象物の３次元形状を計測する技術に関する。

画像を用いて物体の三次元形状を計測する技術として、位相シフト法が知られている。位相シフト法とは、プロジェクタにより計測対象物に周期性を有するパターンを投影し、物体表面の凹凸に依存して生じる投影パターンの歪み（位相ずれ）を解析することで、物体表面の三次元形状を復元する方法である。また、位相シフト法の改良手法としてＭＰＳ（Micro phase shifting）と呼ばれる手法も知られている（非特許文献１参照）。

これらの方法においては、計測対象物の周囲に存在する他の物体での反射光が計測精度を低下させるという現象が生じることがある。この現象について図６を参照して説明する。図６は、撮像装置２００とプロジェクタ２０１を用いた計測系を示している。プロジェクタ２０１から所定のパターンをもつ光２０１Ｌを計測対象物２０２に投影し、計測対象物２０２の表面に映る投影パターンを撮像装置２００で撮像する。このとき、計測対象物２０２の表面凹凸による投影パターンの歪みは、画像の輝度変化となって現れる。よって、画像の輝度変化を基に、プロジェクタ２０１と計測対象物２０２の表面上の点と撮像装置２００の位置関係を特定し、三角測量の原理から計測対象物２０２の表面の高さ（３次元位置）を算出することができる。

しかしながら、図６に示すように、計測対象物２０２の近傍に鏡面性の高い物体（例えば金属製の物体）２０３が存在すると、プロジェクタ２０１から投影された光が物体２０３の側面で反射し、その反射光２０３Ｌが計測対象物２０２の表面を照らしてしまうことがある。そうすると、撮像装置２００で観測される観測光の中に、プロジェクタ２０１の光２０１Ｌの反射光２０１Ｒ（１次反射光とよぶ）だけでなく、物体２０３からの光２０３Ｌの反射光２０３Ｒ（２次反射光又は多重反射光とよぶ）も含まれることとなる。この２次反射光２０３Ｒは、計測対象物２０２の表面上の投影パターンにノイズとして重畳されるため、投影パターンの解析（つまり観測光の位相値の算出）に悪影響を与え、計測誤差を生じさせてしまうのである。このような現象は「２次反射」又は「多重反射」と呼ばれる。

多重反射の影響を低減する方法として、特許文献１では、多重反射を生じさせる部分を特定し、その部分に投影される投影パターンを減光もしくは消光した状態で撮像を行うという方法が提案されている。しかしながら、この方法のように投影パターンを減光もしくは消光してしまうと、３次元形状を計測できない部分（いわゆる死角）が発生する可能性がある。また、この方法は、多重反射を生じさせる部分（投影パターンを減光もしくは消光すべき部分）を予め正確に特定できなければ多重反射を効果的に抑制できないため、現実の装置への実装が難しいという問題もある。

特開２００８−３０９５５１号公報

Gupta, Mohit, and Shree K. Nayar. "Micro phase shifting." Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.

本発明は上記実情に鑑みてなされたものであって、計測対象物に投影したパターンの位相を基に３次元形状を計測する方法において、多重反射の影響を低減し、計測精度を向上するための技術を提供することを目的とする。

上記目的を達成するために、本発明では、観測光の輝度振幅値の複数点のサンプルを基に、多重反射に起因する位相誤差を推定し、その位相誤差を用いて観測光の位相値を補正する、という構成を採用する。

具体的には、本発明に係る３次元形状計測装置は、計測対象物に対し、時間方向と空間方向に周期性を有するパターンを投影する投影装置と、前記計測対象物を撮像する撮像装置と、前記投影装置から投影するパターンの位相を変えながら前記撮像装置によって撮像された複数の観測画像を用いて前記計測対象物の３次元形状を計測する制御装置と、を有する。前記制御装置は、前記撮像装置で観測される観測光が、前記投影装置から投影された光が前記計測対象物上の計測点で反射し前記撮像装置に入射する１次反射光と、前記投影装置から投影され他の反射面で反射された光が前記計測対象物上の前記計測点で反射し前記撮像装置に入射する２次反射光との合成光であると仮定し、前記複数の観測画像に基づいて、前記観測光の輝度振幅値について３つ以上のサンプルを取得し、前記３つ以上のサンプルを用いて下記式を解くことにより、前記２次反射光に起因する位相誤差を算出し、前記複数の観測画像に基づいて前記観測光の位相値を算出し、前記位相誤差を用いて前記観測光の位相値を補正することにより補正位相値を算出し、前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出する。

Δθ：２次反射光に起因する位相誤差
ａ：１次反射光の輝度振幅値
ｂ：２次反射光の輝度振幅値
ｃ：観測光の輝度振幅値
α：１次反射光と２次反射光の位相差

この構成によれば、２次反射光に起因する位相誤差を補正した位相値を基に３次元形状を算出するので、多重反射の影響が低減された高精度な３次元形状計測が実現できる。しかも本発明の方法は、従来方法のように３次元形状の計測を阻害することはないし、また多重反射が実際に生じている部分か否かにかかわらず適用することができるため、現実の装置への実装が容易であるという利点もある。

前記３つ以上のサンプルは、前記観測画像上の画素の位置、及び、前記パターンの空間方向の周波数、のうち少なくともいずれか一方の条件が異なるサンプルであるとよい。

例えば、前記３つ以上のサンプルは、前記観測画像上の３つ以上の画素について、１種
類の周波数のパターンを用いて観測された輝度振幅値であり、前記３つ以上の画素は、前記パターンの位相が互いに異なる位置にある画素であるとよい。パターンの周波数が１種類でよいため、観測画像の撮影回数が少なくて済むからである。

前記３つ以上の画素は、前記観測画像上の局所領域から選択されるとよい。局所領域（平面で近似できる微小領域）内の画素であれば、計測対象物表面の反射率などの条件が同一とみなせるからである。

前記３つ以上の画素は、前記観測画像上のエピポーラ線に平行な方向に並ぶ画素であるとよい。このようにサンプルを選ぶことにより、できるだけ少ないサンプルから精度良く位相誤差を算出することができるからである。

前記３つ以上のサンプルは、前記観測画像上の１つの画素について、３種類以上の周波数のパターンを用いて観測された輝度振幅値であるとよい。この方法の場合、同じ画素（同じ計測点）に関するサンプルを用いるため、位相誤差の推定精度をより向上できる。

前記制御装置は、輝度振幅値に関する第１の指標と、投影するパターンの空間方向の周波数に関する第２の指標と、１次反射光と２次反射光の位相差に関する第３の指標と、の関係を定義するリファレンス情報を記憶しており、前記３つ以上のサンプルと、各サンプルの観測時に投影したパターンの空間方向の周波数と、前記リファレンス情報とに基づいて、１次反射光と２次反射光の位相差を求めるとよい。この方法によれば、３つ以上のサンプルの値から、１次反射光と２次反射光の位相差の値の簡単かつ精度良く計算することができる。

前記制御装置は、位相シフト法又はＭＰＳ（Ｍｉｃｒｏ Ｐｈａｓｅ Ｓｉｆｔｉｎｇ）により、前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出するとよい。前記他の反射面は、鏡面性の反射面であるとよい。

なお、本発明は、上記構成ないし機能の少なくとも一部を有する３次元形状計測装置又は画像処理装置として捉えることができる。また、本発明は、かかる３次元形状計測装置を備える検査装置や３次元スキャナや物体認識装置として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む、３次元形状計測方法、画像処理方法、検査方法、物体認識方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、計測対象物に投影したパターンの位相を基に３次元形状を計測する方法において、多重反射の影響を低減し、計測精度を向上することができる。

図１は３次元形状計測装置のハードウェア構成を示す模式図である。 図２は３次元形状計測に関わる機能を示すブロック図である。 図３は多重反射と観測光のモデルを示す模式図である。 図４は３次元形状計測の流れを示すフローチャートである。 図５はリファレンス情報における第１〜第３の指標の値の関係を概念的に示す図である。 図６は多重反射を説明する図。

本発明は、計測対象物に投影したパターンの位相の変化を基に３次元形状を計測する３次元形状計測技術に関し、特に、計測対象物の周囲に存在する反射面による多重反射の影響を低減し、計測精度を向上するための方法に関する。本発明は、位相シフト法やその改良であるＭＰＳ（Micro phase shifting）を利用した３次元形状計測に好ましく適用できる。本発明に係る３次元形状計測は、例えば、物体の表面形状を計測する３次元スキャナ、計測した３次元形状に基づき物体の検査を行う検査装置、計測した３次元形状に基づき物体認識や個体識別を行う装置など、様々な装置に応用可能である。例えば、表面実装基板の外観検査装置では、基板上の金属製部品による多重反射が検査精度の低下を招く可能性があるため、本発明に係る３次元形状計測を特に好ましく適用することができる。

以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（３次元形状計測装置の構成）
図１を参照して、本実施形態に係る３次元形状計測装置の全体構成について説明する。図１は３次元形状計測装置のハードウェア構成を示す模式図である。３次元形状計測装置１は計測対象物Ｏの３次元形状を計測するための装置であり、主な構成として、投影装置（プロジェクタ）１０、撮像装置（カメラ）１１、制御装置（コンピュータ）１２を有して構成される。

投影装置１０は、計測対象物Ｏに対し時間方向と空間方向に周期性を有するパターンを投影する投影手段である。投影装置１０の数は一つでもよいが、複数の方向から投影装置１０に対しパターンを投影可能なように複数の投影装置１０を設けてもよい。投影装置１０としては、デジタルミラーデバイスを用いた方式のＤＬＰ（Digital Light Processing）プロジェクタを好ましく利用できる。ＤＬＰプロジェクタは投影パターンの変更が容易だからである。

撮像装置１１は、パターンが投影された状態の計測対象物Ｏを撮影し、デジタル画像を出力する手段である。撮像装置１１は、例えば、光学系とイメージセンサを有して構成される。３次元形状計測を行う際は、投影装置１０から投影するパターンの位相を変えながら（位相接続を行う場合はさらにパターンの周波数を変えながら）、撮像装置１１によって複数枚の画像を取り込む。以後、撮像装置１１によって撮像される計測対象物Ｏの画像を「観測画像」とよぶ。

制御装置１２は、投影装置１０及び撮像装置１１の制御、撮像装置１１から取り込まれた画像に対する処理、３次元形状の計測などの機能を有する手段である。制御装置１２は、ＣＰＵ（プロセッサ）、メモリ、不揮発性の記憶装置（例えば、ハードディスクやフラッシュメモリ）、入力装置（例えば、キーボード、マウス、タッチパネルなど）、表示装置（例えば、液晶ディスプレイなど）を備えるコンピュータにより構成することができる。後述する制御装置１２の機能は、不揮発性の記憶装置に格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することにより実現することができる。ただし、制御装置１２の機能の全部又は一部を、ＡＳＩＣやＦＰＧＡや専用のハードウェアで代替しても構わない。また、分散コンピューティングやクラウドコンピューティングの技術を利用し、制御装置１２の機能を複数のコンピュータの協働により実現しても構わない。

図２は、制御装置１２の３次元形状計測に関わる機能を示すブロック図である。制御装置１２は、３次元形状計測に関わる機能として、画像取得部２０、領域設定部２１、位相
算出部２２、３次元復元部２３を有している。

画像取得部２０は、撮像装置１１から３次元形状計測に用いる複数の観測画像を取り込む機能である。領域設定部２１は、観測画像の視野のうち、後述する多重反射補正を施す領域（以後「補正領域」とよぶ）を設定する機能である。位相算出部２２は、観測画像を解析することにより、観測画像上の各画素（つまり計測対象物Ｏの表面上の各計測点）におけるパターンの位相値を算出する機能である。３次元復元部２３は、位相算出部２２で算出された位相値に基づいて、観測画像上の各画素（つまり計測対象物Ｏの表面上の各計測点）の３次元位置を算出する機能である。これらの機能の詳細は後述する。

（観測光のモデルと多重反射補正）
図３に、多重反射と観測光のモデルを示す。

計測対象物Ｏの近傍に鏡面性の高い反射面Ｒ（例えば金属製の物体の表面）が存在する系を考える。投影装置１０から正弦波状の縞パターンを投影した場合に、計測対象物Ｏ上の計測点Ｐに、投影装置１０のパネル１００上の点ｘ１から発せられた光Ｌ１（直接光）と、投影装置１０のパネル１００上の点ｘ２から発せられた光Ｌ２の反射面Ｒでの反射光Ｌ２０と、が到達すると仮定する。以後の説明において、投影装置１０のパネル１００上の点ｘを点光源とみなし、「投影光源ｘ」とよぶ。

このとき、撮像装置１１で観測される観測光Ｉ_Ｏは、投影装置１０から投影された光Ｌ１が計測点Ｐで反射（拡散反射）し撮像装置１１に入射した光（１次反射光）Ｉ_１と、投影装置１０から投影され反射面Ｒで反射（鏡面反射）された光Ｌ２０が計測点Ｐで反射（拡散反射）し撮像装置１１に入射した光（２次反射光）Ｉ_２との合成光であると仮定でき、次のようにモデル化できる。

ただし、ｃは、観測光Ｉ_Ｏの輝度振幅値であり、θ_Ｍは、観測光Ｉ_Ｏの位相値である。ａ_１は、縞パターンの最大輝度であり、Ｒ_１は、計測点Ｐの反射率であり、Ｒ_２は、反射面Ｒの反射率である。ｗ_ｆは、縞パターンの角速度であり、ｔは、時間である。ｋ_ｆは、縞パターンの波数であり、ｘ_１は、光Ｌ１の投影光源の位置であり、ｘ_２は、光Ｌ２の投影光源の位置である。φは、縞パターンの初期位相である。なお、これらの変数のうち未知のものは、Ｒ_１，Ｒ_２，ｘ_１，ｘ_２である。

ここで、１次反射光Ｉ_１の輝度振幅値「ａ_１Ｒ_１」を「ａ」、２次反射光Ｉ_２の輝度振幅値「ａ_１Ｒ_１Ｒ_２」を「ｂ」とおきなおし、１次反射光Ｉ_１の位相値「ｗ_ｆｔ＋ｋ_ｆｘ_１＋φ」を「θ_ｔｒｕｅ」、１次反射光Ｉ_１と２次反射光Ｉ_２の間の位相差「ｋ_ｆ（ｘ_２−ｘ_１）」を「α」とおいて、式（１）〜式（４）を整理すると、式（１）は下記式のように表すことができる。

ただし、Δθは、２次反射光Ｉ_２に起因する位相誤差であり、

である。

式（５）と合成の定理から下記式を導出することができる。

式（８）の未知数はａ，ｂ，αの３つであるから、観測光Ｉ_Ｏの輝度振幅値ｃについて条件の異なる３つ以上のサンプルを実測すれば、式（８）を解くことができる。そして、式（８）から求めたａ，ｂ，αの値を式（７）に代入すれば、２次反射光Ｉ_２に起因する位相誤差Δθを導出でき、さらに観測位相値θ_Ｍと式（６）から位相の真値θ_ｔｒｕｅを求めることができる。以上述べたモデルにより、位相の真値（２次反射光Ｉ_２の影響が無い場合の位相値）θ_ｔｒｕｅを算出する操作を「多重反射補正」とよぶ。

（３次元形状計測）
図４のフローチャートに沿って、３次元形状計測の処理の流れを説明する。

ステップＳ４０では、制御装置１２が投影装置１０及び撮像装置１１を制御し、複数の観測画像を撮影する。例えば、正弦波状に輝度が変化する縞パターン（最大輝度：ａ_１、波数ｋ_ｆ）をπ／４ずつ位相を変えながら４回投影し、４枚の観測画像を撮影してもよい。さらに、計測範囲拡大のために位相接続を行う場合には、縞パターンの波数（周波数）を変えて、観測画像の撮影を繰り返してもよい。例えば一般的な位相接続の場合は、計測用の高周波の縞パターンと接続用の低周波の縞パターンによる撮影を行い、ＭＰＳの場合は、複数種類の高周波の縞パターンによる撮影を行う。観測画像のデータは、画像取得部２０によって制御装置１２に取り込まれ、メモリ又は不揮発性の記憶装置に格納される。

ステップＳ４１では、領域設定部２１が、観測画像の視野のうちから補正領域を設定する。補正領域の設定はいかなる方法を用いてもよい。例えば、撮像装置１１から取り込まれた画像を表示装置に表示し、入力装置を用いてユーザに領域を指定させてもよい。あるいは、領域設定部２１が、観測画像を解析して、多重反射が発生している領域を検出（推定）し、補正領域を自動で設定してもよい。あるいは、計測対象物が表面実装基板のような工業製品の場合であれば、設計データ（ＣＡＤデータ）などに基づいて反射面Ｒの有無及び多重反射が発生し得る領域を検出し、補正領域を自動で設定してもよい。

本実施形態では、このように多重反射補正を行う領域を限定することによって、多重反射補正に要する処理負荷を低減し、３次元形状計測の処理時間の短縮を図ることができる
。なお、処理時間の短縮を図る必要がなければ、観測画像の全領域に多重反射補正を行ってもかまわない。その場合はステップＳ４１の処理は省略することができる。

ステップＳ４２では、位相算出部２２が、位相を変えて撮影した複数の観測画像に対しＦＦＴ（高速フーリエ変換）を行い、観測画像上の各画素における観測光の輝度振幅値ｃ及び位相値θ_Ｍを算出する。

ステップＳ４３では、位相算出部２２が、ステップＳ４１で設定された補正領域のうちから処理対象とする画素（以後「対象画素ｐ_０」とよぶ）を選択する。次にステップＳ４４では、位相算出部２２が、対象画素ｐ_０に関して、観測光の輝度振幅値ｃのサンプルを３つ以上取得する。

観測光の輝度振幅値ｃの３つ以上のサンプルは、「観測画像上の画素の位置」と「縞パターンの空間方向の周波数」のうち少なくともいずれか一方の条件が異なるように選択すればよい。

例えば、波数ｋ_ｆｉの縞パターンを用いて観測された観測画像における画素ｐ_ｊの輝度振幅値をｃ_ｉｊと表記したときに、対象画素ｐ_０とその近傍画素ｐ_１，ｐ_２…の各々について波数ｋ_ｆ０の１種類の縞パターンで観測された輝度振幅値ｃ_００，ｃ_０１，ｃ_０２…を３つ以上のサンプルとして選んでもよい。この方法の場合、縞パターンの波数が１種類でよいため、観測画像の撮影回数が少なくて済むという利点がある。ここで、近傍画素ｐ_１，ｐ_２…は対象画素ｐ_０近傍の局所領域から選択するとよい。局所領域（平面で近似できる微小領域）内の画素ｐ_０，ｐ_１，ｐ_２…であれば、計測対象物表面の反射率などの条件が同一とみなせるからである。また、画素ｐ_０，ｐ_１，ｐ_２…は縞パターンの位相が互いに異なる位置から選択するとよい。さらに好ましくは、観測画像上のエピポーラ線に平行な方向に並ぶ画素であるとよい。このようにサンプルを選ぶことにより、できるだけ少ないサンプルから精度良く位相誤差を算出することができる。

あるいは、対象画素ｐ_０について波数ｋ_ｆ０，ｋ_ｆ１，ｋ_ｆ２…の３種類以上の縞パターンで観測された輝度振幅値ｃ_００，ｃ_１０，ｃ_２０…を３つ以上のサンプルとして選んでもよい。この方法の場合、同じ画素（同じ計測点）に関するサンプルを用いるため、位相誤差の推定精度をより向上できる。特に、計測対象物表面の形状（凹凸）や反射率が均一でない場合には、この方法のほうが適している。ここで、波数ｋ_ｆ０，ｋ_ｆ１，ｋ_ｆ２…は、いずれかの波数が他の波数の整数倍にならないように選択する。ＭＰＳの場合は、３種類以上の高周波の縞パターンを用いて観測された対象画素ｐ_０の輝度振幅値をそのまま３つ以上のサンプルとして利用することができる。

あるいは、画素の位置と縞パターンの波数の両方の条件が異なる輝度振幅値ｃ_００，ｃ_０１，ｃ_１１…とか、輝度振幅値ｃ_００，ｃ_１１，ｃ_２２…を、３つ以上のサンプルとして選んでもよい。すなわち、画素の位置と縞パターンの空間方向の周波数の両方の条件を変えたサンプルを用いてもよい。

ステップＳ４５では、位相算出部２２が、ステップＳ４４で取得した輝度振幅値の３つ以上のサンプルを用いて式（７）及び式（８）を解くことにより、２次反射光に起因する位相誤差Δθを算出する。そして、ステップＳ４６では、位相算出部２２が、位相誤差Δθを用いて位相値θ_Ｍを補正することにより、対象画素ｐ_０の補正位相値θ_ｔｒｕｅを算出する。本実施形態では、観測位相値θ_Ｍから位相誤差Δθを減算した値を補正位相値θ_ｔｒｕｅとする（θ_ｔｒｕｅ＝θ_Ｍ−Δθ）。

上述したステップＳ４３〜Ｓ４６の処理は、補正領域内の全ての画素について行われる
（ステップＳ４７）。

その後、ステップＳ４８において、３次元復元部２３が、位相算出部２２で算出された各画素の位相値（補正領域内の画素については補正位相値）に基づいて、観測画像上の各画素（つまり計測対象物の表面上の各計測点）の３次元位置を算出する。これにより、計測対象物表面の３次元形状を復元できる。位相値から３次元形状を計算する方法には、例えば、位相シフト法、ＭＰＳなどを用いることができる。これらのアルゴリズムは公知のためここでは詳しい説明は割愛する。

以上述べた本実施形態の多重反射補正によれば、２次反射光に起因する位相誤差を補正した位相値を基に３次元形状を算出するので、多重反射の影響が低減された高精度な３次元形状計測が実現できる。しかも本実施形態の多重反射補正は、従来方法のように３次元形状の計測を阻害することはないし、また多重反射が実際に生じている部分か否かにかかわらず適用することができるため、現実の装置への実装が容易であるという利点もある。

（位相誤差の計算方法の例）
次に、位相算出部２２による位相誤差の計算方法、すなわち、式（７）及び式（８）の具体的な解法の一例を説明する。

式（８）を変形すると、

が得られる。ここで、ａ，ｂは（未知であるが）定数であるから、観測光の輝度振幅値ｃは、ｋ_ｆとｘ_２−ｘ_１との関数として表せることがわかる。

そこで本例では、輝度振幅値に関する第１の指標として「ｃ^２」を、投影する縞パターンの空間方向の周波数に関する第２の指標として「１／ｋ_ｆ」を、１次反射光と２次反射光の位相差に関する第３の指標として「ｘ_２−ｘ_１」をそれぞれ選択する。そして、ａ，ｂに適当な定数を設定して、式（９）を満たす第１〜第３の指標の値の組み合わせを計算することにより、第１〜第３の指標の関係を定義するリファレンス情報（３次元のテーブル）を作成し、制御装置１２の記憶装置にあらかじめ格納しておく。図５は、リファレンス情報における第１〜第３の指標の値の関係を概念的に示す図である。横軸が第３の指標ｘ_２−ｘ_１の値であり、縦軸が第２の指標１／ｋ_ｆの値であり、濃度が第１の指標ｃ^２の値である。

例えば、対象画素ｐ_０について、波数ｋ_ｆ０，ｋ_ｆ１，ｋ_ｆ２，ｋ_ｆ３の４種類の縞パターンで観測された輝度振幅値ｃ_００，ｃ_１０，ｃ_２０，ｃ_３０がサンプルとして取得されたとする。位相算出部２２は、正規化相互相関のようなスケール依存しない探索アルゴリズムによりリファレンス情報を探索することによって、第２の指標の値１／ｋ_ｆ０，１／ｋ_ｆ１，１／ｋ_ｆ２，１／ｋ_ｆ３に対応する第１の指標の値の比がｃ_００ ^２：ｃ_１０ ^２：ｃ_２０ ^２：ｃ_３０ ^２に最も近似する、第３の指標の値ｘ_２−ｘ_１を求める。

次に、未知数ａ，ｂを求めるため、位相算出部２２は、式（９）より次のような行列式（１０）をおく。

位相算出部２２は、行列式（１０）を最小二乗法で解くことでａ^２，ｂ^２，２ａｂの値を求め、さらにそれらの値を満たすａ，ｂの組み合わせを求める。

その後、位相算出部２２は、以上の計算で得られたｘ_２−ｘ_１の値と３次元形状計測に用いる波数ｋ_ｆの値（例えばｋ_ｆ０）とから位相差α＝ｋ_ｆ（ｘ_２−ｘ_１）を計算し、このαの値と行列式（１０）から求めたａ，ｂの値を式（７）に代入することで、位相誤差Δθを計算する。

以上述べた計算方法によれば、輝度振幅値ｃの複数のサンプルから、位相差α及び位相誤差Δθの値を簡単かつ精度良く計算することができる。

なお、上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記計算例では４つのサンプルを用いて探索処理及び行列計算を行ったが、３つ又は５つ以上のサンプルを用いて同様の計算を行ってもよい。また、リファレンス情報を用いず、非線形最適化により式（７）を直接解いてもよい。

Ｏ：計測対象物、Ｐ：計測点、Ｒ：反射面
１：３次元形状計測装置、１０：投影装置、１１：撮像装置、１２：制御装置
２０：画像取得部、２１：領域設定部、２２：位相算出部、２３：３次元復元部
１００：パネル

Claims (11)

1. 計測対象物に対し、時間方向と空間方向に周期性を有するパターンを投影する投影装置と、
   前記計測対象物を撮像する撮像装置と、
   前記投影装置から投影するパターンの位相を変えながら前記撮像装置によって撮像された複数の観測画像を用いて前記計測対象物の３次元形状を計測する制御装置と、を有し、
   前記制御装置は、
   前記撮像装置で観測される観測光が、前記投影装置から投影された光が前記計測対象物上の計測点で反射し前記撮像装置に入射する１次反射光と、前記投影装置から投影され他の反射面で反射された光が前記計測対象物上の前記計測点で反射し前記撮像装置に入射する２次反射光との合成光であると仮定し、
   前記複数の観測画像に基づいて、前記観測光の輝度振幅値について３つ以上のサンプルを取得し、
   前記３つ以上のサンプルを用いて下記式を解くことにより、前記２次反射光に起因する位相誤差を算出し、
   前記複数の観測画像に基づいて前記観測光の位相値を算出し、
   前記位相誤差を用いて前記観測光の位相値を補正することにより補正位相値を算出し、
   前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出することを特徴とする３次元形状計測装置。
   

   

   
   Δθ：２次反射光に起因する位相誤差
   ａ：１次反射光の輝度振幅値
   ｂ：２次反射光の輝度振幅値
   ｃ：観測光の輝度振幅値
   α：１次反射光と２次反射光の位相差
2. 前記３つ以上のサンプルは、前記観測画像上の画素の位置、及び、前記パターンの空間方向の周波数、のうち少なくともいずれか一方の条件が異なるサンプルである
   ことを特徴とする請求項１に記載の３次元形状計測装置。
3. 前記３つ以上のサンプルは、前記観測画像上の３つ以上の画素について、１種類の周波数のパターンを用いて観測された輝度振幅値であり、
   前記３つ以上の画素は、前記パターンの位相が互いに異なる位置にある画素である
   ことを特徴とする請求項１又は２に記載の３次元形状計測装置。
4. 前記３つ以上の画素は、前記観測画像上の局所領域から選択される
   ことを特徴とする請求項３に記載の３次元形状計測装置。
5. 前記３つ以上の画素は、前記観測画像上のエピポーラ線に平行な方向に並ぶ画素であることを特徴とする請求項３又は４に記載の３次元形状計測装置。
6. 前記３つ以上のサンプルは、前記観測画像上の１つの画素について、３種類以上の周波数のパターンを用いて観測された輝度振幅値である
   ことを特徴とする請求項１又は２に記載の３次元形状計測装置。
7. 前記制御装置は、
   輝度振幅値に関する第１の指標と、投影するパターンの空間方向の周波数に関する第２の指標と、１次反射光と２次反射光の位相差に関する第３の指標と、の関係を定義するリファレンス情報を記憶しており、
   前記３つ以上のサンプルと、各サンプルの観測時に投影したパターンの空間方向の周波数と、前記リファレンス情報とに基づいて、１次反射光と２次反射光の位相差を求めることを特徴とする請求項１〜６のうちいずれか１項に記載の３次元形状計測装置。
8. 前記制御装置は、位相シフト法又はＭＰＳ（Ｍｉｃｒｏ Ｐｈａｓｅ Ｓｉｆｔｉｎｇ）により、前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出する
   ことを特徴とする請求項１〜７のうちいずれか１項に記載の３次元形状計測装置。
9. 前記他の反射面は、鏡面性の反射面である
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の３次元形状計測装置。
10. 投影装置から投影するパターンの位相を変えながら撮像装置によって撮像された複数の観測画像を用いて計測対象物の３次元形状を計測する３次元形状計測方法において、
    前記パターンは、時間方向と空間方向に周期性を有するパターンであり、
    前記撮像装置で観測される観測光が、前記投影装置から投影された光が前記計測対象物上の計測点で反射し前記撮像装置に入射する１次反射光と、前記投影装置から投影され他の反射面で反射された光が前記計測対象物上の前記計測点で反射し前記撮像装置に入射する２次反射光との合成光であると仮定し、
    前記３次元形状計測方法が、
    前記複数の観測画像に基づいて、前記観測光の輝度振幅値について３つ以上のサンプルを取得するステップと、
    前記３つ以上のサンプルを用いて下記式を解くことにより、前記２次反射光に起因する位相誤差を算出するステップと、
    前記複数の観測画像に基づいて前記観測光の位相値を算出するステップと、
    前記位相誤差を用いて前記観測光の位相値を補正することにより補正位相値を算出するステップと、
    前記補正位相値に基づいて、前記計測対象物上の前記計測点の３次元位置を算出するステップと、
    を含むことを特徴とする３次元形状計測方法。
    

    

    
    Δθ：２次反射光に起因する位相誤差
    ａ：１次反射光の輝度振幅値
    ｂ：２次反射光の輝度振幅値
    ｃ：観測光の輝度振幅値
    α：１次反射光と２次反射光の位相差
11. 請求項１０に記載の３次元形状計測方法の各ステップをコンピュータに実行させるためのプログラム。

Images