JP2010500544A

JP2010500544A - 物理的対象の光学的画像

Info

Publication number: JP2010500544A
Application number: JP2009523350A
Authority: JP
Inventors: デイビッドタワーズ; キャサリンタワーズ; ジョンファジャン
Original assignee: University of Leeds
Current assignee: University of Leeds
Priority date: 2006-08-11
Filing date: 2007-08-13
Publication date: 2010-01-07
Also published as: EP2049869A2; WO2008017878A3; GB0615956D0; WO2008017878A2; US20100177319A1

Abstract

対象物の三次元形状及び色彩を定義するために一般座標系の多重視点からの形状データを組み合わせる方法であって：１つ又は複数の光学データ／マーカを物体面に投影し；物体面のエリアに光を投影し；物体面からの反射光を捕え；光学データ／マーカを対象物の多重視点の基準点として使用し；対象物の形状を測定するのに多重視点と基準点を使用するステップから成る方法。

Description

本発明は、幾何学的形態、色彩、および外観または質感の見地から、物理的対象を捕捉するための光学的測定技術に関する。

縞投影型（fringe-projection-based）三次元画像システムは、全域取得（full-field acquisition）、高速処理、高解像度、非接触操作（non-contact operation）などが可能であるが故に広く研究されている。実質的に平行な一連の縞模様を測定対象物に投影し、カメラを使って、対象物を撮像する。カメラとフリンジプロジェクタとを空間的に離して配置することで、それぞれの光軸は対象物において夾角（included angle）を形成する。対象物のｘ、ｙ位置は、カメラのピクセル位置から決定することができる。対象物の奥行ｚは、取得画像のフリンジ（fringe）の位置でコード化される。投影フリンジのそれぞれは、測定容量（measurement volume）の深度(奥行き)についての厚い面（thick plane）を定義する。公知の三次元画像システムは、均等期（even period）のフリンジを使うため、カメラとプロジェクタの軸が非平行であることに原因して、結像光軸に垂直な面に投影されるフリンジは、不均等期（uneven period）になる。深度と位相の関係は、縞模様に垂直な座標の複雑な方程式（complicated equation）である。視野内の任意形状を持つ物体では、フリンジは、セットアップした物体の形状及び配置に応じて変形する。従って、カメラが捕らえた変形フリンジを分析することで、対象物である物体の形状が測定できる。

一意的かつ一義的に物体の奥行き(深度)を測定するために、ロバスト法（robust method）で縞次数（the order of the fringes）の計数または測定を行う必要がある。そのためには、各画素ごとに独立して縞次数を測定し、従って、不連続物体の測定を可能とするために、多波長技術を使用してきた。先行技術として、例えば、Ｈ．Ｏ．サルドナー他著による刊行物(H.O. Saldner, J.M. Huntley, "Profilometry using temporal phase unwrapping and a spatial light modulator based fringe projector" Optical Engineering, Volume 36, pp610-615, 1997)；Ｃ．Ｅ．タワーズ他著による刊行物（C.E. Towers, D.P. Towers, J.D.C. Jones, "Generalized frequency selection in Multi-frequency interferometry", Optics Letters, Volume 29, pp.1348-1350, 2004）及びＤ．Ｐ．タワーズ他による国際出願ＰＣＴ／ＧＢ２００３／００３７４４（"Phase Measuring Method and Apparatus for Multi-Frequency Interferometry"）が挙げられる。これらが開示する内容を参考として明細書に含める。しかし、多波長技術は、各波長で投影されるフリンジ数に関する情報を必要とする。期待数における些細な誤差も計算縞次数、すなわち、計算した物体形状に大きな誤差をもたらす。近年は、Ｚ．ジャン他著による刊行物（Zonghau Zhang, Catherine E. Towers, and David P. Towers, "Time efficient colour fringe projection system for simultaneous 3D shape and colour using optimum 3-frequency selection", Optics Epress. Volume 14, pp.6444-6455, 2006）が教示するように、カラー縞投影システムが研究されている。しかし、色差チャンネルからの横の色収差のせいで、縞干渉における偏移（shift）が、縞次数演算に誤りを起こす可能性がある。

多くの場合、三次元物体の全表面を測定しなければならない。従って、多重視点からデータを収集する必要がある。理想的には、少なくとも、各視点からの正確な形状情報を維持する一方で、多重視点からの形状データを単一座標系に統合する。この課題は、２つの配置形式を使用することで物理的に解決できる。より小さな物体については、形状センサを固定して、その正面周辺で物体を移動させても構わない。より大きな物体では、物体を固定し、その周辺で多重形状センサまたは単一形状センサを移動させても構わない。一例においては、高精度目盛り付きトラバースを使用して、センサシステムまたは物体を移動させる。しかし、トラバースには物体のサイズ及び重量制限があり、センサシステムの取り付けが面倒なため、この手法はあまり簡便とはいえない。別の手法では、データ適合アルゴリズムを用いる。これは、収集した形状データそのものを使用して各視点から共通座標系にデータを移すのに必要な座標変換を測定するものである。これは、各視点の重複領域に依存する。重複領域が大きいほど、座標変換の精度が高まるが、物体全体をマッピングするのにより多くの視角を必要とする。対象物が大きい場合は、変換エラーが重なり、形状の全体的な精度が単一視点と比較して、大幅に劣化するという問題がある。

多重視点を統合する別の手法では、対象物に適用する一連のコード化標的に基づく写真測量法を使って、一連の座標基準を形成する。多数の画像を用いて、標的位置を測定し、各画像では３個以上の可視標的が存在する。標的位置を測定するのにデジタル写真測量法を利用する。次いで、縞投影などの別個の高分解能形状収集技術を使って、標的間の自由形式物体面を測定し、標的そのものを使用して、自由形式表面データを大域座標系に組み合わせる。この手法は、任意の容量の物体について良好な拡張性を示すが、標的の使用によって物体面の部位が閉塞し、写真測量アルゴリズムの使用により時間がかかる。

上記の多重視点法により、物体の形状を測定できる。しかし、物体の画像をできるだけ現実に近いものとするためには、表面の性状と質感も撮像する必要がある。これらの特長は、典型的に、１つの波長と数個の波長の割合の長さスケール、すなわち、０．1μｍから１０μｍである。これらの情報は、既存の技術／システムでは収集できない。その代わり、双方向性反射率分布関数（ＢＲＤＦ）形式の一般的外観データを汎用物質ライブラリ（libraries for generic materials）から手作業で特定の表面に適用する。ＢＲＤＦは、光が表面でどのように分散するかを測定するもので、表面性状を測定できる。光の波長未満、すなわち、＜０．１μｍに及ぶ長さスケールによる表面の詳細構造によって、ＢＲＤＦを測定する。ＢＲＤＦは、多数のパラメータ、すなわち、表面を照射する入射光の角度、反射角、光の波長（色彩）、偏光に依存する関数である。

ＢＲＤＦは、物理的に、３つの要素から構成されると考えられる。すなわち、直接反射または正反射；正反射周辺の霞み；拡散または領域をほぼ均一にする均等拡散要素である。鏡面要素と霞み要素は、影響を定量化するために、表面法線の情報を必要とする。表面に濃淡が無いほど、あるいは、拡散的に散乱するほど、霞み要素が広がり、正反射がぼやける。公知のＢＲＤＦ測定装置は多色光源を採用し、表面法線を簡単に定義できるため、典型的に、平坦な物体を分析する。Ｐ．Ｙ．バーンズ他著が開示する技術（P.Y. Barnes, E.A. Early, A.C. Parr, "NIST Measurement Services: Spectral Reflectance" NIST Special Publication 250-48, National Institute for Standards, Gaithersburg, MD, 1998）を参考として本明細書に含める。対象物または光源（source）、および検出点を移動させることでＢＲＤＦをスキャンし、適当な分解能でＢＲＤＦの角度関数を決定する。この工程には時間が掛かり、しかも、表面の詳細を正確に再生できないために、物体の実際の外観を類似した表面で表示できないことがある。特に、表面法線の配向（orientation）が未知で、撮像した物体の表面が任意形状を有する場合、正確な再生が難しい。

既存の多重視点形状システムで多く見られる別の課題は、較正が必要なことである。これは、困難で時間も消費する。投影および画像レンズにピンホールモデルを使った幾何モデルシステムに基づく形状較正が多数の文献に記載されている。これらの技術では、システム較正データをピクセル毎に記憶させる必要がある。たとえば、全域視角では、三次多項式フィットにはピクセル当たり１６バイトのデータ記憶が必要で、典型的に＞１６ＭＢである。最近の先行技術には、Ｈ．ギュオ他著の刊行物（H. Guo, H. He, Y. Yu, M. Chen, "Least squares calibration method for fringe projection profilometry", Optical Engineering, Volume 44, 033603, 2005"）、Ｌ．チェン他著の刊行物（L. Chen, C.J. Tay, "Carrier phase component removal: a generalized least-squares approach", Journal of Optical Society of America A, Volume 23, pp435-443, February 2006）が含まれるが、これを参照用に本明細書に組み込む。別の技術は、幾何モデルを使用しないアンラップ相（unwrapped phase）と物体深度の較正形成を開示している。しかし、これらの技術でもピクセル毎に較正係数を記憶することが必要になる。Ｏ．サルドナー他の開示（O. Saldner, J.M. Huntely, "Temporal phase unwrapping: application to surface profiling of discontinuous objects", Applied Optics, Volume 36, pp2770-2775, 1997）を本明細書に参照用に組み込む。さらに別の技術は、写真測量法から派生したモデル（レンズ収差条件を含む）をアンラップ相較正と組み合わせたものである。この技術においても、Ｍ．リーブス他が開示（M. Reeves, A.J. Moore, D.P. Hand, J.D.C. Jones, "Dynamic shape measurement system for laser materials processing", Optical Engineering, Volume 42, pp2923-2929, 2003）するように較正係数が必要になる。この先行技術を参照用に本明細書に組み込む。これらの先行技術は、ピクセルごとの記憶が必要になるという課題を抱える。これは、すなわち、システムに多大なメモリを必要とし、データ処理に時間がかかることを意味する。

本発明の目的は、改良された三次元の物体画像システムおよび方法の提供にある。

本発明の一実施態様は、物体を異なる視点から捉えた形状及び／又は色彩のデータを組み合わせる方法を提供し、その方法は、１つまたは複数の光学データを物体表面に投影することと、この表面からの反射光を分析することを包含する。

隣接視角に共通のデータが、多数、確実に存在することで、２つの視角からのデータで座標変換を測定可能で、したがって、情報を共通座標系に加えることができる。この手法は、任意の形式の全域形状測定に適用可能で、異なる視点からの多重視点（multiple point clouds）を正確に組み合わせるのに使用できる。

表面に適用、あるいは表面に置いたカードに使用する従来型の写真測量マーカの代わりに光学データを使うことができる。光学マーカは高い安定性（冷熱源）を有し、表面を閉塞しないので、従来型の写真測量マーカに代えて光学マーカを使用するのは好都合である。従来型の写真測量アルゴリズムが収集画像データに適用可能で、したがって、物体の形状を測定するのに使用できることは、当業者であれば理解されよう。光学データの使用がもたらす別の利点は、三次元空間の精度の向上である。また、正確なトラバースシステムを使用する必要がない。その代わり、多重視角データ収集プロセスの間、光学データと対象物を互いに固定する必要がある。

好ましくは、光学データを、たとえば単一モード・ファイバなどの冷熱源または不熱源から投影させる。単一モード・ファイバのビーム指向安定性（beam pointing stability）は、レーザーダイオードやＬＥＤなどの熱源と比べて最大１０００倍、優れているため、好都合に使用できる。レーザ光源のビーム指向安定性は、典型的に、１０^−３ラジアン^ｏＣ⁻¹で、従って、１ｍのレバーアームでは、１ｍｍ^ｏＣ⁻¹の位置不確実性が生じる。しかし、非熱源、すなわち、光ファイバから生成されるビームを使用することで、１０⁻⁶ラジアン^ｏＣ⁻¹のビーム指向安定性が得られる。従って、同じレバーアームの場合、１μｍ^ｏＣ⁻¹の位置不確実性が得られる。事実、光ファイバを使って生成した光データは、固定した物体の周辺を移動する形状センサの場合も、物体およびデータアッセンブリが静止した形状センサの正面を移動する場合も、どちらにも対応できる。

好ましくは、光学データを、画像カメラで一群のピクセルとして見える大きさとする。各ピクセルの形状データは、典型的に、系統的要素とランダム要素から成る測定不確実性を含むが、一群の隣接ピクセルにおけるランダム不確実要素は平均化されるため好都合である。多数のピクセルにおける形状情報の加重平均を計算することで、ｘ、ｙ、ｚ位置座標における光学データの全体的な不確実性を削減できる。

物体上で所定のスポットサイズを得るために、レンズを使って光学データを生成しても構わない。

本発明の別の実施態様によれば、物体に光を投影する光学形状センサであって、物体からの反射光を捕捉し、捕捉した光（captured light）を使って物体の少なくとも一部の形状を測定するセンサと；物体の法線から表面で捕捉した光の角拡散(角度広がり)を測定する手段であって、法線が測定した形状と関連する手段と、を備えるシステムを提供する。

ＢＲＤＦの主要な特長は、表面法線での直接反射光線で、表面の艶の程度や拡散性を特定するこれらの光線の角拡散にある。光学形状センサを使用することで、プロジェクタとカメラの間に適切な角度で表面を位置決め可能で、この位置で物体の反射率の具合を固有に測定できる。これは、低規格（低精度）の電動回転トラバースシステムを使って自動的に実行しても構わない。

ローカルＢＲＤＦを測定するのに表面領域を手動または自動で特定し、その後、物体表面の色付き部位にも同様に適用できる。これは、既存のシステムでは発見できない物体の外観の重要な状況を把握するためのセンサシステムの自動化と情報収集の度合いを示す。形状情報および多重視点情報を提供するシステムだけがこれを達成できる。

本発明のさらに別の実施態様によれば、物体に光学フリンジを投影するためのプロジェクタと、物体からの反射フリンジを捕捉するためのカメラまたはその他の適当な検出器と、および物体形状を測定するために捕捉光を使用する手段と、を有する光学形状センサであって、投影フリンジの間隔が不均等である光学形状センサを提供する。

好ましくは、不均等な間隔の投影フリンジを選択することで、ゆがみや収差を除去する。これは好都合で、光計測学または光ディスプレイでの利用可能性が広がる。

好ましくは、不均等な投影フリンジを対象物に均等な間隔で配置する。これにより、投影フリンジ相と対象物の深度にシンプルな直線関係が生じる。直線関係では使用する係数が少なくてすむので、記憶が必要な較正データ量を軽減できるため、センサの較正を単純化できる。これは、ステップ高変化を含む較正対象物による較正の形成というシンプルな手法の実現を意味する。これにより、容量測定を介して平面走査する既存の技術と比べて有意に迅速で、直接的な較正が可能になる。物体に投影するフリンジを均一な間隔を置いて配置すると、形状測定データのノイズを削減できるという利点もある。

投影フリンジの不均等性を選択して、レンズの歪みを補正し、形状測定精度を向上させることができる。

好ましくは、コンピュータ生成画像を物体に投影するのにプロジェクタを使用する。

本発明の別の実施態様によれば、物体に複数の異なる色付き干渉縞を投影するプロジェクタと、物体が反射する干渉縞を捕捉するカメラとを備えるカラー縞投影システムにおける色収差を補正するための方法であって、各カラーチャンネルごとに、捕捉フリンジから予想フリンジ数を見積もるステップを含む方法を提供する。

全捕捉フリンジから予想フリンジ数を見積もることにより、多波長データを色チャンネル間で組み合せできる。事実、これは、多色データと多形状データを同時収集できることを意味する。従来型の赤、緑、青のシステムでは、これは、３要素の時間節約をもたらす。任意の色チャンネル情報を柔軟に使用することで、任意の色の物体についてデータ収集プロセスを柔軟に最適化できる。

本発明の直線補正法により、色の取り込みを伴う多数の計測学システムへの利用可能性が広がる。

図面を参照しながら本発明を説明する。
光学形状センサシステムの略図光学データを基準点として使用する別の光学形状センサシステムの略図デジタル式マイクロミラーデバイスを備えるフリンジプロジェクタにおいて、ＣＣＤカメラチップ面と基準Ｒの関係を線ＡＮに沿って示す平面図Ｎ／ｆを測定する配置を図示位相と深度の関係をもたらす画像システム（２Ｄ）の配置を図示プレートの様々な画像を図示ｚ＝５ｍｍで位置決めしたプレートの中央列の深度を、不均等および均等縞投影を使用して測定。Ｘ軸は範囲が１，２，３．．１０２４の列に沿ったピクセル位置、垂直軸は表面の深度（ｍｍ）を表示。不均等縞投影における列番号関数としての測定深度と、標準偏差を図示レンズが生成した色収差効果を図示色収差を多色縞投影システムから除去しないときのフラットボードからの形状測定の一例各チャンネルに等しい数のフリンジを投影したときに３色チャンネルで捉えた明暗度各色チャンネルに等しい数のフリンジを投影したときの３列画像における赤と緑チャンネル（上）及び緑と青チャンネル（下）の画像でのアンラップ相の差異多色縞投影システムの位相データから色収差を除去したときのフラットボードでの形状測定の一例《図面の詳細な説明》

図１は三次元物体の画像を取得するための光学画像システムを示す。これは、コンピュータ制御データプロジェクタ、好ましくは、デジタル照明処理（ＤＬＰ）プロジェクタと、画像を捕捉するためのカメラと、データ処理のためのコンピュータとを備える。好ましくは、プロジェクタが多色データを試験物体に投影し、システムはカラー全域形状測定システムである。形状測定システムと試験物体の相対的位置の変更手段が提供される。これは電動トラバースの形式とし、試験物体の周辺を移動する形状測定システム、あるいは、形状測定システムの正面を移動する形式であっても構わない。カメラが取得した光をコンピュータ処理し、物体の形状と、任意で、色彩も測定する。別の実施例では、取得した光を処理してＢＲＤＦを決定しても構わない。

《光ファイバデータの使用による多重視点形状登録》
図２は、物体表面上のポイント識別のために光学データを使用する固定式形状センサを示す。このとき、試験物体をその上に設置する回転式トラバースに光ファイバケーブルを取り付けて、物体表面に可視光学データを投影する。別の構成では、物体の下、あるいは、任意で物体の上に設置した円板周辺に一連のポイントを照射する光ファイバを備えても構わない。さらに別の構成では、物体を固定し、一連の固定式光学データプロジェクタを配置して、適当な数のポイントを物体表面に照射しても構わない。

使用中は、光学データを物体上に投影し、形状センサでそれらの画像を収集する。光学データ画像は物体画像と同時に獲得できる。あるいは、順次獲得しても構わない。後者の場合、全域データおよび光学データ画像獲得のためにセンサシステムを同じ位置に留めておく必要がある。

光学データは任意の形状および大きさであって構わない。例えば、各光学データを
画像カメラで一群のピクセルとして見えるサイズにしても構わない。各ピクセルの形状データは、典型的に、系統的要素とランダム要素から成る測定不確実性を含むが、一群の隣接ピクセルにおけるランダム不確実要素は平均化される。多数のピクセルにおける形状情報の加重平均を計算することで、ｘ、ｙ、ｚ位置座標における光学データの全体的な不確実性を削減できる。物体上に所定のスポットサイズを得るために、レンズまたはその他の適当なビーム形成光学を使って光学データを生成しても構わない。

各画像ビューに少なくとも３個のポイントをもたらすために十分なデータを提供しなければならない。データを多くのやり方で使用して構わない。例えば、重量平均またはデータ調整によって解像度を上げる画像処理技術において、全域形状センサから座標を特定するためのマーカとしても構わない。あるいは、典型的な写真測量アルゴリズムを使って処理する従来型の写真測量マーカの代わりに光学データを使うこともできる。この場合、データから取得した画像に従来型の写真測量アルゴリズムを適用し、物体の形状を測定できる。しかし、好都合にこれらのデータのスイッチを電子的に切ったり入れたりできるため、自動化データ収集が可能で、物体表面を閉塞することがない。その後、全域形状センサを三脚台に取り付けて物体の周囲を移動させたり、固定式形状センサの正面を物体が移動するようにしても構わない。いずれの場合も、高解像度曲面パッチを取得し、各パッチは、少なくとも３個の光学データを備え、単一データだけを作動させて個別画像を収集することにより、各データは固有に識別可能である。光学データが収集した画像内のピクセル識別により、全域形状センサデータを参照して、対応する三次元座標を見つけることができる。隣接視角に共通の光学データが十分ある、すなわち、?３であることが確保されれば、視角の座標変換を発見できる。

光学データを光学形状センサの基準点とすることで、例えば、物理的マーカが物体表面を閉塞しないなど、多くの利点が生じる。さらに、電子的に、または、機械シャッターを使って、光学データのスイッチを切ったり入れたりできるので、データ取得が自動化できる。また、全域形状センサおよび光学データからの両方のデータについて、単一の高解像度カメラのみを必要とする。物体の光学データサイズを有限数のピクセルをカバーする大きさにすることで、全域形状データの重量平均またはサブピクセル補間を使用して各データごとに計算される座標の精度を高めることができる。この手法は、適当なトラバースに取り付けた物体、または、周辺を形状センサが移動する固定した物体のいずれにも使用できる。しかし、トラバース／センサ移動システムのいずれにおいても、精度の保証はない。

《多重視点形状センサの使用によるＢＲＤＦ測定》
本発明による多重視角形状センサは、物体のフォトリアリズムを高めるために、ＢＲＤＦの本質的特長を獲得するように構成できる。ＢＲＤＦを獲得するには、光源および検出器に対する表面配向を知ることが重要である。形状測定システムにおいては、図１および２に示すように、測定形状データから判断あるいは知ることができる。形状測定システムが、赤、緑、青などの色に敏感な場合、従来型の物体レンダリングシステムを使用して、既存の表示技術（すなわち、三原色）と互換性のあるやり方で表面の色依存性（colour dependent nature）を獲得できる。形状色センサの正面で物体を回転、または、物体周辺をセンサが移動のいずれの自然過程も、大雑把なＢＲＤＦを構成するのに利用できる角度分解強度データを提供する。

対象物全体または選択した領域についてＢＲＤＦを構成できる。対象物が異なる材料または表面仕上げで形成されている場合、照明角度及び検出角度関数としての色、あるいは、外観の多様性によって領域を識別する。対象物全体について形状および色データを収集する場合、光源または形状測定システムを構成する検出器の２等分線近くに表面法線が来るように物体を自動的に位置決めすることで、ＢＲＤＦの重要な要素、すなわち、正反射を取得しても構わない。対象物とセンサシステムの相対位置を少しずつ変えることでより解像度の高いＢＲＤＦを達成できる。この場合、平坦な代表試験サンプルのものではなく、実際の物体のＢＲＤＦを獲得する。

《不均等縞投影を備える三次元画像システム》
本発明の別の実施例によれば、不均等に間隔をあけた干渉縞を物体に投影する光学形状センサを提供する。好ましくは、不均等フリンジにより、物体のフリンジは均等な間隔を有する。この実施例を使用することで、単純化した較正技術を実現できる。

図３から図５を参照しながらこの実施態様を説明する。図３はプロジェクタの配置のＸ−Ｚ面の平面図である。Ｚ軸は、カメラの光軸に沿って、Ｘ軸と直交する干渉縞で限定する。プロジェクタとカメラの光軸は、Ｘ−Ｚ面にあり、物体の深度を測定する基準面Ｒが備えるＯと交錯する。プロジェクタとカメラのセンタを、それぞれ、Ｅｐ，Ｅｃとしたピンホールカメラモデルを採用する。Ｌは、ＥｐとＥｃの基線で、Ｌ_０は、撮影距離ＯＥｃを示す。αはプロジェクタとカメラの光軸の角度である。

出射瞳と入射瞳に等しい、プロジェクタレンズＥｐとカメラレンズＥｃのピンホール位置をそれぞれ図示する。基準面Ｒと平行な仮想面Ｉを定義し、次いで、フリンジ期がＩで一定であれば、Ｒにおける所定の一定周期フリンジを取得する。Ｑをデジタル式マイクロミラーデバイス（ＤＭＤ）の中心で定義する。ＱＥｐはプロジェクタの光軸の延長である。ＱＮはＣＭＣのローカル軸で、フリンジとプロジェクタの両方の光軸と直交する。Ａは、座標ｎの軸ＱＮ上の任意の点である。仮想面ＩへのＡの逆投影が点Ｂであり、ＡＣはＩに平行に構成され、類似の三角形ＥｐＱＢとＥｐＣＡをもたらす。仮想面Ｉにおいて、フリンジ期はＰ_Ｉで定義され（定数が必要）、ＤＭＤチップに沿った点ＡではＰ_ｎ、ＡＣに沿った点ＡではＰ_ＡＣ（Ｉに平行）である。類似の三角形により、Ｅ_ｐＱをｕとして定義する：

三角形ＡＣＱから、Ｐ_ＡＣ＝（ＡＣ／ｎ）Ｐ_ｎであり、従って、式(1a)から、ＤＭＤが求めるフリンジピッチＰ_ｎは：

ＢＱの式は、システム配置により発見できる。三角形ＡＣＱにおいて：
ｎ＝ＡＣcosα、および、ＱＣ＝ｎtanα、で式（１ｂ）のＥｐＣ＝ｕ−ＱＣを使用し、ＢＱ＝ｎｕ／（ｕcosα−ｎsinα）である。ここで、式(２)のＢＱを置き換えると以下の式が得られる：

座標ｎをＤＭＤのピクセル指標として定義できる。Ｎを列のピクセル数とすると、既知の間隔ｌでプロジェクタ正面の２つの位置に配置されたプレート上の投影幅ｄ１、ｄ２を測定することにより、Ｎ／ｕを見つけられる。これを式４に示す：

２つの軸線の角度αは幾何的に測定できる。上記の式で得たαとＮ／ｕの値を使って、式３は、基準面Ｒで所定の一定周期Ｐ_０を有するフリンジと同一のフリンジを備えるＤＭＤの列沿いの可変周期を有するフリンジを定義する。

フリンジがＸ軸と直交するとの上記の仮定に従って、Ｘ−Ｚ面における全体的なシステム配置の概略を図５に示す。Ｄを基準面Ｒのランダム点とすると、ＥはＣＣＤカメラの同一ピクセル上に撮像される物体表面上の対応点である。Ｅを介して投影される光線は、ポイントＦで基準Ｒと交差するため、ＥとＦは同一のアンラップ相を有する。類似三角形Ｅ_ＰＥＥ_ＣとＦＥＤによれば以下の式が得られる。

式中、△ｚは参照面Ｒに対する物体深度で、ＬとＬ_０は基線で、かつ、図４で示すように、互いに作動距離である。参照面Ｒ上で、一定フリンジ周期Ｐ_０は、ＤＦ＝△фＰ_０／２πで、式中、△фは、特定ピクセルにおける参照面Rと測定した物体から得たアンラップ相での差異である。従って、測定スペースが均一なフリンジの場合、深度と位相の関係は以下の式で得られる。

不均等縞投影（uneven fringe projection）を使用する三次元画像システムでは、位相と深度(奥行き)の関係は、システムパラメータの関数であり、ピクセル位置に依存しない。従って、深度と位相を関係付けるには１つの係数群で十分で、較正と測定の間、各ピックセルについて係数群を記憶させる参照テーブル（ＬＵＴ）を必要としない。そのため、深度計算について、検出器のピクセルの数だけメモリ使用量を削減できる。これは大幅な削減といえる。

位相と深度の関係は、ピクセル位置に依存しないため、Ｘ軸とＹ軸沿いの空間分解能は深度計算に何ら影響を及ぼさない。そのため、フリンジは効率的に分解され、位相測定において適当な解像度をもたらす。原則として、Ｘ較正とＹ較正から別々に深度較正（式(６)における定数項）を得られる。さらに、位相は、Ｘ軸に沿ったピクセル位置について直線関係を有する。そのため、物理的な参照面の代わりに、仮想面による測定が可能で、測定不確実性を削減できる。

上述の理論を実行するには、式(３)の幾何学的パラメータをプロジェクタとカメラに設定し、プロジェクタを評価する必要がある。プロジェクタを配置し、ＣＣＤとＤＭＤの軸線を平行に設定するために、線形変換ステージ（linear translation stage）に取り付けたフラット較正プレートに十字形の画像を投影した。プレートは参照面Ｒと平行に、変換ステージはＺ軸と平行に配向させた。十字形の純粋な水平動を画像で取得できるまで、プレートを前後に横移動させて、カメラとプロジェクタの配向を調節した。

式(３)のＮ／ｕ及びα値を修正することで、測定容量における均等フリンジを確立する。平坦な測定標的から１列のピクセルと交わる線形位相分布に到達することで、２つの値を最適化するための反復プロセスを開発した。ここに開示する結果を得るために、以下のパラメータを用いた：Ｎ／ｕ＝０．４３３及びα＝２３．５度

式６の幾何学的定数の較正は、本質的に、測定したアンラップ相から表面深度を計算するためである。パラメータＰ_０，Ｌ，Ｌ_０を直接測定する代わりに、表示軸に沿って従来技術と同等のステップでフラットプレートを移動させて△ｚと△фに対応する数値を収集し、式(６)の較正係数を得る。

実地体験から、上述の理論がもたらすものは、主に、幾何学的レンズの歪みによるものであることが判った。これらの効果は、プロジェクタ及びカメラレンズの両方から生成できる。しかし、妥当な価格のデータプロジェクタの内蔵レンズの質は、高質なカメラレンズのものより多大な影響を与える。さらに、幾何学的レンズの歪みを不均等縞投影モデルに組み込むことができる。実験的なプロジェクタ評価では、主要条件は、放射状の歪み（radial distortion）で、これは二次（偶数）関数として、一次（first order）にモデリングできる。ｋが放射状の歪み係数で、ｒがレンズの主軸からの半径方向距離として、式(３)を以下のように書き換えできる：

従って、プロジェクタが生成する不均等縞投影は、軸外投影角αおよびプロジェクタレンズが生成する一次放射状歪み（first order radial distortion）を補正する。本書に記載する実験において、このモデルは試験的に決定した数値ｋを採用している。同様に、次元の高い放射状の歪み、または、その他の幾何学的歪みを式７に組み込めた。

本発明による不均等縞投影法を使って、カラー縞投影システムを較正した。実験システムのパラメータは、Ｎ／ｆ＝０．４３３（d2=29.3cm, d1=22.8cm, l=15.0cm）およびα＝２３．５度であった。参照面での測定絶対位相は、各列を直線にする必要があるため、これらの数値を、αとＮ／ｆの測定値から苦心して緻密に取得した。正反射を防ぐために、試験物体として表面に白色スプレーを施した鋼板を用いた。精度１０ミクロンのマイクロメータに鋼板を取り付けた。ｘ座標とｙ座標の較正のために、板の中央に４個の孔をあけた。図６ａに示すように２個の孔の水平および垂直距離は、５０ｍｍとした。板を線形変換ステージに精度１０ミクロン（ニューポートで入手したＭ−４４３−４及びＳＭ−５０）で配置した。板の１点（４個の孔の中心）を座標系Ｏ−ＸＺの基点として定義し、これはカメラの中心でなければならない。これにより、板がステージに沿って前後に変換しても、捕捉点は常にカメラの中心となる。プロジェクタを配置するのに、ソフトウェアで１個のフレームの中央に十字形を生成し、ＤＬＰプロジェクタに送った。図６ｃで示すように、板が参照位置にある場合、十字形は基点Ｏと重畳し、垂直線および水平線はそれぞれ捕捉したフレームの中央縦列および横列と合致すべきである。中央縦列および横列は２個の水平および垂直な孔のそれぞれの中心を横切る。図６ｂおよび６ｄが示すように、板を前後方向に移動させると、十字形は、捕捉フレームの２個の孔の中心を結んだ水平線に沿って移動した。

板を前後方向にそれぞれ、１０ｍｍステップで５回ずつ動かした。参照面については、距離を−５０、−４０，−３０，−２０，−１０，１０，２０，３０，４０，５０ｍｍとした。Ｃ．Ｅ．タワーズ他(C.E. Towers, D.P. Towers and J.D.C. Jones, "Absolute fringe order calculation using optimised multi-frequency selection in full-field porfilometry", Opt. Lasers Eng. 43, 788-800, ２００５年)が開示する三周波法（three-frequency method）を本明細書中に参考として組み込み、これを使って、絶対位相を計算した。各周波数について、４−位相画像移動アルゴリズムを使ってラップ位相を計算した結果、各位置で１２個のフレームを捕捉し、絶対位相マップを得た。比較のために、均等縞投影を使って各位置における絶対位相を計算した。３つの位置で得た絶対位相を使ってシステムを較正した。板を位置−４５，−５，５，４５ｍｍに動かし、これらの位置を使って、較正性能を試験した。フリンジは縦列方向に平行であるため、位相マップの全ての横列はほぼ類似の数値を有する。較正と試験用に中央の横列を選択した。投影および捕捉フリンジの歪みのため、列の位相値の分布が幾分異なるのは理解されよう。

本発明が提案する不均等縞投影法を評価するために、中央列の平均測定距離（ＡＭＤ）と標準偏差（ＳＴＤ）を見積もった。中央列の測定距離（ＭＤ）は、Ｚ_ｎ ^ｍで、ｎ＝１，２，...，Ｎであり、Ｎは列のサンプル数である。ＳＴＤおよびＡＭＤを以下のように定義する：

ステージが制御する実際の変換距離（ＴＤ）は公知である。不均等縞投影においては、深度は相対位相および系統的パラメータにのみ関連し、列の全ての係数群を平均化して１個の係数群を求め、これにより正確な数値が得られる。均等縞投影では、深度と位相の関係は、列方向に沿ったｘ座標の位置関数であり、多数の係数群から構成されるＬＵＴの作成が必要になる。ＬＵＴを省いた均等投影では、Ｎの係数群の平均値を使って結果を計算する。異なる条件でのＡＭＤとＳＴＤの数値を表１に記載する。均等および不均等縞投影において、ＡＭＤは類似の数値を有する。不均等縞投影を仮想参照面と一緒に用いると、仮想参照面がないときより、ＳＴＤの数値が上がる（鋼板表面のでこぼこにより、理論的な期待値１．４１４ではなく、約１．３１の係数が得られる）。ピクセルに関するＬＵＴを使用しない均等縞投影は、最悪の不確実性をもたらした。５ｍｍ位置での均等および不均等縞投影を使用した中央列への測定距離ＭＤを図７に示す。

図７ａは単一の平均係数群を使った均等縞投影を示す。測定深度であるｘ座標関数が多大な系統誤差を生じさせたことが明らかである。図７ｂは、ＬＵＴ係数を各ピクセルに使った均等縞投影が系統誤差を除去することを示す。図７ｃは、物理的参照面とともに使用する不均等縞投影が、＞１／１０００の較正データ保持を必要とする一方、ＬＵＴを用いた均等縞投影と同等の性能をもたらす事を示す。表１は双方のＡＭＤおよびＳＴＤ値のさらなる試験結果をまとめたものだが、同様の数値を示す。図７は仮想参照面を使った不均等縞投影であるが、これが最小のランダム測定不確実性を示した。

本発明が提案する不均等縞投影においては、位相と深度の関係が１列に沿ってｘ座標から独立し、孔から離れた有効測定ピクセルを利用するだけで、孔を備える列に関する係数を計算できる。事実、縁に近いピクセルは較正に影響を及ぼすため、係数の計算から除去される。図８に示すように、不均等干渉縞を投影することで、各列についてＳＴＤとＡＭＤを計算した。同図から、ＡＭＤは異なる列についてほぼ同じで、中央列のＳＴＤは上下の列より若干小さいことが分かる。プロジェクタは視界の底部でより大きな歪みを生成するため、底部の列がより大きな不確実性を有する。

図７は、中央列に関する５ｍｍ位置での不均等および均等縞投影による測定深度を示す。図８は、不均等縞投影を使った測定深度と標準偏差を示す。レンズの放射状の歪み（式(７)）を補正すると、深度データの精度が上がる。仮想面を使用した不均等縞投影では、全てのＴＤについて測定ＳＴＤが＜３３μｍでり、歪みが生じないときの３２から４５μｍに匹敵する。

Ｈ．Ｏ．サルドナー他著による１９９７年の刊行物が開示する方法（H.O. Saldner & J.M. Huntley, "Profilometry using temporal phase unwrapping and a spatial light modulator-based fringe projector" Opt. Eng. 36(2), 610-615）を使って、既知の５０ｍｍ距離で２個の孔の中心間の距離を測定することにより、ｘ座標とｙ座標を較正した。歪みが原因で、取得した孔は楕円形である。精密な数値を得るために、Ａ．フィッジボン他著による１９９９年の刊行物（A. Fitzgibbon, M. Pilu & R.B. Fisher, "Direct least square fitting of ellipses", IEEE Trans. PAMI, 21, 476-480）が開示する楕円形の直接最小二乗適合法（direct least square fitting of ellipses method）を使って楕円形を孔縁の抽出ピクセルに適合させ、楕円中心のサブピクセル精度を計算した。その結果、以下の係数を得た：ｎ_ｃ＝５１４．５９、ｍ_ｃ＝３８４．８４、Ｄ＝０．２０７６５、Ｅ＝０．０００２７７５。最初の２つのパラメータは、ピクセル検出器配列におけるｚ軸の十字形で、残り２つは、深度の縮小における予想線形変化を示す定数である。これらの係数および深度を使って、板が試験位置にあるときの２個の孔の中心の距離を計算した。表２はその結果をまとめたものである。

より広大な画角（この場合、１６０ｍｍまでと見積もる）で必要とされる放射状の歪み補正をｘ−ｙデータに適用すると、不均等縞投影と放射状歪み補正によるｘおよびｙ座標の較正結果をまとめた表３から明らかなように、測定誤差を＜２２μｍに保持できることが分かった。

結論として、結像光軸と垂直な面に均等な一定フリンジを生成するために、新規な不均等縞投影による手法を研究した。不均等縞投影によれば、位相と深度の関係が、ｘ座標から独立した系統的パラメータの単純な方程式になる。この手法によれば、参照テーブルが不要になり、仮想参照面を利用して測定参照面から不確実性を削減できる。試験結果は、不均等縞投影を使った場合、従来の均等投影法よりも精度の高い測定値が得られることを証明している。この不均等縞投影法はフーリエ形状測定にも使用可能で、フリンジキャリヤ（fringe carrier）を正確に除去できる。

《カラー全域縞投影における横の色収差の補正》
投影および画像に使うレンズは、十分な被写界深度、すなわち、標準投影による角状変位の有無に係らず、画像全域で鮮明な投影画像が得られるように、普通、順番に有限開口を備える。レンズにおける色収差は、図９が示すように、縦効果と側面効果の２つから明らかである。横の色収差は、カラー層のピンぼけを生じさせる。これらは、画像の鮮明さに影響するが、投影フリンジの有効波長、すなわち、測定した絶対位相に決定的な変化を引き起こすことはない。

対照的に、色チャンネルの横の色収差は投影フリンジのピッチ、すなわち、投影フリンジの見掛け波長に直接影響を及ぼす。図１０は、カラー投影システムの赤、緑、青色チャンネルにおける１００，９９，９０投影フリンジを備える、Ｃ．Ｅ．タワーズ他が２００５年に開示した刊行物（C.E. Towers, D.P. Towers & J.D.C. Jones, "Absolute Fringe Order Calculation Using Optimised Multi-Frequency Selection in Full Field Profilometry", Optics & Lasers in Engineering, Volume 43, pp.788-800）による最適３波長干渉法を利用して測定した平坦な板の形状を示す。この先行技術の内容を参照用に本明細書に組み込む。１００，９９，９０の数値を使って計算すると、大きな誤差が生じることが明白である。すなわち、特に左右の側部で表面が平坦に見えない。色収差が無ければ、平坦な陰影のある面が生成される。図１１は、同じ数のフリンジを赤、緑、青色チャンネルに投影したときの対応信号を示す。グラフの右側では、フリンジの山と谷が一致しているが、左側では一致していないことが分かる。これは横の色収差の直接的な影響である。

たとえば、Ｋ．クリース（K. Creath, in "Phase measurement interferometry techniques", in Progress in Optics Volume XXVI, Ed. E. Wolf (North Holland Publishing, Amsterdam, 1988)が開示し、その内容を本明細書に参照用に組み込んだ、図１１に示すパターンの位相ステップの明暗度を使って、各色チャンネルのラップ相測定が計算できる。平坦な板を介して捕捉したデータについて、位相を空間的にアンラップして、隣接する位相分布を収集しても構わない。緑色チャンネルのアンラップ相を参照用に選択し、これを画像の上部、中央、下部近くのピクセル列における赤と青色チャンネルのアンラップ相から差し引いて、３列について、それぞれ得た画像を、図１２ａ、１２ｂ、１２ｃに示す。各色チャンネルについて、同じ数のフリンジを投影した。色収差は、投影画像の上部から下部においてほぼ一定であった。さらに、色チャンネル間の位相差の横の色収差効果は、凡そ線形関数であった。

直線歪みモデルを使って、横の色収差効果を計算したアンラップ相から除去することができる。図１２に示すグラフの平均勾配を計算できる。視角を横切る投影フリンジの数における色チャンネル間の平均側面歪み?_ｍを測定できる。この数値を使って、１つの色チャンネルで求められる投影フリンジの数Ｆ（プロジェクタに送る画像にプログラムされる数値）を別の色チャンネルの数について修正できる。このとき、カメラが撮像する実際のフリンジ数はＦ_ｍ：Ｆ_ｍ＝Ｆ＋?_ｍとなる。従って、各色チャンネルで実際に投影されるフリンジ数Ｆ_ｍを縞次数の計算に使って、アンラップ相のロバスト測定が可能である。

一例として、Ｆ＃１６の結像レンズを備え、緑色チャンネルを参照した典型的な縞投影構造において、赤および青色チャンネルの投影フリンジ数を１００，９９，９０としたときの平均側面歪み?_ｍを得た。得られたデータを表４にまとめる。

歪みの平均レベルを取得するのに、青、緑、赤色チャンネルで１００，９９，９０から始めた。青チャンネルの実数は１００＋０．１９５６；赤の実数は９０−０．１５４４であった。修正値１００．１９５６と８９．８４５６を使って、アンラップ相を計算し、取得した平坦な板の測定形状は図１３が示すように正確であった。

正確なアンラップ相を得るのに必要な平均横の色収差の測定精度を評価するのために、位相測定プロセスの数理シミュレーションを使用できる。ＣＥタワーズ他（C.E. Towers, D.P. Towers, JDC Jones, "Absolute Fringe Order Calculation Using Optimised Multi-Frequency Selection in Full Field Profilometry", Optics & Lasers in Engineering, Volume 43, pp.788-800, 2005）が開示し、その内容を本明細書に参照として組み込む最適多波長配置を利用すると、投影フリンジ数が１００，９９，９０の場合の誤差０．０７を、９９個と９０個の投影フリンジを含むデータと、１００個の投影フリンジを含むデータの誤差０．０２で容認できることを見出した。作動距離をカメラと測定位置との距離とし、作動距離における±５％の変化について平均側面歪み値を評価し、その結果を表５にまとめる。

歪みの最大変化は、作動距離が±５％変化、すなわち、平均作動距離の測定深度範囲が１０％における０．０１２６フリンジであった。理論モデルは、誤差がアンラップ相に伝播しないためには、歪み値が０．０２フリンジより良好でなければならないことを示した。従って、本発明が提案する横の色収差補正技術は作動距離について健全である。図１２は、画像の上部、中央、下部のピクセル列を考慮した横の色収差に僅かな相違が存在することを示す。画像の各列における?_ｍの計算は、画像全域にわたって、歪みが＜０．０３フリンジで変化することを示す。従って、本発明が提案する線形収差補正モデルは、視角全域で健全である。

本発明の様々な実施例を別々に、または、組み合わせて使用することで、総合的な形状、色、質感の測定システムを提供できる。本発明を使用して、直接較正形状データ、同一ピクセルから取得する形状および色データを備える色形状測定システム、共通座標系内に正確に配置された多角データおよび特定の表面領域に分解された質感情報といった効果が得られる。これらの特長の全てを含むコンピュータ制御の単一システムは、従来技術で達成できる速度より有意に高速で、高品質画像を獲得するのに使用可能な高性能多目的センサを提供する。

本発明の本質から逸脱することなく、本書が開示した配置や構成に様々な改変が可能であることは、当業者であれば理解されよう。従って、ここに記載する実施例は例示としてのみで、本発明を限定するものではない。本書に記載した操作や特長に有意な変更を加えることなく、若干の修正が可能なことは当業者であれば理解されよう。

Claims

物体の三次元的形状及び／又は色彩を規定するために、共通座標系の複数のビューからの形状データを組み合わせる方法であって、
１つ又は複数の光学データ／マーカを物体の面に投影し、
物体の面の領域を超えて光を投影し、
物体面からの反射光を捕捉し、
物体の複数のビューでの光学データ／マーカを基準点として使用し、
物体の形状を確定するために複数のビューと基準点とを使用する
ことを含む前記の方法。
３個以上の光学データを物体面に投影する請求項１に記載の方法。
光学データを投影するのに、たとえば、単一モード・光ファイバまたは多重モード・光ファイバの如き冷熱源又は非加熱熱源を使用することを含む請求項１又は請求項２記載の方法。
物体の形状を測定するための形状測定システムであって、
１個又は複数の光学データを物体面に投影する手段と、
物体面の領域を超えて光を投影するためのプロジェクタと、
物体面からの反射光を捕捉するためのカメラ又は検出器と、
物体の形状を確定するために、物体の複数のビューにおける光学データを参照ポイントとして使用する手段、
を備えた前記の形状測定システム。
物体の形状を測定するための形状測定システムに用いる、好ましくはコンピュータ可読メディア又はキャリア上のコンピュータプログラムであって、その形状測定システムが、１個又は複数の光学データを物体面に投影する手段と、物体面のエリアに光を投影するためのプロジェクタと、物体面からの反射光を捕捉するためのカメラ又は検出器とを備えていて、物体の複数のビューにおける光学データを、物体の形状を確定する参照ポイントとして使用するためのコードまたは指示を備えている前記のコンピュータプログラム。
各光学データが、検出器／カメラで１個または複数のピクセルをカバーする大きさである前記請求項の何れかに記載の方法、システム、またはコンピュータプログラム。
物体面の双方向性反射率分布関数（ＢＤＲＦ）を測定するためのシステムであって、
物体に光を投影し、物体からの反射光を捕捉し、捕捉した光を使って物体の少なくとも一部の形状を確定する光学形状センサと、
捕捉した光の、物体表面の法線周りの角度広がりを測定してこれをＢＤＲＦの確定に用いる手段
を備える前記のＢＤＲＦ測定システム。
物体面の双方向性反射率分布関数（ＢＤＲＦ）を測定するための方法であって、
光学形状センサからの形状情報を使用することと、
前記センサが捕捉した光の物体表面の法線周りの角度広がり測定してこれをＢＤＲＦの確定に用いること、
を包含する前記のＢＤＲＦ測定方法。
物体表面の双方向性反射率分布関数（ＢＤＲＦ）を測定するための方法で使用するコンピュータプログラムあって、
光学的形状センサから得た形状情報を使用するためのコードまたは指示を備え、
前記センサで捕捉された光の、物体表面の法線周りの角度広がりを測定し、
その測定結果をＢＤＲＦの確定に使用する、
前記のコンピュータプログラム。
物体に光学フリンジを投影するためのプロジェクタと、物体から反射されたフリンジを捕捉するためのカメラ又は他の適当な検出器と、細くした光を物体の形状確定に使用する手段を備え、前記の投影されたフリンジが不均等な間隔であることを特徴とする光学形状センサ。
歪み／収差が排除されるように、前記の不均等なフリンジの間隔を選択する請求項１０に記載の光学形状センサ。
フリンジが物体上で均等に配置されるように、前記の不均等なフリンジの間隔を選択する請求項１０または１１に記載の光学形状センサ。
物体に向けて光学フリンジを投影することと、物体から反射するフリンジを捕捉することと、捕捉された光を物体形状の確定に使用することを含む光学形状システムを較正するための方法であって、投影されたフリンジが不均等な間隔にあり、しかもその不均等なフリンジが物体上で均等になるように選ばれることを特徴とする前記の較正方法。
物体に複数の色違い干渉縞を投影するプロジェクタと、物体から反射された干渉縞を捕捉するカメラを備えたカラーフリンジ投影システムの色収差補正方法であって、各カラーチャンネルについての予想フリンジ数を捕捉したフリンジから見積もることを含む前記の色収差補正方法。