JP2002544510A - カラー構造化された光３ｄ撮像システム - Google Patents

Abstract

(57)【要約】 平行にされた連続光源およびフラッシュ光源の光の何れかを光学格子およびプロジェクションレンズを通過させることによって、集束画像を物体上に投影する構造化光源を含む３次元物体の撮像のための方法および装置が記載されている。任意であるが、複数の別個の色を透過する格子の開口は、精度を高めるためにカラークロストークを減少させる不透明な領域によって分離された既知のパターンを投影光に課す。投影画像に応動するカメラは、物体から反射された投影光の画像を獲得する。短い持続時間の画像獲得によって、特に高速シャッタ速度を使用するカメラに同期化される短い持続時間の構造化光フラッシュを使用して、移動している物体または人間を含む、生きている物体の高精度の静的３Ｄ画像および測定を得ることができる。獲得された画像のデータは、反射パターンの見かけ上の点の位置を確立し、詳細化するように解析される。

Description

【発明の詳細な説明】

【０００１】 本出願は、１９９８年５月１５日に出願され、この出願の内容を参照して組み
込まれる米国特許出願０９／０８０，１３５号の一部係属出願である。

【０００２】

【発明の属する技術分野】

本発明は、３次元表面プロフィール撮像および測定のための方法および装置、
より詳細には、構造化照明を反射する物体の２次元撮像に基づいた物体の距離プ
ロフィール測定に関するものである。

【０００３】 ３次元（以下、“３Ｄ”または３‐Ｄ”の何れかとも呼ばれる）撮像および測
定システムは公知である。一般に、この目的は、物体の形状を３次元で、理想的
には実際の寸法で決定することにある。この撮像および測定システムは、２つの
基本的カテゴリ、すなわち１）表面接触システムおよび２）光学システムに属す
る。光学システムは、さらにレーザ三角測量、構造化照明、光学モアレインター
フェロメトリー、立体撮像、および飛行時間測定を使用することとしてさらに分
類される。

【０００４】 光学モアレインターフェロメトリーは正確であるが、高価であり、時間がかか
る。立体撮像は、物体の３Ｄ表面をマッピングするために２つのカメラからの画
像の比較または２つの異なる画像獲得を必要とする。飛行時間測定は、レーザビ
ームが関心のある各点の物体から反射する時間を計算し、高価な走査レーザ送信
機および受信機を必要とする。

【０００５】 本発明は、既知の構造またはパターンを有する光で照明される物体の３次元プ
ロフィールを決定することを意味する構造化照明に基づいた光学系である。この
構造化照明は、カメラから横方向に分離された点から物体上に投影される。この
カメラは、物体によって反射されるように構造化光パターンの画像を獲得する。
この物体は、物体によって反射される構造化光パターンがはっきりと認識できる
３次元で輪郭を浮き上げさせることができる。基準平面上への同じパターンの投
影から予想されるシフトに比べて、反射パターンのシフトは、“ｚ”距離、すな
わち深さを計算するために三角測量されてもよい。

【０００６】

【従来の技術】

３次元撮像および測定システムおよび方法は公知である。例えば、下記の特許
は様々な種類のこれらの装置を示している。

【０００７】 ホスタマンの米国特許第３，５８９，８１５号； ビッケルの米国特許第３，６２５，６１８号； マークス他の米国特許第４，２４７，１７７号； ソントン他の米国特許第４，２９９，４９１号； モランダの米国特許第４，３７５，９２１号； イソダ他の米国特許第４，４７３，７５０号； ディマテオ他の米国特許第４，４９４，８７４号； ケリエ他の米国特許４，５３２，７２３号； ディマテオ他の米国特許第４，５９４，００１号； ヨハンソンの米国特許第４，７６４，０１６号； オハラの米国特許第４，９３５，６３５号； ツィコスの米国特許第４，９７９，８１５号； ハーディングの米国特許第４，９８３，０４３号； ハーディングの米国特許第５，１８９，４９３号； ボエンライン他の米国特許第５，３６７，３７８号； ドナルドソン他の米国特許第５，５００，７３７号； ハナの米国特許第５，５６８，２６３号； ビエマンの米国特許５，６４６，７３３号； ボーディグノン他の米国特許第５，６６１，６６７号； ゲング他の米国特許第５，６７５，４０７号

【０００８】 様々な技術論文はこの主題もまた取り扱っている。カラー符号化構造化光は、
例えば、K.L.BoyerおよびA.C.Kak著の論文「高速アクティブレンジングのための
カラー符号化構造化された光」（ＩＥＥＥトランザクション・オン・パターンア
ナリシス・アンド・マシンインテリジェンス、第ＰＡＭＩ‐９巻、第１４〜２８
ページ、１９８７年）のような高速アクティブ３Ｄ撮像を行うように提案されて
いる。投影された構造化された光のカラーは、ストライプのロケーションを識別
し、それによってこのデータを解釈する場合にあいまいさを減らすために使用さ
れる。

【０００９】 それ以来、いくつかのグループは、ジェー・ダジマ、エム・イワカワ著の論文
「虹距離計による３Ｄデータ収集」（パターン認識の第１０回国際会議の議事録
、第３０９〜３１３ページ、１９９０年）のような３Ｄ撮像のための異なるカラ
ー符号化法の研究をした。カラーＣＣＤカメラおよび線形可変波長フィルタを使
用し、各測定に対して１つの画像獲得だけを必要とする類似のカラー符号化法は
、ジィー・ジェー・ジェング著の論文「虹３次元カメラ：高速３次元ビジョンシ
ステムの新しい概念」（光学技術３５、第３７６〜３８３ページ、１９９６年）
によって提案された。ジェングシステムの測定精度は、カメラの色識別能力によ
って決まり、カラー間のクロストークによってそこなわれる。

【００１０】 ３つの重なるシヌソイドを含むカラー縞を使用し、ジェングシステムの速度お
よび単一画像の長所を有するが限られた精度も有する異なるシステムは、シー・
ウァストおよびディー・ダブリュ・キャプソン著の論文「カラー縞投影を使用す
る表面プロフィール測定」（マシンビジョンおよびアプリケーション、４、第１
９３〜２０３ページ、１９９１年）によって提案された。

【００１１】 カラー符号化構造化光源による他の実験の結果は、１９９２年の４月７日〜４
月９日にオランダのマーストリヒト市で開催されたＩＥＥの第４回画像処理の国
際会議においてティー・ピー・モンクス、ジェー・エヌ・カーター、およびシー
・エッチ・シャドルの「実時間３Ｄディジタル化のためのカラー符号化構造化光
」、画像およびパターンのコンピュータ解析の国際会議の議事録、第４７６ペー
ジ〜第４８５ページ、１９９３年におけるティー・ピー・モンクスおよびジェー
・エヌ・カーターの「カラー符号化構造化光のための改良されたストライプマッ
チング」によって報告された。

【００１２】 校正方式は、例えば、イー・トルコー、アール・ビー・フィッシャー、エー・
ダブリュー・フィッジボン、およびディー・ケー・ナイドュー著の「校正、デー
タの一貫性およびレーザストライパによるモデル収集」（Ｉｎｔ．Ｊ．Ｃｏｍｐ
ｕｔｅｒ Ｉｎｔｅｇｒａｔｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ，１１，ｐｐ２
９３‐３１０，１９９８）によって検討される構造化光ベース３Ｄイメージング
の精度を改良するために使用された。

【００１３】

【発明が解決しようとする課題】

イー・シューベルト、エッチ・ラス、およびジェー・クリッカー著の論文「カ
ラー符号化移相原理およびカラー符号化三角測量を使用する高速３Ｄ物体認識」
（ＳＰＩＥ第２２４７巻、第２０２〜２１３ページ、１９９４年）およびシー・
チェン、ワイ・ハング、およびジェー・ウー著の論文「カラー構造化照明および
ステレオビジョン」（イメージおよびビジョンコンピューティング１５、第４４
５〜４５６ページ、１９９７年）によるような異なるカラー符号化技術を使用し
、ならびにこの技術を他の技術と組み合わせる報告がある。これらの組み合わせ
は、改良された横の空間解像度を提供するが、５％のある程度高い範囲の相対雑
音レベルを生じる。

【００１４】 従来のシステムはしばしば不正確であるかまたは満足な精度を得るために複数
の露光または高価な装置を必要とする。したがって、正確であり、なおかつ使用
するのに容易であり、安価である３Ｄプロフィーリングシステムを提供すること
にある。

【００１５】

【課題を解決するための手段】 １つの態様では、本発明は、単一構造化光源を使用する実質的にいかなる現在
製造されている単一カメラによっても単一画像獲得だけを必要とする３次元（３
Ｄ）撮像システムを提供する。他の態様では、本発明は、製造するのに安価であ
り、使用するのに容易である３Ｄ撮像システムを提供する。さらにもう一つの態
様では、本発明は、構造化された可視光、赤外光または紫外光の光源を使用する
３Ｄ撮像および測定を可能にする。他の態様では、本発明は、カラー符号化され
た構造化光源の反射間のクロストークを減少させる３Ｄ撮像および測定システム
を提供する。他の態様では、本発明は、カラー符号化された構造化光源を拡張す
ること、構造化光源に反射する画像から生データの精度をアルゴリズム的に高め
ること、画像データを測定された基準画像に比較すること、計算された深さプロ
フィールをアルゴリズム的に高めることの任意の組み合わせを使用する３Ｄ撮像
を提供する。他の態様では、本発明は、写真フラッシュのようなパルス光源また
は連続光源の何れかを使用する３Ｄ撮像および測定を可能にする。さらにもう一
つの態様では、本発明は、データを提供し、３Ｄ画像を得ることができる標準商
用ディジタルカメラに同期される標準商用フラッシュ装置から光を受光する光構
造光学装置を提供する。他の態様では、本発明は、光の強度および／またはスペ
クトルを変調し、白黒または多色構造化照明パターンを供給する構造化光源を使
用する３Ｄ撮像および測定を可能にする。１つの態様では、本発明は、構造化照
明パターンを物体上に投影する方法を提供する。他の態様は、改良されたカラー
格子を使用する３Ｄ撮像を提供する。他の態様では、本発明は、画像を物体上に
投影するために使用できる３Ｄ撮像システムを提供する。１つの態様では、本発
明は、移動している物体および生きている物体と併用できる３Ｄ撮像システムを
提供する。他の態様では、本発明は、単一本体に統合できるカメラおよび光源を
有する３Ｄ撮像および測定システムを提供する。さらにもう一つの態様では、本
発明は、異なる照明を反射する２つの画像を使用することによって表面カラーテ
クスチャを有する物体の正確な３Ｄ撮像および測定を可能にする。

【００１６】 構造化光源および画像データ解釈アルゴリズムの改良の組み合わせを使用する
ことによって、本発明は、構造化照明の下で物体の単一画像を撮影する任意の既
製のディジタルカメラ、または実際に実質的な任意の適正なカメラを使用する正
確な３次元撮像を可能にする。構造化照明は、既製の写真フラッシュ装置の前に
かなり簡単なパターン投影装置を付加することによって提供されてもよい。本発
明によって包含される改良点は、可能な本発明の長所の完全な実現を行うように
一緒に機能する。しかしながら、いくつかの場合、個別の改良点を省略し、その
上さらに良質の３Ｄプロフィール情報を得ることができる。構造化光源は、カラ
ークロストークを減らすためにカラー画像を分離し、既製のフラッシュ装置との
併用を適合させることによって改良される。画像データ解釈アルゴリズムは、カ
ラークロストークの影響を減らし、光強度ピークの検出を改良し、システム校正
を高め、隣接ラインのロケーションを識別する精度を改善する。

【００１７】 本発明の原理により校正される物体についての３Ｄ情報を得る際に使用するた
めの３次元撮像システムは、白黒またはカラー格子を通して透過される照明源を
含む構造化光源を有する。この格子は、一般的には所定の距離だけ相互に離れて
配置される平行透過性バーである所定のパターンの光透過領域または開口を含む
。いくつかの実施例では、この格子は複数の異なるカラーバーの各々の中間に不
透明領域を含む。撮像システムは、構造化光源から光を反射する物体の画像を獲
得するカメラまたは他の画像獲得装置も含む。カメラは短い持続時間露出を行っ
てもよいし、そして／または光源は、移動する物体および生きている物体の明瞭
な３Ｄ画像さえ獲得できるように露出に同期される短い持続時間フラッシュであ
ってもよい。カメラがディジタルデータを直接供給しない場合、このシステムは
、獲得された画像をコンピュータ操作可能なデータにディジタル化する手段を含
んでもよい。本発明のバイアス調整された図心光ピーク検出アルゴリズム態様は
、検出画像の精度を高めるために使用されてもよく、システム校正方法は、検出
物体画像を同じシステムセットアップを使用して撮影された実際の基準画像と比
較することによってエラーを減少させることができる本発明の態様である。複数
のカラー格子の場合、本発明のカラークロストーク補償態様は、格子の異なるカ
ラー間の不透明領域および決定されたカラークロストークマトリックスの逆元で
あるカラー補償アルゴリズムの何れかまたは両方を使用することを含む。本発明
の中心重み付けライン平均アルゴリズム態様は複数のカラー格子に対しても特に
役に立つ。本発明の原理により構成され、作動される３次元撮像システムは、こ
れらの機械的態様およびアルゴリズム態様の組み合わせを使用し、得られた画像
データで実行された周知の計算とともに３次元平面ｘ、ｙ、およびｚに沿って撮
像物体についての情報を決定する。

【００１８】

【発明の実施の形態】

一般に参照番号１０で識別される３次元撮像システムは図１に示されている。
一般に参照番号１２で識別される修正３Ｄ撮像システムは、幾分より詳細に図２
に示され、一般に参照番号１４で識別される格子は図３に示されている。

【００１９】 図１の３Ｄ撮像システムは、パターン光（構造化照明）を物体１８の方へ投影
する構造化照明源１６を示す。光のパターンはカラー符号化されてもよいしまた
はカラー符号化されなくてもよく、公知であるいかなる方法でもパターン化され
てもよく、画像で容易に認識できる。簡単で、好ましいパターンは平行な光のバ
ーからなる。

【００２０】 光が物体１８に達する前に平面Ｏ‐Ｘ（紙面に垂直である）を通過する場合に
見られる光パターン２０は、構造化光源１６から投影される好ましい光のパター
ンを表示する。実際に、光パターン２０は、物体１８上に続く、この物体１８か
ら光パターン２０は物体１８の輪郭に従って反射される。そのように反射され、
一般に参照番号１２で示される画像はカメラ３０によって獲得される。物体１８
は断面だけであるが、全物体は女神ビーナスの彫像の顔である。カメラ３０によ
って見られるような画像３２の表示は図４に示されている。図４の画像では、構
造化光源からの平行な光のバーは彫像の輪郭に従ってシフトされることが分かる
。本発明を使用して決定されるような彫像の表示は図５に示されている。

【００２１】 図１では、光パターン２０の各光領域は、ページに垂直に向けられるので、断
面が見える光のバーである。暗い領域２２は、各明るい領域２４ａ、２６ａ、２
８ａ、２４、２６および２８間に配置されている。距離２１は、３色実施例では
同じ色の中心間の間隔Ｐであり、距離２３は隣接する光のバー間の間隔Ｐ′であ
る。好ましい実施例では、同じ距離２３は、隣接する暗い領域２２の中心間の距
離である。光のバー２４、２６および２８は、白であってもよいしまたは同じ色
の全てまたはカラーの混合であってもよく、またはこれらの光のバーは異なる色
のパターン、好ましくは繰り返すものとして配置されてもよい。

【００２２】 暗い領域２２は、光のバー２４、２６、２８等の各々の中間にあるのが好まし
い。暗い領域対明るい領域の好ましい割合は、複数の個別の色が使用されるか否
かによって決まる。複数の個別の色を使用しない実施例では、暗い領域２２はほ
ぼ明るい領域に等しい。個別のカラーを使用する実施例では、暗い領域２２は、
隣接するカラーの実際の相互混合（反射された構造化照明の必然的な焦点ぼけお
よび他のぶれの結果として生じる）を可能でなければできるだけ小さいのが好ま
しい。暗い領域２２は、投影された光パターン２０の物体１８からの反射を特に
害するクロストークを大いに減少する。

【００２３】 暗い領域２２がない場合、隣接するバー２４、２６、２８からの光は、互いに
干渉する傾向があり、投影された光パターンを物体１８の画像３２に配置する際
に精度の損失を生じる。この不精度は、同様に記録された画像のために計算され
た３Ｄプロフィールの精度を害する。

【００２４】 多数の用途の場合、複数の別個の異なるカラーバーが好ましい。任意の数の個
別の色を使用できるが、最も好ましい数の異なる色があり、赤、緑および青は３
つの特定の色に対する好ましい選択である。図１の断面に示された光のバーにお
いて、バー２４は、赤、バー２６は、緑、バー２８は、青であってもよい。赤色
のバー２４は同じ色の中心が距離２１（またはＰ）だけ分離されるように所定の
間隔距離２１で繰り返すことが分かる。赤と同様に、緑色のバー２６、２６ａは
、周期Ｐ（２１）で繰り返し、青色のバー２８、２８ａも周期Ｐで繰り返す。

【００２５】 本発明と併用された光の色は、構造化光源がこの色のパターンを正確に与える
ことができる限り、可視スペクトルにある必要がなく、画像獲得装置は色を検出
できることに留意すべきである。したがって、赤外線から少なくとも紫外線まで
の光の使用は本発明の範囲内で適切である。

【００２６】 （構造化光源格子） システム１０は、構造化光源１６を含む。格子１４は、図１に示されていない
が、構造化光源１６の光学系内に含まれ、物体１８上に投影されるパターンを決
定する。図２は光源１６の詳細を示す。光源３４からの光は、コリメータレンズ
３２によって平行にされる。平行にされた光は、構造（またはパターン）を光に
課す格子１４を通過する。格子１４からの構造化された光は、投影レンズ３８に
よって集束されるので、この光は、構造化された光が物体４０から反射し、画像
４２を形成する場合、カメラ４４によって正確に検出されてもよい。カメラ４４
によって獲得されるような画像４２を示すデータ４８は、プロセッサ４６に伝達
されるので、計算は３Ｄ情報を画像データ４８から抽出するように実行されても
よい。

【００２７】 いかなる所定のパターンも格子１４のために使用されてもよいことを理解すべ
きである。パターンに対する要求は、パターンが、物体４０からの反射後識別で
きるのに十分明瞭であり、十分認識可能であるべきである。平行なバーは、構造
化された光パターンとって好ましく、主にここに記載されている。

【００２８】 次に図３を参照すると、格子１４は、所定の中心間の距離５だけ相互に離れて
配置されている平行な開口４、６、８等の繰り返しパターンを含む。ここに使用
されるような“開口”は、光の透過を阻止する不透明領域とは著しく違って、光
を透過する格子の一部を意味する。格子１４の開口は、複数の別個の色の光を透
過してもよい。複数の別個の色を使用する構造化された光パターンは、カラー符
号化されているとみなされる。この格子は光の色を変調する。

【００２９】 複数の別個の色を透過することの代わりに、格子１４の開口は各々同じ色の光
を透過してもよい。（光周波数のいかなる特定の混合もここで使用されるような
“色”である理解されてもよいので、全開口が白色光を透過する場合、全開口は
複数の別個の色を透過しないとみなされる）。格子が透過光の色を変え（または
“変調”）ない場合、格子は、透過された単一色の光の強度を少なくとも変調し
なければならないので、認識可能な光のパターンが投影される。

【００３０】 次に、図３に示されるような好ましい格子１４の詳細を参照すると、幅を有す
る不透明な領域２は、隣接する開口４と６、６と８、４ａと６ａ等の間に配置さ
れる。各開口は好ましくは幅９を有する。複数の色は必要ないが、好ましい実施
例においては、３つの異なる色４（例えば赤）、６（例えば緑）および８（例え
ば青）を使用し、４ａ、６ａ、８ａとして、さらに４ｂ、６ｂ、８ｂ等として繰
り返す。３色を使用する場合、間隔距離１は同じ色の開口の中心間の間隔である
。不透明領域２の中心間の不透明領域間隔距離は、隣接する開口中心間隔距離５
に等しい。投影集束およびターゲットへの距離とともにこれらの間隔は、図１に
示されるような投影された光バーの間隔を制御する。

【００３１】 図１の投影された画像２０の間隔Ｐ（２１）およびＰ′（２３）および図３の
格子１４の間隔距離３および１の大きさは明瞭さの改善を行うように誇張されて
いる。これらの間隔の大きさは、異なる色の使用、使用される色の数、使用され
る実際の色、色付けされたバーの寸法、格子１４の大きさであるような設計変数
である。格子１４の実際の間隔は、プロジェクタレンズ３８の集束特性が後述さ
れるように構造化された光の所望のパターンを発生するために公知である場合、
容易に決定できる。

【００３２】 複数の色格子に対する好ましい開口間隔距離５は、Ｌ距離２５＝１０００ｍｍ
で、光バー間隔距離２３を約１．５ｍｍ〜２ｍｍであるようにさせるようなもの
である。複数の色を主に使用しない格子の場合、開口間隔距離５は、Ｌ距離２５
＝１０００ｍｍで約４ｍｍの光バー距離間隔２３を生じるように設定されるのが
好ましい。複数の色の格子の場合、不透明な領域２の幅７は好ましくは開口間隔
距離５の約２／３であるのに対して、複数の別個の色を使用しない格子の場合、
幅７が開口間隔距離５の約４／５であることが好ましい。

【００３３】 特徴を識別するために、あるものを変化させ、または、変調させければならな
い。複数の色を使用しないシステムでは、通常光の強度は認識可能なパターンを
形成するように変調される。このようなパターンは、光が単に連続的になる前に
相互に非常に接近し得るだけであり、もはや適切な変調がない。しかしながら、
特徴は画像の色の変調に基づいて識別できる。光の強度が一定であるので、著し
い強度変調が全くないとしても、色の変調は認識できる特徴の境界を形成し得る
。

【００３４】 例えば、カメラが異なる色を正確に識別できる場合、全画像は複数の異なるカ
ラー画像に分離できる。異なるカラー画像は、同時に撮影される３つの異なる画
像のような実用的な目的のためである。各々は特徴ロケーションのために解析で
きる。たとえ全光強度が一定であり、実際にたとえ１色の光のパターンが実際に
異なる色のパターンに重なるとしても、これらの別個の画像は識別可能である。

【００３５】 したがって、光は連続的（異なる色の光であるけれども）であるか、または重
なることも可能であるので、同じ色の光の画像で識別可能であるよりも接近した
間隔をあけられた異なる色の画像特徴を有することもできる。同じ色の画像特徴
は、認識可能な特徴の境界を生じるように暗い領域によって分離されなければな
らない。異なる色の接近した間隔をあけられた画像を識別することによって、カ
メラはより接近した間隔をあけられているのでより高い解像度のパターンを認識
できる。

【００３６】 典型的なＣＣＤ映画カメラ３０および典型的なディジタルカメラ４４の場合、
受容器特性は、赤、緑および青を最も良く識別することが受容器の特性である。
複数の色の構造化され光パターンを符号化するために使用された色を識別できる
能力は、このパターンがいかに接近した間隔があけられ、更に明確に解像できる
かを決定する。したがって、赤、緑および青は、一般に複数のカラー構造化光源
の符号化カラーにとっても好ましい。しかしながら、何れにしても、個別の色を
使用することができ、特定のカメラの最適な色選択度に相当するように十分調整
できることを理解すべきである。

【００３７】 フィルムを使用される場合、フィルム画像は、コンピュータによって処理でき
るデータ、すなわち処理可能なデータを供給するように“ディジタル化”されね
ばならない。ディジタイザは、一般的には赤、緑および青も最も良く識別できる
。

【００３８】 （位置合わせ） 深さ情報を最終的に伝達するパターンのシフト量に関する情報を抽出するため
に獲得された画像のどの部分が、投影された構造化光パターンのどの部分に相当
するかを知ることは重要である。このパターンのどの部分かを識別することに関
する情報は、一般に“位置合わせ”と呼ばれている情報である。正確な位置合わ
せは、パターンの一部が検討中の物体から反射されることを知らないことによる
空間のあいまいさを防止する必要がある。

【００３９】 平行なバーの好ましいパターンを位置合わせするために、好ましい方法は、１
つの中心線を識別可能にし、次にラインをそこから計数することにある。カラー
符号化システムでは、中心線は、他の個別の色と対照的に中心線を白にすること
によって識別可能にされる。複数の色でないシステムでは、“梯子ステップ”、
すなわちパターンの残りにおいて不透明領域であるものを横切る垂直な開口を周
期的に付加するような他のマーキングが使用されるべきである。その代わりに、
単一の異なる色のラインを位置合わせのために使用できる。

【００４０】 所定の識別ラインから、ラインの残りは計数することによって位置合わせされ
る。３Ｄプロフィールが急峻である場合、物体によって反射された投影ラインは
、一緒に著しく接近したり、なくなったり、または、識別不可能になる場合があ
る。これは位置合わせを妨害する可能性がある。

【００４１】 ラインを計数することはより容易であるために、カラー符号化された平行なバ
ーパターンは位置合わせで長所を有する。３つの色を与えられると、２つの隣接
する色を付けられたラインは区別できない可能性があり、ラインを計数する能力
をなお妨害しない（したがって位置合わせを見失わないようにする）。一般に、
ｎ色の場合、ｎ−１個の隣接するラインは、位置合わせを害することがなくても
見失う可能性がある。したがって、カラー符号化システムは、一般により骨の折
れる位置合わせを有する。

【００４２】 投影された暗い領域２２を形成するように格子１４のカラーバー４、６および
８の各々の中間の不透明領域２との本発明により構成された構造化光源の併用に
よって、本来任意の商用の画像レコーダ（例えばカメラ）によって記録された物
体２２の単一露出は、好ましくないクロストークが十分ではない反射画像３２か
らの必要な情報を与え、光バーラインの適切な検出および位置合わせを可能にし
、したがって実際の３Ｄ粗面測定法を可能にする。

【００４３】 本発明の原理は、その各々が変化する特性を有する様々な構造化光源およびカ
メラとの併用に関するものである。特に、構造化光源は、投影画像の精度、予定
された光と暗い領域との間の輝度の差、投影された色およびそのスペクトル純度
で変わる。カメラは、ディジタルデータを得るためにフィルム画像の走査を必要
とするフィルム型写真装置、またはディジタル情報をより直接に供給するディジ
タルカメラのいずれであってもよい。異なるディジタルカメラ間には、様々な変
化が存在する。別の場所に示されるように、あるカメラは最少の干渉で異なる色
を識別できる高度の能力を有する。これは、殆ど、各カラーピクセルのための３
つの別個のモノクロＣＣＤ受容器を使用するカメラにも当てはまる。他のカメラ
は、広帯域ＣＣＤ受容器を使用し、外部にアクセスできなくてもよい内部データ
操作によって受信カラーを引き出す。本３Ｄ撮像システム発明は様々な態様で実
施されてもよく、本発明の様々な特徴は、特定のカメラおよび特定の構造化光源
に適切であるように使用される。

【００４４】 本発明により決定された３Ｄプロフィールの精度を高めることができるアルゴ
リズム手順を以下に説明する。

【００４５】 （領域検出およびカラークロストーク補償） 使用される色が単一であるか複数であるかに拘わらず、得られる画像データは
、領域を明るいかまたは暗いの何れかとして割り当てるように検査されねばなら
ない。結局、好ましい実施例では、光バー（または“ライン”）ロケーションは
、３Ｄプロフィールを計算するように決定されねばならない特徴であるので、こ
れらの中心はできるだけ正確に位置決めされなければならない。これを行うため
に、雑音および干渉を、可能な限り除去すべきである。カラー符号化方式３Ｄ撮
像のための主要な雑音源の１つは、格子１４の複数のカラー実施例のカラー格子
、物体カラー、およびカメラ３０または４４によって（またはフィルム画像情報
のディジタイザによって）使用されるカラー検出器から生じるカラークロストー
クである。したがって、特別の手順は、色で領域を割り当てるために使用されて
もよい。カラークロストーク補償は、多くの望ましくない干渉をこの領域決定か
ら取り除く。

【００４６】 カラークロストークは、カメラによって検出されるような構造化光源からのカ
ラー符号化光の強度を検査することによって理解される。最初に、カラーパター
ンを生じる格子を理解すべきである。

【００４７】 図７ａは、図３の格子１４の好ましいカラーバージョンである赤色、緑色、お
よび青色のラインを含むカラー格子を示す。実際のカラー格子は、スライドメー
カー（例えばレーザグラフィックスマークIII超高解像度、８０００×１６００
０）を使用して高解像度フィルム（例えばフジクロムベルビィア）上に設計され
たカラーパターンを書き込むことによってそれから形成される。この製造された
カラー格子のカラースペクトルを検出するために、均一の白色光（すなわち、少
なくとも可視スペクトルにわたって均一の強度分布を有する光）は、この格子を
照明するために使用され、ディジタルカメラ（例えばコダックＤＣ２６０）は、
格子の写真を撮るために使用される。格子のカラースペクトルは、図７ｂに示さ
れるように記録されたディジタル画像の異なるカラーラインの強度分布を解析す
ることによって得られる。

【００４８】 図７ｂは、異なるカラーチャネル中の激しいカラークロストークを示す。例え
ば、緑のラインのロケーション（緑のピーク７３によって示される）の典型的な
誤った青のピーク７１の強度は、典型的な本物の青のピーク７５の強度に匹敵す
る。したがって、カラークロストーク雑音（例えば、見かけ上であるが検出され
るべきでない誤ったカラー）は、ほぼカラー信号そのものと同じレベルである。
これは、実際に存在しないライン（この場合は青）を検出する、誤ったライン検
出をもたらす可能性がある。この例では、典型的な赤のピーク７７は、他の色の
顕著な誤ったピークを生じない。

【００４９】 しかしながら、クロストーク雑音が誤ったライン位置合わせを避けるのに十分
この信号よりも低い場合であっても、カラークロストークは、カラーラインの実
際のロケーションから見かけ上のカラーラインのピークロケーションを実質的に
シフトできる。ピークロケーションのシフトは深さ計算のエラーを生じるので、
このシフトの影響を補償することは重要である。

【００５０】 カラークロストークを効果的に補償するために、最初にカラー格子のカラース
ペクトルは、異なる物体および異なるディジタルカメラで写真を撮ることによっ
て収集される。この物体は、白い平面、白いボール、および白い立体のような無
色の物体と、白、黄、黒を含む異なる皮膚の色を有する人間の顔のような、わず
かに色を付けられた物体との双方を含む。ニコンクールピックス９００、アルゴ
ファ１２８０、コダックＤＣ２６０、フジ３００、およびミノルタＲＤ１７５を
含むいくつかの人気のあるディジタルカメラはテストされ、これらのカメラの中
で、緑のラインは実際上他のカラー領域内に誤ったピックを決して有しない。図
７ｂのピーク７３は、緑の領域に適切にある典型的な緑のピークであり、他のカ
ラー領域の誤ったピークは図７ｂに見られない。誤った緑のピークは最もまれで
あるため、緑は最も信頼性のある色である。したがって、カラー補償アルゴリズ
ムは緑のラインで開始する。他のカラーでの開始は、示されたテストが最も信頼
性がある他の色を示したカメラで要求される。緑の後で、赤は、一般的には最も
信頼性があり、青は最も信頼性がない。他のカラー符号化は、誤ったピークを処
理出力する順序の選択を必要とする。

【００５１】 図６は、光のための強度データの一部のグラフを示す。連続ラインが一緒に結
合された多数のピクセルまたはポイントからのデータの理想化であることを理解
すべきである。実際には、領域６３には閾値レベル（ＴＬ）６１を超えるわずか
３つのピクセルがあってもよい。この規則が理解される限り、連続強度を示すグ
ラフは適切に理解できる。

【００５２】 図８のカラークロストーク補償のためのフローチャートは、図６の参照指定子
をも参照して説明されている。

【００５３】 ステップ８１：カラー符号化の構造化された光を反射する物体の画像データが
獲得される。実際の事項（ステップ８３を参照）として、カラー補償アルゴリズ
ムは、一般に同時に画像の一部だけ、好ましくは約１０の色を付けられたライン
をカバーする正方形領域に適用される。解析される領域のサイズは設計変数であ
る。したがって、この手順は多数のサブ画像に対してトト（ｔｏｔｏ）で繰り返
されてもよい。

【００５４】 ステップ８２：各被写体カラーの場合、連続してピーク値６９が決定される。

【００５５】 ステップ８３：被写体カラー閾値レベル（ＴＬ）６１は、解析中の画像のピー
ク振幅の約７５％である設計値に確立される。このアルゴリズムが反射強度のか
なりの変化を有する著しく大きい領域にわたって実行される場合、ＴＬはこの領
域の全てのピークに適切でなく、ステップ８１に示されるような副画像の使用を
動機付ける。

【００５６】 ステップ８４：被写体のカラー光の強度がＴＬ６１を超える被写体カラーのピ
ーク領域として割り当てられる領域が暫定的に識別される。

【００５７】 ステップ８５：領域が既に他のカラーに割り当てられた場合、他の色に予め割
り当てられた領域に、ある仮のピーク領域は無効として排除され、ステップ８６
の割り当てステップをスキップする。

【００５８】 ステップ８６：他のカラーに予め割り当てられた領域にない被写体カラーの仮
のピーク領域の場合、この領域は被写体カラーに割り当てられる。

【００５９】 ステップ８７：被写体カラーの割り当てが完了するまでステップ８４〜８６を
繰り返す。

【００６０】 ステップ８８：符号化カラーの各々が試験されるまでステップ８２〜８７を繰
り返す。

【００６１】 ステップ８９：画像（または副画像）のためのカラークロストークマトリック
ス（ＣＣＭ）を計算する。Ｎ個の異なる色に対してＮＸＮに容易に調整できる３
つの異なる色に対する３Ｘ３のマトリックスでは、ＣＣＭは下記の式として規定
される。

【００６２】

【数１】

【００６３】 ここでｋは、強度データの限られたダイナミックレンジ算術演算で引き起こし得
る飽和を避けるように調整される正規化定数であり、ａ_ij［ｉ，ｊ∈（符号化カ
ラー、例えばｒ，ｇ，ｂ）］は、下記の式として規定される。

【００６４】

【数２】

【００６５】 ここで、Ｉｉ_colorは、ｊ_color領域のｉ_colorの光強度を示す。

【００６６】 ステップ９０：カラークロストークの補償は、下記の式によって示されるよう
にＣＣＭの逆元を使用することによって実行できる。

【００６７】

【数３】

【００６８】 ここで、ｒ′、ｇ′、ｂ′は、クロストーク補償後の赤色、緑色、および青色を
示す。ステップ８９に示されるように、マトリックスはＮ色を受け入れるように
容易に調整される。ここで、カラーは例としてｒ、ｇおよびｂとして示される。

【００６９】 図９は、図７（ｂ）を得るために使用される同じカラー格子および同じディジ
タルカメラのカラークロス補償後のカラースペクトルを示す。図９および図７ｂ
を比較することによって、カラークロストーク雑音がほぼ減少されることを明確
に理解できる。図９の典型的な緑、青および赤のピーク９３、９５および９７は
強度が互いに殆ど等しく、図７ｂの７１のような誤ったピークが実際上除去され
る。

【００７０】 （バイアス調整図心ピーク検出法） ３Ｄ撮像の雑音を最少にするために、構造化ラインのピーク中心ロケーション
を正確に見つけることが重要である。カラークロストークおよび物体そのものの
色のために、構造化ラインの見かけ上の中心ロケーションはシフトされてもよい
ので、検出ピークロケーションは実際のロケーションでなくてもよい。通常技術
上実行されるような図心検出を使用して５００以上の画像のカラー符号化データ
からピークロケーションを解析することによって、隣接する光バー間の距離が約
５ピクセルである場合、ピークロケーションＣの平均エラーが約０．４ピクセル
であることが決定された。

【００７１】 本発明による３Ｄ撮像システムは、図４に示され、後述されるように光パター
ンの中心を決定するために、バイアス調整図心ピーク検出を使用してもよい。こ
れを図６および図８を参照して説明する。

【００７２】 連続強度データがグラフで示されているが、実際にはデータは個別のポイント
（例えばピクセル）でとられることが当業者であれば理解される。したがって、
前述されるようにデータで実行される合計は関心のある領域内の各データポイン
トで実行される。３つまたはそれ以上のピクセルまたはデータポイントが下記の
アルゴリズムのカラー強度のピークとして認識されるいかなる領域内にも存在す
ることが望ましい。

【００７３】 ステップ１：構造化画像ラインに通常垂直であるデータ行に沿って走査して、
特定の色に割り当てられた各領域の強度プロフィール１００の開始点位置および
終了点位置を探す。このステップは、好ましくは領域毎に実行され、図８のステ
ップ８１〜８８と同じである。これらのステップ８１〜８８は、現在前述のよう
にカラー補償によって既に調整されたデータで別個のステップとして実行される
ことが好ましい。いずれにしても、開始点１０２および終了点１０４は実際には
個別のピクセルデータであるので、両者とも閾値レベルＴＬ以上であるが、一方
が他方よりも高い。

【００７４】 ステップ２：下記の定義を使用してピーク領域１０４のベース１０６（すなわ
ち、バイアスレベル）を見い出す。

【００７５】

【数４】

【００７６】 ステップ３：画像の推定中心を再規定し、ピクセル間に補間し、下記の式によ
って与えられるバイアス調整図心法を使用して各ラインの再規定中心（ＲＣ）を
計算する。

【００７７】

【数５】

【００７８】 ここで、強度（ｘ）はロケーションｘの強度を示す。

【００７９】 ステップ４：各カラーのデータの各行に対してステップ１〜３を繰り返す。

【００８０】 前述された５００のカラー符号化画像からのデータによれば、ＲＣの平均エラ
ーは約０．２ピクセル、すなわちＣのエラーの約１／２（バイアス調整図心検出
のない場合）である。

【００８１】 （任意の平滑化） 決定されたラインの中心の位置は、平滑化されてもよく、任意の周知のフィル
タリングアルゴリズムを使用してラインの他の近接ポイントからの片寄りを減ら
すために各ポイントのロケーションをフィルタリングする。基準画像のラインは
滑らかであるべきであるので、大量のフィルタリングが好ましく、精度を害する
ことなく雑音を減少させるべきである。物体から反射された構造化ラインに関し
ては、過度のフィルタリングは精度を害する可能性がある。したがって、反射画
像の構造化ラインに沿って切れ目を決定し、次にこのような切れ目間の構造化ラ
インの（連続する）セグメントの適度のフィルタリングを実行することが好まし
い。

【００８２】 （システム校正） ライン毎の校正手順は、システムモデリングエラー、プロジェクタレンズおよ
びカメラ撮像レンズの両方の収差および物体の深さ変動による焦点ぼけの影響を
下記に列挙され詳述されるように補償するために本発明を具体化する撮像システ
ムで使用されてもよい。

【００８３】 ３次元データは、しばしば（ａ）物体反射された構造化結像点位置と（ｂ）基
準平面から反射された構造化された光結像点の理論的に予想される位置との比較
から引き出される。理論的な予想位置は、通常構造化光画像が意図されたものと
して完全に作成され、完全に投影され、カメラによって正確に獲得されることを
含む仮定で計算される。構造化光源とカメラ受容器の製造許容範囲およびコマや
色の歪みにより、これらの仮定の各々は、実世界である程度まで思い違いされ、
構造化ラインの実際のロケーションをその理論的なラインからずれる様々なエラ
ーを持ち込む。他の焦点ぼけおよびカラークロストークの影響は、他のエラーを
構造化線の検出位置に加える。したがって、３Ｄ決定の精度は、（ａ）物体反射
の構造化画像点位置を（ｃ）正確な基準平面から反射された実際の構造化された
光の注意深く測定された画像と比較することによって高められる。図１２の下記
の説明は、このような校正を説明するために必要である。検討された原理も、読
者が３Ｄ情報を引き出すために使用される一般的な三角測量法を理解するのを助
ける。

【００８４】 図１２では、光軸１２１は、ｚ軸であり、基準平面１２３に垂直である。ベー
スライン１２４は、基準平面１２３に平行であり、光源１６およびカメラ４４の
レンズの主要平面のそれぞれの中心１２６および１２５によって規定される。ｘ
軸方法は、ベースライン１２４に平行に規定され、ｙ軸１２２は、ベースライン
１２４の平面および光軸１２１に垂直であるように規定される。Ｄは、構造化光
源１６およびディジタルカメラ４４の点１２５および１２４間の距離である。Ｌ
は、ベースライン１４４と白い表面の基準平面との間の距離である。物体点１３
０（Ｐ（ｘ_object、ｙ_object、ｚ_object））はプロフィールされる物体上の点で
ある。物体点１３０は、Ｙ軸１２２に垂直であるｙ＝０平面の点１２９（Ｐ′（
ｘ_object、０、ｚ_object））に投影し、光軸１２１を含む。

【００８５】 点１３０は、ｘ_c１２８の基準平面１２３に並進されたｘ値を有する点として
カメラ４４によって確認される。しかしながら、構造化された光線交差点１３０
は、ｘ値ｘ_p１２７を有するように基準平面１２３の記録画像から識別される。
ｘ_c１２８とｘ_p１２７との間の不一致は、セットアップの所与の既知距離から周
知の３角測量によってｚ_objectの演繹を可能にする。

【００８６】 図１１は、ライン毎の校正およびそれにおいて教示された他の精度向上のいく
つかを使用する一般データ処理ステップのフローチャートである。

【００８７】 ステップ１１２：図１２に示されるような公知の構成で配置された装置を使用
し、完全な白の基準平面１２３を使用して基準画像を獲得し、次に必要ならばデ
ィジタル化し、このディジタル画像データを処理システムに出力する。

【００８８】 ステップ１１３：ステップ１１２におけるのと同じシステム構成を使用して物
体画像を獲得する。システムセットアップが基準画像を獲得するために使用され
るのと同じ限り新しい基準画像を獲得なしに複数の物体の画像を獲得できる。

【００８９】 ステップ１１４：物体および基準データの両方のクロストーク補償を実行する
。

【００９０】 ステップ１１５：バイアス調整図心ピーク検出を実行し、物体のラインのため
の中心ピークの位置を詳細化し、任意に決定された切れ目間のセグメントに沿っ
てラインを平滑化する。

【００９１】 ステップ１１６：バイアス調整図心ピーク検出を実行し、物体のラインのため
の中心ピークの位置を詳細化し、好ましくはこれらのラインを大いにフィルタリ
ングする。

【００９２】 ステップ１１７：基準画像のライン上の所与の点の予想されたｘ位置と物体か
ら反射されるのと同じ構造化光線のこの点のｘ位置との差の三角測量によって物
体から反射された各構造化光線の各点のシステム校正された高さを決定する。

【００９３】 ステップ１１８：このｙ位置の３つの隣接する構造化光線の各々によって決定
された高さの中心重み付け平均化を使用する。隣接する構造化光線が不連続であ
ると決定される場合、平均化を実行しない。３つのラインの中の任意の２つによ
って決定された高さ間の差が閾値を超える場合、隣接ラインは不連続とみなされ
る。この閾値は設計選択であるが、好ましくは図１２に示されたセットアップで
約２ｍｍである。

【００９４】 （中心重み付けライン平均） ３Ｄプロフィールの変動エラーは、互いに近くにある点のために決定されたｚ
値を平均化することによって減少できる。本発明は、調整された画像点の周りの
近接点の中心重み付け平均化を実行すること選ぶ。特に、構造化光バーにおおよ
そ垂直に走査されるデータを使用すると、重み関数（０．５、１、０．５）を使
用して３つの隣接する構造化光線の各々で決定されたｚ値の重み付け平均化を実
行することが好ましい。間違って切れ目を平滑化するかまたは位置を急激に変え
ることを避けるために、重み付け平均化は全ての点で実行されない。特に、平均
化するために使用される３つの近くの点の任意の２つに対する高さの差が閾値を
超える場合、平均化は実行されない（閾値は設計変数であるが、好ましくは図１
２のセットアップで約２ｍｍである）。この重み付け技術は、精度を従来の３点
平均化から生じる〜１．７３倍の改良よりも実質的に良い０．３／０．１〜３倍
改善する。

【００９５】 この技術は本発明による格子の全ての実施例に対して有効である。しかしなが
ら、異なるカラー間のエラーが無関係である傾向があるので、同じカラーライン
間のエラーは部分的に一致してもよいが、この重み付け平均化技術は隣接する同
じ色付けされたラインに対してよりも隣接する異なる色を付けられたラインに対
してより有効であると信じられている。

【００９６】 （好ましい実施例および結果） 本発明の原理は、単一の構造化光源のために既知の空間関係で単一カメラを使
用し、構造化照明を反射する物体の単一画像を撮る物体の正確な３次元撮像およ
び測定を可能にする。光は、その非常に短い持続時間のために運動を実質的に停
止し、移動している物体のプロフィール撮像を可能にする。１つの好ましい実施
例は、照明源として標準商用写真フラッシュ装置を利用し、このフラッシュ装置
は、標準ディジタルカメラから分離されるが標準ディジタルカメラと同期される
。前述される格子および１つまたはそれ以上の集束レンズを含む光学装置をフラ
ッシュ装置の前に単に置くことによって、フラッシュによって、構造化された光
は、物体の上に投影される。相対３Ｄ画像は、ディジタルカメラ画像から得られ
たデータだけを処理することによって得られてもよい。構造化フラッシュ、カメ
ラおよび物体の位置測定が既知である場合、画像の絶対３Ｄ情報および測定を得
ることができる。本発明はフィルムカメラを使用できるが、構造化された光の照
明された画像は、次にエンハンスメントおよび３Ｄ画像決定を完了するようにデ
ィジタル化されなければならない。

【００９７】 （全色の物体再構成） 本発明の他の好ましい実施例は、人間の顔のような物体の真のカラー再構成を
可能にする。２つの別個の露出、すなわち一方が構造化された光の下での露出お
よび一方が白色光の下での露出を使用すると、３Ｄ画像および２次元カラープロ
フィールはほとんど同じ瞬間に別々に得られる。モデルは３Ｄプロフィール情報
から構成され、元の物体のカラープロフィールはモデル上に投影される。カラー
プロフィールおよびモデルのアライメントは、物体および画像のマッチング機能
によって行われる。

【００９８】 この実施例では、２つの画像は互いに時間が接近していることが好ましい。１
つの画像のための構造化照明は、カラー符号化されてもよいしまたはカラー符号
化されなくてもよく、上記に詳述されるように、カメラから離れたベースライン
距離から物体に向けられる。それからのデータは、物体の３Ｄプロフィールを得
るために処理される。

【００９９】 非構造化白色光画像は、他の画像の前または他の画像後の何れかに撮られ、好
ましくは他の画像とほぼ同じ全体像からほぼ同じ画像のカラープロフィールを獲
得する。非構造化光源は単にカメラの組み込みフラッシュであってもよいが、陰
を減らすために２つ以上の方向からの物体の照明も含んでもよい。

【０１００】 理想的には、２つの画像は、生きている物体または移動している物体の３Ｄカ
ラー画像再構成さえも可能にするように、殆ど同じ時間に撮られ、フラッシュ照
明源と同期される短い持続時間露出である。これは２つのカメラを使用して行う
ことができる。外部電気入力によって露出の開始を可能にし、フラッシュトリガ
出力を有する同じ型式のカメラ（コダックＤＣ２６０）の２つは使用されてもよ
い。第１のカメラは、１つのフラッシュを駆動し、第１のカメラからのフラッシ
ュ制御信号は、応答においてある遅延後に露出開始信号を第２のカメラに送信す
る回路への入力でもある。第２のカメラは、そのとき第２のフラッシュを制御す
る。フラッシュ間の遅延は、好ましくはフラッシュおよびシャッタ持続時間およ
びタイミングジッタを可能にする約２０〜３０ｍｓであるが、これは、物体の予
想移動および選択されたカメラの特性に応じて設計選択である。

【０１０１】 他の実施例では、“バースト”モード動作を有する単一カメラが使用されても
よい。バーストモードでは、単一カメラ（例えば、フジＤＳ３００）は、時間に
おいて接近した間隔をあけられた複数の露出を行う。現在、時間間隔はわずか１
００ｍｓでもよい。カメラが単一フラッシュ駆動出力を有する場合、１つの手段
は２つの別個のフラッシュ装置を制御するために加えられなければならない。好
ましい手段は、フラッシュ制御信号を最初に一方のフラッシュ装置に、次に他方
のフラッシュ装置に、その多くが電子技術分野の当業者によって明らかである任
意の手段によって向ける電子スイッチング回路にカメラからのフラッシュ制御信
号を接続するためにある。この実施例は現在単一のカメラを使用することにより
２つの長所を有する。セットアップはより簡単であり、カメラの向きは２つの撮
影に対して同じである。しかしながら、露出間の期間はより長く、バーストモー
ドを有するカメラのコストは現在他の型式よりも非常に高いので、これはこの時
点で最も好ましい実施例ではない。

【０１０２】 画像の３Ｄプロフィールを正確に決定するための本発明の原理は、構造化され
た光格子不透明領域と、カラー補償と、バイアス調整図心検出と、決定された高
さの校正と、フィルタリングと重み付け平均化とを含む。これらの原理の全ては
、実際上任意の商用画像獲得装置、特に既製のディジタルカメラ、および任意の
コンパチブル別個の商用フラッシュ（または他の照明）装置で生きている物体ま
たは移動している物体の高精度３Ｄプロフィールさえも生成できるように一緒に
機能する。これらの既製の項目のために、光構造光学装置および画像データ処理
プログラムだけが本発明のこの実施例を実施するために付加される必要がある。

【０１０３】 しかしながら、本発明のいくつかの態様を使用されてもよいが、多数の環境の
下ではなお申し分のない品質の３Ｄ画像を発生するために他の態様を省略する。
したがって、本発明は開示された原理の全てよりも少ない使用を含むものと着想
される。

【０１０４】 本発明の好ましい実施例は、下記のように実施され、テストされてもよい。コ
ダックＤＣ２６０ディジタルカメラは使用される。テストの場合、明確な三角形
物体は撮像される。この物体は、高さが２５ｍｍであり、厚さが２５ｍｍであり
、長さが１２５ｍｍである。ＤＣ２６０カメラは１５３６×１０２４ピクセルを
有するけれども、テスト物体は、カメラズームレンズの制限により６００×５７
０ピクセルだけを占有する。構造化光源は、前述されるように繰り返すパターン
の３つの別個の色を付けられたバーの各々の間に不透明な領域を使用する。

【０１０５】 システムのパラメータは、次のように選択される。（１）Ｄは、ベースライン
１２４の点１２５から点１２６までの距離：および（２）物体距離Ｌ＝１０００
ｍｍである。図１３ａは、基本テストセットアップから得られる１次元走査プロ
フィールを示す。最悪のレンジエラーは約１．５ｍｍであるので、相対エラーは
、単一符号化カラーフレームを使用する他のグループによって報告された精度に
匹敵できる精度である約１．５／２５〜６％である。カメラ解像度に基づいた理
論的なレンジ精度△ｚ_Thは、式（６）を単に微分することによって概算される。
Ｄ＞ｘ_p−ｘ_cであるので、△ｚ_Thは、簡単な式、すなわち

【０１０６】

【数６】

【０１０７】 ここで、△ｘは横座標ｘの最大エラーである。５８０のピクセルは、１２５ｍｍ
の長さの物体、すなわち〜０．２２ｍｍ／ピクセルのために使用される。カメラ
解像度の制限による最大の横エラーはおよそピクセルの１／２であるので、△ｘ
≒０．１１ｍｍである。Ｄ＝２３０ｍｍ、Ｌ＝１０００ｍｍ、および△ｘ＝０．
１１ｍｍを式（７）に代入すると、△ｚ_Th≒０．４８ｍｍであることが分かる（
本発明の様々な平均化およびフィルタリングの態様は中心位置のエラーをほぼ０
．５ピクセル未満に減少させることができることに注目せよ）。測定エラーはカ
メラ解像度によるエラーよりも非常に大きいので、測定エラーは主にカメラの限
られた解像度が原因でない。

【０１０８】 図１３ｂは、レンジ精度が〜１．９倍の改良の場合測定エラーを〜０．８ｍｍ
に減少させる前述のようなクロストーク補償を有する画像データを処理する結果
を示す。

【０１０９】 図１３ｃは、前述されたようなライン毎の基準平面校正をカラー補償データに
付加する結果を示す。最大測定エラーは、精度が約３倍の全改良の場合、約０．
５ｍｍ、すなわち約１．６倍の相対改良に減少させる。

【０１１０】 図１３ｄは、バイアス調整図心ピーク検出を補償されたクロストークおよびラ
イン毎の校正データに付加された後の計算プロフィールを示す。最大エラーは、
約０．２５ｍｍ、すなわち２倍相対改良および〜６倍全改良に減少される。した
がって、測定精度は、カメラ解像度に基づいて２倍だけエラー推定値を超える。

【０１１１】 図１３ｅは、重み付け平均化後計算プロフィールを示す。隣接ライン間のデー
タを平均化は、カメラ解像度を人工的に改善し、上記に教示されたような重み付
け平均化は、均一平均化よりも大いにカメラ解像度を改善する。したがって、解
像度は０．５ピクセルの基本カメラ解像度によって制限されない。理解できるよ
うに、最大エラーは、いま０．１ｍｍ、精度が約２．５倍の相対改良、全１５倍
（１．５ｍｍ／０．１ｍｍ）改良に減少される。

【０１１２】 図１４ａは人間の顔を示し、図１４ｂは、３色の構造化された光によって照明
されるような顔を示し、図１４ｃは、前述のように処理後の顔の再構成プロフィ
ールを示す。高さプロフィールの断面は図１４ｄに示されている。

【０１１３】 本発明は、この好ましい実施例を参照して非常に詳細に示され、説明され、図
示されている。他の更なる変化および修正を、ここに添付された特許請求の範囲
によって特定された本発明の精神および範囲から逸脱することなく、行ってもよ
いことは当業者にとって明らかである。

【図面の簡単な説明】

【図１】 ＣＣＤビデオカメラを使用する３Ｄ撮像システムのための構造化照明を示す。

【図２】 他の３Ｄ撮像システムのいくつかの詳細を示す。

【図３】 ３Ｄ撮像システムと併用するための改良された格子である。

【図４】 物体反射構造化光の画像輪郭を示す。

【図５】 図４データから得られた３次元プロフィールの透視図である。

【図６】 カラーであるかまたはカラーでない領域の閾値による決定を示すグラフである
。

【図７ａ】 ３色構造化光源に反射する画像の一部である。

【図７ｂ】 図７ａ画像から測定されたカラー強度のグラフである。

【図８】 カラークロストーク補償画像処理手順のフローチャートである。

【図９】 図７ａ画像からのカラー補償カラー強度のグラフである。

【図１０】 バイアス調整図心ピーク検出をグラフで示す。

【図１１】 システム構成手順のフローチャートである。

【図１２】 システム構成を使用する３Ｄ画像システムのいくつかの詳細を示す。

【図１３ａ】〜

【図１３ｅ】 精度を段々に高めた後の測定プロフィールを示す。

【図１４ａ】 人間の顔を示す。

【図１４ｂ】 構造化光によって照明された人間の顔を示す。

【図１４ｃ】 人間の顔の３Ｄプロフィールの再構成を示す。

【図１４ｄ】 人間の顔の３Ｄプロフィールの断面を示す。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，Ｚ Ａ，ＺＷ (72)発明者 ルウ，タイウェイ アメリカ合衆国，94928 カリフォルニア 州，ローネルト パーク，マティアス プ レイス 1514 (72)発明者 ツァン，ジアンツォング アメリカ合衆国，16803 ペンシルヴァニ ア州，ステイト カレッジ，ヴァイロ ブ ールヴァード ＃17シー 10 Ｆターム(参考） 2F065 AA04 AA06 AA24 BB15 CC16 DD04 DD06 FF04 FF09 GG08 HH03 HH07 JJ26 LL41 QQ03 QQ06 QQ08 QQ24 QQ31 QQ33 RR03 5B057 BA02 BA15 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB13 CB16 CD14 CE17 DA08 DA17 DB02 DB06 DB09 DC25 DC36

Claims (19)

【特許請求の範囲】
1. 【請求項１】 光の既知パターンを物体に投影する構造化光源と、 構造化照明の下で前記物体の獲得された２次元画像を供給するカメラであって
   、前記獲得された２次元画像が、前記物体から反射された前記投影された既知パ
   ターンの特徴を含むところのカメラと、 前記獲得された２次元画像を示す画像データを受信し、そして、アルゴリズム
   手順を実行して： 前記反射されたパターン特徴の実際のロケーションをより正確に推定するよう
   にシフトされた前記反射されたパターン特徴の見かけ上のロケーションを有する
   修正画像データ、および、 前記修正画像データから計算され、前記反射されたパターン特徴のロケーショ
   ンのための３次元情報 を供給するデータプロセッサと を備えていることを特徴とする３次元撮像装置。
2. 【請求項２】 前記データプロセッサが、前記画像データのバイアス調整図
   心検出を実行することを特徴とする請求項１に記載の装置。
3. 【請求項３】 前記データプロセッサが、前記３次元情報の中心重み付け平
   均化を実行することを特徴とする先行請求項の何れか１つに記載の装置。
4. 【請求項４】 前記構造化照明のパターンを供給する装置を有する光構造化
   装置をさらに含み、前記装置が、実質的に光を全然供給しない不透明領域によっ
   て分離された異なる別個の色の光を供給する開口を有することを特徴とする先行
   請求項の何れか１つに記載の装置。
5. 【請求項５】 前記プロセッサが、前記画像データのカラー補償によって修
   正された画像データを供給することを特徴とする先行請求項の何れか１つに記載
   の装置。
6. 【請求項６】 前記物体が移動していることを特徴とする先行請求項の何れ
   か１つに記載の装置。
7. 【請求項７】 前記物体が人間の少なくとも一部であることを特徴とする先
   行請求項の何れか１つに記載の装置。
8. 【請求項８】 前記プロセッサが、前記修正画像データを基準平面から反射
   された前記構造化光の画像を実質的に示す記憶画像データと比較することによっ
   て前記３次元情報を決定することを特徴とする先行請求項の何れか１つに記載の
   装置。
9. 【請求項９】 前記装置が、単一画像獲得装置と、前記画像獲得装置に同期
   される単一光源とを含み、かつ前記３次元画像データが、前記単一光源と同期さ
   れる前記単一画像獲得装置によって獲得される単一画像から決定されることを特
   徴とする請求項１乃至７の何れか１つに記載の装置。
10. 【請求項１０】 前記装置が、単一画像獲得装置と、前記単一画像獲得装置
    に同期される単一光源とを含み、 前記画像データが、前記単一光源と同期される前記単一画像獲得装置によって
    獲得される単一画像で決定され、かつ 前記プロセッサが、前記修正画像データを基準平面から反射された前記構造化
    光の画像を実質的に示す記憶画像データと比較することによって前記３次元画像
    データを計算することを特徴とする請求項１乃至７の何れか１つに記載の装置。
11. 【請求項１１】 パターン化光を投影する光構造化装置を用意するステップ
    と、 前記物体を前記パターン化光で照明するステップと、 前記パターン化光を反射する前記物体の画像を実質的に示すデータを得るステ
    ップと、 前記データをアルゴリズム修正し、前記画像をより正確に示す修正画像データ
    を供給するステップと、 前記物体についての３次元情報を前記修正データから決定するステップとを含
    むことを特徴とする物体の３次元画像を得る方法。
12. 【請求項１２】 前記データをアルゴリズム修正するステップが前記データ
    のバイアス調整図心検出を実行することを含むことを特徴とする請求項１１に記
    載の方法。
13. 【請求項１３】前記３次元情報の中心重み付け平均化を実行するステップを
    さらに含むことを特徴とする請求項１１または１２に記載の方法。
14. 【請求項１４】 前記光構造化装置が前記構造化照明のパターンを供給する
    装置を含み、前記装置が、実質的に光を全然供給しない不透明領域によって分離
    された異なる別個の色の光を供給する開口を有することを特徴とする請求項１１
    乃至１３の何れか１つに記載の方法。
15. 【請求項１５】 前記データをアルゴリズム修正するステップが前記データ
    のカラー補償を実行することを含むことを特徴とする請求項１１乃至１４の何れ
    かの１つ方法。
16. 【請求項１６】 前記物体が移動していることを特徴とする請求項１１乃至
    １５の何れか１つに記載の方法。
17. 【請求項１７】 前記物体が人間の少なくとも一部であることを特徴とする
    請求項１１乃至１６の何れか１つに記載の方法。
18. 【請求項１８】 前記３次元情報を決定する方法が、前記修正画像データを
    基準平面から反射された前記構造化光の画像を実質的に示す記憶画像データと比
    較することを含むことを特徴とする請求項１１乃至１７の何れか１つに記載の方
    法。
19. 【請求項１９】 前記物体を照明するステップが、単一光構造化装置のみを
    使用し、かつ３次元情報を決定するステップが、前記物体の単一画像のみからの
    データを使用することを特徴とする請求項１１乃至１８の何れか１つに記載の方
    法。