JP2006507087A - 局所的独自パターンを使用した能動的ステレオ技術による３次元画像の取得 - Google Patents

Abstract

シーンの３次元画像を取得するシステム及び方法。当該システムは局所的独自パターン（ＬＵＰ）をシーンに投影する投影デバイス及び２以上の観察位置の当該ＬＵＰを含む当該シーンの画像化のためのセンサーを有する。コンピュータデバイスは、ディスパリティマップを生成するためにパターンの局所的独自性を使用して当該画像にある対応するピクセルを整合させる。レンジマップはその後、画像化されたシーンにあるポイントを三角測量することにより生成され得る。

Description

この出願は、“Ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ ａ Ｓｃｅｎｅ Ｉｍａｇｅ Ｂｙ Ａｃｔｉｖｅ Ｓｔｅｒｅｏ Ｕｓｉｎｇ Ｌｏｃａｌｌｙ Ｕｎｉｑｕｅ Ｐａｔｔｅｒｎｓ”と題し、２００２年１１月２２日に出願された公有の米国仮出願６０／４２８５１０号明細書であり、参照することにより本願に援用されるものの利益を主張する。

本発明は一般的には３次元画像取得システム及び方法に関し、より詳細にはステレオ技術による３次元画像取得システム及び方法に関する。

３次元画像化システムの使用は、コンピュータグラフィック、医学画像並びに自動製造及び検査などのアプリケーションでますます重要な役割を果たしている。３次元画像を取得するためには、シーン（画像化すべき領域で典型的には１又は２以上のオブジェクトを包含する。）にあるポイントへの距離又はレンジを決定する必要がある。３次元画像化システムに特有の要求事項はそれが使用されるアプリケーションに一部依存するが、多くのアプリケーションに共通の３次元画像化システムの望ましい特性及び性質は、高密度かつ高精度なレンジマップ、高速画像取得、表面特性及び照明の変化に対する堅牢性並びにスペクトル情報とレンジとの正確な相関である。
米国仮出願６０／４２８５１０号明細書 米国特許第５８３８４２８号明細書 米国特許第４６４８７１７号明細書 米国特許第５６２１５２９号明細書 米国特許第６４９３０９５号明細書

技術的参考文献は、シーン内の３次元画像を取得するための本質的に異なる取り組みを開示する。これらの取り組みは、受動的タイプ及び能動的タイプの２つのタイプに大まかに分類される。受動的３次元画像化技術は、画像化されるシーンへの追加の放射エネルギーの導入を必要としない。受動的技術の第１グループは多数のカメラを利用し、それぞれのカメラが独自の観測位置からシーンの画像を取得する。結果として得られる画像は、特徴ベース又は領域ベースの整合方法により分析される。受動的技術の上述のグループは、テクスチャのほとんどない或いは不適切な照明のあるシーンの領域に対応するレンジマップで不正確さ及び／又はドロップアウトを生成するという不利点を有する。受動的技術の別のグループは、多数の焦点距離からのシーンの画像化及び識別を伴い、焦点距離はそれぞれのポイントに対し最も鮮明なピントを実現する。当該ポイントへのレンジがその後、レンジと焦点距離との単調な関係を利用して計算される。この技術のグループ（みなし“レンジ−焦点”技術）は、ほとんどテクスチャのない或いは不適切な照明の領域を有するレンジマップでの上述のドロップアウト／低精度の問題による影響を受ける。さらに、レンジ−焦点技術は、捕捉されなければならない画像数の理由により時間のかかるものとなる。

能動的３次元画像技術は、追加的な放射エネルギーの画像シーンへの導入に基づいている。能動的３次元画像技術は、飛行時間型、単一カメラ及びマルチカメラの３つのグループで構成されている。飛行時間型技術は、光が光源からシーン内のポイント及びその後の検出器へ進むのに必要な時間を測定する（典型的には、直接時間又は位相シフトによる。）。これらの技術は、長い捕捉時間を必要とし（それらは、シーン内のオブジェクト全体にわたり光源の走査を必要とするからである。）、高価な設備を利用し、かつ、スペクトルデータと測定されたレンジとを相互に関連付けることに困難性を示す。単一カメラ技術は、単一カメラにより画像化されたシーン内のポイントへの構造光の投影を伴う。構造光源は三角測量によるレンジ計算に使用されるポイントの１つを提供し、構造光は特定の投影ポイントを識別する。当該技術の例は、Ｐｉｐｉｔｏｎｅ ｅｔ ａｌ．の米国特許第５８３８４２８号明細書、Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｒａｎｇｅ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｓｐｌｉｔ Ｌｉｇｈｔ Ｓｏｕｒｃｅ ａｎｄ Ｐａｔｔｅｒｎ Ｍａｓｋ、及び、Ｒｏｓｓ ｅｔ ａｌ．の米国特許第４６４８７１７号明細書、Ｍｅｔｈｏｄ ｏｆ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｍｅａｓｕｒｅｍｅｎｔ ｗｉｔｈ Ｆｅｗ Ｐｒｏｊｅｃｔｅｄ Ｐａｔｔｅｒｎｓで説明される。被投影光は、シーン全体で連続的に走査される単一ドット若しくは平面、線グリッド又は空間的に符号化したパターンの３つの形態のうちの１つの形をとる。単一カメラ技術は、背景光が注意深く制御され得るアプリケーションにおいては有効な結果を実現するが、制御された背景光がない場合には堅牢性の欠如を被る。

能動的マルチカメラ技術は、上記で概略された受動的マルチカメラ技術に類似し、複数画像の対応ピクセルとの整合を支援するためにシーン上に投影される構造光パターンの追加を伴う。一般的に利用される能動的マルチカメラ技術（例えば、Ｍｏｒａｎｏ ｅｔ ａｌ．のＳｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ Ｕｓｉｎｇ Ｐｓｅｕｄｏｒａｎｄｏｍ Ｃｏｄｅｓで説明される。）は、ランダムに生成された光パターンの投影を使用する。ランダムパターンの使用に伴う問題は、大きな整合ウィンドウ（それを使用すると画像化された表面の細部が欠落したり、或いはゆがめられたりする。）が正確な対応の計算を確実にするために必要とされることにある。さらに、光パターンがランダムに選ばれることの本質は、その性質が保証され得ず、整合障害及び結果として生じるドロップアウトに至ることを意味する。

能動的マルチカメラ技術の別のグループは、空間的に波長を変える光パターンを採用する。これらの技術に従って、シーン内のポイントへの入射光は、その近接のポイントとは異なるスペクトル構成を有し、複数画像の対応するポイントの識別を支援する。この技術概要の例には、Ｇｏｒｄｏｎ ｅｔ ａｌ．の米国特許第５６２１５２９号、Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｐｒｏｊｅｃｔｉｎｇ Ｌａｓｅｒ Ｐａｔｔｅｒｎ ｗｉｔｈ Ｒｅｄｕｃｅｄ Ｓｐｅｃｋｌｅ Ｎｏｉｓｅ、及び、Ｓｏｎｇ ｅｔ ａｌ．の米国特許第６４９３０９５号、Ｏｐｔｉｏｎａｌ ３Ｄ Ｄｉｇｉｔｉｚｅｒ、Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｄｉｇｉｔｉｚｉｎｇ ａｎ Ｏｂｊｅｃｔに記載されるものが含まれる。しかし、この種の光パターンの投影により提供される整合プロセスの支援度は、隣接ピクセルに投影される光の類似性を理由に限定される。さらに、照明又は表面アルベドの急速な変化を有する領域は、整合プロセスにおけるさらなる不明確さを創出する。総合すれば、これらの制限は、領域であってその中で整合が失敗しドロップアウトをもたらす領域を創出する働きをすることになる。

上述の検討を考慮すると、既存の技術に関連する問題又は欠陥を克服する３次元画像取得システムが必要となる。

概略されるように、本発明の実施例に従ってシーンのディスパリティマップを取得するシステムは、シーンの少なくとも１つの部分に局所的独自パターンを投影する１又は２以上の放射エネルギー源、多数の観測位置からシーンの画像を取得するセンサー及び当該画像内の対応するピクセルを整合することによりディスパリティマップを生成するよう構成されるコンピュータデバイスを含む。当該ディスパリティマップは後に、画像化されたシーン内のポイントへのレンジを三角測量により計算するために利用される場合がある。

本システムの新規かつ有利な態様は、１又は２以上の局所的独自パターン（以下、「ＬＵＰ」という。）の使用であり、当該パターンは、観測位置の１つで取得される画像内のピクセルが他の観測位置のそれぞれの画像とで独自の整合を有するよう選択される被投影パターンである。異なる画像のピクセル間で独自の整合が存在するために、シーン内のポイントへのレンジは、正確に、かつ不整合な又は不正確に整合された領域により生じるドロップアウトなしに計算され得る。この中でさらなる詳細が説明される様々な実施に従って、局所的独自パターンはバイナリパターンの形をとり、当該パターンは２値アルファベットパターン又は正弦波パターンで構成され、離散的連続正弦関数を示すパターン値から構成される。一連のＬＵＰ候補からの最適化されたＬＵＰの選択は、直接スコアリング法又は擬似画像化スコアリング法により実現される。ＬＵＰの選択はまた、事前に投影されたＬＵＰで取得される画像のために計算されるディスパリティマップに基づく場合もある。

本発明の一定の実施に従って、画像センサーは、それぞれが独自の観察位置を有する３つのカメラの形をとる。そしてディスパリティマップは、３つのカメラすべてから同時に計算されてもよく、或いは２つの２つ１組のディスパリティマップを生成し該２つの２つ１組のディスパリティマップを組み合わせることで複合ディスパリティマップを形成することにより計算されてもよい。当該カメラの２つ及び３カメラシステムの投影デバイスは、典型的なシーンでのレンジシャドウを極小化すべく位置合わせされ、垂直に間隔が空けられた関係で効果的に配置されてもよい。

本発明の独特の態様は、レンジマップを生成するために被投影パターンを実際に再生する必要がないことにある。この態様は、単一カメラで被投影構造光を採用する技術と対照的である。位置毎に異なる背景照明を提供する、本発明に従って構成されるシステムでは、これら照明の差が整合ウィンドウ内の画像の差に寄与する。さらに、オブジェクトの表面特性が位置毎に異なる場合には、これらの差が整合ウィンドウ内の画像の差に寄与する。

当該システムは、被投影パターンであってその表面からの反射が強度全体の有意な成分となるのに十分な強度を有する被投影パターンを使用する。従って、当該画像に与えられるパターンの差による位置毎の差は、整合ウィンドウを区別するのに十分となる。整合ウィンドウのすべての対で被投影パターンが常に異なるならば、その結果当該画像は異なり、当該整合は独自なものとなる。

３Ｄ画像を創出するために、被投影パターンで照らされたシーンの画像強度が、それぞれ独自の観察位置を有する２以上の感知器により取得される。整合プロセスが当該画像で実行され、結果として得られる整合されたピクセルが当該シーン内のポイントへのレンジを決定するよう使用される。被投影パターンは整合プロセスの整合度を高めるよう設計される。より詳細には、本発明は局所的独自の被投影パターンを利用する。本発明を説明する目的のため、パターンはいくつかの空間的に整理されたパターン値のグループであると解釈される。パターンウィンドウはパターンの一部である。局所的独自パターン（ＬＵＰ）は、ある最小の固定サイズ及び／又は形状を持つすべてのパターンウィンドウが、パターン全体の固定サイズ及び／又は形状におけるある特定の近傍内に一度だけ出現するところのパターンである。本発明で使用されるＬＵＰの特定の選択は、さらに詳細が後述されるように、画像化環境、当該シーンの幾何学的性質及び動的性質、分解すべき特徴サイズ並びに計算量に依存する。

図１は、本発明の実施例にしたがって設定される３Ｄ画像取得システム１００の主な物理的構成要素を示す。投影デバイス１０２がＬＵＰを画像化すべきシーン上に投影する。カメラ（固体として又は集団として１０４で表される。）の形をとる一連のセンサーが、複数の独自の観察位置からシーンの画像を取得する。コンピュータデバイス１０６が電子的に符号化した形態でカメラ１０４から画像を受信し、かつ、画像内のピクセルの整合を計算しその結果ディスパリティマップを生成すべく、捜索区域内のマルチバンド画像のウィンドウ上で整合を実施するための指示を実行する。コンピュータデバイス１０６はカメラ１０４及び投影デバイス１０２にＵＳＢ、ＩＥＥＥ−１３９４又は他の適切なインターフェースを介して連結されてもよい。コンピュータデバイス１０６はまたピクセル整合プロセスにより生成されたディスパリティマップを使用して当該画像からシーン内のポイントまでのレンジを計算するために三角測量アルゴリズムを実行する。整合及びレンジ計算機能の双方を実現する方法はコンピュータビジョンの標準教科書で説明され、当業者に良く知られている。

システム１００の典型的な実施例では、カメラ１０４は９６０×１２８０ピクセルの解像度を有し、かつＹＵＶフォーマットで画像を取得するカラーカメラであるＳｏｎｙ ＤＦＷ−ＳＸ９００などの３つのデジタルカメラの形をとる。投影デバイス１０２は、７６８×１０２４ピクセルの最大解像度のカラー画像を投影するＨｉｔａｃｈｉ ＣＰ−Ｘ２７０などのコンピュータ制御ＬＣＤプロジェクタである。コンピュータデバイス１０６はＷｉｎｄｏｗｓ（登録商標）２０００オペレーティングシステムを実行するＤＥＬＬ Ｄｉｍｅｎｓｉｏｎ ８２００のコンピュータである。

一部の例では、投影すべきＬＵＰがマルチパターンレイヤー又はバンドで構成されてもよい。これらの場合、カメラ１０４で感知される画像は同数のバンドを含み、すなわち、通常は被投影画像バンド毎に１つの被取得画像バンドが存在する。これらのバンドは、例えば分離カラーバンドを使用する単一の取得サイクル中に感知されてもよく、或いは、逐次それぞれのバンドを投影しかつ取得することで一時的に感知されてもよく、或いは、カラーバンド及び一時的なバンドの如何なる組み合わせを介して感知されてもよい。

カメラ１０４から取得される画像は、それぞれのカメラから見えるシーン内のオブジェクト表面の画像を含む。これらの画像では、投影デバイスによってもまた照らされる表面がＬＵＰを示す。さらに、以下に説明されるようにカメラ及び投影デバイスの配置の認識は、所与のパターンウィンドウが画像内に現れるサイズを決定することを可能にする。本発明の主要な態様は、パターンウィンドウの特定のサイズ及び形状が十分大きな近傍にわたって局所的に独自であるところのパターンを創出することである。十分大きいとは、感知された画像内の適切なサイズの整合ウィンドウが当該感知された画像内の対応する近傍にわたり同様に独自であることを保証するのに十分大きいことをいう。

画像取得は、上述のカメラ１０４を含む様々なセンサーにより行われてもよい。後述の考察では、“カメラ”の用語が係る装置を一般的に表すものとして使用される。さらに、カメラは識別可能な位置を有し、通常はその光心になるものと解釈される。“観察位置”、“カメラ位置”、及び、“カメラ”の用語はこのように相互に識別される。

本発明は３個以上のカメラを利用するが、まずは以下で参照され、かつ図２においてＣ１及びＣ２として表される単一対のカメラを参照して基本原理を詳細に説明することが有用である。係る１対のカメラを仮定すると、本発明の目的の１つは、互いに整合する２つのカメラ画像内にピクセル位置のマップを生成することである。結果として得られる一連の整合する位置群はディスパリティマップと呼ばれる。

ピクセル整合は、典型的には“整合ウィンドウ”として知られるピクセル位置を囲む空間領域を考慮することで実現される。この整合ウィンドウは問題の画像のすべてのバンドにわたって拡張するものと解釈される。図２は、カメラＣ１及びカメラＣ２にそれぞれ対応する２つの観察位置を示す整合の例を図解する。説明目的のため、カメラＣ１に関連する整合ウィンドウは固定であるとみなされる。カメラＣ１の画像内のピクセル位置Ｐ_１が、他のカメラＣ２の画像内のいくつかのピクセル位置に整合されることになっている。整合のため、Ｐ_１を囲む整合ウィンドウＭ_１が検討される。定義により、カメラＣ１の視線に沿って任意の２つのポイントがＣ１の画像中にある同一のピクセル位置上に投影される。図２は視線Ｖ１及び係る２つのポイントＡ及びＢを示す。ポイントＡ及びＢは第２画像では異なるピクセル位置に投影され、Ｐ_２Ａ及びＰ_２Ｂで示される。第２画像において対応する整合ウィンドウはＭ_２Ａ及びＭ_２Ｂとして示される。原則として、視線Ｖ１に沿った如何なるポイントをも選択することが可能であるが、対象とするアプリケーションでは、“設計作業レンジ”と呼ばれる一定の深さレンジ内でのみそれらのポイントを検討すれば十分である。

潜在的に対応するピクセル位置が沿う画像中の線は、技術的に“エピポーラ線”と呼ばれる。説明目的のため、“エピポーラバンド”の用語は、１又は２以上のエピポーラ線を含み、かつすべての画像バンドにわたって拡張するピクセルの集合を表現するものと解釈される。

本発明の本質的な特徴ではないが、感知された画像を再サンプルすることが一般的であり、エピポーラ線に沿ったピクセルが、技術的に画像レクティフィケーションと呼ばれる技術により、結果として得られる画像の行又は列に沿って収まるようにする。多重バンドから成る画像の場合、この操作がそれぞれの画像バンドで完全に同じように実行される。レクティフィケーションされた画像（以下、「被調整画像」という。）をステレオカメラ対から生成する技術はコンピュータビジョンの標準教科書で説明され、当業者によく知られている。

カメラ及びそれらの空間での相対的な位置を特定するいくつかの値が画像レクティフィケーションを実行するために、かつ後述の本発明の他の態様を実現するために要求される。これらの値は、１）カメラの光心間のベースライン距離Ｂ、及び、２）焦点距離感知システムの単位のための画像座標値とメートル法の座標値との間の内部倍率Ｆを含む。これらのパラメータは、当業者に良く知られるキャリブレーションプロセスを介して取得される。

シーン内の設計作業レンジをＲ_ｍｉｎ〜Ｒ_ｍａｘ、カメラ画像間のベースライン距離をＢ、倍率をＦと仮定すると、２つの被調整画像間で可能性のある整合ピクセル位置の数Ｌは次のように計算され得る。

例えば、上述の実施例では、２つのカメラのベースラインは１８９ｍｍである。内部倍率は２７００である。システムの作業レンジは１２５０ｍｍから２１５０ｍｍの間に選択された。これらの条件の下、Ｌは１７４となり、言い換えれば、多くとも１７４個の可能性のある整合ピクセル位置しか存在しないことになる。

整合プロセス中に、Ｍ_１が第２画像中のＬ個の整合ウィンドウと比較される。図２のＭ_２Ａ及びＭ_２Ｂがそのような整合ウィンドウの２つである。一方のカメラの視線に沿って位置するシステムの設計作業レンジ内の任意の２ポイントが他のカメラの整合ウィンドウのために独自の値を有する場合には、独自の整合が保証され得る。図２の例では、これは、Ｌ×（Ｌ−１）個の異なるＭ_２Ａ及びＭ_２Ｂの選択のすべてで、Ｍ_２ＡとＭ_２Ｂとの値が異なるということに相当する。本発明に包含される当該取り組みを利用するシステムは、係る独自の画像値を創出すべく選択されるパターンを投影する。

本発明の本質的な特徴ではないが、ＬＵＰを値の行及び列から成るものとみなし、投影デバイスはパターンの行が一対の被調整画像のエピポーラバンドに対応するように配置されることが有用である。例えば、上述の実施例では、投影デバイス１０２は、被投影画像の行が１対のカメラ１０４からの被調整画像の行に平行となるように配置されてもよい。当業者にとって当然のことながら、投影デバイス及びカメラをこの結果を実現するように調整する多くの同等の方法が存在する。

好適な実施例では、ＬＵＰがまずエピポーラバンドに沿って収まるベースパターンを計算することで創出される。“ベースパターン”は、その中の特定のサイズ及び形状の如何なるパターンウィンドウをも他のすべての当該パターンウィンドウから区別可能であるという性質を有する。この条件は、ベースパターンが自身に循環的にラップされる場合を含むものと解釈される。このベースパターンはその後、詳細が後述されるように、ＬＵＰを生成すべく複製される。

本発明の重要な態様は、上述の整合ウィンドウの独自性を保証することである。すなわち、すべての整合ウィンドウが、十分なサイズのパターンウィンドウを包含することを保証すべく画像の十分に大きな領域の範囲を定めることが不可欠である。十分なサイズのパターンウィンドウは、局所的な独自性を保証し、同時に当該パターンが画像内でそれを適切に表現するのに十分精細にサンプルされることを保証する。これら両制約は、投影デバイスにより投影されるパターンウィンドウにより範囲が定められる領域と、感知された画像にある当該パターンにより範囲が定められる領域との間の関係を決定することにより満たされ得る。特に、サンプリングの制約は、被感知画像内のパターンウィンドウで範囲を定められた領域内に、その領域が如何に小さくなろうともそれを正確に表現するために十分な数の感知要素があるという意味を含む。同時に、整合ウィンドウは、被感知画像内にあるパターンウィンドウで範囲が定められる領域を含むよう当該パターンが如何に大きく現れようとも十分に大きいものでなければならない。

図３は、所与の二次元エピポーラ平面で考慮すべき状況を示す。図はポイントＰに位置する投影デバイス、ポイントＣに位置するカメラ及び接平面Ｔを有する平面上のポイントＳを示す。ベースラインはＰとＣとをつなぐ線で規定されてもよい。θ_ＴはベースラインとＴとの間の角度である。値ｒ及びｂはそれぞれ、ＰからＳへの距離及びＰからＣへの距離を表す。仮にθ_ＰをＰＳとＰＣへの法線とで形成される角度とする。同様に、θ_ＣがＣＳとＰＣへの法線とで形成される角度とする。ｓはＣからＳへの距離を表すものとする。

投影デバイス及びカメラの間の投影による短縮遠近効果は取るに足りないものと理解される。結果として、投影されたものと画像パターンウィンドウとで範囲が定められる角度を考慮する。より詳細には、被投影パターンウィンドウは線ＰＳを中心とする小さい角度αで範囲が定められるものと想定する。要するに、一次的に当該パターンウィンドウが以下のサイズＷで表面に現れることとなる。

また、

も既知である。ここでβは、観察しているカメラ画像のパターンウィンドウの投影により範囲が定められる角度である。それゆえに当然、以下の関係となる。

同等に、

となる。

典型的な実施例では、β／αの最小及び最大比率の計算方法は、作業レンジ内のポイントの精細なグリッドを考慮することであり、そのグリッド上の最小及び最大比率を計算することである。当該グリッドは１２５０ｍｍから２１５０ｍｍで、かつプロジェクタ軸の周りで±１２°の角度範囲を超える作業レンジ内における一連のポイントとなるよう選択される。この角度範囲は、ＬＵＰが投影される角度範囲に合うか或いは上回るものとなる。好適な実施例では、プロジェクタとカメラとの最悪の場合のベースライン距離が、上述の典型的な実施例では１８９ｍｍであるカメラ対の間の距離で境界とされる。ディスパリティが計算されるための最大表面角度は正面から６０°であると理解され、３つより多い視点を使用せずに凸状のオブジェクトがモデルとされ得るに十分な値である。この情報により、β対αの最小及び最大比率は．８８から１．１３の範囲であると認められる。

したがって、上述の特定の実施例では、適切なサンプリングは、プロジェクタの解像度とカメラシステムの解像度とを２行２列のカメラピクセル領域の画像が．８８行．８８列の被投影ピクセル以上とならないことを確実にするよう準備されることにより保証される。すなわち、投影される任意の一連の値が、少なくとも２／．８８＝２．２７倍に拡大されて現れる。任意の整合ウィンドウがｍ行ｎ列サイズのパターンウィンドウを含むことを確実にするため、整合ウィンドウサイズは１．１３倍、或いは、合計倍率２×１．１３／．８８＝２．６でさらに拡大されなければならず、ｒ＝２．６×ｍ、ｐ＝２．６×ｎで、ｒ行ｐ列のサイズの整合ウィンドウを与える。当業者には当然のことながら、整合ウィンドウサイズを増大させる適切な要因は、システムの設計パラメータの役割を果たす。同様に、当業者には当然のことながら、整合ウィンドウの独自性を保証することはできないが、システムは、より小さいサイズの整合ウィンドウで操作され得る。最後に、当業者にはまた当然のことながら、当該システムは、規定の最小より大きいサイズの整合ウィンドウで操作される場合がある。

カメラ及び投影システムは今、相互に既知である関係を有するので、上記で計算された値Ｌからベースパターンの必要なサイズを決定することが可能である。特に、適切なサイズの整合ウィンドウの整合の独自性は、任意のカメラ画像の少なくとも１７４列に及ぶ周期的で非循環的なベースパターンから成るパターン画像を取得の際に創出することで保証される。上記で開示されたような投影デバイスの設定に基づき、長さがＬ／２＝８７列のベースパターンを考慮すると、ＬＣ＝ｆ×２．２７×８７＝ｆ×２×８７／．８８のサイズでカメラ画像にそれが現れることが分かる。なお、ｆは．８８から１．１３の範囲の短縮遠近比率である。したがって、ＬＣは任意のカメラ画像における１７４列全体の要求に合うか或いは上回るものとなる。

パターンの要素の構造、所要の整合ウィンドウサイズ及びパターン画像内のバンド数は、依然選択できる状態である。これらの値は、問題のアプリケーションに依存する。整合の堅牢さは、典型的には整合ウィンドウサイズのサイズの増大及び画像バンドの数の増大と共に増加する。しかし、ディスパリティマップで実現可能な空間的解像度は整合ウィンドウと反比例であり、その結果より小さいウィンドウで改善する。画像バンド数を増加させることは画像取得の複雑さを増し、画像品質に影響を及ぼす場合がある。例えば、シーンが動的である（すなわち、オブジェクトに動きがある。）状況は、逐次投影による多重バンドの取得が困難となる。極めて飽和したカラーのあるシーンは、カラーコーディングを介したパターンの取得を困難にする。最後に、パターン値の数の増大は整合ウィンドウサイズ及び所要のバンド数を減少させるが、整合信頼性を保証するため被感知画像の信号対雑音比に対しより強い要求を突きつける。

結果として、所与のシステム設定のために多くのＬＵＰが存在する場合があり、それぞれが特定の利点及び不利点を有する。したがって、パターンを生成するとき、最適なものを選ぶべくそれらを“スコア”できることが有益である。本発明の実施例は２つの方法のうちの１つでスコアされたパターンを利用した。

第１の方法は、候補となるパターンを直接スコアすることである。例えば、バイナリパターンでは、類似度の公約数がハミング距離であり、２ストリングのビットが異なる位置の数として定義される。すべての起こり得るパターンウィンドウをバイナリパターンで考慮すると、離散的なパターンウィンドウのすべての対にわたって最小ハミング距離を計算することによりバイナリパターンをスコアすることができる。特に、スコアがゼロの場合、パターンウィンドウはストリングのどこかで繰り返される。スコアが大きくなるほど、パターンウィンドウ間にある差が大きくなり、したがって結果のパターンが予期しない混乱に対してより堅牢となる可能性がある。このスコアリング方法はこれより“ハミングスコアリング方法”として参照される。ハミング距離が１である特別な場合では、よく知られるグラフ考察方法を使用して効果的にＬＵＰを生成することが可能である。当該ストリングはＤｅｂｒｕｉｊｎシーケンスとして知られる。好適な実施例では、Ｄｅｂｒｕｉｊｎシーケンスが、すべてゼロから成る或いはすべて１から成るストリングが許可されないとの修正を加えて生成される。

パターンをスコアする第２の方法は、パターンを投影しかつ画像化する効果を含む。特に、この方法は連続関数から成るパターンに適している。この場合、スコアはまずベースパターンを創出することで計算され、その後投影をシミュレートし、かつ、離散的な一連の画像ピクセルとしてそれを感知する。結果として得られる値の配列はここで、上記で検討されたバイナリパターンと同じだけ処理される。すなわち、一連の整合ウィンドウがここで定義され得る。これらの整合ウィンドウを定義するとき、２つの感知要素がパターンを別にサンプルする場合があるという事実を考慮することはさらに有益である。最悪の場合、それらは２分の１ピクセルのオフセットでパターンをサンプルする。パターンの望ましい性質は、これらの状況であっても一番近い整合（すなわちそれ自身から２分の１ピクセルだけオフセットされたものと比較される整合ウィンドウ。）が起こり得る整合の他のどれよりも高い整合スコアを有することである。この一連の推論に続き、所与のパターンウィンドウのスコアは、それ自身に対するその整合スコアの最低値から、離散的な他のすべての整合ウィンドウに対する最大の整合スコアを差し引いたものである。ベースパターン全体のスコアは、すべての整合ウィンドウのうちのこの値の最小値である。正のスコアを有するベースパターンはそれゆえ局所的に独自であり、より大きいスコアを有するものはサンプリングエラーに対し堅牢である可能性が高い。このスコアリング方法はここに“擬似画像化スコアリング方法”と定義される。

したがって、アプリケーションの要求に応じて、整合ウィンドウのサイズ及び形状、画像バンド数、ベースパターン長並びにベースパターンスコアリング関数を選択する。このような選択をすべて決定すると、特定の実施例は以下のアルゴリズムを使用してベースパターンを生成する。
１．ベースパターンストリング候補Ｐを生成する。候補がもう残っていない場合には、それまでに見つけた中で最適のものを返す。
２．Ｐが周期的パターンとみなされる場合、パターンスコアＳを計算する。
３．Ｓが先行するすべてのスコアより大きい場合、最適な候補としてＰを記憶する。
４．１に戻る。

特定の具体例は、１）バイナリパターン、２）正弦波パターンの２クラスのパターンを利用する。バイナリシーケンスは、困難な画像化環境（高い信号対雑音比が望まれる場合。）又は投影デバイス自身がバイナリである場合に極めて有効である。前者の例は、極めて大きな範囲のアルベドを有する表面を含むシーンである。後者の例は、ポイントの空間的グリッドを提供するよう設定されるレーザー源により駆動される照明デバイスである。

正弦波は連続領域の値から成り、したがってより空間的にコンパクトなパターンを生成する。それらはしたがって、高い空間的解像度が要求される場合に非常に適している。当該パターンに存在する最大の周波数と適切に境をなすことにより、被感知画像におけるサンプリングアーティファクトを制御することもまた可能である。

正弦波パターンは擬似画像化スコアリング方法を使用して計算され、擬似整合ウィンドウ対が正規化された相互相関をマルチバンド画像に使用してスコアされる。厳密に言うと、ｍ行ｎ列でかつｂバンドに広がる候補の整合ウィンドウＭ_１及びＭ_２のため、正規化された相互相関が次のとおり定義される。まず、Ｍ_１におけるｍ×ｎ×ｂのピクセル値のすべての平均値がＭ_１のそれぞれのピクセル値から差し引かれる。同じ操作がＭ_２でも行われる。このステップに続き、Ｍ_１のｍ×ｎ×ｂのピクセル値のすべてにわたる分散の平方根が計算され、それぞれのピクセル値が当該ウィンドウの分散で除される。同じことがＭ_２でも行われる。最後に、ゼロ平均でかつ分散が正規化された整合ウィンドウＭ_１及びＭ_２で対応するｍ×ｎ×ｂのすべてのピクセル値の二つ一組の積の平均値として定義される相関関係が計算される。−１から１の範囲のこの値は整合ウィンドウＭ１及びＭ２の正規化された相互相関である。

ストリング候補は、４ピクセルと１１ピクセルとの間の周期を持つ３つの正弦関数の周波数及び位相空間をサンプリングすることにより生成される。好適な実施例のために生成される特定のベースパターンは、それぞれ、４．２、９．５及び１０．２ピクセルの周期、並びに、０、１、及び５．５ピクセルの位相シフトから成り、長さ１４０の離散的なベースパターンを生成すべくサンプルされる３つの正弦波から成る。このベースパターンは３バンドのパターン画像を構築するために使用される。このパターンはこれ以降、Ｓｉｎ４−９−１０パターンとして参照される。上述の特定の実施例の設定で、Ｓｉｎ４−９−１０パターンは、１行７列のピクセルサイズで３バンドの整合ウィンドウが正の整合スコアを生成するという性質を有する。さらに、整合スコアは整合ウィンドウの長さと共に増大する。所要の整合ウィンドウのコンパクトさは、高いディスパリティ解像度が要求される状況においてＳｉｎ４−９−１０パターンを有益なものとする。

このベースパターンは１４０の長さを有し、３行のパターン画像又は３バンドそれぞれに１行を使用して表され得る。特定の実施例は、３バンドを使用するＳｉｎ４−９−１０を表す。その結果として、それぞれのバンドのパターンは１行の高さである。

本発明の実施例はまた、バイナリパターンとして表示される離散的なシーケンスを利用してもよい。このようなバイナリパターンの１つが、上述のハミング（ダイレクト）スコアリング方法を使用してストリングをスコアすることにより生成されている。ストリング候補は一連の短いベースパターンを初めに創出することで生成され、その後続いて、所望の長さに到達するまで、見込みのあるパターンスコアを有するものに要素を追加する。結果として得られるパターンは、最小のハミング距離３を有する。それは、２つのバイナリストリングで構成される。第１ストリングは、１０１１１１００１１０１０１１０１１１００００１０１１１０００１０００１１０００１１１０１１１１００００１１１１１１１０１１００１００１００００ ０１０００００１１００１１０１１０１１０１００００１００１０１０１００１０１０１０００１１１１１１０１０１１１００１１１１００１０１１１００１１１０である。第２ストリングは、００１００１０１１１００１１０１０１０１００１１１１０１００１０００００１０１００００１１１１１１００００１１１１０１０１０００１１０１０１０１ １０１１０００１１１００１１００００１０１１１０１０１０１１１１０１１１１００００１１０１００１１１１１０１１１１１００１１１００００１０００１１０である。

このベースパターンは１４６の長さを有し、２行のパターン画像又は２バンドのそれぞれで１行の何れかを使用して表され得る。以下に説明される特定の実施例は、２行を使用したパターンを表す。

結果として得られるベースパターンでは、２行８列のパターンウィンドウのすべては、他の類似サイズのパターンウィンドウから少なくとも３箇所で異なっており（すなわち、ハミング距離３を有する。）、ベースパターンの最後で始まり前方に“ラップ”するパターンウィンドウを含んでいる（すなわち、パターンは周期的なものとみなされる。）。このパターンはこれ以降、Ｂｉｎ２ｘ８パターンとして参照される。

好適な実施例では、ベースパターンは、１若しくは２以上のバンド及び／又は１若しくは２以上の行から成るエピポーラバンドに位置される。ベースパターンは周期的パターンとしての独自性を保証しながら生成されるので、それらを連結し、かつ、エピポーラバンドに沿った位置の所定範囲に整合ウィンドウの所望の独自特性を維持することが可能である。このプロセスは、以下のアルゴリズムがベースパターンからのＬＵＰの創出に使用されることを可能にする。
１．ｍはベースパターンの行数、ｎはその列数とする。Ｍは最終的な投影画像の行数、Ｎはその列数とする。
２．元のベースパターンのシーリング（Ｎ／ｎ）コピーを連結させることにより、新しいベースパターンＰ^＊を創出する。結果として得られるストリングを切り詰め、ｍ行Ｎ列のサイズになるようにする。
３．Ｐ^＊のシーリング（Ｍ／ｍ）コピーを積み重ね、その後結果をＭ番目の行で切り詰める。
このようにして創出されるＬＵＰは“ストレートＬＵＰ”として参照される。

上述の特定の実施例のため、ディスパリティマップを計算すべく整合を実行する場合に、整合ウィンドウのサイズは、係数２．６で乗じられ最も近い偶数の整数に丸められたパターンウィンドウのサイズである。したがって、Ｂｉｎ２ｘ８パターンでは、整合ウィンドウのサイズには５行２１列が選択される。これにより、単一バンド画像を使用するＢｉｎ２ｘ８パターンに基づいたストレートＬＵＰのディスパリティマップを計算するためのアルゴリズムはその後以下のように進行する。
１．Ｃ１カメラ画像のウィンドウからＣ２カメラ画像のウィンドウへの整合が、少なくとも５行２１列の整合ウィンドウサイズを使用して実行される。相関閾値０．５及び局所分散閾値１０^−６を下回る整合は廃棄され、それらの相関スコアがゼロにセットされる。
２．任意的に、Ｃ２カメラ画像からＣ１カメラ画像への整合が同じウィンドウサイズを使用して実行される。Ｃ１−Ｃ２及びＣ２−Ｃ１整合でディスパリティ値が２以内に入らないディスパリティは廃棄され、それらの相関スコアがゼロにセットされる。

必要に応じ、ディスパリティマップを創出するためにステップ１のみを実行することが可能である点に留意する。

上述のＬＵＰを創出するためのプロセスは、ＬＵＰを複数のバンドにセットすることで、高さが１ピクセルの小さいパターンウィンドウを創出することが可能になるという利点を有する。この性質は計算の効率化を図り、かつ、画像内のエピポーラバンドに直行する方向にある地物の高い空間的解像度をも提供する。特に、高さ１行のストレートＬＵＰパターンは、列の構成要素すべてで同じ値を有する。したがって、１行ｐ列の整合ウィンドウにあるパターン画像は、より大きなｒ行ｐ列の整合ウィンドウに画像化されたものと同じ実効的内容を有する。したがって、カメラ画像の整合ウィンドウもまた高さ１行のみとなり得る。

しかし、エピポーラバンドに沿った外観の比較可能な解像度を提供することは不可能である。整合ウィンドウ幅が、所与のベースパターンのためのウィンドウ高さよりずっと広いからである。

エピポーラバンドに沿って追加の解像度が必要とされる場合、好適な実施例は、ＬＵＰが生成される際にベースパターンがエピポーラバンドに沿った固定量でオフセットされることを可能にする。これは、整合ウィンドウが複数行又は複数列の何れか、或いは双方に必要な独自特性を維持しながらスパンすることを可能にする。厳密に言うと、好適な実施例は以下のアルゴリズムで創出されるＬＵＰを利用する。
１．ｍはベースパターンの行数、ｎはその列数とする。Ｍは最終的な投影画像の行数、Ｎはその列数とする。
２．元のベースパターンのシーリング（Ｎ／ｎ）コピーを連結させることにより、新しいベースパターンＰ^＊を創出する。
３．ｉが１からシーリング（Ｍ／ｍ）になるまでの間、ａ．を繰り返す。
ａ．投影すべきパターンの（ｉ―１）×ｍ＋１乃至ｉ×ｍの行を（ｉ−１）×ｍの位置だけ左に循環的にシフトさせたＰ^＊にセットする。
４．結果がＭ行Ｎ列のサイズになるよう切り詰める。

このアルゴリズムの結果、ベースパターンはここで“回転”し、ＬＵＰに４５°の角度で傾斜したテクスチャを生成する。係るＬＵＰは、“被回転”ＬＵＰと呼ばれる。特に、被回転ＬＵＰを使用する場合、１行ｎ列のパターンウィンドウが行に沿ったＬ個の位置で独自であるとき、ｎ行１列サイズのパターンウィンドウもまた行に沿ったＬ個の位置で独自となる。ｎ行１列のパターンウィンドウはまた列に沿ったＬ個の位置でも独自であり、１行ｎ列のウィンドウも同様である。要するに、転置された形でパターンウィンドウを使用し、かつ、行及び列の双方に沿って使用することが可能である。２行ｎ列のパターンの場合、対応する転置されたウィンドウサイズが次のように計算される。ｎ’は、ｎ以上の第１の２の倍数とする。そして、対応するパターンウィンドウサイズを（ｎ’＋１）行ｍ列とする。例えば、Ｂｉｎ２ｘ８パターンは、被回転ＬＵＰで使用される場合には、転置された９行２列のウィンドウサイズを有する。当業者には当然のことながら、２より多い行を有するベースパターンから創出される被回転パターンのウィンドウサイズを決定するために、類似の計算を実行することが可能である。

被回転ＬＵＰを所与とすると、ウィンドウが独自の整合を保証するのに十分なサイズであるという条件で、形及びサイズが変わるウィンドウを利用することがここで可能となる。特に、上述の特定の実施例はＳｉｎ４−９−１０パターンを被回転ＬＵＰのベースパターンとして使用する。パターンを評価するために使用される１行７列の整合ウィンドウの整合独自性を保証するために必要なウィンドウサイズは、短縮遠近効果を説明すべく少なくとも１行（７×１．１３／０．８８）列＝１行９列にまで拡張されなければならない。結果として、次のアルゴリズムが被回転Ｓｉｎ４−９−１０ＬＵＰのディスパリティマップの計算に使用される。
１．Ｃ１カメラ画像のウィンドウからＣ２カメラ画像のウィンドウへの整合が、少なくとも１行９列のウィンドウサイズを使用して実行される。相関閾値０．５及び局所分散閾値１０^−６を下回る整合は廃棄され、それらの相関スコアはゼロにセットされる。
２．任意的に、Ｃ２画像からＣ１カメラ画像への整合は、同じウィンドウサイズを使用して実行される。Ｃ１−Ｃ２及びＣ２−Ｃ１整合の双方でディスパリティ値が３以内に入らないディスパリティは廃棄され、それらの相関スコアがゼロにセットされる。
３．ステップ１及び２の結果はワイドディスパリティ整合と呼ばれる。
４．Ｃ１カメラ画像のウィンドウからＣ２カメラ画像のウィンドウへの整合が、少なくとも９行１列のウィンドウサイズを使用して実行される。相関閾値０．５及び分散閾値１０^−６を下回る整合は廃棄され、それらの相関スコアはゼロにセットされる。
５．任意的に、Ｃ２カメラ画像からＣ１カメラ画像への整合は、同じウィンドウサイズを使用して実行される。Ｃ１−Ｃ２及びＣ２−Ｃ１整合の双方でディスパリティ値が３以内に入らないディスパリティは廃棄され、それらの相関スコアがゼロにセットされる。
６．ステップ４及び５の結果はトールディスパリティ整合と呼ばれる。
７．ワイドディスパリティ整合とトールディスパリティ整合との相関値が比較される。最も高い相関スコアを有するディスパリティ値が保持される。
８．ワイドディスパリティ整合又はトールディスパリティ整合のうちの１つだけがディスパリティを計算できる領域では、そのディスパリティが保持される。
ディスパリティマップを創出するために、ステップ１乃至３だけ、ステップ４乃至６だけ、或いは、ステップ１乃至８のすべてを実行することが可能な点に留意する。

続くディスパリティマップの生成で、好適な実施例は任意的にディスパリティ計算の第２パスを実行する。それにより、ディスパリティが上記アルゴリズムを使用して計算されなかったピクセルの小領域が隣接のディスパリティから推測され、正規化された相互相関を使用してその後にスコアされる。閾値０．５を超えてスコアされるそれらの値は、有効なディスパリティとして保持される。

このディスパリティマップ計算に続き、ディスパリティ値は任意的に、局所最適化技術を使用してサブピクセル精度まで精緻化される。当該サブピクセルレジストレーションを実行する方法はそれら自身よく知られ、当業者にもよく知られるものである。

好適な実施例では、シーン内で観察されたポイントへのレンジは以下の方程式で計算される。

ここでＺは被調整カメラ画像の平面から問題の観察されたポイントまでの距離を表し、Ｄは整合されたピクセル間の画像平面距離として計算されるピクセルでのディスパリティ値、Ｂはベースライン距離、及び、Ｆはエピポーラ線に沿う内部倍率である。ディスパリティＤが計算されたすべてのピクセルに対するレンジＺの計算結果は、レンジマップと呼ばれる。

レンジマップ内のポイントの３次元座標は以下のように計算される。

ここで、それぞれ、ｕｃ及びｖｃはカメラ画像の光心であり、ｆｘ及びｆｙがｘ及びｙ方向の内部倍率である。一般的な方法では、ｆｘ及びｆｙは上記Ｆと等しくなるよう設計される。これらのパラメータは、当業者によく知られるキャリブレーションプロセスにより計算される。値ｕ及びｖは、ピクセルの画像座標であり、カメラの画像配列に本来備わっているものである。値Ｚは、上述のようにそのピクセル位置のために計算されるレンジである。結果の３値（Ｘ、Ｙ、Ｚ）は、ディスパリティが計算された被調整画像に対して表される観察された画像ポイントの空間的位置であり、Ｘ方向は画像の行に沿って位置し右を指し、Ｙ方向は画像の列に沿って位置し下を指し、かつ、Ｚ方向は画像平面に直行しレンズを介し観察されたシーンに向かって前方を指す。好適な実施例では、他の外部供給される座標系に関して、レンジ及び３次元ポイント双方の計算がさらに可能であり、かつ、ディスパリティ値が計算されたピクセルの任意のサブセットのためのレンジ及び３次元ポイントの計算がさらに可能である。

上記検討はここで、カメラが２つより多い場合にも一般化され得る。図４は、３つのカメラＣ１乃至Ｃ３の配置を表す。当該３つのカメラは、カメラＣ１及びＣ３間に垂直配列に位置する投影デバイスＰと共にＬ型に配置される。図４の実施例のための画像レクティフィケーションが、垂直及び水平方向に異なる目盛りを有する画像を生成すべく選択される。これらの値が選択され、“Ｃ１−Ｃ３”及び“Ｃ１−Ｃ２”のカメラ対の起こり得るディスパリティ値が所与の設計作業レンジで同一となるようにする。レクティフィケーションはまた、Ｃ１−Ｃ２対のエピポーラ方向がカメラＣ１及びＣ２の被調整画像の行に対応し、Ｃ１−Ｃ３対のエピポーラ方向がカメラＣ１及びＣ３の被調整画像の列に対応することを保証すべく選択される。

本発明の特定の実施例は、一方がＣ１−Ｃ２対のエピポーラバンドに沿って調整され、もう一方がＣ１−Ｃ３対のエピポーラバンドに沿って調整される２つのストレートＬＵＰの何れかを投影することにより、或いは、Ｃ２−Ｃ３対のエピポーラバンドにそって近似的に調整される１つの被回転ＬＵＰを投射することにより、これら２つのカメラ対を利用する。前者の方法は、画像対のそれぞれがその画像対のために最適化されたパターンを感知するという利点を有する。後者の方法は、単一のＬＵＰがいずれの或いはすべてのカメラ対によっても処理され得るという利点を有する。

特定の実施例では、Ｃ１−Ｃ３対及びＣ１−Ｃ２対からのディスパリティマップが独立して計算され、最大相関値を有するそれぞれの位置のディスパリティ値を採取することにより後に組み合わせられる。

ＬＵＰに基づいて計算すべきディスパリティのため、シーン内の対応するポイントが少なくとも１つのＬＵＰによって照らされ、少なくとも１つのカメラ対によって画像化される必要がある。この条件を満たさない領域は“レンジシャドウ”と呼ばれる。

好適な実施例では、カメラ（Ｃ１及びＣ３）の２つが、一方が他方の上に配置され、それぞれが上方から下方に傾斜する角度でシーンを観察する。プロジェクタＰはＣ１及びＣ３により規定される線に沿って位置される。第３のカメラＣ２は、他のカメラ及びプロジェクタから横方向に間隔が空けられる。この配置は、典型的なシーンではレンジシャドウがほとんど発生しないことを保証する。

図５は、２つのカメラＣ１及びＣ３並びにプロジェクタＰを示し、レンジシャドウを生成するには、画像シーン内のオブジェクトの表面がどのように位置付けられる必要があるかを実例によって説明する。表面に対する接平面Ｔは、プロジェクタＰの光心より低い位置にある必要がある。幾何学的にこれは可能であり図にも示される。しかし、典型的に発生するシーンでは、このような場合はほとんどない。

特定の典型的な実施例では、パターンは３バンドまでで表され、それぞれのバンドはグレースケール値で構成され、かつ放射エネルギー源として可視光を使用した上述のプロジェクタによりシーン表面上に投影される。投影デバイスは２５６のグレースケール値を生成可能であるが、パターンは、５１乃至２４３の１９２のグレースケール値の範囲を占める。これらの値は、通常の観察条件の下、ＬＵＰの最適な観察を提供するよう選択される。上述のＬ型配置の３つのＳｏｎｙ ＤＦＷ−ＳＸ９００カメラは、複数の観察位置からシーンの画像を取得するセンサーである。カメラは１／１４秒の固定シャッター速度を使用して作動する。それらは、マニュアルフォーカスの１２ｍｍレンズ及びマニュアル調整絞りを装備する。この実施では、様々な数の画像バンドを、カメラに本来備わっているカラー機能を使用し、或いは／かつ、静的シーンにおける多重投影・取得サイクルを実行して取得してもよい。投影の際ＬＵＰがカラーバンドを利用する場合には、ＹＵＶ画像がＲＧＢ表現に変換され、結果として得られる３バンド画像上で整合が実行される。被投影パターンがカラーを含んでいない場合、取得された画像のＹ要素だけが整合目的のために保持される。

本発明は、特定の好適な実施例及び実施を参照して説明された。様々な代替の実施例及び実施を以下に説明する。以下の検討は限定的ではなくむしろ説明を目的としたものであると認識される。

この上述部分では、いくつかの特定パターン、パターンウィンドウの特定形状およびサイズ並びに特定領域の独自性のためのＬＵＰを説明するが、被投影パターンは如何なるサイズ若しくは形状でもよく、パターンウィンドウは如何なるサイズ若しくは形状でもよく、パターンウィンドウは空間的に連続的でなくてもよく、或いは、領域であってパターンウィンドウがその領域全体で独自となるところの領域は如何なるサイズ、形状、若しくはサンプリングスキームであってもよい。当業者には当然のことながら、パターンであってそのパターン全体で局所的独自性が定義され得るところのパターンには多くのサイズ及び形状が存在する。

好適な実施例では、ＬＵＰが離散的配列の値として計算される。好適な実施例の１つでは、ベースパターンは、変化する位相及び周波数を有する正弦波のサンプルされたグループの区別の結果である。パターンを選択するための類似度の測定は正規化された相互相関による。好適な実施例の別の１つでは、ＬＵＰは２シンボルのアルファベットで構築される。パターンを選択するための類似度の測定はハミング距離による。他の実施例では、ＬＵＰが２シンボルより長い個別的なアルファベットで構築されてもよい。他の実施例では、ＬＵＰは、振幅、空間周波数、位相又はこれらの任意の組み合わせが変化する異なる連続関数で構成されてもよい。連続関数はサンプルされ、かつ区別され、或いは適切な連続媒体を使用して実行されてもよい。

別の実施例では、類似度の様々な測定がパターンを選択するために使用され得る。これらの測定は、パターン値自身で直接規定される場合があり、ハミング距離、ベクトル距離、加重ベクトル距離又は他の離散的若しくは連続的なパターン類似度スコアリング方法などの測定を含む。測定はまた、投影すべきパターンの様々な特性が考慮される場合に規定されてもよく、パターンの拡大縮小及び短縮遠近効果、離散的サンプリング効果、投影デバイス及び／又は感知デバイスの点広がり関数並びに被サンプル画像のノイズを含む。スコアリング機能は、整合ウィンドウを比較するために使用される如何なる方法であってもよく、負の距離平方和、負の絶対距離の和、相対相関、正規化相対相関を含む。当業者には当然のことながら、パターンウィンドウをスコアリングする多くの同等の方法が存在する。

パターン値を２値（白又は黒）、濃淡値、カラー値、マルチスペクトル値又は投影すべき値の時間系列として符号化することにより、パターンは投影すべき画像に表現され得る。当業者には当然のことながら、パターンを画像に表現する他の多くの類似方法が存在する。

いくつかの媒体に表現される場合に、ＬＵＰはフィルタリングされてもよく、カラーバランスが取られ、コントラストが強められ、或いはそうでなければ、その投影又は画像化特性を改善すべく変更されてもよい。

ＬＵＰは、単一マルチバンド画像、同時に若しくは連続的に投影されるマルチ画像、又は、画像の複数の行若しくは列若しくはそれらの任意の組み合わせとして表現されるマルチバンドで構成されてもよい。

好適な実施例では、任意のサイズのＬＵＰが、その長さを増大させるために単一ベースパターンを複製することにより、かつ、その高さを増大するためにＬＵＰの上端及び下端にベースパターンのコピーを隣接することにより創出される。ベースパターンを上端及び下端に隣接させる場合には、ベースパターンを対応する位置に隣接させてもよく、左又は右への固定シフトを連携させながらベースパターンを隣接させてもよく、或いは、ランダムシフトによりベースパターンを隣接させてもよい。異なるバンドにおいて、同じシフトを使用してもよく、異なるシフトを使用してもよい。また、ベースパターンの解像度を変更することを選択してもよい。当該変更は、そのサイズを増大すべく値を複製することにより、新しい値を古い値の間に挿入することにより、或いは双方の組み合わせにより行われる。当業者には当然のことながら、ベースパターンを利用し、かつ、場合により相対的な位置、サイズ、方向、縦横比、解像度又は細部の鮮明度が変え、そのコピーからより大きいＬＵＰを創出する多くの方法が存在する。

ＬＵＰは単一のベースパターンを複製することで構成されてもよく、複数のベースパターンを複製することで構成されてもよい。ベースパターンの複製は、複製が局所的独自性を維持するのであれば、規則的であっても不規則的であってもよい。

ＬＵＰはベースパターンを使用せずに創出されてもよい。ＬＵＰは、所望のサイズのランダムパターンを生成することにより、かつ、ＬＵＰであるかどうかを確認することにより構築されてもよい。別の方法として、１又は２以上の固定ルールに従ってパターンを生成し、かつ、それがＬＵＰであるかどうかを確認してもよい。別の方法として、ＬＵＰを生成するルールを創出してもよい。別の方法として、上述のすべてを行い、その後、パターンがＬＵＰとなるまでその精緻化を行うべく探索プロセスを起動してもよい。探索は決定論的であってもランダムであってもよい。当業者には当然のことながら、ＬＵＰを生成するために採用され得る多くのアルゴリズムが存在する。

好適な実施例で述べたように、異なるＬＵＰが、周囲の画像化条件および画像化された表面の特性に起因する異なる性質を有する場合がある。結果として、使用すべき適切なＬＵＰが時間と共に変化する場合がある。本発明の別の実施例では、ＬＵＰは周囲の状況のセンサー測定に基づいて選択され、或いは、先行の画像取得システムの処理結果に付随するものとされる場合がある。その後者の場合には、ドロップアウトの位置及び数を観察し、かつ、その位置にある画像の性質に基づいてＬＵＰを調整することにより、パターンが整合される場合がある。ＬＵＰは記憶された一連のパターンから取り出されてもよく、オンラインで適用されてもよい。ＬＵＰは、シーンの１又は２以上の表面に投影される際に存在する周波数の範囲を改善すべく調整されてもよい。当業者には当然のことながら、３次元画像取得システムの性能を改善するようＬＤＰを整合させる多くの同等の方法が存在する。

３次元画像取得システムのＬＵＰのサイズは、プロジェクタ及び感知システムの解像度に加え、プロジェクタ及びセンサーの形状寸法の組み合わせによっても導き出されることができる。好適な実施例では、ディスパリティ値が計算され、シーンにあるすべてのポイントが“設計作業レンジ”と呼ばれる一定の深度範囲内にあるものと想定される。別の方法では、ディスパリティ値が作業レンジの想定なしに計算される場合がある。そうすることは、より広いセットの起こり得るディスパリティ値にわたって整合が実行されることを必要とする。画像内に投影されたパターンのサイズ及び形状、画像内の必要なディスパリティ値の数、並びに、その結果のパターン画像の生成を左右する値を決定する方法は、かなり多くの方法で実現されることができ、かつ、当業者によく知られている。

３次元画像取得システムでは、１又は２以上のデバイスがＬＵＰをシーンの表面上に投影する。好適な実施例では、ＬＵＰを投影するデバイスは、Ｈｉｔａｃｈｉ ＣＰ−Ｘ２７０プロジェクタなどの市販の液晶ディスプレイ（“ＬＣＤ”）プロジェクタである。他の実施例では、ＬＵＰを投影するデバイスは別のタイプのＬＣＤプロジェクタであってもよい。別の方法では、それはデジタルライトプロセッサ（“ＤＬＰ”）プロジェクタであってもよい。また、回折装置と組み合わされた光源であってもよい。或いは、投影デバイスは、不透明な或いは半不透明なフィルムであってパターンがその上に刻み込まれたフィルムと組み合わされる光源であってもよい。当業者は、パターンを投影する他の手段も同等の結果を実現するが、それは被投影画像が所要のサイズ、輝度及び解像度を有する場合であることを認識する。

放射エネルギー源は、白色光、発光ダイオード（“ＬＥＤ”）、半導体レーザー又は所望のスペクトル内の他の如何なる放射源であってもよい。“放射エネルギー”の用語は電磁スペクトルの以下の如何なる部分をも含むものであると解釈される。
（ａ）可視光スペクトル
（ｂ）紫外線光スペクトル
（ｃ）赤外線光スペクトル
（ｄ）紫外線から赤外線にまで広がるスペクトル
当業者は、放射エネルギーの他の波長が同等の結果を実現すべく使用され得るが、それは、使用される波長が、採用された投影デバイス、感知デバイス並びに所要の投影及び感知解像度と調和している限りであることを認識する。

エネルギー源は、当該エネルギー源が十分な異なるパターン値を生成でき、センサーが十分な解像度でエネルギー源を検出できるものであるならば、電磁スペクトル以外のものであってもよい。

一定のアプリケーションでは、パターンは人間の観察者にとって感知できないものであることが望ましい。この条件は、人間の視覚系では知覚されない電磁スペクトルの一部を使用することで達成される場合がある。紫外線及び赤外線はそのようなスペクトルの一部の２つの例である。別の方法では、可視スペクトルが使用されるが、パターンは、投影間隔内に２以上の一連のパターンを投影することにより知覚されないように表現され、或いは、パターンは、人間の視覚系で知覚される際には相互に相殺されるよう選択される。別の方法では、人間に知覚されない他のエネルギー源が使用されてもよい。当業者には当然のことながら、人間には知覚されないがシステムのセンサーには知覚可能である被投影パターンを表現する多くの方法が存在する。

センサーは、複数の観察位置からシーンの画像を取得する。好適な実施例では、感知手段が３つの市販のＳｏｎｙ ＤＦＷ−ＳＸ９００などのＣＣＤカメラにより提供される。他の実施例では、複数の観察位置からシーンの画像を取得する２以上のセンサーが他の製造元或いはモデルの複数のＣＣＤカメラにより実現されてもよい。別の方法では、それらは複数のＣＭＯＳカメラにより実現される場合がある。また、それらはＣＣＤ及びＣＭＯＳカメラの双方により実現される場合もある。或いは、放射エネルギーの特定範囲の波長を強めるための特別なフィルターを装備したＣＣＤ又はＣＭＯＳカメラにより実現される場合もある。

画像取得用センサーは次のいずれかをさらに含むものであってもよい。
（ａ）従来の白黒カメラ
（ｂ）線走査カメラ
（ｃ）カラーカメラ
（ｄ）赤外線カメラ
（ｅ）紫外線カメラ
（ｆ）マルチスペクトルカメラ
（ｇ）他の同等の空間的感光型デバイス
当業者には当然のことながら、画像としてシーンを感知する際に同等の結果を実現すべく使用され得る他の類似のセンサーが存在する。

好適な実施例では、カメラは、固定シャッター速度、固定焦点距離及び固定絞りで動作する。別の実施例では、画像を取得するセンサーが周囲の環境或いは先行する画像取得システムの動作結果に合わせて適応するようにしてもよい。シャッター速度及び絞りは、被写界深度、コントラスト、輝度又は類似の画像品質を改善すべく調整されてもよい。ホワイトバランスは色分解を改善すべく調整されてもよい。焦点距離は画像の細部を改善すべく、或いは視野を増大すべく調整されてもよい。センサーは独立して或いは共に調整されてもよい。投影デバイス（群）はまた輝度、コントラスト又はカラーバランスで調整されてもよい。投影デバイス（群）は独立して或いは共に調整されてもよい。投影デバイス（群）は画像取得用センサーとは独立して調整されてもよく、画像取得用センサーと連動して調整されてもよい。当業者には当然のことながら、結果画像で計算されるディスパリティマップを最適化するために、画像取得用センサー及び投影デバイスを調整する多くの同等の手段が存在する。

複数の観察位置からシーンの画像を取得するセンサーは１つの位置につき１つの物理的センサーで実施される場合がある。また、より少ない数の物理的センサーと複数の位置からより少ない数の物理的センサーへ画像を切り替えるための装置とにより実施される場合もある。画像を切り替える装置は、ミラー、光弁、プリズム又は他の同等手段であってもよい。切り替えの実施の場合には、１つの物理的センサーに多重化されるいくつかの画像は、センサーの画像平面の異なる部分に連続的に或いは同時に取り込まれてもよい。別の方法では、複数のセンサーは、連続する画像取得の合間を移動させられるより少ない数の物理的センサーにより提供されてもよい。当業者には当然のことながら、より少ない数の物理的センサーを使用して複数の観察位置からのシーンの画像を取得する他の類似手段が存在する。

好適な実施例では、パターン投影用の放射エネルギー源がカメラのベースラインに沿って配置され、被投影画像の横列が２つのカメラの光心を繋ぐ線に大体平行になるようにする。別の方法では、プロジェクタが１又は２以上の画像取得用センサーと同期してもよい。また、被投影パターンの空間的性質と画像の空間的性質との関係が判断され得るのであれば、プロジェクタが空間の他の位置にあってもよい。

複数のパターン投影用デバイスがある場合、それらは同調して動作してもよい。それらは同調して連続でパターンを投影することにより動作してもよく、或いは同時に動作してもよい。それらは同一のスペクトルバンドで、或いは、異なるスペクトルバンドで投影してもよい。それらはそれぞれＬＵＰを投影し、或いは、それらはそれらの共同作業の結果としてＬＵＰを投影してもよい。

好適な実施例では、取得された画像が平行な走査線を持つように調整される。そのような２つの画像及び既知のウィンドウサイズを考慮すると、画像内の対応するピクセルを整合させる手段を使用して探索が実行できる。整合は、画像の候補領域間のスコアリング関数を極大化することにより発見される。当該候補領域では、該候補は少なくとも既知の最小のウィンドウサイズであり、探索領域は被感知画像に現れるように被投影パターンの非循環部分を包含する領域よりも大きいものではない。スコアリング関数は以下のいずれかを含む場合がある。
（ａ）当該候補領域間の差の二乗の負の合計
（ｂ）当該候補領域の差の二乗の正規化された負の合計
（ｃ）当該候補領域の相互相関
（ｄ）当該候補領域の正規化された相互相関
（ｅ）当該候補領域の絶対差の合計
（ｆ）当該候補領域の絶対差の正規化された合計
当業者には当然のことながら、整合において同等の結果を実現する距離関数として使用され得る多くの他の類似関数が存在する。

好適な実施例では、整合は画像ウィンドウで独立して実行される。しかし、ウィンドウでの最適な整合はまた周囲のウィンドウでの整合に依存する。これらの制約の下でのウィンドウの最適な整合は、エピポーラ線に沿う動的プログラミングにより実行され、また、画像全体を介する動的プログラミングにより実行され、或いは、グラフ最適化技術を使用して実行され得る。整合は、画像内に規定される一連の整合する位置群を利用してもよく、また、結果として得られる整合ポイントの一連のレンジ値を選択することで規定される整合する位置群を利用してもよく、或いは双方の任意の組み合わせを利用してもよい。当業者には当然のことながら、一連の整合する位置群にわたる整合を実行する多くの同等の方法が存在する。

好適な実施例では、画像の単一レクティフィケーションが選択される。別の方法では、レクティフィケーションは、画像のそれぞれの対の性質を高めるために選択される場合がある。また、レクティフィケーションは、特定の距離にある表面、又は、１若しくは２以上の画像取得用センサー若しくは投影デバイスに対して特定の角度を形成する表面を強調するために選択される場合もある。システムは多重レクティフィケーションを利用する場合があり、１若しくは２以上の表面を強調し、１、２、若しくは３以上の画像取得用センサーからの画像を最適化し、或いは、投影デバイスの１つにより投影される局所的独自パターンの外観を最適化するために、それぞれ設計される。当業者には当然のことながら、画像レクティフィケーションを実現する多くの均等手段が存在する。

好適な実施例では、整合は、単一解像度での画像で実行される。しかし、ＬＵＰはまた、より低い解像度の特定セットでサンプリングされる際に局所的に独自であり続けるよう構築される場合がある。この場合、ディスパリティ計算もまた、より低い解像度でサンプリングされる画像で実行され得る。より低い解像度の画像でのディスパリティ計算は、より高い解像度でのディスパリティ計算を初期化し、改善し、或いは、加速させるために使用される場合がある。同様に、整合は、画像位置の選択されたサブセットで実行されてもよく、それらの位置は他の位置でのディスパリティを推測するために使用される。粗いものから精細に至るこれらのような方法は、当業者によく知られるものである。

好適な実施例では、被投影パターンがカラーバンドを利用しない場合、整合は、カラー（ＵＶ）コンポーネントが取り除かれたＹＵＶ画像上で実行される。そうでなければ、整合は、ＹＵＶコンポーネントのＲＧＢ表現で実行される。また、整合は、画像のＹＵＶ表現で直接実行される場合もある。また、他の線形又は非線形カラー変換が整合前に画像に適用される場合もある。また、整合は単一画像バンドで独立に実行され、その後結果が結合される場合もある。或いは、整合は、複数回収集された画像に同時に実行される場合もある。当業者には当然のことながら、異なる画像表現における整合を実行することにより同等の結果を実現するいくつかの方法が存在する。

被取得画像は、以下の操作のいずれか或いはその組み合わせを含む画像処理操作により予備的処理がなされてもよい。
（ａ）局所平均
（ｂ）ローパスフィルタリング
（ｃ）ハイパスフィルタリングと組み合わされたローパスフィルタリング
（ｄ）中央値フィルタリング
（ｅ）ガウス分布のラプラシアンによるフィルタリング
（ｆ）ランク変換
（ｇ）センサス変換
当業者には当然のことながら、整合プロセスが適用される前に被取得画像に適用される多くの類似する線形及び非線形画像処理操作が存在する。

好適な実施例では、整合は、シーンがパターンで照らされている間に取得される画像上で実行される。別の方法において整合は、まず投影される照明なしで、その後一様に照らされるシーンと共にシーンの画像を取得し、それぞれの画像位置での表面アルベドを相殺するためにこれら２つの画像を使用することを伴う。一様な照明及びパターン化照明の投影が長時間行われてもよく、また別の方法として、パターン及びそのインバースを投影することで達成されてもよく、或いは別の方法として、シーンアルベドがほぼ一定であるものの上に複数のスペクトルバンドの放射エネルギーを同時に投影することにより行われてもよい。当業者には当然のことながら、同等の結果を実現すべく被投影光の他形態を組み合わせてＬＵＰを利用する多くの方法が存在する。

画像内の対応するピクセルを整合させる手段が、被調整画像の横列に沿って適用されるものとして説明されたが、この特定形態を有さない画像の対応するエピポーラ線に沿って適用されてもよい。整合プロセスは、任意の画像の領域の対応ピクセルを、他の任意の画像のエピポーラ線に沿って探索して整合させることを選択することで適用される場合がある。当業者には当然のことながら、整合手段を実行する多くの同等のアルゴリズムが存在する。

好適な実施例のいくつかの変形例では、２つのウィンドウを使用して整合が行われる。特定の２ウィンドウ整合技術に従って、第１ウィンドウは水平に方向付けられ、“ワイドディスパリティ整合”となり、第２ウィンドウは垂直に方向付けられ、“トールディスパリティ整合”となる。２つの相関スコアは比較され、それぞれのピクセルで、最大の相関スコアを有するディスパリティ値が維持される。別の方法では、他のサイズ或いは方向の多数のウィンドウがあってもよい。また、比較結果を組み合わせる手段は最大相関とはべつのものであってもよい。例えば、以下で構成されるグループから選択されてもよい。
（ａ）最大スコアとの整合
（ｂ）整合領域の形状及びサイズのそれぞれの整合値の平均
（ｃ）整合値の加重平均
（ｄ）固定閾値を超える整合値の加重平均
（ｅ）可変閾値を越える整合値の加重平均
（ｆ）比較関数値とディスパリティ値との他の線形又は非線形結合
当業者には当然のことながら、様々なウィンドウの多くの異なる選択及びそれらの結果を組み合わせる多くの異なる手段が存在する。

好適な実施例では、整合ウィンドウはＬＵＰの構造に基づく固定サイズのものであると解釈されている。しかし、整合ウィンドウサイズは、シーン内の任意のテクスチャの量、表面の傾斜又は偏向の予備的知識、画像の信号対雑音比、画像輝度、画像コントラスト、画像分散又は他の同等の画像尺度に基づいて整合が実行されるように、サイズ又は形状が変えられてもよい。整合ウィンドウは、意味のある外部テクスチャ要素が存在する場合には、最小好適サイズより小さくされる場合がある。整合ウィンドウは、少数の不正確な或いは欠落したディスパリティが許容できるものである状況では、最小好適サイズより小さくされる場合がある。当業者には当然のことながら、整合が進むにつれて、整合ウィンドウのサイズ及び形状は変化する。

好適な実施例は２カメラ及び３カメラの両方を使用して説明された。３つ以上のカメラを使用する場合には、それらは対として、より大きなグループとして、或いは、それらの組み合わせの何れかとして使用される場合がある。独立したグループとしてそれらを使用する場合、そこから生成されるディスパリティマップは、組み合わされ、或いは分離されて使用されてもよい。

上記開示された本発明の特定の実施例は３つのカメラで構成され、２つのカメラ対を独立して利用し、その後引き続いて、結果として得られるディスパリティマップを組み合わせる。被投影パターンは、それぞれが各カメラ対に対応する２つのストレートパターン、或いは、両方のカメラ対に対するＬＵＰが存在するよう配置された単一の被回転ＬＵＰの何れかである。別の実施例では、斜め（Ｃ２−Ｃ３）のカメラ対を利用することが追加的に可能である。この場合、別のパターンが当該対に対して投影されてもよく、また、当該カメラ対のエピポーラバンドにＬＵＰが存在するよう被回転パターンが構築されてもよく、或いは、それらの任意の組み合わせであってもよい。多数のカメラを使用する場合、ＬＵＰは単一対、大きい方のグループ又は集合全体に対して最適化されてもよい。１つのＬＵＰ又は多数のＬＵＰがあってもよい。画像はすべてのＬＵＰと同時に取得されてもよく、或いは、カメラの特定グループが特定のＬＵＰを取得してもよい。ＬＵＰは、ストレートＬＵＰ、被回転ＬＵＰ、ストレート及び被回転ＬＵＰの任意の組み合わせ、又はそれらの任意の組み合わせの場合がある。パターンのバンドは、それらがストレート、被回転、又はその何れでもないかどうかにより異なる場合がある。当業者には当然のことながら、同等の実施例を実現するために、多数のカメラによりＬＵＰを組み合わせる多くの同等の方法が存在する。

特定の実施例は、第２カメラのウィンドウに対する第１カメラのウィンドウの整合スコアを計算することによりディスパリティを計算する。別の実施例では、第１カメラの所与の整合ウィンドウの整合スコアを、多数の他のカメラの整合ウィンドウと共に同時に計算することにより、ディスパリティが即座に計算されてもよい。そのような整合スコアを計算する場合、当該ウィンドウのスコアは、以下に含まれる個々の整合スコアの任意の組み合わせとして計算されてもよい。
１．整合スコアの合計
２．整合スコアの積
３．最小整合スコア
４．最大整合スコア
５．平均整合スコア
６．加重平均整合スコア
７．中間整合スコア
８．整合スコアを組み合わせる他の線形又は非線形関数
好適な実施例では、情報が多数のディスパリティマップから組み合わせられる。３つのカメラの場合、これができるように画像レクティフィケーションを用意することが可能である。カメラが３つより多い場合、ディスパリティマップを組み合わせることは不可能或いは不便である。別の実施例では、異なるカメラのグループからの情報がレンジマップとして組み合わされてもよく、また情報が３次元ポイントのセットとして組み合わされてもよく、また情報が三角メッシュとして組み合わされ、また情報が表面として組み合わされ、或いは情報が体積として組み合わされてもよい。当業者には当然のことながら、多数のカメラのグループから計算されるディスパリティ又はレンジ情報を組み合わせる多くの同等の手段が存在する。

好適な実施例では、ディスパリティマップがカメラ画像内で計算されるが、それは、当該カメラ画像内の被投影パターン値を修復することなしに行われる。別の実施例では、カメラ画像内に現れるパターン値が予測され、かつ、ディスパリティマップ又はレンジマップがこれらの修復されたパターン値とＬＵＰとを比較することにより計算される場合がある。このようにディスパリティは、画像取得用センサーと投影デバイスとの間の既知の関係を使用することにより計算され得る。これらのディスパリティマップ又はレンジマップは、上記に開示されたものと同等である任意の手段を使用してカメラ画像から計算されるディスパリティマップ又はレンジマップに組み合わせられる場合がある。別の方法では、既存のディスパリティマップが被感知画像にあるようにＬＵＰを修復し、修復されたパターンを投影デバイスにより投射されたものと比較することにより照合される場合がある。当業者には当然のことながら、被投影ＬＵＰを画像から修復されるパターンに整合させることにより計算されるディスパリティ又はレンジと、２以上の被感知画像を整合させることにより計算されるディスパリティ又はレンジとを組み合わせる多くの均等手段が存在する。

好適な実施例は投影デバイスがカメラ対のベースラインに沿って位置されることを説明する。投影要素はそのように位置されてもよく、カメラが視ることのできるシーンのいくつかの部分を照らし、かつ、被投影画像とカメラ画像との関係が構築され得るならば、他の場所に位置されてもよい。

２画像の対応する領域が識別されると、ピクセル対応に基づいてシーン内の画像からポイントへのレンジを計算する手段は、レンジ値を計算するために２つのシーンの整合された領域の位置を使用する。レンジ値はカメラＣ１の光心からの場合があり、またレンジ値はカメラＣ２の光心からの場合もあり、またレンジ値はカメラＣ３の光心から計算される場合もあり、またレンジ値は何れかのカメラに関し記載された何れかの位置から計算される場合もあり、或いはレンジ値は既知の外部参照ポイントから計算される場合もある。当業者には当然のことながら、ピクセル対応からレンジ値又は３次元ポイントの座標を計算する多くの均等手段が存在する。

当業者にとって当然のことながら、本発明は好適な実施例に関して上述されたが、それに限定されるものではない。上述の本発明の種々の特徴及び態様が個別に或いは合同で使用される場合がある。さらに、本発明は特別な環境で、かつ特別なアプリケーションのためにその実施例との関係で説明されたが、当業者にとって当然のことながら、その有効性はそれに限定されるものではなく、本発明は様々な環境及び実施で有益に利用され得る。

本発明の実施例に従った３次元画像取得システムの主要な構成要素を表す象徴図である。 エピポーラ線に沿って位置する整合ウィンドウを図示する光路図である。 パターンウィンドウにより範囲を定められる領域と被感知画像で範囲を定められる領域との間の関係を図示する光路図である。 本発明の３カメラ又は三眼鏡の実施例におけるカメラ及びプロジェクタ要素の好適な配置を表す象徴図である。 図４のカメラ及びプロジェクタの配置が如何にレンジシャドウの発生を極小化するかを表す象徴図である。

Claims (48)

1. シーンのディスパリティマップを取得するシステムであって：
   （ａ）前記シーンの少なくとも１つの部分に局所的独自パターンを投影するよう構成される少なくとも１つの投影デバイス；
   （ｂ）前記シーンの複数の画像を取得するセンサーであり前記複数の画像のそれぞれが独自の観察位置に関連するところのセンサー；及び、
   （ｃ）前記ディスパリティマップを生成するために前記局所的独自パターンを包含する少なくとも２つの前記画像で対応するピクセルを整合させるよう構成されるコンピュータデバイス；
   を有することを特徴とするシステム。
2. 前記コンピュータデバイスがさらに前記ディスパリティマップを使用して前記シーンのポイントへのレンジを計算するよう構成されることを特徴とする請求項１に記載のシステム。
3. 前記局所的独自パターンがバイナリ値を有するパターン値から構成され、
   それぞれのパターン値は極値のいずれかである、
   ことを特徴とする請求項１に記載のシステム。
4. 前記局所的独自パターンがグレーレベル値を有するパターン値から構成され、
   それぞれのパターン値は複数の起こり得る強度値から選択される強度を有する、
   ことを特徴とする請求項１に記載のシステム。
5. 前記局所的独自パターンがカラー値を有するパターン値から構成され、
   それぞれのパターン値は赤、緑及び青のそれぞれに１つの３つの強度値を有する、
   ことを特徴とする請求項１に記載のシステム。
6. 前記局所的独自パターンが多重スペクトル値を有するパターン値から構成され、
   それぞれのパターン値は複数のスペクトルバンドでの強度値を有し、
   前記スペクトルバンドは紫外線光、可視光及び赤外線光のうちの少なくとも１つを有する、
   ことを特徴とする請求項１に記載のシステム。
7. 前記局所的独自パターンが一時的に符号化した値を有するパターン値から構成され、
   それぞれのパターン値は複数の一時的バンドから構成され、
   それぞれの一時的バンドは離散時間的に投影される、
   ことを特徴とする請求項１に記載のシステム。
8. 前記局所的独自パターンが人間の観察者にとって視覚的に感知できないことを特徴とする請求項１に記載のシステム。
9. 前記局所的独自パターンが１組のバンドを有し、
   それぞれの前記バンドは少なくとも１つの連続関数に対応する、
   ことを特徴とする請求項１に記載のシステム。
10. 前記少なくとも１つの連続関数が周期関数であることを特徴とする請求項９に記載のシステム。
11. 前記周期関数が正弦関数であることを特徴とする請求項１０に記載のシステム。
12. 前記１組のバンドが複数のバンドを有し、
    それぞれの前記バンドが周期関数に対応し、かつ、
    前記複数のバンドのうちの少なくとも２つが異なる位相又は周期を有する、
    ことを特徴とする請求項９に記載のシステム。
13. 前記局所的独自パターンがベースパターンを複製することから構成されることを特徴とする請求項１に記載のシステム。
14. 前記ベースパターンが連続する横線又は縦線で複製されることを特徴とする請求項１３に記載のシステム。
15. 前記ベースパターンが連続する縦線又は横線に１又は２以上のピクセルだけシフトされることを特徴とする請求項１３に記載のシステム。
16. 前記ベースパターンが第１、第２及び第３正弦波で構成され、
    該第１、第２及び第３正弦波はそれぞれ４．２、９．５及び１０．２ピクセルの周波数、並びに、それぞれ０、１、及び５．５ピクセルの位相シフトを有し、かつ、長さ１４０のベースパターンを生成するためにサンプリングされる、
    ことを特徴とする請求項１３に記載のシステム。
17. 前記局所的独自パターンが個別的な文字のシンボルから構成されるシーケンスであることを特徴とする請求項１に記載のシステム。
18. 前記局所的独自パターンが特定サイズの複数のパターンウィンドウを有し、かつ、前記局所的独自パターンは、それぞれのパターンウィンドウが他のすべてのパターンウィンドウとは少なくとも１つの特定ハミング距離だけ異なるという性質を有することを特徴とする請求項１７に記載のシステム。
19. すべての２行８列のパターンウィンドウが、それを含む任意の所与の２行１４６列のウィンドウ内にある他のすべての２行８列のパターンウィンドウと、少なくとも３のハミング距離だけ異なる、
    という性質を前記局所的独自パターンが有することを特徴とする請求項１８に記載のシステム。
20. すべての９行２列のパターンウィンドウが、それを含む任意の所与の９行１４６列のウィンドウ内にある他のすべての９行２列のパターンウィンドウと、少なくとも３のハミング距離だけ異なる、
    という性質を前記局所的独自パターンが有することを特徴とする請求項１８に記載のシステム。
21. 前記局所的独自パターンは、それぞれのパターンウィンドウが擬似画像化スコアリング方法に従って他のそれぞれのパターンウィンドウから区別可能であるという性質を有し、
    前記方法は、
    （ａ）パターンウィンドウと、２分の１のピクセルオフセットを考慮に入れたパターンウィンドウとの整合を表す第１整合スコアの最小値を導き出し、
    （ｂ）該第１整合スコアの最小値と前記パターンウィンドウの他のパターンウィンドウへの整合を表す第２整合スコアの最大値との比較を行う、
    ステップを有することを特徴とする請求項１７に記載のシステム。
22. 前記局所的独自パターンがパターンスコアを最適化するよう選択され、
    前記パターンスコアは：
    （ａ）パターン拡大縮小及び短縮遠近効果；
    （ｂ）離散的サンプリング効果；
    （ｃ）少なくとも１つの投影デバイスの性質；
    （ｄ）少なくとも１つのセンサーの性質；及び
    （ｅ）前記シーンの性質；
    のうちの少なくとも１つの関数である、
    ことを特徴とする請求項１に記載のシステム。
23. 前記コンピュータデバイスは整合ウィンドウを比較するよう構成され、
    前記整合ウィンドウは該整合ウィンドウが局所的独自パターンの画像を確実に有すべく十分大きくなるよう選択される、
    ことを特徴とする請求項１に記載のシステム。
24. 前記コンピュータデバイスは整合ウィンドウを比較するよう構成され、
    前記整合ウィンドウが局所的独自パターンの画像を有するよう要求されるものより小さい、
    ことを特徴とする請求項１に記載のシステム。
25. 前記コンピュータデバイスが：
    （ａ）第１のサイズ及び形状を有する整合領域の第１セットを比較するステップ；
    （ｂ）前記第１のサイズ及び形状とは異なる第２のサイズ及び形状を有する整合領域の第２セットを比較するステップ；及び、
    （ｃ）ステップ（ａ）及び（ｂ）の結果を組み合わせるステップ；
    から構成され、
    それぞれの整合領域が局所的に非循環であるパターンウィンドウをカバーする、
    ことを特徴とする請求項１に記載のシステム。
26. 整合領域の前記第１セットが横指向の矩形の形状であり、
    整合領域の前記第２セットが縦指向の矩形の形状である、
    ことを特徴とする請求項２５に記載のシステム。
27. 前記観察位置が第１観察位置及び第２観察位置を有し、
    前記第１観察位置が前記第２観察位置の上に配置され、
    前記投影デバイスが前記第１観察位置及び第２観察位置で規定される線に沿って配置される、
    ことを特徴とする請求項１に記載のシステム。
28. 前記センサーが少なくとも３つの画像を取得し、
    それぞれの画像が独自の観察位置に関連する、
    ことを特徴とする請求項１に記載のシステム。
29. 前記ディスパリティマップが前記少なくとも３つの画像のすべてから同時に計算されることを特徴とする請求項２８に記載のシステム。
30. 複数の２つ１組のディスパリティマップが計算され、
    複数の２つ１組のディスパリティマップのそれぞれは独自の画像対から計算され、
    前記複数の２つ１組のディスパリティマップは複合ディスパリティマップを形成するよう組み合わされる、
    ことを特徴とする請求項２８に記載のシステム。
31. 単一の局所的独自パターンが投影されることを特徴とする請求項３０に記載のシステム。
32. 少なくとも２つの局所的独自パターンが投影され、
    それぞれの局所的独自パターンは、１対の画像のために計算される前記２つ１組のディスパリティマップを最適化するよう選択される、
    ことを特徴とする請求項３０に記載のシステム。
33. 前記少なくとも１つの投影デバイスが前記観察位置の１つと同一の位置に配置されることを特徴とする請求項１に記載のシステム。
34. 前記局所的独自パターンはオンラインで計算され、或いは、少なくとも１つの他の局所的独自パターン候補を使用して取得される画像で計算され事前に構築される少なくとも１つのディスパリティマップの性質に基づく１組のパターン候補から選択されることを特徴とする請求項１に記載のシステム。
35. シーンのディスパリティマップを取得する方法であって：
    （ａ）前記シーンの少なくとも１部分に投影すべき局所的独自パターンを生じさせる生成ステップ；
    （ｂ）前記シーンで取得される複数の画像であり、該複数の画像のそれぞれが独自の観察位置に関連するところの複数の画像を受信する受信ステップ；及び
    （ｃ）前記ディスパリティマップを生成するために前記局所的独自パターンを含む少なくとも２つの前記画像の対応するピクセルを整合させる整合ステップ；
    を有することを特徴とする方法。
36. 前記ディスパリティマップを使用して前記シーンにあるポイントへのレンジを計算するステップをさらに有することを特徴とする請求項３５に記載の方法。
37. 前記局所的独自パターンがグレーレベル値を有するパターン値から構成され、
    パターン値のそれぞれは、複数の起こり得る強度値から選択される強度を有する、
    ことを特徴とする請求項３５に記載の方法。
38. 前記局所的独自パターンが１組のバンドを有し、
    該バンドのそれぞれが少なくとも１つの連続関数に対応する、
    ことを特徴とする請求項３５に記載の方法。
39. 前記１組のバンドは、それぞれが周期関数に対応する複数のバンドを有し、かつ、該複数のバンドのうちの少なくとも２つが異なる位相又は周期を有することを特徴とする請求項３８に記載の方法。
40. 前記局所的独自パターンが個別的な文字のシンボルから構成されるシーケンスであることを特徴とする請求項３５に記載の方法。
41. 前記局所的独自パターンが特定サイズの複数のパターンウィンドウを有し、かつ、前記局所的独自パターンは、それぞれのパターンウィンドウが他のすべてのパターンウィンドウと少なくとも１つの特定ハミング距離だけ異なるという性質を有する、
    ことを特徴とする請求項４０に記載の方法。
42. 前記局所的独自パターンは、それぞれのパターンウィンドウが擬似画像化スコアリング方法に従って他のそれぞれのパターンウィンドウから区別可能であるという性質を有し、
    前記方法は、
    （ａ）パターンウィンドウと、２分の１のピクセルオフセットを考慮に入れたそれ自身との整合を表す第１整合スコアの最小値を導き出し、
    （ｂ）該第１整合スコアの最小値と前記パターンウィンドウの他のパターンウィンドウへの整合を表す第２整合スコアの最大値との比較を行う、
    ステップを有することを特徴とする請求項４０に記載の方法。
43. 前記局所的独自パターンが、パターンスコアを最適化するよう選択され、
    前記パターンスコアは：
    （ａ）パターン拡大縮小及び短縮遠近効果；
    （ｂ）離散的サンプリング効果；
    （ｃ）少なくとも１つの投影デバイスの性質；
    （ｄ）少なくとも１つのセンサーの性質；及び
    （ｅ）前記シーンの性質；
    のうちの少なくとも１つの関数である、
    ことを特徴とする請求項３５に記載の方法。
44. 対応するピクセルを整合させる前記整合ステップが整合ウィンドウを比較する比較ステップを有し、
    前記整合ウィンドウは該整合ウィンドウが局所的独自パターンの画像を確実に有すべく十分大きくなるよう選択される、
    ことを特徴とする請求項３５に記載の方法。
45. 対応するピクセルを整合させる前記整合ステップが整合ウィンドウを比較する比較ステップを有し、
    前記整合ウィンドウは局所的独自パターンの画像を有するよう要求されるものより小さい、
    ことを特徴とする請求項３５に記載の方法。
46. 対応するピクセルを整合させる前記整合ステップが：
    （ｄ）第１のサイズ及び形状を有する整合領域の第１セットを比較するステップ；
    （ｅ）前記第１のサイズ及び形状とは異なる第２のサイズ及び形状を有する整合領域の第２セットを比較するステップ；及び、
    （ｆ）ステップ（ｄ）及び（ｅ）の結果を組み合わせるステップ；
    を有し、
    それぞれの整合領域が局所的に非循環であるパターンウィンドウをカバーする、
    ことを特徴とする請求項３５に記載の方法。
47. 前記ピクセルを比較するステップが、
    複数の２つ１組のディスパリティマップであって該複数の２つ１組のディスパリティマップのそれぞれは独自の画像対から計算されるところの複数の２つ１組のディスパリティマップを計算する計算ステップ、及び、
    複合ディスパリティマップを形成するよう前記複数の２つ１組のディスパリティマップを組み合わせる組み合わせステップ、
    を有することを特徴とする請求項４６に記載の方法。
48. コンピュータ可読媒体であって：
    （ｄ）投影デバイスをしてシーンの少なくとも１部分に局所的独自パターンを投影させ；
    （ｅ）前記シーンの複数の画像であり該複数の画像のそれぞれが独自の観察位置に関連するところの複数の画像を受信し；かつ、
    （ｆ）前記ディスパリティマップを生成するために前記局所的独自パターンを含む少なくとも２つの前記画像の対応するピクセルを整合させる；
    ステップを実行するための情報を記憶するコンピュータ可読媒体。

Images