JP2008537190A - 赤外線パターンを照射することによる対象物の三次元像の生成 - Google Patents

Abstract

概略の態様によれば、画像処理は、三次元対象物に赤外線パターンを投射することと、前記パターンを前記三次元対象物に投射している間に前記三次元対象物の第１画像、第２画像、及び第３画像を生成することとを含む。前記第１画像および前記第２画像は前記三次元対象物と前記パターンとを含んでいる。前記第１画像と前記第２画像とは、それぞれ第１カメラと第２カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される。前記第３画像は、前記三次元対象物は含んでいるが前記パターンは含んでいない。該画像処理はまた、前記第１画像の複数のピクセルの一部と前記第２画像の複数のピクセルの一部との第１ペア対応関係を確立することを含む。該画像処理はさらに、前記第１ペア対応関係と前記第３画像とに基づいて、前記三次元対象物の三次元構造を描く二次元画像を生成することを含む。

Description

本開示は、画像処理に関する。

＝＝関連出願の相互参照＝＝
本願は、２００５年１月７日に出願された米国仮出願シリアル番号６０／６４１７５２「CREATING 3D IMAGES OF OBJECTS BY ILLUMINATING WITH INFRARED PATTERNS」に基づく優先権を主張するものである。この仮出願の内容の全体を本願明細書に援用する。

三次元デジタル化市場には、様々な目的の工業製品が存在する。例えば、医療用途、娯楽産業用途（例えば、三次元ゲーム、映画、アニメーションなど）、ファッションデザイン（例えば、三次元衣類デザイン、衣装合わせ、美容整形など）、遺跡の修復および／または保存、犯罪捜査用途（例えば、犯罪現場捜査）、オンライン商品展示（例えば、オンライン博物館・美術館、オンラインストアなど）などが挙げられる。

三次元デジタル化技法は概ね、能動検知と受動検知の２種類に分類される。第一の分類に属する技法である能動検知では通常、測定／観察する場面に向かって特定のエネルギー（例えば、光および／または音など）を発して、その反射エネルギーを受け取る、またはその反射パターンを観察し、光学または音響学での物理法則を利用してその場面におけるセンサーから対象物への距離を導き出す。能動検知では通常、光照射部品の複雑かつ高度な光学設計が必要となり、また、通常、三次元的捕捉を実行しやすくするために、制御された周囲照明を必要とする。この分類に入るセンサーは、走査システムの特定部品を物理的に動かすという通常の必要性（例えば、この分類に入るレーザー放射部品は、対象物の異なる線を走査するために動かす必要がある）から走査手順を実行するためにある程度の時間が通常は必要となるため、一般的には静的場面／対象物を検知することに限定される。能動三次元検知技法としては、レーザースキャン、モアレ縞形成、タイム・オブ・フライト、構造化光照射などが挙げられる。

一方、二番目の分類に属する技法である受動検知では通常、場面に向かってエネルギーを放射することはない。その代わりにこの技法では、例えば輝度および／または色などその場面で得られる特定の信号を捕捉する。そして、センサー構成情報と共にこれらの信号を分析してその場面の三次元情報を得る。立体視（２つ以上のカメラ）が、受動三次元感知の典型的な例である。

受動検知では通常、複雑な光学設計は必要ない。例えば、立体視システムは通常、場面／対象物のスナップショットを撮影して単純な装置で三次元情報を復元する。場面／対象物から三次元情報と色・質感情報との両方を捕捉するために、一つのシステムでさらに多くのカメラを統合させたシステムもある。さらに、十分に速いコンピュータＣＰＵタイムを持ったシステムでは動的な場面を扱うことがある。２つの視界を合わせるのに十分な特徴を立体キューが確実に有するようにするために、立体視系システムでは通常、場面／対象物上に何らかの追加の特徴を導入する必要がある。このようなパターンをその表面に投影するために、プロジェクタ（例えば、スライドプロジェクタ、ＬＣＤなど）がよく使用される。このようなシステムでは、(1)特徴が重ねられた画像と、(2)特徴が重ねられていない場面／対象物の色・質感画像との両方を捕捉するために、該パターンをオン・オフする。このためには一般的に、パターンをオン・オフするための特定の機構が必要となる。さらに、着目する対象物が人間である場合、その人の顔にパターンを照射することはその人の目に不快感をもたらす可能性が生じる。

公知のステレオシステムでは、２つのステレオ視界の間の対応関係を確立する。一般的に、この対応関係又はマッチングの計算のための主に２種類の方法がある。第１の方法は、特徴に基づく方法であり、例えば角、端、線分などの場面に関する様々な情報を含む画像におけるこれらの位置の対応関係を作成する。第２の方法は、領域に基づくマッチング方法であり、画像の局部領域におけるピクセルの類似性に基づいて２つの視界を対応付ける。特徴に基づく方法（第１の方法）は、表面の質感特徴情報を使用し、限られた数のピクセルに対して対応関係を生成する。領域に基づく方法（第２の方法）は一般的に、計算にかかるコストは高くなるが、高密度の対応関係を生成できる。三次元デジタル化の場合、三次元の表面をサンプルする解像度が高いほど、通常は表面をより良く捕捉できる。特徴に基づくステレオマッチング方法は通常、この目的に十分な数の対応付けされた点を提供しない。領域に基づくステレオマッチング方法は通常、表面において十分な数の三次元サンプルを生成することができるが、特に高解像度の読取りをするので計算時間が長くなることがある。

ここで開示する少なくとも一つ実施形態は、立体視受動検知技法を基にした三次元デジタイザシステムを提供する。このようなデジタイザシステムは、部品の物理的な動きを必要としないので、リアルタイムで場面を捕捉できる。このデジタイザシステムはまた、場面にパターンを投射するために赤外線フィルタを使用し、これによってシステムは、計測画像とテクスチャ画像の両方を同時に捕捉できる。これらの特徴によって、このシステムは、静的対象物だけではなく、動的な場面の３次元再現にも適している。このシステムの単純かつ明快な原理は、複雑な機械的または電気的設計、または特別な整備を必要としない。このシステムは、通常の事務所環境で動作し、制御された周囲照明を必要とせず、ゆえに移動及び使用が容易である。このシステムはまた、立体視のパターンとして基準ストライプを使用し、画面間の対応関係を効率的に正確に特定することを助ける後述する対応付け伝播技法を使用してもよい。システムはまた、センサーおよび数値計算によるノイズを効率的に処理するために、カルマンフィルター及び非均一有理Ｂスプライン表面合わせを使用してフィルタリングとスムージングを実行してもよい。

概略の態様によれば、画像を処理することは、三次元対象物に赤外線パターンを投射することを含む。画像を処理することは、さらに、前記三次元対象物に前記パターンを投射している間に前記三次元対象物の第１画像と、第２画像と、第３画像とを生成することを含む。前記第１画像は前記三次元対象物と前記パターンとを含み、前記第１画像は複数のピクセルを有する二次元デジタル画像である。前記第１画像は、第１カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される。前記第２画像は前記三次元対象物と前記パターンとを含み、前記第２画像は複数のピクセルを有する二次元デジタル画像である。前記第２画像は、第２カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される。前記第１カメラと前記第２カメラは、既知の物理的関係を持つ第１ステレオペアとして配列されている。前記第３画像は、前記三次元対象物を含み前記パターンを含まない、複数のピクセルを有する二次元デジタル画像である。画像を処理することは、さらに、前記第１画像の前記複数のピクセルの一部と前記第２画像の前記複数のピクセルの一部との間に第１ペア対応関係を確立することを含む。画像を処理することは、さらに、前記第１ペア対応関係と前記第３画像とに基づいて、前記三次元対象物の三次元構造を描く二次元画像を作成することを含む。

上記の概略の態様に係る実施形態は、以下の特徴の一つ以上を含んでよい。例えば、前記赤外線パターンを投射することは、ランダムでない赤外線パターンを投射することを含んでもよい。前記パターンには、縦方向のストライプが含まれていてもよい。前記光は赤外線以外の光でもあってもよい。前記第３画像は、第３カメラにおいてフィルタリングされていない光を捕捉することによって生成されてもよい。前記第３カメラはテクスチャカメラであってもよい。

前記第１ペア対応関係を確立することは、前記第１画像の最初のピクセルと前記第２画像の対応するピクセルとの間の対応関係を決定することを含んでもよい。前記第１ペア対応関係を確立することは、また、前記第１画像の最初のピクセルと前記第２画像のこれに対応するピクセルとの間の前記対応関係に基づいて、前記第１画像の他のピクセルと前記第２画像の対応するピクセルとの間の対応関係を決定することを含んでよい。

前記第１ペア対応を確立することは、前記第１画像の第１の特定の水平線上に位置する第１の最初のピクセルと、前記第１の最初のピクセルに対応する第１対応ピクセルとの間の対応関係を決定することを含んでもよい。前記第１対応ピクセルは、前記第２画像の前記第１の特定の水平線上に位置していてもよい。前記第１ペア対応を確立することはまた、前記第１画像の前記第１の特定の水平線上に位置する他のピクセルと、前記他のピクセルに対応する対応ピクセルとの間の対応を決定することを含んでもよい。前記対応ピクセルは、前記第２画像の前記第１の特定の水平線上に位置していてもよい。前記第１ペア対応関係を確立することはまた、前記第１画像の第２の特定の水平線上に位置する第２の最初のピクセルと、前記第２の最初のピクセルに対応する第２対応ピクセルとの間の対応関係を決定することを含んでもよい。前記第２対応ピクセルは、前記第２画像の前記第２の特定の水平線上に位置していてもよい。前記第１ペア対応関係を確立することはまた、前記第１画像の前記第２の特定の水平線上に位置する他のピクセルと、前記他のピクセルに対応する対応ピクセルとの間の対応関係を決定することを含んでもよい。前記対応ピクセルは、前記第２画像の前記第２の特定の水平線上に位置していてもよい。

前記第１ペア対応関係を確立することは、前記第１画像の各水平線上の最初のピクセルと、前記第２画像の各水平線上の対応するピクセルとの間の対応を決定することを含んでもよい。前記第１画像の他のピクセルと前記第２画像の対応するピクセルとの間の対応関係が、前記第１画像の各水平線上の前記最初のピクセルと前記第２画像の各水平線上のこれに対応するピクセルとの間の前記対応関係に基づいて決定されてもよい。前記第１の最初のピクセルが、前記第１の特定の水平線上の複数の前記パターンピクセルから算出される重心パターンピクセルであってもよい。

前記第１画像の前記第２の特定の水平線に位置する前記他のピクセルのうち少なくとも一つの対応関係を決定することは、前記第２の特定の水平線上に位置する少なくとも一つの他のピクセルの決定された対応関係に基づいて行われてもよい。

前記第１画像の前記第２の特定の水平線上に位置する前記他のピクセルのうち少なくとも一つの対応関係を決定することは、前記第１の特定の水平線上に位置する少なくとも一つのピクセルの決定された対応関係に基づいて行われてもよい。前記第１の特定の水平線上に位置する前記少なくとも一つのピクセルが、前記第２の特定の水平線上に位置する前記他のピクセルのうちの前記少なくとも一つと同じストライプ縁上にあってもよい。

前記三次元構造を描く前記二次元画像を構築することは、前記第１ペア対応関係に基づいて第１の三次元点のセットを形成することと、前記第１の三次元点のセットに基づいて第１の三次元表面モデルを生成することとを含んでもよい。

前記三次元対象物の第４画像は、前記三次元対象物に前記パターンを投射している間に生成されてもよい。前記第４画像は、複数のピクセルを有する二次元デジタル画像であってもよく、第４カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成されてもよい。

前記三次元対象物の第５画像は、前記三次元対象物に前記パターンを投射している間に生成されてもよい。前記第５画像は、複数のピクセルを有する二次元デジタル画像であってもよく、第５カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成されてもよい。前記第４カメラと前記第５カメラとは、既知の物理的関係を有する第２ステレオペアとして配列されてもよい。第２ペア対応関係が、前記第４画像の前記複数のピクセルの一部と前記第５画像の前記複数のピクセルの一部との間で確立されてもよい。前記三次元対象物の三次元構造を描く前記二次元画像の構築は、前記第２ペア対応関係にさらに基づいて行われてもよい。

前記三次元像を描く前記二次元画像を構築することは、前記第１ペア対応関係に基づいて第１の三次元表面モデルを生成することと、前記第２ペア対応関係に基づいて第２の三次元表面モデルを生成することと、前記第１と第２の三次元表面モデルを位置合わせすることとを含んでもよい。前記第１と第２の三次元表面モデルを位置合わせすることは、前記第１と第２の三次元表面モデルの共通の表面を特定することを含んでもよい。レジストレーション行列の最初の推定を行うために、前記共通の表面を使用してもよい。前記第１と第２の三次元表面モデルの間で最も近い点同士を特定するために、レジストレーション行列の前記最初の推定を使用してもよい。

前記第１の三次元表面モデルを生成することは、前記第１ペア対応関係に基づいて第１の三次元点のセットを形成することと、前記第１の三次元点のセットに基づいて前記第１の三次元表面モデルを生成することとを含んでもよい。前記第２の三次元表面モデルを生成することは、前記第２ペア対応関係に基づいて第２の三次元点のセットを作成することと、前記第２の三次元点のセットに基づいて前記第２の三次元表面モデルを生成することとを含んでもよい。

統合された三次元表面モデルを作成するために、位置合わせの後に前記第１と第２の三次元表面モデルを統合してもよい。前記統合された三次元表面モデルにテクスチャを加えてもよい。

別の概略の態様によれば、画像を処理するシステムが、第２カメラに接続された第１カメラを有する第１ステレオカメラペアと、第４カメラに接続された第３カメラを有する第２ステレオカメラペアとを備えている。前記システムはまた、４つの赤外線フィルタのセットであって、それぞれが４つのカメラの１つに作用可能に接続されている赤外線フィルタのセットと、プロジェクタとを備えている。前記システムはさらに、前記４つのカメラと前記プロジェクタとに接続されたコンピュータ読み取り可能な媒体を備えている。前記コンピュータ読み取り可能な媒体は、三次元対象物に前記プロジェクタから赤外線パターンを投射するための命令を含んでいる。前記コンピュータ読み取り可能な媒体はまた、前記パターンを前記三次元対象物に投射している間に、前記三次元対象物の第１画像と、第２画像と、第３画像とを生成するための命令も含んでいる。前記第１画像は、前記三次元対象物と前記パターンとを含んでおり、複数のピクセルを有する二次元デジタル画像である。前記第１画像は、第１カメラにおいて赤外線フィルタによりフィルタリングされた光を捕捉することによって生成される。前記第２画像は、前記三次元対象物と前記パターンとを含んでおり、複数のピクセルを有する二次元デジタル画像である。前記第２画像は、第２カメラにおいて赤外線フィルタによりフィルタリングされた光を捕捉することによって生成される。前記第１カメラと第２カメラとは、既知の物理的関係を有する第１ステレオペアとして配列されている。前記第３画像は、前記三次元対象物を含み前記パターンを含まない、複数のピクセルを有する二次元デジタル画像である。前記第３画像は、テクスチャカメラで光を捕捉することによって生成される。前記コンピュータ読み取り可能な媒体はまた、前記第１画像の前記複数のピクセルの一部と前記第２画像の前記複数のピクセルの一部との間に第１ペア対応関係を確立するための命令も含んでいる。前記コンピュータ読み取り可能な媒体はさらに、前記第１ペア対応関係と前記第３画像とに基づいて、前記三次元対象物の三次元構造を描く二次元画像を構築することも含んでいる。

上記概略の態様に係る実施形態は、以下の特徴の一つ以上を有していてもよい。例えば、前記プロジェクタが可視領域と赤外線領域の光を生成できる光源を有していてもよい。前記プロジェクタが第５の赤外線フィルタを有していてもよい。前記コンピュータ読み取り可能な媒体が、処理装置と記憶装置のうち一つ以上を備えていてもよい。

別の概略の態様によれば、コンピュータ読み取り可能な媒体は、三次元対象物の捕捉された第１画像と、第２画像と、第３画像とにアクセスするための命令を含んでいる。前記第１画像は、前記三次元対象物にパターンを投射している間に捕捉され、前記三次元対象物と前記パターンとを含んでいる。前記第１画像は、複数のピクセルを有する二次元デジタル画像である。前記第１画像は、第１カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって作成される。前記第２画像は、前記三次元対象物に前記パターンを投射している間に捕捉され、前記三次元対象物と前記パターンとを含んでいる。前記第２画像は、複数のピクセルを有する二次元デジタル画像であり、第２カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される。前記第３画像は、前記三次元対象物に前記パターンを投射している間に捕捉され、前記三次元対象物を含み前記パターンを含まない。前記第３画像は複数のピクセルを有する二次元デジタル画像である。前記コンピュータ読み取り可能な媒体はまた、前記第１画像の前記複数のピクセルの一部と前記第２画像の前記複数のピクセルの一部との間に第１ペア対応関係を確立するための命令も含んでいる。前記第１ペア対応関係は、前記第１画像と前記第２画像とを捕捉する間、既知の物理的関係を有する第１ステレオペアとして配列された前記第１カメラと前記第２カメラとに基づいて確立される。前記コンピュータ読み取り可能な媒体はまた、前記第１ペア対応関係と前記第３画像とに基づいて、前記三次元対象物の三次元構造を描く二次元画像を構築するための命令も含んでいる。

様々な態様、実施形態、特徴を、例えば、方法、装置、方法を実行するための装置、プログラムまたは他の命令セット、プログラムまたは他の命令セットを含む装置、コンピュータ読み取り可能な媒体のうちの一つ以上を使用して実施してもよい。前記コンピュータ読み取り可能な媒体は、例えば、命令群、ソフトウェア、画像、他のデータを含んでもよい。

一つ以上の実施形態の詳細を、添付の図面と以下の記載において説明する。他の特徴は、以下の記載と図面と請求項から明らかとなるであろう。

図１を参照すると、三次元デジタル化システム１００の一つの実施形態が示されている。三次元デジタル化システム１００は、５台のカメラ１０２、１０４、１０６、１０８、１１０を備えている。カメラは、２対のステレオペア１０１ａと１０１ｂ、すなわちカメラ１０２および１０４から成るステレオペア１０１ａと、カメラ１０８および１１０から成るステレオペア１０１ｂと、一台のテクスチャカメラ１０６として配列されている。システム１００はさらに、パターンプロジェクタ１１２と、５つの赤外線フィルタ１１４（ステレオカメラ１０２、１０４、１０８、１１０それぞれに１つずつ、およびパターンプロジェクタ１１２に１つ）と、パターンを有するスライド１１６とを備えている。一例として、縦線パターンを有するスライド１１６が示されている。カメラ１０２、１０４、１０６、１０８、１１０は、ワイヤ１２０を介してコンピュータプロセッサ１１８に接続されている。

三次元デジタル化システム１００は、動的または静的場面の三次元情報を捕捉することができる。システム１００は、対象物を照らすために赤外照射を使用し、赤外線フィルタ１１４を使用する。システム１００は、プロジェクタ１１２と、フィルタ１１４と、所望のパターンを有するスライド１１６とを使用して所望のパターンを対象物に照射する。プロジェクタ１１２は、可視領域の光と赤外線領域の光とを生成できる通常の光源を有していてよい。その通常の光は、主に赤外光のみが照射されるようにフィルタリングされる。別の実施形態では、該プロジェクタは、赤外光源を備え、フィルタ１１４を持たなくてもよい。システム１００は、赤外線フィルタ１１４を一つずつそれぞれ備えたステレオカメラ１０２、１０４、１０８、１１０を使用して、重畳されたパターンを捕捉する。また、システム１００は、テクスチャカメラ１０６を使用して対象物の色・質感を同時に捕捉できる。カメラ１０６は、赤外線フィルタ１１４を有していないため可視光と赤外光を含む全ての入射光を受け取るが、可視光は通常、赤外光よりもかなり強いため、捕捉した画像に赤外線パターンを目に見えるようには表示しない。システム１００は、ワイヤ１２０を介してこの情報をコンピュータプロセッサ１１８に送る。コンピュータプロセッサ１１８は、テクスチャを持った一つの三次元表面を作成するために、この情報を用いる後述の処理２００を行ってよい。赤外照射と赤外線フィルタとの使用は、撮影中の対象物に可視的模様が当たらない技法を実現する。対象物が一人の人間の顔である場合、可視的模様がないということは、そのパターンがその人の注意をそらすことがないので、利点となり得る。また、赤外照射と赤外線フィルタの使用は、パターンをオン・オフする必要がないため、全ての画像を同時に取込むことを可能にする（例えばファイヤーワイヤーカード、ＵＳＢインタフェースなどの速度に依存する）。さらに、パターンをオン・オフする必要がないので、画像を捕捉するためにカメラを制御する以外は、追加のハードウェア制御を必要とすることなく画像を取込むことができる。

図２を参照すると、処理２００は、例えば対象物の三次元再現を実行するためにシステム１００を使用する。処理２００は、画像の取得（２０２）を含む。システム１００を使用する一つの実施形態では、画像の取得（２０２）の一部として、パターンを三次元対象物に投射している間に第１のステレオ画像と、第２のステレオ画像と、テクスチャ画像とを生成する。第１ステレオ画像は、ステレオペア１０１ａによって生成され、三次元対象物の第１画像と第２画像とを含んでいる。第１画像は、カメラ１０２において赤外線フィルタ１１４によってフィルタリングされた光を捕捉することによって生成される。第２画像は、カメラ１０４において赤外線フィルタ１１４によってフィルタリングされた光を捕捉することによって生成される。第１画像はパターンが付けられた三次元対象物を含み、ピクセルを含む二次元デジタル画像であってよい。同様に、第２画像はパターンが付けられた三次元対象物を含み、ピクセルを有する二次元デジタル画像である。第２ステレオ画像は、ステレオペア１０１ｂによって生成され、三次元対象物の第３画像と第４画像とを含む。第３画像は、カメラ１０８において赤外線フィルタ１１４によってフィルタリングされた光を捕捉することによって生成され、ピクセルを有する二次元デジタル画像である。同様に、第４画像は、カメラ１１０において赤外線フィルタ１１４によってフィルタリングされた光を捕捉することによって生成され、ピクセルを有する二次元デジタル画像である。

上述の実施形態では、三次元対象物のテクスチャ画像は、テクスチャカメラ１０６においてフィルタリングされていない光を捕捉することによって生成される。テクスチャ画像は、赤外線パターンを示すことなく三次元対象物を含み、ピクセルを有する二次元デジタル画像である。

処理２００は、（工程２０１を囲む破線で示すように）選択肢として、カメラ１０２、１０４、１０６、１０８、１１０の一つ以上または全てのキャリブレーション（２０１）を含む。キャリブレーション（２０１）の一部として、例えば外部パラメータおよび内部パラメータなどの、一つ以上の、通常は複数のカメラパラメータを決定して変更してよい。外部パラメータは、基準座標システムに対するカメラの平行移動および回転を含む。内部パラメータは、カメラの焦点距離パラメータ、画像中心パラメータ、レンズ歪みパラメータを含む。本実施形態におけるキャリブレーションはシステムセットアップの間に実行され、内部パラメータと外部パラメータの両方が格納され後で三次元再現処理で使用される。システム１００は、カメラ１０２、１０４、１０６、１０８、１１０の一つを他のカメラに対して動かした場合、再キャリブレーションが必要となる場合がある。キャリブレーションは通常、人間による入力を含むが、必ずしも人間による入力を必要としなくてもよい。処理２００における他の工程、特にその後に続く工程は、通常、人間による入力なしに自動的に実行される。

処理２００は、第１の三次元表面モデル（第１メッシュとも呼ぶ）の生成（２０４）を含む。第１の三次元表面モデルの生成（２０４）は、カメラパラメータの一つ以上と、第１ステレオ画像とを使用してよい。カメラパラメータを使用して、当技術では周知の技法に従って第１ステレオ画像を修正してもよい。一つの実施形態における修正工程の一部として、外部パラメータおよび内部パラメータを使用して、ステレオペア１０１ａで捕捉された各画像に対して３×３修正行列を算出する。これらの修正行列は、ステレオペア１０１ａの２つの画像を変換して、各画像の対応するピクセルが同じ水平位置を持つようにする。第１ステレオ画像を使用して、第１画像の各ピクセルと第２画像の各ピクセルとの間の第１ペア対応関係を確立する。第１ペア対応関係を使用して、三次元点群の第１セットを確立する。そしてこの第１セットを使用して第１の三次元表面モデルを生成（２０４）する。

同様に、処理２００は、第２の三次元表面モデル（第２メッシュとも呼ぶ）の生成（２０６）を含む。第２の三次元表面モデルの生成は、カメラパラメータの一つ以上と、第２ステレオ画像とを使用してよい。カメラパラメータを使用して、当技術では周知の技法に従って第２ステレオ画像を修正してよい。一つの実施形態において、前述のとおり、外部パラメータおよび内部パラメータを使用して、ステレオペア１０１ｂで捕捉された各画像に対して３×３修正行列を算出する。これらの修正行列は、ステレオペア１０１ｂの２つの画像を変換して、各画像の対応するピクセルが同じ水平位置を持つようにする。第２ステレオ画像を使用して、第３画像の各ピクセルと第４画像の各ピクセルとの間の第２ペア対応関係を確立する。第２ペア対応関係を使用して、三次元点群の第２セットを生成する。そしてこの第２セットを使用して第２の三次元表面モデルを生成（２０６）する。

第１および第２の三次元表面モデルの生成工程（２０４および２０６）の一部として、例えば、ステレオマッチング方法を使用する。一つのステレオマッチング方法は、三次元対象物にストライプ群のセットから成る所定のパターンを投射することを含む。この所定のパターンによって、第１画像のストライプピクセルと第２画像のストライプピクセルとの間に第１ペア対応関係を確立するのに十分な情報が提供される。同様に、この所定のパターンによって、第３画像のストライプピクセルと第４画像のストライプピクセルとの間に第２ペア対応関係を確立するのに十分な情報が提供される。対象物の再現される三次元画像の解像度は、対象物の三次元表面を算出するためにストライプを使用するため、ストライプの解像度によって決まる。従って、投射されるパターンの一部としてより多くのストライプを使用すれば、表面上のより多くの三次元点がサンプルされ、より多くの表面詳細が捕捉される。デジタル化する対象物の複雑さに応じて適切なパターンを選択することができる。例えば、詳細物がより少ない表面（例えばフットボールのボールなど）では、詳細物がより多い表面（例えば人間の顔など）よりも少ないストライプで足りる。

一つの実施形態では、前記ステレオマッチングは視差伝播手法を含む。視差伝播手法は、ステレオペア１０１ａと１０１ｂそれぞれの２つの画像において最初の対応するピクセルペアを特定することを含む。最初の対応するピクセルペアは、シードとも称される。最初の対応するピクセルの特定を目的として、アンカー位置を提供するために基準ストライプを使用してもよい。２つの画像それぞれにおけるこの基準ストライプをストライプの第１対応ペアと見なしてもよい。図３Ａ〜図３Ｂに示す一つの実施形態では、基準ストライプ３０８はその他のストライプ３０６よりも幅が広い。別の実施形態では、基準ストライプ３０８はその他のストライプ３０６と同じ幅を有していてもよい。

最初の対応するピクセルを特定した後、視差伝播手法では、図１１〜図１３に関して後でさらに詳細に説明するように、最初の対応するピクセルを一つ以上の方向に伝播させる。最初の対応するピクセルの伝播工程の一部として、一つ以上の奥行き不連続が発生する可能性を考慮する。第１画像３０２、第２画像３０４、第３画像３１２、第４画像３１４それぞれで、対象物（例えば図３Ａの顔など）の下顎の面と首の面の間に奥行き不連続３１０が発生している。奥行き不連続は、異なる奥行きを有する２つ（またはそれ以上）の物理的な表面の接合部において発生する。奥行き不連続によって、２つの画像を対応付けるために視差伝播手法で使用するストライプが変形するため、２つの画像での最初の対応するピクセルの伝播が困難になる。例えば、奥行き不連続によって、物理的に同一のストライプが、後で図４についてさらに述べるように、対象物（例えば図３Ａの顔など）の下顎／首の領域、首／衣服の領域、および／または鼻の領域におけるいくつかの分断された線分として表示される場合がある。さらに、奥行き不連続によって、後で図５についてさらに述べるとおり、２つのストライプが互いに接合して一つのストライプになることもある。

図４は、画像３０２、３０４、３１２、３１４の一つに投射されたストライプパターン４００の一例を、画像を省略して示す。図示のように、奥行き不連続によって、ストライプ４０２、４０４、４０６を含むストライプパターン４００が変形している。例えば、ストライプ４０２は、パターンが投射された対象物（例えば図３Ａの顔など）の下顎／首の領域に該当する領域４１２で分断されている。同様に、ストライプ４０４は、パターンが投射された対象物（例えば図３Ａの顔など）の鼻に該当する領域４１４で分断されている。ストライプ４０６は、領域４２０に隣接するストライプ端部４１６を有している。領域４２０は、パターンが投射された対象物（例えば図３Ａの顔など）の顔面下部と肩の間のスペースに該当する。一つの実施形態では、視差伝播手法において、上述した奥行き不連続を考慮する。例えば、視差伝播手法では、後に図７Ａ〜図７Ｃについて詳細に説明するように、ストライプ端部４１６が伝播を止めるようにストライプ端部４１６をマークするため、ストライプ端部４１６間を最初の対応するピクセルが伝播することはない。

上述したとおり、奥行き不連続が、２つのストライプ部分を互いに結合させる場合がある。図５は、ステレオカメラ１０２、１０４、１０８、１１０の一つで捕捉されたストライプパターン５００の一例を示す図である。図４と同様に、ストライプパターン５００が画像に投射され、その画像を取り除いてパターン５００のみを示している。ストライプパターン５００は、ストライプ５０２と５０４とを含む。ストライプ５０２は、ストライプ端部５０８を含む。ストライプ５０２が奥行き不連続のためにストライプ端部５０８で分断され、ストライプ５０２の下方部分がストライプ５０４の下方部分５０６へとずれている。最初の対応するピクセルが単にストライプ５０４に沿って伝播されると、誤った対応付けを招く可能性が高い。これは、視差伝播の一部として、後に図１１〜図１３について詳細に説明するとおり、最初の対応するピクセルの最良の視差を見つけるために小ウィンドウ（例えば、±３ピクセル）を使用するからである。この「視差」とは、最初の対応するピクセル間の列位置の差異を意味する。最初の対応するピクセル間の列位置の差異が最小のときに最良の視差となる。しかし、奥行き不連続によって２つのストライプ部分が互いに結合することになれば、この最良の視差は調査ウィンドウから外れてしまう可能性がある。従って、最初の対応するピクセルが、奥行き不連続が発生しているストライプに沿って伝播される場合（例えば部分５０６に沿って）、誤った対応付けが生成される。視差伝播手法の一つの実施形態には、後に図１３についてより詳細に説明するとおり、この問題に対処するためのいくつかの手法が取り入れられている。

上述したとおり、視差伝播手法の一つの実施形態には、最初の対応するピクセルを特定することが含まれている。最初の対応するピクセルを特定する方法としては、使用するパターンの種類によっていくつか考えられる。一つの実施形態では、最初の対応するピクセルを特定するために特別な基準ストライプを使用する。図３Ａ〜図３Ｂに示す本実施形態では、投射されたパターンは、その他のストライプ３０６よりも幅の広い基準ストライプ３０８を含み、基準ストライプ３０８がその画像の中で特異な存在となるようになっている。従って、最初の対応するピクセルを特定することは、２つの画像中の基準ストライプ３０８の位置を特定することによって達成される。

図６は、ラスターラインとも呼ばれる水平方向の線６１４群を含むグリッド６００と、ストライプ６０２、６０４、６０６、６０８、６１０とを例示する図である。ストライプ６０２、６０４、６０６、６０８、６１０は、対象物（例えば、図３Ａの顔など）に重畳されたストライプパターンを構成する。基準ストライプとも呼ばれるストライプ６０２は、ストライプ６０４、６０６、６０８、６１０とは異なる。基準ストライプ６０２は、投射されたパターンの中央に位置しており、その幅はｗ’である。基準ストライプ６０２の幅ｗ’は、ストライプ６０４、６０６、６０８、６１０の幅ｗの約２倍である。ストライプ６０２、６０４、６０６、６０８、６１０は、互いから距離ｄの範囲内に位置している。一つの実施形態では、距離ｄは幅ｗと同じ値である。別の実施形態では、距離ｄは幅ｗよりも長くても短くてもよい。

ストライプ６０２、６０４、６０６、６０８、６１０は、奥行き不連続によって異なる位置で分断されることがある。例えば、基準ストライプ６０２は、対象物（例えば、図３Ａの顔など）の下顎／首の領域に該当している可能性のある領域６１１において分断されている。基準ストライプ６０２はまた、対象物（例えば、図３Ａの顔など）の首／衣服の領域において分断されている可能性がある。また、奥行き不連続によって、基準ストライプ６０２の一部が他の投射されたストライプの一部と結合して、画像の中で一つのストライプを形成することもある。このように奥行き不連続によって、画像３０２、３０４、３１２、３１４において基準ストライプを完全に復元することが困難となる場合がある。しかし、よく見てみると、「他よりも広い」という特性は、基準ストライプ６０２に沿った至るところで保持されていることが分かる。よって、基準ストライプ６０２に属する部分を特定するのにこの特性を利用してよい。

影およびオクルージョン（像一体）は通常、画像の中に幅が広いストライプを作り出し、これが基準ストライプの様相を呈すことがある。すなわち、影およびオクルージョンが基準ストライプ６０２の特定を困難にする。視差伝播手法では、影およびオクルージョンによって作成されたストライプを、基準ストライプ６０２を選択する際に考慮されるストライプ群から排除する。このために、一つの実施形態では、視差伝播手法において大多数のストライプの幅ｗを勝者独り占め方式に従って推定する。勝者独り占め方式は当技術分野では周知である。勝者独り占め方式では、幅ｗを決定するために投票方式が使用される。投票方式に基づいて、縁ストライプピクセル（例えば、ストライプの左右縁にそれぞれ位置するストライプピクセル）がそのストライプの幅に関して票を投じる。一つの実施形態では、右縁ストライプピクセルが、自身の局部ストライプの幅について票を投じるために自身に最も近い左縁ピクセルを見る。例えば、右縁ストライプピクセル６１６は、ストライプ６０４の幅について票を投じるために最も近い左縁のストライプピクセル６１８を見る。ストライプ６０４の別の縁ストライプピクセルおよび全ラスターライン６１４上の他のストライプの縁ストライプピクセルも同様にして票を投じる。勝者独り占め方式は、全ストライプに亘って最多票を集めた幅を、大多数のストライプの幅ｗとして選択する。視差伝播手法は、幅ｗの２倍よりも広い幅を有するストライプは影およびオクルージョンによって生成されたものである可能性が高いため、基準ストライプ６０２を選択する際に考慮されるストライプから除外される。

撮影される対象物（例えば、図３Ａの顔など）の特徴によって、ステレオペア１０１ａおよび１０１ｂのそれぞれで捕捉された画像にさらなるストライプが生成されることがある。例えば、対象物が人間の顔である場合、眉毛および顔の毛によって、投射されたストライプパターンの間に小さなストライプが現れることもある。この小さいストライプはノイズデータとも呼ばれ、平均法を用いる場合、幅ｗの推定に影響を与える。平均法では、幅ｗを算出するために全ラスターライン６１４上の全ストライプの幅の平均を取る。よって平均法では、ノイズデータの幅が幅ｗの算出で使用されてしまう。しかし、勝者独り占め方式では、全ストライプに亘って最多票を獲得した幅ｗを選択することによって、ノイズデータをよけるようにする。ノイズデータの幅が数票獲得したとしても、大多数のストライプの幅ｗほど多くの票を得ることは通常はない。その結果、視差伝播手法は、通常、ノイズデータの影響を低減する。

幅ｗを決定した後に、基準ストライプ６０２上の基準ストライプピクセルを特定する。図７Ａ〜図７Ｂは、ステレオペア１０１ａおよび１０１ｂのそれぞれで捕捉された画像の基準ストライプピクセルを特定して最初の対応するピクセルを見つけ出すための処理７００を例示する図である。処理７００は、ラスターライン６１４ごとの輝度プロファイルの抽出（７０２）を含む。図７Ｃを参照すると、輝度プロファイル７０１には、曲線７０３が含まれている。曲線７０３は、１つのラスターライン６１４に位置する各ピクセルの輝度の値を表す。曲線７０３は、極大点７０３ａ、７０３ｂ、７０３ｃ、７０３ｄと、極小点７０３ｅ、７０３ｆ、７０３ｇ、７０３ｈと、調査ウィンドウ７０５とを含む。処理７００は、ラスターライン６１４ごとの輝度プロファイルの局所極点（例えば、極大点および極小点）の算出（７０４）を含む。極大点を算出するために、３ピクセル幅の調査ウィンドウ７０５を使用する。調査ウィンドウ７０５は、曲線７０３の開始部分７０３ｉから曲線７０３の終了部分７０３ｊまで曲線７０３を調査し、調査ウィンドウ７０５の中心にあるピクセルの輝度がその近傍のピクセルの輝度よりも大きいと、そのたびにその中心にあるピクセルの位置と輝度を局所極大点データベースに格納する。このようにして、極大点７０３ａ、７０３ｂ、７０３ｃ、７０３ｄの位置と輝度を特定して、局所極大点データベースに格納する。極大点を特定するのと同様に、調査ウィンドウ７０５は、曲線７０３の開始部分７０３ｉから曲線７０３の終了部分７０３ｊまで曲線７０３を調査し、調査ウィンドウ７０５の中心のピクセルの輝度がその近傍のピクセルの輝度よりも小さいと、そのたびにその中心のピクセルの位置と値を局所極小点データベースに格納する。このようにして、極小点７０３ｅ、７０３ｆ、７０３ｇ、７０３ｈの位置と輝度を特定する。

処理７００は、また、各ラスターライン６１４に沿った輝度プロファイルの極小点で、基準ストライプ上にあると想定される点、ｋ^＊を特定すること（７０６）も含む。ｋ^＊は以下のようにして求められる：
k_n ^* = arg_max (|X_i-X_j|*|((Int_i+Int_j)/2)-Int_k|) （式１）

ここで、ｉおよびｊは輝度プロファイルの隣接する２つの極大点を示す添え字であり、Ｘ_ｉおよびＸ_ｊはその２つの極大点の位置を示し、Ｉｎｔ_ｉはＸ_ｉでの輝度値を、Ｉｎｔ_ｊはＸ_ｉでの輝度値を示し、ｋは極大点Ｘ_ｉおよびＸ_ｊの間の極小点を示し、Ｉｎｔ_ｋは局所極小点ｋでの輝度を示し、ｎはラスターライン６１４を示す添え字である。式１によって、基本的に、ラスターライン６１４ごとに（すなわち「ｎ」ごとに）基準ストライプ６０２上のピクセルを見つけ出す。ラスターライン６１４ごとの基準ストライプ６０２上のピクセルを特定するために、式１で、極小点ｋごとに、ｋに隣接する極大点の間の距離に、これら極大点の輝度の平均と極小点の輝度の差を掛けて面積を算出する。式１によって、この面積を最大にする極小点ｋ^＊を見つける。基準ストライプ６０２は他のストライプよりも幅が広く輝度が低いので、基準ストライプ上のピクセル場合に最大面積となるため、ｋ^＊は基準ストライプ上のピクセルを示している。例えば、図７Ｃから分かるとおり、基準ストライプ６０２が幅２ｄであるため、極大点７０３ｂと７０３ｃとの間の距離は３ｄであり、これは他の隣接する極大点間の距離よりも大きい。さらに、基準ストライプ６０２は他のストライプよりも輝度が低いため、ｋ^＊での輝度は他の極小点での輝度よりも低い。

ｋ^＊は、各ラスターライン６１４の基準ストライプピクセルの候補と見なされる。処理７００はまた、データベースへのｋ^＊の格納（７０８）を含む。例えば、データベースは、各ラスターライン６１４のｋ^＊を含むベクトルＲ＝{ｋ_ｎ ^＊，ｎ＝１，２．．．Ｎ}であってもよい。ここで、Ｎは、ステレオぺア１０１ａおよび１０１ｂのそれぞれで捕捉された画像内のラスターライン６１４の本数である。例えばベクトルＲは、基準ストライプ６０２上のピクセル６２６、６２８、６３０、６３２の位置を含んでいる。処理７００は、ステレオペア１０１ａおよび１０１ｂのそれぞれの画像全てに対して実行される。よって処理７００は、４つのベクトルＲ^１，Ｌ、Ｒ^１，Ｒ、Ｒ^２，Ｌ、Ｒ^２，Ｒを生成する。Ｒ^１，Ｌ、Ｒ^１，Ｒにはステレオペア１０１ａの左画像および右画像の基準ストライプピクセル候補のセットが含まれており、１はステレオペア１０１ａを、Ｌはステレオペア１０１ａの左画像を、Ｒはステレオペア１０１ａの右画像を指している。一方、Ｒ^２，Ｌ、Ｒ^２，Ｒにはステレオペア１０１ｂの左画像および右画像の基準ストライプピクセル候補のセットが含まれており、２はステレオペア１０１ｂを、Ｌはステレオペア１０１ｂの左画像を、Ｒはステレオペア１０１ｂの右画像を指している。

処理７００は、誤って特定された基準ストライプピクセルを取り除くために、ステレオペア１０１ａと１０１ｂのそれぞれの２つの画像の基準ストライプピクセルの対応付けを行うこと（７１０）を含む。２つの画像の基準ストライプピクセルの対応付け（７１０）は、Ｒ^１，Ｌの基準ストライプピクセルを、Ｒ^１，Ｒ内の同じラスターライン６１４位置を持つ対応する基準ストライプピクセルと対応付けることを含む。Ｒ^１，Ｌ内のどの基準ストライプピクセルにも、Ｒ^１，Ｒ内に対応するピクセルがあるはずである。このような対応付けのたびに、Ｒ^１，Ｌの基準ストライプピクセルとその対応するＲ^１，Ｒのピクセルとの対応付けスコアを、対応付けスコア関数を用いて計算し、後に図８について詳細に説明するように、対応付けられたピクセルの対応の質を評価する。また、対応相手として特定されたこのピクセルの近傍のピクセル（例えば、±３ピクセルなど）についても対応付けスコアを測定する。最も高い対応付けスコアを生成するピクセル（例えば、Ｒ^１，Ｌの基準ストライプピクセルに最も類似しているピクセル）を、Ｒ^１，Ｌの基準ストライプピクセルの実際の対応相手と見なす。従って、一つの実施形態では、指定された基準ストライプピクセルの最良の対応相手を決定するために、７つの対応付けスコアを計算する。この７つには、Ｒ^１，Ｒの対応する基準ストライプピクセルの１つの対応付けスコアと、その対応する基準ストライプピクセルの両側の±３ピクセルの６つの対応付けスコアが含まれる。

同様に、２つの画像の基準ストライプピクセルの対応付け（７１０）は、Ｒ^２，Ｌの基準ストライプピクセルを、Ｒ^２，Ｒ内の同じラスターライン位置を持つ対応する基準ストライプピクセルと対応付けることを含む。このような対応付けのたびに、後に図８について詳細に説明するように、対応付けられたピクセルの対応の質を判定するために対応付けスコアを計算する。前述のように、対応相手として特定されたこのピクセルの近傍のピクセル（例えば、±３ピクセル）についても対応付けスコアを測定する。最も高い対応付けスコアを生成するピクセル（例えば、Ｒ^２，Ｌの基準ストライプピクセルに最も類似しているピクセル）を、Ｒ^２，Ｌの基準ストライプピクセルの実際の対応相手と見なす。従って、一つの実施形態では、指定された基準ストライプピクセルの最良の対応相手を決定するために、７つの対応付けスコアを計算する。この７つには、Ｒ^２，Ｒの対応する基準ストライプピクセルの１つの対応付けスコアと、その対応する基準ストライプピクセルの両側の±３ピクセルの６つの対応付けスコアが含まれる。

工程（７１０）は、対象物（例えば、図３Ａの顔など）の鼻の領域または下顎／首の領域辺りの奥行き不連続によって生じたノイズおよび／または影のために誤って特定された基準ストライプピクセルを取り除く。例えば、Ｒ^１，Ｌのある基準ストライプピクセルに対応するピクセルがＲ^１，Ｒにない場合、そのストライプピクセルは基準ストライプ６０２上のものではない可能性が高いので、Ｒ^１，Ｌから取り除かれる。一方、Ｒ^１，Ｌの基準ストライプピクセルがＲ^１，Ｒの対応する基準ストライプピクセルと対応付けられる場合、これは、その基準ストライプピクセルが基準ストライプのものであるということをさらに示唆する。

処理７００にはさらに、当技術では周知であるＲＡＮＳＡＣに基づく平面合わせアルゴリズムを用いた基準ストライプ６０２の位置の確認（７１２）を含む。基準ストライプ６０２の位置の確認（７１２）の一部として、対応付けられた基準ストライプピクセル群の三次元点群を算出する。三次元点群は、当技術分野では周知のステレオ三角測量技法に基づいて、対応付けされた基準ストライプピクセル群とカメラパラメータとを使用して算出する。これは、基準ストライプ６０２に沿った多数の位置の三次元点を生成する。基準ストライプ６０２は、光平面が対象物（例えば図３Ａの顔など）の表面と交差した結果である。光平面は、光源とスライド１１６の基準垂直線によって形成される。光源は、スライド１１６の基準垂直線の左縁に光を投射して、光の進行方向に平行であると言える向きを持った左縁垂直平面を形成する（すなわち、その平面の法線ベクトルがその平面を形成する光の進行方向に対して垂直となる）。同様に、光源は基準ストライプ６０２の右縁および中央に光を投射して、右縁垂直平面および中央垂直平面を形成する。これらの平面が対象物（例えば図３Ａの顔など）の表面と交差することによって、ステレオペアの１０１ａおよび１０１ｂのそれぞれで捕捉された画像内の基準ストライプ６０２の対応する点が形成される。これら対応付けられた基準ストライプピクセルの三次元点は、これら対応付けられた基準ストライプピクセルが基準ストライプ６０２の中央に位置する可能性が高いので、中央垂直平面の上にあるはずである。ＲＡＮＳＡＣに基づく平面合わせアルゴリズム（「ＲＰＡ」）を使用して、中央平面パラメータ（例えば、中央平面の法線ベクトルおよび中央平面の位置）を算出する。工程７１２では、これら中央平面パラメータを使用して三次元点群のその中央平面までの距離を求める。その平面から遠すぎる三次元点は無視される。すなわち、平面から遠すぎる点は基準ストライプ上にはないと推定される。

基準ストライプ６０２の位置を確認した（７１２）後、処理７００は、ステレオペア１０１ａおよび１０１ｂのそれぞれで捕捉された画像の最初の対応するピクセルの特定（７１４）を行う。一つの実施形態では、最初の対応するピクセルの特定（７１４）は、２つの画像における対応付けされた基準ストライプピクセル群の左にある最も近い縁ストライプピクセル群を特定することを含む。別の実施形態では、最初の対応するピクセルの特定（７１４）は、２つの画像の対応付けられた基準ストライプピクセル群の右にある最も近い縁ストライプピクセル群を特定することを含む。例えば、再度図６を参照すると、基準ストライプピクセル６２６、６２８、６３０、６３２に最も近い縁ストライプピクセルは、縁ストライプピクセル６１２、６３４、６３６、６３８である。縁ストライプピクセル６１２、６３４、６３６、６３８および他方の画像中の対応するピクセルが、最初の対応するピクセルとして特定される。

最初の対応するピクセルを特定した（７１４）後、最初の対応するピクセルが、後で図１１〜図１３について説明するとおり、ステレオペア１０１ａおよび１０１ｂのそれぞれで捕捉された画像において一つ以上の方向に伝播される。

別の実施形態では、基準ストライプとして特別なストライプを含まない（例えば、全ストライプは同じ幅である）パターンが使用される。従って、このような実施形態は、特別な基準ストライプを利用することなくステレオペア１０１ａおよび１０１ｂのそれぞれで捕捉された画像間で最初の対応するピクセルを特定するためのアルゴリズムを備えている。この方法に基づいて特定された最初の対応するピクセル対は、必ずしも同じストライプに属するとは限らない。

図８は、全ストライプが同じ幅である実施形態に従って最初の対応するピクセルを特定するための処理８００を例示する図である。処理８００は、平均化関数を用いて第１ペア画像と第２ペア画像のラスターライン６１４ごとの重心ピクセルを特定すること（８０２）を含む。第１ペア画像は、ステレオカメラ１０２によって作成された第１画像とステレオカメラ１０４によって作成された第２画像とを含む。第２ペア画像は、ステレオカメラ１０８によって作成された第３画像とステレオカメラ１１０によって作成された第４画像とを含む。重心ピクセルは、各ラスターライン６１４上の縁ストライプピクセル全ての平均である。処理８００は、前処理として、当技術分野では周知のエッジ抽出およびエッジ連結を用いて重心ピクセルが縁ストライプピクセルであるかどうかを判断すること（８０６）を含む。重心ピクセルが縁ストライプピクセルではない場合、処理８００は、その重心ピクセルに最も近い縁ストライプピクセルを重心ストライプピクセルとして設定する（８０６および８０８）。例えば、グリッド９００は、ストライプ９０２、９０４、９０６、９０８、９１０と、ラスターライン９１２とを含む。グリッド９００はさらに、一つのラスターライン９１２上に位置する重心ピクセル９１４を含む。この重心ピクセル９１４は縁ストライプピクセルではないため、重心ピクセル９１４に最も近い縁ストライプピクセルである縁ストライプピクセル９１６が、重心ストライプピクセルとして設定される。

処理８００は、各ラスターライン６１４上の最初の対応するピクセルを特定すること（８１０）を含む。最初の対応するピクセルの特定（８１０）の一部として、第１画像の各ラスターライン６１４の重心ストライプピクセルを、第２画像の対応する重心ストライプピクセルと対応付ける。同様に、第３画像の各ラスターライン６１４の重心ストライプピクセルを、第４画像の対応する重心ストライプピクセルと対応付ける。ここで、例えば、前述したのと同じ処理、すなわち、対応する位置からスタートして調査ウィンドウにおいて最も良い対応付けスコアを確認する処理を使用してもよい。

例えば、図１０は、第１画像と第２画像の最初の対応するピクセルを特定するためのグリッド１０００ａと１０００ｂとを例示する図である。グリッド１０００ａには、ストライプ１００２、１００４、１００６、１００８、１０１０と、ラスターライン１０１２とが含まれている。ストライプ１００２、１００４、１００６、１００８、１０１０は、ステレオカメラ１０２で捕捉されたストライプである。グリッド１０００ａにはさらに、重心ストライプピクセルｐと、ストライプピクセルｎ_ｉおよびｎ_ｊとが含まれている。重心ストライプピクセルｐは、ストライプ１００６上に位置している。ストライプピクセルｎ_ｉはストライプ１００２上に、ｎ_ｊは１００８上に位置している。グリッド１０００ｂには、ストライプ１０１４、１０１６、１０１８、１０２０、１０２２と、ラスターライン１０１２とが含まれている。ストライプ１０１４、１０１６、１０１８、１０２０、１０２２は、ステレオカメラ１０４で捕捉されたストライプである。グリッド１０００ｂにはさらに、ストライプピクセルｐ’、ｎ_ｉ’、ｎ_ｊ’が含まれている。ストライプピクセルｐ’は、ストライプ１０１８上に位置している。ストライプピクセルｎ_ｉ’はストライプ１０１４上に、ｎ_ｊ’は１０２０上に位置している。最初の対応するピクセルを特定することの一部として、第１グリッド１０００ａの重心ストライプピクセルｐが、第２グリッド１０００ｂの対応する重心ストライプピクセルｐ’と対応付けられる。ピクセルｐとｐ’とは、彼らのラスターライン１０１２の最初の対応するピクセルの最初の候補と見なす。

処理８００には、ピクセルｐとｐ’との対応具合を評価すること（８１２）が含まれている。ピクセルｐとｐ’の対応付けの質を評価すること（８１２）の一部として、局地ウィンドウ（１５×１５）での正規化ゼロ平均相互相関（「ＮＺＭＣＣ」）が、対応付けスコア関数ｍ（ｐ，ｐ’）として利用される。ＮＺＭＣＣは当技術分野では周知の手法である。式２によって例示される対応付けスコア関数ｍ（ｐ，ｐ’）は、輝度対応付けスコア関数ｍ_ｉｎｔ（ｐ，ｐ’）と勾配対応付けスコア関数ｍ_ｅｇ（ｐ，ｐ’）との線型結合である。式３によって例示される輝度対応付けスコア関数ｍ_ｉｎｔ（ｐ，ｐ’）は、２つのピクセルの輝度を示す輝度マップにおけるピクセルｐとｐ’との間の類似度を求める。式４によって例示される勾配対応付けスコア関数ｍ_ｅｇ（ｐ，ｐ’）は、２つのピクセルの輝度の傾きを示す勾配マップにおけるピクセルｐとｐ’との間の類似度を求める。対応付けスコア関数ｍ（ｐ，ｐ’）は、次のように定義される：
m(p, p’)=αm_eg(p, p’)+(1-α)m_int(p, p’) （式２）
m_int(p, p’)=Σ_Ω(I(p)-μ)*(I’(p’)- μ’)/σσ’ （式３）
m_eg(p, p’)= Σ_Ω(E(p)-μ_E)*(E’(p’)- μ’_E)/σ_Eσ’_E （式４）

ここで、Ωは画像Ｉ内のピクセルｐの周囲領域１５×１５を表し、Ω’は画像Ｉ’内のピクセルｐ’の対応する周囲領域を表す。Ｉ（ｐ）は画像Ｉ内のｐにおける輝度の値を、Ｉ’（ｐ’）は画像Ｉ’ 内のｐ’ における輝度の値を表す。（μ，σ）はＩ内の周囲領域Ωにおける平均と標準偏差を、（μ’，σ’）はＩ’ 内の周囲領域Ω’における平均と標準偏差を表す。Ｅ（ｐ）は勾配マップＥのｐにおける勾配の値を、Ｅ’（ｐ’）は勾配マップＥ’のｐ’における勾配の値を表す。そして、（μ_Ｅ，σ_Ｅ）は勾配マップＥの平均と標準偏差を、（μ_Ｅ，σ_Ｅ）は勾配マップＥ’内の平均と標準偏差を表す。αは０〜１の間の値の重み付け係数であり、この値に依って、式２の輝度対応付けスコア関数または勾配対応付けスコア関数を強調する。一つの実施形態では、勾配対応付けスコア関数の方に重みが置かれるように、αの値は０．６である。

式２は基本的に、２つのピクセルｐとｐ’との対応の質を求める。最良の対応の質を生成する縁ストライプピクセルｐ’を特定するためのいくかの方法がある。一つの実施形態では、対応付けスコア関数ｍ（ｐ，ｐ’）を利用して重心ストライプピクセルｐに最も類似した縁ストライプピクセルｐ’を特定する。最も類似した縁ストライプピクセルｐ’を特定することの一部として、グリッド１０００ａの重心ストライプピクセルｐと、グリッド１０００ｂでこのｐと同じラスターライン上に位置する全ての縁ストライプピクセルに対して、対応付けスコア関数ｍ（ｐ，ｐ’）を算出する。そして、最も高い対応付けスコアを生成した縁ストライプピクセルをｐの対応相手とする。この手法は、必ずしも結果が最良の対応付けとなるとは限らない。対応していないピクセルの対応付けスコアが、対応しているピクセルの対応付けスコアよりも高くなる可能性があるため、誤った対応付けという結果となる場合がある。例えば、対応付けスコアｍ（ｐ，ｎ_ｊ’）が対応付けスコアｍ（ｐ，ｐ’）よりも高くなることがある。すなわち、この実施形態では、ｐ’ではなくｎ_ｊ’がｐの最良の対応相手として選択される可能性がある。

別の実施形態では、対応付けサポート関数Ｍを利用して、重心ストライプピクセルｐに最も類似したピクセルｐ’を特定する。式５は、近隣の縁ストライプピクセル（ｎ_ｉとｎ_ｉ’）および（ｎ_ｊとｎ_ｊ’）が、対応付けられたピクセルｐおよびｐ’と同程度の対応付けスコアを生成するかどうかを調べるために使用される対応付けサポート関数Ｍの一つの実施形態を例示する：
M(p, p’)= Σ_i=1 ^Am(n_i, n_i’)+ Σ_j=1 ^Bm(n_j, n_j’) （式５）

ここで、ｉはｐおよびｐ’の左側のストライプを、ｊはｐおよびｐ’の右側のストライプを示す添え字である。Ａはｐおよびｐ’の左側のストライプの本数であり、Ｂはｐおよびｐ’の右側のストライプの本数である。Ｍ（ｐ，ｐ’）を算出することの一部として、縁ストライプピクセルｎ_ｉ（ｐの左側ｉ番目のストライプの）を特定する。同様に、縁ストライプピクセルｎ_ｉ’（ｐ’の左側ｉ番目のストライプの）を特定する。ｐとｐ’が良好な対応相手である場合、グリッド１０００ａの縁ストライプピクセルｎ_ｉ（ｐの左側ｉ番目のストライプ）は、グリッド１０００ｂの縁ストライプピクセルｎ_ｉ’（ｐ’の左側ｉ番目のストライプ）と対応付けられるとみなすことは合理的であるため、ｎ_ｉとｎ_ｉ’は対応関係のあるピクセルである可能性が高い。ｐとｐ’の左側の各ストライプのｎ_ｉとｎ_ｉ’との対応付けスコアを算出し、合計する。

同様に、Ｍ（ｐ，ｐ’）を算出することの一部として、縁ストライプピクセルｎ_ｊ（ｐの左側ｊ番目のストライプの）を特定し、縁ストライプピクセルｎ_ｊ’（ｐ’の左側ｊ番目のストライプの）を特定する。ｐとｐ’が良好な対応相手である場合、グリッド１０００ａの縁ストライプピクセルｎ_ｊ（ｐの右側ｊ番目のストライプ）は、グリッド１０００ｂの縁ストライプピクセルｎ_ｊ’（ｐ’の右側ｊ番目のストライプ）と対応付けられるとみなすことは合理的であるため、ｎ_ｊとｎ_ｊ’は対応関係のあるピクセルである可能性が高い。ｐとｐ’の右側の各ストライプのｎ_ｊとｎ_ｊ’との対応付けスコアを算出し、合計する。ｐとｐ’が良好な対応相手である場合、近隣のピクセルの対応付けスコアは通常は高く、ｐとｐ’の対応付けサポートが高いという結果となる。ｐとｐ’が良好な対応相手ではない場合、近隣のピクセルの対応付けスコアも通常は低く、ｐとｐ’の対応付けサポートは低いという結果となる。

処理８００は、重心ストライプピクセルの最終的な対応関係を決定すること（８１４）を含む。最終的な対応関係を決定すること（８１４）の一部として、対応付けサポート関数Ｍを最大にするピクセルｐ^＊がｐの対応相手とされる。この場合の式は、
p^*=arg_{max p’}(M(p, p’)) （式６）
である。

ｐ’の範囲は、重心ストライプピクセルｐと同じラスターライン１０１２上に位置するグリッド１０００ｂ内の全てのストライプピクセルを含む。式６は基本的に、ｐに最も類似したピクセルを特定する。対応付けスコアｍ（ｐ，ｐ^＊）が必要なしきい値よりも高い場合、後で図１１〜図１３についてより詳細に述べるとおり、（ｐ，ｐ^＊）を視差伝播処理の最初の対応するピクセルとする。一つの実施形態では、しきい値は０．８である。

対応付けサポート関数Ｍを含む手法は、対応していないピクセルが対応しているピクセルよりも高い対応付けスコアを生成する事態を避けることができるため、対応付けアルゴリズムを補強する。前述したとおり、正しい対応相手であるｐ’よりもｎ_ｊ’の方が高い対応付けスコアを生成し、ｐの良好な対応相手としてｎ_ｊ’が選択される結果となる可能性がある。しかし、ｐとｎ_ｊ’は誤った対応ペアであるため、彼らの近隣のストライプの縁ピクセルの対応付けスコアは通常低くなる。よって、ｐとｎ_ｊ’の対応付けサポートは通常低くなり、ｐとｎ_ｊ’が良好な対応相手ではないことを示す。このように、この方法は、ミスマッチを特定し、それを取り除き、そしてより確実な対応関係を作成する。

処理８００は、ラスターライン１０１２ごとに最初の対応するピクセルの特定を続ける。処理８００は、全ラスターライン１０１２の最初の対応するピクセルを特定し終えた後に、これらの最初の対応するピクセルの正しさと確実さをさらに保証するために、２つの追加の工程を実行してよい。２つの工程は、最初の対応するピクセルｓ_ｉおよびｓ_ｉ’の局所的および全体的なサポートを調べることを含む。最初の対応するピクセルｓ_ｉとｓ_ｉ’とはペアの縁ストライプピクセルであり、位置（ｘ_ｉ，ｙ_ｉ）と（ｘ_ｉ’，ｙ_ｉ’）を含んでいる。なお、ｘは列を、ｙは行を表す。前述したとおり、各画像は修正されているので、行位置ｙ_ｉとｙ_ｉ’は同じである。しかし、列位置ｘ_ｉとｘ_ｉ’は異なる。ｘ_ｉとｘ_ｉ’の差を視差と呼ぶ。

最初の対応するピクセルｓ_ｉとｓ_ｉ’の局所的サポートを調べることは、最初の対応するピクセルｓ_ｉとｓ_ｉ’の視差を求め、その視差を近隣のラスターライン１０１２上に位置する最初の対応するピクセルｎ_ｋとｎ_ｋ’の視差と比較することを含む。最初の対応するピクセルｎ_ｋとｎ_ｋ’の視差が最初の対応するピクセルｓ_ｉとｓ_ｉ’の視差と同等であれば、近隣のラスターライン１０１２上に位置するその最初の対応するピクセルｎ_ｋとｎ_ｋ’をサポーターと見なす。最初の対応するピクセルｓ_ｉとｓ_ｉ’の近傍にあるサポーターの数が、その近傍のピクセルの数の半分に満たない場合、最初の対応するピクセルｓ_ｉとｓ_ｉ’は良好ではない対応相手と見なされ、捨てられる。最初の対応するピクセルｓ_ｉとｓ_ｉ’の局所的サポートを調べることは、通常は近傍の対応ピクセルからの強いサポートのない奥行き不連続近辺の誤った対応関係を取り除くのを助ける。

最初の対応するピクセルｓ_ｉとｓ_ｉ’の全体的サポートを調べることは、これらの視差のヒストグラムを構築することを含む。最初の対応するピクセルペア群の視差のヒストグラムを算出し、このヒストグラムを使用して視差の分布を分析する。ヒストグラムでは、良好な視差は通常、強いサポートを示す。すなわち、最初の対応するピクセルペアの多くが良好な視差を有する。一方、良好でない視差は弱いサポートを示す。すなわち、良好な視差を持つ最初の対応するピクセルペアが少ない。よって、ヒストグラムは、サポートが弱い最初の対応するピクセルペアを特定し、除外するのを助ける。

上記の方法の一つに基づいて最初の対応するピクセルを特定した後、最初の対応するピクセルペアそれぞれの視差を、図１１〜図１３について説明するとおり一つ以上の方向へ伝播させる。再度図３Ａ〜図３Ｂを参照して、視差伝播を使用して、第１画像３０２内の次の縁ストライプピクセルと第２画像３０４の対応する縁ストライプピクセルとの間の対応関係を確立する。同様に、視差伝播を使用して、第３画像３１２内の次の縁ストライプピクセルと第４画像３１４の対応する縁ストライプピクセルとの間の対応関係を確立する。

図１１は、画像３０２、３０４、３１２、３１４で一つ以上の方向に視差伝播を実行するための処理１１００を例示する図である。処理１１００は、投射されたストライプの奥行き不連続を識別すること（１１０２）を含む。奥行き不連続を識別すること（１１０２）の一部として、各ストライプの明示的終端部分および暗示的終端部分をマークし、視差伝播処理の間に明示的終端部分および暗示的終端部分につき当たれば、所定の方向に向かう視差伝播ルーチンを停止する。再度図４を参照して、明示的終端部分群は、ストライプ４０６のストライプ終端４１６と、ストライプ４０４の領域４１４と、ストライプ４０２の領域４１２とを含む。前述したとおり、ストライプ終端４１６は、パターンが投射された対象物に奥行き不連続が存在しているということを示す（例えば、図３Ａの顔の顔面下部と肩の間）。暗示的終端部分群は、あるストライプ上のピクセルで、他のストライプの明示的終端部分に隣接しているピクセルを含む。暗示的終端部分は例えば、奥行き不連続のために２つのストライプ部分が完全に結合している場合に生じることがある。例えば、再度図５を参照すると、ストライプ５０４は、ストライプ５０２の明示的終端部分５０８に隣接するピクセル部分５１０を含む。ピクセル部分５１０を暗示的終端部分としてマークし、ピクセル部分５１０の周りのピクセルが奥行き不連続を示している可能性が高いので、ピクセル部分５１０で視差伝播を停止させる。従って、工程１１０２は、暗示的終端部分を特定しマークすることによって、２つのストライプが奥行き不連続のために結合している状況を効率的に処理するよう試みる。

処理１１００は、ステレオペア１０１ａおよび１０１ｂのそれぞれで捕捉された画像における次のピクセル間の対応関係を確立するために３つの視差伝播パス（１１０４、１１０６、１１０８）を含む。第１パスは、水平方向に（例えば、ストライプ群を横切って左右両方向に）視差を伝播すること（１１０４）を含む。第２パスは、垂直方向に（例えば、ストライプに沿って上下両方向に）視差を伝播すること（１１０６）を含む。第３パスは、再び水平方向に（例えば、ストライプ群を横切って左右両方向に）視差を伝播すること（１１０８）を含む。

図１２は、第１パスにおいて水平方向に視差を伝播するための処理１２００を例示する図である。処理１２００は、各ラスターライン６１４上の最初の対応するピクセルペアのそれぞれの視差を計算すること（１２０２）を含む。幾つかのラスターライン６１４が、奥行き不連続のために最初の対応するピクセルを持っていない場合がある。

前述のとおり、画像は修正されているので各画像の対応するピクセルは同じラスターラインに位置するが、列位置は異なっていると推定される。よって、最初の対応するピクセルの近隣のピクセルの対応関係を見つけることを、最初の対応するピクセルのラスターライン６１４に沿って実行する。処理１２００は、基準画像の各ラスターライン６１４上の最初の対応するピクセルの左に視差を伝播すること（１２０４）を含む。ステレオペア１０１ａの基準画像は、第１画像３０２であっても、または第２画像３０４であってもよい。また、ステレオペア１０１ｂの基準画像は、第３画像３１２であっても、または第４画像３１４であってもよい。一つの実施形態では、第１画像３０２がステレオペア１０１ａの基準画像とされ、また、第３画像３１２がステレオペア１０１ｂの基準画像とされる。再度図６を参照して、左に視差を伝播していくこと（１２０４）の一部として、最初の対応するピクセル６１２の左にある縁ストライプピクセル６１６を基準画像において特定する。左への視差伝播（１２０４）は、基準画像の縁ストライプピクセル６１６と他方の画像の対応するピクセルとの対応関係を確立する。基準画像の縁ストライプピクセル６１６と他方の画像の対応するピクセルとの対応関係を確立するために、工程１２０２で算出された最初の対応するピクセル６１２の視差を使用する。最初の対応するピクセル６１２の視差は、他方の画像の対応するピクセルの位置の最初の推測を与える。従って、そのような位置にあるピクセル６１６’（図示せず）を縁ストライプピクセル６１６の最初の対応相手と見なす。そして、対応付けられたピクセル（６１６、６１６’）の対応付けスコアを算出する。さらに、ストライプピクセル６１６と、ピクセル６１６’のいくつかの近隣ピクセル（例えば±３ピクセル）それぞれとの対応付けスコアも算出する。最も高い対応付けスコアになったピクセル（例えば、縁ストライプピクセル６１６に最も類似するピクセル）を、ストライプピクセル６１６の実際の対応相手と見なす。最も高い対応付けスコアをしきい値と比較して、最も高い対応付けスコアがしきい値よりも高ければ、その対応関係は良好であると判断する（１２０６）。対応付けスコアがしきい値よりも低ければ、その対応関係は悪いと判断する（１２０６）。低い対応付けスコアとなり、対応相手を特定できないピクセルが３つ連続する場合、その視差伝播ルーチンを停止させる（１２０８）。対応付けスコアは、例えばＮＺＭＣＣを使用して計算してよい。

対応付けが成功すれば、処理１２００は、新しく対応付けられたピクセルの視差を計算してその視差をデフォルト視差として設定する（１２１２）。

また、最初の対応するピクセルの左に視差を伝播すること（１２０４）は、基準画像上の縁ストライプピクセル６１６の左にある次の端ストライプピクセル６１８を特定し、基準画像の縁ストライプピクセル６１８と他方の画像の対応するピクセルとの間の対応関係を確立すること（１２１４）を含む。縁ストライプピクセル６１８と対応するピクセルとの間の対応関係を確立するために、新しいデフォルト視差を使用して、工程１２０４と同じようにストライプピクセル６１８の対応関係を特定する。視差伝播はこの新たに対応付けられたピクセルからさらに進み、このストライプの明示的または暗示的終端に属する縁ストライプピクセルに達すると停止する（１２１６および１２１８）。

最初の対応するピクセルの左への視差伝播が完了した後は、最初の対応するピクセルの右側へも同様に視差が伝播する。処理１２００を各ラスターライン６１４について実行する。その結果、処理１２００によって、ステレオペア１０１ａおよび１０１ｂのそれぞれで捕捉された画像内に、対応付けられた水平方向の帯のセットが作成される。この対応付けられた帯は、各ストライプの縁に沿っていると推定される。

図１３は、第２パスで垂直方向に視差を伝播するための処理１３００を例示する図である。これまでの水平方向視差伝播によって、大多数のストライプは縁の一部がすでに対応付けられている可能性がある。例えば、再度図６を参照すると、基準ストライプ６０２は、まだ対応付けられていない部分Ｎと、すでに対応付けられた縁ストライプピクセル６３４および６３８とを含む。処理１３００は、ストライプパターンの全てのストライプ縁について、基準画像のまだ対応付けられていない部分Ｎを特定すること（１３０２）を含む。対応付けられていない部分Ｎは、端Ｎ１とＮ２とを含む。処理１３００は、端Ｎ１の上の対応付けられた縁ストライプピクセル６３４と、端Ｎ２の下の対応付けられた縁ストライプピクセル６３８とを特定すること（１３０４）を含む。処理１３００は、対応付けられた縁ストライプピクセル６３４と６３８のそれぞれの視差を比較すること（１３０６）を含む。対応付けられた縁ストライプピクセル６３４と６３８のそれぞれの視差の差がしきい値より大きければ、これらの視差は基準ストライプ６０２に沿って伝播されない（１３０７および１３０８）。そしてこの部分Ｎは不確定部分としてマークされる。一つの実施形態では、しきい値は３である。対応付けられたピクセルの視差がしきい値より下であれば（例えば３未満など）、処理１３００は、対応付けられている縁ストライプピクセル６３４と６３８のそれぞれの視差に基づいて、基準画像のまだ対応付けられてない部分Ｎと他方の画像の対応する部分との間の対応関係を特定する（１３０７および１３１０）。一つの実施形態では、２つの画像の未対応付け部分Ｎ間の対応関係を見つけるために、部分Ｎの中心から２つの端Ｎ１とＮ２に向かって伝播を実行する。または、部分Ｎの上端から下端へ伝播を実行してもよいし、下端から上端へ伝播してもよい。処理１３００は、他のストライプ６０４、６０６、６０８についても実行される。一つの実施形態では、処理１３００はストライプパターンの左上から始まってストライプパターンの右下へと進んでもよい。または、処理１３００は、ストライプパターンの右上から始まってストライプパターンの左下へと進んでもよい。結果として、各ストライプの未対応付け部分Ｎは、他方の画像の対応する部分と対応付けられる可能性がある。

視差伝播のこれまでの２つのパスの実行後に、第３パスを実行できる。第３パスでは、第２パスについて前に説明した不確定部分のような未対応付けストライプ部分の対応付けを試みる。第３パスでは、第１パスと同じ処理（処理１２００）を使用する。この段階でまだ対応付けされていないストライプは、横方向の近隣が第２パスにおいて対応付けされている場合があり、この新たに対応付けされた近隣が、未だ対応付けされていないピクセルの対応付けを可能にする視差値を提供する場合がある。

３つのパスの後、どの縁ストライプピクセルが対応付けられているのかを示す最終的な対応マップが得られる。伝播処理１２００および１３００を通して、各ストライプピクセルの対応関係を特定するための調査ウィンドウは小さい（例えば、±３ピクセルなど）。このため、この視差伝播手法が要求する計算量は少ない。この視差伝播手法を使用しない場合、第１画像のピクセルを第２画像の対応するピクセルと対応付ける処理は、対応するピクセルを特定するために第２画像のラスターライン６１４に沿ってかなり大きな調査ウィンドウを必要とすることがある。これは、第１画像のピクセルの対応相手候補を見つけるために、第２画像のラスターライン６１４に沿った大多数のピクセルを評価する必要がある場合があるからである。このため、各ピクセルの調査ウィンドウは視差伝播手法における調査ウィンドウよりも通常かなり大きくなり、要求する計算量が多くなる。

再び図１１を参照すると、これまでに確立された対応付けは、整数の精度である。対象物のほぼ平らな表面に対応する対応付けられたピクセルペア群は、同じ整数の視差を有する場合がある。三次元画像においてこれら対応付けられたピクセルペア群は、その対象物において若干異なる奥行きを持っている場合でも、同じ奥行きにあるように表示される。よって、整数の視差の場合、通常、大きな奥行きの差がある対応付けられたピクセル間でのみ対象物の奥行きの変化が示されるため、再現される三次元画像は滑らかで連続的なものとならないことがある。この場合、再現される画像が階段状となってしまうことがある。滑らかで連続的な表面を構築する（１１１０）ために、一つの実施形態では、処理１１００は、対応付けをサブピクセル精度へとさらに精緻化することを含む。サブピクセル精緻化によって奥行き差の解像度が高まり、これにより、ほぼ平らな表面に対応する対応付けられたピクセルが、再現された三次元画像において実際の対応する奥行きで表示される。対応付けをサブピクセル精度へと精緻化することの一部として、曲線放物線合わせ法を使用する。曲線放物線合わせ法に従って、ピクセル（ｘ，ｙ）が対応付けスコアｍ_０で（ｘ’，ｙ）と対応付けられる場合、（ｘ，ｙ）と（ｘ’−１，ｙ）との間の対応付けスコアｍ_１と、（ｘ，ｙ）と（ｘ’＋１，ｙ）との間の対応付けスコアｍ_２も、図８について上述したとおり式２を使用して計算する。滑らかで連続的な表面を構築すること（１１１０）の一部として、３点（ｘ’−１，ｍ_１），（ｘ’，ｍ_０）、（ｘ’＋１，ｍ_２）に１つの放物線を合わせ、その放物線上で最大となるｍ^＊とこれに対応するｘ^＊とを特定する。対応付けられたピクセル（ｘ^＊，ｙ）を（ｘ，ｙ）の最終的な対応相手とする。対応付けのサブピクセル精緻化によって、工程１１１０は滑らかな三次元表面を生成する。

最終の対応マップでは誤って対応付けられたピクセルが存在することがあり、これらのピクセルは、表面上でスパイクとなって現れる。処理１１００は、このようなミスマッチのピクセルを取り除くべくミスマッチ検出処理を実行すること（１１１２）を含む。この検出処理は、図１４について後に説明する三次元メッシュに基づいてもよい。対応付けられたピクセルごとに近隣のピクセルを特定し、その対応付けられたピクセルと近隣ピクセルの対応する三次元点を、ステレオ三角測量技法を用いて算出する。対応付けられたピクセルの三次元点と近隣ピクセルの三次元点との間の距離が所定のしきい値よりも大きい場合、処理１１００は、その対応付けられたピクセルをミスマッチと見なす。例えば、ｑ_ｉ，ｊ（ｊ＝１，２，… Ｎ_ｉ）が着目するピクセルｐ_ｉの近隣ピクセルであるとすると、Ｑ_ｉ，ｊとＰ_ｉが、対応する三次元点である。そして、処理１１００は、ｊごとにＰ_ｉとＱ_ｉ，ｊとの間の距離が所定のしきい値よりも大きいかどうか判断する。Ｐ_ｉの近隣の三次元点の総数に対する、しきい値よりも大きい距離の近隣三次元点の数の比率が大きければ、処理１１００は、これはミスマッチの結果による点であると見なしてもよい。

図１４は、テクスチャ（質感）を持った単一の三次元表面モデルを作成するための処理１４００を例示する図である。処理１４００は、ステレオペア１０１ａと１０１ｂのそれぞれの三次元点群を生成すること（１４０２）を含む。三次元点群の生成では、ステレオ三角測量を使用してもよい。当技術分野では周知のステレオ三角測量では、対応付けられたピクセルの視差とカメラパラメータとを使用して三次元点群を算出する。

処理１４００は、ステレオペア１０１ａと１０１ｂのそれぞれの三次元表面モデルを作成し表面を連続的にすること（１４０４）を含む。三次元表面モデルは、三次元メッシュ化など周知の技法に従って、三次元点群を用いてステレオペア１０１ａおよび１０１ｂのそれぞれに対して作成される。

一つの実施形態では、三次元表面モデルを作成することの一部として、当技術分野では周知のドローネー三角分割法アルゴリズムを使用して、基準画像での対応付けられたピクセルについて三角分割を行う。そして、対応する三次元点が三次元メッシュを形成する。

一般的に三次元点群は、ステレオ三角測量での数値誤差に加えて、ステレオ対応付け処理によってノイズが多い。さらに、対応付けられたピクセルは表面に投射されたときに奥行き不連続によって変形したストライプから抽出されるために、一般的に三次元メッシュは不規則である。このため、メッシュ内の三角形群は、形状とサイズが非常に異なることがある。よって、一つの実施形態は、所定の解像度の画像グリッドに一致した新しい三次元表面モデル（例えばメッシュ）を構築することを含む。

この新しい三次元表面モデルを構築するとき、当技術分野では標準的な処理であるが、矩形グリッドを画像面に重畳する。カルマンフィルタリング・スムージング法を使用して新しい三次元表面モデルをさらに加工する。この手順は当技術分野では周知である。再メッシュ化とカルマンフィルタリング・スムージング法の結果として、対応する二次元表面モデルが該画像グリッドに一致し、ノイズが抑制され、表面が平滑化された三次元表面モデルが生成される。必要があれば、当技術分野では周知のとおり、上述の処理で得られた三次元点群に１つのＮＵＲＢ表面を合わせることによってさらなる平滑化が得られる場合がある。

再度図１４を参照すると、工程（１４０４）は、２つの三次元表面モデル（ステレオペア１０１ａと１０１ｂのそれぞれに一つずつ）を生成する。処理１４００は、２つの三次元表面モデルを使用し、ステレオペア１０１ａと１０１ｂの統合された単一の三次元表面モデルを作成する（１４０６）。

再度図２を参照すると、単一の統合三次元表面モデルを作成すること（１４０６）は、第１の三次元表面モデルと第２の三次元表面モデルとのレジストレーションを行うこと（２０８）を含む。第１の三次元表面モデルと第２の三次元表面モデルとをレジストレーションすることは当技術分野では周知である。レジストレーションとは、個々の座標システムを有する場合があるステレオペア１０１ａと１０１ｂからのデータを位置合わせして、それらのデータを単一の座標システムに変換できるようにする処理を指している。ステレオペア１０１ａと１０１ｂとを同じ基準システムを使用してキャリブレートしたとしても、ステレオペア１０１ａと１０１ｂによって得られるデータは、キャリブレーション処理での、またはステレオペア１０１ａ、１０１ｂそれぞれでの誤差によって、ずれがあることがある。

第１の三次元表面モデルと第２の三次元表面モデルとのレジストレーション（２０８）によって、第１の三次元表面モデルが第２の三次元表面モデルと位置合わせされる。一つの実施形態では、第１の三次元表面モデルと第２の三次元表面モデルとを位置合わせするために、第１の三次元表面モデルと第２の三次元表面モデルの間の固定変換行列（Ｒ，ｔ）を算出し、この行列を第１の三次元表面モデルまたは第２の三次元表面モデルのいずれかに適用することによって、一方の三次元表面モデルを他方の三次元表面モデルに位置合わせする。

固定変換行列（Ｒ，ｔ）の算出は２つの工程を含んでもよい。まず、２つの三次元表面モデルを大まかに位置合わせる第一変換行列を算出する。次に、Iterative Closest Point(「ＩＣＰ」)を用いて第一変換行列を繰り返し調整し、最終的に第１の三次元表面モデルと第２の三次元表面モデルとを位置合わせする。

図１５を参照すると、処理１５００を第一変換行列の算出に使用してもよい。処理１５００は、第１の三次元表面モデルと第２の三次元表面モデル内の注目する領域を特定すること（１５０２）を含む。再度図３Ａ〜３Ｂを参照すると、ステレオペア１０１ａと１０１ｂのそれぞれで捕捉された画像は、各カメラの位置が異なるため、正確には同一の物理的表面領域をカバーしていない。各画像には他方の画像と重複している領域が存在し、各画像にはその画像だけでカバーされた領域も存在する。図３Ａ〜３Ｂでは、重複している領域としては、人物の顔の鼻がある領域が挙げられる。従って、例えば、鼻を含む領域を第１の三次元表面モデルと第２の三次元表面モデルの注目する領域として選択してもよい。第１の三次元表面モデルと第２の三次元表面モデルの作成では三角分割技法が使用されているので、第１の三次元表面モデルと第２の三次元表面モデルの各点は１つの三角形によって表わされる。シード三角形とも呼ばれる鼻に対応する三角形を、中央領域にある三角形として特定する。この三角形はカメラに最も近い。

処理１７００は、注目領域を拡張すること（１５０４）を含む。注目領域を拡張することの一部として、シード三角形と縁を共有している三角形を特定する。このように、すでに注目領域にある三角形と縁を共有する他の三角形を取り込み、三角形群の合計面積が所定の量に達するまで拡張を続ける。一つの実施形態では、所定の面積とは１０，０００ｍｍ^２である。結果として、注目領域を拡張させること（１５０４）は、２つの三次元表面モデルの間の粗い対応関係を与える２つの領域を生成する。

処理１５００はさらに、第１の三次元表面モデルと第２の三次元表面モデルとの間の第一変換行列を見つけること（１５０６）を含む。第一変換行列を見つけることは、上記の方法で見つけた２つの注目領域に基づいて行われる。この２つの対応付けされた領域での頂点をＲＧ_１＝{ｐ_１ｉ，ｉ＝１，２…ｎ_１}、ＲＧ_２＝{ｐ_２ｊ，ｊ＝１，２…ｎ_２}とする。ｎ_１とｎ_２は２つの領域それぞれの頂点の数である。ＲＧ_１とＲＧ_２とを使用して第一並進ベクトルＴ_０と第一回転行列Ｒ_０とを算出する。ＲＧ_１とＲＧ_２の重心Ｃ_１とＣ_２とを算出する。Ｔ_０＝Ｃ_２−Ｃ_１である。次にＭ_{１，ＣＯＶ}とＭ_{２，ＣＯＶ}をＲＧ_１とＲＧ_２の共分散行列とする。そして、これら２つの行列の固有ベクトルを使用して、第一回転行列Ｒ_１とＲ_２を作成する。第一回転行列Ｒ_１とＲ_２は、グローバル座標システムに関する２つの点セットの回転行列である。そして、ＲＧ_１とＲＧ_２との間の第一回転行列をＲ_０＝Ｒ_２＊Ｒ^−１ _１と推定する。Ｒ_０は２つの点群の間の第一回転行列である。そして、第一変換行列Ｍ_０は、第一並進ベクトルＴ_０と第一回転ベクトルＲ_０とから構成される（Ｍ_０＝{Ｒ_０，Ｔ_０}）。

次に、Ｍ_０を初期値とし、さらにＭ_０行列を調整するＩＣＰアルゴリズムを使用する。ＩＣＰによって、最終的に２つの三次元表面モデルが位置合わせされる。

図１６Ａ〜図１６Ｂを参照すると、レジストレーション前の第１の三次元表面モデル１６０１と第２の三次元表面モデル１６０２とが例示されている。図１６Ａを参照すると、第１の三次元表面モデル１６０１と第２の三次元表面モデル１６０２とが白黒で示されており、それぞれ白と黒のストライプを含む。第１の三次元表面モデル１６０１は、例えば「下顎」の下に示したようにより明るいグレースケール線で示されており、符号１６０１が付けられている。第２の三次元表面モデル１６０２は、例えば「顔面下部」に示したようにより暗いグレースケール線で示されており、符号１６０２が付けられている。レジストレーションの前は、第１の三次元表面モデル１６０１のストライプと第２の三次元表面モデル１６０２のストライプとは、異なる位置に表示される。例えば、第１の三次元表面モデルの基準ストライプ１６０３と、第２の三次元表面モデルの基準ストライプ１６０３とは、同じ位置でなく互いに隣接して示されている。従って、ストライプ間の間隔が非常に狭く、ストライプパターンがはっきりしていない。図１６Ｂを参照すると、第１の三次元表面モデル１６０１は青色で、第２の三次元表面モデル１６０２は黄色で示されている。レジストレーションの前は、黄色のストライプは青色のストライプの間に現れる。

図１７Ａ〜図１７Ｂは、レジストレーション後の第１の三次元表面モデル１６０１と第２の三次元表面モデル１６０２を例示する図である。図１７Ａを参照すると、第１の三次元表面モデル１６０１と第２の三次元表面モデル１６０２とが白黒で表示されている。図１６Ａについて前述したとおり、第１の三次元表面モデル１６０１は、例えば「下顎」の下に示したようにより明るいグレースケール線で示されており、符号１６０１が付けられている。第２の三次元表面モデル１６０２は、例えば「顔面下部」に示したようにより暗いグレースケール線で示されており、符号１６０２が付けられている。図示のとおり、レジストレーションによって、第１の三次元表面モデル１６０１の縦方向のストライプと第２の三次元表面モデル１６０２の縦方向のストライプとが位置合わせされている。例えば、三次元表面モデル１６０１と１６０２内の両方の基準ストライプ１６０３が重なっており、図１６Ａ〜図１６Ｂのストライプよりもはっきりとしたストライプを形成している。従って、図１７Ａ〜図１７Ｂでのストライプ間の間隔は、図１６Ａ〜図１６Ｂでのストライプ間の間隔よりも広い。図１７Ｂを参照すると、第１の三次元表面モデル１６０１と第２の三次元表面モデル１６０２とがカラーで表示されている。第１の三次元表面モデル１６０１は青色で、第２の三次元表面モデル１６０２は黄色で示されている。レジストレーション後は、青色ストライプと黄色ストライプが互いに重なり合って、ストライプ間に広い間隔を形成し、ストライプパターンをよりはっきりとさせている。例えば、下顎の領域１６０５は、図１６Ａ〜図１６Ｂよりも図１７Ａ〜図１７Ｂの方がよく示されている。

再度図２を参照すると、第１の三次元表面モデルと第２の三次元表面モデルとを統合すること（２１０）は、レジストレーションされた第１と第２の三次元表面モデルを結合し、図１８で示すように単一の表面モデル２２０２を作成する。第１の三次元表面モデルと第２の三次元表面モデルとの統合は当技術分野では周知である。

再度図２を参照すると、処理２００は、統合された三次元表面モデルにテクスチャを加えること（２１２）を含む。統合された三次元表面モデルにテクスチャを加えることは、当技術分野では周知である。一つの実施形態では、統合された三次元表面モデルにテクスチャを加えることの一部として、カメラパラメータと、テクスチャカメラ１０６からの画像と、統合された三次元表面モデルとが使用される。統合された三次元表面モデルはテクスチャカメラ１０６と座標システムが同じであるため、この表面モデルの各三次元点を単に画像面上に投射し、テクスチャ座標を生成する。このように、統合された三次元表面モデルにテクスチャを加えること（２１２）によって、単一のテクスチャ付き三次元表面が生成される。この単一のテクスチャ付き三次元表面は、例えば工程２１４および２１６によるテクスチャ付き三次元表面のレンダリング（２１４）またはエクスポート（２１６）によって、ユーザーに提示される。図２０を参照すると、最終的なテクスチャ付けされた表面モデル２２０４の３つの画像が例示されている。

図１９を参照すると、別の実施形態では、処理１９００は、三次元対象物に赤外線パターンを投射して（１９０２）、パターンを三次元対象物に投射している間に第１画像と第２画像とを生成すること（１９０４）を含む。第１画像は、カメラ１０２において赤外線フィルタ１１４によりフィルタリングされた光を捕捉することによって生成されてもよい。第２画像は、カメラ１０４において赤外線フィルタ１１４によりフィルタリングされた光を捕捉することによって生成されてもよい。第１画像はパターンが付けられた三次元対象物を含み、ピクセルを含む二次元デジタル画像であってよい。同様に、第２画像はパターンが付けられた三次元対象物を含み、ピクセルを有する二次元デジタル画像であってよい。処理１９００は、第１画像のピクセルの一部と第２画像のピクセルの一部との間に第１ペア対応関係を確立すること（１９０６）を含む。

処理１９００は、三次元対象物にパターンを投射している間に三次元対象物の第３画像を生成すること（１９０８）を含む。一つの実施形態では、第３画像はテクスチャ画像であってもよく、テクスチャカメラ１０６においてフィルタリングされていない光を捕捉することによって生成される。テクスチャ画像は、赤外線パターンを示すことなく三次元対象物を含み、ピクセルを有する二次元デジタル画像であってよい。処理１９００は、第１ペア対応関係と第３画像とに基づいて二次元画像を構築すること（１９１０）を含む。

本発明またはその特徴は、少なくとも部分的には、様々な装置において実施することができる。例えばコンパクトディスク（ＣＤ）、処理装置、またはその他のコンピュータ読み取り可能な媒体に、開示された方法のいずれかを実行するプログラム、命令、またはコードが含まれてもよい。さらに、開示された方法のいずれかを実行するツールが提供されてもよい。このツールは、例えば、コンピュータ読み取り可能な媒体、処理装置、カメラ、プロジェクタ、またはこれらおよび他の部品の組み合わせを含む。処理装置は、例えば、プロセッサ、コンピュータ、プログラム可能な論理装置、または集積回路を含む。

本発明はまた、持ち運び可能な装置を使用して実施されてもよい。持ち運び可能な装置の例としては、携帯型コンピュータまたは他の処理装置、携帯電話、個人用デジタル装置、例えばポケベルまたは携帯電子メール装置（例えばBlackberry（登録商標））などのメッセージング装置、例えばiPod（登録商標）などの携帯音楽プレーヤー、又は、他の電子携帯メッセージ装置、娯楽装置、企業・組織の装置、又はゲーム機器が挙げられる。

開示された実施形態は、三次元対象物（例えば、図３Ａの顔）に縦方向のストライプのパターンが投射されるが、他のパターンが三次元対象物に投射されてもよい。例えば、横線のパターン、対角線のパターン、および／または同心の円などが三次元対象物に投射されてもよい。

最後に、発明を実施するために、様々な技術を使用し、組み合わせ、修正してもよい。そのような技術には、様々なハードウェア、ソフトウェア、ファームウェア、集積化部品、個別部品、処理装置、メモリまたは記憶装置、通信装置、レンズ、フィルタ、表示装置、および投射装置が含まれる。

また、開示されたシステムおよび方法は、概ね、顔の３Ｄ画像を構築する状況において説明されているが、他の対象物の３Ｄ画像を構築する能力も考慮されている。

幾つかの実施形態について説明したが、様々な修正が可能であることは理解されよう。例えば、異なるシステム、処理、及び他の手法の構成要素群を組み合わせ、補足し、修正し、再配置し、又は取去って、発明を実施してもよい。さらに、発明を実施するために様々な技術を使用し、組み合わせ、修正してもよい。そのような技術には、様々なハードウェア、ソフトウェア、ファームウェア、集積化部品、個別部品、処理装置、メモリまたは記憶装置、通信装置、レンズ、フィルタ、表示装置、投射装置が含まれる。従って、他の実施形態も、添付の請求項の範囲内に入る。

三次元デジタル化システムを例示する図である。 図１の三次元デジタル化システムを用いる処理を例示する図である。 第１ステレオペアで捕捉されたパターンを含む第１画像と第２画像とを例示する図である。 第２ステレオペアで捕捉されたパターンを含む第３画像と第４画像とを例示する図である。 図３Ａ〜図３Ｂの画像のうちの一つに重畳された第１のストライプパターンを例示する図である。 図３Ａ〜図３Ｂの画像のうちの一つに重畳された第２のストライプパターンを例示する図である。 縦方向のストライプと水平線とのセットを含むグリッドを例示する図である。 特別なストライプを有するパターンにおいて最初の対応するピクセルを特定する処理を例示する図である。 特別なストライプを有するパターンにおいて最初の対応するピクセルを特定する処理を例示する図である。 図６の水平線の一つに位置するピクセルの輝度値を表す曲線を含む輝度プロファイルを例示する図である。 基準ストライプを有していないパターンにおいて最初の対応するピクセルを特定するための処理を例示する図である。 ストライプピクセルではない重心ピクセルを例示する図である。 重心ストライプピクセルを有する第１グリッドと、前記重心ストライプピクセルに対応するピクセルを有する第２グリッドとを例示する図である。 ２つの画像で視差を伝播するための処理を例示する図である。 水平方向に視差を伝播するための処理を例示する図である。 垂直方向に視差を伝播するための処理を例示する図である。 テクスチャが加えられた単一の三次元表面モデルを作成するための処理を例示する図である。 第一変換行列を算出するための処理を例示する図である。 位置合わせ前の第１の三次元表面モデルと第２の三次元表面モデルとを例示する図である。 位置合わせ前の第１の三次元表面モデルと第２の三次元表面モデルとを例示する図である。 位置合わせ後の図１６Ａ〜図１６Ｂの第１の三次元表面モデルと第２の三次元表面モデルとを例示する図である。 位置合わせ後の図１６Ａ〜図１６Ｂの第１の三次元表面モデルと第２の三次元表面モデルとを例示する図である。 テクスチャが加えられていない単一の三次元表面モデルと、テクスチャが加えられた単一の三次元表面モデルとを例示する図である。 対象物の三次元画像を再構築するための処理を例示する図である。

Claims (23)

1. 三次元対象物に赤外線パターンを投射することと、
   前記三次元対象物の第１画像であって、（ｉ）前記三次元対象物と前記パターンとを含み、（ｉｉ）複数のピクセルを有する二次元デジタル画像であり、（ｉｉｉ）第１カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される第１画像を、前記三次元対象物に前記パターンを投射している間に生成することと、
   前記三次元対象物の第２画像であって、（ｉ）前記三次元対象物と前記パターンとを含み、（ｉｉ）複数のピクセルを有する二次元デジタル画像であり、（ｉｉｉ）前記第１カメラと既知の物理的関係を有する第１ステレオペアを成すよう配置された第２カメラにおいて、赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される第２画像を、前記三次元対象物に前記パターンを投射している間に生成することと、
   前記第１画像の前記複数のピクセルの一部と前記第２画像の前記複数のピクセルの一部との間の第１ペア対応関係を確立することと、
   前記三次元対象物の第３画像であって、（ｉ）前記三次元対象物を含むが、前記パターンは含まず、（ｉｉ）複数のピクセルを有する二次元デジタル画像である第３画像を、前記三次元対象物に前記パターンを投射している間に生成することと、
   前記第１ペア対応関係と前記第３画像とに基づいて、前記三次元対象物の三次元構造を描く二次元画像を構築することと
   を含む方法。
2. 前記赤外線パターンを投射することは、ランダムでない赤外線パターンを投射することを含む請求項１に記載の方法。
3. 前記第１ペア対応関係を確立することは、
   前記第１画像における最初のピクセルと、前記第２画像における対応するピクセルとの間の対応関係を決定することと、
   前記第１画像における該最初のピクセルと前記第２画像における該対応するピクセルとの間の該対応関係に基づいて、前記第１画像における別の幾つかのピクセルと、これらにそれぞれ対応する前記第２画像における対応ピクセルとの間の対応関係を決定することと
   を含む請求項１に記載の方法。
4. 前記第１ペア対応関係を確立することは、
   前記第１画像における、第１の特定の水平線上に位置する第１の最初のピクセルと、前記第１の最初のピクセルに対応する第１対応ピクセルであって、前記第２画像において前記第１の特定の水平線上に位置する第１対応ピクセルとの間の対応関係を決定することと、
   前記第１画像における、前記第１の特定の水平線上に位置する別の幾つかのピクセルと、これら幾つかのピクセルにそれぞれ対応する対応ピクセルであって、前記第２画像において前記第１の特定の水平線上に位置する対応ピクセルとの間の対応関係を決定することと、
   前記第１画像における、第２の特定の水平線上に位置する第２の最初のピクセルと、前記第２の最初のピクセルに対応する第２対応ピクセルであって、前記第２画像において前記第２の特定の水平線上に位置する第２対応ピクセルとの間の対応関係を決定することと、
   前記第１画像における、前記第２の特定の水平線上に位置する別の幾つかのピクセルと、これら幾つかのピクセルにそれぞれ対応する対応ピクセルであって、前記第２画像において前記第２の特定の水平線上に位置する対応ピクセルとの間の対応関係を決定することと
   を含む請求項１に記載の方法。
5. 前記第１ペア対応関係を確立することは、
   前記第１画像における各水平線上の最初のピクセルと、前記第２画像における各水平線上の対応するピクセルとの間の対応関係を決定することと、
   前記第１画像における各水平線上の前記最初のピクセルと前記第２画像における各水平線上の前記対応するピクセルとの間の前記対応関係に基づいて、前記第１画像における別の幾つかのピクセルと、これらにそれぞれ対応する前記第２画像における対応ピクセルとの間の対応関係を決定することと
   を含む請求項１に記載の方法。
6. 前記パターンが縦方向の複数のストライプを備える請求項１に記載の方法。
7. 前記第１の最初のピクセルは、前記第１の特定の水平線上における複数のパターンピクセル（pattern pixels）から算出された重心パターンピクセルである請求項５に記載の方法。
8. 前記第１画像における、前記第２の特定の水平線上に位置する前記別の幾つかのピクセルのうちの少なくとも一つのピクセルの対応関係は、前記第２の特定の水平線上に位置する少なくとも一つの他のピクセルについて決定された対応関係に基づいて決定される請求項４に記載の方法。
9. 前記第１画像における、前記第２の特定の水平線上に位置する前記別の幾つかのピクセルのうちの少なくとも一つのピクセルの対応関係は、前記第１の特定の水平線上に位置する少なくとも一つのピクセルについて決定された対応関係に基づいて決定される請求項４に記載の方法。
10. 前記第１の特定の水平線上に位置する前記少なくとも一つのピクセルは、前記第２の特定の水平線上に位置する前記別の幾つかのピクセルのうちの前記少なくとも一つのピクセルと同じストライプ縁上にある請求項９に記載の方法。
11. 前記三次元構造を描く前記二次元画像を構築することは、
    前記第１ペア対応関係に基づいて第１の三次元点のセットを形成することと、
    前記第１の三次元点のセットに基づいて第１の三次元表面モデルを生成することと
    を含む請求項１に記載の方法。
12. 前記三次元対象物の第４画像であって、複数のピクセルを有する二次元デジタル画像であり、第４カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される第４画像を、前記三次元対象物に前記パターンを投射している間に生成することと、
    前記三次元対象物の第５画像であって、複数のピクセルを有する二次元デジタル画像であり、前記第４カメラと既知の物理的関係を有する第２ステレオペアを成すよう配置された第５カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される第５画像を、前記三次元対象物に前記パターンを投射している間に生成することと、
    前記第４画像の前記複数のピクセルの一部と前記第５画像の前記複数のピクセルの一部との間に第２ペア対応関係を確立することと
    をさらに含み、
    前記三次元対象物の三次元構造を描く前記二次元画像の構築は、前記第２ペア対応関係に更に基づいて行われる請求項１に記載の方法。
13. 前記三次元構造を描く前記二次元画像を構築することは、
    前記第１ペア対応関係に基づいて第１の三次元表面モデルを生成することと、
    前記第２ペア対応関係に基づいて第２の三次元表面モデルを生成することと、
    前記第１と第２の三次元表面モデルをレジストレーション（register）することと
    を含む請求項１２に記載の方法。
14. 前記レジストレーションすることは、
    前記第１と第２の三次元表面モデルの共通の表面を特定することと、
    前記共通の表面に基づいてレジストレーション行列の最初の推定を行うことと、
    レジストレーション行列の前記最初の推定に基づいて、前記第１と第２の三次元表面モデルの間で最も近い点同士を特定することと
    を含む請求項１３に記載の方法。
15. 前記第１の三次元表面モデルを生成することは、前記第１ペア対応関係に基づいて第１の三次元点のセットを形成することと、
    前記第１の三次元点のセットに基づいて前記第１の三次元表面モデルを生成することと
    を含み、
    前記第１の三次元表面モデルを生成することは、
    前記第２ペア対応関係に基づいて第２の三次元点のセットを形成することと、
    前記第２の三次元点のセットに基づいて前記第２の三次元表面モデルを生成することと
    を含む請求項１３に記載の方法。
16. 統合された三次元表面モデルを生成するために、前記レジストレーションの後に前記第１と第２の三次元表面モデルを統合することと、
    前記統合された三次元表面モデルにテクスチャを加えることと
    をさらに含む請求項１３に記載の方法。
17. 前記第３画像を生成することは、第３カメラにおいてフィルタリングされていない光を捕捉することによって前記第３画像を生成することを含む請求項１に記載の方法。
18. 前記第３カメラはテクスチャカメラである請求項１７に記載の方法。
19. 第２カメラに接続された第１カメラを有する第１ステレオカメラペアと、
    第４カメラに接続された第３カメラを有する第２ステレオカメラペアと、
    ４つの赤外線フィルタのセットであって、それぞれが前記４つのカメラの１つに作用可能に接続されている赤外線フィルタのセットと、
    プロジェクタと、
    前記４つのカメラと前記プロジェクタとに接続されたコンピュータ読み取り可能な媒体であって、少なくとも次のこと、即ち
    三次元対象物に前記プロジェクタから赤外線パターンを投射することと、
    前記三次元対象物の第１画像であって、（ｉ）前記三次元対象物と前記パターンとを含み、（ｉｉ）複数のピクセルを有する二次元デジタル画像であり、（ｉｉｉ）第１カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される第１画像を、前記三次元対象物に前記パターンを投射している間に生成することと、
    前記三次元対象物の第２画像であって、（ｉ）前記三次元対象物と前記パターンとを含み、（ｉｉ）複数のピクセルを有する二次元デジタル画像であり、（ｉｉｉ）前記第１カメラと既知の物理的関係を有する第１ステレオペアを成すよう配置された第２カメラにおいて、赤外線フィルタによってフィルタリングされた光を捕捉することによって生成される第２画像を、前記三次元対象物に前記パターンを投射している間に生成することと、
    前記第１画像の前記複数のピクセルの一部と前記第２画像の前記複数のピクセルの一部との間の第１ペア対応関係を確立することと、
    前記三次元対象物の第３画像であって、（ｉ）前記三次元対象物を含むが、前記パターンは含まず、（ｉｉ）複数のピクセルを有する二次元デジタル画像であり、（ｉｉｉ）テクスチャカメラで光を捕捉することによって生成される第３画像を、前記三次元対象物に前記パターンを投射している間に生成することと、
    前記第１ペア対応関係と前記第３画像とに基づいて、前記三次元対象物の三次元構造を描く二次元画像を構築することと
    を実行するための命令を含むコンピュータ読み取り可能な媒体と
    を備えるシステム。
20. 前記プロジェクタは、可視領域と赤外線領域の光を生成できる光源を備える請求項１９に記載のシステム。
21. 前記プロジェクタは、第５の赤外線フィルタを備える請求項２０に記載のシステム。
22. 前記コンピュータ読み取り可能な媒体は、処理装置と記憶装置のうち一つ以上を備える請求項１９に記載のシステム。
23. 三次元対象物にパターンを投射している間に捕捉された前記三次元対象物の第１画像であって、（ｉ）前記三次元対象物と前記パターンとを含み、（ｉｉ）複数のピクセルを有する二次元デジタル画像であり、（ｉｉｉ）第１カメラにおいて赤外線フィルタによってフィルタリングされた光を捕捉することによって生成された第１画像にアクセスすることと、
    前記三次元対象物に前記パターンを投射している間に捕捉された前記三次元対象物の第２画像であって、（ｉ）前記三次元対象物と前記パターンとを含み、（ｉｉ）複数のピクセルを有する二次元デジタル画像であり、（ｉｉｉ）第２カメラにおいて赤外線フィルタによりフィルタリングされた光を捕捉することによって生成された第２画像にアクセスすることと、
    前記第１画像と前記第２画像とを捕捉する間、既知の物理的関係を有する第１ステレオペアとして配列された前記第１カメラと前記第２カメラとに基づいて、前記第１画像の前記複数のピクセルの一部と前記第２画像の前記複数のピクセルの一部との間の第１ペア対応関係を確立することと、
    前記三次元対象物に前記パターンを投射している間に捕捉された前記三次元対象物の第３画像であって、（ｉ）前記三次元対象物を含むが、前記パターンは含まず、（ｉｉ）複数のピクセルを有する二次元デジタル画像である第３画像にアクセスすることと、
    前記第１ペア対応関係と前記第３画像とに基づいて、前記三次元対象物の三次元構造を描く二次元画像を構築することと
    を少なくとも実行するための命令を含むコンピュータ読み取り可能な媒体。

Images