JP2000513847A - 自由に選択可能な視点からの光景の出力画像を表示する方法 - Google Patents

Abstract

(57)【要約】 本発明によれば、光景の多数の入力画像が異なる視点から撮られる。光景の各モデルが各入力画像毎に作成される。該モデルは当該光景の空間における表面パッチの位置に関する記述を含み、各々の表面パッチは当該入力画像内の１群のピクセルに略対応する。視点が選択され、該視点から対応するモデルに基づき各入力画像の眺めが撮られる。出力画像における各ピクセルに関して、上記眺めのうちの１つが選択され、この選択された眺めからのピクセルが該出力画像のピクセルに表示される。

Description

【発明の詳細な説明】 自由に選択可能な視点からの光景の出力画像を表示する方法 技術分野 本発明は、自由に選択可能な視点からの光景の出力画像を表示する方法であっ て、 − 当該光景の各入力視点からの入力画像を得、 − 上記入力画像内の入力情報の元となる上記光景の空間内に位置する点を表す モデル情報を計算し、 − 前記選択可能な視点を選択し、 − 前記出力画像内における出力ピクセルに関して、上記モデル情報内で表され る何れの出力点が当該出力画像における該出力ピクセルにおいて見えるかを決定 し、 − 上記出力ピクセルのピクセル値を、上記出力点が元となる入力画像又は複数 の入力画像における画像情報から決定し、 − 当該出力画像内の出力ピクセルを上記ピクセル値に基づいて表示する、 ような各過程を有する方法に関する。 上記の場合、“モデル”なる文言は、当該光景の画像内で見ることができる空 間内の点の三次元位置に関する情報一般的に指し、背景面をも含むことができる ものである。 背景技術 上記のような方法は、SIGGRAPH 1996会議議事録でP.E.Debevec、C.J.Taylor及 びJ.Malikにより公開された“写真からの建築物のモデル化及び再現（rendering ）:ハイブリッド幾何学及び画像に基づく方法”なる記事から既知である。 上記公開は建築上の光景を見ることを目指したものである。この既知の方法に よれば、光景のモデルが一部距離測定から、また一部手動モデル入力から計算さ れる。このモデルの計算は、平坦な表面、直角な角或いは繰り返し形状等の使用 のような建築的光景にとり典型的な制限を課すことにより、容易化されている。 このモデルは、入力画像で見える領域用の光の源である多数の表面を規定してい る。 出力画像を構築する上記処理は、隠喩的に、モデル上に入力画像を各視点から 投射し、該モデルを選択された視点から再現することに相当する。 上記既知の方法は、見ることができるようになる前に、完全なモデルが必要で あるという欠点を有している。モデルの構築は多額な費用が掛かり時間が掛かる と共に、通常人間の操作者による介入を必要とする。更に、入力画像の投影は、 これまで使用されている暗喩における所謂“陰”と呼ばれるものの時間の掛かる 除去（即ち、入力画像が当該モデルにおける、入力画像の入力視点に当該モデル の他の部分と交差する視線により接続される部分に投影されることの防止）を必 要とする。 発明の開示 本発明の目的は、なかでも、自由に選択可能な視点からの出力画像を表示する 一層速い方法を提供することにある。 本発明による方法は、当該方法が請求項１の特徴部による各過程を有している ことを特徴としている。 画像及び距離情報中の雑音により、通常各モデルは一貫していないが、このこ とは表示用の出力点の選択の間に解決され、共通のモデルは必要ではない。必要 とされるモデル情報の量は、出力画像を表示するために使用される入力画像の数 によってのみ決定される。新たな眺めに関しては、追加の画像及びモデルを、用 意されたモデルを変更することなく追加することができる。“陰”の問題は、各 点が、各入力画像に関して別個のモデルを、実質的に入力画像内に当該入力画像 の視点からの領域として見える光景内の部分に関係する表面パッチ（surfacepat ches）のみで使用することにより決定される場合は、避けることができる。上記 表面パッチは、好ましくは、入力画像内で境界を共有するように見えるが該 境界には対応する表面パッチの深さの跳びが存在するような可視領域用の表面パ ッチを接続する表面パッチも含むようにする。これにより、対応する表面パッチ に関する隣接情報から入力画像における領域の隣接度を追跡することが可能とな る。 更に、視点からのラインが典型的には単一の表面としか交差しないように個々 のモデル内の表面パッチの数が限られているので、何れの点が見えるかの決定は 即座になされる。 本発明による方法の一実施例は、前記各点から前記出力点を選択するために、 前記各点が属する表面パッチの法線と、前記選択された視点及び前記各点に対応 する前記入力画像の各視点から前記各点への視線との各々の間の第１の角度と第 ２の角度との間の差が小さい方の各点に優先度が付与されることを特徴としてい る。 また、本発明による方法の一実施例は前記出力点を選択するために、前記出力 ピクセル及び前記入力ピクセルが前記表面パッチに投影された場合に、前記出力 ピクセルと入力ピクセルの投影の第１のサイズと第２のサイズとの間の差が小さ い方の各点に優先度が付与されることを特徴としている。 本発明による方法は請求項５に記載したような他の実施例を有している。この 実施例においては、各モデルが単一の入力画像に対応しているという事実が利用 されて、出力画像の計算が高速化されている。 また、本発明は請求項６に記載したような他の実施例を有している。このよう にして、異なる入力画像に限定された異なるモデルが照明の変化のシミュレーシ ョンを実施するために使用されると共に照明の変化を計算するためにも使用され る。原理的に、出力画像内に見える出力点を計算するために使用される如何なる 技術も、光源から光を受ける照明点を決定するために使用することができる。こ のような方法により、一様な点光源及びスポットライト（例えば３０度なる限ら れた幅のコーン内で光を放射する光源）又は無限距離における光源のような方向 依存性の光源も容易にモデル化することができる。 また、本発明による方法は請求項７に記載されたような他の実施例を有してい る。この実施例においては、一群の他の入力画像からの画像情報を入力画像に挿 入することが可能である。補助画像の計算は、好ましくは、前記出力画像の計算 に関して説明した方法と同様の方法で実行される。補助画像内のピクセル群に対 応する他の表面パッチの記述は、好ましくは、上記他の入力画像用の表面パッチ の記述を変換することにより得られる。 また、本発明は本方法の種々の特徴を実行する装置にも関するものである。 図面の簡単な説明 本発明の上記及び他の有利な特徴は以下の図面を参照して説明されるであろう 。 第１図は、多数の視点を伴う光景の幾何学構造を示す。 第２図は、上記光景の入力画像を示す。 第３ａ図及び第３ｂ図は、上記光景の２つのモデルの上面を示す。 第４図は、上記光景の画像を表示する装置を示す。 発明を実施するための最良の形態 第１図は、物体１０を含む光景の幾何構造を示している。本発明による方法及 び装置の目的は、このような光景の出力画像を、自由に選択可能な視点１２から 見えるままに表示することである。 上記出力画像を構築するために、当該光景の数個の入力画像が、例えばカメラ （図示略）を用いて多数の入力視点１４a,b（第１図の例では２つの入力視点１ ４a,bを示す）から得られる。カメラを用いて入力画像を得るということは、物 体１０を画像面１６a,b上に、該対象物１０から入力視点１４a,bを介して画像面 １６a,bに向かって走る視線１８a,bを介して投影することに対応する。 第２図は、物体１０を伴う上記光景の結果として得られた画像２０の一例を示 している。 上記入力画像と組み合わせて、当該画像が得られる入力視点１４a,bから、該 入力画像内で見える当該光景内の点１９a,bまでの距離に関して距離情報da,ｄｂ が得られる。これは、例えばカメラが移動される間に上記入力画像内の点を表す 位置の移動の量を測定することによりなすことができるが、入力視点１４ a,bから当該光景の点１９a,bを照明すると共に入力視点１４a,bから該光景の点 １９a,bまで及び入力視点１４a,bに戻るまでの当該照明の飛行時間を測定するよ うな、多くの代替え測定技術が存在する。各入力画像に関しては、当該光景のモ デルが上記距離情報から計算される。 第３a,b図は、本発明の一実施例における上記光景の２つのモデルの例を表し ている。該モデルは例えば、境界縁を共有するか又は前記カメラからの視線と平 行に走る表面パッチ（surface patches）により接続することができる境界縁を 少なくとも有する、多数の平坦な三角形表面パッチ１０a,b、１１a,bのパラメー タを含んでいる（これら表面パッチは横方向から見て、線分１０a,b、１１a,bと して示されている）。第３a,b図は、出力画像が構築される選択された出力視点 ３６の位置も示している。 上記表面パッチのパラメータは、例えば、三角形表面パッチ１０a,b、１１a,b の角点の座標である。当該モデルにおける表面パッチ１０a,b、１１a,b及び点３ ８a,bは、入力画像の領域及び位置に対応している。この対応性は、例えば上記 表面パッチの角点と入力画像における位置との間の関係を特定することにより明 示的に特定することもできるが、上記表面パッチのパラメータ、入力視点３４a, b及び当該画像を得るために使用されるカメラのモデルの撮像幾何学的配置（ima ging geometry）からの帰結でもある。例えば、撮像幾何学的配置は、光学（投 影）軸がｉ番目の入力画像を得るために使用されたｚ軸を規定し、ｘ及びｙ軸が 該ｉ番目の入力画像の水平及び垂直を各々規定するような座標系を用いてモデル 化することもでき、この場合、該撮像幾何学的配置は、上記表面パッチ上の点に 対応するベクトル“ｒ”と当該カメラに関する上記座標系内のベクトル“ｓ”と の間の関係ｓ＝Ｑｉ＋ｐｉを特定する（Ｑｉはｉ番目の画像の回転マトリクスで あり、ｐｉはｉ番目の画像の並進ベクトルである）。 上記表面パッチの形状及びこれらパッチの表面パラメータは、入力画像に関し て得られる距離情報の近似を得るべく、計算される。表面パッチの境界は、例え ば、入力画像中の対応する領域の境界が、当該入力画像内での距離情報が急激な 変化を呈する場所に位置し、且つ好ましくは当該入力画像の内容が縁を表すよう な位置に合うように、配置される。境界は、距離の非線形な変化によるエラーを 最小化するために、急激な変化又は縁を伴わない領域の内部にも配置することが できる。当該モデルは好ましくは入力画像内で見ることができる領域に関する表 面パッチのみを含み、好ましくは入力画像内の何れの位置も表面パッチに属する ものとする。 或る実施例においては、モデルの表面パッチは、入力画像を一群の多角形（好 ましくは三角形）に副分割することによって構成される。各多角形に関して、線 形距離プロファイルにより距離情報が近似され、該情報は少なくとも敷居値以内 で測定距離に等しいものとする。これらの多角形及び距離プロファイルは、前記 入力視点の位置及びカメラの撮像幾何学的配置と一緒に、入力画像のモデルを形 成する表面パッチを規定するために使用することができる。好ましくは、非常に 小さな多角形（例えば１０ピクセル等の所定のピクセル数より小さい）及び入力 視点からの視線と（殆ど）平行に走る（即ち、視線と表面パッチの法線との間の 角度が、９０度から例えば８度のような所定角度以内しか相違しない場合）表面 パッチに対応する多角形は、上記のようなモデルから除外されるか又は当該入力 画像内のピクセル位置で見ることができないものと見なされるようにし、これに より斯かる表面パッチが出力ピクセル源として使用されるのを防止するようにす る。 当該入力画像内の可視部分に関する表面パッチに加えて、視点からの視線に平 行に走る補助表面パッチを、境界の異なる側における部分が互いに空間的に分離 されている異なる物体に属する場合のように、これら境界が距離的な跳びに相当 する場合は、部分間の境界用として当該モデルに含めることができる。 第４図は光景の画像を表示する装置を示している。この特定の装置は本発明の 基本的な機能を示すためにのみ図示されている。即ち、実際には、第４図の種々 の要素は異なる態様で分散させることができ、又は上記各機能はコンピュータプ ロセッサにより実行されるプログラムにより実施することもできる。該装置は出 力視点（及び好ましくはカメラ姿勢も、これら姿勢及び視点は入力画像に関して 規定したのと同様に、例えば、回転マトリクスＱ及び並進ベクトルｐに関して選 択される）を選択するための要素４０を含んでいる。出力視点を選択する該要素 ４０は、各々が各入力画像及び対応するモデルに対するものであるような多数の 再現ユニット（rendering units）４２a-cに結合されている。これら再現ユニッ ト４２a-cは、比較ユニット４４及びマルチプレクサ４６に結合された出力端を 有している。マルチプレクサ４６の出力端は表示ユニット４８に結合されている 。 動作時には、異なる入力画像及び対応するモデルが各再現ユニット４２a-cに ロードされる。出力視点を選択する前記要素４０は出力視点１２を選択し、該出 力視点１２を各再現ユニット４２a-cに通知する。各再現ユニット４２a-cは、該 ユニットにロードされた入力画像及びモデルに基づいて出力視点からの（及び好 ましくはカメラ姿勢に基づく）出力画像を、例えば一度に出力画像内の１出力ピ クセルのピクセル値に関し、計算し始める。再現ユニット４２a-cは、上記モデ ルが当該出力ピクセルのピクセル値を規定するならば、マルチプレクサ４６に対 して当該同一の出力ピクセルに関する各ピクセル値を供給する。 上記目的のため、再現ユニット４２a-cは、何れの表面パッチが当該出力ピク セルにおいて見える出力点を含むかを先ず決定し、次いで、入力画像における何 れのピクセル（又は複数のピクセル）が該出力点に対応するかを決定する。そし て、該ピクセル値（又は複数のピクセル値）から出力ピクセル値が計算される。 上記出力点の決定は、何れの表面パッチが当該出力ピクセルにおいて見えるか の決定を要する。非常に速い実施例では、再現ユニット４２a-cは該表面パッチ を計算するのに走査ラインアルゴリズムを使用する。走査ラインアルゴリズムに おいては、再現ユニット４２a-cは“走査ライン”（好ましくは、該走査ライン は表示ユニット４８が出力画像を走査するラインとする）と呼ばれる出力画像内 のラインに沿う位置の進行の間に出力ピクセルを順次計算する。 上記走査ライン及び視点は、一緒になって、これら走査ライン及び視点を通過 する面を規定する。各再現ユニット４２a-cは、該面と当該再現ユニットにロー ドされたモデルの表面パッチとの交差を計算する。これらの交差は、各々が出力 画像内の当該走査ラインの区間上に投射する線分である。これら線分の集合は、 入力画像を介しての断片的な線形な連続経路にも対応し、線形な区画は表面パッ チに対応する画像領域と交差し又は表面パッチ間の境界に沿って走る。 再現ユニット４２a-cは、上記区間を走査ラインに沿い増加する位置で並び替 えると共に、再現ユニット４２a-cに記憶されたモデルからの他の区画により閉 ざされた区画（又はそれらの部分）は削除する。第１出力ピクセルを出力する場 合、再現ユニット４２a-cは上記区画のうちの何れに実際の出力ピクセルが存在 するかを決定し、これにより出力ピクセルにおいて見える出力点が該区画に対応 する表面パッチ上にあることが分かる。後続の出力ピクセルは、走査ラインに沿 う出力ピクセルの進行が２つの区画の間の境界と交差することが分かるまで、同 一の表面パッチに属する出力点を“見る”ようにし、交差した場合は該境界の反 対側に位置する新たな区画が表面パッチを決定するために使用される。 当業者は上記のような走査ラインアルゴリズム自体は現状技術から知るであろ う。しかしながら、既知のアルゴリズムは、本発明により使用されるモデルの特 別の特性を利用することにより改善することができる。特に、上記区画の記憶及 び閉ざされた区画（又はそれらの部分）の削除に要する時間は、上記線分が入力 画像内の断片的な線形な連続経路に対応するという事実を利用することにより減 少させることができる。 これを利用するため、線分は該経路に現れる順序で処理され、下記について情 報が維持される： − 各区画により及ばれた上記走査ライン上の連続した範囲Ｒは、処理された線 分に対応する（範囲Ｒは、例えば、最小及び最大位置により規定される）、 − モデル内の各点を接続する補助線分Ａは、上記連続した範囲の端点に対応す る、 − 区画の順序リストＬは、走査ライン上に現れる順で処理された可視線分に対 応する。 上記区画の発見を例示する疑似プログラムは： 言い換えると、経路上の次の線分が処理される場合、（該経路に沿う先の線分 に接続されている）当該線分の始点が補助線分よりも視点に近いか又は視点から 遠いかが（即ち、該補助線分が上記始点と視点との間にあるか否かが）決定され る。次の線分が一層近く、その区画が範囲外である場合は、該線分が見える（視 点に向けて）限りにおいて、その区画は順序リストに適当であるとして先付け又 は後付される。上記次の線分が一層近く、その区画が少なくとも一部範囲内であ る場合は、その区画は可視である場合上記リスト内に配置され、該区画が重なる 如何なる区画も重なる範囲において順序リストから削除される。上記次の線分が 一層遠い場合は、該次の線分が範囲外まで延びているか否かが決定される。もし そうなら、該区画の上記範囲外に延びる部分は、もし見えるなら、順序リストに 加えられる。何れの場合においても、上記範囲は必要なら線分に対応する区画を 含むように延長される。この処理は、全ての線分が処理されるまで、次の線分に 関して繰り返される。このようにして、Ｎ個の表面パッチがある場合は、出力画 像はＮ回のうちに計算され、これは任意のモデルの場合よりも速い。 マルチプレクサ４６は上記ピクセル値のうちの１つを表示ユニット４８へ通過 させる。各再現ユニット４２a-cは、出力ピクセルで見える表面パッチのパラメ ータも比較ユニット４４に通知する。比較ユニット４４はこれらパラメータを比 較し、該比較に基づいて再現ユニット４２a-cのうちの１つを選択すると共にマ ルチプレクサ４６に該再現ユニット４２a-cからのピクセル値を表示ユニット４ ８に通過させるよう指令する。 比較ユニット４４は、何れの入力画像及び対応するモデルが出力画像内の出力 ピクセルのピクセル値を決定するであろうかを選択する。この選択は多数の考慮 に基づくものである。 選択された出力視点と、出力ピクセル上に写像（map）する特定のモデル内の 表面パッチ上における点との間の距離に考慮が払われる。通常は、最も近い点を 規定するモデルが好ましい。 ピクセルサイズにも考慮を払うことができる。即ち、入力画像内の入力ピクセ ルは、該入力画像の入力視点を介して表面パッチ上に逆投影された場合、或る入 力サイズを有するであろうし、選択された出力視点を介して逆投影される出力ピ クセルは出力サイズを有するであろう。通常は、上記入力サイズと出力サイズと が最も密に調和するようなモデルが好ましい。 表面パッチの法線と視線との間の角度にも考慮が払われる。即ち、入力視点か ら表面パッチへの視線は法線と入力角をなし、出力視点から表面パッチへの視線 は法線と出力角をなす。通常、上記入力角と出力角とが最も緊密に調和するモデ ルが好ましい。 好ましくは、上記考慮の組み合わせが使用される。特に、上記考慮のうちの何 れかが入力画像及び対応するモデルに関する距離、ピクセルサイズ又は角度が臨 界的な範囲内にあることを示している場合は、もし可能なら、該入力画像及び対 応するモデルの選択は避けるべきである。臨界的な範囲は、例えば、当該モデル から当該表面パッチまでの距離が或る敷居値以上他のモデルの表面パッチまでの 距離を越える場合、当該入力角と当該出力角とが他の敷居値以上相違する場合、 当該出力角が９０度から更に他の敷居値末満しか相違しない場台、又は当該入力 サイズが当該出力サイズを最小係数以上越える場合に、生じると言われている。 上記臨界的範囲外では、前記考慮の何れか１つ又は重み付けされた組み合わせが 、好ましい入力画像及びモデルを選択するために使用される。 好ましくは、再現ユニット４２a-cは、ピクセル値が決定される場合、多数の 表面パッチを当該モデルから無視する。例えば、表面パッチが眺め方向と平行に 走っている（即ち、その法線と画像の入力視点からの視線との間の角度が９０度 から例えば８度なる敷居値未満しか相違しない）と判断された場合は、再現ユニ ット４２a-cは当該パッチを無視すると決定することができる。同様に、再現ユ ニットは、入力画像からの所定数の入力ピクセル未満しか写像しないパッチ、又 はもし当該パッチがアーチファクトである場合は、例えば入力画像の副分割にお ける包括範囲を完全にするために要するものは、無視することができる。 前記比較ユニット４４は、各出力ピクセルに関して判断をする必要はない。再 現ユニット４２a-cは、出力ピクセルがライン、“走査ライゾ”（好ましくは、 表示ユニット４８が出力画像を走査するようなライン）、に沿って扱われる走査 ラインアルゴリズムを使用することができる。ピクセル値は走査ラインに沿う出 力ピクセルの進行の間に計算される。この場合、各再現ユニット４２a-cは当該 ラインを区画に分割し、各区画は再現ユニット４２a-cにロードされたモデル内 の同一の各表面パッチからの点を表示する走査ライン上の一群の連続した出力ピ クセルに対応する。或る区分内の進行する出力ピクセルの部分に対しては、再現 ユニットは出力ピクセルから見える表面パッチを再判断する必要はない。各再現 ユニット４２a-cは比較ユニット４４に対し、或る区分から他の区分への遷移を 新たな区分に対応する表面パッチのパラメータと共に通知する。この場合、比較 ユニット４４は新たな区分が通知される毎に再現ユニットを選択し、この選択は 少なくとも次の区分が通知されるまで持続する。このように、選択のために要す る計算の量は、各ピクセル個々に対しての表面パッチの選択に比較して減少する ことができる。マルチプレクサ４６の出力に対してフィルタ動作を実行して、異 なる再現ユニット４２a-cの選択の間の移行を滑らかにすることもできる。 再現に先立ち、入力画像は追加の光源を疑似するために変化させることができ る。この目的のため、１以上の光源が定義される。各光源に関し、光源が位置す る空間内の光源点が選択される。光源が位置する該点から入力画像内の何れのピ クセルが見えるかが判断され、ピクセルが見えるなら、そのピクセル値が上記光 源の効果を疑似すべく変化される。次いで。これら変化された画像が出力画像を 構築するために使用される。 入力画像の各ピクセルに関しての当該ピクセルが光源の光源点から見えるか否 かの判定は、好ましくは、出力画像を形成する場合について上述したのと同様の 方法を用いて実施される。即ち、上記光源に関して各々が特定の方向に放射され る光ビームに対応するような多数の“出力ピクセル”が規定される。各モデルに 関して、もしあるなら、表面パッチからの何れの出力点が各画像において見える かが判断され、２以上の入力画像において上記のような出力点が存在したら、こ れら画像のうちの１つが上述したように例えば最も近い点を選択することにより 選択される。他の例として、点間の距離が当該モデルのエラー限界を反映してい る敷居値より小さい場合は、これら点は幾つかの入力画像用として一度に選択さ れてもよい。 このように、陰の効果は出力画像を構築するために用いられたのと同様の技術 を用いて疑似される。出力点に対応する選択された画像中のピクセル“ｉ”のピ クセル値Ｃｉは、例えば次式により変えることができる： Ci'＝Ci(１＋faＩ)＋fbＩCL 上記において、Ci'は変化されたピクセル値（好ましくは、Ci、Ci'及びCLは色 ベクトルとする）、Ｉは光源の輝度係数、CLは光源の（好ましくは正規化された ）色ベクトル、fa及びfbは所望の照明効果を生成するために選択された補正係数 である。faがfbより十分大きい場合は（faは例えば０.１から１０.０の範囲内で ある）、当該表面パッチの色は元の画像における色と略同じであり、輝度は主に 光源により決まる。表面パッチの色を変えて光源の色の効果を疑似するために、 faに対して係数fbを増加させることも可能である。 一群の入力画像中に物体を挿入するか又は削除することが可能である。削除は 、少なくとも１つの画像に関連する表面パッチの集合を指定することにより実行 される。これらの指定された表面パッチに関連する入力画像内の入力ピクセルは “無効”と印され、これら指定された表面パッチが当該モデルから削除されるか 、又はこれらパッチの深さが当該パッチが出力画像に影響しないように変更され る。入力画像から指定された表面パッチが削除される場合に入力画像間の一貫性 を保証するために、入力画像の各々は、これら入力画像に関連する何れの他の表 面パッチが何れかの指定された表面パッチ上にある光景空間内の点を含むか、又 はエラー限界内にあるような表面パッチまでの距離を有するかを判断するために 解析される。このような表面パッチも指定されたものと見なされて、削除される 。入力画像及び深さ情報を得るために使用されるカメラ位置が与えられた場合、 上記のような表面パッチは容易に見つけられる。他の例として、指定される表面 パッチは人間の編集者によってのみ選択されるようにしてもよい。 指定された表面パッチに対応する入力画像内のピクセルは無効と印される。出 力画像が計算される場合に、入力画像内の“無効”と印されたピクセルは無視さ れる。 挿入は２つの群の入力画像と対応するモデルとに関わり、第１の群は元の光景 を描写し、第２の群は、なかでも、挿入された物体を描写する。物体を挿入する ために、第２の群の画像の部分に対応する当該物体の表面パッチが指定される。 これら指定は、その場合に削除されるであろうだったこれら表面パッチが今度は 収集され、第１の群の入力画像に挿入されるべき物体を表すと言われる点を除き 、削除されるべき表面パッチの指定と同様の態様で処理することができる。 当該物体に関しては第１の群の入力画像により描写される光景に対して位置及 び姿勢が選択される。これらから、当該物体に対する補助視点及び眺め姿勢（光 学軸の回転及び傾き）が計算され、この場合、各視点及び姿勢は第１群の入力画 像を得るために使用された視点及び眺め姿勢に各々対応する。補助入力画像が、 上記補助視点から且つ上記補助眺め姿勢に基づいて眺められた入力画像の第２の 群からの指定された表面パッチにつき、計算される。例えば、当該物体の選択さ れた位置及び姿勢は、当該光景の空間内の点を表すベクトルｒ１を当該物体を含 む空間内の点を表すベクトルｒ２に関連付ける変換、例えばｒ1＝Ｑinsｒ2＋ｐi ns（Ｑinsは回転マトリクスであり、ｐinsは並進ベクトルである）、により規定 することができる。第１の群からの入力画像“ｉ”のモデルは、当該表面パッチ 上の点に対応するベクトル“ｒ”と、当該カメラに関する座標系内のベクトル“ ｓ”との関係ｓ＝Ｑｉｒ＋ｐｉを規定する。この場合、上記補助視点及び姿勢は 、関係ｓ＝ＱｉＱinsｒ＋Ｑｉｐins＋ｐｉにより、即ち回転マトリクスＱｉＱin sと並進ベクトルＱｉｐins＋ｐｉとにより、規定される。 上記補助入力画像の該計算は好ましくは、各補助視点及び該視点から見える各 表面パッチに関しては当該光景の空問内の上記表面パッチの位置を表す情報が計 算される点を除いては、基本的に前述した出力画像の計算と同様の態様で（第４ 図の再現ユニット４２a-c、マルチプレクサ４６及び比較ユニット４４を用いて ）実施されるようにする。好ましくは、当該補助画像に関する表面パッチについ ての上記情報は、第２の群の入力画像内の表面パッチに関して既に用意されてい る情報を変換することにより計算されるようにし、後者の表面パッチの部分は、 これらが当該補助画像内で見えない場合は削除される。このように、個々のピク セルに関して距離を計算する必要はない。 次いで、各補助入力画像が第１の群の入力画像内に対応する視点及び姿勢で挿 入される。補助画像が情報を提供するピクセルのピクセル値は、当該補助画像が 最も近い点を提供する限り（又は出力画像内のピクセル値を決定するための２つ の入力画像間の選択に関して先に述べた何れかの他の条件を満たす限り）、上記 補助画像からの対応するピクセルのピクセル値により置換される。当該補助入力 画像に対応する表面パッチの記述が、上記の置換されたピクセルに加えられる。 次いで、これら修正された入力画像が、前述した態様により出力画像を得るため に使用される。

Claims (1)

1. 【特許請求の範囲】 １．自由に選択可能な視点からの光景の出力画像を表示する方法であって、該方 法が、 各入力視点からの前記光景の入力画像を得、 前記入力画像内の入力情報の元となる前記光景の空間内に位置する点を表すモデ ル情報を計算し、 前記選択可能な視点を選択し、 前記出力画像内における出力ピクセルに関し、前記モデル情報内で表される何れ の出力点が前記出力画像内で当該出力ピクセルにおいて見えるかを判定し、 前記出力点から生じる前記入力画像又は複数の入力画像内の前記画像情報から上 記出力ピクセルのピクセル値を決定し、 前記出力画像内に前記出力ピクセルを前記ピクセル値に基づいて表示する、 ような各ステップを有する方法において、当該方法が、 各入力画像に対してモデルを計算し、各モデルは前記光景の空間内に位置する表 面パッチに関する情報を有し、各表面パッチは各入力画像内のピクセル群に実質 的に対応し、 各モデルに対して、もしあるなら、当該モデルの前記表面パッチからの何れの点 が当該モデルによれば前記出力画像内の前記出力ピクセルにおいて見えるかを判 定し、 前記点が発見された異なるモデルにおけるこれら各点を含む表面パッチのパラメ ータの比較に基づいて、前記各点から出力点を選択し、 前記出力点が選択された各モデルに対応する入力画像内の前記画像情報から前記 ピクセル値を決定する、 ような各ステップを有することを特徴とする方法。 ２．請求項１に記載の方法において、前記各点から前記出力点を選択するために 、前記選択された視点までの距離が短い方の各点に優先度が付与されることを特 徴とする方法。 ３．請求項１に記載の方法において、前記各点から前記出力点を選択するために 、前記各点が属する表面パッチの法線と、前記選択された視点及び前記各点に対 応する前記入力画像の各視点から前記各点への視線との各々の間の第１の角度と 第２の角度との間の差が小さい方の各点に優先度が付与されることを特徴とする 方法。 ４．請求項１に記載の方法において、前記出力点を選択するために、前記出力ピ クセル及び前記入力ピクセルが前記表面パッチに逆投影された場合に、前記出力 画像における前記出力ピクセルと前記各点に各々対応する前記入力画像内の入力 ピクセルの投影の第１のサイズと第２のサイズとの間の差が小さい方の各点に優 先度が付与されることを特徴とする方法。 ５．請求項１に記載の方法において、各特定の入力画像に関して前記出力画像内 の区画の順序リストが計算され、前記区画は前記出力画像における走査ラインに 沿って順次見える各表面パッチの線分に対応し、前記走査ラインは前記出力ピク セルを含み、前記出力点は前記出力ピクセルが存在する区画を決定することによ り決定され、前記順序リストは前記特定の入力画像における経路に沿って見える 順序で前記線分を順次処理することにより計算され、処理された線分の区画によ り及ばれた前記走査ラインに沿う連続範囲の表示を維持し、線分の前景／背景位 置が当該線分を前記連続範囲の端点に対応する前記モデル内の点間に延びる補助 線分と比較することにより決定されることを特徴とする方法。 ６．請求項１に記載の方法であって、前記入力画像のピクセルに関して照明の変 化の効果を表すために変化されたピクセル値が計算されるような方法において、 当該方法が、 前記光景内の光源点と該光源点に対して配置された照明分布画像とを選択し、各 照明ピクセル値は前記照明分布画像内の各光ピクセルに関連付けられ、 各モデルに対して、もしあるなら、当該モデルの表面パッチからの何れの各照明 点が前記照明分布画像内で前記各モデルによれば光ピクセルにおいて見えるかを 判定し、 変化可能な点を、前記各照明点から、前記各照明点が発見された異なるモデルに おけるこれら各照明点を含む表面パッチのパラメータの比較に基づいて選択し、 前記変化可能な点が当該変化可能な点に対応する変化可能なピクセルにおいて選 択された各モデルに対応する入力画像内の前記画像情報を変化させる、 ような各ステップを有していることを特徴とする方法。 ７．請求項１に記載の方法において、 他の光景からの他の入力画像を、前記他の光景の空間内に位置する表面パッチに 関する情報を有する各他のモデルと組み合わせて他の各視点から各々得、各表面 パッチは実質的に前記他の入力画像における各一群のピクセルに対応し、 他の表面パッチの集合を前記他のモデルから指定し、 前記他の表面パッチの集合に関して前記光景に対する位置及び姿勢を選択し、 前記他の光景に対する各補助視点を、前記他の表面パッチが前記選択された位置 及び姿勢に従って位置される場合に各補助視点が前記他の表面パッチに対して前 記視点の各々と同様の空間関係を有するように決定し、 前記集合の他の表面パッチの一群の補助画像を前記補助視点から計算すると共に 、前記集合の他の表面パッチを記述する補助モデルを、これらモデルが前記補助 画像内のピクセル群に対応する限りにおいて計算し、 前記入力画像の各視点からピクセル値により表される前記光景内の点までの深さ が、対応する補助視点から前記集合からの他の表面パッチ上の可視点までの深さ より大きい場合に、前記出力画像を計算する前に、前記入力画像におけるピクセ ル値及びモデル情報を前記補助画像からのピクセル値及び補助モデル情報により 置換する、 ような各ステップを有していることを特徴とする方法。 ８．自由に選択可能な視点からの光景の出力画像を表示する装置であって、該装 置が、 各入力視点からの前記光景の入力画像を記憶するメモリと、 前記入力画像内の入力情報が生じるの前記光景内の点を表すモデル情報を記憶す るメモリと、 前記選択可能な視点を選択する手段と、 前記出力画像内における出力ピクセルに関し、前記モデル情報内で表される何れ の出力点が前記出力画像内で当該出力ピクセルにおいて見えるかを判定する手段 と、 前記出力点から生じる前記入力画像又は複数の入力画像内の前記画像情報から上 記出力ピクセルのピクセル値を決定する手段と、 前記ピクセル値を入力して、前記出力画像内に前記ピクセル値に基づいて前記出 力ピクセルを表示する表示ユニットと、 を有するような装置において、 前記モデル情報を記憶するメモリが各入力画像に対してモデルを記憶するように 構成され、各モデルは前記光景の空間内に位置する表面パッチに関する情報を有 し、各表面パッチは各入力画像内のピクセル群に実質的に対応し、 前記装置が、 各モデルに対して、もしあるなら、当該モデルの前記表面パッチからの何れの点 が当該モデルによれば前記出力画像内で前記出力ピクセルにおいて見えるかを判 定する手段と、 前記点が発見された異なるモデルにおける各点を含む表面パッチのパラメータの 比較に基づいて、前記各点から前記出力点を選択する手段と、 前記出力点が選択された各モデルに対応する入力画像内の前記画像情報から前記 ピクセル値を決定する手段と、 を有することを特徴とする装置。 ９．請求項８に記載の装置であって、前記入力画像のピクセルに関して照明の変 化の効果を表すために変化されたピクセル値が計算されるような装置において、 当該装置が、 前記光景内の光源点と該光源点に対して配置された照明分布画像とを選択する手 段であって、各照明ピクセル値が前記照明分布画像内の各光ピクセルに関連付け られているような手段と、 各モデルに対して、もしあるなら、当該モデルの表面パッチからの何れの各照明 点が前記照明分布画像内で前記各モデルによれば光ピクセルにおいて見るかを判 定する手段と、 変化可能な点を、前記各照明点から、前記各照明点が発見された異なるモデルに おける各照明点を含む表面パッチのパラメータの比較に基づいて選択する手段と 、 前記変化可能な点が選択された各モデルに対応する入力画像内の照明モデルに従 って前記画像情報を変化させる手段と、 を有していることを特徴とする装置。 １０．請求項８に記載の装置において、各モデルに関して何れの出力点が見える かを判定する前記手段が、各特定の入力画像に関して前記出力画像内の区画の順 序リストを決定し、前記区画は前記出力画像における走査ラインに沿って順次見 える各表面パッチの線分に対応し、前記走査ラインは前記出力ピクセルを含み、 前記出力点は前記出力ピクセルが存在する区画を決定することにより決定され、 前記順序リストは前記特定の入力画像における経路に沿って見える順序で前記線 分を順次処理することにより計算され、処理された線分の区画により及ばれた前 記走査ラインに沿う連続範囲の表示を維持し、線分の前景／背景位置が当該線分 を前記連続範囲の端点に対応する前記モデル内の点間に延びる補助線分と比較す ることにより決定されることを特徴とする装置。 １１．請求項８に記載の装置において、 他の光景からの他の入力画像を、他の各視点から各々得、 他の表面パッチの集合を前記他のモデルから指定し、 前記他の表面パッチの集合に関して前記光景に対する位置及び姿勢を選択し、 前記他の光景に対する各補助視点を、前記他の表面パッチが前記選択された位置 及び姿勢に従って位置される場合に各補助視点が前記他の表面パッチに対して前 記視点の各々と同様の空間関係を有するように決定し、 前記集合の他の表面パッチの一群の補助画像を前記補助視点から計算すると共に 、前記集合の前記他の表面パッチの深さを表す補助モデル情報を、前記補助視点 から計算し、 前記入力画像の各視点からピクセル値により表される前記光景内の点までの深さ が、対応する補助視点から前記集合からの他の表面パッチ上の可視点までの深さ より大きい場合に、前記出力画像を計算する前に、前記入力画像におけるピクセ ル値及びモデル情報を前記補助画像からのピクセル値及び補助モデル情報により 置換する、 ような各手段を有していることを特徴とする装置。