JP2008287696A - 画像処理方法と装置 - Google Patents

Abstract

【課題】カメラが移動しても同じ背景データが利用されるため、背景が変化しない。
【解決手段】３次元空間２中の複数の座標Ｐ１〜Ｐｎ（ｎは２以上の整数）に、それぞれの座標から見た遠景を示す複数のパノラマデータＰＤ１〜ＰＤｎを用意し、対応づけておく。カメラ２０が、パノラマデータＰＤが対応づけられていない座標に位置する場合、カメラ座標Ｐｃから見た遠景を示す背景データを、２つ以上のパノラマデータＰＤを合成して生成する。
【選択図】図１

Description

この発明は、３次元コンピュータグラフィックス技術に関し、特に３次元オブジェクトの背景に遠景としてマッピングされる背景オブジェクトの描画技術に関する。

映画やアニメ、ゲームなどさまざまな分野において利用される３次元コンピュータグラフィックスは、演算処理装置の高速化に伴って高精細化の一途をたどっており、近年では実写と見紛うほどの画像処理が可能となっている。

３次元コンピュータグラフィックスにおいて、より現実に近い映像を生成するために、３次元オブジェクトの背面に、背景を描画する場合がある。

背景を３次元オブジェクトを利用して描画すると演算量が膨大となる。

本発明はかかる課題に鑑みてなされたものであり、その目的は、背景を描画する際の演算量を低減する技術の提供にある。

本発明のある態様の画像処理方法は、３次元グラフィックスの画像処理方法に関する。この画像処理方法は、３次元空間中の少なくとも２つの座標に、それぞれの座標から見た遠景を示すパノラマデータを対応づけて予め用意しておく。カメラが、パノラマデータが対応づけられていない座標に位置する場合、カメラの座標（以下、単にカメラ座標という）から見た遠景を示す背景データを、予め用意されたパノラマデータを合成して生成する。生成された背景データは、配置された３次元オブジェクトをレンダリングする際の、背景として利用される。

本発明によれば、カメラ位置に応じた適切な背景を描画することができ、視聴者の違和感を低減できる。

実施の形態は、３次元グラフィックスの描画技術に関し、ビューボリューム内に配置される３次元オブジェクトをレンダリングする際に、その背景として利用されるデータ（以下、背景データという）を生成する技術に関する。まずその概要を説明する。

ある実施の形態の画像処理方法は、３次元グラフィックスの画像処理方法に関する。この方法は、以下の処理を実行する。この処理は主に図１〜図３に示される。
（１）３次元空間２中の複数の座標Ｐ１〜Ｐｎ（ｎは整数）に、それぞれの座標Ｐ１〜Ｐｎから見た遠景を示す複数のパノラマデータＰＤ１〜ＰＤｎを対応づける。
（２）続いて、カメラ２０が、パノラマデータＰＤが対応づけられていない座標に位置する場合、カメラ２０の座標Ｐｃから見た遠景を示す背景データＢＧＤを、パノラマデータＰＤを合成して生成する。
この実施の形態によれば、カメラの位置に応じた適切な背景を生成することができる。

パノラマデータＰＤはそれぞれ、対応する座標Ｐから見た３６０度の遠景データを保持してもよい。カメラの視線方向をθ（θは実数）、視野角をφ（φは実数）とするとき、背景データＢＧＤを生成する際に、以下の処理を行ってもよい。
（２−ａ）第１のパノラマデータＰＤｉから、方向θを中心として、少なくとも視野角φを含むように切り抜いた第１画像データＧＤｉを抽出する。
（２−ｂ）第２のパノラマデータＰＤｊから、方向θを中心として、少なくとも視野角φを含むように切り抜いた第２画像データＧＤｊを抽出する。
（２−ｃ）第１、第２画像データＧＤｉ、ＧＤｊ間でマッチング計算を実行する。
（２−ｄ）マッチング計算の結果をもとに第１、第２画像データＧＤｉ、ＧＤｊ間の補間画像データを生成する。
（２−ｅ）生成された補間画像を背景データＢＧＤとして出力する。
この処理は、図２、図４に示される。

背景データＢＧＤを生成する際に、カメラ座標Ｐｃを通り、カメラ２０の視線方向θを含む直線ｌｃによって２分される２つの領域ＲＧＮ１、ＲＧＮ２から、それぞれ座標Ｐｉ、Ｐｊを選択し、選択された座標Ｐｉ、Ｐｊに対応づけられた２つのパノラマデータＰＤｉ、ＰＤｊを合成してもよい。この処理は、主に図２に示される。

背景データＢＧＤを生成する際に、以下の処理を行ってもよい。この処理は、主に図４に示される。
（２−ｆ）カメラ２０の座標Ｐｃを内包するｍ角形（ｍは３以上の整数）を形成するｍ個の座標Ｐｉ、Ｐｊ、Ｐｋを選択する。
（２−ｇ）選択された座標Ｐｉ、Ｐｊ、Ｐｋに対応づけられたｍ個のパノラマデータＰＤｉ、ＰＤｊ、ＰＤｋを合成する。
合成するパノラマデータの個数を増やすことにより、より正確な背景データを生成することが可能となる。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図１は、描画の対象となる３次元空間２を示す図である。３次元空間２は、いくつかの３次元オブジェクト１０と、複数のパノラマデータＰＤ１〜ＰＤｎを含む。
パノラマデータＰＤ１〜ＰＤｎは、３次元空間中の複数の座標Ｐ１〜Ｐｎに対応づけられている。各パノラマデータＰＤ１〜ＰＤｎは、それぞれの座標Ｐ１〜Ｐｎから見た遠景を示すデータである。本実施の形態において、パノラマデータＰＤはそれぞれ、対応する座標Ｐ１〜Ｐｎから見た３６０度（水平視野角）の遠景データを保持している。実際のパノラマデータＰＤは、Ｘ座標が視線方向θと１対１に対応づけられた２次元（縦ｖピクセル×横ｈピクセル）の画像データであり、たとえば、Ｘ＝０には、視線方向０度を望んだときに、座標Ｐから見える遠景が描画され、Ｘ＝ｈには、視線方向３６０度を望んだときに見える遠景が描画される。つまり、任意のＸ座標には、視線方向θ＝Ｘ／ｈ×３６０度を望んだときに見える遠景が描画される。図１においてパノラマデータＰＤは、理解の容易のために、２次元の画像データの左右２辺が合致するように変形させた円筒型のオブジェクトとして示している。仮想的に円筒型として示されるパノラマデータＰＤは、実際に３次元オブジェクトとして配置されているわけではない。
円筒型データの代わりに、球面型データを利用してもよい。この場合、視野角を立体角で表現してもよい。また、カメラの視線方向がある範囲に制限される場合、パノラマデータは全方位０〜３６０度に対して用意される必要はない。

パノラマデータＰＤは、ＪＰＥＧやビットマップ形式のデータとして用意される。こうしたパノラマデータは、たとえばデジタルスチルカメラなどによって撮像した複数の画像を合成することにより、既知の画像処理ソフトウェアを利用して生成してもよいし、別の方法によって生成してもよい。パノラマデータＰＤは、ドロー系、ペイント系などの２次元のコンピュータグラフィックスを用いて作成してもよい。あるいは、予め３次元コンピュータグラフィックスを用いて遠景の３次元オブジェクトをモデリングし、これを２次元平面に投影変換することにより生成してもよい。

３次元空間中には、カメラ２０が設けられる。カメラ２０は仮想的なものであり、レンダリングする際の視点を示す。つまり、３次元空間中にモデリングされるオブジェクトのうち、カメラ２０の視野に含まれる部分が、平面投影されてディスプレイに表示される。カメラ２０の座標（以下単にカメラ座標という）をＰｃと書く。

本実施の形態では、カメラ２０が、パノラマデータＰＤが対応づけられていない座標、すなわちＰ１〜Ｐｎ以外に位置する場合、カメラ２０の座標Ｐｃから見た遠景を示す背景データＢＧＤを、いくつかのパノラマデータを合成して生成する。以下、合成処理の方法について説明する。

（第１の合成処理）
図２は、実施の形態に係るパノラマデータの第１の合成処理を示す図である。図２は、図１の３次元空間２をＺ軸の負方向に望んだ平面図、つまりＸＹ平面を示す。本実施の形態では、パノラマデータＰＤは円筒型のデータとして用意されているものとし、カメラ２０の視線方向θは、ＸＹ平面内において、Ｘ軸を基準とした偏角を表すものとする。また、カメラ２０の視野角をφと表記する。

第１の合成処理では、背景データＢＧＤ（図示せず）を生成するために、複数のパノラマデータＰＤ１〜ＰＤｎのうち、２つのパノラマデータＰＤｉ、ＰＤｊを選択する。２つのパノラマデータＰＤｉ、ＰＤｊの選択は以下のように行う。
まず、カメラ２０の座標Ｐｃを通り、カメラ２０の視線方向θの直線ｌｃによって２つの領域ＲＧＮ１、ＲＧＮ２に２分する。そして、各領域ＲＧＮ１、ＲＧＮ２から、それぞれひとつずつの座標Ｐｉ、Ｐｊを選択する。選択された座標に対応づけられた２つのパノラマデータを合成する。各領域ＲＧＮ１、ＲＧＮ２に、複数のパノラマデータＰＤが配置される場合、それぞれの領域から、カメラ座標Ｐｃと最も近いパノラマデータＰＤを選択する。

パノラマデータＰＤｉから、視線方向θを中心として、少なくとも視野角φを含むように切り抜いた画像データＧＤｉを抽出する。つまり、２次元の画像データであるパノラマデータＰＤｉから、Ｘ座標がθ−φ／２からθ＋φ／２である範囲を切り抜く。同様に、パノラマデータＰＤｊから、視線方向θを中心として、少なくとも視野角φを含むように切り抜いた画像データＧＤｊを抽出する。切り抜きには、垂直方向の視野角を考慮してもよい。また、画像の両端におけるマッチングの精度を高めるために、実際の視野角φに加えて角度マージンΔφを付加した範囲の画像を抽出するのが好ましい。

背景データＢＧＤの生成は、画像データＧＤｉ、ＧＤｊ間でマッチング計算を実行し、マッチング計算の結果をもとに画像データＧＤｉ、ＧＤｊ間の補間画像データを生成することにより実行される。図３は、補間による背景データの生成、および背景データと３次元オブジェクトの合成を示す図である。
画像データＧＤｉは、座標Ｐｉから見た遠景を示すデータであって、視線方向θ、視野角（φ＋２Δφ）の遠景を示している。同様に、画像データＧＤｊは、座標Ｐｊから見た遠景を示すデータであって、視線方向θ、視野角（φ＋２Δφ）の遠景を示している。

画像データＧＤｉ、ＧＤｊでマッチング処理が実行され、互いに対応する対応点あるいは対応領域（以下、「対応点」で代表させる）が検出される。画像データＧＤｉ、ＧＤｊ間の対応点を対応づけるデータを対応点情報データという。図３には、対応点の一例として山の稜線上の点（ｘｉ、ｙｉ）、（ｘｊ、ｙｊ）が示される。

カメラ座標Ｐｃから見た遠景内で、対応点（ｘｉ、ｙｉ）、（ｘｊ、ｙｊ）と対応する対応点（ｘｃ、ｙｃ）は、画像データＧＤｉの対応点（ｘｉ、ｙｉ）と、画像データＧＤｊの対応点（ｘｊ、ｙｊ）を、内分する点に配置される。図２に示すように、座標Ｐｉ、Ｐｊを結ぶ直線Ｐｉ−Ｐｊを、直線ｌｃがα：１−αに内分するとき、補間処理は内分比αを利用して行ってもよい。たとえば、背景データＢＧＤの対応点の座標（ｘｃ、ｙｃ）は、以下の式にもとづいて決定してもよい。
（ｘｃ、ｙｃ）＝ （α−１）・（ｘｉ、ｙｉ）＋α・（ｘｊ、ｙｊ）
この例は単純補間である。あるいは、αを関数として、別のパラメータを利用した計算式によって、座標（ｘｃ、ｙｃ）を計算してもよい。
その他の対応点について同様の処理を行い、それら対応点同士の位置と画素値を補間して補間画像を生成する。その結果、カメラ座標Ｐｃから方向θ、視野角φを望んだ背景データＢＧＤ全体を生成することができる。

マッチング計算自体はオプティカルフロー、ブロックマッチング、本出願人が提案する特許第２９２７３５０号の手法など、その内容は問わない。マッチング結果をもとに補間画像を生成する手法も、特許第２９２７３５０号の手法など、その内容は問わない。

ディスプレイ上に表示される最終的な画像５０は、３次元オブジェクト１０と背景データＢＧＤの合成によって生成される。つまり、背景データＢＧＤは、３次元オブジェクトをレンダリングする際の背景データとして、投影先の平面上にマッピングされる。Ｚバッファ法を用いる場合、背景データはＺ値を最大にして描画される。３次元オブジェクト１０は、同一の投影面に背景データよりも小さなＺ値を用いて投影される。こうした画像処理は、公知の技術を用いればよい。

実施の形態の効果をより明確とするため、ある３次元空間の座標系に対してひとつの背景データを準備した場合について考察する。本来、移動方向とカメラの視線方向が異なれば、背景もカメラの移動とともに変化するはずであるが、この場合、カメラが移動しても同じ背景データが利用されるため、背景が変化しないという問題がある。これによって、その映像の視聴者はその画像に違和感を覚える可能性がある。
これに対して本実施の形態に係る画像処理技術によれば、パノラマデータＰＤをいくつか用意しておくことにより、パノラマデータが存在しない座標から任意の方向を見た背景データを、簡易に生成することができる。

さらに、カメラ座標Ｐｃを変化させると、それに応じて新たなカメラ座標に応じた背景データＢＧＤが生成される。したがって、視点（カメラの位置）が移動させる際に、背景をそれに応じて変化させることができるため、従来に比べてよりリアリティのあるコンピュータグラフィックスが生成できる。

（第２の合成処理）
第１の合成処理では２つのパノラマデータＰＤｉ、ＰＤｊを合成する場合を説明した。これに対して、第２の合成処理では３つ以上のパノラマデータＰＤを合成する。図４は、実施の形態に係るパノラマデータの第２の合成処理を示す図である。図４の例では、３つのパノラマデータＰＤｉ、ＰＤｊ、ＰＤｋを合成して、背景データＢＧＤを生成する。

第２の合成処理では、まず、パノラマデータＰＤが対応づけられている座標Ｐの中から、カメラ座標Ｐｃを内包する三角形（ｍ＝３）を形成する３個の座標を選択する。カメラ座標Ｐｃを内包する三角形が複数選択可能な場合、３個の座標は以下に示す選択規則のいずれか、または複数の組み合わせにしたがって選択してもよい。
１． 三角形の各頂点が、カメラ座標Ｐｃと最も近接する組み合わせ
２． 形成される三角形の重心が、カメラ座標Ｐｃと最も近接する組み合わせ
３． 形成される三角形が、最も正三角形に近づく組み合わせ
規則１に従う場合、カメラ座標Ｐｃから近い順に３つの頂点を選択すればよい。
規則３に従う場合、三角形の内角をθ_１、θ_２、θ_３とするとき、評価式（６０−θ_１）^２＋（６０−θ_２）^２＋（６０−θ_３）^２を最小とする組み合わせを選択すればよい。あるいは、三角形の三辺をａ、ｂ、ｃとするとき、評価式（ａ−ｂ）^２＋（ｂ−ｃ）^２＋（ｃ−ａ）^２または、評価式（ａ−ｄ）^２＋（ｂ−ｄ）^２＋（ｃ−ｄ）^２を最小とする組み合わせを選択すればよい。ここでｄ＝（ａ＋ｂ＋ｃ）／３である。
そして、いずれかの規則にもとづいて選択された座標Ｐｉ、Ｐｊ、Ｐｋに対応づけられた３個のパノラマデータＰＤｉ、ＰＤｊ、ＰＤｋを合成する。

３つのパノラマデータＰＤｉ、ＰＤｊ、ＰＤｋの合成は以下のように行ってもよい。まず、座標Ｐｋと座標Ｐｃを通る直線ｌ１によって、座標Ｐｉ、Ｐｊを結ぶ直線Ｐｉ−Ｐｊを内分する。２つの直線の交点を中間座標Ｐｍという。直線ｌ１は視線方向θとは無関係である点で、図２の処理とは異なっている。中間座標Ｐｍによる直線Ｐｉ−Ｐｊの内分比をα：１−αとするとき、パノラマデータＰＤｉ、ＰＤｊから切り抜いた画像データＧＤｉ、ＧＤｊを、αを用いて内挿補間することにより、中間画像データＧＤｍを生成する。補間処理については、第１の合成処理と同様の技術を利用すればよい。

続いて、中間画像データＧＤｍと、パノラマデータＰＤｋから切り抜いた画像データＧＤｋを合成して、カメラ座標Ｐｃから見た目的の背景データＢＧＤを生成する。この合成には、座標Ｐｍ、Ｐｋを結ぶ直線Ｐｍ−Ｐｋの、カメラ座標Ｐｃによる内分比をβ：１−βを利用すればよい。

この処理によれば、３つのパノラマデータＰＤを利用するため、図２の処理に比べて、さらに正確な背景データＢＧＤの生成が可能となる。

カメラが、選択した三角形の外側の領域に移動する場合、新たな三角形の頂点座標として、カメラが横切る辺を形成する２つの頂点を保持し、残りの１つの頂点の座標を変更することが望ましい。この場合、カメラが移動しても、２つの頂点が保持されるため、補間により生成される背景データＢＧＤが不連続となるのを防止することができる。

カメラの移動にともなって、カメラ座標を包含する三角形の切換（再選択）が行われる場合、切換前の三角形の頂点のパノラマデータＰＤの合成により生成された背景データＢＧＤと、切換後の三角形の頂点のパノラマデータＰＤの合成により生成された背景データＢＧＤと、をαブレンディングによって合成してもよい。この処理によって、三角形の再選択によって背景データＢＧＤが不連続となるのを防止できる。

図５は、実施の形態に係る画像処理装置の構成を示す。本発明の別の態様は、画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、プロセッサ、メモリを搭載するコンピュータ、ワークステーション、ゲーム機器、等のハードウェアを利用して構成可能である。

画像処理装置１００は、モデリング部３０、レンダリング部３２、パノラマデータ記憶部３４、パノラマデータ合成部３６、メモリ３８、画像出力部４２を備える。

モデリング部３０は、いわゆるエディタ機能を備え、ユーザとの相互作用によって３次元オブジェクトを所定の座標系に配置し、３次元空間のモデリングを行う。モデリングにより生成されたポリゴンや多面体などのプリミティブの頂点データ、輝度データなどは、メモリ３８に格納される。

また、モデリング部３０は、ユーザとの相互作用によって仮想的なカメラの座標Ｐｃ、視線方向θ、視野角φ（以下、カメラパラメータという）を定義し、メモリ３８に格納する。カメラの位置や視線が時間とともに時々刻々と変化する場合、カメラパラメータは時間の関数として定義される。その結果、カメラが移動する際の経路（以下、モーションパスという）が記述される。ゲームプログラムなどの場合、カメラパラメータは、予め定義されるのではなく、レンダリングの際にゲームユーザの指示に従ってモデリング部３０がリアルタイムで設定してもよい。

レンダリング部３２は、モデリング部３０によってモデリングされた３次元空間のデータをメモリ３８から読み出す。さらに、レンダリング部３２は、カメラパラメータを読み出し、これらにもとづいて平面投影処理、隠面処理などのレンダリング処理を実行する。

パノラマデータ記憶部３４は、３次元空間中の複数の座標Ｐ１〜Ｐｎに対応づけられ、それぞれの座標から見た遠景を示す複数のパノラマデータＰＤ１〜ＰＤｎを保持する。パノラマデータ記憶部３４は、メモリ３８の一部の領域として設けられてもよいし、ハードディスクの一部の領域として設けられてもよい。

パノラマデータ合成部３６は、カメラパラメータ（Ｐｃ、θ、φ）を受け、そのカメラ座標Ｐｃからθ方向を見た背景データＢＧＤを、いくつかのパノラマデータＰＤを合成することにより生成する。この処理は上述した。

メモリ３８は、フレームバッファ４０を含む。パノラマデータ合成部３６により生成された背景データＢＧＤは、直接、または間接的に、フレームバッファ４０に書き込まれる。Ｚバッファ法を利用する場合、背景データＢＧＤのＺ値は最大に設定される。レンダリング部３２は、レンダリング処理の結果生成されたデータを、フレームバッファ４０に書き込む。その結果、フレームバッファ４０には、モデリング部３０によってモデリングしたオブジェクトと、背景データとを含むデータが書き込まれる。

画像出力部４２は、図示しないディスプレイに対して、生成された画像データを出力する。画像データの出力先は、ディスプレイに限定されない。画像処理装置１００によって生成された画像（静止画、動画であるとを問わない）は、ビットマップ形式、ＪＰＥＧ形式、ＭＰＥＧ（Moving Picture Expert Group）形式など、所定の形式で保存されてもよい。

以下、ユーザ（以下、プログラマという）が、図５の装置を用いて３次元グラフィクスを作成する場合の動作を説明する。
たとえばプログラマが、カーレースのゲームをプログラムするとする。この場合、仮想的なカメラに近接する領域には、車や建物を、３次元オブジェクトとして配置するが、遠景の山や町並みを３次元オブジェクトとして描画すると、データ量および描画に要する演算量が膨大となる。

そこでプログラマは、車や建物などの３次元オブジェクトを配置して３次元空間をモデリングする。それとともに、モデリングする３次元座標系のいくつかの座標から見た遠景を示すパノラマデータＰＤを用意し、各パノラマデータＰＤをその視点に対応した座標に対応付けて、パノラマデータ記憶部３４に保存する。

プログラムされたゲームのユーザ（以下ゲームユーザという）がゲームを開始し、操作対象の車を移動させると、それに伴ってカメラパラメータが時々刻々と変化する。パノラマデータ合成部３６はカメラパラメータにもとづいてパノラマデータＰＤを合成し、背景データＢＧＤを生成する。レンダリング部３２は、カメラパラメータにもとづいて３次元空間をレンダリングし、背景データＢＧＤと合成する。

図５の画像処理装置１００によれば、カメラパラメータが時々刻々と変化する状況においても、少ない演算量で違和感の少ない背景を描画することができ、ゲームユーザが３次元グラフィックスに没頭することができる。

以上、実施の形態は例示に過ぎず、その構成や処理ステップにはいろいろな変形技術が考えられる。以下例示する。

実施の形態では、複数のパノラマデータＰＤｉ、ＰＤｊ（およびＰｋ）を合成して、カメラ座標Ｐｃからの背景データＢＧＤを生成したが、その他の処理も可能である。たとえば、カメラ座標Ｐｃからの視線方向θの直線ｌｃ上に、パノラマデータＰＤが存在する座標が位置する場合、合成処理を行わずに、そのパノラマデータＰＤをそのまま利用してもよい。

また、カメラ座標ときわめて近接する箇所に、パノラマデータＰＤが存在する座標が位置する場合には、そのパノラマデータを利用してもよい。たとえば、カメラ座標とパノラマデータＰＤが存在する座標の距離が、所定のしきい値以下のとき、そのパノラマデータＰＤを利用してもよい。所定のしきい値は、以下のように決定してもよい。
１． パノラマデータＰＤに描画されている遠景と、その視点との距離をｒとするとき、ｒに所定比率を乗じた値をしきい値とする。所定比率は数％程度に設定する。
２． パノラマデータＰＤが存在する複数の座標間の距離のうち、最短の距離をｓとするとき、ｓに所定比率を乗じた値をしきい値とする。
３． カメラ座標から２番目に近いパノラマデータが存在する座標と、カメラ座標との距離をｔとするとき、ｔに所定比率を乗じた値をしきい値とする。
４． カメラ座標から２番目に近いパノラマデータが存在する座標と、カメラ座標との距離をｔとするとき、ｔに所定比率を乗じた値をしきい値とする。
これらの処理によれば、合成処理が不要となるため、演算処理を減らすことができる。

また、画像データＰＤｉ、ＰＤｋ間の対応点を検出する処理は、その都度計算するのではなく、予め計算しておいてもよい。
たとえば、すべてのパノラマデータＰＤのうち、隣接する組み合わせに対し、全角度（３６０度）を含む画像データ同士で、対応点情報を計算しておいてもよい。この場合、カメラが高速に移動する場合に、マッチング処理により描画が遅れることを回避することができる。

実施の形態では、補間として内挿補間を利用した。この際の内分比として、直線ｌｃによる座標Ｐｉ、Ｐｊ間の直線の内分点を利用した。別の変形例として、座標Ｐｉ、Ｐｊそれぞれと、直線ｌｃとの距離の比を用いてもよい。
さらに、内装補間に代えて、外挿補間を利用してもよい。特に、カメラ座標Ｐｃを含み、視線方向θを有する直線ｌｃによって２分される２つの領域ＲＧＮ１、ＲＧＮ２のいずれか一方にのみ、パノラマデータＰＤが存在する場合、外挿補間の利用が有効である。

実施の形態にもとづき、本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を離脱しない範囲において、多くの変形例や配置の変更が可能である。

描画の対象となる３次元空間を示す図である。 実施の形態に係るパノラマデータの第１の合成処理を示す図である。 補間による背景データの生成を示す図である。 実施の形態に係るパノラマデータの第２の合成処理を示す図である。 実施の形態に係る画像処理装置の構成を示す図である。

符号の説明

２ ３次元空間、 １０ ３次元オブジェクト、 ２０ カメラ、 ３０ モデリング部、 ３２ レンダリング部、 ３４ パノラマデータ記憶部、 ３６ パノラマデータ合成部、 ３８ メモリ、 ４０ フレームバッファ、 ４２ 画像出力部、 １００ 画像処理装置、 Ｐ 座標、 ＰＤ パノラマデータ、 ＧＤ 画像データ、 ＢＧＤ 背景データ。

Claims (7)

1. ３次元グラフィックスの画像処理方法であって、
   ３次元空間中の複数の座標に、それぞれの座標から見た遠景を示す複数のパノラマデータを対応づける過程と、
   仮想的なカメラが前記パノラマデータが対応づけられていない座標に位置する場合、カメラの座標から見た遠景を示す背景データを、画像マッチングによって前記パノラマデータを合成して生成する過程と、
   を備えることを特徴とする画像処理方法。
2. 前記パノラマデータはそれぞれ、対応する座標から見た３６０度の遠景データを保持しており、前記カメラの視線方向をθ（θは実数）、視野角をφ（φは実数）とするとき、
   前記背景データを生成する過程は、
   第１のパノラマデータから、方向θを中心として、少なくとも視野角φを含むように切り抜いた第１画像データを抽出する過程と、
   第２のパノラマデータから、方向θを中心として、少なくとも視野角φを含むように切り抜いた第２画像データを抽出する過程と、
   前記第１、第２画像データ間でマッチング計算を実行する過程と、
   マッチング計算の結果をもとに前記第１、第２画像データ間の補間画像データを生成する過程と、
   生成された補間画像を前記背景データとして出力する過程と、
   を含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記背景データを生成する過程は、
   前記カメラの座標を通り、カメラの視線方向を含む直線によって２分される２つの領域から、それぞれ座標を選択し、選択された座標に対応づけられた２つのパノラマデータを合成することを特徴とする請求項１に記載の画像処理方法。
4. 前記背景データを生成する過程は、
   前記カメラの座標を内包するｍ角形（ｍは３以上の整数）を形成するｍ個の座標を選択する過程と、
   選択された座標に対応づけられたｍ個のパノラマデータを合成する過程と、
   を含むことを特徴とする請求項１に記載の画像処理方法。
5. ３次元空間中の複数の座標に対応づけられ、それぞれの座標から見た遠景を示す複数のパノラマデータを保持するパノラマデータ記憶部と、
   仮想的なカメラが、前記パノラマデータが対応づけられていない座標に位置する場合、カメラの座標から見た遠景を示す背景データを、前記パノラマデータを合成して生成するパノラマデータ合成部と、
   前記３次元空間中に配置された３次元オブジェクトを、前記背景データとともにレンダリングするレンダリング部と、
   を備えることを特徴とする画像処理装置。
6. ３次元グラフィックスを描画するプログラムであって、
   描画対象となる３次元空間中の複数の座標に対応づけられ、それぞれの座標から見た遠景を示す複数のパノラマデータを、記憶領域に格納する過程と、
   カメラの座標を取得する過程と、
   取得した前記カメラの座標が、前記パノラマデータが対応づけられていない座標に位置する場合、少なくとも２つの前記パノラマデータを前記記憶領域から読み出す過程と、
   演算処理装置を用いて、読み出した前記パノラマデータを合成して、前記カメラの座標から見た遠景を示す背景データを生成する過程と、
   演算処理装置を用いて、前記３次元空間中に配置された３次元オブジェクトを、前記背景データとともにレンダリングする過程と、
   を備えることを特徴とするプログラム。
7. ３次元グラフィックスプログラムのプラグインモジュールとして提供されることを特徴とする請求項６に記載のプログラム。

Images