JP2001034788A - 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、３次元仮想空間レイアウトシステ
ムへの応用を考慮して物体の操作や衝突検出が可能で、
視点や視線の変化を自由に行い、また隠面消去を行い得
る画像合成を行うことを目的としている。 【解決手段】 ３次元コンピュータグラフィックスの画
像合成表示に当たって、ジオメトリデータを用いて、画
像の位置と表示の大きさとを決定し、それに合わせて実
写画像を表示するようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元コンピュー
タグラフィックスにおいて、実写画像を用いて物体を表
示する画像合成表示方法および装置ならびに画像合成表
示プログラムを記録した記録媒体に関するものである。

【０００２】

【従来の技術】本明細書において、３次元コンピュータ
グラフィックス（以下、３次元ＣＧと記す）とは、３次
元仮想空間中の物体を透視投影変換して得られる２次元
画像をコンピュータを用いて、ディスプレイに表示する
ことを意味する。

【０００３】３次元ＣＧにおける物体（オブジェクトと
呼ぶこともある）のモデリングでは、物体の形状をポリ
ゴンの集合で表し、物体の色をテクスチャマッピングな
どによって与える手法が通常よく用いられている。

【０００４】一方、３次元ＣＧにおいて物体をよりリア
ルに表示するために、ディジタルカメラ等を用いて取得
した実写画像を用いる手法が最近注目されている。

【０００５】実写画像を用いる手法として最も単純なも
のは次のような方法である。まず、表示したい物体を直
方体で近似する。次に、直方体の各面の正面にあたる方
向からディジタルカメラ等で物体の画像を撮影し、得ら
れた画像をテクスチャとしてそれぞれの面にマッピング
する。このようにして作成されたモデルは、物体の形状
が直方体に近ければかなりのリアリティを持つ。

【０００６】

【発明が解決しようとする課題】前者の場合、複雑な形
状の物体を忠実にポリゴンで再現しようとすると、必要
なポリゴンの数が膨大なものとなり、ポリゴンデータ、
すなわちジオメトリデータも膨大なものとなる。現状で
はこのような作業を自動的に行なう手法が確立されてい
ないため、モデリングは人手を介した大変な労力を要す
る作業になる。また、３次元ＣＧにおいては、視点や視
線が変化するたびにジオメトリデータの変換を行なう必
要があるため、ジオメトリデータ変換処理にかかる負担
が非常に大きくなってしまうという問題がある。

【０００７】また後者の実写画像を用いた単純な手法で
は、元の物体の形状が直方体から少しずれている場合、
斜め方向から見たときに不自然な歪みが生ずる。例え
ば、図１のような、直方体の表面に若干の凹凸がある物
体にこの手法を用いた場合について考える。斜め方向か
らこの物体を見たときに、本来であれば図２のように見
えるはずであるが、この手法を用いると図３のように表
示され、凹凸が再現されない。

【０００８】また、元の物体の形状が直方体から大きく
ずれている場合にこの手法を用いると、斜め方向から見
たときの不自然さはいっそう増す。例えば、図４のよう
な湯のみに対してこの手法を用いた場合について考え
る。斜め方向からこの湯のみを見たとき、図５のように
本来ならば見えないはずの背景が見えてしまい、かなり
不自然な表示となる。

【０００９】以上述べた通り、この手法はモデリングが
非常に簡単であるという利点はあるが、視点の位置や視
線の方向を様々に変化させたときに表示が不自然になっ
てしまうという欠点がある。この不自然さを解消しよう
とすると、湯飲みの形状を忠実にポリゴンで再現するこ
とが必要になり、この場合のジオメトリデータの増大や
モデリングにかかる膨大な手間の問題は前述したとおり
である。

【００１０】以上述べたような現状を踏まえ、本発明の
目的は、１つには、モデリングが簡単に行なえ、次に、
３次元仮想空間レイアウトシステムへの応用を考慮して
物体の操作や衝突検出が可能であるようにし、更に、３
次元ＣＧの重要な応用例であるウォークスルーを実現す
るために視点や視線の変化を自由に行なうことができ、
また隠面消去を行なうことができるような、充分なリア
リティを持つ、実写画像を利用した画像合成表示手法を
提供することである。

【００１１】

【課題を解決するための手段】上記目的を達成するため
の方法として、３次元ＣＧデータとして、一つの物体に
ついて、物体の操作や衝突検出のためのジオメトリデー
タと、表示のための画像データとをそれぞれ独立に持つ
構成をとる。ジオメトリデータとしては、物体の概形を
表す仮オブジェクトをあらかじめ用意しておく。画像デ
ータは、表示対象物体をいくつかの方向から撮影したも
のをあらかじめ用意し、表示対象物体を抽出しておき、
ピクセル毎に奥行き値を与えておく、視点や視線の変化
に対して仮オブジェクトの形状が変化するので、それに
適合するように実写画像に対する適切な変換を行ない、
仮オブジェクトの位置に、奥行き値を考慮して合成し表
示する。

【００１２】従来では、実写画像をテクスチャとして、
ポリゴンに対してテクスチャマッピングを行なった上で
表示を行なっていた。このような手法では、物体の見え
方はポリゴン分割の詳細度に依存する。一方、本発明で
は、仮オブジェクトによって物体の表示される位置と形
状とを決め、それに合わせて実写画像を奥行き値を考慮
して合成し表示する。したがって、物体の見え方はポリ
ゴン分割の詳細度に依存しない。本発明のように、テク
スチャマッピングを行なわずに実写画像を用いて奥行き
値を考慮して合成し物体を表示する方法であって、しか
も物体の操作や衝突検出が可能であるものは従来存在し
なかった。

【００１３】上記課題を解決するための手段として、仮
オブジェクト作成手段と、画像撮影手段と、物体抽出手
段と、奥行き値付与手段と、カメラパラメータ抽出手段
と、仮オブジェクト配置手段と、画像選択手段と、画像
変換手段と、画像合成手段と、画像表示手段とを設け
る。

【００１４】仮オブジェクト作成手段により作成された
仮オブジェクトは、物体の概略の形状（以下概形とい
う）を表すとともに、物体の位置と占有範囲とを表す。
したがって、仮オブジェクト配置手段を用いて物体を所
望の位置に配置した後、回転や移動などの操作を行なう
ことができ、また、衝突検出を行なうことができる。仮
オブジェクトは物体の概形を表すのみであるので多数の
ポリゴンを用いる必要がなく、ジオメトリデータの作成
を簡単に行なうことができる。

【００１５】実写画像は画像撮影手段によって取得され
る。次に、取得された実写画像から、物体抽出手段によ
って表示対象の物体のみをあらかじめ抽出しておく。抽
出された部分について、奥行き値付与手段によって、ピ
クセル毎に奥行き値を持たせる。この奥行き値を用いる
ことにより隠面消去が可能となる。

【００１６】また、カメラパラメータ抽出手段によっ
て、後の画像変換に必要なカメラパラメータを抽出して
おく。

【００１７】また、３次元仮想空間中の視点や視線の変
化に対して、あらかじめ用意された実写画像の中から画
像選択手段によって適切な画像が選択される。

【００１８】選択された画像は、撮影時のカメラの方向
や３次元仮想空間中の視点や視線などの情報を用いて、
画像変換手段により適切な形に変形される。

【００１９】変形された画像を用いて、画像合成手段に
よって、表示される大きさを調整し、奥行き値を考慮し
て表示すべき画像を合成する。

【００２０】最終的に、画像表示手段によって、合成さ
れた画像が仮オブジェクトの位置に表示される。

【００２１】以上のようにして、モデリングが簡単に行
なえ、物体の操作や衝突検出が可能であり、視点や視線
の変化を自由に行なうことができ、隠面消去を行なうこ
とができ、充分なリアリティを持った、実写画像を利用
した画像合成表示手法を提供することができる。

【００２２】

【発明の実施の形態】〔実施例１〕図６は本発明の第１
の実施例を説明する図であって、１は仮オブジェクト作
成部、２は画像撮影部、３は物体抽出部、４は奥行き値
付与部、５はカメラパラメータ抽出部、６は仮オブジェ
クト配置部、７は画像選択部、８は画像変換部、９は画
像補正部、１０は画像再投影部、１１は画像合成部、１
２は画像表示部、１３は視点情報・視線情報入力部、１
４はジオメトリデータ格納部、１５は画像データ格納
部、１６はカメラパラメータ格納部、１７はモデリング
部、１８はレンダリング部、１９はモデルデータ格納
部、２０は画像合成表示装置である。

【００２３】仮オブジェクト作成部 仮オブジェクト作成部１では、仮オブジェクト作成手段
によって仮オブジェクトのジオメトリデータを作成す
る。具体的には以下のような手順を実行する。

【００２４】まず、物体に外接するような直方体を一つ
作成する。この直方体をバウンディングボックスと呼
ぶ。このとき、バウンディングボックスの中心が原点と
なり、座標軸が直方体の各面の中心と交わるような座標
系を定義し、これをオブジェクト座標系とする。物体の
正面方向に伸びる座標軸をオブジェクト座標系のＸ軸と
し、物体の上方向に伸びる座標軸をオブジェクト座標系
のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系を
なすような方向に決める。この様子を図７に示す。

【００２５】次に、物体の形状を直方体の組合せで近似
する。具体的には、バウンディングボックスからはみだ
さないように適当な直方体を置いていき、物体の形状を
再現する。この様子を図８に示す。図８の左側の物体を
右側のように近似する。

【００２６】このときの近似の程度によって、衝突検出
の精度が左右される。したがって、どの程度の近似が必
要かは、衝突検出の精度がどの程度必要かによる。より
正確な衝突判定を行なう必要があれば、たくさんの細か
な直方体を組み合わせて仮オブジェクトを作成する。逆
に、それほど厳密な衝突判定が必要でなければ、少数の
直方体を組み合わせて仮オブジェクトを作成すればよ
い。バウンディングボックスそのものを仮オブジェクト
としても十分な場合もある。

【００２７】仮オブジェクトを作成したのち、バウンデ
ィングボックスの頂点の座標と、仮オブジェクトを構成
する直方体の頂点の座標を、ジオメトリデータ格納部１
４に格納する。

【００２８】画像撮影部 画像撮影部２では、画像撮影手段によって物体の画像を
撮影する。具体的な手順は以下の通りである。

【００２９】ディジタルカメラを用いて、光軸がバウン
ディングボックスの中心を通るようにして画像を撮影す
る。この様子を図９に示す。このとき、光軸の、オブジ
ェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの
仰角φを記録しておく。また、バウンディングボックス
の中心（すなわち、オブジェクト座標系の原点）から撮
像面までの距離は一定に保っておく。

【００３０】このようにして、物体を囲む複数の点から
画像を撮影し、画像ファイルを得る。また、θおよびφ
と画像ファイルに対する対応とを表すテーブルを作成し
ておく。また、後の物体抽出部における処理のため、背
景を単一色に設定しておく。

【００３１】物体抽出部 物体抽出部３では、画像撮影部２で撮影された画像か
ら、物体抽出手段によって、表示の対象となる物体を抽
出する。抽出にはクロマキーを用いる。そして、表示対
象部分を表すマスクデータを作成する。マスクデータは
以下のようなものである。

【００３２】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、マスクデータはＵ×Ｖの２次
元配列であって、その要素は「０」または「１」であ
る。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、
（ｕ、ｖ）の要素は「１」であり、そうでなければ
「０」である。このようなマスクデータを、各画像デー
タに対して一つ作成する。

【００３３】奥行き値付与部 奥行き値付与部４では、奥行き値付与手段によって、奥
行き値データを作成する。奥行き値データは以下のよう
なものである。

【００３４】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、奥行き値データはＵ×Ｖの２
次元配列であって、その要素は奥行き値を表す。奥行き
値は、オブジェクト座標系の原点を通り、かつ光軸に垂
直な平面からの、符号つきの距離とする。奥行き値付与
手段による奥行き値の与え方はいくつかの方法が考えら
れ、目的に応じて適当なものを採用する。

【００３５】一番単純な方法は、バウンディングボック
スの中心の値を奥行き値として採用する方法である。こ
の場合、画面全体の奥行き値は一様にゼロになる。

【００３６】次に考えられる方法は、仮オブジェクトの
面の位置を奥行き値として採用する方法である。この場
合、画像データと仮オブジェクトとを同時に画面上に表
示して、仮オブジェクトの直方体の面を選択し、画像デ
ータにおいてそれに対応する範囲を指定することによっ
て各ピクセル毎の奥行き値を与えることができる。

【００３７】最も詳細な方法は、画像データの各ピクセ
ル毎に実際の奥行き値を与える方法である。この方法を
実現する手段としては、レンジファインダにより生成さ
れた距離画像を用いる方法が考えられる。

【００３８】以上、画像撮影部２において作成された画
像ファイル、および物体抽出部３において作成されたマ
スクデータ、および奥行き値付与部４において作成され
た奥行き値データは、画像データ格納部１５に格納して
おく。

【００３９】カメラパラメータ抽出部 カメラパラメータ抽出部５では、カメラパラメータ抽出
手段を用いてカメラの内部パラメータを抽出する。パラ
メータは、撮影に用いたカメラの仕様から見積もり、カ
メラパラメータ格納部１６に格納しておく。なおカメラ
の内部パラメータは、後述するカメラ内部行列で示され
る。

【００４０】仮オブジェクト配置部 仮オブジェクト配置部６では、仮オブジェクト配置手段
を用いて、仮オブジェクトを３次元仮想空間中に配置す
る。具体的には以下の手順を実行する。

【００４１】３次元仮想空間の基準となる座標系、すな
わちワールド座標系を定義する。そして、ワールド座標
系における仮オブジェクトの位置と方向を決めることに
よって、オブジェクト座標系からワールド座標系への変
換が定義される。この変換を用いて、仮オブジェクトの
ジオメトリデータをワールド座標系で表現し、メモリに
記憶しておく。

【００４２】一方、視点情報・視線情報入力部１３にお
いて視点情報および視線情報が入力されると、ワールド
座標系からスクリーン座標系への変換が定義される。こ
の変換を用いて、ワールド座標系で表現された仮オブジ
ェクトのジオメトリデータをスクリーン座標系で表現
し、これもメモリに記憶しておく。

【００４３】画像選択部 画像選択部７では、画像選択手段を用いて、画像データ
格納部１５から適切な画像を一枚選択する。具体的な手
順は以下の通りである。

【００４４】

【数１】

【００４５】画像変換部 画像変換部８では、画像変換手段を用いて、画像選択部
７で選択された画像を変換する。画像変換部は、画像補
正部９と画像再投影部１０とから構成される。画像補正
部では、仮想視線ベクトルと撮影時の視線ベクトルとの
ずれに応じて画像の補正を行ない、画像再投影部では、
３次元仮想空間における視線ベクトルと仮想視線ベクト
ルとのずれを補正する。

【００４６】ここで、画像補正部９および画像再投影部
１０において用いられる画像再投影法について説明す
る。

【００４７】

【数２】

【００４８】透視投影変換は以下の式で表される。

【００４９】

【数３】

【００５０】例として、光学中心をワールド座標系の原
点に置き、光軸をＺ軸方向に向けて、焦点距離をｆに設
定したカメラを考える。このときの様子を図１０に示
す。透視投影変換は以下の式で表される。

【００５１】

【数４】

【００５２】

【数５】

【００５３】に再投影する変換を表す行列である。いい
かえれば、ある注目点について、ワールド座標系におけ
る３次元空間中の位置が判らなくても、透視投影変換を
表す行列と、その変換により投影されたスクリーン上の
座標とが判っていれば、適当な３行３列の行列を与える
ことによって、視線の方向を変化させた時のスクリーン
上の位置を求めることができる。

【００５４】次に、具体的な行列の形を求める。１枚の
画像およびカメラパラメータが与えられているとする。
画像はディジタル画像座標系で表現されているとする。
まず、この画像について、ディジタル画像座標系から正
規化画像座標系への変換を行なう。正規化画像座標系と
は、正規化カメラによって得られる画像座標系であり、
正規化カメラとは、光学中心からスクリーン面までの距
離が単位長であるようなカメラである。

【００５５】ディジタル画像座標系と正規化画像座標系
との間の関係は図１１のように表される。画面

【００５６】

【数６】

【００５７】はカメラ内部行列であり、ｆは焦点距離、
ｋ_u 、ｋ_v はそれぞれ正規化画像座標を基準とした時の
ｕ、ｖ軸の単位、θはｕとｖ軸のなす角度、ｕ₀ 、ｖ₀
はディジタル画像座標系における正規化画像座標原点の
座標である。また、α_u ＝ｆｋ _u 、α_v ＝ｆｋ_v であ
る。

【００５８】以下、正規化画像座標系を用いて考える。
基準となる画像に対して、正規化画像座標系の座標軸と
ワールド座標系の座標軸とが一致していると考えて一般
性を失わない。この場合、カメラの光学中心はワールド
座標系の原点にあり、カメラの向きはワールド座標系の
Ｚ軸方向と一致している。すなわち、

【００５９】

【数７】

【００６０】である。カメラの向きを変えた時の注目点
のスクリーン上の位置を求めるには、正規化画像座標系
の座標変換をあらわす行列を求めれば良い。

【００６１】正規化画像座標系のＸ軸の回りにカメラを
角度φだけ回転させるような正規化画像座標系の座標変
換（図１２参照）を表す行列を

【００６２】

【数８】

【００６３】である。同様に、正規化画像座標系のＹ軸
の回りにカメラを角度θだけ回転させるような正規化画
像座標系の座標変換をあらわす行列を

【００６４】

【数９】

【００６５】であり、正規化画像座標系のＺ軸の回りに
カメラを角度ψだけ回転させるような正規化画像座標系
の座標変換をあらわす行列を

【００６６】

【数１０】

【００６７】である。したがって、カメラを正規化画像
座標系のＸ軸、Ｙ軸、Ｚ軸の回りにそれぞれ角度φ、
θ、ψだけ回転させる操作をこの順序にしたがって行な
ったとすると、

【００６８】

【数１１】

【００６９】以上の説明では、座標変換をＸ軸、Ｙ軸、
Ｚ軸に関して順を追って行なったが、これを回転軸とそ
のまわりの回転角度とを与えて一段階で行なうこともで
きる。

【００７０】

【数１２】

【００７１】画像補正部 画像補正部９では、画像再投影法を用いて近似的な画像
を得る。具体的な手順は以下の通りである。

【００７２】

【数１３】

【００７３】以上で求まった

【００７４】

【数１４】

【００７５】を用いて、画像再投影法を適用すると、撮
影時の視線ベクトルと仮想視線ベクトルとのずれを補正
した、近似的な画像を得ることができる。

【００７６】画像再投影部 画像再投影部１０では、画像補正部９で得られた画像に
ついて、さらに画像再投影法によって視線ベクトルと仮
想視線ベクトルとのずれを補正する。具体的な手順は以
下の通りである。

【００７７】

【数１５】

【００７８】以上で求まった

【００７９】

【数１６】

【００８０】を用いて、画像再投影法を適用すると、撮
影時の視線ベクトルに垂直なスクリーン面に投影された
画像を、スクリーン座標系のスクリーン面に再投影する
ことができる。

【００８１】画像合成部 画像合成部１１では、画像合成手段によって表示される
画像の合成を行なう。具体的な手順は以下の通りであ
る。

【００８２】まず、画像変換部８で得られた画像につい
て、縦横比を保ったまま、仮オブジェクトの大きさに合
わせて拡大または縮小を行なう。一般に、仮オブジェク
トの形状と画像変換部８で得られた画像の輪郭とは一致
するとは限らないので、縦方向あるいは横方向のいずれ
かを選択して、仮オブジェクトのサイズと画面上に表示
されるサイズを一致させ、実際に描画するサイズの画像
を生成する。また、仮オブジェクトの位置に合わせて、
描画される画像の位置を決定する。

【００８３】つづいて、描画する画像の各画素の持つ奥
行き値を、既に描かれている画像の奥行き値と比較し、
奥行き値の小さい方を描画する画素として選択する。以
上の手順によって、奥行き値を考慮した画像の合成が行
なわれる。

【００８４】画像表示部 画像表示部１２では、画像合成部１１によって合成され
た画像をディスプレイ上に表示する。

【００８５】以上のような作用により、モデリングが簡
単に行なえ、物体の操作や衝突検出が可能であり、視点
や視線の変化を自由に行なうことができ、充分なリアリ
ティを持った、実写画像を利用した画像合成表示手法を
提供することができる。

【００８６】その効果として、ポリゴン分割の詳細度に
依存しない、充分な品質を持った、物体の表示を行なう
ことができる。

【００８７】以下、図１８ないし図２１を参照して実施
例１の場合の要部の処理を記述する。

【００８８】図１８は、図６に示す実施例１におけるジ
オメトリデータ作成のためのフローチャートを示す。 ステップ（Ｓ１）：バウンディングボックスを生成す
る。 ステップ（Ｓ２）：直方体を生成する。 ステップ（Ｓ３）：直方体を配置する。 ステップ（Ｓ４）：近似が十分であるか否かを調べる。 ステップ（Ｓ５）：仮オブジェクトジオメトリデータを
生成する。

【００８９】図１９は、図６に示す実施例１における画
像データ作成のためのフローチャートを示す。 ステップ（Ｓ６）：画像ファイルの読み込みを行う。 ステップ（Ｓ７）：表示対象部分を切り出す。 ステップ（Ｓ８）：マスクデータを生成する。 ステップ（Ｓ９）：奥行き値データを生成する。

【００９０】図２０は、図６に示す実施例１におけるカ
メラパラメータ抽出のためのフローチャートを示す。 ステップ（Ｓ１０）：カメラパラメータを抽出する。

【００９１】図２１は、図６に示す実施例１におけるレ
ンダリング部のフローチャートを示す。 ステップ（Ｓ１１）：視点と視線とに関する情報が入力
される。 ステップ（Ｓ１２）：仮オブジェクトデータを読込む。 ステップ（Ｓ１３）：仮オブジェクトを配置する。 ステップ（Ｓ１４）：画像ファイルを選択する。 ステップ（Ｓ１５）：撮影時視線ベクトルと仮想視線ベ
クトルとのずれを補正する。 ステップ（Ｓ１６）：視線ベクトルと仮想視線ベクトル
とのずれを補正する。 ステップ（Ｓ１７）：拡大または縮小の基準方向を選択
する。 ステップ（Ｓ１８）：画像を拡大または縮小する。 ステップ（Ｓ１９）：描画位置を決定する。 ステップ（Ｓ２０）：画素毎の奥行き値を比較する。 ステップ（Ｓ２１）：影にかくれた部分などの描画すべ
きでない部分か否かを調べる。 ステップ（Ｓ２２）：描画すべき部分については描画す
る。 ステップ（Ｓ２３）：全ての画素について処理したか否
かを調べる。 ステップ（Ｓ２４）：画面表示を行う。

【００９２】〔実施例２〕図１３は本発明の第２の実施
例を説明する図であって、１は仮オブジェクト作成部、
２は画像撮影部、３は物体抽出部、４は奥行き値付与
部、５はカメラパラメータ抽出部、６は仮オブジェクト
配置部、７は画像選択部、８は画像変換部、９は画像補
正部、１１は画像合成部、１２は画像表示部、１３は視
点情報・視線情報入力部、１４はジオメトリデータ格納
部、１５は画像データ格納部、１６はカメラパラメータ
格納部、１７はモデリング部、１８はレンダリング部、
１９はモデルデータ格納部、２０は画像合成表示装置で
ある。

【００９３】仮オブジェクト作成部 仮オブジェクト作成部１では、仮オブジェクト作成手段
によって仮オブジェクトのジオメトリデータを作成す
る。具体的には以下のような手順を実行する。

【００９４】まず、物体に外接するような直方体を一つ
作成する。この直方体をバウンディングボックスと呼
ぶ、このとき、バウンディングボックスの中心が原点と
なり、座標軸が直方体の各面の中心と交わるような座標
系を定義し、これをオブジェクト座標系とする。物体の
正面方向に伸びる座標軸をオブジェクト座標系のＸ軸と
し、物体の上方向に伸びる座標軸をオブジェクト座標系
のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系を
なすような方向に決める。この様子を図７に示す。

【００９５】次に、物体の形状を直方体の組合せで近似
する。具体的には、バウンディングボックスからはみだ
さないように適当な直方体を置いていき、物体の形状を
再現する。この様子を図８に示す。図８の左側の物体を
右側のように近似する。

【００９６】このときの近似の程度によって、衝突検出
の精度が左右される。したがって、どの程度の近似が必
要かは、衝突検出の精度がどの程度必要かによる。より
正確な衝突判定を行なう必要があれば、たくさんの細か
な直方体を組み合わせて仮オブジェクトを作成する。逆
に、それほど厳密な衝突判定が必要でなければ、少数の
直方体を組み合わせて仮オブジェクトを作成すればよ
い。バウンディングボックスそのものを仮オブジェクト
としても十分な場合もある。

【００９７】仮オブジェクトを作成したのち、バウンデ
ィングボックスの頂点の座標と、仮オブジェクトを構成
する直方体の頂点の座標を、ジオメトリデータ格納部１
４に格納する。

【００９８】画像撮影部 画像撮影部２では、画像撮影手段によって物体の画像を
撮影する。具体的な手順は以下の通りである。

【００９９】ディジタルカメラを用いて、光軸がバウン
ディングボックスの中心を通るようにして画像を撮影す
る。この様子を図９に示す。このとき、光軸の、オブジ
ェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの
仰角φを記録しておく。また、バウンディングボックス
の中心（すなわち、オブジェクト座標系の原点）から撮
像面までの距離は一定に保っておく。

【０１００】このようにして、物体を囲む複数の点から
画像を撮影し、画像ファイルを得る。また、θおよびφ
と画像ファイルに対する対応とを表すテーブルを作成し
ておく。また、後の物体抽出部における処理のため、背
景を単一色に設定しておく。

【０１０１】物体抽出部 物体抽出部３では、画像撮影部２で撮影された画像か
ら、物体抽出手段によって、表示の対象となる物体を抽
出する。抽出にはクロマキーを用いる。そして、表示対
象部分を表すマスクデータを作成する。マスクデータは
以下のようなものである。

【０１０２】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、マスクデータはＵ×Ｖの２次
元配列であって、その要素は「０」または「１」であ
る。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、
（ｕ、ｖ）の要素は「１」であり、そうでなければ
「０」である。このようなマスクデータを、各画像デー
タに対して一つ作成する。

【０１０３】奥行き値付与部 奥行き値付与部４では、奥行き値付与手段によって、奥
行き値データを作成する。奥行き値データは以下のよう
なものである。

【０１０４】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、奥行き値データはＵ×Ｖの２
次元配列であって、その要素は奥行き値を表す。奥行き
値は、オブジェクト座標系の原点を通り、かつ光軸に垂
直な平面からの、符号つきの距離とする。奥行き値付与
手段による奥行き値の与え方にはいくつかの方法が考え
られ、目的に応じて適当なものを採用する。

【０１０５】一番単純な方法は、バウンディングボック
スの中心の値を奥行き値として採用する方法である。こ
の場合、画面全体の奥行き値は一様にゼロになる。

【０１０６】次に考えられる方法は、仮オブジェクトの
面の位置を奥行き値として採用する方法である。この場
合、画像データと仮オブジェクトとを同時に画面上に表
示して、仮オブジェクトの直方体の面を選択し、画像デ
ータにおいてそれに対応する範囲を指定することによっ
て各ピクセル毎の奥行き値を与えることができる。

【０１０７】最も詳細な方法は、画像データの各ピクセ
ル毎に実際の奥行き値を与える方法である。この方法を
実現する手段としては、レンジファインダにより生成さ
れた距離画像を用いる方法が考えられる。

【０１０８】以上、画像撮影部２において作成される画
像ファイル、および物体抽出部３において作成されたマ
スクデータ、および奥行き値付与部４において作成され
た奥行き値データは、画像データ格納部１５に格納して
おく。

【０１０９】カメラパラメータ抽出部 カメラパラメータ抽出部５では、カメラパラメータ抽出
手段を用いてカメラの内部パラメータを抽出する。パラ
メータは、撮影に用いたカメラの仕様から見積もり、カ
メラパラメータ格納部１６に格納しておく。

【０１１０】仮オブジェクト配置部 仮オブジェクト配置部６では、仮オブジェクト配置手段
を用いて、仮オブジェクトを３次元仮想空間中に配置す
る。具体的には以下の手順を実行する。

【０１１１】３次元仮想空間の基準となる座標系、すな
わちワールド座標系を定義する。そして、ワールド座標
系における仮オブジェクトの位置と方向を決めることに
よって、オブジェクト座標系からワールド座標系への変
換が定義される。この変換を用いて、仮オブジェクトの
ジオメトリデータをワールド座標系で表現し、メモリに
記憶しておく。

【０１１２】一方、視点情報・視線情報入力部１３にお
いて視点情報および視線情報が入力されると、ワールド
座標系からスクリーン座標系への変換が定義される。こ
の変換を用いて、ワールド座標系で表現された仮オブジ
ェクトのジオメトリデータをスクリーン座標系で表現
し、これもメモリに記憶しておく。

【０１１３】画像選択部 画像選択部７では、画像選択手段を用いて、画像データ
格納部１５から適切な画像を一枚選択する。具体的な手
順は以下の通りである。

【０１１４】

【数１７】

【０１１５】画像変換部 画像変換部８では、画像変換手段を用いて、画像選択部
７で選択された画像を変換する。

【０１１６】画像変換部は、画像補正部９から構成され
る。画像補正部では、仮想視線ベクトルと撮影時の視線
ベクトルのずれに応じて画像の補正を行なう。この画像
変換部８での処理が実施例１の場合と異なる。

【０１１７】画像補正部 画像補正部９では、実施例１において説明した画像再投
影法を用いて近似的な画像を得る。具体的な手順は以下
の通りである。

【０１１８】画像選択部７において選択された画像の撮
影時の視線ベクトル

【０１１９】

【数１８】

【０１２０】以上で求まった

【０１２１】

【数１９】

【０１２２】を用いて、画像再投影法を適用すると、撮
影時の視線ベクトルと仮想視線ベクトルのずれを補正し
た、近似的な画像を得ることができる。

【０１２３】画像合成部 画像合成部１１では、画像合成手段によって表示される
画像の合成を行なう。具体的な手順は以下の通りであ
る。

【０１２４】まず、画像変換部８で得られた画像につい
て、縦横比を保ったまま、仮オブジェクトの大きさに合
わせて拡大または縮小を行なう。一般に、仮オブジェク
トの形状と画像変換部８で得られた画像の輪郭とは一致
するとは限らないので、縦方向あるいは横方向のいずれ
かを選択して、仮オブジェクトのサイズと画面上に表示
されるサイズを一致させ、実際に描画するサイズの画像
を生成する。また、仮オブジェクトの位置に合わせて、
描画される画像の位置を決定する。

【０１２５】つづいて、描画する画像の各画素の持つ奥
行き値を、既に描かれている画像の奥行き値と比較し、
奥行き値の小さい方を描画する画素として選択する。以
上の手順によって、奥行き値を考慮した画像の合成が行
なわれる。

【０１２６】画像表示部 画像表示部１２では、画像合成部１１によって合成され
た画像をディスプレイ上に表示する。

【０１２７】以上のような作用により、モデリングが簡
単に行なえ、物体の操作や衝突検出が可能であり、視点
や視線の変化を自由に行なうことができ、充分なリアリ
ティを持った、実写画像を利用した画像合成表示手法を
提供することができる。

【０１２８】その効果として、ポリゴン分割の詳細度に
依存しない、充分な品質を持った、物体の表示を行なう
ことができる。実施例１と比較すると、画像再投影部に
おける処理を省略しているため、近似の程度は粗くなる
が、その分高度な処理を行なうことができる。

【０１２９】図２２は、実施例２の場合における、実施
例１との相違部分であるレンダリング部についてのフロ
ーチャートを示す。なお相違点は、図２１におけるステ
ップ（Ｓ１６）に相当するステップが省略されている点
である。 ステップ（Ｓ２５）：視点と視線とに関する情報が入力
される。 ステップ（Ｓ２６）：仮オブジェクトデータを読込む。 ステップ（Ｓ２７）：仮オブジェクトを配置する。 ステップ（Ｓ２８）：画像ファイルを選択する。 ステップ（Ｓ２９）：撮影時視線ベクトルと仮想視線ベ
クトルとのずれを補正する。 ステップ（Ｓ３０）：拡大または縮小の基準方向を選択
する。 ステップ（Ｓ３１）：画像を拡大または縮小する。 ステップ（Ｓ３２）：描画位置を決定する。 ステップ（Ｓ３３）：画素毎の奥行き値を比較する。 ステップ（Ｓ３４）：影にかくれた部分などの描画すべ
きでない部分か否かを調べる。 ステップ（Ｓ３５）：描画すべき部分については描画す
る。 ステップ（Ｓ３６）：全ての画素について処理したか否
かを調べる。 ステップ（Ｓ３７）：画面表示を行う。

【０１３０】〔実施例３〕図１４は本発明の第３の実施
例を説明する図であって、１は仮オブジェクト作成部、
２は画像撮影部、３は物体抽出部、４は奥行き値付与
部、５はカメラパラメータ抽出部、６は仮オブジェクト
配置部、７は画像選択部、８は画像変換部、１０は画像
再投影部、１１は画像合成部、１２は画像表示部、１３
は視点情報・視線情報入力部、１４はジオメトリデータ
格納部、１５は画像データ格納部、１６はカメラパラメ
ータ格納部、１７はモデリング部、１８はレンダリング
部、１９はモデルデータ格納部、２０は画像合成表示装
置である。

【０１３１】仮オブジェクト作成部 仮オブジェクト作成部１では、仮オブジェクト作成手段
によって仮オブジェクトのジオメトリデータを作成す
る。具体的には以下のような手順を実行する。

【０１３２】まず、物体に外接するような直方体を一つ
作成する。この直方体をバウンディングボックスと呼
ぶ。このとき、バウンディングボックスの中心が原点と
なり、座標軸が直方体の各面の中心と交わるような座標
系を定義し、これをオブジェクト座標系とする。物体の
正面方向に伸びる座標軸をオブジェクト座標系のＸ軸と
し、物体の上方向に伸びる座標軸をオブジェクト座標系
のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系を
なすような方向に決める。この様子を図７に示す。

【０１３３】次に、物体の形状を直方体の組合せで近似
する。具体的には、バウンディングボックスからはみだ
さないように適当な直方体を置いていき、物体の形状を
再現する。この様子を図８に示す。図８の左側の物体を
右側のように近似する。

【０１３４】このときの近似の程度によって、衝突検出
の精度が左右される。したがって、どの程度の近似が必
要かは、衝突検出の精度がどの程度必要かによる。より
正確な衝突判定を行なう必要があれば、たくさんの細か
な直方体を組み合わせて仮オブジェクトを作成する。逆
に、それほど厳密な衝突判定が必要でなければ、少数の
直方体を組み合わせて仮オブジェクトを作成すればよ
い。バウンディングボックスそのものを仮オブジェクト
としても十分な場合もある。

【０１３５】仮オブジェクトを作成したのち、バウンデ
ィングボックスの頂点の座標と、仮オブジェクトを構成
する直方体の頂点の座標を、ジオメトリデータ格納部１
４に格納する。

【０１３６】画像撮影部 画像撮影部２では、画像撮影手段によって物体の画像を
撮影する。具体的な手順は以下の通りである。

【０１３７】ディジタルカメラを用いて、光軸がバウン
ディングボックスの中心を通るようにして画像を撮影す
る。この様子を図９に示す。このとき、光軸の、オブジ
ェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの
仰角φを記録しておく。また、バウンディングボックス
の中心（すなわち、オブジェクト座標系の原点）から撮
像面までの距離は一定に保っておく。

【０１３８】このようにして、物体を囲む複数の点から
画像を撮影し、画像ファイルを得る。また、θおよびφ
と画像ファイルに対する対応とを表すテーブルを作成し
ておく。また、後の物体抽出部における処理のため、背
景を単一色に設定しておく。

【０１３９】物体抽出部 物体抽出部３では、画像撮影部２で撮影された画像か
ら、物体抽出手段によって、表示の対象となる物体を抽
出する。抽出にはクロマキーを用いる。そして、表示対
象部分を表すマスクデータを作成する。マスクデータは
以下のようなものである。

【０１４０】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、マスクデータはＵ×Ｖの２次
元配列であって、その要素は「０」または「１」であ
る。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、
（ｕ、ｖ）の要素は「１」であり、そうでなければ
「０」である。このようなマスクデータを、各画像デー
タに対して一つ作成する。

【０１４１】奥行き値付与部 奥行き値付与部４では、奥行き値付与手段によって、奥
行き値データを作成する。奥行き値データは以下のよう
なものである。

【０１４２】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、奥行き値データはＵ×Ｖの２
次元配列であって、その要素は奥行き値を表す。奥行き
値は、オブジェクト座標系の原点を通り、かつ光軸に垂
直な平面からの、符号つきの距離とする。奥行き値付与
手段による奥行き値の与え方にはいくつかの方法が考え
られ、目的に応じて適当なものを採用する。

【０１４３】一番単純な方法は、バウンディングボック
スの中心の値を奥行き値として採用する方法である。こ
の場合、画面全体の奥行き値は一様にゼロになる。

【０１４４】次に考えられる方法は、仮オブジェクトの
面の位置を奥行き値として採用する方法である。この場
合、画像データと仮オブジェクトとを同時に画面上に表
示して、仮オブジェクトの直方体の面を選択し、画像デ
ータにおいてそれに対応する範囲を指定することによっ
て各ピクセル毎の奥行き値を与えることができる。

【０１４５】最も詳細な方法は、画像データの各ピクセ
ル毎に実際の奥行き値を与える方法である。この方法を
実現する手段としては、レンジファインダにより生成さ
れた距離画像を用いる方法が考えられる。

【０１４６】以上、画像撮影部２において作成された画
像ファイル、および物体抽出部３において作成されたマ
スクデータ、および奥行き値付与部４において作成され
た奥行き値データは、画像データ格納部１５に格納して
おく。

【０１４７】カメラパラメータ抽出部 カメラパラメータ抽出部５では、カメラパラメータ抽出
手段を用いてカメラの内部パラメータを抽出する。パラ
メータは、撮影に用いたカメラの仕様から見積もり、カ
メラパラメータ格納部１６に格納しておく。

【０１４８】仮オブジェクト配置部 仮オブジェクト配置部６では、仮オブジェクト配置手段
を用いて、仮オブジェクトを３次元仮想空間中に配置す
る。具体的には以下の手順を実行する。

【０１４９】３次元仮想空間の基準となる座標系、すな
わちワールド座標系を定義する。そして、ワールド座標
系における仮オブジェクトの位置と方向を決めることに
よって、オブジェクト座標系からワールド座標系への変
換が定義される。この変換を用いて、仮オブジェクトの
ジオメトリデータをワールド座標系で表現し、メモリに
記憶しておく。

【０１５０】一方、視点情報・視線情報入力部１３にお
いて視点情報および視線情報が入力されると、ワールド
座標系からスクリーン座標系への変換が定義される。こ
の変換を用いて、ワールド座標系で表現された仮オブジ
ェクトのジオメトリデータをスクリーン座標系で表現
し、これもメモリに記憶しておく。

【０１５１】画像選択部 画像選択部７では、画像選択手段を用いて、画像データ
格納部１５から適切な画像を一枚選択する。具体的な手
順は以下の通りである。

【０１５２】

【数２０】

【０１５３】画像変換部 画像変換部８では、画像変換手段を用いて、画像選択部
７で選択された画像を変換する。

【０１５４】画像変換部は、画像再投影部１０から構成
される。画像変換部８での処理が実施例１や実施例２の
場合と異なる。

【０１５５】画像再投影部 画像再投影部１０では、画像選択部７で選択された画像
について、画像再投影法によって視線ベクトルと仮想視
線ベクトルのずれを補正する。具体的な手順は以下の通
りである。

【０１５６】

【数２１】

【０１５７】以上で求まった

【０１５８】

【数２２】

【０１５９】を用いて、画像再投影法を適用すると、撮
影時の視線ベクトルに垂直なスクリーン面に投影された
画像を、スクリーン座標系のスクリーン面に再投影する
ことができる。

【０１６０】画像合成部 画像合成部１１では、画像合成手段によって表示される
画像の合成を行なう。具体的な手順は以下の通りであ
る。

【０１６１】まず、画像変換部８で得られた画像につい
て、縦横比を保ったまま、仮オブジェクトの大きさに合
わせて拡大または縮小を行なう。一般に、仮オブジェク
トの形状と画像変換部８で得られた画像の輪郭とは一致
するとは限らないので、縦方向あるいは横方向のいずれ
かを選択して、仮オブジェクトのサイズと画面上に表示
されるサイズを一致させ、実際に描画するサイズの画像
を生成する。また、仮オブジェクトの位置に合わせて、
描画される画像の位置を決定する。

【０１６２】つづいて、描画する画像の各画素の持つ奥
行き値を、既に描かれている画像の奥行き値と比較し、
奥行き値の小さい方を描画する画素として選択する。以
上の手順によって、奥行き値を考慮した画像の合成が行
なわれる。

【０１６３】画像表示部 画像表示部１２では、画像合成部１１によって合成され
た画像をディスプレイ上に表示する。

【０１６４】以上のような作用により、モデリングが簡
単に行なえ、物体の操作や衝突検出が可能であり、視点
や視線の変化を自由に行なうことができ、充分なリアリ
ティを持った、実写画像を利用した画像合成表示手法を
提供することができる。

【０１６５】その効果として、ポリゴン分割の詳細度に
依存しない、充分な品質を持った、物体の表示を行なう
ことができる。実施例１と比較すると、画像補正部にお
ける処理を省略しているため、近似の程度は粗くなる
が、その分高速な処理を行なうことができる。

【０１６６】図２３は、実施例３の場合における、実施
例１との相違部分であるレンダリング部についてのフロ
ーチャートを示す。なお、相違点は、図２１におけるス
テップ（Ｓ１５）に相当するステップが省略されている
点である。 ステップ（Ｓ３８）：視点と視線とに関する情報が入力
される。 ステップ（Ｓ３９）：仮オブジェクトデータを読込む。 ステップ（Ｓ４０）：仮オブジェクトを配置する。 ステップ（Ｓ４１）：画像ファイルを選択する。 ステップ（Ｓ４２）：視線ベクトルと仮想視線ベクトル
とのずれを補正する。 ステップ（Ｓ４３）：拡大または縮小の基準方向を選択
する。 ステップ（Ｓ４４）：画像を拡大または縮小する。 ステップ（Ｓ４５）：描画位置を決定する。 ステップ（Ｓ４６）：画素毎の奥行き値を比較する。 ステップ（Ｓ４７）：影にかくれた部分などの描画すべ
きでない部分か否かを調べる。 ステップ（Ｓ４８）：描画すべき部分については描画す
る。 ステップ（Ｓ４９）：全ての画素について処理したか否
かを調べる。 ステップ（Ｓ５０）：画面表示を行う。

【０１６７】〔実施例４〕図１５は本発明の第４の実施
例を説明する図であって、１は仮オブジェクト作成部、
２は画像撮影部、３は物体抽出部、４は奥行き値付与
部、６は仮オブジェクト配置部、７は画像選択部、１１
は画像合成部、１２は画像表示部、１３は視点情報・視
線情報入力部、１４はジオメトリデータ格納部、１５は
画像データ格納部、１７はモデリング部、１８はレンダ
リング部、１９はモデルデータ格納部、２０は画像合成
表示装置である。

【０１６８】仮オブジェクト作成部 仮オブジェクト作成部１では、仮オブジェクト作成手段
によって仮オブジェクトのジオメトリデータを作成す
る。具体的には以下のような手順を実行する。

【０１６９】まず、物体に外接するような直方体を一つ
作成する。この直方体をバウンディングボックスと呼
ぶ、このとき、バウンディングボックスの中心が原点と
なり、座標軸が直方体の各面の中心と交わるような座標
系を定義し、これをオブジェクト座標系とする。物体の
正面方向に伸びる座標軸をオブジェクト座標系のＸ軸と
し、物体の上方向に伸びる座標軸をオブジェクト座標系
のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系を
なすような方向に決める。この様子を図７に示す。

【０１７０】次に、物体の形状を直方体の組合せで近似
する。具体的には、バウンディングボックスからはみだ
さないように適当な直方体を置いていき、物体の形状を
再現する。この様子を図８に示す。図８の左側の物体を
右側のように近似する。

【０１７１】このときの近似の程度によって、衝突検出
の精度が左右される。したがって、どの程度の近似が必
要かは、衝突検出の精度がどの程度必要かによる。より
正確な衝突判定を行なう必要があれば、たくさんの細か
な直方体を組み合わせて仮オブジェクトを作成する。逆
に、それほど厳密な衝突判定が必要でなければ、少数の
直方体を組み合わせて仮オブジェクトを作成すればよ
い。バウンディングボックスそのものを仮オブジェクト
としても十分な場合もある。

【０１７２】仮オブジェクトを作成したのち、バウンデ
ィングボックスの頂点の座標と、仮オブジェクトを構成
する直方体の頂点の座標を、ジオメトリデータ格納部１
４に格納する。

【０１７３】画像撮影部 画像撮影部２では、画像撮影手段によって物体の画像を
撮影する。具体的な手順は以下の通りである。

【０１７４】ディジタルカメラを用いて、光軸がバウン
ディングボックスの中心を通るようにして画像を撮影す
る。この様子を図９に示す。このとき、光軸の、オブジ
ェクト座標系のＸ軸からの回転角θと、ＸＹ平面からの
仰角φを記録しておく。また、バウンディングボックス
の中心（すなわち、オブジェクト座標系の原点）から撮
像面までの距離は一定に保っておく。

【０１７５】このようにして、物体を囲む複数の点から
画像を撮影し、画像ファイルを得る。また、θおよびφ
と画像ファイルに対する対応とを表すテーブルを作成し
ておく。また、後の物体抽出部における処理のため、背
景を単一色に設定しておく。

【０１７６】物体抽出部 物体抽出部３では、画像撮影部２で撮影された画像か
ら、物体抽出手段によって、表示の対象となる物体を抽
出する。抽出にはクロマキーを用いる。そして、表示対
象部分を表すマスクデータを作成する。マスクデータは
以下のようなものである。

【０１７７】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、マスクデータはＵ×Ｖの２次
元配列であって、その要素は「０」または「１」であ
る。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、
（ｕ、ｖ）の要素は「１」であり、そうでなければ
「０」である。このようなマスクデータを、各画像デー
タに対して一つ作成する。

【０１７８】奥行き値付与部 奥行き値付与部４では、奥行き値付与手段によって、奥
行き値データを作成する。奥行き値データは以下のよう
なものである。

【０１７９】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、奥行き値データはＵ×Ｖの２
次元配列であって、その要素は奥行き値を表す。奥行き
値は、オブジェクト座標系の原点を通り、かつ光軸に垂
直な平面からの、符号つきの距離とする。奥行き値付与
手段による奥行き値の与え方にはいくつかの方法が考え
られ、目的に応じて適当なものを採用する。

【０１８０】一番単純な方法は、バウンディングボック
スの中心の値を奥行き値として採用する方法である。こ
の場合、画面全体の奥行き値は一様にゼロになる。

【０１８１】次に考えられる方法は、仮オブジェクトの
面の位置を奥行き値として採用する方法である。この場
合、画像データと仮オブジェクトとを同時に画面上に表
示して、仮オブジェクトの直方体の面を選択し、画像デ
ータにおいてそれに対応する範囲を指定することによっ
て各ピクセル毎の奥行き値を与えることができる。

【０１８２】最も詳細な方法は、画像データの各ピクセ
ル毎に実際の奥行き値を与える方法である。この方法を
実現する手段としては、レンジファインダにより生成さ
れた距離画像を用いる方法が考えられる。

【０１８３】以上、画像撮影部２において作成された画
像ファイル、および物体抽出部３において作成されたマ
スクデータ、および奥行き値付与部４において作成され
た奥行き値データは、画像データ格納部１５に格納して
おく。

【０１８４】仮オブジェクト配置部 仮オブジェクト配置部６では、仮オブジェクト配置手段
を用いて、仮オブジェクトを３次元仮想空間中に配置す
る。具体的には以下の手順を実行する。

【０１８５】３次元仮想空間の基準となる座標系、すな
わちワールド座標系を定義する。そして、ワールド座標
系における仮オブジェクトの位置と方向を決めることに
よって、オブジェクト座標系からワールド座標系への変
換が定義される。この変換を用いて、仮オブジェクトの
ジオメトリデータをワールド座標系で表現し、メモリに
記憶しておく。

【０１８６】一方、視点情報・視線情報入力部１３にお
いて視点情報および視線情報が入力されると、ワールド
座標系からスクリーン座標系への変換が定義される。こ
の変換を用いて、ワールド座標系で表現された仮オブジ
ェクトのジオメトリデータをスクリーン座標系で表現
し、これもメモリに記憶しておく。

【０１８７】画像選択部 画像選択部７では、画像選択手段を用いて、画像データ
格納部１５から適切な画像を一枚選択する。具体的な手
順は以下の通りである。

【０１８８】

【数２３】

【０１８９】画像合成部 画像合成部１１では、画像合成手段によって表示される
画像の合成を行なう。具体的な手順は以下の通りであ
る。この処理が、実施例１や実施例２や実施例３とは異
なる。

【０１９０】まず、画像選択部７で得られた画像につい
て、縦横比を保ったまま、仮オブジェクトの大きさに合
わせて拡大または縮小を行なう。一般に、仮オブジェク
トの形状と画像選択部７で得られた画像の輪郭とは一致
するとは限らないので、縦方向あるいは横方向のいずれ
かを選択して、仮オブジェクトのサイズと画面上に表示
されるサイズを一致させ、実際に描画するサイズの画像
を生成する。また、仮オブジェクトの位置に合わせて、
描画される画像の位置を決定する。

【０１９１】つづいて、描画する画像の各画素の持つ奥
行き値を、既に描かれている画像の奥行き値と比較し、
奥行き値の小さい方を描画する画素として選択する。以
上の手順によって、奥行き値を考慮した画像の合成が行
なわれる。

【０１９２】画像表示部 画像表示部１２では、画像合成部１１によって合成され
た画像をディスプレイ上に表示する。

【０１９３】以上のような作用により、モデリングが簡
単に行なえ、物体の操作や衝突検出が可能であり、視点
や視線の変化を自由に行なうことができ、充分なリアリ
ティを持った、実写画像を利用した画像合成表示手法を
提供することができる。

【０１９４】その効果として、ポリゴン分割の詳細度に
依存しない、充分な品質を持った、物体の表示を行なう
ことができる。実施例１および実施例２、実施例３と比
較すると、画像変換部における処理を省略しているた
め、近似の程度はさらに粗くなるが、その分さらに高速
な処理を行なうことができる。

【０１９５】図２４は、実施例４の場合における、実施
例１との相違部分であるレンダリング部についてのフロ
ーチャートを示す。なお、相違点は、図２１におけるス
テップ（Ｓ１５）とステップ（Ｓ１６）とに相当するス
テップが省略されている点である。 ステップ（Ｓ５１）：視点と視線とに関する情報が入力
される。 ステップ（Ｓ５２）：仮オブジェクトデータを読込む。 ステップ（Ｓ５３）：仮オブジェクトを配置する。 ステップ（Ｓ５４）：画像ファイルを選択する。 ステップ（Ｓ５５）：拡大または縮小の基準方向を選択
する。 ステップ（Ｓ５６）：画像を拡大または縮小する。 ステップ（Ｓ５７）：描画位置を決定する。 ステップ（Ｓ５８）：画素毎の奥行き値を比較する。 ステップ（Ｓ５９）：影にかくれた部分などの描画すべ
きでない部分か否かを調べる。 ステップ（Ｓ６０）：描画すべき部分については描画す
る。 ステップ（Ｓ６１）：全ての画素について処理したか否
かを調べる。 ステップ（Ｓ６２）：画面表示を行う。

【０１９６】〔実施例５〕図１６は本発明の第５の実施
例を説明する図であって、１は仮オブジェクト作成部、
２は画像撮影部、３は物体抽出部、４は奥行き値付与
部、６は仮オブジェクト配置部、７は画像選択部、８は
画像変換部、１１は画像合成部、１２は画像表示部、１
３は視点情報・視線情報入力部、１４はジオメトリデー
タ格納部、１５は画像データ格納部、１７はモデリング
部、１８はレンダリング部、１９はモデルデータ格納
部、２０は画像合成表示装置である。

【０１９７】仮オブジェクト作成部 仮オブジェクト作成部１では、仮オブジェクト作成手段
によって仮オブジェクトのジオメトリデータを作成す
る。具体的には以下のような手順を実行する。

【０１９８】まず、物体に外接するような直方体を一つ
作成する。この直方体をバウンディングボックスと呼
ぶ、このとき、バウンディングボックスの中心が原点と
なり、座標軸が直方体の各面の中心と交わるような座標
系を定義し、これをオブジェクト座標系とする。物体の
正面方向に伸びる座標軸をオブジェクト座標系のＸ軸と
し、物体の上方向に伸びる座標軸をオブジェクト座標系
のＺ軸とする。Ｙ軸は、オブジェクト座標系が右手系を
なすような方向に決める。この様子を図７に示す。

【０１９９】次に、物体の形状を直方体の組合せで近似
する。具体的には、バウンディングボックスからはみだ
さないように適当な直方体を置いていき、物体の形状を
再現する。

【０２００】このときの近似の程度によって、後に衝突
検出の精度が左右される。したがって、どの程度の近似
が必要かは、衝突検出の精度がどの程度必要かによる。
より正確な衝突判定を行なう必要があれば、たくさんの
細かな直方体を組み合わせて仮オブジェクトを作成す
る。逆に、それほど厳密な衝突判定が必要でなければ、
少数の直方体を組み合わせて仮オブジェクトを作成すれ
ばよい。バウンディングボックスそのものを仮オブジェ
クトとしても十分な場合もある。

【０２０１】仮オブジェクトを作成したら、バウンディ
ングボックスの頂点の座標と、仮オブジェクトを構成す
る直方体の頂点の座標を、ジオメトリデータ格納部１４
に格納する。

【０２０２】画像撮影部 画像撮影部２では、画像撮影手段によって物体の画像を
撮影する。具体的な手順は以下の通りである。

【０２０３】ディジタルカメラを用いて、光軸がバウン
ディングボックスの中心を通るようにして画像を撮影す
る。このとき、光軸の、オブジェクト座標系のＸ軸から
の回転角θと、ＸＹ平面からの仰角φを記録しておく。
また、バウンディングボックスの中心（すなわち、オブ
ジェクト座標系の原点）から撮像面までの距離は一定に
保っておく。

【０２０４】このようにして、物体を囲む複数の点から
画像を撮影し、画像ファイルを得る。また、θおよびφ
と画像ファイルに対する対応とを表すテーブルを作成し
ておく。また、後の物体抽出部における処理のため、背
景を単一色に設定しておく。

【０２０５】物体抽出部 物体抽出部３では、画像撮影部２で撮影された画像か
ら、物体抽出手段によって、表示の対象となる物体を抽
出する。抽出にはクロマキーを用いる。そして、表示対
象部分を表示するマスクデータを作成する。マスクデー
タは以下のようなものである。

【０２０６】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、マスクデータはＵ×Ｖの２次
元配列であって、その要素は「０」または「１」であ
る。例えば、ピクセル（ｕ、ｖ）が表示対象であれば、
（ｕ、ｖ）の要素は「１」であり、そうでなければ
「０」である。このようなマスクデータを、各画像デー
タに対して一つ作成する。

【０２０７】奥行き値付与部 奥行き値付与部４では、奥行き値付与手段によって、奥
行き値データを作成する。奥行き値データは以下のよう
なものである。

【０２０８】画像データのサイズがＵ×Ｖ（ピクセル）
であるとする。このとき、奥行き値データはＵ×Ｖの２
次元配列であって、その要素は奥行き値を表す。奥行き
値は、オブジェクト座標系の原点を通り、かつ光軸に垂
直な平面からの、符号つきの距離とする。奥行き値付与
手段による奥行き値の与え方には、いくつかのやり方が
考えられる。

【０２０９】一番単純な方法は、バウンディングボック
スの中心の値を奥行き値として採用する方法である。こ
の場合、画面全体の奥行き値は一様にゼロになる。

【０２１０】次に考えられる方法は、仮オブジェクトの
面の位置を奥行き値として採用する方法である。この場
合、画像データと仮オブジェクトとを同時に画面上に表
示して、仮オブジェクトの直方体の面を選択し、画像デ
ータにおいてそれに対応する範囲を指定することによっ
て各ピクセル毎の奥行き値を与えることができる。

【０２１１】最も詳細な方法は、画像データの各ピクセ
ル毎に実際の奥行き値を与える方法である。この方法を
実現する手段としては、レンジファインダにより生成さ
れた距離画像を用いる方法が考えられる。

【０２１２】以上、画像撮影部２において作成された画
像ファイル、および物体抽出部３において作成されたマ
スクデータ、および奥行き値付与部４において作成され
た奥行き値データは、画像データ格納部１５に格納して
おく。

【０２１３】仮オブジェクト配置部 仮オブジェクト配置部６では、仮オブジェクト配置手段
を用いて、仮オブジェクトを３次元仮想空間中に配置す
る。具体的には以下の手順を実行する。

【０２１４】３次元仮想空間の基準となる座標系、すな
わちワールド座標系を定義する。そして、ワールド座標
系における仮オブジェクトの位置と方向を決めることに
よって、オブジェクト座標系からワールド座標系への変
換が定義される。この変換を用いて、仮オブジェクトの
ジオメトリデータをワールド座標系で表現し、メモリに
記憶しておく。

【０２１５】一方、視点情報・視線情報入力部１３にお
いて視点情報および視線情報が入力されると、ワールド
座標系からスクリーン座標系への変換が定義される。こ
の変換を用いて、ワールド座標系で表現された仮オブジ
ェクトのジオメトリデータをスクリーン座標系で表現
し、これもメモリに記憶しておく。

【０２１６】画像選択部および画像変換部 画像選択部７および画像変換部８では、以下に説明する
手法を用いて画像選択処理および画像変換処理を行な
う。具体的な処理の内容は、手法の説明の後に記述す
る。この処理が実施例１ないし実施例４と異なる。

【０２１７】視点の位置や視線の方向を様々に変化させ
たときの画像を得る手段の一つとして、複数枚の画像を
用いて仮想的な視点から見た画像を生成する手法が、
「S.M.Seitz and C.R.Dyer,"View Morphing",Proc SIGG
RAPH 96,In Computer Graphics(1996),pp.21-30 」にお
いて提案されている。以下図１７を用いてこの文献で提
案されている手法（以下、ビューモーフィング法と記
す）について概要を説明する。

【０２１８】まず、１つの物体について２か所から撮影
された２枚の画像Ｉ₀ 、Ｉ₁ を用意する。画像はそれぞ
れ光学中心Ｃ₀ 、Ｃ₁ と視線ベクトル

【０２１９】

【数２４】

【０２２０】を持っている。それぞれの画像の光学中心
を結んだ線分を一般にベースラインと呼ぶ。

【０２２１】（ステップ１）：それぞれの視線ベクトル
が平行かつベースラインに垂直になるように視線ベクト
ルの向きを変え、さらにスクリーン面までの距離が単位
長になるようにオリジナルの画像を変形する。このと
き、視線ベクトルはそれぞれ

【０２２２】

【数２５】

【０２２３】となる。変形して得られた画像をそれぞれ
Ｉ′₀ 、Ｉ′₁ とする。この操作を、文献中ではprewar
p と呼んでいる。

【０２２４】（ステップ２）：ベースライン上に仮想的
な視点Ｃ_s を設定する。そして、変形された各々の画像
の全ての画素について対応点を探索し、仮想視点の位置
に応じて、それぞれの対応点について線形補間を行な
う。以上の操作で、prewarp された視線ベクトルの方向

【０２２５】

【数２６】

【０２２６】に仮想視点から見た画像Ｉ′_s を得ること
ができる。

【０２２７】（ステップ３）：得られた画像について、
視線ベクトル

【０２２８】

【数２７】

【０２２９】が所望の方向を向き、所望のスクリーン面
までの距離を持つように変形を行ない、仮想視点から見
た画像Ｉ_s を得る。この操作を、文献中ではpostwarpと
呼んでいる。

【０２３０】以上のステップ１からステップ３までの操
作を行なうことにより、仮想的な視点から見た画像を２
枚の実写画像から得ることができる。

【０２３１】元の文献には記述されていないが、この手
法を自然に拡張すれば、撮影点を３点に増やすことによ
り、この３点を頂点に持つ三角形に囲まれた任意の視点
から見た物体の画像を合成することが可能となることは
自明である。要するに、ビューモーフィング法を繰り返
して実行すれば良い。したがって、任意の視点に対し
て、必ずその視点を囲むような、３つの撮影点からなる
三角形が存在するように、あらかじめ画像を撮影してお
けば良い。これが可能であることは、物体を囲む正２０
面体を想像すれば明らかである。

【０２３２】画像選択部 画像選択部７では、画像選択手段を用いて、画像データ
格納部１５から適切な画像を複数枚選択する。具体的な
手順は以下の通りである。

【０２３３】

【数２８】

【０２３４】この時点で、視点が撮影点を結んだ線分上
に存在すれば画像の選択を終了する。そうでない場合、
撮影点をもう一つ選択して、三つの撮影点から構成され
る三角形が視点を囲むようにする必要がある。したがっ
て、内積の値が３番目に大きい撮影点から順番に、前述
の条件を満たすかどうか判定し、条件を満たすような撮
影点がみつかったところでその撮影点に対応する画像フ
ァイルを選択し、画像の選択を終了する。

【０２３５】画像変換部 画像変換部８では、画像変換手段を用いて、画像選択部
７で選択された画像を変換する。画像変換手段には、前
述のビューモーフィング法を用いる。

【０２３６】画像合成部 画像合成部１１では、画像合成手段によって表示される
べき画像の合成を行なう。具体的な手順は以下の通りで
ある。

【０２３７】まず、画像変換部８で得られた画像につい
て、縦横比を保ったまま、仮オブジェクトの大きさに合
わせて拡大または縮小を行なう。一般に、仮オブジェク
トの形状と画像変換部８で得られた画像の輪郭は一致す
るとは限らないので、縦方向あるいは横方向のいずれか
を選択して、画面上に表示される大きさを調整し、実際
に描画する画像を生成する。また仮オブジェクトの位置
に合わせて、描画される画像の位置を決定する。

【０２３８】つづいて、描画する画像の各画素の持つ奥
行き値を、既に描かれている画像の奥行き値と比較し、
奥行き値の小さい方を描画する画素として選択する。以
上の手順によって奥行き値を考慮した画像の合成が行な
われる。

【０２３９】画像表示部 画像表示部１２では、画像合成部１１によって合成され
た画像をディスプレイ上に表示する。

【０２４０】以上のような作用により、モデリングが簡
単に行なえ、物体の操作や衝突検出が可能であり、視点
や視線の変化を自由に行なうことができ、充分なリアリ
ティを持った、実写画像を利用した画像合成表示手法を
提供することができる。

【０２４１】図２５は、実施例５の場合における、実施
例１との相違部分であるレンダリング部についてのフロ
ーチャートを示す。なお、相違点は、図２１におけるス
テップ（Ｓ１５）とステップ（Ｓ１６）とに代わって、
ステップ（Ｓ６７）が用いられている点である。 ステップ（Ｓ６３）：視点と視線とに関する情報が入力
される。 ステップ（Ｓ６４）：仮オブジェクトデータを読込む。 ステップ（Ｓ６５）：仮オブジェクトを配置する。 ステップ（Ｓ６６）：画像ファイルを選択する。 ステップ（Ｓ６７）：ビューモーフィング法によっての
画像変換を行う。 ステップ（Ｓ６８）：拡大または縮小の基準方向を選択
する。 ステップ（Ｓ６９）：画像を拡大または縮小する。 ステップ（Ｓ７０）：描画位置を決定する。 ステップ（Ｓ７１）：画素毎の奥行き値を比較する。 ステップ（Ｓ７２）：影にかくれた部分などの描画すべ
きでない部分か否かを調べる。 ステップ（Ｓ７３）：描画すべき部分については描画す
る。 ステップ（Ｓ７４）：全ての画素について処理したか否
かを調べる。 ステップ（Ｓ７５）：画面表示を行う。

【０２４２】その効果として、ポリゴン分割の詳細度に
依存しない、充分な品質を持った、物体の表示を行なう
ことができる。実施例１および実施例２、実施例３、実
施例４と比較すると、画像変換部における処理にビュー
モーフィング法を用いているため、画像変換処理の負担
は増加するが、高品質の画像表示を行なうことができ
る。

【０２４３】上記において、画像合成表示方法ならびに
そのための装置について説明したが、当該画像合成表示
はデータ処理装置が、プログラムを実行する形で記述す
ることが可能であり、プログラムの形で記録保存するこ
とが可能である。このことから本願発明は当該プログラ
ムを記録した記録媒体をも本願発明の権利範囲に属する
ものである。

【０２４４】

【発明の効果】以上説明したように、本発明によれば、
以下のような利点を兼ね備えた、充分なリアリティを持
つ、実写画像を用いた画像合成表示手法を提供すること
ができるという効果がある。

【０２４５】まず第一に、本発明では物体の概略形状を
表す仮オブジェクトと、いくつかの方向から物体を撮影
した実写画像を用いてモデリングを行ない、物体の詳細
な形状を多数のポリゴンで表現する必要がないため、モ
デリングが簡単に行なえる利点がある。

【０２４６】次に、仮オブジェクトが物体の概略形状情
報を持っているため、回転や平行移動など、物体の操作
を行なうことができ、また、衝突検出を行なうことがで
きるという効果がある。この効果によって、本発明を３
次元仮想空間レイアウトシステムに応用することができ
るという利点がある。

【０２４７】また、視点や視線の変化を自由に行なうこ
とができ、隠面消去を行なうことができる効果がある。
この効果によって、３次元ＣＧの重要な応用例であるウ
ォークスルーを実現することができるという利点があ
る。

【０２４８】さらに、本発明の方法は特殊な装置を必要
としないため、ポリゴンとテクスチャマッピングを用い
た従来の３次元ＣＧ手法と組み合わせて用いることがで
きる。したがって、既存の３次元ＣＧ装置に、本発明の
方法を実現する装置を組み込むことにより、既存の３次
元ＣＧ装置の表示のリアリティを増すことができるとい
う利点がある。

【図面の簡単な説明】

【図１】凹凸のある物体を第三角法によって描いたもの
である。

【図２】図１に示された物体を斜め上方から見た場合の
実際の見え方を表すものである。

【図３】図１に示された物体を斜め上方から見た場合
に、従来の手法を用いた表示したものを表すものであ
る。

【図４】湯のみを表すものである。

【図５】図４に示された湯のみを、従来の手法を用いて
表示したものを表すものである。

【図６】本発明の第１の実施例を説明するブロック図で
ある。

【図７】バウンディングボックスとオブジェクト座標系
との関係を表すものである。

【図８】物体を仮オブジェクトで近似する様子を表すも
のである。左側の図が実際の物体、右側の図が仮オブジ
ェクトをそれぞれ表している。

【図９】物体の撮影の様子を説明するための模型図であ
る。

【図１０】ワールド座標系の原点に光学中心を持ち、焦
点距離がｆであるようなピンホールカメラによる透視投
影変換の様子を表すものである。

【図１１】ディジタル画像座標系と正規化画像座標系の
間の関係を表すものである。

【図１２】正規化画像座標系のＸ軸の回りにカメラを角
度φだけ回転させるような正規化画像座標系の座標変換
の様子を表すものである。Ｘ軸は、紙面から手前の方向
を正として、ＹＺ−平面に垂直に伸びているものとす
る。

【図１３】本発明の第２の実施例を説明するブロック図
である。

【図１４】本発明の第３の実施例を説明するブロック図
である。

【図１５】本発明の第４の実施例を説明するブロック図
である。

【図１６】本発明の第５の実施例を説明するブロック図
である。

【図１７】View Morphing の手法を説明するための模型
図である。

【図１８】図６に示す実施例１におけるジオメトリデー
タ作成のためのフローチャートを示す。

【図１９】図６に示す実施例１における画像データ作成
のためのフローチャートを示す。

【図２０】図６に示す実施例１におけるカメラパラメー
タ抽出のためのフローチャートを示す。

【図２１】図６に示す実施例１におけるレンダリング部
のフローチャートを示す。

【図２２】実施例２の場合における、実施例１との相違
部分であるレンダリング部についてのフローチャートを
示す。

【図２３】実施例３の場合における、実施例１との相違
部分であるレンダリング部についてのフローチャートを
示す。

【図２４】実施例４の場合における、実施例１との相違
部分であるレンダリング部についてのフローチャートを
示す。

【図２５】実施例５の場合における、実施例１との相違
部分であるレンダリング部についてのフローチャートを
示す。

【符号の説明】

１ 仮オブジェクト作成部 ２ 画像撮影部 ３ 物体抽出部 ４ 奥行き値付与部 ５ カメラパラメータ抽出部 ６ 仮オブジェクト配置部 ７ 画像選択部 ８ 画像変換部 ９ 画像補正部 １０ 画像再投影部 １１ 画像合成部 １２ 画像表示部 １３ 視点情報・視線情報入力部 １４ ジオメトリデータ格納部 １５ 画像データ格納部 １６ カメラパラメータ格納部 １７ モデリング部 １８ レンダリング部 １９ モデルデータ格納部 ２０ 画像合成表示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 秀則 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 BA09 DA07 EA12 EA13 EA19 EA27 EA28 EA29 FA02 5B057 BA02 CA13 CB13 CD06 CD20 CE08 5B080 BA02 FA08 GA01 GA22 5C023 AA10 AA18 AA37 AA38 CA02 CA05 DA01 5C061 AB03 AB08 AB14 AB17

Claims (29)

【特許請求の範囲】
1. 【請求項１】 ３次元コンピュータグラフィックスの画
   像合成表示方法において、 ジオメトリデータを用いて、画像の表示位置と当該画像
   の表示の大きさとを決定する第１の段階と、 当該第１の段階により決定された表示位置と表示の大き
   さとに合わせて実写画像を表示する第２の段階とを有す
   ることを特徴とする画像合成表示方法。
2. 【請求項２】 ３次元コンピュータグラフィックスの画
   像合成表示方法において、 ジオメトリデータを用いて、画像の表示位置と当該画像
   の表示の大きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
   最も近いような実写画像を選択する第２の段階と、 上記第１の段階により決定された表示位置と表示の大き
   さとに合わせて、上記第２の段階により選択された実写
   画像を表示する第３の段階とを有することを特徴とする
   画像合成表示方法。
3. 【請求項３】 ３次元コンピュータグラフィックスの画
   像合成表示方法において、 ジオメトリデータを用いて、画像の表示位置と表示の大
   きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
   最も近いような実写画像を選択する第２の段階と、 上記第２の段階で選択された実写画像を、投影中心から
   物体へ向かう方向と撮影時視線の方向とのずれに応じて
   変形する第３の段階と、 上記第１の段階により決定された表示位置と表示の大き
   さとに合わせて、上記第３の段階により変形された実写
   画像を表示する第４の段階とを有することを特徴とする
   画像合成表示方法。
4. 【請求項４】 請求項３記載の画像合成表示方法におい
   て、 選択された実写画像を、投影中心から物体へ向かう方向
   と撮影時視線の方向とのずれに応じて変形する際に画像
   再投影法を用いることを特徴とする画像合成表示方法。
5. 【請求項５】 ３次元コンピュータグラフィックスの画
   像合成表示方法において、 ジオメトリデータを用いて、画像の表示位置と表示の大
   きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
   最も近いような実写画像を選択する第２の段階と、 上記第２の段階で選択された実写画像を、投影中心から
   物体へ向かう方向と表示時視線の方向とのずれに応じて
   変形する第３の段階と、 上記第１の段階により決定された表示位置と表示の大き
   さとに合わせて、上記第３の段階により変形された実写
   画像を表示する第４の段階とを有することを特徴とする
   画像合成表示方法。
6. 【請求項６】 請求項５記載の画像合成表示方法におい
   て、 選択された実写画像を投影中心から物体へ向かう方向と
   表示時視線の方向とのずれに応じて変形するに当って画
   像再投影を行うことを特徴とする画像合成表示方法。
7. 【請求項７】 ３次元コンピュータグラフィックスの画
   像合成表示方法において、 ジオメトリデータを用いて、画像の表示位置と表示の大
   きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
   最も近いような実写画像を選択する第２の段階と、 上記第２の段階で選択された実写画像を、投影中心から
   物体へ向かう方向と撮影時視線の方向とのずれに応じて
   変形する第３の段階と、 上記第３の段階で変形された実写画像を、さらに投影中
   心から物体へ向かう方向と表示時視線の方向とのずれに
   応じて変形する第４の段階と、 上記第１の段階により決定された表示位置と表示の大き
   さとに合わせて、上記第４の段階により変形された実写
   画像を表示する第５の段階とを有することを特徴とする
   画像合成表示方法。
8. 【請求項８】 請求項７記載の画像合成表示方法におい
   て、 選択された実写画像を投影中心から物体へ向かう方向と
   撮影時視線の方向とのずれに応じて変形する第３の段階
   においておよび投影中心から物体へ向かう方向と表示時
   視線の方向とのずれに応じて変形する第４の段階におい
   て画像再投影を行うことを特徴とする画像合成表示方
   法。
9. 【請求項９】 ３次元コンピュータグラフィックスの画
   像合成表示方法において、 ジオメトリデータを用いて、画像の表示位置と表示の大
   きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
   近いような実写画像を複数選択する第２の段階と、 上記第２の段階で選択された複数の実写画像を、対応点
   を用いて補間する第３の段階と、 上記第１の段階により決定された表示位置と表示の大き
   さとに合わせて、上記第３の段階により補間された実写
   画像を表示する第４の段階とを有することを特徴とする
   画像合成表示方法。
10. 【請求項１０】 物体の概形を表す仮オブジェクトを３
    次元仮想空間中に配置する仮オブジェクト配置手段と、 物体を複数方向から撮影した実写画像から表示に用いる
    ための実写画像を選択する画像選択手段と、 上記の選択された画像を奥行き値を考慮して合成する画
    像合成手段と、 上記画像合成手段によって合成された画像を画面に表示
    する画像表示手段とを備えることを特徴とする画像合成
    表示装置。
11. 【請求項１１】 物体の概形を表す仮オブジェクトを３
    次元仮想空間中に配置する仮オブジェクト配置手段と、 物体を複数方向から撮影した実写画像から表示に用いる
    ための実写画像を選択する画像選択手段と、 上記画像選択手段により選択された実写画像を、視点情
    報及び視線情報に基づき、変換する画像変換手段と、 上記の変換された画像を奥行き値を考慮して合成する画
    像合成手段と、 上記画像合成手段によって合成された画像を画面に表示
    する画像表示手段とを備えることを特徴とする画像合成
    表示装置。
12. 【請求項１２】 請求項１１記載の画像合成表示装置に
    おいて、 上記画像変換手段が、上記画像選択手段により選択され
    た画像の撮影時の視線の方向と、投影中心から表示物体
    に向かう方向とのずれを補正する画像補正手段を備える
    ことを特徴とする画像合成表示装置。
13. 【請求項１３】 請求項１１記載の画像合成表示装置に
    おいて、 上記画像変換手段が、投影中心から表示物体に向かう方
    向と表示時視線方向とのずれを補正する画像再投影手段
    を備えることを特徴とする画像合成表示装置。
14. 【請求項１４】 請求項１１記載の画像合成表示装置に
    おいて、 上記画像変換手段が、 上記画像選択手段により選択された画像の撮影時の視線
    の方向と投影中心から表示物体に向かう方向とのずれを
    補正する画像補正手段と、 投影中心から表示物体に向かう方向と表示時視線方向と
    のずれを補正する画像再投影手段とを備えることを特徴
    とする画像合成表示装置。
15. 【請求項１５】 ３次元コンピュータグラフィックスの
    画像合成表示装置において、 物体の概形を表す仮オブジェクトを、３次元仮想空間中
    に配置する仮オブジェクト配置手段と、 物体を複数方向から撮影した実写画像から、表示に用い
    るための実写画像を複数選択する画像選択手段と、 上記画像選択手段により選択された複数の実写画像を、
    視点情報及び視線情報に基づき、対応点を用いて補間す
    ることにより変換する画像変換手段と、 上記の変換された画像を、奥行き値を考慮して合成する
    画像合成手段と、 上記画像合成手段によって合成された画像を画面に表示
    する画像表示手段とを備えることを特徴とする画像合成
    表示装置。
16. 【請求項１６】 ３次元コンピュータグラフィックスの
    画像合成表示装置において、 物体の概形を表す仮オブジェクトを作成する仮オブジェ
    クト作成手段と、表示対象物体の実写画像を取得する画
    像撮影手段と、上記実写画像から表示対象物体を抽出す
    る物体抽出手段と、上記実写画像中の表示対象物体の奥
    行き値を付与する奥行き値付与手段とを有するモデリン
    グ装置を備えると共に、 物体の概形を表す仮オブジェクトを３次元仮想空間中に
    配置する仮オブジェクト配置手段と、物体を複数方向か
    ら撮影した実写画像から表示に用いるための実写画像を
    選択する画像選択手段と、上記の選択された画像を奥行
    き値を考慮して合成する画像合成手段と、上記画像合成
    手段によって合成された画像を画面に表示する画像表示
    手段とを有する画像合成表示装置と、 ジオメトリデータを格納するジオメトリデータ格納手段
    と、 画像データを格納する画像データ格納手段とを備えるこ
    とを特徴とする画像合成表示装置。
17. 【請求項１７】 ３次元コンピュータグラフィックスの
    画像合成表示装置において、 物体の概形を表す仮オブジェクトを作成する仮オブジェ
    クト作成手段と、表示対象物体の実写画像を取得する画
    像撮影手段と、上記実写画像から表示対象物体を抽出す
    る物体抽出手段と、上記実写画像中の表示対象物体の奥
    行き値を付与する奥行き値付与手段と上記実写画像の取
    得に用いたカメラのカメラパラメータを抽出するカメラ
    パラメータ抽出手段とを有するモデリング装置を備える
    と共に、 物体を複数方向から撮影した実写画像から表示に用いる
    ための実写画像を選択する画像選択手段と、上記画像選
    択手段により選択された実写画像を、視点情報及び視線
    情報に基づき、変換する画像変換手段とを備え、 上記画像変換手段が、上記画像選択手段により選択され
    た画像の撮影時の視線の方向と投影中心から表示物体に
    向かう方向とのずれを補正する画像補正手段を有する画
    像合成表示装置と、 ジオメトリデータを格納するジトメトリデータ格納手段
    と、 画像データを格納する画像データ格納手段と、 カメラパラメータを格納するカメラパラメータ格納手段
    とを備えることを特徴とする画像合成表示装置。
18. 【請求項１８】 ３次元コンピュータグラフィックスの
    画像合成表示装置において、 物体の概形を表す仮オブジェクトを作成する仮オブジェ
    クト作成手段と、表示対象物体の実写画像を取得する画
    像撮影手段と、上記実写画像から表示対象物体を抽出す
    る物体抽出手段と、上記実写画像中の表示対象物体の奥
    行き値を付与する奥行き値付与手段と、上記実写画像の
    取得に用いたカメラのカメラパラメータを抽出するカメ
    ラパラメータ抽出手段とを有するモデリング装置を備え
    ると共に、物体を複数方向から撮影した実写画像から表
    示に用いるための実写画像を選択する画像選択手段と、
    上記画像選択手段により選択された実写画像を、視点情
    報及び視線情報に基づき、変換する画像変換手段とを備
    え、 上記画像変換手段が、上記画像選択手段により選択され
    た画像の撮影時の視線の方向と投影中心から表示物体に
    向かう方向とのずれを補正する画像再投影手段を有する
    画像合成表示装置と、 ジオメトリデータを格納するジトメトリデータ格納手段
    と、 画像データを格納する画像データ格納手段と、 カメラパラメータを格納するカメラパラメータ格納手段
    とを備えることを特徴とする画像合成表示装置。
19. 【請求項１９】 ３次元コンピュータグラフィックスの
    画像合成表示装置において、 物体の概形を表す仮オブジェクトを作成する仮オブジェ
    クト作成手段と、表示対象物体の実写画像を取得する画
    像撮影手段と、上記実写画像から表示対象物体を抽出す
    る物体抽出手段と、上記実写画像中の表示対象物体の奥
    行き値を付与する奥行き値付与手段と、上記実写画像の
    取得に用いたカメラのカメラパラメータを抽出するカメ
    ラパラメータ抽出手段とを有するモデリング装置を備え
    ると共に、 物体を複数方向から撮影した実写画像から表示に用いる
    ための実写画像を選択する画像選択手段と、上記画像選
    択手段により選択された実写画像を、視点情報及び視線
    情報に基づき、変換する画像変換手段とを備え、 上記画像変換手段が、上記画像選択手段により選択され
    た画像の撮影時の視線の方向と投影中心から表示物体に
    向かう方向とのずれを補正する画像補正手段と、投影中
    心から表示物体に向かう方向と表示時視線方向とのずれ
    を補正する画像再投影手段とを有する画像合成表示装置
    と、 ジオメトリデータを格納するジオメトリデータ格納手段
    と、 画像データを格納する画像データ格納手段と、 カメラパラメータを格納するカメラパラメータ格納手段
    とを備えることを特徴とする画像合成表示装置。
20. 【請求項２０】 ３次元コンピュータグラフィックスの
    画像合成表示装置において、 物体の概形を表す仮オブジェクトを作成する仮オブジェ
    クト作成手段と、表示対象物体の実写画像を取得する画
    像撮影手段と、上記実写画像から表示対象物体を抽出す
    る物体抽出手段と、上記実写画像中の表示対象物体の奥
    行き値を付与する奥行き値付与手段とを有するモデリン
    グ装置を備えると共に、 物体の概形を表す仮オブジェクトを３次元仮想空間中に
    配置する仮オブジェクト配置手段と、物体を複数方向か
    ら撮影した実写画像から表示に用いるための実写画像を
    複数選択する画像選択手段と、上記画像選択手段により
    選択された複数の実写画像を、視点情報及び視線情報に
    基づき対応点を用いて補間することにより変換する画像
    変換手段と、上記の変換された画像を奥行き値を考慮し
    て合成する画像合成手段と、上記画像合成手段によって
    合成された画像を画面に表示する画像表示手段とを有す
    る画像合成表示装置と、 ジオメトリデータを格納するジオメトリデータ格納手段
    と、 画像データを格納する画像データ格納手段とを備えるこ
    とを特徴とする画像合成表示装置。
21. 【請求項２１】 ジオメトリデータを用いて、画像の表
    示位置と当該画像の表示の大きさとを決定する第１の段
    階と、 当該第１の段階により決定された表示位置と表示の大き
    さとに合わせて実写画像を表示する第２の段階とを有す
    る３次元コンピュータグラフィックスの画像合成表示方
    法に関し、 当該画像合成表示方法を記述した画像合成表示プログラ
    ムを記録した記録媒体。
22. 【請求項２２】 ジオメトリデータを用いて、画像の表
    示位置と当該画像の表示の大きさとを決定する第１の段
    階と投影中心から物体へ向かう方向と撮影時視線の方向
    とが最も近いような実写画像を選択する第２の段階と、 上記第１の段階により決定された表示位置と表示の大き
    さとに合わせて、上記第２の段階により選択された実写
    画像を表示する第３の段階とを有する３次元コンピュー
    タグラフィックスの画像合成表示方法に関し、 当該画像合成表示方法を記述した画像合成表示プログラ
    ムを記録した記録媒体。
23. 【請求項２３】 ジオメトリデータを用いて、画像の表
    示位置と表示の大きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
    最も近いような実写画像を選択する第２の段階と、 上記第２の段階で選択された実写画像を、投影中心から
    物体へ向かう方向と撮影時視線の方向とのずれに応じて
    変形する第３の段階と、 上記第１の段階により決定された表示位置と表示の大き
    さとに合わせて、上記第３の段階により変形された実写
    画像を表示する第４の段階とを有する３次元コンピュー
    タグラフィックスの画像合成表示方法に関し、 当該画像合成表示方法を記述した画像合成表示プログラ
    ムを記録した記録媒体。
24. 【請求項２４】 請求項２３に記載された画像合成表示
    方法において、選択された実写画像を、投影中心から物
    体へ向かう方向と撮影時視線の方向とのずれに応じて変
    形するに当って画像再投影を行うようにした３次元コン
    ピュータグラフィックスの画像合成表示方法に関し、 当該画像合成表示方法を記述した請求項２３記載の画像
    合成表示プログラムを記録した記録媒体。
25. 【請求項２５】 ジオメトリデータを用いて、画像の表
    示位置と表示の大きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
    最も近いような実写画像を選択する第２の段階と、 上記第２の段階で選択された実写画像を、投影中心から
    物体へ向かう方向と表示時視線の方向とのずれに応じて
    変形する第３の段階と、 上記第１の段階により決定された表示位置と表示の大き
    さとに合わせて、上記第３の段階により変形された実写
    画像を表示する第４の段階とを有する３次元コンピュー
    タグラフィックスの画像合成表示方法に関し、 当該画像合成表示方法を記述した画像合成表示プログラ
    ムを記録した記録媒体。
26. 【請求項２６】 請求項２５に記載された画像合成表示
    方法において、選択された実写画像を投影中心から物体
    へ向かう方向と表示時視線の方向とのずれに応じて変形
    するに当って画像再投影を行うようにした３次元コンピ
    ュータグラフィックスの画像合成表示方法に関し、 当該画像合成表示方法を記述した請求項２５記載の画像
    合成表示プログラムを記録した記録媒体。
27. 【請求項２７】 ジオメトリデータを用いて、画像の表
    示位置と表示の大きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
    最も近いような実写画像を選択する第２の段階と、 上記第２の段階で選択された実写画像を、投影中心から
    物体へ向かう方向と撮影時視線の方向とのずれに応じて
    変形する第３の段階と、 上記第３の段階で変形された実写画像を、さらに投影中
    心から物体へ向かう方向と表示時視線の方向とのずれに
    応じて変形する第４の段階と、 上記第１の段階により決定された表示位置と表示の大き
    さとに合わせて、上記第４の段階により変形された実写
    画像を表示する第５の段階とを有する３次元コンピュー
    タグラフィックスの画像合成表示方法に関し、 当該画像合成表示方法を記述した画像合成表示プログラ
    ムを記録した記録媒体。
28. 【請求項２８】 請求項２７に記載された画像合成表示
    方法において、選択された実写画像を投影中心から物体
    へ向かう方向と撮影時視線の方向とのずれに応じて変形
    する第３の段階においておよび投影中心から物体へ向か
    う方向と表示時視線の方向とのずれに応じて変形する第
    ４の段階において画像再投影を行うようにした３次元コ
    ンピュータグラフィックスの画像合成表示方法に関し、 当該画像合成表示方法を記述した請求項２７記載の画像
    合成表示プログラムを記録した記録媒体。
29. 【請求項２９】 ジオメトリデータを用いて、画像の表
    示位置と表示の大きさとを決定する第１の段階と、 投影中心から物体へ向かう方向と撮影時視線の方向とが
    近いような実写画像を複数選択する第２の段階と、 上記第２の段階で選択された複数の実写画像を、対応点
    を用いて補間する第３の段階と、 上記第１の段階により決定された表示位置と表示の大き
    さとに合わせて、上記第３の段階により補間された実写
    画像を表示する第４の段階とを有する３次元コンピュー
    タグラフィックスの画像合成表示方法に関し、 当該画像合成表示方法を記述した画像合成表示プログラ
    ムを記録した記録媒体。