JP2000057376A - 新視点画像生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 複雑な表面形状や複雑なテクスチャをもつ
３次元物体にも適用でき、かつ、高速処理が可能な３次
元画像生成方法及び装置を提供することを課題としてい
る。 【解決手段】 新視点から見た画像を生成する方法にお
いて、三次元空間から撮影画像への射影変換行列を求め
る第１工程と、対象物体の形状を表す部分に点を指定
し、指定点同士を対応づける第２工程と、３個の点を指
定して３角形領域を形成し、３角形領域でカバーする第
３工程と、３次元空間から新視点における画像への射影
変換行列を求める第４工程と、新視点画像を生成する第
５工程とを具備している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、３次元空間にお
ける対象物体の画像生成の技術分野に属する。更に詳細
には、複数の撮影画像を利用して別の視点から見た画像
を生成する技術に関する。

【０００２】

【従来の技術】コンピュータの処理速度の高速化、メモ
リーの大容量化によって近年３次元物体の画像処理が急
速に発展している。例えば、公開特許公報第平１０−２
７２６８号に記載されているように、３次元空間におけ
る物体又は風景が視点が変化するにつれて３次元画像の
変化を生成する技術にも利用されている。このような場
合に、３次元物体の表面の全点の３次元座標及びその点
の情報をメモリに記録して、視点が変化したときはそれ
らを演算により求めて表示する方法が単純で理論的にも
優れた方法であると考えられる。しかし、現状の段階で
はメモリ容量、処理時間の関係等から非現実的である。
一方、２次元画像は現状の技術で処理可能であるが、２
次元画像だけからでは視点の変化に対して奥行きのある
画像の変化を生成することができない。

【０００３】そこで、従来は、ある種のバーチャルリア
リティのように、多数の２次元画像を撮影しておき、視
点が変化したときには、視点の変化に対応して撮影画像
を切り換えて見せることにより、３次元空間を体験させ
る技術も開発されている。しかし、この方法は予め、多
数の撮影画像を準備しておく必要があり、準備された画
像により視点の変化が制約されるという欠点があった。
また、画像の電送には多大の時間が必要であり、問題で
あった。

【０００４】また、別の従来の方法としては、例えば、
公開特許公報、特開平９−２１２６８９に開示されてい
る画像描画装置では、３次元画像、即ち、３次元空間に
おける３次元物体の画像を構成する個々の物体に着目
し、基本的な立体や、それらの位置関係及び立体の表面
の模様を文字等の手段によって記憶し、文字等で記述さ
れた基本形状から実際の３次元形状を生成する方法を採
用している。

【０００５】しかし、この様な方法は人間の持っている
イメージや概念等を仲介して表現し、記録しているため
複雑な形状の３次元物体や複雑なテクスチャを持つ物体
の画像生成に適用するのは困難である。

【０００６】

【発明が解決しようとする課題】この発明は、上述のよ
うな背景の下になされたもので、３次元画像の距離情報
を客観的な手段で表現でき、複雑な表面形状や複雑なテ
クスチャをもつ３次元物体にも容易に適用でき、かつ、
従来の方法に比べて簡単な３次元モデルを構成するだけ
で高速処理が可能な３次元画像生成方法及び装置を提供
することを課題としている。

【０００７】

【課題を解決するための手段】上記課題を解決するため
に本発明は以下の手段を採用している。即ち、請求項１
に記載の発明は、複数の異なる視点から対象物体を撮影
した複数の撮影画像に基づいて新視点から見た該対象物
体の画像を生成し、表示する方法において、前記対象物
体が配置された三次元空間から撮影画像への射影変換行
列を求める第１工程と、撮影された対象物体の形状を表
す部分に点を指定し、前記複数の画像上で対象物体の同
じ場所に指定されている点同士を対応づける第２工程
と、前記対応点のうち３個の点を指定して３角形領域を
形成し、前記撮影画像の前記対象物体を該３角形領域で
カバーする第３工程と、前記３次元空間から新視点にお
ける画像への射影変換行列を求める第４工程と、前記第
１工程〜第４工程によって得られたデータから新視点画
像を生成する第５工程とを具備することを特徴としてい
る。

【０００８】即ち、請求項１に記載の方法は、新視点画
像の生成に関し、３次元データを直接使用しないで、平
面３角形領域に分け、テクスチャを貼り込むことを１つ
の特徴としている。

【０００９】請求項２に記載の発明は、請求項１に記載
の発明において、前記第１工程は、３次元座標が既知の
目印点を備えたキャリブレーションボックスを撮影した
撮影画像上で少なくとも６個の点を指定して、指定され
た点の座標から前記射影変換行列を求めることを特徴と
している。

【００１０】即ち、請求項２に記載の方法は、キャリブ
レーションボックスを使用して射影変換行列を求めてい
ることを１つの特徴としている。

【００１１】請求項３に記載の発明は、請求項１又は請
求項２に記載の発明において、前記第２工程は、前記複
数の撮影画像のうち、第３番目以降の撮影画像に対して
前記対応点は前記射影変換行列を利用して求めることを
特徴としている。

【００１２】即ち、請求項３に記載の方法は、対応点の
指定は第３番目以降の撮影画像に対しては実際に指定す
る必要がないことを１つの特徴としている。

【００１３】請求項４に記載の発明は、請求項１〜請求
項３に記載の発明において、前記第３工程は、前記撮影
画像における対象物体の表面形状を該３角形領域からな
る平面３角形を接続した折平面で近似するように該３角
形領域を指定したことを特徴としている。

【００１４】即ち、請求項４に記載の方法は、領域を定
めるために最も制約の少ない３角形を使用していること
を１つの特徴としている。

【００１５】請求項５に記載の発明は、請求項１〜請求
項４に記載の発明において、前記第４工程は、前記射影
変換行列のうち１つを選んで、選択された射影変換行列
と新視点の回転角度又は移動距離を示す回転又は移動行
列から演算によって新視点の射影変換行列を求めること
を特徴としている。

【００１６】即ち、請求項５記載の方法は、新しい射影
変換行列を求める際の基準とする射影変換行列は１個で
あることを特徴の１つとしている。

【００１７】請求項６に記載の発明は、請求項１〜請求
項５に記載の発明において、前記第５工程は、前記第４
工程で求めた新視点の射影変換行列を利用して新視点画
像における対応点の位置を求め、対応する３角領域を求
める工程を具備することを特徴としている。

【００１８】請求項７に記載の発明は、請求項１〜請求
項６に記載の発明において、前記第５工程は、前記撮影
画像の１つを選択し、該撮影画像のテクスチャを新視点
画像のテクスチャにワーピングするワーピング工程を具
備することを特徴としている。

【００１９】即ち、請求項７に記載の方法は、ワーピン
グに使用する撮影画像は１個であることを１つの特徴と
している。

【００２０】請求項８に記載の発明は、請求項７に記載
の発明において、前記ワーピング工程は、新視点画像に
形成された３角形領域に複数のピクセル点を配置し、逆
方向ワーピングによって該ピクセル点に対応する前記撮
影画像点のピクセルデータを求め、該ピクセルデータか
らテクスチャを構成することを特徴としている。

【００２１】即ち、請求項８に記載の方法は、逆方向に
ワーピングすることを１つの特徴としている。

【００２２】請求項９に記載の発明は、請求項８に記載
の発明において、前記逆方向ワーピングは、アフィン変
換を利用することを特徴としている。

【００２３】

【発明の実施形態】図１は本発明の実施形態のアルゴリ
ズムのフローチャートである。図２は本実施形態に使用
した装置の構成例である。図３は本実施形態の設定状況
を示す図である。図４はキャリブレーションボックスの
例である。図５はエピ極線を使用して対応点を決定する
例を示す。図６は３角形分割の例を示す図である。図７
は逆方向ワーピングの例を示す。図８は第５工程の詳細
を示す。以下、図面を参照してこの発明の実施形態につ
いて説明する。

【００２４】本実施形態の装置は、図２に示すように、
中央演算処理装置（ＣＰＵ）１、処理手順記憶装置２、
データ記憶装置３、フレームバッファ４、画像表示ディ
スプレイ５、キーボード６、マウス７、Ｉ／Ｏインタフ
ェース８、カメラ９、システム記憶手段１０及びバスラ
イン１１等から構成されている。データ記憶装置３は、
撮影画像データを記録する領域３ａ、キャリブレーショ
ンデータを記録する領域３ｂ、参照点データを記録する
領域３ｃ、３角形頂点識別データを記録する領域３ｄ、
新視点画像生成のデータを記録する領域３ｅ〜３ｆ等の
メモリ領域が設けられている。

【００２５】処理手順記憶装置２には本方法を実行する
ためのメインプログラムやメインプログラム実行時に必
要なサブプログラム等が記録されている。キーボード６
及びマウスは７は対応点の指定や新視点画像の回転角度
の指定等にも使用される。また、システム記憶手段１０
にはウィンドウシステムやその他必要なプログラムが記
録されている。カメラ９は撮影画像をコンピュータに取
り込むためのビデオカメラ又はディジタルカメラが使用
される。

【００２６】次に、図１を参照して本方法の手順を説明
する。まず、ステップＳ１０はキャリブレーション工程
（第１工程）で、ここでは対象物体が配置された３次元
空間から撮影画像面への射影変換行列を求める。図３に
示すように、３次元空間内にキャリブレーションボック
ス２１を配置し、キャリブレーションボックス２１で規
定される３次元座標空間内に対象物体２２を配置する。
対象物体２２はキャリブレーションボックス２１と接触
している必要はない。また、カメラの位置が記憶されて
いる場合には、キャリブレーション工程では対象物体を
同時に配置しておく必要はない。

【００２７】キャリブレーションボックス２１は図４に
示すように、床面及び壁面に４角形又は３角形等の複数
の目印２３が描かれており、目印の４角形等の頂点の座
標は既知の３次元座標（Ｘ、Ｙ、Ｚ）を持っている。図
３に示すように撮影カメラ２４ａ、２４ｂ、２４ｃを適
宜のアングルに配置する。撮影カメラ２４ａ〜２４ｃは
同一カメラでもよいし、個々に異なるカメラでもよい。
画像２５ａ〜２５ｃは撮影カメラ２４ａ〜２４ｃにより
撮影した画像で、これらの各画像２５ａ〜２５ｃには対
象物体２２と共にキャリブレーションボックス２１の目
印が撮影されている。なお、図３で矢印Ａは新視点のア
ングル例を示す。

【００２８】次に、射影変換行列の求め方について説明
する。射影変換行列は各撮影画像ごとに求める。例え
ば、撮影画像２５ａに対して射影変換行列を求める場合
は以下のようにする。まず、撮影画像２５ａに２次元座
標、例えば、図のように、左上角を原点に選び、右方向
にｘ座標、下方向にｙ座標を規定する。次に、目印の点
を６個以上指定する。目印点の指定はキャリブレーショ
ンボックス２１の床面及び壁面から少なくとも２個ず
つ、適度に離れた点を指定するのが望ましい。

【００２９】指定された目印点の３次元座標（Ｘ、Ｙ、
Ｚ）及び撮影画像２５ａの２次元座標（ｘ、ｙ）を読み
とる。座標の読み取りは、マウス７を利用して、目印点
を指定したときに、コンピュータが読み取るようにプロ
グラムを作成しておく。なお、目印点の指定は拡大モー
ドで行うのが望ましい。全ての指定された目印点（６個
以上）の３次元座標、２次元座標を読みとったら、これ
らの座標データから射影変換行列を演算により求める。
射影変換行列を求める演算方法は公知であり、これを利
用してサブルーチン化しておく。

【００３０】この射影変換行列にはカメラの位置、姿
勢、画角等のカメラに関するデータが全て含まれてい
る。求めた射影変換行列はデータ記憶装置３のキャリブ
レーションデータ領域３ｂに記録する。他の撮影画像２
５ｂ、２５ｃについても同様にして射影変換行列を求め
記録する。なお、射影変換行列を求める際には対象物体
の映像は必要がない。従って、キュリブレーションボッ
クスと対象物体は別々に撮影して記録してもよい。

【００３１】ステップＳ２０（第２工程）では全ての撮
影画像上について、対象物体の形状を表す部分に点（以
下、参照点という）を指定する。各撮影画像について参
照点の対応付けを行う。各撮影画像上の参照点は３次元
物体上の同じ点を指している。参照点の指定は以下のよ
うに行う。

【００３２】まず、撮影画像のうち任意の１個をディス
プレイ５に表示し、対象物体の形状を表す部分の点をマ
ウス７（ライトペン等を使用してもよい）で指定する。
指定する参照点は、対象物体のエッジ及びコーナ部、目
立つテクスチャやその切れ目、対象物体の突起部の頂点
や凹み部分等の画像の特定が容易な点を指定するのが好
ましい。なお、指定は画像を拡大して正確な点を指定す
るのが望ましい。指定した参照点はインデックス及び２
次元座標と共にデータ記憶装置３の参照点データ領域３
ｃに記録する。

【００３３】次に、２枚目の撮影画像を選択して表示す
る。表示は最初の画像と一緒に表示するのが望ましい。
１番目の画像の参照点又はインデックスを入力して、２
番目の画像上の対応点を指定する。この指定は対象物体
の形状の特徴、模様の特徴、色の変化の特徴等を利用し
て指定する。また、他の方法、例えばエピ曲線を使用し
て指定してもよい。図５に示すように、エピ極線３０は
１番目の画像の参照点２９に対応する２番目の画像の参
照点３１を通過する直線である。従って、図５の例では
エピ極線３０と円筒の上縁３２との交点３１を指定すれ
ばよい。これにより正確な参照点の指定が可能になる。
指定された参照点は同じインデックスを付して２次元座
標と共にデータ記憶装置３の領域３ｃに記録する。

【００３４】３番目の撮影画像に対しては以下のように
して参照点を決定する。まず、１番目及び２番目の撮影
画像の射影変換行列と上記で求めた参照点の座標データ
を用いて演算により３次元空間の対応点（対象物体上の
点）の座標を求める。次に、３番目の撮影画像を２番目
（又は１番目）の撮影画像の代わりにディスプレイ５に
表示する。その後で、求められた３次元空間座標にその
射影変換行列を作用させて、３番目の画像の参照点座標
を求め、参照点をディスプレイ５の３番目の画像に表示
し、決定する。他の参照点についても同様な操作により
決定する。決定された参照点は同じインデックスを付し
て２次元座標と共にデータ記憶装置３の領域３ｃに記録
する。４番目以降の撮影画像に対しても同様な手続きを
行う。これによって全ての撮影画像に対して参照点が決
定され、対応付けられる。

【００３５】ステップＳ３０（第３工程）は撮影画像の
対象物体のモデリングを行う。このモデリングでは対象
物体の画像は複数の３角形領域に分割され、各３角形領
域はその頂点を通過する平面とみなされ、この平面には
撮影画像の対応するテクスチャが与えられる。また、各
頂点は対応する３次元空間における点の座標が与えられ
る。即ち、３次元空間の対象物体の曲面を複数の平面３
角形を接続した折れ平面で近似し、そのテクスチャは撮
影画像に表されているテクスチャを持っているとみなし
て、撮影画像のテクスチャを貼り込む。以上の３角形領
域の分割は全ての撮影画像について行われ、各３角形は
撮影画像間で対応付けられる。以下、手順を説明する。

【００３６】まず、対にする撮影画像１（例えば、図３
の画像２５ａ）と撮影画像２（例えば、最も近い距離に
ある画像２５ｂ）とをディスプレイ５に表示する。撮影
画像１（又は２）の参照点から３点を指定し、指定され
た３点により構成される３角形の領域に斜線等を施して
指定されていない領域と区別する。斜線は両画像につい
て表示され、両３角形領域を対応付けておく。対応付け
ができないとき（一方の撮影画像にのみ現れている部分
がある場合）は対応付けは行わない。この操作を繰り返
し、両画像の対象物体が斜線を施した３角形により塗り
つぶされるように指定する。なお、３角形領域の指定は
対象物体の表面形状が正確に近似され、かつ、３角形領
域の個数が少ないのが望ましい。従って、平面部分は大
きな３角形で指定し、曲面部分は小さな３角形で指定す
る。

【００３７】３角形の指定は、後の処理を容易にするた
め重ならないように指定する。また、指定された３角形
領域では対象物体の表面形状を正確に再現していない場
合、例えば３角形領域が大きすぎたり、指定が不適切な
場合には参照点を追加し、若しくは変更することも可能
である。図６は３角形分割の例を示している。この図は
缶の画像について行った例である。

【００３８】次に、残りの撮影画像から対にする撮影画
像を表示して同様な手続きを行う。以上の手続きによっ
て得られた３角形の頂点データ並びに対応付けのデータ
はデータ記憶装置３の３角形頂点データ領域３ｄに記録
する。なお、以上の手続きは、コンピュータによって自
動的に３角形領域を構成させるようにしてもよい。

【００３９】ステップＳ４０（第４工程）では新視点に
おける角度又は位置を求め、さらに、新視点による画像
への射影変換行列を求める。まず、回転角度又は位置を
求める。これはキーボード６から数値データを入力して
もよいが、マウス７のドラッグした距離（クリックを押
しながら移動した距離）によって与えてもよい。

【００４０】回転角度は基準のカメラアングル、例えば
１番目の撮影画像のカメラアングルを基準とする。即
ち、１番目のカメラの視点と３次元空間の原点と結ぶ直
線の水平角度及び垂直角度を共に基準に選び、ゼロとす
る。その固定された基準アングルから計測し、停止した
場合はその回転角度をメモリに記録し、再度ドラッグし
た場合はそのドラッグ距離に応じた回転角度を追加す
る。得られた角度から、対応する行列を演算によって求
め、この回転行列を基準とする撮影画像に対する射影変
換行列に作用させて、新視点画像の射影変換行列を得
る。得られた射影変換行列はデータ記憶装置３の領域３
ｅに記録する。

【００４１】ステップＳ５０は新視点画像を生成するレ
ンダリング工程（第５工程）である。この工程の詳細を
図８に示す。ステップＳ５１では新視点画像の参照点を
決定するために、２個の撮影画像を選択する。このた
め、新視点のカメラ光軸を求める。カメラ光軸は、新視
点画像の結像面とカメラの焦点面とに垂直な直線で光心
（レンズの中心点に相当する点）を通る直線をいう。各
撮影画像の視点と求めたカメラ光軸との距離を計算し、
距離の最も小さい２個の撮影画像を選択する。

【００４２】ステップＳ５２では選択された２個の撮影
画像のデータから対応する参照点及び３角形頂点データ
を求める。対応する参照点を求める演算方法には３つの
方法がある。即ち、２個の撮影画像に対する射影変換行
列と対応する参照点座標を利用する方法と、２つの撮影
画像のデータから２本のエピ極線を生成させる方法と、
トリフオーカルテンソルを利用する方法である。本実施
形態では第１番目の方法を採用するが、他の方法を使用
する場合も本発明の範囲に属する。

【００４３】第１番目の方法は、２個の射影変換行列と
対応する参照点座標から３次元空間における対象物体上
の対応点の３次元座標を求め、求めた点に新視点画像の
射影変換行列を作用させて新視点画像の参照点を求める
方法である。なお、３次元空間における対象物体上の対
応点を予め求め、記録しておいてもよい。

【００４４】次に、得られた参照点と、選択された１個
の撮影画像（光軸との距離が最小の撮影画像を選択す
る。）の３角形頂点データとから対応する新視点画像の
３角形領域を求める。求めた３角領域と新参照点データ
を同じインデックスを付して新３角形頂点データ領域３
ｆに記録する。

【００４５】ステップＳ５３では隠面処理のためのソー
トを行う。まず、新視点画像における３角形の中から任
意の２個の３角形を選んでオーバラップしているかどう
かを調べる。オーバラップする場合には一部分が重なっ
ている場合と一方の３角形が他方の３角形に内側に含ま
れる場合とがある。次に、オーバラップしている３角形
については不要な３角形領域は記録領域から消去する。
なお、本実施形態におけるオーバラップする３角形は完
全に他の３角形の前にあるか後ろにあるかが普通であ
り、３次元的に３角形の真ん中を交叉する３角形はでき
ない。３角形領域の指定は交叉しないように指定してい
る。

【００４６】ステップＳ５４では新視点画面に形成され
た全ての３角領域について逆方向ワーピングを行う。な
お、オーバラップしている３角形については、不要な３
角形領域は消去されているのでワーピングは行われな
い。ワーピングは以下の手順によって行う。

【００４７】まず、１個の撮影画像を選択する。次に、
新視点画像のワーピングを行う３角形とそれに対応して
いる選択された撮影画像の３角形を定める（同じインデ
ックスが与えられている）。図７に示すように、ワーピ
ングを行う３角形４０の内部（縁も含む）に略一様に分
布するように多数のピクセル点４１を指定する。例え
ば、図のように格子の交点を指定してもよい。

【００４８】次に、撮影画像の３角形４２に対して、指
定したピクセル点４１に対応する点４３を求める。対応
点を求める方法としては、アフィン変換を利用する方法
とホモグラフィック変換を利用する方法がある。ここで
は、計算時間を短縮するため、アフィン変換を利用す
る。アフィン変換の変換行列は６個の未知パラメータを
持つ、（３ｘ３）行列である。３角形４０及び４２の各
頂点の座標は既知であるから、このデータを使用して演
算によりアフィン変換行列を求める。

【００４９】対応する点４３が求められたら、画像デー
タ３ａに記録されているデータからその点のピクセルデ
ータ（色、濃度等のデータ）を指定したピクセル点４１
のデータとして与える。全てのピクセル点４１について
ピクセルデータを同様にして求め、新画像データ領域３
ｇに記録する。以上の手続きを新視点画像の全ての３角
形について行う。

【００５０】ステップＳ６０（第６工程）は、新画像デ
ータ領域に記録されたデータにより、従来技術を利用し
て新視点画像をディスプレイ５に表示する。ステップＳ
７０で視点を変更する場合はステップＳ４０〜Ｓ６０を
繰り返して実行する。

【００５１】以上、この発明の実施形態、実施例を図面
により詳述してきたが、具体的な構成はこの実施例に限
られるがものではなく、この発明の要旨を逸脱しない範
囲の設計の変更等があってもこの発明に含まれる。例え
ば、第４工程における撮影画像の選択は別の基準を選ん
でも良いし、３次元空間の座標を求める方法は本実施形
態で使用した方法に限定されるものではない。

【００５２】

【発明の効果】以上説明したように、この発明の構成に
よれば、請求項１記載の発明では、射影変換行列を使用
し、対象物体の３次元データを直接使用していないの
で、撮影画像を切り換える方法に比べて画像を記録する
メモリ量が少なく、新視点における画像を生成するため
の処理時間が短いという効果が得られる。請求項２記載
の発明では、更に、キャリブレーションボックスを使用
して射影変換行列を求めているので、簡単に、しかも正
確に求められるという効果がある。なお、多数の点を指
定すれば正確さを向上させることができる。

【００５３】請求項３記載の発明では、３番目以降の撮
影画像に対しては射影変換行列を利用するので、対応点
を求める手順が簡単にできるという効果がある。請求項
４記載の発明は、３角形の折れ平面で対象物体の表面を
近似しており、３角形は３点で決定される最も自由度の
高い領域の分割法であるため、近似が容易で、かつ、正
確に行えるという効果がある。

【００５４】請求項８記載の方法は、逆方向にワーピン
グするために、新視点画像におけるピクセル点は一様分
布も可能で、空白点が発生しないので、美しい画像が得
られるという効果がある。

【図面の簡単な説明】

【図１】 本発明の実施形態のアルゴリズムのフローチ
ャートを示す。

【図２】 本実施形態に使用した装置の構成例を示す。

【図３】 本実施形態の設定状況を示す。

【図４】 キャリブレーションボックスの例である。

【図５】 エピ極線を使用して対応点を決定する例を示
す。

【図６】 缶の３角形分割の例を示す。

【図７】 逆方向ワーピングの例を示す。

【図８】 第５工程の詳細を示す。

【符号の説明】

１ 演算処理装置 ２ 処理手順記憶装置 ３ データ記憶装置 ５ ディスプレイ ６ キーボード ７ マウス ９ 撮影カメラ ２１ キャリブレーションボックス ２２ 対象物体 ２３ 座標目印 ２４ カメラ ２５ 撮影画像 ３０ エピ極線 ３１ 対応点 ４０、４２ ３角領域 ４１、４３ ピクセル点

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA07 CA07 DA07 EA27 EA28 FA02 FA09 FA17 5B057 BA02 BA24 CD01 DA16 DA17 DB03 DC09 5B080 AA14 AA19 BA08 GA22 GA26

Claims (9)

【特許請求の範囲】
1. 【請求項１】 複数の異なる視点から対象物体を撮影し
   た複数の撮影画像に基づいて新視点から見た該対象物体
   の画像を生成する方法において、前記対象物体が配置さ
   れた三次元空間から撮影画像への射影変換行列を求める
   第１工程と、撮影された対象物体の形状を表す部分に点
   を指定し、前記複数の撮影画像上で対象物体の同じ場所
   に指定されている点同士を対応づける第２工程と、前記
   対応点のうち３個の点を指定して３角形領域を形成し、
   前記撮影画像の前記対象物体を該３角形領域でカバーす
   る第３工程と、前記３次元空間から新視点における画像
   への射影変換行列を求める第４工程と、前記第１工程〜
   第４工程によって得られたデータから新視点画像を生成
   する第５工程とを具備することを特徴とする新視点画像
   生成方法。
2. 【請求項２】 前記第１工程は、３次元座標が既知の目
   印点を備えたキャリブレーションボックスを撮影した撮
   影画像上で少なくとも６個の点を指定して、指定された
   点の座標から前記射影変換行列を求めることを特徴とす
   る請求項１に記載の新視点画像生成方法。
3. 【請求項３】 前記第２工程は、前記複数の撮影画像の
   うち、第３番目以降の撮影画像に対して前記対応点は前
   記射影変換行列を利用して求めることを特徴とする請求
   項１又は請求項２の何れか１に記載の新視点画像生成方
   法。
4. 【請求項４】 前記第３工程は、前記撮影画像における
   対象物体の表面形状を該３角形領域からなる平面３角形
   を接続した折平面で近似したことを特徴とする請求項１
   〜請求項３の何れか１に記載の新視点画像生成方法。
5. 【請求項５】 前記第４工程は、前記射影変換行列のう
   ち１つを選んで、選択された射影変換行列と新視点の回
   転角度又は移動距離を示す回転又は移動行列から演算に
   よって新視点の射影変換行列を求めることを特徴とする
   請求項１〜請求項４の何れか１に記載の新視点画像生成
   方法。
6. 【請求項６】 前記第５工程は、前記第４工程で求めた
   射影変換行列を利用して新視点画像における対応点の位
   置を求め、対応する３角領域を求める工程を具備するこ
   とを特徴とする請求項１〜請求項５の何れか１に記載の
   新視点画像生成方法。
7. 【請求項７】 前記第５工程は、前記撮影画像の１つを
   選択し、該撮影画像のテクスチャを新視点画像のテクス
   チャにワーピングするワーピング工程を具備することを
   特徴とする請求項１〜請求項６の何れか１に記載の新視
   点画像生成方法。
8. 【請求項８】 前記ワーピング工程は、新視点画像に形
   成された３角形領域に複数のピクセル点を配置し、逆方
   向ワーピングによって該ピクセル点に対応する前記撮影
   画像点のピクセルデータを求め、該ピクセルデータから
   テクスチャを構成することを特徴とする請求項７に記載
   の新視点画像生成方法。
9. 【請求項９】 前記逆方向ワーピングは、アフィン変換
   を利用することを特徴とする請求項８に記載の新視点画
   像生成方法。