JP2000322576A - ３次元画像データ作成方法および３次元画像データを用いた任意視点画像作成方法 - Google Patents

Abstract

(57)【要約】 【課題】任意視点画像作成時の投影演算の負荷を減らす
ことができるイメージベーストレンダリングの手法に基
づく３次元画像データ作成方法を提供する。 【解決手段】多視点画像と多視点距離画像を入力し（１
０１〜１０２）、各距離画像を基準視点から見た距離画
像に変換してから各画素の座標値を座標テーブルに登録
し（１０３〜１０４）、座標テーブルを参照して距離画
像の各画素の座標値を座標インデックスで表現し（１０
５）、この座標インデックスにより座標テーブルを参照
して求められた座標値に従って各視点画像の画素を隣接
する視点画像上に投影して投影幅とオクルージョン関係
情報を決定し（１０６〜１０８）、各視点画像であるテ
クスチャ画像を符号化し（１０９）、座標インデック
ス、投影幅の情報、オクルージョン関係情報およびテク
スチャ画像の符号化データを多重化して３次元画像デー
タを作成する（１１０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を任意の視
点で見た任意視点画像をリアルタイムで作成して仮想空
間内のウォークスルーなどを可能とする画像処理システ
ムにおいて、任意視点画像を作成する元となる３次元画
像データの作成方法及び該３次元画像データを用いた任
意視点画像作成方法に関する。

【０００２】

【従来の技術】近年、コンピュータ技術、グラフィクス
技術の進展により、バーチャルショッピングモールなど
に代表される仮想空間内のウォークスルーが身近な存在
になりつつある。現状の仮想空間は、構成要素がＣＧ
（コンピュータグラフィクス）によって生成されるもの
が大半である。これに対し、最近ではリアリティに注目
した別のアプローチとして、実写画像から仮想３次元空
間を生成する試みがなされてきている。

【０００３】ＣＧの分野では、モデルを精密にし、演算
資源を投入することによりリアリティを追求する努力が
払われてきたが、これとは別に、近年、“image based
rendering ”（イメージベーストレンダリング）と称し
て、実写を利用してリアリティを高めようという動きが
ある。このような技術の中で既に実用に供せられている
例としては、文献１（S.E.Chen et al,SIGGRAPH‘95，p
29-38）に開示されているQuickTime ＶＲが挙げられ
る。

【０００４】QuickTime ＶＲは、一つの視点から撮った
パノラマ画像から視線方向の成分を切り出す技術であ
り、自分の周りの３６０°の視野をインタラクティブに
見渡すような画像表現ができる。但し、この方法では画
像入力の際の視点はある一点に固定されているので、任
意視点からの画像を再構成することはできない。すなわ
ち、視線方向は選択できるものの、視点は常に固定され
ているので、視点が変わったときに発生するオクルージ
ョン（隠れ）の状況の変化を再現することはできない。

【０００５】また、ＣＧの分野でも多視点画像から形状
情報を推定したり、レンジファインダなどの測距装置に
より形状情報を求めたりすることで形状モデルを作成
し、テクスチャマッピングによって３次元物体を表現す
る試みも増えてきている。これらの方法では簡単な形状
のものは比較的良好にモデル化ができるが、細かい形状
の物体に対しては、多視点から撮影した各データに対し
て３次元的にモデルが矛盾しないように形状の推定を行
うのが非常に困難である。

【０００６】イメージベーストレンダリングの手法とし
ては、上記の固定視点の手法のほかに、物体との距離方
向も含めた任意視点の実現、オブジェクトとしての操作
可能性、空間への配置可能性といった更に進んだ機能を
実現することができる画像表現方法として、例えば文献
２（「光線情報による３次元実空間の効率的記述へ向け
た光線空間射影法」苗村他、信学技報ＩＥ９５−１１
９）に開示されている方法が知られている。この方法で
は、３次元空間上を通る光線を表現する「光線空間」と
いう概念を導入し、多視点画像と光線空間とを相互に変
換することにより、入力された多視点画像から任意視点
画像を生成している。

【０００７】ところで、この手法では任意視点の画像を
生成するためには「光線空間」が密に埋められている必
要があるが、有限の多視点画像から光線空間を密に埋め
るためには何らかの内挿が必要になる。内挿の方法には
種々あるが、最も原始的な方法は得られている視点画像
の間をそれに近い視点画像のデータで繰り返し埋める方
法である。この方法は処理は簡単であるが、内挿された
光線空間は参照される視点画像の切り変わり目で不連続
となる。このような不連続を伴わない正確な内挿を行う
ためには、隣接する視点画像間で点の対応を知ることが
必要となり、これは被写体の形状を知ることと等価であ
る。陽に被写体の形状を求めずに、この手法で自然な任
意視点画像を作成するためには、多視点画像として非常
に細かい間隔で視点を用意する必要がある。

【０００８】文献３（S.J.Gortler et al,“The Lumigr
aph”,SIGGRAPH’96 pp.43-54）は、同様の原理で任意
視点画像を作成する手法を開示している。この文献３に
記載された手法では、再生時の各視点画像の参照は点単
位ではなく、ブロックによって構成される面単位であ
り、ブロックに対して代表的な形状と等価なパラメータ
を与え、このパラメータに相当する分だけ参照位置をシ
フトして再生画像を作るものとしている。また、この方
法では形状はブロックに含まれる各点に対しては代表的
なパラメータとして与えられるため、そのままでは再生
画像にはやはり不連続が確認され、これに対処するため
に複数領域から参照を行ったものを重み付け加算して不
自然さを和らげるものとしている。

【０００９】さらに、イメージベーストレンダリングの
分野での別の手法として、文献４（Jonathan Shade et
al,“Layered Depth Images”,SIGGRAPH’98pp.231-24
2）で開示されたLayered Depth Images（ＬＤＩ）と呼
ばれる手法がある。この手法は、各視点画像に付随する
奥行き情報（距離画像）を使って投影を行うことにより
任意視点画像を作成する手法であり、視線方向に対して
奥行方向に複数の画素を持つことができる形式になって
いるため、一つの視点からのデータとして定義されたＬ
ＤＩから別の視点画像を生成してもオクルージョンが再
現できる。

【００１０】すなわち、物体の３次元モデルを一視点か
らの一番手前に見えているものだけでなく、被写体面に
対応する全点についての距離画像として定義し、それぞ
れに付随した画素値を使って投影を行い、画像を生成す
る手法である。扱う物体の形状が複雑になってくるほ
ど、このように画素のような細かい単位毎に形状を考慮
して処理を行う手法が有利になってくるものと思われ
る。

【００１１】

【発明が解決しようとする課題】ここで、３次元モデル
を多視点画像および距離画像から作成する方法を微細な
表面形状を持つ物体に対応させることを考えてみる。通
常の形状モデルでは三角形のパッチで面を定義するが、
微細な形状に対応するにはパッチを非常に細かくする必
要がある。また、距離画像として得られた各画素の点が
隣の点と連結しているか否かを細かく判断しながら、モ
デルを作成する必要がある。さらに、３次元モデルは実
際の３次元形状に対応しており、点のつながり方には実
際の点のつながり方と矛盾しないことが求められ、これ
が多視点の距離画像から３次元モデルを推定する処理を
難しくしている。３次元モデルからの任意視点画像の作
成においても、パッチが細かくなるほどジオメトリの演
算は多くなるが、この演算は全てのパッチについて行わ
れるため、見えない部分の演算は全て無駄となる。

【００１２】一方、文献４に開示されたＬＤＩは画素毎
に投影を行う方法であるが、基本的に３次元モデルをあ
る特定の視点から定義したものとなっており、視点画像
を作成しようとする全ての視点に対して一つのモデルを
共有している点で、上記と類似した問題点がある。すな
わち、扱う単位が面に対して画素という違いはあるもの
の、画素と画素値との対応は一対一であり、画素の法線
を定義するという形で隣り合う点どうしの連結関係につ
いて全体的に矛盾がないように事前の解析を必要とす
る。さらに、投影に際して見えない部分の演算に無駄が
ある点は、上記と全く同様である。

【００１３】本発明は、上記の問題点を解消すべくなさ
れたものであり、任意視点画像作成時の投影演算の負荷
を減らすことができるイメージベーストレンダリングの
手法に基づく３次元画像データ作成方法および３次元画
像データを用いた任意視点画像作成方法を目的とする。

【００１４】さらに、本発明は３次元画像データから任
意視点画像を作成する際に必要な座標情報の増加を抑え
ることができる３次元画像データ作成方法を提供するこ
とを目的とする。

【００１５】

【課題を解決するための手段】上述の課題を解決するた
め、本発明に係る３次元画像データ作成方法では、被写
体との位置関係が既知の複数の視点に対応した複数の視
点画像からなる多視点画像と、この多視点画像を構成す
る各視点画像にそれぞれ対応した複数の距離画像からな
る多視点距離画像を入力する。次に、多視点距離画像を
構成する各距離画像の座標情報を生成する。次に、これ
ら各距離画像の座標情報に基づいて各視点画像の画素を
隣接する視点の視点画像上に投影する。そして、この投
影における投影幅と、多視点画像の隣接する視点画像間
のオクルージョン関係を示すオクルージョン関係情報を
決定する。最後に、こうして得られた各視点画像の情
報、各距離画像の座標情報、投影幅の情報およびオクル
ージョン関係情報を多重化して３次元画像データを出力
する。

【００１６】多視点画像および距離画像の入力に際して
は、共通の入力装置を用いて各視点画像およびこれに対
応する距離画像を同時に入力するようにしてもよい。

【００１７】座標情報の生成に際しては、座標値をその
まま出力してもよいが、好ましくは各距離画像を特定の
視点からの距離画像に変換した後、その距離画像の各画
素の座標値を座標テーブルに登録し、各距離画像の各画
素の座標値と登録ステップにより登録された座標値との
対応を求め、登録された座標値の登録位置を示す座標イ
ンデックスを座標情報として生成するようにしてもよ
い。

【００１８】投影幅の決定は、例えば投影元の視点画像
およびこれに対応する距離画像の画素と投影先の視点画
像およびこれに対応する距離画像の画素とを比較するこ
とにより行われる。

【００１９】オクルージョン関係情報の決定は、例えば
各視点画像の画素を隣接する視点に対応する視点画像上
に上記のようにして決定された投影幅で投影を行ったと
きの投影先の特定の領域に該領域がオクルージョン補償
に用いられることを示すマークを画素単位で付加するこ
とにより行われる。

【００２０】一方、本発明に係る任意視点画像作成方法
では、上記のようにして作成された３次元画像データの
うち、任意視点画像を挟む二つの視点画像に対応するデ
ータを用いて投影処理を行うことにより、任意視点画像
を作成する。

【００２１】このように本発明による３次元画像データ
作成方法では、各視点画像の画素を隣接する視点の視点
画像上に投影したときの投影幅と隣接する視点画像間の
オクルージョン関係を示すオクルージョン関係情報を決
定して各視点画像の情報、各距離画像の座標情報ととも
に多重化することで３次元画像データを作成し、任意視
点画像作成時の投影演算においては投影を行う対象の視
点画像をその任意視点画像の視点を挟む二つの視点の視
点画像に制限するため、投影演算の負荷を少なくしなが
ら良好な任意視点画像を作成できる。

【００２２】また、この投影に使用する二つの視点画像
の情報は、これら二つの視点の間でのみ矛盾がなければ
よく、３次元画像データ作成時に各視点画像については
隣接する視点画像間の投影幅やオクルージョンの関係の
みを調べればよいので、３次元画像データ作成時の負荷
も小さくなる。

【００２３】さらに、３次元画像データ作成時には指定
された任意視点に視線方向が近い視点の二つの視点画像
の情報を参照するため、視線方向が変わることによる視
点画像の見え方の変化にも対応できる。これは言い換え
ると、視点画像の情報としては視線方向毎に画素値を保
持していなければならないことになるが、視点画像の情
報をテクスチャとして扱い、例えば画像内、画像間の相
関を利用して圧縮符号化を行うことにより、視点画像の
情報保持のための負荷はほとんど問題とならない。

【００２４】距離画像の情報についても、視線毎に座標
情報を持つ必要があるが、前述のように座標値を座標イ
ンデックスで表現することにより、座標情報の情報量を
抑え、座標情報保持のための負荷が軽減される。

【００２５】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。以下の説明では、人視点画像を作
成するための元となる３次元画像データを作成する手順
と、作成された３次元画像データを用いて任意視点画像
を作成する手順の実施形態について開示する。 （３次元画像データ作成方法について）図１に示すフロ
ーチャートを用いて、本発明の一実施形態に係る３次元
画像データ作成方法の概略的な処理手順について説明す
る。

【００２６】まず、被写体との位置関係が既知である複
数の異なる視点にそれぞれ対応した複数の視点画像から
なる多視点画像を入力し（ステップ１０１）、さらに、
この多視点画像を構成する各視点画像にそれぞれ対応す
る複数の距離画像からなる多視点距離画像を入力する
（ステップ１０２）。後述するように、ステップ１０１
とステップ１０２の処理は、同一の入力装置を用いて同
時に行っても構わない。

【００２７】次に、ステップ１０２で入力された多視点
距離画像を構成する各距離画像をある特定の共通の視点
（基準視点という）に対応した距離画像にそれぞれ変換
する（ステップ１０３）。言い換えれば、各距離画像の
各画素の座標値を基準視点からの距離画像の座標値に変
換する。

【００２８】次に、ステップ１０３で基準視点から見た
距離画像に変換された距離画像の各画素の座標値を座標
テーブルに登録する（ステップ１０４）。この座標テー
ブルは、後述するように座標値の登録位置を示す座標イ
ンデックスに対応させて、距離画像の各画素の座標値と
色相値および今までの処理中に各インデックスに対応す
る画素として処理した画素数を示すカウント値を記述し
たものである。

【００２９】次に、ステップ１０４により座標値と色相
値およびカウント値が登録された座標テーブルを参照し
て、ステップ１０２で入力された多視点距離画像を構成
する各距離画像の各画素の座標値を座標テーブルに登録
された座標値の登録位置を示す座標インデックスで表現
し、その座標インデックスを抽出する（ステップ１０
５）。

【００３０】次に、ステップ１０５で抽出された座標イ
ンデックスにより座標テーブルを参照して求められた座
標値に従って、多視点画像を構成する各視点画像の画素
を隣接する視点画像上に投影する（ステップ１０６）。

【００３１】次に、ステップ１０６における投影元の視
点画像の画素（色相値）およびこれに対応する距離画像
の画素（座標値）と、投影先の視点画像の画素（色相
値）およびこれに対応する距離画像の画素（座標値）と
の比較により、投影先の視点画像への投影幅を決定する
（ステップ１０７）。

【００３２】次に、ステップ１０６における投影先の視
点画像の画素（色相値）およびこれに対応する距離画像
の画素（座標値）と、実際の投影結果の視点画像の画素
（色相値）およびこれに対応する距離画像の画素（座標
値）との比較により、オクルージョン関係情報を決定す
る（ステップ１０８）。但し、色相値は本実施形態では
ＲＧＢ画像データより求めたものを使用する。

【００３３】オクルージョン関係情報とは、後に詳しく
説明するように、任意視点画像作成時に投影元の視点画
像のうちオクルージョン補償を行うのに使用される画素
に付加されるオクルージョン補償用画素マークの情報で
あり、ステップ１０８ではこのオクルージョン補償用画
素マークの情報をオクルージョン関係情報として決定す
る。

【００３４】次に、各視点画像の画像情報であるテクス
チャ画像の圧縮符号化を行う（ステップ１０９）。

【００３５】最後に、以上の処理で作成された各デー
タ、すなわち、多視点距離画像を構成する各距離画像の
座標情報である座標インデックス、投影幅の情報、オク
ルージョン関係情報、および多視点画像を構成する各視
点画像の情報であるテクスチャ画像の符号化データを多
重化することにより、３次元画像データを作成する（ス
テップ１１０）。

【００３６】以上が本実施形態における３次元画像デー
タの作成手順の概略である。次に、図１の各ステップ１
０１〜１１０の詳細について説明する。 ［多視点画像入力ステップ１０１、多視点距離画像の入
力ステップ１０２について］図２は、多視点画像入力ス
テップ１０１、多視点距離画像入力ステップ１０２で用
いる入力装置の具体例を示す図である。この例では、被
写体２０１は回転台２０２に載せられ、例えば３６０°
回転されつつレンジファインダ２０３により撮影され
る。レンジファインダ２０３は、レーザ光などを使って
被写体２０１の各画素の座標値を距離画像として画像情
報と同様に取得する装置である。既存のレンジファイン
ダとして、距離画像とテクスチャ画像の入力を同時に可
能としたものが知られている。本実施形態では、このよ
うなレンジファインダを用い、図１のステップ１０１と
ステップ１０２の処理を同時に行うものとして説明す
る。なお、視点画像はテクスチャ画像として入力され
る。

【００３７】レンジファインダ２０３の光軸２０６は、
回転台２０２の回転軸２０５と直交している。レンジフ
ァインダ２０３と回転軸２０５の位置関係は測定によっ
て得ることができ、ここでは距離Ｒだけ離れているもの
とする。回転台２０２は、制御装置２０４により一定の
角度（例えば３０°）ずつ回転させられ、その度にレン
ジファインダ２０３によって被写体２０１の視点画像
（テクスチャ画像）および対応する距離画像が入力され
る。

【００３８】視点画像であるテクスチャ画像は画素当た
り例えばＲ，Ｇ，Ｂ各８ビット、距離画像は画素当たり
例えばｘ，ｙ，ｚ各３２ビットで入力される。この例で
は、回転台２０２の１回転で１２枚のテクスチャ画像が
多視点画像として入力されることになる。また、距離画
像を撮影する際の座標系は、図２に示されるようにレン
ジファインダ２０３のレンズ中心を原点とし、回転軸２
０５の方向にｙ軸、レンジファインダ２０３の光軸２０
６の方向にｚ軸、両者に直交する方向にｘ軸がとられて
いるものとして以降の説明を行う。

【００３９】［距離画像変換ステップ１０３について］
次に、ステップ１０３における距離画像の変換（座標値
の変換）について図３により説明する。図３は、図２に
おけるｙ＝一定の断面を示している。今、被写体２０１
上のある点３０１について３０°の視点３０２から得ら
れた距離画像を入力したときの座標値として、視点３０
２を原点とする座標系３０４で（ｘ０’，ｚ０’）なる
座標値が得られていたとする。このとき、ここでいう距
離画像の変換とは、座標値（ｘ０’，ｚ０’）を０°の
視点（基準視点という）３０３を原点とする座標系３０
５での座標値（ｘ０，ｚ０）に変換する操作である。こ
れは距離画像の座標値を回転軸２０５を原点とする座標
値に一度変換した後、−３０°回転し、さらに基準視点
３０３を原点とする座標値に変換するという手順により
行うことができる。

【００４０】［座標値登録ステップ１０４について］図
４〜図７を用いて、ステップ１０４で基準視点３０３か
ら見た距離画像の座標値に変換された座標値を座標テー
ブルに登録する手順を説明する。図４は図３と同様に、
視点４０１を原点とする座標系を基準視点３０３を原点
とする座標系に変換することを表した図であり、図５は
３次元の座標値を登録する座標テーブルを示している。
図５の座標テーブルは、座標インデックスがあまり大き
い値にならないように、図６に示す視点６０１からの視
点画像の走査線に対応する平面６０２毎に一つずつ用意
されているものとする。視点６０１が被写体２０１に対
して十分遠い場合、各平面６０２はｙ＝一定の平面で近
似しても差し支えない。

【００４１】図７に示すフローチャートに従って、座標
テーブルへの登録手順を説明する。まず、基準視点３０
３（例えば０°の視点）からの距離画像の各画素の座標
値と色相値を図５の座標テーブルに登録し、かつカウン
ト値を１にセットする（ステップ７０１）。

【００４２】次に、基準視点３０３以外の視点（例えば
３０°間隔の視点）からの距離画像を入力し（ステップ
７０２）、その距離画像について画素毎に座標値を基準
視点３０３からの距離画像の座標値に変換して（ステッ
プ７０３）、それらの座標値を３次元的に近い点に対応
している点同士をまとめながら、座標テーブルに登録し
てゆき、かつカウント値を１ずつインクリメントさせ
る。

【００４３】ここで、３次元的に同じ点を見ている場合
でも、視点によって輝度が変化する場合があるので、同
じ点とみなせるかどうかの判定には、座標値と色相値を
使うのが望ましいと考えられる。具体的に説明すると、
例えば図４に示すように視点４０１からの距離画像のあ
る画素に対応する点４０３について、ステップ７０３で
変換された座標値として（ｘ１，ｙ１，ｚ１）が得ら
れ、かつ対応する色相値が得られたとする。この座標値
（ｘ１，ｙ１，ｚ１）を既に座標テーブルに座標値およ
び色相値が登録されている点４０３に近い点（図４の場
合、点４０２）の座標値（ｘ０，ｙ０，ｚ０）および色
相値と比較する（ステップ７０４）。この比較の結果、
点４０３と点４０２のそれぞれの座標値間の距離が微小
値ε以下の範囲に入っており、かつ点４０３と点４０２
の色相値の差が微小値Δ以下の範囲に入っているかどう
かを判定する（ステップ７０５）。

【００４４】このステップ７０５の判定の結果、座標値
間の距離および色相値差がそれぞれε以下、Δ以下の範
囲に入っている場合、点４０３は点４０２と同じとみな
し、座標テーブル上の点４０２の座標値（ｘ０，ｙ０，
ｚ０）を、この座標値（ｘ０，ｙ０，ｚ０）と点４０３
の座標値（ｘ１，ｙ１，ｚ１）とを座標テーブル上のカ
ウント値：１の比率で重み付け平均した座標値で置き換
え（ステップ７０６）、また座標テーブル上の点４０２
の色相値を点４０３の色相値で置き換える（ステップ７
０７）。

【００４５】一方、ステップ７０３で変換された点４０
３の座標値および色相値をステップ７０４において座標
テーブルに登録されている全ての座標値および色相値と
比較して、もしステップ７０５の判定条件を満たさない
点は、この時点で始めて見えた点であるとして、新たに
座標テーブルにその点の画素の座標値および色相値を登
録する（ステップ７０８）。

【００４６】以上のような処理を距離画像の全ての画素
に対応する点に対して行い（ステップ７０９）、全ての
視点からの距離画像について順次行う（ステップ７１
０）。このように処理を視点順に行うので、視点が近い
ほど同じ点に対応する画素の色相値は近いと考え、色相
値を置き換える場合には、最も最近処理された画素の色
相値で置き換えるものとする。

【００４７】微小値εについては、図２における被写体
２０１とレンジファインダ２０３との距離Ｒと、撮影さ
れる画像の解像度で決まる３次元空間上の分解能によっ
て決めることにより、可能な範囲で最大の解像度が確保
される。後は座標値として保持するデータ量をどの程度
の大きさまで許容できるかによって、εをこの値よりも
大きく設定することが考えられる。

【００４８】座標インデックスは、一般的には必要とさ
れる座標値の個数を表すのに十分な固定のビット数から
なるディジタル値で表される。しかし、座標インデック
スを表すディジタル値のビット数を効率的に使うために
は、使用される座標インデックスの数に応じたビット数
とすることが望ましい。その場合、最終的に処理が終了
しないと座標インデックスの数が決定されないので、座
標インデックスを表現するディジタル値のビット数に関
する情報を再生側に通知する必要がある。

【００４９】また、座標インデックスを表すディジタル
値のビット数を抑えるために、座標インデックスの数を
予め定めた一定の数に制限しておき、これを越える数の
点の座標値および色相値が登録されそうになった場合に
は、新たな画素に対応する点の色相値を距離的に近い既
に登録されている画素に対応する点の色相値と比較し
て、色相値の変化が少ない点から順に、座標テーブルよ
り座標値および色相値を削除してゆく方法を用いてもよ
い。

【００５０】さらに、座標テーブルへの新たな登録を行
うかどうかの判定を行う際に、座標テーブルを予め座標
値のうちのｚの値によってソーティングするなどの処理
を行っておけば、座標値の比較を座標テーブルに登録さ
れた全点に対して行う必要はなくなり、演算量の削減を
図ることができる。

【００５１】［座標インデックス抽出ステップ１０５に
ついて］ステップ１０５では、ステップ１０２で入力さ
れた各視点の距離画像の各画素の座標値を座標テーブル
との対応により座標インデックスで表現し、その座標イ
ンデックスを抽出する。具体的には、各視点の距離画像
を座標テーブルの登録時に基準とした基準視点の画像
（先の例では０°の視点画像）上に投影して、座標テー
ブルに登録された全点の座標値と比較し、距離画像の各
画素の座標値が座標テーブルに登録されたどの点の座標
値と近いかを確認しながら、座標インデックスとの対応
を調べ、対応する座標インデックスを抽出する。

【００５２】距離画像の一つの画素に複数の座標インデ
ックスが対応した場合には、座標値がより近い方の座標
インデックスを対応付ける。距離画像の画素のうち、対
応する座標インデックスがなかった画素については距離
情報を削除し、後述の幅を持った投影で補償するものと
する。この時点で、各視点に対して各画素にテクスチャ
と座標インデックスで表現された距離情報が確定した状
態になる。

【００５３】［投影ステップ１０６について］ステップ
１０６では、ステップ１０５で抽出された座標インデッ
クスで示される座標値に基づいて、ステップ１０１で入
力された多視点画像を構成する各視点画像の画素を隣接
する視点画像上に投影する。この処理を説明するため
に、まず図８により光線空間の概念を用いて視点と投影
の関係について述べる。

【００５４】光線空間の考え方の詳細な説明は、前述し
た苗村らの文献２に譲るが、図８で実線で示された曲線
８０１，８０２は実際に入力された視点画像の画素が存
在する面、点線で示された曲線８０３は生成しようとし
ている新しい視点の視点画像の画素が存在する面であ
る。なお、以下の説明では曲線８０１，８０２，８０３
を視点画像とも呼ぶ。図８の曲線８０４，８０５は被写
体面上のある点から発せられる光線群に対応する軌跡で
ある。また、縦軸θは光線の向いている方向、横軸ｐは
光線と図２の被写体２０１の回転軸２０５との距離を表
すパラメータである。

【００５５】ここで、図９を用いて光線空間のｐ−θの
関係について説明する。図８の曲線８０１，８０２，８
０４，８０５は全て正弦曲線またはその一部であり、図
９に示すように３次元空間上のある点９０１を通る光線
の集合について、各光線の方向θと回転軸２０５との距
離ｐとの関係を示したものである。この関係はｐ＝ｒｓ
ｉｎ（ψ−θ）で表され、図９より幾何学的に直ちに求
まる。例えば、図９中に示す距離ｐ２はｐ２＝ｒｓｉｎ
（ψ−θ２）で表される。ここで、ｒは回転軸２０５と
点９０１の間の距離、ψは回転軸２０５と点９０１とを
結ぶ直線９０２の方向を持つ角度となる。

【００５６】図８の曲線８０４，８０５は被写体面上の
点のように回転軸２０５に比較的近い点を通る光線群で
あり、小さい値のｒを持つ正弦曲線になっている。これ
に対して、曲線８０１，８０２は回転軸２０５から遠く
離れた視点を通る光線群であるので、大きい値のｒを持
つ正弦曲線の一部になっている。このように視点画像
は、その視点を通る光線の集合によりできていると考え
ることができる。

【００５７】図８において、例えば実際に入力された視
点画像８０１上の点８０６に対応する画素（なお、画素
は光線が撮影されたものであるから、画素と光線は、図
上の点との対応という意味では同じものとして説明す
る）から新たに作成すべき任意視点画像８０３上の点８
０７に対応する画素を求める操作が投影による画素の作
成操作である。すなわち、視点画像８０１上で点８０６
の位置の画素が任意視点画像８０３上で写っている位置
の点８０７を求め、この座標値で示される点８０７に点
８０６の画素を配置する。これを複数の画素に対して行
うことにより、任意視点画像８０３が作成される。

【００５８】［投影幅決定ステップ１０７について］図
８では投影を曲線で表現したが、実際の画素はある幅を
持ってサンプルされたものになっているため、投影に際
してはある幅（これを投影幅という）を設定することが
必要である。以下、図１０および図１１により投影幅の
設定の必要性と投影幅の決定手順について説明する。

【００５９】図１０は、投影幅の設定の必要性について
説明する図であり、視点１００１より被写体面上の一つ
の画素を見ている様子を２次元的に表している。この場
合、被写体面が面１００３のように視点１００１の方向
（視線方向）に対して直交しているときは視野角θ０で
あるが、視点１００１以外の他の方向から見た場合に
は、この面１００３に対してより狭い視野角θ１を占め
るようになる。一方、被写体面が面１００２のように視
線方向に対して傾いている場合、この面１００２に直交
する方向により近い視点１００４から面１００２を見た
場合、より広い視野角θ２を占めるようになる。従っ
て、２次元に投影を行う場合、画素幅を広げて投影しな
いと、隣の画素との間に隙間が空いた、つまり連結性の
ない投影になってしまう。

【００６０】これを解決するため、本実施形態では後述
する任意視点画像の形成に際し、例えば図８において曲
線８０３の位置に任意視点画像を作成しようとする場
合、この曲線８０３に対応する視点の方向を挟む二つの
視点画像８０１，８０２を用いる。そして、必要な投影
幅を画素毎に求めるために、隣接する二つの視点画像
（図８では視点画像８０１，８０２）間でそれぞれに付
随している座標インデックスにより求められた座標値に
従って互いに投影を行い（ステップ１０６）、投影先の
隣接する画素間の領域の座標値および色相値と、投影先
の実際の画素の座標値および色相値とを比較することに
よって、各画素毎の投影幅を決定する（ステップ１０
７）。

【００６１】図１１を用いて、具体的に投影幅の決定方
法について説明する。図１１において、視点画像１１０
１上の隣接する二つの画素１１０３，１１０４をそれぞ
れに付随している座標インデックスにより求められた座
標値に従って投影した先がそれぞれ視点画像１１０２上
の画素１１０５，１１０６であったとする。図１１には
示されていないが、投影先の視点画像１１０２上の各画
素には画素値の他に座標値も存在している。この投影先
の視点画像１１０２上の画素の座標値のうち、特に視点
から見て奥行き方向（ｚ方向）の座標値は、投影先の画
素と投影元の画素が同じものであるかどうかの判定に使
用することができる。

【００６２】すなわち、投影先の視点画像１１０２にお
ける画素１１０５と画素１１０６間の領域が投影元の視
点画像１１０１上の画素１１０３または画素１１０４の
視点画像１１０２への投影結果と近い座標値および色相
値を持つ場合、投影元の画素１１０３または画素１１０
４と投影先の画素は同じ被写体面に対応していると判断
できる。この場合、画素１１０５および画素１１０６の
幅を座標値および色相値が近い条件を満足している範囲
内で１画素ずつ、視点画像１１０２上で両者が連結され
るまで広げる。この操作を矢印で示されるように画素１
１０５および画素１１０６についてそれぞれ両側に対し
て行い、両者が連結されたときの大きい方の画素幅を投
影幅として決定する。投影幅は画素毎に、かつ投影の方
向（投影元の視点画像から見た投影先の視点画像の回転
方向に対して順方向または逆方向）毎にそれぞれ設定さ
れる。

【００６３】上記の条件が成立しないときは、画素１１
０３と画素１１０４は被写体面上の離れた点がたまたま
視点画像１１０１では隣同士に映っていた場合や、オク
ルージョンによって視点画像１１０２では見えなくなっ
た場合などであると判断し、画素１１０５および画素１
１０６の幅を広げる処理を行わない。

【００６４】［オクルージョン関係情報決定ステップ１
０８について］上述の説明では新たな視点画像、例えば
図８の例で視点画像８０３を生成する際に、その視点方
向を挟む二つの視点画像８０１，８０２から投影を行う
としたが、できるだけ無駄な投影演算を省くために、基
本的には二つの視点画像８０１，８０２のうち一方の視
点画像からの投影だけで済ませ、それで足りない部分だ
けを他方の視点画像からの投影で補うようにすることが
望ましい。図８の例の場合、新たに任意視点画像８０３
を作成する際に、できるだけ視点画像８０２からの投影
だけで済ませるようにする。

【００６５】ここで、一方の視点画像８０２には、例え
ば任意視点画像８０３の画素８０９に対応する点のよう
に、オクルージョンのために映っていない点が存在す
る。このような点については、他方の視点画像８０１上
の対応する画素に、その画素がオクルージョン補償に使
用されることを示すマーク（以下、オクルージョン補償
用画素マークという）をオクルージョン関係情報として
付加しておき、視点画像８０１からはそのオクルージョ
ン補償用画素マークが付加された画素のみ視点画像８０
３上に投影を行うようにすることにより、オクルージョ
ン補償を可能とすると共に、無駄な投影演算を省くよう
にする。

【００６６】具体的には、ステップ１０７において図１
１で説明したようにして決定された投影幅で、ある視点
画像からそれに隣接する視点画像上に投影を行ったと
き、投影先の視点画像では被写体が映っているが、投影
結果では画素が存在しない領域や、投影先と投影元で座
標値及び色相値が対応しない領域については、投影先の
画素にオクルージョン補償用画素マークを画素単位で付
加する。

【００６７】より具体的な手順としては、隣接する二つ
の視点画像間でそれぞれに付随している座標インデック
スにより求められた座標値に従って互いに投影を行い、
投影先の各画素の座標値および色相値と、実際の投影結
果の画素の座標値および色相値とを比較することによっ
てオクルージョン関係を調べ、両者の座標値および色相
値が一致しない画素は逆方向の投影時にオクルージョン
関係となると考えて、投影先の画素に対してオクルージ
ョン補償用画素マークを付加する。

【００６８】図８の例で説明すると、視点画像８０２か
ら隣接する視点画像８０１に前述した方法で決定された
投影幅で投影を行った場合、視点画像８０１上の画素８
１０の位置には画素が投影されない。そこで、投影先の
視点画像８０１における画素８１０のように、隣接する
投影元の視点画像８０２から画素が投影されない画素に
対しては、その画素が視点画像８０２方向への投影時に
はオクルージョン補償に使用されることを示すオクルー
ジョン補償用画素マークを付加するという操作を視点画
像８０１上の全ての画素について行う。以下、同様に隣
接する視点画像間で投影する際のオクルージョン関係を
全て調べ、隣接する視点画像から画素が投影されない画
素にオクルージョン補償用画素マークをオクルージョン
関係情報として付加する。

【００６９】以上のようにしてオクルージョン関係情報
決定ステップ１０８では、例えば図８で視点画像８０１
を投影先、視点画像８０２を投影元としたときに、視点
画像８０１上で視点画像８０２から投影がなされない特
定の画素にオクルージョン補償用画素マークをオクルー
ジョン関係情報として付加する処理を行う。このような
オクルージョン関係情報を付加することにより、後述す
る任意視点画像作成手順に従って、図８に示す新たな任
意視点画像８０３をこれを挟む隣接する二つの視点画像
８０１，８０２からの投影によって作成することが可能
となる。

【００７０】［符号化ステップ１０９について］テクス
チャ画像の符号化を行うステップ１０９では、視点画像
内の画素間相関を利用して、圧縮するブロック単位の符
号化を行う。任意視点画像の作成時に必要とされるラン
ダムアクセス性を考慮すると、ブロック毎に固定長の符
号量になっている符号化方式ができれば望ましい。この
ような符号化方式としては、例えばブロック毎のベクト
ル量子化（ＶＱ）のような方式がある。

【００７１】ランダムアクセスが必要とされるのは、作
成された任意視点画像の再生時であるため、再生時に使
用する３次元画像データのデータ形式を伝送のために更
に圧縮し、受信後再生前に固定長のデータ形式に戻して
使うことも考えられる。この場合、伝送のための圧縮は
可変長で構わない。また、座標値を表すデータとして付
随している座標インデックス情報についても、伝送のた
めには更に可変長に圧縮しても構わない。

【００７２】［多重化ステップ１１０について］ステッ
プ１１０では、ステップ１０９までの処理で最終的に作
成された各データを多重化してまとめ、３次元画像デー
タを作成する。３次元画像データの多重化フォーマット
は、図１２に示すように階層的な構造になっており、任
意視点画像の再生時にランダムアクセスが容易になって
いる。なお、伝送用のフォーマットは既に述べたよう
に、この多重化フォーマットを更に圧縮したものになっ
ていてもよい。

【００７３】図１２に示す多重化フォーマットは、ＴＶ
会議用のＩＴＵ−Ｔ勧告Ｈ．２６１の多重化フォーマッ
トの記述方法に準じて記述してある。楕円で囲んだ要素
は可変長の符号化要素、四角で囲んだ要素は固定長の符
号化要素である。但し、後述する座標テーブルとＶＱコ
ードブックは、全体としては可変長でも、それらを構成
する要素は固定長であり、これによって任意の部分に容
易にアクセスできるように構成されている。

【００７４】オブジェクトレイヤ、フレームレイヤの情
報には、スタートコード（ＯＳＣ，ＰＳＣ）、エンドコ
ード（ＯＥＣ，ＰＥＣ）などレイヤ固有の情報を含むヘ
ッダおよびトレイラが存在する。スタートコード、エン
ドコードは可変長符号の組み合わせでは表現されないユ
ニークワードである。オブジェクトレイヤのスタートコ
ードＯＳＣにはオブジェクト番号（ＯＮ）、フレームレ
イヤのスタートコードＰＳＣにはフレーム番号（ＰＮ）
の情報が続く。本実施形態では、各視点のテクスチャ画
像は前述したようにベクトル量子化を用いて符号化する
ものとして説明する。

【００７５】図１２（ａ）に示す最上位レイヤであるオ
ブジェクトレイヤは、１セットの多視点画像で表現され
るレイヤであり、アドレステーブル、座標テーブル、Ｖ
Ｑコードブックおよびフレームレイヤから構成される。
アドレステーブルは各視点画像の先頭のアドレスを記述
したテーブルであり、任意視点画像の画像データへのラ
ンダムアクセスを可能にする。座標テーブルは、図５で
説明した座標テーブルのうち、任意視点画像の作成に使
用される座標インデックスと座標値の部分を記述したも
のである。ＶＱコードブックは、テクスチャ画像をベク
トル量子化により符号化する際に使用したコードブック
である。

【００７６】オブジェクトの下のレイヤである図１２
（ｂ）に示すフレームレイヤには、実際の多視点画像デ
ータが含まれている。フレームレイヤのヘッダは、フレ
ーム番号（ＰＮ）を含む。

【００７７】フレームレイヤの下のレイヤは、図１２
（ｃ）に示すブロックレイヤである。ブロックレイヤは
多視点画像を構成する各視点画像のデータであり、各視
点画像内の水平、垂直方向の位置を表すブロックアドレ
ス（ＢＡ）に続き、各画素の座標値を表す座標インデッ
クス、ＲＧＢのテクスチャデータ（ベクトル量子化され
た座標インデックス）、画素毎の投影幅データ、画素毎
のオクルージョン補償用画素マークの情報を示すオクル
ージョンデータをブロック単位でまとめたものである。

【００７８】（任意視点画像の作成方法）次に、本発明
に係る任意視点画像作成方法の一実施形態を説明する。
図１３は、任意視点画像の再生のために使用を想定して
いる装置の典型例である。この装置はＣＰＵ１３００、
視点位置・視線方向入力装置１３０１、ハードディスク
装置のような大容量の記憶装置１３０２、ＲＡＭ１３０
３および画像出力装置１３０４よりなる。

【００７９】次に、図１４に示すフローチャートを用い
て、前述のようにして作成された３次元画像データを使
って任意視点画像を作成する手順を説明する。まず、符
号化された３次元画像データを記憶装置１３０２に入力
する（ステップ１４０１）。入力された３次元画像デー
タは、図１２（ａ）で説明したようにアドレステーブ
ル、座標テーブル、ＶＱコードブックおよび図１２
（ｂ）に示すフレームレイヤのデータが多重化されてお
り、フレームレイヤの中のブロックレイヤは図１２
（ｃ）に示すように座標インデックス、テクスチャデー
タ、投影幅データおよびオクルージョンデータが多重化
されているので、ＣＰＵ１３００でヘッダを解析しなが
ら、これらの各データを分離し（ステップ１４０２）、
アクセスしやすい形でＲＡＭ１３０３に保持する。伝送
用に符号化されているデータがある場合は、そのデータ
を復号して固定長としてからＲＡＭ１３０３に保持す
る。図１３の装置構成の場合、この分離の処理を含めて
以後の処理は全てＣＰＵ１３００で行われる。

【００８０】次に、視点位置・視線方向入力装置１３０
１により、ユーザが再生したい視点画像の視点を指示す
る視点情報（視点位置、視線方向の情報）を入力する
（ステップ１４０３）。視点位置・視線方向入力装置１
３０１としては、バーチャルリアリティの分野で使用さ
れるヘッドマウントディスプレイに位置センサ、方向セ
ンサを取り付けたものなどを用いてもよい。また、ＰＣ
レベルのプラットフォームで手軽に使う手段としては、
例えばＶＲＭＬプラウザで実現されている、表示画面上
に仮想的なレバーやハンドルを表示し、これをマウスな
どのポインティングデバイスで仮想的に操作することに
よって視点位置、視線方向を入力するシステムのよう
に、ソフトウエア的に実現されるものでもよい。以下、
このようにして入力された視点情報により指定された視
点の任意視点画像の作成ループが開始される。

【００８１】まず、ステップ１４０３で入力された視点
情報に基づいて、指定された視点位置から指定された視
線方向を見たときの被写体の回転軸の配置位置を仮想３
次元空間座標上の位置として計算する（ステップ１４０
４）。

【００８２】次に、投影に使用する視点画像データ（座
標インデックス、ＲＧＢのテクスチャデータ、画素毎の
投影幅データ、画素毎のオクルージョンデータ）とし
て、先に説明したように視点と被写体の回転軸を結ぶ方
向に近い角度を持つ二つの視点の視点画像（例えば図８
の視点画像８０１，８０２）のデータを選択する（ステ
ップ１４０５）。これら二つの視点画像８０１，８０２
のデータのうち、一方の視点画像８０２のデータは基本
的に全ての画素が使用されるが、他方の視点画像８０１
のデータはオクルージョンデータを参照して、前述のよ
うにオクルージョン補償用画素マークが付加された画素
のみをオクルージョンの補償のために使用する。こうし
て投影に使用する視点画像のデータが確定すると、アド
レステーブルを参照することでアクセスすべきアドレス
を知ることができ、使用する視点画像データに直接アク
セスできる。

【００８３】以降、ステップ１４０５により選択された
二つの視点画像（例えば図８の視点画像８０１，８０
２）のデータを用いてステップ１４０６より始まる画素
毎の処理ループに入る。まず、選択された二つの視点画
像データの各画素（但し、他方の視点画像８０１のデー
タは、上述したようにオクルージョン補償用画素マーク
が付加された画素のみ）に一画素ずつアクセスし、その
画素に付随している座標インデックスをキーとして座標
テーブルを引くことにより、座標インデックスを座標値
に変換する（ステップ１４０６）。

【００８４】次に、ステップ１４０５で選択された二つ
の視点画像データの画素をステップ１４０６で変換され
た座標値と選択された視点画像に付随している座標イン
デックスから求められる座標値に従って、ステップ１４
０３で入力された視点情報に基づいて指定された視点画
像上に投影する（ステップ１４０７）。投影先の画素位
置の計算は、被写体の回転軸が視線方向にあるものとし
て求めた投影先の画素位置を被写体の回転軸の配置位置
と視線方向のずれの分を考慮して平行移動する補正によ
り行われる。

【００８５】この投影による視点画像の作成に際して
は、座標値の深さ方向（ｚ方向）の値を参照して、異な
る複数の方向からの投影が重畳されて行われる画素につ
いては最も手前にある投影結果が有効になるように制御
を行う。

【００８６】また、投影先の画素の配置に際しては、各
画素に対して投影方向毎に決定された投影幅データで示
される投影幅を参照して行う。すなわち、投影先の画素
位置に投影幅だけ画素幅を左右に広げた画素を配置す
る。その際、投影先の画素の中心に対しては１、画素の
中心から離れるほど０に近づくように画素値を重み付け
して投影を行うことによって、より自然な投影結果を得
ることができる。

【００８７】ここで、投影幅は前述した３次元画像デー
タ作成手順で述べたように、実際に入力された視点画像
間、つまり入力された各視点画像からそれに隣接する入
力された視点画像上に投影を行った場合に対して求めら
れたものであるため、投影時には各視点画像と隣接する
視点画像との角度差および投影先の作成すべき視点画像
との角度差の比率に応じて投影幅を変化させるようにし
てもよい。

【００８８】以上の操作を２つの視点画像の全ての画素
について終了すると、入力された視点情報に基づき指定
された視点についての視点画像の生成が終了するので、
この視点画像を表示する（ステップ１４０９）。そし
て、ステップ１４１０で終了と判定されるまで、新たな
視点情報が入力される度にステップ１４０４〜１４０９
の処理を繰り返すことで、複数の視点情報に対応した視
点画像を作成して表示することにより、インタラクティ
ブな仮想空間の生成を実現する。

【００８９】

【発明の効果】以上説明したように、本発明によれば任
意視点画像作成時に視点に依存した投影範囲の限定を行
うことにより、投影演算の負荷を減らすことができるイ
メージベーストレンダリングの手法に基づく３次元画像
データ作成方法および任意視点画像作成方法を提供する
ことができる。

【００９０】また、本発明の３次元画像データ作成方法
によれば、距離画像の座標情報を座標インデックスとし
て表現することにより、３次元画像データから任意視点
画像を作成する際に必要な座標情報の増加を抑えること
ができる。

【００９１】さらに、視点画像の情報をテクスチャ画像
として圧縮符号化することにより、視点画像の情報量も
削減することが可能となる。

【図面の簡単な説明】

【図１】 本発明に係る３次元画像データ作成方法の一
実施形態を説明するフローチャート

【図２】 図１の多視点画像および多視点距離画像入力
ステップで使用する入力装置の一例を示す図

【図３】 基準視点への座標値変換を説明する図

【図４】 座標値を座標テーブルに登録する際に座標値
をまとめる処理を説明する図

【図５】 座標テーブルの構成を示す図

【図６】 座標テーブルを定義する対象を説明する図

【図７】 座標値の座標テーブルへの登録手順を説明す
るフローチャート

【図８】 本発明に係る投影とオクルージョンについて
説明する図

【図９】 光線空間のｐ−θの関係につき説明する図

【図１０】 画素の投影幅設定の必要性について説明す
る図

【図１１】 画素の投影幅設定につき説明する図、

【図１２】 本発明に係る３次元画像データのフォーマ
ットを説明する図

【図１３】 本発明で任意視点画像を作成する装置の構
成例を説明する図

【図１４】 本発明に係る任意視点画像作成方法の一実
施形態を説明するフローチャート

【符号の説明】 ２０１…被写体 ２０２…回転台 ２０３…レンジファインダ ２０４…制御装置 ２０５…回転軸 ２０６…レンジファインダの光軸 ２０７…ｙ＝一定の平面 １３００…ＣＰＵ １４０１…視点位置・視線方向入力装置 １４０２…記憶装置 １４０３…ＲＡＭ １４０４…画像出力装置

Claims (7)

【特許請求の範囲】
1. 【請求項１】被写体との位置関係が既知の複数の視点に
   それぞれ対応した複数の視点画像からなる多視点画像を
   入力する多視点画像入力ステップと、 前記多視点画像を構成する各視点画像にそれぞれ対応し
   た複数の距離画像からなる多視点距離画像を入力する多
   視点距離画像入力ステップと、 前記多視点距離画像を構成する各距離画像の座標情報を
   生成する座標情報生成ステップと、 前記各距離画像の座標情報に基づいて前記各視点画像の
   画素を隣接する視点の視点画像上に投影する投影ステッ
   プと、 前記投影ステップにおける投影幅を決定する投影幅決定
   ステップと、 前記多視点画像の隣接する視点画像間のオクルージョン
   関係を示すオクルージョン関係情報を決定するオクルー
   ジョン関係情報決定ステップと、 前記各視点画像の情報、前記各距離画像の座標情報、前
   記投影幅の情報および前記オクルージョン関係情報を多
   重化して３次元画像データを出力する多重化ステップと
   を有することを特徴とする３次元画像データ作成方法。
2. 【請求項２】前記多視点画像入力ステップおよび前記距
   離画像入力ステップは、共通の入力装置を用いて各視点
   画像およびこれに対応する距離画像を同時に入力するこ
   とを特徴とする請求項１記載の３次元画像データ作成方
   法。
3. 【請求項３】前記座標情報生成ステップは、 前記各距離画像を特定の視点からの距離画像に変換する
   距離画像変換ステップと、 前記距離画像変換ステップにより変換された距離画像の
   各画素の座標値を座標テーブルに登録する登録ステップ
   と、 前記各距離画像の各画素の座標値と前記登録ステップに
   より登録された座標値との対応を求め、該登録された座
   標値の登録位置を示す座標インデックスを前記座標情報
   として生成する座標インデックス生成ステップとからな
   ることを特徴とする請求項１記載の３次元画像データ作
   成方法。
4. 【請求項４】前記投影幅決定ステップは、投影元の視点
   画像およびこれに対応する距離画像の画素と投影先の視
   点画像およびこれに対応する距離画像の画素とを比較す
   ることにより、前記投影幅を決定することを特徴とする
   請求項１記載の３次元画像データ作成方法。
5. 【請求項５】前記オクルージョン関係情報決定ステップ
   は、前記投影ステップにより前記各視点画像の画素を隣
   接する視点に対応する視点画像上に前記投影幅決定ステ
   ップにより決定された投影幅で投影を行ったときの投影
   先の視点画像及びこれに対応する距離画像の画素と投影
   結果の視点画像及びこれに対応する距離画像の画素とを
   比較し、両者が一致しない投影先の画素に対してオクル
   ージョン補償に用いられることを示すマークを画素単位
   で付加することを特徴とする請求項１記載の３次元画像
   データ作成方法。
6. 【請求項６】前記多重化ステップにより多重化される前
   記各視点画像の情報を圧縮符号化することを特徴とする
   請求項１記載の３次元画像データ作成方法。
7. 【請求項７】請求項１乃至６のいずれか１項記載の３次
   元画像データ作成方法により作成された３次元画像デー
   タを用いて、任意の視点から見た任意視点画像を作成す
   る方法であって、 前記３次元画像データのうち該任意の視点を挟む二つの
   方向に対応する視点画像のデータを用いて投影処理を行
   うことにより、該任意視点画像を作成することを特徴と
   する任意視点画像作成方法。