JP2001283201A - ３次元画像データ作成方法及び３次元画像データを用いた任意視点画像作成方法 - Google Patents

Abstract

(57)【要約】 【課題】３次元画像データを座標情報の増加を抑えたイ
メージベーストレンダリング手法で作成し、同時に距離
画像の欠損を有効に補償する。 【解決手段】多視点画像と多視点距離画像を入力し(101
〜102)、各距離画像を基準視点から見た距離画像に変換
して各画素の座標値を座標テーブルに登録し(103〜10
4)、距離画像の欠損補償(105)を行った後、座標テーブ
ルを参照して距離画像の各画素の座標値及び欠損補償の
ための代替座標値に対応する座標インデックスを抽出し
(106)、座標テーブルを参照して求めた座標値に従って各
視点画像の画素を隣接する視点画像上に投影して投影幅
とオクルージョン関係情報を決定し(107〜109)、テキス
チャ画像の符号化(110)を経て、座標テーブル、座標イ
ンデックス、投影幅及びオクルージョン関係の情報とテ
クスチャ画像符号化データの多重化を行う(111)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を任意の視
点で見た任意視点画像をリアルタイムで作成して仮想空
間内のウォークスルーなどを可能とする画像処理システ
ムにおいて、任意視点画像を作成する元となる３次元画
像データの作成方法及び該３次元画像データを用いた任
意視点画像作成方法に関する。

【０００２】

【従来の技術】近年、コンピュータ技術、グラフィクス
技術の進展により、バーチャルショッピングモールなど
に代表される仮想空間内のウォークスルーが身近な存在
になりつつある。現状の仮想空間は、構成要素がＣＧ
（コンピュータグラフィクス）によって生成されるもの
が大半である。これに対し、最近ではリアリティに注目
した別のアプローチとして、実写画像から仮想３次元空
間を生成する試みがなされてきている。

【０００３】ＣＧの分野では、モデルを精密にし、演算
資源を投入することによりリアリティを追求する努力が
払われてきたが、これとは別に、近年、“image based
rendering ”（イメージベーストレンダリング）と称し
て、実写を利用してリアリティを高めようという動きが
ある。このような技術の中で既に実用に供せられている
例としては、文献１（S.E.Chen et al,SIGGRAPH‘95，p
29-38）に開示されているQuickTime ＶＲが挙げられ
る。

【０００４】QuickTime ＶＲは、一つの視点から撮った
パノラマ画像から視線方向の成分を切り出す技術であ
り、自分の周りの３６０°の視野をインタラクティブに
見渡すような画像表現ができる。但し、この方法では画
像入力の際の視点はある一点に固定されているので、任
意視点からの画像を再構成することはできない。すなわ
ち、視線方向は選択できるものの、視点は常に固定され
ているので、視点が変わったときに発生するオクルージ
ョン（隠れ）の状況の変化を再現することはできない。

【０００５】イメージベーストレンダリングの手法とし
ては、上記の固定視点の手法のほかに、物体との距離方
向も含めた任意視点の実現、オブジェクトとしての操作
可能性、空間への配置可能性といった更に進んだ機能を
実現することができる画像表現方法として、例えば文献
２（「光線情報による３次元実空間の効率的記述へ向け
た光線空間射影法」苗村他、信学技報ＩＥ９５−１１
９）に開示されている方法が知られている。この方法で
は、３次元空間上を通る光線を表現する「光線空間」と
いう概念を導入し、多視点画像と光線空間とを相互に変
換することにより、入力された多視点画像から任意視点
画像を生成している。

【０００６】さらに、イメージベーストレンダリングの
分野での別の手法として、文献３（Jonathan Shade et
al,“Layered Depth Images”,SIGGRAPH’98pp.231-24
2）で開示されたLayered Depth Images（ＬＤＩ）と呼
ばれる手法がある。この手法は、各視点画像に付随する
奥行き情報（距離画像）を使って投影を行うことにより
任意視点画像を作成する手法であり、視線方向に対して
奥行き方向に複数の画素を持つことができる形式になっ
ているため、一つの視点からのデータとして定義された
ＬＤＩから別の視点画像を生成してもオクルージョンが
再現できる。

【０００７】すなわち、物体の３次元モデルを一視点か
らの一番手前に見えているものだけでなく、被写体面に
対応する全点についての距離画像として定義し、それぞ
れに付随した画素値を使って投影を行い、画像を生成す
る手法である。扱う物体の形状が複雑になってくるほ
ど、このように画素のような細かい単位毎に形状を考慮
して処理を行う手法が有利になってくるものと思われ
る。

【０００８】次に、距離画像の欠損補償についての従来
例について説明する。上述したように、ＣＧの分野でも
距離画像より３Ｄモデルを作成してテクスチャマッピン
グを行うなどの用途に、レンジファインダが多く使われ
るようになってきているが、レンジファインダによって
距離画像を取得する場合、被写体の表面の材質や色、撮
影条件などによって距離情報が部分的に欠落することが
ある。このような距離情報の欠損に対して、複数の距離
画像を統合することにより欠落部分を補間する試みがな
されている。このような試みの例は、例えば文献４（IC
IP’96 Vo1.IIpp.397-400）などに見られるが、これら
の手法は３次元形状復元を目的とし、３次元形状モデル
に基づいた厳密なデータ統合を行うために非常に複雑な
処理を必要とするのが現状である。

【０００９】

【発明が解決しようとする課題】多視点画像及び多視点
距離画像を用いた手法は、非常に細かい形状をもつ被写
体に対しても対応できるイメージベーストレンダリング
の手法を提供できることを目的として考案された。但
し、そのままそれを適用しようとすると、使用する情報
量が多くなり、特に距離画像の座標情報のデータ量で顕
著である。

【００１０】また、多視点距離画像はレンジファインダ
を使用して入力するのが典型的な手法であるが、被写体
の表面の性質などによってしばしば距離情報に欠損が生
じるといった問題がある。この問題については従来例に
示したように３次元形状モデルに基づいた厳密なデータ
統合を行って補償する方法が知られているが、例えば本
発明者が先に特願平１１−１３０１５３として提案した
ような、厳密な３次元形状モデルを必要とすることなく
簡易に任意視点画像を作成する方法においては距離情報
の欠損補償にのみ複雑な処理を用いるのは整合性が悪
く、モデルの要求に対してもオーバスペックであると考
えられる。

【００１１】本発明は、上記の問題点を解消すべくなさ
れたものであり、細かい形状をもつ被写体に対しても対
応できるイメージベーストレンダリングにおいて使用す
る座標情報の増加を抑え、さらに座標情報の増加を抑え
るために導入した枠組みを利用して複雑な処理を施すこ
となく距離画像における距離情報の欠損を有効に補償で
きるイメージベーストレンダリングの手法に基づく３次
元画像データ作成方法および３次元画像データを用いた
任意視点画像作成方法を目的とする。

【００１２】

【課題を解決するための手段】上述の課題を解決するた
め、本発明に係る３次元画像データ作成方法では、被写
体との位置関係が既知の複数の視点に対応した複数の視
点画像からなる多視点画像と、これらの各視点にそれぞ
れ対応した複数の距離画像からなる多視点距離画像を入
力する。そして、各距離画像を特定の視点からの距離画
像にそれぞれ変換し、この変換された距離画像の各画素
の座標値を座標テーブルに登録する。次に、各距離画像
の各画素の座標値に対応する、座標テーブル上の座標値
の登録位置を示す第１の座標インデックスを生成する。
一方、各距離画像における距離情報欠損画素に対して、
座標テーブル上の座標値の中から該距離情報欠損画素の
座標値に代替させる代替座標値を決定し、該座標テーブ
ル上の該代替させる座標値の登録位置を示す第２の座標
インデックスを生成する。最後に、少なくとも各視点画
像のテクスチャを表す視点画像データ、座標テーブル、
第１及び第２の座標インデックスを多重化して３次元画
像データを出力する。

【００１３】このように本発明による３次元画像データ
作成方法では、非常に細かい形状をもつ被写体に対して
も対応できるイメージベーストレンダリングの手法を用
いて任意視点画像作成する際、各視点の距離画像を特定
の視点からの距離画像に変換して、その変換された距離
画像の各画素の座標値を座標テーブルに登録し、この座
標インデックスを３次元画像データに座標情報として含
ませることにより座標情報の増加を抑えることができ
る。

【００１４】しかも、このように座標情報の増加を押さ
えるために導入した座標テーブルを利用して、各視点に
対して入力された距離画像に存在する距離情報（座標
値）の欠損を複雑な処理を施すことなく有効に補償する
ことが可能となる。

【００１５】一方、本発明に係る任意視点画像作成方法
では、上記のようにして作成された３次元画像データを
用いて、指定された任意の視点から見た任意視点画像を
作成するために、まず３次元画像データ中の指定された
任意の視点に対応する少なくとも一つの視点画像データ
を選択する。次に、選択された視点画像データの各画素
に対応する第１または第２の座標インデックスから該画
素の座標値を求める。そして、求められた座標値に従っ
て、選択された視点画像データの各画素を指定された任
意の視点な対応する視点画像上に投影することにより、
任意視点画像を作成する。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。以下の説明では、人視点画像を作
成するための元となる３次元画像データを作成する手順
と、作成された３次元画像データを用いて任意視点画像
を作成する手順の実施形態について開示する。 （３次元画像データ作成方法について）図１に示すフロ
ーチャートを用いて、本発明の一実施形態に係る３次元
画像データ作成方法の概略的な処理手順について説明す
る。

【００１７】まず、被写体との位置関係が既知である複
数の異なる視点にそれぞれ対応した複数の視点画像から
なる多視点画像を入力し（ステップ１０１）、さらに、
これらの各視点に対応する、つまり多視点画像を構成す
る各視点画像にそれぞれ対応する複数の距離画像からな
る多視点距離画像を入力する（ステップ１０２）。後述
するように、ステップ１０１とステップ１０２の処理
は、同一の入力装置を用いて同時に行っても構わない。

【００１８】次に、ステップ１０２で入力された多視点
距離画像を構成する各距離画像をある特定の共通の基準
視点（例えば、０°の視点）に対応した距離画像にそれ
ぞれ変換する（ステップ１０３）。言い換えれば、各距
離画像の各画素の座標値を基準視点からの距離画像の座
標値に変換する。

【００１９】次に、ステップ１０３で基準視点から見た
距離画像に変換された距離画像の各画素の座標値を座標
テーブルに登録する（ステップ１０４）。この座標テー
ブルは、後述するように座標値の登録位置を示す座標イ
ンデックスに対応させて、距離画像の各画素の座標値と
色相値および今までの処理中に各インデックスに対応す
る画素として処理した画素数を示すカウント値を記述し
たものである。

【００２０】次に、ステップ１０４により座標値と色相
値およびカウント値が登録された座標テーブルを利用し
て距離画像の欠損補償、つまり各視点の距離画像に存在
する距離情報（座標値）の欠損補償を行う（ステップ１
０５）。このステップ１０５では、距離情報が欠損した
画素（距離情報欠損画素）に対して、座標テーブル上の
座標値の中から距離情報欠損画素の座標値に代替させる
座標値（代替座標値）を決定する。この操作について
は、後に詳しく説明する。

【００２１】ここで、距離情報の欠損とは、例えば距離
画像の取得にレーザを使用したレンジファインダを用い
ている場合に、被写体の材質や色、その他の測定時の環
境の影響により、被写体の一部について有効な距離情報
（座標値）を取得できないことがあり、対応する被写体
面が存在するにもかかわらず、有効な距離情報（座標
値）が存在しない画素や画素領域が存在することであ
り、このような画素を距離情報欠損画素という。

【００２２】次に、ステップ１０４により座標値と色相
値およびカウント値が登録された座標テーブルを参照し
て、ステップ１０２で入力された多視点距離画像を構成
する各距離画像の各画素の座標値、さらにステップ１０
５で決定された距離情報欠損画素の座標値の代替座標値
をそれぞれ座標テーブルに登録された座標値の登録位置
を示す座標インデックスで表現し、それらの座標インデ
ックス（多視点距離画像を構成する各距離画像の各画素
の座標値に対しては第１の座標インデックス、距離情報
が欠損した座標値の代替座標値に対しては第２の座標イ
ンデックスという）を抽出する（ステップ１０６）。

【００２３】言い換えると、各視点の距離画像を座標テ
ーブルを定義したときの基準視点（上記の例では０°の
視点）の視点画像に投影して、座標テーブルに登録され
た全座標値と比較し、各画素に対応する座標値が座標テ
ーブルに登録されたどの座標値と距離的に近いかを確認
しながら、座標インデックスとの対応を確定する。一つ
の画素に複数の座標インデックスが対応した場合には、
座標値が近い方の座標インデックスを対応付ける。対応
する座標インデックスがなかった画素については距離情
報を削除し、その部分は後述の幅を持った投影で補償す
るものとする。この時点で、各視点に対して各画素にテ
クスチャとインデックスで表現された距離情報が確定し
た状態になる。

【００２４】次に、ステップ１０６でインデックス化さ
れ、座標テーブルに登録された座標値で表された座標値
に従って、多視点画像を構成する各視点画像の画素を隣
接する視点画像上に投影する（ステップ１０７）。

【００２５】次に、ステップ１０７における投影元の視
点画像の画素（色相値）およびこれに対応する距離画像
の画素（座標値）と、投影先の視点画像の画素（色相
値）およびこれに対応する距離画像の画素（座標値）と
の比較により、投影先の視点画像への投影幅を決定する
（ステップ１０８）。

【００２６】次に、ステップ１０７における投影先の視
点画像の画素（色相値）およびこれに対応する距離画像
の画素（座標値）と、実際の投影結果の視点画像の画素
（色相値）およびこれに対応する距離画像の画素（座標
値）との比較により、オクルージョン関係情報を決定す
る（ステップ１０９）。但し、色相値は本実施形態では
ＲＧＢ画像データより求めたものを使用する。オクルー
ジョン関係情報とは、後に詳しく説明するように、任意
視点画像作成時に投影元の視点画像のうちオクルージョ
ン補償を行うのに使用される画素に付加されるオクルー
ジョン補償用画素マークの情報であり、ステップ１０９
ではこのオクルージョン補償用画素マークの情報をオク
ルージョン関係情報として決定する。次に、各視点画像
の画像情報をテクスチャ画像として符号化する（ステッ
プ１１０）。

【００２７】最後に、以上の処理で作成された各デー
タ、すなわち、(1)ステップ１０４で得られた座標テー
ブル及び多視点距離画像を構成する各距離画像の各画素
の座標値に対応する座標テーブル上の座標値の登録位置
を示す第１の座標インデックス、(2)同じくステップ１
０４で得られた距離情報欠損画素の座標値に対する座標
テーブル上の代替座標値の登録位置を示す第２の座標イ
ンデックス、(3)ステップ１０８で得られた投影幅の情
報、(4)ステップ１０９で得られたオクルージョン関係
情報及び(5)ステップ１１０で得られた多視点画像を構
成する各視点画像のデータであるテクスチャの符号化デ
ータを多重化することにより、３次元画像データを作成
する（ステップ１１１）。

【００２８】以上が本実施形態における３次元画像デー
タの作成手順の概略である。次に、図１の各ステップ１
０１〜１１０の詳細について説明する。 ［多視点画像及び多視点距離画像の入力ステップ１０
１，１０２について］図２は、図１の多視点画像入力ス
テップ１０１及び多視点距離画像入力ステップ１０２で
用いる入力装置の具体例を示す図である。この例では、
被写体２０１は回転台２０２に載せられ、例えば３６０
°回転されながら、レンジファインダ２０３により撮影
される。レンジファインダ２０３は、レーザ光などを使
って被写体２０１の各画素の座標値を距離画像として画
像情報と同様に取得する装置である。既存のレンジファ
インダとして、距離画像とテクスチャ画像の入力を同時
に可能としたものが知られている。本実施形態では、こ
のようなレンジファインダを用い、図１のステップ１０
１とステップ１０２の処理を同時に行うものとして説明
する。なお、視点画像はテクスチャ画像として入力され
る。視点画像を距離画像と区別する意味で、視点テクス
チャ画像ということもできる。

【００２９】レンジファインダ２０３の光軸２０６は、
回転台２０２の回転軸２０５と直交している。レンジフ
ァインダ２０３と回転軸２０５の位置関係は測定によっ
て得ることができ、ここでは距離Ｒだけ離れているもの
とする。回転台２０２は、制御装置２０４により一定の
角度（例えば３０°）ずつ回転させられ、その度にレン
ジファインダ２０３によって被写体２０１の視点画像
（テクスチャ画像）および対応する距離画像が入力され
る。

【００３０】視点画像であるテクスチャ画像は画素当た
り例えばＲ，Ｇ，Ｂ各８ビット、距離画像は画素当たり
例えばｘ，ｙ，ｚ各３２ビットで入力される。この例で
は、回転台２０２の１回転で１２枚のテクスチャ画像が
多視点画像として入力されることになる。また、距離画
像を撮影する際の座標系は、図２に示されるようにレン
ジファインダ２０３のレンズ中心を原点とし、回転軸２
０５の方向にｙ軸、レンジファインダ２０３の光軸２０
６の方向にｚ軸、両者に直交する方向にｘ軸がとられて
いるものとして以降の説明を行う。

【００３１】［距離画像変換ステップ１０３について］
次に、図１のステップ１０３における距離画像の変換
（座標値の変換）について、図３により説明する。図３
は、図２におけるｙ＝一定の断面を示している。今、被
写体２０１上のある点３０１について３０°の視点３０
２から得られた距離画像を入力したときの座標値とし
て、視点３０２を原点とする座標系３０４で（ｘ０’，
ｚ０’）なる座標値が得られていたとする。このとき、
ここでいう距離画像の変換とは、座標値（ｘ０’，ｚ
０’）を０°の視点（基準視点という）３０３を原点と
する座標系３０５での座標値（ｘ０，ｚ０）に変換する
操作である。これは距離画像の座標値を回転軸２０５を
原点とする座標値に一度変換した後、−３０°回転し、
さらに基準視点３０３を原点とする座標値に変換すると
いう手順により行うことができる。

【００３２】［座標値登録ステップ１０４について］図
４〜図７を用いて、図１のステップ１０４で基準視点３
０３から見た距離画像の座標値に変換された座標値を座
標テーブルに登録する手順を説明する。図４は図３と同
様に、視点４０１を原点とする座標系を基準視点３０３
を原点とする座標系に変換することを表した図であり、
図５は３次元の座標値を登録する座標テーブルを示して
いる。図５の座標テーブルは、座標インデックスがあま
り大きい値にならないように、図６に示す視点６０１か
らの視点画像の走査線に対応する平面６０２毎に一つず
つ用意されているものとする。視点６０１が被写体２０
１に対して十分遠い場合、各平面６０２はｙ＝一定の平
面で近似しても差し支えない。

【００３３】図７に示すフローチャートに従って、座標
テーブルへの登録手順を説明する。まず、基準視点３０
３（例えば０°の視点）からの距離画像の各画素の座標
値と色相値を図５の座標テーブルに登録し、かつカウン
ト値を１にセットする（ステップ７０１）。

【００３４】次に、基準視点３０３以外の視点（例えば
３０°間隔の視点）からの距離画像を入力し（ステップ
７０２）、その距離画像について画素毎に座標値を基準
視点３０３からの距離画像の座標値に変換して（ステッ
プ７０３）、それらの座標値を３次元的に近い点に対応
している点同士をまとめながら、座標テーブルに登録し
てゆき、かつカウント値を１ずつインクリメントさせ
る。

【００３５】ここで、３次元的に同じ点を見ている場合
でも、視点によって輝度が変化する場合があるので、同
じ点とみなせるかどうかの判定には、座標値と色相値を
使うのが望ましいと考えられる。具体的に説明すると、
例えば図４に示すように視点４０１からの距離画像のあ
る画素に対応する点４０３について、ステップ７０３で
変換された座標値として（ｘ１，ｙ１，ｚ１）が得ら
れ、かつ対応する色相値が得られたとする。この座標値
（ｘ１，ｙ１，ｚ１）を既に座標テーブルに座標値およ
び色相値が登録されている点４０３に近い点（図４の場
合、点４０２）の座標値（ｘ０，ｙ０，ｚ０）および色
相値と比較する（ステップ７０４）。この比較の結果、
点４０３と点４０２のそれぞれの座標値間の距離が微小
値ε以下の範囲に入っており、かつ点４０３と点４０２
の色相値の差が微小値Δ以下の範囲に入っているかどう
かを判定する（ステップ７０５）。

【００３６】このステップ７０５の判定の結果、座標値
間の距離および色相値差がそれぞれε以下、Δ以下の範
囲に入っている場合、点４０３は点４０２と同じとみな
し、座標テーブル上の点４０２の座標値（ｘ０，ｙ０，
ｚ０）を、この座標値（ｘ０，ｙ０，ｚ０）と点４０３
の座標値（ｘ１，ｙ１，ｚ１）とを座標テーブル上のカ
ウント値：１の比率で重み付け平均した座標値で置き換
え（ステップ７０６）、また座標テーブル上の点４０２
の色相値を点４０３の色相値で置き換える（ステップ７
０７）。

【００３７】一方、ステップ７０３で変換された点４０
３の座標値および色相値をステップ７０４において座標
テーブルに登録されている全ての座標値および色相値と
比較して、もしステップ７０５の判定条件を満たさない
点は、この時点で始めて見えた点であるとして、新たに
座標テーブルにその点の画素の座標値および色相値を登
録する（ステップ７０８）。

【００３８】以上のような処理を距離画像の全ての画素
に対応する点に対して行い（ステップ７０９）、全ての
視点からの距離画像について順次行う（ステップ７１
０）。このように処理を視点順に行うので、視点が近い
ほど同じ点に対応する画素の色相値は近いと考え、色相
値を置き換える場合には、最も最近処理された画素の色
相値で置き換えるものとする。

【００３９】微小値εについては、図２における被写体
２０１とレンジファインダ２０３との距離Ｒと、撮影さ
れる画像の解像度で決まる３次元空間上の分解能によっ
て決めることにより、可能な範囲で最大の解像度が確保
される。後は座標値として保持するデータ量をどの程度
の大きさまで許容できるかによって、εをこの値よりも
大きく設定することが考えられる。

【００４０】座標インデックスは、一般的には必要とさ
れる座標値の個数を表すのに十分な固定のビット数から
なるディジタル値で表される。しかし、座標インデック
スを表すディジタル値のビット数を効率的に使うために
は、使用される座標インデックスの数に応じたビット数
とすることが望ましい。その場合、最終的に処理が終了
しないと座標インデックスの数が決定されないので、座
標インデックスを表現するディジタル値のビット数に関
する情報を再生側に通知する必要がある。

【００４１】また、座標インデックスを表すディジタル
値のビット数を抑えるために、座標インデックスの数を
予め定めた一定の数に制限しておき、これを越える数の
点の座標値および色相値が登録されそうになった場合に
は、新たな画素に対応する点の色相値を距離的に近い既
に登録されている画素に対応する点の色相値と比較し
て、色相値の変化が少ない点から順に、座標テーブルよ
り座標値および色相値を削除してゆく方法を用いてもよ
い。

【００４２】さらに、座標テーブルへの新たな登録を行
うかどうかの判定を行う際に、座標テーブルを予め座標
値のうちのｚの値によってソーティングするなどの処理
を行っておけば、座標値の比較を座標テーブルに登録さ
れた全点に対して行う必要はなくなり、演算量の削減を
図ることができる。

【００４３】［距離画像欠損補償ステップ１０５につい
て］図８は、図１のステップ１０５で行われる距離画像
の欠損補償処理の詳細を示すフローチャートである。こ
の処理は、ステップ８０１〜８１３の視点毎のループの
中にステップ８０２〜８１２の画素毎のループが存在
し、さらにその中にステップ８０５〜８１１の座標テー
ブル上の座標インデックスのループが存在するという構
造になっている。

【００４４】まず、ステップ８０１で視点をスタートの
視点（例えば角度＝０°の視点）にセットし、視点毎の
処理のループを開始する。次に、ステップ８０２で新し
い視点処理の開始毎に画素位置を視点画像の初期位置
（例えば画像の左上（０，０）の位置）にセットし、画
素毎の処理ループを開始する。次に、ステップ８０３で
その画素位置に有効な距離情報が存在するかどうかを判
定し、有効な距離情報が存在する画素は補償の必要がな
いので、以降の処理をスキップする。

【００４５】有効な距離情報が存在しない画素には、背
景に対応する画素と、被写体に対応してはいるが、距離
情報が欠損している画素の２種類が含まれるので、ステ
ップ８０４で有効な距離情報が存在しない画素が背景で
あるか否かをテクスチャ画像の画素値を利用して判定す
る。前述したように、テクスチャ画像は背景で固有の画
素値を持っているので、このような判定が可能となる。
背景と判定した画素については、以降の処理をスキップ
する。

【００４６】次に、ステップ８０５以降の座標値毎のル
ープでは、図１のステップ１０４で座標テーブルに登録
された座標値の中から、現在処理している距離情報欠損
画素の座標値に代替させる座標値（以下、代替座標値と
いう）の候補を選択して絞り込む処理を行う。この処理
では、座標テーブルに登録された座標値の全てについ
て、代替座標値の候補になるかどうかの判定を行う。こ
の処理について、図９も参照しながら詳しく説明する。

【００４７】図９は、現在処理している距離情報欠損画
素を含む距離画像に対応する視点（第１の視点）９０１
と、座標テーブルに座標値が登録された画素群９０２と
の関係を示している。画素群９０２の座標は、基準視点
に固定された座標系（Ｘ−Ｚ座標系）９０４で記述され
たものであるので、処理中は画素群９０２を基準視点と
第１の視点９０１との角度差分だけ回転し、現視点９０
１に固定された座標系（Ｘ’−Ｚ’座標系）９０５での
座標として扱うものとする。面９０６は、現視点９０１
から見た視点画像を入力したときの投影面であり、この
投影面９０６上のある画素９０８に対応する光線の方向
が点線９０７で示される。画素９０８は現在、欠損補償
処理を行おうとする対象の画素（距離情報欠損画素）と
する。

【００４８】図８のステップ８０５では、新しい画素に
ついての処理開始毎に、参照する座標テーブル上の座標
値が０番目のインデックスにセットされる。また、本実
施形態では座標テーブルは画像の走査線に一つずつ存在
し管理されているので、ステップ８０２〜８１２の画素
毎のループで画像の画素位置のｙ座標が変わる毎に、参
照する座標テーブルは切り替えられる。

【００４９】次に、ステップ８０６で現在セットされて
いる座標インデックスで示される座標値が、距離情報欠
損画素９０８に対応する光線の方向９０７に対してある
決められた所定角度θの範囲内に入っているかどうか、
すなわち、この現在セットされている座標インデックス
で示される座標値が距離情報欠損画素９０８の投影元に
なっている可能性があるかどうかを判定する。このθの
値は、画像入力系の中で一画素の占める視野角を基準に
して決められる。座標テーブルヘの座標値の登録はある
誤差範囲を許容して行われているので、θの値も少し余
裕を持って大きめに設定しても良い。この角度θの範囲
内に現在の座標インデックスで示される座標値が入って
いない場合には、以降の処理をスキップしてステップ８
０５に戻り、次の座標インデックスで示される座標値の
処理を行う。

【００５０】ステップ８０６で角度θの範囲内に現在の
座標インデックスで示される座標値が入っている場合に
は、次のステップ８０７でこれらの座標値を代替座標値
の候補として、第１の視点９０１に隣接する第２の視点
に対応する視点画像上に投影し、第２の視点に対応する
視点画像中の投影先の画素の画素値と、第１の視点に対
応する視点画像中の距離情報欠損画素９０８の画素値が
近い値であるかどうかを判定して、これら代替座標値候
補の座標が距離情報欠損画素９０８の投影元になってい
る可能性があるかどうかを確認する（ステップ８０
８）。この処理は、言い換えれば現在セットされている
座標インデックスで示される座標値上にある点が隣の視
点に映っている画素の位置を求め、その画素の画素値と
距離情報欠損画素９０８の画素値とを比較して、その差
が所定の閾値以下かどうかを判定することで、両者の画
素値が近いかどうかを判定するものである。

【００５１】ここで、隣接視点の求められた画素位置の
距離画像に有効な距離情報が存在する場合は、その座標
値同士が近い値であるかどうか（両者を比較するために
は座標値を同じ座標系、例えば隣接視点に固定された座
標系に変換して比較を行う必要がある）も同時に判定す
れば、より正確な判定を行うことができる。

【００５２】ステップ８０８において投影先の画素の画
素値で距離情報欠損画素９０８の画素値が近い値でない
と判定されたものは、距離情報欠損画素９０８の投影元
になっていないと判断して以降の処理をスキップし、ス
テップ８０５に戻って次の座標インデックスの処理に移
る。投影先の画素の画素値が処理対象欠損画素９０８の
画素値に近い値の場合、その座標インデックスで示され
る座標値は代替座標値の候補と考えられ、この候補が複
数ある場合には、奥行きが最も手前にある座標を最終的
な代替座標値として選択するものとする。

【００５３】そこで、次のステップ８０９では、現在セ
ットされている座標インデックスで示される座標値を現
在の視点の座標系９０５に変換した座標値ｚ’が、現処
理対象画素９０８に対して今まで候補として選ばれた座
標インデックスのｚ’のうちで一番小さい値を持つもの
（すなわち、一番手前にあるもの）よりも小さい値であ
るかどうかを判定し、もしそうであれば、ステップ８１
０でその座標インデックスで示される座標値を代替座標
値の候補としてセットする。最終的に全ての座標インデ
ックスを調べ終わった時点、つまりステップ５１１でＹ
のとき、セットされている座標インデックスが代替座標
値を表す座標インデックスとなる。

【００５４】例えば図９の例の場合には、距離情報欠損
画素９０８に対応する光線方向９０７に対して角度θの
範囲内に入っていて、かつステップ８０８における画素
値の判定条件を満たした座標値の中で、一番手前にある
画素９０３の座標値が代替座標値として最終的に選択さ
れる。ここで、代替座標値を座標値でなく座標インデッ
クスとして保持しておけば、３次元データ作成処理全体
における次のステップである座標インデックス抽出にお
いて補償された画素については、座標インデックスを再
度探索する処理を行う必要はない。上述したステップ８
０３〜８１１の処理をステップ８１２及びステップ８１
２の判断を経て、全ての画素及び全ての視点について行
うことにより、距離画像の欠損補償処理が終了する。

【００５５】［座標インデックス抽出ステップ１０６に
ついて］図１のステップ１０６では、ステップ１０２で
入力された各視点の距離画像の各画素の座標値を座標テ
ーブルとの対応により座標インデックスで表現し、その
座標インデックスを第１の座標インデックスとして抽出
する。具体的には、各視点の距離画像を座標テーブルの
登録時に基準とした基準視点の画像（先の例では０°の
視点画像）上に投影して、座標テーブルに登録された全
点の座標値と比較し、距離画像の各画素の座標値が座標
テーブルに登録されたどの点の座標値と近いかを確認し
ながら、座標インデックスとの対応を調べ、対応する座
標インデックスを第１の座標インデックスとして抽出す
る。

【００５６】距離画像の一つの画素に複数の座標インデ
ックスが対応した場合には、座標値がより近い方の座標
インデックスを対応付ける。距離画像の画素のうち、対
応する座標インデックスがなかった画素については距離
情報を削除し、後述の幅を持った投影で補償するものと
する。この時点で、各視点に対して各画素にテクスチャ
と座標インデックスで表現された距離情報が確定した状
態になる。

【００５７】さらに、ステップ１０６では、距離画像欠
損補償ステップ１０５で決定された距離情報欠損画素の
座標値に対する代替座標値についても、それぞれ座標テ
ーブルに登録された座標値の登録位置を示す座標インデ
ックスで表現し、その座標インデックスを第２の座標イ
ンデックスとして抽出する。

【００５８】［投影ステップ１０７について］図１のス
テップ１０７では、ステップ１０６で抽出された座標イ
ンデックスで示される座標値に基づいて、ステップ１０
１で入力された多視点画像を構成する各視点画像の画素
を隣接する視点画像上に投影する。この処理を説明する
ために、まず図１０により光線空間の概念を用いて視点
と投影の関係について述べる。

【００５９】光線空間の考え方の詳細な説明は、前述し
た苗村らの文献２に譲るが、図１０で実線で示された曲
線１００１，１００２は実際に入力された視点画像の画
素が存在する面、点線で示された曲線１００３は生成し
ようとしている新しい視点の視点画像の画素が存在する
面である。なお、以下の説明では曲線１００１，１００
２，１００３を視点画像とも呼ぶ。図１０の曲線１００
４，１００５は被写体面上のある点から発せられる光線
群に対応する軌跡である。また、縦軸θは光線の向いて
いる方向、横軸ｐは光線と図２の被写体２０１の回転軸
２０５との距離を表すパラメータである。

【００６０】ここで、図１１を用いて光線空間のｐ−θ
の関係について説明する。図１０の曲線１００１，１０
０２，１００４，１００５は全て正弦曲線またはその一
部であり、図１１に示すように３次元空間上のある点１
１０１を通る光線の集合について、各光線の方向θと回
転軸２０５との距離ｐとの関係を示したものである。こ
の関係はｐ＝ｒｓｉｎ（ψ−θ）で表され、図１１より
幾何学的に直ちに求まる。例えば、図９中に示す距離ｐ
２はｐ２＝ｒｓｉｎ（ψ−θ２）で表される。ここで、
ｒは回転軸２０５と点１１０１との間の距離、またψは
回転軸２０５と点１１０１を結ぶ直線１１０２の方向を
持つ角度となる。

【００６１】図１０の曲線１００４，１００５は被写体
面上の点のように回転軸２０５に比較的近い点を通る光
線群であり、小さい値のｒを持つ正弦曲線になってい
る。これに対して、曲線１００１，１００２は回転軸２
０５から遠く離れた視点を通る光線群であるので、大き
い値のｒを持つ正弦曲線の一部になっている。このよう
に視点画像は、その視点を通る光線の集合によりできて
いると考えることができる。

【００６２】図１０において、例えば実際に入力された
視点画像１００１上の点１００６に対応する画素（な
お、画素は光線が撮影されたものであるから、画素と光
線は、図上の点との対応という意味では同じものとして
説明する）から新たに作成すべき任意視点画像１００３
上の点１００７に対応する画素を求める操作が投影によ
る画素の作成操作である。すなわち、視点画像１００１
上で点１００６の位置の画素が任意視点画像１００３上
で写っている位置の点１００７を求め、この座標値で示
される点１００７に点１００６の画素を配置する。これ
を複数の画素に対して行うことにより、任意視点画像１
００３が作成される。

【００６３】［投影幅決定ステップ１０８について］図
１０では投影を曲線で表現したが、実際の画素はある幅
を持ってサンプルされたものになっているため、投影に
際してはある幅（これを投影幅という）を設定すること
が必要である。以下、図１２および図１３により投影幅
の設定の必要性と投影幅の決定手順について説明する。

【００６４】図１２は、投影幅の設定の必要性について
説明する図であり、視点１２０１より被写体面上の一つ
の画素を見ている様子を２次元的に表している。この場
合、被写体面が面１２０３のように視点１２０１の方向
（視線方向）に対して直交しているときは視野角θ０で
あるが、視点１２０１以外の他の方向から見た場合に
は、この面１２０３に対してより狭い視野角θ１を占め
るようになる。一方、被写体面が面１２０２のように視
線方向に対して傾いている場合、この面１２０２に直交
する方向により近い視点１２０４から面１２０２を見た
場合、より広い視野角θ２を占めるようになる。従っ
て、２次元に投影を行う場合、画素幅を広げて投影しな
いと、隣の画素との間に隙間が空いた、つまり連結性の
ない投影になってしまう。

【００６５】これを解決するため、本実施形態では後述
する任意視点画像の形成に際し、例えば図１０において
曲線１００３の位置に任意視点画像を作成しようとする
場合、この曲線１００３に対応する視点の方向を挟む二
つの視点画像１００１，１００２を用いる。そして、必
要な投影幅を画素毎に求めるために、隣接する二つの視
点画像（図１０では視点画像１００１，１００２）間で
それぞれに付随している座標インデックスにより求めら
れた座標値に従って互いに投影を行い（ステップ１０
６）、投影先の隣接する画素間の領域の座標値および色
相値と、投影先の実際の画素の座標値および色相値とを
比較することによって、各画素毎の投影幅を決定する
（ステップ１０７）。

【００６６】図１３を用いて、具体的に投影幅の決定方
法について説明する。図１３において、視点画像１３０
１上の隣接する二つの画素１３０３，１３０４をそれぞ
れに付随している座標インデックスにより求められた座
標値に従って投影した先がそれぞれ視点画像１３０２上
の画素１３０５，１３０６であったとする。図１３には
示されていないが、投影先の視点画像１３０２上の各画
素には画素値の他に座標値も存在している。この投影先
の視点画像１３０２上の画素の座標値のうち、特に視点
から見て奥行き方向（ｚ方向）の座標値は、投影先の画
素と投影元の画素が同じものであるかどうかの判定に使
用することができる。

【００６７】すなわち、投影先の視点画像１３０２にお
ける画素１３０５と画素１３０６間の領域が投影元の視
点画像１３０１上の画素１３０３または画素１３０４の
視点画像１３０２への投影結果と近い座標値および色相
値を持つ場合、投影元の画素１３０３または画素１３０
４と投影先の画素は同じ被写体面に対応していると判断
できる。この場合、画素１３０５および画素１３０６の
幅を座標値および色相値が近い条件を満足している範囲
内で１画素ずつ、視点画像１３０２上で両者が連結され
るまで広げる。この操作を矢印で示されるように画素１
３０５および画素１３０６についてそれぞれ両側に対し
て行い、両者が連結されたときの大きい方の画素幅を投
影幅として決定する。投影幅は画素毎に、かつ投影の方
向（投影元の視点画像から見た投影先の視点画像の回転
方向に対して順方向または逆方向）毎にそれぞれ設定さ
れる。

【００６８】上記の条件が成立しないときは、画素１３
０３と画素１３０４は被写体面上の離れた点がたまたま
視点画像１３０１では隣同士に映っていた場合や、オク
ルージョンによって視点画像１３０２では見えなくなっ
た場合などであると判断し、画素１３０５および画素１
３０６の幅を広げる処理を行わない。

【００６９】［オクルージョン関係情報決定ステップ１
０９について］上述の説明では新たな視点画像、例えば
図１０の例で視点画像１００３を生成する際に、その視
点方向を挟む二つの視点画像１００１，１００２から投
影を行うとしたが、できるだけ無駄な投影演算を省くた
めに、基本的には二つの視点画像１００１，１００２の
うち一方の視点画像からの投影だけで済ませ、それで足
りない部分だけを他方の視点画像からの投影で補うよう
にすることが望ましい。図１０の例の場合、新たに任意
視点画像１００３を作成する際に、できるだけ視点画像
１００２からの投影だけで済ませるようにする。

【００７０】ここで、一方の視点画像１００２には、例
えば任意視点画像１００３の画素１００９に対応する点
のように、オクルージョンのために映っていない点が存
在する。このような点については、他方の視点画像１０
０１上の対応する画素に、その画素がオクルージョン補
償に使用されることを示すマーク（以下、オクルージョ
ン補償用画素マークという）をオクルージョン関係情報
として付加しておき、視点画像１００１からはそのオク
ルージョン補償用画素マークが付加された画素のみ視点
画像１００３上に投影を行うようにすることにより、オ
クルージョン補償を可能とすると共に、無駄な投影演算
を省くようにする。

【００７１】具体的には、ステップ１０７において図１
３で説明したようにして決定された投影幅で、ある視点
画像からそれに隣接する視点画像上に投影を行ったと
き、投影先の視点画像では被写体が映っているが、投影
結果では画素が存在しない領域や、投影先と投影元で座
標値及び色相値が対応しない領域については、投影先の
画素にオクルージョン補償用画素マークを画素単位で付
加する。

【００７２】より具体的な手順としては、隣接する二つ
の視点画像間でそれぞれに付随している座標インデック
スにより求められた座標値に従って互いに投影を行い、
投影先の各画素の座標値および色相値と、実際の投影結
果の画素の座標値および色相値とを比較することによっ
てオクルージョン関係を調べ、両者の座標値および色相
値が一致しない画素は逆方向の投影時にオクルージョン
関係となると考えて、投影先の画素に対してオクルージ
ョン補償用画素マークを付加する。

【００７３】図１０の例で説明すると、視点画像１００
２から隣接する視点画像１００１に前述した方法で決定
された投影幅で投影を行った場合、視点画像１００１上
の画素１０１０の位置には画素が投影されない。そこ
で、投影先の視点画像１００１における画素１０１０の
ように、隣接する投影元の視点画像１００２から画素が
投影されない画素に対しては、その画素が視点画像１０
０２方向への投影時にはオクルージョン補償に使用され
ることを示すオクルージョン補償用画素マークを付加す
るという操作を視点画像１００１上の全ての画素につい
て行う。以下、同様に隣接する視点画像間で投影する際
のオクルージョン関係を全て調べ、隣接する視点画像か
ら画素が投影されない画素にオクルージョン補償用画素
マークをオクルージョン関係情報として付加する。

【００７４】以上のようにしてオクルージョン関係情報
決定ステップ１０９では、例えば図１０で視点画像１０
０１を投影先、視点画像１００２を投影元としたとき
に、視点画像１００１上で視点画像１００２から投影が
なされない特定の画素にオクルージョン補償用画素マー
クをオクルージョン関係情報として付加する処理を行
う。このようなオクルージョン関係情報を付加すること
により、後述する任意視点画像作成手順に従って、図１
０に示す新たな任意視点画像１００３をこれを挟む隣接
する二つの視点画像１００１，１００２からの投影によ
って作成することが可能となる。

【００７５】［符号化ステップ１１０について］テクス
チャ画像の符号化を行う図１のステップ１１０では、例
えば視点画像内の画素間相関を利用して、圧縮するブロ
ック単位の符号化を行う。任意視点画像の作成時に必要
とされるランダムアクセス性を考慮すると、ブロック毎
に固定長の符号量になっている符号化方式ができれば望
ましい。このような符号化方式としては、例えばブロッ
ク毎のベクトル量子化（ＶＱ）のような方式がある。

【００７６】ランダムアクセスが必要とされるのは、作
成された任意視点画像の再生時であるため、再生時に使
用する３次元画像データのデータ形式を伝送のために更
に圧縮し、受信後再生前に固定長のデータ形式に戻して
使うことも考えられる。この場合、伝送のための圧縮は
可変長で構わない。また、座標値を表すデータとして付
随している座標インデックス情報についても、伝送のた
めには更に可変長に圧縮しても構わない。

【００７７】［多重化ステップ１１１について］図１の
ステップ１１１では、ステップ１１０までの処理で最終
的に作成された各データを多重化してまとめ、３次元画
像データを作成する。３次元画像データの多重化フォー
マットは、図１４に示すように階層的な構造になってお
り、任意視点画像の再生時にランダムアクセスが容易に
なっている。なお、伝送用のフォーマットは既に述べた
ように、この多重化フォーマットを更に圧縮したものに
なっていてもよい。

【００７８】図１４に示す多重化フォーマットは、ＴＶ
会議用のＩＴＵ−Ｔ勧告Ｈ．２６１の多重化フォーマッ
トの記述方法に準じて記述してある。楕円で囲んだ要素
は可変長の符号化要素、四角で囲んだ要素は固定長の符
号化要素である。但し、後述する座標テーブルとＶＱコ
ードブックは、全体としては可変長でも、それらを構成
する要素は固定長であり、これによって任意の部分に容
易にアクセスできるように構成されている。

【００７９】オブジェクトレイヤ、フレームレイヤの情
報には、スタートコード（ＯＳＣ，ＰＳＣ）、エンドコ
ード（ＯＥＣ，ＰＥＣ）などレイヤ固有の情報を含むヘ
ッダおよびトレイラが存在する。スタートコード、エン
ドコードは可変長符号の組み合わせでは表現されないユ
ニークワードである。オブジェクトレイヤのスタートコ
ードＯＳＣにはオブジェクト番号（ＯＮ）、フレームレ
イヤのスタートコードＰＳＣにはフレーム番号（ＰＮ）
の情報が続く。本実施形態では、各視点のテクスチャ画
像は前述したようにベクトル量子化を用いて符号化する
ものとして説明する。

【００８０】図１４（ａ）に示す最上位レイヤであるオ
ブジェクトレイヤは、１セットの多視点画像で表現され
るレイヤであり、アドレステーブル、座標テーブル、Ｖ
Ｑコードブックおよびフレームレイヤから構成される。
アドレステーブルは各視点画像の先頭のアドレスを記述
したテーブルであり、任意視点画像の画像データへのラ
ンダムアクセスを可能にする。座標テーブルは、図５で
説明した座標テーブルのうち、任意視点画像の作成に使
用される座標インデックスと座標値の部分を記述したも
のである。ＶＱコードブックは、テクスチャ画像をベク
トル量子化により符号化する際に使用したコードブック
である。

【００８１】オブジェクトの下のレイヤである図１４
（ｂ）に示すフレームレイヤには、実際の多視点画像デ
ータが含まれている。フレームレイヤのヘッダは、フレ
ーム番号（ＰＮ）を含む。

【００８２】フレームレイヤの下のレイヤは、図１４
（ｃ）に示すブロックレイヤである。ブロックレイヤは
多視点画像を構成する各視点画像のデータであり、各視
点画像内の水平、垂直方向の位置を表すブロックアドレ
ス（ＢＡ）に続き、各画素の座標値を表す座標インデッ
クス、ＲＧＢのテクスチャデータ（ベクトル量子化され
た座標インデックス）、画素毎の投影幅データ、画素毎
のオクルージョン補償用画素マークの情報を示すオクル
ージョンデータをブロック単位でまとめたものである。

【００８３】（任意視点画像の作成方法及び装置）次
に、本発明に係る任意視点画像作成方法及び装置の一実
施形態について説明する。図１５は、任意視点画像の再
生のために使用を想定している装置の典型例である。こ
の装置はＣＰＵ１５００、視点位置・視線方向入力装置
１５０１、ハードディスク装置のような大容量の記憶装
置１５０２、ＲＡＭ１５０３および画像出力装置１５０
４よりなる。

【００８４】次に、図１６に示すフローチャートを用い
て、前述のようにして作成された３次元画像データを使
って任意視点画像を作成する手順を説明する。まず、符
号化された３次元画像データを記憶装置１５０２に入力
する（ステップ１６０１）。入力された３次元画像デー
タは、図１４（ａ）で説明したようにアドレステーブ
ル、座標テーブル、ＶＱコードブックおよび図１４
（ｂ）に示すフレームレイヤのデータが多重化されてお
り、フレームレイヤの中のブロックレイヤは図１４
（ｃ）に示すように座標インデックス、テクスチャデー
タ、投影幅データおよびオクルージョンデータが多重化
されているので、ＣＰＵ１５００でヘッダを解析しなが
ら、これらの各データを分離し（ステップ１６０２）、
アクセスしやすい形でＲＡＭ１５０３に保持する。伝送
用に符号化されているデータがある場合は、そのデータ
を復号して固定長としてからＲＡＭ１５０３に保持す
る。図１５の装置構成の場合、この分離の処理を含めて
以後の処理は全てＣＰＵ１５００で行われる。

【００８５】次に、視点位置・視線方向入力装置１５０
１により、ユーザが再生したい視点画像の視点を指示す
る視点情報（視点位置、視線方向の情報）を入力する
（ステップ１６０３）。視点位置・視線方向入力装置１
５０１としては、バーチャルリアリティの分野で使用さ
れるヘッドマウントディスプレイに位置センサ、方向セ
ンサを取り付けたものなどを用いてもよい。また、ＰＣ
レベルのプラットフォームで手軽に使う手段としては、
例えばＶＲＭＬプラウザで実現されている、表示画面上
に仮想的なレバーやハンドルを表示し、これをマウスな
どのポインティングデバイスで仮想的に操作することに
よって視点位置、視線方向を入力するシステムのよう
に、ソフトウエア的に実現されるものでもよい。以下、
このようにして入力された視点情報により指定された視
点の任意視点画像の作成ループが開始される。

【００８６】まず、ステップ１６０３で入力された視点
情報に基づいて、指定された視点位置から指定された視
線方向を見たときの被写体の回転軸の配置位置を仮想３
次元空間座標上の位置として計算する（ステップ１６０
４）。

【００８７】次に、投影に使用する視点画像データ（座
標インデックス、ＲＧＢのテクスチャデータ、画素毎の
投影幅データ、画素毎のオクルージョンデータ）とし
て、先に説明したように視点と被写体の回転軸を結ぶ方
向に近い角度を持つ二つの視点の視点画像（例えば図１
０の視点画像１００１，１００２）のデータを選択する
（ステップ１６０５）。これら二つの視点画像１００
１，１００２のデータのうち、一方の視点画像１００２
のデータは基本的に全ての画素が使用されるが、他方の
視点画像１００１のデータはオクルージョンデータを参
照して、前述のようにオクルージョン補償用画素マーク
が付加された画素のみをオクルージョンの補償のために
使用する。こうして投影に使用する視点画像のデータが
確定すると、アドレステーブルを参照することでアクセ
スすべきアドレスを知ることができ、使用する視点画像
データに直接アクセスできる。

【００８８】以降、ステップ１６０５により選択された
二つの視点画像（例えば図１０の視点画像１００１，１
００２）のデータを用いてステップ１６０６より始まる
画素毎の処理ループに入る。まず、選択された二つの視
点画像データの各画素（但し、他方の視点画像１００１
のデータは、上述したようにオクルージョン補償用画素
マークが付加された画素のみ）に一画素ずつアクセス
し、その画素に付随している座標インデックスをキーと
して座標テーブルを引くことにより、座標インデックス
を座標値に変換する（ステップ１６０６）。

【００８９】次に、ステップ１６０５で選択された二つ
の視点画像データの画素をステップ１６０６で変換され
た座標値と選択された視点画像に付随している座標イン
デックス（第１または第２の座標インデックス）から求
められる座標値に従って、ステップ１６０３で入力され
た視点情報に基づいて指定された視点画像上に投影する
（ステップ１６０７）。投影先の画素位置の計算は、被
写体の回転軸が視線方向にあるものとして求めた投影先
の画素位置を被写体の回転軸の配置位置と視線方向のず
れの分を考慮して平行移動する補正により行われる。

【００９０】この投影による視点画像の作成に際して
は、座標値の深さ方向（ｚ方向）の値を参照して、異な
る複数の方向からの投影が重畳されて行われる画素につ
いては最も手前にある投影結果が有効になるように制御
を行う。

【００９１】また、投影先の画素の配置に際しては、各
画素に対して投影方向毎に決定された投影幅データで示
される投影幅を参照して行う。すなわち、投影先の画素
位置に投影幅だけ画素幅を左右に広げた画素を配置す
る。その際、投影先の画素の中心に対しては１、画素の
中心から離れるほど０に近づくように画素値を重み付け
して投影を行うことによって、より自然な投影結果を得
ることができる。

【００９２】ここで、投影幅は前述した３次元画像デー
タ作成手順で述べたように、実際に入力された視点画像
間、つまり入力された各視点画像からそれに隣接する入
力された視点画像上に投影を行った場合に対して求めら
れたものであるため、投影時には各視点画像と隣接する
視点画像との角度差および投影先の作成すべき視点画像
との角度差の比率に応じて投影幅を変化させるようにし
てもよい。

【００９３】以上の操作を２つの視点画像の全ての画素
について終了すると、入力された視点情報に基づき指定
された視点についての視点画像の生成が終了するので、
この視点画像を表示する（ステップ１６０９）。そし
て、ステップ１６１０で終了と判定されるまで、新たな
視点情報が入力される度にステップ１６０４〜１６０９
の処理を繰り返すことで、複数の視点情報に対応した視
点画像を作成して表示することにより、インタラクティ
ブな仮想空間の生成を実現する。

【００９４】なお、本発明は上述した３次元画像データ
作成及び任意視点画像作成の手順をパーソナルコンピュ
ータなどに用いるコンピュータプログラムとして記録し
た記録媒体を提供することができる。そのような本発明
に基づく記録媒体の好ましい態様は、次の通りである。

【００９５】（１）コンピュータに３次元画像データの
作成処理を行わせるためのプログラムを記録したコンピ
ュータ読み取り可能な記録媒体であって、複数の視点に
それぞれ対応した複数の視点画像からなる多視点画像及
び各視点にそれぞれ対応した複数の距離画像からなる多
視点距離画像を入力するステップと、各距離画像を特定
の視点からの距離画像にそれぞれ変換するステップと、
変換された距離画像の各画素の座標値を座標テーブルに
登録するステップと、前記各距離画像の各画素の座標値
に対応する、前記座標テーブル上の座標値の登録位置を
示す第１の座標インデックスを生成するステップと、前
記各距離画像における距離情報欠損画素に対して、前記
座標テーブル上の座標値の中から該距離情報欠損画素の
座標値に代替させる代替座標値を決定し、該座標テーブ
ル上の該代替させる座標値の登録位置を示す第２の座標
インデックスを生成するステップと、少なくとも前記各
視点画像のテクスチャを表す視点画像データ、前記座標
テーブル、前記第１及び第２の座標インデックスを多重
化して３次元画像データを出力するステップとを含む処
理を実行するためのプログラムを記録したコンピュータ
読み取り可能な記録媒体。

【００９６】この場合、前記第２の座標インデックスを
生成するステップは、より好ましくは前記座標テーブル
上の座標値の中から、前記距離情報欠損画素を含む距離
画像に対応する第１の視点と該距離情報欠損画素との位
置関係から求まる光線方向を基準として所定角度範囲内
にある複数の座標値を前記代替座標値の候補として絞り
込むステップと、前記代替座標値の候補を前記第１の視
点に隣接した第２の視点に対応する視点画像上に投影
し、該第２の視点に対応する視点画像中の投影先の画素
の画素値と前記第１の視点に対応する視点画像中の前記
距離情報欠損画素の画素値とを比較して、この比較結果
に基づき前記代替座標値の候補から一つの前記代替座標
値を決定するステップとを有する。

【００９７】（２）コンピュータに上記（１）記載の３
次元画像データ作成方法により作成された３次元画像デ
ータを用いて、指定された任意の視点から見た任意視点
画像を作成する処理を行わせるためのプログラムを記録
したコンピュータ読み取り可能な記録媒体であって、前
記３次元画像データ中の前記指定された任意の視点に対
応する少なくとも一つの視点画像データを選択するステ
ップと、選択された視点画像データの各画素に対応する
前記第１または第２の座標インデックスから該画素の座
標値を求めるステップと、求められた座標値に従って前
記選択された視点画像データの各画素を前記指定された
任意の視点な対応する視点画像上に投影するステップと
を含む処理を実行するためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体。

【００９８】

【発明の効果】以上説明したように、本発明の３次元画
像データ作成方法によれば、非常に細かい形状をもつ被
写体に対しても対応できるイメージベーストレンダリン
グの手法を用いて任意視点画像作成する際、各視点の距
離画像を特定の視点からの距離画像に変換して、その変
換された距離画像の各画素の座標値を座標テーブルに登
録し、この座標インデックスを３次元画像データに座標
情報として含ませることにより座標情報の増加を抑える
ことができ、さらに座標情報の増加を押さえるために導
入した座標テーブルを利用して、各視点に対して入力さ
れた距離画像に存在する距離情報の欠損を複雑な処理を
施すことなく有効に補償することが可能となる。

【００９９】また、本発明の３次元画像データ作成方法
によれば、距離画像の座標情報を座標インデックスとし
て表現することにより、３次元画像データから任意視点
画像を作成する際に必要な座標情報の増加を抑えること
ができる。

【図面の簡単な説明】

【図１】 本発明に係る３次元画像データ作成方法の一
実施形態を説明するフローチャート

【図２】 図１の多視点画像および多視点距離画像入力
ステップで使用する入力装置の一例を示す図

【図３】 基準視点への座標値変換を説明する図

【図４】 座標値を座標テーブルに登録する際に座標値
をまとめる処理を説明する図

【図５】 座標テーブルの構成を示す図

【図６】 座標テーブルを定義する対象を説明する図

【図７】 座標値の座標テーブルへの登録手順を説明す
るフローチャート

【図８】 距離画像の欠損補償処理手順を示すフローチ
ャート

【図９】 座標テーブル上に登録された点群から距離画
像の欠損補償に用いる代替座標値を求める処理について
説明する図

【図１０】 本発明に係る投影とオクルージョンについ
て説明する図

【図１１】 光線空間のｐ−θの関係につき説明する図

【図１２】 画素の投影幅設定の必要性について説明す
る図

【図１３】 画素の投影幅設定につき説明する図

【図１４】 本発明に係る３次元画像データのフォーマ
ットを説明する図

【図１５】 本発明で任意視点画像を作成する装置の構
成例を説明する図

【図１６】 本発明に係る任意視点画像作成方法の一実
施形態を説明するフローチャート

【符号の説明】

２０１…被写体 ２０２…回転台 ２０３…レンジファインダ ２０４…制御装置 ２０５…回転軸 ２０６…レンジファインダの光軸 ２０７…ｙ＝一定の平面 ９０１…現視点 ９０２…画素群 ９０３…代替座標値の画素 ９０４，９０５…座標系 ９０６…投影面 ９０７…光線方向 ９０８…距離情報欠損画素 １５００…ＣＰＵ １５０１…視点位置・視線方向入力装置 １５０２…記憶装置 １５０３…ＲＡＭ １５０４…画像出力装置

Claims (5)

【特許請求の範囲】
1. 【請求項１】複数の視点にそれぞれ対応した複数の視点
   画像からなる多視点画像及び各視点にそれぞれ対応した
   複数の距離画像からなる多視点距離画像を入力するステ
   ップと、 各距離画像を特定の視点からの距離画像にそれぞれ変換
   するステップと、 変換された距離画像の各画素の座標値を座標テーブルに
   登録するステップと、 前記各距離画像の各画素の座標値に対応する、前記座標
   テーブル上の座標値の登録位置を示す第１の座標インデ
   ックスを生成するステップと、 前記各距離画像における距離情報欠損画素に対して、前
   記座標テーブル上の座標値の中から該距離情報欠損画素
   の座標値に代替させる代替座標値を決定し、該座標テー
   ブル上の該代替させる座標値の登録位置を示す第２の座
   標インデックスを生成するステップと、 少なくとも前記各視点画像のテクスチャを表す視点画像
   データ、前記座標テーブル、前記第１及び第２の座標イ
   ンデックスを多重化して３次元画像データを出力するス
   テップとを有することを特徴とする３次元画像データ作
   成方法。
2. 【請求項２】前記第２の座標インデックスを生成するス
   テップは、 前記座標テーブル上の座標値の中から、前記距離情報欠
   損画素を含む距離画像に対応する第１の視点と該距離情
   報欠損画素との位置関係から求まる光線方向を基準とし
   て所定角度範囲内にある複数の座標値を前記代替座標値
   の候補として絞り込むステップと、 前記代替座標値の候補を前記第１の視点に隣接した第２
   の視点に対応する視点画像上に投影し、該第２の視点に
   対応する視点画像中の投影先の画素の画素値と前記第１
   の視点に対応する視点画像中の前記距離情報欠損画素の
   画素値とを比較して、この比較結果に基づき前記代替座
   標値の候補から一つの前記代替座標値を決定するステッ
   プとを有することを特徴とする請求項１記載の３次元画
   像データ作成方法。
3. 【請求項３】請求項１または２項記載の３次元画像デー
   タ作成方法により作成された３次元画像データを用い
   て、指定された任意の視点から見た任意視点画像を作成
   する方法であって、 前記３次元画像データ中の前記指定された任意の視点に
   対応する少なくとも一つの視点画像データを選択するス
   テップと、 選択された視点画像データの各画素に対応する前記第１
   または第２の座標インデックスから該画素の座標値を求
   めるステップと、 求められた座標値に従って前記選択された視点画像デー
   タの各画素を前記指定された任意の視点に対応する視点
   画像上に投影するステップとを有することを特徴とする
   任意視点画像作成方法。
4. 【請求項４】コンピュータに３次元画像データの作成処
   理を行わせるためのプログラムを記録したコンピュータ
   読み取り可能な記録媒体であって、 複数の視点にそれぞれ対応した複数の視点画像からなる
   多視点画像及び各視点にそれぞれ対応した複数の距離画
   像からなる多視点距離画像を入力するステップと、 各距離画像を特定の視点からの距離画像にそれぞれ変換
   するステップと、 変換された距離画像の各画素の座標値を座標テーブルに
   登録するステップと、 前記各距離画像の各画素の座標値に対応する、前記座標
   テーブル上の座標値の登録位置を示す第１の座標インデ
   ックスを生成するステップと、 前記各距離画像における距離情報欠損画素に対して、前
   記座標テーブル上の座標値の中から該距離情報欠損画素
   の座標値に代替させる代替座標値を決定し、該座標テー
   ブル上の該代替させる座標値の登録位置を示す第２の座
   標インデックスを生成するステップと、 少なくとも前記各視点画像のテクスチャを表す視点画像
   データ、前記座標テーブル、前記第１及び第２の座標イ
   ンデックスを多重化して３次元画像データを出力するス
   テップとを含む処理を実行するためのプログラムを記録
   したコンピュータ読み取り可能な記録媒体。
5. 【請求項５】コンピュータに請求項１または２項記載の
   ３次元画像データ作成方法により作成された３次元画像
   データを用いて、指定された任意の視点から見た任意視
   点画像を作成する処理を行わせるためのプログラムを記
   録したコンピュータ読み取り可能な記録媒体であって、 前記３次元画像データ中の前記指定された任意の視点に
   対応する少なくとも一つの視点画像データを選択するス
   テップと、 選択された視点画像データの各画素に対応する前記第１
   または第２の座標インデックスから該画素の座標値を求
   めるステップと、 求められた座標値に従って前記選択された視点画像デー
   タの各画素を前記指定された任意の視点に対応する視点
   画像上に投影するステップとを含む処理を実行するため
   のプログラムを記録したコンピュータ読み取り可能な記
   録媒体。