JP2005332028A - ３次元グラフィックスデータ作成方法、テクスチャ画像作成方法、多次元データ符号化方法、多次元データ復号方法及びそれらの方法を実現するための装置、並びにそれらの方法を実現するためのプログラム - Google Patents

Abstract

【課題】３次元モデルのレンダリングの演算量の削減を目的とする。
【解決手段】従来ではデータ用モデルを用いてレンダリングを行うようにしている。しかし、これではレンダリングに用いる３角形パッチの数が多くなり過ぎてしまい、レンダリングの演算量が膨大なものとなってしまう。そこで、データ用モデルよりも頂点数の少ないレンダリング用モデルを用い、テクスチャマッピングによってレンダリングを行うという構成を採る。これによりレンダリングに用いる３角形パッチの数を減らせる。しかし、それでは３次元モデルにマッピングするテクスチャが粗くなってしまう。そこで、データ用モデルから求まる属性値をレンダリング用モデルに対応付けられるテクスチャ画像のテクセル値として設定するという構成を採る。この構成に従って、従来技術と同レベルのレンダリング画像を得ながら、レンダリング量の演算量を大幅に削減できるようになる。
【選択図】図１４

Description

本発明は、３次元コンピュータグラフィックスに用いられる３次元グラフィックスデータ作成方法及びその装置と、その３次元グラフィックスデータ作成方法の実現に用いられる３次元グラフィックスデータ作成プログラムと、３次元コンピュータグラフィックスに用いられるテクスチャ画像作成方法及びその装置と、そのテクスチャ画像作成方法の実現に用いられるテクスチャ画像作成プログラムと、３次元コンピュータグラフィックスに用いられる多次元データ符号化方法及びその装置と、その多次元データ符号化方法の実現に用いられる多次元データ符号化プログラムと、３次元コンピュータグラフィックスに用いられる多次元データ復号方法及びその装置と、その多次元データ復号方法の実現に用いられる多次元データ復号プログラムとに関する。

まず、以下の説明で頻繁に利用する“３次元モデル”という言葉に関して厳密な定義を与えておく。なお、以下、ベクトルｘについては“＜ｘ＞”と記述している。

以下では３次元モデルは３角形パッチで構成されるものであるとし、３次元モデルを構成する頂点の数をvertices、３角形の数をfaces としたとき、３次元モデルは３次元空間における頂点の座標値＜ｖ_i ＞＝（ｖ_i,x , ｖ_i,y , ｖ_i,z )(i=1,2,..,vertices)とその連結情報とで構成されるものであるとする。

ここで、連結情報とは、各３角パッチを構成する３つの頂点のインデックスの情報、＜ｆ_j ＞＝（ｆ_j,1 , ｆ_j,2 , ｆ_j,3 )(f=1,2,..,faces）である。なお、ｆ_j,k はｉ＝1,2,..,vertices のいずれかの値をとる。また、各３角形パッチは、２つの頂点のペアを直線で結んだ辺で構成されるが、３次元モデル中で辺を構成する頂点のペアを“エッジ”と呼ぶこととする。

データ圧縮の際に従来から用いられている信号処理手法として、ウェーブレット変換がある。ウェーブレット変換には大きく分けて、“First Generation Wavelets ”と呼ばれる手法と、“Second Generation Wavelets”と呼ばれる手法の２種類の方法があり、いずれの手法も、３次元モデル上に対応付けられた数値データである属性情報（色データなど）の処理に用いることができる。

いずれの手法においても、３次元モデルの面上に、３次元座標＜ｖ_i ＞＝（ｖ_i,x , ｖ_i,y , ｖ_i,z )(i=１,2,..,V)を定義し、これらの３次元座標でサンプリングされた色データなどの属性情報＜ｃ＞＝（ｃ₁,ｃ₂,...,ｃ_V ）を、ウェーブレット変換係数と呼ぶＶ個の係数列に変換する。なお、ウェーブレット変換のアルゴリズムに関しては、非特許文献１に詳細に記載されているが、サブバンド分割を再帰的に繰り返し行うことで実現される。

ウェーブレット変換係数の数は３次元モデル上で定義された３次元座標の数Ｖと同じであるが、隣接する３次元座標に対応した属性情報ｃ_i の相関が大きければ、数少ないウェーブレット係数にエネルギーが集中する。従って、数多くの、絶対値が小さいようなウェーブレット変換係数を０とおいて、逆変換を行って復元された属性情報＜ｃ' ＞は元の数値データ＜ｃ＞に対する良い近似となる。

このようなウェーブレット変換係数の性質を利用して、高効率な圧縮や、ノイズ除去などのフィルタリング処理を行える。“First Generation Wavelets"のアルゴリズムに関しては非特許文献１に、また、“Second Generation Wavelets”のアルゴリズムに関しては非特許文献２に、それぞれ詳細に記載されている。

なお、３次元モデルが“細分割接続性”という制約を満たしており、３次元モデルの各頂点の３次元座標において属性情報がサンプリングされている場合、“Second Generation Wavelets”のウェーブレット変換を適用することが可能である。

細分割接続性とは、３次元モデルの形状や各頂点の座標値などの幾何的な性質とは無関係であり、３次元モデルが有す各頂点の連結性に関するものである。具体的には、細分割接続性とは次のように定義されている。

まず、説明のための例として図１６で与えられるような３次元モデルを考え、これをベースメッシュと呼ぶこととする。図１７のように、３次元モデルの中で連結しているエッジ（頂点と別の頂点を結ぶ線）が６つである頂点を“正則な頂点（regular vertex）”と呼び、つながっているエッジの数が６でない頂点を“非正則な頂点（extraordinary vertex）”と呼ぶ。図１６のベースメッシュでは、いずれの頂点においても連結しているエッジの数が４であり、非正則である。

ここで、このベースメッシュの各エッジを２つのエッジに分割して一つ頂点を挿入し、図１８に示してあるように、３角形を４つのより小さな３角形に分割するようにエッジで他の頂点と連結する。ここで、挿入された頂点の座標値は任意であるが、図１８ではエッジの両端の頂点の中点としている。

すると、図１９（ａ）に示すような３次元モデルを得る。ここで新しく挿入された頂点からは必ず６つのエッジが出ており、これらの頂点は正則である。この処理を３回繰り返すと図１９（ｂ）のような３次元モデルを得る。この３次元モデルでは、ベースメッシュの頂点以外はすべて正則である。

前述の、各エッジに新しい頂点を挿入して連結するという処理はサブディビジョンと呼ばれ（新しい頂点の座標値は任意である）、サブディビジョンを再帰的に繰り返すことで、正則な頂点を生成していくことができる。このように、任意のベースメッシュに対してサブディビジョンを１回以上繰り返し行うことによって得られた、より密な３次元モデルの頂点の連結関係を細分割接続性と呼ぶ。

ここで、以下で頻繁に利用する、細分割接続性に関連した用語の定義を行っておく。

まず、細分割接続性を満たす３次元モデルの“階層数”とは、ベースメッシュに対してサブディビジョンを行った回数と関係する。具体的には、ベースメッシュにＳ回サブディビジョンを行って得られた３次元モデルの階層数はＳ＋１であるとし、ベースメッシュは“１番目の階層の３次元モデル”と呼び、“Ｓ^# 番目の階層（ただし、Ｓ≧Ｓ^# ）に対応した３次元モデル”とは、ベースメッシュにＳ^# −１回サブディビジョンを行った３次元モデルであるとする。頂点に対応付けられた属性情報の性質によっては、３次元モデルの階層数を多くしておくことによって、ウェーブレット変換を適用した際に数少ないウェーブレット変換係数にエネルギーが集中し、データ圧縮に有効になる。

また、“Ｓ^# 番目の階層に対応した頂点”とは、Ｓ^# −１回サブディビジョンで追加された頂点である。なお、Ｓ^# 番目の階層に対応したある頂点ｖは、Ｓ^# −１番目の階層の３次元モデルのいずれかのエッジを分割することで追加されているが、このエッジを“頂点ｖに対応するＳ^# −１番目の階層のエッジ”と呼ぶこととする。

また、図１８に示されているように、Ｓ^# 番目の階層の３角形は４つの３角形に分割されるが、サブディビジョンを繰り返し行ったことにより、３角形ｔが分割されて得られた３角形を“３角形ｔの子孫の３角形”と呼ぶこととする。

なお、一般的な３Ｄスキャナやモデリングツール等で作成された３次元モデルは、細分割接続性を満たすとは限らないので、任意の３次元モデルを入力として、入力を良く近似するような、細分割接続性を満たす３次元モデルを作成する“再メッシュ化”と呼ばれる手法が従来から利用されてきた。再メッシュ化と呼ばれる手法の一例としては、非特許文献３に記載されているＭＡＰＳなどがある。

次に、ウェーブレット変換係数の符号化に関して説明する。

一般的に、符号化されたビットストリームの一部分を復号するだけで符号化対象のデータが復元可能であり（ただし、復元されたデータは誤差を含む）、尚且つ符号化ビットを追加していくことによって段階的に復元されたデータの誤差を小さくしていくことが可能な符号化方法を“プログレッシブ符号化”と呼ぶ。なお、プログレッシブ符号化においては、ビットストリームで先に復号するビット列ほど、復元されたデータの誤差を小さくできる傾向があることが望ましい。

このような符号化によれば、ビットストリームを受信して復号する端末における伝送速度が遅い場合や、処理能力不足によってビットストリーム全体からデータを復元することに膨大な時間を要す場合に、高速にビットストリームの一部のみからデータを復元することが可能となる。なお、前述のウェーブレット変換を利用した場合の、ウェーブレット変換係数のプログレッシブ符号化を可能とする方法としては、非特許文献４や非特許文献５に記載されているＳＰＩＨＴ符号化などがある。

一方、３次元コンピュータグラフィックスの技術分野において、３次元モデルを利用して任意視点画像を作成する技術がある。

この技術では、予め何らかの実物体を様々な視点から撮影した画像から、その実物体の形状を近似した３次元モデルに“光線情報”を対応付けておき、レンダリング時には、３次元モデルと光線情報とを利用して任意視点画像を作成する。

ここで、光線情報とは、３次元モデル上のある位置において、ある方向に放たれる光線の色情報（例えばＲＧＢ強度）を表す。光線情報の概念を図２０に示す。光線情報を対応付ける点（３次元座標）を３次元モデル上に一様に多数定義しておき、それらの各点において多方向の光線情報を取得しておけば、任意視点画像を作成することが可能である。このように、３次元モデルに対応付けられた光線情報の集合体をSurface Light Fields（以下、ＳＬＦ）と呼ぶ。

ＳＬＦは３次元モデル上の多数の点において、多方向に関する光線情報を含むので、データ量が大きい。従って、データ圧縮が必要である。ＳＬＦのプログレッシブ符号化を実現する方法としては、非特許文献６に記載されているＭagnor らの手法がある。この手法では、ＳＬＦに４次元ウェーブレット変換を行い、ウェーブレット変換係数にＳＰＩＨＴ符号化を行うことでプログレッシブな符号化を実現している。

なお、前述のように３次元モデルの頂点に色が対応付けられている場合のレンダリング方法として一般的なのは、３角形内の色を、その３角形の３つの頂点の補間値とする手法である。この手法は、一般的な消費者に利用されているパーソナルコンピュータに採用されているグラフィックスアクセラレータにも実装されており、実時間レンダリングによく用いられる。
Stephane Mallat, "A theory for multiresolution signal decomposition: The wavelet representation" IEEE Transactions on Pattern Analysis and Machine Intelligence, 11(7), pp.674-693, July 1989 P. Schroeder and W. Sweldens, Spherical Wavelets: Efficiently Representing Functions on the Sphere, Computer Graphics Proceedings, SIGGRAPH 1995, pp.161-172. Lee, A. W. F., Sweldens, W., Schroder, P., Cowsar, L., and Dobkin, D. "Maps: Multiresolution adaptive parameterization of surfaces", Proceedings of SIGGRAPH98 (1998), 95-104. SAID, A., AND PEARLMAN, W. A New, Fast, and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees. IEEE Transaction on Circuits and Systems for Video Technology 6, 3 (1996), 243-250. Khodakovsky, A. "Progressive Geometry Compression" ACM Transactions on Graphics, 1 (2000), 271-278. M. Magnor and B. Girod. Model-based coding of multiviewpoint imagery. SPIE Conference on Visual Communications and Image Processing, pages 14-22, 2000.

本発明では、以下の２つの技術を提供することを目的とする。

（ｉ）細分割接続性を満たす３次元モデルの頂点に色などの属性情報が対応付けられている場合の、レンダリング時の演算量に関する従来の技術の課題を解決する方法
（ii）従来のＳＬＦのプログレッシブ符号化の課題を解決する方法
まず、前者の課題に関して説明する。

前述のように、細分割接続性を満たす３次元モデルの頂点に対応付けられた属性情報（色や前述の多方向の光線情報）にプログレッシブ符号化を行う場合には、ウェーブレット変換（ここでのウェーブレット変換は“Second Generation Wavelets”である）を利用することが考えられるが、例えば、自然画像に見られるような細かい模様などを３次元モデル上に与えるような場合には、数多くの頂点で光線情報をサンプリングしなければならなく、３次元モデルの頂点の数を膨大に要する。つまり、３次元モデルの３角形の数を膨大に要する。

３次元モデルのレンダリングの演算量の大部分は隠面・隠線消去処理（隠れてレンダリング画像に表れない面とエッジの検出処理）に関するものである。３次元モデルの３角形の数が多いと、隠面・隠線消去処理の演算量が大きくなり、高速なレンダリングが実現できない。

次に、後者の従来のＳＬＦのプログレッシブ符号化の課題について説明する。

従来のＳＬＦのプログレッシブ符号化を実現する方法としては、前述した非特許文献６に記載されているＭagnor らの手法がある。この手法で圧縮されたＳＬＦを復元して任意視点画像をレンダリングする場合、ＳＰＩＨＴで符号化されたビット列を復号してウェーブレット変換係数を求め、逆ウェーブレット変換によってＳＬＦを復元し、任意視点画像をレンダリングすることになる。

しかし、この方法ではＳＬＦに含まれる光線情報を全て復元するため、ＳＬＦがレンダリングを行う端末のメモリ容量を超えるような場合は、任意視点画像を作成する際の処理時間が膨大となってしまう問題がある。

一般的に、任意視点画像の作成に際しては、ＳＬＦに含まれる全ての光線情報を復元する必要はない。実際には、その時点での仮想カメラの視点位置、視線方向に対応した光線情報のみ復元すればよい。

従来の手法で必要な光線情報のみ復元し、メモリの使用量を削減する場合、（イ）ＳＰＩＨＴビットストリームからその時点で必要な光線情報を復元するために必要なウェーブレット変換係数を復号して、（ロ）その復号したウェーブレット変換係数から光線情報を復元する、といった方法が容易に類推できる。

ここで、（ロ）の処理を行うために必要な演算量に着目する。この（ロ）の処理量は、４次元ウェーブレット変換において、４次元空間上でサブバンド分割を行う回数に依存する。４次元ウェーブレット変換は４次元空間上でサブバンド分割を繰り返し行うことで実現される。詳しくは前述の非特許文献１に記載されている。

各次元におけるサブバンド分割は一回のみであり（４次元ウェーブレット変換アルゴリズムの最も低演算量である実現方法である）、尚且つサブバンド分割に使用するフィルタのタップ数をＦと表すと、ＳＬＦに含まれる光線情報一つあたり、
ΣＦⁱ （２Ｆ−１）
ただし、Σはｉ＝０〜３の総和
という積和演算量が必要となる。

この式で表される演算量で、インタラクティブな任意視点画像のレンダリングを実現することは困難である。ここで、“インタラクティブな任意視点画像のレンダリング”とは、仮想カメラの視点位置、視線方向を変更した際に、デジタル動画像と同程度のフレームレートで任意視点画像をレンダリングするということである。

従って、従来のＳＬＦのプログレッシブ符号化に基づいて少ないメモリ量で任意視点画像のレンダリングを行う場合は、演算量の面で問題がある。

本発明は、以上に説明した従来技術の課題を解決する方法を提供するものである。

ここで、本発明の説明の前に、本発明が前提としている要素技術であるテクスチャマッピングについて簡単に説明しておく。なお、このテクスチャマッピングについては、次の参考文献１に詳しく記載されている。

〔参考文献１〕Foley, J. D., Feiner, S. K., Hughes, J. F., "Computer Graphics, Principles and Practice, Second Edition", Addison-Wesley, 1990
テクスチャマッピングでは、所望の柄を表現した画像を３次元モデルに貼り付けることによってレンダリングを行う。一般的なテクスチャマッピングでは、テクスチャ画像（３次元モデルに貼り付けたい画像）を２次元矩形平面ととらえ、３次元モデルの各３角形の頂点に対応した２次元矩形平面上の座標を定義する。

つまり、３角形＜ｆ_j ＞＝（ｆ_j,1 , ｆ_j,2 , ｆ_j,3 ）に対して、３つの２次元座標値列＜ｔ_j ＞＝（＜ｔ_j,1 ＞ _,＜ｔ_j,2 ＞ _,＜ｔ_j,3 ＞）を与える。すると、図２１に示すように、その２次元矩形平面上に３次元モデルの各３角形に対応した３角形の領域ができる。レンダリング時には、これらの３角形領域を３次元モデルの各３角形に貼り付けることによってレンダリングを行う。

また、以下では頻繁に“３次元グラフィックスデータ”という言葉を利用するが、これは、３次元モデルとその頂点等に対応付けられた３次元モデルの属性情報（色、法線データ、など）とを表すものとする。

〔１〕本発明の位置づけ
本発明の位置づけについて整理しておく。

本発明は、３次元グラフィックスデータ作成装置と、テクスチャ画像作成装置と、多次元データ符号化装置と、多次元データ復号装置とで実現される。

本発明の３次元グラフィックスデータ作成装置が動作することで実現される本発明の３次元グラフィックスデータ作成方法は、以下に説明する第１の発明、第２の発明、第３の発明、第４の発明に該当する。

また、本発明のテクスチャ画像作成装置が動作することで実現される本発明のテクスチャ画像作成方法は、以下に説明する第５の発明、第６の発明、第７の発明に該当する。

また、本発明の多次元データ符号化装置が動作することで実現される本発明の多次元データ符号化方法は、以下に説明する第８の発明、第９の発明、第１０の発明、第１１の発明、第１２の発明、第１３の発明、第１４の発明、第１５の発明に該当する。

また、本発明の多次元データ復号装置が動作することで実現される本発明の多次元データ復号方法は、以下に説明する第１６の発明に該当する。

これら第１の発明〜第７の発明は、細分割接続性を満たす３次元モデルの頂点に色などの属性情報が対応付けられている場合の、レンダリング時の演算量に関する従来の技術の課題を解決する発明である。

一方、これら第８の発明〜第１６の発明は、従来のＳＬＦのプログレッシブ符号化の課題を解決する発明である。

〔２〕本発明を実現する各装置の構成
〔２−１〕本発明の３次元グラフィックスデータ作成装置の構成
〔２−１−１〕レンダリング用モデルが入力として与えられる場合の構成
本発明の３次元グラフィックスデータ作成装置は、レンダリングに利用する３次元モデルであるレンダリング用モデルが入力として与えられているとし、細分割接続性を満たし、レンダリング用モデルと同形状で頂点数がより多い３次元モデルであるデータ用モデルを作成して、データ用モデルの各頂点に対応する属性情報をデータ用モデルの頂点座標値及び連結情報に基づいて求めることにより、レンダリング用モデルの属性情報を求める処理を行うものであって、（イ）３次元モデルの各エッジの中点を座標値とした新しい頂点を設定する頂点追加部と、（ロ）３次元モデルの各エッジの両端の頂点の各々と、その中点に設定された頂点とのペアによるエッジを設定し、さらに、同じ３角形パッチのエッジの中点として設定された３つの頂点を互いにペアとしてエッジを設定して、３次元モデルの連結情報を更新する連結情報追加部と、（ハ）頂点追加部による処理と連結情報追加部による処理とを経て作成される３次元モデルであるデータ用モデルの各頂点に対応した属性情報を求める属性情報対応付け部とを有する。

以上の各処理手段が動作することで実現される本発明の３次元グラフィックスデータ作成方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２−１−２〕レンダリング用モデルが入力として与えられない場合の構成
本発明の３次元グラフィックスデータ作成装置は、細分割接続性を満たし、レンダリングに利用する３次元モデルであるレンダリング用モデルを作成し、それに基づいて、細分割接続性を満たし、レンダリング用モデルと同形状で頂点数がより多い３次元モデルであるデータ用モデルを作成して、データ用モデルの各頂点に対応する属性情報をデータ用モデルの頂点座標値及び連結情報に基づいて求めることにより、レンダリング用モデルの属性情報を求める処理を行うものであって、（イ）３次元モデルの頂点の座標値とその連結情報とを設定することで、細分割接続性を満たすレンダリング用モデルを作成するレンダリング用モデル作成部と、（ロ）３次元モデルの各エッジの中点を座標値とした新しい頂点を設定する頂点追加部と、（ハ）３次元モデルの各エッジの両端の頂点の各々と、その中点に設定された頂点とのペアによるエッジを設定し、さらに、同じ３角形パッチのエッジの中点として設定された３つの頂点を互いにペアとしてエッジを設定して、３次元モデルの連結情報を更新する連結情報追加部と、（ニ）頂点追加部による処理と連結情報追加部による処理とを経て作成される３次元モデルであるデータ用モデルの各頂点に対応した属性情報を求める属性情報対応付け部とを有する。

以上の各処理手段が動作することで実現される本発明の３次元グラフィックスデータ作成方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２−２〕本発明のテクスチャ画像作成装置の構成
本発明のテクスチャ画像作成装置は、細分割接続性を満たす３次元モデルにテクスチャマッピングを適用するためのテクスチャ画像を、３次元モデルの頂点に対応付けられている属性情報をテクセル値（テクセル：一般のデジタル画像のピクセルに相当するテクスチャ画像上の画素）に設定することによって作成する処理を行うものであって、（イ）３次元モデルにおけるある階層の各３角形パッチに対し、テクスチャ画像上でそれに対応する大きさを持つ直角３角形を構成するようにとテクスチャ座標を設定する３角形領域対応付け部と、（ロ）３次元モデルにおける上記ある階層の各３角形パッチに対し、３つの頂点に対応付けされた属性情報を、３角形領域対応付け部で設定されたテクスチャ座標に対応したテクセルの画素値に設定し、さらに、その階層よりも大きなＱ番目の階層の頂点に対応付けされた属性情報を、その頂点に対応したＱ−１番目の階層のエッジを構成する頂点が対応する２つのテクセルの中点にあたるテクセルの画素値に設定するテクセル値設定部と、（ハ）テクセル値設定部で値が設定されたテクセルの近隣に位置する値が設定されていないテクセルに対して、その値が設定されているテクセルに対応付けられる階層の３角形パッチとエッジを共有する３角形パッチにより設定されるテクセル値を利用した補間値を設定するパディング部とを有する。

以上の各処理手段が動作することで実現される本発明のテクスチャ画像作成方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２−３〕本発明の多次元データ符号化装置の構成
〔２−３−１〕基本的な構成
本発明の多次元データ符号化装置は、３次元モデルの面上の３次元座標に対応付けされた、複数の数値データで構成される多次元データを符号化する処理を行うものであって、（イ）各々の３次元座標に対応付けされた多次元データと同じデータ数で構成される多次元データで構成される基底データと、その基底データに対応する重み係数列とを、３次元モデル上の各３次元座標に対応付けられた多次元データについて設定する基底導出部と、（ロ）基底データとその基底データに対応する重み係数列とのペアの順序付けを行う順序付け部と、（ハ）各々の基底データを圧縮符号化する基底符号化部と、（ニ）各々の基底データに対応した重み係数列にウェーブレット変換を行う重み係数ウェーブレット変換部と、（ホ）重み係数ウェーブレット変換部で求められたウェーブレット変換係数に対して、プログレッシブ符号化を行うプログレッシブ符号化部と、（ヘ）順序付け部で順序付けされた順に、基底データの符号化データ、その基底データに対応した重み係数列の符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成部とを有する。

以上の各処理手段が動作することで実現される本発明の多次元データ符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２−３−２〕平均的なテクスチャ情報を先に復号する構成
本発明の多次元データ符号化装置は、３次元モデルの面上の３次元座標に対応付けされた、複数の数値データで構成される多次元データを符号化する処理を行うものであって、（イ）多次元データに含まれる数値の平均値あるいはメディアン値を、３次元モデル上の各３次元座標に関して求めて、３次元モデル上の各３次元座標に対応した多次元データから、該３次元座標に対応した平均値あるいはメディアン値を引いた残差多次元データを求める残差多次元データ導出部と、（ロ）各々の３次元座標に対応付けされた多次元データと同じデータ数で構成される多次元データで構成される基底データと、その基底データに対応する重み係数列とを、３次元モデル上の各３次元座標に対応付けられた残差多次元データについて設定する基底導出部と、（ハ）基底データとその基底データに対応する重み係数列とのペアの順序付けを行う順序付け部と、（ニ）各々の基底データを圧縮符号化する基底符号化部と、（ホ）各々の基底データに対応した重み係数列と、残差多次元データ導出部で求められた平均値列あるいはメディアン値列とに対してウェーブレット変換を行う重み係数ウェーブレット変換部と、（ヘ）重み係数ウェーブレット変換部で求められたウェーブレット変換係数に対してプログレッシブ符号化を行うプログレッシブ符号化部と、（ト）平均値列あるいはメディアン値列の符号化データの後に、順序付け部で順序付けされた順に、基底データの符号化データ、その基底データに対応した重み係数列の符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成部とを有する。

以上の各処理手段が動作することで実現される本発明の多次元データ符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２−３−３〕基本的な構成で、色データを処理する場合の構成
本発明の多次元データ符号化装置は、３次元モデルの面上の３次元座標に対応付けされた多次元データが複数の色データで構成されており、これらの多次元データを符号化する処理を行うものであって、（イ）〔２−３−１〕に記載する本発明の多次元データ符号化装置の備える“基底導出部”／“順序付け部”／“基底符号化部”／“重み係数ウェーブレット変換部”／“プログレッシブ符号化部”による処理を、色データを構成する各成分に関して独立に実行する実行部と、（ロ）各基底データに対応した重み係数列の符号化データを、色データを構成する各成分について、１ビットごとにインターリーブしたビット列を作成して符号化データを統合するインターリーブ部と、（ハ）順序付け部で順序付けされた順に、色データを構成する各成分に対応した基底データの符号化データ、その基底データに対応した重み係数列のインターリーブされた符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成部とを有する。

以上の各処理手段が動作することで実現される本発明の多次元データ符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２−３−４〕平均的なテクスチャ情報を先に復号する構成で、色データを処理する場合の構成
本発明の多次元データ符号化装置は、３次元モデルの面上の３次元座標に対応付けされた多次元データが複数の色データで構成されており、これらの多次元データを符号化する処理を行うものであって、（イ）〔２−３−２〕に記載する本発明の多次元データ符号化装置の備える“残差多次元データ導出部”／“基底導出部”／“順序付け部”／“基底符号化部”／“重み係数ウェーブレット変換部”／“プログレッシブ符号化部”による処理を、色データを構成する各成分に関して独立に実行する実行部と、（ロ）各基底データに対応した重み係数列の符号化データと平均値列あるいはメディアン値列の符号化データとを、色データを構成する各成分について、１ビットごとにインターリーブしたビット列を作成して符号化データを統合するインターリーブ部と、（ハ）平均値列あるいはメディアン値列のインターリーブされた符号化データの後に、順序付け部で順序付けされた順に、色データを構成する各成分に対応した基底データの符号化データ、その基底データに対応した重み係数列のインターリーブされた符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成部とを有する。

以上の各処理手段が動作することで実現される本発明の多次元データ符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔２−４〕本発明の多次元データ復号装置の構成
本発明の多次元データ復号装置は、本発明の多次元データ符号化装置によって得られるビットストリームを復号する処理を行うものであって、（イ）基底データを復号する基底データ復号部と、（ロ）重み係数列のウェーブレット変換係数を復号するウェーブレット変換係数復号部と、（ハ）ウェーブレット変換係数復号部で復号されたウェーブレット変換係数に逆ウェーブレット変換を行って重み係数列を復元する逆ウェーブレット変換部とを有する。

以上の各処理手段が動作することで実現される本発明の多次元データ復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

〔３〕第１の発明〜第１６の発明について
〔３−１〕第１の発明
第１の発明は、レンダリングに利用する３次元モデルであるレンダリング用モデルが入力として与えられているとし、細分割接続性を満たし、レンダリング用モデルと同形状で頂点数がより多い３次元モデルであるデータ用モデルを作成して、データ用モデルの各頂点に対応する属性情報をデータ用モデルの頂点座標値及び連結情報に基づいて求めることにより、レンダリング用モデルの属性情報を求める３次元グラフィックスデータ作成方法であって、（イ）３次元モデルの各エッジの中点を座標値とした新しい頂点を設定する頂点追加ステップと、（ロ）３次元モデルの各エッジの両端の頂点の各々と、その中点に設定された頂点とのペアによるエッジを設定し、さらに、同じ３角形パッチのエッジの中点として設定された３つの頂点を互いにペアとしてエッジを設定して、３次元モデルの連結情報を更新する連結情報追加ステップと、（ハ）頂点追加ステップと連結情報追加ステップとを経て作成される３次元モデルであるデータ用モデルの各頂点に対応した属性情報を求める属性情報対応付けステップとを有することを特徴とする。

このように構成される第１の発明に基づいて３次元グラフィックスデータを作成しておけば、“データ用モデル”と呼ばれる細分割接続性を満たす３次元モデルの各頂点に対応付けられた属性情報を利用したレンダリングを、より３角形パッチが少ない３次元モデルに対するテクスチャマッピングによって実現できるので、隠面・隠線消去処理等の演算量が削減され、レンダリングの演算量を低減できる。

その処理と効果の詳細は以下の通りである。

第１の発明では、入力として、３次元モデルが与えられることが前提になっている。なお、この３次元モデルは、第１の発明では細分割接続性を満たす必要はない。第１の発明に関しては、入力の３次元モデルをレンダリング用モデルと呼ぶこととする。また、３次元モデル上の任意の座標値に対して、その座標値に依存する３次元モデルの属性情報（例えば色や法線データなど）を所定の処理を介して得ることが可能であるとする。この処理は本発明においては任意であるため、ここでは詳細な説明は省くが、その一例は実施形態例に示してある。

まず、頂点追加ステップと連結情報追加ステップとを行うことによって、サブディビジョンを行うため、レンダリング用モデルをベースメッシュとした細分割接続性を満たす３次元モデルが作成される。

以下では、この３次元モデルをデータ用モデルと呼ぶ。ただし、ここで追加される頂点の座標値はエッジの両端の頂点の中点としているため、新しく頂点が追加されてもデータ用モデルの形状とレンダリング用モデルの形状は変わらない。

ここで、頂点追加ステップと連結情報追加ステップとを交互に繰り返し行うことで、データ用モデルの階層数を増やしていくことが可能となる。

最後に、属性情報対応付けステップにおいて、データ用モデルの各頂点に対し、その頂点の座標値に対応した３次元モデルの属性情報を求める。

なお、第１の発明によって、データ用モデルとその頂点に対応に付けられた属性情報とが得られるが、後述する第５、第６、第７の発明のいずれかの発明によって、この属性情報をテクセル値としたテクスチャ画像を作成することで、レンダリング用モデルをレンダリングに用い、テクスチャマッピングによってレンダリングを行うことができる。

従来の方法ではデータ用モデルを利用してレンダリングすることとなるが、本発明によれば、レンダリング用モデルをレンダリングに用い、テクスチャマッピングを利用することでレンダリングの演算量が削減される。これは、３次元モデルのレンダリングの演算量は３角形パッチの数に依存するが、レンダリング用モデルの３角形の数はデータ用モデルの３角形の数と比較して大幅に少ないことによる。

具体的には、データ用モデルの階層数をＨ_data、レンダリング用モデルの階層数をＨ_render（レンダリング用モデルが細分割接続性を満たさない場合はＨ_render＝０である）、レンダリング用モデルの３角形の数を triangles_renderとすると、データ用モデルの３角形の数 triangles_dataは次の（１）式で与えられる。

従って、レンダリングの演算量に関しては、色の補間の演算量はほぼ同等であるが、隠面・隠線消去の演算量が大きく減り、全体の演算量を比較しても大幅な削減を得ることができる。また、これらの数値データは細分割接続性を満たす頂点に対応付けられているので、ウェーブレット変換を適用することが可能である。

なお、従来の方法（頂点数が多いデータ用モデルをレンダリングに利用して、各頂点に対応する色で３角形内の色を補間した場合）と比較して、色の補間処理は本発明に基づくテクスチャマッピングを利用してもほぼ同じ処理が行われることとなる。つまり、結果的に得られるレンダリング画像についてはほぼ同じものである。

〔３−２〕第２の発明
第２の発明は、細分割接続性を満たし、レンダリングに利用する３次元モデルであるレンダリング用モデルを作成し、それに基づいて、細分割接続性を満たし、レンダリング用モデルと同形状で頂点数がより多い３次元モデルであるデータ用モデルを作成して、データ用モデルの各頂点に対応する属性情報をデータ用モデルの頂点座標値及び連結情報に基づいて求めることにより、レンダリング用モデルの属性情報を求める３次元グラフィックスデータ作成方法であって、（イ）３次元モデルの頂点の座標値とその連結情報とを設定することで、細分割接続性を満たすレンダリング用モデルを作成するレンダリング用モデル作成ステップと、（ロ）３次元モデルの各エッジの中点を座標値とした新しい頂点を設定する頂点追加ステップと、（ハ）３次元モデルの各エッジの両端の頂点の各々と、その中点に設定された頂点とのペアによるエッジを設定し、さらに、同じ３角形パッチのエッジの中点として設定された３つの頂点を互いにペアとしてエッジを設定して、３次元モデルの連結情報を更新する連結情報追加ステップと、（ニ）頂点追加ステップと連結情報追加ステップとを経て作成される３次元モデルであるデータ用モデルの各頂点に対応した属性情報を求める属性情報対応付けステップとを有することを特徴とする。

このように構成される第２の発明では、第１の発明と同様の効果が得られると共に、細分割接続性を満たすようにレンダリング用モデルを作成して、その階層数を所望の数に設定できるので、属性情報にウェーブレット変換を適用すると、属性情報の性質によっては効率的なデータ圧縮が可能になる。

具体的には、以下のような処理を行っている。

第１の発明では、入力としてレンダリング用モデルが与えられたが、第２の発明ではレンダリング用モデル作成ステップで細分割接続性を満たす３次元モデルを作成して、この３次元モデルをレンダリング用モデルとする。つまり、レンダリングにはレンダリング用モデル作成ステップで作成されたレンダリング用モデルが利用されるのである。なお、レンダリング用モデル作成ステップについては、前述の非特許文献３に記載されている従来技術などで実現できる。

そして、このレンダリング用モデルに対して頂点追加ステップと連結情報追加ステップとが実行されて、データ用モデルが作成される。

〔３−３〕第３の発明
第３の発明は、第２の発明の構成を採るときに、レンダリング用モデル作成ステップにおいて、所定の３次元モデルを近似する３次元モデルを作成する場合に、レンダリング用モデルと該所定の３次元モデルとの間の誤差評価値が所定の閾値以下となる最小の階層数でもってレンダリング用モデルを作成することを特徴とする。

このように構成される第３の発明では、入力として何らかの３次元モデルが与えられ、レンダリング用モデル作成ステップにおいて、その３次元モデルを近似するような細分割接続性を満たす３次元モデルを作成することになるが、このとき、レンダリング用モデルとその入力モデルとの間の誤差を所定の範囲内に抑えるとともに、レンダリング用モデルの３角形パッチの数を最小限に抑えることができる。

具体的には、レンダリング用モデル作成ステップにおいて、所定の誤差評価関数の下でのレンダリング用モデルと入力モデルとの間の誤差が、ある閾値より小さくなる階層数（一般に、再メッシュ化では階層数が大きくなるほどレンダリング用モデルと入力モデルとの間の誤差が小さくなる）のうち、最小の階層数をレンダリング用モデルに適用する。

〔３−４〕第４の発明
第４の発明は、第１〜第３の発明の構成を採るときに、頂点追加ステップと連結情報追加ステップとを交互に所定の回数繰り返し行うことを特徴とする。

このように構成される第４の発明では、頂点追加ステップと連結情報追加ステップとを交互に所定の回数繰り返し行うことにより（この繰り返し処理によって階層数が増加する）、データ用モデルの頂点の数が増えることによって、所望の数の頂点で属性情報を得ることができる。

この繰り返しの回数をＳとすると、レンダリング用モデルの階層数をＨ_renderで表すならば、データ用モデルの階層数Ｈ_dataはＨ_render＋Ｓとなる。

〔３−５〕第５の発明
第５の発明は、細分割接続性を満たす３次元モデルにテクスチャマッピングを適用するためのテクスチャ画像を、３次元モデルの頂点に対応付けられている属性情報をテクセル値に設定することによって作成するテクスチャ画像作成方法であって、（イ）３次元モデルにおけるある階層の各３角形パッチに対し、テクスチャ画像上でそれに対応する大きさを持つ直角３角形を構成するようにとテクスチャ座標を設定する３角形領域対応付けステップと、（ロ）３次元モデルにおける上記ある階層の各３角形パッチに対し、３つの頂点に対応付けされた属性情報を、３角形領域対応付けステップで設定されたテクスチャ座標に対応したテクセルの画素値に設定し、さらに、その階層よりも大きなＱ番目の階層の頂点に対応付けされた属性情報を、その頂点に対応したＱ−１番目の階層のエッジを構成する頂点が対応する２つのテクセルの中点にあたるテクセルの画素値に設定するテクセル値設定ステップとを有することを特徴とする。

さらに具体的に説明するならば、第５の発明は、階層数がαである細分割接続性を満たす３次元モデルにテクスチャマッピングを適用するためのテクスチャ画像を、３次元モデルの頂点に対応付けられている属性情報をテクセル値に設定することによって作成するテクスチャ画像作成方法であって、（イ）３次元モデルにおけるα−β＋１番目の階層の各３角形パッチに対し、テクスチャ画像上で底辺と高さがＰテクセルであるような直角３角形を構成するようにとテクスチャ座標を設定する３角形領域対応付けステップと、（ロ）３次元モデルにおけるα−β＋１番目の階層の各３角形パッチに対し、３つの頂点に対応付けされた属性情報を、３角形領域対応付けステップで設定されたテクスチャ座標に対応したテクセルの画素値に設定し、さらに、その階層よりも大きなＱ番目の階層の頂点に対応付けされた属性情報を、その頂点に対応したＱ−１番目の階層のエッジを構成する頂点が対応する２つのテクセルの中点にあたるテクセルの画素値に設定するテクセル値設定ステップとを有することを特徴とする。

ここで、“α”はデータ用モデルの階層数であり、“β”はテクスチャ画像を構成する３角形パッチのレベルを規定するパラメータであり、テクスチャ画像を構成する３角形パッチとしてベースメッシュの３角形パッチを用いるということは、『α−β＋１＝１』であることを意味し、この“α−β＋１”の値が２以上になる場合には、テクスチャ画像を構成する３角形パッチとして、ベースメッシュに対してサブディビジョンを繰り返すことで生成された３角形パッチを用いることを指定することになる。

また、Ｐの値は、β＝１の場合には“２”であり、β＞１の場合には次の（２）式で与えられる。

このように構成される第５の発明では、第１〜第４の発明に基づいて作成された３次元グラフィックスデータからテクスチャ画像を作成するが、このテクスチャ画像を利用してレンダリング用モデルにテクスチャマッピングが適用できることとなり、少ない演算量でのレンダリングが実現できる。

なお、原理的には、細分割接続性を満たす任意の３次元モデルに対するテクスチャ画像を作成できるが、この場合はレンダリング時のメリットはない。

第５の発明では、先ず、３角形領域対応付けステップにおいて、α−β＋１番目の階層の各３角形に対応したテクスチャ画像内での３角形領域を指定する。そして、テクセル値設定ステップにおいて、データ用モデルの頂点にマッピングされた属性情報をテクセル値に設定する。

ここで、第１〜第４の発明と本発明との対応関係について説明するならば、本発明で前提としている３次元モデルの階層数αはデータ用モデルの階層数Ｈ_dataに対応する。そして、レンダリング時には、レンダリング用モデルの３角形パッチに、テクスチャ画像上で対応する部分のテクスチャをマッピングすればよい。

〔３−６〕第６の発明
第６の発明は、第５の発明の構成を採るときに、テクスチャ画像が複数枚数となる場合には、３角形領域対応付けステップにおいて、処理対象の３角形パッチに対応したテクスチャ画像に対してテクスチャ座標を設定することを特徴とする。

テクスチャ画像の大きさに制限がある場合には、テクスチャ画像を複数作成することになるので、この場合には、３角形領域対応付けステップにおいて、処理対象の３角形パッチに対応したテクスチャ画像に対してテクスチャ座標を設定するのである。

〔３−７〕第７の発明
第７の発明は、第５〜第６の発明の構成を採るときに、テクセル値設定ステップで値が設定されたテクセルの近隣に位置する値が設定されていないテクセルに対して、その値が設定されているテクセルに対応付けられる階層の３角形パッチとエッジを共有する３角形パッチにより設定されるテクセル値を利用した補間値を設定するパディングステップを有することを特徴とする。

このように構成される第７の発明では、第５〜第６の発明の最後に、“パディングステップ”という処理を加えることで、レンダリング画像に発生しうるレンダリング用モデルのエッジにおける色などの属性値の不連続性をなくすことができる。

具体的には、パディングステップは、テクセル値設定ステップで画素値が設定されなかったテクセルの画素値の設定方法に関するものである。

テクスチャマッピングでは、テクセル値を補間することでレンダリング画像を作成するが、テクセル値設定ステップで値が設定されなかったテクセルの画素が補間に利用される場合がある。このような場合、そのテクセルの画素値が無作為に決められていると、レンダリング画像でエッジ周辺で不連続性が生じる。第７の発明によれば、このような不連続性を防ぐことが可能である。

〔３−８〕第８の発明
第８の発明は、３次元モデルの面上の３次元座標に対応付けされた、複数の数値データで構成される多次元データを符号化する多次元データ符号化方法であって、（イ）各々の３次元座標に対応付けされた多次元データと同じデータ数で構成される多次元データで構成される基底データと、その基底データに対応する重み係数列とを、３次元モデル上の各３次元座標に対応付けられた多次元データについて設定する基底導出ステップと、（ロ）基底データとその基底データに対応する重み係数列とのペアの順序付けを行う順序付けステップと、（ハ）各々の基底データを圧縮符号化する基底符号化ステップと、（ニ）各々の基底データに対応した重み係数列にウェーブレット変換を行う重み係数ウェーブレット変換ステップと、（ホ）重み係数ウェーブレット変換ステップで求められた各々の基底データに対応したウェーブレット変換係数に対して、プログレッシブ符号化を行うプログレッシブ符号化ステップと、（ヘ）順序付けステップで順序付けされた順に、基底データの符号化データ、その基底データに対応した重み係数列の符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成ステップとを有することを特徴とする。

このように構成される第８の発明によれば、ＳＬＦ等の多次元データ列にプログレッシブ符号化を行うと共に、レンダリング時には、データ量の小さなデータから少ない演算量でその時点で必要な視線方向に対応したＳＬＦ等の多次元データを復元できるので、レンダリング時のメモリの利用量を小さくできる。

ここで、３次元モデル上の３次元座標に対応付けられた多次元データをベクトル＜Ｓ_m ＞＝（Ｓ_m,1,Ｓ_m,2,...,Ｓ_m,N ）^T と表す。ただし、ｍ＝１, ２, .., Ｍであり、３次元モデル上のＭ個の３次元座標に対するインデックスである。この多次元データがＳＬＦであった場合は、ｎがＮ個の光線の方向を表すこととなる。

第８の発明では、次の（３）式に示すように、多次元データ＜Ｓ_m ＞を、Ｋ個の基底＜ｂ_k ＞（ｋ＝１, ２, .., Ｋ）の線形和で近似することを前提としている。すなわち、多次元データと同じデータ数で構成される多次元データで構成される基底＜ｂ_k ＞の線形和で近似することを前提としている。

なお、次の参考文献２に記載される手法でも、この（３）式の近似を利用してＳＬＦの圧縮表現を得ている。

〔参考文献２〕Daniel N. Wood, Daniel I. Azuma, Ken Aldinger, Brian Curless, Tom Duchamp, David Salesin and Werner Stuetzle. "Surface Light Fields for 3D Photography." In SIGGRAPH 2000 Conference Proceedings, pp.287-296. July, 2000.
この第８の発明では、基底＜ｂ_k ＞と重み係数列ｃ_m,k とを求める。そして、ｋに対応した基底＜ｂ_k ＞と重み係数列ｃ_m,k とのペアの順序付けを行う。第１４の発明では、この順序付けステップの一つの実現方法を示しているが、この順序付けによれば、ｋに対応した基底＜ｂ_k ＞と重み係数列ｃ_m,k とのペアを、（３）式の近似に追加した際の＜Ｓ_m ＞に対する誤差の減少量が大きい順にすることによって、良好なプログレッシブ符号化が可能となる。

そして、基底＜ｂ_k ＞に対してはｋに関して独立にそれぞれ何らかの圧縮符号化を行う。

一方、ｋを固定した重み係数列ｃ_m,k （ｍ＝１, ２, .., Ｍ）に対してはウェーブレット変換を行う。ここで、各重み係数列ｃ_m,k は３次元モデル上の各３次元座標ｍに対応付けされている。また、ウェーブレット変換は“First Generation Wavelets"でも“Second Generation Wavelets”でもよい。そして、このようにして得られたウェーブレット変換係数に対して、前述の非特許文献５に記載されているようなプログレッシブ符号化を行う。ただし、ｋに対応したウェーブレット変換係数列について、独立にプログレッシブ符号化を行う。

そして、順序付けステップで設定された順序に基づいて、基底の符号化データ、重み係数列の符号化データの順でビットストリームを構成する。

このようにビットストリームを構成することによって、ビットストリームの復号を途中で中断しても多次元データ（ＳＬＦなど）の復元が可能であり、プログレッシブ符号化となっている。また、誤差の減少量が大きい基底データと重み係数列とのペアの符号化データほどビットストリームの先頭に近いので、先に良好な近似が可能な多次元データ（ＳＬＦなど）を復元可能である。

一方、基底データと重み係数列とをオフラインで復元しておけば（これらのデータのデータ量は元の多次元データよりも小さい）、データ量が元の多次元データより小さいデータから、少ない演算量でその時点で必要な視線方向に対応した多次元データ（ＳＬＦなど）を低演算量で復元でき、任意視点画像をインタラクティブにレンダリングできる。これを実現するアルゴリズムの例としては、前述の参考文献２に記載される手法を利用すれば良い。

具体的には、（３）式から明らかなように、一つの光線情報あたり２Ｋ−１回の積和演算で復元が可能である。前述の参考文献２にも記載されているが、主成分分析のような最適化手法で基底データと重み係数列とを求めることでＫを小さくして、（５〜１０）近似誤差を小さくすることができる。

一方、前述の非特許文献６に記載の技術を利用してレンダリング時のメモリ使用量を小さくしようとすると、前述したように、『ΣＦⁱ （２Ｆ−１）：ただし、Σはｉ＝０〜３の総和』、という積和演算量が必要となる（フィルタのタップ数Ｆは２〜８が頻繁に利用される）。

〔３−９〕第９の発明
第９の発明は、３次元モデルの面上の３次元座標に対応付けされた、複数の数値データで構成される多次元データを符号化する多次元データ符号化方法であって、（イ）多次元データに含まれる数値の平均値あるいはメディアン値を、３次元モデル上の各３次元座標に関して求めて、３次元モデル上の各３次元座標に対応した多次元データから、該３次元座標に対応した平均値あるいはメディアン値を引いた残差多次元データを求める残差多次元データ導出ステップと、（ロ）各々の３次元座標に対応付けされた多次元データと同じデータ数で構成される多次元データで構成される基底データと、その基底データに対応する重み係数列とを、３次元モデル上の各３次元座標に対応付けられた残差多次元データについて設定する基底導出ステップと、（ハ）基底データとその基底データに対応する重み係数列とのペアの順序付けを行う順序付けステップと、（ニ）各々の基底データを圧縮符号化する基底符号化ステップと、（ホ）各々の基底データに対応した重み係数列と、残差多次元データ導出ステップで求められた平均値列あるいはメディアン値列とに対してウェーブレット変換を行う重み係数ウェーブレット変換ステップと、（ヘ）重み係数ウェーブレット変換ステップで求められた重み係数列のウェーブレット変換係数と、重み係数ウェーブレット変換ステップで求められた平均値列あるいはメディアン値列のウェーブレット変換係数とに対して独立にプログレッシブ符号化を行うプログレッシブ符号化ステップと、（ト）平均値列あるいはメディアン値列の符号化データの後に、順序付けステップで順序付けされた順に、基底データの符号化データ、その基底データに対応した重み係数列の符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成ステップとを有することを特徴とする。

このように構成される第９の発明では、ビットストリームの先頭に平均値列あるいはメディアン値列の符号化データを配置することにより、復号時には、多次元データ（ＳＬＦなど）が有す平均的なテクスチャ情報を先に復号できる。

ここで、平均値あるいはメディアン値については３次元モデル上の各３次元座標値で計算され、３次元モデル上のある３次元座標ｍに関する光線情報列Ｓ_m,n （ｎ＝１, ２, .., Ｎ）の平均値あるいはメディアン値である。例えば、３次元モデル上のある３次元座標ｍにおける平均値〔Ｓ_m 〕は次の（４）式で表される。この平均値〔Ｓ_m 〕は３次元モデル上のおおまかなテクスチャを表すデータである。

残差多次元データ導出ステップでは、光線情報列Ｓ_m,n の平均値やメディアン値を求めて、その残差多次元データＳ’_m,n ＝Ｓ_m,n −〔Ｓ_m 〕に対して、基底導出ステップ等の以降の処理を実行する。

ただし、平均値列あるいはメディアン値列に対しては、重み係数列と同様にウェーブレット変換とプログレッシブ符号化とが行われる。なお、平均値列あるいはメディアン値列の符号化データがビットストリームの先頭に配置される。

〔３−１０〕第１０の発明
第１０の発明は、第８〜第９の発明の構成を採るときに、基底導出ステップにおいて、基底データとその基底データに対応する重み係数列とを求めるとともに、多次元データの平均である平均多次元データを求め、基底符号化ステップにおいて、基底を符号化するとともに、平均多次元データを符号化し、ビットストリーム作成ステップにおいて、平均多次元データの符号化データを、ビットストリーム中で全ての基底データ及び重み係数列の符号化データの前に設定することを特徴とする。

このように構成される第１０の発明では、次の（５）式で表される平均多次元データ｛Ｓ_n ｝の符号化データがビットストリーム中で基底データと重み係数列の符号化データの前に配置される。

〔３−１１〕第１１の発明
第１１の発明は、３次元モデルの面上の３次元座標に対応付けされた多次元データが複数の色データで構成されており、これらの多次元データを符号化する多次元データ符号化方法であって、（イ）第８の発明のビットストリーム作成ステップ以外のステップを、色データを構成する各成分に関して独立に実行するステップと、（ロ）各基底データに対応した重み係数列の符号化データを、色データを構成する各成分について、１ビットごとにインターリーブしたビット列を作成して符号化データを統合するインターリーブステップと、（ハ）順序付けステップで順序付けされた順に、色データを構成する各成分に対応した基底データの符号化データ、その基底データに対応した重み係数列のインターリーブされた符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成ステップとを有することを特徴とする。

このように構成される第１１の発明では、３次元モデル上の３次元座標に対応付けられた多次元データ＜Ｓ_m ＞＝（Ｓ_m,1,Ｓ_m,2,...,Ｓ_m,N ）^T の各要素が色データである場合の第８の発明の実現方法を示しており、その効果は第８の発明と同様である。

例えば、色データがＲＧＢ成分で構成されるとき、Ｓ_m,n は３次元ベクトル＜Ｓ_m,n ＞＝（Ｓ_m,n,1 , Ｓ_m,n,2 , Ｓ_m,n,3 ）^T として表せる。ここで、１，２，３はＲＧＢ成分を表す。

そして、色データを構成する成分ｏを固定したデータＳ_m,n,o ( ｍ＝１, ２, .., Ｍ、ｎ＝１, ２, .., Ｎ）に対して、独立にビットストリーム作成ステップ以外の処理を実行する。ここで、色データを構成する成分ｏを固定したデータに対して得られる重み係数列をｃ_m,k,o ( ｍ＝１, ２, .., Ｍ、ｋ＝１, ２, .., Ｋ）とする。

インターリーブステップにおいて、ｋを固定した重み係列ｃ_m,k,o ( ｍ＝１, ２, .., Ｍ）の各色成分ｏ＝１，２，３の符号化データを、１ビットごとにインターリーブして符号化データを統合する。そして、ビットストリーム作成ステップにおいて、第８の発明と同様にビットストリームを作成する。

〔３−１２〕第１２の発明
第１２の発明は、３次元モデルの面上の３次元座標に対応付けされた多次元データが複数の色データで構成されており、これらの多次元データを符号化する多次元データ符号化方法であって、（イ）第９の発明のビットストリーム作成ステップ以外のステップを、色データを構成する各成分に関して独立に実行するステップと、（ロ）各基底データに対応した重み係数列の符号化データと平均値列あるいはメディアン値列の符号化データとを、色データを構成する各成分について、１ビットごとにインターリーブしたビット列を作成して符号化データを統合するインターリーブステップと、（ハ）平均値列あるいはメディアン値列のインターリーブされた符号化データの後に、順序付けステップで順序付けされた順に、色データを構成する各成分に対応した基底データの符号化データ、その基底データに対応した重み係数列のインターリーブされた符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成ステップとを有することを特徴とする。

このように構成される第１２の発明では、３次元モデル上の３次元座標に対応付けられた多次元データ＜Ｓ_m ＞＝（Ｓ_m,1,Ｓ_m,2,...,Ｓ_m,N ）^T の各要素が色データである場合の第９の発明の実現方法を示しており、その効果は第９の発明と同様である。

第１１の発明と同様に、平均値列あるいはメディアン値列の各色成分に対応した符号化データをインターリーブしてビットストリームを作成する。

〔３−１３〕第１３の発明
第１３の発明は、第１１〜第１２の発明の構成を採るときに、基底導出ステップにおいて、色データの各成分について、基底データとその基底データに対応する重み係数列とを求めるとともに、多次元データの平均である平均多次元データを求め、基底符号化ステップにおいて、基底を符号化するとともに、平均多次元データを符号化し、ビットストリーム作成ステップにおいて、色データの各成分に対応した平均多次元データの符号化データを、ビットストリーム中で全ての基底データ及び重み係数列の符号化データの前に設定することを特徴とする。

このように構成される第１３の発明では、３次元モデル上の３次元座標に対応付けられた多次元データ＜Ｓ_m ＞＝（Ｓ_m,1,Ｓ_m,2,...,Ｓ_m,N ）^T の各要素が色データである場合の第１０の発明の実現方法を示しており、その効果は第１０の発明と同様である。

〔３−１４〕第１４の発明
第１４の発明は、第８〜第１３の発明の構成を採るときに、順序付けステップにおいて、ｋ＝１から始めて、ｋ番目の基底データと重み係数列とのペアを、１からｋ番目の基底データと重み係数列とを用いて符号化対象の多次元データを近似した際の二乗誤差の総和が最小になるように決定することを特徴とする。

このように構成される第１４の発明では、基底データとその基底データに対応する重み係数列とのペアの順序付けについて、ｋ＝１から始めて、ｋ番目の基底データと重み係数列とのペアを、１からｋ番目の基底データと重み係数列とを用いて符号化対象の多次元データを近似した際の二乗誤差の総和が最小になるように決定する。

このようにして、多次元データ＜Ｓ_m ＞に対する誤差の減少量が大きい順にすることによって、良好なプログレッシブ符号化が可能となる。

〔３−１５〕第１５の発明
第１５の発明は、第８〜第１４の発明の構成を採るときに、基底導出ステップにおいて、主成分分析によって、基底データとその基底データに対応する重み係数列とを求めることを特徴とする。

〔３−１６〕第１６の発明
第１６の発明は、第８〜第１５の発明の多次元データ符号化方法によって得られるビットストリームを復号する多次元データ復号方法であって、（イ）基底データを復号する基底データ復号ステップと、（ロ）重み係数列のウェーブレット変換係数を復号するウェーブレット変換係数復号ステップと、（ハ）ウェーブレット変換係数復号ステップで復号されたウェーブレット変換係数に逆ウェーブレット変換を行って重み係数列を復元する逆ウェーブレット変換ステップとを有することを特徴とする。

このように構成される第１６の発明によれば、第８〜第１５の発明の多次元データ符号化方法によって得られるビットストリームを復号できるようになる。

以上に説明したことから分かるように、従来技術では、データ用モデルを用いてレンダリングを行うようにするという構成を採るのに対して、本発明では、データ用モデルよりも頂点数の少ないレンダリング用モデルを用い、テクスチャマッピングによってレンダリングを行うようにするという構成を採る。

すなわち、従来では、データ用モデルを用いてレンダリングを行うようにしている。しかし、これでは、レンダリングに用いる３角形パッチの数が多くなり過ぎてしまい、レンダリングの演算量が膨大なものとなってしまう。

そこで、本発明では、データ用モデルよりも頂点数の少ないレンダリング用モデルを用い、テクスチャマッピングによってレンダリングを行うようにするという構成を採る。これにより、レンダリングに用いる３角形パッチの数を減らせる。

しかし、それでは、３次元モデルにマッピングするテクスチャが粗くなってしまう。そこで、本発明では、データ用モデルから求まる属性値をレンダリング用モデルに対応付けられるテクスチャ画像のテクセル値として設定するという構成を採る。

この構成に従って、本発明によれば、従来技術と同レベルのレンダリング画像を得ながら、レンダリング量の演算量を大幅に削減できるようになるのである。

本発明によれば、ＳＬＦ等の多次元データ列にプログレッシブ符号化を行うと共に、レンダリング時には、圧縮されたデータから少ない演算量で、その時点で必要な視線方向に対応したＳＬＦを低演算量で復元できるので、レンダリング時のメモリの利用量が従来の方法より小さい。

また、本発明によれば、細分割接続性を満たす３次元モデルの頂点に色が対応付けられていて、これによる補間色で３次元モデルに色を与えてレンダリングする場合に、従来の方法と比較して、ほぼ同様のレンダリング画像を得ながらも、レンダリングの演算量を大幅に削減できるようになる。

以下、実施の形態に従って本発明について詳細に説明する。

図１ないし図４に、本発明を実現する装置の一実施形態例を図示する。

図１は３次元グラフィックスデータ作成装置１を示しており、レンダリング用モデル作成部１０１、誤差評価部１０２、データ用モデル作成部１０３、データ用モデル制御部１０４、属性情報対応付け部１０５、データ入力部１０６、データ出力部１０７で構成される。

図２は多次元データ符号化装置２を示しており、多次元データ入力部２０１、主成分分析部２０２、重み係数ウェーブレット変換部２０３、プログレッシブ符号化部２０４、基底符号化部２０５、ビットストリーム作成部２０６、ビットストリーム出力部２０７で構成される。

図３は多次元データ復号装置３を示しており、データ入力部３０１、ウェーブレット変換係数復号部３０２、基底復号部３０３、逆ウェーブレット変換部３０４、復号データ出力部３０５で構成される。

図４はテクスチャ画像作成装置４を示しており、テクスチャ構成設定部４０１、３角形領域設定部４０２、テクセル値設定部４０３、パディング部４０４、データ入力部４０５、テクスチャ画像出力部４０６で構成される。

本実施形態例では、３次元グラフィックスデータ作成装置１によって３次元グラフィックスデータ（レンダリング用モデルの情報、データ用モデルの情報、及びＳＬＦ）を作成し、３次元グラフィックスデータ作成装置１で作成されたＳＬＦを多次元データ符号化装置２によって圧縮符号化する。そして、多次元データ符号化装置２で作成された符号化データを多次元データ復号装置３によって復号する。そして、多次元データ復号装置３で復号されたデータと、３次元グラフィックスデータ作成装置１で作成されたレンダリング用モデル及びデータ用モデルの情報とに基づいて、テクスチャ画像作成装置４でテクスチャ画像を作成する。

〔１〕３次元グラフィックスデータ作成装置１の動作
まず、３次元グラフィックスデータ作成装置１の動作について説明する。

図５に、３次元グラフィックスデータ作成装置１の動作を示したフローチャートを示す。

まず、３次元グラフィックスデータ作成装置１に何らかの物体（以下、対象物体）を多視点から撮影した画像群（複数の画像）とその対象物体の形状を近似した３次元モデルとが、データ入力部１０６によって入力される（ステップＡ１）。

そして、データ入力部１０６からレンダリング用モデル作成部１０１に対象物体の形状を近似した３次元モデルが入力され、これを受けて、レンダリング用モデル作成部１０１にて、非特許文献３のような再メッシュ化手法を利用して、細分割接続性を満たすレンダリング用モデルが作成される（ステップＡ２）。

厳密には、レンダリング用モデルは、各頂点の座標値と、ベースメッシュの３角形の連結情報と、階層数の情報とによって構成される（ベースメッシュの３角形の連結情報と階層数の情報とが既知であれば、レンダリング用モデルの連結情報が分かる）。

なお、再メッシュ化手法によれば、任意の階層数を持ったレンダリング用モデルを作成できるが、本実施形態例では、入力の３次元モデルとレンダリング用モデルとの誤差がある閾値ε以下であり、尚且つ階層数が最小なレンダリング用モデルを作成する。その際の誤差評価関数としては、様々なものが考えられるが、一例としては下記の参考文献３に記載されるハウスドルフ距離などが考えられる。階層数の制御は誤差評価部１０２で行われる。

〔参考文献３〕Aspert, N., Santa-Cruz, D., Touradj, E.,"MESH:Measuring Errors Between Surfaces Using the Hausdorff Distance", Proceedings of the IEEE International Conference on Multimedia and Expo(ICME) 2002, Vol.1, 705-708
レンダリング用モデルが作成されると、レンダリング用モデルの情報はレンダリング用モデル作成部１０１から出力される。

次に、レンダリング用モデル作成部１０１から出力されたレンダリング用モデルの情報はデータ用モデル作成部１０３に入力される。データ用モデル作成部１０３では、レンダリング用モデルに頂点を追加することによって、データ用モデルが作成される（ステップＡ３〜ステップＡ７）。

追加する頂点の数の制御がデータ用モデル制御部１０４によって行われる。ここで、データ用モデル制御部１０４では、データ用モデルの頂点数の上限値maxPoints が予め設定されているとする。データ用モデル作成部１０３では、現時点でデータ用モデル作成部１０３にある３次元モデル（最初は入力のレンダリング用モデルである）の各エッジを二つのエッジに分割して新しい頂点を挿入する（ステップＡ６）。なお、この頂点はエッジ両端の頂点の中点とする。

そして、細分割接続性が満たされるように他の頂点と連結する（ステップＡ７）。この様子を図６に示す。

ここで、現在の３次元モデルの頂点の数をpoints、エッジの数をedges 、３角形の数をtriangles と表記すると、前述の頂点追加と連結情報の更新とを行うと、points,edges,trianglesには次の更新が行われることとなる（ステップＡ４）。

points←points＋edges
edges ←２edges ＋３triangles
triangles ←４triangles
なお、points,edges,trianglesについては、初期値として、それぞれレンダリング用モデルの３角形の数、エッジの数、頂点数が設定される（ステップＡ３）。

データ用モデル作成部１０３では、上記のpointsをデータ用モデル制御部１０４に出力し、データ用モデル制御部１０４では、pointsとmaxPoints との比較を行い、“points＞maxPoints ”であればデータ用モデル作成部１０３に３次元モデルの更新を停止させ、そうでない場合には続行させる（ステップＡ５）。

データ用モデルの作成が終了すると、データ用モデル作成部１０３からデータ用モデルの情報が出力される。

次に、データ用モデル作成部１０３から出力されたデータ用モデルの各頂点の座標値情報と連結情報とは、属性情報対応付け部１０５に入力される。さらに、属性情報対応付け部１０５には、前述のデータ用モデルの情報と対象物体を撮影した画像群とが入力されて、データ用モデルの各頂点にＳＬＦが対応付けされる（ステップＡ８）。

なお、３次元モデルの各頂点にＳＬＦを対応付けする処理については、従来の技術を用いて実現できる。具体的には、例えば前述の参考文献２に記載されている。

上記の一連の処理が実行されると、３次元グラフィックスデータ作成装置１の最終的な出力として、レンダリング用モデルの情報（頂点、階層数、ベースメッシュの連結情報）、データ用モデルの階層数、データ用モデルの頂点に対応付けされたＳＬＦが得られる（ステップＡ９）。

次に、ここで得られたＳＬＦに対して、多次元データ符号化装置２にて圧縮符号化が行われる。

〔２〕多次元データ符号化装置２の動作
次に、多次元データ符号化装置２の動作について説明する。図７に、多次元データ符号化装置２の動作を示したフローチャートを示す。

まず、多次元データ入力部２０１において、ＳＬＦとレンダリング用モデルの情報とデータ用モデルの情報とが入力される（ステップＢ１）。

ここでも、ＳＬＦをベクトル列＜Ｓ_m ＞＝（Ｓ₁,Ｓ₂,...,Ｓ_n ,..,Ｓ_N ）^T として表現することとする。ただし、ｍ＝１, ２, .., Ｍであり、データ用モデル上のＭ個の頂点に対するインデックスである。また、ｎ＝１, ２, .., Ｎは光線の方向に関するインデックスである。

入力されたＳＬＦは主成分分析部２０２に出力され、入力されたレンダリング用モデルの情報とデータ用モデルの情報とは重み係数ウェーブレット変換部２０３に出力される（ステップＢ１）。

次に、主成分分析部２０３にＳＬＦが入力されているので、主成分分析部２０３による主成分分析によって、Ｋ個の基底データ＜ｂ_k ＞（ｋ＝１, ２,..,Ｋ）と、各基底データに対応した重み係数列ｃ_k,m と、平均値列ｃ₀,_m （ｍ＝１, ２, .., Ｍ）とが求められる。

なお、以下では、各基底データを“主成分基底”と呼び、重み係数を“主成分係数”と呼ぶこととする。また、ｋの値が小さいほど、主成分係数ｃ_k,m （ｍ＝１, ２, .., Ｍ）の分散が大きいとする。

各主成分基底＜ｂ_k ＞（ｋ＝１, ２, .., Ｋ）は基底符号化部２０５に出力され、主成分係数列ｃ_k,m 及び平均値列ｃ₀,_m （ｋ＝１, ２, .., Ｋ、ｍ＝１, ２, .., Ｍ）は重み係数ウェーブレット変換部２０３に出力される（ステップＢ２）。

重み係数ウェーブレット変換部２０３には、主成分分析部２０２から主成分係数列ｃ_k,m 及び平均値列ｃ₀,_m が入力されることに加えて、多次元データ入力部２０１からウェーブレット変換に必要となるレンダリング用モデルの情報とデータ用モデルの情報とが入力されている。これを受けて、重み係数ウェーブレット変換部２０３では、主成分係数列ｃ_k,m 及び平均値列ｃ₀,_m に対してウェーブレット変換を行う（ステップＢ３）。

具体的には、平均値列ｃ₀,_m に対してウェーブレット変換を行うとともに、ｋを固定した主成分係数列ｃ_k,m （ｃ_k,m はデータ用モデルの頂点ｍに対応付けされている）に対してウェーブレット変換を行うという処理を、各ｋに関して行う。このウェーブレット変換の処理は前述の非特許文献２などに記載されている方法によって実現できる。以下では、ｋを固定した主成分係数列ｃ_k,m に対応したウェーブレット変換係数列をｃ^* _k,m と表すこととする。

主成分係数列ｃ_k,m 及び平均値列ｃ₀,_m に対応したウェーブレット変換係数列ｃ^* _k,m （ｋ＝０, １, ２, .., Ｋ、ｍ＝１, ２, .., Ｍ）がプログレッシブ符号化部２０４に出力される（ステップＢ３）。

プログレッシブ符号化部２０４には、重み係数ウェーブレット変換部２０３からウェーブレット変換係数列ｃ^* _k,m （ｋ＝０, １, ２, .., Ｋ、ｍ＝１, ２, .., Ｍ）が入力されることに加えて、多次元データ入力部２０１からプログレッシブ符号化に必要となるレンダリング用モデルの情報とデータ用モデルの情報とが入力されている。これを受けて、プログレッシブ符号化部２０４は、ウェーブレット変換係数列ｃ^* _k,m （ｃ^* ₀,_m を含む）のプログレッシブ符号化を行う（ステップＢ４）。

具体的には、ｋを固定したウェーブレット変換係数列ｃ^* _k,m （ｍ＝１, ２, .., Ｍ）に対して、例えば前述の非特許文献５に記載されているようなプログレッシブ符号化方法を、各ｋについて独立に実行する。ここで、ｋを固定したウェーブレット変換係数列ｃ^* _k,m （ｍ＝１, ２, .., Ｍ）に対応した符号化データをｃbits_k （ｋ＝０, １, ２, .., Ｋ）と記述することとする。

符号化データｃbits_k （ｋ＝０，１, ２, .., Ｋ）はビットストリーム作成部２０６に出力される（ステップＢ４）。

一方、基底符号化部２０５には、主成分基底＜ｂ_k ＞（ｋ＝１, ２, .., Ｋ）が入力されている。ここでは、各主成分基底＜ｂ_k ＞に対して何らかの圧縮符号化が、各々に独立に行われる（ステップＢ５）。

この圧縮符号化については従来の技術を利用する。ここで、主成分基底＜ｂ_k ＞に対応した符号化データをｂbits_k と記述することとする。

符号化データｂbits_k （ｋ＝１, ２, .., Ｋ）はビットストリーム作成部２０６に出力される（ステップＢ５）。

ビットストリーム作成部２０６には、主成分係数及び平均値列に関する符号化データｃbits_k （ｋ＝０, １, ２, .., Ｋ）と、主成分基底に関する符号化データｂbits_k （ｋ＝１, ２, .., Ｋ）とが入力されている。ビットストリーム作成部２０６では、各々の符号化データを以下で説明する順序で並べることにより、全体のビットストリームを作成する（ステップＢ６）。

ここでは、平均値列に対応した符号化データ（ｃbits₀ ）を先頭におき、さらに、図８に示すように、主成分係数の分散が大きい順に、主成分基底と重み係数の符号化データとを並べてビットストリームを作成することとする。具体的には、ビットストリームの先頭から、ｃbits₀,ｂbits₁,ｃbits₁,ｂbits₂,ｃbits₂,_.....,ｂbits_k,ｃbits_k といった順序でビットストリームを作成する。

ここで作成されたビットストリームはビットストリーム出力部２０７に出力される（ステップＢ６）。

そして、ビットストリーム出力部２０７に入力されたビットストリームが多次元データ符号化装置２から出力される（ステップＢ７）。

なお、本実施形態例では、３次元モデルの各頂点に対応付けられたＳＬＦのベクトル列＜Ｓ_m ＞＝（Ｓ₁,Ｓ₂,...,Ｓ_n ,..,Ｓ_N ）^T について、全ての方向ｎ＝１, ２, .., Ｎに関して光線情報の値が与えられていると仮定した。しかし、実際は全ての方向に関して値が定義できるとは限らない。例えば、３次元モデルの内部へ向かう方向の光線情報は定義することができない。このように、欠測値がある場合の基底と重み係数の導出方法については様々な手法が従来からあり（例えば、前述の参考文献２に記載の手法もその一例である）、このような手法を本発明に適用すればよい。

図８に示すビットストリームから分かるように、このようにビットストリームを構成することによって、ビットストリームの復号を途中で中断してもＳＬＦの復元が可能であり、プログレッシブ符号化となっている。また、誤差の減少量が大きい基底と重み係数列とのペアの符号化データほどビットストリームの先頭に近いので、先に良好な近似が可能なＳＬＦを復元可能である。

一方、基底データと重み係数列とをオフラインで復元しておけば（これらのデータのデータ量はＳＬＦよりも小さい）、データ量が元のＳＬＦより小さいデータから少ない演算量でその時点でもって、必要な視線方向に対応したＳＬＦを低演算量で復元でき、任意視点画像をインタラクティブにレンダリングできるようになる。

〔３〕多次元データ復号装置３の動作
次に、多次元データ復号装置３の動作について説明する。

図９に、多次元データ復号装置３の動作を示したフローチャートを示す。

まず、データ入力部３０１に多次元データ符号化装置３から出力されたビットストリームとレンダリング用モデルの情報とデータ用モデルの情報とが入力され、これらのデータはウェーブレット変換係数復号部３０２に出力される（ステップＣ１）。

次に、ウェーブレット変換係数復号部３０２に、多次元データ符号化装置３から出力されたビットストリームとレンダリング用モデルの情報とデータ用モデルの情報とが入力されるので、以下の処理によって、ビットストリーム内の符号化データの順番に応じて、復号処理が行われる（ステップＣ２〜ステップＣ１０）。

この復号処理にあたって、先ず最初に、変数ｋに初期値０がセットされる（ステップＣ２）。そして、変数ｋの値が０であるのか否かを判断することで、先頭の符号化データであるのか否かを判断し（ステップＣ３）、その判断結果に応じた復号処理を実行すると、変数ｋが上限値Ｋに到達したのかを判断して（ステップＣ８）、上限値Ｋに到達していない場合には変数ｋの値を１つずつインクリメントしていくことで（ステップＣ９）、変数ｋが上限値Ｋに到達するまで復号処理を進めていくことになる。

すなわち、まず、ビットストリームの先頭には、平均値列のウェーブレット変換係数に対応した符号化データがあるので、ウェーブレット変換係数復号部３０２で、この符号化データが復号され、復号されたウェーブレット変換係数が逆ウェーブレット変換部３０４に出力される（ステップＣ４）。

そして、ビットストリーム中でまだ復号されていないビット列が基底復号部３０３に出力される。先ず最初には、基底復号部３０３に入力されたビットストリームの先頭には主成分係数の分散が一番大きい主成分基底の符号化ストリームがあるので、この符号化データが復号され、復号された主成分基底が復号データ出力部３０５に出力される（ステップＣ５）。

そして、ビットストリーム中でまだ復号されていないビット列がウェーブレット変換係数復号部３０２に出力される。先ず最初には、ウェーブレット変換係数復号部３０２に入力されたビットストリームの先頭には主成分係数の分散が一番大きい主成分係数のウェーブレット変換係数の符号化ストリームがあるので、この符号化データが復号され、復号されたウェーブレット係数が逆ウェーブレット変換部３０４に出力される（ステップＣ６）。

そして、逆ウェーブレット変換部３０４では、復号されたウェーブレット係数が入力される度に、逆ウェーブレット変換によって、主成分係数（ステップＣ４を経由する場合には平均値列となる）が復号されて復号データ出力部３０５に出力される（ステップＣ７）。

そして、変数ｋの値が上限値Ｋに達するまで、基底復号部３０３と逆ウェーブレット変換部３０４の処理はビットストリーム中でまだ復号されていないビット列がある限り交互に繰り返される。

最後に、復号データ出力部３０５より、復号、逆変換された平均値列、主成分基底、主成分係数が出力される（ステップＣ１０）。

〔４〕テクスチャ画像作成装置４の動作
次に、テクスチャ画像作成装置４の動作について説明する。

図１０及び図１１に、テクスチャ画像作成装置４の動作を示したフローチャートを示す。

本実施形態例では、ベースメッシュの３角形を構成単位とするテクスチャ画像の概念図を示す図１２と、ベースメッシュの３角形に対応したテクスチャ画像内の領域の概念図を示す図１３とに示すように、ベースメッシュの各３角形に対する３角形領域をテクスチャ画像内に与え、その３角形領域の中に、子孫であるレンダリング用モデルの３角形のテクスチャを入れるという構成を採る。

以下の説明では、図１２に示すように、テクスチャ画像を構成する３角形パッチとして、ベースメッシュの３角形パッチを用いることを想定しているが、ベースメッシュに対してサブディビジョンを繰り返すことで生成された３角形パッチを用いることも可能である。

データ用モデルの階層数（＝サブディビジョン回数＋１）を“α”で表し、テクスチャ画像を構成する３角形パッチのレベルを規定するパラメータを“β”で表すならば、テクスチャ画像を構成する３角形パッチとしてベースメッシュの３角形パッチを用いるということは、『α−β＋１＝１』であることを意味し、この“α−β＋１”の値が２以上になる場合には、テクスチャ画像を構成する３角形パッチとして、ベースメッシュに対してサブディビジョンを繰り返すことで生成された３角形パッチを用いることを指定することになる。

なお、以下に説明するテクスチャ画像作成装置４の動作は、データ用モデルの各頂点に対応付けられた様々な属性情報について利用可能である。

また、本発明の符号化・復号方法で得られた平均値列、主成分基底、主成分係数を用いてレンダリングを行う場合（ＳＬＦでレンダリングを行う場合）も、以下に説明するテクスチャ画像作成装置４の動作を利用することが可能である。

この場合は、以下で説明するテクスチャ画像作成装置２の動作を、平均値列ｃ^* ₀,_m 及び主成分係数列ｃ^* _k,m をデータ用モデルの各頂点に対応付けられた属性情報として実行すれば良い。このようにテクスチャ画像を作成した場合における任意視点画像のレンダリングアルゴリズムについては下記の参考文献４に記載の技術から容易に類推可能なため、ここでは記載しない。

〔参考文献４〕Wei-Chao Chen, Jean-Yves Bouguet, Michael H. Chu, Radek Grzeszczuk, Light Field Mapping: Efficient Representation and Hardware Rendering of Surface Light Fields. ACM Transactions on Graphics. 21 (3), pp.447-456, 2002.
テクスチャ画像作成装置４では、まず、レンダリング用モデルの情報とデータ用モデルの情報とデータ用モデルの各頂点に対応した属性情報とがデータ入力部４０５に入力され、レンダリング用モデルの情報とデータ用モデルの情報とはテクスチャ構成設定部４０１及び３角形領域設定部４０２に出力される。一方、データ用モデルの各頂点に対応した属性情報はテクセル値設定部４０３に出力される（ステップＤ１）。

次に、テクスチャ構成設定部４０１にレンダリング用モデルの情報とデータ用モデルの情報とが入力され、これを受けて、テクスチャ構成設定部４０１では、作成するテクスチャ画像の枚数と、レンダリング用モデルの３角形と各テクスチャ画像との対応関係とが決定される（ステップＤ２）。

これらの決定は、テクスチャ画像の最大許容サイズＮ² （単位はピクセルで、縦と横のピクセル数は等しいとする）、データ用モデルの階層数Ｈ_data、ベースメッシュの３角形の数ＢＴＮｕｍとに基づいて行われる。

具体的には、次の通りである。テクスチャ画像内の直角３角形の領域は、“α−β＋１＝１”であることにより“β＝Ｈ_data”となることで、前述の（１）式に従って、底辺と高さが共に、
Ｐ＝２^Hdata ＋Σ２ⁱ
ただし、Σはｉ＝０〜Ｈ_data−２の総和
で表されるＰピクセルであることとなる。

従って、一つのテクスチャ画像内に収まるベースメッシュの３角形の数ＢＴＰｅｒＴｅｒは、
ＢＴＰｅｒＴｅｒ＝ｆｌｏｏｒ（Ｎ／Ｐ）²
ただし、ｆｌｏｏｒ（Ａ）は実数Ａの整数部分を表す
で与えられ、これから、テクスチャ画像の枚数ｎｕｍＴｅｘは、
ｎｕｍＴｅｘ＝ｆｌｏｏｒ（ＢＴＮｕｍ／ＢＴＰｅｒＴｅｘ＋１）
で与えられる。

また、本実施形態例では、図１２に示されているように、ベースメッシュの各３角形を３角形インデックスが小さい順に左上から並べるとする。

すると、ベースメッシュの３角形とテクスチャ画像との対応関係としては、ベースメッシュの３角形ｉは、
Ｓ_i ＝ｆｌｏｏｒ（ｉ／ＢＴＰｅｒＴｅｘ＋１）
という式から求められるＳ_i 番目のテクスチャ画像（テクスチャ画像にもインデックスが付けられている）に対応することになる。

次に、テクスチャ構成設定部４０１で決定されたテクスチャ画像の枚数、及びベースメッシュの３角形と各テクスチャとの対応関係の情報が３角形領域設定部４０２に入力されるとともに、テクスチャ画像作成装置４の入力であったレンダリング用モデルの情報とデータ用モデルの階層数の情報とが３角形領域設定部４０２に入力される。

これを受けて、３角形領域設定部４０２では、ベースメッシュの各３角形の頂点が対応するテクスチャ画像内の位置情報を求める（ステップＤ３）。

本実施形態例の場合は、図１３に示すように、ベースメッシュの各３角形の頂点を配置することを考える。従って、ベースメッシュのｉ番目の３角形の各頂点が対応するテクセル（画素）の位置は次のようになる。ここで、対応するテクスチャ画像のインデックスは前述の通りＳi である。

＊ｉ番目の３角形における１番目の頂点：
＜Ｔ_i,1 ＞＝( P ×mod (i'/floor(N/P)), P×floor(i'/floor(N/P)))
ただし、ｉ’＝ｉ−（Ｓ_i −１）×ＢＴＰｅｒＴｅｘ
＊ｉ番目の３角形における２番目の頂点：
＜Ｔ_i,2 ＞＝( P ×mod(i'/floor(N/P)), P ×floor(i'/floor(N/P))+P)
ただし、ｉ’＝ｉ−（Ｓ_i −１）×ＢＴＰｅｒＴｅｘ
＊ｉ番目の３角形における３番目の頂点：
＜Ｔ_i,3 ＞＝( P ×mod(i'/floor(N/P))+P, P ×floor(i'/floor(N/P))+P)
ただし、ｉ’＝ｉ−（Ｓ_i −１）×ＢＴＰｅｒＴｅｘ
次に、３角形領域設定部４０２から、ベースメッシュの３角形とテクスチャ画像との対応関係Ｓ_i と、テクスチャ画像内での位置情報＜Ｔ_i,j ＞とが出力され、テクセル値設定部４０３に入力される。また、ここでもテクスチャ画像作成装置４の入力であったレンダリング用モデルの情報とデータ用モデルの階層数の情報とがテクセル値設定部４０３に入力される。

これを受けて、テクセル値設定部４０３では、データ用モデルの各頂点に対応した色などの属性値がテクセル値に設定される（ステップＤ４）。

具体的には、ベースメッシュの各３角形に関して、図１１のフローチャートに従って次の処理が実行される。

すなわち、まず、ベースメッシュの３角形のインデックスｔに初期値１をセットし（ステップＤ４１）、続いて、そのインデックスｔの指すベースメッシュの３角形の各頂点にマッピングされている色などの属性値を、Ｓ_i 番目のテクスチャ画像における＜Ｔ_i,1 ＞、＜Ｔ_i,2 ＞、＜Ｔ_i,3 ＞の位置のテクセルの値に設定する（ステップＤ４２）。

続いて、このＳ_i 番目のテクスチャ画像の領域の内部のテクセル値の設定に入って、階層インデックスｈに初期値１をセットし（ステップＤ４３）、続いて、階層ｈのエッジに対応した頂点（この頂点は階層ｈ＋１に属す）にマッピングされている色などの属性値を、そのエッジの両端の頂点（これらの頂点は階層ｈに属す）が対応するテクセルの中点にあたるテクセルの値に設定する（ステップＤ４４）。

このような再帰的な処理を、ｈ＝１, ２, .., Ｈ_data−１に関して実行することでデータ用モデルの全ての頂点にマッピングされたデータをテクセル値に設定し（ステップＤ４５／ステップＤ４６）、この設定処理を全てのベースメッシュの３角形に対して実行することで（ステップＤ４７／ステップＤ４８）、図１４に示すように、データ用モデルの各頂点に対応した色などの属性値をテクセル値に設定することで行う。

ここで、図１４の例では、データ用モデルの階層数αとしてα＝３を想定し、“α−β＋１＝１”となるβ＝３を想定することで、テクスチャ画像を構成する３角形としてベースメッシュの３角形を用いることを想定している。このとき、レンダリング用モデルの階層数を２（ベースメッシュに対して１回サブディビジョンを行った状態のモデル）であるとすると、テクスチャマッピングによってレンダリングする際には、レンダリング用モデルの３角形パッチに対応した３角形（１，５，６）、（５，２，４）、（６，４，３）、（５，４，６）に対してテクスチャ座標を定義してテクスチャマッピングを行うことになる。

次に、テクセル値設定部４０３から、テクスチャ画像と、ベースメッシュの３角形とテクスチャ画像との対応関係Ｓ_i と、テクスチャ画像内での位置情報＜Ｔ_i,j ＞とが出力され、パディング部２０４に出力される。

これを受けて、パディング部４０４では、テクセル値設定部４０３でテクセル値が設定されなかったテクセルの値を設定する（ステップＤ５）。

なお、レンダリング時にテクスチャマッピングが行われる際、テクセル値が補間され、一部のエッジ部分は、３角形の領域外のテクセルも補間に利用されて不連続性が生じる。これから、テクセル値設定部４０３でテクセル値が設定されなかったテクセルの値を設定する場合は、レンダリング時の補間を考慮しなければならない。

本実施形態例では、テクスチャマッピングでbilinear interpolationと呼ばれる補間方法が利用されることを仮定した場合の例を示す。

bilinear interpolationが利用される場合は、図１５に示すように、テクスチャ画像内の各３角形の領域に関して、これらの領域に対応したベースメッシュの３角形とエッジを共有する３角形に関する色データをテクセル値に設定すれば良い。エッジを共有する３角形に関するテクセル値の設定は、テクセル値設定部４０３と同様の方法で実現できる。

最後に、テクスチャ画像出力部４０６から、作成されたテクスチャ画像が出力される（ステップＤ６）。

次に、このように構成される本発明の効果についてまとめる。

まず、多次元データの符号化方法の効果としては、ＳＬＦ等の多次元データ列にプログレッシブ符号化を行うと共に、レンダリング時には、圧縮されたデータから少ない演算量で、その時点で必要な視線方向に対応したＳＬＦを低演算量で復元できるので、レンダリング時のメモリの利用量が従来の方法より小さい。

また、３次元グラフィックスデータ作成方法及びテクスチャ画像作成装置の効果は以下の通りである。

すなわち、細分割接続性を満たす３次元モデルの頂点に色が対応付けられており、これによる補間色で３次元モデルに色を与えてレンダリングする場合、従来の方法と比較して、ほぼ同様のレンダリング画像を得ながらも、レンダリングの演算量を大幅に削減できる。

具体的には、データ用モデルの頂点に属性情報として色データが対応付けされた場合を考えると、頂点数が多いデータ用モデルをレンダリングに利用して、各頂点に対応する色で３角形内の色を補間した場合（従来の方法である）と比較して、色の補間処理は本発明に基づくテクスチャマッピングを利用してもほぼ同じ処理を行われることとなる。つまり、結果的に得られるレンダリング画像もほぼ同じである。

それなのに、レンダリング用モデルの３角形の数はデータ用モデルの３角形の数と比較して大幅に少ない。具体的には、データ用モデルの階層数をＨ_data、レンダリング用モデルの階層数をＨ_render、３角形の数を triangles_renderとすると、データ用モデルの３角形の数 triangles_dataは前述の（１）式で与えられる。

従って、レンダリングの演算量に関しては、色の補間の演算量はほぼ同等であるが、隠面・隠線消去の演算量が大きく減り、全体の演算量を比較しても大幅な削減を得ることができる。また、これらの数値データは細分割接続性を満たす頂点に対応付けられているので、ウェーブレット変換を適用することが可能である。

３次元グラフィックスデータ作成装置の構成図である。 多次元データ符号化装置の構成図である。 多次元データ復号装置の構成図である。 テクスチャ画像作成装置の構成図である。 ３次元グラフィックスデータ作成装置の動作フローである。 頂点の追加を説明する概念図である。 多次元データ符号化装置の動作フローである。 ビットストリームを説明する概念図である。 多次元データ復号装置の動作フローである。 テクスチャ画像作成装置の動作フローである。 テクスチャ画像作成装置の動作フローである。 テクスチャ画像の概念図である。 ベースメッシュの３角形に対応したテクスチャ画像内の領域の概念図である。 テクスチャ画像作成処理の概念図である。 パディングの概念図である。 ベースメッシュの一例を示す概念図である。 正則な頂点を説明する概念図である。 サブディビジョンの際の３角形の分割を説明する概念図である。 細分割接続性を満たす３次元モデルの一例を示す概念図である。 ＳＬＦの概念図である。 テクスチャマッピングを説明する概念図である。

符号の説明

１ ３次元グラフィックスデータ作成装置
２ 多次元データ符号化装置
３ 多次元データ復号装置
４ テクスチャ画像作成装置
１０１ レンダリング用モデル作成部
１０２ 誤差評価部
１０３ データ用モデル作成部
１０４ データ用モデル制御部
１０５ 属性情報対応付け部
１０６ データ入力部
１０７ データ出力部
２０１ 多次元データ入力部
２０２ 主成分分析部
２０３ 重み係数ウェーブレット変換部
２０４ プログレッシブ符号化部
２０５ 基底符号化部
２０６ ビットストリーム作成部
２０７ ビットストリーム出力部
３０１ データ入力部
３０２ ウェーブレット変換係数復号部
３０３ 基底復号部
３０４ 逆ウェーブレット変換部
３０５ 復号データ出力部
４０１ テクスチャ構成設定部
４０２ ３角形領域設定部
４０３ テクセル値設定部
４０４ パディング部
４０５ データ入力部
４０６ テクスチャ画像出力部

Claims (29)

1. レンダリングに利用する３次元モデルであるレンダリング用モデルが入力として与えられているとし、細分割接続性を満たし、レンダリング用モデルと同形状で頂点数がより多い３次元モデルであるデータ用モデルを作成して、データ用モデルの各頂点に対応する属性情報をデータ用モデルの頂点座標値及び連結情報に基づいて求めることにより、レンダリング用モデルの属性情報を求める３次元グラフィックスデータ作成方法であって、
   ３次元モデルの各エッジの中点を座標値とした新しい頂点を設定する頂点追加ステップと、
   ３次元モデルの各エッジの両端の頂点の各々と、その中点に設定された頂点とのペアによるエッジを設定し、さらに、同じ３角形パッチのエッジの中点として設定された３つの頂点を互いにペアとしてエッジを設定して、３次元モデルの連結情報を更新する連結情報追加ステップと、
   頂点追加ステップと連結情報追加ステップとを経て作成される３次元モデルであるデータ用モデルの各頂点に対応した属性情報を求める属性情報対応付けステップとを有することを、
   特徴とする３次元グラフィックスデータ作成方法。
2. 細分割接続性を満たし、レンダリングに利用する３次元モデルであるレンダリング用モデルを作成し、それに基づいて、細分割接続性を満たし、レンダリング用モデルと同形状で頂点数がより多い３次元モデルであるデータ用モデルを作成して、データ用モデルの各頂点に対応する属性情報をデータ用モデルの頂点座標値及び連結情報に基づいて求めることにより、レンダリング用モデルの属性情報を求める３次元グラフィックスデータ作成方法であって、
   ３次元モデルの頂点の座標値とその連結情報とを設定することで、細分割接続性を満たすレンダリング用モデルを作成するレンダリング用モデル作成ステップと、
   ３次元モデルの各エッジの中点を座標値とした新しい頂点を設定する頂点追加ステップと、
   ３次元モデルの各エッジの両端の頂点の各々と、その中点に設定された頂点とのペアによるエッジを設定し、さらに、同じ３角形パッチのエッジの中点として設定された３つの頂点を互いにペアとしてエッジを設定して、３次元モデルの連結情報を更新する連結情報追加ステップと、
   頂点追加ステップと連結情報追加ステップとを経て作成される３次元モデルであるデータ用モデルの各頂点に対応した属性情報を求める属性情報対応付けステップとを有することを、
   特徴とする３次元グラフィックスデータ作成方法。
3. 請求項２に記載の３次元グラフィックスデータ作成方法において、
   レンダリング用モデル作成ステップでは、所定の３次元モデルを近似する３次元モデルを作成する場合、レンダリング用モデルと該所定の３次元モデルとの間の誤差評価値が所定の閾値以下となる最小の階層数でもってレンダリング用モデルを作成することを、
   特徴とする３次元グラフィックスデータ作成方法。
4. 請求項１ないし３のいずれか１項に記載の３次元グラフィックスデータ作成方法において、
   頂点追加ステップと連結情報追加ステップとを交互に所定の回数繰り返し行うことを、
   特徴とする３次元グラフィックスデータ作成方法。
5. 細分割接続性を満たす３次元モデルにテクスチャマッピングを適用するためのテクスチャ画像を、３次元モデルの頂点に対応付けられている属性情報をテクセル値に設定することによって作成するテクスチャ画像作成方法であって、
   ３次元モデルにおけるある階層の各３角形パッチに対し、テクスチャ画像上でそれに対応する大きさを持つ直角３角形を構成するようにとテクスチャ座標を設定する３角形領域対応付けステップと、
   ３次元モデルにおける上記ある階層の各３角形パッチに対し、３つの頂点に対応付けされた属性情報を、３角形領域対応付けステップで設定されたテクスチャ座標に対応したテクセルの画素値に設定し、さらに、その階層よりも大きなＱ番目の階層の頂点に対応付けされた属性情報を、その頂点に対応したＱ−１番目の階層のエッジを構成する頂点が対応する２つのテクセルの中点にあたるテクセルの画素値に設定するテクセル値設定ステップとを有することを、
   特徴とするテクスチャ画像作成方法。
6. 請求項５に記載のテクスチャ画像作成方法において、
   ３角形領域対応付けステップでは、テクスチャ画像が複数枚数となる場合には、処理対象の３角形パッチに対応したテクスチャ画像に対してテクスチャ座標を設定することを、
   特徴とするテクスチャ画像作成方法。
7. 請求項５又は６に記載のテクスチャ画像作成方法において、
   テクセル値設定ステップで値が設定されたテクセルの近隣に位置する値が設定されていないテクセルに対して、その値が設定されているテクセルに対応付けられる階層の３角形パッチとエッジを共有する３角形パッチにより設定されるテクセル値を利用した補間値を設定するパディングステップを有することを、
   特徴とするテクスチャ画像作成方法。
8. ３次元モデルの面上の３次元座標に対応付けされた、複数の数値データで構成される多次元データを符号化する多次元データ符号化方法であって、
   各々の３次元座標に対応付けされた多次元データと同じデータ数で構成される多次元データで構成される基底データと、その基底データに対応する重み係数列とを、３次元モデル上の各３次元座標に対応付けられた多次元データについて設定する基底導出ステップと、
   基底データとその基底データに対応する重み係数列とのペアの順序付けを行う順序付けステップと、
   各々の基底データを圧縮符号化する基底符号化ステップと、
   各々の基底データに対応した重み係数列にウェーブレット変換を行う重み係数ウェーブレット変換ステップと、
   重み係数ウェーブレット変換ステップで求められたウェーブレット変換係数に対して、プログレッシブ符号化を行うプログレッシブ符号化ステップと、
   順序付けステップで順序付けされた順に、基底データの符号化データ、その基底データに対応した重み係数列の符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成ステップとを有することを、
   特徴とする多次元データ符号化方法。
9. ３次元モデルの面上の３次元座標に対応付けされた、複数の数値データで構成される多次元データを符号化する多次元データ符号化方法であって、
   多次元データに含まれる数値の平均値あるいはメディアン値を、３次元モデル上の各３次元座標に関して求めて、３次元モデル上の各３次元座標に対応した多次元データから、該３次元座標に対応した平均値あるいはメディアン値を引いた残差多次元データを求める残差多次元データ導出ステップと、
   各々の３次元座標に対応付けされた多次元データと同じデータ数で構成される多次元データで構成される基底データと、その基底データに対応する重み係数列とを、３次元モデル上の各３次元座標に対応付けられた残差多次元データについて設定する基底導出ステップと、
   基底データとその基底データに対応する重み係数列とのペアの順序付けを行う順序付けステップと、
   各々の基底データを圧縮符号化する基底符号化ステップと、
   各々の基底データに対応した重み係数列と、残差多次元データ導出ステップで求められた平均値列あるいはメディアン値列とに対してウェーブレット変換を行う重み係数ウェーブレット変換ステップと、
   重み係数ウェーブレット変換ステップで求められたウェーブレット変換係数に対してプログレッシブ符号化を行うプログレッシブ符号化ステップと、
   平均値列あるいはメディアン値列の符号化データの後に、順序付けステップで順序付けされた順に、基底データの符号化データ、その基底データに対応した重み係数列の符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成ステップとを有することを、
   特徴とする多次元データ符号化方法。
10. 請求項８又は９に記載の多次元データ符号化方法において、
    基底導出ステップでは、基底データとその基底データに対応する重み係数列とを求めるとともに、多次元データの平均である平均多次元データを求め、
    基底符号化ステップでは、基底を符号化するとともに、平均多次元データを符号化し、
    ビットストリーム作成ステップでは、平均多次元データの符号化データを、ビットストリーム中で全ての基底データ及び重み係数列の符号化データの前に設定することを、
    特徴とする多次元データ符号化方法。
11. ３次元モデルの面上の３次元座標に対応付けされた多次元データが複数の色データで構成されており、これらの多次元データを符号化する多次元データ符号化方法であって、
    請求項８に記載の発明のビットストリーム作成ステップ以外のステップを、色データを構成する各成分に関して独立に実行するステップと、
    各基底データに対応した重み係数列の符号化データを、色データを構成する各成分について、１ビットごとにインターリーブしたビット列を作成して符号化データを統合するインターリーブステップと、
    順序付けステップで順序付けされた順に、色データを構成する各成分に対応した基底データの符号化データ、その基底データに対応した重み係数列のインターリーブされた符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成ステップとを有することを、
    特徴とする多次元データ符号化方法。
12. ３次元モデルの面上の３次元座標に対応付けされた多次元データが複数の色データで構成されており、これらの多次元データを符号化する多次元データ符号化方法であって、
    請求項９の発明のビットストリーム作成ステップ以外のステップを、色データを構成する各成分に関して独立に実行するステップと、
    各基底データに対応した重み係数列の符号化データと平均値列あるいはメディアン値列の符号化データとを、色データを構成する各成分について、１ビットごとにインターリーブしたビット列を作成して符号化データを統合するインターリーブステップと、
    平均値列あるいはメディアン値列のインターリーブされた符号化データの後に、順序付けステップで順序付けされた順に、色データを構成する各成分に対応した基底データの符号化データ、その基底データに対応した重み係数列のインターリーブされた符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成ステップとを有することを、
    特徴とする多次元データ符号化方法。
13. 請求項１１又は１２に記載の多次元データ符号化方法において、
    基底導出ステップでは、色データの各成分について、基底データとその基底データに対応する重み係数列とを求めるとともに、多次元データの平均である平均多次元データを求め、
    基底符号化ステップでは、基底を符号化するとともに、平均多次元データを符号化し、
    ビットストリーム作成ステップでは、色データの各成分に対応した平均多次元データの符号化データを、ビットストリーム中で全ての基底データ及び重み係数列の符号化データの前に設定することを、
    特徴とする多次元データ符号化方法。
14. 請求項８ないし１３のいずれか１項に記載の多次元データ符号化方法において、
    順序付けステップでは、ｋ＝１から始めて、ｋ番目の基底データと重み係数列とのペアを、１からｋ番目の基底データと重み係数列とを用いて符号化対象の多次元データを近似した際の二乗誤差の総和が最小になるように決定することを、
    特徴とする多次元データ符号化方法。
15. 請求項８ないし１４のいずれか１項に記載の多次元データ符号化方法において、
    基底導出ステップでは、主成分分析によって、基底データとその基底データに対応する重み係数列とを求めることを、
    特徴とする多次元データ符号化方法。
16. 請求項８ないし１５のいずれか１項に記載の多次元データ符号化方法によって得られるビットストリームを復号する多次元データ復号方法であって、
    基底データを復号する基底データ復号ステップと、
    重み係数列のウェーブレット変換係数を復号するウェーブレット変換係数復号ステップと、
    ウェーブレット変換係数復号ステップで復号されたウェーブレット変換係数に逆ウェーブレット変換を行って重み係数列を復元する逆ウェーブレット変換ステップとを有することを、
    特徴とする多次元データ復号方法。
17. レンダリングに利用する３次元モデルであるレンダリング用モデルが入力として与えられているとし、細分割接続性を満たし、レンダリング用モデルと同形状で頂点数がより多い３次元モデルであるデータ用モデルを作成して、データ用モデルの各頂点に対応する属性情報をデータ用モデルの頂点座標値及び連結情報に基づいて求めることにより、レンダリング用モデルの属性情報を求める３次元グラフィックスデータ作成装置であって、
    ３次元モデルの各エッジの中点を座標値とした新しい頂点を設定する頂点追加部と、
    ３次元モデルの各エッジの両端の頂点の各々と、その中点に設定された頂点とのペアによるエッジを設定し、さらに、同じ３角形パッチのエッジの中点として設定された３つの頂点を互いにペアとしてエッジを設定して、３次元モデルの連結情報を更新する連結情報追加部と、
    頂点追加部による処理と連結情報追加部による処理とを経て作成される３次元モデルであるデータ用モデルの各頂点に対応した属性情報を求める属性情報対応付け部とを有することを、
    特徴とする３次元グラフィックスデータ作成装置。
18. 細分割接続性を満たし、レンダリングに利用する３次元モデルであるレンダリング用モデルを作成し、それに基づいて、細分割接続性を満たし、レンダリング用モデルと同形状で頂点数がより多い３次元モデルであるデータ用モデルを作成して、データ用モデルの各頂点に対応する属性情報をデータ用モデルの頂点座標値及び連結情報に基づいて求めることにより、レンダリング用モデルの属性情報を求める３次元グラフィックスデータ作成装置であって、
    ３次元モデルの頂点の座標値とその連結情報とを設定することで、細分割接続性を満たすレンダリング用モデルを作成するレンダリング用モデル作成部と、
    ３次元モデルの各エッジの中点を座標値とした新しい頂点を設定する頂点追加部と、
    ３次元モデルの各エッジの両端の頂点の各々と、その中点に設定された頂点とのペアによるエッジを設定し、さらに、同じ３角形パッチのエッジの中点として設定された３つの頂点を互いにペアとしてエッジを設定して、３次元モデルの連結情報を更新する連結情報追加部と、
    頂点追加部による処理と連結情報追加部による処理とを経て作成される３次元モデルであるデータ用モデルの各頂点に対応した属性情報を求める属性情報対応付け部とを有することを、
    特徴とする３次元グラフィックスデータ作成装置。
19. 細分割接続性を満たす３次元モデルにテクスチャマッピングを適用するためのテクスチャ画像を、３次元モデルの頂点に対応付けられている属性情報をテクセル値に設定することによって作成するテクスチャ画像作成装置であって、
    ３次元モデルにおけるある階層の各３角形パッチに対し、テクスチャ画像上でそれに対応する大きさを持つ直角３角形を構成するようにとテクスチャ座標を設定する３角形領域対応付け部と、
    ３次元モデルにおける上記ある階層の各３角形パッチに対し、３つの頂点に対応付けされた属性情報を、３角形領域対応付け部で設定されたテクスチャ座標に対応したテクセルの画素値に設定し、さらに、その階層よりも大きなＱ番目の階層の頂点に対応付けされた属性情報を、その頂点に対応したＱ−１番目の階層のエッジを構成する頂点が対応する２つのテクセルの中点にあたるテクセルの画素値に設定するテクセル値設定部とを有することを、
    特徴とするテクスチャ画像作成装置。
20. 請求項１９に記載のテクスチャ画像作成装置において、
    テクセル値設定部で値が設定されたテクセルの近隣に位置する値が設定されていないテクセルに対して、その値が設定されているテクセルに対応付けられる階層の３角形パッチとエッジを共有する３角形パッチにより設定されるテクセル値を利用した補間値を設定するパディング部を有することを、
    特徴とするテクスチャ画像作成装置。
21. ３次元モデルの面上の３次元座標に対応付けされた、複数の数値データで構成される多次元データを符号化する多次元データ符号化装置であって、
    各々の３次元座標に対応付けされた多次元データと同じデータ数で構成される多次元データで構成される基底データと、その基底データに対応する重み係数列とを、３次元モデル上の各３次元座標に対応付けられた多次元データについて設定する基底導出部と、
    基底データとその基底データに対応する重み係数列とのペアの順序付けを行う順序付け部と、
    各々の基底データを圧縮符号化する基底符号化部と、
    各々の基底データに対応した重み係数列にウェーブレット変換を行う重み係数ウェーブレット変換部と、
    重み係数ウェーブレット変換部で求められたウェーブレット変換係数に対して、プログレッシブ符号化を行うプログレッシブ符号化部と、
    順序付け部で順序付けされた順に、基底データの符号化データ、その基底データに対応した重み係数列の符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成部とを有することを、
    特徴とする多次元データ符号化装置。
22. ３次元モデルの面上の３次元座標に対応付けされた、複数の数値データで構成される多次元データを符号化する多次元データ符号化装置であって、
    多次元データに含まれる数値の平均値あるいはメディアン値を、３次元モデル上の各３次元座標に関して求めて、３次元モデル上の各３次元座標に対応した多次元データから、該３次元座標に対応した平均値あるいはメディアン値を引いた残差多次元データを求める残差多次元データ導出部と、
    各々の３次元座標に対応付けされた多次元データと同じデータ数で構成される多次元データで構成される基底データと、その基底データに対応する重み係数列とを、３次元モデル上の各３次元座標に対応付けられた残差多次元データについて設定する基底導出部と、
    基底データとその基底データに対応する重み係数列とのペアの順序付けを行う順序付け部と、
    各々の基底データを圧縮符号化する基底符号化部と、
    各々の基底データに対応した重み係数列と、残差多次元データ導出部で求められた平均値列あるいはメディアン値列とに対してウェーブレット変換を行う重み係数ウェーブレット変換部と、
    重み係数ウェーブレット変換部で求められたウェーブレット変換係数に対してプログレッシブ符号化を行うプログレッシブ符号化部と、
    平均値列あるいはメディアン値列の符号化データの後に、順序付け部で順序付けされた順に、基底データの符号化データ、その基底データに対応した重み係数列の符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成部とを有することを、
    特徴とする多次元データ符号化装置。
23. ３次元モデルの面上の３次元座標に対応付けされた多次元データが複数の色データで構成されており、これらの多次元データを符号化する多次元データ符号化装置であって、
    請求項２１に記載の発明のビットストリーム作成部以外の各処理部による処理を、色データを構成する各成分に関して独立に実行する実行部と、
    各基底データに対応した重み係数列の符号化データを、色データを構成する各成分について、１ビットごとにインターリーブしたビット列を作成して符号化データを統合するインターリーブ部と、
    順序付け部で順序付けされた順に、色データを構成する各成分に対応した基底データの符号化データ、その基底データに対応した重み係数列のインターリーブされた符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成部とを有することを、
    特徴とする多次元データ符号化装置。
24. ３次元モデルの面上の３次元座標に対応付けされた多次元データが複数の色データで構成されており、これらの多次元データを符号化する多次元データ符号化装置であって、
    請求項２２に記載の発明のビットストリーム作成部以外の各処理部による処理を、色データを構成する各成分に関して独立に実行する実行部と、
    各基底データに対応した重み係数列の符号化データと平均値列あるいはメディアン値列の符号化データとを、色データを構成する各成分について、１ビットごとにインターリーブしたビット列を作成して符号化データを統合するインターリーブ部と、
    平均値列あるいはメディアン値列のインターリーブされた符号化データの後に、順序付け部で順序付けされた順に、色データを構成する各成分に対応した基底データの符号化データ、その基底データに対応した重み係数列のインターリーブされた符号化データの順で、符号化データが続くようにビットストリームを作成するビットストリーム作成部とを有することを、
    特徴とする多次元データ符号化装置。
25. 請求項２１ないし２４のいずれか１項に記載の多次元データ符号化装置によって得られるビットストリームを復号する多次元データ復号装置であって、
    基底データを復号する基底データ復号部と、
    重み係数列のウェーブレット変換係数を復号するウェーブレット変換係数復号部と、
    ウェーブレット変換係数復号部で復号されたウェーブレット変換係数に逆ウェーブレット変換を行って重み係数列を復元する逆ウェーブレット変換部とを有することを、
    特徴とする多次元データ復号装置。
26. 請求項１ないし４のいずれか１項に記載の３次元グラフィックスデータ作成方法の実現に用いられる処理をコンピュータに実行させるための３次元グラフィックスデータ作成プログラム。
27. 請求項５ないし７のいずれか１項に記載のテクスチャ画像作成方法の実現に用いられる処理をコンピュータに実行させるためのテクスチャ画像作成プログラム。
28. 請求項８ないし１５のいずれか１項に記載の多次元データ符号化方法の実現に用いられる処理をコンピュータに実行させるための多次元データ符号化プログラム。
29. 請求項１６に記載の多次元データ復号方法の実現に用いられる処理をコンピュータに実行させるための多次元データ復号プログラム。
    

Images