JP2004234476A - 画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置 - Google Patents

Abstract

【課題】視点の移動および光源の移動の双方に対応して画像データを物体モデルにマッピングできるようにし、これにより高品位な立体映像を得ることのできる画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置を提供する。
【解決手段】視点位置の変化による画像情報の特性と光源位置の変化による画像情報の特性とを表現する情報を当該画像情報に対応付けた、高次元の物体特性情報を導入する。物体特性情報をブロック化し、直交変換および量子化したのち符号化した符号化情報をストレージ６３に記録する。この情報を１次メモリ６０および２次メモリ６１を介して復号化処理部２２により復号化し、視点位置および光源位置のパラメータに基づき復号情報を選択する。更に、計算資源を効率的に用いたアーキテクチャを採用してリアルタイム処理を実現する。
【選択図】 図４

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元コンピュータグラフィクス（以下ＣＧと表記する）分野において、物体モデルにテクスチャデータや画像データなどをマッピングするための画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置に関する。特に本発明は、イメージベースレンダリング技術を用いた画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置に関する。
【０００２】
【従来の技術】
３次元ＣＧ分野には、あるパターンを繰り返すテクスチャデータ、あるいは実世界から取得した撮影画像データ（以下、画像データと総称する）を、三角形パッチで構成されるポリゴンモデルなどの３次元を構成するモデルの表面に貼り付けるマッピングと呼ばれる手法が有る。一方、光源や視点位置に応じた物体表面の陰影をポリゴン表面の塗りつぶしで表現する手法はシェーディングと称される。シェーディング技法には、ポリゴン内を一様に塗りつぶすフラットシェーディングや、ポリゴン内を頂点輝度値の線形補間で塗るグーローシェーディングなどが有る。マッピングとシェーディングとを組み合わせると、視点や照明位置に応じて陰影の組み合わさったイメージデータを物体モデルに貼り付けることができ、高品位なＣＧ画像を得ることができる。
【０００３】
ところが、マッピングで用いられる画像データは特定の照明条件、およびカメラ位置での撮影画像であり、貼り付ける対象である３次元モデルの形状や、描画時の視点、照明位置といった条件が考慮されたものではない。これをそのまま物体モデルに貼り付けると陰影に変化のない単調な描画像となり、現実との違いが目立つことがある。また、シェーディングにおいても基本的には頂点単位の光源計算で輝度が計算され、ポリゴン内部は線形に補間されるために、３次元物体が本来備える細かな表面形状に対応する描画は行われない。
【０００４】
実写画像の特性を考慮すると、カメラで撮像された画像を、レンズを通して各ピクセルに入射する光の情報を取得したものとして考えることができる。つまり画像データは、撮像時のカメラ位置、向き、時刻といったパラメータで規定できる光の集合として見做せる。そこで、このような光線情報を再利用することで高品位な画像を生成する技術が登場しており、これはイメージベースレンダリング技術と呼ばれている。
【０００５】
イメージベースレンダリングの１手法として、撮像対象を異なる視点や照明条件で撮像した画像データを予め複数用意し、３次元物体のレンダリング時に、これらの画像データを物体表面の法線や視点、および照明位置などの情報に基づき切り替えてマッピングする手法が考えられている。しかしながら、考えられる複数の撮像環境に応じて多数の画像データを用意しておくことは膨大なメモリ容量が必要ということを意味し、何らかの手法により画像データを圧縮／伸張する必要がある。
【０００６】
この種の画像データ圧縮／伸張処理に関し、視点移動の観点からアプローチする技術として特許文献１〜３に開示される技術がある。特許文献１には、カメラの配置などからブロックの並び順を決定する多視点画像のブロック化に関する手法が開示される。特許文献２には、時間的相関と空間的相関を利用して動画像データを効率よく符号化する手法が開示される。特許文献３には、参照画像に対して予測、誤差ＤＣＴ、固定長符号化を用いる手法が開示される。
【０００７】
一方、光源移動の観点からアプローチする技術として特許文献４に開示される技術がある。特許文献４には、光源位置の変化による特性を多項式関数により表現することで画像を圧縮する手法が開示される。
【０００８】
【特許文献１】
特開平６−１１３３３３公報（第８頁、図６）
【０００９】
【特許文献２】
特開平８−１４００９０公報（第９頁、図６）
【００１０】
【特許文献３】
特開２００１−１８６５１６公報（第１２頁、図６）
【００１１】
【特許文献４】
米国特許第ＵＳ００６２９７８３４Ｂ１号明細書（第２頁、図６）
【００１２】
【発明が解決しようとする課題】
上記の公知技術には、画像データの圧縮／伸張処理に関して、視点の移動、または光源の移動のいずれか一方を考慮した技術が開示されているのに留まる。しかも、画像データをリアルタイム処理しつつマッピングデータとして再生することはもとより考慮されていない。近年ではより実画像に近いリアルなＣＧグラフィックへの要求が高まってきており、何らかの新規な技術の提供が待たれている。
【００１３】
本発明は上記事情によりなされたもので、その目的は、視点の移動および光源の移動の双方に対応して画像データを物体モデルにマッピングできるようにし、これにより高品位な立体映像を得ることのできる画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために本発明に係わる画像データ符号化方式は、コンピュータグラフィクスイメージに表示される物体モデルにマッピングするための画像データを符号化する画像データ符号化方式において、複数の画像データにそれぞれ各画像データの撮影条件（例えば被写体を撮影する際の視点位置座標および光源の位置座標）を対応付けた複数の多次元データを符号化することを特徴とする。
【００１５】
このような手段により、複数の画像データに、その視点位置と光源位置とを対応付けた複数のデータが予め用意される。従って予め用意された画像データの中から、ＣＧイメージ中の物体モデルの視点位置および光源位置に対応する画像データを選択することができる。これにより画像データの視点位置と光源位置とを、ＣＧイメージ中の物体モデルの視点位置と光源位置とに合わせてマッピングすることが可能となり、より実画像に近いマッピングを実現することが可能になる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本発明の実施の形態における物体特性情報に係わるパラメータを示す模式図である。本実施形態においては、予め用意されるマッピング用の画像データ（以下物体特性情報と表記する）のそれぞれに、その視点方向および光源方向を対応付ける。視点方向、および光源方向のいずれも球座標系における２つのパラメータで表現することができる。これらの４つのパラメータと、画像データ内の位置を特定するための２次元データとを合わせて、６次元のパラメータで一つの物体特性情報を特定することができる。
【００１７】
図１に示されるように撮像対象を原点とする球座標系を用いて視点位置、および光源位置を指定する。視点を無限遠とし、光源を平行光源と仮定すると、視点位置を（θｅ，φｅ），光源位置を（θｉ，φｉ）と表現することができる。このとき物体特性情報Ｉを次式（１）のように６次元で定義することができる。
【００１８】
【数１】

【００１９】
図２は、本実施形態に係わる物体特性情報を取得するための手段を示す模式図である。図２において、符号３０は被写体、３２は被写体を撮影するカメラ（すなわち視点）、３１は被写体を照らす光源を示す。光源３１およびカメラ３２は、被写体３０を中心とするドーム構造３３の表面に配置され、被写体３０から等距離の範囲内で自由に動くことができる。ドーム構造３３の表面を予めメッシュ状に区切り、各メッシュの頂点にカメラ３２および光源３１を配置すれば、メッシュ頂点の座標を予め調べておくことができることから、効率よく撮像環境データと画像とを取得することができる。このようにして取得された物体特性情報は、ある対象に対して、視点位置の変化による特性と、光源位置の変化による特性とを表現する情報を含むものとなる。
【００２０】
図２において撮像位置、光源位置をそれぞれ変えて被写体３０を撮影するには、具体的には次のようにする。（Ａ）光源３１の位置を固定して、撮像位置をθ、φ方向にサンプリング間隔ずらして撮像を繰り返す。（Ｂ）光源３１の位置をθ方向、あるいはφ方向にサンプリング間隔ずらす。この（Ａ）、（Ｂ）のような処理を繰り返し実施することにより、物体特性情報１０を得ることができる。その際、同一の撮像装置の位置および姿勢を変えて撮像を繰り返すか、または、複数の撮像装置を３次元空間内でレイアウトして各撮像装置を同時に撮影しても良い。あるいは各撮像装置の同期をとり、被写体３０を連続的に撮影しても良い。
【００２１】
カメラ３２としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、あるいはビデオカメラなどを用いることができる。
【００２２】
撮像位置を取得するには、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの位置センサ、撮像姿勢の取得には磁気センサ、ジャイロセンサ、あるいは加速度センサなどを利用できる。撮像位置、および姿勢が予め決められている場合には、対応するデータを与えれば良い。
【００２３】
図３は、本発明の実施の形態における物体特性情報のデータ構成の一例を示す模式図である。図３に示されるように物体特性情報は、ある照明位置（θｉ，φｉ）において、複数の撮影画像が撮像位置（θｅ，φｅ）ごとに二次元に配列されるデータ構造を持つ。このような構造が任意の照明位置（θｉ，φｉ）に対応付けられ、従って物体特性情報は６次元のデータ構造を持つ。
【００２４】
図４は、本発明に係わる復号化装置の一構成例を示す機能ブロック図である。図４において、高次テクスチャを含む物体特性情報を符号化した符号語列は、外部のストレージメディア（以下記録媒体と称する）６３に格納される。ここに格納された符号語列の全体、または一部のまとまった単位がデータ読込処理部６４により記録媒体６３から１次メモリ６０に読み込まれる。さらに、ある瞬間の画像マッピングに必要なデータがデータ読込処理部６５により２次メモリ６１に読み込まれる。
【００２５】
その際、ＣＧグラフィクスにおける画面内位置、視点位置および光源位置の各情報から対応する要素を含むブロック符号化情報がブロック選択処理部２１により選択され、選択されたブロック符号化情報が１次メモリ６０から２次メモリ６１に読み込まれる。２次メモリ６１に読み込まれたブロック符号化情報は、演算器６２の制御のもとで復号化処理部２２により復号化され、情報選択処理部５５に与えられる。情報選択処理部５５は、マッピングに必要となる画面内位置、視点位置および光源位置に対応する位置データ５６に基づいて、対応するテクスチャを復号化データから選択する。
【００２６】
なお記録媒体６３とは、読み出しが可能な半導体記憶装置、磁気記録装置の記録媒体、光磁気記録装置の記録媒体など、ディジタル形式の情報を記録できるものならどのようなものでも良い。具体的には、フロッピーディスク、光ディスク、光磁気ディスク、相変化型ディスク、磁気テープなどを含む。また符号語列をネットワーク上のデータ記録媒体に記録するようにしても良い。
【００２７】
上記構成において、或る３次元ＣＧ画像を復号するとする。例えば４つのオブジェクトが存在し、それぞれのオブジェクトを同一のテクスチャを用いてマッピングすると仮定する。この場合、記録媒体６３にはマッピングに必要となる４つのテクスチャに対する高次テクスチャが圧縮されて記録される。
【００２８】
高次テクスチャの生成に関しては、図３において、視点位置の変化に対するサンプリング間隔をΘ，φ共に例えば１０度刻みとし、光源位置の変化に対するサンプリング間隔をΘ，φ共に例えば１０度刻みとする。１つのテクスチャのサイズを２５６×２５６画素とし、色情報としてのＲＧＢをそれぞれＲ：１Ｂｙｔｅ、Ｇ：１Ｂｙｔｅ、Ｂ：１Ｂｙｔｅの３Ｂｙｔｅで表現するとする。
【００２９】
１テクスチャの高次テクスチャサイズを計算すると、
２５６×２５６×（視点方向サンプリング数）×（光源方向サンプリング数）
＝ ２５６×２５６×３×（３６×１８）×（３６×１８） Ｂｙｔｅ
と表現できる。よって４テクスチャでは、
２５６×２５６×３×（３６×１８）×（３６×１８）×４ Ｂｙｔｅ
の高次テクスチャ情報が必要となる。
【００３０】
符号化時の圧縮率を５０％とすると、１次メモリ６０には、
２５６×２５６×３×（３６×１８）×（３６×１８）×４×０．５ Ｂｙｔｅ
のデータが記憶される。
【００３１】
２次メモリ６１には描画に必要なブロックが蓄積される。或る３次元ＣＧ画像をテクスチャ・マッピングする際には、マッピングすべき画素に対する視点位置、光源位置、および画素位置が一意に定まる。すなわち、マッピングする際の視点、光源、画素位置（θｅ，φｅ，θｉ，φｉ，ｕ，ｖ）が一意に決まるため、これに該当するテクスチャを含むブロックを１次メモリ６０から２次メモリ６１に転送する。テクスチャデータが４×４×４×４×４×４の６次元ブロックで符号化されているとすると、
３×０．５×４×４×４×４×４×４ Ｂｙｔｅ
の圧縮テクスチャブロック成分が２次メモリ６１に記憶される。位置（θｅ，φｅ，θｉ，φｉ，ｕ，ｖ）の後に復号されるテクスチャを含む、例えば、（θｅ，φｅ＋５，θｉ，φｉ，ｕ，ｖ）、（θｅ，φｅ，θｉ＋５，φｉ，ｕ＋５，ｖ）、（θｅ，φｅ，θｉ，φｉ，ｕ＋５，ｖ）などを含むブロックをも２次メモリ６１に転送することにより、１次メモリ６０と２次メモリ６１間のデータ転送回数を削減することができる。
【００３２】
２次メモリ６１に転送されたブロックは、算術論理演算器などを備える復号化処理部２２により復号化され、復号化されたテクスチャを用いて３次元ＣＧ画像が描画される。復号化処理は符号化処理の逆変換であるので、ここでは逆量子化、逆直交変換などの処理が実施される。
【００３３】
マッピングする視点位置、光源位置、および画素位置（θｅ，φｅ，θｉ，φｉ，ｕ，ｖ）のテクスチャを含む圧縮ブロックは、例えば逆線形量子化（すなわち圧縮データを一様に１６倍する処理）、６次元ＩＤＣＴなどの、符号化の逆変換処理により復号化される。復号化された
３×４×４×４×４×４×４ Ｂｙｔｅ
のテクスチャデータは、位置（θｅ，φｅ，θｉ，φｉ，ｕ，ｖ）の近傍位置データを含むため、情報選択処理部５５により表示に必要となる画面内位置および視点位置および光源位置に対応する要素を抽出する。これにより最終的な復号化処理が完了する。
【００３４】
復号化したブロックを２次メモリ６１に保持し、保持されたブロックを位置（θｅ，φｅ，θｉ，φｉ，ｕ，ｖ）の近傍位置へのマッピングの際に再利用することでヒット率が高められ、これにより復号処理回数を削減して復号処理を効率的に実施することができる。
【００３５】
図５は、図４の復号化装置の処理手順の一例を示すフローチャートである。図５においてデータ読込処理部６４は、高次テクスチャを符号化した符号語列の全体または一部のまとまった単位を記録媒体６３から１次メモリ６０に読み込む（ステップ１２１）。次に、ブロック選択処理部２１は、描画位置（すなわち画面内位置、視点位置、および光源位置）１２２を参照し、これに対応する要素を含むブロックを選択する（ステップ１２３）。
【００３６】
次に、データ読込処理部６５は、ステップ１２３で選択されたブロックを１次メモリ６０から２次メモリ６１に読み込む（ステップ１２４）。次に、復号化処理部２２は読み込まれたデータを復号化（ステップ１２５）する。次に、情報選択処理部５５は描画位置１２２を参照し、復号された情報からこの位置に対応する情報を選択的に抽出する（ステップ１２６）。このような一連の処理を経て、ＣＧ画像にマッピングすべき描画要素が複合される（ステップ１２７）。
【００３７】
このように本実施形態では、複数の画像情報に、その視点位置座標と光源位置座標とを対応付けた６次元の物体特性情報を導入し、この物体特性情報をブロック化し、直交変換および量子化したのち符号化した符号化情報をストレージ６３に記録する。この情報を１次メモリ６０および２次メモリ６１を介して復号化処理部２２により復号化し、視点位置および光源位置のパラメータに基づき復号情報を選択する。そして、この選択された復号情報を物体モデルにマッピングするようにしている。
【００３８】
このように、視点位置と光源位置とにより特定される複数の画像情報を符号化して予め用意するようにしたので、ＣＧ画面中における視点位置と光源位置とに対応する画像情報を選択でき、従ってより実画像に近いテクスチャマッピング画像を得ることが可能になる。
【００３９】
さらに、１次メモリ６０と２次メモリ６１とを介して復号化処理を実施し、かつ復号化したブロックを２次メモリ６１に保持して保持されたブロックを位置（θｅ，φｅ，θｉ，φｉ，ｕ，ｖ）の近傍位置へのマッピングの際に再利用するようにしているので、データアクセスに際してのヒット率を高めることができ、これによりリアルタイム処理を実現することが可能になる。
【００４０】
＜第１の符号化方式＞
図６は、本発明に係わる画像データ符号化方式の第１の例を示す模式図である。図６において、視点位置の変化による特性、および光源位置の変化による特性を表現する情報を撮影される対象ごとに対応付けた物体特性情報１０は、入力情報に対して符号化処理部１７により符号化される。本実施形態においては、視点位置の変化による特性を表現する情報は撮像位置（θｅ，φｅ）としての球座標データであり、光源位置の変化による特性を表現する情報は照明位置（θｉ，φｉ）としての球座標データである。
【００４１】
＜第１の復号化方式＞
図７は、本発明に係わる画像データ復号化方式の第１の例を示す模式図である。図７において、物体特性情報を符号化したデータとしての符号化情報２０から、ＣＧ画像中における復号すべき視点位置、光源位置、および対象内位置を含む位置データ４３に対応する要素を含む符号化情報が、情報選択処理部５５により選択される。復号化処理部２２は、この選択された符号化情報を復号化し、画像生成に必要なデータを作成する。
【００４２】
＜第２の符号化方式＞
図８は、本発明に係わる画像データ符号化方式の第２の例を示す模式図である。図８において、物体特性情報１０は分離処理部２５により輝度成分２３と色差成分２４とに分離される。分離された輝度成分と色差成分とは、それぞれ符号化処理部１７３，１７４により各成分に適した方式のもとで符号化される。
【００４３】
＜第２の復号化方式＞
図９は、本発明に係わる画像データ復号化方式の第２の例を示す模式図である。図９において、符号化情報２０は輝度成分と色差成分とに分離された状態で記録媒体に記憶される。情報選択処理部５５は、複合すべき位置データ５６に対応する要素を含む符号化情報を、符号化情報２０から輝度成分２３、色差成分２４ごとに選択する。選択された輝度成分２３と色差成分２４とは、それぞれ復号化処理部２２３，２２４により復号化される。
【００４４】
＜第３の符号化方式＞
図１０は本発明に係わる画像データ符号化方式の第３の例を示す模式図である。この例では、ブロック化による符号化方式につき説明する。図１０において、物体特性情報１０はブロック生成処理部１１によりブロック化され、次いで直交変換処理部１２によりＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの直行変換処理が施される。画像データの性質から直交変換後のデータ分布は低周波数領域側に集中し、これにより量子化処理部１３における量子化を効果的に実施できる。
【００４５】
次に、本実施形態における直交変換処理および量子化処理につき説明する。
図１０の直交変換処理部１２は、ブロック生成処理部１１から与えられる各ブロックに対して直交変換処理を行なう。直交変換の手法にはＤＣＴのほか、ＷＡＶＥＬＥＴ、アダマールなど様々な手法が有るが、どの直交変換手法においても、画像データを直交変換したデータの分布は低周波数領域側に集中することが知られている。
【００４６】
このような性質を利用して本方式では、下記の手法により高能率符号化を行う。すなわちこの符号化方式では、物体特性情報のデータ形式を全て画像データとして取り扱い、６次元の全てをまとめて直交変換するようにする。
【００４７】
量子化の手法としては線形量子化、非線形量子化などが有る。線形量子化は、例えば、データを一様に１６で割るといった量子化である。非線形量子化としては、Ｍａｘ量子化などが有る。
【００４８】
このような手法をハードウェアで実現する際には、復号処理に際して或る視点位置、光源位置の符号化されたデータを復号する必要がある。符号化されたデータにメモリ上でランダムにアクセスするためには、符号化されたデータは可変長よりも固定長の方が好ましい。そこでＭａｘ量子化器などを用いて固定長に量子化することにより、復号時のメモリのランダムアクセスにも比較的容易に対応することができる。
【００４９】
次に、ブロック化処理の詳細につき説明する。
６次元の物体特性情報
Ｉ（θｅ，φｅ，θｉ，φｉ，ｕ，ｖ）
が与えられた場合、このデータに対して各次元の４近傍を１つのブロックとして取り扱うとすると、次式（２）に示される４０９６要素から構成される４×４×４×４×４×４の６次元ブロックが生成される。
【００５０】
【数２】

【００５１】
例えば視点位置を（θｅ，φｅ）、そのサンプリング数を３６（ｅ：０〜３５）、光源位置を（θｉ，φｉ）、そのサンプリング数を３６（ｉ：０〜３５）、画像位置を（ｕ，ｖ）、そのサンプリング数６４（ｕ，ｖ：０〜６３）とすると、４×４×４×４×４×４の６次元ブロックが９×９×９×９×１６×１６＝２６，８７３，８５６個、生成される。
【００５２】
これらの６次元ブロックは、ブロック単位に符号化される。ブロック構造には、近傍または相関度の強いの対象内位置、視点、光源における情報の集合を１つのブロックとする構造がある。または、対象内位置、視点、光源における情報の対称性を利用して１つのブロックとする構造などが考えられる。
【００５３】
例えば、物体特性情報のデータ形式を全て画像として４つの近傍を１つのブロックとして扱う場合には、４×４×４×４×４×４の６次元ブロックが生成される。物体特性情報の相関強度により、４×４×２×２×４×８のように均一でないブロックを生成する場合や、２×２×４×８のように低次元のブロックを生成する場合も考えられる。
【００５４】
均一でないブロック生成の具体例としては、光源位置φｉ方向に対する相関が強いと仮定すると、以下の構成要素により、
Ｉ（θｅ−ｘ，φｅ−ｘ，θｉ−ｘ，φｙ，ｕ−ｘ，ｖ−ｘ）
ｘ ： １〜３，θ方向視点サンプリング数３６
ｙ ： ０〜３５，φ方向視点サンプリング数３６
このように、４×４×４×３６×４×４のブロックを構成する方法が考えられる。
【００５５】
図１１は、図１０のブロック生成処理部１１の処理手順の一例を示すフローチャートである。このフローチャートは、相関の強度を利用するブロック化処理を示す。
【００５６】
図１１において、位置（θｅ，φｆ，θｉ，φｊ，ｕ，ｖ）近傍の相関係数が計算される（ステップ９３）。このステップで得られた結果と閾値とを比較し（ステップ９４）、例えばその絶対値が０．７以上の場合は、該当する範囲を含めるようにブロック化するようにする（ステップ９５）。
【００５７】
例えばＹを０〜３まで変化させた場合に、（θｅ，φｆ−ｙ，θｉ，φｊ，ｕ，ｖ）と（θｅ−６，φｆ−ｙ，θｉ，φｙ，ｕ，ｖ）とにおける相関係数が０．７、（θｅ，φｆ，θｉ−ｙ，φｊ，ｕ，ｖ）と（θｅ，φｆ，θｉ−ｙ，φｊ−６，ｕ，ｖ）との相関係数が−０．８である場合、視点θｉ方向、および光源φｉ方向に対して相関が強いことになる。よって以下の構成要素により、
Ｉ（θｅ−ｙ，φｆ−ｘ，θｉ−ｘ，φｊ−ｙ，ｕ−ｘ，ｖ−ｘ）
ｘ ： １〜３，θ方向視点サンプリング数３６
ｙ ： １〜７，φ方向視点サンプリング数３６
として８×４×４×８×４×４のブロックを構成するようにすると良い。
【００５８】
なお、相関係数を求めるにはＰｅａｒｓｏｎの相関係数などの様々な相関係数算出手法を用いることができ、評価値も様々に適用することができる。また、ブロック構成の選択手法としては、４×４×４×４×４×４、４×４×２×２×４×８、８×８×８×８×８×８のといった様々なブロック構成を仮定して符号化、復号化を実施し、得られた結果に基づいて最適なブロック構成を選択するようにしても良い。
【００５９】
図１２は、図１０のブロック生成処理部１１の処理手順の他の例を示すフローチャートである。ここでは対称性を利用するブロック化手法につき説明する。
被写体の特性に線対称、点対称などの対称性がある場合には、これを利用し、この符号化方式では対称性のある範囲を１つのブロックとする。図１２において、まず対称性を仮定し（ステップ９０）、次にこの仮定が正しいかどうかを判定したのち（ステップ９１）その判定結果に基づいてブロック化を行なう（ステップ９２）。
【００６０】
ステップ９１においては、まず物体特性情報内の対称性を探索する。被写体の特徴として、物体特性情報が面対称の特性を持つ可能性の高いことが経験的に知られているとする。この場合、あるサンプリング間隔毎の面に対して、例えば１０度刻みの視点位置θに対して面対称だと仮定し、各視点位置θごとに面対称であるか否かを調査する。その結果、視点位置θｅに対して面対称な画像であるとすると、
【数３】

【００６１】
上記（３）に示される構成要素を同一のブロックに多く含ませてブロック化することによりブロック内の相関を強くでき、効率的なブロック化を実施することができる。なお、対称性が見つからなかった場合には、対称性を用いないブロック生成を行なう。
【００６２】
図１３は、図１０の量子化処理部１３の処理手順の一例を示すフローチャートである。ここでは、統計情報に基づいたビット割当方式を説明する。すなわち、統計情報を利用した量子化方法を説明する。画像データ信号を直交変換すると低周波数領域側に分布が集中することが知られており、この符号化方式ではこのような性質を利用して高能率符号化を行なう。
【００６３】
図１３の手順においては、大きく分けて１次符号化（ステップ１００）と２次符号化（ステップ１０５）の２段階の処理を実施する。１次符号化では、各符号語のエネルギーを計算する。すなわち、直交変換後の全ブロックを符号化し、各符号語に対してそれぞれエネルギーの割合を計算する。
【００６４】
２次符号化では、１次符号化で計算された各符号語のエネルギーと、符号化の圧縮率とに基づいて各符号語に割り当てるビット数を算出し、その値に基づきＭａｘ量子化を行う。すなわち、符号化の圧縮率を指定し（ステップ１０２）、各符号語のエネルギーの割合から各符号語に割り当てるべきビット数を決定する（ステップ１０３）。そして、このステップで割り当てられたビット数に応じて各符号語のＭａｘ量子化を行なう（ステップ１０４）。
【００６５】
本方式ではＭａｘ量子化を有効に実施するため、通常の符号化処理に相当する２次符号化ステップに加え、１次符号化ステップにより符号語のエネルギーを予め算出するようにしている。このようにすることで、ビット数を符号語のエネルギーに応じて効率良く割り当てることが可能となる。なお１次符号化ステップを経ずに、２次符号化ステップにおいて、その時点までに符号化された符号語のエネルギーから各符号語のエネルギーを予測するようにしても良い。
【００６６】
１次符号化ステップ１００につき具体的に説明する。
物体特性情報のデータ形式を全て画像として４近傍を１つのブロックとし、４×４×４×４×４×４の６次元ブロックを生成する場合を考える。６次元ブロックの符号化時に直交変換処理を施すと、ブロック内の符号語Ｃ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）が得られる（但し、Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ：０〜３）。そこで各符号語の全符号語Ｃに対するエネルギーの割合Ｐ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）を次式（４）により計算することができる。
【００６７】
【数４】

【００６８】
上記Ｐ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）を全ての６次元ブロックに対して計算し、Ｐ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）の平均値Ｐａ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）を符号語Ｃ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）のエネルギーとする。
【００６９】
２次符号化ステップ１０５では、目標圧縮率Ｄ、Ｐａ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）、初期割当ビット数Ｅ、各符号語に割り当てるビット数Ａ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）を次のようにして算出する。
（処理１）ビット数を割り当てられていない符号語のうち、最大のエネルギーＰ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）を持つ符号語を探索する。
（処理２） 次式（５）により符号語（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）の割当ビット数を算出する。
【数５】

（処理３） 符号語（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）に対し、（処理２）で算出されたビット数でＭａｘ量子化を行なう。
（処理４） 全ての符号語につきビット割り当て場完了するまで処理１〜処理３を繰り返す。
【００７０】
上記の例では、Ｐ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）の平均値Ｐａ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）を符号語Ｃ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）のエネルギーと考え、異なるブロックにおいても同一のビット数を割り当てるようにする。なおこれに代えて、ブロック毎に符号語のエネルギーＣｂ（Ｉ，ｊ，ｋ，ｌ，ｍ，ｎ）（ｂ：全ブロック）を算出し、その結果をもとにブロック毎に異なるビット数を割り当てることも可能である。
【００７１】
図１４は図１０の量子化処理部１３の処理方式の一例を示す模式図である。図１４においては、物体特性情報１０をベクトル量子化により符号化する例が示される。物体特性情報１０はブロック単位にまとめられる。各ブロックは例えば同じ視点位置および光源位置の画像を４×４のブロックに区切ったもの（すなわち１６次元ベクトル）や、同じ視点位置および光源位置の画像を２×２のブロックに区切ったものをＲＧＢごとにまとめたもの（すなわち１２次元ベクトル）などが考えられる。画像情報はＲＧＢの間にも互いに相関を持つため、同位置の画素のＲＧＢをまとめてベクトル化することにより圧縮率をさらに高めることができる。
【００７２】
図１４において、ベクトル量子化で使用されるコードブックは符号化ブロックと同じ次元のベクトルの集合として作成され、予めコードブックメモリ７０に記憶される。マッチング処理部７１は、ブロック化された符号化対象とコードブックに含まれる各コードベクトルとを比較し、比較誤差の最も小さいコードベクトルのインデックスを出力する。このインデックスが符号化対象ブロックの符号化結果となる。またこの方式では、符号化処理に際して使用したコードブックを符号化対象全体に対する符号化情報として蓄積し、次段の処理に伝達する。
【００７３】
図１５は、図１４の方式により符号化されたデータを複合化するための処理方式の一例を示す模式図である。１４の符号化方式でベクトル量子化を用いているため、復号化方式においてもこれに対応する。図１５において、符号化情報２０はコードブックとインデックスとに分けられる。コードブックはコードブックメモリ７０に格納される。
【００７４】
図１５において、同じ視点位置、光源位置の画像内の位置パラメータｕ，ｖ、視点位置θｅ、φｅ、光源位置θｉ、φｉにより規定される、復号化すべき情報位置のインデックスが符号化情報２０から取得される。このインデックスに基づきテーブル引き処理部８０によりコードブックがテーブル引きされ、対応するテクスチャのコードベクトルが読み出される。読み出されたコードベクトルはテクスチャメモリ（図示せず）などに記憶され、必要なテクスチャの全てがメモリに書き込まれるまでこの処理が繰り返される。
【００７５】
＜第４の符号化方式＞
図１６は、本発明に係わる画像データ符号化方式の第４の例を示す模式図である。図１６において図１０と共通する部分には同じ符号を付し、ここでは異なる部分につき説明する。量子化処理部１３により量子化された物体特性情報１０は、１次元並び替え処理部１４により高次元の状態から一次元データへと変換される。さらにＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｒｄｉｎｇ）処理部１５により可変長符号化を施すことにより更なる高密度圧縮を図ることができる。
【００７６】
図１７は、図１６の１次元並び替え処理部１４の処理手順の一例を示すフローチャートである。図１７において、量子化された状態の高次元データが１次元並び替え処理部１４に入力され（ステップ１１３）、一次元データに変換されて（ステップ１１４）１次元データが生成される（ステップ１１５）。
【００７７】
高次元情報の１次元データへの並び替え方式には、ジグザグスキャン、縦スキャン、横スキャンなどのスキャン手法が有る。ジグザグスキャンは量子化データの低周波側から高周波側へと、次元間で原点からの距離が一様になるようにスキャンする手法である。縦スキャンは低周波側から高周波側へと同じ次元内で縦方向にスキャンする手法であり、該当する次元内で縦方向に相関が強い場合に有効である。横スキャンは、低周波側から高周波側へと同じ次元内で横方向にスキャンする手段であり、該当する次元内で横方向に相関が強い場合に有効である。各次元の相関強度により、スキャン方式を次元により切り替えるようにしても良い。
【００７８】
Ｎ次元情報（Ｉ１，Ｉ２，…，ＩＮ）の１次元への並び替え手法の具体例としては、次の（処理１）〜（処理４）の手順が考えられる。
（処理１） 各Ｎ次元情報の始点を同じにして、この始点に番号０を割り当てる。ここでＭ＝０、Ｊ＝１とする。
（処理２） １次元情報ＩＪに対し、始点からの距離がＭ＋１の点に対して番号ＮＭ＋Ｊを割り当てる。
（処理３） Ｊ＝Ｊ＋１として（処理２）の手順をＪ＜Ｎ＋１となるまで繰り返す。
（処理４） Ｍ＝Ｍ＋１、Ｊ＝１として、全ての情報に番号が割り当てられるまで（処理２）の手順を繰り返す。
データ間の距離にはユークリッド距離、ユークリッドの二乗距離、重み付きユークリッド距離などが有る。また、距離の代わりに、直流に近い成分の順に番号を割り当てる手法を適用することもできる。
【００７９】
図１８は、図１６の１次元並び替え処理部１４のスキャン手順の一例を示す模式図である。図１８には、量子化後のデータがＩ１、Ｉ２、Ｉ３、Ｉ４の４次元で構成されると仮定し、ユークリッド距離を用いて１次元並び替えを実施する場合が示される。
【００８０】
図１８に関連する１次元への並び替え手法の具体例としては、次の（処理１）〜（処理４）の手順が考えられる。
（処理１） Ｎ次元情報（Ｉ１，Ｉ２，…，ＩＮ）の始点を同じにして、この始点に番号０を割り当てる。ここでＭ＝０、Ｊ＝１とする。
（処理２） １次元情報ＩＪに対し、始点からの距離がＭ＋１の点に対して番号ＮＭ＋Ｊを割り当てる。
（処理３） Ｍ＝Ｍ＋１、Ｊ＝１として、（処理２）の手順を全てのＩＪ情報に番号が割り当てられるまで繰り返す。
（処理４） Ｊ＝Ｊ＋１として、（処理２）の作業をＪ＜Ｎ＋１となるまで繰り返す。
【００８１】
図１９は、図１６の１次元並び替え処理部１４のスキャン手順の第２の例を示す模式図である。図１９には量子化後のデータがＩ１、Ｉ２、Ｉ３、Ｉ４の４次元で構成され、各次元の要素数を１０と仮定してユークリッド距離を用いて１次元並び替えを実施する場合が示される。
【００８２】
図１８および図１９のアルゴリズムを組み合わせたＮ次元情報（Ｉ１，Ｉ２，…，ＩＮ）の１次元並び替え方式を次の（処理１）〜（処理５）により説明する。
（処理１） Ｎ次元情報（Ｉ１，Ｉ２，…，ＩＮ）の始点を同じにして、この始点に番号０を割り当てる。ここでＭ＝０、Ｊ＝１とする。
（処理２） １次元情報ＩＪに対し、始点からの距離がＭ＋１の点に対して番号ＮＭ＋Ｊを割り当てる。
（処理３） Ｊ＝Ｊ＋１として（処理２）の手順をＪ＜Ｐ＋１となるまで繰り返す。
（処理４） Ｍ＝Ｍ＋１、Ｊ＝１として、全ての情報ＩＪ情報に番号が割り当てられるまで（処理２）の手順を繰り返す。
（処理５） Ｊ＝Ｊ＋Ｐとして、（処理２）の作業をＪ＜Ｎ＋１となるまで繰り返す。
【００８３】
図２０は、図１６の１次元並び替え処理部１４のスキャン手順の第３の例を示す模式図である。図２０には、量子化後のデータがＩ１、Ｉ２、Ｉ３、Ｉ４の４次元で構成され、各次元の要素数を１０、Ｐ＝２と仮定してユークリッド距離を用いて１次元並び替えを実施する場合が示される。
【００８４】
＜第５の符号化方式＞
図２１は 本発明に係わる画像データ符号化方式の第５の例を示す模式図である。図１６と比較すると、図２１においては直交変換後のデータに対し１次元並び替え処理を施したのちに量子化を行うようにしている。すなわち図２１において、物体特性情報１０はブロック生成処理部１１によりブロック化されたのち直交変換処理部１２により直交変換される。これにより分布が低周波数領域側に集中した状態の高次元データに対して１次元並び替え処理部１４により１次元並び替えを行なう。そして、１次元データを量子化処理部１３により量子化し、量子化後のデータをＶＬＣ処理部１５により更に高密度符号化する。
【００８５】
図１６および図２１においてはＭａｘの量子化ではなく、可変長符号により圧縮率を向上させる例が示される。データへのランダムアクセスが頻繁に行われるシステムでは、Ｍａｘ量子化のような固定長符号を使用すると良い。これに対しランダムアクセスの頻度が比較的少ないシステムでは可変長符号化が有利である。直交変換により可変長符号を用いて低周波数領域側に分布を集中させることが可能であれば、Ｍａｘ量子化を用いる場合と比較して圧縮率を大幅に向上させることができる。
【００８６】
可変長符号化処理には、ランレングス符号化、ハフマン符号化、算術符号化など様々な手法が有る。ランレングス符号化は、０ラン長と０でない係数の大きさとの組み合わせからなる符号を作成する手法である。
【００８７】
なお、可変長符号化を用いてランダムアクセスを行なうには、各ブロックのサイズを予め記録しておき、各データを可変長で記録媒体に保存すると云った方式も可能である。このような方式では、可変長でＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの記録メディアに記録し、１次メモリへの読み出しの際にはブロック転送しつつ可変長を復号し、メモリ上では固定長のデータとして保持すると云った手法も考えられる。
【００８８】
＜第６の符号化方式＞
図２２は、本発明に係わる画像データ符号化方式の第６の例を示す模式図である。図２２においては、参照画像を利用して符号化する場合の例が示される。図２２において、加算器２７により物体特性情報１０から参照情報取得処理部１６から与えられる参照情報が減算され、差分情報が生成される。この差分情報を新たな入力としてブロック生成処理部１１に与えてブロック化し、直交変換処理部１２により低周波数領域側にデータ分布を集中させることにで量子化処理部１３における処理をさらに効率化するようにしている。
【００８９】
参照情報としては、或る特定位置の視点および光源における情報を用いる場合や、或る特定の対象内位置、光源位置における情報を用いる場合や、或る特定の視点位置、対象内位置における情報を用いる場合がある。あるいは、或る特定位置の視点における情報を用いる場合、或る特定位置の光源における情報を用いる場合、ある特定の対象内位置における情報を用いる場合など、様々に考えることができる。
【００９０】
参照情報として、例えば或る特定の視点位置（θｅ，φｅ）、光源位置（θｉ，φｉ）における情報を用いる場合、ブロック化前段階において全ての視点位置および光源位置の対象内情報に対して参照情報が減算される。これに対しφ毎に視点位置（θｅ，φ）、光源位置（θｉ，φｉ）における情報を用いる場合、ブロック化前段階で全ての視点位置および光源位置の対象内情報に対して、該当するφ値での参照情報が減算される。参照情報の次元や情報量は様々に考えられる。
【００９１】
視点位置（θ０，φ０）、光源位置（θ０，φ０）の画像を参照画像Ｉ（θ０，φ０，θ０，φ０）とし、視点（θｅ，φｅ）のサンプリング数を３６（ｅ：０〜３５），光源（θｉ，φｉ）のサンプリング数を３６（ｉ：０〜３５）とすると、参照画像を用いて差分画像Ｉｄ（θｅ，φｆ，θｇ，φｈ）を次式（６）のように表現することができる。
【００９２】
【数６】

【００９３】
この差分画像に対して符号化を施す。符号化時には、差分画像のみを用いてブロック化、直交変換、量子化などの各処理を行なう。参照画像の符号化方式にはブロック化、直交変換、量子化などの各処理により符号化する手法や、参照画像に関しては符号化しない手法などが考えられる。
【００９４】
一方、復号処理においては差分画像Ｉｄ（θｅ，φｆ，θｇ，φｈ）を復号化する。参照画像Ｉ（θ０，φ０，θ０，φ０）が符号化されている場合には参照画像の復号化も併せて行なう。復号化された画像は、差分画像データおよび参照画像データを用いて、次式（７）により表現される。
【００９５】
【数７】

【００９６】
さらに別の例を挙げる。φ毎に視点位置（θ０，φｆ）、光源位置（θ０，φ０）における参照画像Ｉ（θ０，φｆ，θ０，φ０）を用いる場合には、視点（θｅ，φｅ）のサンプリング数を３６（ｅ：０〜３５）、光源（θｉ，φｉ）のサンプリング数を３６（ｉ：０〜３５）とすると、参照画像を用いて残りの画像Ｉｄ（θｅ，φｆ，θｇ，φｈ）を次式（８）のように表せる。
【００９７】
【数８】

この差分画像に対して符号化を施す。
【００９８】
＜第３の復号化方式＞
図２３は、本発明に係わる画像データ復号化方式の第３の例を示す模式図である。図２３は、図２２の方式のもとで符号化された情報を、参照画像を用いて複合するための方式を示す。この場合、図４における１次メモリ６０に参照画像を格納し、表示位置に対応する画像を２次メモリ６１に読み込んで復号する手法、または、参照画像の全てまたは一部を２次メモリ６１から１次メモリ６０に予め読み込んだのちに復号化する方法などが考えられる。
【００９９】
図２３において、復号化すべき視点位置、光源位置、対象内位置を含む位置データ４３に基づいて、ブロック選択処理部２１により符号化情報２０から復号化ブロックが選択される。この選択されたブロックは復号化処理部２２により復号化される。また位置データ４３は情報選択処理部４４および参照情報取得処理部１６に与えられる。
【０１００】
情報選択処理部４４は、位置データ４３に対応する復号化情報を復号化ブロックから選択し、加算器２７に与える。参照情報取得処理部１６は位置データ４３に対応する参照情報を参照情報取得処理部から１６加算器２７に与える。加算器２７は選択された復号化ブロックに参照情報を加算し、最終的な復号化データを生成する。
【０１０１】
図２３における復号化処理部２２は、差分画像Ｉｄ（θｅ，φｆ，θｇ，φｈ）を復号化する。なお参照画像Ｉ（θ０，φｆ，θ０，φ０）が符号化されている場合には、復号化処理部２２は参照画像も復号化する。最終的な復号化データは、復号化された差分画像および参照画像を用いて次式（９）のように示される。
【０１０２】
【数９】

【０１０３】
図２４は、図２３に示される画像データ復号化方式の他の例を示す模式図である。図２４においては、復号化処理部２２により復号化された差分画像に参照情報を加算し、その上で位置データ４３に対応する復号化情報を選択することにより復号化データを得るようにしている。
【０１０４】
＜第７の符号化方式＞
図２５は本発明に係わる画像データ符号化方式の第７の例を示す模式図である。図２５には、源情報を関数化により近似したうえで符号化する手法が示される。図２５において物体特性情報１０は、分離処理部２５により光源方向の情報３４と視点方向の情報３５とに分離される。このうち光源情報３４は関数化処理部３６により関数化され、その情報を画像信号として取り扱うことにより符号化処理部１７で符号化される。
【０１０５】
このような構成においては、光源位置の変化による特性が画像以外のデータで表現され、全ての特性を画像で表現する場合よりも物体特性情報１０のデータサイズおよびデータの次元数を削減することができる。なお視点位置に変化に対しても光源位置と同様に特性を画像以外で現すことも可能である。
【０１０６】
図２６は、図２５の関数化処理部３６の処理手順の一例を示すフローチャートである。図２６において、視点位置の変化による特性、および光源位置の変化による特性を表現する物体特性情報が関数化処理部３６に与えられる（ステップ１１０）。そうすると、関数化処理部３６はＰＴＭなどの処理により特性情報を関数化する（ステップ１１１）。そして、この関数表現されたデータを画像信号として扱い、符号化する（ステップ１１２）。
【０１０７】
物体特性情報には、全て非圧縮の画像として扱った場合、光源位置の変化による特性を画像以外で表現した場合、視点位置の変化による特性を画像以外で表現した場合などに応じて種々のデータ形式が考えられる。また、データ形式により物体特性情報のデータサイズやデータの次元数が異なる。全て非圧縮の画像として扱う場合には、物体特性情報は６次元のデータとなる。
【０１０８】
光源位置の変化による特性を画像以外で表現するためには、特性を多項式などの関数により表現する手法や、光源方向のサンプリング数を減少させて、該当する光源の情報がない場合は近傍光源情報の補間画像により表現する手法などが考えられる。
【０１０９】
光源位置の変化による特性を多項式などの関数により表現する手法を次に説明する。例えば、下記の６つの光源位置
【数１０】

による画素値が既知である場合に、この６個の画素値をＨＩ（Ｉ：０〜５）とすると、
【数１１】

【０１１０】
式（１１）の連立方程式が生成できる。この連立方程式からＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆを求めることにより、光源位置の変化による特性を２次の多項式の関数で表現することができる。
【０１１１】
対象とする画像のサイズを２５６×２５６画素とし、Ｒ：１Ｂｙｔｅ、Ｇ：１Ｂｙｔｅ、Ｂ：１Ｂｙｔｅの３ＢｙｔｅでＲＧＢを表現すると、物体特性情報のサイズは、
２５６×２５６×（視点方向サンプリング数）×（光源：２次多項式の係数Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ）＝２５６×２５６×３×（３６×１８）×（６） Ｂｙｔｅ と表現できる。
【０１１２】
なお、本発明は上記実施の形態に限定されるものではない。例えば本実施形態では符号化方式として直交変換方式ベクトルや量子化を用いる例を示したが、他の符号化方式を適用することも可能である。また上記実施形態において示した値は一例であり、他の数値を適用することももちろん可能である。このほか、本発明の要旨を逸脱しない範囲で種々に変形して実施することができる。
【０１１３】
【発明の効果】
以上詳しく述べたように本発明によれば、視点の移動および光源の移動の双方に対応して画像データを物体モデルにマッピングすることが可能となり、従ってより高品位な立体映像を得ることのできる画像データ符号化方式、画像データ復号化方式、および画像データ復号化装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態における物体特性情報に係わるパラメータを示す模式図。
【図２】本発明の実施の形態に係わる物体特性情報を取得するための手段を示す模式図。
【図３】本発明の実施の形態における物体特性情報のデータ構成の一例を示す模式図。
【図４】本発明に係わる復号化装置の一構成例を示す機能ブロック図。
【図５】図４の復号化装置の処理手順の一例を示すフローチャート。
【図６】本発明に係わる画像データ符号化方式の第１の例を示す模式図。
【図７】本発明に係わる画像データ復号化方式の第１の例を示す模式図。
【図８】本発明に係わる画像データ符号化方式の第２の例を示す模式図。
【図９】本発明に係わる画像データ復号化方式の第２の例を示す模式図。
【図１０】本発明に係わる画像データ符号化方式の第３の例を示す模式図。
【図１１】図１０のブロック生成処理部１１の処理手順の一例を示すフローチャート。
【図１２】図１０のブロック生成処理部１１の処理手順の他の例を示すフローチャート。
【図１３】図１０の量子化処理部１３の処理手順の一例を示すフローチャート。
【図１４】図１０の量子化処理部１３の処理方式の一例を示す模式図。
【図１５】図１４の方式により符号化されたデータを複合化するための処理方式の一例を示す模式図。
【図１６】本発明に係わる画像データ符号化方式の第４の例を示す模式図。
【図１７】図１６の１次元並び替え処理部１４の処理手順の一例を示すフローチャート。
【図１８】図１６の１次元並び替え処理部１４のスキャン手順の一例を示す模式図。
【図１９】図１６の１次元並び替え処理部１４のスキャン手順の第２の例を示す模式図。
【図２０】図１６の１次元並び替え処理部１４のスキャン手順の第３の例を示す模式図。
【図２１】本発明に係わる画像データ符号化方式の第５の例を示す模式図。
【図２２】本発明に係わる画像データ符号化方式の第６の例を示す模式図。
【図２３】本発明に係わる画像データ復号化方式の第３の例を示す模式図。
【図２４】図２３に示される画像データ復号化方式の他の例を示す模式図。
【図２５】本発明に係わる画像データ符号化方式の第７の例を示す模式図。
【図２６】図２５の関数化処理部３６の処理手順の一例を示すフローチャート。
【符号の説明】
１０…物体特性情報、１１…ブロック生成処理部、１２…直交変換処理部、１３…量子化処理部、１４…処理部、１５…ＶＬＣ処理部、１６…参照情報取得処理部、１７…符号化処理部、２０…符号化情報、２１…ブロック選択処理部、２２…復号化処理部、２３…輝度成分、２４…色差成分、２５…分離処理部、２７…加算器、３０…被写体、３１…光源、３２…カメラ、３３…ドーム構造、３４…光源方向情報、３５…視点方向情報、３６…関数化処理部、４３…位置データ、４４…情報選択処理部、５５…情報選択処理部、５６…位置データ、６０…１次メモリ、６１…２次メモリ、６２…演算器、６３…記録媒体、６４…データ読込処理部、６５…データ読込処理部、７０…コードブックメモリ、７１…マッチング処理部、８０…テーブル引き処理部、１２２…描画位置、１７３，１７４…符号化処理部、２２３，２２４…復号化処理部

Claims (19)

1. コンピュータグラフィクスイメージに表示される物体モデルにマッピングするための画像データを符号化する画像データ符号化方式において、
   複数の画像データにそれぞれ各画像データの撮影条件を対応付けた複数の多次元データを符号化することを特徴とする画像データ符号化方式。
2. 前記多次元データは、前記複数の画像データに各画像データが撮影された際の視点位置と光源位置とを対応付けたデータであることを特徴とする請求項１に記載の画像データ符号化方式。
3. 互いに撮影条件の異なる複数の画像データごとに前記複数の多次元データをブロック化し、このブロック化された多次元データをブロック単位で符号化することを特徴とする請求項１に記載の画像データ符号化方式。
4. 前記複数の画像データごとの撮影条件の互いの相関度に応じて前記複数の多次元データをブロック化することを特徴とする請求項３に記載の画像データ符号化方式。
5. 前記複数の画像データに含まれる被写体が対称性を持つ場合に、この対称性に応じて前記複数の多次元データをブロック化することを特徴とする請求項３に記載の画像データ符号化方式。
6. 前記複数の多次元データを、各多次元データに含まれる画像データの輝度成分と色差成分とごとに分離して個別に符号化することを特徴とする請求項１に記載の画像データ符号化方式。
7. 前記複数の多次元データを直交変換して符号語列を生成し、この符号語列に生じるビット割合の統計的データから各符号語列に割り当てるビット数を決定し、その結果に基づき前記符号語列を量子化することを特徴とする請求項１に記載の画像データ符号化方式。
8. 前記複数の多次元データを符号化することにより得られる高次元データを一次元データに変換することを特徴とする請求項１に記載の画像データ符号化方式。
9. 予め用意される参照データと前記複数の多次元データごとの差分データを生成して、この差分データを符号化することを特徴とする請求項１に記載の画像データ符号化方式。
10. 前記複数の多次元データに含まれる画像データの撮影条件に対して当該複数の多次元データを関数化し、この関数化された複数の多次元データを符号化することを特徴とする請求項１に記載の画像データ符号化方式。
11. 前記複数の多次元データを、この多次元データと同じ次元を持つ複数のコードベクトルに基づきベクトル量子化して符号化することを特徴とする請求項１に記載の画像データ符号化方式。
12. 複数の画像データにそれぞれ各画像データの撮影条件を対応付けた複数の多次元データを符号化して生成される符号化データを復号化して、コンピュータグラフィクスイメージに表示される物体モデルにマッピングするための画像データを生成する画像データ復号化方式であって、
    前記符号化データから、前記物体モデルにマッピングすべき条件に応じた撮影条件に対応する画像データを復号化することを特徴とする画像データ復号化方式。
13. 前記多次元データが、前記複数の画像データに各画像データが撮影された際の視点位置と光源位置とを対応付けたデータである場合に、前記コンピュータグラフィクスイメージ内における前記物体モデルに対する視点位置と光源位置とに対応する画像データを前記符号化データから復号化することを特徴とする請求項１２に記載の画像データ復号化方式。
14. 前記符号化データが、互いに撮影条件の異なる複数の画像データごとに前記複数の多次元データをブロック化し、このブロック化された多次元データをブロック単位で符号化したデータである場合に、
    前記物体モデルにマッピングすべき条件に応じた撮影条件に対応するブロックを前記符号化データから選択し、この選択されたブロックを復号化することを特徴とする請求項１２に記載の画像データ復号化方式。
15. 前記符号化データが、前記複数の多次元データを各多次元データに含まれる画像データの輝度成分と色差成分とごとに分離して個別に符号化したデータである場合に、
    前記符号化データから、前記物体モデルにマッピングすべき条件に応じた撮影条件に対応する画像データの輝度成分と色差成分とを選択し、この選択された輝度成分と色差成分とを復号化することを特徴とする請求項１２に記載の画像データ復号化方式。
16. 前記符号化データが、前記複数の多次元データをこの多次元データと同じ次元を持つ複数のコードベクトルに基づきベクトル量子化したデータである場合に、
    前記物体モデルにマッピングすべき条件に応じた撮影条件に対応するコードベクトルを前記複数のコードベクトルをデータベース化したコードブックからテーブル引きして復号化することを特徴とする請求項１２に記載の画像データ復号化方式。
17. コンピュータグラフィクスイメージに表示される物体モデルにマッピングするための画像データを符号化データから復号化する画像データ復号化装置において、
    複数の画像データにそれぞれ各画像データの撮影条件を対応付けた複数の多次元データを符号化した符号化データを記憶する記憶手段と、
    この記憶手段から前記符号化データを読み出して復号化する復号化手段と、
    この復号化手段により復号化された画像データから前記物体モデルにマッピングすべき画像データを与えられた条件に応じて選択する選択手段とを具備することを特徴とする画像データ復号化装置。
18. 前記符号化データは、前記複数の画像データに各画像データが撮影された際の視点位置と光源位置とを対応付けたデータを符号化したデータであり、
    前記選択手段は、前記コンピュータグラフィクスイメージ内における前記物体モデルに対する視点位置と光源位置とに対応する画像データを前記復号化手段により復号化された画像データから選択することを特徴とする請求項１７に記載の画像データ復号化装置。
19. 前記符号化データは予めブロック化されて記録媒体に記録され、
    前記記憶手段は、
    前記記録媒体に記録された符号化データの少なくとも一部を前記記録媒体から取得して記憶する１次記憶手段と、
    前記コンピュータグラフィクスイメージ内における前記物体モデルに対する視点位置と光源位置とに対応する符号化データを前記１次記憶手段からブロック単位で取得して記憶する２次記憶手段とを備え、
    前記復号化手段は、前記２次記憶手段から前記符号化データを読み出してブロック単位で復号化し、
    前記選択手段は、前記復号化手段により復号化された画像データから前記コンピュータグラフィクスイメージ内における前記物体モデルに対する視点位置と光源位置とに対応するブロックの画像データを選択することを特徴とする請求項１８に記載の画像データ復号化装置。

Images