JP2011087278A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】３次元モデルのレンダリングに関するデータを効率良く管理する。
【解決手段】 コンピューター２０は、予め作成した所定パターンのテクスチャーを３次元モデルに貼り付けてレンダリングし、ビットマップ画像として得られたレンダリング済み画像を解析することによりレンダリング済み画像の座標(x,y)とテクスチャーの座標（Xt(x,y)，Yt(x,y)）との対応関係やゲインGc,t(x,y)，バイアスBc,t(x,y)を設定する。そして、バイアスBc,t(x,y)のうちテクスチャー領域を抜き出し、テクスチャー領域用バイアスEc,t(x,y)については可逆圧縮により圧縮し、非テクスチャー領域用バイアスFc,t(x, y)についてはテクスチャー領域内の空白画素を境界付近で階調値が徐々に変化するよう補完した上でＪＰＥＧ圧縮により圧縮する。
【選択図】図４

Description

本発明は、テクスチャーを貼り付けてレンダリングする際に用いられる画像データを処理する画像処理方法および画像処理装置に関する。

従来、この種の画像処理方法としては、リアルタイムで３次元モデルをレンダリングしてディスプレイに表示するものや（例えば、特許文献１参照）、３次元モデルを予めレンダリングしてビットマップ画像を作成して保存しておきディスプレイの表示はビットマップ画像を読み込んで行なうものなどが提案されている。

特開平０７−１５２９２５号公報

前者の手法では、画面の表示周期よりも短い周期でレンダリング処理を行なう必要があるため、高い演算能力が要求される。したがって、用いるコンピューターによっては、演算能力に不足が生じ、レイトレーシングなどの高品質のレンダリングは行なうことができない。一方、後者の手法では、ビットマップ画像を表示するだけであるから、予め高品質のレンダリングを行なってビットマップ画像を作成しておくことにより、高品質の画像を表示することができるものの、現状では後から異なるテクスチャーに差し替えて使用することはできない。また、こうした画像データはサイズも大きく、搭載するメモリの容量によっては効率的に管理することも求められる。

本発明の画像処理方法および画像処理装置は、３次元モデルのレンダリング画像を効率良く管理することを主目的とする。
本発明の画像処理方法および画像処理装置は、上述の主目的を達成するために以下の手段を採った。

本発明の画像処理方法は、
テクスチャーを貼り付けてレンダリングする際に用いられる画像描画情報を処理する画像処理方法であって、前記画像描画情報が示すレンダリング済み画像の座標系において前記テクスチャーが貼り付けられるテクスチャー領域と該テクスチャーが貼り付けられない非テクスチャー領域とを分離し、前記非テクスチャー領域の前記画像描画情報を第１の圧縮方式により圧縮し、前記テクスチャー領域の前記画像描画情報を前記第１の圧縮方式とは異なる第２の圧縮方式により圧縮することを特徴とする。この構成により、３次元モデルのレンダリング画像を効率良く管理することができる。

また、非テクスチャー領域の境界から徐々に画素値が変化するよう所定の補完処理により非テクスチャー領域以外の部分の画素を補完すると共に該補完した後の画像描画情報を第１の圧縮方式であるＪＰＥＧ圧縮方式により圧縮し、テクスチャー領域の画像描画情報を第２の圧縮方式である可逆圧縮方式により圧縮することもできる。これにより、画像データ全体として圧縮率を高めながら画質の向上を図ることができる。

こうした本発明の画像処理方法において、前記所定の補完処理は、前記非テクスチャー領域以外の領域を隣接画素の平均画素値で埋めることにより補完する処理であるものとすることもできる。

また、本発明の画像処理方法において、前記所定の補完処理は、前記画像描画情報を所定サイズの複数の単位ブロックにより構成して、該複数の単位ブロックのうち前記非テクスチャー領域の一部が含まれるブロックに対しては前記非テクスチャー領域以外の領域を隣接画素の平均画素値で埋めることにより補完し、前記非テクスチャー領域が含まれないブロックに対しては前記単位ブロックの全画素を隣接ブロック内の各画素の平均画素値で埋めることにより補完する処理であるものとすることもできる。こうすれば、簡易な処理により圧縮率を高めることができる。

さらに、本発明の画像処理方法において、座標毎に異なる階調値が設定された所定パターンをテクスチャーとして３次元モデルに貼り付けてレンダリングし、該レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することによりレンダリング済み画像の座標とテクスチャーの座標との対応関係を設定して画像描画情報として保存し、所望のテクスチャーを画像として表示する際には、前記保存した画像描画情報に基づいて前記レンダリング済み画像中に前記所望のテクスチャーを配置して表示するものとすることもできる。こうすれば、３次元モデルをレンダリングした画像を所望のテクスチャーを差し替えて表示することができると共にリアルタイムで３次元モデルをレンダリングして表示するものに比して処理負担を少なくすることができる。ここで、画像の表示には、画像をフレーム単位で描画して動画像として表示するものが含まれる。この態様の本発明の画像処理方法において、前記レンダリング済み画像の各座標の階調値から対応する前記所定パターンの座標を特定することにより前記対応関係を導出するものとすることもできる。この態様の本発明の画像処理方法において、前記所定パターンは、テクスチャーの座標を２進数で表現したときのビット数と同数のパターンであって、各パターンには座標を２進数で表現したときの各ビットが対応づけられるとともに、各パターンの各座標の階調値は当該対応づけられたビットの値に応じた値に設定されているものとすることもできる。こうすれば、対応関係をより正確に設定することができる。この場合、前記２進数は、グレイコード（交番２進数）であるものとすることもできる。こうすれば、隣接する座標に移行する際に常に１ビットの変化しか生じないから、画像の階調値の誤差に起因して誤ったデータが取得されてしまうのを抑制することができる。これらの態様の本発明の画像処理方法において、前記所定パターンとして前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンを前記３次元モデルに貼り付けてレンダリングし、前記レンダリング済み画像における前記第１ベタ塗りパターンの階調値であるバイアス値をレンダリング済み画像の画素ごとの色とテクスチャーの画素ごとの色との対応関係を示す前記画像描画情報として保存し、前記保存したバイアス値に基づいて前記所望のテクスチャーの階調値をオフセットすることにより前記レンダリング済み画像の階調値に変換して表示するものとすることもできる。こうすれば、３次元モデルのレンダリングによる効果のうち元のテクスチャーに依存しないものを反映させることができる。この場合、前記非テクスチャー領域の境界から徐々に画素値が変化するよう所定の補完処理により前記非テクスチャー領域以外の部分の画素を補完すると共に該補完した後の前記バイアス値を前記第１の圧縮方式である前記ＪＰＥＧ圧縮方式により圧縮し、前記テクスチャー領域のバイアス値を前記第２の圧縮方式である前記可逆圧縮方式により圧縮するものとすることもできる。さらに、これらの態様の本発明の画像処理方法において、前記所定パターンとして前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンと最大階調値でベタ塗りしてなる第２ベタ塗りパターンとを前記３次元モデルに貼り付けてそれぞれレンダリングし、前記レンダリング済み画像における前記第２ベタ塗りパターンの階調値と前記第１ベタ塗りパターンの階調値との偏差であるゲインを算出してレンダリング済み画像の画素ごとの色とテクスチャーの画素ごとの色との対応関係を示す前記画像描画情報として保存し、前記保存したゲインに基づいて前記所望のテクスチャーの階調値を前記レンダリング済み画像の階調値に変換して表示するものとすることもできる。こうすれば、３次元モデルのレンダリングによる効果のうち元のテクスチャーの階調値に影響を受けるものを反映させることができる。この場合、前記レンダリング済み画像にｎ枚（ｎは自然数）のテクスチャーを配置して表示する場合には、（ｎ−１）枚の前記第１ベタ塗りパターンと１枚の前記第２ベタ塗りパターンとからなるセットをｎ個設定するとともに各セット毎に前記３次元モデルに前記第２ベタ塗りパターンを貼り付ける箇所が異なる第１のセット群と、ｎ枚の前記第１ベタ塗りパターンからなる第２のセットとをそれぞれセット毎に前記３次元モデルに貼り付けてレンダリングし、前記第１のセット群を各セット毎にレンダリングすることにより得られる各レンダリング済み画像の階調値と前記第２のセットをレンダリングすることにより得られるレンダリング済み画像の階調値とを前記第１のセット群の各セット毎に比較することにより、前記３次元モデルにテクスチャーが貼り付けられた領域であるテクスチャー領域を特定し、該特定したテクスチャー領域に対して前記ゲインを算出するものとすることもできる。こうすれば、テクスチャー領域をより容易に特定することができる。なお、テクスチャーおよびレンダリング済み画像が複数の色成分（例えば３色）によって構成される場合、各色成分について第１のセット群を３次元モデルに貼り付けてレンダリングし、各色成分についてゲインを算出すればよい。
本発明の画像処理装置は、
テクスチャーを貼り付けてレンダリングする際に用いられる画像描画情報を処理する画像処理装置であって、前記画像描画情報が示すレンダリング済み画像の座標系において前記テクスチャーが貼り付けられるテクスチャー領域と該テクスチャーが貼り付けられない非テクスチャー領域とを分離する分離手段と、前記非テクスチャー領域の前記画像描画情報を第１の圧縮方式により圧縮する第１の圧縮手段と、前記テクスチャー領域の前記画像描画情報を前記第１の圧縮方式とは異なる第２の圧縮方式により圧縮する第２の圧縮手段とを備えることを要旨とする。

この本発明の画像処理装置では、テクスチャーとレンダリング済み画像との対応関係を示す画像描画情報の領域ごとに圧縮方式を選択することができ、３次元モデルのレンダリング画像を効率良く管理することができる。

特殊テクスチャーを説明する説明図。 特殊テクスチャーを説明する説明図。 非テクスチャー領域およびテクスチャー領域の説明図。 画像処理方法に用いるコンピューター２０の構成の概略を示す構成図。 特殊テクスチャー生成処理の一例を示すフローチャート。 特殊テクスチャーの一例を示す説明図。 セット毎に特殊テクスチャーをレンダリングする様子を示す説明図。 レンダリング済み画像解析処理の一例を示すフローチャート。 バイアスBc,t(x,y)とゲインGc,t(x,y)を説明する説明図。 圧縮処理の一例を示すフローチャート。 補完処理の一例を示すフローチャート。 空白画素の補完の様子を示す説明図。 ３つの差し替え用テクスチャーを示す説明図。 差し替え用テクスチャーのスライドショー表示の一例を示す説明図。 変形例の特殊テクスチャーを示す説明図。 変形例の特殊テクスチャーを用いてレンダリングする様子を示す説明図。 変形例の特殊テクスチャーを示す説明図。

次に、本発明の一実施形態の概略を説明する。
本発明の一実施形態は、仮想的な３次元の構造体に対して２次元のテクスチャーを貼り付け、貼り付け後の３次元の構造体を所定方向から眺めた状態を示す２次元の画像（以下、レンダリング済み画像と呼ぶ）を生成するレンダリング処理に関連した技術である。すなわち、本発明の一実施形態は、該レンダリング処理を行う際に扱う画像データを効率よく管理する圧縮方式を提供するための形態であり、当該圧縮方式は、レンダリング処理によって、テクスチャーが貼り付けられるテクスチャー領域と該テクスチャーが貼り付けられない領域とが併存するレンダリング済み画像が生成される場合に適用される。

本実施形態においては、少ないリソースで上述のレンダリング処理を実施可能にするため、３次元モデルにテクスチャーが貼り付けられた後のレンダリング済み画像を比較して、テクスチャーからレンダリング済み画像を生成するための係数を画像描画情報として予め定義しておく構成としてある。

この係数は、任意のテクスチャーの画素の位置とレンダリング済み画像の画素の位置との対応関係および、各画素間での色の変化を規定した数式であり、以下の工程を経て算出される。
（Ａ）貼り付けられるテクスチャーの特定
（Ｂ）レンダリング処理が輝度に与える影響の特定
（Ｃ）画素の位置の対応関係の特定
これらの工程は、任意のテクスチャーではなく、上述の係数を特定するために生成された所定パターンのテクスチャー（以下、特殊テクスチャーと呼ぶ）を利用して実施される。なお、特殊テクスチャーの大きさ（縦横の画素数）は、上述の２次元のテクスチャーと同数に設定される。以下、該（Ａ）〜（Ｃ）の概略を説明する。

（Ａ）貼り付けられるテクスチャーの特定
図１Ａは、レンダリング処理の概要を説明するための図である。本実施形態におけるレンダリング処理では、ｎ枚（ｎは自然数）の２次元のテクスチャーを仮想的な３次元の構造体の各面に貼り付けたことを想定し、テクスチャーが貼り付けられた状態で当該３次元の構造体を所定方向から眺めた２次元の画像をレンダリング済み画像とする。従って、レンダリング済み画像においては、３次元の構造体の向きに応じて最大ｎ枚のテクスチャーが視認される状態になる。同図１Ａにおいては、仮想的な直方体Ｒに対して２次元のテクスチャーＴ₁〜Ｔ₆を貼り付けた場合のレンダリング済み画像をＩ₀として示しており、６枚のテクスチャーＴ₁〜Ｔ₆のうち、３枚のテクスチャーＴ₁〜Ｔ₃が視認される例を示している。なお、同図１Ａの例においては、仮想的な直方体Ｒが台上に置かれたことを想定しており、台上には直方体Ｒの影Ｓが形成されている。

このようなレンダリング処理は、３次元の構造体の特定の面に特定のテクスチャーを貼り付けることによって実現されるため、レンダリング済み画像のある座標には必ず一つのテクスチャーが対応し、複数のテクスチャーが対応することはない。すなわち、レンダリング済み画像の座標とテクスチャーの座標とは一対一の関係にある。そこで、本実施形態においては、特定の一枚のみを白、該特定の一枚以外を黒としたｎ枚の特殊テクスチャーを生成し、さらに、ｎ枚の全てを黒とした特殊テクスチャーを生成し、レンダリング済み画像を比較することによって上述の特定の一枚である白い特殊テクスチャーが対応するレンダリング済み画像の位置を特定する。なお、ここでは、白の特殊テクスチャーが第２ベタ塗りパターンに相当し、黒の特殊テクスチャーが第１ベタ塗りパターンに相当する。

図１Ｂ〜図１Ｄは、右側に示す６個の矩形にて、図１Ａに示すテクスチャーＴ₁〜Ｔ₆の替わりに貼り付けられる特殊テクスチャーの例を示しており、図１Ｂにおいては、テクスチャーＴ₁に相当する特殊テクスチャーのみが白、テクスチャーＴ₂〜Ｔ₆に相当する特殊テクスチャーが黒である例を示している。また、図１Ｃは、テクスチャーＴ₁〜Ｔ₆に相当する特殊テクスチャーが黒である例を示している。そして、以上の図１Ｂおよび図１Ｃに示す特殊テクスチャーに基づくレンダリング処理によって生成されたレンダリング済み画像をそれぞれＩ₁，Ｉ₂として示している。

本実施形態においては、以上のようにして生成されたレンダリング済み画像Ｉ₁，Ｉ₂を比較することによって第２ベタ塗りパターンの特殊テクスチャーに対応するレンダリング済み画像の位置を特定する。すなわち、レンダリング済み画像の画素ごとにレンダリング済み画像Ｉ₁，Ｉ₂の輝度を比較すると、第２ベタ塗りパターンの特殊テクスチャーが貼り付けられた画素においては輝度に差異が生じるが、第１ベタ塗りパターンの特殊テクスチャーが貼り付けられた画素に差異は生じない。そこで、例えば、レンダリング済み画像Ｉ₁の輝度がレンダリング済み画像Ｉ₂の輝度よりも大きいか否かを判定する処理を各画素について行えば、レンダリング済み画像Ｉ₁の輝度がレンダリング済み画像Ｉ₂の輝度よりも大きいと判定された画素については、第２ベタ塗りパターンの特殊テクスチャーが貼り付けられたと判定することができる。

すなわち、図１Ｂに示すように、テクスチャーＴ₁を第２ベタ塗りパターンの特殊テクスチャーとしてレンダリング処理を行った場合のレンダリング済み画像Ｉ₁と、図１Ｃに示すように、全てのテクスチャーを第１ベタ塗りパターンの特殊テクスチャーとしてレンダリング処理を行った場合のレンダリング済み画像Ｉ₂とを比較することによって、テクスチャーＴ₁が対応するレンダリング済み画像の位置が特定される。同様に、図１Ｄに示すように、テクスチャーＴ₂を第２ベタ塗りパターンの特殊テクスチャーとしてレンダリング処理を行った場合のレンダリング済み画像Ｉ₃とレンダリング済み画像Ｉ₂とを比較することによって、テクスチャーＴ₂が対応するレンダリング済み画像の位置が特定される。従って、ｎ枚のテクスチャーのいずれか一枚を白、他を黒とした特殊テクスチャーをレンダリングしたレンダリング済み画像のそれぞれについて以上の処理を行えば、レンダリング済み画像においてｎ枚のテクスチャーが貼り付けられる位置が特定される。

（Ｂ）レンダリング処理が輝度に与える影響の特定
次に、レンダリング済み画像の各画素について、レンダリング処理が輝度に与える影響を特定する。図１Ａに示すような、レンダリング処理は、各テクスチャーＴ₁〜Ｔ₆を仮想的な３次元の構造体に貼り付けた後に、仮想的な位置に設定された光源からの光や当該３次元の構造体の形状に起因する陰影等に所定の影響を受けるとみなしてレンダリング済み画像の輝度値を特定する。従って、当該所定の影響は、レンダリング済み画像の画素ごとに規定することができる。さらに、本実施形態においては、レンダリング済み画像の画素ごとの輝度値が、テクスチャーＴ₁〜Ｔ₆に依存しない定数成分（以下、バイアスＢと呼ぶ）とテクスチャーＴ₁〜Ｔ₆の輝度に比例する比例成分（以下、ゲインＧと呼ぶ）との和によって規定されるとみなす。

そこで、レンダリング済み画像の画素ごとにバイアスＢとゲインＧとを特定すれば、レンダリング処理が輝度に与える影響を特定することができる。この影響は、図１Ｃに示すような、ｎ枚のテクスチャーを全て第１ベタ塗りパターンの特殊テクスチャーに取り替えてレンダリング処理を行ったレンダリング済み画像Ｉ₂と図１Ｂ，図１Ｄに示すようなｎ枚のテクスチャーの特定の一枚を第２ベタ塗りパターンの特殊テクスチャー、他を第１ベタ塗りパターンの特殊テクスチャーに取り替えてレンダリング処理を行ったレンダリング済み画像Ｉ₁，Ｉ₃等を利用して特定することができる。

すなわち、図１Ｃに示すレンダリング済み画像Ｉ₂は、ｎ枚の全てが第１ベタ塗りパターンの特殊テクスチャーであり、当該第１ベタ塗りパターンの特殊テクスチャーを仮想的な３次元の構造体に貼り付けて生成したレンダリング済み画像の各画素において有意な輝度値（０より大きい輝度値）となるのであれば、当該輝度値は元のテクスチャーの影響を受けることなく有意な値となっていることが分かる。そこで、第１ベタ塗りパターンの特殊テクスチャーを仮想的な３次元の構造体に貼り付けて生成したレンダリング済み画像の各画素における輝度値をバイアスＢとして定義することができる。

一方、第２ベタ塗りパターンの特殊テクスチャーが貼り付けられた部分に相当するレンダリング済み画像の各画素における輝度値からバイアスＢを減じれば、ゲインＧを特定することができる。そこで、第２ベタ塗りパターンの特殊テクスチャーが貼り付けられた位置に対応したレンダリング済み画像の各画素からバイアスＢを減じることによって各画素のゲインＧを特定する。

（Ｃ）画素の位置の対応関係の特定
次に、レンダリング前後の画素の位置の対応関係を特定する。すなわち、テクスチャーの各画素の位置と、レンダリング済み画像の各画素の位置との対応関係が特定される。当該対応関係の特定は、特殊テクスチャーをレンダリングしたレンダリング済み画像に基づいて、当該レンダリング済み画像の座標（ｘ，ｙ）とテクスチャーの座標（Ｘ，Ｙ）とを対応づけることによって実施される。但し、本実施形態において当該対応関係の特定は、ｘ座標とＸ座標との対応関係を特定し、ｙ座標とＹ座標との対応関係を特定する処理を行うことによって実施され、前者および後者のそれぞれを行うための特殊テクスチャー（対応関係設定用パターン）が生成される。

図２Ａ〜図２Ｃは、ｘ座標とＸ座標との対応関係を特定するために生成される特殊テクスチャーの例を示す図である。これらの図においては、横方向の画素の位置をＸ座標、ｘ座標が規定し、縦方向の画素の位置をＹ座標、ｙ座標が規定する座標系を採用している。また、ここでは、Ｘ座標、Ｙ座標ともに値域が１〜８のテクスチャーを想定しているため、特殊テクスチャーもＸ座標、Ｙ座標ともに値域が１〜８である。図２Ａには、特殊テクスチャーの一つにおいてＸ座標の値を矢印で示している。また、ｘ座標とＸ座標との対応関係を特定するために生成される特殊テクスチャーは、ｎ枚のテクスチャーの全てについて同じパターンである。例えば、図２Ａに示す例は図１Ａに示すように６枚のテクスチャーＴ₁〜Ｔ₆を仮想的な３次元の構造体に貼り付ける場合に生成される特殊テクスチャーの例を示している。当該図２Ａに示す例において、６枚のテクスチャーＴ₁〜Ｔ₆の替わりとされる特殊テクスチャーのパターンは全て同一である。

但し、ｘ座標とＸ座標との対応関係を特定するために生成される特殊テクスチャーにおいては、Ｘ座標のビット数と同数のパターンが生成される。例えば、図２Ａ〜図２Ｃに示す例においては、Ｘ座標の値域が１〜８であって３ビットであるため、３種類の特殊テクスチャーが生成される。すなわち、図２Ａ，２Ｂ，２Ｃのそれぞれにおいて特殊テクスチャーのパターンは異なるパターンであるが、図２Ａに示す特殊テクスチャー同士で比較するとｎ枚の特殊テクスチャーのパターンは同一である。

さらに、本実施形態においては、３種類の特殊テクスチャーから同じＸ座標値の輝度を順に抽出して得られる輝度の順列が全てのＸ座標値において異なるように、当該３種類の特殊テクスチャーのパターンが設定されている。例えば、Ｘ座標値１の輝度を図２Ａ，２Ｂ，２Ｃの順に抽出して得られる順列は（黒、黒、黒）であり、Ｘ座標値２の輝度を図２Ａ，２Ｂ，２Ｃの順に抽出して得られる順列は（白、黒、黒）である。このように、全てのＸ座標値についての順列が全て異なるように特殊テクスチャーのパターンが設定されていると、これら３種類の特殊テクスチャーをレンダリング処理した後の３種類のレンダリング済み画像の各座標における輝度値に基づいて、元の特殊テクスチャーのＸ座標値を特定することができる。例えば、３種類のレンダリング済み画像の各座標における輝度値を順に参照することによって元の特殊テクスチャーの輝度の順列を特定すれば、レンダリング済み画像の各座標に対応する特殊テクスチャーのＸ座標値を特定することができる。

より具体的には、図２Ａ〜図２Ｃに示す例において、レンダリング済み画像Ｉ₄，Ｉ₅，Ｉ₆の位置Ｐ₁の輝度値を順に抽出して特定される元の特殊テクスチャーの輝度の順列は（黒、黒、黒）である。この順列は元の特殊テクスチャーのＸ座標値１の輝度に対応しており、他のＸ座標値の輝度がこの順列に対応することはない。従って、この順列が抽出されたレンダリング済み画像の位置Ｐ₁には、特殊テクスチャーのＸ座標値１の画像が貼り付けられていると特定することができる。

そこで、本実施形態においては、特殊テクスチャーのＸ座標のビット数と同数のパターンの特殊テクスチャーを各ｎ枚生成してレンダリング処理を行い、上述の（Ａ）によってｎ枚のテクスチャーのいずれかが貼り付けられることが特定されたレンダリング済み画像の各位置の輝度値を順に抽出する。そして、抽出された順列に基づいて元の特殊テクスチャーのＸ座標値を特定することにより、ｘ座標とＸ座標との対応関係を特定する構成としている。

このようなｘ座標とＸ座標との対応関係は、例えば、Ｘ座標値をグレイコードで表現することによって特定する構成が好ましい。図２Ａ〜図２Ｃに示す特殊テクスチャーのパターンは、グレイコードを用いてｘ座標とＸ座標との対応関係を特定する際に利用されるパターンである。すなわち、これらの例においては、グレイコードを用いてｘ座標とＸ座標との対応関係を特定するために、Ｘ座標値をグレイコードで表現した場合の最下位のビットの値が０の場合を黒、１の場合を白として図２Ａに示すパターンを生成している。同様に、Ｘ座標値をグレイコードで表現した場合の最下位よりも一つ上位のビット（中位ビットと呼ぶ）の値が０の場合を黒、１の場合を白として図２Ｂに示すパターンを生成し、最上位のビットの値が０の場合を黒、１の場合を白として図２Ｃに示すパターンを生成している。すなわち、図２Ａに示す特殊テクスチャーのパターンはＸ座標値をグレイコードで表現した場合の最下位のビット値に基づいて決定され、図２Ｂ，図２Ｃに示す特殊テクスチャーのパターンはＸ座標値をグレイコードで表現した場合の中位ビット、最上位のビット値に基づいて決定される。すなわち、図２Ａ〜図２Ｃに示す例においては、ビット数３と同数のパターンが形成され、かつ、図２Ａ，２Ｂ，２Ｃのそれぞれには最下位ビット、中位ビット、最上位ビットが対応づけられている。

図２Ｄは、当該パターンの生成を説明する図である。同図２Ｄに示すように、Ｘ座標値１を示すグレイコードは（０００）であり、最下位ビットが０、中位ビットが０、最上位ビットが０である。従って、図２Ａに示す特殊テクスチャーのＸ座標値１の輝度は黒、図２Ｂに示す特殊テクスチャーのＸ座標値１の輝度は黒、図２Ｃに示す特殊テクスチャーのＸ座標値１の輝度は黒となる。同様に、Ｘ座標値２を示すグレイコードは（００１）であり、最下位ビットが１、中位ビットが０、最上位ビットが０である。従って、図２Ａに示す特殊テクスチャーのＸ座標値２の輝度は白、図２Ｂに示す特殊テクスチャーのＸ座標値２の輝度は黒、図２Ｃに示す特殊テクスチャーのＸ座標値２の輝度は黒となる。同様の処理をＸ座標値３〜８まで続けることにより、図２Ａ〜図２Ｃのパターンが生成される。

このようにグレイコードによって複数の種類の特殊テクスチャーのパターンを決定しておけば、当該複数の種類の特殊テクスチャーから生成したレンダリング済み画像の各座標の輝度値から特定される元の特殊テクスチャーの輝度によって、元の特殊テクスチャーのＸ座標値をグレイコードで表現した値を決定することができる。ここで、レンダリング済み画像の各座標の輝度値から特定される元の特殊テクスチャーの輝度は、例えば、レンダリング済み画像の輝度値から上述のバイアスＢを減じた値がゲインＧの１／２より大きいか否かを判定することによって特定することができる。すなわち、元の特殊テクスチャーが黒の場合、レンダリング済み画像の輝度値から上述のバイアスＢを減じた値はほぼ０になり、元の特殊テクスチャーが白の場合、レンダリング済み画像の輝度値から上述のバイアスＢを減じた値はほぼゲインＧと同値になる。従って、レンダリング済み画像の各位置の輝度値から各位置のバイアスＢを減じた値が各位置のゲインＧの１／２より大きければ元の特殊テクスチャーが白、レンダリング済み画像の各位置の輝度値から各位置のバイアスＢを減じた値が各位置のゲインＧの１／２以下であれば元の特殊テクスチャーが黒であるとみなすことができる。

そこで、Ｘ座標値をグレイコードで表現した場合の最下位ビット値に基づいて生成された特殊テクスチャーをレンダリングしてレンダリング済み画像を生成し、当該レンダリング済み画像の各座標の輝度値から元の特殊テクスチャーが白であると判定される場合には、その位置におけるグレイコード表現のＸ座標値の最下位ビット値を１とする。また、レンダリング済み画像の各座標の輝度値から元の特殊テクスチャーが黒であると判定される場合、その位置におけるグレイコード表現のＸ座標値の最下位ビット値を０とする。以上の処理を、複数の種類の特殊テクスチャーのそれぞれについて実施することにより、レンダリング済み画像の各位置に対応するグレイコード表現のＸ座標値の全ビットを決定することができ、この結果、ｘ座標とＸ座標との対応関係を定義することができる。

例えば、図２Ａに示す例において、レンダリング済み画像Ｉ₄の位置Ｐ₁（ｘ，ｙ）の輝度値からバイアスＢ（ｘ，ｙ）を減じた値はゲインＧ（ｘ，ｙ）の１／２以下であるため、元の特殊テクスチャーが黒であると判定される。従って、位置Ｐ₁（ｘ，ｙ）に対応するテクスチャーのＸ座標値の最下位ビットは０となる。同様に、図２Ｂに示す例において、レンダリング済み画像Ｉ₅の位置Ｐ₁（ｘ，ｙ）の輝度値からバイアスＢ（ｘ，ｙ）を減じた値はゲインＧ（ｘ，ｙ）の１／２以下であるため、元の特殊テクスチャーが黒であると判定される。従って、位置Ｐ₁（ｘ，ｙ）に対応するテクスチャーのＸ座標値の中位ビッドは０となる。図２Ｃに示す例において、レンダリング済み画像Ｉ₆の位置Ｐ₁（ｘ，ｙ）の輝度値からバイアスＢ（ｘ，ｙ）を減じた値はゲインＧ（ｘ，ｙ）の１／２以下であるため、元の特殊テクスチャーが黒であると判定される。従って、位置Ｐ₁（ｘ，ｙ）に対応するテクスチャーのＸ座標値の最上位ビットは０となる。従って、位置Ｐ₁（ｘ，ｙ）に対応するＸ座標値のグレイコード表現は（０００）であり、Ｘ座標値１であることが特定される。

以上のような処理は、複数の種類のレンダリング済み画像の各座標における輝度値に基づいて元の特殊テクスチャーの輝度の順列を特定し、当該順列からＸ座標値を特定することによって、レンダリング済み画像の各座標に対応するＸ座標値を決定することと実質的に等価な処理となる。なお、Ｙ座標値についても同様の処理を行うことによって、レンダリング済み画像の各座標に対応するＹ座標値を特定することが可能になる。すなわち、図２Ａ〜図２Ｃに示すパターンを９０度回転させたような特殊テクスチャーによってＸ座標値における判定と同様の判定を行えば、Ｙ座標値をグレイコードで表現した値とｙ座標との対応関係を特定することが可能になる。

以上のように（Ａ）〜（Ｃ）の各工程を実行すれば、レンダリング済み画像の任意の座標（ｘ，ｙ）に対応するテクスチャーの座標（Ｘ，Ｙ）を特定することができる。また、レンダリング済み画像の任意の座標（ｘ，ｙ）においてレンダリング処理が輝度に与える影響を特定することができる。従って、各工程によって特定された座標の対応関係およびレンダリング処理が輝度に与える影響を示す情報を保存しておけば、当該保存された情報に基づいて任意のテクスチャーからレンダリング済み画像を生成する処理を極めて少ないリソースで高速に実行することが可能である。また、レンダリング処理において想定した仮想的な３次元の構造体や照明の位置等が明らかでない場合、すなわち、レンダリング処理後の画像と処理前のテクスチャーのみが明らかである場合であっても、レンダリング処理を再現することが可能になる。

本実施形態においては、以上の構成に適した圧縮方式で圧縮を行うことによって、極めて高い圧縮率で画像データの容量を圧縮できるように構成し、これによりレンダリング画像を効率よく管理する構成としている。すなわち、レンダリング済み画像において、テクスチャーが貼り付けられるテクスチャー領域とテクスチャーが貼り付けられない非テクスチャー領域とのそれぞれについて異なる圧縮方式を適用する。そして、非テクスチャー領域はＪＰＥＧ圧縮方式とし、かつ、非テクスチャー領域の画素に影響しない部分の輝度値を調整することによって極めて高い圧縮率となるように構成している。

図３は、図１Ａと同様のレンダリング済み画像における非テクスチャー領域とテクスチャー領域とを示している。同図３に示す例において、非テクスチャー領域は、レンダリング済み画像からテクスチャーＴ₁〜Ｔ₆が貼り付けられ得る直方体Ｒの像を除いた部分によって構成される。一方、テクスチャー領域は、レンダリング済み画像においてテクスチャーＴ₁〜Ｔ₆が貼り付けられ得る直方体Ｒの像を構成する部分によって構成される。図３に示す非テクスチャー領域においては、テクスチャー領域を黒ベタで示しており、当該黒ベタ以外の部分が非テクスチャー領域となる。一方、図３に示すテクスチャー領域においては、非テクスチャー領域を黒ベタで示しており、当該黒ベタ以外の部分がテクスチャー領域となる。

本実施形態においては、非テクスチャー領域とテクスチャー領域とを別個に扱って圧縮処理を行うため、レンダリング済み画像から非テクスチャー領域によって構成される画像とテクスチャー領域によって構成される画像とが構成される。例えば、図３に示す例においては非テクスチャー領域によって構成される画像Ｉ₇とテクスチャー領域によって構成される画像Ｉ₈との２枚の画像が構成され、それぞれが圧縮対象となる。圧縮された画像を展開して利用する場合には、非テクスチャー領域によって構成される画像Ｉ₇の黒ベタ以外の部分とテクスチャー領域によって構成される画像Ｉ₈の黒ベタ以外の部分とが結合されることによってレンダリング済み画像が構成される。

従って、非テクスチャー領域によって構成される画像Ｉ₇においては、黒ベタ以外の部分のみに意味があり、黒ベタの部分は意味がない（なお、当該黒ベタの部分は意味がない画素であるため、以後、空白画素と呼ぶ）。このため、空白画素における階調値を任意の値に設定して画像Ｉ₇を扱ったとしても何ら不都合はない。そこで、本実施形態においては、高い圧縮率でＪＰＥＧ圧縮がなされるように、空白画素における階調値を調整する。すなわち、本実施形態においては、ＪＰＥＧ圧縮の過程で実施される離散コサイン変換の結果得られる直流成分および交流成分をハフマン符号化した結果ができるだけ短い符号になるように空白画素の階調値を調整する。

具体的には、ＪＰＥＧ圧縮方式においては、圧縮対象の画像をＭＣＵ（Minimum Coded Unit）に分割し、各ＭＣＵの階調値に対して離散コサイン変換を行い、周波数に依存する係数と基底関数との積の和によって表現された変換画像を生成する。当該変換画像において、周波数が０の直流成分の係数については、比較対象のＭＣＵ（典型的には左隣のＭＣＵ）における直流成分の係数との差分がハフマン符号化される。従って、比較対象のＭＣＵとの差分が小さいほど直流成分を高い効率で圧縮することが可能になる。

一方、上述の離散コサイン変換による変換画像において、周波数が０以外の交流成分の係数については、量子化された後、周波数平面でジグザグスキャンを行い、さらにハフマン符号化を行う。このとき、ＭＣＵ内の画素の階調値が徐々に変化するように構成しておけば、量子化された後の係数において、高周波成分の多くが０になり、効率的にハフマン符号化を行うことが可能である。従って、ＭＣＵ内での階調値の急激な差（エッジなど）が生じていなければ交流成分を高い効率で圧縮することが可能になる。

そこで、本実施形態においては、非テクスチャー領域によって構成される画像に設定されるＭＣＵ内の空白画素の分布に応じて空白画素の階調値を設定する。すなわち、ＭＣＵ内の全画素が空白画素である場合、ＭＣＵ内の全空白画素の階調値を比較対象のＭＣＵ内の画素の階調値の平均値とする。この構成によれば、交流成分の係数が全て０になるとともに、直流成分の係数については、比較対象のＭＣＵにおける直流成分の係数との差分が０になり、ハフマン符号化によって極めて短い符号が得られることになる。

一方、ＭＣＵ内の一部の画素が空白画素である場合、当該ＭＣＵ内の空白画素の階調値を、当該空白画素の周囲の画素の階調値の平均値とする処理を空白画素のそれぞれに対して逐次行う。この構成によれば、ＭＣＵ内で画素の階調値が徐々に変化することになり、上述の量子化がなされた後の係数において、高周波成分の多くが０になる。従って、効率的にハフマン符号化を行うことが可能である。

なお、以上の説明は本発明の一実施形態の概略の説明であり、発明の実施に際して詳細な設計変更を行うことは可能である。例えば、上述の特殊テクスチャーのパターンは上述の例に限定されない。例えば、白黒が逆でも良いし、他のパターンであっても良い。さらに、複数の色成分の組み合わせによって画素の色を表現する構成においては、色成分毎に特殊テクスチャーを生成してレンダリング処理を行えばよい。また、上述の（Ａ）（Ｃ）工程は各色成分の和に基づいて判定を行えば良く、（Ｂ）工程においては色成分毎にバイアスＢおよびゲインＧを定義すればよい。

次に、本発明の実施の形態を具体的な例とともに図面を用いて説明する。図４は、本発明の一実施形態である画像処理方法に用いるコンピューター２０とビューワー４０の構成の概略を示す構成図である。本実施形態のコンピューター２０は、中央演算処理装置としてのＣＰＵや処理プログラムを記憶するＲＯＭ、データを一時的に記憶するＲＡＭ、グラフィックプロセッサー（ＧＰＵ）、ハードディスク（ＨＤＤ）、ディスプレイ２２などからなる汎用のコンピューターとして構成されており、その機能ブロックとしては、仮想的な３次元の構造体を示す３次元モデリングデータ（以下、３次元モデルという）やこれに貼り付けるテクスチャーデータ（以下、テクスチャーという）などを記憶する記憶部３１と、３次元モデルに貼り付ける前処理用の特殊なテクスチャーを生成する特殊テクスチャー生成処理部３２と、３次元モデルをレンダリングしてビットマップ画像を生成するレンダリング処理部３４と、レンダリングにより得られたビットマップ画像としてのレンダリング済み画像を解析するレンダリング済み画像解析処理部３６と、生成したレンダリング済み画像やレンダリング済み画像解析処理部３６の解析により得られる各種データを圧縮する圧縮処理部３８とを備える。

特殊テクスチャー生成処理部３２は、レンダリング処理部３４でレンダリングされる３次元モデルに貼り付ける特殊テクスチャーを生成する処理部であり、具体的には、値０．０〜１．０の階調値範囲内で階調値が値１．０の白ベタのパターン（第２ベタ塗りパターン）や、階調値が値０．０の黒ベタのパターン（第１ベタ塗りパターン），値０．０と値１．０の階調値が横方向に交互に現われる縦縞模様のパターン（対応関係設定用パターン），値０．０と値１．０の階調値が縦方向に交互に現われる横縞模様のパターン（対応関係設定用パターン）を生成する。なお、これらの各パターンがもつ役割については後述する。

レンダリング処理部３４は、３Ｄレンダリング用のソフトウエアがコンピューター２０にインストールされることにより機能する処理部であり、３次元モデルに特殊テクスチャー生成処理部３２で生成されたテクスチャーを貼り付けてレンダリングすることにより所定のフレームレート（例えば、１秒間に３０回や６０回など）でフレーム単位にビットマップ画像を再生して動画を表示する。本実施形態では、光源からの光をたどりながらオブジェクト面の反射や光の屈折などを計算してレンダリングするレイトレーシング法を用いてレンダリング処理を行なうものとした。

レンダリング済み画像解析処理部３６は、レンダリング処理部３４により生成されたビットマップ画像（レンダリング済み画像）を解析することにより、特殊テクスチャーに代えて写真などの所望の画像データを自由に差し替えてレンダリング済み画像をビューワー４０側で表示できるようにするための画像描画情報を生成する。

圧縮処理部３８は、レンダリング済み画像解析処理部３６により解析に伴って生成された画像描画情報を圧縮するための処理部であり、本実施形態では、画質の劣化を抑制しながら全体の圧縮率を高めるために、複数種の圧縮方式を使い分けてデータを圧縮するものとした。圧縮方式の詳細については後述する。

本実施形態のビューワー４０は、コンピューター２０のレンダリング処理部３４で得られたレンダリング済み画像やレンダリング済み画像解析処理部３６により解析されると共に圧縮処理部３８により圧縮された画像描画情報などを記憶する記憶部４１と、メモリーカードＭＣに記憶されている写真などの画像データの入力を司る入力処理部４２と、入力処理部４２により入力された画像データや記憶部４１に記憶されているレンダリング済み画像，画像描画情報をデコード（展開）する展開処理部４４と、レンダリング済み画像に入力した画像データをテクスチャーとして合成して描画する描画処理部４６と、を備える。このビューワー４０は、ユーザーからの指示によりメモリーカードＭＣに記憶されている複数の画像データを順次読み込むと共に読み込んだ画像データを画像描画情報を用いて３次元モデルのレンダリング済み画像に貼り付けて順次再生を行なうスライドショー表示を行なうことができるようになっている。

次に、こうして構成された本実施形態のコンピューター２０の特殊テクスチャー生成処理部３２やレンダリング処理部３４，レンダリング済み画像解析処理部３６，圧縮処理部３８の動作と、ビューワー４０の展開処理部４４や描画処理部４６の動作について説明する。まず、特殊テクスチャー生成処理部３２の処理について説明する。図５は、特殊テクスチャー生成処理の一例を示すフローチャートである。

特殊テクスチャー生成処理では、まず、複数のセットのうちのいずれのセットであるのかを特定するための対象セット番号ｉを値１に初期化し（ステップＳ１００）、対象セット番号ｉに対してＲＧＢの色成分毎にｎ個の特殊テクスチャーを生成して（ステップＳ１１０）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１２０）、対象セット番号ｉと値ｎとを比較して（ステップＳ１３０）、対象セット番号ｉが値ｎ以下のときにはステップＳ１１０に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値ｎを超えたときには次の処理に進む。ここで、対象セット番号ｉが値１から値ｎまでの特殊テクスチャーの生成は、次式（１）に示すように、１番からｎ番までの対象テクスチャー番号ｊを１番から値１ずつシフトしながら対象テクスチャー番号ｊと対象セット番号ｉと比較し、両者が一致する対象テクスチャー番号ｊに対しては最小値０．０（黒）〜最大値１．０（白）の階調値範囲で全座標(X,Y)に値１．０の階調値を設定することにより白ベタの特殊テクスチャー（第２ベタ塗りパターン）を生成し、両者が一致しない対象テクスチャー番号ｊに対しては全座標(X,Y)に値０．０の階調値を設定することにより黒ベタの特殊テクスチャー（第１ベタ塗りパターン）を生成することにより行なわれる。ここで、式（１）中の「ｃ」は、画像データのＲＧＢ値の各色に対応する値を示し、「ｎ」は１画面に配置するテクスチャーの数を示し、「ｂ」はテクスチャーの座標を２進数で表わしたときのビット数を示し、「Tc,i,j(X,Y)」は色成分ｃ，対象セット番号i，対象テクスチャー番号ｊにおける特殊テクスチャーの座標(X,Y)の階調値を示す（以下、同じ）。なお、ここでは、全ての色成分について、全座標に階調値の最大値が設定されたパターンを白ベタと呼び、全座標に階調値の最小値が設定されたパターンを黒ベタと呼んでいる（以下、同じ）。

対象セット番号ｉが値１〜値ｎの特殊テクスチャー（ｎ個のセットから成る第１のセット群）を生成すると、次に、対象セット番号ｉが値（ｎ＋１）の色成分毎のｎ個の特殊テクスチャーを生成し（ステップＳ１４０）（第２のセット）、対象セット番号ｉを値１だけインクリメントする（ステップＳ１５０）。ここで、対象セット番号ｉが値（ｎ＋１）の特殊テクスチャーの生成は、次式（２）に示すように、１番からｎ番までのすべての対象テクスチャー番号ｊに対して全座標(X,Y)に値０．０の階調値を設定することにより黒ベタの特殊テクスチャーを生成することにより行なわれる。

対象セット番号ｉが値（ｎ＋１）の特殊テクスチャーを生成すると、次に、対象セット番号ｉに対してテクスチャーの座標を交番２進数（グレイコード）表現としたときの第［ｉ−（ｎ＋２）]ビットに対応する縦縞模様の色成分毎のｎ個の特殊テクスチャーを次式（３）により生成して（ステップＳ１６０）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１７０）、対象セット番号ｉと値（ｎ＋ｂ＋１）とを比較し（ステップＳ１８０）、対象セット番号ｉが値（ｎ＋ｂ＋１）以下のときにはステップＳ１６０に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値（ｎ＋ｂ＋１）を超えたときには次の処理に進む。以上の処理により、レンダリング済み画像のｘ座標と特殊テクスチャーのＸ座標との対応関係を設定するための対応関係設定用パターンが生成される。ここで、式（３）中の「gray(a)」は数値ａのグレイコード（交番２進数符号）表現であり、「and(a,b)」はａとｂのビット毎の論理積を示す（以下、同じ）。（ｎ＋２）番から（ｎ＋ｂ＋１）番までの対象セット番号ｉは、それぞれテクスチャーの座標を２進数で表現したときに第（ｂ−１）ビット（最下位ビット）から第０ビット（最上位ビット）までの各ビットに対応しており、対象セット番号ｉに対応するビットの値が値１のときには値１．０（白）の階調値を設定し、対応するビットの値が値０のときには値０．０（黒）の階調値を設定することにより縦縞模様の特殊テクスチャーが生成される。本実施形態では、テクスチャーの座標を交番２進数で表現しており、例えば、テクスチャー数ｎが値３で座標が値１〜８の３ビット（ｂ＝３）とすると、対象セット番号ｉが第２ビット（最下位ビット）を示す値５の特殊テクスチャーとしてはＸ座標値１については黒の階調値が設定されＸ座標値２，３については白の階調値が設定されＸ座標値４，５については黒の階調値が設定されＸ座標値６，７については白の階調値が設定されＸ座標値８については黒の階調値が設定される。また、対象セット番号ｉが第１ビットを示す値６の特殊テクスチャーとしてはＸ座標値１，２については黒の階調値が設定されＸ座標値３〜６については白の階調値が設定されＸ座標値７，８については黒の階調値が設定され、対象セット番号ｉが第０ビット（最上位ビット）を示す値７の特殊テクスチャーとしてはＸ座標値１〜４については黒の階調値が設定されＸ座標値５〜８については白の階調値が設定されることになる。

対象セット番号ｉが値（ｎ＋２）〜値（ｎ＋ｂ＋１）の特殊テクスチャーを生成すると、次に、対象セット番号ｉに対してテクスチャーのｙ座標を交番２進数表現としたときの第［ｉ−（ｎ＋ｂ＋２）]ビットに対応する横縞模様の色成分毎のｎ個の特殊テクスチャーを次式（４）により生成して（ステップＳ１８５）、対象セット番号ｉを値１だけインクリメントし（ステップＳ１９０）、対象セット番号ｉと値（ｎ＋２ｂ＋１）とを比較し（ステップＳ１９５）、対象セット番号ｉが値（ｎ＋２ｂ＋１）以下のときにはステップＳ１８５に戻って次の対象セット番号ｉに対してｎ個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号ｉが値（ｎ＋２ｂ＋１）を超えたときには、全ての特殊テクスチャーの生成が完了したとして、本ルーチンを終了する。以上の処理により、レンダリング済み画像のｙ座標と特殊テクスチャーのＹ座標との対応関係を設定するための対応関係設定用パターンが生成される。（ｎ＋ｂ＋２）番から（ｎ＋２ｂ＋１）番までの対象セット番号ｉは、それぞれテクスチャーの座標を２進数で表現したときに第（ｂ−１）ビット（最下位ビット）から第０ビット（最上位ビット）からまでの各ビットに対応しており、対象セット番号ｉに対応するビットの値が値１のときには値１．０（白）の階調値を設定し、対応するビットの値が値０のときには値０．０（黒）の階調値を設定することにより横縞模様の特殊テクスチャーが生成される。本実施形態では、テクスチャーの座標を交番２進数で表現しており、例えば、テクスチャー数ｎが値３でｙ座標が値１〜８の３ビット（ｂ＝３）とすると、対象セット番号ｉが第２ビット（最下位ビット）を示す値８の特殊テクスチャーとしてはＹ座標値１については黒の階調値が設定されＹ座標値２，３については白の階調値が設定されＹ座標値４，５については黒の階調値が設定されＹ座標値６，７については白の階調値が設定されＹ座標値８については黒の階調値が設定される。また、対象セット番号ｉが第１ビットを示す値９の特殊テクスチャーとしてはＹ座標値１，２については黒の階調値が設定されＹ座標値３〜６については白の階調値が設定されＹ座標値７，８については黒の階調値が設定され、対象セット番号ｉが第０ビット（最上位ビット）を示す値１０の特殊テクスチャーとしてはＹ座標値１〜４については黒の階調値が設定されＹ座標値値５〜８については白の階調値が設定されることになる。図６に、テクスチャー数ｎが値３で座標のビット数ｂが値３のときに生成される特殊テクスチャーの一覧を示す。

レンダリング処理部３４は、セット毎に、対応するｎ個の特殊テクスチャーを３次元モデルに貼り付けてレンダリング処理を行なう。図７にレンダリング処理の様子を示す。本実施形態では、３次元モデルを動画としてレンダリングし、テクスチャー数ｎが値３でビット数ｂが値３としたから、合計１０セット分のレンダリング処理が行なわれて１０セット分の動画が生成されることになる。この動画は、フレーム１〜Ｔまでの各フレーム毎に生成されたビットマップ画像（レンダリング済み画像）により構成される。なお、図７においては、１０セット分のレンダリング済み画像のそれぞれから、共通のフレーム番号のビットマップ画像を抜き出して示している。

次に、レンダリング処理部３４により生成されたレンダリング済み画像を解析する処理について説明する。図８は、レンダリング済み画像解析処理部３６により実行されるレンダリング済み画像解析処理の一例を示すフローチャートである。

レンダリング済み画像解析処理では、まず、次式（５）に示すように各フレーム番号ｔ（＝１〜Ｔ）におけるレンダリング済み画像の座標(x,y)に貼り付けられるテクスチャー番号を示す変数It(x,y)を値０に初期化し（ステップＳ２００）、対象フレームｔにおけるセット番号１〜ｎのレンダリング済み画像中の白ベタ領域（座標）を特定して、この白ベタ領域の変数It(x,y)に対応するテクスチャー番号を設定する（ステップＳ２１０）。この処理は、次式（６）に示すように、対象セット番号ｉを１番からｎ番まで順次シフトしながら対象セット番号ｉのレンダリング済み画像の階調値（各色成分毎の階調値の総和）とセット番号（ｎ＋１）のレンダリング済み画像の階調値（各色成分毎の階調値の総和）とを比較することにより行なうことができる。すなわち、対象セット番号ｉにおいては番号ｉと等しいテクスチャー番号の特殊テクスチャーが白ベタに設定されており、セット番号（ｎ＋１）においては全テクスチャー番号の特殊テクスチャーが黒ベタに設定されている。従って、対象セット番号ｉのレンダリング済み画像の階調値がセット番号（ｎ＋１）のレンダリング済み画像の階調値より大きい場合には、座標(x,y)にテクスチャー番号ｉの特殊テクスチャーが貼り付けられていたことが分かる。ここで、式（５）中の「ｗ」はレンダリング済み画像の幅方向のサイズを示し、「ｈ」はレンダリング済み画像の高さ方向のサイズを示す。また、式（６）中の「Ac,i,t(x,y)」は色成分ｃ，セット番号ｉ（１〜ｎ），フレーム番号ｔにおけるレンダリング済み画像の座標(x,y)の階調値を示す（以下、同じ）。

続いて、次式（７）によりセット番号（ｎ＋１）のレンダリング済み画像の階調値をバイアスBc,t(x,y)として設定すると共に（ステップＳ２２０）、変数It(x,y)が値０でないレンダリング済み画像の座標(x,y)、即ちテクスチャーが貼り付けられる領域について次式（８）によりゲインGc, t(x,y)を計算する（ステップＳ２３０）。ここで、式（８）中の「Ac,It(x,y),t(x,y)」は色成分ｃ，変数It(x,y)に格納されたセット番号ｉ，フレーム番号ｔにおけるレンダリング済み画像の座標(x,y)の階調値を示す。図９に、バイアスBc,t(x,y)とゲインGc,t(x,y)との関係を示す。３次元モデルにテクスチャーを貼り付けてレンダリングする場合、図示するように、元のテクスチャーの階調値に依存しないオフセット分がバイアスBc,t(x,y)に相当し、元のテクスチャーの階調値の変化に対するレンダリング済み画像の階調値の変化の傾きがゲインGc,t(x,y)に相当する。

そして、次式（９）によりテクスチャーのグレイコード表現の座標（X't(x,y)，Y't(x, y）)を値０に初期化し（ステップＳ２４０）、セット番号（ｎ＋２）〜（ｎ＋２ｂ＋１）のレンダリング済み画像の座標(x,y)とテクスチャーの座標（X't(x,y)，Y't(x,y）)との対応関係を設定する（ステップＳ２５０）。ここで、座標の対応関係は、次式（１０）により設定され、具体的には、番号ｉを１番からｂ番まで順次シフトしながらセット番号（ｉ＋ｎ＋１）のレンダリング済み画像の階調値Ac,i+n+1,t(x,y)からバイアスBc,t(x,y)を減じたもの（各色成分毎の総和）がセット番号ｉのレンダリング済み画像のゲインGc,t(x,y)を値２で割ったもの（各色成分毎の総和）よりも大きいか否か即ちセット番号（ｉ＋ｎ＋１）における白と黒の縦縞模様のパターンのうち座標(x,y)が白か否かを判定し白のときには交番２進数表現の座標X't(x,y)の対応する第（ｉ−１）ビットの値に値１を設定し、番号ｉを１番からｂ番まで順次シフトしながらセット番号（ｉ＋ｂ＋ｎ＋１）のレンダリング済み画像の階調値Ac,i+b+n+1,i(x,y)からバイアスBc,t(x,y)を減じたもの（各色成分毎の総和）がセット番号ｉのレンダリング済み画像のゲインGc,t(x,y)を値２で割ったもの（各色成分毎の総和）よりも大きいか否か即ちセット番号（ｉ＋ｂ＋ｎ＋１）における白と黒の横縞模様のパターンのうち座標(x,y)が白か否かを判定し白のときには座標Y't(x,y)の対応する第（ｉ−１）ビットの値を値１に設定することにより行なわれる。ここで、式（１０）中の「or(a,b)」はａとｂのビット毎の論理和を示す。

座標の対応関係を設定すると、グレイコード表現のテクスチャーの座標（X't(x,y)，Y't(x,y)）を次式（１１）を用いて復号化して復号化後座標（Xt(x,y)，Yt(x,y)）を算出し（ステップＳ２６０）、値１〜Ｔまでの全フレームについて処理が完了したか否かを判定し（ステップＳ２７０）、全フレームについて処理が完了していないときには次のフレームを対象フレームｔに設定してステップＳ２１０に戻って処理を繰り返し、全フレームについて処理が完了したときに本処理を終了する。ここで、式（１１）中の「gray^-1(a)」
はグレイコードａを復号化した値を示し、「Xt(x,y)」はフレーム番号ｔのレンダリング済み画像の座標(x,y)に対応するテクスチャーのｘ座標を示し、「Ｙt(x,y)」はフレーム番号ｔのレンダリング済み画像の座標(x,y)に対応するテクスチャーのｙ座標を示す。なお、本実施形態では、座標（X't(x,y)，Y't(x,y）)の原点を(1,1)としているから、グレイコードを復号化した値に値１を加算している。画像描画情報としては、変数It(x,y)とバイアスBc,t(x,y)とゲインGc,t(x,y)と座標（Xt(x,y)，Yt(x,y)）とが含まれる。

次に、レンダリング済み画像解析処理部３６により解析されて得られた画像描画情報を圧縮する処理、特にバイアスBc,t(x,y)を圧縮する処理について説明する。図１０は、圧縮処理部３８により実行される圧縮処理の一例を示すフローチャートである。

圧縮処理では、テクスチャー領域と非テクスチャー領域とを分離し、各領域の画像描画情報をx,y座標系で表現し、別個に圧縮処理を実施する。このため、まず、全領域のバイアスBc,t(x,y)のうちテクスチャー領域を抜き出してテクスチャー領域用バイアスEc,t(x,y)を設定する（ステップＳ３００）。この処理は、変数It(x,y)が値０でない座標(x,y)についてはテクスチャー領域用バイアスEc,t(x,y)にバイアスBc,t(x,y)を設定し、変数It(x,y)が値０の座標(x,y)についてはテクスチャー領域用バイアスEc,t(x,y)に値０を設定することにより行なわれる。続いて、非テクスチャー領域のバイアスBc,t(x,y)を抜き出して非テクスチャー領域用バイアスFc,t(x,y)を設定すると共に（ステップＳ３１０）、設定した非テクスチャー領域用バイアスFc,t(x,y)のうちテクスチャー領域内の空白画素を補完する（ステップＳ３２０）。すなわち、非テクスチャー領域についてのバイアスFc,t(x,y)は非テクスチャー領域以外の領域（テクスチャー領域に相当する領域）については定義されていないため、当該非テクスチャー領域以外の領域を空白画素とみなし、当該空白画素を補完する。そして、テクスチャー領域用バイアスEc,t(x,y)については可逆圧縮方式の一つであるデフレート圧縮を行ない（ステップＳ３３０）、非テクスチャー領域についてはＪＰＥＧ圧縮を行ない（ステップＳ３４０）、圧縮データを保存して（ステップＳ３５０）、本処理を終了する。本実施形態では、画像描画情報としてのIt(x,y)，Gc,t(x,y)，Xt(x,y)，Yt(x,y)についてもデフレート圧縮などの可逆圧縮により圧縮するものとした。

図１１は、図１０のステップＳ３２０により空白画素を補完する補完処理の一例を示すフローチャートである。この補完処理では、まず、ＪＰＥＧ処理の基本単位であるＭＣＵ(Minimum Coded Unit)のうち処理対象となる対象ＭＣＵを設定する（ステップＳ４００）。ここでは、例えば、ｘ座標値が左から右に増加し、ｙ座標値が上から下に増加する座標系において、最も左上のＭＣＵを最初に対象ＭＣＵとし、以後、右隣のＭＣＵを対象ＭＣＵとしつつ、最も右側まで到達すると、一段下の最も左のＭＣＵを対象ＭＣＵとし、以後同様とする。次に、設定した対象ＭＣＵ内に空白画素があるか否かを判定する（ステップＳ４１０）。対象ＭＣＵ内に空白画素がないときには空白画素の補完の必要がないから次のＭＣＵがあるか否かを判定し（ステップＳ４５０）、次のＭＣＵがあるときにはステップＳ４００に戻ってこれを対象ＭＣＵに設定して処理を繰り返す。一方、対象ＭＣＵ内に空白画素があるときには、対象ＭＣＵ内の一部が空白画素であるか否かを判定し（ステップＳ４２０）、対象ＭＣＵ内の一部が空白画素のときには空白画素を隣接画素の平均階調値で埋める処理を行ない（ステップＳ４３０）、対象ＭＣＵ内の全部が空白画素のときには左側に隣接するＭＣＵの平均階調値で埋める処理を行なって（ステップＳ４４０）、次の処理に進む。なお、左側に隣接するＭＣＵが存在しない場合、対象ＭＣＵが最も左上に位置するなら空白画素を階調値０で埋める処理を行い、対象ＭＣＵが２段目あるいは当該２段目より下に位置するなら一段上の最も右のＭＣＵの平均階調値で埋める処理を行う。ステップＳ４５０で次のＭＣＵがあると判定されると、ステップＳ４００に戻って次のＭＣＵを対象ＭＣＵに設定して処理を繰り返し、次のＭＣＵがないと判定されると、これで本処理を終了する。図１２に、空白画素の補完の様子を示す。この処理は、テクスチャー領域と非テクスチャー領域の境界付近では、階調値が徐々に変化するようにし、境界から離れた部分では境界付近のＭＣＵの平均階調値で埋めるものとなる。こうして空白画素を補完した非テクスチャー領域用バイアスFc,t(x,y)をＪＰＥＧ圧縮することにより、ＪＰＥＧ圧縮の際の圧縮効率を高めることができる。

コンピュータ２０の圧縮処理部３８により圧縮された画像描画情報（変数It(x,y)やバイアスEc,(x,y)，Fc,t(x,y)，ゲインGc,t(x,y)，座標（Xt(x,y)，Yt(x,y)）はビューワー４０の記憶部４１に記憶され、ビューワー４０の展開処理部４４によりデフレート圧縮した変数It(x,y)やバイアスEc,t(x,y)，ゲインGc,t(x,y)，座標（Xt(x,y)，Yt(x,y)）についてはデフレート解凍処理により、ＪＰＥＧ圧縮したバイアスFc,t(x,y)についてはＪＰＥＧ解凍処理によりそれぞれ展開した上で描画処理部４６による描画処理に用いられる。描画処理部４６では、メモリーカードＭＣに記憶されている写真などの複数の画像データを差し替え用テクスチャーとして読み込むと共に次式（１２）を用いてレンダリング済み画像に合成して順次描画することにより、テクスチャーを差し替えながら３次元モデルのレンダリング済み画像を表示するスライドショー再生を行なうことができる。ここで、式（１２）中の「Uc, It(x,y)(Xt(x,y),Yt(x,y))」は色成分ｃ，テクスチャー番号ｉにおける差し替え用テクスチャーの座標(X,Y)の階調値（０．０〜１．０）を示し、「Pc,t(x,y)」は色成分ｃ，フレーム番号ｔにおける表示画像（レンダリング済み画像）の座標(x,y)の階調値（０．０〜１．０）を示す。式（１２）に示すように、表示画像の階調値Pc,t(x,y)の設定は、変数It(x,y)が値０でないテクスチャー配置領域に対しては表示画像の座標(x,y)に対応する差し替え用テクスチャーの座標（Xt(x,y)，Yt(x,y)）の階調値にゲインGc,t(x,y)を乗じてバイアスEc,t(x,y)を加えたものを設定し、変数It(x,y)が値０であるテクスチャー配置領域以外の領域に対してはバイアスFc,t(x,y)を設定することにより行なわれる。図１３にテクスチャー番号が１〜３の３つの差し替え用テクスチャーを示し、図１４にレンダリング済み画像に図１３の差し替え用テクスチャーを配置して描画する様子を示す。

以上説明した実施例の画像処理方法によれば、３次元モデルに特殊テクスチャーを貼り付けてレンダリングすると共にレンダリング済み画像を解析することにより得られる画像描画情報の一つとしてのバイアスBc,t(x,y)に対してテクスチャー領域を抜き出してテクスチャー領域用バイアスEc,t(x,y)を設定すると共に空白画素を領域境界付近で階調値が徐々に変化するよう補完した上で非テクスチャー領域用バイアスFc,t(x,y)を設定し、テクスチャー領域用バイアスEc,t(x,y)についてはデフレート圧縮処理により圧縮し、非テクスチャー領域用バイアスFc,t(x,y)についてはＪＰＥＧ圧縮により圧縮するから、全体の画質の劣化を抑制しながら高い圧縮率によりデータを圧縮することができる。また、コンピューター２０側では、座標(X,Y)を２進数表現したときの各ビットの値に対応するｘ座標用の縦縞模様のパターンとｙ座標用の横縞模様のパターンとを特殊テクスチャーとして３次元モデルに貼り付けてレンダリングし、レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することによりレンダリング済み画像の座標(x,y)とテクスチャーの座標（Xt(x,y)，Yt(x,y)）との対応関係を設定して画像描画情報として保存し、ビューワー４０側でレンダリング済み画像を用いて画像を表示するときには、予め記憶した画像描画情報によりテクスチャーの座標（Xt(x,y)，Yt(x,y)）の階調値に基づいて表示画像の座標(x,y)に描画するから、３次元モデルのレンダリング済み画像をテクスチャーを自由に差し替えて再生することができると共にリアルタイムで３次元モデルをレンダリングして表示するものに比して処理負担を少なくすることができる。しかも、ゲインGc,t(x,y)やバイアスBc,t(x,y)を用いてテクスチャーの階調値を変換して表示画像の階調値を設定するから、３次元モデルをレンダリングしたときの屈折光や鏡面反射，影などの影響も反映させることができる。さらに、座標の対応関係を特定するための特殊テクスチャーとして交番２進数に対応する縦縞模様のパターンと横縞模様のパターンとを形成するから、隣接する座標に移行する際には常に１ビットの変化となり、画像の階調値の誤差に起因して誤ったデータが取得されてしまうのを抑制することができる。

本実施形態では、補完処理として、対象ＭＣＵ内の一部が空白画素のときには空白画素を隣接画素の平均階調値で埋め、対象ＭＣＵ内の全部が空白画素のときには左側に隣接するＭＣＵの平均階調値で埋めるものとしたが、これに限られず、領域境界付近で階調値が徐々に変化するよう補完すればよいから、例えば、単に隣接画素の平均階調値で順次埋めていくものとしてもよい。

本実施形態では、テクスチャー領域用バイアスEc,t(x,y)についてデフレート圧縮により圧縮するものとしたが、デフレート圧縮以外の他の如何なる可逆圧縮処理により圧縮するものとしてもよいし、無圧縮とするものとしてもよい。

本実施形態では、バイアスBc,t(x,y)からテクスチャー領域用バイアスEc,t(x,y)と非テクスチャー領域用バイアスFc,t(x,y)とを設定してそれぞれ異なる圧縮方式により圧縮するものとしたが、３次元モデルにテクスチャーを貼り付けてレンダリングする際に用いるデータであれば、バイアスBc,t(x,y)以外の他のデータに適用するものとしてもよい。

本実施形態では、座標(X,Y)を２進数表現したときの各ビットの値に対応するｘ座標用の縦縞模様のパターンとｙ座標用の横縞模様のパターンとをテクスチャーとして用いて３次元モデルに貼り付けてレンダリングすると共にレンダリング結果を解析することにより画像描画情報を生成するものとしたが、用いるパターンはこれに限られず、ｘ座標方向（横方向）に濃淡（階調値）が徐々に変化するパターンとｙ座標方向（縦方向）に濃淡が徐々に変換するパターンとを用いるものとしてもよい。この場合、前述した式（３）により得られるセット番号（ｎ＋２）〜（ｎ＋ｂ＋１）の縦縞模様のパターンに代えて次式（１３）により得られるセット番号（ｎ＋２）の１つのパターンを用いると共に式（４）により得られるセット番号（ｎ＋ｂ＋２）〜（ｎ＋２ｂ＋１）の横縞模様のパターンに代えて次式（１４）により得られるセット番号（ｎ＋３）の１つのパターンを用いるものとすればよい。

式（１３）のパターンと式（１４）のパターンとを用いる場合、座標の対応関係の設定は、次式（１５）により求めることができる。図１５に特殊テクスチャーの一例を示し、図１６に図１５の特殊テクスチャーを３次元モデルに貼り付けてレンダリングする様子を示す。これにより、生成すべき特殊テクスチャーの数を減らすことができる。

本実施形態では、対象セット番号ｉが値（ｎ＋２）〜値（ｎ＋ｂ＋１）の縦縞模様パターンの特殊テクスチャーを座標を交番２進数表現したときに各ビットの値に対応するものとすると共に対象セット番号ｉが値（ｎ＋ｂ＋２）〜値（ｎ＋２ｂ＋１）の横縞模様パターンの特殊テクスチャーを座標を交番２進数表現したときの各ビットの値に対応するものとしたが、これらのパターンを、座標を一般の２進数表現したときに各ビットの値に対応するものとして生成するものとしてもよい。この場合の特殊テクスチャーの一例を図１７に示す。

本実施形態では、ビューワー４０により画像を再生するものとしたが、画像を再生できる機器であれば、液晶画面付きの携帯電話やプリンターなど如何なる機器を用いるものとしても構わない。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

２０ コンピューター、２２ ディスプレイ、３１ 記憶部、３２ 特殊テクスチャー生成処理部、３４ レンダリング処理部、３６ レンダリング済み画像解析処理部、３８ 圧縮処理部、４０ ビューワー、４１ 記憶部、４２ 入力処理部、４４ 展開処理部、４６ 描画処理部、ＭＣ メモリーカード。

Claims (14)

1. テクスチャーを貼り付けてレンダリングする際に用いられる画像描画情報を処理する画像処理方法であって、
   前記画像描画情報が示すレンダリング済み画像の座標系において前記テクスチャーが貼り付けられるテクスチャー領域と該テクスチャーが貼り付けられない非テクスチャー領域とを分離し、
   前記非テクスチャー領域の前記画像描画情報を第１の圧縮方式により圧縮し、
   前記テクスチャー領域の前記画像描画情報を前記第１の圧縮方式とは異なる第２の圧縮方式により圧縮する
   ことを特徴とする画像処理方法。
2. 請求項１記載の画像処理方法であって、
   前記非テクスチャー領域の境界から徐々に画素値が変化するよう所定の補完処理により前記非テクスチャー領域以外の部分の画素を補完すると共に該補完した後の前記画像描画情報を前記第１の圧縮方式であるＪＰＥＧ圧縮方式により圧縮し、
   前記テクスチャー領域の前記画像描画情報を前記第２の圧縮方式である可逆圧縮方式により圧縮する、
   画像処理方法。
3. 請求項２記載の画像処理方法であって、
   前記所定の補完処理は、前記非テクスチャー領域以外の領域を隣接画素の平均画素値で埋めることにより補完する処理である
   画像処理方法。
4. 請求項３記載の画像処理方法であって、
   前記所定の補完処理は、前記画像描画情報を所定サイズの複数の単位ブロックにより構成して、該複数の単位ブロックのうち前記非テクスチャー領域の一部が含まれるブロックに対しては前記非テクスチャー領域以外の領域を隣接画素の平均画素値で埋めることにより補完し、前記非テクスチャー領域が含まれないブロックに対しては前記単位ブロックの全画素を隣接ブロック内の各画素の平均画素値で埋めることにより補完する処理である
   画像処理方法。
5. 請求項２〜４のいずれかに記載の画像処理方法であって、
   座標毎に異なる階調値が設定された所定パターンをテクスチャーとして３次元モデルに貼り付けてレンダリングし、
   該レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することにより前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を設定して前記画像描画情報として保存し、
   所望のテクスチャーを画像として表示する際には、前記保存した画像描画情報に基づいて前記レンダリング済み画像中に前記所望のテクスチャーを配置して表示する
   画像処理方法。
6. 前記レンダリング済み画像の各座標の階調値から対応する前記所定パターンの座標を特定することにより前記対応関係を導出する請求項５記載の画像処理方法。
7. 前記所定パターンは、前記テクスチャーの座標を２進数で表現したときのビット数と同数のパターンであって、各パターンには座標を２進数で表現したときの各ビットが対応づけられるとともに、各パターンの各座標の階調値は当該対応づけられたビットの値に応じた値に設定されている請求項５または６記載の画像処理方法。
8. 前記２進数は、グレイコード（交番２進数）である請求項７記載の画像処理方法。
9. 請求項５ないし８いずれか１項に記載の画像処理方法であって、
   前記所定パターンとして前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンを前記３次元モデルに貼り付けてレンダリングし、
   前記レンダリング済み画像における前記第１ベタ塗りパターンの階調値であるバイアス値前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す前記画像描画情報として保存し、
   前記保存したバイアス値に基づいて前記所望のテクスチャーの階調値をオフセットすることにより前記レンダリング済み画像の階調値に変換して表示する
   画像処理方法。
10. 前記非テクスチャー領域の境界から徐々に画素値が変化するよう所定の補完処理により前記非テクスチャー領域以外の部分の画素を補完すると共に該補完した後の前記バイアス値を前記第１の圧縮方式である前記ＪＰＥＧ圧縮方式により圧縮し、
    前記テクスチャー領域のバイアス値を前記第２の圧縮方式である前記可逆圧縮方式により圧縮する
    請求項９記載の画像処理方法。
11. 請求項５ないし１０いずれか１項に記載の画像処理方法であって、
    前記所定パターンとして前記レンダリング済み画像の座標と前記テクスチャーの座標との対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第１ベタ塗りパターンと最大階調値でベタ塗りしてなる第２ベタ塗りパターンとを前記３次元モデルに貼り付けてそれぞれレンダリングし、
    前記レンダリング済み画像における前記第２ベタ塗りパターンの階調値と前記第１ベタ塗りパターンの階調値との偏差であるゲインを算出して前記レンダリング済み画像の画素ごとの色と前記テクスチャーの画素ごとの色との対応関係を示す前記画像描画情報として保存し、
    前記保存したゲインに基づいて前記所望のテクスチャーの階調値を前記レンダリング済み画像の階調値に変換して表示する
    画像処理方法。
12. 請求項１１記載の画像処理方法であって、
    前記レンダリング済み画像にｎ枚（ｎは自然数）のテクスチャーを配置して表示する場合には、（ｎ−１）枚の前記第１ベタ塗りパターンと１枚の前記第２ベタ塗りパターンとからなるセットをｎ個設定するとともに各セット毎に前記３次元モデルに前記第２ベタ塗りパターンを貼り付ける箇所が異なる第１のセット群と、ｎ枚の前記第１ベタ塗りパターンからなる第２のセットとをそれぞれセット毎に前記３次元モデルに貼り付けてレンダリングし、
    前記第１のセット群を各セット毎にレンダリングすることにより得られる各レンダリング済み画像の階調値と前記第２のセットをレンダリングすることにより得られるレンダリング済み画像の階調値とを前記第１のセット群の各セット毎に比較することにより、前記３次元モデルにテクスチャーが貼り付けられた領域であるテクスチャー領域を特定し、該特定したテクスチャー領域に対して前記ゲインを算出する
    画像処理方法。
13. 画像をフレーム単位で描画して動画像として表示する請求項１ないし１２いずれか１項に記載の画像処理方法。
14. テクスチャーを貼り付けてレンダリングする際に用いられる画像描画情報を処理する画像処理装置であって、
    前記画像描画情報が示すレンダリング済み画像の座標系において前記テクスチャーが貼り付けられるテクスチャー領域と該テクスチャーが貼り付けられない非テクスチャー領域とを分離する分離手段と、
    前記非テクスチャー領域の前記画像描画情報を第１の圧縮方式により圧縮する第１の圧縮手段と、
    前記テクスチャー領域の前記画像描画情報を前記第１の圧縮方式とは異なる第２の圧縮方式により圧縮する第２の圧縮手段と
    を備える画像処理装置。