JP2007188337A - 画像処理装置 - Google Patents

Abstract

【課題】レンダリング処理が施された画像データを表示する過程で線形補間処理後に量子化しても、量子化ノイズによる画像の劣化を有効に防止することができる画像処理装置を提供すること。
【解決手段】パターンメモリ（１２０）から読み取られたパターンデータにレンダリング処理を施すレンダリング処理部（１０８）と、前記レンダリング処理が施されたパターンデータにバイリニアフィルタ補間処理を施すバイリニアフィルタ補間処理部（レンダリング処理部１０８の内部）と、前記バイリニアフィルタ補間処理が施されたパターンデータにディザ処理を施すディザ処理部（レンダリング処理部１０８の内部）と、前記ディザ処理が施されたパターンデータを格納するフレームバッファ（１１０）と、前記フレームバッファに格納されたパターンデータを読み取って表示装置（１３０）に表示させるディスプレイコントローラ（１１１）を備える。
【選択図】図１

Description

本発明は、スプライトから構成されたキャラクタ等を表示するためのパターングラフィックス方式の画像処理装置に関する。

アミューズメント機器等で利用される画像表示装置の一種に、スプライトによってアニメーション画像を表示するパターングラフィックス方式の画像処理装置がある。
図５に、この種の画像表示装置の構成を示す。この画像表示装置では、キャラクタや背景画を構成するスプライトのパターンデータがパターンメモリ（ＲＯＭ）５０３に予め記憶されており、表示すべき各スプライトの属性情報が画像表示ＬＳＩ（ＶＤＰ）５０２内部のスプライト属性テーブル（図示省略）に規定されている。

画像表示ＬＳＩ５０２は、スプライト属性テーブルを参照して、スプライトのパターンデータをパターンメモリ５０３から読み出し、このパターンデータに拡大・縮小・変形などのレンダリング処理を施して表示装置５０４に表示させる。各キャラクタの動きは、ゲーム等の進行に従ってＣＰＵ５０１が画像表示ＬＳＩ５０２内部のスプライト属性テーブルを随時書き替えることにより制御される。

ところで、アミューズメント機器の分野では、装置コストの観点からパターンメモリ５０３に格納されるパターンデータの容量を抑えたいという要請がある一方、緻密で高品質な画像表示に対する要請もある。このような相反する要請に応えるため、パターンメモリ５０３には、１画素あたり２４ビットのフルカラーデータ（Ｒ；８ビット、Ｇ；８ビット、Ｂ；８ビット）を量子化して圧縮して得られたパターンデータを格納しているが、量子化ノイズの一種であるモアレ等のマッハバンドノイズを抑えるため、ディザ処理を施して１６ビットデータ（Ｒ；５ビット、Ｇ；６ビット、Ｂ；５ビット）に減色補間している。
特開２００５−２４１７９７号公報

しかしながら、拡大・縮小・変形などのレンダリング処理の際に、スムージングのためにパターンデータに線形補間処理を施すと、上述のパターンメモリに格納する前に抑制したはずの量子化ノイズが再び発生してしまい、画像が劣化するという問題がある。
これは、線形補間処理における実数計算の過程で１６ビットの画素データを擬似的に２４ビットのデータとして取り扱い、これを再び元の１６ビットの画素データに戻す際の量子化に起因している。

本発明は、上記事情に鑑みてなされたものであり、パターンデータを線形補間処理した後に量子化しても、量子化ノイズによる画像の劣化を有効に防止することができる画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、スプライトの属性情報が規定されたスプライト属性テーブル（１０１）を参照して、パターンメモリから表示すべきスプライトのパターンデータを読み取り、該パターンデータにレンダリング処理を施す第１手段（１０４、１０８）と、前記レンダリング処理が施されたパターンデータに線形補間処理を施す第２手段（１０８Ａ）と、前記線形補間処理が施されたパターンデータに減色補間処理を施す第３手段（１０８Ｂ）と、前記減色補間処理が施されたパターンデータをフレーム単位で格納する第４手段（１１０）と、前記第４手段に格納されたパターンデータを読み取って各フレームの画像を表示装置に表示させる第５手段（１１１）とを備える。

この構成によれば、線形補間処理において、例えば隣接する２つの画素値から、これら２つの画素値の間に位置する補間画素の画素値を実数計算する必要上、パターンデータのビット数が拡張され、表現可能な階調数が増やされる。続く減色補間処理では、線形補間処理でビット数が拡張されたパターンデータに対し、例えばディザマトリックスを用いて所定のノイズ成分を加算し、これにより、隣接画素間の画素データの相関性を緩和（拡散）させる。従って、線形補間処理によりビット数が擬似的に拡張されたパターンデータを量子化して、画素データのビット数を元に戻しても、人間の視覚には、量子化ノイズが知覚されにくくなり、画像の劣化を有効に防止することができる。

前記画像処理装置において、例えば、前記パターンメモリに格納されたパターンデータは、予めディザ処理が施されて圧縮されたものであり、前記第１手段は、前記パターンメモリに格納されたパターンデータに伸張処理を施す伸張処理部（１０４）と、前記伸張処理が施されたパターンデータにレンダリング処理を施すレンダリング処理部（１０８）とを備えたことを特徴とする。

前記画像処理装置において、例えば、前記スプライト属性テーブルに規定されたスプライトの属性情報は、前記線形補間処理の要否を表す第１情報と、前記減色補間処理の要否を表す第２情報とを含むことを特徴とする。
前記画像処理装置において、例えば、前記第３手段での減色補間処理は、ディザマトリックスまたは誤差拡散法の何れかを用いた処理であることを特徴とする。

本発明によれば、減色補間処理により隣接画素間の画素データの相関性を緩和／分散するようにしたので、線形補間処理後に画素データを量子化しても、量子化ノイズの発生が抑制され、この量子化ノイズによる画像の劣化を有効に防止することが可能になる。

以下、図面を参照しながら、本発明の実施形態を説明する。
[第１実施形態]
図１に、本発明の第１実施形態に係る画像処理装置１００の構成を示す。
同図において、１０１は、スプライトの属性情報が規定されたスプライト属性テーブルであり、画像表示を制御する外部のＣＰＵ（中央演算処理装置；図示省略）によって随時書き替えられる。

スプライト属性テーブル１０１には、各スプライトの属性情報が表示の時系列順に規定されており、例えば、スプライトのサイズ、表示位置座標、パターンネーム、パターン格納アドレス（パターンメモリ１２０上のアドレス）、変形時の頂点座標、キャラクタ終了属性（相対スプライトの終を示す属性）、パターンデータの有無、拡大・縮小率、角度、カラー演算（色調、明るさ）パラメータなどが規定されている。

１０２はデコードコントローラであり、パターンメモリ（マスクＲＯＭ）１２０に格納されている圧縮されたスプライトパターンデータの伸張処理を制御するものである。本実施形態では、パターンメモリ１２０に格納されたパターンデータは、１画素（ドット）あたり２４ビット（Ｒ；８ビット、Ｇ；８ビット、Ｂ；８ビット）のオリジナルのパターンデータを、ディザ処理により１画素あたり１６ビット（Ｒ；５ビット、Ｇ；６ビット、Ｂ；５ビット）のパターンデータに減色補間したものであって、これを圧縮したものが格納されている。なお、パターンメモリ１２０の容量に余裕があれば、必ずしもパターンデータを圧縮する必要はない。

１０３はＲＯＭインタフェースであり、パターンメモリ１２０に読出アドレスを出力して、このパターンメモリ１２０からパターンデータを読み出すものである。１０４はデコーダであり、パターンメモリ１２０から読み出されたパターンデータの伸張処理を実行するものである。パターンメモリ１２０に格納されたパターンデータが圧縮されたものでなければ、この伸張処理は省略できる。スプライトバッファインタフェース１０５は、デコーダ１０４で伸張処理されたパターンデータをスプライトバッファ１０６に展開すると共に、後述のレンダリングエンジン１０８からの指示を受けてスプライトバッファ１０６内のパターンデータを読み出すものである。スプライトバッファ１０６は、複数のスプライトパターンを展開できる容量を有している。

１０７はレンダリングコントローラであり、スプライト属性テーブル１０１に規定されたスプライト属性情報に基づきレンダリング処理を制御するものである。１０８はレンダリングエンジンであり、レンダリングコントローラ１０７からの指示を受けて、スプライトバッファ１０６から読み出されたパターンデータのレンダリング処理を実行するものである。

ここで、図２に示すように、レンダリングエンジン１０８は、バイリニアフィルタ補間処理（線形補間処理）部１０８Ａとディザ処理（減色補間処理）部１０８Ｂを内蔵している。バイリニアフィルタ補間処理部１０８Ａは、レンダリング処理が施されたパターンデータにバイリニアフィルタ補間処理を施して、レンダリング処理により強調された色差のスムージングを行うためのものである。ディザ処理部１０８Ｂは、バイリニアフィルタ補間処理が施されたパターンデータにディザ処理を施して量子化ノイズを抑制するためのものである。

説明を図１に戻すと、１０９はフレームバッファインタフェースであり、ディザ処理が施されたパターンデータをバッファ１１０に展開すると共に、後述のディスプレイコントローラ１１１からの指示を受けてフレームバッファ１１０内のパターンデータを読み出すものである。フレームバッファ１１０は、表示装置１３０の表示ドット対応のパターンデータをフレーム単位で格納するメモリである。このフレームバッファ１１０では、複数のスプライトのパターンデータが上書きされて１つのフレーム画像に合成される。

１１１はディスプレイコントローラであり、画像表示制御用の各種のタイミング信号を生成して外部の表示装置１３０へ出力すると共に、このタイミング信号に同期させて、フレームバッファ１１０から読み出されたパターンデータを表示装置１３０に出力してキャラクタ等の画像を表示させるための制御を行うものである。

次に、本実施形態に係る画像処理装置１００の動作を説明する。
先ず、画像処理装置１００は、パターンメモリ１２０から表示すべきスプライトのパターンデータを読み出して、その伸張処理を実行する。即ち、デコードコントローラ１０２は、スプライト属性テーブル１０１にアクセスし、最初のスプライト属性情報を読み出す。そして、この読み出されたスプライト属性情報に含まれるパターン格納アドレスを取得し、このアドレスに基づきパターンメモリ１２０から該当するスプライトのパターンデータを読み出し、この読み出されたパターンデータが、デコーダ１０４によって１画素あたり１６ビット（Ｒ；５ビット、Ｇ；６ビット、Ｂ；５ビット）のパターンデータに伸張される。

続いて、伸張されたスプライトパターンデータのレンダリング処理を実行する。即ち、レンダリングコントローラ１０７は、スプライト属性テーブル１０１からスプライト属性情報を読み出し、スプライトパターンの拡大、縮小、回転、変形等を決めるパラメータや、表示位置等の情報をレンダリングエンジン１０８へ出力する。レンダリングエンジン１０８は、レンダリングコントローラ１０７から受けた情報に基づいて、上記伸張されたスプライトパターンデータのレンダリング処理を実行する。

続いて、レンダリングエンジン１０８内部の図２に示すバイリニアフィルタ補間処理部１０８Ａは、レンダリング処理が施されたパターンデータに対してバイリニアフィルタ補間処理を施す。
ここで、図３を参照して、バイリニアフィルタ補間処理について説明する。図３は、例えば拡大処理に伴うバイリニアフィルタ補間処理を説明するための図である。スプライトによる画像表示において、レンダリング処理によりスプライトのパターンを拡大、縮小、変形すると、隣り合う画素の色差が強調され、表示色の変化がスムーズに行われない場合がある。この問題を防止するため、バイリニアフィルタ補間処理を行う。

図３において、ｒｇｂ（ｘ、ｙ）は拡大後の座標（ｘ、ｙ）の画素のカラーを指示する画素データである。また、ｒｇｂ（ｍ，ｎ）、ｒｇｂ（ｍ＋１，ｎ）、ｒｇｂ（ｍ，ｎ＋１），ｒｇｂ（ｍ＋１，ｎ＋１）は、各々拡大前に隣り合っていた４画素を拡大した後の計算上の表示位置（ｍ，ｎ）、（ｍ＋１）、（ｍ，ｎ＋１）、（ｍ＋１，ｎ＋１）の画素データを示し、上述のレンダリング処理により得られた１６ビットの画素データである。また、これらの表示位置は、座標（ｘ、ｙ）を取り囲む最も近い計算上の画素の位置である。なお、ｍ、ｎは整数である。また、図において、ｐ、ｑは、座標（ｘ，ｙ）および座標（ｍ，ｎ）、（ｍ＋１，ｎ）、（ｍ，ｎ＋１）、（ｍ＋１，ｎ＋１）から次式によって計算される値である。
ｐ＝座標値ｘ−座標値ｍ
ｑ＝座標値ｙ−座標値ｎ

そして、ｒｇｂ（ｘ，ｙ）は次式（１）によって求められる。
ｒｇｂ（ｘ，ｎ）＝（１−ｐ）×ｒｇｂ（ｍ，ｎ）＋ｐ×ｒｇｂ（ｍ＋１，ｎ）
ｒｇｂ（ｘ，ｎ＋１）＝（１−ｐ）×ｒｇｂ（ｍ，ｎ＋１）＋ｐ×ｒｇｂ（ｍ＋１，ｎ＋１）
ｒｇｂ（ｘ，ｙ）＝（１−ｑ）×ｒｇｂ（ｘ，ｎ）＋ｑ×ｒｇｂ（ｘ，ｎ＋１）
・・・（１）

上述のバイリニアフィルタ補間処理は画素と画素との間の画素データを補間する処理であるから、細かな色差を表現する必要上、バイリニアフィルタ補間処理では画素データのビット数が擬似的に１６ビット（Ｒ；５ビット、Ｇ；６ビット、Ｂ；５ビット）から２４ビット（Ｒ；８ビット、Ｇ；８ビット、Ｂ；８ビット）に拡張され、拡大後の画素データｒｇｂ（ｘ，ｙ）は、２４ビットデータのまま、バイリニアフィルタ補間処理部１０８Ａからディザ処理部１０８Ｂに出力される。

上述のバイリニアフィルタ補間処理が施されたパターンデータは、ディザ処理部１０８Ｂにより減色補間処理の一種であるディザ処理が施される。ディザ処理は、少ない階調数で中間調を表現するための技術であり、次式（２）のように数式化される。
ｒｇｂ（ｘ，ｙ）’＝ｓ１[ｘ％２][ｙ％２]＋｛ｒｇｂ（ｘ，ｙ）×２５３／２５６｝
・・・（２）

上式（２）において、左辺のｒｇｂ（ｘ，ｙ）’は、ディザ処理後の座標（ｘ，ｙ）での画素データを表す。右辺のｓ１[ｘ％２][ｙ％２]は、ディザ処理における誤差拡散用のノイズ成分を表し、ｒｇｂ（ｘ，ｙ）は、ディザ処理前の画素データ（即ち、バイリニアフィルタ補間処理部１０８Ａの出力データ）を表す。ここで、[ｘ％２]は、画素のｘ座標値を２で除算した余り（０または１）を表し、[ｙ％２]は画素のｙ座標値を２で除算した余り（０または１）を表し、ｓ１はディザマトリックス（ハーフトーン）を表す。ｓ１[ｘ％２][ｙ％２]の値は、[ｘ％２]の値と[ｙ％２]の値との組み合わせに応じて（即ち画素の座標に応じて）、０，１，２，３の何れかの値をとる。また、「２５３／２５６」なる係数は、ディザ処理後のｒｇｂ（ｘ，ｙ）’の値が最大階調数の２５６を超えないように調整するための補正係数である。

本実施形態では、上式の右辺により計算された２４ビット（Ｒ；８ビット、Ｇ；８ビット、Ｂ；８ビット）の画素データの下位ビットを切り捨てることにより量子化して、左辺の１６ビット（Ｒ；５ビット、Ｇ；６ビット、Ｂ；５ビット）のｒｇｂ（ｘ，ｙ）’の画素データを得る。このように画素データを１６ビットに量子化することにより、この画素データからなるパターンデータを格納するフレームバッファ１１０の容量を低減させることができ、装置コストの上昇を抑えることができる。

上述のディザ処理によれば、バイリニアフィルタ補間処理が施された画素データに誤差拡散用のノイズ成分が加算されるため、隣接する画素間の画素データの相関性が拡散される。このため、以下に説明するように、擬似的に２４ビットに拡張された画素データを量子化して１６ビットに戻しても、量子化ノイズの発生が抑制される。

図４を参照して、量子化ノイズの抑制メカニズムを説明する。
図４上段に示す波形は、図２に示すレンダリング処理部１０８において、ディザ処理部１０８Ｂによるディザ処理を省いた場合のｒｇｂ（ｘ，ｙ）のＧ成分（実線）と、ｒｇｂ（ｘ，ｙ）’のＧ成分（点線）との関係を表している。２４ビットのｒｇｂ（ｘ，ｙ）を１６ビットのｒｇｂ（ｘ，ｙ）’に量子化すると、Ｇ成分については、８ビットから６ビットに量子化される。このため、図４上段に示す例では、表示位置が隣接する４画素の値が同じになり、これら４画素間の相関性が高められる。この結果、人間の視覚の特性上、量子化による不連続性が強調され、これが量子化ノイズとなって現れる。

これに対し、図４下段に示す波形は、ディザ処理部１０８Ｂによるディザ処理を実施した場合を示す。同図下段において、矢印と、その大きさを表す数値は、２４ビットのｒｇｂ（ｘ，ｙ）に加算される上記誤差拡散用ノイズ成分を表し、この例では、８ビットＧ成分の画素データに加算されるノイズ成分を表している。このように誤差拡散用ノイズ成分を８ビットのＧ成分に加算した後に６ビットに量子化すると、同図に点線で示すように、表示位置が隣接する画素間の相関性が緩和されながらも、全体としては、元の８ビットのＧ成分の値に追従する傾向を示す。この場合、隣接する画素間で画素データの値の不連続性は高まるが、人間の視覚における積分効果により、色差の不連続性は逆に緩和され、従って量子化ノイズが抑制される。

説明を図１に戻す。上述のレンダリング処理部１０８により、レンダリング処理、バイリニアフィルタ補間処理、およびディザ処理が施されたパターンデータは、フレームバッファインタフェース１０９を介してフレームバッファ１１０に格納される。フレームバッファ１１０に格納されたパターンデータは、ディスプレイコントローラ１１１を介して外部の表示装置１３０にフレーム単位で表示される。
以上で、第1実施形態を説明した。

[第２実施形態]
次に、本発明の第２実施形態を説明する。
上述の第１実施形態では、レンダリング処理部１０８において、バイリニアフィルタ処理部１０８Ａとディザ処理部１０８Ｂの両方の処理を実施するものとしたが、本実施形態では、これらの処理を個々のスプライトに応じて適応的に省略／実施するように構成する。そのための情報は、スプライトの属性情報としてスプライト属性テーブル１０１に規定される。即ち、スプライト属性テーブル１０１には、スプライトの属性情報として、バイリニアフィルタ補間処理部１０８Ａでのバイリニアフィルタ補間処理の要否を表す第１情報と、ディザ処理部１０８Ｂでのディザ処理の要否を表す第２情報とが更に規定される。その他の構成は上述の第１実施形態と同様である。

本実施形態によれば、レンダリング処理部１０８内のバイリニアフィルタ補間処理部１０８Ａは、上記第１情報が「否（処理不要）」を示す場合、バイリニアフィルタ処理を省略して、入力したパターンデータと同値のパターンデータを出力する。ディザ処理部１０８Ｂは、上記第２情報が「否」を示す場合にディザ処理を省略し、２４ビットの画素データを１６ビットに量子化する。ただし、第１情報として「否」を規定する場合には、第２情報としても「否」を規定すべきである。なぜなら、バイリニアフィルタ補間処理部１０８Ａにおいてバイリニアフィルタ補間処理を実施しない場合には、その処理後のデータには量子化ノイズの発生因子が存在せず、ディザ処理部１０８Ｂによるディザ処理を施す必要がないからである。

一方、スプライト属性テーブル１０１に第１情報として「要（処理必要）」を規定する場合には、第２情報として、必要に応じて「要」または「否」を規定すればよい。この場合、第２情報として「要」を規定すれば、上述の第１実施形態と同様になる。また、第２情報として「否」を規定すれば、ディザ処理部１０８Ｂにおいてディザ処理は省略され、バイリニアフィルタ補間処理部１０８Ａによるバイリニアフィルタ補間処理のみが実施されることになる。画像のグラデーションによってはバイリニアフィルタ補間処理を施しても量子化ノイズが問題とならない場合があり、このような場合には第２情報として「否」を規定すればよい。

以上、本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で変形可能である。
例えば、上述の実施形態では、レンダリング処理部１０８内部のディザ処理部１０８Ｂにおいて、ディザマトリックスを用いたディザ処理を実施するものとしたが、これに限定されることなく、減色補間処理であればよく、例えば誤差拡散法など、隣接する画素間の相関性を緩和／分散するものであればよい。もちろん、ディザ処理部１０８Ｂをレンダリング処理部１０８の外部に備えてもよい。

また、上述の実施形態では、レンダリング処理部１０８内部のバイリニアフィルタ補間処理部１０８Ａにおいてバイリニアフィルタ補間処理を実施するものとしたが、これに限定されることなく、他の補間処理を採用してもよい。もちろん、バイリニアフィルタ補間処理部１０８Ａをレンダリング処理部１０８の外部に備えてもよい。

また、上述の実施形態では、パターンメモリ１２０には、予めディザ処理が施されて圧縮されたパターンデータが格納されているものとしたが、これに限定されることなく、どのようなパターンデータであってもよい。また、パターンメモリ１２０から読み取られたパターンデータをデコーダ１０４で伸張処理するものとしたが、パターンメモリ１２０に格納されたパターンデータが圧縮されたものでなければ、デコーダ１０４での伸張処理が不要であることは言うまでもない。

結局、本発明は、線形補間処理によりビット数が擬似的に拡張されたデータを量子化する際に減色補間処理することを要旨としており、この要旨を逸脱しない範囲であれば、どのように変形したものであっても、本発明の技術的範囲に含まれる。

本発明の第１実施形態に係る画像処理装置のブロック図である。 本発明の第１実施形態に係るレンダリング処理部の詳細構成を示すブロック図である。 本発明の第１実施形態に係るバイリニアフィルタ補間処理部における処理を説明するための説明図である。 本発明の第１実施形態に係るディザ処理部による量子化ノイズ抑制メカニズムを説明するための説明図である。 従来技術に係る画像表示装置の構成図である。

符号の説明

１００；画像処理装置、１０１；スプライト属性テーブル、１０２；デコードコントローラ、１０３；ＲＯＭインタフェース、１０４；デコーダ、１０５；スプライトバッファインタフェース、１０６；スプライトバッファ、１０７；レンダリングコントローラ、１０８；レンダリングエンジン、１０８Ａ；バイリニアフィルタ補間処理部、１０８Ｂ；ディザ処理部、１０９；フレームバッファインタフェース、１１０；フレームバッファ、１１１；ディスプレイコントローラ、１２０；パターンメモリ（マスクＲＯＭ）、１３０；表示装置。

Claims (4)

1. スプライトの属性情報が規定されたスプライト属性テーブルを参照して、パターンメモリから表示すべきスプライトのパターンデータを読み取り、該パターンデータにレンダリング処理を施す第１手段と、
   前記レンダリング処理が施されたパターンデータに線形補間処理を施す第２手段と、
   前記線形補間処理が施されたパターンデータに減色補間処理を施す第３手段と、
   前記減色補間処理が施されたパターンデータをフレーム単位で格納する第４手段と、
   前記第４手段に格納されたパターンデータを読み取って各フレームの画像を表示装置に表示させる第５手段と
   を備えた画像処理装置。
2. 前記パターンメモリに格納されたパターンデータは、予めディザ処理が施されて圧縮されたものであり、
   前記第１手段は、
   前記パターンメモリに格納されたパターンデータに伸張処理を施す伸張処理部と、
   前記伸張処理が施されたパターンデータにレンダリング処理を施すレンダリング処理部とを備えたことを特徴とする請求項１記載の画像処理装置。
3. 前記スプライト属性テーブルに規定されたスプライトの属性情報は、前記線形補間処理の要否を表す第１情報と、前記減色補間処理の要否を表す第２情報とを含むことを特徴とする請求項１または２の何れか１項記載の画像処理装置。
4. 前記第３手段での減色補間処理は、ディザマトリックスまたは誤差拡散法の何れかを用いた処理であることを特徴とする請求項１乃至３の何れか１項記載の画像処理装置。
   
   

Images