JP2005078399A - 表示画像処理装置、その方法及びそれを用いた表示装置 - Google Patents

Abstract

【課題】 Ｚバッファ法とサブピクセル表示とを組み合わせる際に、画素単位のＺバッファを用いながら斑点の発生を抑制する。
【解決手段】 サブピクセル単位の前景画像の書込位置と、前景画像の色成分と、サブピクセル単位のＺ値とを、入力できる入力部３と、背景画像の１つの画素につき１つのＺ値を記憶できるＺバッファ８と、フレームメモリ４の背景画像と前景画像とを合成し、サブピクセル単位の処理済画像を生成するサブピクセルレンダリング処理部７と、Ｚバッファにおける注目画素のＺ値を更新すべき場合、Ｚバッファの注目画素のＺ値を更新する第１更新部１０と、フレームメモリにおける注目画素の色成分を更新すべき場合、フレームメモリの背景画像をサブピクセル単位の処理済画像に更新する第２更新部１１とを備える。
【選択図】 図１

Description

本発明は、サブピクセル表示技術を応用して、背景画像に高精細画像からなる新たな図形の画像を重ね合わせて表示をさせる際に、質よく表示できるようにした表示画像処理装置及びその関連技術に関するものである。

表示デバイスには、例えばカラー液晶パネルのように、ＲＧＢの各色を発光する発光素子を、一定順序で並設し、１画素を構成するものがある。このとき、各発光素子は、１画素よりも小さな存在であり、サブピクセルと呼ばれる。

そして、この種の表示デバイスでは、１画素を、発光素子が並設される方向に並べて１ラインが構成される。また、この１ラインを並設方向と直交する方向に並べて、表示画面が構成される。

ここで、例えば、非特許文献１や、特許文献１等において、この種の表示デバイスの特性（１画素が３つのサブピクセルからなる点）を活かし、適当なフィルタ処理を使用することにより、単なる画素精度の表示よりも、見易さを向上できる技術が、公開されている。

具体的には、サブピクセル表示を行うために、サブピクセルの並設方向に３倍の解像度を持つ、３倍画像を用意する。そして、この３倍画像の各画素が各発光素子に割り当てられるように色を定める。ただし、このまま表示すると、色むらが発生するため、フィルタ処理を施す。

例えば、非特許文献１によれば、中心の注目画素では、輝度に対して、３／９倍、その隣の画素では、２／９倍、さらにその隣の画素では、１／９倍、というような係数を乗じて、各画素の輝度を調整する。

このようにフィルタ処理を施した画像を、各発光素子に割り当てて、サブピクセル表示を行うものである。

一方、３Ｄグラフィクスの分野において、３次元のオブジェクトを２次元の画面に描画するＺバッファ法がある。

この方法では、フレームメモリの他に、Ｚバッファを用意する。そして、画面に表示されるオブジェクトの画像（色成分）をフレームメモリに記録するだけでなく、このオブジェクトの奥行き情報をＺ値として、Ｚバッファに記録するものである。このＺ値は、画素単位で用意される。

以下、本明細書において、Ｚ値が大きいほどオブジェクトが奥に存在し、Ｚ値が小さいほどオブジェクトが手前に存在するものとする。勿論、この関係は、反転させることができ、反転させた場合でも、本発明は、同様に適用できる。

また、本明細書において、既にフレームメモリに記録されている画像を背景画像といい、今まさに、フレームメモリに展開して描画しようとしている、オブジェクトの画像を前景画像という。

さて、Ｚバッファ法による描画のプロセスは、次のようになる。まずはじめに、Ｚバッファにおいて、全ての画素のＺ値を奥行き最大（最も奥にあることを示す値）に初期化する。

ついで、描画しようとするオブジェクトについて、視点からの距離を求め、この距離を、Ｚ空間に写像し、写像の結果得られたＺ値を、画素単位でＺバッファに書き込んでいく。このとき、描画しようとするオブジェクトの画像は、前景画像である。

このとき、画素単位で、前景画像のＺ値と、Ｚバッファの該当するＺ値とを比較する。比較の結果、前景画像のＺ値が、ＺバッファのＺ値よりも、手前側にある場合には、前景画像をフレームメモリに書込むと共に、ＺバッファのＺ値を、前景画像のＺ値に更新する。

一方、前景画像のＺ値が、ＺバッファのＺ値よりも、奥にある場合には、フレームメモリとＺバッファとの更新は、いずれも行われない。即ち、背景画像のままとなり、前景画像は、陰に隠れた状態となる。

以上のような処理の結果、陰面消去が行われ、結果的に、視点から見える部分のみが、フレームメモリに描画され、表示される。
ｈｔｔｐ：／／ｇｒｃ．ｃｏｍ配下の"Ｓｕｂ−Ｐｉｘｅｌ Ｆｏｎｔ Ｒｅｎｄｅｒｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ"と題する論文 特開２０００−２８５５９２号公報

本発明者らは、Ｚバッファ法とサブピクセル表示とを組み合わせて実施することを検討した。こうすれば、オブジェクトの境界におけるジャギー感を、サブピクセル表示により抑制することが期待できる。

ここで、サブピクセル表示に合わせて、Ｚバッファの容量を、画素単位から見て３倍にすることも考えられる。しかしながら、このようにすると、必要なメモリ容量が大きくなり、例えば、携帯端末のように、システム資源に乏しい装置には、適用が非常に困難になる。

そこで、本発明者らは、入力する前景画像のＺ値をサブピクセル単位とし、Ｚバッファの容量を、画素単位のままとして、サブピクセル表示と組み合わせてみた。その結果、本発明者らは、このようにすると、オブジェクトの境界において、斑点があらわれてしまい、表示品質が低下することを、発見した。

この点を考察すると、次のようになる。まず、前景画像のＺ値はサブピクセル単位であり、ＺバッファのＺ値の精度と異なっている。また、サブピクセル表示では、色ずれを防止するため、画素単位よりも細やかに、サブピクセル単位でフレームメモリが更新されるが、ＺバッファによるＺ値の管理は、画素単位で実施され、やはり精度が異なる。

このため、Ｚ値の管理が不正になる場合が頻発し、前景画像と背景画像の境界（例えば、複数のオブジェクト同士が重なり合う部分）に、斑点が発生するものと考えられる。

本発明者らは、以上の点に鑑み、鋭意研究した結果、次に述べる工夫をすれば、以上のような斑点の発生を抑制でき、表示品質を向上できることを発見した。即ち、本発明は、Ｚバッファ法とサブピクセル表示とを組み合わせる際に、画素単位のＺバッファを用いながら斑点の発生を抑制できる、表示画像処理装置及びその関連技術を提供することを目的とする。

請求項１記載の表示画像処理装置は、サブピクセル単位の前景画像の書込位置と、前景画像の色成分と、サブピクセル単位のＺ値とを、入力できる入力部と、背景画像の１つの画素につき、３つの色成分を格納できるフレームメモリと、背景画像の１つの画素につき１つのＺ値を記憶できるＺバッファと、フレームメモリの背景画像と入力部が入力する前景画像とを合成し、サブピクセル単位の処理済画像を生成するサブピクセルレンダリング処理部と、Ｚバッファにおける注目画素のＺ値を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、Ｚバッファの注目画素のＺ値を更新する、第１更新部と、フレームメモリにおける注目画素の色成分を更新するすべきかすべきでないかを、第２条件に従って判定し、更新すべき場合に、フレームメモリの背景画像をサブピクセル単位の処理済画像に更新する、第２更新部とを備える。

この構成により、Ｚバッファの更新と、フレームメモリの更新とを、独立した更新部により、実行することができる。

請求項２記載の表示画像処理装置では、第１条件は、Ｚバッファにおける注目画素のＺ値と、入力部が入力する注目画素の３つのＺ値とに基づくものである。

この構成により、背景画像のＺ値と、サブピクセル単位のＺ値とを用いて、奥行き方向の位置関係を反映してＺバッファを更新できる。

請求項３記載の表示画像処理装置では、第２条件は、Ｚバッファにおける注目画素のＺ値と、入力部が入力する注目画素の３つのＺ値とに基づくものである。

この構成により、背景画像のＺ値と、サブピクセル単位のＺ値とを用いて、奥行き方向の位置関係を反映してフレームメモリを更新できる。

請求項４記載の表示画像処理装置では、第１条件と第２条件とは、異なる条件である。

この構成により、フレームメモリの更新と、Ｚバッファの更新とを、異なる判定により実施できる。例えば、フレームメモリの更新をより積極的に実施して、斑点の発生を抑制できる。また、Ｚバッファの更新を抑制して、Ｚ値を奥側の値のままとしてフレームメモリの更新を促進できる。

請求項５記載の表示画像処理装置では、第１条件は、入力部が、注目画素につき３つのＺ値全てを入力する場合に限り、Ｚバッファにおける注目画素のＺ値を更新するという条件である。

この構成により、注目画素が前景画像の内部に完全に入っている場合に限ってＺバッファが更新されることになり（つまり、Ｚバッファの更新を抑制することにより）、ＺバッファのＺ値を奥側の値のままとしてフレームメモリのその後の更新を促進できる。

請求項６記載の表示画像処理装置では、第２条件は、入力部が入力する注目画素の３つのＺ値の少なくとも１つのＺ値が、Ｚバッファにおける注目画素のＺ値に対して、より手前にあることを示す場合に、フレームメモリにおける注目画素の色成分を更新するという条件である。

この構成により、入力部が入力する注目画素の３つのＺ値のうち、Ｚバッファにおける注目画素のＺ値に対して、より手前にあるＺ値が１つでもあれば、フレームメモリが積極的に更新される。

請求項７記載の表示画像処理装置では、第２条件は、サブピクセル単位の処理済画像の境界が、注目画素に存在する場合に、フレームメモリにおける注目画素の色成分を更新するという条件である。

この構成により、前景画像の境界が、一部でも注目画素内に存在すれば、積極的にフレームメモリが更新され、斑点の発生が抑制される。

請求項８記載の表示画像処理装置では、第１更新部は、Ｚバッファにおける注目画素のＺ値を、入力部が入力する注目画素の３つのＺ値のうち、１画素を構成する中心のサブピクセルに対応するＺ値に更新する。

この構成により、Ｚバッファにおける注目画素のＺ値を、３つのＺ値のうち、平均的なＺ値と思われる値に更新でき、サブピクセル単位のＺバッファを設けなくても、実用上十分な処理結果を得ることができる。

請求項９記載の表示画像処理装置では、サブピクセル単位の前景画像の書込位置と、前景画像の色成分と、サブピクセル単位のＺ値とを、入力できる入力部と、背景画像の１つの画素につき、３つの色成分を格納できるフレームメモリと、背景画像の１つの画素につき１つのＺ値と、前景画像において、この１つの画素における３つのＺ値の存在パターンを示す付加情報とを、関連付けて記憶できるＺバッファと、フレームメモリの背景画像と入力部が入力する前景画像とを合成し、サブピクセル単位の処理済画像を生成するサブピクセルレンダリング処理部と、Ｚバッファにおける注目画素のＺ値及び付加情報を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、Ｚバッファの注目画素のＺ値及び付加情報を更新する、第１更新部と、Ｚバッファにおける注目画素の付加情報と、注目画素及び注目画素に隣接する画素のＺ値とに基づいて、注目画素におけるサブピクセル単位の３つのＺ値を動的に生成し、フレームメモリにおける注目画素の色成分を更新するすべきかすべきでないかを、第２条件に従って判定し、更新すべき場合に、フレームメモリの背景画像をサブピクセル単位の処理済画像に更新する、第２更新部とを備える。

この構成において、注目画素及び注目画素に隣接する画素のＺ値とに基づいて、注目画素におけるサブピクセル単位の３つのＺ値を動的に生成することにより、画素単位のＺバッファを用いながら、サブピクセル単位のＺバッファを設ける場合に対して、遜色のない処理結果を得ることができる。

本発明によれば、Ｚバッファ法とサブピクセル表示とを組み合わせた場合において、Ｚバッファの容量を小さくしたままで、オブジェクトが重なる部分に発生しがちな斑点を抑制し、質よく表示できる。特に、ポリゴンの重ね合わせ描画において、実用的効果が高いが、本発明は、ポリゴンの重ね合わせ描画以外にも同様に適用できる。

次に、図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
図１は、本発明の実施の形態１における表示画像処理装置を備えた表示装置のブロック図である。

まず、この表示装置のうち、表示画像処理装置以外の要素について説明する。図１において、表示デバイス６は、カラー液晶パネル等である。表示デバイス６では、ＲＧＢ各色を発光する発光素子が並設方向に一定順序で並べられて、１画素が構成される。以下、本明細書では、この一定順序は、ＲＧＢの順であるものとするが、別の順序であるときにも、適宜処理の入れ替えを行うことにより、本発明を同様に適用できる。

そして、１画素を、並設方向と、並設方向に直交する方向に、並べて、表示画面が構成される。表示デバイス６としては、プラズマディスプレイや有機ＥＬディスプレイ等を用いることもできる。ドライバ５は、表示デバイス６の各発光素子を独立して制御する。

次に、表示画像処理装置について、説明する。フレームメモリ４は、ドライバ５に表示データを供給する。

ここで、上述したように、本明細書において、既にフレームメモリ４に展開された画像を、背景画像といい、これに対し、フレームメモリ４に、新たに展開される画像を、前景画像という。

図４（ａ）に示すように、フレームメモリ４は、背景画像の１画素について、３つの色成分（ｒｂ，ｇｂ，ｂｂ）を格納できる。なお以下、図４（ａ）のｘ方向に、１画素を構成する３つのサブピクセルが並設されているものとする。

図４（ｃ）に示すように、Ｚバッファ８は、背景画像の１画素について、１つのＺ値（Ｚｂａｃｋ）を記憶できる。なお、図４において、破線の矩形は、注目画素を示し、Ｚバッファ８のＺ値のうち、注目画素のＺ値をＺｂａｃｋ、注目画像に対してｘ座標が１つだけ戻る画素のＺ値をＺｂａｃｋ−１、ｘ座標が１画素分だけ注目画像よりも進む画素のＺ値をＺｂａｃｋ＋１とする。

ここで、実施の形態１では、図４（ｄ）に示すように、Ｚ値Ｚｂａｃｋは、１６ビットの精度を持つものとし、図１に示すように、Ｚ値読出部９がＺバッファ８から必要なＺ値を読み出し、第１更新部１０、第２更新部１１へ出力する。

図１において、グラフィックス生成部１は、ポリゴン等の幾何学的図形を生成し、入力部３へ入力画像として出力する。グラフィックス生成部１は、三角形を描画する場合には、例えば、３つの頂点の座標を用いて塗りつぶされた三角形を描画する。また、グラフィックス生成部１は、テクスチャが与えられていれば、三角形の内部にテクスチャをマッピングする等する。グラフィックス生成部１は、内部的にベクトルデータ、ラスタデータのいずれか、又は双方を使用するものであって良いが、入力部３にサブピクセル単位のラスタ画像を入力画像として出力する。

画像供給部２は、サブピクセル単位のラスタ画像（自然画でもコンピュータで作成したものでも良い）を入力画像として入力部３へ出力する。

入力部３は、グラフィックス生成部１又は画像供給部２から入力する入力画像からｘ方向と平行な１ラインを切り出し、切り出した画像を、前景画像としてサブピクセルレンダリング処理部７と第２更新部１１に出力する。

入力部３は、この前景画像を切り出す際、図３（ａ）に示すように、フレームメモリ４における書込位置（ｘ０，ｙ）と、データ部２０の前景画像とを得る。また、データ部２０について、グラフィックス生成部１又は画像供給部２からサブピクセル単位の前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）を取得する。さらに、入力部３は、サブピクセルレンダリング処理部７におけるα合成時のα値を入力することもできる。

サブピクセルレンダリング処理部７は、フレームメモリ４の背景画像と入力部３が入力する前景画像とを合成し、サブピクセル単位の処理済画像（ｒｆ，ｇｆ，ｂｆ）を生成する。

サブピクセルレンダリング処理部７は、例えば、図２に示すように構成される。図２において、背景画像読出部７１は、フレームメモリ４から必要な背景画像を読み出す。３倍拡大部７２は、背景画像読出部７１が読み出した背景画像を単純にｘ方向について３回繰り返した３倍画像（サブピクセル単位）に拡大し、合成部７３へ出力する。

合成部７３は、入力部３から入力した前景画像及び書込位置（ｘ０，ｙ）に基づいて、図３（ａ）に示すように、データ部２０に対し、ｘ座標が小さい側に左挿入部２１を追加し、ｘ座標が大きい側に右挿入部２２を追加する。

これらの追加の規則は、図３（ｂ）に示すとおりである。このような追加を行うと、処理済画像の書込位置ｘ１及び長さｌｅｎは、画素単位で割り切れるようになり、処理済画像の書込位置ｘ１及び長さｌｅｎは、合成部７３から第２更新部１１へ出力される。

合成部７３は、α値が指示されているときは、そのα値により、または、α値の指示がないときは、デフォルトのα値により、前景画像（サブピクセル単位）と３倍画像（サブピクセル単位）とを合成し、色空間変換部７４へ出力する。

色空間変換部７４は、合成された画像を、ＲＧＢ色空間からＹＣｂＣｒ色空間へ変換し、Ｙ成分（輝度）をフィルタ処理部７５へ出力し、ＣｂＣｒ成分（色差）を色成分処理部７６へ出力する。本例では、色空間変換部７４は、Ｙ＝Ｇ、Ｃｒ＝Ｒ−Ｇ、Ｃｂ＝Ｂ−Ｇなる変換式を用いるが、勿論、他の変換式を使用しても良い。さらに、ＣＩＥ−Ｌａ＊ｂ＊空間や、ＹＵＶ空間に変換しても差し支えない。

フィルタ処理部７５は、色空間変換部７４から入力するＹ成分に所定のフィルタをかけ、Ｙ’成分を出力する。ここでのフィルタは、例えば、非特許文献１に記載のものなどを使用できる。

色成分処理部７６は、色空間変換部７４から入力するＣｂＣｒ成分を、次式で３つずつまとめる平均化処理を行う。その結果、ＣｂＣｒ成分のデータ量は、平均化処理前の１／３になる。平均化処理後のＣｂ’Ｃｒ’成分は、色空間逆変換部７７に出力される。
Ｃｂ’（ｎ）＝（Ｃｂ（３ｎ）＋Ｃｂ（３ｎ＋１）＋Ｃｂ（３ｎ＋２））÷３
Ｃｒ’（ｎ）＝（Ｃｒ（３ｎ）＋Ｃｒ（３ｎ＋１）＋Ｃｒ（３ｎ＋２））÷３
（ｎは自然数）
色空間逆変換部７７は、フィルタ処理後のＹ’成分と、平均化処理後のＣｂ’Ｃｒ’成分とを入力し、次式により、ＲＧＢ色空間へ逆変換する。
ｒｆ（ｎ）＝Ｃｒ’（ｎ）−Ｙ’（３ｎ）
ｇｆ（ｎ）＝Ｙ’（３ｎ＋１）
ｂｆ（ｎ）＝Ｃｂ’（ｎ）−Ｙ’（３ｎ＋２）
（ｎは自然数）
色空間逆変換部７７が出力する逆変換後のデータ（ｒｆ（ｎ），ｇｆ（ｎ），ｂｆ（ｎ））は、処理済画像（ｒｆ，ｇｆ，ｂｆ）として、第２更新部１１へ出力される。

第１更新部１０は、Ｚバッファ８における注目画素のＺ値を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、Ｚバッファ８の注目画素のＺ値を更新する。この第１条件は、フレームメモリ４における注目画素の３つの色成分の全てが、サブピクセル単位の処理済画像に更新される場合に、Ｚバッファ８における注目画素のＺ値を更新するという条件である。

次に、図５を用いて、第１更新部１０による処理を具体的に説明する。まず、ステップ１にて、注目画素が、前景画像の左端画素にセットされる。なお、本明細書において、「注目画素」は画素単位であり、１つの注目画素について、サブピクセル単位では、３つの成分が存在する。

次に、ステップ２にて、第１更新部１０は、入力部３から注目画素についての前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）を得る。

また、ステップ３にて、第１更新部１０は、Ｚバッファ８から注目画素に対応する、背景画像のＺ値（Ｚｂａｃｋ）を得る。なお、ステップ２、３の順序は、適宜入れ替えて良い。

次に、第１更新部１０は、ステップ４〜６において、前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）の全てが存在するかどうかチェックする。

前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）の全てが存在するならば、ステップ７にて、第１更新部１０は、前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）の最小値が、背景画像のＺ値Ｚｂａｃｋよりも小さいかどうかチェックする。

もしこのチェック結果が「是」ならば、ステップ８にて、第１更新部１０は、注目画素における背景画像のＺ値（Ｚｂａｃｋ）を、前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）の中央の値（Ｚｇｆ）に更新する。

なお、後に詳述するが、前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）の全てが存在するということは、注目画素が前景画像の内部に完全に入っていることを意味する。

一方、前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）のうち、１つでも存在しないとき（注目画素が前景画像の外部又は境界に位置する場合）、あるいは、ステップ７のチェック結果が「否」である場合には、背景画像のＺ値（Ｚｂａｃｋ）は、更新されず現状のままとなる。

そして、ステップ９、１０にて、第１更新部１０は、前景画像の全ての画素について、ステップ２〜ステップ８の処理を繰り返す。

ここで、ステップ４〜７の処理について、図７を用いて、説明を補足する。図７において、縦長の１つの矩形は、１つのサブピクセルを示し、３つのサブピクセルが連続して配置されているものは、１つの画素を示す。

また、ここでは、図７（ａ）のように、斜線が付されていないサブピクセルには、前景画像のＺ値は存在せず、図７（ｂ）のように、斜線が付されたサブピクセルには、前景画像のＺ値が存在するものとする。なお、図４（ｂ）もあわせて参照されたい。

このとき、図７（ｃ）に示す画素では、前景画像が全くなく、この画素は、前景画像の外にあることになる。逆に、図７（ｄ）に示す画素では、前景画像が全て存在し、この画素は、前景画像の内にあることになる。

図７（ｃ）と図７（ｄ）との中間的な状態を示す、図７（ｅ）〜図７（ｈ）は、画素を構成する３つのサブピクセルの一部には、前景画像が存在するが、その他のサブピクセルには、前景画像が存在しないものである。つまり、図７（ｅ）〜図７（ｈ）に示す状態にあるときには、当該画素に前景画像の境界が存在するわけである。

例えば、図７（ｅ）に示す画素ならば、この画素には、前景画像の左端部が２サブピクセル（ｇとｂのサブピクセル）だけ存在するのであり、図７（ｈ）の画素なら、この画素には、前景画像の右端部が１サブピクセル（ｒのサブピクセル）だけ存在することになる。

以上をふまえて、図５のステップ４〜ステップ７を見れば、図５の処理によると、次のようになることが理解されよう。即ち、図７（ｄ）に示すように、注目画素の全部が前景画像の内にある場合に限り、ステップ８にて、Ｚバッファ８の背景画像のＺ値（Ｚｂａｃｋ）が更新される。

一方、図７（ｃ）に示すように注目画素が前景画像の外にある場合や、図７（ｅ）〜図７（ｈ）に示すように、前景画像の境界が注目画素内にある場合には、Ｚバッファ８の背景画像のＺ値（Ｚｂａｃｋ）は更新されない。

さて、図１において、第２更新部１１は、フレームメモリ４における注目画素の色成分を更新するすべきかすべきでないかを、第２条件に従って判定し、更新すべき場合に、フレームメモリの背景画像をサブピクセル単位の処理済画像に更新する。

この第２条件は、入力部３が入力する注目画素の３つのＺ値の少なくとも１つのＺ値が、Ｚバッファにおける注目画素のＺ値に対して、より手前にあることを示す場合と、サブピクセル単位の処理済画像の境界が、注目画素に存在する場合とに、フレームメモリ４における注目画素の色成分を更新するという条件である。

次に、図６を用いて、第２更新部１１の処理を具体的に説明する。ステップ１１、１２、１４の処理は、図５のステップ１、２、３と同様である。第２更新部１１は、これらの他、ステップ１３にて、サブピクセルレンダリング処理部７の色空間逆変換部７７から注目画素に関する処理済画像（ｒｆ，ｇｆ，ｂｆ）を取得する。なお、ステップ１２〜１４の順序は、適宜入れ替えて差し支えない。

次に、第２更新部１１は、ステップ１５〜１７において判定を行い、注目画素が前景画像の外にある場合を除き、図７（ｄ）に示すように、注目画素の全部が前景画像の内にある場合はもとより、図７（ｅ）〜図７（ｈ）に示すように、前景画像の境界が注目画素内にある場合も、フレームメモリ４の注目画素に関する背景画像（ｒｂ，ｇｂ，ｂｂ）を、処理済画像（ｒｆ，ｇｆ，ｂｆ）に更新する。

図５と図６とを比べれば明らかなように、Ｚバッファ８の更新よりもフレームメモリ４の更新の方が、より積極的に実行されるものである。

そして、ステップ１９、２０において、第２更新部１１は、前景画像の全ての画素について、ステップ１２〜ステップ１８の処理を繰り返す。

（実施の形態２）
以下、実施の形態１との相違点のみを説明する。図８は、本発明の実施の形態２における表示画像処理装置を備えた表示装置のブロック図である。

図８と図１とを比べれば明らかなように、実施の形態２は、実施の形態１に対し、表示画像処理装置の一部が変更されている。

まず、実施の形態２では、図４（ｅ）に示しているように、Ｚバッファ８の１つの記憶単位（１６ビット）を、実施の形態１のように、全て背景画像のＺ値（Ｚｂａｃｋ）に割り当てる（図４（ｄ）参照）のではなく、上位１４ビットをこのＺ値（Ｚｂａｃｋ）に割り当て、下位２ビットをフラグに割り当てている。このフラグは、”００”、”０１”、”１０”の３とおりを採りうるものであり、記憶単位に対応する１つの画素における３つのＺ値の存在パターンを示す付加情報に相当する。そして、このフラグは、背景画像のＺ値（Ｚｂａｃｋ）に関連付けられている。

本例では、Ｚバッファ８の容量拡大を防ぐため、Ｚバッファ８内にフラグを格納することにしたが、勿論、メモリ容量に余裕があれば、Ｚバッファ８の他にフラグを記憶する記憶部（図示せず）を設け、実施の形態１と同様、図４（ｄ）に示すように、Ｚバッファ８の記憶単位における１６ビットの全部を、背景画像のＺ値（Ｚｂａｃｋ）だけに割り当てても良い。

図８に示すように、本形態では、３倍Ｚ値記憶部３３が追加されており、第２更新部３２は、注目画素におけるサブピクセル単位の３つのＺ値（Ｚｒｂ，Ｚｇｂ，Ｚｂｂ）を動的に生成し、３倍Ｚ値記憶部３３に格納する点、第１更新部３０の判定処理の点、Ｚ値読出部３４が読み出す背景画像のＺ値（Ｚｂａｃｋ、Ｚｂａｃｋ−１、Ｚｂａｃｋ＋１）の点等が、実施の形態１と相違する。

以下、以上の相違点を詳しく説明する。まず、図９を用いて、第１更新部３０の処理を説明する。

ステップ２１、２２の処理は、図５に示すステップ１、２と同様である。次に、ステップ２３〜２５にて、第１更新部３０は、前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）の存否をチェックする。

ここで、図７（ｄ）に示すように、注目画素の全てのサブピクセルに関する前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）が存在すれば、ステップ２７にて、第１更新部３０は、フラグを”００”とし、ステップ３０へ処理を移す。

また、図７（ｅ）に示すように、Ｚｒｆがなく、Ｚｇｆ及びＺｂｆが存在すれば、ステップ２９にて、第１更新部３０は、フラグを”１０”とし、ステップ３０へ処理を移す。

あるいは、図７（ｆ）に示すように、Ｚｂｆがなく、Ｚｒｆ及びＺｇｆが存在すれば、ステップ２８にて、第１更新部３０は、フラグを”０１”とし、ステップ３０へ処理を移す。

なお、これら以外の場合には、フラグが不定になるのを避けるため、ステップ２７にて、第１更新部１０は、フラグを”００”とする。

ステップ３０では、第１更新部３０は、Ｚバッファ８の注目画素に対応する記憶単位を、前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）の中央の値（Ｚｇｆ：但し、１４ビットに正規化する）を上位１４ビットに割り当て、下位２ビットにフラグを割り当てた値に更新する。なお、図７（ｄ）の場合はもとより、図７（ｅ）や図７（ｆ）の場合も、背景画像のＺ値が更新されるから、実施の形態１に比べ、実施の形態２では、Ｚ値の更新が行われやすくなっている点が理解されよう。

そして、ステップ３１、３２にて、第１更新部３０は、前景画像の全ての画素について、ステップ２２〜ステップ３０の処理を繰り返す。

次に、図１０を用いて、第２更新部３２の処理を説明する。まず、ステップ４１、４２、４４は、図６のステップ１１、１２、１３と同様である。但し、実施の形態２では、ステップ４３にて、第２更新部３２は、注目画素に関する背景画像のＺ値（Ｚｂａｃｋ）だけでなく、注目画素のフラグと、注目画素の左右に隣接する画素に関するＺ値（Ｚｂａｃｋ−１、Ｚｂａｃｋ＋１）とを、Ｚ値読出部３４から取得する。

そして、第２更新部３２は、ステップ４５〜４８にて、フラグに従って、注目画素におけるサブピクセル単位の３つのＺ値（Ｚｒｂ，Ｚｇｂ，Ｚｂｂ）を動的に生成する。

即ち、第２更新部３２は、ステップ４６にて、フラグが”００”であるとき（図７（ｄ））は、注目画素は、全て前景画像の内にあるから、３つのＺ値（Ｚｒｂ，Ｚｇｂ，Ｚｂｂ）を、全て注目画素に関する背景画像のＺ値（Ｚｂａｃｋ）とする。

また、フラグが”０１”であるとき（図７（ｆ））は、注目画素は、前景画像の右端部にある。したがって、第２更新部３２は、ステップ４７にて、前景画像内にある２つのＺ値（Ｚｒｂ，Ｚｇｂ）を、注目画素に関する背景画像のＺ値（Ｚｂａｃｋ）とし、前景画像の外にある１つのＺ値（Ｚｂｂ）を、注目画素の右隣の画素に関する背景画像のＺ値（Ｚｂａｃｋ＋１）とする。

さらに、フラグが”１０”であるとき（図７（ｅ））は、注目画素は、前景画像の左端部にある。したがって、第２更新部３２は、ステップ４８にて、前景画像内にある２つのＺ値（Ｚｇｂ，Ｚｂｂ）を、注目画素に関する背景画像のＺ値（Ｚｂａｃｋ）とし、前景画像の外にある１つのＺ値（Ｚｒｂ）を、注目画素の左隣の画素に関する背景画像のＺ値（Ｚｂａｃｋ−１）とする。

このように、注目画素における前景画像の位置関係を反映して、適切な位置にある背景画像のＺ値を利用することにより、Ｚバッファ８にサブピクセル単位のＺ値を持たせなくとも（つまり、Ｚバッファ８の容量が小さいまま）、持たせた場合に比べて遜色のない処理を実現できる。

次に、第２更新部３２は、ステップ４９〜５４において、動的に生成したサブピクセル単位のＺ値（Ｚｒｂ，Ｚｇｂ，Ｚｂｂ）と、前景Ｚ値（Ｚｒｆ，Ｚｇｆ，Ｚｂｆ）とを、サブピクセル単位で、大小比較し、前景画像がより手前側にあるときに、サブピクセル単位で、フレームメモリ４の背景画像（ｒｂ，ｇｂ，ｂｂ）を更新する。

そして、第２更新部３２は、ステップ５５、５６にて、前景画像の全ての画素について、ステップ４２〜ステップ５４の処理を繰り返す。

本発明に係る表示画像処理装置は、例えば、カラー液晶パネル等の制御装置及びその関連技術分野において、好適に利用できる。

本発明の実施の形態１における表示画像処理装置を備えた表示装置のブロック図 同サブピクセルレンダリング処理部のブロック図 （ａ）同左右挿入の説明図 （ｂ）同左右挿入の規則説明図 （ａ）同フレームメモリの説明図 （ｂ）同前景Ｚ値の説明図 （ｃ）同Ｚバッファの説明図 （ｄ）同実施の形態１における記憶単位の説明図 （ｅ）同実施の形態２における記憶単位の説明図 同実施の形態１における第１更新部のフローチャート 同第２更新部のフローチャート （ａ）同サブピクセルの状態説明図 （ｂ）同サブピクセルの状態説明図 （ｃ）同画素の状態説明図 （ｄ）同画素の状態説明図 （ｅ）同画素の状態説明図 （ｆ）同画素の状態説明図 （ｇ）同画素の状態説明図 （ｈ）同画素の状態説明図 同実施の形態２における表示画像処理装置を備えた表示装置のブロック図 同第１更新部のフローチャート 同第２更新部のフローチャート

符号の説明

１ グラフィクス生成部
２ 画像供給部
３ 入力部
４ フレームメモリ
５ ドライバ
６ 表示デバイス
７ サブピクセルレンダリング処理部
８ Ｚバッファ
９、３４ Ｚ値読出部
１０、３０ 第１更新部
１１、３２ 第２更新部
２０ データ部
２１ 左挿入部
２２ 右挿入部
３３ ３倍Ｚ値記憶部
７１ 背景画像読出部
７２ ３倍拡大部
７３ 合成部
７４ 色空間変換部
７５ フィルタ処理部
７６ 色成分処理部
７７ 色空間逆変換部

Claims (29)

1. サブピクセル単位の前景画像の書込位置と、前記前景画像の色成分と、サブピクセル単位のＺ値とを、入力できる入力部と、
   背景画像の１つの画素につき、３つの色成分を格納できるフレームメモリと、
   背景画像の１つの画素につき１つのＺ値を記憶できるＺバッファと、
   前記フレームメモリの背景画像と前記入力部が入力する前景画像とを合成し、サブピクセル単位の処理済画像を生成するサブピクセルレンダリング処理部と、
   前記Ｚバッファにおける注目画素のＺ値を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、前記Ｚバッファの注目画素のＺ値を更新する、第１更新部と、
   前記フレームメモリにおける注目画素の色成分を更新するすべきかすべきでないかを、第２条件に従って判定し、更新すべき場合に、前記フレームメモリの背景画像をサブピクセル単位の処理済画像に更新する、第２更新部とを備える、表示画像処理装置。
2. 前記第１条件は、前記Ｚバッファにおける注目画素のＺ値と、前記入力部が入力する注目画素の３つのＺ値とに基づくものである、請求項１記載の表示画像処理装置。
3. 前記第２条件は、前記Ｚバッファにおける注目画素のＺ値と、前記入力部が入力する注目画素の３つのＺ値とに基づくものである、請求項１から２記載の表示画像処理装置。
4. 前記第１条件と前記第２条件とは、異なる条件である、請求項１から３記載の表示画像処理装置。
5. 前記第１条件は、前記入力部が、注目画素につき３つのＺ値全てを入力する場合に限り、前記Ｚバッファにおける注目画素のＺ値を更新するという条件である、請求項１から４記載の表示画像処理装置。
6. 前記第２条件は、前記入力部が入力する注目画素の３つのＺ値の少なくとも１つのＺ値が、前記Ｚバッファにおける注目画素のＺ値に対して、より手前にあることを示す場合に、前記フレームメモリにおける注目画素の色成分を更新するという条件である、請求項１から５記載の表示画像処理装置。
7. 前記第２条件は、サブピクセル単位の処理済画像の境界が、注目画素に存在する場合に、前記フレームメモリにおける注目画素の色成分を更新するという条件である、請求項６記載の表示画像処理装置。
8. 前記第１更新部は、前記Ｚバッファにおける注目画素のＺ値を、前記入力部が入力する注目画素の３つのＺ値のうち、１画素を構成する中心のサブピクセルに対応するＺ値に更新する、請求項１から７記載の表示画像処理装置。
9. サブピクセル単位の前景画像の書込位置と、前記前景画像の色成分と、サブピクセル単位のＺ値とを、入力できる入力部と、
   背景画像の１つの画素につき、３つの色成分を格納できるフレームメモリと、
   背景画像の１つの画素につき１つのＺ値と、前景画像において、この１つの画素における３つのＺ値の存在パターンを示す付加情報とを、関連付けて記憶できるＺバッファと、
   前記フレームメモリの背景画像と前記入力部が入力する前景画像とを合成し、サブピクセル単位の処理済画像を生成するサブピクセルレンダリング処理部と、
   前記Ｚバッファにおける注目画素のＺ値及び付加情報を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、前記Ｚバッファの注目画素のＺ値及び付加情報を更新する、第１更新部と、
   前記Ｚバッファにおける注目画素の付加情報と、注目画素及び注目画素に隣接する画素のＺ値とに基づいて、注目画素におけるサブピクセル単位の３つのＺ値を動的に生成し、前記フレームメモリにおける注目画素の色成分を更新するすべきかすべきでないかを、第２条件に従って判定し、更新すべき場合に、前記フレームメモリの背景画像をサブピクセル単位の処理済画像に更新する、第２更新部とを備える、表示画像処理装置。
10. 前記第１条件は、前記入力部が入力する注目画素の３つのＺ値とに基づくものである、請求項９記載の表示画像処理装置。
11. 前記第２条件は、前記第２更新部が動的に生成した３つのＺ値と、前記入力部が入力する注目画素の３つのＺ値とに基づくものである、請求項９から１０記載の表示画像処理装置。
12. 前記第１条件と前記第２条件とは、異なる条件である、請求項９から１１記載の表示画像処理装置。
13. 前記第２条件は、前記入力部が入力する注目画素のＺ値が、前記第２更新部が動的に生成したＺ値に対して、より手前にあることを示す場合に、前記フレームメモリにおける注目画素の色成分を更新するという条件である、請求項９から１２記載の表示画像処理装置。
14. 前記第１更新部は、前記Ｚバッファにおける注目画素のＺ値を、前記入力部が入力する注目画素の３つのＺ値のうち、１画素を構成する中心のサブピクセルに対応するＺ値に更新する、請求項９から１３記載の表示画像処理装置。
15. 請求項１から１４記載の表示画像処理装置と、
    ＲＧＢ各色を発光する３つの発光素子を並設方向に並べて１画素を構成する表示デバイスと、
    前記表示画像処理装置の前記フレームメモリのデータに基づいて、前記表示デバイスの発光素子を独立して制御し、前記表示デバイスに表示を行わせるドライバとを備える、表示装置。
16. サブピクセル単位の前景画像の書込位置と、前記前景画像の色成分と、サブピクセル単位のＺ値とを、入力するステップと、
    フレームメモリの背景画像と前記前景画像とを合成し、サブピクセル単位の処理済画像を生成するステップと、
    Ｚバッファにおける注目画素のＺ値を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、Ｚバッファの注目画素のＺ値を更新するステップと、
    フレームメモリにおける注目画素の色成分を更新するすべきかすべきでないかを、第２条件に従って判定し、更新すべき場合に、フレームメモリの背景画像をサブピクセル単位の処理済画像に更新するステップとを含み、
    フレームメモリにおいて前景画像の境界付近を積極的に更新する、表示画像処理方法。
17. 前記第１条件は、Ｚバッファにおける注目画素のＺ値と、入力する注目画素の３つのＺ値とに基づくものである、請求項１６記載の表示画像処理方法。
18. 前記第２条件は、Ｚバッファにおける注目画素のＺ値と、入力する注目画素の３つのＺ値とに基づくものである、請求項１６から１７記載の表示画像処理方法。
19. 前記第１条件と前記第２条件とは、異なる条件である、請求項１６から１８記載の表示画像処理方法。
20. 前記第１条件は、注目画素につき３つのＺ値全てが入力された場合に限り、Ｚバッファにおける注目画素のＺ値を更新するという条件である、請求項１６から１９記載の表示画像処理方法。
21. 前記第２条件は、入力する注目画素の３つのＺ値の少なくとも１つのＺ値が、Ｚバッファにおける注目画素のＺ値に対して、より手前にあることを示す場合に、フレームメモリにおける注目画素の色成分を更新するという条件である、請求項１６から２０記載の表示画像処理方法。
22. 前記第２条件は、サブピクセル単位の処理済画像の境界が、注目画素に存在する場合に、フレームメモリにおける注目画素の色成分を更新するという条件である、請求項１６記載の表示画像処理方法。
23. Ｚバッファにおける注目画素のＺ値を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、Ｚバッファの注目画素のＺ値を更新する前記ステップにおいて、
    Ｚバッファにおける注目画素のＺ値を、入力する注目画素の３つのＺ値のうち、１画素を構成する中心のサブピクセルに対応するＺ値に更新する、請求項１６から２２記載の表示画像処理方法。
24. Ｚバッファにおいて、背景画像の１つの画素につき１つのＺ値と、前景画像において、この１つの画素における３つのＺ値の存在パターンを示す付加情報とを、関連付けて記憶させる方法であって、
    サブピクセル単位の前景画像の書込位置と、前記前景画像の色成分と、サブピクセル単位のＺ値とを、入力するステップと、
    フレームメモリの背景画像と入力する前景画像とを合成し、サブピクセル単位の処理済画像を生成するステップと、
    Ｚバッファにおける注目画素のＺ値及び付加情報を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、Ｚバッファの注目画素のＺ値及び付加情報を更新するステップと、
    Ｚバッファにおける注目画素の付加情報と、注目画素及び注目画素に隣接する画素のＺ値とに基づいて、注目画素におけるサブピクセル単位の３つのＺ値を動的に生成し、フレームメモリにおける注目画素の色成分を更新するすべきかすべきでないかを、第２条件に従って判定し、更新すべき場合に、フレームメモリの背景画像をサブピクセル単位の処理済画像に更新するステップとを含む、表示画像処理方法。
25. 前記第１条件は、入力する注目画素の３つのＺ値とに基づくものである、請求項２４記載の表示画像処理方法。
26. 前記第２条件は、動的に生成した３つのＺ値と、入力する注目画素の３つのＺ値とに基づくものである、請求項２４から２５記載の表示画像処理方法。
27. 前記第１条件と前記第２条件とは、異なる条件である、請求項２４から２６記載の表示画像処理方法。
28. 前記第２条件は、入力する注目画素のＺ値が、動的に生成したＺ値に対して、より手前にあることを示す場合に、フレームメモリにおける注目画素の色成分を更新するという条件である、請求項２４から２７記載の表示画像処理方法。
29. Ｚバッファにおける注目画素のＺ値及び付加情報を更新するすべきかすべきでないかを、第１条件に従って判定し、更新すべき場合に、Ｚバッファの注目画素のＺ値及び付加情報を更新する前記ステップにおいて、
    Ｚバッファにおける注目画素のＺ値を、入力する注目画素の３つのＺ値のうち、１画素を構成する中心のサブピクセルに対応するＺ値に更新する、請求項２４から２８記載の表示画像処理方法。

Images