JP2012165256A - 立体画像の階調変換方法及び階調変換装置 - Google Patents

Abstract

【課題】簡便な回路構成で高速化に対応し、静止画及び動画の両方で誤差拡散によるノイズパターンを目立ちにくくする階調変換方法及び階調変換装置を提供する。
【解決手段】同一フレームの前記左目用及び右目用の各画像に対して同一の配列の乗算係数に基づく誤差拡散を行い、付加係数の分布が互いに異なる複数のディザパターンから前記フレームに応じたディザパターンを選択し、選択したディザパターンに基づいて、誤差拡散が施された前記各画像の画素データに付加係数を付与する。前記乗算係数の配列は前記フレームの更新に応じて変更され、且つこの一連の変更が所定数のフレームを一周期として繰り返される。また、前記ディザパターンは前記フレームの更新に応じて循環的に選択される。
【選択図】図６

Description

本発明は、高い階調度の立体画像を低い階調度で擬似的に再現する階調変換方法および階調変換装置に関する。

プラズマディスプレイや、ディジタル・マイクロミラーデバイス（ＤＭＤ）を使用したプロジェクタ等の画像表示装置は一般的に、入力画像を表示する際に人の目に自然で十分な階調と思われる１０〜１２ビットの階調度を４〜６ビットの階調度に下げる変換を行っている。これは、表示パネル自体の階調不足や、高フレーム化に伴うサブフレーム数の制限などに起因している。

画像の階調度を下げる変換では、変換後の階調の中から変換前の階調よりも低く、且つ最も近い階調を選択するのが最も単純な方法である。しかしながら、この方法では低い階調度によって新たに生じる誤差が現れてしまい、視覚的に階調段差を生じやすい。そこで、このような変換においては誤差拡散法やディザリングと呼ばれる元画像の階調を擬似的に再現する階調変換が採用される。例えば、誤差拡散法では、１つの画素における階調変換前後の誤差を所定の比率で（即ち所定の乗算係数を乗じて）周囲の画素に分配する演算を全ての画素に対して行う。誤差が付与される画素及び比率については様々なものが提案されており、典型的な例としては、フロイド‐スタインバーグ(Floyd-Steinberg)法によるものがよく知られている。

特許文献１は、フロイド‐スタインバーグ法と類似の誤差拡散法を開示している。同文献の誤差拡散法はフレームシーケンシャル方式による立体画像を処理対象にしており、誤差の分配先である画素の位置が、左目用の画像と右目用の画像で互いに異なる誤差拡散を行っている。さらに、誤差を算出する対象画素の走査方向を行（ライン）毎に変えており、誤差を付与する複数の画素の各位置が、左から右への走査ではフロイド‐スタインバーグ法と同一であるのに対して、右から左への走査では反転している。即ち、ライン毎に誤差の拡散方向が異なっている。

特開２０００−５０３１５号公報

特許文献１の誤差拡散法は乗算係数の変更だけでなく、拡散方向も変更している。従って、複数のラインメモリを用いた複雑な処理回路が必要である。また、フレームシーケンシャル方式では、立体画像を得るためにフレームレートが通常の倍になる。従って、有効走査線の数が１０８０本のプログレッシブスキャン（即ち１０８０ｐ）におけるピクセルクロックは２９７ＭＨｚに達する。このような高い動作速度を得るのは困難で、並列処理やパイプライン処理を必要とする。

さらに、特許文献１の誤差拡散法は、乗算係数の配列を左目用の画像と右目用の画像で大きく変えてしまうため、動きの大きい画像では誤差拡散によるノイズパターンの出現が低減される効果があっても、静止画や、フレーム前後の変化の差が小さい動画が長く続く場合は、却って誤差拡散によるノイズが目立つという現象が起きてしまう。

本発明は、上記事情に鑑みてなされたもので、その目的は、高フレームレートでの画像表示を必要とする立体画像表示装置で、簡便な回路構成で高速化に対応し、静止画及び動画の両方で誤差拡散によるノイズパターンを目立ちにくくする階調変換方法及び階調変換装置を提供することにある。

本発明の第１の態様は、同一フレームの左目用及び右目用の各画像に対して同一の配列の乗算係数に基づく誤差拡散を行い、付加係数の分布が互いに異なる複数のディザパターンから前記フレームに応じたディザパターンを選択し、選択したディザパターンに基づいて、誤差拡散が施された前記各画像の画素データに付加係数を付与する立体画像の階調変換方法であって、前記乗算係数の配列は前記フレームの更新に応じて変更され、且つこの一連の変更が所定数のフレームを一周期として繰り返され、前記乗算係数の各配列における最大の乗算係数の位置及び隣接する乗算係数の順序は前記一周期内のフレーム毎に異なり、前記ディザパターンは前記フレームの更新に応じて循環的に選択されることを特徴とする。

本発明の第２の態様は立体画像の階調変換装置であって、乗算係数の配列が互いに異なる複数の乗算係数テーブルを記憶する第１の記憶部と、前記複数の乗算係数テーブルからその１つをフレームに応じて循環的に選択するとともに、選択した乗算係数テーブルに基づいて同一フレームの左目用及び右目用の各画像に対する誤差拡散を行う第１の階調演算部と、付加係数の分布が互いに異なる複数のディザパターンを記憶した第２の記憶部と、前記複数のディザパターンから、第１の階調演算部からの出力画像のフレームに応じたディザパターンを選択し、選択したディザパターンに基づいて、前記誤差拡散が施された前記出力画像の画素データに付加係数を付与する第２の階調演算部とを備え、前記乗算係数の前記配列における最大の乗算係数の位置及び隣接する乗算係数の順序は、前記乗算係数テーブル毎に異なり、前記第２の階調演算部において、前記ディザパターンは前記フレームに応じて循環的に選択されることを特徴とする。

前記ディザパターンの各行および各列における付加係数の数は、互いに等しく、且つ、画素データの値に比例していることが好ましい。

前記ディザパターンは、さらに所定のビット長をもつ前記画素データの下位ビット値に基づいて選択されることが好ましい。

前記付加係数は前記画素データの上位ビットに付与されることが好ましい。

前記下位ビット値あたりの前記ディザパターンの総数は、前記下位ビット値が取り得る値の数に等しいことが好ましい。

本発明によれば、誤差拡散のパターンをランダム化させることで、ドットパターンに代表される画質妨害の発生を認識されにくくするとともに、動きの少ない画像に対しても同様の効果を発揮することができる。

また、従来の誤差拡散回路と比べ、本実施形態の階調変換装置は同程度に簡便であり、高フレームレートに対応する動作速度を得ることが可能である。

フレームシーケンシャル方式による左目用及び右目用の各画像とフレームの関係を示す図である。 本発明の第１実施形態に係る乗算係数の配列とフレームとの対応を示す図である。 本発明の第１実施形態に係る階調変換装置のブロック図である。 本発明の第１実施形態に係る階調変換装置のブロック図である。 本発明の第１実施形態に係る乗算係数テーブルの一例である。 本発明の第２実施形態に係る階調変換方法の概略フローチャートである。 本発明の第２実施形態に係るディザパターンの一例である。 本発明の第２実施形態に係る小画像Ｑを示す図である。 本発明の第２実施形態に係る階調変換装置のブロック図である。

以下、本発明の実施形態に係る階調変換方法および階調変換装置について、図面を参照して詳細に説明する。本実施形態の階調変換方法及び階調変換装置は、立体画像を構成する左目用の画像と右目用の画像を入力し、元の階調を擬似的に再現するように各画像の階調度を下げる変換を行うものである。

なお、各実施形態の説明において、階調変換の対象画像として、フレームシーケンシャル方式の立体画像を挙げた。フレームシーケンシャル方式は、１つのフレームにおいて、1枚の立体画像を構成する左目用の画像と右目用の画像を順番に表示する方式である。

例えば図１に示すように、まず第１のフレームの左目用画像Ｌ１が表示され、その次に同フレームの右目用画像Ｒ１が表示される。以下、同様に、第２のフレームの左目用画像Ｌ２と右目用画像Ｒ２、第３のフレームの左目用画像Ｌ３と右目用画像Ｒ３が交互に表示される。換言すれば、この方式では、動きの相関の少ない右目用と左目用の画像が交互に表示され、高フレームレート（例えば、１２０Ｈｚ、２４０Ｈｚ）の下で静止画と動画が混在したようなフレーム構造を持っている。

本発明はこのような一連の画像の階調を変換するものであるが、立体画像の表示方式はフレームシーケンシャル方式に限られない。即ち、本発明は、サイド・バイ・サイド方式の立体画像などを含め、左目用の画像と右目用の画像が個別に生成されるあらゆる方式の立体画像に適用可能である。

（第１実施形態）
まず、本発明の第１実施形態について説明する。図２は、本発明の第１実施形態に係る乗算係数（後述）の配列とフレームとの対応を示す図である。図３は、本発明の第１実施形態に係る階調変換装置のブロック図である。図４は、本発明の第１実施形態に係る階調変換装置のブロック図である。図５は、本発明の第１実施形態に係る乗算係数テーブル（後述）の一例である。

本実施形態の階調変換は誤差拡散法を用いる。誤差拡散法は、一画像を構成する画素毎に階調変換前後の誤差を算出し、算出した誤差をその周囲の画素に所定の乗算係数（重み）を乗じて分配する。このような演算を、一画素ずつ所定の方向に走査しながら行うので、各画素にはその周囲の画素における誤差の影響が蓄積されることになる。

誤差が分配される画素の個数及び位置、並びに各乗算係数の値については様々なものが提案されており、本実施形態の誤差拡散法は何れのものも適用可能である。ただし、ここでは説明の便宜上、フロイド‐スタインバーグ法で用いられているものを採用する。

まず、階調変換対象としての一画像を処理する場合を想定し、図２に示すような、当該画像中の画素Ｇ（座標（ｘ，ｙ））に着目する。画素Ｇでの誤差が分配される画素は、（ｘ＋１，ｙ）、（ｘ−１，ｙ＋１）、（ｘ，ｙ＋１）、（ｘ＋１，ｙ＋１）の各座標に位置する画素Ａ、Ｂ、Ｃ、Ｄである。

この誤差の分配について、具体的に説明すると、まず、画素Ｇにおいて、その画素データの階調度を変換し、この変換において発生した誤差Ｅｒを算出する（ステップＡ１）。次に、誤差Ｅｒに所定の乗算係数ｋ１、ｋ２、ｋ３、ｋ４を乗じ、各積を画素Ａ、Ｂ、Ｃ、Ｄの画素データに加算する（ステップＡ２）。次に、演算の対象を右隣の画素Ｇ’（座標（ｘ＋１，ｙ））に移し（ステップＡ３）、ステップＡ１及びＡ２と同一の演算を行う（ステップＡ４）。このような演算を繰り返すことで、各画素における誤差を周囲の画素に拡散させることができる。

上記誤差拡散の際に用いる乗算係数ｋ１、ｋ２、ｋ３、ｋ４は、その総和が１となるように規格化されている。本実施形態では、各乗算係数は１／１６、３／１６、５／１６、７／１６の何れかで、且つ、互いに異なる値に設定される。例えば、ｋ１＝７／１６、ｋ２＝３／１６、ｋ３＝５／１６、ｋ４＝１／１６として、誤差Ｅｒと各乗算係数ｋ１、ｋ２、ｋ３、ｋ４の積を、それぞれ画素Ａ、Ｂ、Ｃ、Ｄに加算する演算を行ったとすれば、これはフロイド‐スタインバーグ法による誤差拡散と同一になる。

本実施形態では、誤差Ｅｒを分配する際に用いる乗算係数ｋ１、ｋ２、ｋ３、ｋ４の各画素Ａ、Ｂ、Ｃ、Ｄに対する組み合わせ（以下、配列）を、同一のフレーム内の左目用と右目用の各画像においては変更せず、フレームが更新されたときに変更する。更に、この配列の変更を所定数のフレームを一周期として繰り返す。つまり、乗算係数の配列をフレームの更新に応じて循環的に変更する。

図２は具体的な配列の一例を示している。この例では、ｋ１＝７／１６、ｋ２＝３／１６、ｋ３＝５／１６、ｋ４＝１／１６として、第１のフレームでは、画素Ａ、Ｂ、Ｃ、Ｄに対する乗算係数をそれぞれｋ１、ｋ２、ｋ３、ｋ４に設定し、第２のフレームでは、それぞれｋ２、ｋ１、ｋ４、ｋ３に設定し、第３のフレームでは、ｋ４、ｋ３、ｋ２、ｋ１に設定し、第４のフレームでは、それぞれｋ３、ｋ４、ｋ１、ｋ２に設定する。第５のフレームでは、第1のフレームで用いた乗算係数の配列に再び戻り、その後も上記と同様に第２のフレームから第４のフレームで用いた乗算係数の配列が設定され、このような配列の変化が繰り返される。

上述の通り、１つのフレームにおける左目用の画像と右目用の画像には、同じ配列の乗算係数を用いた誤差拡散が行われる。左目用と右目用の各画像の間には、立体的な画像を認識させるための視差を与える若干の差異があるだけで、両画像の空間的な相関は高い。このような画像に対して異なる配列の乗算係数を用いた場合、配列の違いにより不自然なノイズが認識されやすくなる。本実施形態の場合は、各画像に対して同一の誤差拡散を行っているので、このようなノイズが発生せず、静止画の表示が続く立体画像や形状の変化が乏しい立体画像の動画に対して特に有効である。

一方、動きの変化が大きい立体画像を表示させる場合、各フレームに対して同一の配列の乗算係数を用いた誤差拡散を定常的に行うと、この一定の誤差拡散に伴うパターンノイズが現れる可能性がある。そこで本実施形態では、乗算係数の配列をフレームの更新に応じて変更し、この配列の変更を所定数のフレームを一周期として繰り返す。これにより、上記パターンノイズの発生を抑制できる。

なお、周期の値（即ち、フレームの数）は、各フレームの間での、誤差拡散によるノイズの空間的な相関が低減するように設定されることが望ましい。例えば、配列の要素の数、または誤差が分配される画素の数に等しい値に設定される。この値は、複数の乗算係数のうちの最大の乗算係数が、誤差が分配される画素の全てに配置されるように設定される配列の数に等しい。換言すると、各配列における最大の乗算係数の位置が、一周期内のフレーム毎に異なることになる。これにより、誤差Ｅｒの影響を最も与える乗算係数が各画素に一様に割り当てられることになり、各フレーム間において誤差拡散によるノイズの空間的な相関を低減することができる。

さらに、各配列において隣接する乗算係数の順序は、一周期内のフレーム毎に異なることが望ましい。異なるフレームにおいて、同じ順序の乗算係数を用いた誤差拡散を行った場合、この順序によってノイズの空間的な相関が高まり、このノイズが視覚的に確認され易くなる。従って、隣接する乗算係数の順序を配列毎に変えることで、このノイズの出現を低減することができる。特に、同一ラインの画素に対する乗算係数において、隣接する乗算係数の順序がフレーム毎に異なると、ノイズの低減に対してより効果的である。

次に、本実施形態の階調変換装置について説明する。

図３、４は本実施形態の階調変換装置１０を表すブロック図である。図３、図４に示すように、階調変換装置１０は、記憶部（第1の記憶部）１１と、階調演算部（第1の階調演算部）１２とを備えている。記憶部１１は、フレームに応じて配列の異なる上述の乗算係数ｋ１、ｋ２、ｋ３、ｋ４をそれぞれ乗算係数テーブル１５ａ〜１５ｄとして予め記憶しており（図５参照）、これらは階調演算部１２による階調変換演算の際に、入力された画像信号のフレームに応じて適宜参照される。

階調演算部１２には、立体画像を構成する左目用と右目用の各画像（図１参照）の画像信号としての一例の画素データ１３が入力される。階調演算部１２は、記憶部１１に記憶されている複数の乗算係数テーブル１５ａ〜１５ｄから、その１つをフレームに応じて選択し、選択した乗算係数テーブルと画素データ１３を用いて誤差拡散を行う。

背景技術の項で述べた通り、誤差拡散の目的の１つは、画像の階調度を画像表示装置などが処理可能な階調度に適合させることにある。そのため、誤差拡散処理を施された後の画像信号のビット長は、階調変換装置１０に入力した画像信号のビット長よりも短くなる。例えば、入力画像信号のビット長が１２だとすると、出力画像信号のビット長は６である。換言すれば、高階調度（例えば１２ビット）の画像データは、誤差拡散によって低階調度（例えば６ビット）の画像データに圧縮される。

この階調演算部１２内の動作について、詳細に説明する。なお、階調演算部１２には各画像に対する所定の垂直同期信号及び水平同期信号が入力されており、階調演算部１２内の各要素（後述の加算器など）はこの信号を基準として動作する。

まず、上述の画素データ１３が加算器１６ａに入力される。この加算器１６ａでは、入力した画素データ１３に、これよりも前に入力した複数の画素データから算出された１２ビットの誤差データが加算される。その結果、加算器１６ａからは１３ビットのデータが出力される。

この１３ビットのデータは除算器１７ａに入力され、上位９ビットと下位４ビットに分割される。この下位4ビットが画素データ１３の誤差Ｅｒである（図２参照）。

除算器１７ａから出力した４ビットのデータ（誤差Ｅｒ）は、誤差値変換器１８に入力される。誤差値変換器１８は、このデータを−７から＋７までの何れかの値をもつ符号付３ビットのデータとして処理し、この値に基づいて、除算器１７ａから出力した９ビットのデータの最下位ビットに値「１」を加えるかどうかを決定する。

具体的には、誤差値変換器１８に入力した４ビットのデータにおいて上位１ビットの値が１の場合、即ち、誤差Ｅｒの値が−７から−１までの何れかであった場合、誤差値変換器１８は、除算器１７ａから出力した９ビットのデータに値「１」を加えると判定し、この値を加算器１６ｂに出力する。加算器１６ｂは、除算器１７ａから出力した上位９ビットのデータにこの値「１」を加算し、この結果を除算器１７ｂに出力する。一方、上記４ビットのデータにおいて上位１ビットの値が０の場合、即ち、誤差Ｅｒの値が０から７までの何れかであった場合、誤差値変換器１８は除算器１７ａから出力した９ビットのデータに値「１」を加えないと判定する。加算器１６ｂには、除算器１７ａから出力した９ビットのデータに加える値が入力されない（即ち、値は０）ので、除算器１７ａからのデータがそのまま除算器１７ｂに出力される。このような誤差値変換器１８の処理によって、除算器１７ａから出力した９ビットのデータの値と、除算される前の１３ビットの各値は、９ビットのデータが取り得る各値の中の最も近い値に変換される。

加算器１６ｂから出力した９ビットのデータは、除算器１７ｂに入力される。除算器１７ｂは、このデータのうち、下位３ビットを切り捨て、上位６ビットを誤差拡散が施された階調変換装置１０からの画素データ１４として出力する。

一方、誤差値変換器１８から誤差Ｅｒとして出力された符号付３ビットのデータは、直接乗算器１９ａに、また、ディレイ２０ａを介して乗算器１９ｂ、１９ｃ、１９ｄに入力する。各乗算器１９ａ、１９ｂ、１９ｃ、１９ｄには、記憶部１１から、処理中のフレームに応じた上述の乗算係数テーブルにおける各画素Ａ〜Ｄに対する乗算係数が別途入力される。なお、各乗算係数の値は、演算を容易にするために、上述した値を１６倍にした整数を各乗算器１９ａ、１９ｂ、１９ｃ、１９ｄが入力され、各画素Ａ〜Ｄからの誤差を蓄積した後に１６分の１にする。例えば、誤差拡散の処理対象が第１のフレームＦ１の左目用画像Ｌ１或いは右目用画像Ｒ１の画像信号に対する誤差拡散の場合、乗算器１９ａには乗算係数ｋ１（＝７）が、乗算器１９ｂには乗算係数ｋ２（＝３）が、乗算器１９ｃには乗算係数ｋ３（＝５）が、各乗算器１９ｄには乗算係数ｋ４（＝１）が入力される。また第２のフレームＦ２ならば、各乗算器１９ａ、１９ｂ、１９ｃ、１９ｄに入力される乗算係数はそれぞれ、ｋ２（＝３）、ｋ１（＝７）、ｋ４（＝１）、ｋ３（＝５）である。なお、ここでは、各乗算係数を１６倍にして整数として扱い、後に演算結果の総和を１６分の１にすることで、演算処理を容易にし、且つ、処理速度の低下を防止している。

乗算器１９ａから出力されたデータは加算器１６ｃに入力する。加算器１６ｃには、１ラインディレイ２１からの出力データ（後述）も入力されている。従って、これらのデータが加算され、その結果はディレイ２０ｅを介して除算器１７ｃに入力される。

除算器１７ｃでは、加算器１６ｃからのデータの値を１６分の１に圧縮する。具体的は、加算器１６ｃから出力された１２ビットのデータのうち、下位４ビットを切り捨て、上位８ビットを出力する。この上位８ビットのデータが加算器１６ａに入力され、その結果、１２ビットの画素データ１３に周囲の画素からの誤差が加算される。

各乗算器１９ｂ、１９ｃ、１９ｄから出力されたデータは、ディレイ２０ｂ、２０ｃ、２０ｄを介して各加算器１６ｆ、１６ｅ、１６ｄにそれぞれ入力される。加算器１９ｂ、１９ｃ、１９ｄはディレイ２０ｅ（２０ｆ）を介して直列に接続されており、それぞれ異なる位置の画素の誤差を加算するにように構成されている。

加算器２０ｇから出力されたデータはディレイ２０ｇ、リミッタ２２、１ラインディレイ２１を介して、加算器１６ｃに入力する。その後は上述の通り、乗算器１９ａからのデータに加算され、その結果は、ディレイ２０ｅを介して除算器１７ｃに入力される。なお、リミッタ（スイッチャ）２２は、画像間での誤差拡散を防止するためのもので、一画像の演算処理を終え、次の画像の演算処理が始まるまでは、１ラインディレイ２１へのデータの出力を停止し、且つ、それまでに累積された誤差をキャンセルする。また、１ラインディレイ２１は、入力したデータの出力を、一画像上で１ライン分遅延させるものである。

このように本実施形態の階調変換方法及び階調変換装置は、同一フレームの左目用と右目用の各画像に対しては同一の乗算係数による誤差拡散を行い、４フレームを１周期として、この乗算係数をフレーム毎に変化させている。つまり、誤差拡散のパターンをランダム化させることで、ドットパターンに代表される画質妨害の発生を認識されにくくするとともに、動きの少ない画像に対しても同様の効果を発揮することができる。

また、従来の誤差拡散回路と比べ、本実施形態の階調変換装置は同程度に簡便であり、高フレームレートに対応する動作速度を得ることが可能である。

（第２実施形態）
次に本発明の第２実施形態について説明する。図６は、本発明の第２実施形態に係る階調変換方法の概略フローチャートである。図７は、本発明の第２実施形態に係るディザパターン（後述）の一例である。図８は、本発明の第２実施形態に係る小画像Ｑ（後述）を示す図である。図９は、本発明の第２実施形態に係る階調変換装置のブロック図である。

第１実施形態では、組み合わせの異なる４種類の乗算係数の配列をフレームの更新に合わせて循環的に選択し、これを用いて同一フレームの左目用と右目用の各画像に対して誤差拡散を行う階調変換であった。

第２実施形態ではさらに第１実施形態の誤差拡散に加えて、ディザパターンに基づいた画素信号（以下、画素データ）の値の端数処理を行う。より具体的には、同一フレームの左目用と右目用の各画像、又は、２Ｄ画像に対してフレーム固有の複数のディザパターンに基づく端数処理を行う。このディザパターンは、従来の組織的ディザで使用されているような、画素データを二値化するための閾値を定義する行列ではなく、階調変換の際に低階調化した画素データに、この端数処理によって生じた丸め誤差を補償するための付加係数を付与するかどうかを決定する行列（数表）である。なお、以下は特に断りのない限り、「ディザパターン」は本実施形態のディザパターンを意味するものとする。

なお、第２実施形態の階調変換は、フレーム・レート・コントロール（Frame Rate Control）方式またはフレーム間引き方式とも呼ばれることのある階調変換に関するものである。

以下、本実施形態の階調変換方法について、一画像を構成する各画素の１２ビットデータ（以下、画素データ）３１に対する演算を例に挙げて説明する。概略的には、まず、１２ビットの画素データ３１を、上位１０ビットＨと下位２ビットＬに分離する。この下位２ビットＬ、画素データ３１のフレーム番号Ｆ、画素データ３１の座標の下位２ビットｘ及びｙに応じて、上位１０ビットＨに付加係数Ｓを付与し、この値を出力画素データ３２として出力する。付加係数Ｓの値は、本実施形態の階調変換が桁上げ操作であることを考慮して、通常は「０」又は「１」に設定される。即ち、図６に示すように、下位２ビットＬ、フレーム（フレーム番号）Ｆ、画素の座標値（下位２ビット）ｘ及びｙの組み合わせをディザアドレスＴとして定義し、あらゆるディザアドレスに対して付加係数Ｓを予め設定しておく。画素データ３１が実際に入力されたときには、これに対応するディザアドレスを選択し、このディザアドレスに対する付加係数Ｓを参照する。そして、参照した付加係数Ｓを画素データ３１の上位１０ビットに加算する。なお、ディザアドレスＴに対する付加係数Ｓを、フレームＦ及び座標値ｘ、ｙ毎にまとめた行列がディザパターンＰである。

ディザパターンＰを用いた説明に戻る。上述の通り、ディザパターンＰは、画素データ３１を低階調化する際に、付加係数Ｓを付与するかどうかを決定する行列である。このディザパターンＰの一例を図７に示す。ディザパターンＰは、付加係数Ｓを成分とする行列であり、図７に示すような正方行列である。ディザパターンＰのサイズは、抽出する下位２ビットＬが取り得る値の数に依存する。本実施形態では、下位ビットＬのビット長が２であることから、ディザパターンＰのサイズは４×４になる。

１つの画像Ｊは、図８に示すように、ディザパターンＰのサイズに等しい４×４の画素からなる小画像Ｑに区分され、この小画像Ｒにおける各画素データ３１の座標（ｘ，ｙ）と、ディザパターンＰの各付加係数Ｓの座標（Ｘ，Ｙ）とが対応付けられる。即ち、１つの画像の各画素は、水平座標ｘ、垂直座標ｙのそれぞれが０から３までの座標空間に割り当てられ、ディザパターンＰにおいて、超画像Ｒの座標に等しい座標の付加係数Ｓが画素データ３１の上位１０ビットに付与される。

上述の通り、ディザパターンＰは、階調変換の際に低階調化した画素データに付加係数を付与するかどうかを定める行列である。この付与の確率は、入力された画素データ３１の下位２ビットＬの値に比例する。この条件を満たすため、ディザパターンＰの各列及び各行における付加係数の数は互いに等しく、且つ、画素データ３１の値に比例するように設定される。例えば、図７に示すように、画素データ３１の下位２ビットＬが取り得る値は０、１、２、３であることから、各行及び各列における付加係数Ｓの数は、これらの値と等しくなるように設定される。具体的には、各行及び各列における付加係数Ｓの数は、下位２ビットＬの値が０である場合は０個、下位２ビットＬの値が１である場合は１個、下位２ビットＬの値が２である場合は２個、下位２ビットＬの値が３である場合は３個に設定される。

また、下位２ビットＬの１つの値当たりのディザパターンＰの総数は、下位ビットＬが取り得る値の数に等しい。従って、下位２ビットＬの値が１以上の場合であれば、各ディザパターンＰにおける各列及び各行の付加係数Ｓの配列は、少なくとも隣接するものが互いに異なるように設定される。これにより、小画像Ｒにおける各画素データ３１の下位２ビットＬの値が同一の場合でも、付加係数Ｓが付与される画素を分散させることができる。下位２ビットＬの値が０である場合は階調変換時に生じる誤差がないので、その画素データに付与される付加係数はない。この場合の、ディザパターンＰにおける各付加係数Ｓの値は何れも０である。

さらに、下位２ビットＬの値が１以上の場合には、各値に対して、各行及び各列において付加係数Ｓの数が互いに等しく、且つ、その分布が異なる４種類のディザパターンＰが予め設定され、それぞれにフレーム（フレーム番号）Ｆが対応する。従って、これらのディザパターンＰのうちの１つを、フレームＦの更新に合わせて循環的に、且つ、下位２ビットＬの値に応じて選択する。下位２ビットＬの値が０の場合は、上述の理由と同じく、フレームＦの更新に関わりなく、各付加係数Ｓの値が何れも０であるディザパターンＰが用いられる。

その後、選択されたディザパターンＰ内の、入力した画素データ３１に対応する付加係数Ｓを当該画素データの上位１０ビットに付与し、その画素に対する階調変換処理は終了する。そして、このような付加係数の付与の処理を全ての画素データに対して行う。

なお、上述の通り、ディザパターンＰはフレームＦ毎に選択される。つまり、２Ｄ画像の表示では、１つのフレームに１つの画像のみが含まれるので、各画像に異なるフレーム番号Ｆが必然的に割り当てられ、各画像は、その画素データの下位２ビットが同一であったとしても、異なるディザパターンによる階調変換が行われる。一方、立体（３Ｄ）画像では、１つのフレームに左目用と右目用の２つの画像が含まれ、各画像は、その画素データの下位２ビットが同一であった場合は、同じディザパターンによる階調変換が行われる。

これにより２Ｄ表示と立体（３Ｄ）表示における画像間の相関関係を考慮した、付加係数の付与が可能となり、高速処理を可能としながら、静止画と動画において良好な階調特性と目立たない誤差拡散ノイズを両立させることができる。

次に、本実施形態の階調変換装置について説明する。

図９は本実施形態の階調変換装置３０を表すブロック図である。階調変換装置３０には第1実施形態の階調変換装置１０から出力された画素データ３１が入力される。図９に示すように、階調変換装置３０は、記憶部（第２の記憶部）３３と、階調演算部（第２の階調演算部）３４と、タイミングジェネレータ３５と、除算器３６とを備えている。記憶部３３は、付加係数Ｓの分布が互いに異なる複数のディザパターンＰを予め記憶しており（図７参照）、これらは階調演算部３４による階調変換演算の際に、入力された画像信号のフレームに応じて適宜参照される。

除算器３６には、立体画像を構成する左目用と右目用の各画像（図１参照）の画像信号としての画像データ３１が順次入力される。除算器３６は入力された画素データ３１から、下位２ビットＬの値を階調演算部３４に出力する。残りの上位１０ビットＨの値は、ディレイ３７ａを介して加算器３８に入力し、上述の下位２ビットに基づいた階調演算部３４による付加係数Ｓが加算され、この結果がディレイ３７ｂを介して最終的な画素データ３２として出力される。従って、本実施形態では、下位２ビットＬが丸められた階調変換が実行される。

階調演算部３４には、立体画像を構成する左目用と右目用の各画像（図１参照）や、単に２Ｄ表示の画像の画像信号が画素データ３１として順次入力される。上述の通り、この画素データ３１は第1実施形態の階調変換装置１０から出力されたものであり、誤差拡散が施されている。

タイミングジェネレータ３５には、垂直同期信号や水平同期信号などの同期信号３９が入力されている。タイミングジェネレータ３５は、これらの同期信号３９に基づいてフレームカウンタ信号４０、Ｘカウント信号４１、Ｙカウント信号４２を階調演算部３４に出力する。

フレームカウンタ信号４０は、除算器３６から出力された下位２ビットＬのデータに対してフレーム番号Ｆを割り当てるために使用される。本実施形態では、４フレームでディザパターンＰの変化が一巡することを考慮して、フレームカウンタ信号４０のビット長を２に設定している。

タイミングジェネレータ３５は、立体画像の表示では、垂直同期信号の２周期毎にフレームカウンタ信号４０の値をインクリメントさせ、通常の２Ｄ表示の場合は、垂直同期信号の１周期毎にフレームカウンタ信号４０の値をインクリメントさせる。何れの場合も、出力値が３であったときの次の値は０に戻る。

つまり、立体画像を表示する場合、フレーム番号Ｆの値は、同一フレームの左目用と右目用の各画像を処理する間は一定であり、これらの処理が終了して次のフレームの画像を処理する時点でインクリメントされる。一方、２Ｄ画像を表示する場合、１フレームには１つの画像しかないので、フレームが更新される度に、その画像にインクリメントしたフレーム番号Ｆを割り当てる。

Ｘカウント信号４１及びＹカウント信号４２は、画素データ３１の下位２ビットＬの値に対して、小画像Ｑの空間での座標（ｘ，ｙ）を定義する。この各座標値は、ディザパターンＰにおける各座標値Ｘ、Ｙに対応する。なお、本実施形態では４×４のサイズの座標空間を想定しているので、各信号のビット長は２である。

階調演算部３４は、画素データ３１の下位２ビットＬ、フレームカウンタ信号４０、Ｘカウント信号４１、Ｙカウント信号４２に基づいて、記憶部３３に記憶されている複数のディザパターンＰの中から、当該画素データに対応する付加係数Ｓの値を特定する。そして、特定した付加係数Ｓを、ディレイ３７ｃを介して加算器３８に出力する。

加算器３８では、上述の通り、階調演算部３４からの付加係数Ｓと、除算器３６によって下位２ビットが除かれた上位画素データとが合算され、最終的な画素データ３２として出力される。

このように本実施形態の階調変換方法及び階調変換装置は、１つのフレームの画像に対して、その画素データの値、座標、及びフレームに基づいた付加係数を当該画素データに加算する階調変換を行う。また、同一座標においてフレーム毎に下位２ビットの値が同一であっても、付加係数の値は４フレームを１周期として変化する。つまり、付加係数のパターンをランダム化させることで、ドットパターンに代表される画質妨害の発生を認識されにくくするとともに、動きの少ない画像に対しても同様の効果を発揮することができる。

また、本実施形態の階調変換装置は、予め設定されたディザパターンを用いて付加係数を付与するかどうかを決定するので、構成が非常に簡便であるとともに、高速な処理が可能である。従って、高フレームレートが要求される立体画像の表示などに適している。

さらに、本実施形態では、第１実施形態の階調変換装置１０により誤差拡散された画像を、階調変換装置３０を用いてよりランダマイズ化している。従って、１つの画面上で空間的に拡散されたノイズを、時間的にも拡散させることが可能になる。

１０…階調変換装置（第１実施形態）、１１…記憶部、１２…階調演算部、１５ａ〜１５ｄ…乗算係数テーブル、１６ａ〜１６ｆ…加算器、１７ａ〜１７ｃ…除算器、１８…誤差値変換器、１９ａ〜１９ｄ…乗算器、２０ａ〜２０ｇ…ディレイ（１クロックディレイ）、２１…ディレイ（１ラインディレイ）、２２…リミッタ、３０、…階調変換装置（第２実施形態）、３３…記憶部、３４…階調演算部、３５…タイミングジェネレータ、３６…除算器、３８…加算器

Claims (10)

1. 同一フレームの左目用及び右目用の各画像に対して同一の配列の乗算係数に基づく誤差拡散を行い、
   付加係数の分布が互いに異なる複数のディザパターンから前記フレームに応じたディザパターンを選択し、
   選択したディザパターンに基づいて、誤差拡散が施された前記各画像の画素データに付加係数を付与する
   立体画像の階調変換方法であって、
   前記乗算係数の配列は前記フレームの更新に応じて変更され、且つこの一連の変更が所定数のフレームを一周期として繰り返され、
   前記乗算係数の各配列における最大の乗算係数の位置及び隣接する乗算係数の順序は前記一周期内のフレーム毎に異なり、
   前記ディザパターンは前記フレームの更新に応じて循環的に選択されることを特徴とする立体画像の階調変換方法。
2. 前記ディザパターンの各行および各列における付加係数の数は、互いに等しく、且つ、画素データの値に比例していることを特徴とする請求項１に記載の立体画像の階調変換方法。
3. 前記ディザパターンは、さらに所定のビット長をもつ前記画素データの下位ビット値に基づいて選択されることを特徴とする請求項２に記載の立体画像の階調変換方法。
4. 前記付加係数は前記画素データの上位ビットに付与されることを特徴とする請求項３に記載の立体画像の階調変換方法。
5. 前記下位ビット値あたりの前記ディザパターンの総数は、前記下位ビット値が取り得る値の数に等しいことを特徴とする請求項４に記載の立体画像の階調変換方法。
6. 乗算係数の配列が互いに異なる複数の乗算係数テーブルを記憶する第１の記憶部と、
   前記複数の乗算係数テーブルからその１つをフレームに応じて循環的に選択するとともに、選択した乗算係数テーブルに基づいて同一フレームの左目用及び右目用の各画像に対する誤差拡散を行う第１の階調演算部と、
   付加係数の分布が互いに異なる複数のディザパターンを記憶した第２の記憶部と、
   前記複数のディザパターンから、第１の階調演算部からの出力画像のフレームに応じたディザパターンを選択し、選択したディザパターンに基づいて、前記誤差拡散が施された前記出力画像の画素データに付加係数を付与する第２の階調演算部と
   を備え、
   前記乗算係数の前記配列における最大の乗算係数の位置及び隣接する乗算係数の順序は、前記乗算係数テーブル毎に異なり、
   前記第２の階調演算部において、前記ディザパターンは前記フレームに応じて循環的に選択されることを特徴とする立体画像の階調変換装置。
7. 前記ディザパターンの各行および各列における付加係数の数は、互いに等しく、且つ、画素データの値に比例していることを特徴とする請求項６に記載の立体画像の階調変換装置。
8. 前記ディザパターンは、さらに所定のビット長をもつ前記画素データの下位ビット値に基づいて選択されることを特徴とする請求項７に記載の立体画像の階調変換装置。
9. 前記付加係数は前記画素データの上位ビットに付与されることを特徴とする請求項８に記載の立体画像の階調変換装置。
10. 前記下位ビット値あたりの前記ディザパターンの総数は、前記下位ビット値が取り得る値の数に等しいことを特徴とする請求項９に記載の立体画像の階調変換装置。

Images