JP2010276691A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】バックライト輝度を下げて黒浮きを改善しながらも、白飛びによる白色化を抑制することが可能な画像処理装置および画像処理方法を提供する。
【解決手段】明度抽出部１１０は、入力画像データから各画素の明度Lを求め、飽和度抽出部１２０は、各画素の飽和度Sを求め、各画素の飽和度Sから各画素の明度に対する重みWを求める。明度ヒストグラム作成部１３０は、明度Lに重みWで重み付けを行って、明度のヒストグラムを求める。そして、明度エラー数計数部１５０、明度エラー数閾値比較部１６０、ＢＬ輝度探索部１７０により、バックライト輝度を決定し、これに基づく階調変換テーブルを階調変換テーブル作成部１９０が作成し、このテーブルにしたがって、階調変換部２１０が入力画像データの階調変換を行うようにしたものである。
【選択図】 図１

Description

この発明は、液晶などを用いた表示パネルに表示する画像の補正を行う画像処理装置に関する。

周知のように、LCD(Liquid Crystal Display)などの表示パネルを用いた表示装置で用いられる従来の画像処理装置は、暗いシーンを表示する際には、明るいシーンを表示する際のバックライト輝度を基準にしてバックライト輝度を下げて、階調を高く補正することで画像の視覚的な明度を維持し、これにより低階調画像の階調性や色再現性を改善している（例えば、特許文献１参照）。具体的には、暗いシーンでは、バックライト輝度を下げることでバックライト光の漏れが少なくなり、黒浮き減少によってコントラストが改善し、色の純度が高められることで発色が改善する。

しかし、全体的に暗いシーンでも、夜間の打ち上げ花火のように高い階調の画素が存在する場合には、従来手法により、バックライト輝度を下げて階調を高く補正すると、黒浮きは改善するものの、高階調の画素については、いわゆる白飛びが生じて、高階調の画素はR、G、Bの差がなくなり白色化しまう。このため、例えば花火などの光点の発色が低下してしまっていた。

特開２００７−２４９０８５

従来では、全体的に暗いシーンに高い階調の画素が含まれる画像の場合、バックライト輝度を下げて階調を高く補正すると、黒浮きは改善するものの、高階調の画素については、いわゆる白飛びが生じて、高階調の画素はR、G、Bの差がなくなり白色化してしまうという問題があった。

この発明は上記の問題を解決すべくなされたもので、バックライト輝度を下げて黒浮きを改善しながらも、白飛びによる白色化を抑制することが可能な画像処理装置および画像処理方法を提供することを目的とする。

上記の目的を達成するために、この発明は、入力画像を構成する画素の色味の飽和度を検出する飽和度検出手段と、画素の明度を検出する明度検出手段と、画素毎に、明度に飽和度が低いほど大きな重み付けを行って、明度のヒストグラムを作成するヒストグラム生成手段と、ヒストグラムに基づいて、明度の最大値を決定する明度決定手段と、明度の最大値と、表示パネルの最大輝度値とに基づいて、バックライト輝度を決定するバックライト輝度決定手段と、明度の最大値に基づいて、入力画像の階調を変換する階調変換手段とを具備して構成するようにした。

以上述べたように、この発明では、入力画像を構成する画素の明度ヒストグラムに基づいて、バックライト輝度の制御と、階調変換を行う場合に、入力画像を構成する画素の色味の飽和度が低い画素の明度ほど重みを付けて上記明度ヒストグラムを求めるようにしている。

したがって、この発明によれば、階調つぶれによる白色化が起こりにくい飽和度が高い画素より、飽和度の低い画素の明度に重みを付けて明度ヒストグラムを作成することで、飽和度の低い画素を優先してバックライト輝度の低減するようにしているので、バックライト輝度を下げて黒浮きを改善しながらも、白飛びによる白色化を抑制することが可能な画像処理装置および画像処理方法を提供できる。

この発明に係わる画像処理装置の一実施形態の構成を示す回路ブロック図。 図１に示した明度ヒストグラム作成部で行われる重み付けを説明するための図。 図１に示した明度エラー数計数部で行われる明度エラーのカウントを説明するための図。 図１に示した階調変換テーブル作成部が作成する階調変換テーブルの特性を説明するための図。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、画像バッファ１００と、明度抽出部１１０と、飽和度抽出部１２０と、明度ヒストグラム作成部１３０と、シーン切替判定部１４０と、明度エラー数計数部１５０と、明度エラー数閾値比較部１６０と、ＢＬ（バックライト）輝度探索部１７０と、バックライト調光部１８０と、階調変換テーブル作成部１９０と、階調変換テーブル記憶部２００と、階調変換部２１０とを備える。

画像バッファ１００は、入力画像データRGBinをフレーム毎にバッファするものであり、明度抽出部１１０、飽和度抽出部１２０および階調変換部２１０によって入力画像データRGBinが読み出される。

明度抽出部１１０は、画像バッファ１００から１フレーム分の入力画像データRGBinを読み出し、各画素のRGB値Rin、Gin、Binから各画素の明度Lを求める。ここで、下式にしたがって、各画素のRGB値Rin、Gin、Binのうち、最大の値MAXが明度Lとして求められる。

飽和度抽出部１２０は、シーン切替判定部１４０が映像シーンの切り替え（場面の切り替え）が生じたと判定した場合に、各画素の飽和度Sを各画素のRGB値Rin、Gin、Binから求め、図２に示すような特性にしたがって、各画素の飽和度Sから各画素の重みWを求める。ただし、飽和度Sが０の場合には、重みWは０にする。なお、飽和度Sおよび重みWは、例えば下式にしたがって求める。ここで、飽和度Sが低いほど、画素の色が薄いことを示す。

なお、重みWは、下式に示すように、明度抽出部１１０が求めた明度Lを用いてもよい。

また、入力画像が動画像の場合は、YUV形式で符号化されていることが多く、その場合デコード直後のYUV形式で各画素の飽和度を求めてもよい。YUVの場合は、下式のようにUVベクトルの大きさで求める。

明度ヒストグラム作成部１３０は、明度抽出部１１０が求めた各画素の明度Lと飽和度抽出部１２０が求めた重みWとを用いて図３に例示するように、各フレームについて明度のヒストグラムhistoLを作成する。すなわち、明度ヒストグラム生成部１３０は、フレームを構成する画素の１つの明度レベルを確認し、下式のように、明度ヒストグラムhistoLの対応する明度レベルLの度数にその画素の飽和度に応じた重みWを加算する。これを全画素に対して行うことによって、明度ヒストグラムhistoLを生成する。なお、シーン切替判定部１４０がシーン切り替えが生じていないと判定した場合には、飽和度抽出部１２０は重みWを算出しないので、重み付けは行わない。

シーン切替判定部１４０は、複数のフレームについてそれぞれ得られた明度ヒストグラムhistoLを比較して、その差異SADが閾値を越えたか否かで、シーンの切り替えが生じたか否かを判定し、シーンの切り替えが生じた場合に、この旨を飽和度抽出部１２０に通知する。なお、上記差異SADは、例えば下式にしたがって求める。すなわち、処理対象フレームの明度ヒストグラムhistoLと前フレームの明度ヒストグラムhistoL_prevとの差異を、明度毎に求め、これを合計する。

明度エラー数計数部１５０は、後述するＢＬ輝度探索部１７０から与えられた探索階調閾値thldLと、明度ヒストグラム作成部１３０が求めた明度ヒストグラムhistoLとに基づいて、下式にしたがって、探索階調閾値thldL以上の度数を求め、これを明度エラー数ErrLとして出力する。

明度エラー数閾値比較部１６０は、明度エラー数計数部１５０が求めた明度エラー数ErrLを、予め設定した明度エラー数閾値ErrThldと比較し、明度エラー数ErrLが明度エラー数閾値ErrThldより大きいか否かを判定する。ここで、明度エラー数ErrLが明度エラー数閾値ErrThldより大きい場合には、判定結果として「１」を出力し、一方、明度エラー数ErrLが明度エラー数閾値ErrThld以下の場合には、判定結果として「０」を出力する。

ここで、明度エラー数閾値ErrThldは、明部の画質と暗部の画質のバランスに応じて設定した値である。例えば、小さい値に設定した場合は、明部の階調が維持でき、一方、大きい値に設定した場合は、低消費電化、暗部の階調と色再現性の向上が期待できる。このため、画質や消費電力のうち、どちらを重視するかで予め設定される。

ＢＬ輝度探索部１７０は、探索階調閾値thldLを明度エラー数計数部１５０に対して設定する。探索階調閾値thldLの初期値は、255であり、明度エラー数閾値比較部１６０が出力する判定結果が「１」となるまで、1ずつ小さくして、明度エラー数計数部１５０に探索階調閾値thldLを設定する処理を繰り返す。やがて、上記判定結果が「１」となった時点で、ＢＬ輝度探索部１７０は、その時の探索階調閾値thldLを最大明度maxLとして、階調変換テーブル作成部１９０に出力する。

そして、ＢＬ輝度探索部１７０は、最大明度maxLに基づいて、上記ディスプレイのバックライトの輝度値BLを決定し、この輝度値BLをバックライト調光部１８０に通知する。上記輝度値BLは、下式にしたがって求める。この式において、BLmaxは、上記ディスプレイのバックライト輝度の最大値である。またγは、上記ディスプレイのパネルの特性である。

一般的にパネルのγは、ブラウン管の特性に倣って2.2とされているため、白階調が最高階調の半分であった場合は、0.5^2.2=0.22であるため、バックライト輝度は、0.22倍となり、輝度値BLは、下式のように求まる。

なお、フレームの明部の画質と暗部の画質のバランスに応じて設定される明度エラー数閾値ErrThldが小さいほど、明部の階調を維持できる。しかし、バックライト輝度を下げると低消費電力化と暗部の階調と色再現性の改善が期待でき、また画像中にはノイズも含まれていることから、明度エラー数閾値ErrThldは０ではなく、例えば全画素数の10%程度に設定する。

バックライト調光部１８０は、ＢＬ輝度探索部１７０から通知された輝度値BLに基づいて、上記ディスプレイのバックライトの輝度を制御する。
階調変換テーブル作成部１９０は、バックライト輝度の変更前後で表示画像の明るさを維持するために、最大明度maxLに基づいて、階調変換テーブルLUTを作成する。この階調変換テーブルLUTは、階調変換テーブル記憶部２００に記録される。

具体的には、階調変換テーブル作成部１９０は、最大明度maxLの逆数を画像の伸張量として、次のように伸張ゲインgainLを求める。

そして、階調変換テーブル作成部１９０は、階調変換部２１０の入力ｘに、伸張ゲインgainLを掛けた値が出力となるような階調変換テーブルLUTを作成する。
例えば、最大明度maxLが128であったとすると、伸張ゲインgainL=2となるので、階調変換テーブル作成部１９０は、図４に示すように、入力画像のRGB値が128以上は、最大値255となる階調変換テーブルLUTを作成する。

階調変換部２１０は、階調変換テーブル記憶部２００が記憶する階調変換テーブルLUTを用いて、下式に基づいて、入力画像データRGBinを画像バッファ１００から読み出して、画素値を変換する。

階調変換部２１０は、上記階調変換テーブルLUTを用いて階調変換を行うことにより、最大明度maxLより上の階調を有する画素については、最高階調にクリップすることになる。よって、明度エラー数閾値ErrThldを小さく設定すれば、明部の階調が維持されるが、明度エラー数閾値ErrThldを大きく設定すれば、図３に示す網掛け領域が大きくなって、明部の階調がクリップされ、その領域の入る階調はいわゆる白飛びとなる。

以上のように、上記構成の画像処理装置では、フレームごとに求めた明度ヒストグラムhistoLに基づいて、バックライト輝度の制御と、階調変換を行う場合に、フレームを構成する画素の色味の飽和度が低い画素の明度ほど重みを付けて上記明度ヒストグラムhistoLを求めるようにしている。

したがって、上記構成の画像処理装置によれば、階調つぶれによる白色化が起こりにくい飽和度が高い画素より、飽和度の低い画素の明度に重みを付けて明度ヒストグラムhistoLを作成することで、飽和度の高い画素の多いフレームではバックライト輝度を低減するようにして黒浮きを改善し、飽和度の低い画素が多いフレームではバックライト輝度の低減を抑えて白飛びによる白色化を抑制することができる。

また上記実施の形態では、シーン切替判定部１４０がシーン切り替えが生じたと判定した場合に、重み付けを行うようにして、バックライト輝度の見直しするようにしているので、フレームごとにバックライト輝度を制御する場合に比べて、演算量を抑制し、消費電力を低減することができる。なお、シーン切替判定部１４０を適用せずに、フレームごとにバックライト輝度を制御する場合には、徐々に明るさが変化するようなシーンにおいて、適正なバックライト輝度を設定することができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

１００…画像バッファ、１１０…明度抽出部、１２０…飽和度抽出部、１３０…明度ヒストグラム作成部、１４０…シーン切替判定部、１５０…明度エラー数計数部、１６０…明度エラー数閾値比較部、１７０…輝度探索部、１８０…バックライト調光部、１９０…階調変換テーブル作成部、２００…階調変換テーブル記憶部、２１０…階調変換部。

Claims (3)

1. 入力画像を構成する画素の色味の飽和度を検出する飽和度検出手段と、
   前記画素の明度を検出する明度検出手段と、
   前記画素毎に、前記明度に前記飽和度が低いほど大きな重み付けを行って、明度のヒストグラムを作成するヒストグラム生成手段と、
   前記ヒストグラムに基づいて、明度の最大値を決定する明度決定手段と、
   前記明度の最大値と、前記表示パネルの最大輝度値とに基づいて、バックライト輝度を決定するバックライト輝度決定手段と、
   前記明度の最大値に基づいて、前記入力画像の階調を変換する階調変換手段とを具備したことを特徴とする画像処理装置。
2. さらに、複数の入力画像を比較して、映像シーンの切り替えが生じたか否かを判定する判定手段を備え、
   前記ヒストグラム生成手段は、前記判定手段が映像シーンの切り替えが生じたと判定した場合に、前記明度のヒストグラムを作成することを特徴とする請求項１に記載の画像処理装置。
3. 入力画像を構成する画素の色味の飽和度を検出する飽和度検出工程と、
   前記画素の明度を検出する明度検出工程と、
   前記画素毎に、前記明度に前記飽和度が低いほど大きな重み付けを行って、明度のヒストグラムを作成するヒストグラム生成工程と、
   前記ヒストグラムに基づいて、明度の最大値を決定する明度決定工程と、
   前記明度の最大値と、前記表示パネルの最大輝度値とに基づいて、バックライト輝度を決定するバックライト輝度決定工程と、
   前記明度の最大値に基づいて、前記入力画像の階調を変換する階調変換工程とを具備したことを特徴とする画像処理方法。

Images