JP2008072692A - 統合ヒストグラム自動適応型コントラスト制御（ａｃｃ） - Google Patents

Abstract

【課題】画像の有意な領域において発生する輝度レベルのコントラストを高める。
【解決手段】画像全体を構成する多数の領域のそれぞれにおいて、全ピクセルの輝度値の合計を計算する。次に、各フレームの終わりにおける輝度の全合計によりヒストグラムを作成する。その後、輝度範囲が標準化されるように、ヒストグラムのスケールを再設定する。ヒストグラム作成後、フレームの統合輝度ヒストグラムを使用して、適切な伝達関数を作成する。より現実的な伝達関数を提供する個別のピクセルの輝度に比べ、画像内のオブジェクトの平均輝度が強く加重されるため、このようにして、画像の有意なオブジェクト内の詳細が増強される。
【選択図】図６

Description

本発明は、ビデオ及びグラフィックの画質の改善に関する。

ディスプレイデバイスは、入力データをカラー又はグレースケールの２次元画像としてレンダリングする。入力データは、グラフィックの性質を有し得る。こうしたデバイスの例は、ＰＣディスプレイモニタである。入力データはビデオ信号になり得る。こうしたデバイスの例は、テレビ又はビデオモニタである。入力データは、グラフィックと、埋め込みビデオとの組み合わせになり得る。こうしたデバイスの例は、ウィンドウ内でビデオを表示する一つ以上のアプリケーションによりグラフィックを表示するＰＣディスプレイモニタ、或いは、グラフィック又は全画面ビデオ又はグラフィックとビデオとの組み合わせ、例えばピクチャインピクチャを表示する、２つ以上の入力ポートを備えたＰＣ／ＴＶディスプレイデバイスである。

視聴者は、通常、ディスプレイデバイスの色及びコントラストを手動で制御する。手動制御による問題は、考えられる全ての入力データに最適な表示品質が生じない点にある。例えば、色あせた画像のコントラストを高めるためにコントラスト制御を設定すると、通常の画像ではコントラスト過剰な画像となる。飽和度の高い画像には色飽和設定を低減するのが最適だが、入力を非飽和画像に切り替えた場合、この設定は、次善のものとなる。視聴者が継続的に表示設定を変更して、入力画像の性質に適合させることは、特に入力がビデオシーケンスである時、実用性又は利便性が低い。

コントラスト及び色の手動制御による別の問題は、入力データの性質に対する感度が低いことである。手動コントラスト制御では、輝度成分に倍数因子を適用する。輝度値のダイナミックレンジは有限であるため、影の詳細が見えるように暗い画像のコントラストを高めると、明るいハイライト部分で情報が失われる。この制御の倍数的性質は、大部分が明るい画像のコントラストを高められないことも意味する。

グラフィック又はビデオ画像に画像改善効果を与えるためには、画像コンテンツの性質を知る必要がある。グラフィック又はビデオ材料をフラットパネルディスプレイにおいて正確に表示するためには、材料の様々な品質を測定する必要がある。こうした測定のそれぞれのためにデジタル電子技術を実装することは、無駄になる場合がある。

例えば、図１ａは、代表的な中程度の明るさの画像と、画像の単一ピクセルに基づくヒストグラムである。図１ｂは、暗い（低明度）画像の一例と、画像の単一ピクセルに基づくヒストグラムである。図示したヒストグラムにおいて、水平軸線は、輝度値を表し、垂直軸線は、一定の輝度値を有する個別のピクセルの数を表す。例えば、図１ｂの暗いシーンに対して、輝度ヒストグラムは、殆どのピクセルが低い輝度を有することを示しており、図１ａの中程度の明るさのシーンに対して、輝度スペクトルは、幅が広く、より多くの明度の高いピクセルを示している。更に、暗い画像のヒストグラムを図２ａに示しており、こうした画像においてコントラストを強める伝達曲線を図２ｂに示す。ヒストグラムは、ピクセルの大部分が低輝度範囲にあることを示している。伝達関数は、画像の中輝度及び低輝度領域で輝度を実質的に変化させることなく、画像の高輝度領域において輝度を高める。

しかしながら、残念なことに、伝達関数は、個別のピクセルの輝度値から導かれるヒストグラムに基づいているため、ピクセル輝度値における（視聴者が気づくとは限らない）小さな変化が、伝達関数と結果的な画像とに不均衡な影響を与える可能性がある。

したがって、必要なものは、上記の問題に対処するシステム及び方法である。本発明は、こうした必要性に対処する。

大まかに言って、本発明は、画像の有意な領域において発生する輝度レベルのコントラストを高めることに関する。本発明は、方法、システム、デバイス、装置、又はコンピュータ読み取り可能な媒体を含む多数の形で実現できる。本発明の幾つかの実施形態を、以下説明する。

一実施形態において、適応的コントラスト制御の方法は、以下の動作、即ち、それぞれが関連ピクセルデータを有する複数のピクセルで形成されたビデオフレームを受領するステップと、受領したビデオフレームデータに対する統合輝度ヒストグラムを生成するステップと、統合輝度ヒストグラムによる伝達関数を生成するステップと、伝達関数を使用してビデオフレームデータを更新するステップとを含む。

別の実施形態において、適応的コントラスト制御のためにコンピュータプロセッサにより実行可能なコンピュータプログラム製品は、それぞれが関連ピクセルデータを有する複数のピクセルで形成されたビデオフレームを受領するコンピュータコードと、受領したビデオフレームデータに対する統合輝度ヒストグラムを生成するコンピュータコードと、統合輝度ヒストグラムによる伝達関数を生成するステップと、伝達関数を使用してビデオフレームデータを更新するコンピュータコードと、コンピュータコードを格納するコンピュータ読み取り可能な媒体とを含む。

更に別の実施形態では、それぞれが関連ピクセルデータを有する複数のピクセルで形成されたビデオフレームを受領するように準備されたインタフェースと、受領したビデオフレームデータに対する統合輝度ヒストグラムを生成するヒストグラム生成器と、統合輝度ヒストグラムによる伝達関数を生成する伝達関数生成器と、伝達関数を使用してビデオフレームデータを更新する手段とを含む、適応的コントラスト制御を提供する装置を説明する。

本発明のその他の態様及び利点は、添付図面と併せて、以下の詳細な説明から明らかとなろう。

次に、添付図面に一例を示した本発明の特定の実施形態を詳細に説明する。以下、本発明を特定の実施形態に関連して説明するが、本発明を説明した実施形態に限定するものではないことは理解されよう。逆に、添付特許請求の範囲に記載した本発明の趣旨及び範囲に入り得る代替物、変形例、及び等価物を含むものである。

本発明の目的は、可能な最善の形でソース画像をレンダリングするために、ＬＣＤの幾分限定された輝度範囲を利用することである。アーチファクトの追加を最小限に抑え、目に見える詳細の量を最大にして、画像の鮮明さを高めるためのものである。本発明では、画像の有意な領域において発生する輝度レベルのコントラストを高める。

例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）スクリーン、デジタルライトプロセッサ（ＤＬＰ）、陰極線管（ＣＲＴ）、プラズマパネル、又は他の種類のディスプレイといったディスプレイでの提示用の画像を準備する時には、ピクセル輝度レベルを調整することで、画像のコントラストを強めるのが望ましい。伝達曲線は、入力輝度レベルと出力輝度レベルとの間のマッピングを記述するために使用できる。異なる画像は異なる輝度ヒストグラムを有するため、最適なコントラスト増大を得るために、間近の特定の画像に伝達曲線を合わせることが望ましい。

本発明では、画像全体を構成する多数の領域のそれぞれにおいて、全ピクセルの輝度値の合計を計算する。次に、各フレームの終わりにおける輝度の全合計によりヒストグラムを作成する。その後、輝度範囲が標準化されるように、ヒストグラムのスケールを再設定する。例えば、合計２２０の輝度ビンに対して、ビンの平均値が２６５である場合、輝度範囲は、１６乃至２３５にできる。ヒストグラム作成後、フレームの統合輝度ヒストグラムを使用して、適切な伝達関数を作成する。より現実的な伝達関数を提供する個別のピクセルの輝度に比べ、画像内のオブジェクトの平均輝度が強く加重されるため、このようにして、画像の有意なオブジェクト内の詳細が増強される。

図５に示した特定の実施例では、ビデオフレームＦｓをＭピクセル×Ｎピクセル、合計Ｐピクセル（即ち、Ｐ＝Ｍ×Ｎ）の領域Ｒ_iへと分割し、各ピクセルは、式１に示したように、Ｇ（緑）／２＋Ｒ（赤）／４＋Ｂ（青）／８（ＲＧＢからＹＵＶへの変換のＹ部分の概算）として計算された特定の輝度値Ｙ_ijを有する。

領域Ｒｉにおける各ピクセルの輝度値を計算後、式（２）を使用して、領域Ｒｉにおける全ピクセルの全輝度値の平均値を計算する。

次に、統合輝度値Ｙ_regを使用して、ビデオフレームＦ_sの統合輝度ヒストグラムＨ_intを生成し、ヒストグラムから伝達関数Ｔ_sを提供し、下記のプロセス６００に従い、フレーム毎に適用する。

図６は、本発明の一実施形態によるプロセス６００を詳述するフローチャートである。プロセス６００は、６０２において、ピクセルデータの形態でビデオフレームを受領することで開始される。６０４において、ピクセルデータがＹＵＶ形式ではない場合、６０６において、ピクセルデータをＹＵＶ形式に変換する。何れの場合も、６０８において、ビデオフレームを多数の領域に分割し、６１０において、領域のそれぞれの全ピクセル輝度の合計に基づいて、各領域の輝度値を計算する。６１２では、全領域を含む輝度ヒストグラムを生成する。次に、６１４において、特定のヒストグラム値とフラットヒストグラム値である１との間の差を得ることで、ヒストグラム差分値を生成する。６１６において、ヒストグラム差分値を強度係数Ｓ_Fにより乗算し、再びフラット値に加算する。これにより、ヒストグラムは、強度値ゼロ（「０」）が平坦線を発生させ、強度値１がオリジナルのヒストグラムを発生させるように条件付けされる。次に、６１８では、限界より上の任意のヒストグラム値を均等に分け合うことでヒストグラムに再び加算されるような形で、条件付けされたヒストグラム値が限定される（これにより、最終的な伝達関数のあらゆる点で最大傾斜が限定される）。６２０では、伝達関数を値０で開始して、後続の各点において、平坦線のヒストグラムが直線の伝達関数を発生させる（出力値が入力値と等しくなる）ように、ヒストグラムからの対応値を計算に入れることで、条件付きヒストグラムを統合して、伝達関数を形成する。６２２において、伝達関数を適用する。

説明した実施形態では、十分なメモリ（フレームバッファ等）が利用可能な場合、更新済み伝達関数を、その伝達関数の生成元のフレームに適用できるように、伝達関数がフレーム毎に更新されることに留意されたい。そうでない場合、十分なメモリが利用できなければ、更新済み伝達関数は、伝達関数の生成元のフレームに続く適切な数のフレームに適用できる（１又は２フレーム後等）。

本発明の実施形態は、本明細書で開示した装置を含め、デジタル電子回路、或いはコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせにおいて実現できる。本発明の装置の実施形態は、プログラム可能なプロセッサで実行するために機械読み取り可能なストレージデバイスで明白に具現化されたコンピュータプログラム製品において実現可能であり、本発明の方法ステップは、命令のプログラムを実行し、入力データを操作して出力を生成することで本発明の機能を実行する、プログラム可能なプロセッサにより実行できる。本発明の実施形態は、データストレージシステムと、少なくとも一つの入力デバイスと、少なくとも一つの出力デバイスとからデータ及び命令を受領し、これらに対してデータ及び命令を送信するように結合された、少なくとも一つのプログラム可能なプロセッサを含む、プログラム可能なシステム上で実行可能な、一つ以上のコンピュータプログラムにおいて実施できるという利点を有する。各コンピュータプログラムは、高レベル手続き型又はオブジェクト指向プログラミング言語において、或いは、望ましい場合には、アセンブリ言語又は機械語において、実現可能であり、何れの場合においても、言語は、コンパイラ型又はインタプリタ型言語にできる。

適切なプロセッサは、一例として、汎用及び特殊用途マイクロプロセッサの両方を含む。一般に、プロセッサは、読み出し専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受領する。一般に、コンピュータは、データファイルを格納する一つ以上の大量記憶デバイスを含み、こうしたデバイスは、内蔵ハードディスク及びリムーバブルディスクのような磁気ディスクと、光磁気ディスクと、光ディスクとを含む。コンピュータプログラムの命令及びデータを明白に具現化するのに適したストレージデバイスは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスのような半導体メモリデバイスと、内蔵ハードディスク及びリムーバブルディスクのような磁気ディスクと、光磁気ディスクと、ＣＤ−ＲＯＭディスクとを含め、あらゆる形態の不揮発性メモリを含む。上記のものは何れもＡＳＩＣ（特定用途向け集積回路）により補足すること、或いは、これに組み込むことが可能である。

以上、本発明の多数の実施例について説明してきたが、本発明の趣旨及び範囲から逸脱することなく様々な変形を施し得ることは理解されよう。したがって、添付特許請求の範囲には他の実施形態が含まれる。

本発明の一実施形態による、中程度の明るさの画像の一例と、画像に対するヒストグラムとを示す図である。 本発明の一実施形態による、暗い（低明度）画像の一例と、画像に対するヒストグラムとを示す図である。 図１に示した画像等のコントラストを強める伝達曲線を示す図である。 図２に示した画像等のコントラストを強める伝達曲線を示す図である。 本発明の実施例をグラフィックにより示す図である。 本発明の一実施形態による、統合輝度ヒストグラムに基づいて伝達関数を生成するプロセスを詳述するフローチャートである。

Claims (18)

1. 適応的コントラスト制御の方法であって、
   それぞれが関連ピクセルデータを有する複数のピクセルで形成されたビデオフレームを受領するステップと、
   前記受領したビデオフレームデータに対する統合輝度ヒストグラムを生成するステップと、
   前記統合輝度ヒストグラムによる伝達関数を生成するステップと、
   前記伝達関数を使用して前記ビデオフレームデータを更新するステップと
   を備える方法。
2. 前記統合輝度ヒストグラムを生成するステップは、
   前記ビデオフレームを、それぞれがほぼ同じ数のピクセルを有する多数の領域に分割するステップと、
   各領域の前記ピクセルのそれぞれに対して輝度値を生成するステップと、
   各領域内の前記ピクセルに対する前記輝度値を合計するステップと、
   領域輝度値を生成するために、各領域に対する前記合計輝度値を各領域内のピクセル数で割るステップと、
   前記領域輝度値を前記ビデオフレームに対して使用して、前記統合輝度ヒストグラムを生成するステップと、を備える請求項１記載の方法。
3. 更に、
   Ｒ_ij、Ｇ_ij、Ｂ_ijをピクセルＰ_ijのＲＧＢ色成分として、Ｙ_ij＝（０．２５７＊Ｒ_ij）＋（０．５０４＊Ｇ_ij）＋（０．０９８＊Ｂ_ij）に従って、ピクセルＰ_ijに対するピクセル輝度値Ｙ_ijを提供するステップを備える請求項１記載の方法。
4. 更に、前記統合輝度ヒストグラムのスケールを定めるステップを備える請求項１記載の方法。
5. 更に、前記更新されたビデオフレームをディスプレイに表示するステップを備える請求項１記載の方法。
6. 前記ディスプレイは、ＬＣＤスクリーン、ＯＬＥＤスクリーン、ＤＬＰスクリーン、ＣＲＴ、及びプラズマパネルを含むグループから選択される請求項５記載の方法。
7. 適応的コントラスト制御のためにコンピュータプロセッサにより実行可能なコンピュータプログラム製品であって、
   それぞれが関連ピクセルデータを有する複数のピクセルで形成されたビデオフレームを受領するコンピュータコードと、
   前記受領したビデオフレームデータに対する統合輝度ヒストグラムを生成するコンピュータコードと、
   前記統合輝度ヒストグラムによる伝達関数を生成するコンピュータコードと、
   前記伝達関数を使用して前記ビデオフレームデータを更新するコンピュータコードと、
   前記コンピュータコードを格納するコンピュータ読み取り可能な媒体と
   を備えるコンピュータプログラム製品。
8. 前記統合輝度ヒストグラムを生成するステップは、
   前記ビデオフレームを、それぞれがほぼ同じ数のピクセルを有する多数の領域に分割するコンピュータコードと、
   各領域の前記ピクセルのそれぞれに対して輝度値を生成するコンピュータコードと、
   各領域内の前記ピクセルに対する前記輝度値を合計するコンピュータコードと、
   領域輝度値を生成するために、各領域に対する前記合計輝度値を各領域内のピクセル数で割るコンピュータコードと、
   前記領域輝度値を前記ビデオフレームに対して使用して、前記統合輝度ヒストグラムを生成するコンピュータコードと、を備える請求項７記載のコンピュータプログラム製品。
9. 更に、
   Ｒ_ij、Ｇ_ij、Ｂ_ijをピクセルＰ_ijのＲＧＢ色成分として、Ｙ_ij＝（０．２５７＊Ｒ_ij）＋（０．５０４＊Ｇ_ij）＋（０．０９８＊Ｂ_ij）に従って、ピクセルＰ_ijに対するピクセル輝度値Ｙ_ijを提供するコンピュータコードを備える請求項７記載のコンピュータプログラム製品。
10. 更に、前記統合輝度ヒストグラムのスケールを定めるコンピュータコードを備える請求項７記載のコンピュータプログラム製品。
11. 更に、前記更新されたビデオフレームをディスプレイに表示するコンピュータコードを備える請求項７記載のコンピュータプログラム製品。
12. 前記ディスプレイは、ＬＣＤスクリーン、ＯＬＥＤスクリーン、ＤＬＰスクリーン、ＣＲＴ、及びプラズマパネルを含むグループから選択される請求項１１記載のコンピュータプログラム製品。
13. 適応的コントラスト制御を提供する装置であって、
    それぞれが関連ピクセルデータを有する複数のピクセルで形成されたビデオフレームを受領するように準備されたインタフェースと、
    前記受領したビデオフレームデータに対する統合輝度ヒストグラムを生成するヒストグラム生成器と、
    前記統合輝度ヒストグラムによる伝達関数を生成する伝達関数生成器と、
    前記伝達関数を使用して前記ビデオフレームデータを更新する手段と
    を備える装置。
14. 前記統合輝度ヒストグラムを生成器は、
    前記ビデオフレームを、それぞれがほぼ同じ数のピクセルを有する多数の領域に分割する手段と、
    各領域の前記ピクセルのそれぞれに対して輝度値を生成する手段と、
    各領域内の前記ピクセルに対する前記輝度値を合計する手段と、
    領域輝度値を生成するために、各領域に対する前記合計輝度値を各領域内のピクセル数で割る手段と、
    前記領域輝度値を前記ビデオフレームに対して使用して、前記統合輝度ヒストグラムを生成する手段と
    を備える請求項１３記載の装置。
15. 更に、
    Ｒ_ij、Ｇ_ij、Ｂ_ijをピクセルＰ_ijのＲＧＢ色成分として、Ｙ_ij＝（０．２５７＊Ｒ_ij）＋（０．５０４＊Ｇ_ij）＋（０．０９８＊Ｂ_ij）に従って、ピクセルＰ_ijに対するピクセル輝度値Ｙ_ijを提供する手段を備える請求項１３記載の装置。
16. 更に、前記統合輝度ヒストグラムのスケールを定める手段を備える請求項１３記載の装置。
17. 更に、前記更新されたビデオフレームをディスプレイに表示する手段を備える請求項１３記載の方法。
18. 前記ディスプレイは、ＬＣＤスクリーン、ＯＬＥＤスクリーン、ＤＬＰスクリーン、ＣＲＴ、及びプラズマパネルを含むグループから選択される請求項１７記載の装置。

Images