JP2004266755A - 画像処理装置および画像表示装置、並びに画像処理方法 - Google Patents

Abstract

【課題】適正な適切なコントラスト調整が可能な画像処理装置および画像表示装置、並びに画像処理方法を提供する。
【解決手段】輝度伸張部２０では、輝度伸張（ガンマ補正）を行う。指標値算出手段２４は、平均輝度算出手段２３から入力された２フレーム分の平均輝度値について加重平均を算出することにより、平均輝度に時間フィルタをかけた指標値ＡＰＬを得る。ゲイン算出手段２５は、この指標値ＡＰＬの大きさに呼応させてゲインＧを求め、補正特性算出手段２６は、ゲインＧに応じた補正強度をもつガンマ補正曲線を算出する。輝度補正手段２７は、得られた補正特性を用いて輝度信号Ｙ_１ に対し輝度伸張を行う。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、表示画像の輝度階調を調整する画像処理装置および画像表示装置、並びに画像処理方法に関する。
【０００２】
【従来の技術】
テレビジョン受像機，ＶＴＲ（ＶｉｄｅｏＴａｐｅ Ｒｅｃｏｅｄｅｒ），デジタルカメラ，テレビジョンカメラあるいはプリンタ等の機器は、入力画像に画質向上のための補正を施してから出力するようになっており、コントラスト調整などの種々の画像処理機能を有している。
【０００３】
コントラストの調整は、一画面における平均輝度が低い場合に表示輝度範囲を広げる（高輝度側の輝度値を上げる）ような操作により、低輝度側の階調を確保することで行われ、特に、全体に暗くコントラストが低い画像に対して効果的な階調補正である。ただし、全体に輝度を上げるようにすると、信号レベルがディスプレイパネル等の画像出力側のダイナミックレンジの高域側を超えるおそれがあった。そうした場合、白レベル側の信号値が飽和し、高輝度側の階調表現ができない白づまりの状態を呈することになる。
【０００４】
そこで、信号の最大値は変えずに、中間輝度または低輝度側の輝度領域の信号値を増大させるような調整方法が提案されている（特許文献１参照）。つまり、その補正特性すなわち入出力応答は、いわゆるガンマ補正におけるガンマカーブのようになっている。また、特許文献１には、平均輝度値が大きいときには補正曲線が略直線とされ、平均輝度値が小さくなると中間輝度領域の信号値が増強されるように補正曲線の曲がり具合が強くなるように制御する技術が開示されている。これによれば、画像の暗い部分の階調は、その暗さに応じて適宜に確保されることになる。
【０００５】
【特許文献１】
特開平１１−３２７４９６号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、こうした処理によっても、画質は必ずしも向上する訳ではなかった。例えば、処理画像が動画の場合には、入力される映像信号を一画面を構成する画像（フレーム）ごとに次々に処理し、表示してゆくのが普通である。そのため、各フレームについて取得する平均輝度は、そのフレームの映像信号の補正のためには用いられず、次以降のフレームに反映されるようになっていた。その一方、入力信号には、例えばテレビジョン放送で番組からコマーシャルに入ったときなど、フレーム間で平均輝度値が急激に変化することがある。そうしたときには、実際の輝度とはかけ離れた平均輝度値に応じてコントラスト調整は施されることになり、画像が適切な輝度階調に補正されないことがあった。
【０００７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、適切なコントラスト調整が可能な画像処理装置および画像表示装置、並びに画像処理方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置、および本発明の画像表示装置は、画像データから各画面の平均輝度値を算出する平均輝度算出手段と、時系列的に連続する複数画面のそれぞれについて得られた複数の平均輝度値を基に指標輝度値を算出する指標値算出手段と、指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定する補正特性決定手段と、補正特性を用いて画面ごとの輝度階調を補正する輝度補正手段とを備えたものである。
【０００９】
また、本発明の画像処理方法は、画像データから各画面の平均輝度値を算出し、さらに、時系列的に連続する複数画面のそれぞれについて得られた複数の平均輝度値を基に指標輝度値を算出し、指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定し、補正特性を用いて画面ごとの輝度階調を補正するものである。
【００１０】
本発明の画像処理装置および画像表示装置、並びに画像処理方法では、各画面の輝度階調が、指標輝度値に応じた補正強度の補正特性により補正される。この補正強度は、時系列的に連続する複数画面の平均輝度値を基にして得た指標輝度値、例えばこれら平均輝度値の加重平均値に対応して変化する。この場合の指標輝度値は、時間変動が平滑化された平均輝度値であり、補正強度は、急激な変動が抑えられたものとなる。
【００１１】
本発明の他の画像処理装置、および本発明の他の画像表示装置は、入力される画像データを、輝度補正の対象となる画面について一旦保持するデータ保持手段と、画像データから各画面の平均輝度値を算出し、そのうち少なくとも補正対象とする画面の平均輝度値に基づいて指標輝度値を算出する指標値取得手段と、指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定する補正特性決定手段と、補正特性を用いて、一旦保持された補正対象画面の画像データに対し輝度階調の補正を行う輝度補正手段とを備えたものである。
【００１２】
本発明の他の画像処理方法は、入力される画像データを、輝度補正の対象となる画面について一旦保持すると共に、画像データから各画面の平均輝度値を算出し、そのうち少なくとも補正対象とする画面の平均輝度値に基づいて指標輝度値を算出し、指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定し、一旦保持された補正対象画面の画像データに対し、補正特性を用いて輝度階調の補正を行うものである。
【００１３】
本発明の他の画像処理装置および他の画像表示装置、並びに他の画像処理方法においても、各画面の輝度階調が、指標輝度値に応じた補正強度の補正特性により補正される。ただし、この場合の補正強度は、少なくとも補正対象とする画面の平均輝度値に基づいて得られた指標輝度値に対応して変化するように設定され、必ず補正対象画面それ自身の輝度を参照したものとされる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係る画像表示装置の全体構成を示している。この画像表示装置は、画像信号をデジタル処理することを前提としており、主に、入力されるＹＵＶ信号に対し処理を行うＹＵＶ信号処理部１００，出力側のマトリクス回路１０２，ＹＵＶ信号から変換されたＲＧＢ信号に対する処理を行うＲＧＢ信号処理部１０３、およびＲＧＢ信号を基に表示を行う表示部１０４によって構成されている。入力される画像信号は、テレビ信号のほか、ＶＣＲ（ＶｉｄｅｏＣａｓｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の出力であってよく、例えばＹ／Ｃ分離回路やクロマデコーダ（図示せず）等により行われる通常の処理によってＹＵＶ信号Ｙ_ＩＮ，Ｕ_ＩＮ，Ｖ_ＩＮにまで復調されるようになっている。また、入力信号はＲＧＢ信号として入力されるものであってもよく、その場合には、マトリクス回路１０１によりＹＵＶ信号Ｙ_ＩＮ，Ｕ_ＩＮ，Ｖ_ＩＮに変換されるようになっている。さらに、これら複数種の媒体から信号入力が可能なように構成し、切り換えスイッチにより信号を選択することもできる。このような画像信号は、ＹＵＶ信号処理部１００に入力される。
【００１６】
なお、ＹＵＶ信号は２次元ディジタル画像の画像データであり、画像上の位置に対応する画素値の集合である。そのうち、輝度信号Ｙが輝度レベルを表し、白１００％である白レベルと、黒１００％である黒レベルとの間の振幅値をとる。すなわち、輝度信号Ｙが白レベル側の値であれば、対応する画像の輝度は高く、反対に黒レベル側の値であれば輝度は低いことになる。また、色差信号Ｕ，Ｖはそれぞれ、青（Ｂ；Ｂｌｕｅ）から輝度信号Ｙを引いた信号Ｂ−Ｙ、赤（Ｒ；Ｒｅｄ ）から輝度信号Ｙを引いた信号Ｒ−Ｙに対応しており、これらＵ信号，Ｖ信号を輝度信号Ｙと組み合わせることによって色（色相，彩度，輝度）が表現される。
【００１７】
ＹＵＶ信号処理部１００は、入力側のＹＵＶ処理回路１０，輝度伸張部２０，出力側のＹＵＶ処理回路３０からなる。ＹＵＶ処理回路１０は、入力するＹＵＶ信号Ｙ_ＩＮ，Ｕ_ＩＮ，Ｖ_ＩＮに対し、例えばインターレースからプログレッシブへの変換（ＩＰ変換）や解像度変換（スケーリング）などを施し、ＹＵＶ信号Ｙ_１ Ｕ_１ Ｖ_１ として出力するようになっている。
【００１８】
輝度伸張部２０は、そのうち輝度信号Ｙ_１ に対して輝度伸張処理を施し、輝度信号Ｙ_２ として出力する。すなわち、図２のように、１画面の画像Ｆは、通常、画面の水平方向および垂直方向に数１００から数１０００単位で配列する画素Ｐの集合として構成されるが、輝度伸張部２０では、その個々の画素Ｐに対応するデータ（この場合は輝度信号Ｙ_１ ）について輝度伸張処理が施される。なお、ここでいう輝度伸張とは、白レベル一定のまま、階調数を増やしたい輝度範囲内の振幅レベルを上げるように輝度信号Ｙ_１ の振幅を変調することをいい、その結果、意図的に拡げられた輝度範囲のコントラストが向上する。
【００１９】
ＹＵＶ処理回路３０には、輝度信号Ｙ_２ と色差信号Ｕ_１ ，Ｖ_１ とが入力され、シャープネスコントロール等の処理の後にＹＵＶ信号Ｙ_ＯＵＴ ，Ｕ_ＯＵＴ ，Ｖ_ＯＵＴ が出力される。
【００２０】
マトリクス回路１０２は、ＹＵＶ信号Ｙ_ＯＵＴ ，Ｕ_ＯＵＴ ，Ｖ_ＯＵＴ が入力され、これらをＲＧＢ信号に再生・出力するようになっている。ＲＧＢ信号処理部１０３は、マトリクス回路１０２からＲＧＢ信号が入力され、これらＲＧＢ信号を基にして表示部１０４の駆動信号を生成・出力するようになっている。表示部１０４は、入力される駆動信号に応じて画像表示を行うようになっている。なお、表示部１０４は、どのような種類のディスプレイデバイスであってもよく、ＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ），ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ），ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネルあるいは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ；電界発光） 表示パネル等を用いることができる。
【００２１】
＜輝度伸張部の構成＞
次に、輝度伸張部２０の構成と機能について、より詳細に説明する。輝度伸張部２０は、図３に示したように、平均輝度算出手段２３，指標値算出手段２４，ゲイン算出手段２５，補正特性算出手段２６および輝度補正手段２７により構成されている。また、各種の演算を行う構成要素は、適宜にマイクロプロセッサ等で構成されている。この輝度伸張部２０においては、輝度信号Ｙ_１ に対し、最低値と最高値とを除いた中間輝度領域で補正量に極大値が存在するような非直線的補正を施すものとする。本実施の形態では、このような非直線的補正を便宜的にガンマ補正と呼称する。
【００２２】
平均輝度算出手段２３は、入力される輝度信号Ｙ_１ から、各画面（フレーム）ごとの平均輝度値を算出するものである。具体的には、加算器２１，Ｄフリップフロップ回路２２からなるカウンタ回路として構成され、画素の輝度値を各フレームごとに累積加算するようになっている。
【００２３】
指標値算出手段２４は、連続する２フレーム、すなわち補正対象のフレームに対し時系列的に１つ前のフレームと２つ前のフレームの各平均輝度値の加重平均（式１）を、指標値ＡＰＬ（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ ）として算出するものである。
ＡＰＬ＝α×ＡＹ_ｎ−１ ＋（１−α）×ＡＹ_ｎ−２ … （１）
（ただし０≦α≦１、補正対象はｎ番目のフレームであり、ＡＹ_ｎ−１ はｎ−１番目のフレームの平均輝度値、ＡＹ_ｎ−２ はｎ−２番目のフレームの平均輝度値）
【００２４】
そのため、指標値算出手段２４は、平均輝度値ＡＹ_ｎ−１ ，ＡＹ_ｎ−２ 等、必要なデータを格納するメモリを有している。なお、ここで補正対象以前のフレームの平均輝度値ＡＹ_ｎ−１ ，ＡＹ_ｎ−２ を用いるのは、指標値ＡＰＬを求める演算処理によって遅延が生じるためである。つまり、本実施の形態では図４のように、ｎ番目のフレームＦ_ｎ については、フレームＦ_ｎ−１ ，Ｆ_ｎ−２ における平均輝度値ＡＹ_ｎ−１ ，ＡＹ_ｎ−２ から求めた指標値ＡＰＬを適用して輝度伸張を行うようになっている。また、このように時系列的に連続した複数のフレームの平均輝度値ＡＹを用いることの作用効果については、後述する。
【００２５】
ゲイン算出手段２５は、指標値ＡＰＬに応じてガンマ補正曲線の補正強度、ゲインＧを算出するものである。ここで、ゲイン算出手段２５は、指標値ＡＰＬが小さいほどゲインＧを大きくするように機能する。より具体的には、ゲイン算出手段２５は、指標値ＡＰＬの増大に伴って減少する関数としてゲインＧの値を得るようになっている。そうした関数は、例えば図５に示したように設定される。ゲインコントロール直線２５１は、指標値ＡＰＬが大きくなるに従い、ゲインＧを最大値Ｇ_ｍａｘ から最小値Ｇ_ｍｉｎ へと直線的に漸近するように変化させる場合に用いられる。ゲインコントロール直線２５２は、指標値ＡＰＬの閾値Ａ１，Ａ２により区分される領域ごとにゲインＧを定めるようになっており、ゲインＧは、指標値ＡＰＬが閾値Ａ１以下ではＧ_ｍａｘ 、閾値Ａ２以上では最小値Ｇ_ｍｉｎ 、閾値Ａ１から閾値Ａ２の間では最大値Ｇ_ｍａｘ から最小値Ｇ_ｍｉｎ へと直線的に漸近する値として求められる。なお、指標値ＡＰＬに対するゲインＧの応答特性は、指標値ＡＰＬが大きくなるに従って減少する傾向をもつものであればよく、こうした直線に限らず、曲線としてもよい。
【００２６】
補正特性算出手段２６は、ゲインＧに応じてガンマ補正曲線を画面ごとに求めるものである。ガンマ補正曲線の補正量を、図６（Ａ）のように、中間輝度において正の極大値をとるように変化させるものとするとき、補正特性は以下の２次関数として表される。
Ｙ_２ ＝Ｙ_１ ＋ａＹ_１ （Ｙ_１ −Ｙ_ｍａｘ ） … （２）
（ただしａ≧０、Ｙ_１ ：入力輝度値、Ｙ_２ ：出力輝度値、Ｙ_ｍａｘ ：入力輝度値の最大値）
【００２７】
式２より、この補正特性は右辺第一項が直線Ｙ_２ ＝Ｙ_１ 、右辺第２項がＹ_２ ＝ａＹ_１ （Ｙ_１ −Ｙ_ｍａｘ ）という２次関数に分解され（図６（Ｂ）参照）、第２項が入力値に対する出力値の補正量を調整していることがわかる。ここで、係数ａが、ゲインＧが代入される変数であり、この値が大きいほど補正量は増大する。なお、係数ａ（ゲインＧ）の値を指標値ＡＰＬの増大に伴って正の値から負の値をとるように変化させるようにすれば、式２においては係数ａが正負にわたって変化し、図７のように、補正特性をさらに変化させることができる。なお、本実施の形態では、ゲイン算出手段２５，補正特性算出手段２６が、本発明の「補正特性決定手段」に対応している。
【００２８】
輝度補正手段２７は、補正特性算出手段２６にて算出される補正特性を用いてガンマ補正を行うものである。
【００２９】
次に、本実施の形態に係る画像表示装置の動作について説明する。
【００３０】
入力画像信号は、例えばＲＧＢ信号であればマトリクス回路１０１にてＹＵＶ信号に変換されるなどにより、ＹＵＶ信号Ｙ_ＩＮ，Ｕ_ＩＮ，Ｖ_ＩＮとしてＹＵＶ処理部１００に入力される。ＹＵＶ処理部１００では、ＹＵＶ処理回路１０による処理後に、ＹＵＶ信号Ｙ_１ Ｕ_１ Ｖ_１ が出力される。
【００３１】
次に、輝度伸張部２０は、このうち輝度信号Ｙ_１ を取り込み、その輝度伸張（ガンマ補正）を輝度補正手段２７において行う。このときに用いられる補正特性は、以下の手順によって予め得られたものである。
【００３２】
補正対象をフレームＦ_ｎ とすると、指標値算出手段２４は、平均輝度算出手段２３から入力されたフレームＦ_ｎ−１ ，Ｆ_ｎ−２ の平均輝度値ＡＹ_ｎ−１ ，ＡＹ_ｎ−２ について、式１によりその加重平均を求め、指標値ＡＰＬとして出力する（図４）。この操作は、平均輝度値ＡＹに対し、時間方向のフィルタリングに他ならず、得られる指標値ＡＰＬは、フレーム間の急激な輝度変化をならした平均輝度値とみなすことができる。
【００３３】
ゲイン算出手段２５は、例えば図５のゲインコントロール直線２５１，２５２等の応答特性に応じて、この指標値ＡＰＬに対応するゲインＧを算出する。応答特性は、基本的に、指標値ＡＰＬが小さい（画面が暗い）場合にはガンマ補正の補正量を多くするためにゲインＧの値を大きくとる関数であり、図６（Ａ）のように補正特性を変化させる場合には、指標値ＡＰＬが最大、または閾値Ａ２以上であればＧ＝Ｇ_ｍｉｎ ＝０として出力輝度を入力と同じとし、反対に指標値ＡＰＬが最小、または閾値Ａ１以下であればＧ＝Ｇ_ｍａｘ とすることが考えられる。ここで得られたゲインＧは、補正特性算出手段２６に入力される。補正特性算出手段２６では、ゲインＧに応じた補正強度をもつガンマ補正曲線が算出され、これが輝度補正手段２７に入力される。
【００３４】
このような補正特性は、時系列的に補正対象の１つ前のフレームＦ_ｎ−１ と２つ前のフレームＦ_ｎ−２ とを参照して生成されたものであるが、通常の表示状態では隣接フレーム間における輝度差はそれほど大きくないため、参照輝度と補正対象の輝度の差異は問題とならず、１つ前のフレームのみ参照して得た特性でも適切な補正を行うことができる。しかし、映像の急激な場面転換や、テレビジョン放送などにおける番組からコマーシャルへの転換など、前のフレームと次のフレームとでは映像が全く異なる場合も往々にしてある。こうした場合には、１つ前のフレームのみを参照すると、実際の輝度値と指標値がかけ離れた値となって不適切な補正が行われることがある。
【００３５】
例えば、図８のように、入力画像が明るい場面（高輝度）と暗い場面（低輝度）を交互に繰り返す場合を考えてみる。なお、図８ではフレーム画面の輝度を斜線のピッチで表している。本実施の形態の画像表示装置では、図８（Ａ）のように、フレームＦ_ｎ の補正の指標としてフレームＦ_ｎ−１ と２つ前のフレームＦ_ｎ−２ とを参照することから、指標値ＡＰＬは時間的な変動が抑えられ、比較的なめらかに推移する。そのため、補正自体の強度も輝度に対して敏感に応答したものではなくなり、明るい画面に対しさらに輝度を向上させるような補正をしたり、逆に暗い画面にほとんど輝度補正がなされなかったりすることが抑制される。これが輝度補正量に対する時間フィルタの効果である。
【００３６】
これに対し、時間フィルタを用いず、補正対象より１つ前のフレームのみ参照して補正量を決定する場合を比較のために説明する。この場合には、指標とする平均輝度と補正画面の輝度とが大きく異なるために、補正後の画像出力は図８（Ｂ）のようになる。フレームＦ_ｎ−１ の平均輝度値は大きいので、そのまま指標とすると補正のゲインは小さく、フレームＦ_ｎ のための補正特性は補正量が少ないか、逆に中間輝度以下の輝度を落とす傾向をもつように定められる。このため、フレームＦ_ｎ は暗い画面であるのに、ほとんど輝度補正がなされない（あるいはより暗くなる）。また逆に、明るい画面であるフレームＦ_ｎ−１ ，フレームＦ_ｎ＋１ などでは、暗い画面であるフレームＦ_ｎ−２ ，Ｆ_ｎ を参照することで大きなゲインの補正特性により輝度が補正され、輝度が全体的に押し上げられてより明るい画面になる。その結果、当初の目的であるコントラスト強調の効果はあまり得られず、また画面の明暗の繰り返しが余計に強調されて見づらい画像となる。
【００３７】
輝度伸張部２０では、このようにして得られたガンマ補正特性を用い、輝度補正手段２７においてフレームＦ_ｎ の輝度を補正すると同時に、平均輝度算出手段２３〜補正特性決定手段２６においては、このフレームＦ_ｎ とフレームＦ_ｎ−１ の平均輝度値ＡＹ_ｎ ，ＡＹ_ｎ−１ から、次に補正対象となるフレームＦ_ｎ＋１ のための指標値ＡＰＬ、ゲインＧ、さらにはガンマ補正曲線を求める。
【００３８】
輝度伸張部２０から出力されるフレームＦ_ｎ の補正後の輝度信号Ｙ_２ と、色差信号Ｕ_１ ，Ｖ_１ は、共にＹＵＶ処理回路３０に入力され、さらなる処理後にＹＵＶ信号Ｙ_ＯＵＴ ，Ｕ_ＯＵＴ ，Ｖ_ＯＵＴ として出力される。これらを、マトリクス回路１０２がＲＧＢ信号に再生し、ＲＧＢ信号処理部１０３に出力する。ＲＧＢ信号処理部１０３は、ＲＧＢ信号を基に駆動信号を生成し、表示部１０４に出力する。表示部１０４は、入力される駆動信号に応じて画像表示を行う。
【００３９】
＜本実施の形態の効果＞
以上説明したように本実施の形態の画像表示装置では、輝度の補正の際に、補正対象のフレームＦ_ｎ に対し１つ前のフレームＦ_ｎ−１ と２つ前のフレームＦ_ｎ−２ の各平均輝度値ＡＹ_ｎ−１ ，ＡＹ_ｎ−２ の加重平均をとり、時間フィルタを施した輝度値（指標値ＡＰＬ）を指標として補正強度（ゲインＧ）を求めるようにしたので、補正強度の時間的変動は平滑化される。そのため、補正強度は、時系列的な輝度の変動傾向に応じて求められる。よって、輝度の補正対象であるフレームと、補正強度の指標を得るために参照するフレームとが合致しておらず、フレーム間の輝度変動が大きな場合であっても、指標値ＡＰＬはその急激な変化には応答せず、より長い時系列における平均輝度値を反映したものとなる。よって、この指標値ＡＰＬに基づくゲインＧをもつ補正特性を用いることで、補正対象フレームの輝度からかけ離れた補正を行うことは抑制され、不適切な輝度補正を回避することができる。
【００４０】
また、この輝度補正では、複数の平均輝度値ＡＹを格納するメモリを備えておく必要があり、補正特性を設定するまでに各種の関数に基づく複雑な演算を行う必要がある。そのため、特に、画像信号をディジタルデータとして扱う信号処理回路上で好適に実現することができる。
【００４１】
［変形例］
次に、上記第１の実施の形態に対する変形例について説明する。指標値ＡＰＬを求める式１の係数αは、０≦α≦１の範囲内で固定値としてもよいが、変数として扱うようにしてもよい。具体例としては、数フレーム分の平均輝度値を蓄積する回路あるいはメモリを具備するようにし、一連の平均輝度データから、その変化のパターンを検出し、パターンによって係数αを変えることが考えられる。例えば、フレーム間の平均輝度変化がほとんどないようなパターンを検出した場合には、α値を０．５〜１として重みを直前のフレームＦ_ｎ−１ の側におくようにし、明暗が繰り返されるようなパターンを検出した場合には、α値を０．５にしてフレームＦ_ｎ−１ とフレームＦ_ｎ−２ とで半々の重みづけをするとよい。式１は、もともとゲインＧの変動を抑えるために意図的に指標値ＡＰＬの変動を抑えるようにしたものであるが、このように平均輝度の推移に応じて係数αを変えることで、補正対象フレームの輝度により適合した補正を行うような指標値ＡＰＬを得るものとすることができる。
【００４２】
また、式１では、指標値ＡＰＬを求めるのに２フレーム分の平均輝度を用いているが、場合によっては、数フレーム分の輝度値を参照するようにしてもよい。この変形例では、得られる指標値ＡＰＬ、およびゲインＧはさらに時間的に平滑化されたものとなる。
【００４３】
〔第２の実施の形態〕
図９は、第２の実施の形態における画像表示装置の要部構成を表し、図１０は、そのうち輝度伸張部の構成を表すブロック図である。この画像表示装置は、補正対象フレーム自身の輝度を参照して輝度補正を行うようにしたものである。そのため、ここでは、ＹＵＶ信号Ｙ_１ Ｕ_１ Ｖ_１ はそれぞれ、フレームメモリ４０Ｙ，４０Ｕ，４０Ｖに一旦格納される。なお、その全体構成は、第１の実施の形態における画像表示装置と同様であるため、ここでは、第１の実施の形態と同様の構成要素には同一の符号を付し、説明を適宜省略する。
【００４４】
輝度伸張部２０では、輝度信号Ｙ_１ は、平均輝度値ＡＹを算出するために平均輝度算出手段２３に入力され、それとは別にフレームメモリ４０Ｙから輝度補正手段２７に入力されるようにもなっている。なお、ここでの輝度伸張部２０では、補正対象となるフレーム自身の平均輝度値ＡＹをそのまま指標としてゲインＧを求めることから、指標値算出手段２４がない点で第１の実施の形態とは異なっている。また、そのガンマ補正曲線を求める具体的な動作は、第１の実施の形態における指標値ＡＰＬが平均輝度値ＡＹ_ｎ であると読み替えたものとなる。このように、本実施の形態では、平均輝度算出手段２３が本発明の「指標値取得手段」に対応している。
【００４５】
なお、色差信号Ｕ_１ Ｖ_１ は、フレームメモリ４０Ｕ，４０Ｖを介することで、輝度補正後の輝度信号Ｙ_２ と同期してＹＵＶ処理回路３０に出力されるようになっている。
【００４６】
このような画像表示装置では、表示しようとするフレームＦ_ｎ に対し、以下のような輝度補正が施される。
【００４７】
まず、フレームＦ_ｎ の輝度信号Ｙ_１ を、輝度伸張部２０に入力し、平均輝度算出手段２３においてフレームＦ_ｎ の平均輝度値ＡＹ_ｎ を算出する。次に、ゲイン算出手段２５は、平均輝度値ＡＹ_ｎ を基に（指標値ＡＰＬとみなして）、例えば図５のゲインコントロール直線２５１，２５２等の応答特性よりゲインＧを算出する。すなわち、ここで得られるゲインＧは、平均輝度値ＡＹ_ｎ が小さい（画面が暗い）と大きく、平均輝度値ＡＹ_ｎ が大きい（画面が明るい）と小さくなるように調整される。こうして得られたゲインＧは、補正特性算出手段２６に入力される。
【００４８】
補正特性算出手段２６は、例えば式２より、ゲインＧに応じた補正強度をもつガンマ補正曲線を算出し、輝度補正手段２７に入力する。輝度補正手段２７は、フレームＦ_ｎ の輝度信号Ｙ_１ をフレームメモリ４０Ｙから読み出し、これに対し、入力された補正特性を用いてガンマ補正を施す。このときの補正特性は、補正対象であるフレームＦ_ｎ 自身の平均輝度値ＡＹ_ｎ を参照して補正量が定められたものであることから、まさにフレームＦ_ｎ に適合した輝度補正がなされる。
【００４９】
これにより、従来の輝度補正で問題となっていた、参照フレームの輝度と補正対象フレームの輝度の違いによって生じる不適切な輝度伸張は、この場合には起こり得ず、各自のフレームに対して、意図した通りの補正特性に基づいた、適切なコントラスト調整を行うことができる。
【００５０】
また、例えば、図１１に示したように、入力画像の明暗がフレーム間で急激に転換する場合を考えてみる。なお、この図１１では、各フレーム画面の輝度を斜線のピッチで表している。この第２の実施の形態の画像表示装置では、フレームメモリ４０Ｙを用いることで、平均輝度値ＡＹを参照したフレーム自身に、その平均輝度値ＡＹを基にして得た特性で輝度補正を施すので、各フレームは自身以外のフレームの輝度値の影響を受けない。図１１（Ａ）のように、フレームＦ_ｎ−１ とフレームＦ_ｎ の間を境に入力画像が暗い場面（低輝度）から明るい場面（高輝度）へと急に変わるときでも、フレームＦ_ｎ は、それ以前のフレームＦ_ｎ−１ ，Ｆ_ｎ−２ の低い輝度には関係なく、平均輝度値ＡＹ_ｎ のみを指標としてゲインＧを相応に小さく設定することができる。よって、その出力画面は、入力画面に比べて輝度はほとんど変わらないか、若干暗く補正される。一方、従来のように、フレームメモリを用いず、補正対象より１つ前のフレームを参照して補正量を決定する場合には、フレームＦ_ｎ−１ から急激に輝度が変化したフレームＦ_ｎ の補正後の画像出力は、図１１（Ｂ）のようになる。フレームＦ_ｎ−１ の平均輝度は低いので、補正のゲインは大きく設定され、低輝度画面向きの補正特性が得られる。したがって、この補正特性をフレームＦ_ｎ に適用すると、さらに輝度が押し上げられ、明るすぎてコントラストがとれない「白浮き」の状態となる可能性がある。
【００５１】
逆に、入力画像が明るい場面（高輝度）から暗い場面（低輝度）へと急激に変わる場合にも同様のことが言える。本実施の形態では、補正画面であるフレームＦ_ｎ 自体の平均輝度値ＡＹ_ｎ のみを指標とするために、ゲインＧを相応に大きく設定することができる。しかし、従来の場合には、フレームＦ_ｎ−１ の平均輝度が高いためにゲインは小さく設定され、フレームＦ_ｎ に対し高輝度画面向きの補正特性が適用されることになる。その結果、輝度が押し下げられ、暗過ぎてコントラストがとれない「黒沈み」の状態となる可能性がある。通常、１フレームのみの「白浮き」，「黒沈み」はほとんど視認者に認識されることはないが、リフレッシュレート（フレーム周波数）が低い場合には認識されることもあり得、本実施の形態の画像表示装置では、こうした問題も解決される。
【００５２】
このように本実施の形態では、フレームメモリ４０Ｙに一旦補正対象フレームの輝度信号Ｙ_１ を格納し、この輝度信号Ｙ_１ を、輝度信号Ｙ_１ 自身を基にして得た補正特性を用いて補正するようにしたので、前後のフレームにおける輝度変動に影響されることなく、常に、個々のフレームに適合した輝度補正を行うことができる。また、このようにフレームメモリを用いる輝度補正は、特に、画像信号をディジタルデータとして扱う信号処理回路上で好適に実現することができる。
【００５３】
なお、本発明は、上記実施の形態に限定されず種々の変形実施が可能である。例えば、第１の実施の形態ではフレームＦ_ｎ の補正の指標としてフレームＦ_ｎ−１ とフレームＦ_ｎ−２ とを参照するようにしたが、さらに多くのフレームを参照するようにしても構わない。ただし、多くのフレームを参照するほど演算所要時間は延び、指標値ＡＰＬの変化は鈍くなるので、補正対象フレームの直前の２〜３のフレームについて輝度平均をとるのが適当である。
【００５４】
また、第２の実施の形態では、フレームＦ_ｎ の補正指標をフレームＦ_ｎ 自身の輝度のみとしたが、フレームＦ_ｎ を含んで連続する複数フレームの輝度を参照するようにすることもできる。この場合には、フレームＦ_ｎ 以外のフレーム、例えばフレームＦ_ｎ−１ ，Ｆ_ｎ−２ の輝度の影響を受けることで、完全にフレームＦ_ｎ に適合した輝度補正がなされるとは限らないが、第１の実施の形態で説明したように、フレーム間で大きな輝度変動が生じたときには、輝度変動を抑えるように作用し、画面のチラつきを抑制するという効果が期待できる。なお、その場合に、第１の実施の形態の変形例のように、指標値における係数αを変化させるようにしてもよく、基本的に、フレームＦ_ｎ の輝度平均値ＡＹ_ｎ に最も重みをつけるとよい。
【００５５】
なお、上記の各実施の形態では、指標値ＡＰＬに対するゲインＧの応答特性は、指標値ＡＰＬが大きくなるに従って減少する関数として説明したが、これは必ずしも数式で表現される必要はなく、こうした傾向をもつものであれば任意に設定してよい。また、補正特性を２次関数として説明したが、これもゲインＧに応じて調整可能な任意の関数としてよい。具体的には、図１２に示したような３次関数とすることができる。これによれば、低輝度側の輝度階調を上げると同時に、高輝度側の輝度階調を意図的に抑制することができる。このように、補正特性は、２次以上の多次関数などにより適宜設定されてよい。
【００５６】
【発明の効果】
以上説明したように、本発明に係る画像処理装置および画像表示装置、並びに画像処理方法によれば、画像データから各画面の平均輝度値を算出し、さらに、時系列的に連続する複数画面のそれぞれについて得られた複数の平均輝度値を基に指標輝度値を算出し、指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定し、補正特性を用いて画面ごとの輝度階調を補正するようにしたので、各画面の輝度階調が、指標輝度値に応じた補正強度の補正特性により補正される。指標輝度値は、複数画面にわたって輝度を参照することから、時間変動が平滑化された平均輝度値とみなされ、この指標輝度値に対応して求められる補正強度は、時系列的な変動が抑えられたものとなる。そのため、こうした補正強度をもつ補正特性は、補正対象の画面の輝度におよそ適合しない特性となることが回避される。したがって、輝度階調の補正が不適切であったために、逆にコントラスト等、画質を低下させるという問題を解消することができる。
【００５７】
また、本発明の他の画像処理装置および画像表示装置、並びに画像処理方法によれば、入力される画像データを、輝度補正の対象となる画面について一旦保持すると共に、画像データから各画面の平均輝度値を算出し、そのうち少なくとも補正対象とする画面の平均輝度値に基づいて指標輝度値を算出し、指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定し、一旦保持された補正対象画面の画像データに対し、補正特性を用いて輝度階調の補正を行うようにしたので、各画面の輝度階調が、指標輝度値に応じた補正強度の補正特性により補正されるだけでなく、その補正強度は、必ず補正対象となる画面自身の輝度を参照したものとされる。したがって、補正特性を、常に補正対象である個々のフレームの輝度に合わせることが可能となり、不適切な補正を施すことが回避されるばかりか、より適切な輝度階調に補正することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像表示装置の全体構成を示すブロック図である。
【図２】図１に示した輝度伸張部における輝度伸張処理、および処理の対象となる輝度信号の概念的な形態を説明するための図である。
【図３】図１に示した輝度伸張部の構成を示すブロック図である。
【図４】図１に示した輝度伸張部における輝度伸張処理方法について説明するための図である。
【図５】図２に示したゲイン算出手段における指標値に対するゲイン応答特性の具体例を示す図である。
【図６】図２に示した補正特性算出手段における補正特性の具体例であり、（Ａ）は、中間輝度において正の極大値をとる特性を示し、（Ｂ）は（Ａ）の特性がゲインにより変化することを説明する図である。
【図７】図２に示した補正特性算出手段における補正特性の具体例であり、中間輝度における極大値が正から負まで変化可能な場合の特性を示す図である。
【図８】図２に示した輝度伸張部における輝度補正について説明するための図であり、（Ａ）は図２の輝度伸張部における入出力画像を示し、（Ｂ）は従来の輝度伸張方法を施す場合の入出力画像を示す。
【図９】本発明の第２の実施の形態に係る画像表示装置の要部構成を示すブロック図である。
【図１０】図９に示した輝度伸張部に関し、さらに詳細な構成を示すブロック図である。
【図１１】図９に示した輝度伸張部における輝度補正について説明するための図であり、（Ａ）は図２の輝度伸張部における入出力画像を示し、（Ｂ）は従来の輝度伸張方法を施す場合の入出力画像を示す。
【図１２】図２または図９に示した輝度伸張部にて設定される補正特性の変形例を示す図である。
【符号の説明】
１０，３０…ＹＵＶ処理回路、２０…輝度伸張部、２１…加算器、２２…Ｄフリップフロップ回路、２３…平均輝度算出手段、２４…指標値算出手段、２５…ゲイン算出手段、２６…補正特性算出手段、２７…輝度補正手段、４０Ｙ，４０Ｕ，４０Ｖ…フレームメモリ、１００…ＹＵＶ処理部、１０１，１０２…マトリクス回路、１０３…ＲＧＢ信号処理部、１０４…表示部、Ｙ_１ ，Ｙ_２ …輝度信号、ＡＰＬ…指標値、Ｆ（Ｆ_ｎ−１ ，Ｆ_ｎ ）…フレーム、ＡＹ（ＡＹ_ｎ−１ ，ＡＹ_ｎ ）…平均輝度値、Ｇ…ゲイン、２５１，２５２…ゲインコントロール直線。

Claims (16)

1. 画像データから各画面の平均輝度値を算出する平均輝度算出手段と、
   時系列的に連続する複数画面のそれぞれについて得られた複数の平均輝度値を基に指標輝度値を算出する指標値算出手段と、
   前記指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定する補正特性決定手段と、
   前記補正特性を用いて画面ごとの輝度階調を補正する輝度補正手段と
   を備えたことを特徴とする画像処理装置。
2. 前記指標値算出手段は、前記指標輝度値を、補正対象の画面よりも前の複数の画面についての各平均輝度値の加重平均として求める
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記指標値算出手段は、前記指標輝度値を、補正対象の画面およびその直前の画面を含んだ複数の画面についての各平均輝度値の加重平均として求める
   ことを特徴とする請求項１記載の画像処理装置。
4. さらに、入力される画像データを、輝度補正の対象となる画面について一旦保持するデータ保持手段を備え、
   各画面の画像データを、前記データ保持手段を介して前記輝度補正手段に出力することにより１画面分遅延させるように構成されている
   ことを特徴とする請求項３記載の画像処理装置。
5. 前記補正強度は、
   前記指標輝度値が第１の閾値以下では最大値となり、前記指標輝度値が第１の閾値と第２の閾値との間の値であれば前記指標輝度値の増大に伴って減少する一直線上の値をとり、前記指標輝度値が第２の閾値以上では最小値となる
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記補正特性が２次以上の関数で表されると共に、
   前記補正強度は、前記指標輝度値の増大に伴って正の値から負の値をとるように変化する
   ことを特徴とする請求項１記載の画像処理装置。
7. 入力される画像データを、輝度補正の対象となる画面について一旦保持するデータ保持手段と、
   画像データから各画面の平均輝度値を算出し、そのうち少なくとも補正対象とする画面の平均輝度値に基づいて指標輝度値を算出する指標値取得手段と、
   前記指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定する補正特性決定手段と、
   前記補正特性を用いて、一旦保持された補正対象画面の画像データに対し輝度階調の補正を行う輝度補正手段と
   を備えたことを特徴とする画像処理装置。
8. 前記データ保持手段は、フレームメモリである
   ことを特徴とする請求項７記載の画像処理装置。
9. 前記指標値取得手段は、前記指標輝度値を、補正対象とする画面自体の平均輝度値として求める
   ことを特徴とする請求項７記載の画像処理装置。
10. 前記指標値取得手段は、前記指標輝度値を、補正対象とする画面自体の平均輝度値、および、この画面と時系列的に連続する複数画面の平均輝度値の加重平均として求める
    ことを特徴とする請求項７記載の画像処理装置。
11. 前記補正強度は、
    前記指標輝度値が第１の閾値以下では最大値となり、前記指標輝度値が第１の閾値と第２の閾値との間の値であれば前記指標輝度値の増大に伴って減少する一直線上の値をとり、前記指標輝度値が第２の閾値以上では最小値となる
    ことを特徴とする請求項７記載の画像処理装置。
12. 前記補正特性が２次以上の関数で表されると共に、
    前記補正強度は、前記指標輝度値の増大に伴って正の値から負の値をとるように変化する
    ことを特徴とする請求項７記載の画像処理装置。
13. 画像データから各画面の平均輝度値を算出する平均輝度算出手段と、
    時系列的に連続する複数画面のそれぞれについて得られた複数の平均輝度値を基に指標輝度値を算出する指標値算出手段と、
    前記指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定する補正特性決定手段と、
    前記補正特性を用いて画面ごとの輝度階調を補正する輝度補正手段と
    を備えたことを特徴とする画像表示装置。
14. 入力される画像データを、輝度補正の対象となる画面について一旦保持するデータ保持手段と、
    画像データから各画面の平均輝度値を算出し、そのうち少なくとも補正対象とする画面の平均輝度値に基づいて指標輝度値を算出する指標値取得手段と、
    前記指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定する補正特性決定手段と、
    前記補正特性を用いて、一旦保持された補正対象画面の画像データに対し輝度階調の補正を行う輝度補正手段と
    を備えたことを特徴とする画像表示装置。
15. 画像データから各画面の平均輝度値を算出し、さらに、時系列的に連続する複数画面のそれぞれについて得られた複数の平均輝度値を基に指標輝度値を算出し、
    前記指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定し、
    前記補正特性を用いて画面ごとの輝度階調を補正する
    ことを特徴とする画像処理方法。
16. 入力される画像データを、輝度補正の対象となる画面について一旦保持すると共に、画像データから各画面の平均輝度値を算出し、そのうち少なくとも補正対象とする画面の平均輝度値に基づいて指標輝度値を算出し、前記指標輝度値に基づいて補正強度を求め、この補正強度に応じて画面ごとの輝度階調の補正特性を決定し、
    一旦保持された補正対象画面の画像データに対し、前記補正特性を用いて輝度階調の補正を行う
    ことを特徴とする画像処理方法。

Images