JP2007292804A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 限られたダイナミックレンジの中でコントラストを強調した際に生じる部分的な黒潰れや白潰れを低減させ、画像の輝度値を調整可能とする。
【解決手段】 入力画像の着目画素を含む第１の画像領域の画像情報から第１の変換特性を算出し、第１の画像領域を含む第２の画像領域の画像情報から第２の変換特性を算出し、第１及び第２の変換特性と重み係数を用いて第３の変換特性を算出する。そして、第３の変換特性に基づいて着目画素の輝度値を変換して出力する。
【選択図】 図３

Description

本発明は、入力画像の輝度値を変換して出力する技術に関する。

近年、プラズマディスプレイや液晶ディスプレイ、リアプロジェクションディスプレイなどの大画面で薄型な表示装置が普及している。

一般的に、このような表示装置では個々の表示装置の特性により再現可能な画像の輝度レベルの範囲（ダイナミックレンジ）に制限が生じるため、限られたダイナミックレンジの中で、コントラストを強調した画像を出力するための処理が行なわれることが多い。

代表的な処理方法として、ヒストグラム平坦化処理が知られている。このヒストグラム平坦化処理の基本的な処理方法について、以下図面を用いて具体的に説明する。

図１は、ヒストグラム平坦化処理の基本的な処理方法を説明するための図である。図１において、横軸は入力輝度レベルを示し、縦軸は画素数を示す。ここで、ｘ_min は最小の入力輝度レベル、ｘ_max は最大の入力輝度レベルである。

また、縦棒で示すＨ（ｘ）は、入力輝度レベルｘの出現画素数を示す輝度ヒストグラムである。そして、点線で示すＣ（ｘ）は、入力輝度レベルｘまでの累積輝度ヒストグラムである。尚、輝度ヒストグラムと累積輝度ヒストグラムの関係は、（１）式で表すことができる。

ここで、最小の出力輝度レベルをｘ'_minとし、最大の出力輝度レベルをｘ'_maxとする。そして累積輝度ヒストグラムＣ（ｘ）の縦軸をＣ（ｘ_min ）＝ｘ'_min、Ｃ（ｘ_max ）＝ｘ'_maxに正規化する。図２は、累積輝度ヒストグラムを正規化した関数Ｃ'（ｘ）を示す図である。このＣ'（ｘ）をヒストグラム平坦化処理関数と呼ぶことにする。

輝度レベル数をＬとしたとき、Ｃ（ｘ）とＣ'（ｘ）の関係を（２）式に示す。

ヒストグラム平坦化処理とは、上述のように算出したヒストグラム平坦化処理関数Ｃ'（ｘ）を用いて入力輝度レベルを変換する処理であり、処理後、輝度レベルの分布頻度が一様となった出力画像を得ることができる。

一般的に、ヒストグラム平坦化処理は各輝度レベルを一様に用いているため、全体的にコントラストが強調された階調表現豊かな画像に変換することができる。一方、入力輝度レベルの分布頻度に大きな偏りがあると、過度なコントラストの強調がなされ、不自然な画像を出力することがある。

このため、例えば特許文献１に開示されている画質補正回路では、入力輝度レベルの出現数に制限を設けて極端な特性点の分布を抑制した画質補正処理を行なうことで、過度なコントラストの強調による画質の劣化を抑えている。
特開２００１−１２５５３５号公報

しかしながら、従来のヒストグラム平坦化処理では、画面全体の画像のヒストグラムに基づいて平坦化処理を行なっているため、部分的に階調表現が劣化してしまうという問題があった。例えば、画面全体のヒストグラムが明るい部分に偏っている場合、画面の中の部分的に輝度レベルの低い領域がより低い輝度レベルへと変換されてしまうため、部分的に薄暗い領域が黒く潰れてしまうという問題があった。

また逆に、画面全体のヒストグラムが暗い部分に偏っている場合は、画面の中の部分的に輝度レベルの高い領域がより高い輝度レベルへと変換されてしまうため、部分的に明るい領域が白く潰れてしまうという問題があった。

本発明は、限られたダイナミックレンジの中でコントラストを強調した際に生じる部分的な黒潰れや白潰れを低減させ、画像の輝度値を調整可能とすることを目的とする。

本発明は、入力画像の輝度値を変換して出力する画像処理装置であって、着目画素を含む第１の画像領域から第１の画像情報を抽出する第１の画像情報抽出手段と、前記第１の画像情報から第１の変換特性を算出する第１の変換特性算出手段と、前記第１の画像領域を含む第２の画像領域から第２の画像情報を抽出する第２の画像情報抽出手段と、前記第２の画像情報から第２の変換特性を算出する第２の変換特性算出手段と、重み係数を算出する重み係数算出手段と、前記第１の変換特性と前記第２の変換特性と前記重み係数とを用いて、前記着目画素の輝度値を変換するための第３の変換特性を算出する第３の変換特性算出手段とを備え、前記第３の変換特性に基づいて前記着目画素の輝度値を変換して出力することを特徴とする。

また、本発明は、入力画像の輝度値を変換して出力する画像処理方法であって、着目画素を含む第１の画像領域から第１の画像情報を抽出する第１の画像情報抽出工程と、前記第１の画像情報から第１の変換特性を算出する第１の変換特性算出工程と、前記第１の画像領域を含む第２の画像領域から第２の画像情報を抽出する第２の画像情報抽出工程と、前記第２の画像情報から第２の変換特性を算出する第２の変換特性算出工程と、重み係数を算出する重み係数算出工程と、前記第１の変換特性と前記第２の変換特性と前記重み係数とを用いて、前記着目画素の輝度値を変換するための第３の変換特性を算出する第３の変換特性算出工程とを有し、前記第３の変換特性に基づいて前記着目画素の輝度値を変換して出力することを特徴とする。

本発明によれば、限られたダイナミックレンジの中でコントラストを強調した際に生じる部分的な黒潰れや白潰れを低減させ、画像の輝度値を調整することが可能となる。

以下、図面を参照しながら発明を実施するための最良の形態について詳細に説明する。

［第１の実施形態］
図３は、第１の実施形態における表示装置の構成の一例を示す図である。図３において、３００は輝度値調整部、３１０は画像入力部、３２０はメモリ部、３３０は画像出力部である。まず、画像入力部３１０は、ビデオ映像信号などの画像データを受信し、所望の形式で出力するデコーダに相当する。例えば、ＤＶＩ（Digital Visual Interface）規格の信号やＭＰＥＧ形式の圧縮信号を受信し、ＲＧＢ各８ビットの計２４ビットのＲＧＢ値にデコードするデコーダなどである。

次に、メモリ部３２０は、画像入力部１０１から出力される信号を受けて、少なくとも１画面分だけ遅延させて出力するためのフレームメモリに相当する。例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）及びそのメモリコントローラ用インターフェースである。画像入力部３１０から出力される信号は、メモリ部３２０に入力されると共に、輝度値調整部３００に入力される。

次に、画像出力部３３０は、輝度値調整部３００で輝度調整された出力映像信号を画像表示デバイスに適した信号に変換して出力する。例えば、画像表示デバイスは、プラズマディスプレイや液晶ディスプレイ、リアプロジェクションディスプレイなどである。

ここで、輝度値調整部３００の詳細な構成及び画像入力部３１０から入力された信号の輝度値を調整する輝度値調整処理について説明する。

図４は、輝度値調整部３００における輝度値調整処理を説明するための図である。図４において、４０１は基準点（黒く塗り潰されたドット）、４０２は基準点４０１を中心とした一定サイズの領域、４００は画面全体の領域である。

第１の実施形態では、着目画素が基準点４０１の位置にある時、基準点４０１を中心とした一定サイズの領域４０２を第１の画像領域とし、画面全体の領域４００を第２の画像領域とする。そして、第１の画像領域から輝度ヒストグラム（第１の輝度ヒストグラムと称す）を求め、第２の画像領域から輝度ヒストグラム（第２の輝度ヒストグラムと称す）を求める。更に、第１及び第２のヒストグラムを合成した輝度ヒストグラム（第３の輝度ヒストグラムと称す）に基づいて変換関数を算出し、算出した変換関数によって着目画素の輝度値を調整する。

尚、着目画素とは、第１の画像領域を設定する上での基準点であり、また輝度値を調整する対象画素でもある。また、入力信号において、全画素を逐次着目画素として扱うことで、画面全体の輝度値調整を行なっている。

図３に示す輝度値調整部３００において、３０２は第２の画像情報抽出部であり、画像入力部３１０からの映像信号を受けて第２の画像領域の映像信号を抽出し、輝度値に変換する。３０４は第２の輝度ヒストグラム算出部であり、第２の画像情報抽出部３０２からの輝度値を入力し、第２の画像領域における輝度ヒストグラム（第２の輝度ヒストグラム）をフレーム毎に算出する。算出後の第２の輝度ヒストグラムは、フレーム毎に後述する変換特性算出部に格納される。

３０１は第１の画像情報抽出部であり、メモリ部３２０からの映像信号を受けて着目画素の位置を決定し、着目画素の位置情報に基づいて第１の画像領域の映像信号を抽出し、輝度値に変換する。３０３は第１の輝度ヒストグラム算出部であり、第１の画像情報抽出部３０１からの輝度値を入力し、第１の画像領域における輝度ヒストグラム（第１の輝度ヒストグラム）を着目画素の位置が変更される毎に算出する。算出後の第１の輝度ヒストグラムは、着目画素の位置が変更される毎に後述する変換特性算出部に格納される。

上述したように、第１の実施形態では、着目画素を中心とした一定サイズの領域４０２を第１の画像領域としているため、着目画素の位置を変更する度に第１の画像領域の位置も変更される。そのため、着目画素の位置を変更する度に第１の輝度ヒストグラムを算出する必要がある。

一方、第２の画像領域は画面全体の領域４００であるため、着目画素の位置によらず、第２の画像領域は一定である。つまり、第２の輝度ヒストグラムはフレーム毎（表示画面が切り替わる毎）に算出すれば良い。

また、メモリ部３２０を備えることにより、第１の画像情報抽出部３０１と第２の画像情報抽出部３０２は同一の映像信号を異なるタイミングで処理することができる。従って、領域面積が大きいために輝度ヒストグラム算出までに多くの処理量を要する第２の輝度ヒストグラムは予め算出しておき、後述する変換特性算出部に格納する。一方、領域面積が小さいために処理量の少ない第１の輝度ヒストグラムはメモリ部３２０からの映像信号を用いて逐次算出し、格納することが可能となる。

第１の画像情報抽出部３０１と第２の画像情報抽出部３０２において、入力映像信号から輝度値を求める場合、例えば（３）式に基づいて行なう。但し、入力映像信号（ＲＧＢ値）をＲ_in、Ｇ_in、Ｂ_in、輝度値をＹ_inとする。

Ｙ_in＝0.299Ｒ_in＋0.587Ｇ_in＋0.114Ｂ_in （３）
ここで、第１の輝度ヒストグラム算出部３０３と第２の輝度ヒストグラム算出部３０４における輝度ヒストグラム算出方法について説明する。

まず、輝度ヒストグラムは、入力輝度値毎に入力輝度値の出現画素数をカウンタによりカウントすることで求めることができる。ここで、図５〜図８を用いて、第１の実施形態における輝度ヒストグラムの算出方法を具体的に説明する。

図５は、入力輝度値のダイナミックレンジが８ビット（２５６値）の時に、輝度レベル数を１６個に分割した場合の輝度ヒストグラムの一具体例を示す図である。また、図６は、図５に示す輝度ヒストグラムの入力輝度値と輝度レベルとの対応関係を示す図である。図５、図６に示すように、まず輝度レベル毎にカウンタを用意し、図６に示す対応関係に基づいて入力輝度値がどの輝度レベルに該当するかを判断し、輝度レベル毎に出現画素数をカウントすることで求めることができる。

尚、上述の輝度レベル数は１６個に限らず、いくつであっても良い。例えば、図７は、輝度レベル数を８個に分割した場合の輝度ヒストグラムの一具体例を示す図である。また、図８は、図７に示す輝度ヒストグラムの入力輝度値と輝度レベルとの対応関係を示す図である。

図３に戻り、３０６は変換特性算出部であり、上述の第１の輝度ヒストグラムと第２の輝度ヒストグラムと後述する重み係数とから合成処理及び制限処理を行ない、変換関数を算出する。ここで、図９〜図１２を用いて、この変換特性算出部３０６における合成処理及び制限処理について具体例を用いてそれぞれ説明する。

図９〜図１１は、第１の実施形態における輝度ヒストグラム合成処理の一具体例を示す図である。図中、横軸ｘは入力輝度レベルを示し、縦軸は出現画素数を示す。

図９において、Ｈ₁(x)は、例えば図４に示す着目画素４０１を中心とした一定サイズの領域４０２（第１の画像領域）から第１の輝度ヒストグラム算出部３０３が求めた第１の輝度ヒストグラムである。同様に、Ｈ₂(x)は、図４に示す画面全体の領域４００（第２の画像領域）から第２の輝度ヒストグラム算出部３０４が求めた第２の輝度ヒストグラムである。

この合成処理では、第１の輝度ヒストグラムＨ₁(x)と第２の輝度ヒストグラムＨ₂(x)を（４）式に基づいて輝度レベル毎に加算し、第３の輝度ヒストグラムＨ(x)を求める。ここで、ｗ₁、ｗ₂は重み係数である。

Ｈ(x)＝ｗ₁・Ｈ₁(x)＋ｗ₂・Ｈ₂(x) （４）
重み係数を使用せずに輝度ヒストグラムを加算すると、第２の輝度ヒストグラムの方が第１の輝度ヒストグラムより第３の輝度ヒストグラムに対する比重が大きくなってしまう。これは、第２の輝度ヒストグラムが第１の輝度ヒストグラムに比べて、画像領域サイズの大きい（画素数の多い）領域の輝度値から算出されるためである。そこで、第１の実施形態では、第１の画像領域と第２の画像領域との、各々の領域サイズ（画素数）によって重み係数算出部３０５が重み係数を設定する。

例えば、フルＨＤ（１９２０×１０８０画素）の表示装置を用いた場合に、第１の画像領域サイズを１６×１６画素、第２の画像領域サイズを１９２０×１０８０画素と設定する。この場合、重み係数としては、ｗ₁＝１０２４、ｗ₂＝１、程度とするのが好ましい。また、回路規模を考慮してｗ₁＝１、ｗ₂＝１／１０２４としても良い。

図１０は、重み係数を付加した後の第１の輝度ヒストグラムと第２の輝度ヒストグラムを示す図である。この例は、第１の輝度ヒストグラムの比重を大きくした場合の例である。図１１は、第１の輝度ヒストグラムと第２の輝度ヒストグラムとを加算した後の第３の輝度ヒストグラムを示す図である。第３の輝度ヒストグラムは、上記（１）式、（２）式に基づいてヒストグラム平坦化処理関数Ｃ'（ｘ）に変換される。

前述したように、ここで求めたヒストグラム平坦化処理関数は、画面全体の輝度情報と、着目画素周辺の部分的な輝度情報の両者を含む輝度ヒストグラムに基づいて算出されている。

このため、従来の、画面全体の輝度情報のみから求めたヒストグラム平坦化処理関数によって着目画素の輝度値を変換する場合と比較して、着目画素の輝度レベル近辺が、より広い輝度レベルへと変換される可能性が高くなる。つまり、従来、問題となった部分的に薄暗い領域が黒く潰れてしまうという問題や、部分的に明るい領域が白く潰れてしまうという問題が低減される。

一方、ヒストグラム平坦化処理関数をそのまま用いて輝度値の調整を行なうと、ヒストグラム平坦化処理関数の変換特性によっては、過度な輝度伸張が施されてしまい、不自然な画像が出力されることがある。このため、変換特性算出部３０６では、過度な輝度伸張を抑えるために、ヒストグラム平坦化処理関数の変換強度に対して制限処理を行なう。

次に、変換特性算出部３０６におけるヒストグラム平坦化処理関数の制限処理について具体例を用いて説明する。

図１２は、第１の実施形態における制限処理の一具体例を示す図である。図中、横軸ｘは入力輝度レベル、縦軸ｘ’は出力輝度レベルである。図１２において、（Ａ）は上述のヒストグラム平坦化処理関数である。また、（Ｂ）は入力輝度レベルと出力輝度レベルの値が等しい（ｘ＝ｘ’）、無変換時の変換特性である。ここで、この無変換時の変換特性を無変換関数と称す。

過度な輝度伸張を抑えるためには、関数が無変換時の変換特性に近いものであれば良い。そこで、変換特性算出部３０６における制限処理では、ヒストグラム平坦化処理関数の変換特性を極力保ちながら、無変換時の変換特性に一定の割合で近づける処理を行なう。具体的には、（５）式に示すように、ヒストグラム平坦化処理関数と、無変換関数の両者の差分値を求め、その差分値の４０％を無変換関数に加えている。これにより、図１２の（Ｃ）に示す変換関数が算出される。ここで、Ｆ(x)は変換関数である。

Ｆ(x)＝ｘ＋0.4（Ｃ'(x)−ｘ） （５）
尚、上記（５）式の右辺第２項における係数０．４は差分値（Ｃ'(x)−ｘ）の４０％を意味する。

ここで、図３に戻り、３０８は変換処理部であり、変換特性算出部３０６で算出された変換関数を用いて、３０７の遅延バッファから出力される着目画素の輝度値を変換する。この遅延バッファ３０７は、着目画素がメモリ部３２０から第１の画像情報抽出部３０１対して読み出された後、変換関数が算出されるまでの所要時間だけ着目画素を遅延させて出力する。

変換後の輝度値は、例えば（６）式に基づいてＲＧＢ値に逆変換し、画像出力部３３０へ出力される。ここで、着目画素の入力映像信号（ＲＧＢ値）をＲ_in、Ｇ_in、Ｂ_inとし、入力輝度値をＹ_inとする。また、着目画素の変換後の出力輝度値をＹ_outとし、出力映像信号（ＲＧＢ値）をＲ_out、Ｇ_out、Ｂ_outとする。

Ｒ_out＝Ｒ_in＋Ｙ_out−Ｙ_in
Ｇ_out＝Ｇ_in＋Ｙ_out−Ｙ_in （６）
Ｂ_out＝Ｂ_in＋Ｙ_out−Ｙ_in
尚、ＲＧＢ値への逆変換に用いる式は、上記（６）式に限定されるものではない。例えば、第１の画像情報抽出部３０１及び第２の画像情報抽出部３０２において、（７）式に基づいて輝度値Ｙと色成分Ｃb、Ｃrとに分離した後に、逆変換式を利用しても良い。

Ｙ_in＝0.299Ｒ_in＋0.587Ｇ_in＋0.114Ｂ_in
Ｃb ＝-0.169Ｒ_in−0.331Ｇ_in＋0.500Ｂ_in （７）
Ｃr ＝0.500Ｒ_in−0.419Ｇ_in−0.081Ｂ_in
次に、図１３を用いて、輝度値調整部３００において着目画素の輝度値を調整する処理について説明する。

図１３は、第１の実施形態における輝度値調整部３００の処理を示すフローチャートである。この例では、入力画像の画像サイズを横ｈ＋１画素、高さｖ＋１画素としたとき、入力画像左上の位置座標を（０，０）、右下の位置座標を（ｈ，Ｖ）と定めている。更に、画像入力部３１０から出力される映像信号の位置座標を（ｐ，ｑ）と表し、着目画素の位置座標を（ｒ，ｓ）と表している。

まず、ステップＳ１３０１において、画像入力部３１０から出力される映像信号の位置座標（ｐ，ｑ）を（０，０）に設定し、ステップＳ１３０２へ進む。ステップＳ１３０２では、画像入力部３１０から出力される映像信号をメモリ部３２０へ書き込むとともに、映像信号を輝度値に変換し、第２の輝度ヒストグラムの算出を行なう。この処理は、第２の画像情報抽出部３０２、第２の輝度ヒストグラム算出部３０４によって行なわれる。

ステップＳ１３０３〜Ｓ１３０６では、ステップＳ１３０２での算出処理が、１画面分の映像信号において全て終了しているか否かの判断を行なう。ここで、終了している場合は、次のステップＳ１３０７へ進む。また、終了していない場合は、映像信号の位置座標（ｐ，ｑ）を更新する。

ここで、（ｐ，ｑ）の更新について、具体的に説明する。まず、ステップＳ１３０３で、映像信号の位置座標が入力画像の右端（即ち、ｐ＝ｈ）か否かの判断を行ない、右端でない場合はステップＳ１３０４において、映像信号の位置座標を右隣へ移動する（つまり、ｐ＝ｐ＋１）。また、ステップＳ１３０３において、映像信号の位置座標が画像の右端（即ち、ｐ＝ｈ）である場合は、次のステップＳ１３０５へ進む。ステップＳ１３０５では、映像信号の位置座標が画像の最終ライン（即ち、ｑ＝ｖ）か否かの判断を行ない、画像の最終ラインでない場合は、ステップＳ１３０６において、映像信号の位置座標を１ライン下の左端へ移動する（即ち、ｐ＝０、ｑ＝ｑ＋１）。また、ステップＳ１３０５において、映像信号の位置座標が画像の最終ラインである場合は、次のステップＳ１３０７へ進み、算出した第２の輝度ヒストグラムを変換特性算出部３０６へ格納する。

以上の処理において、１画面分の映像信号がメモリ部３２０に書き込まれ、画面全体の輝度ヒストグラムである第２の輝度ヒストグラムの算出と、その変換特性算出部３０６への格納が完了する。

次に、ステップＳ１３０８において、メモリ部３２０から出力される映像信号を受けて着目画素の位置座標（ｒ，ｓ）を（０，０）に設定する。次、ステップＳ１３０９では、着目画素の位置座標（ｒ，ｓ）に基づいて第１の輝度ヒストグラムを算出する。この処理は、第１の画像情報抽出部３０１、第１の輝度ヒストグラム算出部３０３によって行なわれる。次に、ステップＳ１３１０において、算出した第１の輝度ヒストグラムを変換特性算出部３０６へ格納する。

次に、ステップＳ１３１１において、ステップＳ１３０７で格納した第２の輝度ヒストグラム及びステップＳ１３１０で格納した第１の輝度ヒストグラム及び重み係数を用いて、着目画素の輝度値を変換するための変換関数を算出する。そして、ステップＳ１３１２において、ステップＳ１３１１で算出した変換関数を用いて、位置座標（ｒ，ｓ）の着目画素の輝度値を変換し、新たな輝度値を得る。この処理は、変換特性算出部３０６、変換処理部３０８、重み係数算出部３０５によって行なわれる。そして、得られた輝度値は、最終的にＲＧＢ値に逆変換され、画像出力部３３０へと出力される。

次に、ステップＳ１３１３〜Ｓ１３１６では、ステップＳ１３０９〜Ｓ１３１２までの処理が、１画面分の映像信号において全て終了しているか否かの判断を行ない、終了している場合は、輝度値調整部３００における処理を終了する。また、終了していない場合は、着目画素の位置座標（ｒ，ｓ）の更新を行なう。

以上が輝度値調整部３００の処理を示すフローチャートの一具体例である。ここでは、１画面分の処理フローを示しているが、２画面以上連続して入力される映像信号に対しては上述した処理フローが並行して施される。

第１の実施形態によれば、画面全体の輝度情報と、着目画素周辺の部分的な輝度情報の両者を含む輝度ヒストグラムに基づいてヒストグラム平坦化処理関数を算出する。これにより、着目画素の輝度レベル近辺がより広い輝度レベルへと変換される可能性が高くなり、部分的に薄暗い領域が黒く潰れてしまうという問題や部分的に明るい領域が白く潰れてしまうという問題を低減することが可能となる。

また、第１の実施形態によれば、過度な輝度伸張を抑えることができるため、不自然な画像が出力される可能性が低減する。

更に、第１の実施形態によれば、メモリ部３２０を備え、第１の画像情報抽出部３０１及び第２の画像情報抽出部３０２に対して同一の映像信号を異なるタイミングで入力している。これにより、領域面積が大きいために輝度ヒストグラム算出までに多くの処理量を要する第２の輝度ヒストグラムは予め算出しておき、変換特性算出部３０６へ格納する。一方、領域面積が小さいために処理量の少ない第１の輝度ヒストグラムはメモリ部３２０から出力される映像信号を用いて逐次算出し、格納することが可能となり、これによって変換関数算出までに要する処理時間を短縮することが可能となる。

［第２の実施形態］
次に、図面を参照しながら本発明に係る第２の実施形態について詳細に説明する。第１の実施形態では、第１の輝度ヒストグラムと第２の輝度ヒストグラムの合成を行なった。第２の実施形態では、第１の輝度ヒストグラムと第２の輝度ヒストグラムとからそれぞれ第１の変換関数と第２の変換関数を求め、２つの変換関数を合成する。

図１４は、第２の実施形態における表示装置の構成の一例を示す図である。図３に示す第１の実施形態と同じ機能を有するものには同じ符号を付し、説明は省略する。図１４において、１４０１は第１の変換関数算出部、１４０２は第２の変換関数算出部、１４０３は第３の変換関数算出部である。

第１の変換関数算出部１４０１では、第１の輝度ヒストグラムを算出した後、（８）式に基づいて第１の累積輝度ヒストグラムＣ₁(x)を求める。更に、（９）式に基づいてヒストグラム平坦化処理関数Ｃ₁'(x)を求める。そして、第２の変換関数算出部１４０２でも同様に、第２の輝度ヒストグラムを算出した後、（８）式に基づいて第２の累積輝度ヒストグラムＣ₂(x)を求める。更に、（９）式に基づいてヒストグラム平坦化処理関数Ｃ₂'(x)を求める。

次に、第３の変換関数算出部１４０３では、重み係数ｗ₁、ｗ₂を考慮してヒストグラム平坦化処理関数Ｃ₁'(x)、Ｃ₂'(x)を合成処理する。具体的には（１０）式に基づく。

Ｃ₁₊₂'(x)＝ｗ₁・Ｃ₁'(x)＋ｗ₂・Ｃ₂'(x) （ｗ₁＋ｗ₂＝１） （１０）
図１５〜図１８は、第２の実施形態におけるヒストグラム平坦化処理関数の合成処理の一具体例を示す図である。図中、横軸は入力輝度レベル、縦軸は出力輝度レベルである。ここでは、図１５、図１６に示すヒストグラム平坦化処理関数を、ｗ₁＝0.5、ｗ₂＝0.5で合成した結果を図１７に示す。また、ｗ₁＝0.2、ｗ₂＝0.8で合成した結果を図１８に示す。

図１５、図１６に示すヒストグラム平坦化処理関数は、縦軸が出力輝度レベルに正規化されているため、上記（１０）式に示すように、ｗ₁＋ｗ₂＝１を満たす重み係数を与えれば良い。

図１７、図１８に示す合成結果に対して（１１）式に基づいて制限処理を行ない、変換関数Ｆ(x)を算出する。

Ｆ(x)＝ｘ＋0.4（Ｃ₁₊₂'(x)−ｘ） （１１）
ところで、上記（１１）式の制限処理は、図１７、図１８に示す合成結果に対してのみ適用する限りではなく、図１５、図１６に示すヒストグラム平坦化処理関数に対して各々適用することも可能である。この場合、例えば図１５に示すヒストグラム平坦化処理関数対しては差分値の割合を大きくし、また図１６に示すヒストグラム平坦化処理関数対しては差分値の割合を小さくすることも可能である。

第２の実施形態によれば、正規化された関数同士の合成を行なうため、第１の実施形態のように輝度ヒストグラム同士の合成を行なう場合に比べて、扱うデータ量が少なくすむというメリットがある。また、領域毎に好みの変換特性を算出することもできる。

［第３の実施形態］
次に、図面を参照しながら本発明に係る第３の実施形態について詳細に説明する。第３の実施形態では、着目画素の位置情報に応じて、重み係数の値及び画像領域サイズ、更には制限処理における差分値の割合を変更する。

図１９は、第３の実施形態における表示装置の構成の一例を示す図である。図３に示す第１の実施形態と同じ機能を有するものには同じ符号を付し、説明は省略する。図１９において、１９０１は第１の画像情報抽出部であり、メモリ部３２０から出力される映像信号を受けて着目画素の位置を決定し、着目画素が画面内のどこに位置するかという位置情報を重み係数算出部１９０２へ送信する。重み係数算出部１９０２では、着目画素の位置情報に基づいて予め用意された重み係数を選択し、変換特性算出部３０６へ出力する。

図２０は、第３の実施形態における重み係数算出方法の一具体例を示す図である。この例では、画面全体の領域４００が３つのエリア２００１、２００２、２００３に分けられている様子を示している。ここで、重み係数算出部１９０２には、各エリアの重み係数が設定されており、着目画素が３つのエリアのどこに属するかを判断した後、属するエリアの重み係数を選択して出力する。

一般的に、映像において主に表現される内容は画面中心付近に配置される傾向があり、視聴者の視線も自然と画面中心付近に向けられていることが多い。このようなことから、画面中心付近は部分的により強調した階調補正を行ない、画面周辺部に向かうに従って、その程度を弱める設定を行なうことで、映像の傾向や視聴者の視線を考慮した輝度値調整が可能となる。

また、第１の画像情報抽出部１９０１においてもエリア毎に第１の画像領域のサイズが設定されている。つまり、着目画素の位置情報に応じて、第１の画像領域のサイズを変更できる。例えば、フルＨＤ（１９２０×１０８０画素）の表示装置を用いた場合、エリア２００１には第１の画像領域サイズを４×４画素、エリア２００２には１６×１６画素、エリア２００３には３２×３２画素と設定する。この設定により、画面中心付近が部分的により強調された輝度値調整が可能となる。

また、変換特性算出部３０６における制限処理の差分値の割合（（５）式の右辺第２項における係数）についても同様に、着目画素の位置毎に変更する。

第３の実施形態によれば、上述したように、着目画素の位置毎に重み係数の値及び画像領域サイズ、更には制限処理における差分値の割合を調整することにより、画面内の位置を考慮した輝度値調整が可能となる。例えば、映像において主に表現される内容が画面中心付近に配置される傾向や視聴者の視線を考慮した輝度値調整が可能となる。

［第４の実施形態］
次に、図面を参照しながら本発明に係る第４の実施形態について詳細に説明する。第４の実施形態では、第１の輝度ヒストグラム及び第２の輝度ヒストグラムの形状に基づいて重み係数の値、更には制限処理における差分値の割合を変更する。

図２１は、第４の実施形態における表示装置の構成の一例を示す図である。図３に示す第１の実施形態と同じ機能を有するものには同じ符号を付し、説明は省略する。図２１に示す第１の輝度ヒストグラム算出部２１０１、第２の輝度ヒストグラム算出部２１０２が算出した第１の輝度ヒストグラム、第２の輝度ヒストグラムが重み係数算出部２１０３へ出力される。重み係数算出部２１０３では、入力された第１の輝度ヒストグラム及び第２の輝度ヒストグラムの分布形状を測定する。

ここで、分布形状の測定とは、例えば平均輝度値や最大、最小輝度値、輝度レベル毎の最大、最小画素数などを輝度ヒストグラムに基づいて算出することである。重み係数算出部２１０３には分布形状の測定結果毎に重み係数が設定されており、測定結果に基づいて重み係数を選択して出力する。

また、変換特性算出部３０６における制限処理の差分値の割合（（５）式の右辺第２項における係数）についても同様に、輝度ヒストグラムの分布形状によって変更する。

更に、輝度ヒストグラムの分布形状に加えて、肌や空の色といった記憶色などの色情報を部分的な画像情報から抽出し、変換特性の調整に利用することも可能である。

第４の実施形態によれば、輝度ヒストグラムの分布形状や色情報に基づいて重み係数の値、更には制限処理における差分値の割合を調整することにより、映像パターン毎に輝度情報や色情報を考慮した輝度値調整が可能となる。

［第５の実施形態］
次に、図面を参照しながら本発明に係る第５の実施形態について詳細に説明する。第５の実施形態では、更に１フレーム前の変換特性に応じて現フレームの変換特性を算出する。

図２２は、第５の実施形態における表示装置の構成の一例を示す図である。図１４に示す第２の実施形態と同じ機能を有するものには同じ符号を付し、説明は省略する。図２２において、２２０１はフレーム特性算出部である。このフレーム特性算出部２２０１には、１フレーム前の第２の変換関数が記憶される。

動画のような連続する映像信号に対して輝度値調整を行なう場合、フレーム間で補正量に大きな差が生じると、画面のフリッカー等の原因となることがある。

第５の実施形態は、このような現象を低減するために、フレーム特性算出部２２０１が１フレーム前の第２の変換関数と、現フレームの第２の変換関数との補正量に大きな差が生じないように制御する。即ち、フレーム特性算出部２２０１は、現フレームの変換特性を極力保ちながら１フレーム前の変換特性に一定の割合で近づける処理を行なう。

具体的には、１フレーム前の第２のヒストグラム平坦化処理関数と、現フレームの第２のヒストグラム平坦化処理関数との差分値を求め、その差分値の６０％を１フレーム前の第２のヒストグラム平坦化処理関数に加え、新しい変換関数を算出する。算出式を（１２）式に示す。ここで、１フレーム前の第２のヒストグラム平坦化処理関数をＣ_2old'(x)、現フレームの第２のヒストグラム平坦化処理関数をＣ_2new'(x)とする。

Ｃ₂'(x)＝Ｃ_2old'(x)＋0.6（Ｃ_2new'(x)−Ｃ_2old'(x)） （１２）
新しく求まった第２の変換関数は、第３の変換関数算出部１４０３へ出力され、第３の変換関数算出部１４０３において、第２の実施形態で説明したように、第１の変換関数との合成処理が行なわれる。

以上の処理により、フレーム間で補正量に大きな差が生じないように調整され、画面のフリッカーを低減することができる。

一方、入力映像にシーンチェンジが生じた場合に、上述の処理を行なうと、急激に変化する必要のある映像信号が緩やかに変化してしまうことで、視聴者に違和感が生じることがある。ここで、シーンチェンジとは、画面の大部分の領域で映像が変化することを指し、代表的なものにシーンの切り替わりや画面のパーンがある。

このようなシーンチェンジに関する問題を低減するために、フレーム特性算出部２２０１では、シーンチェンジを検出しない場合に限り、上記（１２）式の適用を行なう。

シーンチェンジの検出方法として、例えば現フレームの変換特性と１フレーム前の変換特性の差分値が指定した数値（threshold値）を超えた場合、シーンチェンジと判断する。

具体的には、上記（１２）式の右辺第２項の差分の絶対値を差分値とし、この差分値に対してthreshold値を設定する。

第５の実施形態によれば、フレーム間で補正量の差が大きいために生じる画面のフリッカーを低減することができる。更には、シーンチェンジ時に映像信号が緩やかに変化することを低減し、視聴者の違和感を軽くすることができる。

尚、上述した例では、ヒストグラム平坦化処理関数を用いて、現フレームと１フレーム前の比較を行なっているが、輝度ヒストグラムを用いて、フレーム間の比較を行なっても良い。

また、上述した実施形態において、（５）式、（１１）式、（１２）式の右辺第２項における係数0.4及び0.6はこれに限らず、いくつであっても良い。その他、本発明の要旨を逸脱しない範囲内で、種々の変更を行なって良い。

また、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行する。これによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、次の場合も含まれることは言うまでもない。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合である。

更に、記録媒体から読出されたプログラムコードがコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、プログラムは、前述した実施形態の機能をコンピュータで実現することができればよく、その形態は、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給されるスクリプトデータ等の形態を有するものでも良い。

プログラムを供給する記録媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＣＤ−ＲＷ等で良く。更に、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムを記憶できるものであれば良い。もしくは、プログラムは、インターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続される不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。

以上記述したように、本発明の表示装置は、限られたダイナミックレンジの中でコントラストを強調した際に生じる、部分的な黒潰れや白潰れを低減しながら、画像の輝度値を調整することが可能となる。

ヒストグラム平坦化処理の基本的な処理方法を説明するための図である。 累積輝度ヒストグラムを正規化した関数Ｃ'（ｘ）を示す図である。 第１の実施形態における表示装置の構成の一例を示す図である。 輝度値調整部３００における輝度値調整処理を説明するための図である。 入力輝度値のダイナミックレンジが８ビット（２５６値）の時に、輝度レベル数を１６個に分割した場合の輝度ヒストグラムの一具体例を示す図である。 図５に示す輝度ヒストグラムの入力輝度値と輝度レベルとの対応関係を示す図である。 輝度レベル数を８個に分割した場合の輝度ヒストグラムの一具体例を示す図である。 図７に示す輝度ヒストグラムの入力輝度値と輝度レベルとの対応関係を示す図である。 、 、 第１の実施形態における輝度ヒストグラム合成処理の一具体例を示す図である。 第１の実施形態における制限処理の一具体例を示す図である。 第１の実施形態における輝度値調整部３００の処理を示すフローチャートである。 第２の実施形態における表示装置の構成の一例を示す図である。 、 、 、 第２の実施形態におけるヒストグラム平坦化処理関数の合成処理の一具体例を示す図である。 第３の実施形態における表示装置の構成の一例を示す図である。 第３の実施形態における重み係数算出方法の一具体例を示す図である。 第４の実施形態における表示装置の構成の一例を示す図である。 第５の実施形態における表示装置の構成の一例を示す図である。

符号の説明

３００ 輝度値調整部
３０１ 第１の画像情報抽出部
３０２ 第２の画像情報抽出部
３０３ 第１の輝度ヒストグラム算出部
３０４ 第２の輝度ヒストグラム算出部
３０５ 重み係数算出部
３０６ 変換特性算出部
３０７ 遅延バッファ
３０８ 変換処理部
３１０ 画像入力部
３２０ メモリ部
３３０ 画像出力部
４００ 画面全体の領域
４０１ 基準点
４０２ 基準点を中心とした一定サイズの領域
１４０１ 第１の変換関数算出部
１４０２ 第２の変換関数算出部
１４０３ 第３の変換関数算出部
２２０１ フレーム特性算出部

Claims (11)

1. 入力画像の輝度値を変換して出力する画像処理装置であって、
   着目画素を含む第１の画像領域から第１の画像情報を抽出する第１の画像情報抽出手段と、
   前記第１の画像情報から第１の変換特性を算出する第１の変換特性算出手段と、
   前記第１の画像領域を含む第２の画像領域から第２の画像情報を抽出する第２の画像情報抽出手段と、
   前記第２の画像情報から第２の変換特性を算出する第２の変換特性算出手段と、
   重み係数を算出する重み係数算出手段と、
   前記第１の変換特性と前記第２の変換特性と前記重み係数とを用いて、前記着目画素の輝度値を変換するための第３の変換特性を算出する第３の変換特性算出手段とを備え、
   前記第３の変換特性に基づいて前記着目画素の輝度値を変換して出力することを特徴とする画像処理装置。
2. 前記入力画像の画像情報を記憶する記憶手段を備え、
   前記第１の変換特性算出手段は、前記記憶手段に記憶された画像情報を前記第１の画像情報として読み出して、前記第１の変換特性を逐次算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の変換特性算出手段は、前記第１の画像情報の輝度ヒストグラムを算出し、
   前記第２の変換特性算出手段は、前記第２の画像情報の輝度ヒストグラムを算出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記第１の変換特性算出手段は、前記第１の画像情報の輝度ヒストグラムに基づき前記第１の変換特性を算出し、
   前記第２の変換特性算出手段は、前記第２の画像情報の輝度ヒストグラムに基づき前記第２の変換特性を算出することを特徴とする請求項１又は請求項２に記載の画像処理装置。
5. 前記重み係数は、前記着目画素の位置情報に応じて設定されることを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
6. 前記重み係数は、少なくとも前記第１及び第２の輝度ヒストグラムに応じて設定されることを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
7. 前記第１及び第２の画像領域のサイズは、前記着目画素の位置情報に応じて設定されることを特徴とする請求項１乃至請求項６の何れか一項に記載の画像処理装置。
8. 前記第３の変換特性は、少なくとも１フレーム前の第２の変換特性と現フレームの第２の変換特性とに応じて算出されることを特徴とする請求項１乃至請求項７の何れか一項に記載の画像処理装置。
9. 入力画像の輝度値を変換して出力する画像処理方法であって、
   着目画素を含む第１の画像領域から第１の画像情報を抽出する第１の画像情報抽出工程と、
   前記第１の画像情報から第１の変換特性を算出する第１の変換特性算出工程と、
   前記第１の画像領域を含む第２の画像領域から第２の画像情報を抽出する第２の画像情報抽出工程と、
   前記第２の画像情報から第２の変換特性を算出する第２の変換特性算出工程と、
   重み係数を算出する重み係数算出工程と、
   前記第１の変換特性と前記第２の変換特性と前記重み係数とを用いて、前記着目画素の輝度値を変換するための第３の変換特性を算出する第３の変換特性算出工程とを有し、
   前記第３の変換特性に基づいて前記着目画素の輝度値を変換して出力することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images