JP2017219802A - 画像処理装置、その制御方法、及び表示装置 - Google Patents

Abstract

【課題】表示装置の表示可能な輝度を有効に使った表示と白とびや黒つぶれ等の表示品質の低下の抑制とを両立することができる技術を提供する。
【解決手段】入力画像を変換して表示装置へ出力する画像処理装置であって、前記表示装置の表示可能な輝度範囲の情報を取得する取得手段と、前記入力画像を構成する画素のうち、所定の基準輝度と前記表示装置の表示可能な輝度範囲の限界輝度との間の第１輝度範囲内の輝度をもつ第１画素に関する情報と、前記第１輝度範囲に隣接し前記限界輝度を超える第２輝度範囲内の輝度をもつ第２画素に関する情報と、に基づき決定される変換特性を用いて、前記入力画像のダイナミックレンジを圧縮する画像処理を行う処理手段と、を備える画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置、その制御方法、及び表示装置に関するものである。

画像データを表示装置で表示する場合、画素値のとり得る値の下限を表示装置の表示可能な輝度の下限の暗さ、画素値のとり得る値の上限を表示装置の表示可能な輝度の上限の明るさで表示する方法が一般的である。この場合、画像データは下限の暗さを「明るさ０％：黒」、上限の明るさを「明るさ１００％：白」という前提で表現されている。
この従来の輝度のダイナミックレンジの表現域よりも広いダイナミックレンジを扱うためのデータフォーマットの規格が提唱されている。この規格では、画素値として従来の１００％白よりも大幅に明るい輝度を示す値を表現できるようにデータフォーマットが決められている。このフォーマットの画像データを表示する表示装置では、１００％白を超える輝度域を表示するために、表示装置の表示可能な輝度の上限よりも低いレベルに１００％白の輝度レベルを設定することがある。

入力画像の階調分布を解析して、視覚的に望ましいコントラスト特性が得られるように画像の階調変換を行う技術が知られている（特許文献１）。
撮像装置の分野では、撮像センサが取得した広いダイナミックレンジのデータを、規格化された画像フォーマットのダイナミックレンジのデータに変換する技術が知られている（特許文献２）。この技術では、画像の輝度分布を解析して階調の高い画素が多く含まれている場合には高階調部を圧縮する階調変換を施して白つぶれを抑制した画像を出力することができる。

特開平３−１２６３７７号公報 特開２０１２−８５３６０号公報

しかしながら、広いダイナミックレンジの画像データを表示装置で表示する場合、画像の内容によっては白とびが多く発生してしまう可能性があった。また上述した従来技術では表示装置で再現可能な輝度レンジと関係なく画像データの階調分布のみに基づき階調変換を行うため、表示装置の表示能力を有効に使った表示を行えなかったり、白とびや黒つぶれ等の表示品質の低下が生じたりする場合があった。

そこで本発明は、表示装置の表示可能な輝度を有効に使った表示と白とびや黒つぶれ等の表示品質の低下の抑制とを両立することができる技術を提供することを目的とする。

本発明は、入力画像を変換して表示装置へ出力する画像処理装置であって、
前記表示装置の表示可能な輝度範囲の情報を取得する取得手段と、
前記入力画像を構成する画素のうち、所定の基準輝度と前記表示装置の表示可能な輝度範囲の限界輝度との間の第１輝度範囲内の輝度をもつ第１画素に関する情報と、前記第１輝度範囲に隣接し前記限界輝度を超える第２輝度範囲内の輝度をもつ第２画素に関する情報と、に基づき決定される変換特性を用いて、前記入力画像のダイナミックレンジを圧縮する画像処理を行う処理手段と、
を備える画像処理装置である。

本発明は、入力画像を変換して表示装置へ出力する画像処理装置の制御方法であって、
前記表示装置の表示可能な輝度範囲の情報を取得する取得工程と、
前記入力画像を構成する画素のうち、所定の基準輝度と前記表示装置の表示可能な輝度範囲の限界輝度との間の第１輝度範囲内の輝度をもつ第１画素に関する情報と、前記第１輝度範囲に隣接し前記限界輝度を超える第２輝度範囲内の輝度をもつ第２画素に関する情報と、に基づき決定される変換特性を用いて、前記入力画像のダイナミックレンジを圧縮する画像処理を行う処理工程と、
を有する画像処理装置の制御方法である。

本発明によれば、表示装置の表示可能な輝度を有効に使った表示と白とびや黒つぶれ等の表示品質の低下の抑制とを両立することができる。

実施例１の表示装置の概略構成を示す図 生成部４０による変換特性の一例を示す図 固定変換テーブル５１による変換特性の一例を示す図 解析部１０による輝度のカテゴリ分割の方法を説明するための図 輝度分布の判定処理を示すフローチャート 輝度分布の判定を説明するための図 動作例１を示す図 動作例２を示す図 適応変換テーブル４１による変換特性の一例を示す図 動作例３を示す図 実施例２の表示装置の概略構成を示す図 実施例３の概略構成を示す図 実施例３のプログラムによる処理を示すフローチャート

（実施例１）
本発明の実施例１の表示装置の構成図を図１に示す。実施例１の表示装置は、広い輝度ダイナミックレンジを有する画像データのダイナミックレンジを狭いダイナミックレンジの画像データに変換する画像処理装置の機能を有する。この画像処理装置は、画像の特徴によって最適な変換特性を用いて変換を行うことで、表示装置の表示可能な輝度の能力を活かした表示と、白とびや黒つぶれ等の表示階調品質の低下の抑制とを両立することを特徴とする。
入力画像１は不図示の画像出力装置から取得した画像データである。画像データの画素値は、ＲＧＢそれぞれ０から１００までの浮動小数点の値で表現される。１００％白は（Ｒ，Ｇ，Ｂ）＝（１．０，１．０，１．０）で表わされる。１．０よりも大きな値で表わされる画素値は従来定義されていた１００％白レベルよりも明るい、オーバーホワイト領域の画素値となる。

解析部１０は、入力画像１の輝度分布を解析し、輝度ヒストグラム１１として出力する。輝度分布の解析方法の詳細は後述する。
輝度レンジ保持部２０は、後述する表示パネルユニット８０で表示可能な輝度レンジの情報を保持するＲＯＭ（read-only memory）である。実施例１の表示パネルユニット８０は、最小輝度０．０１ｃｄ／ｍ^２〜最大輝度１０００ｃｄ／ｍ^２の表示能力を有するパネルであるとする。また１００％白を表示する輝度である標準白色輝度を１００ｃｄ／ｍ^２
とする。なお、表示パネルの輝度レンジは一例であり、これに限られない。
これらの表示パネルユニット８０の表示可能な輝度範囲の情報は輝度レンジ２１として他のブロックで参照される。

判定部３０は、入力画像１の輝度分布と表示装置の表示可能な輝度レンジとの関係に基づき、入力画像の階調変換にどのような変換特性を用いるか判定し、判定結果３１として出力する。実施例１では、判定部３０は、輝度ヒストグラム１１及び輝度レンジ２１に基づき、階調変換特性として「固定変換」（第１変換特性）又は「適応変換」（第２変換特性）のどちらを用いるか判定する。
固定変換特性（第１変換特性）は、入力画像によらない固定的な変換特性である。例えば、表示装置の表示可能な輝度範囲の上限の近傍及び下限の近傍の少なくとも一方の領域における階調圧縮の度合が、表示可能な輝度範囲の中央の近傍における階調圧縮の度合よりも強く、表示可能な輝度範囲内の輝度の忠実な表示を優先する変換特性である。
適応変換特性（第２変換特性）は、入力画像に適応的な変換特性である。例えば、入力画像の輝度分布において度数が負い輝度の領域により多くの階調を割り当てることで階調の表示を優先する変換特性である。
判定部３０による判定方法の詳細は後述する。

生成部４０は、輝度ヒストグラム１１に基づき、入力画像１の輝度分布に適応的な特性を有する適応変換テーブル４１を生成して出力する。生成部４０は、輝度ヒストグラム１１の度数を低階調側から累積加算し、その値を輝度レンジで正規化することで適応変換テーブルを生成する。例えば、図２（ａ）のように高輝度域に分布が集中しているような特性を示す入力画像１が入力される場合には、曲線Ａのように高輝度域により多くの階調を割り当てる適応変換テーブルが生成される。また、図２（ｂ）のように低輝度域と高輝度域の両方に度数が分布している入力画像１が入力される場合には、曲線Ｂのように低輝度域と高輝度域の両方に階調を多く割り当てる適応変換テーブルが生成される。図２において、上図は階調変換の特性を表し、横軸は入力画像の輝度、縦軸は出力画像の輝度であり、下図は入力画像の輝度分布（輝度ヒストグラム）を表し、横軸は入力画像の輝度、縦軸は度数である。

特性保持部５０は、入力画像１の輝度をできるだけ忠実に表示することを優先する特性を有する固定変換テーブル５１を保持し、出力する。忠実に表示することを目指す輝度範囲は表示装置の使用目的等に応じて適宜設定する。実施例１では、入力画像の輝度のうち０．１％黒から１００％白までの輝度範囲を忠実に表示する輝度範囲として設定する。この設定は一例でありこれに限られない。図３は、この階調変換の特性を概念的に示したものである。入力画像１の１００％白を示す輝度（１．０）に対しては、表示パネルユニット８０で標準白色輝度（ここでは１００ｃｄ／ｍ^２とする）が出力される階調値を対応させる。０．１％黒から１００％白までの中間輝度領域では、入力画像１の輝度に対して表示パネルユニット８０に表示される輝度がリニアな関係になるように、階調値を対応させる。０．１％黒よりも暗い輝度領域では、表示パネルユニット８０で表示可能な最小輝度（ここでは０．０１ｃｄ／ｍ^２とする）に向かって徐々に圧縮度合が強くなる変換特性とする。１００％白よりも明るい階調領域では、表示パネルユニット８０で表示可能な最大輝度（ここでは１０００ｃｄ／ｍ^２とする）付近までは、入力画像１に対してほぼリニアだがやや圧縮する変換特性とする。さらに高輝度の領域では表示パネルユニット８０で表示可能な最大輝度に向かって圧縮度合が強くなる変換特性とする。このように定義された固定変換テーブル５１は、暗部からオーバーホワイトに至るまでほぼ忠実に入力画像１の輝度を表示することができる変換特性である。

選択部６０は、判定結果３１に従って固定変換テーブル又は適応変換テーブルを選択し、選択したテーブルを選択変換テーブル６１として出力する。判定結果３１が「適応変換
」であれば、選択部６０は、生成部４０から取得した適応変換テーブル４１を選択し出力する。判定結果３１が「固定変換」であれば、選択部６０は、特性保持部５０から取得した固定変換テーブル５１を選択し出力する。
変換部７０は、０から１００までの浮動小数点の値で表現される入力画像１の画素値（輝度）を、選択変換テーブル６１に従って０から４０９５までの１２ビットの整数値（階調）に変換して表示データ７１を出力する。
表示パネルユニット８０は液晶パネルを有し、表示データ７１に基づき液晶パネルの各画素の透過率を制御することにより画像を形成する。

表示データ７１の各階調値は、その階調値に対応する（意味する）明るさの対数で表す。階調値が０の画素は、表示パネルユニット８０の最小輝度０．０１ｃｄ／ｍ^２の明るさで表示される。階調値が４０９５の画素は、表示パネルユニット８０の最大輝度１０００ｃｄ／ｍ^２の明るさで表示される。中間階調については、表示データ７１の階調値ｏｕｔと表示される明るさＬとの関係は、下記の式１で示す対数関係で表される。

Ｌ＝１０＾（ｏｕｔ／４０９５×ｒａｎｇｅ−ｏｆｆｓｅｔ）
ｒａｎｇｅ＝ｌｏｇ_１０（最大輝度）−ｌｏｇ_１０（最小輝度）
＝ｌｏｇ_１０（１０００）−ｌｏｇ_１０（０．０１）
＝３−（−２）＝５
ｏｆｆｓｅｔ＝−ｌｏｇ_１０（最小輝度）
＝−ｌｏｇ_１０（０．０１）＝２
・・・（式１）

次に、解析部１０の処理の詳細を説明する。解析部１０は入力画像１を構成する全ての画素の輝度（画素値）毎の度数を０〜２５５の２５６分割されたカテゴリ別にカウントし、輝度ヒストグラム１１を取得する。解析部１０におけるカテゴリ分割の概念図を図４に示す。１００％白（輝度１．０）を中心にしてそれより暗い輝度領域は等比分割で１２８分割し、明るい輝度領域は対数分割で１２８分割する。輝度ｘに対応するカテゴリ番号ｃは、下記の式２で求められる。

（ａ）ｘ≦１の場合
ｃ／１２８＜ｘ≦（ｃ＋１）／１２８
（ｂ）１＜ｘの場合
ＭａｘＩｎ＾（（ｃ−１２８）／１２８）＜ｘ≦ＭａｘＩｎ＾（（ｃ−１２７）／１２８）
ＭａｘＩｎ＝入力画像１がとり得る最大値
＝１００
・・・（式２）

例えば、入力画像１のある画素の輝度が０．１０であれば、カテゴリ番号１２の度数としてカウントされる（１２／１２８≦ｘ＜１３／１２８を満たすため）。また、入力画像１のある画素の輝度が１．１０であれば、カテゴリ番号１３０のカテゴリの度数としてカウントされる（１００＾（（１３０−１２８）／１２８）≦ｘ＜１００＾（（１３０−１２７）／１２８）を満たすため）。
このように１００％白を境にカテゴリの分割方法を変えることにより、中間輝度領域におけるヒストグラムが利用しやすくなり、かつ高輝度領域におけるダイナミックレンジを拡大することができる。

次に、判定部３０による輝度分布の判定方法の詳細を説明する。輝度分布の判定処理の
フローチャートを図５に示す。また輝度分布の判定処理の概念図を図６に示す。
ステップＳ３０１において、判定部３０は、輝度レンジ２１を参照して表示パネルユニット８０の標準白色輝度と最大輝度の情報を取得する。実施例１の場合はそれぞれ１００ｃｄ／ｍ^２、１０００ｃｄ／ｍ^２である。
ステップＳ３０２において、判定部３０は、表示パネルユニット８０の最大輝度に対応する入力画像１の輝度（最大輝度相当値という）を算出する。表示パネルユニット８０の最大輝度は標準白色輝度の１０倍である。また、入力画像１では１００％白が１．０の値で表現されている。よって、最大輝度相当値は下記の式３のように求められる。

最大輝度相当値＝（１００％白相当値）×（最大輝度）／（標準白色輝度）
＝１．０×１０００／１００＝１０．０
・・・（式３）

仮に、入力画像１をリニアな階調変換特性で表示パネルユニット８０に表示しようとすると、入力画像１の画素のうち最大輝度相当値（１０．０）以下の輝度の画素は忠実な輝度で表示可能であるが、それより高い輝度の画素は忠実な輝度では表示ができない。

ステップＳ３０３において、判定部３０は、輝度ヒストグラム１１のカテゴリを中間輝度度数Ｍ、高輝度度数Ｗ、超高輝度度数Ｈのグループに分けてそれぞれのグループの合計度数を算出する。中間輝度度数Ｍは、標準白色輝度よりも暗い輝度領域のカテゴリ（カテゴリ番号０から１２７）の度数を合計して求める。高輝度度数Ｗは、標準白色輝度よりも明るく、かつ最大輝度相当値よりも暗い輝度領域のカテゴリの度数を合計して求める。最大輝度相当値はカテゴリ番号の算出式（式２）より１９１番のカテゴリになるので、高輝度度数Ｗはカテゴリ番号１２８から１９１の度数を合計して求める。超高輝度度数Ｈは、最大輝度相当値よりも明るい輝度領域のカテゴリ（カテゴリ番号１９２から２５５）の度数を合計して求める。

ステップＳ３０４において、判定部３０は、高輝度度数Ｗと超高輝度度数Ｈに関して、下記の式４が成立するか判定する。

Ｗ＞ｔｈＷ×Ｔ かつ
Ｈ＞ｔｈＴ×Ｔ
Ｔ：入力画像１の総画素数Ｔ（ヒストグラムの全度数）
・・・（式４）

式４が成立する場合、ステップＳ３０５に進む。そうでなければステップＳ３０６に進む。実施例１では、ｔｈＷとｔｈＴをそれぞれ０．１５（１５％）に設定する。これらの閾値はこの例に限られない。求める表示画質の傾向に応じて適宜設定できる。例えば、これらの閾値を大きくすると、Ｓ３０６に進むケースが多くなるため、入力画像１の輝度をできるだけ忠実に表示するように調整できる。この場合、画像の内容によってはコントラスト感が低下する場合がある。一方、閾値を小さくすると、Ｓ３０５に進むケースが多くなるため、高輝度域が多く含まれる画像でも階調がつぶれることを低下できる。また、中間輝度度数が多い画像では入力画像１に忠実な輝度を表示可能である。
ステップＳ３０５では、判定結果３１を「適応変換」とする。
ステップＳ３０６では、判定結果３１を「固定変換」とする。

このように、実施例１では、入力画像を構成する画素のうち所定の基準輝度と表示装置の表示可能な輝度範囲の限界輝度との間の第１輝度範囲内の輝度をもつ第１画素に関する情報を取得する。また、第１輝度範囲に隣接し限界輝度を超える第２輝度範囲内の輝度をもつ第２画素に関する情報を取得する。そして、第１画素に関する情報と第２画素に関す
る情報とに基づき変換特性を決定し、この変換特性を用いて入力画像のダイナミックレンジを圧縮する画像処理を行う。
実施例１の場合、所定の基準輝度は、基準白に相当する輝度（標準白色輝度、１００％白に相当する輝度）である。また、第１輝度範囲は、基準白に相当する輝度から表示装置の表示可能な輝度範囲の上限輝度（最大輝度相当値）までの輝度範囲であり、第１画素は高輝度度数Ｗにカウントされる画素である。第２輝度範囲は、上限輝度（最大輝度相当値）を超える輝度範囲であり、第２画素は超高輝度度数Ｈにカウントされる画素である。また、第１画素に関する情報は、第１画素の度数であり、第２画素に関する情報は第２画素の度数である。
第１画素の度数（高輝度度数Ｗ）が第１閾値（ｔｈＷ×Ｔ）より多く、かつ、第２画素の度数（超高輝度度数Ｈ）が第２閾値（ｔｈＨ×Ｔ）より多い場合、階調の表示を優先する第２の変換特性（適応変換）を選択して画像処理を行う（Ｓ３０５）。一方、第１の画素の度数が第１閾値以下、又は、第２画素の度数が第２閾値以下の場合、輝度の表示を優先する第２の変換特性（固定変換）を選択して画像処理を行う（Ｓ３０６）。

次に、実施例１の表示装置の動作例を具体的に説明する。
動作例１の概念図を図７に示す。入力画像１は、図７（ａ）のように漆黒の背景（領域α）の中に超高輝度の物体（領域β）が存在する画像である。領域αの入力画素値（輝度）ｉｎは０．００００１、領域βの入力画素値（輝度）ｉｎは５０．０である。

この画像の場合、判定部３０による高輝度度数Ｗは０、超高輝度度数Ｈは総画素数Ｔの６％程度である。従ってステップＳ３０６へ分岐して判定結果３１は「固定変換」となる。選択部６０により、選択変換テーブル６１として図３に示す固定変換テーブル５１が選択される。

この固定変換テーブル５１によれば、領域αの画素の表示データ７１の階調値ｏｕｔは０となり、表示パネルユニット８０で表示される明るさＬは（式１）より０．０１ｃｄ／ｍ^２となる。領域βの画素の表示データ７１の階調値ｏｕｔは４０６０となり、表示パネルユニット８０で表示される明るさＬは（式１）より９０６ｃｄ／ｍ^２となる。この表示状態を図７（ｂ）に示す。これは固定変換テーブル５１を用いることによって、入力画像１の輝度を極力忠実に表示している状態である。

次に、動作例２の概念図を図８に示す。入力画像１は、図８（ａ）のように明るい背景（領域α）の中に超高輝度の物体（領域β）が存在する画像である。領域αの入力画素値（輝度）ｉｎは８．０、領域βの入力画素値（輝度）ｉｎは５０．０である。

この画像の場合、判定部３０による高輝度度数Ｗは総画素数Ｔの６０％、超高輝度度数Ｈは総画素数Ｔの４０％程度である。従ってステップＳ３０５へ分岐して判定結果３１は「適応変換」となる。選択部６０により、選択変換テーブル６１として適応変換テーブル４１が選択される。

仮にこの入力画像１に対して固定変換テーブル５１を使用すると、領域αの画素の表示データ７１の階調値ｏｕｔは４０００となり、表示パネルユニット８０で表示される明るさＬは（式１）より７６５ｃｄ／ｍ^２となる。領域βの画素の表示データ７１の階調値ｏｕｔは４０６０となり、表示パネルユニット８０で表示される明るさＬは（式１）より９０６ｃｄ／ｍ^２となる。この表示状態を図８（ｂ）に示す。図８（ａ）のように入力画像１において高輝度画素と超高輝度画素の占める割合が多い場合に固定変換テーブル５１を用いると領域αと領域βとのコントラスト比の低下が目立ち、表示画像の視認性が良好でなくなる。

図８（ａ）のような入力画像１の場合、適応変換テーブル４１は図９に示すような特性となる。この適応変換テーブル４１によれば、領域αの画素の表示データ７１の階調値ｏｕｔは３５００となり、表示パネルユニット８０で表示される明るさＬは（式１）より２００ｃｄ／ｍ^２となる。領域βの画素の表示データ７１の階調値ｏｕｔは４０９５となり、表示パネルユニット８０で表示される明るさＬは（式１）より１０００ｃｄ／ｍ^２となる。この表示状態を図８（ｃ）に示す。図８（ｃ）に示すように、領域αと領域βの階調がつぶれず、十分なコントラスト比が確保されている。図８（ａ）に示す画像のように、高輝度画素と超高輝度画素が多くを占める画像では、入力画像の輝度を忠実に表示することを優先するより、階調の表示を優先する方が、視覚的に好ましい表示が得られる。

次に動作例３の概念図を図１０に示す。入力画像１は、図１０（ａ）のように明るい背景（領域α）の中に中輝度の物体（領域β）が存在し、さらに高輝度のハイライト（領域γ）が存在する。領域αの入力画素値（輝度）ｉｎは８．０、領域βの入力画素値（輝度）ｉｎは０．５、領域γの入力画素値（輝度）ｉｎは５０．０である。

この画像の場合、判定部３０による高輝度度数Ｗは総画素数Ｔの６０％、超高輝度度数Ｈは総画素数Ｔの２％程度である。従ってステップＳ３０６へ分岐して判定結果３１は「固定変換」となる。選択部６０により、選択変換テーブル６１として図３に示す固定変換テーブル５１が選択される。

この固定変換テーブル５１によれば、領域αの画素の表示データ７１の階調値ｏｕｔは４０００となり、表示パネルユニット８０で表示される明るさＬは７６５ｃｄ／ｍ^２となる。領域βの画素の表示データ７１の階調値ｏｕｔは３０３０となり、表示パネルユニット８０で表示される明るさＬは５０ｃｄ／ｍ^２となる。領域γの画素の表示データ７１の階調値ｏｕｔは４０６０となり、表示パネルユニット８０で表示される明るさＬは９０６ｃｄ／ｍ^２となる。この表示状態を図１０（ｂ）に示す。これは固定変換テーブル５１を用いることによって、入力画像１の輝度を極力忠実に表示している状態である。
仮にこの入力画像１に対して適応変換テーブル４１を使用すると、図１０（ｃ）のように、コントラストは得られるが全体的に暗い表示になる。

固定変換テーブル５１を用いて変換して得られる図１０（ｂ）の表示では、領域α（高輝度領域）と領域γ（超高輝度領域）とのコントラスト比は低い。しかし、画像内で各領域が占める面積が大きく異なっており、また領域αと領域γが離れているため、コントラストの低さは視覚的に認識されにくい。むしろ中間輝度から高輝度の領域を入力画像に忠実に表示することによって、観察者には画像内の高輝度領域と超高輝度領域の明るさが良好な印象で知覚されることが経験的に分かっている。一方、適応変換テーブル４１を用いて変換して得られる図１０（ｃ）の表示では、中間階調の明るさが入力画像１から大幅に暗くなり輝度の表示が入力画像に対し忠実ではなくなってしまうため、入力画像１がもつ元々の印象が観察者に伝わりにくい。よって、図１０（ａ）のような、高輝度領域と超高輝度領域の面積が大きく異なる画像や、高輝度領域と超高輝度領域とが画像内で隣接していない画像の場合、固定変換テーブル５１を用いて輝度の忠実表示を優先する方が視覚的に好ましい表示が得られる。一方、図８（ａ）のような、高輝度領域と超高輝度領域の面積が同程度である画像や、高輝度領域と超高輝度領域とが画像内で隣接している画像の場合、各領域の表示輝度が近くなることによるコントラストの低さが視認されやすい。そのため、上述したように適応変換により階調の表示を優先し白とびを抑制した方が視覚的に好ましい表示になる。

超高輝度範囲は、固定変換テーブル５１で階調の圧縮の度合が他の輝度範囲より強い輝度範囲である。また高輝度範囲は、超高輝度範囲と隣接している輝度範囲である。この２つの輝度範囲に属する画素が画像内で支配的になると、コントラストが低下して視認性が
低下する。

超高輝度範囲の画素がある程度多く、かつ高輝度範囲の画素がある程度多いような画像では適応変換による階調圧縮を行った方が視覚的に好ましい表示を得ることができる。それ以外の場合では入力画像１の輝度をできるだけ忠実に表示した方が視覚的に好ましい表示を得ることができる。
以上説明した構成及び方法にて、本発明を実施することが可能となる。

なお、生成部４０における適応変換テーブル４１の作成方法は実施例１で例示した方法に限らない。高輝度領域と超高輝度領域とのコントラストを明瞭に表示できる方法であれば、ヒストグラムの度数に応じていくつかの変換特性を混合するような方法であってもよい。例えば、判定部３０は、ステップＳ３０４の判定結果を、固定変換か適応変換かの選択ではなく、連続的な度合として出力するようにしても良い。この場合、選択部６０は、当該度合に応じて固定変換テーブル５１と適応変換テーブル４１を組み合わせた中間的な変換特性を生成し、変換部７０に出力するようにしても良い。これにより、輝度の表示を優先する第１変換特性と、階調の表示を優先する第２変換特性とを、第１画素及び第２画素に関する情報に基づく度合で組み合わせた変換特性により、輝度ダイナミックレンジを圧縮する画像処理を行うことができる。
また、実施例１では、第１画素（高輝度画素）及び第２画素（超高輝度画素）に関する情報が第１画素の度数（高輝度度数Ｗ）及び第２画素の度数（超高輝度度数Ｈ）である場合を例に説明したが、これは一例であり本発明はこれに限られない。解析部１０で行う画像解析は、入力画像１の輝度ヒストグラムに限らず異なる指標を解析し、判定部３０による輝度分布判定を行ってもよい。例えば、第１画素及び第２画素に関する情報は、第１画素及び第２画素の画像内の分布であっても良い。この場合、判定部３０は、第１画素（高輝度画素）からなる領域と第２画素（超高輝画素）からなる領域の平面的な密集状態に応じて輝度分布判定を行うことも可能である。例えば、第１画素（高輝度画素）から構成される領域と、第２画素（超高輝度画素）から構成される領域とが隣接している場合、第２変換特性（階調表示優先の適応変換）により画像処理を行うようにしても良い。また、第１画素から構成される領域と第２画素から構成される領域とが離れている場合、第１変換特性（輝度表示優先の固定変換）により画像処理を行うようにしても良い。
また、入力画像を複数の領域に分割し、領域毎に、領域内の第１画素及び第２画素に関する情報に基づき決定される変換特性を用いて画像処理を行うようにしても良い。
また、画像の暗部に対しても同様の手法にてダイナミックレンジの最適化を図ることも可能である。この場合、所定の基準輝度は基準黒に相当する輝度とし、第１輝度範囲は、表示装置の表示可能な下限輝度から基準黒に相当する輝度までの輝度範囲とし、第２輝度範囲は、表示装置の表示可能な下限輝度より低い輝度範囲としてもよい。
また、液晶を用いた直視型ディスプレイの他にも、投影用光源、反射型の空間変調器、投射用レンズ等を組み合わせたプロジェクター装置であっても同様にして本発明を実施することが可能である。
実施例１は表示装置に本発明を適用した例であるが、表示機能を有せず、入力画像に対し階調変換を行って出力する画像処理装置も本発明に含まれる。この場合、輝度レンジ保持部２０は、例えば複数の表示装置に関する輝度レンジの情報を保持し、画像出力先の表示装置の情報を取得し、出力先表示装置に応じた固定変換特性を判定部３０に出力するようにすると良い。また、ユーザが任意の輝度レンジの情報を指定することができるようにしても良い。

（実施例２）
実施例１では表示パネルユニット８０の表示能力の情報は輝度レンジ保持部２０から取得される固定的な情報であったが、実施例２では、表示パネルユニット８０の表示能力が動的に変化する場合に本発明を適用した例を説明する。

本発明の実施例２の表示装置の構成図を図１１に示す。
液晶パネル８１０は、補正部８５０から出力される補正表示データ８５１に基づき各画素の透過率を制御することで画像を表示する表示パネルである。
バックライト８２０は、液晶パネル８１０の背面側に配置され、バックライト制御データ８４１に従って液晶パネル８１０に背面側から光を照射する。バックライト８２０を構成する光源は発光輝度が可変である。従って実施例２の表示パネルユニット８０は、表示可能な輝度範囲が可変である。
温度センサ８３０は、バックライト８２０の温度を計測し、計測温度８３１を出力する。

バックライト制御部８４０は、表示データ７１と計測温度８３１に基づき、最適なバックライト光の強度を算出し、バックライト制御データ８４１及びバックライト制限情報８１を出力する。バックライト制御部８４０は、表示データ７１を構成する画素のうちの輝度が最大の画素を検出し、その画素の輝度を表示可能なバックライト光の強度を算出し、バックライト制御データ８４１として出力する。

ここで、バックライト８２０で使用している発光素子（ＬＥＤ：Light Emitting Diode）は、長時間連続して高輝度の発光を行うと、素子の温度が過剰に上昇して正常に動作しなくなる場合がある。そのため、実施例２の表示装置は、バックライト８２０の温度を温度センサ８３０で監視し、閾値以上の温度になったらバックライト光の強度を制限する。このようなバックライト光強度の可変制御を行うことで、短時間であれば超高輝度のバックライト光を照射することができる。一定時間を経過してバックライトの温度が閾値を超えると、バックライト光の強度に制限がかかり、徐々に表示可能な最大輝度が低下することになる。バックライト制御部８４０は、バックライト光の強度が制限されている状態になった場合、その状態で表示可能な最大輝度の情報をバックライト制限情報８１として出力する。

補正部８５０は、表示データ７１とバックライト制御データ８４１に基づき、補正表示データ８５１を生成する。補正部８５０は、バックライト８２０の発光輝度が標準的な輝度より高くなるようなバックライト制御データ８４１であった場合は、表示データ７１を暗くしたデータを補正表示データ８５１とする。補正部８５０は、バックライト８２０の発光輝度が標準的な輝度より低くなるようなバックライト制御データ８４１であった場合は、表示データ７１を明るくしたデータを補正表示データ８５１とする。補正部８５０は、表示データ７１の画素が意図する明るさＬ、補正表示データ８５１によって制御される液晶パネル８１０の画素の透過率Ｔ、バックライト８２０の発光輝度Ｂが、下記の式５を満たすように補正表示データ８５１を算出する。

Ｔ＝Ｌ／Ｂ ・・・（式５）

判定部３０は、輝度ヒストグラム１１、輝度レンジ２１、及びバックライト制限情報８１に基づき、入力画像１の輝度分布の判定を行って判定結果３１を出力する。判定部３０は、表示パネルユニット８０の表示可能な輝度範囲が変化したか否かを判定し、変化した場合、変化後の表示可能な輝度範囲の情報を取得する。実施例２では、判定部３０は、バックライト制限情報８１に基づき、バックライト８２０の発光輝度が制限されている状態であるか判定する。制限されている状態であれば、判定部３０は、輝度レンジ保持部２０から取得した輝度レンジ２１における表示可能な最大輝度の情報を、バックライト制限情報８１から得られた制限状態における最大輝度で置き換えた上で、実施例１で説明した判定処理を行う。これにより、変換部７０は、変化後の表示可能な輝度範囲に基づき決定さ
れる変換特性を用いて階調圧縮の画像処理を行うことができる。
その他の構成及び動作については実施例１と同様である。
以上説明した構成及び方法にて、表示能力が動的に変化する表示装置であっても本発明を実施することが可能となる。

（実施例３）
実施例３は、画像の輝度のダイナミックレンジを変換する画像処理を行うコンピュータ上のソフトウェア（プログラム）に本発明を適用した例である。
実施例３のソフトウェアを実行するコンピュータシステムの構成の一例を図１２に示す。
プロセッサ３００１は、その他の構成要素を制御してソフトウェアの処理を実行する。
メモリ３００２は、プロセッサが処理を実行する際のデータを一時的に記憶する。
外部記憶装置３００３は、画像データがファイルの形式で格納される。
ＨＤＲ画像ファイル３００４は、広ダイナミックレンジの画像データである。実施例１で説明した入力画像１と同様の画像データとする。
変換画像ファイル３００５は、ダイナミックレンジの変換処理後の画像データである。
なお、図１２において、実施例３の説明に必要ない事項は記載を省略している。

図１３は、画像の輝度のダイナミックレンジ変換する画像処理を示すフローチャートである。
ステップＳ３００１において、プロセッサ３００１は、外部記憶装置３００３からＨＤＲ画像ファイル３００４を読み込み、データをメモリ３００２へ格納する。
ステップＳ３００２において、プロセッサ３００１は、読み込んだＨＤＲ画像ファイル３００４を解析し、輝度ヒストグラムを出力する。解析方法は実施例１の解析部１０の処理と同様である。
ステップＳ３００３において、プロセッサ３００１は、高輝度度数Ｗと超高輝度度数Ｈに関して、上記の式４が成立するか判定する。判定方法は実施例１の判定部３０の処理と同様である。式４が成立する場合、ステップＳ３００４に進み、式４が成立しない場合、ステップＳ３００５に進む。閾値ｔｈＷとｔｈＴは実施例１と同様それぞれ０．１５（１５％）に設定する。

ステップＳ３００４において、プロセッサ３００１は、適応変換テーブルを生成する。生成方法は実施例１の生成部４０の処理と同様である。
ステップＳ３００５において、プロセッサ３００１は、固定変換テーブルを取得する。ここでは外部記憶装置３００３に実施例１の特性保持部５０と同様に固定変換テーブルが記憶されており、プロセッサ３００１は外部記憶装置３００３から固定変換テーブルを取得するものとする。
ステップＳ３００６において、プロセッサ３００１は、ステップＳ３００４又はステップＳ３００５で取得した変換テーブルを用いて、メモリ３００２に読み込まれているＨＤＲ画像データの輝度ダイナミックレンジを変換する。
ステップＳ３００７において、プロセッサ３００１は、変換後の画像ファイルを外部記憶装置３００３へ出力する。

以上のように、画像の輝度のダイナミックレンジを狭くする画像処理を行うソフトウェア（プログラム）に本発明を適用することが可能となる。
実施例３のソフトウェアは、例えばＡＣＥＳシステムにおけるＯＤＴとして実施することができる。この場合、ソフトウェアは出力先デバイス（ディスプレイ）に固有の機能を有するソフトウェアであり、ディスプレイの仕様（表示可能な最大輝度）に応じて高輝度領域と超高輝度領域との境界輝度が設定されることになる。また、ユーザが任意の境界輝度を設定できる汎用的なソフトウェアとして実施することもできる。

上記各実施例は、記憶装置又はメモリに記憶又は記録又は格納又は保存されたプログラムをコンピュータ又はプロセッサ又はＣＰＵが実行することによって各機能ブロックの機能又は処理を実現する態様で実施することができる。プロセッサとメモリとを備え、前記メモリにはコンピュータが実行することによって上記各実施例で説明した各機能ブロックの機能が実現されるプログラムが記憶されている構成も、本発明の範囲に含まれる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：解析部、２０：輝度レンジ保持部、３０：判定部、４０：生成部、５０：特性保持部、６０：選択部、７０：レンジ圧縮部

Claims (20)

1. 入力画像を変換して表示装置へ出力する画像処理装置であって、
   前記表示装置の表示可能な輝度範囲の情報を取得する取得手段と、
   前記入力画像を構成する画素のうち、所定の基準輝度と前記表示装置の表示可能な輝度範囲の限界輝度との間の第１輝度範囲内の輝度をもつ第１画素に関する情報と、前記第１輝度範囲に隣接し前記限界輝度を超える第２輝度範囲内の輝度をもつ第２画素に関する情報と、に基づき決定される変換特性を用いて、前記入力画像のダイナミックレンジを圧縮する画像処理を行う処理手段と、
   を備える画像処理装置。
2. 前記処理手段は、
   輝度の表示を優先する第１変換特性と、
   階調の表示を優先する第２変換特性と、
   のいずれかを前記第１画素及び前記第２画素に関する情報に基づき選択して前記画像処理を行う請求項１に記載の画像処理装置。
3. 前記処理手段は、
   輝度の表示を優先する第１変換特性と、
   階調の表示を優先する第２変換特性と、
   を前記第１画素及び前記第２画素に関する情報に基づく度合で組み合わせた変換特性により前記画像処理を行う請求項１に記載の画像処理装置。
4. 前記第１変換特性は、入力画像によらない固定的な変換特性である請求項２又は３に記載の画像処理装置。
5. 前記第１変換特性は、前記表示装置の表示可能な輝度範囲の上限の近傍及び下限の近傍の少なくとも一方の領域における階調圧縮の度合が、前記表示可能な輝度範囲の中央の近傍における階調圧縮の度合よりも強く、前記表示装置の表示可能な輝度範囲内の輝度の忠実な表示を優先する変換特性である請求項４に記載の画像処理装置。
6. 前記第２変換特性は、入力画像に適応的な変換特性である請求項２〜５のいずれか１項に記載の画像処理装置。
7. 前記第２変換特性は、入力画像の輝度分布において度数が多い輝度の領域により多くの階調を割り当てる変換特性である請求項６に記載の画像処理装置。
8. 前記第１画素に関する情報は前記第１画素の度数であり、
   前記第２画素に関する情報は前記第２画素の度数である請求項２〜７のいずれか１項に記載の画像処理装置。
9. 前記処理手段は、
   前記第１画素の度数が第１閾値より多く、かつ、
   前記第２画素の度数が第２閾値より多い場合、
   前記第２変換特性により前記画像処理を行う請求項８に記載の画像処理装置。
10. 前記処理手段は、
    前記第１画素の度数が第１閾値以下、又は、
    前記第２画素の度数が第２閾値以下の多い場合、
    前記第１変換特性により前記画像処理を行う請求項８又は９に記載の画像処理装置。
11. 前記第１画素及び前記第２画素に関する情報は、前記入力画像における前記第１画素及び前記第２画素の画像内の分布である請求項２〜７のいずれか１項に記載の画像処理装置。
12. 前記処理手段は、前記第１画素から構成される領域と前記第２画素から構成される領域とが隣接している場合、前記第２変換特性により前記画像処理を行う請求項１１に記載の画像処理装置。
13. 前記処理手段は、前記第１画素から構成される領域と前記第２画素から構成される領域とが離れている場合、前記第１変換特性により前記画像処理を行う請求項１１又は１２に記載の画像処理装置。
14. 前記処理手段は、前記入力画像を複数の領域に分割し、領域毎に、領域内の前記第１画素及び前記第２画素に関する情報に基づき決定される変換特性を用いて前記画像処理を行う請求項１〜１３のいずれか１項に記載の画像処理装置。
15. 前記所定の基準輝度は基準白に相当する輝度であり、
    前記第１輝度範囲は、基準白に相当する輝度から前記表示装置の表示可能な輝度範囲の上限輝度までの輝度範囲であり、
    前記第２輝度範囲は、前記上限輝度を超える輝度範囲である請求項１〜１４のいずれか１項に記載の画像処理装置。
16. 前記所定の基準輝度は基準黒に相当する輝度であり、
    前記第１輝度範囲は、前記表示装置の表示可能な輝度範囲の下限輝度から基準黒に相当する輝度までの輝度範囲であり、
    前記第２輝度範囲は、前記下限輝度より低い輝度範囲である請求項１〜１４のいずれか１項に記載の画像処理装置。
17. 前記表示装置の表示可能な輝度範囲は可変であり、
    前記取得手段は、前記表示装置の表示可能な輝度範囲が変化した場合、変化後の表示可能な輝度範囲の情報を取得し、
    前記処理手段は、前記変化後の表示可能な輝度範囲に基づき決定される変換特性を用いて前記画像処理を行う請求項１〜１６のいずれか１項に記載の画像処理装置。
18. 請求項１〜１７のいずれか１項に記載の画像処理装置と、
    前記画像処理装置から出力される画像を表示する表示手段と、
    を備える表示装置。
19. 入力画像を変換して表示装置へ出力する画像処理装置の制御方法であって、
    前記表示装置の表示可能な輝度範囲の情報を取得する取得工程と、
    前記入力画像を構成する画素のうち、所定の基準輝度と前記表示装置の表示可能な輝度範囲の限界輝度との間の第１輝度範囲内の輝度をもつ第１画素に関する情報と、前記第１輝度範囲に隣接し前記限界輝度を超える第２輝度範囲内の輝度をもつ第２画素に関する情報と、に基づき決定される変換特性を用いて、前記入力画像のダイナミックレンジを圧縮する画像処理を行う処理工程と、
    を有する画像処理装置の制御方法。
20. 請求項１９に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images