JP2020005171A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】高輝度成分の影響によって生じる階調の視認性の低下を抑制することができる。【解決手段】表示装置に表示する画像に対して階調補正を行う画像処理装置であって、画像内の複数画素からなる第１領域の輝度に関する第１輝度情報と、第１領域を含み第１領域よりも広い第２領域の輝度に関する第２輝度情報とを取得する取得手段と、第１輝度情報と第２輝度情報とから、第１領域の輝度に対する第２領域の輝度の影響度を導出し、導出した影響度に応じて第１領域に対する階調補正量を決定する決定手段と、を備える。【選択図】図１

Description

本発明は、表示装置に表示する画像に対して階調補正を行う画像処理装置に関する。

一般に、明るい領域と暗い領域とが混在する画像を表示デバイスに表示させて観察する場合、明るい領域の輝度が大きいと暗い領域が見えにくくなる。また、近年では表示デバイスのＨＤＲ（ハイダイナミックレンジ）化が加速していて、ダイナミックレンジが数１０００〜１００００ｃｄ／ｍ²を超える表示デバイスが登場してきている。そのため、表示デバイスにおいて、そのような階調の視認性の低下がより顕著に見られるようになってきている。

上記のような階調の視認性の低下を抑制する技術として、例えば、入力画像に対して階調補正を施すことで階調の視認性を向上させる方法が提案されている（特許文献１参照）。特許文献１に記載された方法では、局所的に暗い画素の影響により生じ得る階調の過補正を抑制することで、階調再現性を向上させている。

特開２０１０−２５８５０２号公報

しかし、特許文献１に記載された方法では、補正対象とする領域周辺の輝度成分の影響を考慮せずに、階調補正を行っている。したがって、例えば、補正対象とする領域の外側に明るい被写体（高輝度成分）が存在する場合、該領域に対して階調補正を適用したとしても、その高輝度成分の影響により良好な視認性が得られない可能性がある。

そこで、本発明では、高輝度成分の影響によって生じる階調の視認性の低下を抑制する画像処理装置を提供することを目的とする。

本発明による画像処理装置は、表示装置に表示する画像に対して階調補正を行う画像処理装置であって、画像内の複数画素からなる第１領域の輝度に関する第１輝度情報と、第１領域を含み第１領域よりも広い第２領域の輝度に関する第２輝度情報とを取得する取得手段と、第１輝度情報と第２輝度情報とから、第１領域の輝度に対する第２領域の輝度の影響度を導出し、導出した影響度に応じて第１領域に対する階調補正量を決定する決定手段と、を備えることを特徴とする。

本発明によれば、高輝度成分の影響によって生じる階調の視認性の低下を抑制することができる。

第１実施形態の画像処理装置の構成の一例を示すブロック図である。 表示装置に表示されている画像の全領域を示す図である。 第１実施形態の画像処理装置が実行する処理を示すフローチャートである。 最大輝度変換テーブルの一例を示す図である。 第１実施形態の階調補正量の決定処理を示すフローチャートである。 弁別輝度のＬＵＴの一例を示す図である。 第１実施形態のガンマ補正データを説明するための図である。 第２実施形態の画像処理装置の構成の一例を示すブロック図である。 第２実施形態の画像処理装置が実行する処理を示すフローチャートである。 第２実施形態の階調補正量の決定処理を示すフローチャートである。 第２実施形態のガンマ補正データを説明するための図である。 第３実施形態の画像処理装置の構成の一例を示すブロック図である。 第３実施形態の画像処理装置が実行する処理を示すフローチャートである。 第３実施形態のガンマ補正テーブルを説明するための図である。 第３実施形態のガンマ補正テーブルを説明するための図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決部に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［第１実施形態］
図１は、第１実施形態の画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、表示輝度取得部１０１、第１領域輝度情報取得部１０２、第２領域輝度情報取得部１０３、階調補正量決定部１０４、階調変換部１０５、及び表示部１０６を備える。なお、第１領域輝度情報取得部１０２と第２領域輝度情報取得部１０３との両方を含めて、輝度情報取得部と表現する場合がある。

各部１０１〜１０５は、画像処理回路であって、画像処理装置１００が有するＣＰＵによって制御される。なお、各部１０１〜１０５は、ソフトウェアで実現されてもよい。表示部１０６は、入力される画像信号に基づいてバックライトや各画素の発光強度を調整する駆動回路と画面（発光パネル）とを有する表示装置である。なお、表示部１０６は、画像処理装置１００の外部に設置されていてもよい。

本実施形態では、画像処理装置１００に入力される信号（以下、入力信号と呼ぶ。）がＹＣｂＣｒ形式である場合について説明する。なお、入力信号の形式は、ＹＣｂＣｒ以外であってもよい。ＹＣｂＣｒ伝送規格では、各画素は画素値として輝度成分、赤緑成分、青黄成分の３チャンネルの信号を有する。入力信号は、例えばＨＤＤ（ハードディスクドライブ）などの記録媒体から入力されてもよいし、ネットワークを介して接続された外部装置から入力されてもよいし、テレビなどの放送波によって伝送される映像信号であってもよい。

次に、本実施形態における階調処理が適用される領域について説明する。図２は、表示装置（表示部１０６）に表示されている画像の全領域を示す図である。画像２０に対し、第１領域２１は、画像２０の全領域を分割して得られる、１画素または複数画素からなる小領域である。第２領域２２は、第１領域２１を含み、且つ第１領域２１よりも広い領域である。第１領域２１を１ブロックとした場合、本実施形態では、第２領域２２を３×３ブロックとする。なお、第１領域が画像２０の端に位置する場合は、第１領域と、該第１の領域に隣接する小領域とからなるブロックを第２領域とする。なお、第１領域及び第２領域は任意に設定されてよく、上記の設定方法に限定されない。例えば、画像２０の全領域をいくつに分割してもよく、小領域の大きさは図２に示される大きさに限定されない。また、第２領域は、第１領域（１ブロック）に対して３×３ブロック以外の範囲が設定されてもよい。また例えば、ユーザの視距離に応じて２度視野に相当する範囲を第１領域、周辺視野である１０度視野を第２領域としてもよい。

以下、図３を用いて、本実施形態の画像処理装置１００が実行する処理を説明する。なお、図３に示す一連の処理は、ＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し実行することにより行われる。なお、後述する図５、図９、図１０及び図１３に示す一連の処理についても同様である。また、図３、図５、図９、図１０及び図１３に示す一連の処理の一部または全部をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

まず、表示輝度取得部１０１は、入力信号（ＹＣｂＣｒ信号）を表示装置（ここでは、表示部１０６）が画面上で発光している絶対輝度の情報に変換する（Ｓ３０１）。これにより、入力画像（入力信号によって示される画像）の画素毎に輝度が求まる。ここで、各画素の輝度の導出方法について説明する。

図４（ａ）には、表示装置に対してユーザが設定した輝度の設定情報と、それに対応する最大輝度Ｙ_maxとを対応付けて格納する最大輝度変換テーブルが示されている。ここでいう最大輝度Ｙ_maxは、ユーザが表示装置に対して設定した輝度に対して該表示装置が表示可能な最大輝度を表す。表示輝度取得部１０１は、最大輝度変換テーブルを予め保持する。そして、表示輝度取得部１０１は、最大輝度変換テーブルを参照して、表示装置に設定されている輝度に対応する最大輝度Ｙ_maxを表示輝度として取得する。なお、最大輝度変換テーブルは、図４（ａ）に示されるテーブルに限られない。例えば、表示装置に対してＬＯＷ，ＭＩＤ，ＨＩＧＨの３段階やＳＤＲ，ＨＤＲの２段階で輝度が設定されるような場合には、最大輝度変換テーブルとして、図４（ｂ）に示すようなテーブルが用いられてもよい。表示輝度取得部１０１は、以下の式（１）を用いて、絶対輝度信号Ｉ（ＹＣｂＣｒ信号のＹに相当）と最大輝度Ｙ_maxとから各画素の表示輝度に基づく絶対輝度信号Ｙ（ｘ，ｙ）を導出する。なお、（ｘ，ｙ）は画素位置を表す。

なお、入力信号がＲＧＢ信号である場合は、ＲＧＢ信号をマトリクス演算によりＹＣｂＣｒ信号に変換してから、同様の処理を行えばよい。

次に、第１領域輝度情報取得部１０２は、評価対象とする第１領域（以下、評価対象領域と呼ぶ。）を設定する（Ｓ３０２）。より具体的には、第１領域輝度情報取得部１０２は、評価対象とする第１領域を示す番号（以下、評価対象領域番号と呼ぶ。）ｉを設定する。なお、図２に示す画像２０の各小領域（各ブロック）には、左上隅（図における左上隅）のブロックから右下隅（図における右上隅）のブロックに向かって、１から順に番号が割り当てられているものとする。本実施形態では、評価対象領域番号ｉの初期値として１が設定されるものとする。つまり、画像２０の左上隅のブロックから順に処理が行われるものとする。

次に、第１領域輝度情報取得部１０２は、表示輝度取得部１０１が取得した表示輝度に基づく絶対輝度信号Ｙについて、第１領域輝度情報（以下、単に第１輝度情報と呼ぶ。）を導出する（Ｓ３０３）。第１輝度情報は、第１領域内の絶対輝度信号Ｙから導出される平均値（平均輝度）Ｙ_1mean,iと標準偏差σ_1,iである。

次に、第２領域輝度情報取得部１０３は、評価対象の第１領域を中心とし第１領域よりも広い第２領域内の絶対輝度信号Ｙから、最大輝度Ｙ_2max,iを第２領域輝度情報（以下、単に第２輝度情報と呼ぶ。）として導出する（Ｓ３０４）。第２領域輝度情報取得部１０３は、第２領域内の絶対輝度信号Ｙのヒストグラムを解析し、ある度数分布以上の輝度を最大輝度Ｙ_2max,iとして取得する。なお、最大輝度Ｙ_2max,iの求め方はこれに限らない。また、入力信号に含まれるノイズ成分が検出されないように、入力信号にローパスフィルタを乗算してノイズを除去してから、最大輝度Ｙ_2max,iを導出するようにしても良い。

次に、階調補正量決定部１０４は、第１輝度情報と第２輝度情報とに基づき、評価対象の第１領域に対する階調補正量を決定する（Ｓ３０５）。階調補正量の決定方法については、後述する。次に、階調補正量決定部１０４は、Ｓ３０５で決定した階調補正量を示す情報（以下、階調補正量情報と呼ぶ。）を保存する（Ｓ３０６）。本実施形態では、階調補正量情報は、画像処理装置１００が備える記憶部（図示せず）に保存されるものとする。

次に、階調補正量決定部１０４は、全ての小領域について階調補正量の導出が完了しているかどうかを判断する（Ｓ３０７）。全ての小領域について階調補正量の導出が完了している場合は（Ｓ３０７のＹＥＳ）、処理は終了する。完了していない場合は（Ｓ３０７のＮＯ）、階調補正量決定部１０４は、評価対象領域を変更する（Ｓ３０８）。具体的には、表示輝度取得部１０１は、評価対象領域番号ｉを１インクリメントする。最後に、階調変換部１０５が、Ｓ３０６で保存した階調補正量情報を用いて、入力信号（ＹＣｂＣｒ信号）に対して階調変換処理（階調補正処理）を実施する（Ｓ３０９）。階調変換部１０５によって階調変換（階調補正）されたＹＣｂＣｒ信号（以下、Ｙ´Ｃｂ´Ｃｒ´信号と記す。）は、表示装置に入力される。これにより、表示装置の画面上に、Ｙ´Ｃｂ´Ｃｒ´信号に基づく画像が表示される。なお、本発明ではY信号にのみ階調変換処理を行い、Cb、Crについては、階調変換処理前後で値は変化しないものとする。

＜階調補正量の決定処理（Ｓ３０５）＞
ここで、階調補正量の決定処理（Ｓ３０５）について、図５を用いて説明する。図５は、階調補正量の決定処理を示すフローチャートである。

まず、階調補正量決定部１０４は、第２領域の最大輝度Ｙ_2max,iが第１領域の平均輝度Ｙ_1mean,iより大きいかどうかを判定する（Ｓ５０１）。小さいか等しい場合は（Ｓ５０１のＮＯ）、階調補正量決定部１０４は、処理を終了する。大きい場合は（Ｓ５０１のＹＥＳ）、階調補正量決定部１０４は、第１領域の平均輝度Ｙ_1mean,iに対応する弁別輝度（以下、単に輝度弁別値と表現する場合がある。）ｄＹを取得する（Ｓ５０２）。本実施形態では、階調補正量決定部１０４は、予め図６に示すような平均輝度（絶対輝度で表現された平均輝度）に対応する弁別輝度のＬＵＴ_JNDを保持する。なお、ＪＮＤは、Ｊｕｓｔ Ｎｏｔｉｃｅａｂｌｅ Ｄｉｆｆｅｒｅｎｃｅ（弁別閾）の略である。そして、以下の式（２）に示すように、階調補正量決定部１０４は、ＬＵＴ_JNDを参照して、第１領域の平均輝度Ｙ_1mean,iに対応する輝度弁別値ｄＹを取得する。

ＬＵＴ_JNDは、主観評価実験によって予め定めることができる。または、以下の式（３）を用いて輝度弁別値ｄＹを導出することも可能である。式（３）は、Bartenらによって提案されている視覚モデル（BARTEN, Peter GJ. Formula for the contrast sensitivity of the human eye. In: Electronic Imaging 2004. International Society for Optics and Photonics, 2003. p. 231-238.）である。

式（３）において、Ｌは平均輝度を表す。ｕは被写体の周波数（ｃ／ｄｅｇｒｅｅ）を表す。Ｘ０は視野角（ｄｅｇｒｅｅ）を表す。Ｓは知覚可能な輝度コントラスト比を表す。ここで、Ｘ０をある代表値（例えば２度視野）としたときの全周波数に対するＳ（ｕ）の最大値を、Ｓ（ｕ）の代表値とする。すると、ｄＹは、以下の式（４）により導出することができる。

次に、階調補正量決定部１０４は、第１領域の標準偏差σ_1,iとＳ５０２で導出したｄＹとの比ｐ１を、以下の式（５）により導出する（Ｓ５０３）。

ｐ１が１以下であるときは、第１領域の輝度変動が、第１領域の平均輝度Ｙ_1mean,iに対応する輝度弁別値ｄＹを下回る。そのため、観察者は第１領域の輝度変化を知覚することができない。一方、ｐ１が１より大きければ、観察者は第１領域の輝度変化を知覚することができる。

次に、階調補正量決定部１０４は、第２領域の最大輝度Ｙ_2max,iの影響を考慮して輝度弁別値ｄＹを補正し、補正後の輝度弁別値ｄＹ´と第１領域の標準偏差σ_1,iとの比ｐ２を導出する（Ｓ５０４）。Ｓ５０４の処理において、階調補正量決定部１０４は、第２領域の最大輝度Ｙ_2max,iの影響を考慮した輝度弁別値ｄＹ´を以下のようにして導出する。

式（６）において、ｋは任意の係数である。本実施形態では、式（６）に示すように、第２領域の最大輝度Ｙ_2max,iと第１領域の平均輝度Ｙ_1mean,iとの差分量に所定の係数を乗じて得られる値を加算して、輝度弁別値ｄＹを補正する。なお、式（６）の代わりに以下の式（７）を用いて、第２領域の最大輝度Ｙ_2max,iの影響を考慮した輝度弁別値ｄＹ´を導出する方法もある。

式（７）において、ｍは任意の係数である。この方法では、式（７）に示すように、ＬＵＴ_JNDを参照するときに用いる平均輝度Ｙ_1mean,iを、第２領域の最大輝度Ｙ_2max,iと第１領域の平均輝度Ｙ_1mean,iとの差分量に基づいて大きい値にシフトする。なお、式（６）におけるｋ及び式（７）におけるｍは、周囲の明るさに応じた輝度弁別の主観評価実験を行うことで決定することができる。そして、階調補正量決定部１０４は、補正後の輝度弁別値ｄＹ´と第１領域の標準偏差σ_1,iとの比Ｐ２を、以下の式（８）により導出する。

このとき、ｄＹ´は、第２領域の最大輝度Ｙ_2max,iの影響でｄＹに比べて大きい値となる。そのため、ｐ２はｐ１に比べて小さい値となる。

Ｓ５０４の後、階調補正量決定部１０４は、ｐ１とｐ２の比ｐ２／ｐ１を導出し、導出した比ｐ２／ｐ１に応じた階調補正量（ガンマ補正量）を設定する（Ｓ５０５）。比ｐ２／ｐ１は、第１領域の輝度に対する第２領域の輝度の影響の度合い（影響度）を表している。本実施形態の階調補正量決定部１０４は、予め図７（ａ）に示すようなガンマ補正データ（ガンマ補正テーブル）を保持する。階調補正量決定部１０４は、ガンマ補正データを参照して、ｐ２／ｐ１に応じたガンマ補正量を設定する。図７（ｂ）には、図７（ａ）に示すガンマ補正データをグラフで示した図が示されている。領域７０１は、輝度（入力信号）が一定以下である暗部を示す。領域７０２は、ｐ２／ｐ１が０．９である場合における、領域７０１に対する階調補正後（ガンマ補正後）の輝度の範囲を表す。領域７０３は、ｐ２／ｐ１が０．１である場合における、領域７０１に対する階調補正後（ガンマ補正後）の輝度の範囲を表す。ここで、領域７０２と領域７０３とを比較すると、ｐ２／ｐ１の値が小さいほど階調補正後の暗部に対する輝度の範囲が大きく、階調数が多く割り当てられていることが分かる。このように、本実施形態では、ｐ２／ｐ１が小さいほど、第１領域に対する第２領域の最大輝度の影響が大きいと判断し、図７（ｂ）に示すように、ｐ２／ｐ１が小さいほど、暗部を急峻に変化させるガンマ補正データが設定される。ここで、ｐ２／ｐ１の値は、ｐ２が小さいほど小さく、ｐ２は、式（８）よりｄＹ´が大きいほど小さい。さらに、式（６）よりｄＹ´は第２領域と第１領域との輝度情報の差に正比例する。つまり、第１領域と第２領域との輝度情報の差が大きくなるにつれて、暗部に割り当てる階調数が大きくなるように補正をする。

なお、本実施形態では、ｐ１とｐ２とを導出し、ｐ２／ｐ１に応じてガンマ補正量を決定しているが、ｐ１とｐ２とを導出せずに、ｄＹ´／ｄＹに応じてガンマ補正量を決定するようにしてもよい。

以上のように、本実施形態によれば、局所的なガンマ補正処理を行う際に、着目領域に対する周辺の最大輝度に応じて、着目領域の輝度が小さくなるように階調補正量（ガンマ補正量）を変更する。したがって、暗部の周辺に高輝度領域が存在する場合でも、暗部における階調の視認性を低下させないようにすることができる。

［第２実施形態］
第１実施形態では、画面内の着目領域（第１領域）に対する周辺領域（第２領域）の最大輝度に応じて、着目領域に対する階調補正処理に用いる補正量を変更する例について説明した。しかし、ユーザによって表示装置の設定輝度が変更された場合、設定輝度の変更の前後において画像の見えが変化してしまう可能性がある。例えば、暗い輝度を基準としたときにモニタ側を高輝度に変更した場合、暗い輝度で見えていた階調が見えなくなる場合がある。逆に、明るい輝度を基準としたときにモニタ側を低輝度に変更した場合、明るい輝度では見えていなかった階調が見えてくる場合がある。そこで、本実施形態の画像処理装置は、ユーザが表示装置の設定輝度をある輝度から別の輝度に変更した場合に、変更前の設定輝度での見えが変更後においても維持されるように階調補正処理を行う。

図８は、第２実施形態の画像処理装置２００の構成の一例を示すブロック図である。第２実施形態の画像処理装置２００の構成は、第１実施形態の画像処理装置１００と同様である。ただし、図８に示すように、画像処理装置２００は、基準輝度取得部８０１を備え、さらに階調補正量決定部１０４の代わりに階調補正量決定部８０２を備える。このような構成により、画像処理装置２００は、表示装置の設定輝度が変更される前と後とで階調の視認性が維持されるように、入力信号（ＹＣｂＣｒ信号）に対する階調補正量（ガンマ補正量）を決定する。

以下、図９を用いて、第２実施形態の画像処理装置２００が実行する処理を説明する。まず、基準輝度取得部８０１は、入力信号（ＹＣｂＣｒ信号）を基準輝度の情報に変換し、輝度信号に基づく絶対輝度信号を取得する（Ｓ９０１）。基準輝度とは、見えの基準となる表示装置の最大輝度である。基準輝度の設定方法としては、第１実施形態における表示輝度と同様に、図４に示すようなテーブルを用いて、表示装置が表示可能な最大輝度に対応した数値や文字列などを指定する方法が考えられる。なお、Ｓ９０２，Ｓ９０３の処理は、Ｓ３０１，Ｓ３０２の処理と同様であるため説明を省略する。

Ｓ９０３の後、第１領域輝度情報取得部１０２は、基準輝度と表示輝度とについて第１領域情報を導出する（Ｓ９０４）。具体的には、第１領域輝度情報取得部１０２は、Ｓ９０１で取得された、基準輝度に基づく絶対輝度信号Ｙ０に対して、第１領域内での平均値Ｙ０_1mean,iと標準偏差σ０_1,iとを導出する。さらに、第１領域輝度情報取得部１０２は、Ｓ９０２で取得された、表示輝度に基づく絶対輝度信号Ｙｄに対して、第１領域内での平均値Ｙｄ_1mean,iと標準偏差σｄ_1,iとを導出する。

次に、第２領域輝度情報取得部１０３は、基準輝度と表示輝度とについて第２領域情報を導出する（Ｓ９０５）。具体的には、第２領域輝度情報取得部１０３は、基準輝度に基づく絶対輝度信号Ｙ０と表示輝度に基づく絶対輝度信号Ｙｄとのそれぞれに対して、第２領域内での最大輝度情報であるＹ０_2max,i，Ｙｄ_2max,iを導出する。次に、階調補正量決定部８０２は、第１輝度情報と第２輝度情報とに基づき、階調補正量を決定する（Ｓ９０６）。Ｓ９０７〜Ｓ９１０の処理は、Ｓ３０６〜Ｓ３０９の処理と同様であるため説明を省略する。

続いて、図１０を用いて、Ｓ９０６における階調補正量の決定方法について説明する。まず、階調補正量決定部８０２は、Ｓ９０４で導出された第１領域の平均値Ｙ０_1mean,i，Ｙｄ_1mean,iに対応する輝度弁別値ｄＹ₀，ｄＹ_dを取得する（Ｓ１００１）。取得方法は、Ｓ５０２と同様である。次に、階調補正量決定部８０２は、第２領域の最大輝度の影響を考慮した輝度弁別値ｄＹ´と第１領域内の標準偏差σとの比ｐ２を、基準輝度と表示輝度とのそれぞれについて導出する（Ｓ１００２）。

ここで、Ｓ１００２の処理を説明する。まず、階調補正量決定部８０２は、第２領域の最大輝度の影響を考慮した輝度弁別値ｄＹ´を、以下の式（９）（１０）により導出する。ｄＹ´₀は、基準輝度に基づく絶対値信号Ｙ０から導出されるｄＹ´である。ｄＹ´_dは、表示輝度に基づく絶対値信号Ｙｄから導出されるｄＹ´である。

次に、階調補正量決定部８０２は、以下の式（１１）（１２）により、ｄＹ´₀とｄＹ´_dとのそれぞれについて第１領域内の標準偏差σとの比ｐ２を導出する。ｐ２＿０は、ｄＹ´₀に対応するｐ２である。ｐ２＿ｄは、ｄＹ´_dに対応するｐ２である。

Ｓ１００２の後、階調補正量決定部８０２は、式（１３）により、Ｓ１００２で導出したｐ２＿０とｐ２＿ｄとの比Ｊを導出する（Ｓ１００３）。

次に、階調補正量決定部８０２は、Ｓ１００３で導出した比Ｊに基づいたガンマ補正量を設定する（Ｓ１００４）。階調補正量決定部８０２は、階調補正量決定部１０４と同様に予めガンマ補正データを保持していて、該ガンマ補正データを参照して、比Ｊに応じたガンマ補正量を設定する。図１１（ａ）に、本実施形態におけるガンマ補正データ（ガンマ補正テーブル）を示す。また、図１１（ｂ）には、図１１（ａ）に示すガンマ補正テーブルをグラフで示した図が示されている。図１１（ａ）（ｂ）に示すように、本実施形態では、比Ｊが小さいほど、暗部を急峻に変化させるガンマ補正が適用される。その理由は、Ｊ値が小さい場合は、基準輝度より表示輝度の方が第１領域に対する第２領域の最大輝度の影響が大きいと判断できるからである。よって、基準輝度での階調再現と同じ見えにするために、表示輝度では暗部を持ち上げる。一方、比Ｊが大きい場合は、表示輝度より基準輝度の方が第１領域に対する第２領域の最大輝度の影響が大きいと判断できる。よって、基準輝度では最大輝度の影響で階調が見えにくかったと判断できるため、比Ｊが大きいほど表示輝度では暗部の変化を緩やかにするガンマ補正が適用される。

以上のように、本実施形態では、表示装置の設定輝度が変わった場合に、設定輝度の変更前後で生じる階調の視認性の変化を考慮して、ガンマ補正量を決定する。したがって、本実施形態によれば、設定輝度の変更後において、該変更前の見えが維持されるように階調補正を行うことが可能となる。

通常、ＳＤＲモードとＨＤＲモードを有する表示装置においてＳＤＲモードからＨＤＲモードへの切り替えが行われた場合に、ＳＤＲモードで階調を視認できていた暗部領域が、高輝度部の絶対輝度が上昇することにより見えにくくなる場合がある。しかし、そのような表示装置に本実施形態を適用することにより、そのような暗部領域の視認性の低下を抑制することが可能となる。

［第３実施形態］
第１及び第２実施形態では、階調補正処理の対象領域（第１領域）の周辺領域（第２領域）に存在する高輝度領域の絶対輝度に基づいて、階調補正処理に用いる補正量を変更している。しかし、高輝度領域の絶対輝度だけでなく、高輝度領域と階調補正処理の対象領域（以下、補正対象領域と呼ぶ。）との距離によっても階調の視認性は変化する。例えば、補正対象領域が、高輝度領域に近いほど階調の視認性への影響は大きく、高輝度領域から遠いほどその影響は小さい。そこで、本実施形態では、高輝度領域の絶対輝度と、補正対象領域と高輝度領域との位置関係とに基づいて、階調補正処理に用いる補正量を変更して、高輝度領域の影響による階調の視認性の変化を低減する。

図１２は、第３実施形態での画像処理装置３００の構成の一例を示すブロック図である。本実施形態の画像処理装置３００は、表示輝度取得部１０１、階調変換部１０５、表示部１０６、輝度比較部１２０１及び高輝度領域距離取得部（以下、単に距離取得部と呼ぶ。）１２０２を備える。輝度比較部１２０１は、補正対象領域と高輝度領域の輝度の絶対値を比較し比較情報を出力する画像処理回路である。距離取得部１２０２は、補正対象領域と高輝度領域との距離（以下、単に高輝度領域との距離と呼ぶ。）を示す情報を取得する画像処理回路である。なお、輝度比較部１２０１及び距離取得部１２０２は、ソフトウェアで実現されてもよい。表示輝度取得部１０１、階調変換部１０５、及び表示部１０６は、第１及び第２実施形態と同様である。ただし、本実施形態における表示輝度取得部１０１は、取得した表示輝度に基づく絶対輝度信号から、高輝度領域の情報を取得する。

以下、図１３を用いて、本実施形態の画像処理装置３００が実行する処理を説明する。まず、表示輝度取得部１０１は、入力信号（ＹＣｂＣｒ信号）を表示輝度の情報に変換して、表示輝度に基づく絶対輝度信号を取得する。また、表示輝度取得部１０１は、各高輝度領域の位置情報（ここでは、高輝度領域の中心座標（ｘ_max，ｙ_max））と、各高輝度領域における最大輝度Ｙ_maxとを取得する（Ｓ１３０１）。高輝度領域の取得方法には、いずれの方法を用いてもよい。本実施形態では、表示輝度取得部１０１は、入力画像を分割して得られる各ブロックについて、ブロック内の絶対輝度信号を参照して最大輝度を導出する。そして、最大輝度がある閾値以上であるブロックを高輝度領域として特定し、そのブロックの位置と最大輝度とを取得する。その他の方法としては、輝度がある閾値以上である画素からなり画素数がある閾値以上である連続領域を抽出し、その連続領域を高輝度領域として特定し、その領域の位置と平均輝度とを取得する方法が考えられる。なお、以下では、説明の簡単のため、高輝度領域が入力画像内に１つ存在する場合について説明する。

次に、輝度比較部１２０１は、補正処理を行うブロックを設定する（Ｓ１３０２）。本実施形態では、図２に示すように、入力画像を複数のタイル状のブロックに分割し、各ブロックに対して、左上隅（図における左上隅）のブロックから右下隅（図における右下隅）のブロックに向かって順に処理を行うものとする。

次に、輝度比較部１２０１は、補正対象領域内の平均輝度Ｙ_ave,i（ｉは、補正対象領域の番号を表す）を導出し、さらに、以下の式（１４）により、高輝度領域の最大輝度Ｙ_maxとの輝度差ｄＹを導出する（Ｓ１３０３）。なお、本実施形態においても、左上隅のブロックから右下隅のブロックに向かって、１から順に番号が割り当てられているものとする。

次に、距離取得部１２０２は、高輝度領域との距離を導出する（Ｓ１３０４）。本実施形態では、距離取得部１２０２は、領域間のピクセル数［ｐｉｘｅｌ］と、１ピクセルあたりの距離情報ｐ［ｍｍ／ｐｉｘｅｌ］と、ユーザの観察距離Ｕ［ｍｍ］とを用いて、高輝度領域との距離として視野角Ｄｅｇを導出する。ここで、Ｓ１３０４の処理を説明する。

まず、距離取得部１２０２は、補正対象領域の中心画素の位置座標（ｘ_i，ｙ_i）と高輝度領域の中心座標（ｘ_max，ｙ_max）との距離Ｄを、以下の式（１５）により導出する。

次いで、距離取得部１２０２は、ユーザの観察距離Ｕを用いて、以下の式（１６）により視野角Ｄｅｇを導出する。

ここで、観察距離Ｕは任意である。例えば、表示装置の画面の縦の長さＨを用いて１．５Ｈや３Ｈというように決定することができる。

次に、距離取得部１２０２は、補正対象領域の平均輝度Ｙ_ave,i、輝度差ｄＹ、及び高輝度領域との距離Ｄｅｇに応じて、階調補正処理に用いる補正量を決定する（Ｓ１３０５）。なお、本実施形態では、距離取得部１２０２が階調補正処理に用いる補正量を決定しているが、第１及び第２実施形態と同様に、画像処理装置３００が階調補正量決定部を備え、該階調補正量決定部が補正量を決定する構成としてもよい。距離取得部１２０２は、図１４に示すようなガンマ補正データを保持する。図１４には、輝度差ｄＹと距離Ｄｅｇとの組み合わせごとに階調補正テーブルｄＹ‐Ｄｅｇを格納するガンマ補正データが示されている。なお、距離取得部１２０２は、図１４に示すガンマ補正データを、輝度のレベルに応じて複数保持しているものとする。そして、距離取得部１２０２は、補正対象領域の平均輝度Ｙ_ave,iに対応するガンマ補正データを参照して、階調補正処理に用いる補正量を決定するものとする。図１５には、図１４に示す階調補正テーブルをグラフで示した図が示されている。図１５（ａ）には、距離Ｄを変化させずに輝度差ｄＹを変化させたときの階調補正テーブル１５０１〜１５０３が示されている。輝度差ｄＹが大きくなるにつれて、テーブル１５０１、テーブル１５０２、テーブル１５０３へと変化する。一方、図１５（ｂ）には、輝度差ｄＹを変化させずに距離Ｄを変化させたときの階調補正テーブル１５０４〜１５０６が示されている。距離Ｄが大きくなるにつれて、テーブル１５０４、テーブル１５０５、テーブル１５０６へと変化する。Ｓ１３０６〜Ｓ１３０９の処理は、第１実施形態のＳ３０６〜Ｓ３０９の処理と同様であるため説明を省略する。

以上のように、本実施形態では、高輝度領域の絶対輝度と、高輝度領域と補正対象領域との位置関係とに基づいて、階調補正処理に用いる補正量を図１４及び図１５に示されるガンマ補正データに基づいて変化させる。それにより、高輝度領域との輝度差だけでなく、高輝度領域と補正対象領域との距離によって変化する階調の視認性の変化を低減することができる。それにより、例えば、上述したような高輝度成分の影響によって生じる階調の視認性の低下を抑制することができる。

なお、本実施形態では、高輝度領域が入力画像内に１つ存在する場合についての処理を説明したが、高輝度領域が入力画像内に複数存在する場合にも、本実施形態を適用可能である。その場合には、例えば、補正対象領域について、各高輝度領域に対応する階調補正テーブルｄＹ‐Ｄｅｇをそれぞれ取得すればよい。そして、取得した各階調補正テーブルｄＹ‐Ｄｅｇに基づき、補正対象領域の階調補正処理に用いる補正量を決定すればよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 第１領域輝度情報取得部
１０３ 第２領域輝度情報取得部
１０４ 階調補正量決定部

Claims (16)

1. 表示装置に表示する画像に対して階調補正を行う画像処理装置であって、
   前記画像内の複数画素からなる第１領域の輝度に関する第１輝度情報と、前記第１領域を含み前記第１領域よりも広い第２領域の輝度に関する第２輝度情報とを取得する取得手段と、
   前記第１輝度情報と前記第２輝度情報とから、前記第１領域の輝度に対する前記第２領域の輝度の影響度を導出し、前記導出した影響度に応じて前記第１領域に対する階調補正量を決定する決定手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記第１領域の輝度及び前記第２領域の輝度が、前記画像の画素値と前記表示装置が表示可能な最大輝度とから決定される絶対輝度である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、
   前記第１輝度情報から前記第１領域の弁別輝度を導出し、
   前記第２輝度情報を用いて、前記導出した弁別輝度を補正し、
   前記補正後の弁別輝度から前記影響度を導出する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第１輝度情報には、少なくとも前記第１領域の輝度の平均値が含まれ、
   前記第２輝度情報には、少なくても前記第２領域の輝度の最大値が含まれ、
   前記決定手段は、
   前記第１領域の輝度の平均値に対応する弁別輝度を導出し、
   前記第２領域の輝度の最大値を用いて、前記導出した弁別輝度を補正し、
   前記導出した弁別輝度に対する前記補正後の弁別輝度の比を、前記影響度として導出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、
   前記導出した弁別輝度を補正する際、前記導出した弁別輝度に対して、前記第２領域の輝度の最大値と前記第１領域の輝度の平均値との差分に所定の係数を乗じて得られる値を加算する
   ことを特徴とする請求項３または請求項４に記載の画像処理装置。
6. 前記決定手段は
   前記導出した弁別輝度に対する前記補正後の弁別輝度の比が小さいほど、前記第１領域の暗部に割り当てる階調数が増えるように、前記第１領域に対する階調補正量を決定する
   ことを特徴とする請求項３から請求項５のうちのいずれか１項に記載の画像処理装置。
7. 前記決定手段は、
   前記表示装置の設定輝度が変更され、前記表示装置が表示可能な最大輝度が変化した場合に、前記設定輝度の変更前における前記補正後の弁別輝度と、前記設定輝度の変更後における前記補正後の弁別輝度との比を導出し、該導出した比に基づき、前記決定した階調補正量を補正する
   ことを特徴とする請求項２から請求項６のうちのいずれか１項に記載の画像処理装置。
8. 表示装置に表示させるための画像に対して階調補正を行う画像処理装置であって、
   前記階調補正を適用する補正対象領域と所定の基準に基づき前記画像から抽出される高輝度領域との距離と、前記補正対象領域の輝度と前記高輝度領域の輝度との輝度差と、を導出する導出手段と、
   前記輝度差と前記距離とに基づき、前記補正対象領域に対する階調補正量を決定する決定手段と、を備える
   ことを特徴とする画像処理装置。
9. 前記補正対象領域の輝度と前記高輝度領域の輝度が、前記画像の画素値と前記表示装置が表示可能な最大輝度とから決定される絶対輝度である
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記導出手段は、
    前記画像を分割して得られる複数の領域のうち、領域内の最大輝度が予め定められた閾値以上である領域を、前記高輝度領域として抽出する
    ことを特徴とする請求項８または請求項９に記載の画像処理装置。
11. 前記導出手段は、
    前記画像から、輝度が予め定められた閾値以上である画素からなり、画素数が予め定められた閾値以上である連続領域を、前記高輝度領域として抽出する
    ことを特徴とする請求項８または請求項９に記載の画像処理装置。
12. 前記決定手段は、
    前記輝度差が大きいほど、前記補正対象領域の暗部に割り当てる階調数が増えるように、前記補正対象領域に対する階調補正量を決定する
    ことを特徴とする請求項８から請求項１１のうちのいずれか１項に記載の画像処理装置。
13. 前記決定手段は、
    前記距離が近いほど、前記補正対象領域の暗部に割り当てる階調数が増えるように、前記補正対象領域に対する階調補正量を決定する
    ことを特徴とする請求項８から請求項１２のうちのいずれか１項に記載の画像処理装置。
14. 表示装置に表示させるための画像に対して階調補正を行う画像処理方法であって、
    前記画像内の複数画素からなる第１領域の輝度に関する第１輝度情報と、前記第１領域を含み前記第１領域よりも広い第２領域の輝度に関する第２輝度情報とを取得するステップと、
    前記第１輝度情報と前記第２輝度情報とから、前記第１領域の輝度に対する前記第２領域の輝度の影響度を導出し、前記導出した影響度に応じて前記第１領域に対する階調補正量を決定するステップと、を含む
    ことを特徴とする画像処理方法。
15. 表示装置に表示させるための画像に対して階調補正を行う画像処理方法であって、
    前記階調補正を適用する補正対象領域と所定の基準に基づき前記画像から抽出される高輝度領域との距離と、前記補正対象領域の輝度と前記高輝度領域の輝度との輝度差と、を導出するステップと、
    前記輝度差と前記距離とに基づき、前記補正対象領域に対する階調補正量を決定するステップと、を含む
    ことを特徴とする画像処理方法。
16. コンピュータを、請求項１から請求項１３のうちのいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images