JP2018036502A - 画像処理回路、画像変換装置、画像表示装置及び画像処理方法 - Google Patents

Abstract

【課題】低ダイナミックレンジの画像を、高輝度領域における表現能力に優れた高ダイナミックレンジの画像に変換可能な、画像処理回路、画像変換装置、画像表示装置及び画像処理方法を提供する。【解決手段】低ダイナミックレンジである第１のダイナミックレンジの画像２の、輝度値が第１のダイナミックレンジ２の上限値以上となって飽和した輝度飽和領域を検出する輝度飽和領域検出器４と、検出された前記輝度飽和領域に対して、前記輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、前記輝度飽和領域内の各画素の前記上限値を超えたピーク輝度値の波形を導出して、前記ピーク輝度値を算出するピーク輝度値生成器５と、前記第１のダイナミックレンジの画像２と、前記輝度飽和領域の各画素の前記ピーク輝度値から、高ダイナミックレンジである第２のダイナミックレンジの画像３を生成する画像合成器７を備える画像処理回路１を提供する。【選択図】図１

Description

本発明は、画像処理回路、画像変換装置、画像表示装置及び画像処理方法に関する。

近年、撮像素子の高性能化等に伴い、通常のＳＤＲ（スタンダードダイナミックレンジ）画像に比べ、より幅広いダイナミックレンジを表現可能な、ＨＤＲ（ハイダイナミックレンジ）画像が使用されている。

ＨＤＲ画像に関しては、ＰＱ方式やＨＬＧ方式等の、標準化、規格化が行われている。例えばＰＱ方式は、最小０．００５ｎｉｔｓから最大１０，０００ｎｉｔｓまでの絶対輝度を扱っている。ＨＬＧ方式においても、最大輝度がＳＤＲ画像の１０倍以上である。 したがって、例えばディスプレイ等においても、従来は５００ｎｉｔｓに満たない程度の最大表示輝度であったが、近年においては、最大表示輝度が数千、あるいは１０，０００ｎｉｔｓの装置の開発が進んでいる。

また、ＨＤＲ画像に関しては、例えば特許文献１に記載されている符号化方法等をはじめとした、様々な提案がなされている。

特開２０１３−１０６３３３号公報

ＳＤＲ画像は、長年にわたり使用され続けてきたため、コンテンツ量が膨大である。このＳＤＲ画像の膨大なコンテンツを有効に活用するため、これらを、ＨＤＲ画像を使用可能な機器等においても使用できるようにすることが望ましい。例えばディスプレイ等の、ＨＤＲ画像を表示可能な画像表示装置でＳＤＲ画像を表示する場合において、通常考えられる対応方法を、図８を用いて以下に説明する。

図８に示されるグラフにおいて、横軸は、入力されるＳＤＲ画像の輝度値であり、縦軸はＨＤＲ画像として表示される輝度値である。ここでは説明を簡単にするために、ＨＤＲ画像の輝度値の上限値は、ＳＤＲ画像の輝度値の上限値の１０倍である場合を想定している。横軸であるＳＤＲ画像の輝度値は、上限値が１に正規化されており、縦軸であるＨＤＲ画像の輝度値は、上限値が１０に正規化されている。

ＨＤＲ画像を表示可能な画像表示装置において、ＳＤＲ画像を表示する方法の１つとして、図８に線１０１として示されるように、画像表示装置においてＳＤＲ画像を表示する際の最大輝度を、ＨＤＲ画像を表示する際の最大輝度の１／１０として、ＳＤＲ画像のダイナミックレンジをそのまま維持して表示することが考えられる。この場合においては、画像表示装置に表示されたＳＤＲ画像は、人間の眼には非常に暗く感じられることがある。

次に、図８に線１０２として示されるように、画像表示装置においてＳＤＲ画像を表示する際の最大輝度を、ＨＤＲ画像を表示する際の最大輝度と同じとするように、ＳＤＲ画像のダイナミックレンジをＨＤＲ画像のダイナミックレンジ最大限に引き伸ばすことが考えられる。この場合においては、画像表示装置に表示されたＳＤＲ画像は、人間の眼には、白飛びが著しくて明る過ぎるように感じられることがある。

更に、図８に線１０３として示されるように、画像表示装置においてＳＤＲ画像を表示する際の最大輝度を、線１０１と線１０２の場合の間の値に、例えば、ＨＤＲ画像を表示する際の最大輝度の１／２となるように調整することが考えられる。この場合においては、上記の２つの場合よりも、人間の眼にとって比較的見やすく感じられることが多い。しかし、この場合においても上記の２つの場合と同様に、ＳＤＲ画像は、輝度値の上限値を超える、より明るい輝度値によって表示するのが本来望ましい画素においても、当該画素の輝度値が上限値に制限された状態で表示されている。すなわち、ＳＤＲ画像が輝度飽和した状態で表示されている。したがって、この場合においても、本質的には上記の２つの場合と同様に、ＨＤＲ画像を表示可能な画像表示装置の表示能力を最大限に活かせておらず、高輝度領域における表現能力が優れているとはいえない。

本発明が解決しようとする課題は、低ダイナミックレンジの画像を、高輝度領域における表現能力に優れた高ダイナミックレンジの画像に変換可能な、画像処理回路、画像変換装置、画像表示装置及び画像処理方法を提供することである。

本発明に係る画像処理回路は、第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理回路であって、前記第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出する輝度飽和領域検出器と、検出された前記輝度飽和領域に対して、前記輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、前記輝度飽和領域内の各画素の前記上限値を超えたピーク輝度値の波形を導出して、前記ピーク輝度値を算出するピーク輝度値生成器と、前記第１のダイナミックレンジの画像と、前記輝度飽和領域の各画素の前記ピーク輝度値から、前記第２のダイナミックレンジの画像を生成する画像合成器を備える。

また、本発明に係る画像表示方法は、第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理方法であって、前記第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出し、検出された前記輝度飽和領域に対して、前記輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、前記輝度飽和領域内の各画素の前記上限値を超えたピーク輝度値の波形を導出して、前記ピーク輝度値を算出し、前記第１のダイナミックレンジの画像と、前記輝度飽和領域の各画素の前記ピーク輝度値から、前記第２のダイナミックレンジの画像を生成する。

本発明によれば、低ダイナミックレンジの画像を、高輝度領域における表現能力に優れた高ダイナミックレンジの画像に変換可能な、画像処理回路、画像変換装置、画像表示装置及び画像処理方法を提供することができる。

本発明の第１実施形態における画像処理回路の信号処理ブロック図である。 前記第１実施形態における画像表示回路の、ピーク輝度値生成器の信号処理ブロック図である。 前記第１実施形態における画像表示回路の、ピーク輝度値生成器の動作説明図である。 本発明の第２実施形態における画像表示装置の信号処理ブロック図である。 本発明の第３実施形態における画像変換装置の信号処理ブロック図である。 前記第１実施形態における実験結果の説明図である。 前記第１実施形態における実験結果の説明図である。 従来の画像処理方法の説明図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

［第１実施形態］
本第１実施形態における画像処理回路は、第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理回路であって、第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出する輝度飽和領域検出器と、検出された輝度飽和領域に対して、輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、輝度飽和領域内の各画素の上限値を超えたピーク輝度値の波形を導出して、ピーク輝度値を算出するピーク輝度値生成器と、第１のダイナミックレンジの画像と、輝度飽和領域の各画素のピーク輝度値から、第２のダイナミックレンジの画像を生成する画像合成器を備える。

本第１実施形態においては、第１のダイナミックレンジはＳＤＲ（スタンダードダイナミックレンジ）であり、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジはＨＤＲ（ハイダイナミックレンジ）である。また、ダイナミックレンジの上限値とは、当該ダイナミックレンジの画像データがとり得る輝度値の最大値であり、例えば８ビット、２５６階調の画像データにおいては、２５５が上限値となる。

本第１実施形態における画像処理回路は、例えば２５６階調画像のＳＤＲ画像が入力された場合に、輝度値の上限値を超える、より明るい輝度値によって表示するのが本来望ましい画素においても、当該画素の輝度値が上限値に制限されて輝度飽和した状態で表示されているという状況を改善するために、輝度飽和した領域以外の画素の輝度値を基に、輝度飽和した領域の画素の輝度値を、本来望ましい輝度値に近い、より明るい輝度値を推測することにより補完しようとするものである。この、輝度飽和した領域の各画素に対して決定される、輝度値の上限値よりも明るい輝度値がピーク輝度値である。

なお、本第１実施形態の画像処理回路１における各処理は、各サブピクセルＲ、Ｇ、Ｂごとに行われる。説明を簡単にするため、以降、各処理の内容を、特にサブピクセルごとに説明しない。すなわち、例えば画素の輝度値と記載した場合においては、画素の、サブピクセルごとの各々の輝度値を意味し、関連する処理は、サブピクセルごとに行われるものである。

図１は、第１実施形態における画像処理回路の信号処理ブロック図である。画像処理回路１は、輝度飽和領域検出器４、ピーク輝度値生成器５、遅延回路６、及び、画像合成器７を備えており、拡張ＳＤＲ画像（第１のダイナミックレンジの画像）２からピーク輝度が生成されたＳＤＲ画像、すなわちＨＤＲ画像（第２のダイナミックレンジの画像）３を生成する。

第１実施形態において入力される拡張ＳＤＲ画像２は、ガンマカーブがかかっているＳＤＲ画像が逆補正され、光に対してリニアな状態にされたうえで、各画素の輝度値に、例えば５等の一定の値を乗算することにより、画像処理回路１から出力されるＨＤＲ画像３のダイナミックレンジを超えない範囲で、ダイナミックレンジが拡張されている。画像処理回路１の入力としてダイナミックレンジが一定の値だけ乗算されて拡張された拡張ＳＤＲ画像２を使用する理由は、次のとおりである。

本第１実施形態における画像処理回路１においては、上記のように、輝度飽和した領域以外の画素の輝度値を基に、輝度飽和した領域の輝度値を、本来望ましい輝度値に近いピーク輝度値を推測することにより補完しようとするものである。ただし、本第１実施形態においては、例えば輝度値の上限値が２５５のＳＤＲ画像に対して、例えばその１０倍に近い値となるような、輝度値の上限値から大きく乖離したピーク輝度値を出力しない場合が多い。すなわち、ＨＤＲ画像の輝度値の上限値が、ＳＤＲ画像の輝度値の上限値の例えば１０倍である場合においては、補完されるピーク輝度値が、入力となるＳＤＲ画像の、例えば２倍程度になるように本第１実施形態により導出されても、残り８倍分に相当するＨＤＲ画像のダイナミックレンジが依然として使用されない可能性がある。

そこで、本第１実施形態においては、上記のように、逆補正が適用されたＳＤＲ画像の各画素の輝度値に、例えば５等の一定の値が予め乗算されて拡張された、拡張ＳＤＲ画像２を入力とし、拡張ＳＤＲ画像２に対して輝度飽和した領域のピーク輝度値を補完して、ＨＤＲ画像３を生成している。これにより、例えばピーク輝度値が拡張ＳＤＲ画像２の２倍程度となるように算出された場合であっても、出力されるＨＤＲ画像３の輝度値の最大値をＨＤＲ画像のダイナミックレンジの上限値に近くすることが可能であるため、ＨＤＲ画像のダイナミックレンジを十分に活用したＨＤＲ画像３を出力することができる。

あるいはまた、ガンマカーブを逆補正したＳＤＲ画像を画像処理回路１に直接入力し、出力されたＨＤＲ画像の各画素の輝度値に対して、上記のような一定の値を乗算してもよい。すなわち、ガンマカーブを逆補正したＳＤＲ画像に対して、以下に詳説する輝度飽和領域検出、ピーク輝度値生成および画像合成を行い、ピーク輝度値が入力されたＳＤＲ画像の例えば２倍程度である暫定のＨＤＲ画像を生成し、これに対して、例えば５等の一定の値を乗算したＨＤＲ画像３を生成して出力としてもよい。この場合における輝度飽和領域検出、ピーク輝度値生成及び画像合成の各処理は、拡張ＳＤＲ画像２を基にＨＤＲ画像３を生成する場合と、扱う数値の大きさは全体的に異なるが、本質的な処理内容は変わらない。そのため以降では、拡張ＳＤＲ画像２を基にＨＤＲ画像３を生成する場合を例にして説明を行う。

本第１実施形態は、上記のような拡張ＳＤＲ画像２を画像処理回路１の入力とするものであるが、通常のＳＤＲ画像を入力として受信し、拡張ＳＤＲ画像２を生成する拡張処理部を、後述する輝度飽和領域検出器４の前段として本画像処理回路１内に設けても構わないし、輝度飽和領域検出器４内において、輝度飽和領域検出器４の前処理として本拡張処理を実施しても構わないのは、言うまでもない。

輝度飽和領域検出器４は、画像処理回路１へ入力された拡張ＳＤＲ画像２を受信し、輝度値が拡張ＳＤＲ画像２の輝度値の上限値以上となって飽和した輝度飽和領域を検出する。より詳細には、輝度飽和領域検出器４は、拡張ＳＤＲ画像２の各画素の輝度値と、拡張ＳＤＲ画像２のダイナミックレンジの上限値、すなわち、ＳＤＲ画像のダイナミックレンジの上限値に上記一定の値を乗算した値とを比較することにより、輝度値が上限値に一致している画素を探す。このような画素が一定以上、例えば１０×１０以上の面積を占めるような領域となっている場合に、当該領域を輝度飽和領域として検出する。

輝度飽和領域検出器４は、拡張ＳＤＲ画像２をそのまま遅延回路６に送信すると同時に、拡張ＳＤＲ画像２と、検出した輝度飽和領域に関する情報を、ピーク輝度値生成器５へ送信する。

ピーク輝度値生成器５は、輝度飽和領域検出器４によって検出された輝度飽和領域に対して、輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、輝度飽和領域内の各画素の上限値を超えたピーク輝度値の波形を導出して、ピーク輝度値を算出する。図２に、ピーク輝度値生成器５の信号処理ブロック図を示す。ピーク輝度値生成器５は、水平波形抽出器１０、垂直波形抽出器１３、４つの波形生成器１１ａ、１１ｂ、１４ａ、１４ｂ、２つの一次元波形合成器１２、１５、二次元波形合成器１６、及び、二次元ＬＰＦ（Ｌｏｗ−Ｐａｓｓ Ｆｉｌｔｅｒ）１７を備えている。

水平波形抽出器１０は、輝度飽和領域検出器４から拡張ＳＤＲ画像２と輝度飽和領域に関する情報を受信する。水平波形抽出器１０は、全ての輝度飽和領域の各々について、拡張ＳＤＲ画像２内の、画素により構成される行のうち、輝度飽和領域が含まれる全ての行において、当該行における水平方向の波形を生成する。ここで、水平方向の波形とは、横軸が水平方向の画素位置を、縦軸が横軸上の各画素の輝度値を表す二次元のグラフにおいて、ある特定行において水平方向に連続して位置する画素に対し、例えば図３（ａ）に示されるように、当該画素の輝度値をプロットした点をつなげたものである。

図３（ａ）においては、拡張ＳＤＲ画像２がとり得る輝度値の上限が破線３０として示されており、破線３０に重なる飽和線３３が、輝度飽和領域Ｓに相当している。この輝度飽和領域Ｓを挟むように、２つの領域Ｒ_１、Ｒ_２が位置している。輝度飽和領域Ｓと左側の領域である領域Ｒ_１との境界である画素の位置は、ｘ_ｌｂとして、及び、右端の領域である領域Ｒ_２との境界である画素の位置は、ｘ_ｒｂとして、それぞれ示されている。領域Ｒ_１における画素の輝度値の波形は、左側波形３１として示されており、領域Ｒ_２における画素の輝度値の波形は、右側波形３２として示されている。これらの波形３１、３２は、それぞれ境界位置ｘ_ｌｂ、ｘ_ｒｂから離れるにつれて下降している。すなわち、波形３１、３２に相当する画素においては、輝度飽和領域Ｓから離れるにつれて輝度値が低くなっている。

水平波形抽出器１０は、各輝度飽和領域Ｓに対し、当該輝度飽和領域Ｓが含まれる全ての行において、図３（ａ）に示されるような、輝度飽和領域Ｓとその近傍の水平方向の波形を抽出し、図２に示される波形生成器１１ａ、波形生成器１１ｂに送信する。

波形生成器１１ａは、水平波形抽出器１０から水平方向の波形を受信し、領域Ｒ_１の波形、すなわち左側波形３１を基に、輝度飽和領域Ｓに相当する部分における、左側波形３１を基にした輝度値の波形を導出する。図３（ｂ）に、この、左側波形３１を基にした輝度値の波形（輝度飽和領域における波形）４１の一例を示す。図３（ｂ）において、左側波形３１を基にした輝度値の波形４１は、位置ｘ_ｌｂから右方向に単調増加する波形４１ａと、波形４１ａから更に右方向に破線で示されている波形４１ｂより構成されている。

左側波形３１の傾きの変化が、輝度飽和領域Ｓに近づくにつれて緩やかになっている場合には、ピーク輝度値の波形は、輝度飽和領域Ｓ内において、輝度飽和領域Ｓの境界近傍のある位置で輝度値の上昇が頭打ちとなる傾向にあると考えられる。また、左側波形３１の傾きの変化が、輝度飽和領域Ｓに近づくにつれて急峻になっている場合には、ピーク輝度値の波形は、輝度飽和領域Ｓ内において、輝度飽和領域Ｓの境界近傍においても輝度値の上昇が頭打ちとならずに上昇を続け、輝度飽和領域Ｓの境界から更に離れた位置において、輝度値の上昇が緩やかになり、やがて頭打ちとなるような傾向にあると考えられる。

本第１実施形態においては、左側波形３１を基にした輝度値の波形４１を、左側波形３１の二次微分値Ｄ２を基に導出している。より具体的には、次の数式１のような関数Ｌ_ｈｌ（ｘ）によって、左側波形３１を基にした輝度値の波形４１を導出する。関数Ｌ_ｈｌ（ｘ）は、左側波形３１の形状と、左側波形３１を基にした輝度値の波形４１の形状との間の、上記したような関連性を考慮し、モデル化した関数である。

（数１）
Ｌ_ｈｌ（ｘ）＝Ａ×｛ｃｏｓ（ｗ×（ｘ−ｘ_ｌｂ）＋θ_ｌｂ）−ｃｏｓ（θ_ｌｂ）｝
＋Ｌ（ｘ_ｌｂ−１） [ｘ_ｌｂ≦ｘ≦ｘ_ｌｓ] …（１）
＝Ａ×｛１−ｃｏｓ（θ_ｌｂ）｝＋Ｌ（ｘ_ｌｂ−１） [ｘ_ｌｓ≦ｘ≦ｘ_ｒｂ]
ｘ_ｌｓ＝（２π―θ_ｌｂ）／ｗ＋ｘ_ｌｂ
θ_ｌｂ＝（３／２）×π―（１／２）×ｔａｎ^−１（ｋ_０×Ｄ２）
Ａ＝ｋ_１×（Ｕ_１―Ｕ_２）／２
ｗ＝ｋ_２×｛Ｌ（ｘ_ｌｂ−１）−Ｌ（ｘ_ｌｂ−２）｝×π

ここで、Ｌ（ｘ）は、画素ｘと、その拡張ＳＤＲ画像２における輝度値の対応を表す関数、Ｕ_１は、ＨＤＲ画像３の輝度値の上限値、Ｕ_２は、拡張ＳＤＲ画像２の輝度値の上限値、ｋ_０、ｋ_１、ｋ_２は、調整パラメータである。

概念的には、上記数式１は、ｘ_ｌｂ≦ｘ≦ｘ_ｌｓの部分においては、三角関数の波形において、値が−１から１へと推移する部分によってモデル化されている。ｘ_ｌｓは、三角関数の値が１、すなわち最大値となる部分であり、輝度飽和領域Ｓの左側の境界ｘ_ｌｂから輝度飽和領域Ｓ内に向けて離れるにつれて上昇した後に、輝度値が頭打ちとなる位置に相当する。この部分は、図３（ｂ）においてｘ_ｌｂ≦ｘ≦ｘ_ｌｓの部分に示される波形４１ａに相当する。上記数式１は、飽和線３３の左端の境界である位置ｘ_ｌｂの、１つ、及び２つ左に位置する画素の、拡張ＳＤＲ画像２における輝度値Ｌ（ｘ_ｌｂ−１）、Ｌ（ｘ_ｌｂ−２）を基にして、係数ｗを計算し、本係数ｗ、及び、二次微分値Ｄ２を基に、輝度飽和領域における輝度値が頭打ちとなる位置であるｘ_ｌｓと、及び、ｘ_ｌｂからｘ_ｌｓまでの関数Ｌ_ｈｌ（ｘ）の形状を決定している。

また、上記数式１は、ｘ_ｌｓ≦ｘ≦ｘ_ｒｂの部分においては、ｘ_ｌｓにおいて到達した最大値を維持するようにモデル化されている。これは、図３（ｂ）においてｘ_ｌｓ≦ｘ≦ｘ_ｒｂの部分に破線で示される波形４１ｂに相当する。波形生成器１１ａは、このようにして生成された波形４１ａと波形４１ｂをつないで、左側波形３１を基にした輝度値の波形４１を生成する。

波形生成器１１ａは、左側波形３１を基にした輝度値の波形４１、すなわち関数Ｌ_ｈｌ（ｘ）を、一次元波形合成器１２へ送信する。

波形生成器１１ｂは、水平波形抽出器１０から水平方向の波形を受信し、領域Ｒ_２の波形、すなわち右側波形３２を基に、輝度飽和領域Ｓに相当する部分における、右側波形３２を基にした輝度値の波形を導出する。図３（ｂ）に、右側波形３２を基にした輝度値の波形（輝度飽和領域における波形）４２の一例を示す。図３（ｂ）において、右側波形３２を基にした輝度値の波形４２は、左側波形３１を基にした輝度値の波形４１と同様に、波形４２ａと、波形４２ｂより構成されている。

右側波形３２を基にした輝度値の波形４２においても、左側波形３１を基にした輝度値の波形４１と同様に、右側波形３２の二次微分値Ｄ２を基にして導出されている。右側波形３２を基にした輝度値の波形４２を導出する関数Ｌ_ｈｒ（ｘ）は、上記の数式１と同様に、数式１と対称的に、設定することが可能である。すなわち、ｘ_ｒｓを輝度飽和領域Ｓの右側の境界ｘ_ｒｂから輝度飽和領域Ｓ内に向けて離れるにつれて上昇した後に、輝度値が頭打ちとなる位置としたときに、ｘ_ｒｂから左方向に位置ｘ_ｒｓに向かうにつれて輝度値が上昇する部分の波形４２ａと、ｘ_ｒｓより左の輝度値が一定となっている部分の波形４２ｂを生成し、これらをつないで、右側波形３２を基にした輝度値の波形４２を生成する。

波形生成器１１ｂは、生成した右側波形３２を基にした輝度値の波形４２、すなわち関数Ｌ_ｈｒ（ｘ）を、一次元波形合成器１２へ送信する。

一次元波形合成器１２は、波形生成器１１ａと波形生成器１１ｂから、それぞれ、左側波形３１を基にした輝度値の波形４１、すなわち関数Ｌ_ｈｌ（ｘ）と、右側波形３２を基にした輝度値の波形４２、すなわち関数Ｌ_ｈｒ（ｘ）を受信して、これらを合成する。

一次元波形合成器１２は、位置ｘ_ｌｓと位置ｘ_ｒｓの位置関係によって、異なる式を用いて波形を合成する。まず、図３（ｂ）に示されるような、位置ｘ_ｌｓが位置ｘ_ｒｓの左側に位置している場合においては、次の数式２によって、図３（ｂ）に太線で示される、波形４１ａ、波形４３、及び波形４２ａからなる、水平方向における波形（第１の方向における波形）である関数Ｌ_ｈ（ｘ）を導出する。

（数２）
Ｌ_ｈ（ｘ）＝Ｌ_ｈｌ（ｘ） [ｘ_ｌｂ≦ｘ≦ｘ_ｌｓ] …（２）
＝｛（ｘ_ｒｓ−ｘ）×Ｌ_ｈｌ（ｘ）＋（ｘ−ｘ_ｌｓ）×Ｌ_ｈｒ（ｘ）｝
／（ｘ_ｒｓ−ｘ_ｌｓ） [ｘ_ｌｓ≦ｘ≦ｘ_ｒｓ]
＝Ｌ_ｈｒ（ｘ） [ｘ_ｒｓ≦ｘ≦ｘ_ｒｂ]

図３（ｂ）においては、上記のｘ_ｌｂ≦ｘ≦ｘ_ｌｓの場合の関数Ｌ_ｈ（ｘ）は波形４１ａに、ｘ_ｌｓ≦ｘ≦ｘ_ｒｓの場合の関数Ｌ_ｈ（ｘ）は波形４３に、及び、上記のｘ_ｒｓ≦ｘ≦ｘ_ｒｂの場合の関数Ｌ_ｈ（ｘ）は波形４２ａに、それぞれ相当する。このように、数式２は、位置ｘ_ｌｓと位置ｘ_ｒｓの間においては、位置ｘ_ｌｓにおける関数Ｌ_ｈｌ（ｘ）の値と、位置ｘ_ｒｓにおける関数Ｌ_ｈｒ（ｘ）の値とを直線で結ぶように、波形すなわち関数Ｌ_ｈ（ｘ）を生成する。

また、一次元波形合成器１２は、図３（ｃ）に示されるような、位置ｘ_ｌｓが位置ｘ_ｒｓの右側に位置している場合においては、輝度飽和領域Ｓの左側の境界ｘ_ｌｂから右方向に、及び、輝度飽和領域Ｓの右側の境界ｘ_ｒｂから左方向に、それぞれ関数Ｌ_ｈｌ（ｘ）と関数Ｌ_ｈｒ（ｘ）をみたときに、いずれも輝度値が、三角関数の最大値に達する前に、すなわち、位置ｘ_ｌｓ及び位置ｘ_ｒｓに到達して輝度値が頭打ちとなる前に減少傾向に移るものと判断し、次の数式３によって、図３（ｃ）に太線で示される、波形４１ａの一部と、波形４２ａの一部からなるような、関数Ｌ_ｈ（ｘ）を導出する。

（数３）
Ｌ_ｈ（ｘ）＝ｍｉｎ（Ｌ_ｈｌ（ｘ）、Ｌ_ｈｒ（ｘ）） …（３）

このように、位置ｘ_ｌｓが位置ｘ_ｒｓの右側に位置している場合においては、これらの関数の最小値をとることで、すなわち、輝度飽和領域Ｓの左側の境界ｘ_ｌｂと右側の境界ｘ_ｒｂの各々から波形４１ａと波形４２ａの交点までの波形をつなぎ合わせることで、関数Ｌ_ｈ（ｘ）を導出する。

このように、波形生成器１１ａ、波形生成器１１ｂ、及び、一次元波形合成器１２は、２つの領域Ｒ_１、Ｒ_２の各々において、当該領域Ｒ_１、Ｒ_２における画素の輝度値Ｌ（ｘ）の波形の二次微分値Ｄ２を基に、個別に輝度飽和領域Ｓにおける波形４１、４２を導出し、これらを合成することにより、水平方向における波形すなわち関数Ｌ_ｈ（ｘ）を導出する。

一次元波形合成器１２は、導出した水平方向における波形すなわち関数Ｌ_ｈ（ｘ）を、図２に示される二次元波形合成器１６へ送信する。

ここで、例外的に、境界ｘ_ｌｂ、ｘ_ｒｂが、画像そのものの外周である場合が考えられる。例えば、ある画像の左端の画素の輝度値が飽和している場合においては、この輝度飽和領域Ｓに相当する水平波形においては、境界ｘ_ｌｂの座標値が０となるため、領域Ｒ_１が存在しない。また、ある画像の右端の画素の輝度値が飽和している場合においては、この輝度飽和領域Ｓに相当する水平波形においては、境界ｘ_ｒｂの座標値が０となるため、領域Ｒ_２が存在しない。このような場合には、関数Ｌ_ｈｌ（ｘ）または関数Ｌ_ｈｒ（ｘ）の導出に必要な、領域Ｒ_１または領域Ｒ_２内の、輝度飽和領域Ｓ近傍にある画素の輝度値が取得できないため、関数Ｌ_ｈｌ（ｘ）または関数Ｌ_ｈｒ（ｘ）の導出が不可能である。

このような場合において、関数Ｌ_ｈｌ（ｘ）または関数Ｌ_ｈｒ（ｘ）のいずれか一方が導出できていれば、導出できた方の関数をそのまま、関数Ｌ_ｈ（ｘ）として、二次元波形合成器１６へ出力する。また、例えば画像内のある行において、左端から右端まで、全画素の輝度が飽和している場合等には、関数Ｌ_ｈｌ（ｘ）と関数Ｌ_ｈｒ（ｘ）のいずれの関数も導出できない。このような場合には、関数Ｌ_ｈ（ｘ）を導出できなかった旨を、二次元波形合成器１６へ送信する。

図２に示されるピーク輝度値生成器５は、水平波形抽出器１０、波形生成器１１ａ、１１ｂ、一次元波形合成器１２と同様に、次のようにして、垂直波形抽出器１３、波形生成器１４ａ、１４ｂ、一次元波形合成器１５を用いて、垂直方向（第２の方向）に関しても同様に、垂直方向における波形すなわち関数Ｌ_ｖ（ｘ）を導出する。

垂直波形抽出器１３は、水平波形抽出器１０と同様に、輝度飽和領域検出器４から拡張ＳＤＲ画像２と輝度飽和領域に関する情報を受信する。垂直波形抽出器１３は、複数の輝度飽和領域Ｓの各々に対し、当該輝度飽和領域Ｓが含まれる全ての列において、図３（ａ）に示される波形と同様な、輝度飽和領域Ｓとその近傍の垂直方向の波形を抽出し、波形生成器１４ａ、波形生成器１４ｂに送信する。

波形生成器１４ａは、波形生成器１１ａと同様に、垂直波形抽出器１３から垂直方向の波形を受信し、輝度飽和領域Ｓの上側領域の波形、すなわち上側波形を基に、輝度飽和領域における、上側波形を基にした輝度値の波形（輝度飽和領域における波形）を導出し、その関数Ｌ_ｖｔ（ｘ）を、一次元波形合成器１５へ送信する。

波形生成器１４ｂは、波形生成器１１ｂと同様に、垂直波形抽出器１３から垂直方向の波形を受信し、輝度飽和領域Ｓの下側領域の波形、すなわち下側波形を基に、輝度飽和領域における、下側波形を基にした輝度値の波形（輝度飽和領域における波形）を導出し、その関数Ｌ_ｖｂ（ｘ）を、一次元波形合成器１５へ送信する。

一次元波形合成器１５は、波形生成器１４ａと波形生成器１４ｂから、それぞれ、上側波形を基にした輝度値の波形、すなわち関数Ｌ_ｖｔ（ｘ）と、下側波形を基にした輝度値の波形、すなわち関数Ｌ_ｖｂ（ｘ）を受信して、これらを合成する。一次元波形合成器１５は、図３（ｂ）、図３（ｃ）を用いて説明した一次元波形合成器１２と同様に、垂直方向における波形すなわち関数Ｌ_ｖ（ｘ）を導出し、二次元波形合成器１６へ送信する。

二次元波形合成器１６は、一次元波形合成器１２、一次元波形合成器１５の各々から、各輝度飽和領域について、当該輝度飽和領域が含まれる全ての行における、水平方向における波形すなわち関数Ｌ_ｈ（ｘ）と、当該輝度飽和領域が含まれる全ての列における、垂直方向における波形すなわち関数Ｌ_ｖ（ｘ）を受信し、次のように、これらを合成する。

二次元波形合成器１６は、輝度飽和領域に属する全ての画素に対し、当該画素が位置する行における関数Ｌ_ｈ（ｘ）での、当該画素の輝度値と、当該画素が位置する列における関数Ｌ_ｖ（ｘ）での、当該画素の輝度値との平均を計算することにより、当該画素の暫定的なピーク輝度値である暫定ピーク輝度値を決定する。

しかし、一次元波形合成器１２に関して説明したように、関数Ｌ_ｈｌ（ｘ）と関数Ｌ_ｈｒ（ｘ）のいずれか、あるいは双方ともに、導出されていない場合がある。垂直方向に関しても同様で、関数Ｌ_ｖｔ（ｘ）と関数Ｌ_ｖｂ（ｘ）のいずれか、あるいは双方ともに、導出されていない場合がある。

二次元波形合成器１６は、例えばある行において、関数Ｌ_ｈ（ｘ）を導出する基となる関数Ｌ_ｈｌ（ｘ）、Ｌ_ｈｒ（ｘ）の、いずれか一方が導出できなかった場合には、輝度飽和領域の当該行内の画素においては、関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）の平均を計算する際に、関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）とに、例えば１：２の重みをもたせて平均を計算する。逆に、関数Ｌ_ｖ（ｘ）を導出する基となる関数Ｌ_ｖｔ（ｘ）、Ｌ_ｖｂ（ｘ）の、いずれか一方が導出できなかった場合には、輝度飽和領域の当該列内の画素においては、関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）の平均を計算する際に、関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）とに、例えば２：１の重みをもたせて平均を計算する。このように、より多くの情報を基に導出された関数に大きな重みを持たせるようにして平均を計算する。

また、ある行において、関数Ｌ_ｈ（ｘ）を導出する基となる関数Ｌ_ｈｌ（ｘ）、Ｌ_ｈｒ（ｘ）の双方が導出できなかった場合には、当該行内の画素においては、関数Ｌ_ｖ（ｘ）の値そのものを当該画素の暫定ピーク輝度値とする。逆に、ある列において、関数Ｌ_ｖ（ｘ）を導出する基となる関数Ｌ_ｖｔ（ｘ）、Ｌ_ｖｂ（ｘ）の双方が導出できなかった場合には、当該列内の画素においては、関数Ｌ_ｈ（ｘ）の値そのものを当該画素の暫定ピーク輝度値とする。

更に、輝度飽和領域内のある画素に関して、当該画素の位置する行における関数Ｌ_ｈ（ｘ）と、当該画素の位置する列における関数Ｌ_ｖ（ｘ）のいずれもが導出できなかった場合には、当該画素の暫定ピーク輝度値を拡張ＳＤＲ画像２の輝度値の上限値とする。

二次元波形合成器１６は、上記のようにして、拡張ＳＤＲ画像２内の全ての輝度飽和領域に関して、当該輝度飽和領域内の全ての画素の暫定ピーク輝度値を決定し、二次元ＬＰＦ１７へ送信する。

二次元ＬＰＦ１７は、二次元波形合成器１６から各画素の暫定ピーク輝度値を受信し、ＬＰＦを適用して、輝度飽和領域の最終的なピーク輝度値の波形を導出し、各画素のピーク輝度値を算出する。上記のように生成された、輝度飽和領域内の各画素の暫定ピーク輝度値は、画素ごとに関数Ｌ_ｈ（ｘ）と関数Ｌ_ｖ（ｘ）の平均を計算することにより決定されているため、隣接する画素間で暫定ピーク輝度値に一定以上の差が生じている可能性がある。二次元ＬＰＦ１７は、暫定ピーク輝度値にＬＰＦを適用することによって隣接する輝度値間の変化をなまらせることにより、二次元ＬＰＦ１７の出力するピーク輝度値が画像全体として自然にみえるように調整している。

二次元ＬＰＦ１７は、各輝度飽和領域について、算出したピーク輝度値を出力する。

以上のように、ピーク輝度値生成器５は、水平方向である第１の方向において輝度飽和領域Ｓを挟むように位置する２つの領域Ｒ_１、Ｒ_２に関し、該２つの領域Ｒ_１、Ｒ_２の各々における画素の輝度値の波形３１、３２の二次微分値Ｄ２を基に、第１の方向における波形Ｌ_ｈ（ｘ）を導出し、該第１の方向における波形Ｌ_ｈ（ｘ）から、ピーク輝度値の波形を導出する。
また、第１の方向とは異なる第２の方向に関しても、当該第２の方向における波形Ｌ_ｖ（ｘ）を導出し、第１の方向における波形Ｌ_ｈ（ｘ）と第２の方向における波形Ｌ_ｖ（ｘ）から、ピーク輝度値の波形を導出する。
更に、第１の方向における波形Ｌ_ｈ（ｘ）と第２の方向における波形Ｌ_ｖ（ｘ）を合成し、ローパスフィルタを適用することによって、ピーク輝度値の波形を導出する。

図１に示される遅延回路６は、輝度飽和領域検出器４から拡張ＳＤＲ画像２を受信する。遅延回路６は、受信した拡張ＳＤＲ画像２に対して、適切な遅延をかける。この「適切な遅延」とは、ピーク輝度値生成器５による処理の遅延分を補償して、遅延回路６を介して画像合成器７へ送信される拡張ＳＤＲ画像２と、ピーク輝度値生成器５から送信される輝度飽和領域におけるピーク輝度値の波形との同期をとるためのものである。

遅延回路６は、遅延がかけられた拡張ＳＤＲ画像２を、画像合成器７へ送信する。

画像合成器７は、遅延回路６から拡張ＳＤＲ画像２を、ピーク輝度値生成器５から輝度飽和領域における各画素のピーク輝度値を、それぞれ受信する。画像合成器７は、拡張ＳＤＲ画像２の、輝度飽和領域の各画素の輝度値を、当該画素のピーク輝度値へと変換することにより、ＨＤＲ画像３を生成する。

画像合成器７は、生成したＨＤＲ画像３を外部へ出力する。

次に、上記画像処理回路１を使用した画像処理方法を、図１乃至図３を用いて説明する。

本画像表示方法は、第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理方法であって、第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出し、検出された輝度飽和領域に対して、輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、輝度飽和領域内の各画素の上限値を超えたピーク輝度値の波形を導出して、ピーク輝度値を算出し、第１のダイナミックレンジの画像と、輝度飽和領域の各画素のピーク輝度値から、第２のダイナミックレンジの画像を生成する。また、第１の方向において輝度飽和領域を挟むように位置する２つの領域に関し、該２つの領域の各々における画素の輝度値の波形の二次微分値を基に、第１の方向における波形を導出し、第１の方向における波形から、ピーク輝度値の波形を導出する。

まず、輝度飽和領域検出器４が、入力された拡張ＳＤＲ画像２を受信し、拡張ＳＤＲ画像２の各画素の輝度値と、拡張ＳＤＲ画像２のダイナミックレンジの上限値とを比較して、輝度値が上限値に一致している画素を探すことにより、輝度値が拡張ＳＤＲ画像２の輝度値の上限値以上となって飽和した輝度飽和領域を検出する。輝度飽和領域検出器４は、拡張ＳＤＲ画像２をそのまま遅延回路６に送信すると同時に、拡張ＳＤＲ画像２と、検出した輝度飽和領域に関する情報を、ピーク輝度値生成器５へ送信する。

ピーク輝度値生成器５の水平波形抽出器１０は、輝度飽和領域検出器４から拡張ＳＤＲ画像２と輝度飽和領域に関する情報を受信する。水平波形抽出器１０は、全ての輝度飽和領域の各々について、拡張ＳＤＲ画像２内の、画素により構成される行のうち、輝度飽和領域が含まれる全ての行において、当該行における水平方向の波形を生成する。水平波形抽出器１０は、抽出された水平方向の波形を、波形生成器１１ａ、波形生成器１１ｂに送信する。

波形生成器１１ａは、水平波形抽出器１０から水平方向の波形を受信し、領域Ｒ_１の波形、すなわち左側波形３１を基に、輝度飽和領域Ｓに相当する部分における、左側波形３１を基にした輝度値の波形（輝度飽和領域における波形）を導出する。本第１実施形態においては、左側波形３１を基にした輝度値の波形４１を、上記数式１のように、左側波形３１の二次微分値Ｄ２を基に導出している。波形生成器１１ａは、左側波形３１を基にした輝度値の波形４１、すなわち関数Ｌ_ｈｌ（ｘ）を、一次元波形合成器１２へ送信する。

波形生成器１１ｂは、水平波形抽出器１０から水平方向の波形を受信し、領域Ｒ_２の波形、すなわち右側波形３２を基に、輝度飽和領域Ｓに相当する部分における、右側波形３２を基にした輝度値の波形（輝度飽和領域における波形）を導出する。波形生成器１１ｂは、右側波形３２を基にした輝度値の波形４２、すなわち関数Ｌ_ｈｒ（ｘ）を、一次元波形合成器１２へ送信する。

一次元波形合成器１２は、波形生成器１１ａと波形生成器１１ｂから、それぞれ、左側波形３１を基にした輝度値の波形４１、すなわち関数Ｌ_ｈｌ（ｘ）と、右側波形３２を基にした輝度値の波形４２、すなわち関数Ｌ_ｈｒ（ｘ）を受信して、これらを合成する。合成は、上記数式２によって行われる。一次元波形合成器１２は、導出した水平方向における波形すなわち関数Ｌ_ｈ（ｘ）を、二次元波形合成器１６へ送信する。

垂直波形抽出器１３は、水平波形抽出器１０と同様に、輝度飽和領域検出器４から拡張ＳＤＲ画像２と輝度飽和領域に関する情報を受信する。垂直波形抽出器１３は、複数の輝度飽和領域Ｓの各々に対し、当該輝度飽和領域Ｓが含まれる全ての列において、輝度飽和領域Ｓとその近傍の垂直方向の波形を抽出し、波形生成器１４ａ、波形生成器１４ｂに送信する。

波形生成器１４ａは、波形生成器１１ａと同様に、垂直波形抽出器１３から垂直方向の波形を受信し、輝度飽和領域Ｓの上側領域の波形、すなわち上側波形を基に、輝度飽和領域における、上側波形を基にした輝度値の波形（輝度飽和領域における波形）を導出し、その関数Ｌ_ｖｔ（ｘ）を、一次元波形合成器１５へ送信する。

波形生成器１４ｂは、波形生成器１１ｂと同様に、垂直波形抽出器１３から垂直方向の波形を受信し、輝度飽和領域Ｓの下側領域の波形、すなわち下側波形を基に、輝度飽和領域における、下側波形を基にした輝度値の波形（輝度飽和領域における波形）を導出し、その関数Ｌ_ｖｂ（ｘ）を、一次元波形合成器１５へ送信する。

一次元波形合成器１５は、波形生成器１４ａと波形生成器１４ｂから、それぞれ、上側波形を基にした輝度値の波形、すなわち関数Ｌ_ｖｔ（ｘ）と、下側波形を基にした輝度値の波形、すなわち関数Ｌ_ｖｂ（ｘ）を受信して、これらを合成する。一次元波形合成器１５は、一次元波形合成器１２と同様に、垂直方向における波形である関数Ｌ_ｖ（ｘ）を導出し、水平波形抽出器１０へ送信する。

二次元波形合成器１６は、一次元波形合成器１２、一次元波形合成器１５の各々から、各輝度飽和領域について、当該輝度飽和領域が含まれる全ての行における、水平方向における波形すなわち関数Ｌ_ｈ（ｘ）と、当該輝度飽和領域が含まれる全ての列における、垂直方向における波形すなわち関数Ｌ_ｖ（ｘ）を受信する。二次元波形合成器１６は、これらを合成することにより、拡張ＳＤＲ画像２内の全ての輝度飽和領域に関して、当該輝度飽和領域内の全ての画素の暫定ピーク輝度値を決定し、二次元ＬＰＦ１７へ送信する。

二次元ＬＰＦ１７は、二次元波形合成器１６から各画素の暫定ピーク輝度値を受信し、ＬＰＦを適用して、輝度飽和領域の最終的なピーク輝度値の波形を導出し、各画素のピーク輝度値を算出する。二次元ＬＰＦ１７は、各輝度飽和領域Ｓについて、導出したピーク輝度値を出力する。

画像合成器７は、輝度飽和領域検出器４から遅延回路６を経た拡張ＳＤＲ画像２を、ピーク輝度値生成器５から輝度飽和領域における各画素のピーク輝度値を、それぞれ受信する。画像合成器７は、拡張ＳＤＲ画像２の、輝度飽和領域の各画素の輝度値を、当該画素のピーク輝度値へと変換することにより、ＨＤＲ画像３を生成して、外部へ出力する。

次に、上記の画像処理回路及び画像処理方法の効果について説明する。

上記のような構成によれば、輝度飽和領域検出器４が、第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの画像の上限値以上となって飽和した輝度飽和領域を検出し、ピーク輝度値生成器５が、検出された輝度飽和領域に対して、輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、輝度飽和領域内の各画素の上限値を超えたピーク輝度値の波形を導出して、ピーク輝度値を算出し、画像合成器７が、第１のダイナミックレンジの画像と、輝度飽和領域の各画素のピーク輝度値から、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像を生成する。すなわち、第１のダイナミックレンジの画像の輝度が飽和した部分において、第１のダイナミックレンジの画像の輝度の上限値によって制限されたことにより第１のダイナミックレンジの画像においては表現できなかった、第１のダイナミックレンジの画像の輝度の上限値以上の高い輝度値を推測して補完することができる。これにより、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに人間の眼に自然に美しく映る、高輝度領域における表現能力に優れた第２のダイナミックレンジの画像に変換することが可能となる。

また、ピーク輝度値生成器５は、水平方向及び垂直方向の各々において、輝度飽和領域を挟むように位置する２つの領域に関し、数式１を用いて説明したように、該２つの領域の各々における画素の輝度値の波形の二次微分値を基に、水平方向及び垂直方向の各々における波形を導出し、ピーク輝度値の波形を導出する。これにより、輝度飽和領域の外側の輝度値の波形と、輝度飽和領域の内側で生成されたピーク輝度値の波形が滑らかに連続するため、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに違和感がなく人間の眼に自然に美しく映る、高輝度領域における表現能力により優れた第２のダイナミックレンジの画像に変換することが可能となる。

また、ピーク輝度値生成器５は、図３を用いて説明したように、水平方向及び垂直方向の各々において、輝度飽和領域を挟むように位置する２つの領域の各々において、個別に輝度飽和領域における波形を導出し、これらを合成することにより、水平方向及び垂直方向の各々における波形を導出し、ピーク輝度値の波形を導出する。すなわち、例えば水平方向における波形を導出する場合には、輝度飽和領域の左側部分の波形は輝度飽和領域の左方に位置する輝度値を基に、また、輝度飽和領域の右側部分の波形は輝度飽和領域の右方に位置する輝度値を基に、個別に導出される。これにより、輝度飽和領域内の特に周辺部分のピーク輝度値が、当該周辺部分に接する輝度飽和領域の外側の領域の輝度値に比較的強く依存するように、ピーク輝度値の波形を導出することができるため、輝度飽和領域の外側の輝度値の波形と、輝度飽和領域の内側で生成されたピーク輝度値の波形が滑らかに連続する。したがって、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに人間の眼に自然に美しく映る、高輝度領域における表現能力により優れた第２のダイナミックレンジの画像に変換することが可能となる。

また、ピーク輝度値生成器５は、水平方向における波形と垂直方向における波形を合成し、ローパスフィルタを適用することによって、ピーク輝度値の波形を導出する。上記のように、このローパスフィルタを実施する二次元ＬＰＦ１７は、隣接する輝度値間の変化をなまらせることにより、二次元ＬＰＦ１７の出力するピーク輝度値が画像全体として自然にみえるように調整している。これにより、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに人間の眼に自然に美しく映る、高輝度領域における表現能力により優れた第２のダイナミックレンジの画像に変換することが可能となる。

また、画像合成器７は、第１のダイナミックレンジの画像の、輝度飽和領域の各画素の輝度値を、当該画素のピーク輝度値へと変換することにより、第２のダイナミックレンジの画像を生成する。すなわち、第１のダイナミックレンジの画像を第２のダイナミックレンジの画像へと変換するに当たって、第１のダイナミックレンジの画像に対して適用される補正処理は輝度飽和領域に該当する部分に限られる。すなわち、輝度飽和領域以外の領域に対する補正処理が行われないため、輝度飽和領域以外の領域おいては元々の入力となる第１のダイナミックレンジの画像の画質を維持した上で、第２のダイナミックレンジの画像への変換が可能である。

また、本第１実施形態においては、元々の第１のダイナミックレンジの画像の各画素の輝度値に、例えば５等の一定の値が予め乗算された画像、すなわち拡張ＳＤＲ画像２を、画像処理回路１への入力としている。これにより、既に説明したように、第２のダイナミックレンジの画像の、広いダイナミックレンジが十分に活用可能となる。したがって、第１のダイナミックレンジの画像から、第２のダイナミックレンジの画像表示装置で表示したときに人間の眼に自然に美しく映る、高輝度領域における表現能力により優れた第２のダイナミックレンジの画像に変換することが可能となる。

［第２実施形態］
次に、第２実施形態における画像表示装置を説明する。図４は、第２実施形態における画像表示装置５０の信号処理ブロック図である。画像表示装置５０においては、第１実施形態同様、第１のダイナミックレンジはＳＤＲであり、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジはＨＤＲである。画像表示装置５０は、第１実施形態として示した画像処理回路１を、ＳＤＲ画像処理部５７として備えた表示装置である。

画像表示装置５０は、Ｉ／Ｆ（インタフェース）部５１、第１ＨＤＲ用ＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）階調変換器５２、第２ＨＤＲ用ＥＯＴＦ階調変換器５３、ＳＤＲ用ＥＯＴＦ階調変換器（ＥＯＴＦ階調変換器）５４、第１ＨＤＲ画像処理部５５、第２ＨＤＲ画像処理部５６、ＳＤＲ画像処理部（画像処理回路）５７、セレクタ５８、ＯＥＴＦ（Ｏｐｔｉｃａｌ−Ｅｌｅｃｔｒｏ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）階調変換器５９、パネル駆動・制御部６０、及び、ＨＤＲ画像表示パネル（画像表示パネル）６１を備えている。

Ｉ／Ｆ部５１は、画像表示装置５０の外部から画像データや操作情報などを受信して、後段に位置する、第１ＨＤＲ用ＥＯＴＦ階調変換器５２、第２ＨＤＲ用ＥＯＴＦ階調変換器５３、または、ＳＤＲ用ＥＯＴＦ階調変換器５４のいずれかの、適切な処理経路へと画像データを送信する。例えば、画像データがＰＱ方式のＨＤＲ画像である場合には、第１ＨＤＲ用ＥＯＴＦ階調変換器５２へ、ＨＬＧ方式のＨＤＲ画像である場合には、第２ＨＤＲ用ＥＯＴＦ階調変換器５３へ、ＳＤＲ画像である場合には、ＳＤＲ用ＥＯＴＦ階調変換器５４へと、画像データを送信する。

第１ＨＤＲ用ＥＯＴＦ階調変換器５２は、ＨＤＲ画像を受信して、ＰＱ方式により、リニア信号へとＥＯＴＦ階調変換を行い、階調変換された画像データを第１ＨＤＲ画像処理部５５へと送信する。第１ＨＤＲ画像処理部５５は、階調変換された画像データを受信して、ノイズ低減や画素値レベル調整などの画像処理を行う。

第２ＨＤＲ用ＥＯＴＦ階調変換器５３は、ＨＤＲ画像を受信して、ＨＬＧ方式により、リニア信号へとＥＯＴＦ階調変換を行い、階調変換された画像データを第２ＨＤＲ画像処理部５６へと送信する。第２ＨＤＲ画像処理部５６は、階調変換された画像データを受信して、ノイズ低減や画素値レベル調整などの画像処理を行う。

ＳＤＲ用ＥＯＴＦ階調変換器５４は、ＳＤＲ画像を受信してリニア信号へとＥＯＴＦ階調変換を行い、階調変換された画像データをＳＤＲ画像処理部５７へ送信する。ＳＤＲ画像処理部５７は、階調変換された画像データを受信して、上記第１実施形態で説明したような画像処理を行う。

セレクタ５８は、Ｉ／Ｆ部５１からの画像データの送信先にあわせて、第１ＨＤＲ画像処理部５５、第２ＨＤＲ画像処理部５６、ＳＤＲ画像処理部５７のいずれかを選択し、選択先から適切な画像データを受信する。セレクタ５８は、受信した画像データをＯＥＴＦ階調変換器５９へ送信する。

ＯＥＴＦ階調変換器５９は、セレクタ５８によって選択された画像処理部から、ＨＤＲ画像を受信して、ビデオ信号へとパネルの表示特性に合わせたＯＥＴＦ階調変換を行い、パネル駆動・制御部６０へ送信する。ＨＤＲ画像表示パネル６１は、受信したＯＥＴＦ階調変換後のＨＤＲ画像に基づいて画像を表示する。

本第２実施形態における画像表示装置５０が、上記第１実施形態と同様な効果を奏することは言うまでもない。

［第３実施形態］
次に、第３実施形態における画像変換装置を説明する。図５は、第３実施形態における画像変換装置７０の信号処理ブロック図である。画像変換装置７０においては、第１実施形態同様、第１のダイナミックレンジはＳＤＲであり、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジはＨＤＲである。画像変換装置７０は、第１実施形態として示した画像処理回路１を、ＳＤＲ画像処理部７３として備えた変換装置である。

画像変換装置７０は、Ｉ／Ｆ部７１、ＳＤＲ用ＥＯＴＦ階調変換器（ＥＯＴＦ階調変換器）７２、ＳＤＲ画像処理部（画像処理回路）７３、第１ＨＤＲ用ＯＥＴＦ階調変換器（ＯＥＴＦ階調変換器）７４、第２ＨＤＲ用ＯＥＴＦ階調変換器（ＯＥＴＦ階調変換器）７５、及び、セレクタ７６を備えている。

Ｉ／Ｆ部７１は、画像変換装置７０の外部からＳＤＲ画像や操作情報などを受信して、ＳＤＲ用ＥＯＴＦ階調変換器７２へ送信する。

ＳＤＲ用ＥＯＴＦ階調変換器７２は、ＳＤＲ画像を受信してリニア信号へとＥＯＴＦ階調変換を行い、階調変換された画像データをＳＤＲ画像処理部７３へ送信する。ＳＤＲ画像処理部７３は、階調変換された画像データを受信して、上記第１実施形態で説明したような画像処理を行ってＨＤＲ画像を生成し、第１ＨＤＲ用ＯＥＴＦ階調変換器７４、第２ＨＤＲ用ＯＥＴＦ階調変換器７５へ送信する。

第１ＨＤＲ用ＯＥＴＦ階調変換器７４は、ＳＤＲ画像処理部７３からＨＤＲ画像を受信して、ＰＱ方式によりＯＥＴＦ階調変換を行う。第２ＨＤＲ用ＯＥＴＦ階調変換器７５は、ＳＤＲ画像処理部７３からＨＤＲ画像を受信して、ＨＬＧ方式によりＯＥＴＦ階調変換を行う。

セレクタ７６は、出力するＨＤＲ方式を、ＰＱ方式と、ＨＬＧ方式のいずれかから選択し、第１ＨＤＲ用ＯＥＴＦ階調変換器７４か第２ＨＤＲ用ＯＥＴＦ階調変換器７５のいずれかから画像データを受信する。セレクタ７６は、受信した画像データを、画像変換装置７０の外部へ送信する。

本第３実施形態における画像変換装置７０が、上記第１実施形態と同様な効果を奏することは言うまでもない。

［実験結果］
次に、図６、図７を用いて、上記第１実施形態に関する実験結果について説明する。

まず、図６（ａ）に示されるＳＤＲ画像を、上記第１実施形態の画像処理回路１によってＨＤＲ画像に変換した。変換前のＳＤＲ画像には、画像の中央上部に明るい領域がある。図６（ｂ）は、この明るい領域が含まれるＡ部分における、明るい領域近傍の、水平方向の波形である。図６（ｂ）においては、サブピクセルＲ、Ｇ、Ｂの各々の輝度値に関して、対応する波形がそれぞれ、波形８０、８１、８２として示されている。図６（ｂ）からわかるように、上記の明るい領域においては、サブピクセルＲとＧ、すなわち波形８０、８１に関しては、その上端が略水平になっている。すなわち、サブピクセルＲとＧに関しては、輝度値がＳＤＲ画像の輝度値の上限値Ｕとなって輝度が飽和し、輝度飽和領域が形成されている。

上記のＳＤＲ画像を画像処理回路１によって変換した、変換後のＨＤＲ画像の、図６（ｂ）と同じ部分における波形を図６（ｃ）に示す。図６（ｃ）においては、サブピクセルＲ、Ｇ、Ｂの各々の輝度値に関して、対応する波形がそれぞれ、波形８３、８４、８５として示されている。波形８３、８４からわかるように、変換後のＨＤＲ画像においては、変換前のＳＤＲ画像のサブピクセルＲ、Ｇにおいて形成されていた輝度飽和領域に相当する部分に、ＳＤＲ画像の輝度値の上限値Ｕを上回るピーク輝度値を有する、滑らかな形状の波形が形成されている。

次に、図７（ａ）に示されるような、輝度飽和領域が形成されている波形を備えるＳＤＲ画像を、上記第１実施形態の画像処理回路１によってＨＤＲ画像に変換した。図７（ａ）においては、サブピクセルＲ、Ｇ、Ｂの各々の輝度値に関して、対応する波形がそれぞれ、波形９０、９１、９２として示されている。図７（ａ）からわかるように、サブピクセルＲ、すなわち波形９０に関しては、輝度飽和領域が形成されている。

上記のＳＤＲ画像を画像処理回路１によって変換した、変換後のＨＤＲ画像の、図７（ａ）と同じ部分における波形を図７（ｂ）に示す。図７（ｂ）においては、サブピクセルＲ、Ｇ、Ｂの各々の輝度値に関して、対応する波形がそれぞれ、波形９３、９４、９５として示されている。波形９３からわかるように、変換後のＨＤＲ画像においては、変換前のＳＤＲ画像のサブピクセルＲにおいて形成されていた輝度飽和領域に相当する部分に、ＳＤＲ画像の輝度値の上限値Ｕを上回るピーク輝度値を有する、滑らかな形状の波形が形成されている。

ここで、変換後のＨＤＲ画像の波形９３は、画像処理回路１によって、上記の数式２により生成されている。数式２は、図３（ｂ）を用いて説明したように、位置ｘ_ｌｓが位置ｘ_ｒｓの左側に位置している場合において、位置ｘ_ｌｓと位置ｘ_ｒｓの間の部分の水平方向における輝度値の波形を、関数Ｌ_ｈｌ（ｘ）における位置ｘ_ｌｓの輝度値と関数Ｌ_ｈｒ（ｘ）における位置ｘ_ｒｓの輝度値とを直線で結ぶように生成するものであるが、図７（ｂ）に示される波形９３においては、輝度飽和領域を補完したピーク輝度値に相当する部分の波形が、直線ではなく、上下方向に微小な凹凸を備えるような形状となっている。

これは、画像処理回路１においては、水平方向と垂直方向の２方向で、各行、各列ごとに波形を生成して、水平方向と垂直方向の波形の交点に位置する画素ごとに、２つの波形の平均を計算することでピーク輝度値を導出していることに起因する。すなわち、本実験例においては、波形９０に直交する、図示されない垂直方向の波形の影響で、波形９３において左右に隣接する画素のピーク輝度値に差が表れている。この輝度値の差が、ローパスフィルタが適用されて波形がなだらかにされることによって周囲に影響して、図７（ｂ）に示されるような微小な凹凸が形成されている。

なお、本発明の画像処理回路、画像変換装置、画像表示装置及び画像処理方法は、図面を参照して説明した上述の各実施形態に限定されるものではなく、その技術的範囲において他の様々な変形例が考えられる。

例えば、上記各実施形態においては、第１のダイナミックレンジはＳＤＲであり、第１のダイナミックレンジより広い範囲の第２のダイナミックレンジはＨＤＲであるとしたが、これに限られず、画像処理の入力となる画像のダイナミックレンジが、画像処理の出力となる画像のダイナミックレンジより、相対的に低い関係にあればよいことは言うまでもない。

また、上記各実施形態において、数式１に入力される、Ｕ_１、Ｕ_２、ｋ_０、ｋ_１、ｋ_２等の各パラメータは、画像処理回路１の外部から変更可能に設定されるようになっていてもよい。

また、上記各実施形態においては、例えば水平方向に関して、右側波形を基にした輝度値の波形を導出するに当たり、左側波形を基にした輝度値の波形を導出する数式１と対称的な関数Ｌ_ｈｒ（ｘ）を個別に用いていたが、これに限られない。例えば、右側波形を基にした輝度値の波形は、水平波形抽出器１０における波形抽出時に、画素を左右逆方向に並べ替えた状態の波形を生成し、これを、数式１を実現した波形生成器１１ａと同じ構成の波形生成器に入力した後、該波形生成器からの出力を再度、左右逆方向に並べ戻すようにすることにより、数式１と同じモデルを使用することが可能である。

また、上記第２、第３実施形態においては、ＨＤＲ用のＥＯＴＦ階調変換器や、それに対応する画像処理部、及びＨＤＲ用のＯＥＴＦ階調変換器は、ＰＱ方式とＨＬＧ方式の、２種類の方式に対して２個ずつ設けられていたが、これに限られず、他の数でもよい。

これ以外にも、本発明の主旨を逸脱しない限り、上記各実施形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。

１ 画像処理回路
２ 拡張ＳＤＲ画像（第１のダイナミックレンジの画像）
３ ＨＤＲ画像（第２のダイナミックレンジの画像）
４ 輝度飽和領域検出器
５ ピーク輝度値生成器
６ 遅延回路
７ 画像合成器
１０ 水平波形抽出器
１１ａ、１１ｂ 波形生成器
１２、１５ 一次元波形合成器
１３ 垂直波形抽出器
１４ａ、１４ｂ 波形生成器
１６ 二次元波形合成器
１７ 二次元ＬＰＦ
３１ 左側波形（領域における画素の輝度値の波形）
３２ 右側波形（領域における画素の輝度値の波形）
４１ 左側波形を基にした輝度値の波形（輝度飽和領域における波形）
４２ 右側波形を基にした輝度値の波形（輝度飽和領域における波形）
５０ 画像表示装置
５１、７１ Ｉ／Ｆ部
５２ 第１ＨＤＲ用ＥＯＴＦ階調変換器
５３ 第２ＨＤＲ用ＥＯＴＦ階調変換器
５４、７２ ＳＤＲ用ＥＯＴＦ階調変換器（ＥＯＴＦ階調変換器）
５５ 第１ＨＤＲ画像処理部
５６ 第２ＨＤＲ画像処理部
５７、７３ ＳＤＲ画像処理部（画像処理回路）
５８、７６ セレクタ
５９ ＯＥＴＦ階調変換器
６０ パネル駆動・制御部
６１ ＨＤＲ画像表示パネル（画像表示パネル）
７０ 画像変換装置
Ｒ_１、Ｒ_２ 領域
Ｓ 輝度飽和領域
７４ 第１ＨＤＲ用ＯＥＴＦ階調変換器（ＯＥＴＦ階調変換器）
７５ 第２ＨＤＲ用ＯＥＴＦ階調変換器（ＯＥＴＦ階調変換器）

Claims (13)

1. 第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理回路であって、
   前記第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出する輝度飽和領域検出器と、
   検出された前記輝度飽和領域に対して、前記輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、前記輝度飽和領域内の各画素の前記上限値を超えたピーク輝度値の波形を導出して、前記ピーク輝度値を算出するピーク輝度値生成器と、
   前記第１のダイナミックレンジの画像と、前記輝度飽和領域の各画素の前記ピーク輝度値から、前記第２のダイナミックレンジの画像を生成する画像合成器を備える、画像処理回路。
2. 前記ピーク輝度値生成器は、第１の方向において前記輝度飽和領域を挟むように位置する２つの領域に関し、該２つの領域の各々における前記画素の輝度値の波形の二次微分値を基に、前記第１の方向における波形を導出し、該第１の方向における波形から、前記ピーク輝度値の波形を導出する、請求項１に記載の画像処理回路。
3. 前記ピーク輝度値生成器は、前記２つの領域の各々において、当該領域における前記画素の輝度値の波形の二次微分値を基に、個別に前記輝度飽和領域における波形を導出し、これらを合成することにより、前記第１の方向における波形を導出する、請求項２に記載の画像処理回路。
4. 前記第１の方向は水平方向である、請求項２または３に記載の画像処理回路。
5. 前記ピーク輝度値生成器は、前記第１の方向とは異なる第２の方向に関しても、当該第２の方向における波形を導出し、前記第１の方向における波形と前記第２の方向における波形から、前記ピーク輝度値の波形を導出する、請求項２から４のいずれか一項に記載の画像処理回路。
6. 前記ピーク輝度値生成器は、前記第１の方向における波形と前記第２の方向における波形を合成し、ローパスフィルタを適用することによって、前記ピーク輝度値の波形を導出する、請求項５に記載の画像処理回路。
7. 前記第２の方向は垂直方向である、請求項５または６に記載の画像処理回路。
8. 前記画像合成器は、前記第１のダイナミックレンジの画像の、前記輝度飽和領域の各画素の輝度値を、当該画素の前記ピーク輝度値へと変換することにより、前記第２のダイナミックレンジの画像を生成する、請求項１から７のいずれか一項に記載の画像処理回路。
9. 前記第１のダイナミックレンジはＳＤＲであり、前記第２のダイナミックレンジはＨＤＲである、請求項１から８のいずれか一項に記載の画像処理回路。
10. 請求項１から９のいずれか一項に記載の画像処理回路と、
    前記第１のダイナミックレンジの画像を階調変換して前記画像処理回路へ送信するＥＯＴＦ階調変換器と、
    前記画像処理回路から前記第２のダイナミックレンジの画像を受信して階調変換を行うＯＥＴＦ階調変換器と、
    該ＯＥＴＦ階調変換器により階調変換された第２のダイナミックレンジの画像を受信して表示する画像表示パネルを備える、画像表示装置。
11. 請求項１から９のいずれか一項に記載の画像処理回路と、
    前記第１のダイナミックレンジの画像を階調変換して前記画像処理回路へ送信するＥＯＴＦ階調変換器と、
    前記画像処理回路から前記第２のダイナミックレンジの画像を受信して階調変換を行うＯＥＴＦ階調変換器を備える、画像変換装置。
12. 第１のダイナミックレンジの画像を、該第１のダイナミックレンジより広い範囲の第２のダイナミックレンジの画像へ変換する画像処理方法であって、
    前記第１のダイナミックレンジの画像の、輝度値が第１のダイナミックレンジの上限値以上となって飽和した輝度飽和領域を検出し、
    検出された前記輝度飽和領域に対して、前記輝度飽和領域の近傍に位置する画素に関して得られる輝度値の波形を基に、前記輝度飽和領域内の各画素の前記上限値を超えたピーク輝度値の波形を導出して、前記ピーク輝度値を算出し、
    前記第１のダイナミックレンジの画像と、前記輝度飽和領域の各画素の前記ピーク輝度値から、前記第２のダイナミックレンジの画像を生成する、画像処理方法。
13. 第１の方向において前記輝度飽和領域を挟むように位置する２つの領域に関し、該２つの領域の各々における前記画素の輝度値の波形の二次微分値を基に、前記第１の方向における波形を導出し、前記第１の方向における波形から、前記ピーク輝度値の波形を導出する、請求項１２に記載の画像処理方法。