JP2021132244A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】ＨＤＲ撮影したＲＡＷ画像をＳＤＲ現像した場合でも、ＨＤＲ現像した場合のコントラストに近い印象の画像を生成可能にする。【解決手段】画像処理装置は、未現像の画像を現像する際のゲイン処理に用いるゲイン信号を生成する生成手段（１１１，１１０）と、生成手段（１１１，１１０）により生成されたゲイン信号を用いて未現像の画像に対してゲイン処理を行う処理手段（１１２）と、を有し、未現像の画像を用いて、第１のダイナミックレンジ（ＨＤＲ）よりも狭いダイナミックレンジである第２のダイナミックレンジ（ＳＤＲ）に対応した現像処理が行われる場合、生成手段（１１０）は、第１のダイナミックレンジと第２のダイナミックレンジとで共通したゲイン特性と、前記第１のダイナミックレンジと前記第２のダイナミックレンジとのゲイン特性の差分と、に基づいて、ゲイン信号を生成する。【選択図】図１

Description

本発明は、撮像された画像を階調処理等する画像処理技術に関する。

ハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）表示は、標準ダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）表示と比べて、ダイナミックレンジの広い映像の表現が可能である。ＨＤＲ表示の場合、ＳＤＲ表示では表現しきれなかった高輝度の表現や輝度の高い色の表現が可能である。

また従来技術として、入力画像から低周波画像を生成し、その低周波画像に基づく階調処理を入力画像に施すことで、画像のコントラストを向上させる技術がある。特許文献１には、入力画像の縮小画像から生成したゲインマップを基に強調信号を生成し、入力画像に本来適用したいゲイン特性のゲインマップに対して、その強調信号を足すことで、コントラスト向上効果の高いゲインマップを生成する技術が開示されている。

特開２０１９-５３５９０号公報

ところで、ＨＤＲ撮影したＲＡＷ（生）画像をＨＤＲ現像した場合には、狙い通りのコントラストで現像されるため、コントラストの低下は発生しない。これに対し、ＨＤＲ撮影したＲＡＷ画像をＳＤＲ現像する場合には、ＳＤＲ現像によって階調圧縮が生ずるため、画像のコントラストが低下してしまう。またＨＤＲ撮影したＲＡＷ画像を、ＨＤＲ現像してＨＤＲ表示可能な表示装置に表示した場合と、ＳＤＲ現像してＳＤＲ表示しかできない表示装置に表示した場合とでは、画像の印象が異なってしまう。

そこで、本発明は、ＨＤＲ撮影したＲＡＷ画像をＳＤＲ現像した場合でも、ＨＤＲ現像した場合のコントラストに近い印象の画像を生成可能にすることを目的とする。

本発明の画像処理装置は、未現像の画像を現像する際のゲイン処理に用いるゲイン信号を生成する生成手段と、前記生成手段により生成されたゲイン信号を用いて、前記未現像の画像に対して前記ゲイン処理を行う処理手段と、を有し、前記未現像の画像を用いて、第１のダイナミックレンジよりも狭いダイナミックレンジである第２のダイナミックレンジに対応した現像処理が行われる場合、前記生成手段は、前記第１のダイナミックレンジと前記第２のダイナミックレンジとで共通したゲイン特性と、前記第１のダイナミックレンジと前記第２のダイナミックレンジとのゲイン特性の差分と、に基づいて、前記ゲイン信号を生成することを特徴とする。

本発明によれば、ＨＤＲ撮影したＲＡＷ画像をＳＤＲ現像した場合でも、ＨＤＲ現像した場合のコントラストに近い印象の画像を生成可能となる。

実施形態の画像処理装置の構成例を示した図である。 実施形態の画像処理のフローチャートである。 コントラスト低下の説明図である。 ゲイン特性とゲインマップの説明図である。 ゲインマップ強調信号生成処理のフローチャートである。 ゲイン特性の一例を示した図である。 グローバルゲイン特性によるコントラスト低下の説明図である。 本実施形態におけるゲイン特性の生成方法の説明図である。 コントラスト向上効果の説明図である。 ゲインマップの強調信号の説明図である。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。同一の構成または処理については、同じ参照符号を付して説明する。
図１は、本実施形態の画像処理装置の概略構成を示した機能ブロック図である。また、図２は、本実施形態の画像処理装置における画像処理の流れを示したフローチャートである。

図１に示した画像処理装置の構成および図２に示したフローチャートの処理の詳細について述べる前に、本実施形態における画像処理の概要を説明する。
本実施形態の画像処理装置は、入力された画像に対しゲイン処理を行い、その処理後の画像を出力するような画像処理を実施する。画像処理装置への入力画像は、ハイダイナミックレンジ（ＨＤＲ）撮影が可能な撮像装置による撮像で得られたＲＡＷ（生）画像、つまり未現像の撮像画像であるとする。また画像処理装置に入出力する画像は輝度信号によって構成されている輝度画像であるとする。撮像画像の取得やその撮像信号に対する現像処理、輝度画像の生成処理等の各種信号処理のための構成とその説明は省略する。

ここで、ＨＤＲ撮影で得られたＲＡＷ画像（未現像の撮像画像）を、ＨＤＲ現像する場合とＳＤＲ現像する場合とで生ずる画像の印象の変化について説明する。
図３は、ＨＤＲ撮影で得られたＲＡＷ画像を、ＳＤＲ現像した場合とＨＤＲ現像した場合とで輝度信号に生ずる差を示した図である。図３の縦軸は輝度信号を示し、横軸は画像のｘ方向（ｘ座標方向）を示している。図３中の実線部３０２はＨＤＲ現像による輝度信号例を示し、点線部３０１はＳＤＲ現像による輝度信号例を示している。これら実線部３０２と点線部３０１の輝度信号を比較すると、点線部３０１で示されたＳＤＲ現像による信号の最大輝度値がＹ１である場合、実線部３０２で示されたＨＤＲ現像による信号の最大輝度値はＹ２となる。この図３の例の場合、点線部３０１で示される信号と実線部３０２で示される信号との間の最大輝度値の差はＹ２−Ｙ１となり、ＨＤＲ現像による信号に比べ、ＳＤＲ現像による信号のコントラストは低下していることが判る。このようにＨＤＲ現像された場合とＳＤＲ現像された場合とで信号値に差が生ずる原因は、ＨＤＲの方がＳＤＲと比べて、より明るいレンジまで表現可能であり、ＳＤＲ現像された信号はＨＤＲ現像された信号と比べて階調が圧縮されているためである。例えば、ＳＤＲ現像が行われた場合、ＨＤＲ現像が行われた場合に比べて、画像の白部分の信号値が低くなってコントラストが低下する。したがって、ＨＤＲ撮影で得られたＲＡＷ画像を、ＨＤＲ現像した場合とＳＤＲ現像した場合とでは、コントラストに関して画像の印象が異なる（つまりコントラスト効果が異なる）ようになる。

このようなことから、本実施形態の画像処理装置は、ＨＤＲ撮影したＲＡＷ画像をＳＤＲ現像する場合、ＨＤＲ現像時とＳＤＲ現像時との両ガンマ特性を基に、現像処理時のゲイン処理に用いるゲイン特性を調整する。
本実施形態の画像処理装置は、ＨＤＲ現像時とＳＤＲ現像時とでガンマ特性が同じ（ガンマ特性に差がない）領域については、ＳＤＲ撮影したＲＡＷ画像をＳＤＲ現像する場合と同じ（共通の）特性のゲイン処理が行われるようにする。一方、画像処理装置は、ＨＤＲ現像時とＳＤＲ現像時とでガンマ特性に差が生じている領域については、入力画像から生成した低周波画像に基づくゲインマップと、ＨＤＲ現像とＳＤＲ現像とのガンマ特性の差分とに基づいてゲインマップの強調信号を生成する。そして画像処理装置は、入力画像に本来適用したいゲイン特性のゲインマップに対して、前述のように生成したゲインマップの強調信号を足すことで、コントラスト向上効果の高いゲインマップを生成し、そのゲインマップを用いたゲイン処理を入力画像に施す。これにより、ＳＤＲ現像時にもＨＤＲ現像時に近い印象のコントラストの画像の取得が可能となる。なお、以下の説明において、ＨＤＲ現像時のガンマ特性をＨＤＲガンマと表記し、ＳＤＲ現像時のガンマ特性をＳＤＲガンマと表記する。

ここで、ゲイン特性とは、例えば図４（ａ）のグラフに示すように、横軸を入力輝度信号、縦軸をゲイン信号としたテーブルによって表される特性である。また、ゲインマップは、図４（ｂ）に示すように、画像の各画素位置に対応して適用するゲイン値が決められたマップである。図４（ｂ）の例では、各画素の座標（ｘ，ｙ）の位置に対してそれぞれ適用されるゲイン値Ｇａｉｎ（ｘ，ｙ）が２次元配列されたマップとなされている。各画素の座標（ｘ，ｙ）のｘの値は０，１，２，・・・，Ｗ−１の何れか、ｙの値は０，１，２，・・・，Ｈ−１の何れかとなる。

以下、前述したようなコントラスト向上効果の高いゲインマップを生成可能な、図１の本実施形態の画像処理装置の構成及び画像処理について詳細に説明する。
本実施形態の画像処理装置は、大別して、ローカルゲインマップ生成部１１０と、グローバルゲインマップ生成部１１１と、ゲイン処理部１１２との、３つを有して構成されている。

ローカルゲインマップ生成部１１０は、画像処理装置に入力された輝度画像から、局所的にコントラストを調整するためのローカルゲインマップ（ローカルコントラストゲインマップ）を生成する。ローカルゲインマップは、前述の図４（ｂ）のように各画素位置に対応してゲイン値が２次元配置されたマップである。ローカルゲインマップ生成部１１０は、入力された輝度画像から低周波画像を生成し、その低周波画像に対して、ゲイン特性を適用することにより、ローカルゲインマップを生成する。ローカルゲインマップ生成部１１０において用いられるゲイン特性の詳細は後述する。

グローバルゲインマップ生成部１１１は、入力された輝度画像の輝度値に応じて、画像の明るさ調整するためのグローバルゲインマップ（グローバルコントラストゲインマップ）を生成する。グローバルゲインマップも、前述の図４（ｂ）のように各画素位置に対応してゲイン値が２次元配置されたマップである。

さらにグローバルゲインマップ生成部１１１は、そのグローバルゲインマップに、ローカルゲインマップ生成部１１０で生成されたローカルゲインマップを加算することで、最終的なゲインマップを生成する。最終的なゲインマップも、図４（ｂ）のように各画素位置に対応してゲイン値が２次元配置されたマップである。最終的なゲインマップは、入力画像に対してゲイン処理を行う際に用いられるゲインマップである。

このように、本実施形態の画像処理装置は、グローバルゲインマップによる明るさ調整とローカルゲインマップによるローカルコントラスト調整とをそれぞれ独立に制御可能となされている。さらに本実施形態の画像処理装置は、ローカルゲインマップに対して、強調信号を足すことで、コントラスト向上効果の高いローカルゲインマップを生成する。そして、本実施形態の画像処理装置は、それらグローバルゲインマップとローカルゲインマップとから、最終的なゲインマップを生成している。

以下、本実施形態の画像処理装置において行われる画像処理について、図２のフローチャートを用いて詳細に説明する。また、図２のフローチャートと図１の機能ブロック図との対応について説明する。

先ずステップＳ２０１において、ローカルゲインマップ生成部１１０は、入力画像である輝度画像を基に、ローカルゲインマップを生成する。ステップＳ２０１で行われる、ローカルゲインマップ生成処理の詳細は後述する。

次にステップＳ２０２において、グローバルゲインマップ生成部１１１は、輝度画像である入力画像の輝度に応じて明るさを調整するためのグローバルゲインマップを生成する。さらに、グローバルゲインマップ生成部１１１は、その生成したグローバルゲインマップと、ステップＳ２０１で生成されたローカルゲインマップとを基に、最終的なゲインマップを生成する。ステップＳ２０２で行われる、ローバルゲインマップの生成処理および最終的なゲインマップの生成処理の詳細は後述する。

次にステップＳ２０３において、ゲイン処理部１１２は、ステップＳ２０２で生成された最終的なゲインマップを用いて、入力画像に対しゲインをかける処理（ゲイン処理）を行う。ここで、入力画像の座標（ｘ，ｙ）における輝度信号値をＩＭin（ｘ，ｙ）とし、ゲイン処理後の出力画像の輝度信号値をＩＭout（ｘ，ｙ）とする。また、ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する場合に、ＳＤＲ現像後の画像においてＨＤＲ現像された画像と同等のコントラストを得るための最終的なゲインマップにおける座標（ｘ，ｙ）のゲイン値をＧＭlast（ｘ，ｙ）とする。この場合、ゲイン処理後の出力画像の輝度信号値ＩＭout（ｘ，ｙ）は、式（１）のように表される。

ＩＭout（ｘ，ｙ）＝ＧＭlast（ｘ，ｙ）×ＩＭin（ｘ，ｙ） 式（１）

なお以下の説明において、ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する場合に、ＳＤＲ現像後の画像をＨＤＲ現像された画像と同等のコントラストにするためのゲインマップのゲイン特性を、ＨＤＲ−ＳＤＲ変換ゲイン特性と表記する。ＨＤＲ−ＳＤＲ変換ゲイン特性の詳細については後述する。

以上が本実施形態の画像処理装置における画像処理の大まかな流れであり、本実施形態の画像処理において主眼点となる部分はステップＳ２０１の処理である。
以下、ステップＳ２０１で行われるローカルゲインマップ生成処理について、図５のフローチャートを用いて詳細に説明する。図５のフローチャートに示すローカルゲインマップ生成処理は、図１のローカルゲインマップ生成部１１０にて行われる処理である。

ローカルゲインマップ生成部１１０は、第１の低周波画像生成部１０１、第２の低周波画像生成部１０２、補正ゲイン変換部１０３、ゲイン変換部１０４、ゲインマップ変換部１０５、ゲインマップ合成部１０６、ローカルゲインマップ算出部１０７を有する。

図５のステップＳ５０１において、第１の低周波画像生成部１０１は、入力画像に対して縮小処理を行って第１の縮小画像を生成し、その第１の縮小画像を第２の低周波画像生成部１０２へ出力する。また、第１の低周波画像生成部１０１は、第１の縮小画像を、元の入力画像のサイズまで拡大することで、入力画像とは周波数レベルが異なる低周波画像を生成し、その低周波画像を補正ゲイン変換部１０３へ出力する。

第２の低周波画像生成部１０２は、第１の縮小画像に対して更に縮小処理を行って第２の縮小画像を生成する。このように、第１の縮小画像は入力画像を縮小処理することにより生成され、第２の縮小画像は第１の縮小画像を更に縮小処理することにより生成される。また第２の低周波画像生成部１０２は、第２の縮小画像を入力画像のサイズまで拡大することで、入力画像及び第１の縮小画像を拡大した低周波画像とは周波数レベルが異なる低周波画像を生成し、その低周波画像を補正ゲイン変換部１０３へ出力する。

以下、入力画像である輝度画像を入力輝度画像ＩＭinと表記し、第１の縮小画像を拡大した低周波画像である輝度画像を第１階層輝度画像ＩＭＭ、第２の縮小画像を拡大した低周波画像である輝度画像を第２階層輝度画像ＩＭＳと表記する。
なお、第１の低周波画像生成部１０１および第２の低周波画像生成部１０２で行われる縮小処理や拡大処理の手法としては、例えばバイリニア法を用いた処理等のような公知の手法を用いることができる。その他にも、低周波画像を得る手法としては、ローパスフィルタ処理等のような公知の手法が用いられてもよい。

次にステップＳ５０２において、補正ゲイン変換部１０３は、グローバルゲインマップを生成する際に用いられるグローバルゲイン特性によって発生する可能性のあるコントラスト低下を補償するための補正ゲイン特性を生成する。

ここで、補正ゲイン特性の生成方法について説明するにあたり、グローバルゲインマップを生成する際に用いられるグローバルゲイン特性、及びそのグローバルゲイン特性によって発生する可能性があるコントラスト低下について説明する。
先ずグローバルゲイン特性について、図６を用いて説明する。
図６（ａ）のグラフは横軸が入力の輝度信号、縦軸が出力の輝度信号を示し、図６（ｂ）と図６（ｃ）のグラフはそれぞれ横軸が入力の輝度信号、縦軸が出力のゲイン信号を示している。図６（ａ）は、本実施形態の画像処理装置のグローバルゲインマップ生成部１１１で生成されるグローバルゲインマップによる明るさ調整の目標となる階調補正のカーブ６０１を示す図である。また、図６（ｂ）の実線部６０４は、図６（ａ）の階調補正のカーブ６０１をゲインテーブルに変換したものであり、明るさ調整を行うためのグローバルゲイン特性を表している。

続いて、当該グローバルゲイン特性によって発生する可能性のあるコントラスト低下について、図７を用いて説明する。
図７（ａ）のグラフ（ａ１）はグローバルゲイン特性を表しており、横軸が入力輝度信号を示し、縦軸が出力ゲイン信号を示している。図７（ａ）のグラフ（ａ２）〜（ａ４）は、グラフ（ａ１）で表されたグローバルゲイン特性において、入力輝度信号Ｙ７１からＹ７２までのように、ゲインが概ね単調減少する特性を持つ低周波画像を用いた、ローカルコントラストの向上効果の説明図である。図７（ａ）のグラフ（ａ２）と（ａ４）は横軸がｘ方向（ｘ座標方向）を示し、縦軸が輝度信号を示している。図７（ａ）のグラフ（ａ３）は横軸がｘ方向を示し、縦軸がゲイン信号を示している。

図７（ａ）のグラフ（ａ１）における入力輝度信号Ｙ７１とＹ７２のような輝度差がある画像の場合、グラフ（ａ２）のように輝度信号を表すことができる。図７（ａ）のグラフ（ａ２）の実線部７０１は、入力画像が例えばｘ方向の或る位置において輝度値が急激に変化するようなエッジ部を有している場合の輝度信号の変化を表している。グラフ（ａ２）の点線部７０２は、実線部７０１で表されるような輝度信号の入力画像に対して縮小処理および拡大処理、又はフィルタ処理を行って得られた低周波画像の輝度信号の変化を表している。つまり点線部７０２で表される低周波画像の輝度信号は、入力画像の縮小処理および拡大処理、又はフィルタ処理によって、実線部７０１のエッジ部の輝度信号が緩やかに単調減少する信号となっている。

そして、グラフ（ａ２）の点線部７０２に示した信号を基に、輝度に対してゲインが単調減少になる階調特性を基に生成されるゲインマップは、グラフ（ａ３）の点線部７０３で表されるようなものとなる。すなわちグラフ（ａ３）の点線部７０３で表されるゲインマップは、グラフ（ａ２）で示される低周波画像の点線部７０２のように緩やかに変化する輝度信号を基に生成されるため、入力される輝度信号の変化に対して緩やかにゲインが変化するものとなる。

ここで、コントラスト向上効果においてポイントとなるのは、入力画像ではｘ方向において輝度信号が減少するのに対し、ゲイン信号は緩やかに増加することである。つまり、グラフ（ａ２）とグラフ（ａ３）の例の場合、入力画像の輝度信号はｘ方向で低下しているのに対し、ゲイン信号は緩やかに増加している。また、ゲイン信号は、グラフ（ａ１）の特性に基づいて決まるため、グラフ（ａ２）において入力輝度信号Ｙ７２となっている部分はグラフ（ａ３）ではゲインＧ７２となる。一方、グラフ（ａ２）において入力輝度信号Ｙ７１となっている部分はグラフ（ａ３）ではゲインＧ７１となる。

そして、グラフ（ａ３）の点線部７０３に示すようなゲインマップを用いて、グラフ（ａ２）の実線部７０１に示した入力画像の輝度信号に対してゲイン処理を行うと、そのゲイン処理後の輝度信号はグラフ（ａ４）の実線部７０４に示すような信号となる。すなわち、グラフ（ａ４）の実線部７０４に示したゲイン処理後の輝度信号は、矢印７０５で示される範囲の信号部分においてコントラスト向上効果が得られた信号となる。

しかしながら、輝度に対してゲインが単調に増加する階調特性を持つ場合、その階調特性を基に生成されるゲインマップでは、コントラスト向上効果を出すことが出来ない。
図７（ｂ）を用い、輝度に対してゲインが単調に増加する階調特性を持つ低周波画像を基に生成したゲインマップにおける問題点について説明する。
図７（ｂ）のグラフ（ｂ１）は、図７（ａ）のグラフ（ａ１）と同様に、グローバルゲイン特性を表しており、横軸が入力輝度信号を示し、縦軸が出力ゲイン信号を示している。図７（ｂ）のグラフ（ｂ２）〜（ｂ４）は、グラフ（ｂ１）で表されたグローバルゲイン特性において、入力輝度信号Ｙ７３からＹ７４までのように、ゲインが概ね単調増加する特性を持つ低周波画像を用いた、ローカルコントラストの効果を説明する図である。図７（ｂ）のグラフ（ｂ２）と（ｂ４）は横軸がｘ方向（ｘ座標方向）を示し、縦軸が輝度信号を示している。図７（ｂ）のグラフ（ｂ３）は横軸がｘ方向を示し、縦軸がゲイン信号を示している。

図７（ｂ）のグラフ（ｂ１）における入力輝度信号Ｙ７３とＹ７４のような輝度差がある画像の場合、グラフ（ｂ２）のように輝度信号を表すことができる。図７（ｂ）のグラフ（ｂ２）の実線部７１１は、入力画像が例えばｘ方向の或る位置において輝度値が急激に変化するようなエッジ部を有している場合の輝度信号の変化を表している。グラフ（ｂ２）の点線部７１２は、実線部７１１で表されるような輝度信号の入力画像に対して縮小処理および拡大処理、又はフィルタ処理を行って得られた低周波画像の輝度信号の変化を表している。つまり点線部７１２で表される低周波画像の輝度信号は、入力画像の縮小処理および拡大処理、又はフィルタ処理によって、実線部７１１のエッジ部の輝度信号が緩やかに単調減少する信号となっている。

そして、グラフ（ｂ２）の点線部７１２に示した信号を基に、輝度に対してゲインが単調減少になる階調特性によって生成したゲインマップは、グラフ（ｂ３）の点線部７０６で表されるようなものとなる。すなわちグラフ（ｂ３）の点線部７０６で表されるゲインマップは、グラフ（ｂ２）で示される低周波画像の点線部７１２のように緩やかに変化する輝度信号を基に生成されるため、入力される輝度信号の変化に対して緩やかにゲインが変化するものとなる。

ここでポイントとなるのは、入力画像ではｘ方向において輝度信号が減少するのに対し、ゲイン信号も緩やかに減少することである。つまり、グラフ（ｂ２）とグラフ（ｂ３）の例の場合、入力画像の輝度信号はｘ方向で低下しているのに対し、ゲイン信号も緩やかに減少している。また、ゲイン信号は、グラフ（ｂ１）の特性に基づいて決まるため、グラフ（ｂ２）において入力輝度信号Ｙ７３となっている部分はグラフ（ｂ３）ではゲインＧ７３となる。一方、グラフ（ｂ２）において入力輝度信号Ｙ７４となっている部分はグラフ（ｂ３）ではゲインＧ７４となる。

そして、グラフ（ｂ３）の点線部７０６に示すようなゲインマップを用いて、グラフ（ｂ２）の実線部７１１に示した入力画像の輝度信号に対してゲイン処理を行うと、そのゲイン処理後の輝度信号はグラフ（ｂ４）の実線部７０７に示すような信号となる。グラフ（ｂ４）の実線部７０７に示したゲイン処理後の輝度信号は、矢印７０８で示される範囲の信号部分においてゲインが穏やかに変化した信号となる。つまりこの場合、コントラストは低下してしまう。

このため、画像処理装置においては、前述のようなグローバルゲインマップによるコントラスト低下を補償するため、補正ゲイン特性を用いる。補正ゲイン特性の生成方法について、図６（ｂ）を用いて説明する。
前述の通り、図６（ｂ）の実線部６０４は、明るさ調整を行うためのグローバルゲイン特性を表している。このグローバルゲイン特性に対し、補正ゲイン特性は、図６（ｃ）の実線部６０３に示すように、図６（ｂ）のグローバルゲイン特性の輝度域６０２の部分のように単調増加となっている部分を単調減少に変換した特性となされる。補正ゲイン特性を単調減少する特性にする理由は、コントラスト向上の効果が得られるようにするためである。

ここで、図６（ｂ）に示した入力輝度信号Ｙ６１からＹ６２までの輝度域６０２に対し、本来のゲイン処理であるグローバルゲイン特性で適用したい特性を下記の式（２）で示すと、補正ゲイン特性は、下記式（３）のようになる。なお、式中のＹinは入力の輝度信号値、Ａ及びＡｄは傾き、Ｇα（Ｙin）及びＧαｄ（Ｙin）はそれぞれ入力輝度信号値がＹinのときのゲインを表す。また、Ｇ６１はゲイン特性の入力輝度信号がＹ６１の時のゲイン値を指す。

Ｇα（Ｙin）＝Ａ（Ｙin−Ｙ６１）＋Ｇ６１ （Ａ＞０） 式（２）
Ｇαｄ（Ｙin）＝Ａｄ（Ｙin−Ｙ６１）＋Ｇ６１ （Ａｄ＜０） 式（３）

図５のフローチャートに説明を戻す。
ステップＳ５０３において、ゲイン変換部１０４は、ステップＳ５０２で生成した補正ゲイン特性と、ＳＤＲガンマ及びＨＤＲガンマとを基に、ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する際に生ずるコントラスト低下を補償するゲイン特性を生成する。本実施形態において、ゲイン変換部１０４は、ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する際に生ずるコントラスト低下を補償するゲイン特性として、ＨＤＲ−ＳＤＲ変換ゲイン特性を生成する。

図８は本実施形態の画像処理装置におけるＨＤＲ−ＳＤＲ変換ゲイン特性の生成方法の説明に用いる図である。図８（ａ）の縦軸は出力輝度信号を示し、横軸は入力輝度信号を示している。図８（ｂ）の縦軸はゲイン信号を示し、横軸は入力輝度信号を示している。
図８（ａ）の点線部８０１はＨＤＲガンマ、実線部８０２はＳＤＲガンマをそれぞれ示している。また図８（ｂ）の実線部８０３はＳＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する場合に適用されるゲイン特性を示している。

ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する場合、ＳＤＲ現像後の画像においてＨＤＲ現像された画像と同等のコントラストを得るには、ＳＤＲ現像時のゲイン特性の傾きを急峻にする必要がある。すなわちＳＤＲ現像後の画像においてＨＤＲ現像された画像と同等のコントラストを得るためには、ＳＤＲ現像時のゲイン特性を、実線部８０３に示したゲイン特性よりも傾きが急峻な、点線部８０４に示すようなＨＤＲ−ＳＤＲ変換ゲイン特性にする必要がある。

本実施形態のゲイン変換部１０４は、ＳＤＲ現像時のゲイン特性と、ＨＤＲガンマとＳＤＲガンマとの差分とを基に、ＨＤＲ−ＳＤＲ変換ゲイン特性におけるゲイン特性の急峻度合を求める。
ここで、ゲイン変換部１０４は、図８（ａ）の入力輝度信号Ｙ８２付近のように、ＨＤＲガンマとＳＤＲガンマとに差がある領域では、ＨＤＲガンマとＳＤＲガンマの入力輝度信号に各々対応した出力輝度信号の差分を基に、ＳＤＲ現像時のゲイン特性を変換する。すなわち本実施形態において、ＨＤＲガンマとＳＤＲガンマの入力輝度信号に各々対応した出力輝度信号の差分は、ＨＤＲガンマとＳＤＲガンマとの間のガンマ差分を表しており、このガンマ差分を基にＨＤＲ−ＳＤＲ変換ゲイン特性を生成する。

例えば入力の輝度信号の値をＹinとし、ステップＳ５０２で求めた補正ゲイン特性でＹinのときのゲインをＧαｄ（Ｙin）とする。また、Ｙinに対応したＳＤＲガンマにおける出力輝度信号をＹsdr、Ｙinに対応したＨＤＲガンマにおける出力輝度信号をＹhdrとし、さらに調整係数をｍとする。このとき、ＨＤＲ−ＳＤＲ変換ゲイン特性であるＧβ（Ｙin）は、式（４）で表される。なお式（４）において、調整係数ｍの値を変更することで、コントラストの強調具合のコントロールが可能となる。

Ｇβ（Ｙin）＝Ｇαｄ（Ｙin）−ｍ×Ｇαｄ（Ｙin）×（Ｙhdr−Ｙsdr） 式（４）

また本実施形態のゲイン変換部１０４は、ＳＤＲガンマとＨＤＲガンマとが、図８（ａ）の原点から入力輝度信号Ｙ８１付近までのように同一の特性になっている領域では、図８（ｂ）に示すように、ＳＤＲ現像時およびＨＤＲ現像時のゲイン特性を同一とする。つまり、ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する場合において、ＳＤＲガンマとＨＤＲガンマとが同一の特性になっている領域のＨＤＲ−ＳＤＲ変換ゲイン特性は、ＳＤＲ現像時のガンマ特性になされる。

次にステップＳ５０４において、ゲインマップ変換部１０５は、入力輝度画像に対して、前述のステップＳ５０３で生成されたＨＤＲ−ＳＤＲ変換ゲイン特性を適用することでゲインマップを生成する。以下、入力輝度画像に対してＨＤＲ−ＳＤＲ変換ゲイン特性を適用して生成されたゲインマップを等倍階層ゲインマップと表記する。

またゲインマップ変換部１０５は、ステップＳ５０１で生成された第１階層輝度画像ＩＭＭと第２階層輝度画像ＩＭＳとに対して、それぞれＨＤＲ−ＳＤＲ変換ゲイン特性を適用することで、それら階層ごとのゲインマップを生成する。以下、第１階層輝度画像ＩＭＭに対してＨＤＲ−ＳＤＲ変換ゲイン特性を適用して生成されたゲインマップを、第１階層ゲインマップと表記する。また、第２階層輝度画像ＩＭＳに対してＨＤＲ−ＳＤＲ変換ゲイン特性を適用して生成されたゲインマップを、第２階層ゲインマップと表記する。

なお図１においては、ＨＤＲ−ＳＤＲ変換ゲイン特性をＧβと表記しており、入力輝度画像ＩＭinの座標（ｘ，ｙ）に対してＨＤＲ−ＳＤＲ変換ゲイン特性Ｇβを適用した等倍階層ゲインマップをＧＭＬ（ｘ，ｙ）と表記している。また、第１階層輝度画像ＩＭＭの座標（ｘ，ｙ）に対してＨＤＲ−ＳＤＲ変換ゲイン特性Ｇβを適用した第１階層ゲインマップを、ＧＭＭ（ｘ，ｙ）と表記する。同様に、第２階層輝度画像ＩＭＳの座標（ｘ，ｙ）に対してＨＤＲ−ＳＤＲ変換ゲイン特性Ｇβを適用した第１階層ゲインマップを、ＧＭＳ（ｘ，ｙ）と表記する。

そしてゲインマップ変換部１０５は、前述のようにＨＤＲ−ＳＤＲ変換ゲイン特性を適用して生成した等倍階層ゲインマップＧＭＬ（ｘ，ｙ）を、ローカルゲインマップ算出部１０７に出力する。また、ゲインマップ変換部１０５は、ＨＤＲ−ＳＤＲ変換ゲイン特性を適用して生成した第１階層ゲインマップＧＭＭ（ｘ，ｙ）及び第２階層ゲインマップＧＭＳ（ｘ，ｙ）を、ゲインマップ合成部１０６に出力する。

次にステップＳ５０５において、ゲインマップ合成部１０６は、ステップＳ５０４で生成された第１階層ゲインマップＧＭＭ（ｘ，ｙ）と第２階層ゲインマップＧＭＳ（ｘ，ｙ）とを合成することで、合成ゲインマップを生成する。なお図１においては、座標（ｘ，ｙ）における合成ゲインマップをＧＭｃ（ｘ，ｙ）と表記している。合成ゲインマップの生成方法は、画像サイズの大きいゲインマップのゲイン信号と画像サイズの小さいゲインマップのゲイン信号をゲインの信号差に応じて加重加算する公知の手法を用いることができる。ゲインマップ合成部１０６にて生成された合成ゲインマップＧＭｃ（ｘ，ｙ）は、ローカルゲインマップ算出部１０７に送られる。

図９（ａ）は、入力輝度画像の輝度信号（入力輝度信号９０１）の例を表した図であり、縦軸が輝度信号を示し、横軸がｘ方向の座標を示している。図９（ａ）に示した入力輝度信号９０１は、ｘ方向の或る位置において輝度信号Ｙ１から輝度信号Ｙ２に上昇するようなエッジ部を有した信号であるとする。また、図９（ｂ）の実線部９０２は、図９（ａ）に示した入力輝度信号９０１から生成されるゲイン信号を表しており、ゲイン信号Ｇ１ｄは入力輝度信号９０１の輝度値Ｙ２に対応し、ゲイン信号Ｇ２ｄは入力輝度信号９０１の輝度値Ｙ１に対応している。一方、図９（ｂ）の点線部９０３は、図９（ａ）の入力輝度信号９０１に対して、ゲインマップ合成部１０６で生成された合成ゲインマップによる合成ゲイン信号を表している。点線部９０３で示される合成ゲイン信号は、前述したように縮小画像（低周波画像）から生成されるゲインマップを合成することで得られるため、入力輝度信号９０１に対して、ゲイン信号がＧ１ｄからＧ２ｄに緩やかに減少する特性を持つ。

次にステップＳ５０６において、ローカルゲインマップ算出部１０７は、ステップＳ５０５で生成された合成ゲインマップと、ステップＳ５０４で生成された等倍階層ゲインマップとを基に、ローカルゲインマップの強調信号を算出する。なお図１では、座標（ｘ，ｙ）におけるローカルゲインマップの値を、ＧＭlocal（ｘ，ｙ）と表記している。座標（ｘ，ｙ）の合成ゲインマップの値をＧＭcomp（ｘ，ｙ）、等倍階層のゲインマップの値をＧＭＬ（ｘ，ｙ）、調整係数をｋとすると、ローカルゲインマップの値ＧＭlocal（ｘ，ｙ）は式（５）で表される。

ＧＭlocal（ｘ，ｙ）＝ｋ（ＧＭcomp（ｘ，ｙ）−ＧＭＬ（ｘ，ｙ）） 式（５）

図９（ｃ）の実線部９０４は、前述した図９（ａ）の入力輝度信号９０１および図９（ｂ）の点線部９０３で示される合成ゲイン信号を基に算出される、ローカルゲインマップの強調信号を示している。入力輝度信号９０１から生成される実線部９０２に示すゲイン信号と、点線部９０３に示す合成ゲイン信号とを用い、式（５）の演算（減算）が行われることで、実線部９０４に示すようなローカルゲインマップの強調信号が生成される。

なお、式（５）における合成ゲインマップの値ＧＭcomp（ｘ，ｙ）と等倍階層のゲインマップの値ＧＭＬ（ｘ，ｙ）の差分値に乗算される調整係数ｋは、任意に設定可能である。すなわち、調整係数ｋの設定により、ゲインマップの強調信号はコントロール可能となされている。また、調整係数ｋは、合成ゲインマップ、もしくは等倍階層のゲインマップの値に応じて変化させてもよい。

図１０（ａ）は、ＳＤＲ現像時におけるローカルゲインマップの強調信号の一例を示しており、図１０（ｂ）は本実施形態において前述のようにして求めたローカルゲインマップの強調信号の例を示した図である。図１０（ｂ）に示した強調信号を用いることで、ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する場合に、ＨＤＲ現像時のコントラスト効果を得ることができるようになる。例えばＳＤＲ現像時におけるローカルゲインマップの強調信号のピーク値は図１０（ａ）のゲイン信号Ｇ１０１のようになる。これに対し、本実施形態によるローカルゲインマップの強調信号によれば、図１０（ｂ）に示すように、ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する場合に、ＨＤＲ現像時と同等のピーク値であるゲイン信号Ｇ１０２となる。すなわち、本実施形態によれば、ＨＤＲ撮影によるＲＡＷ画像をＳＤＲ現像する場合において、コントラスト効果が高い強調信号が得ることができる。

以上が本実施形態の画像処理装置に係る画像処理であり、本実施形態において主眼点となる部分は図１のゲイン変換部１０４で行われる図５のステップＳ５０３の処理である。
次に図２のステップＳ２０２において、図１のグローバルゲインマップ生成部１１１が行うグローバルゲインマップおよび最終ゲインマップの生成処理について、図６および図９を用いて説明する。
グローバルゲインマップ生成部１１１は、グローバルゲインマップ算出部１０８、最終ゲインマップ生成部１０９を有して構成されている。

前述の通り、図６（ａ）は横軸が入力輝度信号、縦軸が出力輝度信号を表し、図６（ｂ）はそれぞれ横軸が入力輝度信号、縦軸が出力のゲイン信号を表している。図６（ａ）は、本実施形態の画像処理装置において、グローバルゲインマップ生成部１１１で行われる明るさ調整の目標となる階調補正のカーブ６０１を示している。階調補正のカーブは、例えば、画像内の対象領域の輝度値を目標輝度値に合わせるようにスプライン補間を行うことで、画像の全領域に対するゲインを求められるような公知の方法を用いて算出することができる。また前述したように、図６（ｂ）の実線部６０４は、図６（ａ）の階調補正のカーブ６０１をゲインテーブルに変換したものであり、明るさ調整を行うためのゲイン特性を表している。

図９（ｄ）の実線部９０５は、図６（ｂ）に示したグローバルゲイン特性を用いて、図９（ａ）に例示した入力輝度信号９０１を基に生成されるグローバルゲインマップの各ゲイン値をｘ方向にプロットしたゲイン信号を示している。図９（ｄ）は、横軸がｘ方向の位置、縦軸がゲイン信号を表している。図９（ｄ）の実線部９０５のゲイン信号は、図９（ａ）の入力輝度信号９０１において輝度値Ｙ１からＹ２に上昇する部分に対応してゲイン値Ｇ１からＧ２に増加するようなゲイン特性を有する信号である。なお、ゲイン値Ｇ１は入力輝度信号の輝度値Ｙ１に対応したゲイン値、ゲイン値Ｇ２は輝度値Ｙ２に対応したゲイン値である。

このように、グローバルゲインマップ算出部１０８は、グローバルゲイン特性を用い、図９（ａ）の入力輝度信号９０１を基に、図９（ｄ）に示すようなゲイン特性のグローバルゲインマップを生成する。そして、グローバルゲインマップ算出部１０８にて生成されたグローバルゲインマップは、最終ゲインマップ生成部１０９に出力される。なお、図１では、座標（ｘ，ｙ）におけるグローバルゲインマップの値をＧＭglobal（ｘ，ｙ）と表記し、最終ゲインマップの値をＧＭlast（ｘ，ｙ）と表記している。

最終ゲインマップ生成部１０９は、ローカルゲインマップ算出部１０７で生成されたローカルゲインマップと、グローバルゲインマップ算出部１０８で生成されたグローバルゲインマップとを基に、最終的なゲインマップを生成する。そして、最終ゲインマップ生成部１０９は、そのグローバルゲインマップをゲイン処理部１１２に出力する。

ここで、図９（ｄ）の例において、座標を（ｘ，ｙ）とし、グローバルゲインマップのゲイン信号をＧＭglobal（ｘ，ｙ）、ローカルゲインマップのゲイン信号をＧＭlocal（ｘ，ｙ）とする。この場合、最終ゲインマップ生成部１０９は、式（６）により、最終的なゲインマップのゲイン信号ＧＭlast（ｘ，ｙ）を算出する。

ＧＭlast（ｘ，ｙ）＝ＧＭlocal（ｘ，ｙ）＋ＧＭglobal（ｘ，ｙ） 式（６）

次にステップＳ２０３において、ゲイン処理部１１２は、入力画像に対し最終的なゲインマップをかけるゲイン処理を行う。前述の通り、座標（ｘ，ｙ）の入力輝度信号値をＩＭin（ｘ，ｙ）、最終的なゲインマップの値をＧＭlast（ｘ，ｙ）とすると、ゲイン処理後の出力輝度信号値ＩＭout（ｘ，ｙ）は前述の式（１）で求められる。

本実施形態の画像処理装置は、以上説明したような画像処理を行うことにより、ＨＤＲ−ＳＤＲ変換ゲイン特性を適用したゲイン処理後の出力画像であるＲＡＷ画像を得ることができる。
なお、本実施形態では入力画像および出力画像はＲＡＷ画像として説明しているが、入力画像および出力画像をいわゆるＹＵＶなど他フォーマットの画像であってもよい。
以上説明したように、本実施形態の画像処理装置によれば、ＨＤＲ撮影したＲＡＷ画像からＳＤＲ現像が行われる場合に、ＨＤＲ現像結果に近いコントラスト効果を得ることが可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：第１の低周波画像生成部、１０２：第２の低周波画像生成部、１０３：補正ゲイン変換部、１０４：ゲイン変換部、１０５：ゲインマップ変換部、１０６：ゲインマップ合成部、１０７：ローカルゲインマップ算出部、１０８：グローバルゲインマップ算出部、１０９：最終ゲインマップ生成部、１１０：ローカルゲインマップ生成部、１１１：グローバルゲインマップ生成部、１１２：ゲイン処理部

Claims (11)

1. 未現像の画像を現像する際のゲイン処理に用いるゲイン信号を生成する生成手段と、
   前記生成手段により生成されたゲイン信号を用いて、前記未現像の画像に対して前記ゲイン処理を行う処理手段と、を有し、
   前記未現像の画像を用いて、第１のダイナミックレンジよりも狭いダイナミックレンジである第２のダイナミックレンジに対応した現像処理が行われる場合、前記生成手段は、前記第１のダイナミックレンジと前記第２のダイナミックレンジとで共通したゲイン特性と、前記第１のダイナミックレンジと前記第２のダイナミックレンジとのゲイン特性の差分と、に基づいて、前記ゲイン信号を生成することを特徴とする画像処理装置。
2. 前記生成手段は、前記第１のダイナミックレンジに対応したガンマ特性と前記第２のダイナミックレンジに対応したガンマ特性とに基づく前記ゲイン特性を用いて、前記ゲイン信号を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、
   前記第１のダイナミックレンジに対応したガンマ特性と前記第２のダイナミックレンジに対応したガンマ特性とで差がない領域では共通した特性となり、
   前記第１のダイナミックレンジに対応したガンマ特性と前記第２のダイナミックレンジに対応したガンマ特性とに差がある領域では、前記第２のダイナミックレンジに対応したガンマ特性を前記第１のダイナミックレンジに対応するように変更した特性となる、前記ゲイン特性に基づいて、前記ゲイン信号を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記画像の画素ごとに対応したゲイン値からなるゲインマップを生成し、
   前記処理手段は、前記ゲインマップの前記画素ごとに対応したゲイン値を用いて前記ゲイン処理を行うことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、
   前記画像に対して明るさ調整を行うグローバルゲインマップと、
   前記画像に対して局所的にコントラスト調整を行うためのローカルゲインマップと、を生成し、
   前記グローバルゲインマップと前記ローカルゲインマップとを加算して、前記処理手段が前記ゲイン処理に用いる最終的なゲインマップを生成することを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、
   前記画像から前記グローバルゲインマップに応じた前記ゲイン処理で生ずるコントラスト低下を補償するための補正ゲイン特性を生成し、
   前記補正ゲイン特性と、前記第１のダイナミックレンジと前記第２のダイナミックレンジとで共通したゲイン特性と、前記第１のダイナミックレンジと前記第２のダイナミックレンジとのゲイン特性の差分とを基に、前記ローカルゲインマップを生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記画像から低周波画像を生成し、前記画像と前記低周波画像とを基に前記ローカルゲインマップを生成することを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記生成手段は、前記画像を縮小処理した後に前記画像のサイズに拡大した画像、または、前記画像をフィルタ処理した画像を、前記低周波画像として生成することを特徴とする請求項７に記載の画像処理装置。
9. 前記生成手段は、前記画像から、周波数がそれぞれ異なる少なくとも２つの前記低周波画像を生成することを特徴とする請求項７または請求項８に記載の画像処理装置。
10. 画像処理装置が実行する画像処理方法であって、
    未現像の画像を現像する際のゲイン処理に用いるゲイン信号を生成する生成工程と、
    前記生成工程により生成されたゲイン信号を用いて、前記未現像の画像に対して前記ゲイン処理を行う処理工程と、を有し、
    前記未現像の画像を用いて、第１のダイナミックレンジよりも狭いダイナミックレンジである第２のダイナミックレンジに対応した現像処理が行われる場合、前記生成工程では、前記第１のダイナミックレンジと前記第２のダイナミックレンジとで共通したゲイン特性と、前記第１のダイナミックレンジと前記第２のダイナミックレンジとのゲイン特性の差分と、に基づいて、前記ゲイン信号を生成することを特徴とする画像処理方法。
11. コンピュータを、請求項１から請求項９のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images