JP2022012832A - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Abstract

【課題】画像の輝き感を制御可能な画像処理を実現する。【解決手段】画像処理部１０２は、補正の基準となる表示輝度を入力する表示輝度入力部２０１と、高輝度側の階調を減らす程度を輝き度合いとして入力する輝き度合い入力部２０２を備える。表示制御部１０５は表示輝度入力部２０１および輝き度合い入力部２０２との間で表示輝度および輝き度合いの各情報の入出力処理を行うとともに、表示部１０４の表示制御を行う。表示部１０４は表示輝度の情報および輝き度合いの情報を取得するための操作入力用画面を表示する。階調補正部２０３は、入力画像の高輝度領域の明るさが輝き度合いに応じて表示輝度に近づくように階調補正を行う。【選択図】図２

Description

本発明は、入力された表示輝度および輝き度合いの各情報に基づいて階調補正を行う画像処理に関する。

画像の階調をより正確に再現する処理にダイナミックレンジ拡大処理がある。例えばハイダイナミックレンジ（ＨＤＲ）カメラシステムでは、高輝度側の階調を、より見た目に近い階調で再現可能な画像を取得できるので、ディスプレイの表示の高輝度化に対応可能である。

ＨＤＲカメラシステムで画像を出力する際にはOETF（Opto-Electronic Transfer Function）特性に基づくOETFカーブが使用される。OETF特性は、ＨＤＲモニタで取り扱うＨＤＲ規格のST2084等に記載されたEOTF（Electro-Optical Transfer Function）特性に対し、その逆特性である。OETFカーブを使用してカメラで撮影された画像を変換することにより、ＨＤＲモニタで高輝度側の階調を表現可能である。つまり、ＨＤＲ画像は従来のＳＤＲ（スタンダードダイナミックレンジ）画像に比べて表現可能な明るさの幅が広がり、階調表現が豊かになる。

一方で、ＨＤＲ画像では海や夜景のシーン等における白とび領域がＳＤＲ画像に比べて減少した場合、輝きが弱まったような印象を受ける可能性がある。ＨＤＲ処理による高輝度側の明るさの表現を活かして、水面のきらめきや夜景の光源、金属の光沢を強調する画作りを行うためには、輝き感を制御する技術が求められる。

特許文献１では、基準となる階調特性に対して高輝度側の階調を拡張して撮像する制御と、画像表示の際に、撮像ステップにおける高輝度側の階調の拡張量に基づき表示輝度のエンハンス量を制御する技術が開示されている。特許文献２では、画像の階調補正処理を行う画像領域と階調範囲の指定を可能とし、階調補正処理を注目領域の内部と外部とで独立に行う技術が開示されている。注目領域の中心輝度値に基づいて階調補正特性を決定して、注目領域内の階調補正を行う処理と、注目領域外の画素について算出された統計量に基づいて階調補正特性を決定して、注目領域外の階調補正を行う処理が行われる。

特開２０１６－１３４８６２号公報 特開２０１０－２５６５３６号公報

しかしながら、従来の技術では入力画像の輝き感の制御に関して以下の課題がある。特許文献１に開示された技術では、高輝度側の階調を拡張する方向に露出制御と階調補正が行われるので、高輝度側の階調を減らす方向に制御する事で被写体を輝かせる補正には適していない。また、暗部を明るくする階調補正が行われるので、暗部のＳ／Ｎ比（信号対ノイズ比）が低下する可能性がある。また特許文献２に開示された技術では、シーンの輝度を表示の絶対輝度に対応付けた上で階調補正特性を決定していないので、表示輝度に合わせて被写体を輝かせる補正には適していない。
本発明は、画像の輝き感を制御可能な画像処理の実現を目的とする。

本発明の実施形態の装置は、画像の階調補正を行う画像処理装置であって、前記画像の表示輝度の情報を取得する第１の取得手段と、前記画像にて閾値以上の輝度値である輝度領域の階調を減少させる度合いを表す輝き度合いの情報を取得する第２の取得手段と、取得された前記表示輝度の情報および前記輝き度合いの情報を用いて前記画像の階調補正を行う補正手段と、を備える。前記補正手段は前記輝き度合いの情報にしたがって、前記輝度領域の明るさを前記表示輝度に近づける階調補正を行う。

本発明によれば、画像の輝き感を制御可能な画像処理を実現することができる。

実施形態の撮像装置の構成を示すブロック図である。 第１実施例の画像処理部の構成を示すブロック図である。 第１実施例の階調補正部の構成を示すブロック図である。 第１実施例の画像処理部の動作を説明するフローチャートである。 表示輝度と輝き度合いの入力画面の表示例を示す図である。 第１実施例における階調特性を示す図である。 第１実施例における有彩色度合いに応じた階調特性を示す図である。 第２実施例の画像処理部の構成を示すブロック図である。 第２実施例の画像処理部の動作を説明するフローチャートである。 複数の高輝度領域が検出された例を示す図である。 高輝度領域の検出処理について説明する図である。 第３実施例の画像処理部の構成を示すブロック図である。 第３実施例の画像処理部の動作を説明するフローチャートである。 輝き度合いの算出における表示輝度と輝き度合いとの関係を示す図である。 ヒストグラムを用いた輝き度合いの算出処理について説明する図である。

以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。各実施例では、画像処理装置としてスマートフォンやデジタルカメラ等の撮像装置の例を示す。実施形態の撮像装置により取得される画像、またはネットワークを通じた受信後に記録された画像に対して、画像処理部は表示輝度と輝き度合いに応じて階調補正処理を行う。

図１は撮像装置１００に適用した構成例の概要を示すブロック図である。撮像部１０１は、レンズを含む撮像光学系、撮像素子（イメージセンサ）、Ａ（アナログ）／Ｄ（デジタル）変換処理部を備える。撮像部１０１は、操作部１０８の指示にしたがってシステム制御部１０３から出力される制御信号に基づいて、被写体を撮像して画像データを生成する。

画像処理部１０２は、撮像部１０１により取得された画像データや、記録部１０６の記録画像データまたはネットワーク処理部１０７から入力された画像ファイルのデータに対して所定の画像処理を行う。例えば、ホワイトバランス処理やデモザイク処理、ガンマ処理等の現像処理が実行される。また、このような信号処理を行う他に、画像処理部１０２は、システム制御部１０３および表示制御部１０５から出力される制御信号に基づいて、表示輝度と輝き度合いに応じた画像の階調補正処理を行う。本発明に関わる画像処理部１０２の処理内容については後述する。

システム制御部１０３は、例えばＣＰＵ（中央演算処理装置）を備え、所定のプログラムを実行することにより、撮像装置全体の制御を統括する。例えばシステム制御部１０３は、ネットワーク処理部１０７や操作部１０８から送信される指示信号にしたがって、撮像部１０１の駆動制御等を行う。

表示部１０４は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスを備え、画像処理部１０２の出力信号を取得して、画像やインターフェース画面等を表示する。例えば、表示部１０４はITU-R BT.2100準拠のＨＤＲ表示に対応しており、画像処理部１０２で作成されたＨＤＲ画像を表示可能である。表示制御部１０５は、画像処理部１０２の出力信号に応じて表示部１０４の表示制御を行う。

記録部１０６は、情報記録媒体に画像データ等を記録する処理を行う。情報記録媒体には、半導体メモリが搭載されたメモリカードや、光磁気ディスク等の回転記録媒体を収容したパッケージ等を用いることが可能である。例えば、情報記録媒体は撮像装置１００に着脱可能である。

ネットワーク処理部１０７は、外部の入力デバイスからネットワーク経由で画像ファイルのデータを取得可能である。またはネットワーク処理部１０７は、画像処理部１０２の出力信号を取得して、ネットワーク経由で外部の表示デバイス、または外部装置（パーソナルコンピュータ等）に画像信号を送出する処理を行う。画像処理部１０２が作成した画像は表示部１０４に送られるだけでなく、ネットワーク処理部１０７が外部出力機器に送信可能である。送信先の装置が備える表示部によって画像表示を行うことができる。

バス１０９は、撮像部１０１、画像処理部１０２、システム制御部１０３、表示部１０４、表示制御部１０５、記録部１０６、およびネットワーク処理部１０７の間で画像データ等の送受信に用いられる。

以下では、第１から第３実施例において、高輝度領域の明るさ表現を活かして、輝き感が制御されたＨＤＲ画像を提供可能な、撮像装置が備える画像処理部の構成について詳述する。

［第１実施例］
本実施例の画像処理部１０２は、補正の基準となる表示輝度の入力処理を行う第１の取得部と、高輝度側の階調を減らす程度を輝き度合いとして入力処理を行う第２の取得部を備える。第１および第２の取得部による各情報の入力画面は、表示部１０４にて同一の画面上に表示される。表示輝度の入力情報および輝き度合いの入力情報に基づいて階調補正が行われる。

図２を参照して、本実施例に関わる画像処理部１０２の処理内容について説明する。図２は、表示部１０４、表示制御部１０５、画像処理部１０２のうち本実施例に関わる部分を図示したブロック図である。

画像処理部１０２は、表示輝度入力部２０１、輝き度合い入力部２０２、階調補正部２０３を備える。表示輝度入力部２０１と表示制御部１０５との間で表示輝度の情報の入出力処理が行われる。輝き度合い入力部２０２と表示制御部１０５との間で輝き度合いの情報の入出力理が行われる。表示制御部１０５は、表示輝度の情報と輝き度合いの情報に基づいて表示部１０４の表示制御を行う。

階調補正部２０３は入力画像データを取得し、表示輝度の情報および輝き度合いの情報に基づいて階調補正処理を行う。階調補正部２０３への入力画像として、画像処理部１０２が行う信号処理によって現像されたＨＤＲ画像を想定する。ＨＤＲ画像は、例えばガンマカーブがST2084記載のPQに基づき、所定の色空間（Rec.2020）で現像されており、出力画像についても同様である。

図３は階調補正部２０３の構成を示すブロック図であり、図４（Ａ）および（Ｂ）は画像処理部１０２の動作を説明するフローチャートである。図４（Ａ）のＳ４０１では、表示輝度と輝き度合いの入力を受け付ける処理が実行される。表示輝度入力部２０１は、補正の基準となる表示輝度を入力するための表示輝度入力領域の表示処理を表示制御部１０５に指示する。輝き度合い入力部２０２は、高輝度側の階調を減らす程度を輝き度合いとして入力するための輝き度合い入力領域の表示処理を表示制御部１０５に指示する。表示輝度入力領域および輝き度合い入力領域は表示部１０４にて同一画面上に表示されて、表示輝度と輝き度合いの入力を受け付ける処理が実行される。具体例については図５を用いて後述する。

Ｓ４０２では、Ｓ４０１で入力された表示輝度の情報を取得する処理が行われる。例えば表示輝度として、入力画像が表示される最大輝度が取得されるが、平均輝度の取得処理が行われてもよい。

Ｓ４０３では、Ｓ４０１で入力された輝き度合いの情報を取得する処理が行われる。入力された輝き度合いの情報とは、Ｓ４０２で取得された表示輝度で表示する画素の割合である。本実施例では、高輝度領域の階調特性の傾きが輝き度合いとして取得される。高輝度領域の階調特性の傾きを変化させることにより、Ｓ４０２にて取得された表示輝度で表示する画素の割合が変化する。高輝度領域の階調特性の傾きについては、後述のＳ４０４の階調補正の処理と合わせて詳細に説明する。

Ｓ４０４で階調補正部２０３は、入力画像に対して、Ｓ４０２で取得された表示輝度、およびＳ４０３で取得された輝き度合いに応じて階調補正処理を行う。図３を参照して、Ｓ４０４で実施される階調補正処理について説明する。

図３に示すように、階調補正部２０３は、階調特性算出部３０１と階調処理部３０２を備える。階調補正部２０３への入力画像は、画像処理部１０２が行う信号処理によって現像されたＨＤＲ画像である。階調特性算出部３０１は表示輝度の情報および輝き度合いの情報を取得して階調特性を算出し、算出結果を階調処理部３０２に出力する。階調処理部３０２は算出された階調特性にしたがい、取得した入力画像に対して階調処理を実行し、階調処理済みの画像データを出力する。階調補正の詳細については図４（Ｂ）のフローチャートを用いて後述する。

図５は、表示輝度および輝き度合いの入力に使用されるインターフェース画面例を示す図である。図５（Ａ）は、表示画面６０１上の表示輝度入力領域と輝き度合い入力領域にてスライドバーが表示される例を示す。画像領域６０６の下には、表示輝度と輝き度合いの制御の特徴を示すトーンカーブの領域６０７が表示される。

表示輝度入力部２０１は、トーンカーブの領域６０７の右側に示されるスライドバーの操作による表示輝度の入力を受け付ける。このスライドバーは、表示輝度入力バー６０２および表示輝度入力スライダ６０３で構成される。表示輝度入力バー６０２は、表示輝度入力スライダ６０３の位置に応じて入力画像の表示輝度を変更する軸である。

輝き度合い入力部２０２は、トーンカーブの領域６０７の下側に示されるスライドバーの操作による輝き度合いの入力を受け付ける。このスライドバーは、輝き度合い入力バー６０４および輝き度合い入力スライダ６０５で構成される。輝き度合い入力バー６０４は高輝度側の階調の程度、また階調を減らす程度を表す軸であり、輝き度合い入力スライダ６０５の位置に応じて、入力画像の高輝度側の階調が変更されるという特徴を有する。

画像領域６０６には、スライダ操作によって入力された情報に基づいて図４（Ａ）のＳ４０４にて階調補正された画像が表示される。図５（Ａ）の例では、表示画面６０１において、表示輝度と輝き度合いの制御の特徴を示すトーンカーブの領域６０７が表示される。

図５（Ｂ）は、トーンカーブの領域６０７が表示されない例を示す。つまり、表示画面６０８には、画像領域６０９と複数のスライドバーが表示される。画像領域６０９の右側には、表示輝度入力バー６１０および表示輝度入力スライダ６１１で構成される表示輝度入力用のスライドバーが表示される。また、画像領域６０９の下側には、輝き度合い入力バー６１２および輝き度合い入力スライダ６１３で構成される輝き度合い入力用のスライドバーが表示される。

表示輝度入力部２０１と輝き度合い入力部２０２における入力値は連続的な値である必要はなく、例えば強、中、弱等の段階的な入力値であってもよい。ユーザインターフェース処理については仕様に応じて変更可能であり、特定の入力形態に限定されない。

次に図４（Ｂ）および図６を参照して、階調補正部２０３の動作について説明する。図６は階調特性を説明する図である。図４（Ｂ）のＳ５０１で階調特性算出部３０１は、図４（Ａ）のＳ４０２で取得された表示輝度の情報とＳ４０３で取得された輝き度合いの情報を用いて階調特性を算出する。

図６（Ａ）は本実施例の階調特性を示すグラフであり、横軸は入力輝度を表し、縦軸は出力輝度を表している。横軸上の閾値７０１は、入力画像における高輝度領域を規定する閾値ｔｈである。縦軸上の輝度値７０２は表示輝度の初期値であり、輝度値７０３は図４（Ａ）のＳ４０２で取得された表示輝度値である。階調補正前の階調特性を１点鎖線７０４で示し、階調特性算出部３０１が取得した表示輝度および輝き度合いに応じて算出した階調特性を実線７０５で示している。

本実施例では、所定の閾値７０１を基準として、輝度値が閾値ｔｈ以上である領域が高輝度領域として決定される。つまり高輝度領域の明るさに関しては、図４（Ａ）のＳ４０３で取得された輝き度合いに応じて、Ｓ４０２で取得された表示輝度（輝度値７０３）に近づくように階調特性が算出される。また、輝度領域７０６では入力輝度が表示輝度（輝度値７０３）にマッピングされて階調が減少することによって輝き感が増す階調特性となる。

図６にて入力輝度をｘ、出力輝度をｙと表記し、階調補正前の階調特性の傾きをｇ_１、高輝度領域を規定する閾値をｔｈと表記する。図４（Ａ）のＳ４０３で取得された輝き度合いを示す傾きをｇ_２、Ｓ４０２で取得された表示輝度の輝度値７０３をlimitと表記する。階調特性は下記（式１）で表される。

（式１）中のmin［Ａ，Ｂ］はＡとＢのうちの小さい方を選択する関数である。

図６（Ａ）は、階調特性が（式１）に示す直線で表される特性、つまり線形関数により表現される特性の例を示す。一方、図６（Ｂ）は、非線形関数により表現される特性の例を示す。曲線７０９は（式１）にて傾きが変化する点７０７と点７０８を通る曲線であり、スプライン補間等を用いて表現可能である。

本実施例では、図６（Ｃ）に示すヒストグラムを用いて、高輝度領域を決定する為の閾値ｔｈが算出される。ヒストグラムの横軸は、入力画像から生成された評価値用の輝度値を表す。この輝度値は入力画像を評価値用の色空間に変換した後の色空間での明るさを表す。ヒストグラムの縦軸は当該輝度値を持つ画素の画素数を表す。評価値用色空間の一例として、本実施例では、ITU-R BT.2100に記載のICtCp色空間が採用されており、ICtCp色空間での明るさ成分Iの値を輝度値としている。

図６（Ｃ）に示すヒストグラムを高輝度側から見た場合、最初に極小値となる輝度値７１０が谷の位置で検出され、輝度値７１０は高輝度領域を規定する閾値ｔｈとして決定される。輝度値７１１は入力画像のヒストグラムの終点（最右点）を示す輝度値であり、輝度値７１０から輝度値７１１までの領域７１２が高輝度領域として決定される。ヒストグラムを用いて閾値を算出する方法に限らず、閾値を固定値として設定する方法でもよい。

また本実施例では、明るさのみで階調特性を算出する例を説明した。図７は、入力画像の有彩色度合いに応じて階調特性を算出する例を示す。例えば、有彩色度合いを示す評価値として、ICtCp色空間での色差信号CtCpから、下記（式２）によって算出される彩度（Sと記す）を用いることができる。

図７（Ａ）は、横軸に彩度Sをとり、縦軸に有彩色度合い（Sadjと記す）をとってSとSadjとの関係を示すグラフである。（式２）により決定された彩度Sに基づき、図７（Ａ）のグラフに対応する参照テーブルを用いることで、有彩色度合いSadjが決定される。参照テーブルに対して入力される彩度Sは入力画像の代表値となる彩度であり、例えば入力画像の平均値や最大値となる彩度が入力される。また有彩色度合いSadjについては、上限値および下限値が設定される。図７（Ａ）の例にて上限値は１に設定され、下限値はゼロに設定されている。下限値から上限値までの範囲内にて、彩度Sが高くなる程、有彩色度合いSadjが高くなる特性である。図７（Ａ）の例では、彩度Sが第１の閾値未満である場合に有彩色度合いSadjは下限値であり、また彩度Ｓが第２の閾値より大きい場合に有彩色度合いSadjは上限値である。彩度Sが第１の閾値以上であって、かつ第２の閾値以下である場合、彩度Sと有彩色度合いSadjとが線形関係である。

図７（Ｂ）は階調特性の算出を説明する図であり、横軸および縦軸の設定については図６（Ａ）と同じである。階調特性算出部３０１は有彩色度合いを用いて、階調特性を算出する。図７（Ｂ）には異なる階調特性を表す第１のグラフ線８０１および第２のグラフ線８０２と、図４（Ａ）のＳ４０２で取得された表示輝度８０３を示す。第１のグラフ線８０１で表される階調特性の傾きを、図４（Ａ）のＳ４０３で取得された輝き度合いを示す傾きとする。第２のグラフ線８０２で表される階調特性の傾きは、第１のグラフ線８０１で表される階調特性の傾きよりも色飽和しにくい傾きを示している。つまり、第２のグラフ線８０２の傾き角は第１のグラフ線８０１の傾き角よりも小さい。

輝き度合いを示す傾きの初期値をｇ_１、入力輝度をｘ、出力輝度をｙ、高輝度領域を規定する閾値をｔｈと表記する。第１のグラフ線８０１で表される階調特性の傾きをｇ_２、表示輝度８０３をlimitと表記する。入力画像の有彩色度合いSadjに応じた階調特性は下記（式３）で表される。

（式３）は、彩度Sが高くなるにつれて、第１のグラフ線８０１で表される階調特性が、第２のグラフ線８０２で表される階調特性（つまり高彩度部分の色飽和が減少する階調特性）に近づく事を示している。

図４（Ｂ）のＳ５０２で階調処理部３０２は、Ｓ５０１で算出された階調特性に基づいて階調を補正する処理を行う。具体的には、ICtCp空間上での入力画像の明るさ成分Iをxとし、階調補正後の明るさ成分をyとして前記（式１）の階調特性が適用される。本実施例では入力画像に対し、知覚均等色空間ICtCpの明るさ成分Iに基づいて明るさ調整を行う事で階調を補正する処理が行われる。これに限らず、Labによる知覚均等色空間に基づいて階調を補正する処理が行われてもよい。
本実施例によれば、前記の処理を実施することにより、ＨＤＲ画像の高輝度領域の輝き感を制御可能な画像処理を実現できる。

［第２実施例］
次に、本発明の第２実施例について説明する。本実施例は、第１実施例に対し、入力画像における高輝度領域を検出して当該領域のみについて階調補正を行う点が異なる。特定の領域（高輝度領域）に対して輝き感を制御する事ができる。以下では第１実施例との相違点を主に説明し、第１実施例と同様の事項については既に使用した符号や記号を流用することで、それらの詳細な説明を省略する。このような説明の省略方法については後述の実施例でも同じである。

図８を参照して、本実施例に関わる画像処理部１０２の処理内容について説明する。図２との相違点は、画像処理部１０２に高輝度領域検出部９０３が追加されている点である。画像処理部１０２は、表示輝度入力部９０１、輝き度合い入力部９０２、高輝度領域検出部９０３、階調補正部９０４を備える。表示輝度入力部９０１、輝き度合い入力部９０２、階調補正部９０４はそれぞれ、図２の表示輝度入力部２０１、輝き度合い入力部２０２、階調補正部２０３に対応する。

画像処理部１０２は、表示制御部１０５に対して表示輝度の情報と輝き度合いの情報の入出力処理を行う。表示制御部１０５は表示輝度の情報および輝き度合いの情報に基づいて表示部１０４の表示制御を行う。

図９のフローチャートを参照して、本実施例の画像処理部１０２の動作について説明する。Ｓ１００１で高輝度領域検出部９０３は、入力画像に対し、Ｓ１００２以降の処理を行う対象領域である高輝度領域を検出する。高輝度領域の検出処理の詳細については後述する。

Ｓ１００２からＳ１００５の処理は、図４（Ａ）のＳ４０１からＳ４０４の処理と同様であるが、これらの処理は全画面にて一律に行われるのではなく、Ｓ１００１で検出された高輝度領域に対してのみ実行される。Ｓ１００１で検出された１つまたは複数の高輝度領域に対してＳ１００５では階調補正処理が行われる。

図１０を参照して、複数の高輝度領域に対する階調補正処理について詳細に説明する。図１０（Ａ）は、図９のＳ１００１で複数の高輝度領域が検出された場合の表示例を示す。表示画面１１０１には、補正対象の画像領域１１０２、表示輝度入力領域１１０３、輝き度合い入力領域１１０４、トーンカーブの領域１１０５が表示される。

画像領域１１０２において、領域１１０６と領域１１０７は、図９のＳ１００１で検出された複数の高輝度領域を示している。階調補正部９０４は、領域１１０６および領域１１０７に対して、図９のＳ１００３で取得された表示輝度およびＳ１００４で取得された輝き度合い応じた階調特性にしたがって階調補正を行う。検出された複数の高輝度領域に対して階調補正処理が行われる。

図１０（Ｂ）は、検出された複数の高輝度領域に対してそれぞれ異なる階調補正処理が行われる例を示す。表示画面１１０８には、画像領域１１０９、表示輝度入力領域１１１０、輝き度合い入力領域１１１１、トーンカーブの領域１１１２が表示される。図９のＳ１００１で検出された複数の高輝度領域のうち、ユーザ操作によって領域１１１３が選択された場合を図１０（Ｂ）の左側に示し、ユーザ操作によって領域１１１４が選択された場合を図１０（Ｂ）の右側に示す。

ユーザ操作によって領域１１１３が選択された場合、階調補正部９０４は図９のＳ１００３で取得された表示輝度およびＳ１００４で取得された輝き度合いに応じて、選択領域である領域１１１３に対する階調補正を行う。また、ユーザ操作によって領域１１１４が新たに選択された場合、領域１１１３とは異なる表示輝度および輝き度合いの情報が入力される。その後に階調補正部９０４は、Ｓ１００３で取得された表示輝度およびＳ１００４で取得された輝き度合いに応じて、選択領域である領域１１１４に対する階調補正を行う。このように、検出された複数の高輝度領域ごとに、それぞれ対応する階調特性にしたがって階調補正を詳細に行うことができる。

次に図１１を参照して、図９のＳ１００１で実行される高輝度領域の検出処理について詳細に説明する。図１１（Ａ）は、画面のブロック分割による高輝度領域の検出処理を説明する図である。具体的には、高輝度領域検出部９０３は入力画像１２０１を複数の領域１２０２に分割する処理を行う。高輝度領域検出部９０３は分割された複数の領域内で画素値を平均する平均演算を行い、演算された平均値を所定の閾値と比較する。平均値が所定の閾値以上となる分割領域を含む領域から高輝度領域が決定される。

図１１（Ｂ）は、複数の画像を用いた高輝度領域の検出処理を説明する図である。例えば、補正対象である入力画像１２０４と、入力画像１２０４とは取得（または撮影）時刻が異なる画像１２０３および１２０５を示す。時刻ｔ２での入力画像１２０４に対して、時間的に前の時刻ｔ１での画像１２０３を第１の参照画像とし、時間的に後の時刻ｔ３での画像１２０５を第２の参照画像とする。

高輝度領域検出部９０３は、入力画像１２０４と、第１の参照画像１２０３と、第２の参照画像１２０５を取得して高輝度領域の検出処理を行う。具体的には、高輝度領域検出部９０３は入力画像１２０４と参照画像１２０３または１２０５との差分を所定の分割領域ごとに算出して、第１の閾値と比較する。また高輝度領域検出部９０３は入力画像１２０４の輝度値を第２の閾値と比較する。算出された画像間の差分が第１の閾値より大きい領域であって、かつ入力画像１２０４の輝度値が第２の閾値以上である領域１２０６が高輝度領域として検出される。参照画像の数は２に限定されず、単数または３以上でもよい。

入力画像から高輝度領域検出部９０３が高輝度領域を自動で検出する実施形態と、ユーザ操作に基づく画像領域を高輝度領域として決定する形態がある。後者の場合、ユーザが操作入力部材やタッチパネル等を用いて選択した所望の領域を高輝度領域として決定することができる。あるいは半自動的な処理として、高輝度領域検出部９０３が入力画像から検出した高輝度領域の候補を表示して、ユーザが操作入力手段で選択することにより指示を行う実施形態でもよい。
本実施形態によれば、ＨＤＲ画像における高輝度領域に対して、輝き感を制御可能な画像処理を実現できる。

［第３実施例］
次に、本発明の第３実施例について説明する。本実施例は、第１実施例に対し、入力された表示輝度に応じて輝き度合いを算出する点が異なる。入力された表示輝度から算出された輝き度合いを入力に反映させることにより、ＨＤＲ画像における高輝度領域の輝き感を容易に制御できる。

図１２を参照して、本実施例に関わる画像処理部１０２の処理内容について説明する。図１２と図２との相違点は、画像処理部１０２に輝き度合い算出部１３０２が追加されている点である。画像処理部１０２は表示輝度入力部１３０１、輝き度合い算出部１３０２、輝き度合い入力部１３０３、階調補正部１３０４を備える。表示輝度入力部１３０１、輝き度合い入力部１３０３、階調補正部１３０４はそれぞれ、図２の表示輝度入力部２０１、輝き度合い入力部２０２、階調補正部２０３に対応する。

図１３のフローチャートを参照して、画像処理部１０２の動作について説明する。Ｓ１４０１およびＳ１４０２の処理については、図４（Ａ）のＳ４０１およびＳ４０２の処理と同様であるため、それらの説明を省略する。

Ｓ１４０３で輝き度合い算出部１３０２は、前記Ｓ１４０２で取得された表示輝度に基づいて輝き度合いを算出し、輝き度合い入力部１３０３に反映させる処理を行う。輝き度合いの算出処理については後述する。

Ｓ１４０４では、Ｓ１４０３で輝き度合い入力部１３０３にて反映された輝き度合いの情報を取得する処理が行われる。例えば、Ｓ１４０３で輝き度合い入力部１３０３に反映された輝き度合いの情報はそのまま（未調整で）取得される。あるいは、Ｓ１４０３で輝き度合い入力部１３０３にて反映された輝き度合いの情報に対して、ユーザ操作入力にしたがって補正（例えば微調整）が行われた上で輝き度合いの情報が取得される。いずれの場合でも取得された輝き度合いの情報は、輝き度合い入力部１３０３から階調補正部１３０４へ出力される。

本実施例では、表示輝度入力部１３０１によって入力された表示輝度から算出された輝き度合いを、輝き度合い入力部１３０３に反映させる処理が行われるが、このような処理に限定されない。輝き度合い入力部１３０３によって入力された輝き度合いから表示輝度を算出し、算出された表示輝度を表示輝度入力部１３０１に反映させてもよい。この場合には輝き度合い算出部１３０２に代えて、表示輝度算出部が輝き度合いから表示輝度の算出処理を行う。表示輝度算出部によって算出された表示輝度の情報、または当該情報を補正した情報が取得される。Ｓ１４０５の処理は、図４（Ａ）のＳ４０４の処理と同様であるので、詳細な説明を省略する。

次に図１４を参照して、図１３のＳ１４０３で行われる輝き度合いの算出処理について詳細に説明する。図１４は、表示輝度に対応する輝き度合いを示す参照テーブルをグラフ化した図である。輝き度合い算出部１３０２は参照テーブルを用いて輝き度合いを算出する。図１４にて横軸は表示輝度を表し、縦軸は輝き度合いを表しており、横軸にて右へ行くほど表示輝度が高くなり、縦軸にて上へ行くほど階調数が減り輝き度合いが強くなる。グラフ線１５０１で表される特性を例にして、表示輝度と輝き度合いの関係を示す。この例では、閾値Ｔｈより低い表示輝度の範囲では輝き度合いが一定値となり、閾値Ｔｈ以上の範囲では表示輝度が高くなるにつれて輝き度合いが小さくなるという特徴を示している。表示輝度が低い範囲で飽和度合いが増すと見栄えが低下する可能性があるので、当該範囲では輝き度合いが上限値を超えない特性である。

あらかじめ定められた参照テーブルを表す関数をＴＢＬと表記し、表示輝度をｈｙと表記する。輝き度合いをｓｈと表記すると、ｓｈは下記（式４）で表される。

また、図１３のＳ１４０３の輝き度合い算出処理では、入力画像のヒストグラムから算出した代表値に応じて、（式４）の参照テーブルを変更する処理が行われてもよい。図１５を参照し、ヒストグラムを用いて参照テーブルを変更する処理について詳細に説明する。図１５（Ａ）に示すヒストグラムの横軸は、入力画像における、知覚均等色空間ICtCpの明るさ成分Iを示す画素値を表しており、縦軸は画素数を表す。輝き度合い算出部１３０２は、まず、図１５（Ａ）に示すヒストグラムを用いて参照テーブルの変更に必要な代表輝度値を算出する。画素値１６０１は、ヒストグラムを高輝度側から累積加算した値が全画素数に対して所定の割合の画素数となるときの代表画素値である。

次に輝き度合い算出部１３０２は、算出した代表輝度値を用いて参照テーブルの変更を行う。図１５（Ｂ）は、表示輝度と輝き度合いとの関係を表す参照テーブルをグラフ化して示す図であり、横軸は表示輝度を表し、縦軸は輝き度合いを表す。グラフ線１６０２は変更前の参照テーブルを表し、グラフ線１６０３は変更後の参照テーブルを表している。

参照テーブルの変更は下記（式５）および（式６）を用いて行われる。高輝度領域を規定する閾値をth、ヒストグラムを用いて算出した代表画素値をｘ^＊、変更前の参照テーブルに対応する基準の輝度値をｘｂ^＊と表記する。ヒストグラムを用いて参照テーブルを変更する前後での参照テーブルデータの変化率をＲと表記すると、Ｒは下記（式５）で表される。つまり、変化率Ｒは、基準の輝度値ｘｂ^＊と閾値thとの差分と、代表画素値ｘ^＊と閾値thとの差分との比に相当する。変更前の参照テーブルを表す関数をＴＢＬｂと表記すると、変更後の参照テーブルを表す関数ＴＢＬは、変化率Ｒを用いて下記（式６）で表される。

輝き度合い算出部１３０２は変更後の参照テーブルを用いて、（式４）に示したようにＳ１４０２で取得された表示輝度ｈｙに対応する輝き度合いｓｈを算出する。例えば、図１５（Ｂ）のグラフ線１６０３で表される変更後の参照テーブルを用いて算出した輝き度合いに基づいて階調特性の算出が行われる。階調特性の例を図１５（Ｃ）に示す。

図１５（Ｃ）の横軸は入力輝度を表し、縦軸は出力輝度を表す。グラフ線１６０５は変更前の参照テーブルを用いて算出された階調特性を表し、グラフ線１６０６は変更後の参照テーブルを用いて算出された階調特性を表す。表示輝度１６０４を出力輝度とする入力輝度の開始点は、変更前の参照テーブルに対応する基準の輝度値ｘｂ^＊から、ヒストグラムを用いて算出された代表画素値ｘ^＊に変更される。表示輝度１６０４にマッピングされて階調が減少する輝度領域は領域１６０７から領域１６０８に変更される。つまり領域１６０７に比べて領域１６０８の方が大きい。この変更によって、入力画像の輝度分布に最適な輝き感の制御が可能となる。

以上の第１から第３実施例で説明した構成により、ＨＤＲ画像における高輝度領域の輝き感を制御可能な画像処理装置および画像処理方法を提供することできる。なお、本発明の好ましい実施形態について説明したが、本発明は前記実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４ 表示部
１０５ 表示制御部
２０１，９０１，１３０１ 表示輝度入力部
２０２，９０２，１３０３ 輝き度合い入力部
２０３，９０４，１３０４ 階調補正部
９０３ 高輝度領域検出部
１３０２ 輝き度合い算出部

Claims (20)

1. 画像の階調補正を行う画像処理装置であって、
   前記画像の表示輝度の情報を取得する第１の取得手段と、
   前記画像にて閾値以上の輝度値である輝度領域の階調を減少させる度合いを表す輝き度合いの情報を取得する第２の取得手段と、
   取得された前記表示輝度の情報および前記輝き度合いの情報を用いて前記画像の階調補正を行う補正手段と、を備え、
   前記補正手段は前記輝き度合いの情報にしたがって、前記輝度領域の明るさを前記表示輝度に近づける階調補正を行う
   ことを特徴する画像処理装置。
2. 前記画像と、前記表示輝度の情報の取得に用いる第１の入力領域および前記輝き度合いの情報の取得に用いる第２の入力領域を表示する制御を行う制御手段を備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１および第２の入力領域を同一の画面上に表示する表示手段を備える
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、前記表示輝度の情報および前記輝き度合いの情報を用いて階調特性を算出する算出手段を備え、前記階調特性にしたがって前記階調補正を行う
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記算出手段は、前記画像の輝度値に対応する画素数を表すヒストグラムを算出し、前記ヒストグラムに基づく前記階調特性を算出する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記算出手段は、前記ヒストグラムから前記閾値を算出する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記算出手段は、前記画像の有彩色度合いを算出し、前記有彩色度合いに基づく前記階調特性を算出する
   ことを特徴とする請求項４に記載の画像処理装置。
8. 前記補正手段は、知覚均等色空間の明るさ成分に基づく明るさ調整を行う
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記画像にて輝度値が閾値以上である高輝度領域を検出する検出手段をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
10. 操作入力を受け付ける操作入力手段を備え、
    前記検出手段は、前記操作入力手段の受け付けた情報を用いて前記高輝度領域を検出する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記検出手段は前記画像に対する参照画像を取得し、前記画像と前記参照画像とを比較して前記高輝度領域を検出する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記参照画像は、その取得または撮影の時刻が前記画像と異なる画像である
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記検出手段が複数の高輝度領域を検出した場合、前記補正手段は前記複数の高輝度領域に対して取得された前記表示輝度の情報および前記輝き度合いの情報を用いて前記複数の高輝度領域の階調補正を行う
    ことを特徴とする請求項９から１２のいずれか１項に記載の画像処理装置。
14. 前記検出手段が第１および第２の高輝度領域を検出した場合、
    前記補正手段は、
    前記第１の高輝度領域に対して取得された前記表示輝度の情報および前記輝き度合いの情報を用いて前記第１の高輝度領域に対する第１の階調特性に基づく階調補正を行い、
    前記第２の高輝度領域に対して取得された前記表示輝度の情報および前記輝き度合いの情報を用いて前記第２の高輝度領域に対する第２の階調特性に基づく階調補正を行う
    ことを特徴とする請求項９から１２のいずれか１項に記載の画像処理装置。
15. 取得された前記表示輝度の情報から前記輝き度合いの情報を算出する算出手段を備え、
    前記第２の取得手段は、前記算出手段によって算出された前記輝き度合いの情報、または当該情報を補正した情報を取得する
    ことを特徴とする請求項１に記載の画像処理装置。
16. 取得された前記輝き度合いの情報から前記表示輝度の情報を算出する算出手段を備え、
    前記第１の取得手段は、前記算出手段によって算出された前記表示輝度の情報、または当該情報を補正した情報を取得する
    ことを特徴とする請求項１に記載の画像処理装置。
17. 請求項１から１６のいずれか１項に記載の画像処理装置を備える
    ことを特徴とする撮像装置。
18. 前記補正手段によって階調補正された画像、または当該画像および前記表示輝度と前記輝き度合いの制御の特徴を示す情報を表示する表示手段を備える
    ことを特徴とする請求項１７に記載の撮像装置。
19. 画像の階調補正を行う画像処理装置にて実行される画像処理方法であって、
    前記画像の表示輝度の情報と、前記画像にて閾値以上の輝度値である輝度領域の階調を減少させる度合いを表す輝き度合いの情報を取得する取得工程と、
    取得された前記表示輝度の情報および前記輝き度合いの情報を用いて前記画像の階調補正を行う補正工程と、を有し、
    前記補正工程では前記輝き度合いの情報にしたがって、前記輝度領域の明るさを前記表示輝度に近づける階調補正が行われる
    ことを特徴する画像処理方法。
20. 請求項１９に記載の工程を画像処理装置のコンピュータに実行させるプログラム。
    
    

Images