JP2019040381A - 画像処理装置 - Google Patents

Abstract

【課題】広ダイナミックレンジかつ高コントラストで、カメラ処理のパフォーマンス劣化を抑えつつ、露出が適正となる画像を生成することができる。【解決手段】画像処理装置は、入力画像に対して任意の数の画像領域を認識し、特定の画像領域における画質特性を表す評価値を算出し、特定の画像領域における認識信頼度を算出し、評価値をもとに階調特性を決定する。特には、領域毎に第１評価値を算出し、入力画像を認識領域と非認識領域を切り分け、非認識領域にもとづき認識信頼度を算出する。認識信頼度が特定の条件を満たした場合は第１評価値から第１階調特性を決定し、第１階調特性に基づき画像を作成する。認識信頼度が特定の条件を満たしていない場合は、入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき第２評価値を算出し、第１評価値と第２評価値を用いて階調特性決定手段により第２階調特性を決定する。【選択図】図２

Description

本発明は、出力画像の階調補正を行う画像処理技術に関する。

従来から、ハイダイナミックレンジ合成（ＨＤＲ）や覆い焼き等、ダイナミックレンジが拡大された入力信号に対して、階調圧縮を行って出力する処理がある。

特許文献１には、入力画像に対して被写体領域の判定を行い、被写体領域の判定結果を用いて被写体領域毎の代表輝度値とヒストグラムを算出し、代表輝度値から被写体領域毎の階調補正量を算出して、階調特性を決定する技術が提案されている。

特開２０１４−１５３９５９号公報

しかしながら、特許文献１では、被写体領域判定で、人物（顔）領域、空の領域、及び人物（顔）領域と空の領域以外の背景領域よりも多くの領域を判別する場合、領域の判別数が多くなるため、カメラ処理としてのパフォーマンスが劣化するという課題がある。また、被写体領域判定で、人物（顔）領域、空の領域、及び人物（顔）領域と空の領域以外の背景領域を判定する場合でも、背景領域に明部と暗部が混在するシーンでは、背景領域を一つの領域として判別するため、ゲインが背景領域に過度にかかる場合がある。その結果、露出が過度に明るい画像が生成されるという課題がある。

上記の課題を解決するために、本発明に係る画像処理装置は、
画像の階調補正を行う画像処理装置であって、
画像を入力する入力手段と、
入力画像に対して任意の数Ｎ個の種別の画像領域を認識する第１画像認識手段と、
特定の画像領域における画質特性を表す評価値を算出する画質評価値算出手段と、
特定の画像領域における認識信頼度を算出する認識信頼度算出手段と、
前記画質評価値算出手段により算出された評価値をもとに階調特性を決定する階調特性決定手段と、
を有し、
入力画像を前記第１画像認識手段により認識された第１画像認識領域と前記第１画像認識領域以外の第１非画像認識領域を切り分け、
前記第１画像認識領域と前記第１非画像認識領域にもとづき前記画質評価値算出手段により第１評価値を算出し、
前記第１非画像認識領域にもとづき前記認識信頼度算出手段により認識信頼度を算出し、
前記認識信頼度が特定の条件を満たした場合は前記第１評価値から前記階調特性決定手段により第１階調特性を決定し、
前記第１階調特性に基づき画像を作成し、
前記認識信頼度が特定の条件を満たしていない場合は、
前記入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき第２評価値を算出し、
前記第１評価値と前記第２評価値を用いて前記階調特性決定手段により第２階調特性を決定し、
前記第２階調特性に基づき画像を作成することを特徴とする。

本発明に係る画像処理装置によれば、広ダイナミックレンジかつ高コントラストで、カメラ処理のパフォーマンス劣化を抑えつつ、露出が適正となる画像を生成することができる。

本発明に係る実施形態の装置構成を示すブロック図 画像処理部の構成の一部を示すブロック図 露光量算出部の構成を示すブロック図 階調補正量を算出する処理を示すフローチャート ゲイン処理部の構成を示すブロック図 露光量算出処理を示すフローチャート 画像処理部による階調処理を示すフローチャート 階調特性算出部による処理を示すフローチャート 領域間の輝度段差に加え目標露光量と露光量の決定方法を説明する図 領域間の輝度段差の算出方法を説明する図 背景領域における領域認識の信頼度の算出方法を説明する図 各領域で実現したい入出力特性を説明する図 ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法を説明する図 各領域で実現したい入出力特性と、ダイナミックレンジ優先とコントラスト優先の階調特性を説明する図 領域毎の階調補正量を適応する入力信号の範囲を説明する図 領域間の輝度段差を２種類の階調特性の加重加算係数に用いることにより得られる効果を説明する図 階調特性からゲインテーブルへの変換を説明する図 γ特性による階調圧縮処理を説明する図

以下に、本発明を実施するための形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

以下、本発明の画像処理装置を、例えば、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に適用した実施形態について説明する。

図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

本実施形態は、画像領域の情報を用いて最適な階調処理を行う。

なお、本実施形態は、本発明による効果が最も高い逆光時の人物シーンを想定し、人物が最も暗く、空が最も明るいシーンを想定した階調処理について説明する。ただし、本発明の技術思想は上記シーン以外にも適用可能であることは言うまでもない。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッタ装置を備えている。この光学系１０１は、撮像部１０２に結像される被写体像の倍率やピント位置、あるいは、入射光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換するＣＣＤやＣＭＯＳ等の光電変換素子からなるイメージセンサを含む。

Ａ／Ｄ変換部１０３は、撮像部１０２から入力された映像信号をデジタルの画像に変換する。

画像処理部１０４は、通常の信号処理に加えて、後述する階調処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力されたデジタル画像信号だけでなく、記録部１１０から読み出された画像データに対しても同様の画像処理を行うことができる。

露光量算出部１０５は、本実施形態の階調処理を行うために最適な入力画像を得るために、撮影時の露光量を算出する。露光量算出部１０５は、画像処理部１０４による処理結果を入力し、算出した露光量を露光量制御部１０６へ出力する。露光量算出部１０５の詳細については後述する。

露光量制御部１０６は、露光量算出部１０５により算出された露光量に応じて、光学系１０１と撮像部１０２を制御して、絞り、シャッタスピード、撮像部１０２のアナログゲインを制御する。

システム制御部１０７は、本実施形態の装置全体の動作を統括して制御する。画像処理部１０４で処理された画像信号から得られる輝度値や操作部１０８から送信された指示信号に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。

表示部１０９は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成され、撮像部１０２で生成された画像信号や、記録部１１０から読み出した画像データを表示する。記録部１１０は、画像データを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでも良いし、この情報記録媒体を着脱可能にしても良い。

バス１１１は、画像処理部１０４、システム制御部１０７、表示部１０９、および、記録部１１０の間で画像信号や制御信号を伝送するための伝送路である。

次に、図３を参照して、露光量算出部１０５の構成及び機能について説明する。

露光量算出部１０５は、階調処理を行うために最適な露光量で撮影された画像信号を得るために必要な露光量を算出する。本実施形態では、露光量の算出についても画像領域の情報を用いる。

なお、以下では、露光量算出部１０５への入力情報として、図２に示す画像処理部１０４の領域別輝度値算出部２０３の出力結果を用いる。画像処理部１０４の構成及び機能については後述する。

露光量算出部１０５は、領域別輝度値算出部２０３の出力結果を入力して、主被写体出力輝度値算出部３０１と領域間輝度段差算出部３０２で処理を行った後、露光量決定部３０３で露光量を決定し、露光量制御部１０６へ出力する。

図６は、露光量を算出するための画像信号を取得してから、露光量算出部１０５で露光量を算出するまでの処理を示し、Ｓ６０１からＳ６０３までが画像処理部１０４で行う処理、Ｓ６０４からＳ６０６までが露光量算出部１０５で行う処理である。

なお、図６の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、上記各部を制御することにより実現される。

Ｓ６０１では、画像処理部１０４は、露光量を算出するために撮像部１０２により撮像された画像信号を取得する。

Ｓ６０２では、画像処理部１０４は、Ｓ６０１で取得した画像信号から領域の認識を行う。本実施形態では、領域として、人物の顔領域、人物の顔以外の体領域、雲・太陽等を含む空領域、上記以外の領域を背景領域として合計４つの領域を認識する。図９（ａ）は、入力画像に対して領域認識を行った結果を例示している。領域の認識方法については、ニューラルネットワークによる学習データを用いた物体認識等、公知の方法で良い（特開２００６−３９６６６号公報）。また、領域の認識方法については、１画素毎ではなく、一定のサイズで区切られたブロック毎に認識する方法でもよい。

Ｓ６０３では、画像処理部１０４は、Ｓ６０２での領域認識結果を用いて、領域毎の代表輝度値を算出する。代表輝度値は、該当する領域内の輝度信号の平均値、もしくは座標に応じた重み付けによる加重平均値とする。代表輝度値を算出する領域として、人物の顔領域、空領域、人物の顔領域と空領域以外の背景領域の３つの領域を算出する。

以下では、各領域の代表輝度値をそれぞれ、ＨＵＭＡＮ＿Ｙ、ＢＡＣＫ＿Ｙ、ＳＫＹ＿Ｙと呼ぶ。また、本実施形態では、人物の顔領域と空領域の各代表輝度値は、該当する領域内の輝度信号の平均値から算出し、背景領域の代表輝度値は、座標に応じた重み付けによる加重平均値から算出する。

Ｓ６０４では、露光量算出部１０５は、Ｓ６０３で算出した各領域の代表輝度値を用いて領域間の輝度段差を算出する。

ここで、領域間の輝度段差の算出について図９（ｂ）を用いて説明する。

図９（ｂ）は、入力画像の露光量を基準に各領域の目標露光量を例示している。目標露光量とは、算出対象の領域の代表輝度値を目標輝度値にするために、入力画像の露光量から何段オーバー、何段アンダーの露光量に設定すれば良いかを示すものである。露光量オーバーとは入力画像の露光量よりも大きくすること、露光量アンダーとは入力画像の露光量よりも小さくすることを示す。なお、目標輝度値は各領域によって予め決定された値である。各領域の代表輝度値をＨＵＭＡＮ＿Ｙ、ＢＡＣＫ＿Ｙ、ＳＫＹ＿Ｙとし、各領域の目標輝度値をＨＵＭＡＮ＿ｒｅｆ＿Ｙ、ＢＡＣＫ＿ｒｅｆ＿Ｙ、ＳＫＹ＿ｒｅｆ＿Ｙとする。各領域の目標露光量ΔＢＶ＿ＨＵＭＡＮ＿ｒｅｆ、ΔＢＶ＿ＢＡＣＫ＿ｒｅｆ、ΔＢＶ＿ＳＫＹ＿ｒｅｆは、式１によって算出される。

ΔＢＶ＿ＨＵＭＡＮ＿ｒｅｆ＝ＬＯＧ２（ＨＵＭＡＮ＿ｒｅｆ＿Ｙ／ＨＵＭＡＮ＿Ｙ）
ΔＢＶ＿ＢＡＣＫ＿ｒｅｆ＝ＬＯＧ２（ＢＡＣＫ＿ｒｅｆ＿Ｙ／ＢＡＣＫ＿Ｙ）
ΔＢＶ＿ＳＫＹ＿ｒｅｆ＝ＬＯＧ２（ＳＫＹ＿ｒｅｆ＿Ｙ／ＳＫＹ＿Ｙ）
・・・（１）
式１によって算出された各領域の目標露光量から各領域間の輝度段差を算出する。人物の顔領域と背景領域の輝度段差をΔＨＢ、背景領域と空領域の輝度段差をΔＢＳ、人物の顔領域と空領域の輝度段差をΔＨＳはそれぞれ、式２から算出される。

ΔＨＢ＝ＡＢＳ（ΔＢＶ＿ＨＵＭＡＮ＿ｒｅｆ−ΔＢＶ＿ＢＡＣＫ＿ｒｅｆ）
ΔＢＳ＝ＡＢＳ（ΔＢＶ＿ＢＡＣＫ ＿ｒｅｆ−ΔＢＶ＿ＳＫＹ＿ｒｅｆ）
ΔＨＳ＝ＡＢＳ（ΔＢＶ＿ＨＵＭＡＮ＿ｒｅｆ−ΔＢＶ＿ＳＫＹ＿ｒｅｆ）
・・・（２）
式２によって算出された各領域間の輝度段差ΔＨＢ、ΔＢＳ、ΔＨＳは、Ｓ６０６の露光量を決定する処理で用いる。

図６に戻り、Ｓ６０５では、露光量算出部１０５は、入力画像とＳ６０３で算出された各領域の代表輝度値を用いて主被写体の出力輝度値を算出する。主被写体の出力輝度値とは、前述の目標輝度値とは別であり、後の撮影画像で最終的に出力したい主被写体領域の輝度値を示す。本実施形態では、人物が含まれるシーンの場合、人物を主被写体として考えるため、人物の顔領域の出力輝度値を算出する。本実施形態では、出力輝度値の算出方法として、人物の顔領域のみの輝度値と画像全体の輝度値の関係を見て最終的な人物の顔領域の輝度値を決定する公知の方法を用いる（例えば、特許第４７８９７７６号公報）。なお、この方法に限らず、領域間の輝度段差を用いて、中間輝度に位置する被写体を基準にして、人物の顔領域の輝度値を決定する方法を用いても良い。また、人物の顔領域の目標輝度値をそのまま出力輝度値としても良い。

以下では、算出した主被写体である人物の顔領域の出力輝度値をＨＵＭＡＮ＿ＯＵＴ＿Ｙとして説明する。

Ｓ６０６では、露光量算出部１０５は、Ｓ６０４で算出した領域間の輝度段差ΔＨＢ、ΔＢＳ、ΔＨＳと、Ｓ６０５で算出した主被写体の出力輝度値ＨＵＭＡＮ＿ＯＵＴ＿Ｙを入力し、階調処理を行うために最適な画像を撮影するための露光量を決定する。

ここで、図９（ｃ）を用いて露光量の決定方法について説明する。

図９（ｃ）は、入力画像信号の露光量に対する各領域の出力露光量を例示している。出力露光量とは、最終的に出力したい各領域の明るさを実現するために、入力画像の露光量に対し、何段オーバー、何段アンダーの露光量に設定すれば良いかを示したものである。

人物の顔領域、背景領域、空領域の出力露光量をそれぞれ、ΔＢＶ＿ＨＵＭＡＮ、ΔＢＶ＿ＢＡＣＫ、ΔＢＶ＿ＳＫＹとすると、各領域の出力露光量は、式３から算出される。

ΔＢＶ＿ＨＵＭＡＮ＝ＬＯＧ２（ＨＵＭＡＮ＿ＯＵＴ＿Ｙ／ＨＵＭＡＮ＿Ｙ）
ΔＢＶ＿ＢＡＣＫ＝ΔＢＶ＿ＨＵＭＡＮ−ΔＨＢ／２
ΔＢＶ＿ＳＫＹ＝ΔＢＶ＿ＨＵＭＡＮ−ΔＨＳ／２
・・・（３）
式３のように、Ｓ６０５で算出した出力輝度値により決定された主被写体の露光量を基準に、Ｓ６０４で算出した領域間の輝度段差を１／２に縮めた段差を維持するように主被写体以外の領域の露光量を決定する。

各領域の出力露光量のうち、最も露光量の小さい出力露光量を、階調処理を行うために最適な画像を撮影するための露光量として決定する。つまり、各領域のうち、最も露光量の小さい出力露光量である空領域のΔＢＶ＿ＳＫＹを撮影時の露光量として決定する。本実施形態では上述した方法により撮影時の露光量を決定するが、この方法に加え、主被写体の出力露光量に対してある一定の値までしか露光量を小さくできない等、露光量を小さくできる上限を設けて撮影時の露光量を決定しても良い。

以上のように、露光量算出部１０５は、入力画像を取得して最適な露光量を決定する。

＜階調処理＞
次に、図２及び図７を参照して、画像処理部１０４による階調処理について説明する。

画像処理部１０４は、露光量算出部１０５によって決定された露光量で撮影した画像信号を入力して階調処理を行う。

なお、本実施形態の階調処理は、領域間の輝度段差を縮めるような階調特性を画像全体に適用する。また、主被写体領域を最優先とした上で、主被写体以外の領域をシーンに応じてバランス良く階調を割り当てることにより、人間の見た目通りのコントラストと明るさの出力画像を生成する。

図２は、画像処理部１０４の構成の一部、図７は階調処理をそれぞれ示している。

なお、図７の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、上記画像処理部を制御することにより実現される。

Ｓ７０１では、画像処理部１０４は、撮像部１０２により撮影された画像信号を取得する。

Ｓ７０２では、画像処理部１０４は、Ｓ７０１で取得した画像信号に対し、領域の認識を行う。この領域認識処理については、前述したＳ６０２の処理と同様である。

Ｓ７０３では、画像処理部１０４は、Ｓ７０１で取得した画像信号を入力情報として、Ｓ７０２で認識された領域毎に代表輝度値を算出する。各領域の代表輝度値の算出方法については、前述したＳ６０３と同様である。

Ｓ７０４では、画像処理部１０４は、Ｓ７０１で取得した画像信号を入力情報として、Ｓ７０２で認識された領域毎にヒストグラムを算出する。本実施形態では、輝度信号のヒストグラムを算出する。なお、ヒストグラムの算出対象の領域は、代表輝度値の算出と同様に、人物の顔領域、空領域、背景領域である。

Ｓ７０５では、画像処理部１０４は、領域毎に算出した代表輝度値を入力情報として、領域毎の第１の階調補正量を算出する。

図４は第１の階調補正量算出処理を示している。

なお、図４の処理は、システム制御部１０７が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、各部を制御することにより実現される。

Ｓ４０１では、画像処理部１０４は、領域毎に算出した代表輝度値を用いて領域間の輝度段差を算出する。輝度段差の算出方法については、図１０（ａ）のように、Ｓ６０４の処理において露光量をゲイン量と置き換えれば良い。

Ｓ４０２では、画像処理部１０４は、主被写体の出力輝度値を算出する。主被写体の出力輝度値とは、Ｓ６０５と同様に、最終的に出力したい主被写体領域の輝度値である。また、本実施形態では、前述と同様に人物の顔領域を主被写体領域とし、算出方法はＳ６０５の処理と同様である。

Ｓ４０３では、画像処理部１０４は、Ｓ４０１で算出した領域間の輝度段差と、Ｓ４０２で算出した主被写体の出力輝度値を入力情報として、各領域の第１の階調補正量を算出する。なお、第１の階調補正量とは、本実施形態では一律ゲイン量のことを示しており、対象の領域毎にかけたい一律ゲイン量を算出する。

領域毎の第１の階調補正量の算出方法については、図１０（ｂ）に示すように、Ｓ６０６において露光量を第１の階調補正量に置き換えれば良い。

各領域の第１の階調補正量の算出方法は、人物の顔領域のゲイン量、背景領域のゲイン量、空領域のゲイン量をそれぞれ、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹとすると、式４により算出される。なお、ＨＵＭＡＮ＿Ｙは人物の顔領域の代表輝度値、ＨＵＭＡＮ＿ＯＵＴ＿Ｙは主被写体である人物の顔領域の出力輝度値であり、ΔＨＢは人物の顔領域と背景領域間の輝度段差、ΔＨＳは人物の顔領域と空領域間の輝度段差である。

ＧＡＩＮ＿ＨＵＭＡＮ＝ＬＯＧ２（ＨＵＭＡＮ＿ＯＵＴ＿Ｙ／ＨＵＭＡＮ＿Ｙ）
ＧＡＩＮ＿ＢＡＣＫ＝ＧＡＩＮ＿ＨＵＭＡＮ−ΔＨＢ／２
ＧＡＩＮ＿ＳＫＹ＝ＧＡＩＮ＿ＨＵＭＡＮ−ΔＨＳ／２
・・・（４）
本実施形態では、０段未満のゲイン量では行わないため、式７でＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹを算出した後、ＧＡＩＮ＿ＨＵＭＡＮ、ＧＡＩＮ＿ＢＡＣＫ、ＧＡＩＮ＿ＳＫＹに負の値になっているものがあれば、０にクリップする。

領域毎の第１の階調補正量を入出力特性で表すと、図１２のようになる。

入力信号をＸ、出力信号をＹとすると、各領域で実現したい入出力特性は、式５により得られる。

人物の顔領域の入出力特性 ：Ｙ＝２^{（ＧＡＩＮ＿ＨＵＭＡＮ）}×Ｘ
背景領域の入出力特性 ：Ｙ＝２^{（ＧＡＩＮ＿ＢＡＣＫ）}×Ｘ ・・・（５）
空領域の入出力特性 ：Ｙ＝２^{（ＧＡＩＮ＿ＳＫＹ）}×Ｘ
各領域の入出力特性が、それぞれ領域毎に適用する階調特性である。各領域の入出力特性の傾きが、各領域で実現したいコントラストであり、出力信号が各領域で実現したい明るさを示している。

Ｓ７０６では、画像処理部１０４は、領域毎に算出した輝度のヒストグラムを入力情報として、背景領域における領域判別の信頼度Ｒを算出する。

図１１（ａ）に示すようなシーンにおいて、図１１（ｂ）に示すような輝度のヒストグラムとなる例を基に説明する。

まず、背景領域において、ヒストグラムの山を判定する。ヒストグラムの山の判定方法に関しては、公知の方法を適用してよい。図１１（ｂ）に示すように背景領域における入力信号の中心値をＴＨとし、背景領域においてＴＨ以下の範囲にある低輝度部のヒストグラムの山とＴＨ以上の範囲にある高輝度部の山が、ＴＨで２つに分割される場合には信頼度Ｒを低く決定する。具体的には、信頼度Ｒは式６により算出される。

Ｒ＝１−（ＢＡＣＫ＿ＬＯＷ＿Ｆｒｅｑ＋ＢＡＣＫ＿ＨＩＧＨ＿Ｆｒｅｑ）／ＢＡＣＫ＿Ｆｒｅｑ ・・・（６）
なお、ＢＡＣＫ＿ＬＯＷ＿Ｆｒｅｑは背景領域においてＴＨ以下の範囲にある低輝度部のヒストグラムの山の累積頻数、ＢＡＣＫ＿ＨＩＧＨ＿Ｆｒｅｑは背景領域においてＴＨ以上の範囲にある高輝度部のヒストグラムの山の累積頻数である。また、ＢＡＣＫ＿Ｆｒｅｑは背景領域の範囲にあるヒストグラムの山の累積頻数である。

一方、背景領域において、ヒストグラムのＴＨ以下の範囲にある低輝度部の山とＴＨ以上の範囲にある高輝度部の山が分割されず、１つの山として判定される場合には信頼度Ｒを高くして信頼度Ｒ＝１とする。

背景領域における領域判別の信頼度は、露出が適正になるようあらかじめ決定された輝度の入出力特性に基づき算出してもよい。例えば、Ｓ７０５で算出されたＧＡＩＮ＿ＢＡＣＫとあらかじめ決定されたゲイン量を示すＧＡＩＮ＿ＢＡＣＫ＿ｒｅｆとの乖離度に基づいて信頼度Ｒを算出する。乖離度が小さい場合には信頼度Ｒを高くし、乖離度が大きい場合には信頼度Ｒを低くする。

Ｓ７０７では、画像処理部１０４は、Ｓ７０５で算出した領域毎に算出した第１の階調補正量と、Ｓ７０６で算出した背景領域における領域判別の信頼度Ｒを入力して、領域毎の第２の階調補正量を算出する。

領域毎の第２の階調補正量は、Ｓ７０６で算出した背景領域における領域判別の信頼度Ｒに基づき、式７により算出される。なお、人物の顔領域のゲイン量、背景領域のゲイン量、空領域のゲイン量をそれぞれ、ＧＡＩＮ＿ＨＵＭＡＮ＿２、ＧＡＩＮ＿ＢＡＣＫ＿２、ＧＡＩＮ＿ＳＫＹ＿２とする。また、信頼度Ｒの下限閾値をＲ＿ＴＨ＿ＬＯＷ、上限閾値をＲ＿ＴＨ＿ＨＩＧＨとする。

ＧＡＩＮ＿ＨＵＭＡＮ＿２＝ＧＡＩＮ＿ＨＵＭＡＮ
ＧＡＩＮ＿ＢＡＣＫ＿２＝ＧＡＩＮ＿ＢＡＣＫ＿ｒｅｆ （Ｒ＜Ｒ＿ＴＨ＿ＬＯＷ）
ＧＡＩＮ＿ＢＡＣＫ＿２＝ＧＡＩＮ＿ＢＡＣＫ×Ｒ＋ＧＡＩＮ＿ＢＡＣＫ＿ｒｅｆ×（１−Ｒ） （Ｒ＿ＴＨ＿ＬＯＷ≦Ｒ＜Ｒ＿ＴＨ＿ＨＩＧＨ）
ＧＡＩＮ＿ＢＡＣＫ＿２＝ＧＡＩＮ＿ＢＡＣＫ （Ｒ＿ＴＨ＿ＨＩＧＨ≦Ｒ）
ＧＡＩＮ＿ＳＫＹ＿２＝ＧＡＩＮ＿ＳＫＹ ・・・（７）
また、入力信号をＸ、出力信号をＹとすると、各領域で実現したい入出力特性は、式８により得られる。

人物の顔領域の入出力特性 ：Ｙ＝２^{（ＧＡＩＮ＿ＨＵＭＡＮ＿２）}×Ｘ
背景領域の入出力特性 ：Ｙ＝２^{（ＧＡＩＮ＿ＢＡＣＫ＿２）}×Ｘ ・・・（８）
空領域の入出力特性 ：Ｙ＝２^{（ＧＡＩＮ＿ＳＫＹ＿２）}×Ｘ
Ｓ７０８では、画像処理部１０４は、Ｓ７０７で算出した領域毎の第２の階調補正量と、Ｓ７０４で算出した領域毎のヒストグラムを入力して、撮影画像の階調特性を算出する。この階調特性の算出方法については後述する。なお、Ｓ７０８で算出する階調特性とは、図１７（ａ）のように横軸を入力信号、縦軸を出力信号として、入力信号に応じた出力信号を表す入出力特性である。例えば、階調特性を変化させない場合は、点線で示したグラフとなり、入力信号と出力信号の値は等しくなる。なお、本実施形態では、図１７（ａ）の入力信号や出力信号は輝度信号を示す。

Ｓ７０９では、画像処理部１０４は、Ｓ７０８で算出した階調特性を用いて、図１７（ｂ）のように横軸を入力信号、縦軸をゲインとした、入力信号に応じたゲインを示すゲインテーブルに変換する（ゲインテーブル変換処理）。本実施形態では、図１７（ｂ）の入力信号は輝度信号を示す。入力信号をｘ、階調特性により入力信号に応じた出力信号をｙとすると、ゲインＧａｉｎは、式９により算出される。

Ｇａｉｎ＝ｙ／ｘ ・・・（９）
Ｓ７１０では、画像処理部１０４は、Ｓ７０６で得たゲインテーブルを参照して撮影画像にゲインをかける処理を行う。

ここで、図５を用いて、ゲイン処理部２０６によるゲイン処理について説明する。

左上に位置する画素を（０，０）として、入力画像の画素位置を（ｘ，ｙ）で示した場合、入力信号Ｙｉｎ（ｘ，ｙ）から出力されるゲインをＧａｉｎ（ｘ，ｙ）として、Ｓ７０６で得たゲインテーブルをＧａｉｎＴｂｌ関数として表すと、式１０のようになる。

Ｇａｉｎ（ｘ，ｙ）＝ＧａｉｎＴｂｌ（Ｙｉｎ（ｘ，ｙ）） ・・・（１０）
Ｇａｉｎ（ｘ，ｙ）は入力画像の（ｘ，ｙ）に位置する画素に対応するゲインである。

ゲインを算出するための入力信号であるＹｉｎは、撮影された入力画像を用いて、ゲイン算出用画像生成部５０１で生成される。ゲイン算出用画像生成方法としては、コントラストを向上させるため、入力画像を輝度画像データに変換し、平均化処理を行う。輝度画像データを入力としてゲインを算出することにより、よりコントラストを向上させる効果が得られる。

ゲイン変換部５０２は、ゲイン算出用画像生成部５０１で生成されたＹｉｎ信号を用いて、式１０のように、ゲイン信号に変換する処理を行う。

ゲイン乗算部５０３は、ゲイン変換部５０２で算出されたゲインを用いて入力画像信号に対し、ゲインを乗算する処理を行う。本実施形態では、撮影された入力画像から、既にデモザイキング処理を終えたＲ，Ｇ，Ｂ画像信号に対し、ゲインを乗算する処理を行う。ゲイン乗算前の（ｘ，ｙ）に位置する入力画像のＲ，Ｇ，Ｂ信号をそれぞれＲｉｎ（ｘ，ｙ）、Ｇｉｎ（ｘ，ｙ）、Ｂｉｎ（ｘ，ｙ）とする。その場合、ゲイン乗算後のＲ，Ｇ，Ｂ信号Ｒｏｕｔ（ｘ，ｙ）、Ｇｏｕｔ（ｘ，ｙ）、Ｂｏｕｔ（ｘ，ｙ）は、式１０のＧａｉｎＴｂｌ関数を用いて、式１１により算出することができる。

Ｒｏｕｔ（ｘ，ｙ）＝Ｒｉｎ（ｘ，ｙ）×ＧａｉｎＴｂｌ（Ｙｉｎ（ｘ，ｙ））
Ｇｏｕｔ（ｘ，ｙ）＝Ｇｉｎ（ｘ，ｙ）×ＧａｉｎＴｂｌ（Ｙｉｎ（ｘ，ｙ））
Ｂｏｕｔ（ｘ，ｙ）＝Ｒｉｎ（ｘ，ｙ）×ＧａｉｎＴｂｌ（Ｙｉｎ（ｘ，ｙ））
・・・（１１）
式１１のように、画素位置（ｘ，ｙ）であれば、Ｒ，Ｇ，Ｂの信号にかけるゲインは同じである。

なお、本実施形態ではＲＧＢ信号に対してゲイン処理を行ったが、ＹＵＶ信号に対して上述したゲイン処理を行っても良い。

図７に戻り、Ｓ７１１では、画像処理部１０４は、Ｓ７１０でゲイン処理を行ったＲ，Ｇ、Ｂのｍビットの信号を表示部１０９の特性に合わせるため、γ特性で階調圧縮処理を行い、ｎ（ｍ≧ｎ）ビットの信号を出力する。本実施形態では、このγ特性として、図１８に示すように実線と点線で示した２種類の特性を用いる。点線で示したγ特性は、逆光時の人物の顔領域がフレアの影響等により低コントラストになってしまう対策として、低輝度部分のコントラストを向上するような特性になっている。点線で示したγ特性は、逆光時の人物シーンに対して用い、実線で示したγ特性は、逆光時の人物シーン以外で用いる。

図７の階調処理において、図２に示す画像処理部１０４の各部は、領域検出部２０１がＳ７０２、領域別ヒストグラム算出部２０２がＳ７０４、領域別輝度値算出部２０３がＳ７０３の各処理を行う。また、第１の階調補正量算出部２０８がＳ７０５、領域認識信頼度算出部２０９がＳ７０６、第２の領域検出部２１０と第２の階調補正量算出部２１１がＳ７０７の各処理を行う。そして、階調特性算出部２０４がＳ７０８、ゲインテーブル算出部２０５がＳ７０９、ゲイン処理部２０６がＳ７１０、階調圧縮処理部２０７がＳ７１１の各処理を行う。

次に、図８を参照して、階調特性算出部２０４による階調特性算出処理に関し、領域毎の入出力特性を参考にして、画面一様に適用する階調特性を作成する処理について説明する。

Ｓ８０４では、階調特性算出部２０４は、領域毎の輝度のヒストグラムを用いて、Ｓ７０７で算出した領域毎の第２の階調補正量を適用する入力信号の範囲を決定する。

入力信号の範囲について図１５を用いて説明する。

図１５に示した３つの入出力特性は、式８で示した各領域で実現したい入出力特性である。入出力特性の横軸のＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴが各領域の入出力特性を適用する入力信号の範囲を決定する指標となる。０からＨＵＭＡＮ＿ＰＯＩＮＴまでの入力信号の範囲を（１）、０からＢＡＣＫ＿ＰＯＩＮＴまでの入力信号の範囲を（２）、ＳＫＹ＿ＰＯＩＮＴから入力信号で表現できる最大値までの入力信号の範囲を（３）として示している。（１）は人物の顔領域の入出力特性を適用したい入力信号の範囲、（２）は背景領域の入出力特性を適用したい入力信号の範囲、（３）は空領域の入出力特性を適用したい入力信号の範囲をそれぞれ示している。

ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法について、図１３を用いて説明する。

ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出は、図１３（ａ）のように領域毎に算出した輝度のヒストグラムを用いる。ＨＵＭＡＮ＿ＰＯＩＮＴの算出は、人物の顔領域の輝度のヒストグラムを用い、ＢＡＣＫ＿ＰＯＩＮＴの算出は、背景領域の輝度のヒストグラム、ＳＫＹ＿ＰＯＩＮＴ算出は、空領域の輝度ヒストグラムをそれぞれ用いる。

各領域の輝度のヒストグラムを用いた、ＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴの算出方法を例示しているのが図１３（ｂ）である。

まず、ＨＵＭＡＮ＿ＰＯＩＮＴの算出について説明する。本実施形態では、人物の顔領域の輝度のヒストグラムに対し、最小の信号値から徐々に大きい信号値にかけて、頻数を加算していく。そして、加算値が所定の閾値以上になった時点で最後に頻数を加算した入力信号の値をＨＵＭＡＮ＿ＰＯＩＮＴとする。

なお、閾値をＨＵＭＡＮ＿ＴＨとすると、式１１により算出することができる。

ＨＵＭＡＮ＿ＴＨ＝ＨＵＭＡＮ＿ＡＲＥＡＳＵＭ×Ｐ＿ＨＵＭＡＮ ・・・（１１）
（ただし、０．０＜Ｐ＿ＨＵＭＡＮ≦１．０）
ＨＵＭＡＮ＿ＡＲＥＡＳＵＭは人物の顔領域と認識された画素の総数、Ｐ＿ＨＵＭＡＮは調整パラメータである。式１１に示すように、頻数の加算値が、人物の顔領域の画素の総数に対し、所定の閾値（％）に達したかでＨＵＭＡＮ＿ＰＯＩＮＴを決定している。

次に、ＢＡＣＫ＿ＰＯＩＮＴの算出について説明する。

本実施形態では、ＨＵＭＡＮ＿ＰＯＩＮＴと同様に、背景領域の輝度のヒストグラムに対し、最小の信号値から徐々に大きい信号値にかけて、頻数を加算していく。そして、加算値が所定の閾値以上になった時点で最後に頻数を加算した入力信号の値をＢＡＣＫ＿ＰＯＩＮＴとする。閾値はＨＵＭＡＮ＿ＴＨと同様の方法で設定する。

最後に、ＳＫＹ＿ＰＯＩＮＴの算出について説明する。

本実施形態では、ＨＵＭＡＮ＿ＰＯＩＮＴやＢＡＣＫ＿ＰＯＩＮＴとは反対に、空領域の輝度ヒストグラムに対し、空領域と認識された画素の総数から最小の信号値から徐々に大きい信号値にかけて、頻数を減算していく。そして、減算値が所定の閾値以下になった時点で、最後に頻数を減算した入力信号の値をＳＫＹ＿ＰＯＩＮＴとする。閾値はＨＵＭＡＮ＿ＴＨと同様の方法で設定する。

このように、高輝度被写体である空領域、中間輝度被写体及び低輝度被写体である背景領域、人物の顔領域で、それぞれ算出方法が異なる。本実施形態では、空領域が最も明るく、人物の顔領域が最も暗いシーンについて説明したが、背景領域が最も高輝度被写体である場合はＳＫＹ＿ＰＯＩＮＴと同じ算出方法を用い、空領域が中間輝度被写体である場合はＢＡＣＫ＿ＰＯＩＮＴと同じ算出方法を用いる。

以上の処理により、Ｓ７０７で算出した領域毎の第２の階調補正量ＨＵＭＡＮ＿ＧＡＩＮ＿２、ＢＡＣＫ＿ＧＡＩＮ＿２、ＳＫＹ＿ＧＡＩＮ＿２と、Ｓ８０４で算出した領域毎の階調補正量を適用する範囲の指標となるＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴを用いて、階調特性を作成する。

本実施形態では、別々の特徴を持った複数（２種類）の階調特性を作成し、作成した２つの階調特性を加重加算することにより最終的な階調特性を算出している。

図８の説明に戻り、Ｓ８０５とＳ８０６では、階調特性算出部２０４は、それぞれ別々の特徴を持った階調特性を作成する。

Ｓ８０５とＳ８０６で作成する２種類の階調特性について、図１４を用いて詳細に説明する。

図１４（ａ）に示す３つの入出力特性は、式５で示した各領域で実現したい入出力特性である。入出力特性の横軸のＨＵＭＡＮ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＰＯＩＮＴ、ＳＫＹ＿ＰＯＩＮＴが各領域の入出力特性を適用する入力信号の範囲を決定する指標である。

図１４（ａ）に対し、本実施形態では、図１４（ｂ）に示したダイナミックレンジ優先と呼ぶ階調特性と、図１４（ｃ）に示したコントラスト優先と呼ぶ階調特性の２種類を作成する。

まず、図１４（ｂ）に示したダイナミックレンジ優先の階調特性について説明する。

ダイナミックレンジ優先の階調特性の特徴は、図１４（ａ）に示した人物の顔領域の入出力特性と、空領域の入出力特性の２つを取り入れている点である。図１４（ａ）の特性に対し、人物の顔領域と、空領域の明るさとコントラストを実現する点が長所である。

入力信号の０からＨＵＭＡＮ＿ＰＯＩＮＴまでの低輝度側の区間は人物の顔領域の入出力特性になっており、反対に、ＳＫＹ＿ＰＯＩＮＴから入力信号で表現できる最大値までの高輝度側の区間は空領域の入出力特性となっている。ＨＵＭＡＮ＿ＰＯＩＮＴからＳＫＹ＿ＰＯＩＮＴまでの中間輝度に位置する区間は、低輝度側の人物の顔領域の入出力特性と、高輝度側の空領域の入出力特性をつなげる形となっている。入力信号をＸ、出力信号をＹとすると、ダイナミックレンジ優先の階調は、式１２で表される。

Ｙ＝２^{（ＧＡＩＮ＿ＨＵＭＡＮ＿２）}×Ｘ （０≦Ｘ＜ＨＵＭＡＮ＿ＰＯＩＮＴ）
Ｙ＝（２^{（ＧＡＩＮ＿ＳＫＹ＿２）}×ＳＫＹ＿ＰＯＩＮＴ−２^{（ＧＡＩＮ＿ＨＵＭＡＮ＿２）}×ＨＵＭＡＮ＿ＰＯＩＮＴ）×Ｘ／（ＳＫＹ＿ＰＯＩＮＴ−ＨＵＭＡＮ＿ＰＯＩＮＴ）＋２^{（ＧＡＩＮ＿ＨＵＭＡＮ）}×ＨＵＭＡＮ＿ＰＯＩＮＴ （ＨＵＭＡＮ＿ＰＯＩＮＴ≦Ｘ＜ＳＫＹ＿ＰＯＩＮＴ）
Ｙ＝２^{（ＧＡＩＮ＿ＳＫＹ＿２）}×Ｘ （ＳＫＹ＿ＰＯＩＮＴ≦Ｘ）
・・・（１２）
本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図１４（ｂ）の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。

ダイナミックレンジ優先の階調特性はＳ８０５で作成される。

次に、図１４（ｃ）に示したコントラスト優先の階調特性について説明を行う。

コントラスト優先の階調特性の特徴は、図１４（ａ）に記載した人物の顔領域の入出力特性に加え、背景領域及び空領域の入出力特性の傾きのみを取り入れている点である。図１４（ａ）の特性に対し、人物の顔領域は明るさとコントラスト、背景領域及び空領域はコントラストを実現する点が長所である。

入力信号のうち、０からＨＵＭＡＮ＿ＰＯＩＮＴまでの区間は人物の顔領域の入出力特性になっている点では、ダイナミックレンジ優先の階調特性と同等である。ＨＵＭＡＮ＿ＰＯＩＮＴからＢＡＣＫ＿ＰＯＩＮＴの区間では背景領域の入出力特性のうち傾きのみを実現した特性となり、ＢＡＣＫ＿ＰＯＩＮＴから入力信号で表現できる最大値までの区間は、空領域の入出力特性のうち傾きのみ実現した特性となっている。入力信号をＸ、出力信号をＹとすると、コントラスト優先の階調は、式１３で表される。

Ｙ＝２^{（ＧＡＩＮ＿ＨＵＭＡＮ＿２）}×Ｘ （０≦Ｘ＜ＨＵＭＡＮ＿ＰＯＩＮＴ）
Ｙ＝２^{（ＧＡＩＮ＿ＢＡＣＫ＿２）}×Ｘ＋２^{（ＧＡＩＮ＿ＨＵＭＡＮ＿２）}×ＨＵＭＡＮ＿ＰＯＩＮＴ
（ＨＵＭＡＮ＿ＰＯＩＮＴ≦Ｘ＜ＢＡＣＫ＿ＰＯＩＮＴ）
Ｙ＝２^{（ＧＡＩＮ＿ＳＫＹ＿２）}×Ｘ＋２^{（ＧＡＩＮ＿ＢＡＣＫ＿２）}×（ＢＡＣＫ＿ＰＯＩＮＴ−ＨＵＭＡＮ＿ＰＯＩＮＴ）＋２^{（ＧＡＩＮ＿ＨＵＭＡＮ＿２）}×ＨＵＭＡＮ＿ＰＯＩＮＴ
（ＢＡＣＫ＿ＰＯＩＮＴ≦Ｘ）
・・・（１３）
本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図１４（ｃ）の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。

コントラスト優先の階調特性はＳ８０６で作成される。

以上、ダイナミックレンジ優先とコントラスト優先の２種類の階調特性について説明したが、２種類の階調特性の共通点としては、人物の顔領域の入出力特性についてはどちらも実現する点である。この理由としては、本実施形態で人物シーンにおいて人物の顔領域は主被写体領域であるため、階調特性として最優先に決定する必要があるからである。

また、２つの階調特性の作成方法は領域が２つしかない場合にも同様である。例えば、人物と高輝度被写体である空しかいないシーンの場合は、図１４の２つの階調特性に対し、ＢＡＣＫ＿ＰＯＩＮＴ、ＢＡＣＫ＿ＧＡＩＮをそれぞれＳＫＹ＿ＰＯＩＮＴ、ＳＫＹ＿ＧＡＩＮに置き換える。

以上、Ｓ８０５とＳ８０６の処理によって、ダイナミックレンジ優先とコントラスト優先の２種類の優先度に応じた階調特性が作成される。作成された２種類の階調特性をＳ８０７で加重加算することにより撮影された画像の階調特性を決定する。

ここで、図１６を参照してＳ８０７での階調特性の決定処理について詳細に説明する。

ダイナミックレンジ優先とコントラスト優先の２種類の優先度に応じて階調特性を加重加算する方法として、本実施形態ではＳ８０１で算出した領域間の輝度段差を用いる（加重加算係数算出処理）。中間輝度に位置する被写体である背景領域を基準に、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを２種類の階調特性の加重加算係数として用いる。

階調特性の入力信号をＸ、出力信号をＹとしてダイナミックレンジ優先の階調特性とコントラスト優先の階調特性を、式１４のように、それぞれＤｒａｎｇｅ関数、Ｃｏｎｔｒａｓｔ関数で表すとする。

Ｙ＝Ｄｒａｎｇｅ（Ｘ）
Ｙ＝Ｃｏｎｔｒａｓｔ（Ｘ） ・・・（１４）
式１４に対し、加重加算した後の階調特性、つまり撮影された画像の階調特性をＭＩＸ＿ＯＵＴ関数で表すと、式１５のようになる。

Ｙ＝ＭＩＸ＿ＯＵＴ（Ｘ）
＝（ΔＨＢ×Ｄｒａｎｇｅ（Ｘ）＋ΔＢＳ×Ｃｏｎｔｒａｓｔ（Ｘ））／（ΔＨＢ＋ΔＢＳ） ・・・（１５）
式１５のように、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳをそれぞれダイナミックレンジ優先、コントラスト優先の加重加算係数として用いている。

人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを加重加算に用いることにより得られる効果について図１６を用いて詳細に説明する。

図１６（ａ）に示した３つの入出力特性は、式５で示した各領域で実現したい入出力特性である。

図１６（ａ）の３つの入出力特性は、領域間の輝度段差を用いて決定される。撮影したシーンに応じては領域間の輝度段差は変わるため、各領域で実現したい入出力特性もシーンに応じて変わる。

図１６（ｂ）の左側に示したのは、人物の顔領域と背景領域の輝度段差ΔＨＢに対して、背景領域と空領域の輝度段差ΔＢＳが極端に小さいシーンにおいて、各領域で実現したい入出力特性である。式７により各領域で実現したい入出力特性の傾きが決まるため、背景領域の入出力特性は空領域の入出力特性に近づく傾向にある。

上記の場合、図１６（ｂ）の右側に示したダイナミックレンジ優先の階調特性を階調処理に利用した方が背景領域の入出力特性を実現しやすい傾向にある。この理由は、輝度段差ΔＢＳが極端に小さい場合、ＳＫＹ＿ＰＯＩＮＴ周辺やそれ以降に背景領域の入力信号が多く分布する傾向となり、ＳＫＹ＿ＰＯＩＮＴ以降のダイナミックレンジ優先の階調特性に背景領域の多くの入力信号があてはまるためである。

また、図１６（ｂ）とは反対に、図１６（ｃ）の左側に示したのは、人物の顔領域と背景領域の輝度段差ΔＨＢに対し、背景領域と空領域の輝度段差ΔＢＳが極端に大きいシーンにおいて、各領域で実現したい入出力特性である。式５により各領域で実現したい入出力特性の傾きが決まるため、背景領域の入出力特性は人物の顔領域の入出力特性に近づく傾向にある。

上記の場合、図１６（ｃ）の右側に示したコントラスト優先の階調特性を階調処理に利用した方が背景領域の実現したい入出力特性を実現しやすい傾向にある。輝度段差ΔＨＢに対し、輝度段差ΔＢＳが極端に大きい場合には、ＨＵＭＡＮ＿ＰＯＩＮＴ周辺からＢＡＣＫ＿ＰＯＩＮＴにかけて背景領域の入力信号が多く分布する傾向にあり、かつ人物の顔領域と背景領域の入出力特性は近い傾きとなる。これにより、ＢＡＣＫ＿ＰＯＩＮＴ以下のコントラスト優先の階調特性に対し、背景領域で実現したい入出力特性が近づく傾向になる。

式１５のように、人物の顔領域と背景領域の輝度段差ΔＨＢ、背景領域と空領域の輝度段差ΔＢＳを加重加算に用いることにより３つの領域の実現したい入出力特性を用いて、撮影された画像に最適な階調特性を効率的に作成することができる。

本実施形態では、式１５から領域間の輝度段差を用いて、撮影された画像の階調特性を作成したが、式１６のように、加重加算係数をα、βとして、別の情報を用いて実現しても良い。領域間の面積の比率や、領域間の輝度段差に応じた値、また、シーンによらない固定値を与えても良い。

Ｙ＝ＭＩＸ＿ＯＵＴ（Ｘ）
＝（α×Ｄｒａｎｇｅ（Ｘ）＋β×Ｃｏｎｔｒａｓｔ（Ｘ））／（α＋β） ・・・（１６）
例えば、背景領域の存在する面積が、空領域に比べて少ないシーンにおいては、空領域をより実現したい明るさ、コントラストに近づけた方が画像の見栄えが良い場合がある。反対に、空領域の存在する面積が、背景領域に比べ少ないシーンにおいて、背景領域を実現したいコントラストに近づけた方が画像の見栄えが良い場合がある。このような理由から、αを空領域の占める総画素数、βを背景領域の占める総画素数として、式１６を適用して階調特性を作成しても良い。

また、被写体が２つしか存在しないシーンの場合には、領域間の輝度段差の値に応じて加重加算係数を算出し、２つの階調特性を加重加算した方が良い。この理由として、例えば人物と空のみのシーンであった場合、領域間の輝度段差が元々小さいシーンでは、広ダイナミックレンジよりも高コントラストを優先した方が画像の見栄えが良いからである。また、領域間の輝度段差が元々大きいシーンでは、コントラストよりもダイナミックレンジを優先した方が、画像の見栄えが良いからである。よって、式１６の加重加算係数α、βを、式１７によって算出する。Δは２つの領域間の輝度段差である。例えば、人物と空のみのシーンである場合は、人物の顔領域と空領域の輝度段差ΔＨＳの値が、Δの値となる。閾値ＴＨ１、ＴＨ２は、調整パラメータである。

α＝０．０、β＝１．０ （ＴＨ１≧Δ）
α＝１．０／（ＴＨ２−ＴＨ１）×（Δ−ＴＨ１）、β＝１．０−α
（ＴＨ１≦Δ＜ＴＨ２）
α＝１．０、β＝０．０ （Δ≦ＴＨ２） ・・・（１７）
以上のように、式１７の加重加算係数α、βは、本実施形態のやり方にとどまらず、様々な情報を用いて算出して良い。

上述した実施形態においては、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明したが、これに限られず、領域の情報を用いて階調処理を行う装置であれば、他の装置にも適用可能である。

なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

続いて第２の実施例について説明する。

第２の実施例では、Ｓ７０７における第２の階調補正量を算出する処理が実施例１と異なる。Ｓ７０６で算出された信頼度Ｒが閾値Ｒ＿ＴＨよりも小さい場合には、背景領域に対して第２の領域認識処理を行う。

例えば、図１１（ａ）に示すようなシーンで、背景領域に対して、地面領域、地面領域以外の第２の背景領域を画像認識領域として認識する。領域の認識方法については、ニューラルネットワークによる学習データを用いた物体認識等、公知の方法で良い（特開２００６−３９６６６号公報）。また、被写体領域の認識方法については、１画素毎ではなく、一定のサイズで区切られたブロック毎に認識する方法でもよい。

次に、Ｓ７０２での領域認識結果と第２の領域認識結果を用いて、領域毎の代表輝度値を算出する。代表輝度値を算出する領域として、人物の顔領域、空領域、地面領域、地面領域以外の第２の背景領域の４つの領域を算出する。算出方法については、前述したＳ７０３と同様である。

次に、領域毎に算出した代表輝度値を用いて、領域毎の第２の階調補正量を算出する。領域毎における第２の階調補正量の算出方法は、前述したＳ７０５と同様の方法を用い、地面領域のゲイン量、地面領域以外のゲイン量を、ＧＡＩＮ＿ＴＲＥＥ、ＧＡＩＮ＿ＢＡＣＫ２とすると、式１８により算出される。なお、ΔＨＴは人物の顔領域と地面領域間の輝度段差、ΔＨＬは人物の顔領域と地面領域間の輝度段差、ΔＨＢ２は人物の顔領域と第２の背景領域間の輝度段差である。

ＧＡＩＮ＿ＬＡＮＤ＝ＧＡＩＮ＿ＨＵＭＡＮ−ΔＨＬ／２
ＧＡＩＮ＿ＢＡＣＫ２＝ＧＡＩＮ＿ＨＵＭＡＮ−ΔＨＢ２／２
・・・（１８）
ここで、第２の背景領域をさらに領域認識し、第２の背景領域に対する領域認識の信頼度を算出して、領域毎の第３の階調補正量を算出してもよい。第２の背景領域に対する領域認識の信頼度を算出する方法は、実施例１の背景領域に対する領域認識の信頼度を算出する方法と同様である。また、領域毎の第３の階調補正量を算出する方法は、上記の第２の階調補正量を算出する方法と同様であり、背景領域に対する領域認識の信頼度を第２の背景領域に対する領域認識の信頼度に置き換えることで実施する。

また、第２の背景領域をさらに領域認識するかどうかの判定を行い、領域毎の第３の階調補正量を算出するかを決定してもよい。第２の背景領域をさらに領域認識するかどうかの判定は、第２の領域認識結果から得られる第２の背景領域の面積Ｓに基づき決定する。第２の背景領域の面積Ｓが閾値Ｓ＿ＴＨ以上の場合にはさらに領域認識を行い、第２の背景領域の面積Ｓが閾値Ｓ＿ＴＨよりも小さい場合には領域認識することを止め、領域毎の第２の階調補正量を適用する。

第２の階調補正量を用いて階調特性を決定する処理に関しては、実施例１と同様であり、例えば地面領域を背景領域に置き換えることで実施する。その他に関しては、実施例１と同様であるため詳細な説明は省略する。

１０１ 光学系、１０２ 撮像部、１０３ Ａ／Ｄ変換部、１０４ 画像処理部

Claims (24)

1. 画像の階調補正を行う画像処理装置であって、
   画像を入力する入力手段と、
   入力画像に対して任意の数Ｎ個の種別の画像領域を認識する第１画像認識手段と、
   特定の画像領域における画質特性を表す評価値を算出する画質評価値算出手段と、
   特定の画像領域における認識信頼度を算出する認識信頼度算出手段と、
   前記画質評価値算出手段により算出された評価値をもとに階調特性を決定する階調特性決定手段と、
   を有し、
   入力画像を前記第１画像認識手段により認識された第１画像認識領域と前記第１画像認識領域以外の第１非画像認識領域を切り分け、
   前記第１画像認識領域と前記第１非画像認識領域にもとづき前記画質評価値算出手段により第１評価値を算出し、
   前記第１非画像認識領域にもとづき前記認識信頼度算出手段により認識信頼度を算出し、
   前記認識信頼度が特定の条件を満たした場合は前記第１評価値から前記階調特性決定手段により第１階調特性を決定し、
   前記第１階調特性に基づき画像を作成し、
   前記認識信頼度が特定の条件を満たしていない場合は、
   前記入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき第２評価値を算出し、
   前記第１評価値と前記第２評価値を用いて前記階調特性決定手段により第２階調特性を決定し、
   前記第２階調特性に基づき画像を作成することを特徴とする画像処理装置。
2. 画像の階調補正を行う画像処理装置であって、
   画像を入力する入力手段と、
   入力画像に対して任意の数Ｎ個の種別の画像領域を認識する第１画像認識手段と、
   入力画像に対して任意の数Ｍ個の前記第１画像認識手段とは異なる種別の画像領域を認識する第２画像認識手段と、
   特定の画像領域における画質特性を表す評価値を算出する画質評価値算出手段と、
   特定の画像領域における認識信頼度を算出する認識信頼度算出手段と、
   前記画質評価値算出手段により算出された評価値をもとに階調特性を決定する階調特性決定手段と、
   を有し、
   入力画像を前記第１画像認識手段により認識された第１画像認識領域と前記第１画像認識領域以外の第１非画像認識領域を切り分け、
   前記第１画像認識領域と前記第１非画像認識領域にもとづき前記画質評価値算出手段により第１評価値を算出し、
   前記第１非画像認識領域にもとづき前記認識信頼度算出手段により認識信頼度を算出し、
   前記認識信頼度が特定の条件を満たした場合は前記第１評価値から前記階調特性決定手段により第１階調特性を決定し、
   前記第１階調特性に基づき画像を作成し、
   前記認識信頼度が特定の条件を満たしていない場合は、
   前記第１非画像認識領域を対象として第２画像認識手段で第２画像認識領域と前記第２画像認識領域以外の第２非画像認識領域に切り分け、
   第２画像認識領域にもとづき前記画質評価値算出手段により第２評価値を算出し、
   前記第１評価値と前記第２評価値を用いて前記階調特性決定手段により第２階調特性を決定し、
   前記第２階調特性に基づき画像を作成することを特徴とする画像処理装置。
3. 前記第２非画像認識領域に対する領域認識の認識信頼度を算出する第２認識信頼度算出手段と、をさらに備え、
   前記階調特性決定手段は、第２認識信頼度算出手段から算出される信頼度に基づき第３評価値を算出し、前記第１評価値と前記第２評価値と前記第３評価値を用いて第３階調特性を特徴とする請求項２に記載の画像処理装置。
4. 前記階調特性決定手段は、前記第２認識信頼度算出手段から得られる前記第２非画像認識領域の大きさに基づき、前記第３評価値の算出を実施するか決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記画質評価値算出手段は、前記第１画像認識手段の識別結果を用いて、領域毎の代表輝度値を算出する領域別輝度値算出手段を持つことを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
6. 前記画質評価値算出手段は、前記第１画像認識手段の識別結果を用いて、領域毎の入力信号のヒストグラムを算出する領域別ヒストグラム算出手段を持つことを特徴とする請求項１乃至請求項５の何れか一項に記載の画像処理装置。
7. 前記信頼度算出手段は、前記第１非画像認識領域に対する領域認識の信頼度を、前記領域別ヒストグラム算出手段により算出された前記第１非画像認識領域のヒストグラムの分散、統計量に基づき算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記信頼度算出手段は、前記第１非画像認識領域に対する領域認識の信頼度を、前記入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき算出することを特徴とする請求項１乃至請求項７の何れか一項に記載の画像処理装置。
9. 前記画質評価値算出手段により算出された第１評価値から階調補正量を算出する階調補正量算出手段と、前記領域別ヒストグラム算出手段により算出された領域毎のヒストグラムから、前記階調補正量算出手段により算出された前記階調補正量を適用する入力信号の範囲を決定する階調補正量適用範囲算出手段をさらに備え、
   前記階調特性決定手段は、前記認識信頼度算出手段により算出された前記認識信頼度が特定の条件を満たした場合は、前記階調補正量と前記前記階調補正量を適用する入力信号の範囲に基づき前記第１階調特性を決定することを特徴とする請求項６乃至請求項８の何れか一項に記載の画像処理装置。
10. 前記階調特性決定手段は、前記認識信頼度算出手段により算出された認識信頼度が所定値よりも大きい場合には、前記第１評価値から前記階調特性決定手段により第１階調特性を決定することを特徴とする請求項１乃至請求項９の何れか一項に記載の画像処理装置。
11. 前記階調特性決定手段は、前記領域別輝度値算出手段により算出された代表輝度値を用いて領域間の輝度段差を算出し、前記算出した輝度段差と、領域毎の輝度値とを用いて領域毎のゲイン量を算出することを特徴とする請求項５乃至請求項１０の何れか一項に記載の画像処理装置。
12. 前記領域別ヒストグラム算出手段は、前記第１の画像認識手段により認識された領域毎に輝度信号のヒストグラムを算出することを特徴とする請求項６乃至請求項１１の何れか一項に記載の画像処理装置。
13. 前記階調特性決定手段により決定された階調特性を、入力信号に応じたゲインのテーブルに変換するゲインテーブル変換処理手段と、前記ゲインテーブル変換処理手段により変換されたゲインテーブルを用いて、ゲイン処理を行うゲイン処理手段と、をさらに備えることを特徴とする請求項１乃至請求項１２の何れか一項に記載の画像処理装置。
14. 複数の階調特性を作成する階調特性作成手段と、
    前記複数の階調特性を加重加算するための加重加算係数を算出する加重加算係数算出手段と、をさらに備え、前記階調特性決定手段は、前記加重加算係数算出手段により算出された加重加算係数を用いて、前記複数の階調特性を加重加算することにより、最終的な階調特性を決定することを特徴とする請求項１乃至請求項１３の何れか一項に記載の画像処理装置。
15. 前記係数算出手段は、前記領域別輝度値算出手段により算出された代表輝度値を用いて加重加算係数を算出することを特徴とする請求項１４に記載の画像処理装置。
16. 前記係数算出手段は、領域が存在する面積の比率により加重加算係数を算出することを特徴とする請求項１５に記載の画像処理装置。
17. 入力画像から撮影する露光量を算出する露光量算出手段をさらに備えることを特徴とする請求項１乃至請求項１６の何れか一項に記載の画像処理装置。
18. 前記露光量算出手段は、前記領域別輝度値算出手段により算出された領域毎の代表輝度値を用いて露光量を算出することを特徴とする請求項１７に記載の画像処理装置。
19. 前記第１画像認識手段は、前記第１画像認識領域として人物の顔領域、空の領域を認識し、前記第１非画像認識領域として人物と空以外の背景領域を認識することを特徴とする請求項１乃至請求項１８の何れか一項に記載の画像処理装置。
20. 前記階調特性決定手段は、主被写体領域を最優先とした階調特性を基準とし、前記階調特性に主被写体以外の領域の優先度に応じた階調特性を加えることを特徴とする請求項１９に記載の画像処理装置。
21. 前記階調特性決定手段は、前記主被写体領域として人物の顔領域を最優先とした階調特性を基準とすることを特徴とする請求項２０に記載の画像処理装置。
22. 前記階調特性決定手段は、前記主被写体以外の領域の優先度を、前記領域別輝度値算出手段により算出された領域毎の代表輝度値により決定することを特徴とする請求項２０に記載の画像処理装置。
23. 前記階調特性決定手段は、前記主被写体以外の領域の優先度を、領域が存在する面積の比率により決定することを特徴とする請求項２０に記載の画像処理装置。
24. 画像を撮像する撮像手段をさらに有し、前記入力画像は、前記撮像手段により撮像された画像であることを特徴とする請求項１乃至請求項２３の何れか一項に記載の画像処理装置。