JP2016127388A - 画像処理装置およびその制御方法、プログラムならびに記憶媒体 - Google Patents

Abstract

【課題】階調補正量および被写体領域を考慮してノイズ除去の強度を制御することが可能な画像処理装置を提供する。
【解決手段】本発明に係る画像処理装置は、画像から複数の被写体領域を判別する判別手段と、画像の所定の領域ごとに階調補正するための階調補正量を決定する決定手段と、階調補正量によって階調補正された画像に適用するノイズ除去の強度を、階調補正量と判別された被写体領域とに応じて変更するノイズ除去手段と、を有する。
【選択図】図３

Description

本発明は、画像処理装置およびその制御方法、プログラムならびに記憶媒体に関する。

Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ（ＨＤＲ）撮影や画像を部分的に明るくする覆い焼き等、入力のダイナミックレンジ（Ｄレンジ）を拡大した信号を出力する段階で階調補正や階調圧縮を行う処理が知られている。

階調補正や階調圧縮技術では、高コントラスト・広ダイナミックレンジの特性を有する画像を生成することに加えて、階調補正量に応じたノイズリダクション処理（ＮＲ処理あるいはノイズ除去処理ともいう）やエッジ強調処理を行って、ＳＮ比の良い画像を生成する技術が望まれている。さらに、複数の被写体を撮影する場合に、被写体領域ごとにノイズ除去やエッジ強調処理を行って印象の良い画像を生成する技術も望まれている。

例えば、大きな階調補正量を用いて階調補正された領域Ａと、殆ど何もしないに等しい程度の小さな階調補正量を用いて階調補正された領域Ｂとにおいて、階調補正後の信号値が等しいとする。領域Ａは大きく階調補正されている分ノイズが増幅されるため、領域Ｂと比較してノイズ量が多くなる。一方、領域Ａに合わせてノイズ除去の効果が強くなるように処理（即ち、エッジ強調処理の効果が弱くなる）すると、殆ど階調補正されていない領域Ｂは必要以上に解像感が失われてしまう。

このような問題に対して、特許文献１は、階調補正量に基づいて算出した合成比率を用いて、ノイズ除去処理を行った画像とノイズ除去を行う前の画像とを合成した画像を出力する技術を提案している。また、特許文献２には、階調補正量に応じてノイズ除去の強度を変更する技術が提案されている。

特開２０１１−１５２７７号公報 特許０４０６９９４３号公報

しかしながら、特許文献１で提案された技術は、画像の合成比率を階調補正量に応じて算出する一方、ノイズ除去の強度については階調補正量に応じて変更することを考慮していない。即ち、ノイズ除去前の画像とノイズ除去後の画像の合成比率を階調補正量に応じて調整するのみであるため、階調補正量が領域ごとに極端に変化する画像に対しては、最適なノイズ除去処理の結果を得られない場合がある。

また、特許文献２で提案された技術は、画像内の局所的な明暗差に応じた階調補正量に応じてノイズ除去の強度を変更する技術であるため、被写体領域に応じてノイズ除去の強度を適切に変更したノイズ除去処理については考慮されていない。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、階調補正量および被写体領域を考慮してノイズ除去の強度を制御可能な画像処理装置およびその制御方法、プログラムならびに記憶媒体を提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像から複数の被写体領域を判別する判別手段と、画像の所定の領域ごとに階調補正するための階調補正量を決定する決定手段と、階調補正量によって階調補正された画像に適用するノイズ除去の強度を、階調補正量と判別された被写体領域とに応じて変更するノイズ除去手段と、を有することを特徴とする。

本発明によれば、階調補正量および被写体領域を考慮してノイズ除去の強度を制御することができる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１に係る画像処理部１０４の機能構成例を示すブロック図 実施形態１に係る（ａ）ＮＲ処理部２０５の機能構成例を示すブロック図、（ｂ）閾値調整部３０２の機能構成例を示すブロック図 実施形態１に係る（ａ）エッジ強調処理部２０６の機能構成例を示すブロック図、（ｂ）エッジ補正部４０３の機能構成例を示すブロック図 実施形態１に係る階調補正処理の一連の動作を示すフローチャート 実施形態１に係るＮＲ処理の一連の動作を示すフローチャート 実施形態１に係る（ａ）閾値算出処理の一連の動作を示すフローチャート、（ｂ）閾値調整処理の一連の動作を示すフローチャート 実施形態１に係るエッジ強調処理の一連の動作を示すフローチャート 実施形態１に係るエッジ補正処理の一連の動作を示すフローチャート （ａ）ＮＲ処理で用いる閾値と輝度信号との対応関係を示す図、（ｂ）ＮＲ処理に用いる加重加算係数と輝度信号との対応関係を示す図 被写体判別処理において判別される領域の一例を示す図 被写体領域に応じた階調特性について説明する図 階調補正処理で用いる（ａ）ゲインテーブル、（ｂ）ゲインＭＡＰについて説明する図 （ａ）エッジ強調処理で用いるコアリング量と輝度信号との対応関係を示す図、（ｂ）エッジ強調処理で用いるエッジゲインと輝度信号との対応関係を示す図 実施形態２に係る（ａ）画像処理部１０４の機能構成例を示すブロック図、（ｂ）ＮＲ処理部１５０１の機能構成例を示すブロック図 実施形態２に係る（ａ）エッジ強調処理部１５０２の機能構成例を示すブロック図、（ｂ）エッジ補正部１６０１の機能構成例を示すブロック図 実施形態２に係る階調補正量の算出方法を説明する図 実施形態３に係る（ａ）適用される入出力特性を説明する図、（ｂ）被写体領域と適用される入出力特性の関係を説明する図 実施形態３に係る画像処理部１０４の機能構成例を示すブロック図 実施形態３に係る（ａ）ＮＲ処理部２１０１の機能構成例を示すブロック図、（ｂ）閾値調整部２２０３の機能構成例を示すブロック図 実施形態３に係る（ａ）エッジ強調処理部２１０２の機能構成例を示すブロック図、（ｂ）エッジ補正部２３０１の機能構成例を示すブロック図 実施形態３に係る、被写体領域ごとの階調補正量の算出方法を説明する図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、撮影した画像にノイズ除去処理を施すことが可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、撮影機能を有するデジタルカメラに限らず、別途撮影された画像を取得してノイズ除去処理を適用可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末などが含まれてよい。

なお、後に詳述する本発明に係る階調補正処理は、それぞれ後述する階調特性決定処理、ゲイン処理、ＮＲ処理およびエッジ強調処理を含む処理全体を指し、階調処理は、このうちＮＲ処理およびエッジ強調処理を除いた処理を指すものとして説明する。また、本実施形態では、階調補正が最も要求される逆光時の人物シーンを想定し、人物が最も暗く、空が最も明るいシーンを想定した階調補正処理を例に説明する。但し、本発明の適用可能なシーンはこれに限定されない。

（デジタルカメラ１００の構成）
図１は、本実施形態の画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群であり、絞り調整装置およびシャッター装置を含む。光学系１０１は、撮像部１０２に含まれる撮像素子に結像する被写体像の倍率、合焦位置あるいは光量を調整する。撮像部１０２は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を含み、光学系１０１を通過した被写体の光束を光電変換し、得られた電気信号を出力する。Ａ／Ｄ変換部１０３は、入力されたアナログ信号をデジタル信号に変換して、デジタル信号の画像を出力する。

画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像または記録部１１０から読み出された画像に対して、ホワイトバランス調整、γ補正などの各種画像処理を行う。また、画像処理部１０４は、画像に対する例えば顔検出、奥行検出、被写体像のずれ量算出等の処理を行って所定の演算値を算出し、例えばシステム制御部１０７に出力する。システム制御部１０７は画像処理部１０４から得られた演算値に基づいて、例えばＡＦ（オートフォーカス）処理などを行う。さらに、画像処理部１０４は、後述する本発明に係る階調補正処理を行う。

露光量算出部１０５は、本発明に係る階調補正処理を行うために最適な入力画像を得るために、撮影時の露光量を算出する部分である。画像処理部１０４の処理結果を入力して、算出した露光量を露光量制御部１０６に出力する。

露光量制御部１０６は、露光量算出部１０５によって算出された露光量を実現するために、光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサのアナログゲインを制御する。

システム制御部１０７は、例えばＣＰＵあるいはＭＰＵを含み、不図示のＲＯＭに格納されたプログラムを不図示のＲＡＭの作業エリアに展開して実行することにより、デジタルカメラ１００全体を制御する。また、システム制御部１０７は、画像処理部１０４から入力する演算値のほか、操作部１０８から送信されるユーザ指示に基づいて、光学系１０１や撮像部１０２の駆動制御を行う。

表示部１０９は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイを含み、撮像部１０２で撮影された画像や記録部１１０から読み出した画像を表示する。記録部１１０は、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含む記録媒体を含み、画像の書き込みおよび読み出しを行って画像処理部１０４や表示部１０９に出力する。記録部１１０は着脱可能に構成されてもよい。

バス１１１は、デジタル信号の伝送路であり、画像処理部１０４、システム制御部１０７、表示部１０９および記録部１１０の間で例えば時分割によるデータの送受信を行う。

（画像処理部１０４の構成）
次に、画像処理部１０４の機能構成例について図２を参照して説明する。なお、図２において実線で示した処理の流れは、入力した画像に対して画素値の変更等の直接的な処理を行う流れ（本線系の処理ともいう）を表している。一方、点線で示した矢印は、入力画像に基づいて評価値を算出するための処理の流れ（評価値系の処理ともいう）を表している。当該表記は他のブロック図についても同様とする。

撮像部１０２から出力された画像は、Ａ／Ｄ変換部１０３を介して画像処理部１０４に入力される。入力された画像は、画像処理部１０４の内部の被写体判別部２０１に入力され、被写体判別部２０１は画像から被写体領域を判別する。

階調特性決定部２０２は、被写体判別部２０１が判別した被写体領域に基づいて、階調特性を決定する。決定される階調特性は、例えば図１３（ａ）に示すような入力信号の値に対するゲイン値の特性（ゲインテーブルともいう）である。

ゲインＭＡＰ生成部２０３は、階調特性決定部２０２が決定した階調特性を用いてゲインＭＡＰを生成する。ゲインＭＡＰは、例えば図１３（ｂ）に示すように、左上の座標を（０，０）として各座標位置における画素値がゲインを示すような画像情報である。

ゲイン処理部２０４は、ゲインＭＡＰ生成部２０３により生成されたゲインＭＡＰを用いて、ゲインＭＡＰから得られるゲイン値に応じたゲイン処理を行う。

ＮＲ処理部２０５は、ゲイン処理部２０４によりゲイン処理された画像に対してノイズ除去処理（ＮＲ処理ともいう）を行う。ＮＲ処理部２０５は、ＮＲ処理の実行においてゲインＭＡＰを参照することで、画素（領域）ごとの階調補正量に応じたＮＲ処理を実現する。また、エッジ強調処理部２０６は、ＮＲ処理が行われた画像に対してエッジ強調処理を行う。エッジ強調処理部２０６は、ＮＲ処理部２０５による処理と同様に、エッジ強調処理においてゲインＭＡＰを参照することで、画素（領域）ごとの階調補正量に応じたエッジ強調処理を実現する。

（画像処理部１０４による階調補正処理に係る一連の動作）
次に、図５を参照して、画像処理部１０４による階調補正処理に係る一連の動作について説明する。なお、本階調補正処理に係る一連の処理は、図２に示す各機能ブロックが対応する処理を実行する。また、図５に示す一連の動作は、例えば操作部１０８に対するユーザからの撮影指示により撮像素子が露光され、Ａ／Ｄ変換部１０３を介して撮像部１０２から読み出された画像が画像処理部１０４に入力した時点から開始される。

Ｓ５０１において、被写体判別部２０１は、入力された画像内の被写体領域の判別を行う。例えば図１１（ａ）に示すような被写体の構成で撮影された画像に対して、被写体判別部は、図１１（ｂ）に示すように人物の顔領域１１０１、人物の体領域１１０２、雲や太陽を含めた空領域１１０３およびそれ以外の背景領域１１０４をそれぞれ判別する。被写体領域の判別処理には、例えば特開２００６−０３９６６６号公報に開示されているエッジや色情報の特徴量、ニューラルネットワークによる学習データを用いた公知の手法を用いることができる。被写体判別部２０１は、判別処理を完了すると被写体判別結果を階調特性決定部２０２に出力する。なお、被写体判別結果は、後述するように、画素位置(x,y)ごとに人物領域、空領域、背景領域である度合いを表す数値を含んでいる。これらの度合いは、例えば特徴量や学習データを用いた際の評価値に応じて設定されてもよい。

Ｓ５０２において、階調特性決定部２０２は、入力画像とＳ５０１において判別した被写体領域とを入力して、階調特性を決定する。なお、階調特性については、別途図１２を参照して詳細に説明するが、横軸が入力信号の値、縦軸がゲイン値を表すゲインテーブルを指す。

なお、本撮影前の露光制御時には、算出した階調特性で階調補正処理を行うための最適な露光量を得るため、当該露光量を算出する際に算出した階調特性が必要となる。このため、階調特性決定部２０２は、露光制御を行っている最中には、算出した階調特性を露光量算出部１０５に対して出力する。また、階調特性決定部２０２は、本撮影時には、決定した階調特性をゲインＭＡＰ生成部２０３に出力して、Ｓ５０３に処理を進める。

Ｓ５０３において、ゲインＭＡＰ生成部２０３は、画像処理部１０４に入力された画像と、Ｓ５０２において決定された階調特性に基づいてゲインＭＡＰを生成する。ゲインＭＡＰの生成方法は、本実施形態では、例えば特開２０１４−１５４１０８号公報に開示されているような、入力した画像をもとに生成した縮小サイズの異なる階層画像を用いる公知の方法によりゲインＭＡＰを生成することができる。

Ｓ５０４において、ゲイン処理部２０４は、画像処理部１０４に入力された入力画像に対してゲイン処理を行う。ゲイン処理部２０４は、Ｓ５０３において生成されたゲインＭＡＰを入力し、入力画像の各座標の画素値に対して、ゲインＭＡＰの対応する座標のゲイン値を適用する。ゲイン処理部２０４は、ゲイン処理を完了するとゲイン処理を行った入力画像をＮＲ処理部２０５に出力する。

Ｓ５０５において、ＮＲ処理部２０５は、Ｓ５０４においてゲイン処理された画像に対してＮＲ処理を行う。ＮＲ処理部２０５もＳ５０３で生成されたゲインＭＡＰを参照してＮＲ処理を行う。ＮＲ処理の詳細については後述する。

Ｓ５０６において、エッジ強調処理部２０６は、Ｓ５０５においてＮＲ処理を行った画像に対してエッジ強調処理を行う。エッジ強調処理部２０６もＳ５０３で生成されたゲインＭＡＰを参照してエッジ強調処理を行う。エッジ強調処理の詳細については後述する。エッジ強調処理部２０６はエッジ強調処理を完了するとエッジ強調処理を行った入力画像を出力し、画像処理部１０４は本処理の一連の動作を終了する。

（階調特性決定処理）
以下、Ｓ５０２における階調特性決定処理について、図１２を参照して説明する。

本実施形態では、被写体領域別に階調特性を持たず、画像全体に共通する１つの階調特性（ゲインテーブル）を決定してゲイン処理を行う。当該１つの階調特性は、まず被写体領域別に階調特性を求めたうえで、これらの階調特性に基づいて決定される。このような１つの階調特性を用いることにより、被写体領域間の明るさのバランスを考慮した階調特性を決定することができる。

図１２（ａ）は、被写体領域別の階調特性を、横軸が入力信号の値、縦軸が出力信号の値をそれぞれ示す入出力特性で表したものである。点線で示す特性は、入力信号を変更しない（即ち階調補正を行わない）場合の入出力特性を示し、実線で示す特性は、それぞれ人物領域、背景領域、空領域に対する入出力特性（ＨＵＭＡＮ＿ＧＡＩＮ、ＢＡＣＫ＿ＧＡＩＮ、ＳＫＹ＿ＧＡＩＮ）を示している。本実施形態に係る各被写体領域に対する入出力特性の算出には、例えば特開２０１４−１５５００１号公報に開示されているような公知の手法を用いることができるため、各入出力特性の算出方法についての説明は省略する。

図１２（ｂ）は、図１２（ａ）に示した被写体領域別に与える階調補正に基づいて、画像全体で共通する階調特性を決定するための２種類の入出力特性（Ｄレンジ優先およびコントラスト優先の入出力特性）を表している。これらの特性は、図１２（ａ）に示す各入出力特性と、各被写体領域が多く分布する輝度範囲に基づいて生成される。入力信号の０から人物領域が多く分布する低輝度側の区間では、人物領域の入出力特性が適用され、反対に入力信号の最大値から空領域が多く分布する高輝度側の区間には空領域の入出力特性が適用される。図１２（ｂ）に示すコントラスト優先の入出力特性は、コントラストを強調するための入出力特性であり、その特徴は、図１２（ａ）に示した人物領域の入出力特性に加え、背景領域、空領域の入出力特性の傾きを取り入れている点である。即ち、人物領域は明るさとコントラストを、背景領域および空領域はコントラストを実現することができる。

一方、図１２（ｂ）に示すＤレンジ優先の入出力特性は、画像全体でダイナミックレンジを確保するための入出力特性である。この入出力特性の特徴は、図１２（ａ）に示した人物領域の入出力特性と、空領域の入出力特性の２つを取り入れている点であり、人物領域と空領域の明るさとコントラストを実現できる。入力信号の０から人物領域が多く分布する低輝度側の区間では、人物領域の入出力特性を用いており、反対に最大値から空領域が多く分布する高輝度側の区間は空領域の入出力特性となっている。これらの各区間の間である中間輝度の区間は、低輝度側の人物の顔領域の入出力特性と、高輝度側の空領域の入出力特性をつなげるような特性となっている。

図１２（ｃ）は、図１２（ｂ）に示す２つの階調特性を加重加算して算出した入出力特性であり、画像全体に共通して適用する１つの階調特性である。なお、図１２（ｂ）および図１２（ｃ）に示した入出力特性の算出には、例えば特開２０１４−１５３９５９号公報に開示されているような公知の階調算出処理を用いることができる。

図１２（ｄ）は、図１２（ｃ）の入出力特性に基づいて生成されたゲインテーブルを示しており、縦軸はゲイン値（階調補正量）を、横軸は入力信号をそれぞれ示す。階調特性決定部２０２は、図１２（ｃ）に示す入出力特性を式（１）に代入してゲイン値Gain(X)を算出し、ゲイン値Gain(X)に基づくゲインテーブルを生成する。階調特性決定部２０２は、ゲインテーブルの生成を終えるとゲインＭＡＰ生成部２０３に結果を出力して階調特性決定処理を終了する。

（ＮＲ処理の概要）
次に、Ｓ５０５におけるＮＲ処理について、より詳細に説明する。

ＮＲ処理は、入力画像に対する閾値付き平均値処理および、閾値付き平均値処理後の画像と入力画像とを合成する画像合成処理の２つの処理から構成される。閾値付き平均値処理は、処理対象画素と相関が強い周辺画素を用いるようにした平均値の算出処理であり、解像感を保持しつつノイズを低減することができる。本実施形態では、閾値付き平均値処理として、例えば式（２）で表すＭＴＭ(Modified Trimmed Mean)フィルタを入力画像に適用する。なお、ＴＨは閾値、Ｎは参照画素の範囲、Ｗはフィルタ係数、pixはフィルタ前の画素値を表し、out_pixをフィルタ後の処理対象画素を指す。また、処理対象画素の座標を(i,j)で表す。

一方、式（２）で示した平均値処理のみを適用して画像を生成する場合、ノイズ低減の効果が領域に応じて異なるため、画像内に不自然なムラが残り得る。このような画像内のムラの発生を防止するため、式（２）に示す平均値処理後の画像と平均値処理前の画像とを合成する画像合成処理を行う。ＮＲ処理部２０５は、式（３）に従って、各画像の同一座標の画素値を加重加算し、自然なＮＲ処理後の画像を生成する。なお、prepixは平均値処理前の画素値、postpixは平均値処理後の画素値、zは平均値処理後の画像に対する加重加算係数を表す。また、処理対象画素の座標を(i,j)で表す。

式（２）に示した閾値付き平均値処理の閾値THと、式（３）に示した画像合成処理の加重加算係数ｚの値は、例えば図１０（ａ）および図１０（ｂ）に示す特性を持つようにしてもよい。それぞれの図の横軸は、ともに処理対象の画素位置(i,j)の画素値（ここでは輝度信号）を表している。また、図１０（ａ）の縦軸は閾値THの値を、図１０（ｂ）の縦軸は画像合成処理の加重加算係数ｚの値をそれぞれ表している。例えば、閾値THは画素値（ここでは輝度信号）に対して対数関数のカーブで表わされる特性を示し、加重加算係数ｚは画素値に対して逆ガンマ特性のカーブで表される特性を示している。

（ＮＲ処理に係る一連の動作）
上述したように、階調補正量が大きい場合には、階調補正処理によってノイズが増幅される影響が現れる。このため、階調補正量に応じて閾値付き平均値処理の閾値THと画像合成処理の加重加算係数ｚの値を適宜調整する必要がある。以下では、図６および図７を参照してＮＲ処理の一連の動作を説明しながら、閾値THの算出処理と加重加算係数ｚの値の算出処理について説明する。なお、図６に示すＮＲ処理の一連の動作は、図３（ａ）および（ｂ）に示す各機能ブロックが動作主体として対応する処理を実行することで実現される。このため、図６に示す各ステップの説明においてはこれらの各動作主体を適宜参照しながら説明する。また、図３（ａ）に示す実線および点線で示した矢印は、図２と同様にそれぞれ本線系の処理および評価値系の処理の流れを示している。

また、ＮＲ処理部２０５は、処理対象画素の位置(x,y)を順次変更して全ての画素に対して以下に説明する処理を行う。

Ｓ６０１において、ＮＲ処理部２０５は、処理対象の画素位置(x,y)を始点（０，０）に初期化する。

Ｓ６０２において、閾値付き平均値処理を行うための閾値TH(x,y)を、式（２）に基づいて算出する。本ステップに係る閾値TH(x,y)の算出処理（閾値算出処理ともいう）については、さらに図７（ａ）を参照して説明する。なお、本ステップに係る閾値算出処理は、輝度別閾値算出部３０１と、図３（ｂ）に示す閾値調整部３０２がそれぞれ対応する処理を実行することにより実現される。

Ｓ７０１において、輝度別閾値算出部３０１は、処理対象の画素位置(x,y)の入力信号に基づいて、輝度別閾値TH_y(x,y)を算出する。本実施形態において、輝度別閾値算出部３０１は、図１０（ａ）に示した特性を参照して輝度別閾値TH_y(x,y)を算出する。即ち、輝度別閾値算出部３０１は、全ての画素位置(x,y)の輝度信号Ｙについて、対応するTH_yを取得する。

Ｓ７０２において、閾値調整部３０２は、Ｓ７０１で算出した輝度別閾値TH_y(x,y)、Ｓ５０２において決定された階調補正量および被写体判別結果を入力して、階調補正量および被写体領域を反映させた閾値TH (x,y)を算出する。なお、本処理を閾値調整処理ともいう。

閾値調整部３０２による閾値調整処理を、図７（ｂ）を参照してより詳細に説明する。なお、閾値調整部３０２は、図３（ｂ）に示すように、信頼度算出部３１０、階調補正量調整部３１１および被写体別調整部３１２から構成され、１点鎖線の枠内はそれぞれ階調補正量調整部３１１、被写体別調整部３１２の内部をさらに表している。

Ｓ７０３において、階調補正量調整部３１１は、処理対象の画素位置(x,y)の階調補正量Gain(x,y)を取得する。本実施形態では、階調補正量Gain(x,y)は、式（４）に示すように、対応するゲインMAPの画素位置(x,y)を参照して階調補正量を取得する。ここで、GainMap(x,y)はゲインMAPの処理対象の画素位置(x,y)の値を表す。

Ｓ７０４において、階調補正量調整部３１１は、入力された閾値TH_y(x,y)に対して、式（５）に示す階調補正量Gain(x,y)および固定パラメータkを乗算することにより、閾値TH_g(x,y)を算出する。ここで、固定パラメータkは、階調補正量Gain(x,y)を反映する量を調整するためのパラメータであり、予め実験等によって求めた階調補正量に対して最適な値を用いればよい。

このように、階調補正量が大きいほど閾値が大きくなるように閾値を算出する。このような閾値を算出すれば、階調補正量が大きいほど、式（２）に示す平均化において輝度差の大きな画素を含むように画素が選択される。すなわち、階調補正量の大きさに応じて平均化される画素値の幅あるいは画素数を変動させることができ、階調補正量の大きさに応じてノイズ除去の強度を変更することができる。

Ｓ７０５において、信頼度算出部３１０は、Ｓ５０１において算出された被写体判別結果dis(x,y)を取得して、各被写体領域である可能性を示す信頼度を算出する。本実施形態では、被写体判別結果dis(x,y)は、空領域度合、背景領域度合、人物領域度合を示し、度合を0から1023までの値で表わされる。信頼度算出部３１０は、被写体判別結果dis(x,y)を正規化することにより、各画像位置(x,y)について式（６）を満たす人物領域の信頼度をα、背景領域の信頼度をβ、空領域の信頼度をγとする各信頼度を算出する。

なお、本実施形態では３つの被写体領域の信頼度を算出しているが、人物領域を顔領域と体領域とに区別して、顔領域および体領域の信頼度をそれぞれ算出しても良い。

Ｓ７０６において、被写体別調整部３１２は、Ｓ７０４で算出された閾値TH_g(x,y)に対して各被写体領域用の調整パラメータ（即ち重み付け）を反映させ、被写体領域ごとの閾値を算出する。本実施形態では、式（７）のように人物領域の閾値TH_human(x,y)、背景領域の閾値TH_back(x,y)、空領域の閾値TH_sky(x,y)を算出する。なお、human_adj、back_adj、sky_adjはそれぞれ、人物領域、背景領域、空領域用の調整パラメータである。

このように各々の被写体領域用の調整パラメータを反映させることにより、同じ階調補正量においても被写体領域ごとに適用する閾値を調整することができる。具体的には、人物領域および空領域では、背景領域に比べてＮＲ処理の強度を強めつつ、エッジ強調の強度を弱めるように調整することにより、人物領域および空領域ではノイズが少なく、背景領域では解像感の高い、印象の良い画像を生成することができる。なお、本実施形態では、３つの被写体領域の調整パラメータを用いて閾値を算出したが、人物領域を顔領域と体領域に分け、４つの調整パラメータで閾値を算出しても良い。

Ｓ７０７において、被写体別調整部３１２は、Ｓ７０５で算出された各被写体領域の信頼度と、Ｓ７０６で算出した各被写体領域の閾値に基づいて、最終的な閾値TH(x,y)を算出する。本実施形態では、式（８）のように加重平均をとることにより閾値TH(x,y)を算出する。ここで、TH_human(x,y)、TH_back(x,y)、TH_sky(x,y)は、それぞれ人物領域、背景領域、空領域の閾値であり、α、β、γはそれぞれ人物領域、背景領域、空領域の信頼度である。

このように、階調補正量に応じた閾値を、信頼度に応じて調整することで、さらに被写体領域に応じて、式（２）において平均化される画素値の幅あるいは画素数を変動させることができ、被写体領域に応じてノイズ除去の強度を変更することができる。

閾値調整部３０２は、閾値調整処理を完了すると、読出し元であるＳ６０２に処理を戻す。

Ｓ６０３において、平均値処理部３０３は、Ｓ６０２で算出した閾値TH(x,y)を用いて、式（２）に基づく閾値付き平均値処理を実行し、処理後の入力画像を合成処理部３０６に出力する。

Ｓ６０４において、輝度別加重加算係数算出部３０４および加重加算係数調整部３０５は、式（３）に基づく画像合成処理を行うための加重加算係数ｚを算出する。加重加算係数ｚの算出方法は、ＮＲ処理の閾値TH(x,y)の算出方法と同様に、階調補正量および被写体判別結果を用いて算出することができるため、詳細な説明は省略する。なお、加重加算係数の算出においては、上記閾値の算出方法における閾値部分を加重加算係数に置き換えて、閾値TH(x,y)と同様に、画素位置(x,y)に応じた加重加算係数ｚ(x,y)を算出する。まず輝度別加重加算係数算出部３０４は、図１０（ｂ）に示す加重加算係数を参照して輝度別加重加算係数を算出する。そして加重加算係数調整部３０５は、更に階調補正量Gain(x,y)、被写体領域用の調整パラメータおよび各被写体領域の信頼度（あるいは被写体判別結果）を用いて加重加算係数ｚ(x,y)を算出すればよい。

Ｓ６０５において、合成処理部３０６は、Ｓ６０４で算出された加重加算係数ｚ(x,y)（単にｚとも表す）を用いて、式（３）に基づいて平均値処理前の画素値と平均値処理後の画素値を合成して画像合成処理を行う。合成処理部３０６は、ＮＲ処理の結果として合成後の画素値を出力する。

Ｓ６０６において、ＮＲ処理部２０５は、上述したＳ６０２〜Ｓ６０５の処理を画像の全ての画素に対して行うため、全ての画素について処理を行ったかを判定する。ＮＲ処理部２０５は、全ての画素に対する処理を完了していない場合には、再びＳ６０２に処理を戻すためにＳ６０７に処理を進め、全ての画素に対して処理を完了している場合には、本処理に係る一連の動作を完了する。

Ｓ６０７において、ＮＲ処理部２０５は、処理対象の画素位置（ｘ，ｙ）を更新して、再びＳ６０２から一連の動作を実行する。

（エッジ強調処理）
次に、Ｓ５０７に示したエッジ強調処理についてより詳細に説明する。本実施形態に係るエッジ強調処理は、まず入力画像から高周波成分を抽出したＡＣ信号と高周波成分を除いたＤＣ信号とを生成し、さらに生成したＡＣ信号およびＤＣ信号に別々の信号処理を行ったうえで、これらの信号を加算した画像を生成する。

以下では、図８および図９を参照してエッジ強調処理の一連の動作を説明しながら、各信号の生成処理やエッジ補正処理について説明する。なお、図８に示すエッジ強調処理の一連の動作は、図４（ａ）および（ｂ）に示す各機能ブロックが動作主体として対応する処理を実行することで実現される。このため、図８に示す各ステップの説明においてはこれらの各動作主体を適宜参照しながら説明する。また、図４（ａ）に示す実線および点線で示した矢印は、図２と同様にそれぞれ本線系の処理および評価値系の処理の流れを示している。

また、エッジ強調処理部２０６は、処理対象画素の位置(x,y)を順次変更して全ての画素に対して以下に説明する処理を行う。

Ｓ８０１において、エッジ強調処理部２０６は、例えば入力画像の左上の画素の座標を始点とするため処理対象の画素位置（x,y）を（０，０）に初期化する。

Ｓ８０２において、ＡＣ・ＤＣ信号生成部４０１は、入力画像の信号in(x,y)に基づいて、高周波成分を抽出したＡＣ信号AC_in(x,y)と高周波成分を除いたＤＣ信号DC_in(x,y)を生成する。ＡＣ・ＤＣ信号生成部４０１は、信号の生成方法について、例えば特開２０１２−３９６０３号公報に開示されているような公知のバンドパスフィルタを用いた手法を用いることができる。このため、信号の生成方法についての詳細な説明は省略する。

Ｓ８０３において、エッジ補正部４０３は、Ｓ８０２で生成したＡＣ信号AC_in(x,y)を入力してエッジ補正処理を行った信号AC_out(x,y)を算出する。エッジ補正処理については後述する。

Ｓ８０４において、γ処理部４０２は、Ｓ８０２で生成したＤＣ信号DC_in(x,y)を入力してγ処理を行った信号DC_out(x,y)を算出する。γ処理は、信号値を表示系の特性に合わせるための公知の方法を用いることができ、γ処理部４０２は、例えばγ特性のカーブによってm+nビットからmビットに圧縮する処理(m,n≧0)を行う。

Ｓ８０５において、信号加算部４０４は、Ｓ８０３で算出されたAC_out(x,y)とＳ８０４で算出されたDC_out(x,y)を加算して、エッジ強調処理後の信号out(x,y)を生成する。

Ｓ８０６において、エッジ強調処理部２０６は、画像の全ての画素に対してＳ８０５までの処理を完了したかを判定する。全ての画素に対する処理を完了している場合、エッジ強調処理に係る一連の動作を終了し、一方、全ての画素に対する処理を完了していない場合はＳ８０７に処理を進める。

Ｓ８０７において、エッジ強調処理部２０６は、処理対象の画素位置（x,y）を更新して再びＳ８０２に処理を進める。

（エッジ補正処理の概要）
次に、上述したＳ８０３におけるエッジ補正処理について説明する。本実施形態におけるエッジ補正処理では、エッジコアリング処理とエッジゲイン処理とを行う。なお、本実施形態では、エッジ強調によって発生するノイズ成分を低減するコアリング処理を適用するにあたって、例えば特開２０１１−４９９６５号公報に開示されるようなエッジコアリング処理を行う。より具体的には、高周波信号に含まれる微小なノイズ成分をカットするために、式（９）を用いて入力信号から算出したコアリング量を減算する。なお、BCはコアリング量、AC_inは入力信号、AC_BCはコアリング処理後の信号である。

また、エッジゲイン処理では、式（１０）を用いてコアリング処理後の高周波信号にゲインを乗算して高周波信号を強調する。AC_BCはコアリング処理後の信号、AC_outはエッジのゲイン処理後の信号、APCGainはエッジのゲイン量である。

式（９）のエッジコアリング処理のコアリング量BCと式（１０）のエッジゲイン処理のゲイン量APC_Gainの値は、それぞれ図１４（ａ）および（ｂ）で表される。なお、図１４の横軸は入力信号（ＣＤ信号から生成した輝度信号Ｙ）の値を、縦軸はそれぞれコアリング量およびエッジゲイン値を示している。エッジコアリング処理のコアリング量BCは、例えば図１４（ａ）に示すように対数関数のカーブで表され、画像合成処理の加重加算係数APC_Gainは図１４（ｂ）のように逆ガンマ特性のカーブで表される。

（エッジ補正処理に係る一連の動作）
さらに、本実施形態に係るエッジ補正処理の一連の動作について、図９を参照して説明する。本実施形態では、階調補正処理によりノイズが増幅する影響があるため、階調補正量に応じて式（９）のエッジコアリング処理のコアリング量BCおよび、式（１０）のエッジゲイン処理のゲイン量APC_Gainの値を制御する。

以下では、エッジ補正処理の一連の動作を説明しながら、コアリング量の算出処理とエッジゲイン処理におけるゲイン量の算出処理について説明する。なお、図９に示すエッジ補正処理の一連の動作は、図４（ａ）および（ｂ）に示す各機能ブロックが動作主体として対応する処理を実行することで実現される。このため、図９に示す各ステップの説明においてはこれらの各動作主体を適宜参照しながら説明する。また、図４（ａ）および（ｂ）に示す実線および点線で示した矢印は、図２と同様にそれぞれ本線系の処理および評価値系の処理の流れを示している。

Ｓ９０１において、輝度別コアリング量算出部４１１およびコアリング量調整部４１２は、式（９）のエッジコアリング処理に用いるコアリング量BC(x,y)を算出する。コアリング量BC(x,y)の算出については、上述したＮＲ処理の閾値TH(x,y)の算出方法と同様に行うことができる。例えば、まず輝度別コアリング量算出部４１１が、図１４（ａ）に示すコアリング量を参照して輝度別のコアリング量を算出する。そして、コアリング量調整部４１２が、階調補正量Gain(x,y)、被写体領域用の調整パラメータおよび各被写体領域の信頼度（あるいは被写体判別結果）を用いて加重平均されたコアリング量BC(x,y)を得ればよい。

Ｓ９０２において、コアリング処理部４１３は、入力したAC信号AC_in(x,y)に対してエッジコアリング処理を行い、コアリング処理後の信号AC_BC(x,y)を出力する。具体的には、AC信号とＳ９０１で算出されたコアリング量BC(x,y)とを用いて、式（９）に従うエッジコアリング処理を行ってAC_BC(x,y)をゲイン乗算部４１６に出力する。

Ｓ９０３において、輝度別エッジゲイン算出部４１４およびエッジゲイン調整部４１５は、エッジゲイン処理に用いる（即ち式（１０）で用いる）ゲイン量APCGain(x,y)を算出する。なお、エッジゲイン処理のゲイン量APCGain(x,y)の算出についても、ＮＲ処理の閾値TH(x,y)の算出方法と同様に行うことができる。例えば、まず輝度別エッジゲイン算出部４１４は、図１４（ａ）に示すエッジゲインを参照して輝度別エッジゲインを算出する。さらにエッジゲイン調整部４１５は、階調補正量Gain(x,y)、被写体領域用の調整パラメータおよび各被写体領域の信頼度（あるいは被写体判別結果）を用いて加重平均されたAPCGain(x,y)を算出すればよい。

このように、階調補正量が大きいほどエッジゲイン処理のゲイン量が大きくなるように当該処理のゲイン量を算出する。このようなゲイン量を算出すれば、階調補正量が大きいほど、式（１０）に示す先鋭化において大きなゲインが与えられる。すなわち、階調補正量の大きさに応じてエッジの補正量を変動させることができ、階調補正量の大きさに応じてエッジ強調の強度を変更することができる。さらに、階調補正量に応じたエッジの補正量を、信頼度に応じて調整することで、さらに被写体領域に応じてエッジの補正量を変動させることができ、被写体領域に応じてエッジ強調の強度を変更することができる。

Ｓ９０４において、ゲイン乗算部４１６は、Ｓ９０２で算出されたAC_BC(x,y)とＳ９０３で算出されたゲイン量APCGain(x,y)とを用いて、式（１０）に従うエッジゲイン処理を行う。ゲイン乗算部４１６は、エッジゲイン処理後（補正後）の信号AC_out(x,y)をエッジ補正処理後の信号として出力する。エッジ補正部４０３は、当該補正後のＡＣ信号が出力されるとエッジ補正処理に係る一連の処理を終了する。

以上説明したように本実施形態では、ＮＲ処理において、閾値付き平均化処理における閾値および加重加算係数を階調補正量および被写体領域に応じて調整するようにした。また、エッジ強調処理においても同様に、コアリング量およびエッジゲインを階調補正量および被写体領域に応じて調整するようにした。このようにすることで、階調補正量および被写体領域を考慮してノイズ除去およびエッジ強調の強度を制御することが可能になる。従って、被写体領域の特性に応じた、高コントラスト、広ダイナミックレンジかつＳＮ比の高い画像を生成することができる。

（実施形態２）
次に、実施形態２について説明する。実施形態２では、実施形態１と同様に、階調補正量および被写体領域に応じたＮＲおよびエッジ強調処理を行う。しかし、本実施形態では、ＮＲ処理およびエッジ強調処理に用いる階調補正量はゲインＭＡＰからでは無く、ゲインテーブルから算出する点が異なる。即ち、図１５（ａ）に示すＮＲ処理部１５０１とエッジ強調処理部１５０２は、ゲインＭＡＰ生成部２０３で生成したゲインＭＡＰではなく、階調特性決定部２０２で決定した階調特性を入力してそれぞれの処理を行う点が異なる。このようにすることで、入力画像と同サイズのゲインＭＡＰをＮＲ、エッジ強調処理を行うまでメモリに記録する必要が無くなり、メモリ使用量の効率化が図られる利点がある。

なお、ＮＲ処理部１５０１とエッジ強調処理部１５０２以外の構成は実施形態１と同一であるため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図１５（ａ）に示すように、本実施形態に係るＮＲ処理部１５０１とエッジ強調処理部１５０２は、階調特性決定部２０２から出力される階調特性が入力されるように構成されている。

本実施形態に係るＮＲ処理部１５０１の機能構成例について、図１５（ｂ）を参照して説明する。本実施形態では、ＮＲ処理部１５０１は、階調特性決定部２０２で決定された階調特性を入力して、階調補正量推定部１５０３において新たな処理を行う。実施形態１では、式（４）に従ってゲインＭＡＰから直接、階調補正量を取得していたのに対して、本実施形態では階調特性決定部２０２で決定した階調特性を用いて、式（１１）に従って階調補正量を取得する。ここで、Gainは階調補正量、in(x,y)は参照用の入力信号、GainTbl_afterはゲイン後の入力信号を対象としたゲインテーブルである。また参照用の入力信号は、ＮＲ処理部１５０１に入力した画像（ゲイン処理部２０４によって階調補正された画像）である。

式（１１）のゲイン後の入力信号を対象としたゲインテーブルGainTbl_afterについて、図１７を参照して説明する。図１７（ａ）は、階調特性決定部２０２で決定した階調特性を示しており、ゲイン前の入力信号Xを対象としたゲインテーブルである。このゲインテーブルは、式（１２）で表すように、GainTbl_preと階調補正量Gainの関係で表される。

一方、図１７（ｂ）は、ゲイン後の入力信号X ’を対象としたゲインテーブルである。このゲインテーブルをGainTbl_afterとすると、ゲイン前の入力信号Xを対象としたゲインテーブルGainTbl_preとの関係は式（１３）のようになる。

このように、階調補正量推定部１５０３は、ゲインテーブルGainTbl_preを入力して、ゲイン後の入力信号を対象としたゲインテーブルGainTbl_afterを作成したうえで、参照用の入力信号に基づいて階調補正量Gainを算出する。

階調補正量推定部１５０３は、算出した階調補正量を閾値調整部３０２および加重加算係数調整部３０５に出力し、これらの機能ブロックは入力した階調補正量を用いて実施形態１で上述した各処理を行う。

さらに、エッジ強調処理部１５０２の機能構成例について、図１６（ａ）および図１６（ｂ）を参照して説明する。上述したように、エッジ強調処理部１５０２は、ＮＲ処理部１５０1と同様に階調特性決定部２０２で決定された階調特性を入力する。入力された階調特性は、エッジ補正部１６０１に入力されるように構成されている。また、図１６（ｂ）に示す階調補正量推定部１６０２は、入力した階調特性に基づいて階調補正量を算出する。この階調補正量推定部１６０２は、ＮＲ処理部１５０１に備わる階調補正量推定部１５０３と同一の処理を行うものである。なお、階調補正量推定部１６０２以外の構成は実施形態１と同様である。

以上説明したように本実施形態では、階調特性決定部２０２で決定した階調特性を用いて、ＮＲ処理およびエッジ強調処理を行うようにした。このようにして、ゲインテーブルから階調補正量を算出することで、さらにメモリ使用の効率化を図ることが可能になる。

（実施形態３）
さらに実施形態３について説明する。本発明の第３の実施形態は、被写体領域ごとに複数の階調特性を用いた階調処理を行い、この階調処理に応じたＮＲ処理およびエッジ強調処理を行う。このため、実施形態１および実施形態２とは、主に階調特性決定処理、ＮＲ処理およびエッジ強調処理において、当該複数の階調特性を扱う点が異なる。その他の構成は実施形態２と同一であるため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

まず、本実施形態の階調処理である領域別トーンマッピング処理について、図１８を参照して説明する。

図１８（ａ）は、階調特性を説明した図１２（ａ）と同様に、被写体領域ごとに与える場合の階調特性を入出力特性で表している。上述した実施形態では、図１２（ａ）のような被写体の構成で撮影された画像に階調特性を適用する場合、各被写体領域に対応する階調特性に基づいて画面全体共通の階調特性（ゲインテーブル）を生成し、階調処理を行った。一方、本実施形態では、図１８（ｂ）に示すように、被写体領域ごとに異なる階調特性（ゲインテーブル）を用いることにより階調処理を行う。例えば、人物領域には、人物領域に対する入出力特性２００１を適用し、背景領域および空領域にもそれぞれ入出力特性２００２および２００３がそれぞれ適用される。即ち、人物領域、背景領域および空領域に対してそれぞれゲインテーブルが生成されて階調処理が行われる。このように被写体領域ごとに異なる階調特性を適用することにより、同一の被写体領域内であれば入力信号の範囲によらず一定の入出力特性を適用することができる利点がある。

また、本実施形態は、階調特性から階調補正量を算出する点で実施形態２と共通するが、階調特性が被写体領域ごとに存在するため、これらから階調補正量を算出する点が異なる。

次に、本実施形態における画像処理部１０４の機能構成例について、図１９を参照して説明する。本実施形態では、階調特性決定部２１０３は、図１８（ａ）に示した被写体領域別に異なる階調特性を出力し、ゲインＭＡＰ生成部２０３、ＮＲ処理部２１０１およびエッジ強調処理部２１０２に入力される。ＮＲ処理部２１０１およびエッジ強調処理部２１０２は、上述したように入力した被写体領域ごとの階調特性から階調補正量を生成する。

ゲインＭＡＰ生成部２０３は、被写体判別部２０１の出力である被写体判別結果を入力する。ゲインＭＡＰ生成部は、入力した被写体判別結果を用いて被写体領域を特定し、対応する階調特性を適用することでゲインＭＡＰを生成する。

さらに、ＮＲ処理部２１０１について図２０（ａ）を参照して説明する。被写体別階調補正量推定部２２０１は、階調特性決定部２１０３から出力された被写体領域別の階調特性を入力して、被写体領域ごとの階調補正量を算出する。被写体別階調補正量推定部２２０１は、算出した階調補正量を被写体領域ごとに加重加算係数調整部２２０２および閾値調整部２２０３に出力する。被写体領域ごとに階調補正量を算出する点以外については、実施形態２と同様である。

被写体ごとの階調特性に基づいて被写体ごとの階調補正量を算出する方法について、図２２を参照して説明する。

図２２（ａ）には、階調特性決定部２１０３で決定される階調特性であり、ゲイン前の入力信号Xに対する被写体領域ごとのゲインテーブルを示している。人物領域、背景領域、空領域のゲインテーブルをそれぞれGainTbl_pre_human、GainTbl_pre_back、GainTbl_pre_skyとし、人物領域、背景領域、空領域の階調補正量をそれぞれGain_human, Gain_back, Gain_skyとする。ゲインテーブルと階調補正量の関係は、式（１４）に表すようになる。

これに対して、図２２（ｂ）には、ゲイン後の入力信号X ’を対象としたゲインテーブルを示している。人物領域、背景領域、空領域のゲインテーブルをそれぞれGainTbl_after_human、GainTbl_after_back、GainTbl_after_skyとし、ゲイン前の入力信号Xを対象としたゲインテーブルGainTbl_pre_human、GainTbl_pre_back、GainTbl_pre_skyとすると、これらの関係は、式（１５）に表すようになる。

なお、式（１５）は人物領域のゲインテーブルの関係を表しているが、背景領域、空領域のゲインテーブルについても同様である。

被写体別階調補正量推定部２２０１は、被写体領域ごとのゲインテーブルGainTbl_pre_human、GainTbl_pre_back、GainTbl_pre_skyを階調特性決定部２１０３から入力して、ゲイン後の入力信号を対象とした被写体領域別のゲインテーブルGainTbl_after_human、GainTbl_after_back、GainTbl_after_skyを作成する。そして、被写体領域ごとの階調補正量Gain_human, Gain_back, Gain_skyを参照用の入力信号に基づいて算出する。

次に、被写体領域ごとの階調補正量を入力する閾値調整部２２０３の機能構成例について、図２０（ｂ）を参照して説明する。本実施形態に係る閾値調整部２２０３では、輝度別閾値THと被写体領域ごとの階調補正量を入力する。そして、階調補正量調整部２２０５が輝度別閾値THに対して被写体領域ごとの階調補正量Gain_human, Gain_back, Gain_skyと固定値k,l,mを式（１６）のように乗算する。なお、TH_human, TH_back, TH_skyは各被写体領域の階調補正量により調整された閾値である。

被写体別階調補正量推定部２２０１から閾値TH_human, TH_back, TH_skyが出力された後の処理については、実施形態１および実施形態２と同様である。また、閾値調整部２２０３の処理を例に説明したが、加重加算係数調整部２２０２の処理についても同様に被写体領域ごとの階調補正量を入力した処理を行う。

さらに、本実施形態に係るエッジ強調処理部２１０２の機能構成例について、図２１（ａ）を参照して説明する。本実施形態に係るエッジ強調処理部２１０２は、ＮＲ処理部２１０１と同様に、階調特性決定部２１０３で決定された被写体ごとの階調特性を入力してエッジ強調処理を行う。

さらに、エッジ強調処理部２１０２に含まれるエッジ補正部２３０１について、図２１（ｂ）を参照して説明する。エッジ補正部２３０１は、階調特性決定部２１０３で決定された被写体領域ごとの階調特性、被写体判別結果およびＤＣ／ＡＣ信号を入力する。被写体別階調補正量推定部２３０２は、入力された被写体領域ごとの階調特性に応じて被写体領域ごとの階調補正量を出力する。そして、エッジゲイン調整部４１５およびコアリング量調整部４１２は、被写体領域ごとの階調補正量を入力してゲイン量およびコアリング量を出力する。

以上説明したように本実施形態では、被写体領域ごとの階調特性を用いて、被写体領域ごとに階調補正量を算出し、各階調補正量に応じたＮＲ処理およびエッジ強調処理を行うようにした。このようにすることで、被写体領域ごとに適用された階調補正量に応じて、即ち階調補正量および被写体領域を考慮してノイズ除去およびエッジ強調の強度を制御することが可能になる。従って、被写体領域の特性に応じた、高コントラスト、広ダイナミックレンジかつＳＮ比の高い画像を生成することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４…画像処理部、２０１…被写体判別部、２０２…階調特性決定部、２０４…ゲイン処理部、２０５…ＮＲ処理部、２０６…エッジ強調処理部

Claims (15)

1. 画像から複数の被写体領域を判別する判別手段と、
   前記画像の所定の領域ごとに階調補正するための階調補正量を決定する決定手段と、
   前記階調補正量によって階調補正された画像に適用するノイズ除去の強度を、前記階調補正量と前記判別された被写体領域とに応じて変更するノイズ除去手段と、
   を有することを特徴とする画像処理装置。
2. 前記ノイズ除去手段によりノイズの除去された画像に適用するエッジ強調の強度を、前記階調補正量と前記判別された前記被写体領域とに応じて変更するエッジ強調手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ除去手段は、ノイズを除去するための画素値の平均化において、前記平均化に用いる画素値の幅を、前記階調補正量に応じて変動させるとともに前記判別された被写体領域ごとに該変動の大きさを調整することによってノイズ除去の強度を変更することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記ノイズ除去手段は、前記階調補正量が大きいほど前記平均化に含まれる画素値の幅が大きくなるように前記平均化に用いる画素を選択して、前記平均化を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記ノイズ除去手段は、前記階調補正量に応じた変動の大きさに対する所定の被写体ごとの重み付けを行って、前記被写体に応じて前記平均化に用いる画素値の幅を変動させることによってノイズ除去の強度を変更することを特徴とする請求項４に記載の画像処理装置。
6. 前記判別手段が判別する被写体領域は、前記画像内の人物領域、空領域および背景領域の少なくとも２つの領域を含み、
   前記ノイズ除去手段は、前記重み付けされた画素値の幅を、それぞれの被写体領域である可能性を示す信頼度に応じて加重平均し、前記加重平均された画素値の幅を用いて前記平均化を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記エッジ強調手段は、高周波信号を強調するための補正量を、前記階調補正量に応じて変動させるとともに前記判別された被写体領域ごとに該変動の大きさを調整することによってエッジ強調の強度を変更することを特徴とする請求項２に記載の画像処理装置。
8. 前記エッジ強調手段は、前記階調補正量が大きいほど、前記高周波信号を強調するための補正量を大きくすることによってエッジ強調の強度を変更することを特徴とする請求項７に記載の画像処理装置。
9. 前記エッジ強調手段は、前記階調補正量に応じた変動の大きさに対する所定の被写体ごとの重み付けを行って、前記被写体に応じて前記高周波信号を強調するための補正量を変動させることによってエッジ強調の強度を変更することを特徴とする請求項８に記載の画像処理装置。
10. 前記判別手段が判別する被写体領域は、人物領域、空領域または背景領域の少なくとも２つの領域を含み、
    前記エッジ強調手段は、前記重み付けされた高周波信号を強調するための補正量を、それぞれの領域である可能性を示す信頼度に応じて加重平均し、前記加重平均された高周波信号を強調するための補正量を用いてエッジ強調の強度を変更することを特徴とする請求項９に記載の画像処理装置。
11. 前記ノイズ除去手段は、前記階調補正された画像を入力して、該画像に基づいて前記階調補正量を推定し、前記推定された階調補正量に応じてノイズ除去の強度を変更することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記決定手段は、前記判別された被写体領域ごとに前記階調補正量を決定し、
    前記ノイズ除去手段は、前記ノイズ除去の強度を、前記被写体領域ごとの階調補正量と前記判別された被写体領域に応じて変更することを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 判別手段が、画像から複数の被写体領域を判別する判別工程と、
    決定手段が、前記画像の所定の領域ごとに階調補正するための階調補正量を決定する決定工程と、
    ノイズ除去手段が、前記階調補正量によって階調補正された画像に適用するノイズ除去の強度を、前記階調補正量と前記判別された被写体領域に応じて変更するノイズ除去工程と、
    を有することを特徴とする画像処理装置の制御方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
15. コンピュータを請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記録した、コンピュータで読み取り可能な記憶媒体。

Images