JP2014130442A - 画像処理装置、撮像装置、および画像処理プログラム - Google Patents

Abstract

【課題】 被写体の明るさに応じて好適な被写体領域の抽出を行うこと。
【解決手段】 処理対象の画像データを取得する取得部と、画像データにより示される特徴量を算出し、特徴量に基づいて定まる被写体領域を検出する領域検出部と、画像データにより示される画像の明るさに関する評価値を算出する評価値算出部と、評価値算出部により算出した評価値に基づいて、領域検出部による被写体領域の検出方法を決定する制御部とを備える。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

従来、被写体抽出および被写体抽出結果を利用する様々な技術が考えられている。例えば、特許文献１の発明では、被写体抽出により抽出した被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節する撮像装置が開示されている。

特開２００９−０６９７４８号公報

ところで、被写体抽出は一般的に明るさ情報や色情報などに基づいて行われる場合が多い。しかし、実際の被写体は様々な明るさや色相を有するものである。そのため、例えば、屋外等の明るい被写体を撮像して生成した画像においては、空の部分が抽出されてしまったり、水面の反射が抽出されてしまうなど、本来抽出したい被写体が抽出されず、被写体の抽出が困難になる場合がある。

本発明は、前記の点に鑑みてなされたものであり、被写体の明るさに応じて好適な被写体領域の抽出を行うことを目的とする。

本発明の画像処理装置は、処理対象の画像データを取得する取得部と、前記画像データにより示される特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、前記画像データにより示される画像の明るさに関する評価値を算出する評価値算出部と、前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部とを備える。

なお、前記評価値算出部は、前記画像データと、前記画像データが生成された際の測光情報と、前記画像データに基づくシーン解析の結果と、ユーザ指定との少なくとも１つに基づいて、前記評価値を算出しても良い。

また、前記領域検出部は、前記特徴量として複数の特徴量を算出し、前記複数の特徴量に基づいて前記被写体領域を検出し、前記制御部は、前記評価値に基づいて、前記複数の特徴量における優先度を決定し、決定した前記優先度に基づいて前記領域検出部による前記被写体領域の検出を行っても良い。

また、前記領域検出部は、前記特徴量として、少なくとも１種類の輝度に関する特徴量を算出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか否かを判定し、前記画像が明るい画像である場合には、前記輝度に関する特徴量のうち、前記画像データにより示される画像の高輝度部分に基づく特徴量の前記優先度を、前記画像が明るい画像でない場合より低く設定して、前記領域検出部による前記被写体領域の検出を行っても良い。

また、前記領域検出部は、前記特徴量として、少なくとも１種類の色に関する特徴量を算出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか否かを判定し、前記画像が明るい画像である場合には、前記色に関する特徴量のうち、少なくとも１種類の青色に関する特徴量の前記優先度を、前記画像が明るい画像でない場合より低く設定して、前記領域検出部による前記被写体領域の検出を行っても良い。

また、前記領域検出部は、前記特徴量として、少なくとも１種類の輝度に関する特徴量を算出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が暗い画像であるか否かを判定し、前記画像が暗い画像である場合には、前記輝度に関する特徴量のうち、前記画像データにより示される画像の高輝度部分に基づく特徴量の前記優先度を、前記画像が暗い画像でない場合より高く設定して、前記領域検出部による前記被写体領域の検出を行っても良い。

また、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか、または、暗い画像であるかの判定を行い、前記判定の結果と、前記特徴量に基づく前記被写体領域に関する評価値とに基づいて、前記複数の特徴量における優先度を決定しても良い。

また、前記領域検出部は、前記特徴量として複数の特徴量を算出し、前記複数の特徴量に基づいて前記被写体領域を検出し、前記制御部は、前記評価値に基づいて、前記複数の特徴量から、前記領域検出部による前記被写体領域の検出に用いる前記特徴量を選択し、選択した少なくとも１種類の前記特徴量に基づいて前記領域検出部による前記被写体領域の検出を行っても良い。

また、前記領域検出部は、前記特徴量として、少なくとも１種類の輝度に関する特徴量を算出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか否かを判定し、前記画像が明るい画像である場合には、前記輝度に関する特徴量のうち、前記画像データにより示される画像の高輝度部分に基づく特徴量を非選択として、前記領域検出部による前記被写体領域の検出を行っても良い。

また、前記領域検出部は、前記特徴量として、少なくとも１種類の輝度に関する特徴量を算出し、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が暗い画像であるか否かを判定し、前記画像が暗い画像である場合には、前記輝度に関する特徴量のうち、前記画像データにより示される画像の低輝度部分に基づく特徴量を非選択として、前記領域検出部による前記被写体領域の検出を行っても良い。

また、前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか、または、暗い画像であるかの判定を行い、前記判定の結果と、前記特徴量に基づく前記被写体領域に関する評価値とに基づいて、前記領域検出部による前記被写体領域の検出に用いる前記特徴量を選択しても良い。
行っても良い。

本発明の撮像装置は、光学系による像を撮像して画像データを生成する撮像部と、前記撮像部により生成した前記画像データにより示される特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、前記撮像部により生成した前記画像データにより示される画像の明るさに関する評価値を算出する評価値算出部と、前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部とを備える。

本発明の画像処理プログラムは、コンピュータに、処理対象の画像データを取得する取得手順と、前記画像データにより示される特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、前記画像データにより示される画像の明るさに関する評価値を算出する評価値算出手順と、前記評価値算出手順において算出した前記評価値に基づいて、前記領域検出手順における前記被写体領域の検出方法を決定する制御手順とを実行させる。

本発明によれば、被写体の明るさに応じて好適な被写体領域の抽出を行うことができる。

レンズ鏡筒１０と、撮像装置２０と、記憶媒体４０との構成を示すブロック図である。 自動検出モード実行時のＣＰＵ２６の動作を示すフローチャートである。 自動検出モード実行時のＣＰＵ２６の動作を示すフローチャート（続き）である。 自動検出モード実行時のＣＰＵ２６の動作を示すフローチャート（続き）である。 マスク抽出処理（Ｉ）について説明する図である。 マスク抽出処理（Ｉ）について説明する別の図である。 マスク抽出処理（Ｉ）について説明する別の図である。 マスク抽出処理（Ｉ）について説明する別の図である。 マスク抽出処理（Ｉ）について説明する別の図である。 マスク抽出処理（II）について説明する図である。 マスク抽出処理（II）について説明する別の図である。 マスク抽出処理（III）について説明する図である。 マスク抽出処理（III）について説明する別の図である。

以下、実施形態について図面を参照して詳細に説明する。

本実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。

撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。

レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されてもよいし、撮像装置２０と一体であってもよい。

撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、撮像素子２９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０とを備える。撮像部２１は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。

レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像素子２９の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。

撮像装置２０において、撮像素子２９は、光電変換面を備え、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子２９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部３０および通信部２８を介して記憶媒体４０に出力する。一方、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に、Ａ／Ｄ変換部３０を介して出力する。

Ａ／Ｄ変換部３０は、撮像素子２９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部２４等に出力する。

画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。

表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。

ＣＰＵ２６は、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。

操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。

通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。

記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。

撮像装置２０は、撮影時に、焦点調節情報に基づいて主要被写体領域を検出する通常モードの他に、自動で主要被写体領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、主要被写体領域を自動で継続的に検出するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。

以下、自動検出モード実行時のＣＰＵ２６の動作について、図２から図４のフローチャートを参照して説明する。

ステップＳ１０１において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。

ステップＳ１０２において、ＣＰＵ２６は、ステップＳ１０１で取得を開始したスルー画像に基づく測光を開始する。ＣＰＵ２６は、スルー画像に基づいて、測光値Ｐａを求める。スルー画像に基づいて測光値Ｐａを求める方法は、公知技術と同様であるため説明を省略する。

なお、測光の方法は、スルー画像、すなわち、撮像素子２９の出力に基づくものでなくても良い。例えば、被写界を測光する測光センサを撮像装置２０に備え、測光センサの出力に基づいて測光値Ｐａを求めても良い。また、例えば、スルー画像に対して公知のシーン解析を行い、解析の結果に基づいて測光値Ｐａを求めても良い。また、例えば、操作部２７を介したユーザ指定に基づいて測光値Ｐａを求めても良い。この場合、ユーザは、操作部２７を介して測光値そのものを指定しても良いし、測光値に関連する所定の値などを指定しても良い。

ステップＳ１０３において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。

ステップＳ１０４において、ＣＰＵ２６は、ステップＳ１０２で開始した測光による測光値Ｐａ≧Ｔ１であるか否かを判定する。ＣＰＵ２６は、測光値Ｐａ≧Ｔ１であると判定すると後述するステップＳ１０８に進む。一方、測光値Ｐａ＜Ｔ１であると判定すると、ＣＰＵ２６は、ステップＳ１０５に進む。上述したＴ１は、予め定められた閾値（例えば、ＢＶ＝７．０程度）である。測光値Ｐａ≧Ｔ１である場合とは、対象の画像が比較的明るい画像である場合である。具体的には、例えば、屋外などの明るいシーンを撮影し、水面の反射や背景の空などマスク抽出処理に影響が出る可能性がある場合が考えられる。

ステップＳ１０５において、ＣＰＵ２６は、ステップＳ１０３で算出した測光値Ｐａ＜Ｔ２であるか否かを判定する。ＣＰＵ２６は、測光値Ｐａ＜Ｔ２であると判定すると後述するステップＳ１０７に進む。一方、測光値Ｐａ≧Ｔ２であると判定すると、ＣＰＵ２６は、ステップＳ１０６に進む。上述したＴ２は、ステップＳ１０４で説明したＴ１と同様に、予め定められた閾値（例えば、ＢＶ＝３．０程度）であり、Ｔ１＞Ｔ２である。

また、上述した測光値Ｐａ＜Ｔ２である場合とは、対象の画像が比較的暗い画像である場合である。具体的には、例えば、夜景や夕景などに起因して、マスク抽出処理に影響が出る可能性がある場合が考えられる。

ステップＳ１０６において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理（Ｉ）を行う。マスク抽出処理とは、画像における特徴量を算出し、特徴量に基づいて被写体領域を検出するための一手法である。例えば、画像における特徴量を求め、同様の特徴量を有する連続領域を求めることによりマスク抽出を行う。

マスク抽出処理（Ｉ）について図５〜図９の模式図を参照して説明する。画像処理装置２２は、上述したＹＵＶ画像のＹ画像、Ｃｂ画像およびＣｒ画像のそれぞれに基づいて、マスク画像を作成する。

画像処理装置２２は、図５に示すように、Ｙ画像、Ｃｂ画像およびＣｒ画像のそれぞれからＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]を作成する。画像処理装置２２は、Ｙ画像から、例えば、Ｙ画像の中心の４画素における平均画素値Ｙａｖｅに対して、所定の範囲（例えば、Ｙａｖｅ＋Ｋ・σ）の２値化画像を生成する。そして、生成したＹ２値化画像に対してラベリング処理を行い、不要なマスクを排除することによりＹマスクＭ[Ｙ]を作成する。なお、上述したＫは所定の係数（例えば、Ｋ＝０．６）であり、σはＹａｖｅからの偏差である。また、２値化処理およびラベリング処理は公知技術と同様であるため説明を省略する。画像処理装置２２は、同様の処理を行ってＣｂ画像からＣｂマスクＭ[Ｃｂ]を作成し、Ｃｒ画像からＣｒマスクＭ[Ｃｒ]を作成する。

また、画像処理装置２２は、図５に示すように、作成したＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]から中心マスクＭ[ａ]を作成する。中心マスクＭ[ａ]は、ＹマスクＭ[Ｙ]、ＣｂマスクＭ[Ｃｂ]およびＣｒマスクＭ[Ｃｒ]が重なる重複領域からなるマスクである。なお、中心マスクＭ[ａ]を作成する際には、領域を例えば中央領域に限定して重複領域を求めても良い。あるいは、中央を含むマスクに限定しても良い。以降の処理では、最終的に作成した中心マスクＭ[ａ]のみを使用する。

また、画像処理装置２２は、図６に示すように、Ｙ画像から３種類の輝度マスクを作成する（ただし、Ｙ画像から４種類以上のマスクを作成しても良い。）。画像処理装置２２は、Ｙ画像の各画素値を入力値とし、補正（例えばガンマ補正）後の各画素値を出力値とする。そして、出力値に応じて３つの区分の２値化画像を生成する。図６に示すように、Ｙ画像のハイライト部分からはＹハイライト２値化画像が生成され、Ｙ画像の中間以上の部分からはＹ中間以上２値化画像が生成され、Ｙ画像のシャドー部分からはＹシャドー２値化画像が生成される。そして、画像処理装置２２は、生成した３種類の２値化画像のそれぞれに対してラベリング処理を行い、不要なマスクを排除することにより、ＹハイライトマスクＭ[Ｙ１]、Ｙ中間以上マスクＭ[Ｙ２]およびＹシャドーマスクＭ[Ｙ３]の各輝度マスクを作成する。

また、画像処理装置２２は、図７に示すように、Ｃｂ画像およびＣｒ画像のそれぞれから、３種類ずつの色マスクを作成する。画像処理装置２２は、Ｃｂ画像に対して、上述した図６の例と同様に、出力値に応じて３つの所定区分の２値化画像を生成する。図７に示すように、Ｃｂ画像からは、青側を中心としたＣｂ青側２値化画像、中間成分を中心としたＣｂ中間２値化画像、黄側を中心としたＣｂ黄側２値化画像が生成される。同様に、Ｃｒ画像からは、赤側を中心としたＣｒ赤側２値化画像、中間成分を中心としたＣｒ中間２値化画像、緑側を中心としたＣｒ緑側２値化画像が生成される。そして、画像処理装置２２は、生成した６種類の２値化画像のそれぞれに対してラベリング処理を行い、不要なマスクを排除することにより、Ｃｂ青側マスクＭ[Ｃｂ１]、Ｃｂ中間マスクＭ[Ｃｂ２]、Ｃｂ黄側マスクＭ[Ｃｂ３]、Ｃｒ赤側マスクＭ[Ｃｒ１]、Ｃｒ中間マスクＭ[Ｃｒ２]、Ｃｒ緑側マスクＭ[Ｃｒ３]の６種類の色マスクを作成する。

また、画像処理装置２２は、図８に示すように、Ｃｂ画像およびＣｒ画像から純色マスクを作成する。純色マスクとは、任意の一定の領域を有する「絶対的に純度の高い被写体」を抽出したマスクである。純色マスクの作成は、公知技術と同様に行われるため説明を省略する。画像処理装置２２は、図８に示すように、Ｃｂ画像およびＣｒ画像から、例えば、純色赤マスクＭ[Ｒ]を作成する。なお、純色赤マスクＭ[Ｒ]以外の純色マスクをさらに作成しても良い。

なお、上述した各マスクの作成時には、適宜２値化画像を生成する例を示したが、２値化画像を生成することなく、多値画像に対するラベリングマスクを直接作成する構成としても良い。

以上説明した処理により、ＣＰＵ２６は、画像処理装置２２を制御して、図５に示した１種類のマスク（中心マスクＭ[ａ]）と、図６に示した３種類の輝度マスクと、図７に示した６種類の色マスクと、図８に示した１種類の純色マスクの合計１１種類のマスクを作成する。

次に、ＣＰＵ２６は、作成した１１種類のマスクから、不要なマスクを排除することにより、被写体領域の抽出に使用するマスクを選択し、選択したマスクについて優先度を決定する。優先度とは、選択したマスクから、最終的な被写体領域の抽出に用いるマスクを決定する際の優先度合を示す。

一般的な画像を対象とした通常のマスク抽出処理であるマスク抽出処理（Ｉ）においては、例えば、図９に示すように、３段階の優先度が予め定められる。優先度１位は、純色マスクである純色赤マスクＭ[Ｒ]であり、優先度２位は、輝度マスクのうちＹハイライトマスクＭ[Ｙ１]、色マスクのうちＣｂ青側マスクＭ[Ｃｂ１]、Ｃｂ黄側マスクＭ[Ｃｂ３]およびＣｒ赤側マスクＭ[Ｃｒ１]であり、優先度３位はその他のマスクである。なお、図９に示す優先度は一例であり、複数段階であれば何段階であっても良い。

また、図９における各マスクの各優先度への振り分けは一例である。図９に示すように、優先度は、色情報に関するマスクの優先度が相対的に高く決定されている。そして、ＣＰＵ２６は、これらの優先度に応じて、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとする。なお、被写体領域を抽出するためのマスクを選択する方法は、公知技術などどのような方法であっても良い。最後に、ＣＰＵ２６は、画像処理装置２２を制御して、選択したマスクに基づいて被写体領域を抽出し、後述するステップＳ１０９に進む。

図２のステップＳ１０５において測光値Ｐａ＜Ｔ２であると判定すると、ステップＳ１０７において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理（II）を行う。マスク抽出処理（II）とは、対象の画像が比較的暗い画像であり、夜景や夕景などに起因して、マスク抽出処理に影響が出る可能性がある画像を対象としたマスク抽出処理である。以下では、ステップＳ１０６で説明したマスク抽出処理（Ｉ）との相違点について説明する。

マスク抽出処理（II）において、ＣＰＵ２６は、対象の画像が比較的暗い画像である場合に好適なマスク抽出処理を行う。一般に、対象の画像が比較的暗い画像である場合には、輝度マスクのうちＹシャドーマスクＭ[Ｙ３]による被写体抽出の精度が低下するため、ＣＰＵ２６は、このＹシャドーマスクＭ[Ｙ３]について、マスク抽出処理（Ｉ）とは異なる処理を行う。また、暗さの度合や特性などに応じて、その他の輝度マスク、純色マスク、色マスクなどについても、マスク抽出処理（Ｉ）とは異なる処理を行う。

ＣＰＵ２６は、画像処理装置２２を制御して、ステップＳ１０６で説明した１１種類のマスクを作成し、作成した１１種類のマスクに対して、被写体領域を抽出するためのマスクを選択する処理を行い、さらに、選択したマスクについて優先度を決定する処理を行う。例えば、ＣＰＵ２６は、上述したＹシャドーマスクＭ[Ｙ３]を、被写体領域を抽出するためのマスクから除くか、または、上述したＹシャドーマスクＭ[Ｙ３]の優先度を低く設定する。また、例えば、ＣＰＵ２６は、ＹハイライトマスクＭ[Ｙ１]の優先度を高く設定する。また、例えば、ＣＰＵ２６は、上述した純色マスクや色マスクを、被写体領域を抽出するためのマスクから除くか、または、上述した純色マスクや色マスクの優先度を低く設定する。

そして、ＣＰＵ２６は、ステップＳ１０６と同様に、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとして選択する。最後に、ＣＰＵ２６は、画像処理装置２２を制御して、選択したマスクに基づいて被写体領域を抽出し、後述するステップＳ１０９に進む。

マスク抽出処理（II）の具体的な処理の一例を、図３のフローチャートを参照して説明する。

ステップＳ２０１において、ＣＰＵ２６は、ステップＳ１０６で説明した１１種類のマスクを作成する。

ステップＳ２０２において、ＣＰＵ２６は、ステップＳ１０３で算出した測光値Ｐａ＜Ｔ３であるか否かを判定する。ＣＰＵ２６は、測光値Ｐａ＜Ｔ３であると判定するとステップＳ２０３に進む。一方、測光値Ｐａ≧Ｔ３であると判定すると、ＣＰＵ２６は、後述するステップＳ２０５に進む。上述したＴ３は、ステップＳ１０４で説明したＴ１、ステップＳ１０５で説明したＴ２と同様に、予め定められた閾値（例えば、ＢＶ＝１．０程度）であり、Ｔ１＞Ｔ２＞Ｔ３である。

上述した測光値Ｐａ＜Ｔ３＜Ｔ２である場合とは、対象の画像が非常に暗く、例えば、夜景などの画像であると推定できる場合である。逆に、Ｔ３≦測光値Ｐａ＜Ｔ２である場合とは、対象の画像が比較的暗く、例えば、夕景などの画像であると推定できる場合である。

ステップＳ２０３において、ＣＰＵ２６は、使用マスクの決定処理（Ａ）を行う。使用マスクの決定処理とは、被写体領域を抽出するためのマスクを選択する処理である。上述したように、測光値Ｐａ＜Ｔ３＜Ｔ２である場合とは、対象の画像が非常に暗く、例えば、夜景などの画像であると推定できる場合である。したがって、ＣＰＵ２６は、使用マスクの決定処理（Ａ）においては、夜景を考慮して使用マスクの決定処理を行う。

ＣＰＵ２６は、ステップＳ２０１で作成した１１種類のマスクのうち、ＹシャドーマスクＭ[Ｙ３]を除く１０種類のマスクを、被写体領域を抽出するためのマスクとして選択する。対象画像が夜景などの画像である場合には、ＹシャドーマスクＭ[Ｙ３]に基づく被写体の抽出は、黒つぶれなどが発生しやすく、困難である。このように使用マスクを決定するのは、対象画像が夜景などの画像であることを鑑みたことによるものであり、マスク抽出処理（Ｉ）と比較して、マスク抽出において、誤検出の可能性が高い輝度に関する特徴量への依存度を下げるためである。

ステップＳ２０４において、ＣＰＵ２６は、優先度の決定処理（Ａ）を行う。優先度の決定処理とは、ステップＳ２０３で説明した使用マスクの決定処理において選択された複数のマスクのうち、最終的に被写体領域の抽出に用いるマスクを決定する際の優先度合を決定する処理である。上述したように、測光値Ｐａ＜Ｔ３＜Ｔ２である場合とは、対象の画像が非常に暗く、例えば、夜景などの画像であると推定できる場合である。したがって、ＣＰＵ２６は、優先度の決定処理（Ａ）においては、夜景を考慮して優先度の決定処理を行う。

ＣＰＵ２６は、ステップＳ２０３で使用マスクとして決定した１０種類のマスクのうち、輝度マスクのうちＹハイライトマスクＭ[Ｙ１] の優先度を相対的に高く決定する。例えば、図１０に示すように、ＹハイライトマスクＭ[Ｙ１]の優先度を優先度１位とし、その他の各マスクの優先度を１つずつ下げる。対象画像が夜景などの画像である場合には、ＹハイライトマスクＭ[Ｙ１]に基づく被写体の抽出を行うことにより、イルミネーションなど、夜景において主要かつ目立つ被写体の抽出を行うことができる。このように優先度を決定するのは、対象画像が夜景などの画像であることを鑑みたことによるものであり、マスク抽出処理（Ｉ）と比較して、マスク抽出において、効果的に作用する輝度に関する特徴量への依存度を上げるためである。

なお、図１０の例において、Ｃｂ青側マスクＭ[Ｃｂ１]の優先度を相対的に下げる構成としても良い。例えば、図１０において、Ｃｂ青側マスクＭ[Ｃｂ１]の優先度を優先度４位、または、５位としても良い。対象画像が夜景などの画像である場合には、青系のパワーが強くなる傾向があり、Ｃｂ青側マスクＭ[Ｃｂ１]に基づく被写体の抽出は、誤検出が発生しやすい。したがって、Ｃｂ青側マスクＭ[Ｃｂ１]の優先度を相対的に下げることにより、このような問題に対処することができる。また、ステップＳ２０３の使用マスクの決定処理（Ａ）において、Ｃｂ青側マスクＭ[Ｃｂ１]を除外する構成としても良い。

ステップＳ２０５において、ＣＰＵ２６は、ステップＳ２０１で作成した１１種類のマスクのうち、Ｃｒ赤側マスクＭ[Ｃｒ１]および純色赤マスクＭ[Ｒ]の輝度値Ｂａを算出する。輝度値Ｂａは、Ｃｒ赤側マスクＭ[Ｃｒ１]により抽出される被写体領域の部分の代表輝度値（平均値など）と、純色赤マスクＭ[Ｒ] により抽出される被写体領域の部分の代表輝度値（平均値など）とを含む。

ステップＳ２０６において、ＣＰＵ２６は、ステップＳ２０５で算出した輝度値Ｂａ≧ＴＡであるか否かを判定する。ＣＰＵ２６は輝度値Ｂａ≧ＴＡであると判定するとステップＳ２０７に進む。一方、輝度値Ｂａ＜ＴＡであると判定すると、ＣＰＵ２６は、後述するステップＳ２０９に進む。上述したＴＡは、Ｃｒ赤側マスクＭ[Ｃｒ１]により抽出される被写体領域の部分の代表輝度値に対する閾値と、純色赤マスクＭ[Ｒ] により抽出される被写体領域の部分の代表輝度値に対する閾値とを含む。なお、ＣＰＵ２６は、Ｃｒ赤側マスクＭ[Ｃｒ１]により抽出される被写体領域の部分の代表輝度値と、純色赤マスクＭ[Ｒ] により抽出される被写体領域の部分の代表輝度値との少なくとも一方が閾値以上の場合に輝度値Ｂａ≧ＴＡであると判定しても良いし、両方について閾値以上である場合に輝度値Ｂａ≧ＴＡであると判定しても良い。

上述した輝度値Ｂａ≧ＴＡである場合とは、対象の画像が比較的暗い夕景などであり、かつ、赤系の色味の強い、例えば、夕焼けなどの画像であると推定できる場合である。逆に、輝度値Ｂａ＜ＴＡである場合とは、対象の画像が比較的暗い夕景などであり、かつ、赤系の色味の強い、例えば、夕焼けなどの画像ではないと推定できる場合である。

なお、対象の画像が夕焼けであるか否かを推定可能であれば、ステップＳ２０５およびステップＳ２０６の処理に代えて、どのような処理を行っても良い。例えば、対象の画像のホワイトバランスに関する情報に基づいて、対象の画像が夕焼けであるか否かを推定する構成としても良いし、Ｃｒ画像やＣｂ画像の色差に関する情報に基づいて、対象の画像が夕焼けであるか否かを推定する構成としても良い。

ステップＳ２０７において、ＣＰＵ２６は、使用マスクの決定処理（Ｂ）を行う。上述したように、輝度値Ｂａ≧ＴＡである場合とは、対象の画像が夕焼けなどの画像であると推定できる場合である。したがって、ＣＰＵ２６は、使用マスクの決定処理（Ｂ）においては、夕焼けを考慮して使用マスクの決定処理を行う。

ＣＰＵ２６は、ステップＳ２０１で作成した１１種類のマスクのうち、ＹシャドーマスクＭ[Ｙ３]と、Ｃｒ赤側マスクＭ[Ｃｒ１]および純色赤マスクＭ[Ｒ]のうち、ステップＳ２０６において輝度値Ｂａ≧ＴＡであると判定されたマスクとを除いたマスクを、被写体領域を抽出するためのマスクとして選択する。以下では、一例として、Ｃｒ赤側マスクＭ[Ｃｒ１]および純色赤マスクＭ[Ｒ]の両方が輝度値Ｂａ≧ＴＡであると判定されたものとして説明を行う。この場合、ＣＰＵ２６は、ステップＳ２０１で作成した１１種類のマスクのうち、ＹシャドーマスクＭ[Ｙ３]と、Ｃｒ赤側マスクＭ[Ｃｒ１]と、純色赤マスクＭ[Ｒ]とを除いた８種類のマスクを、被写体領域を抽出するためのマスクとして選択する。

ＹシャドーマスクＭ[Ｙ３]を除外する理由は、ステップＳ２０３で説明した使用マスクの決定処理（Ａ）と同様である。また、対象画像が夕焼けなどの画像である場合には、Ｃｒ赤側マスクＭ[Ｃｒ１]および純色赤マスクＭ[Ｒ]に基づく被写体の抽出を行うと、背景である夕焼け空の部分が抽出されてしまう可能性が高い。このように使用マスクを決定するのは、対象画像が夕焼けなどの画像であることを鑑みたことによるものであり、マスク抽出処理（Ｉ）と比較して、マスク抽出において、誤検出の可能性が高い色（ここでは赤色）に関する特徴量への依存度を下げるためである。

ステップＳ２０８において、ＣＰＵ２６は、優先度の決定処理（Ｂ）を行う。上述したように、輝度値≧ＴＡである場合とは、対象の画像が夕焼けなどの画像であると推定できる場合である。したがって、ＣＰＵ２６は、優先度の決定処理（Ｂ）においては、夕焼けを考慮して優先度の決定処理を行う。

ＣＰＵ２６は、ステップＳ２０７で使用マスクとして決定した８種類のマスクについて、マスク抽出処理（Ｉ）と同様に優先度を決定する。例えば、図１１に示すように、ＹハイライトマスクＭ[Ｙ１]、Ｃｂ青側マスクＭ[Ｃｂ１]およびＣｂ黄側マスクＭ[Ｃｂ３]の優先度を優先度１位とし、その他の各マスクの優先度を優先度２位とする。

なお、上述したステップＳ２０７において、使用マスクの決定処理（Ｂ）を行う際に、Ｃｒ赤側マスクＭ[Ｃｒ１]および純色赤マスクＭ[Ｒ]のうち、ステップＳ２０６において輝度値Ｂａ≧ＴＡであると判定されたマスクを除外する例を示したが、ステップＳ２０７においてマスクを除外する代わりに、ステップＳ２０８において、該当マスクの優先度を相対的に下げる構成としても良い。また、輝度値Ｂａと閾値ＴＡとの差異の大きさに応じて、使用マスクの決定処理（Ｂ）においてマスクを除外するか、優先度の決定処理（Ｂ）において優先度を下げるかを切り替える構成としても良い。例えば、上述した差異が比較的大きい場合には使用マスクの決定処理（Ｂ）において該当マスクを除外し、上述した差異が比較的小さい場合には優先度の決定処理（Ｂ）において該当マスクの優先度を下げる構成としても良い。

ステップＳ２０９において、ＣＰＵ２６は、使用マスクの決定処理（Ｃ）を行う。上述したように、輝度値Ｂａ＜ＴＡである場合とは、対象の画像が比較的暗い夕景などであり、かつ、赤系の色味の強い、例えば、夕焼けなどの画像ではないと推定できる場合である。したがって、ＣＰＵ２６は、使用マスクの決定処理（Ｃ）においては、夕焼けではない夕景であることを考慮して使用マスクの決定処理を行う。

ＣＰＵ２６は、ステップＳ２０１で作成した１１種類のマスクのうち、ＹシャドーマスクＭ[Ｙ３]を除いた１０種類のマスクを、被写体領域を抽出するためのマスクとして選択する。ＹシャドーマスクＭ[Ｙ３]を除外する理由は、ステップＳ２０３で説明した使用マスクの決定処理（Ａ）と同様である。

ステップＳ２１０において、ＣＰＵ２６は、優先度の決定処理（Ｃ）を行う。上述したように、輝度値Ｂａ＜ＴＡである場合とは、対象の画像が比較的暗い夕景などであり、かつ、赤系の色味の強い、例えば、夕焼けなどの画像ではないと推定できる場合である。したがって、ＣＰＵ２６は、優先度の決定処理（Ｃ）においては、夕焼けではない夕景であることを考慮して使用マスクの決定処理を行う。

ＣＰＵ２６は、ステップＳ２０９で使用マスクとして決定した１０種類のマスクについて、マスク抽出処理（Ｉ）と同様に優先度を決定する。この場合の優先度は、図９に示した例のうち、ＹシャドーマスクＭ[Ｙ３]を除いたものとなる。

ステップＳ２１１において、ＣＰＵ２６は、ステップＳ１０６と同様に、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとして選択する。最後に、ＣＰＵ２６は、画像処理装置２２を制御して、選択したマスクに基づいて被写体領域を抽出する。

図２のステップＳ１０４において測光値Ｐａ≧Ｔ１であると判定すると、ステップＳ１０７において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理（III）を行う。マスク抽出処理（III）とは、対象の画像が比較的明るい画像であり、屋外などの明るいシーンを撮影し、水面の反射や背景の空などマスク抽出処理に影響が出る可能性がある画像を対象としたマスク抽出処理である。以下では、ステップＳ１０６およびＳ１０７で説明した各処理との相違点について説明する。

マスク抽出処理（III ）において、ＣＰＵ２６は、対象の画像が比較的明るい画像である場合に好適なマスク抽出処理を行う。一般に、対象の画像が比較的明るい画像である場合には、輝度マスクのうちＹハイライトマスクＭ[Ｙ１]による被写体抽出の精度が低下するため、ＣＰＵ２６は、このＹハイライトマスクＭ[Ｙ１]について、マスク抽出処理（Ｉ）およびマスク抽出処理（II）とは異なる処理を行う。また、明るさの度合や特性などに応じて、色マスクなどについても、マスク抽出処理（Ｉ）およびマスク抽出処理（II）とは異なる処理を行う。

画像処理装置２２は、ステップＳ１０６で説明した１１種類のマスクを作成し、作成した１１種類のマスクに対して、被写体領域を抽出するためのマスクを選択する処理を行い、さらに、選択したマスクについて優先度を決定する処理を行う。例えば、ＣＰＵ２６は、上述したＹハイライトマスクＭ[Ｙ１]を、被写体領域を抽出するためのマスクから除くか、または、上述したＹハイライトマスクＭ[Ｙ１]の優先度を低く設定する。また、例えば、ＣＰＵ２６は、上述した色マスクを、被写体領域を抽出するためのマスクから除くか、または、上述した色マスクの優先度を低く設定する。

そして、ＣＰＵ２６は、ステップＳ１０６およびステップＳ１０７と同様に、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとして選択する。最後に、ＣＰＵ２６は、画像処理装置２２を制御して、選択したマスクに基づいて被写体領域を抽出し、後述するステップＳ１０９に進む。

マスク抽出処理（III）の具体的な処理の一例を、図４のフローチャートを参照して説明する。

ステップＳ３０１において、ＣＰＵ２６は、ステップＳ１０６で説明した１１種類のマスクを作成する。

ステップＳ３０２において、ＣＰＵ２６は、ステップＳ１０３で算出した測光値Ｐａ＜Ｔ４であるか否かを判定する。ＣＰＵ２６は、測光値Ｐａ＜Ｔ４であると判定するとステップＳ３０３に進む。一方、測光値Ｐａ≧Ｔ４であると判定すると、ＣＰＵ２６は、後述するステップＳ３０５に進む。上述したＴ４は、ステップＳ１０４で説明したＴ１、ステップＳ１０５で説明したＴ２、ステップＳ２０２で説明したＴ３と同様に、予め定められた閾値（例えば、ＢＶ＝１０．０程度）であり、Ｔ４＞Ｔ１＞Ｔ２＞Ｔ３である。

上述したＴ１≦測光値Ｐａ＜Ｔ４である場合とは、対象の画像が比較的明るい画像であると推定できる場合である。逆に、Ｔ１≦Ｔ４≦測光値Ｐａである場合とは、対象の画像が非常に明るい画像であると推定できる場合である。

ステップＳ３０３において、ＣＰＵ２６は、使用マスクの決定処理（Ｄ）を行う。上述したように、Ｔ１≦測光値Ｐａ＜Ｔ４である場合とは、対象の画像が比較的明るい画像であると推定できる場合である。したがって、ＣＰＵ２６は、使用マスクの決定処理（Ｄ）においては、比較的明るい画像であることを考慮して使用マスクの決定処理を行う。

ＣＰＵ２６は、ステップＳ３０１で作成した１１種類のマスクのすべてを、被写体領域を抽出するためのマスクとして選択する。

ステップＳ３０４において、ＣＰＵ２６は、優先度の決定処理（Ｄ）を行う。上述したように、Ｔ１≦測光値Ｐａ＜Ｔ４である場合とは、対象の画像が比較的明るい画像であると推定できる場合である。したがって、ＣＰＵ２６は、優先度の決定処理（Ｄ）においては、比較的明るい画像であることを考慮して優先度の決定処理を行う。

ＣＰＵ２６は、ステップＳ３０３で使用マスクとして決定した１１類のマスクのうち、輝度マスクのうちＹハイライトマスクＭ[Ｙ１] の優先度を相対的に低く設定する。例えば、図１２に示すように、ＹハイライトマスクＭ[Ｙ１]の優先度を優先度３位に下げる。対象画像が比較的明るい画像である場合には、ＹハイライトマスクＭ[Ｙ１]に基づく被写体の抽出は、白飛びなどが発生しやすく、また、空部分のテカリ、水面、金属等への反射を誤検出してしまう場合がある。このように優先度を決定するのは、対象画像が比較的明るい画像であることを鑑みたことによるものであり、マスク抽出処理（Ｉ）やマスク抽出処理（II）と比較して、マスク抽出において、誤検出の可能性が高い輝度に関する特徴量への依存度を下げるためである。

なお、図１２の例において、ＹハイライトマスクＭ[Ｙ１]の優先度をさらに下げる構成としても良い。例えば、図１２において、ＹハイライトマスクＭ[Ｙ１]の優先度を優先度４位としても良い。

ステップＳ３０５において、ＣＰＵ２６は、ステップＳ３０１で作成した１１種類のマスクのうち、Ｃｂ青側マスクＭ[Ｃｂ１]の平均輝度値Ｂｂを算出する。平均輝度値Ｂｂは、Ｃｂ青側マスクＭ[Ｃｂ１]により抽出される被写体領域の部分の平均輝度値である。

ステップＳ３０６において、ＣＰＵ２６は、ステップＳ３０５で算出した平均輝度値Ｂｂ≧ＴＢであるか否かを判定する。ＣＰＵ２６は平均輝度値Ｂｂ≧ＴＢであると判定するとステップＳ３０７に進む。一方、平均輝度値Ｂｂ＜ＴＢであると判定すると、ＣＰＵ２６は、後述するステップＳ３０９に進む。上述したＴＢは、所定の閾値である。

上述した平均輝度値Ｂｂ≧ＴＢである場合とは、対象の画像が非常に明るい画像であり、かつ、青系の色味の強い、例えば、青空などの画像であると推定できる場合である。逆に、平均輝度値Ｂｂ＜ＴＢである場合とは、対象の画像が非常に明るい画像であり、かつ、青系の色味の強い、例えば、青空などの画像ではないと推定できる場合である。

なお、対象の画像が青空であるか否かを推定可能であれば、ステップＳ３０５およびステップＳ３０６の処理に代えて、どのような処理を行っても良い。例えば、対象の画像のホワイトバランスに関する情報に基づいて、対象の画像が青空であるか否かを推定する構成としても良いし、Ｃｒ画像やＣｂ画像の色差に関する情報に基づいて、対象の画像が青空であるか否かを推定する構成としても良い。

ステップＳ３０７において、ＣＰＵ２６は、使用マスクの決定処理（Ｅ）を行う。上述したように、平均輝度値Ｂｂ≧ＴＢである場合とは、対象の画像が青空などの画像であると推定できる場合である。したがって、ＣＰＵ２６は、使用マスクの決定処理（Ｅ）においては、青空を考慮して使用マスクの決定処理を行う。

ＣＰＵ２６は、ステップＳ３０１で作成した１１種類のマスクのうち、輝度マスクのうちＹハイライトマスクＭ[Ｙ１]を除いた１０種類のマスクを、被写体領域を抽出するためのマスクとして選択する。対象画像が青空などの画像である場合には、ＹハイライトマスクＭ[Ｙ１]に基づく被写体の抽出は、白飛びなどが発生しやすく、困難である。このように使用マスクを決定するのは、対象画像が青空などの画像であることを鑑みたことによるものであり、マスク抽出処理（Ｉ）およびマスク抽出処理（II）と比較して、マスク抽出において、誤検出の可能性が高い輝度に関する特徴量への依存度を下げるためである。

ステップＳ３０８において、ＣＰＵ２６は、優先度の決定処理（Ｅ）を行う。上述したように、平均輝度値Ｂｂ≧ＴＢである場合とは、対象の画像が青空などの画像であると推定できる場合である。したがって、ＣＰＵ２６は、優先度の決定処理（Ｅ）においては、青空を考慮して優先度の決定処理を行う。

ＣＰＵ２６は、ステップＳ３０７で使用マスクとして決定した１０類のマスクのうち、Ｃｂ青側マスクＭ[Ｃｂ１]の優先度を相対的に低く設定する。例えば、図１３に示すように、Ｃｂ青側マスクＭ[Ｃｂ１]の優先度を優先度３位に下げる。対象画像が青空の画像である場合には、Ｃｂ青側マスクＭ[Ｃｂ１]に基づく被写体の抽出を行うと、背景である青空の部分が抽出されてしまう可能性が高い。このように優先度を決定するのは、対象画像が青空の画像であることを鑑みたことによるものであり、マスク抽出処理（Ｉ）やマスク抽出処理（II）と比較して、マスク抽出において、誤検出の可能性が高い色（ここでは青色）に関する特徴量への依存度を下げるためである。

なお、図１３の例において、Ｃｂ青側マスクＭ[Ｃｂ１]の優先度をさらに下げる構成としても良い。例えば、図１３において、Ｃｂ青側マスクＭ[Ｃｂ１]の優先度を優先度４位としても良い。

また、ステップＳ３０８においてＣｂ青側マスクＭ[Ｃｂ１]の優先度を相対的に低く設定する代わりに、上述したステップＳ３０７において、使用マスクの決定処理（Ｅ）を行う際に、Ｃｂ青側マスクＭ[Ｃｂ１]を除外する構成としても良い。また、平均輝度値Ｂｂと閾値ＴＢとの差異の大きさに応じて、使用マスクの決定処理（Ｅ）においてマスクを除外するか、優先度の決定処理（Ｅ）において優先度を下げるかを切り替える構成としても良い。例えば、上述した差異が比較的大きい場合には使用マスクの決定処理（Ｅ）において該当マスクを除外し、上述した差異が比較的小さい場合には優先度の決定処理（Ｅ）において該当マスクの優先度を下げる構成としても良い。

ステップＳ３０９において、ＣＰＵ２６は、使用マスクの決定処理（Ｆ）を行う。上述したように、平均輝度値Ｂｂ＜ＴＢである場合とは、対象の画像が非常に明るい画像であり、かつ、青系の色味の強い、例えば、青空などの画像ではないと推定できる場合である。したがって、ＣＰＵ２６は、使用マスクの決定処理（Ｆ）においては、青空ではない明るい画像であることを考慮して使用マスクの決定処理を行う。

ＣＰＵ２６は、ステップＳ３０１で作成した１１種類のマスクのうち、輝度マスクのうちＹハイライトマスクＭ[Ｙ１]を除いた１０種類のマスクを、被写体領域を抽出するためのマスクとして選択する。ＹハイライトマスクＭ[Ｙ１]を除外する理由は、ステップＳ３０７で説明した使用マスクの決定処理（Ｅ）と同様である。

ステップＳ３１０において、ＣＰＵ２６は、優先度の決定処理（Ｆ）を行う。上述したように、平均輝度値Ｂｂ＜ＴＢである場合とは、対象の画像が非常に明るい画像であり、かつ、青系の色味の強い、例えば、青空などの画像ではないと推定できる場合である。したがって、ＣＰＵ２６は、優先度の決定処理（Ｆ）においては、青空ではない明るい画像であることを考慮して優先度の決定処理を行う。

ＣＰＵ２６は、ステップＳ３０９で使用マスクとして決定した１０種類のマスクについて、マスク抽出処理（Ｉ）と同様に優先度を決定する。この場合の優先度は、図９に示した例のうち、ＹハイライトマスクＭ[Ｙ１]を除いたものとなる。

ステップＳ３１１において、ＣＰＵ２６は、ステップＳ１０６と同様に、優先度の高い各マスクを優先しつつ、一定評価値以上のマスクを求め、被写体領域を抽出するためのマスクとして選択する。最後に、ＣＰＵ２６は、画像処理装置２２を制御して、選択したマスクに基づいて被写体領域を抽出する。

なお、ステップＳ１０６からステップＳ１０８で説明した各マスク抽出処理において、ＣＰＵ２６は、画像処理装置２２を制御して、１つの被写体領域のみ抽出しても良いし、複数の被写体領域を抽出しても良い。

ステップＳ１０９において、ＣＰＵ２６は、ステップＳ１０６からＳ１０８の何れかのマスク抽出処理の結果を、被写体情報としてバッファメモリ部２４や記憶部２５等に記録する。被写体情報には、マスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、抽出した被写体領域の位置、被写体領域の大きさや形状などの情報が含まれる。

ステップＳ１１０において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ１１１に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ１０３に戻り、次のフレームの画像に対してステップＳ１０３以降の処理を行う。撮影指示は、例えば、操作部２７のシャッタボタンを介したユーザ操作により行われる。

ステップＳ１１１において、ＣＰＵ２６は、各部を制御して撮影を実行する。このとき、ＣＰＵ２６は、ステップＳ１０９で記録した被写体情報に基づいて撮影を行う。ＣＰＵ２６は、ステップＳ１０９で記録した被写体情報に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行うとともに、画像処理装置２２における各種画像処理の条件等を決定する。

また、マスク抽出処理および被写体情報の記録が完了していない状態で撮影指示が行われてしまった場合には、ＣＰＵ２６は、通常の３Ａ処理を行い、この３Ａ処理の結果に基づいて撮影を実行すればよい。または、マスク抽出処理および被写体情報の記録が完了するまで、撮影指示に関するユーザ操作の受付を禁止しても良い。

ステップＳ１１２において、ＣＰＵ２６は、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。

以上説明したように、本実施形態によれば、処理対象の画像データを取得し、画像データにより示される特徴量を算出し、特徴量に基づいて定まる被写体領域を検出する。さらに、画像データにより示される画像の明るさに関する評価値を算出し、算出した評価値に基づいて、被写体領域の検出方法を決定する。したがって、被写体の明るさに応じて好適な被写体領域の抽出を行うことができる。

特に、本実施形態によれば、対象画像の明るさに関する評価値に応じて各マスクの算出方法（使用マスクの選択等）や各マスクの優先度を変更することにより、被写体に応じたマスクを抽出することができるので、被写体領域抽出の精度を向上させることができる。

また、本実施形態によれば、対象の画像が明るい画像である場合には、輝度に関する特徴量のうち、高輝度部分に基づく特徴量の優先度を、画像が明るい画像でない場合より低く設定して被写体領域の検出を行うか、または、輝度に関する特徴量のうち、高輝度部分に基づく特徴量を非選択とする。画像が明るい画像である場合には、高輝度部分に基づく特徴量による被写体抽出を行うと、空部分のテカリ、水面、金属等への反射などを誤検出してしまう場合がある。しかし、上述した構成とすることにより、被写体領域の検出における輝度情報への依存を適宜抑え、好適な被写体領域の抽出を行うことができる。

また、本実施形態によれば、対象の画像が明るい画像である場合には、色に関する特徴量のうち、少なくとも一種類の青色に関する特徴量の優先度を、画像が明るい画像でない場合より低く設定して被写体領域の検出を行うか、または、色に関する特徴量のうち、少なくとも一種類の青色に関する特徴量を非選択とする。画像が明るい画像である場合には、青色に関する特徴量による被写体抽出を行うと、写り込んだ空の部分などを誤検出してしまう場合がある。しかし、上述した構成とすることにより、被写体領域の検出における色情報への依存を適宜抑え、好適な被写体領域の抽出を行うことができる。

また、本実施形態によれば、対象の画像が暗い画像である場合には、輝度に関する特徴量のうち、高輝度部分に基づく特徴量の優先度を、画像が暗い画像でない場合より高く設定して、被写体領域の検出を行う。画像が暗い画像である場合には、高輝度部分に基づく特徴量による被写体抽出を行うことにより、イルミネーションなど、夜景において主要かつ目立つ被写体の抽出を行うことができる。つまり、上述した構成とすることにより、好適な被写体領域の抽出を行うことができる。

また、本実施形態によれば、対象の画像が暗い画像である場合には、輝度に関する特徴量のうち、低輝度部分に基づく特徴量の優先度を、画像が暗い画像でない場合より低く設定して被写体領域の検出を行うか、または、輝度に関する特徴量のうち、低輝度部分に基づく特徴量を非選択とする。画像が暗い画像である場合には、低輝度部分に基づく特徴量による被写体抽出は、黒つぶれなどが発生しやすく、困難である。しかし、上述した構成とすることにより、被写体領域の検出における輝度情報への依存を適宜抑え、好適な被写体領域の抽出を行うことができる。

また、本実施形態によれば、画像が明るい画像であるか、または、暗い画像であるかの判定を行い、判定の結果と、特徴量に基づく前記被写体領域に関する評価値とに基づいて、複数の特徴量における優先度を決定するか、または、被写体領域の検出に用いる特徴量を選択する。したがって、画像のさらに詳細な特性に応じた被写体領域の検出を行うことができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

上記実施形態では、各マスク抽出処理（図２ステップＳ１０６からＳ１０８）において、１１種類のマスクを作成し、その中から使用するマスクを決定する例を示したが、使用するマスクのみを作成する構成としても良い。この場合、例えば、上述した各マスク抽出処理の最初に使用マスクの決定処理を行い、決定処理の結果に応じて、必要なマスクのみを作成する構成としても良い。

上記実施形態では、各マスク抽出処理（図２ステップＳ１０６からＳ１０８）において、使用するマスクの決定処理と、優先度の決定処理とを行う例を示したが、何れか一方のみ行う構成としても良い。例えば、使用するマスクの決定処理のみを行い、マスク抽出処理に適さないマスクを適宜除くことでマスク抽出処理を最適化する構成としても良いし、優先度の決定処理のみを行い、マスク抽出処理に適したマスクの優先度を相対的に高くするとともに、マスク抽出処理に適さないマスクの優先度を相対的に低くすることでマスク抽出処理を最適化する構成としても良い。

上記各実施形態では、中心マスクＭ[ａ]と、３種類の輝度マスクと、６種類の色マスクと、１種類の純色マスクとの合計１１種類のマスクを作成する例を示したが、本発明はこの例に限定されない。例えば、純色マスクとして、純色青マスクを生成しても良い。この場合、図４のステップＳ３０７およびステップＳ３０８の処理において、純色青マスクを、Ｃｂ青側マスクＭ[Ｃｂ１]に準じて扱えば良い。すなわち、例えば、使用マスク決定処理において純色青マスクを除外したり、優先度の決定処理において純色青マスクの優先度を相対的に低く設定したりすると良い。

対象の画像が非常に明るい画像である場合には、太陽などの光源が写り込んでいる可能性が高く、純色マスクはマスク抽出処理に適さない場合が多い。したがって、例えば、図４のステップＳ３０９およびステップＳ３１０の処理においても、使用マスク決定処理において純色青マスクを除外したり、優先度の決定処理において純色青マスクの優先度を相対的に低く設定したりしても良い。

また、上記の実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記録媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。

また、上記の実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に離散して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。このような処理を行うことにより、処理負荷を軽減することができる。

また、コンピュータと画像処理プログラムとからなる「コンピュータシステム」により、上述した実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図２のステップＳ１０１からステップＳ１０９の処理（図３および図４含む）の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した実施形態と同様の処理を実施することが可能になる。なお、輝度値Ｐａは、取得した処理対象の画像に基づいて求めても良いし、処理対象のタグ情報などに、処理画像を生成した際の測光情報を予め記録しておく構成としても良い。

また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ

Claims (13)

1. 処理対象の画像データを取得する取得部と、
   前記画像データにより示される特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、
   前記画像データにより示される画像の明るさに関する評価値を算出する評価値算出部と、
   前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部と
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記評価値算出部は、前記画像データと、前記画像データが生成された際の測光情報と、前記画像データに基づくシーン解析の結果と、ユーザ指定との少なくとも１つに基づいて、前記評価値を算出する
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記領域検出部は、前記特徴量として複数の特徴量を算出し、前記複数の特徴量に基づいて前記被写体領域を検出し、
   前記制御部は、前記評価値に基づいて、前記複数の特徴量における優先度を決定し、決定した前記優先度に基づいて前記領域検出部による前記被写体領域の検出を行う
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記領域検出部は、前記特徴量として、少なくとも１種類の輝度に関する特徴量を算出し、
   前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか否かを判定し、前記画像が明るい画像である場合には、前記輝度に関する特徴量のうち、前記画像データにより示される画像の高輝度部分に基づく特徴量の前記優先度を、前記画像が明るい画像でない場合より低く設定して、前記領域検出部による前記被写体領域の検出を行う
   ことを特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置において、
   前記領域検出部は、前記特徴量として、少なくとも１種類の色に関する特徴量を算出し、
   前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか否かを判定し、前記画像が明るい画像である場合には、前記色に関する特徴量のうち、少なくとも１種類の青色に関する特徴量の前記優先度を、前記画像が明るい画像でない場合より低く設定して、前記領域検出部による前記被写体領域の検出を行う
   ことを特徴とする画像処理装置。
6. 請求項３に記載の画像処理装置において、
   前記領域検出部は、前記特徴量として、少なくとも１種類の輝度に関する特徴量を算出し、
   前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が暗い画像であるか否かを判定し、前記画像が暗い画像である場合には、前記輝度に関する特徴量のうち、前記画像データにより示される画像の高輝度部分に基づく特徴量の前記優先度を、前記画像が暗い画像でない場合より高く設定して、前記領域検出部による前記被写体領域の検出を行う
   ことを特徴とする画像処理装置。
7. 請求項３に記載の画像処理装置において、
   前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか、または、暗い画像であるかの判定を行い、前記判定の結果と、前記特徴量に基づく前記被写体領域に関する評価値とに基づいて、前記複数の特徴量における優先度を決定する
   ことを特徴とする画像処理装置。
8. 請求項１または請求項２に記載の画像処理装置において、
   前記領域検出部は、前記特徴量として複数の特徴量を算出し、前記複数の特徴量に基づいて前記被写体領域を検出し、
   前記制御部は、前記評価値に基づいて、前記複数の特徴量から、前記領域検出部による前記被写体領域の検出に用いる前記特徴量を選択し、選択した少なくとも１種類の前記特徴量に基づいて前記領域検出部による前記被写体領域の検出を行う
   ことを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記領域検出部は、前記特徴量として、少なくとも１種類の輝度に関する特徴量を算出し、
   前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか否かを判定し、前記画像が明るい画像である場合には、前記輝度に関する特徴量のうち、前記画像データにより示される画像の高輝度部分に基づく特徴量を非選択として、前記領域検出部による前記被写体領域の検出を行う
   ことを特徴とする画像処理装置。
10. 請求項８に記載の画像処理装置において、
    前記領域検出部は、前記特徴量として、少なくとも１種類の輝度に関する特徴量を算出し、
    前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が暗い画像であるか否かを判定し、前記画像が暗い画像である場合には、前記輝度に関する特徴量のうち、前記画像データにより示される画像の低輝度部分に基づく特徴量を非選択として、前記領域検出部による前記被写体領域の検出を行う
    ことを特徴とする画像処理装置。
11. 請求項８に記載の画像処理装置において、
    前記制御部は、前記評価値と所定の閾値とを比較することにより、前記画像が明るい画像であるか、または、暗い画像であるかの判定を行い、前記判定の結果と、前記特徴量に基づく前記被写体領域に関する評価値とに基づいて、前記領域検出部による前記被写体領域の検出に用いる前記特徴量を選択する
    ことを特徴とする画像処理装置。
12. 光学系による像を撮像して画像データを生成する撮像部と、
    前記撮像部により生成した前記画像データにより示される特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、
    前記撮像部により生成した前記画像データにより示される画像の明るさに関する評価値を算出する評価値算出部と、
    前記評価値算出部により算出した前記評価値に基づいて、前記領域検出部による前記被写体領域の検出方法を決定する制御部と
    を備えることを特徴とする撮像装置。
13. コンピュータに、
    処理対象の画像データを取得する取得手順と、
    前記画像データにより示される特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、
    前記画像データにより示される画像の明るさに関する評価値を算出する評価値算出手順と、
    前記評価値算出手順において算出した前記評価値に基づいて、前記領域検出手順における前記被写体領域の検出方法を決定する制御手順と
    を実行させるための画像処理プログラム。

Images