JP2012049628A - 画像処理装置、撮像装置、及び画像処理プログラム - Google Patents

Abstract

【課題】撮像された画像から主要被写体の領域を予測することができる画像処理装置、撮像装置、及び画像処理プログラムを提供する。
【解決手段】画像処理装置１４０は、画像における複数の特徴毎に、当該特徴の特徴量を算出する特徴量算出部１４１と、画像に含まれる領域であって特徴量毎に定まる領域を画像から検出し、識別子を設定する領域検出部１４２と、異なる特徴の特徴量に基づいて検出した領域同士を比較するための評点を、領域毎に算出する評点算出部１４３と、評点に基づいて、画像における領域の優先度を設定する優先度設定部１４４と、を備える。
【選択図】図１

Description

本発明は、画像に含まれる領域を識別する画像処理装置、撮像装置、及び画像処理プログラムに関する。

画像の特徴量のヒストグラムに基づいて、撮像された画像から領域を抽出し、抽出した領域を識別する画像処理装置が開示されている（特許文献１参照）。

特開平４−１００７９号公報

しかしながら、特許文献１に開示された画像処理装置は、撮像された画像から人が注目する領域を抽出すること、すなわち、主要被写体の領域を予測することができなかった。

本発明は、前記の点に鑑みてなされたものであり、撮像された画像から主要被写体の領域を予測することができる画像処理装置、撮像装置、及び画像処理プログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、画像における複数の特徴毎に、当該特徴の特徴量を算出する特徴量算出部と、前記画像に含まれる領域であって前記特徴量毎に定まる領域を前記画像から検出し、識別子を設定する領域検出部と、異なる前記特徴の前記特徴量に基づいて検出された前記領域同士を比較するための評点を、前記領域毎に算出する評点算出部と、前記評点に基づいて、前記画像における前記領域の優先度を設定する優先度設定部と、を備えることを特徴とする画像処理装置である。

また、本発明は、光学系による像を撮像し、撮像した画像を出力する撮像部と、前記画像における複数の特徴毎に、当該特徴の特徴量を算出する特徴量算出部と、前記画像に含まれる領域であって前記特徴量毎に定まる領域を前記画像から検出し、識別子を設定する領域検出部と、異なる前記特徴の前記特徴量に基づいて検出された前記領域同士を比較するための評点を、前記領域毎に算出する評点算出部と、前記評点に基づいて、前記画像における前記領域の優先度を設定する優先度設定部と、を備えることを特徴とする撮像装置である。

また、本発明は、コンピュータに、画像における複数の特徴毎に、当該特徴の特徴量を検出する手順と、前記画像に含まれる領域であって前記特徴量毎に定まる領域を前記画像から検出し、識別子を設定する手順と、異なる前記特徴の前記特徴量に基づいて検出された前記領域同士を比較するための評点を、前記領域毎に算出する評点算出部と、前記評点に基づいて、前記画像における前記領域の優先度を設定する優先度設定部と、を実行させるための画像処理プログラムである。

本発明によれば、画像処理装置は、撮像された画像から主要被写体の領域を予測することができる。

レンズ鏡筒１１１と、画像処理装置１４０を備える撮像装置１００と、記憶媒体２００との構成を示すブロック図である。 画像処理装置１４０における画像処理の概要を示すフローチャートである。 スルー画像において被写体をフレーミングし、被写体像をトラッキングする場合における画像処理装置１４０の画像処理手順を示すフローチャートである。 ＣＰＵ１９０が操作部１８０を介して撮影指示を受け付けた場合に、画像処理装置１４０が実行する画像処理の手順を示すフローチャートである。 スルー画像において、移動する被写体像の領域に、領域検出部１４２が「動きラベル」を設定する処理の手順を示すフローチャートである。 スルー画像において、移動する被写体像を追尾する場合に、領域検出部１４２が「動きラベル」を設定する処理の手順を示すフローチャートである。 スルー画像において、降雪、降雨、又は噴水などが撮像されている場合に、領域検出部１４２が「動きラベル」を設定する処理の手順を示すフローチャートである。 彩度Ｓ（Ｃ）及び色相ｈの特徴量毎に検出した領域にラベル付けするラベリング処理の手順を示すフローチャートである。 彩度Ｓ（Ｃ）のヒストグラムと、その部分拡大図である。 領域毎に評点を算出する処理の手順を示すフローチャートである。 優先ラベル（高い優先度及び評点）を設定した領域に、合焦させる処理の手順を示すフローチャートである。 領域３０と、コントラストＡＦ領域４０と、色相コントラストとが示された図である。 領域３０と、コントラストＡＦ領域４０とが示された図である。 領域３０の境界（外周）を含む範囲に設定したコントラストＡＦ領域４０においてエッジを検出する処理を説明するための図である。 領域検出部１４２が検出した領域３１と、領域３１に設定したコントラストＡＦ領域４１と、領域検出部１４２が検出した領域３２と、領域３２に設定したコントラストＡＦ領域４２と、が示された図である。 領域検出部１４２が検出した領域と、評点算出部１４３が算出した評点と、領域検出部１４２が設定したコントラストＡＦ領域との一例を示す図である。 色相に基づいて領域を検出する処理手順を示すフローチャートである。 色相ヒストグラムの一例が示された図である。 明度の特徴量に基づいて領域を検出する処理手順を示すフローチャートである。 角度検出オペレータにより検出するテクスチャに基づいて、領域を検出する処理手順を示すフローチャートである。 角度２２.５度ごとにエッジを検出するための８パターンの角度検出オペレータを示す図である。 エッジの角度毎に、エッジの特徴量（パワー値、ΣＰ）を示すヒストグラムの例を示す図である。 テクスチャに基づいて領域検出部１４２が検出した領域の例を示す図である。 ＤＣＴ係数に基づいて、領域検出部１４２が領域を検出する処理手順を示すフローチャートである。 ＤＣＴ係数に基づいて、領域検出部１４２が領域を検出する処理を説明するための図である。 高周波帯域のＤＣＴ係数に基づいて、領域検出部１４２が検出した領域の評点に、評点算出部１４３が評点を加算する処理を説明するための図である。 エッジの特徴量に基づいて、領域検出部１４２が領域を検出する処理手順を示すフローチャートである。 ラベル又は優先度（評点）に基づく露光（ＡＥ）処理の手順を示すフローチャートである。 ラベル又は優先度（評点）に基づくホワイトバランス調整（ＡＷＢ）処理の手順を示すフローチャートである。 画像処理装置１４０による画像の再生表示を含めた基本的な画像処理手順を示すフローチャートである。 ラベル又は優先度（評点）に基づく再生表示の手順を示すフローチャートである。 ラベル又は優先度（評点）に基づく再生表示の手順を示すフローチャートである。 領域を結合する処理、及び領域を分割する処理の手順を示すフローチャートである。 第１の特徴の特徴量に基づいて検出した第１の領域５０と、第２の特徴の特徴量に基づいて検出した第２の領域５１とを示す図である。 デプスマップの例を示す図である。 領域検出部１４２が検出した領域の結合処理及びグルーピング処理を説明するための図である。 領域検出部１４２が検出した領域の分割処理を説明するための図である。 領域検出部１４２が、領域の射影に基づいて、背景を示す領域を検出する処理の手順を示すフローチャートである。 背景を示す領域を検出する処理を説明するための図である。 背景を示す領域を検出する処理を説明するための図である。 焦点調整（ＡＦ）領域が固定されている場合における合焦動作の手順を示すフローチャートである。 夜景Ｐを撮像する場合における合焦動作の手順を示すフローチャートである。 夜景Ｐを撮像する場合における、顔検出ができる場合と、顔検出ができない場合との合焦動作の手順を示すフローチャートである。

［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、レンズ鏡筒１１１と、画像処理装置１４０を備える撮像装置１００と、記憶媒体２００との構成がブロック図で示されている。撮像装置１００は、レンズ鏡筒１１１から入射される光学像を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体２００に記憶させる。

まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、鏡筒制御部１１８を備える。なお、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。

ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、後述する撮像部１１０の撮像素子１１９の受光面（光電変換面）に、光学像を導く。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の移動を検出し、ＡＦレンズ１１２の移動量に応じた信号を、鏡筒制御部１１８に出力する。ここで、ＡＦレンズ１１２の移動量に応じた信号とは、例えば、ＡＦレンズ１１２の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。

鏡筒制御部１１８は、撮像装置１００のＣＰＵ１９０から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。鏡筒制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力するパルス電圧のステップ数を変更する。

また、鏡筒制御部１１８は、ＡＦレンズ１１２の移動量に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、ＣＰＵ１９０に出力する。ここで、鏡筒制御部１１８は、例えば、ＡＦレンズ１１２の移動量に応じた信号を、ＡＦレンズ１１２の移動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の移動量（位置）を算出してもよい。

レンズ駆動部１１６は、鏡筒制御部１１８の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に移動させる。

次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、画像処理装置１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０とを備える。

撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備える。撮像部１１０は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。

撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。撮像素子１１９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）で構成されていてもよい。また、撮像素子１１９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。

また、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介してユーザからの撮影指示を受け付けていない状態において、連続的に得られる画像をスルー画像として、バッファメモリ部１３０及び表示部１５０に、Ａ／Ｄ変換部１２０を介して出力する。

Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１３０に出力する。

操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ１９０に出力する。

画像処理装置１４０は、記憶部１６０に記憶されている画像処理条件に基づいて、バッファメモリ部１３０に一時的に記憶されている画像を画像処理する。そして、画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。また、画像処理装置１４０は、バッファメモリ部１３０に一時的に記憶されている画像から、画像の特徴の特徴量毎に定まる領域と、後述する「領域の情報（ラベル属性）」とを検出する。そして、画像処理装置１４０は、画像の特徴の特徴量毎に定まる領域と、領域の情報とを対応付けて、記憶部１６０及び記憶媒体２００に記憶させる。

ここで、領域の情報（ラベル属性）とは、例えば、画像における領域の分布（位置、形状（慣性モーメント））、面積、数、被写体距離（デフォーカス量）、動きベクトル（差分データ）、色相、彩度、明度、テクスチャ（模様）、エッジ、ＡＦコントラスト評価値、設定したフラグ、設定したラベル（識別子）、算出した評点、及び設定した優先度などである。これらについては、画像処理装置１４０の説明で後述する。

なお、特徴量は、例えば、統計的（Ｓｔａｔｉｓｔｉｃｓ）な特徴量、又は動的（Ｄｙｎａｍｉｃｓ）な特徴量であってもよい。

表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像、及び操作画面等を表示する。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像を、一時的に記憶する。

記憶部１６０は、シーン判定の際にＣＰＵ１９０によって参照される判定条件と、シーン判定によって判断されたシーン毎に対応付けられた撮像条件と、領域の情報等とを記憶する。

ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に従って撮像部１１０を制御する。また、ＣＰＵ１９０は、領域の情報を、記憶部１６０又は記憶媒体２００から取得する。

そして、ＣＰＵ１９０は、領域の情報に基づいて、プレ処理又はポスト処理として、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、被写体像（オブジェクト）の追尾の設定、夜景か否かの判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。

また、ＣＰＵ１９０は、領域の情報に基づいて、トーンカーブ（階調カーブ）の設定、静止画及び動画の同時撮影を実行するか否かの設定などを制御する。

また、ＣＰＵ１９０は、領域の情報に基づいて、プレ処理又はポスト処理として、連写するか否かの設定、及び、連写において、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置１００の発光部（不図示）が発光する閃光の発光量の変更の設定、露光量の変更の設定、又はシャッタスピードの変更を実行するか否かの設定などを制御する。

また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画又は動画として、画像処理装置１４０に画像を画像処理させる。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。

次に、画像処理装置１４０の詳細について説明する。
画像処理装置１４０は、特徴量算出部１４１と、領域検出部１４２と、評点算出部１４３と、優先度設定部１４４とを備える。

特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。そして、特徴量算出部１４１は、バッファメモリ部１３０から取得した画像における複数の特徴（例えば、色相、彩度、明度、テクスチャ、エッジ等）毎に、その特徴量を算出し、算出した特徴量を領域検出部１４２に出力する。

領域検出部１４２は、特徴量算出部１４１が算出した特徴量を取得する。また、領域検出部１４２は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する。そして、領域検出部１４２は、取得した画像に含まれる領域であって特徴量毎に定まる領域を、画像から検出する。ここで、領域検出部１４２が検出する領域は、例えば、撮像部１１０が撮像した画像に含まれる被写体像の領域でもよいし、また、例えば、記憶媒体２００に記憶されていた画像に含まれる被写体像の領域でもよい。

さらに、領域検出部１４２は、特徴量毎に検出した画像に含まれる領域を識別するラベル（識別子）を設定する（ラベリング処理）。ここで、ラベルとは、特徴量が互いに近い画素により構成された領域であって、グループ化された領域（集合）である。また、ラベリングとは、特徴量が互いに近い（例えば、彩度ｈ＝０〜２０度に該当する）画素に隣接する領域を、順次検出してグループ化することである。例えば、輝度値（Ｙ）＝１２８±３０である領域を検出し（ラベリング）、検出したラベルに名称（例えば、ラベル１、ラベル２、…）をつけるのが一般的である。

領域を検出するための特徴量には、動きベクトル、色相、彩度、明度、テクスチャ・エッジ、距離（デプス、デプスマップ、デフォーカス量）、及び、画像におけるコントラスト（例えば、隣接する画素のコントラスト）などがある。領域検出部１４２は、これら１種類以上の各評価値を特徴量とし、ラベリングすることで、領域（ラベル）を検出する。

また、例えば、色相を特徴量とした場合に、その特徴量に基づいて複数の領域が検出されたとすると、領域検出部１４２は、これら複数の領域について、位置、形状、かたまり度（慣性モーメント）、大きさ、異質度・違和感（ある評価値における特異の程度）などを評価する。また、これら評価結果に基づいて、各領域の優先度が設定される。ここで、異質度とは、特徴量のヒストグラムにおける、特異な分布の度合いである。例えば、緑の背景に一輪の赤い花が咲いている画像を、色相に基づいて評価した場合、赤い色相は、色相のヒストグラムにおいて、特異に分布する。

また、領域検出部１４２は、特徴量のコントラスト値に基づいて、特徴量毎に検出した領域をラベリングしてよい。また、領域を識別するラベルは、例えば、主要な被写体像の領域であるか否か、を識別するラベルであってもよい。また、領域検出部１４２は、各特徴量のヒストグラムの分布について、その特徴量をいくつかの値域に区分し、値域毎に画像をビットマップ（ＢＭＰ）に変換して、変換したビットマップをラベリングする。

ここで、主要な被写体像とは、例えば、奥行のある（パースペクティブ）画像において被写体距離が短い（至近側に撮像された）被写体像、一定時間以上静止している被写体像、色相が肌色である被写体像、画角からはみ出していない被写体像、特徴量のヒストグラムで特異な分布をしている値若しくは値域の被写体像、領域の「かたまり度」が高い（慣性モーメントが小さい）被写体像などである。なお、主要な被写体像の領域であるかの条件は、適宜定められてよい。

そして、領域検出部１４２は、領域を識別するラベルを、領域の情報として、領域毎に記憶部１６０及び記憶媒体２００に記憶させる。

評点算出部１４３は、異なる特徴（例えば、色相と彩度）の特徴量毎に基づいてラベリングした領域同士を比較するための評点を、ラベル毎に算出する（評点算出処理）。そして、評点算出部１４３は、算出した評点を、優先度設定部１４４に出力する。

優先度設定部１４４は、評点算出部１４３が算出した評点に基づいて、画像における「領域の優先度」を設定する。この「領域の優先度」とは、人がより注目しているであろう領域の優先度である。優先度設定部１４４は、設定した「領域の優先度」を、領域の情報として、領域毎に記憶部１６０及び記憶媒体２００に記憶させる。

領域の優先度は、次のように定められてもよい。以下では、優先度を示す数字が小さいほど、領域の優先度が高いものとする。なお、以下に示す優先度は、一例である。

優先度１．
動いている領域（動いている領域が画像に複数ある場合、画角からはみ出していない領域、又は画角の中央に分布する領域）。また、パンニングしたことにより、動いている領域が画像に広く分布している場合は、動いていない領域。
これらの領域は、優先度「１」に設定される。
人は、動いている領域及びパンニングした際に変化量の少ない領域に注目するためである。

優先度２．
画角（構図）、奥行（パースペクト）、被写体距離（デプス、深度）に関する領域。画角の中央付近に分布する領域。画像に奥行がある場合、至近側に分布する領域のうち、画角からはみ出していない領域であって、面積が所定の範囲内である（極端に大きくない）領域。
これらの領域は、優先度「２」に設定される。
主要な被写体像の領域が、至近から無限までの広い範囲に存在する可能性があるためである。

優先度３．
顔検出、顔が検出された領域における肌色検出、動物の毛並みのテクスチャ（模様）、又は植物のテクスチャに基づいて検出した領域。
これらの領域は、優先度「３」に設定される。
人や動物が撮像されている場合、人は、顔に注目するためである。

優先度４．
特異である特徴量（例えば、色相環において不連続である色相）がある領域。背景の領域とそれ以外の領域とに分割された領域。彩度が高い領域。周囲と比較して明度が著しく異なる領域。周囲と比較して色相（色合い）が著しく異なる領域。テクスチャ（模様）が周囲と異なる領域。周囲と比較して空間周波数（画像周波数）が高い領域。ある特徴量において不連続な分布が一定量あり、その特徴量に基づいてラベリングされた結果、領域が形成された場合に、画像において違和感がある領域。
これらの領域は、優先度「４」に設定される。

優先度５．
特定の色相又は彩度に基づいて検出した領域。
これらの領域は、優先度「５」に設定される。
人は、赤色、黄色、肌色の領域に注目するためである。

優先度６．
明度（明暗）に基づいて検出した領域。
これらの領域は、優先度「６」に設定される。

優先度７．
テクスチャ（模様）に基づいて検出した領域。
これらの領域は、優先度「７」に設定される。

優先度８．
空間周波数（画像周波数）に基づいて検出した領域。
これらの領域は、優先度「８」に設定される。

優先度９．
縦又は横に延びたエッジで囲まれた領域であって、一定以上の太さがある領域。
これらの領域は、優先度「９」に設定される。

次に、画像処理装置１４０における画像処理を説明する。
図２には、画像処理装置１４０における画像処理の概要が、フローチャートで示されている。まず、画像処理装置１４０は、スルー画像を取得する。ここで、画像処理装置１４０は、時間的に連続するスルー画像（スルー画列）を取得してもよい（ステップＳ１）。そして、画像処理装置１４０は、プリマティブな画像処理をスルー画像に施す（ステップＳ２）。ここで、プリマティブな画像処理とは、例えば、簡易的な露出調整（簡易ＡＥ）、ホワイトバランス調整（ＡＷＢ）、ノイズリダクション（ＮＲ）である。

特徴量算出部１４１は、画像の特徴から、その特徴毎に特徴量を算出する（ステップＳ３）。そして、領域検出部１４２は、特徴量毎（例えば、特徴が色相である場合、緑色、赤色ごと）に画像から領域を検出する。そして、領域検出部１４２は、「特徴量の相関」又は「領域間の特徴量の相対距離」などに基づいて、領域とその周囲の領域とで特徴量が異なる度合い（違和感）を検出する（ステップＳ４）。

また、領域検出部１４２は、特徴量算出部１４１が算出した特徴量に基づいてラベリングする。例えば、領域検出部１４２は、色相軸での相対距離が離れている領域の特徴量にてラベリングし、領域とその周囲の領域とで特徴量が異なる度合い（違和感）を検出することで、撮像された緑色の草原に数本の赤色の花を検出する（ステップＳ４ａ）。また、特徴量算出部１４１は、ラベルが有効か否かを判定する（ステップＳ４ｂ）。

さらに、特徴量算出部１４１は、領域とその周囲とで特徴量が異なる度合いに基づいて、後段処理で使用する特徴量を選択する。例えば、特徴量算出部１４１は、領域とその周囲とで異なる度合いが大きい特徴量を、後段処理で使用する特徴量とする。例えば、領域とその周囲とで、「色相」が大きく異なる場合、特徴量算出部１４１は、「色相の特徴量」を後段処理で使用させる（ステップＳ５）。

領域検出部１４２は、特徴量毎に検出した領域に、その領域を識別するラベルを設定する。また、領域検出部１４２は、設定したラベルを、領域の情報として、領域毎に記憶部１６０に記憶させる（ステップＳ６）。

また、評点算出部１４３は、領域検出部１４２が検出した領域毎に評点を算出し、領域の情報として、記憶部１６０及び記憶媒体２００に記憶させる（ステップＳ７）。そして、優先度設定部１４４は、評点算出部１４３が算出した評点に基づいて、領域検出部１４２が検出した領域の優先度を設定し、領域毎に記憶部１６０及び記憶媒体２００に記憶させる（ステップＳ８）。

さらに、領域検出部１４２は、検出した領域を整形する。例えば、領域検出部１４２は、領域におけるフォーカス用色調のコントラスト評価値が予め定められた閾値以上になるように、領域を整形（拡張）する（ステップＳ９）。そして、領域検出部１４２は、「領域の情報」を更新し、記憶部１６０及び記憶媒体２００に記憶させる（ステップＳ１０）。

ＣＰＵ１９０は、記憶部１６０から、領域の情報（ラベル）を取得する。そして、ＣＰＵ１９０は、領域検出部１４２が領域に設定した「ラベル」に基づいて、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、被写体像の追尾の設定、撮影シーン（例えば、夜景か否か）の判定の設定、色補正処理の設定、被写体像の拡大表示の設定、パンニング表示の設定、ズーム倍率に連動した明るさの最適化の設定、などを制御する。

また、ＣＰＵ１９０は、領域検出部１４２が領域に設定した「ラベル」に基づいて、トーンカーブ（階調カーブ）の設定、静止画及び動画の同時撮影（同時録画）を実行するか否かの設定などを制御する。

また、ＣＰＵ１９０は、領域検出部１４２が領域に設定した「ラベル」に基づいて、連写するか否かの設定、及び、連写において、合焦させる被写体像の切り替えの設定、焦点距離の連続変更の設定、撮像装置１００の発光部（不図示）が発光する閃光の発光量の変更の設定、露光量の変更の設定、又はシャッタスピードの変更を実行するか否かの設定などを制御する。

また、ＣＰＵ１９０は、記憶部１６０から、領域の情報（領域の優先度）を取得し、優先度設定部１４４が設定した「領域の優先度」に基づいて、これらの処理を制御してもよい（ステップＳ１１）。

そして、ＣＰＵ１９０は、操作部１８０を介してユーザからの撮影指示を受け付けた場合、撮像部１１０に撮像させる（ステップＳ１２）。さらに、画像処理装置１４０は、領域の情報に基づいて、後段処理（画像処理）を実行する（ステップＳ１３）。そして、領域検出部１４２は、領域の情報を、画像（領域）と対応付けて記憶部１６０及び記憶媒体２００に記憶させる（ステップＳ１４）。

図３には、撮像装置１００がスルー画像において被写体をフレーミングし、被写体像を追尾（トラッキング）する場合における、画像処理装置１４０の画像処理の手順が、フローチャートで示されている。なお、優先ラベル、及び評点がある程度高いラベルが画像に無い（主要被写体がどれか判り難い）場合、撮像装置１００は、３Ａ（ＡＦ、ＡＷＢ、ＡＥ）処理に移行する。又は、撮像装置１００は、コントラストＡＦ領域と評点の低いラベルのコントラストＡＦ領域とを併用し、至近に撮像された領域かつＡＦコントラスト評価値のピークが高い領域を、優先度の高い領域として採用する。

まず、画像処理装置１４０は、スルー画像を取得する。ここで、画像処理装置１４０は、時間的に連続するスルー画像（スルー画列）を取得してもよい（ステップＳａ１）。そして、画像処理装置１４０は、プリマティブな画像処理（例えば、簡易的な露出調整）をスルー画像に施す（ステップＳａ２）。

ＣＰＵ１９０は、焦点調整（ＡＦ）を実行する。ここで、ＣＰＵ１９０は、コントラストスキャンを実行し、ＡＦコントラスト評価値がピークを示したレンズ位置を、画像の部分（ブロック）毎に、記憶部１６０に記憶させる（ステップＳａ３）。

なお、ＣＰＵ１９０は、ＡＦコントラスト評価値がピークを示したレンズ位置に基づいて、画像における被写体距離の分布を示すデプスマップを作成してもよい。デプスマップについては、図３５を用いて後述する。

そして、ＣＰＵ１９０は、撮像部１１０に、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、ＣＰＵ１９０は、画像処理装置１４０に、ノイズ低減処理（ＮＲ）、及びホワイトバランス調整（ＡＷＢ）を実行させる（ステップＳａ４）。

特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得し、取得した画像における特徴量として、動きベクトル（動き量、及び動き方向）を算出する（ステップＳａ５）。そして、特徴量算出部１４１は、動き量が予め定められた閾値以上であるか否かを判定する（ステップＳａ６）。

動き量が予め定められた閾値以上である場合（ステップＳａ６−ＹＥＳ）、領域検出部１４２は、動き量が予め定められた閾値以上である領域に、「動きラベル」を設定する（ステップＳａ７）。ここで、動きラベルとは、動きベクトルに基づいて検出した領域であることを示すラベルである。領域検出部１４２が「動きラベル」を設定する処理については、図５〜７を用いて後述する。さらに、画像処理装置１４０は、画像処理した画像を、動画として、記憶媒体２００に記憶させる（ステップＳａ８）。そして、画像処理装置１４０の処理は、ステップＳａ１０に進む。

一方、ステップＳａ６において、動き量が予め定められた閾値以上でない場合（ステップＳａ６−ＮＯ）、領域検出部１４２は、特徴量毎に領域を検出し、検出した領域にラベルを設定する（ラベリング処理）。そして、領域検出部１４２は、ラベル（識別子）を領域の情報として、領域毎に記憶部１６０に記憶させる。

評点算出部１４３は、異なる特徴（例えば、色相と彩度）の特徴量に基づいて検出した領域同士を比較するための評点を、領域毎に算出する（ステップＳａ９）。評点算出部１４３が領域毎に評点を算出する処理については、図８〜１０を用いて後述する。

特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得する（ステップＳａ１０）。そして、特徴量算出部１４１は、取得した画像における動きベクトル（動き量、及び動き方向）を算出する（ステップＳａ１１）。

特徴量算出部１４１は、領域検出部１４２が検出した領域以外の領域で、画像に変化があるか否かを、算出した動きベクトルに基づいて判定する。領域検出部１４２が検出した領域以外の領域で、画像に変化がある場合（ステップＳａ１２−ＹＥＳ）、画像処理装置１４０の処理は、ステップＳａ７に戻る。特徴量算出部１４１は、算出した動きベクトルに基づいて、さらに、画像が動いている範囲が画像の全域か否かを判定する。画像が動いている範囲が画像の全域である場合（ステップＳａ１２−ＹＥＳ）も同様に、画像処理装置１４０の処理は、ステップＳａ７に戻る。

一方、ステップＳａ１２において、領域検出部１４２が検出した領域以外の領域で、画像に変化がなく、かつ、画像が動いている範囲が、画像の全域でない場合（ステップＳａ１２−ＮＯ）、特徴量算出部１４１は、領域検出部１４２が検出した領域毎に、動きベクトル以外の特徴量を検出し、評点算出部１４３に出力する。そして、評点算出部１４３は、領域検出部１４２がラベルを付けた領域毎に、評点を算出する。

さらに、優先度設定部１４４は、評点算出部１４３が算出した評点に基づいて、画像における領域の優先度を設定する（ステップＳａ１３）。優先度設定部１４４が領域に優先度を設定する処理については、図１１〜１６を用いて後述する。そして、優先度設定部１４４は、領域の優先度をＣＰＵ１９０に出力する。

ＣＰＵ１９０は、領域検出部１４２が領域に付けた「ラベル」に基づいて、領域検出部１４２が検出した領域に対して、焦点調整（ＡＦ）を制御する。例えば、ＣＰＵ１９０は、「主要な被写体像の領域であることを識別するラベル」が付いた領域に対して、優先的に合焦するように、焦点調整を制御する。

また、ＣＰＵ１９０は、優先度設定部１４４が設定した「領域の優先度」に基づいて、領域検出部１４２が検出した領域に対して、焦点調整（ＡＦ）を制御してもよい。例えば、ＣＰＵ１９０は、優先度が最も高く設定された領域を、主要な被写体像の領域として、その領域に対して優先的に合焦するように、焦点調整を制御してもよい（ステップＳａ１４）。

ＣＰＵ１９０は、領域検出部１４２が明度の階調に基づいて領域に付けたラベルに基づいて、領域検出部１４２が検出した領域に対して、露出調整（ＡＥ）を制御する。例えば、ＣＰＵ１９０は、「主要な被写体像の領域であることを識別するラベル」が付いた領域に対して、最適な露出量となるように、露出調整を制御する。

また、ＣＰＵ１９０は、優先度設定部１４４が明度の階調に基づいて設定した「領域の優先度」に基づいて、領域検出部１４２が検出した領域に対して、露出調整（ＡＥ）を制御してもよい。例えば、ＣＰＵ１９０は、優先度が最も高く設定された領域を、主要な被写体像の領域として、その領域に対して最適な露出量となるように、露出調整を制御してもよい（ステップＳａ１５）。

ＣＰＵ１９０は、領域検出部１４２が「領域の情報（例えば、白色）」に基づいて領域に付けた「ラベル」に基づいて、領域検出部１４２が検出した領域に対して、ホワイトバランス調整（ＡＷＢ）を制御する。例えば、ＣＰＵ１９０は、「主要な被写体像の領域であることを識別するラベル」が付いた領域に対して、最適なホワイトバランスとなるように、ホワイトバランス調整を制御する。

また、ＣＰＵ１９０は、優先度設定部１４４が「領域の情報（例えば、白色）」に基づいて設定した「領域の優先度」に基づいて、領域検出部１４２が検出した領域に対して、ホワイトバランス調整（ＡＷＢ）を制御してもよい。例えば、ＣＰＵ１９０は、優先度が最も高く設定された領域を、主要な被写体像の領域として、その領域に対して最適なホワイトバランスとなるように、ホワイトバランス調整を制御してもよい（ステップＳａ１６）。

ＣＰＵ１９０は、領域検出部１４２が明度の階調に基づいて領域に付けた「ラベル」に基づいて、領域検出部１４２が検出した領域に対して、画像のシーン判定を実行する。例えば、ＣＰＵ１９０は、「主要でない被写体像の領域であることを識別するラベル」が付いた領域を、点光源が撮像された領域として、点光源の領域の分布に基づいて、夜景が撮像された画像であるか否かを判定する。

また、ＣＰＵ１９０は、優先度設定部１４４が明度の階調に基づいて設定した「領域の優先度」に基づいて、画像のシーンを判定してもよい。例えば、ＣＰＵ１９０は、優先度が最も低く設定された領域を、点光源が撮像された領域として、点光源の領域の分布に基づいて、夜景が撮像された画像であるか否かを判定してもよい（ステップＳａ１７）。

そして、画像処理装置１４０の処理は、ステップＳａ１０及びステップＳａ１８に進む。このようにして、画像処理装置１４０は、ステップＳａ１０〜ステップＳａ１７の処理を繰り返す。

画像処理装置１４０がステップＳａ１０〜ステップＳａ１７の処理を繰り返す間、ＣＰＵ１９０は、撮像部１１０に、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、ＣＰＵ１９０は、画像処理装置１４０に、ノイズ低減処理（ＮＲ）、ホワイトバランス調整（ＡＷＢ）、トーンカーブ（階調カーブ）設定、Ｒｅｔｉｎｅｘ（階調補正）処理、色補正処理、レンダリング、エッジ強調処理を実行させる（ステップＳａ１８）。

画像処理装置１４０は、検出した領域を追尾するための演算を実行する範囲である「トラッキングエリア」を示す枠の画像を、バッファメモリ部１３０に出力する（ステップＳａ１９）。また、画像処理装置１４０は、トラッキングエリアを示す枠の画像を重畳（オーバーレイ）させた画像を、表示部１５０に表示させる。このように、画像処理装置１４０は、ステップＳａ１０〜１７に示す処理と並列に、ステップＳａ１８〜ステップＳａ２０の処理を繰り返す。

画像処理装置１４０がステップＳａ１０〜ステップＳａ１７の処理を繰り返すループにおいて、ＣＰＵ１９０は、操作部１８０を介してユーザからの撮影指示を受け付ける。
図４には、ＣＰＵ１９０が操作部１８０を介して撮影指示を受け付けた場合に、画像処理装置１４０が実行する画像処理の手順が、フローチャートで示されている。

ＣＰＵ１９０は、操作部１８０を介してユーザからの撮影指示を受け付けた（検出した）場合、撮影指示を受け付けたことを示す信号を、画像処理装置１４０に出力する（ステップＳｂ１）。撮影指示を受け付けたことを示す信号をＣＰＵ１９０から取得した場合（ステップＳｂ１−ＹＥＳ）、画像処理装置１４０及びＣＰＵ１９０の処理は、ステップＳｂ２に進む。

ＣＰＵ１９０は、領域検出部１４２が明度の階調により領域に設定した「ラベル」に基づいて、領域検出部１４２が検出した領域に対して、露出調整（ＡＥ、調光）を制御する。 また、ＣＰＵ１９０は、優先度設定部１４４が明度の階調に基づいて設定した「領域の優先度」に基づいて、領域検出部１４２が検出した領域に対して、露出調整を制御してもよい（ステップＳｂ２）。

ＣＰＵ１９０は、領域検出部１４２が明度の階調により領域に設定した「ラベル」に基づいて、レンズ鏡筒１１１から入射される光学像を、撮像部１１０に撮像（露光）させる。 また、ＣＰＵ１９０は、優先度設定部１４４が明度の階調に基づいて設定した「領域の優先度」に基づいて、レンズ鏡筒１１１から入射される光学像を、撮像部１１０に撮像（露光）させてもよい（ステップＳｂ３）。

そして、ＣＰＵ１９０は、撮像部１１０に、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、ＣＰＵ１９０は、画像処理装置１４０に、ノイズ低減処理（ＮＲ）を実行させる（ステップＳｂ４）。

さらに、ＣＰＵ１９０は、領域検出部１４２が「領域の情報（色相など）」により領域に設定した「ラベル」に基づいて、領域検出部１４２が検出した領域に対して、ホワイトバランス調整（ＡＷＢ）を制御する。また、ＣＰＵ１９０は、優先度設定部１４４が「領域の情報（色相など）」に基づいて設定した「領域の優先度」に基づいて、領域検出部１４２が検出した領域に対して、ホワイトバランス調整を制御してもよい（ステップＳｂ５）。

画像処理装置１４０は、画像に対してトーンカーブ（階調カーブ）を設定し、Ｒｅｔｉｎｅｘ（領域毎の階調補正）処理を実行する（ステップＳｂ６）。そして、画像処理装置１４０は、色補正処理、及びレンダリングを実行する（ステップＳｂ７）。さらに、画像処理装置１４０は、エッジ強調処理を実行する（ステップＳｂ８）。

画像処理装置１４０は、画像処理した画像を、表示部１５０に静止画像（フリーズ画像）として表示させる（ステップＳｂ９）。そして、画像処理装置１４０は、所定の画像フォーマット（例えば、ＪＰＥＧフォーマット）に画像を変換する（ステップＳｂ１０）。そして、画像処理装置１４０は、所定の画像フォーマットに変換した画像を、記憶媒体２００に記憶させる（ステップＳｂ１１）。

さらに、領域検出部１４２は、領域の情報を記憶部１６０及び記憶媒体２００に記憶させる。例えば、画像処理装置１４０は、領域の情報を、「Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ（Ｅｘｉｆ（登録商標））」のタグ情報として、記憶部１６０及び記憶媒体２００に記憶させてもよい（ステップＳｂ１２）。

次に、画像に大きな動きがある場合、すなわち、動き量が閾値以上である場合（図３のステップＳａ６を参照）、動き量が閾値以上である領域に、領域検出部１４２が「動きラベル」を設定する処理（図３のステップＳａ７を参照）の詳細を説明する。

図５には、スルー画像において、移動する被写体像の領域に、領域検出部１４２が「動きラベル」を設定する処理の手順が、フローチャートで示されている。まず、特徴量算出部１４１は、動き量をヒストグラム化する（ステップＳｃ１）。そして、領域検出部１４２は、ヒストグラムに基づいて、動き量（平均）が閾値以下である画素の数が、予め定められた画素数以上であり、かつ、動き量にピーク値があるか否かを判定（ピーク値を検出）する（ステップＳｃ２）。

スルー画像において、動き量（平均）が閾値以下である画素の数が、予め定められた画素数以上であり、かつ、動き量にピーク値がある場合（ステップＳｃ２−ＹＥＳ）、領域検出部１４２は、動き量がピーク値を示す画像の位置における「動き量」に基づいて、画素ラベリングを実行する（ステップＳｃ３）。そして、領域検出部１４２は、動き量がピーク値を示す画像の位置における「動き方向」に基づいて、例えば、動き方向を角度４５度ずつ８つの角度に分類して、分類した角度ごとに画素ラベリングを実行する（ステップＳｃ４）。

さらに、領域検出部１４２は、動き量に基づいて検出した領域と、動き方向に基づいて検出した領域との重なる部分（位置的積集合）を検出し、検出した重なる部分の面積を算出する（ステップＳｃ５）。また、領域検出部１４２は、スルー画像において孤立した領域（ノイズ）を除去する（ステップＳｃ６）。

また、領域検出部１４２は、ラベリングした領域に、動きラベルを設定する。ここで、動きラベルを付けた領域が、複数ある場合、優先度設定部１４４は、色相、彩度、特異である色相（例えば、色相環において不連続である色相）、特異である明度（例えば、周囲と比較して著しく異なる明度）などに基づいて、画像における領域の優先度を設定する（ステップＳｃ７）。さらに、領域検出部１４２は、動きラベルを、領域の情報として、領域毎に記憶部１６０に記憶させる（ステップＳｃ８）。

図６には、スルー画像において、移動する被写体像を追尾する場合に、領域検出部１４２が「動きラベル」を設定する処理の手順が、フローチャートで示されている。
スルー画像において、動き量（平均）が閾値以下である画素の数が、予め定められた画素数より少ない、又は動き量にピーク値がない場合（図５のステップＳｃ２−ＮＯ）、さらに、領域検出部１４２は、動き量（平均）が閾値以上である画素の数が、予め定められた画素数以上であり、かつ、動き量のヒストグラムにおいて、動き量が少ない側にピーク値があるか否か、を判定（ピーク値を検出）する（ステップＳｃ９）。

動き量（平均）が閾値以上である画素の数が、予め定められた画素数以上であり、かつ、動き量のヒストグラムにおいて、動き量が少ない側にピーク値がある場合（ステップＳｃ９−ＹＥＳ）、領域検出部１４２は、動き量がピーク値を示す領域に対して、画素ラベリングを実行する（ステップＳｃ１０）。

そして、領域検出部１４２は、動き量に基づいて画素ラベリングした領域を、色相又は明度に基づいて、再びラベリングする（ステップＳｃ１１）。また、領域検出部１４２は、再びラベリングした領域に、動きラベルを設定する（ステップＳｃ１２）。さらに、画像処理装置１４０は、動きラベルを、領域の情報として、領域毎に記憶部１６０に記憶させる（ステップＳｃ１３）。

図７には、スルー画像において、降雪、降雨、又は噴水などが撮像されている場合に、領域検出部１４２が「動きラベル」を設定する処理の手順が、フローチャートで示されている。動き量（平均）が閾値以上である画素の数が、予め定められた画素数より少ない、又は動き量のヒストグラムにおいて、動き量が少ない側にピーク値がない場合（図６のステップＳｃ９−ＮＯ）、領域検出部１４２は、スルー画像において、動き量が二分され、かつ動き方向が一定であるか否か、を判定する（ステップＳｃ１４）。

スルー画像において、動き量が二分され、かつ動き方向が一定である場合（ステップＳｃ１４−ＹＥＳ）、領域検出部１４２は、動き量が閾値以上である画素が、画像に分散しているか否かを判定する（ステップＳｃ１５）。動き量が閾値以上である画素が、画像に分散している場合（ステップＳｃ１５−ＹＥＳ）、領域検出部１４２は、ヒストグラムにおいて動き量が少ない側のピーク値を示す領域に対して、画素ラベリングを実行する（ステップＳｃ１６）。

そして、領域検出部１４２は、検出した領域において面積が大きい色相（平均色相）を算出する（ステップＳｃ１７）。さらに、領域検出部１４２は、時間的に連続するスルー画像（スルー画列）の一部を、動きベクトルによりマスクして、複数のマスク画像を作成する（ステップＳｃ１８）。領域検出部１４２は、スルー画像（スルー画列）の一部を、動きベクトルによりマスクすることで、例えば、雨粒以外の領域を、マスク画像に抽出する。そして、領域検出部１４２は、作成した複数のマスク画像を合成し、合成したマスク画像を、色相に基づいて、再びラベリングする（ステップＳｃ１９）。

領域検出部１４２は、ラベリングした領域に、動き量が少ない領域（例えば、雨粒以外の領域）であることを示すラベル（以下、「通常ラベル」という）を設定する（ステップＳｃ２０）。そして、領域検出部１４２は、領域の情報として、通常ラベルを領域毎に記憶部１６０に記憶させる（ステップＳｃ２１）。

一方、スルー画像において、動き量が二分されていない、又は動き方向が一定でない場合（ステップＳｃ１４−ＮＯ）、領域検出部１４２の処理は、図３のステップＳａ８に進む。同様に、動き量が閾値以上である画素が、画像に分散していない場合（ステップＳｃ１５−ＮＯ）、領域検出部１４２の処理は、図３のステップＳａ８に進む。

次に、画像に大きな動きがない場合、すなわち、動き量が閾値以上でない場合（図３のステップＳａ６を参照）に、領域検出部１４２が、特徴量毎に領域を検出し、検出した領域にラベルを設定する処理（図３のステップＳａ９を参照）の詳細を説明する。

図８には、彩度Ｓ（Ｃ）及び色相ｈの特徴量毎に検出した領域に、ラベルを設定するラベリング処理の手順が、フローチャートで示されている。なお、ステップＳｄ３〜８と、ステップＳｄ１０〜１３とは、並列に処理される。

特徴量算出部１４１は、画像におけるＲＧＢ色空間を、Ｌａｂ色空間に変換する。画像処理装置１４０は、後段処理において、Ｌａｂ色空間で表現されたデータを使用する（ステップＳｄ１）。そして、特徴量算出部１４１は、彩度Ｓ（Ｃ）及び色相ｈの特徴量を、画像から算出する（ステップＳｄ２）。

まず、特徴量算出部１４１は、彩度Ｓ（Ｃ）のヒストグラムを算出する（ステップＳｄ３）。そして、領域検出部１４２は、彩度が特に高い領域を検出する。ここで、領域検出部１４２は、ヒストグラムの分布に基づいて、高彩度領域にピークがあるか否かを判定する（ピークと谷を検出）。さらに、領域検出部１４２は、ピーク値と平均彩度との差に基づいて、彩度の特異度を判定する（ステップＳｄ４）。

図９には、彩度Ｓ（Ｃ）のヒストグラムと、その部分拡大図とが示されている。領域検出部１４２は、ヒストグラムにおけるピークＳ１と谷を検出する。

図８に戻り、手順の説明を続ける。さらに、特徴量算出部１４１は、ピーク波形の標準偏差σを算出する（ステップＳｄ５）。ここで、標準偏差σが予め定められた閾値以下である（鋭いピーク波形である）場合、領域検出部１４２は、そのピーク波形を示す領域（例えば、３σの範囲）に対して、ラベリング処理を実行する（ステップＳｄ６）。

領域検出部１４２は、彩度に基づいて検出した領域と、ステップＳｄ１０〜１２に後述する「色相に基づいて検出した領域」とが重なる部分のビットマップ画像を作成する（異なる特徴の組み合わせ）。そして、評点算出部１４３は、彩度に基づいて検出した領域と、色相に基づいて検出した領域とが重なる部分の評点に、「２」点を加算する。例えば、彩度に基づいて検出した領域と、赤色に基づいて検出した領域（評点＝３点）とが重なる部分の評点は、「５＝３＋２」点となる（ステップＳｄ７）。

さらに、領域検出部１４２は、彩度に基づいて検出した領域と、色相に基づいて検出した領域とが重なる部分に、彩度に基づいて検出した領域であることを示す「彩度ラベル」を設定する（ステップＳｄ８）。そして、領域検出部１４２の処理は、ステップＳｄ９に進む。

一方、領域検出部１４２は、ステップＳｄ２の次に、色相ｈに基づいて領域を検出する。このために、特徴量算出部１４１は、画像から色相ｈを算出する。そして、領域検出部１４２は、特徴量算出部１４１が算出した色相毎に、１枚の画像から複数のビットマップ画像を作成する（ステップＳｄ１０）。さらに、領域検出部１４２は、色相に基づいて検出した領域に対して、ラベリング処理を実行する（ステップＳｄ１１）。

さらに、評点算出部１４３は、赤又は黄色相の領域の評点を「３」点と、紫、シアン、又はエメラルド色相の領域の評点を「２」点と、その他の色相の領域の評点を「１」点と算出する（ステップＳｄ１２）。

また、領域検出部１４２は、色相に基づいて検出した領域に、色相に基づいて検出した領域であることを示す「色相ラベル」を設定する（ステップＳｄ１３）。そして、領域検出部１４２の処理は、図８のステップＳｄ９に進む。

優先度設定部１４４は、画像における領域の優先度を、その領域の評点に応じて設定する。そして、優先度設定部１４４は、評点に応じて設定した「領域の優先度」を、領域毎に記憶部１６０に記憶させる。

また、領域検出部１４２は、優先度設定部１４４が設定した評点が高い領域に、優先度が高い領域であることを示す「優先ラベル」を設定する。さらに、領域検出部１４２は、動きラベルを設定した領域のうち、優先度が最も高い領域に、「最優先ラベル」を設定する（ステップＳｄ９）。そして、領域検出部１４２は、設定したラベル（識別子）を、領域毎に記憶部１６０に記憶させる。

ＣＰＵ１９０は、領域検出部１４２が設定した「ラベル」に基づいて、領域検出部１４２が検出した領域に対して、焦点調整（ＡＦ）などを制御する（例えば、図２のステップＳ１１と、図３のステップＳａ１４とを参照）。例えば、ＣＰＵ１９０は、「最優先ラベル」が設定された領域を、最も主要な被写体像の領域として、その領域に対して優先的に合焦するように、焦点調整（ＡＦ）を制御する。

また、ＣＰＵ１９０は、優先度設定部１４４が設定した「領域の優先度」に基づいて、領域検出部１４２が検出した領域に対して、焦点調整（ＡＦ）などを制御してもよい。例えば、ＣＰＵ１９０は、優先度が最も高く設定された領域を、主要な被写体像の領域として、その領域に対して優先的に合焦するように、焦点調整を制御してもよい。

次に、評点算出部１４３が、領域毎に評点を算出する手順について説明する。
図１０には、領域毎に評点を算出する処理（例えば、図８のステップＳｄ７及び１２を参照）の手順が、フローチャートで示されている。

領域検出部１４２は、特徴量に応じて、ラベリングの条件を設定する（ステップＳｅ１）。この条件は、適宜定められてよい。例えば、領域検出部１４２は、肌色相に基づいて検出した領域に「最優先ラベル」を設定する、などの条件であってもよい。そして、領域検出部１４２は、ラベリングの条件に基づいて、画素ラベリングを実行する（ステップＳｅ２）。そして、領域検出部１４２は、評点を算出する対象から、スルー画像において孤立した領域（孤立点）を除外する（ステップＳｅ３）。

評点算出部１４３は、領域毎に、その領域の重心を算出する（ステップＳｅ４）。そして、評点算出部１４３は、画像の中心（画角中心）から領域の重心までの距離を、領域毎に算出する（ステップＳｅ５）。そして、評点算出部１４３は、画像の中心（画角中心）から領域の重心までの距離に応じて、領域毎に評点を付ける。ここで、評点算出部１４３は、画像の中心（画角中心）に近い領域ほど、その領域に高い評点を付ける（例えば、評点＝２点、１．５点、１点、０．５点の順）（ステップＳｅ６）。

さらに、評点算出部１４３は、領域がその重心に集中している度合いを評価するために、領域毎の慣性モーメントを算出する（ステップＳｅ７）。評点算出部１４３は、慣性モーメントが予め定められた閾値以上である領域、すなわち、重心に集中していない領域を、評点を付ける対象から除外する（ステップＳｅ８）。

評点算出部１４３は、領域の慣性モーメントに応じて、その領域に評点を付ける。評点算出部１４３は、慣性モーメントが小さい（重心に集中している）領域には、高い評点を付ける（例えば、評点＝２点、１．５点、１点、０．５点の順）（ステップＳｅ９）。

さらに、評点算出部１４３は、領域検出部１４２が検出した領域の面積（画素数）を算出し、画像の面積に対して予め定められた比率（例えば、７割）以上の面積がある領域を、評点を付ける対象から除外する（ステップＳｅ１０）。これは、そのような領域が、背景を示す領域など、主要な被写体像の領域でない可能性があるためである。

そして、評点算出部１４３は、領域の面積（画素数）に応じて、領域に評点を付ける。例えば、評点は、「２〜０．５」点までの４段階であってもよい。また、評点算出部１４３は、予め定められた面積に近い領域ほど、その領域に高い評点を付ける（ステップＳｅ１１）。さらに、評点算出部１４３は、領域の情報として、評点を領域毎に記憶部１６０に記憶させる（ステップＳｅ１２）。

次に、優先ラベル（高い優先度及び評点）が設定された領域に、合焦させる処理の手順について説明する。

図１１には、優先ラベル（高い優先度及び評点）を設定した領域に合焦させる処理の手順が、フローチャートで示されている。この処理は、例えば、図３のステップＳａ９（より詳しくは、図８のステップＳｄ９）、又は図３のステップＳａ１４で実行される。

領域検出部１４２は、同一ラベルにグループ化する色相の上限閾値と下限閾値との差を、所定のコントラスト値を取得できるまで広げ、広げた閾値に基づいて画素ラベリングする（ステップＳｇ１）。これにより、ラベルの面積は拡張される。

図１２には、領域３０と、コントラストスキャンする領域であるコントラストＡＦ領域４０と、領域３０の色相コントラストとが示されている。そして、図１２（Ａ）には、図１１のステップＳｇ１における、領域３０と、コントラストＡＦ領域４０とが示されている。また、図１２（Ｂ）には、図１２（Ａ）における色相コントラストであり、コントラストＡＦ領域４０における領域３０の色相コントラストが示されている。そして、図１２（Ｂ）には、領域３０が拡張されたことにより、コントラストＡＦ領域４０における領域３０の色相の範囲も拡張されたことが示されている。

図１１に戻り、手順の説明を続ける。領域検出部１４２は、色相の範囲が拡張された色相コントラストにおいて、コントラスト値が優位である（ピーク値を示す）色相（色チャネル等）を検出する（ステップＳｇ２）。所定のコントラスト値を取得できるまで、領域検出部１４２の処理は、ステップＳｇ１及びステップＳｇ２を繰り返す。

図１３には、ステップＳｇ２における、領域３０と、コントラストＡＦ領域４０とが示されている。そして、図１３には、コントラストＡＦ領域４０は、領域３０においてエッジのパワーが強い領域に設定されることが示されている。

図１１に戻り、手順の説明を続ける。領域検出部１４２は、領域３０のテクスチャ（模様）に基づいて、領域３０においてエッジのパワーが強い領域を検出する（ステップＳｇ３）。そして、領域検出部１４２は、領域３０の「エッジの色相」を検出する（ステップＳｇ４）。

領域検出部１４２は、エッジのパワーが強い領域に、コントラストスキャンする領域である「コントラストＡＦ領域」を設定する。ここで、領域検出部１４２は、被写体距離が不明である領域であっても、優先ラベル（高い優先度及び評点）が設定されている領域であれば、コントラストＡＦ領域を設定する（ステップＳｇ５）。

領域検出部１４２は、検出した領域の「領域の情報」と、夜景などの点光源が撮像されていることを示す「点光源フラグ」とに基づいて、コントラストスキャンにおける露光量を設定する（ステップＳｇ６）。

そして、領域検出部１４２は、検出した領域が、低コントラスト又は低輝度であるか否かを判定する（ステップＳｇ７）。検出した領域が、低コントラスト又は低輝度でない場合（ステップＳｇ７−ＮＯ）、ＣＰＵ１９０は、コントラストＡＦ領域において、コントラストスキャンを実行する（ステップＳｇ８）。

一方、検出した領域が、低コントラスト（低輝度）である場合（ステップＳｇ７−ＹＥＳ）、領域検出部１４２は、検出した領域の境界（外周）近傍でエッジを探索し、探索したエッジの色相（色構成）を検出する（ステップＳｇ９）。

領域検出部１４２は、領域３０の境界（外周）を含む範囲にコントラストＡＦ領域４０を設定し、設定したコントラストＡＦ領域４０に、エッジがあるか否かを判定（エッジを検出）する（ステップＳｇ１０）。

図１４には、領域３０の境界（外周）を含む範囲に設定したコントラストＡＦ領域４０において、エッジを検出する処理を説明するための図が示されている。そして、図１４には、コントラストＡＦ領域４０が、領域３０の境界（外周）を含む範囲に設定されることが示されている。

図１１に戻り、手順の説明を続ける。コントラストＡＦ領域４０にエッジがない場合（ステップＳｇ１０−ＮＯ）、領域検出部１４２は、低コントラストである領域３０のコントラストＡＦ領域４０にエッジを検出するため、色相及び輝度のコントラストを検出する感度を上げる。例えば、領域検出部１４２は、露光時間を長くする、又はガンマテーブルを変更することにより、色相及び輝度のコントラストを検出する感度を上げる（ステップＳｇ１１）。

図１５には、領域検出部１４２が検出した領域３１と、領域３１に設定したコントラストＡＦ領域４１と、領域検出部１４２が検出した領域３２と、領域３２に設定したコントラストＡＦ領域４２と、が示されている。ここで、一例として、領域３１の色相及び輝度は、低コントラストでないものとする。一方、領域３２の色相及び輝度は、低コントラストであるものとする。

領域検出部１４２は、領域３１のコントラストＡＦ領域４１にエッジを検出するため、通常のガンマテーブルを、コントラストＡＦ領域４１に設定する。一方、領域検出部１４２は、低コントラスト（低輝度）である領域３２のコントラストＡＦ領域４２にエッジを検出するため、感度を上げた高ガンマテーブルを、コントラストＡＦ領域４２に設定する。このように、領域検出部１４２は、低コントラスト又は低輝度である領域３２に対して、色相及び輝度のコントラストを検出する感度を上げる。

図１１に戻り、手順の説明を続ける。コントラストＡＦ領域４０にエッジがある場合（ステップＳｇ１０−ＹＥＳ）、領域検出部１４２の処理は、ステップＳｇ８に進む。ＣＰＵ１９０は、特徴量算出部１４１が検出した標本化周波数とコントラスト値とに基づいて、コントラストスキャンを実行する（ステップＳｇ８）。そして、ＣＰＵ１９０は、複数のラベルをコントラスト領域に設定した場合、ヒストグラムのピークの高さよりも、評点（優先度）の高さを優先し、評点（優先度）が高い領域に、合焦させる（ステップＳｇ１２）。

図１６には、領域検出部１４２が検出した領域と、評点算出部１４３が算出した評点と、領域検出部１４２が設定したコントラストＡＦ領域との一例が示されている。ここで、コントラストＡＦ領域４３は、領域検出部１４２が領域３３に設定したコントラストＡＦ領域である。また、一例として、領域３３の評点を「２０」点と、領域３０の評点を「２３」点と、領域３１の評点を「１５」点と、領域３２の評点を「１４」点とする。また、領域３０には、優先ラベルが設定されているものとする。

このような場合、ＣＰＵ１９０は、優先ラベルが設定された領域３０を、主要な被写体像の領域として、領域３０に合焦させてもよい。また、ＣＰＵ１９０は、評点（優先度）が最も高い領域３０を、主要な被写体像の領域として、領域３０に合焦させてもよい。また、ＣＰＵ１９０は、領域の評点（優先度）が高い順に、合焦させる領域を連続的に変更してもよい。

また、コントラストが取れない場合、ＣＰＵ１９０は、ラベルの内側に設定したコントラストＡＦ領域のほかに、ラベルに外接するコントラストＡＦ領域を設定してもよい。この場合、ＣＰＵ１９０は、ラベルの内側に設定したコントラストＡＦ領域とラベルに外接するコントラストＡＦ領域とを併用して、至近側に合焦させてもよい。

以上のように、画像処理装置１４０は、画像の特徴毎に、特徴の特徴量を検出する特徴量算出部１４１と、画像に含まれる領域であって特徴量毎に定まる領域を画像から算出し、ラベル（識別子）を設定する領域検出部１４２と、異なる特徴の特徴量に基づいて検出した領域同士を比較するための評点を、領域毎に算出する評点算出部１４３と、評点に基づいて、画像における領域の優先度を設定する優先度設定部１４４と、を備える。

これにより、画像処理装置１４０は、撮像された画像から主要被写体の領域を予測することができる。例えば、画像処理装置１４０は、撮像された画像における、主要な被写体像の領域と、主要でない被写体像の領域とを識別することができる。また、画像処理装置１４０は、複数の特徴（例えば、色相及び彩度）に基づいて領域を検出することで、ＡＦ、ＡＥ，ＡＷＢ、追尾、シーン判定、及び色処理の精度を向上させることができる。また、画像処理装置１４０は、追尾精度を向上させたことで、撮影までのタイムラグ（遅延）を短縮させることができる。これにより、画像処理装置１４０は、評点（優先度）が最も高い領域３０を、主要な被写体像の領域として識別することができる。

また、画像処理装置１４０は、コントラストＡＦ領域の面積を可変（拡張）させて、標本化周波数をスイープさせることで、コントラストが拾える標本化周波数を検出し、コントラストの検出に最適な標本化周波数で、コントラストのピークを検出する。

これにより、画像処理装置１４０は、領域が低コントラストであったとしても、色相、輝度、ＲＧＢ、及び色差（Ｃｒ，Ｃｂ）の少なくとも１つのコントラストを検出する感度を上げて、コントラストスキャンを実行するので、撮像された画像における領域を、高精度に識別することができる。例えば、画像処理装置１４０は、撮像された画像における、主要な被写体像の領域と、主要でない被写体像の領域とを識別することができる。

＜特異である色相に基づく領域の検出について＞
領域検出部１４２は、特異である色相（例えば、色相環において不連続である色相）に基づいて、領域を検出してもよい。

図１７には、色相に基づいて領域を検出する処理手順が、フローチャートで示されている。ステップＳｄ１４〜１７は、図８のステップＳｄ３〜８と、並列に処理される。特徴量算出部１４１は、図８のステップＳｄ２の次に、画像における色相ｈのヒストグラムを作成する（ステップＳｄ１４）。

領域検出部１４２は、ヒストグラムの分布に基づいて、ヒストグラムにピークがあるか否かを判定する。また、領域検出部１４２は、色相ヒストグラム又は色相環における色相の連続性を検出し、色相ヒストグラムにおいて不連続となる色相があるか否かを判定する（ステップＳｄ１５）。

図１８には、色相ヒストグラムの一例が示されている。領域検出部１４２は、色相ヒストグラムにおいてピークを示す領域と、色相ヒストグラムにおいて不連続となる色相（不連続領域）の領域とを検出する。

図１７に戻り、手順の説明を続ける。領域検出部１４２は、色相ヒストグラムにおいてピークを示す色相、又は不連続となる色相に基づいて、領域を検出する（ステップＳｄ１６）。さらに、領域検出部１４２は、検出した領域をラベリングする（ステップＳｄ１７）。

領域検出部１４２は、特異である色相に基づいて検出した領域に、特異である色相に基づいて検出した領域であることを示す「特異色相ラベル」を設定する。また、評点算出部１４３は、領域検出部１４２が検出した領域の評点を、「４」点と算出する（ステップＳｄ１８）。そして、領域検出部１４２の処理は、図８のステップＳｄ９に進む。

これにより、画像処理装置１４０は、特異である色相に基づいて、領域を検出することができる。

＜特異である明度に基づく領域の検出について＞
領域検出部１４２は、特異である明度（例えば、周囲と比較して著しく異なる明度）に基づいて、領域を検出してもよい。

図１９には、明度に基づいて領域を検出する処理手順が、フローチャートで示されている。ここで、ステップＳｄ１９〜２３は、図８のステップＳｄ２〜８と、並列に処理される。

特徴量算出部１４１は、図８のステップＳｄ１の次に、画像における明度Ｌのヒストグラムを作成する（ステップＳｄ１９）。領域検出部１４２は、ヒストグラムの分布に基づいて、ヒストグラムにピークがあるか否かを判定する（ステップＳｄ２０）。

領域検出部１４２は、明度ヒストグラムにおいてピークを示す明度、又はヒストグラムの谷によって不連続となる明度に基づいて、領域を検出する（ステップＳｄ２１）。そして、領域検出部１４２は、特異である明度に基づいて検出した領域に、「特異明度ラベル」を設定する（ステップＳｄ２２）。

さらに、領域検出部１４２は、明度に基づいて検出した領域に、明度に基づいて検出した領域であることを示す「明度ラベル」を設定する。また、評点算出部１４３は、領域検出部１４２が検出した領域の評点を、「４」点と算出する（ステップＳｄ２３）。そして、領域検出部１４２の処理は、図８のステップＳｄ９に進む。

また、領域検出部１４２は、ステップＳｄ２０の次に、ピーク値を示す明度と、明度の平均値との差が、閾値以上であるか否かを判定する（ステップＳｄ２４）。ピーク値を示す明度と、明度の平均値との差が、閾値以上でない場合（ステップＳｄ２４−ＮＯ）、明度に差がないので、領域検出部１４２の処理は、ステップＳｄ２１に進む。

一方、ピーク値を示す明度と、明度の平均値との差が、閾値以上である場合（ステップＳｄ２４−ＹＥＳ）、明度に差があるので、領域検出部１４２は、点光源が撮像されていること（夜景が撮像されていること）を示す「点光源フラグ」をオンにして、点光源フラグを画像（領域）に設定する（シーン判定）（ステップＳｄ２５）。

領域検出部１４２は、明度ヒストグラムにおいてピークを示す明度、又は不連続となる明度に基づいて、領域を検出する。そして、領域検出部１４２は、明度に基づいて検出した領域をラベリングする（ステップＳｄ２４）。そして、領域検出部１４２の処理は、ステップＳｄ２３に進む。

これにより、画像処理装置１４０は、特異である明度に基づいて、領域を検出することができる。

＜角度検出オペレータにより検出するテクスチャ（模様）に基づく、領域の検出について＞
領域検出部１４２は、角度検出オペレータ（空間フィルタ）により検出するテクスチャ（模様）に基づいて、領域を検出してもよい。

図２０には、角度検出オペレータにより検出するテクスチャに基づいて、領域を検出する処理手順が、フローチャートで示されている。ここで、ステップＳｄ２６〜３１は、図８のステップＳｄ１〜８と、並列に処理される。

特徴量算出部１４１は、角度検出オペレータにより画像をスキャン（例えば、ラスタースキャン）して、明度Ｌ（輝度Ｙ）又は色相（色成分ＲＧＢ）の特徴量を算出する。そして、特徴量算出部１４１は、例えば、角度「２２.５」度ごとの８つの領域に、画像を区分する（ステップＳｄ２６）。ここで、角度検出オペレータとは、エッジの角度毎に、画像にエッジを検出するための空間フィルタである。図２１には、角度「２２.５」度ごとにエッジを検出するための８パターンの角度検出オペレータが示されている。

図２０に戻り、手順の説明を続ける。特徴量算出部１４１は、エッジの角度毎に、エッジの特徴量（パワー値、ΣＰ）を示すヒストグラムを作成する（ステップＳｄ２７）。なお、特徴量算出部１４１は、特徴量算出部１４１は、エッジの角度毎に、エッジの長さを示すヒストグラムを作成してもよい。

領域検出部１４２は、ヒストグラムの分布に基づいて、ヒストグラムにピークがあるか否かを判定する（ステップＳｄ２８）。図２２には、エッジの角度毎に、エッジの特徴量（パワー値、ΣＰ）を示すヒストグラムの例が示されている。領域検出部１４２は、図２２に示されたヒストグラムに、エッジの特徴量のピークＡ及びＢがあると判定したとする。ここで、角度が「２２.５」度であるエッジの特徴量（パワー値、ΣＰ）が、ピークＡを示したとする。また、角度が「１３５」度であるエッジの特徴量（パワー値、ΣＰ）が、ピークＢを示したとする。

図２０に戻り、手順の説明を続ける。領域検出部１４２は、特徴量がピークを示した角度毎に、その角度のエッジの分布（領域）を示すビットマップ（パワーマップ）を作成する（ステップＳｄ２９）。図２３には、テクスチャ（エッジの分布）に基づいて領域検出部１４２が検出した領域の例が示されている。そして、図２３（Ａ）には、角度が「２２.５」度であるエッジが分布する領域１〜５の例が示されている。また、図２３（Ｂ）には、角度が「１３５」度であるエッジが分布する領域６の例が示されている。領域検出部１４２は、特徴量がピークを示した角度毎に、その角度のエッジが分布する領域を示すビットマップを作成する。さらに、領域検出部１４２は、テクスチャに基づいて検出した領域をラベリングする。また、評点算出部１４３は、領域検出部１４２がテクスチャに基づいて検出した領域の評点を、「２」点と算出する（ステップＳｄ３０）。

また、領域検出部１４２は、角度検出オペレータにより検出したテクスチャに基づいて検出した領域に、テクスチャに基づいて検出した領域であることを示す「テクスチャラベル」を設定する（ステップＳｄ３１）。そして、領域検出部１４２の処理は、図８のステップＳｄ９に進む。

ステップＳｄ３２及び３３は、ステップＳｄ２７〜３０と、並列に処理される。領域検出部１４２は、ヒストグラム（図２２を参照）において、特徴量が閾値以上であるエッジの角度毎に、その角度のエッジが分布する領域を示すビットマップ（パワーマップ）を作成する（ステップＳｄ３２）。

さらに、領域検出部１４２は、エッジを細線化する。そして、領域検出部１４２は、画像の奥行を示す要素（パースペクティブ要素）、すなわち、細線化したエッジの空間周波数、間隔（スパン）、又は分布に基づいて、検出した領域をラベリングする。例えば、領域検出部１４２は、エッジの間隔が密である領域に、ラベルを付けてもよい。また、評点算出部１４３は、角度検出オペレータにより領域検出部１４２が検出した領域の評点を、「１」点と算出する（ステップＳｄ３３）。そして、領域検出部１４２の処理は、ステップＳｄ３１に進む。

これにより、画像処理装置１４０は、角度検出オペレータにより検出するテクスチャに基づいて、領域を検出することができる。

＜離散コサイン変換（ＤＣＴ）係数により検出するテクスチャ（模様）に基づく、領域の検出について＞
領域検出部１４２は、ＪＰＥＧ規格に準拠した離散コサイン変換（ＤＣＴ）係数により検出するテクスチャ（模様）に基づいて、領域を検出してもよい。

図２４には、ＤＣＴ係数に基づいて、領域検出部１４２が領域を検出する処理手順が、フローチャートで示されている。ここで、ステップＳｄ３４〜４２は、図８のステップＳｄ１〜８と、並列に処理される。

特徴量算出部１４１は、画像に対し、ＤＣＴブロック（＝８×８画素）単位でＤＣＴ演算処理を実行する（ステップＳｄ３４）。そして、特徴量算出部１４１は、量子化テーブル（例えば、ＪＰＥＧ規格に準拠した量子化テーブル）に基づいて、ＤＣＴ係数を量子化する（ステップＳｄ３５）。

特徴量算出部１４１は、ＤＣＴブロックにおける代表値を、そのＤＣＴブロックに予め定められた帯域毎に、算出する。ここで、ＤＣＴブロックにおける代表値とは、例えば、帯域毎のＤＣＴ係数の２乗値、又は帯域毎のＤＣＴ係数の絶対値である。そして、特徴量算出部１４１は、画像に含まれる全てのＤＣＴブロックについて、各ＤＣＴブロックにおける代表値を算出する（ステップＳｄ３６）。

なお、ＤＣＴブロックにおける代表値は、ＤＣＴ係数の２乗値、又はＤＣＴ係数の絶対値を、複数の帯域にわたって加算した値（総和）であってもよい。

領域検出部１４２は、代表値が定められたＤＣＴブロックの分布を示すビットマップ（パワーマップ）を、ＤＣＴブロックに予め定められた帯域毎に作成する（ステップＳｄ３７）。なお、ビットマップ（パワーマップ）を作成する場合、領域検出部１４２は、ＤＣＴブロック毎に、逆離散コサイン変換を実行してもよい。

そして、特徴量算出部１４１は、ＤＣＴブロックにおける代表値を「０〜２５５」範囲に正規化する（ステップＳｄ３８）。さらに、特徴量算出部１４１は、予め定められた閾値（例えば、値「３０」）以下の代表値を、値「０」にする（ステップＳｄ３９）。

さらに、領域検出部１４２は、代表値の範囲（例えば、値「３１〜１００」と、値「１０１〜１７０」と、値「１７１〜２５５」との３つの範囲）毎に、各ビットマップから複数のビットマップを作成する（ステップＳｄ４０）。そして、領域検出部１４２は、複数のビットマップから領域を検出し、検出した領域をラベリングする（ステップＳｄ４１）。

領域検出部１４２は、作成した全てのビットマップについて、ラベリング処理を実行したか否かを判定する（ステップＳｄ４２）。領域をラベリングしていないビットマップがある場合（ステップＳｄ４２−ＮＯ）、領域検出部１４２の処理は、ステップＳｄ４０に戻る。

一方、全てのビットマップについて、領域をラベリングした場合（ステップＳｄ４２−ＹＥＳ）、領域検出部１４２は、作成した全てのビットマップを重ねた場合に、領域同士が重なる部分（位置的積集合）の面積を算出する。そして、領域同士が重なる部分の面積が予め定められた面積以上である場合、領域検出部１４２は、それらの領域を結合してもよい（ステップＳｄ４３）。

そして、評点算出部１４３は、ＤＣＴ係数により領域検出部１４２が検出した領域の評点を、「２」点と算出する（ステップＳｄ４４）。

さらに、領域検出部１４２は、ＤＣＴ係数により検出したテクスチャに基づいて検出した領域に、テクスチャに基づいて検出した領域であることを示す「テクスチャラベル」を設定する（ステップＳｄ４５）。そして、領域検出部１４２の処理は、図８のステップＳｄ９に進む。

図２５には、ＤＣＴ係数に基づいて、領域検出部１４２が領域を検出する処理を説明するための図が示されている。ここで、１枚の画像に、複数のＤＣＴブロック１０ａが並んでいる。そして、各ＤＣＴブロック１０ａには、一例として、予め定められた帯域１１−ｎ（ｎは、１〜５の整数）があるものとする。特徴量算出部１４１は、ＤＣＴブロック１０ａにおける代表値を、そのＤＣＴブロックに予め定められた帯域毎に、算出する（図２４のステップＳｄ３６を参照）。そして、領域検出部１４２は、ＤＣＴブロック１０ａ毎に、逆離散コサイン変換を実行し、ＤＣＴブロック１０ｂを作成する。

領域検出部１４２は、ＤＣＴブロック１０ｂ−ｎ（予め定められた帯域１１−ｎ）の画像における分布を示すビットマップ１２−ｎを、ＤＣＴブロック１０ａに予め定められた帯域１１−ｎ毎に作成する（図２４のステップＳｄ３７を参照）。例えば、領域検出部１４２は、ＤＣＴブロック１０ｂ−１を並べることで、予め定められた帯域１１−１の画像における分布を示すビットマップ１２−１を作成する。

さらに、領域検出部１４２は、代表値の範囲毎に、各ビットマップから複数のビットマップを作成する（図２４のステップＳｄ４０を参照）。ここで、一例として、ビットマップ１３は、予め定められた帯域１１−１の「ＤＣＴブロックにおける代表値」が、値「３１〜１００」である領域１６を含むものとする。また、ビットマップ１４は、予め定められた帯域１１−１の「ＤＣＴブロックにおける代表値」が、値「１０１〜１７０」である領域１７及び１８を含むものとする。さらに、ビットマップ１５は、予め定められた帯域１１−１の「ＤＣＴブロックにおける代表値」が、値「１７１〜２５５」である領域１９及び２０を含むものとする。

そして、領域検出部１４２は、作成した全てのビットマップを重ねて、ビットマップ２１を作成し、領域同士が重なる部分を検出する。図２５では、一例として、領域１８及び２０が重なる部分である領域２２と、領域１６及び１７が重なる部分である領域２３とが、ビットマップ２１に検出されている。

さらに、領域検出部１４２は、領域２２及び２３が重なる部分（位置的積集合）の面積を算出し、その重なる部分の面積が予め定められた面積以上である場合には、領域２２及び２３を結合してもよい（図２４のステップＳｄ４３を参照）。

また、評点算出部１４３は、領域検出部１４２が検出した領域の評点に、評点を加算してもよい。図２６には、高周波帯域のＤＣＴ係数に基づいて、領域検出部１４２が検出した領域の評点に、評点算出部１４３が評点を加算する処理が、フローチャートで示されている。ここで、ステップＳｄ４６〜５６は、図８のステップＳｄ１〜８と、並列に処理される。

特徴量算出部１４１は、画像に対し、ＤＣＴブロック（＝８×８画素）単位でＤＣＴ演算処理を実行する（ステップＳｄ４６）。そして、特徴量算出部１４１は、量子化テーブルに基づいて、ＤＣＴ係数を量子化する（ステップＳｄ４７）。

特徴量算出部１４１は、ＤＣＴブロックから高周波帯域を選択する（ステップＳｄ４８）。そして、特徴量算出部１４１は、選択した高周波帯域のＤＣＴ係数に基づいて、そのＤＣＴブロックにおける代表値を算出する。ここで、ＤＣＴブロックにおける代表値は、例えば、選択した高周波帯域のＤＣＴ係数の２乗値、又は選択した高周波帯域のＤＣＴ係数の絶対値である。そして、特徴量算出部１４１は、画像に含まれる全てのＤＣＴブロックについて、ＤＣＴブロックにおける代表値を算出する（ステップＳｄ４９）。

領域検出部１４２は、代表値が定められたＤＣＴブロックの分布（選択した高周波帯域の分布）を示すビットマップ（パワーマップ）を、ＤＣＴブロックに予め定められた帯域毎に作成する。そして、特徴量算出部１４１は、ＤＣＴブロックにおける代表値を「０〜２５５」範囲に正規化する（ステップＳｄ５０）。さらに、特徴量算出部１４１は、予め定められた閾値（例えば、値「３０」）以下の代表値を、値「０」にする（ステップＳｄ５１）。

さらに、領域検出部１４２は、代表値の範囲（例えば、値「３１〜１００」と、値「１０１〜１７０」と、値「１７１〜２５５」との３つの範囲）毎に、各ビットマップから複数のビットマップを作成する（ステップＳｄ５２）。そして、領域検出部１４２は、複数のビットマップから領域を検出し、検出した領域をラベリングする（ステップＳｄ５３）。

領域検出部１４２は、作成した全てのビットマップについて、ラベリング処理を実行したか否かを判定する（ステップＳｄ５４）。領域をラベリングしていないビットマップがある場合（ステップＳｄ５４−ＮＯ）、領域検出部１４２の処理は、作成した全てのビットマップについて、ラベリング処理を実行するため、ステップＳｄ５２に戻る。

一方、全てのビットマップについて、領域をラベリングした場合（ステップＳｄ５４−ＹＥＳ）、領域検出部１４２は、作成した全てのビットマップを重ねた場合に、高周波帯域に基づいて検出した領域と、予め定められた他の周波帯域に基づいて検出した領域とが重なる部分（積集合）の面積を算出する。そして、領域同士が重なる部分の面積が予め定められた面積以上である場合、評点算出部１４３は、重なる部分を含む領域の評点に、「１」点を加算する（ステップＳｄ５５）。

領域検出部１４２は、高周波帯域のＤＣＴ係数により検出したテクスチャに基づいて検出した領域に、ＤＣＴ係数により検出したテクスチャに基づいて検出した領域であることを示す「テクスチャラベル」を設定する（ステップＳｄ５６）。そして、領域検出部１４２の処理は、図８のステップＳｄ９に進む。

このように、画像処理装置１４０は、離散コサイン変換（ＤＣＴ）係数により検出するテクスチャ（模様）に基づいて、領域を検出することができる。

＜縦、横、又は斜めに延びたエッジの特徴量に基づく、領域の検出について＞
領域検出部１４２は、縦、横、又は斜めに延びたエッジの特徴量に基づいて、撮像されたポール（柱）、バー（棒）、パースペクティブ（奥行）、建造物の領域を、それぞれ検出してもよい。

図２７には、エッジの特徴量に基づいて、領域検出部１４２が領域を検出する処理手順が、フローチャートで示されている。ここで、ステップＳｄ２７〜６２は、図８のステップＳｄ１〜８と、並列に処理される。

特徴量算出部１４１は、エッジの特徴量（強度）を算出する（ステップＳｄ５７）。そして、領域検出部１４２は、太さが閾値以上であるエッジ、及び長さが閾値以上であるエッジを検出する（ステップＳｄ５８）。さらに、領域検出部１４２は、太さが所定の閾値以上であり、かつ長さが所定の閾値以上のエッジの領域を、ラベリングする対象とする（ステップＳｄ５９）。

また、特徴量算出部１４１は、画像の中心（画角中心）からエッジまでの距離を算出する。そして、領域検出部１４２は、画像の中心からエッジまでの距離が閾値以上であれば、そのエッジが主要な被写体像の領域でないとして、そのエッジの領域を、ラベリングする対象から除外する（ステップＳｄ６０）。さらに、領域検出部１４２は、ラベリングする対象としたエッジ領域の画素値（明度、色相等)に基づいて、ラベリング処理を実行する。そして、評点算出部１４３は、領域検出部１４２がエッジに基づいて検出した領域の評点を、「１」点と算出する（ステップＳｄ６１）。

領域検出部１４２は、エッジに基づいて検出した領域に、エッジに基づいて検出した領域であることを示す「エッジラベル」を設定する（ステップＳｄ６２）。そして、領域検出部１４２の処理は、図８のステップＳｄ９に進む。

また、ステップＳｄ６３及び６４は、ステップＳｄ６０及び６１と、並列に処理される。領域検出部１４２は、画像の水平方向に対する角度が「０〜３０」度の範囲にあるエッジと、画像の水平方向に対する角度が「１５０〜１８０」度の範囲にあるエッジとを検出する（ステップＳｄ６３）。

さらに、領域検出部１４２は、画像の中心に向かうエッジが画像において離散的に分布している場合、奥行のある画像であることを示す「パースペクティブフラグ」をオンにして、領域の情報として、記憶部１６０に記憶させる（ステップＳｄ６４）。

そして、領域検出部１４２は、画像の水平方向に対する角度が「０〜３０」度の範囲にあるエッジが分布する領域に、「ポールラベル」を設定する。また、領域検出部１４２は、画像の水平方向に対する角度が「１５０〜１８０」度の範囲にあるエッジが分布する領域に、「バーラベル」を設定する。さらに、領域検出部１４２は、画像の中心に向かうエッジであって、画像において離散的に分布しているエッジが分布する領域に、「パースペクティブラベル」を設定する（ステップＳｄ６２）。パースペクティブが設定されたラベルには奥行があるため、同一ラベル内でも異なる複数の焦点位置が存在する。このため、パースペクティブが設定されたラベルに対して合焦させるには、制御が必要である。

なお、領域検出部１４２は、例えば、エッジが分布する領域が四角形である領域に、建造物が撮像された領域であることを示す「建造物ラベル」を設定してもよい。

これにより、画像処理装置１４０は、縦、横、又は斜めに延びたエッジの特徴量に基づいて、柱、棒、奥行、又は建造物を示す領域を検出することができる。

＜ラベル又は優先度（評点）に基づく露光（ＡＥ）処理について＞
画像処理装置１４０は、優先ラベル（高い優先度及び評点）が設定された領域の露光量が最適となるように、露光処理を実行してもよい。

図２８には、ラベル又は優先度（評点）に基づく露光（ＡＥ）処理の手順が、フローチャートで示されている。この処理は、例えば、図３のステップＳａ９（図８のステップＳｄ９）、又は図３のステップＳａ１５で実行される。

特徴量算出部１４１は、優先度が高い領域（例えば、評点の上位３つ）について、ヒストグラムを作成する（ステップＳｈ１）。なお、特徴量算出部１４１は、「点光源フラグ」がオンである領域について、ヒストグラムを作成しないようにしてもよい。

そして、特徴量算出部１４１は、優先度が高い（評点が高い）領域の特徴量を合算し、ヒストグラムを作成する（ステップＳｈ２）。さらに、特徴量算出部１４１は、ヒストグラムの標準偏差値σがヒストグラムのフルレンジの３０％となる露光量を算出する（ステップＳｈ３）。

ＣＰＵ１９０は、特徴量算出部１４１が算出した露光量に基づいて、背景が撮像された領域（背景を示す領域）の画素値（例えば、明度）が飽和しないように、撮像部１１０に露光量を調整させる（ステップＳｈ４）。また、特徴量算出部１４１は、ヒストグラムの標準偏差値σがヒストグラムのフルレンジの３０％となるように、Ｒｅｔｉｎｅｘ等の部位別（階調補正）処理のパラメータを算出することで、露光の不足分を補償する（ステップＳｈ５）。

ＣＰＵ１９０は、優先度設定部１４４が設定した「領域の優先度」に基づいて、優先度が高い領域のコントラストを強調するように、画像処理装置１４０におけるトーンカーブ（階調カーブ）の設定を制御する。また、ＣＰＵ１９０は、領域検出部１４２が領域に設定した「ラベル」に基づいて、優先ラベルを設定した領域のコントラストを強調するように、画像処理装置１４０におけるトーンカーブ（階調カーブ）の設定を制御してもよい（ステップＳｈ６）。

また、ステップＳｈ７〜９は、ステップＳｈ２〜６と、並列に処理される。特徴量算出部１４１は、優先度が高い領域（画像の一部）についてのヒストグラムにおける明度（輝度）の最大及び最小（ヒストグラムの５％内側の各端点でもよい）を算出する（ステップＳｈ７）。さらに、特徴量算出部１４１は、画像全域についてのヒストグラムにおける明度（輝度）の最大及び最小（ヒストグラムの５％内側の各端点でもよい）を算出する（ステップＳｈ８）。

領域検出部１４２は、優先度が高い領域（画像の一部）についてのヒストグラムにおける明度の最大と、画像全域についてのヒストグラムにおける明度の最小との差が、予め定められた閾値以上である場合、明度のダイナミックレンジが広いことを示す「高ダイナミックレンジフラグ」をオンにして、領域の情報として、画像（領域）に高ダイナミックレンジフラグを設定する。

同様に、領域検出部１４２は、優先度が高い領域（画像の一部）についてのヒストグラムにおける明度の最小と、画像全域についてのヒストグラムにおける明度の最大との差が、予め定められた閾値以上である場合、明度のダイナミックレンジが広いことを示す「高ダイナミックレンジフラグ」をオンにして、領域の情報として、画像（領域）に高ダイナミックレンジフラグを設定する（ステップＳｈ９）。

これにより、画像処理装置１４０は、ラベル又は優先度（評点）に基づいて、露光（ＡＥ）処理を実行することができる。

＜ラベル又は優先度（評点）に基づくホワイトバランス調整（ＡＷＢ）処理について＞
画像処理装置１４０は、優先ラベル（高い優先度及び評点）が設定された領域のホワイトバランスが最適となるように、ホワイトバランス調整処理を実行してもよい。

図２９には、ラベル又は優先度（評点）に基づくホワイトバランス調整（ＡＷＢ）処理の手順が、フローチャートで示されている。この処理は、例えば、図３のステップＳａ９（図８のステップＳｄ９）、又は図３のステップＳａ１５で実行される。

特徴量算出部１４１は、画像から白点を算出する。ここで、特徴量算出部１４１は、背景が撮像された領域（背景を示す領域）から、白点を検出するようにしてもよい（ステップＳｉ１）。背景が撮像された領域（背景を示す領域）については、図３８及び３９を用いて、後述する。

そして、特徴量算出部１４１は、画像に白点があるか否かを判定する（ステップＳｉ２）。画像に白点がある場合（ステップＳｉ２−ＹＥＳ）、ＣＰＵ１９０は、その白点の領域に基づいて、ホワイトバランス調整（ＡＷＢ）処理を制御する（ステップＳｉ３）。

一方、画像に白点がない場合（ステップＳｉ２−ＮＯ）、特徴量算出部１４１は、優先ラベル、又は領域の優先度（評点）に基づいて、主要な被写体像の領域における色相について、ガマットマッピング（色域座標変換）を実行する。そして、特徴量算出部１４１は、ガマットマッピングにより、撮像された光の光源の種類（例えば、太陽光、蛍光灯など）を推定する（ステップＳｉ４）。

そして、特徴量算出部１４１は、光源の種類を検出したか否かを判定する（ステップＳｉ５）。光源の種類を検出した場合（ステップＳｉ５−ＹＥＳ）、ＣＰＵ１９０は、特徴量算出部１４１が検出した光源の種類に基づいて、ホワイトバランス調整処理を制御する（ステップＳｉ３）。

一方、光源の種類を検出していない場合（ステップＳｉ５−ＮＯ）、特徴量算出部１４１は、領域に設定したラベル、領域（画像）に設定したフラグ、及び領域の分布に基づいて、シーンを判定し、光源の種類を推定する。例えば、特徴量算出部１４１は、「点光源フラグ」がオンで領域（画像）に設定され、かつ、周囲と比較して明度が著しく異なる領域（点光源）が、画像に広く分布している場合には、シーンが夜景であると判定してもよい（ステップＳｉ６）。そして、ＣＰＵ１９０は、特徴量算出部１４１が推定した光源の種類に基づいて、画像処理装置１４０のホワイトバランス調整処理を制御する（ステップＳｉ３）。

これにより、画像処理装置１４０は、ラベル又は優先度（評点）に基づいて、ホワイトバランス調整（ＡＷＢ）を実行することができる。

＜ラベル又は優先度（評点）に基づいて、画像を再生する処理について＞
画像処理装置１４０は、検出した領域をラベル又は優先度（評点）に基づいて分類し、分類に応じて、視覚的に効果的な方法で画像を再生してもよい。

図３０には、画像処理装置１４０による画像の再生表示を含めた基本的な画像処理手順が、フローチャートで示されている。ここで、図３０のステップＳ１〜Ｓ１４は、図２のステップＳ１〜Ｓ１４と同じステップである。画像処理装置１４０は、領域の情報に対応付けられた画像を、領域の情報に基づいて、効果的な演出を伴って再生し、表示部１５０に表示させる（ステップＳ１５）。

図３１には、ラベル又は優先度（評点）に基づく再生表示の手順が、フローチャートで示されている。この再生表示処理は、図３０のステップＳ１５で実行される。まず、領域検出部１４２は、記憶部１６０又は記憶媒体２００から、領域の情報を取得する（ステップＳｆ１）。

そして、領域の情報として記憶されていた「動き量」が閾値以上である場合、すなわち、動きのある画像である場合、画像処理装置１４０は、ステップＳｆ１の次に、動画として画像を再生する（ステップＳｆ２）。そして、画像処理装置１４０は、優先ラベルが設定された領域を中心にズーム再生し、表示部１５０に表示させる（ステップＳｆ３）。さらに、画像処理装置１４０は、優先度が１つ低い領域を中心にパンニング表示して、ズーム再生し、表示部１５０に表示させる（ステップＳｆ４）。

また、動きラベルが設定された領域の情報として記憶されていた動きベクトルの「動き量」が閾値以上である場合、動きラベルが設定された領域の移動速度が速い場合、画像処理装置１４０は、ステップＳｆ１の次に、画像をスロー再生し、表示部１５０に表示させる（ステップＳｆ５）。

また、動き量が二分され、かつ動き方向が一定であり、かつ動き量が閾値以上である画素が、画像に分散している場合（図７を参照）、すなわち、前景（例えば、降雪）が撮像され、かつ優先ラベルに合焦している画像である場合、画像処理装置１４０は、ステップＳｆ１の次に、領域の前景に合焦させて画像を再生（前ピン再生）し、表示部１５０に表示させる（ステップＳｆ６）。そして、画像処理装置１４０は、領域に徐々に合焦させるように、焦点を変化させながら画像を再生処理し、表示部１５０に表示させる（ステップＳｆ７）。画像処理装置１４０は、画像の合成比を変化させる（ステップＳｆ８）。

また、「通常ラベル」を設定した領域を再生表示する場合（図７のステップＳｃ２０を参照）、すなわち、降雪などの前景でない領域を再生表示する場合、画像処理装置１４０は、ステップＳｆ１の次に、画像を再生する（ステップＳｆ９）。そして、画像処理装置１４０は、設定された優先度が高い順に、領域をパンニング表示して、ズーム再生し、表示部１５０に表示させる（ステップＳｆ１０）。さらに、「通常ラベル」を設定した領域が、テクスチャに基づいて検出した領域である場合、画像処理装置１４０は、エッジを強めにして、ズーム再生し、表示部１５０に表示させる（ステップＳｆ１１）。

また、特異である色相、高彩度、又は高評点の色相ラベルが設定された領域である場合、画像処理装置１４０は、ステップＳｆ１の次に、色相ラベルが設定された領域の彩度を連続的に上げながら再生し、表示部１５０に表示させる（ステップＳｆ１２）。さらに、色相環における反対色相の領域がある場合、画像処理装置１４０は、反対色相の領域の彩度を上げて画像を再生し、表示部１５０に表示させる（ステップＳｆ１３）。

また、階調域（ダイナミックレンジ）が広い画像である場合、画像処理装置１４０は、ステップＳｆ１の次に、優先ラベルが設定された領域の階調域を、画像全域の階調域と合わせて、画像を連続再生し、表示部１５０に表示させる。例えば、画像処理装置１４０は、Ｒｅｔｉｎｅｘ（階調補正）処理における係数を変更することで、白飛びや黒つぶれを抑えながら、明度が低い領域の階調を連続的に上げて画像を再生し、表示部１５０に表示させる（ステップＳｆ１４）。さらに、画像処理装置１４０は、階調域が異なる画像を交互に表示することで、残像効果を持たせながら連続再生し、表示部１５０に表示させる（ステップＳｆ１５）。

図３２には、ラベル又は優先度（評点）に基づく再生表示の手順が、フローチャートで示されている。この再生表示処理は、図３０のステップＳ１５で実行される。また、図３２のステップＳｆ１は、図３１のステップＳｆ１と同じである。

パースペクティブフラグがオンに設定されている場合、すなわち、奥行のある（パースペクティブ）画像である場合、画像処理装置１４０は、ステップＳｆ１の次に、被写体距離が短い（至近側に撮像された）被写体像の領域に合焦させて画像を再生し、表示部１５０に表示させる（ステップＳｆ１６）。そして、画像処理装置１４０は、至近から無限まで焦点距離を変化させながら画像を再生し、表示部１５０に表示させる。また、画像処理装置１４０は、優先ラベルが設定された領域をズーム再生し、表示部１５０に表示させる（ステップＳｆ１７）。

また、特異明度ラベル（図１９のステップＳｄ２２を参照）が設定された領域である場合、画像処理装置１４０は、ステップＳｆ１の次に、トーンカーブ（階調カーブ）を連続的に変化させながら、特異明度ラベルが設定された領域をズーム再生し、表示部１５０に表示させる。

例えば、画像処理装置１４０は、特異明度ラベルが設定された領域が明るい場合、その領域の白飛びを抑えながら、コントラストを強調する処理を実行してもよい。また、画像処理装置１４０は、特異明度ラベルが設定された領域が暗い場合、感度を上げた高ガンマテーブルを、その領域に設定してもよい（ステップＳｆ１８）。

また、点光源フラグがオンに設定されている場合、すなわち、例えば、点光源、夕景、夜景が撮像された画像である場合、画像処理装置１４０は、ステップＳｆ１の次に、画像の明度を下げて再生を開始する。次に、画像処理装置１４０は、明度を上げて画像を再生し、表示部１５０に表示させる（ステップＳｆ１９）。これにより、画像処理装置１４０は、点光源を強調することができる。

また、縦、横、又は斜めに延びたエッジの領域を含む画像である場合、画像処理装置１４０は、ステップＳｆ１の次に、ズーム再生及びパンニング表示により、エッジの領域を再生し、表示部１５０に表示させる。そして、画像処理装置１４０は、領域の明度に応じて、明度コントラストを変化させる（ステップＳｆ２０）。

これにより、画像処理装置１４０は、領域の情報に対応付けられた画像を、効果的な演出を伴って再生することができる。

［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、領域検出部１４２が、異なる特徴の特徴量に基づいて検出した領域同士を、結合又は分割する点が、第１実施形態と異なる。以下では、第１実施形態との相違点についてのみ説明する。

領域検出部１４２は、第１の特徴（例えば、彩度）の特徴量に基づいて検出した第１の領域と、第２の特徴（例えば、テクスチャ）の特徴量に基づいて検出した第２の領域との重なる部分の面積を算出し、その重なる部分の面積が予め定められた面積以上である場合、第１の領域に第２の領域を結合する。

また、領域検出部１４２は、第３の特徴（例えば、彩度）の特徴量に基づいて検出した第３の領域に対応する被写体距離と、第４の特徴（例えば、テクスチャ）の特徴量に基づいて検出した第４の領域に対応する被写体距離とが同じ距離であるが否かを判定する。そして、第３の領域に対応する被写体距離と、第４の領域に対応する被写体距離とが同じ距離である場合、領域検出部１４２は、第３の領域に第４の領域を結合する。

また、領域検出部１４２は、領域を結合する場合、結合する前の領域毎の評点を合算し、合算した評点を、結合した後の領域の評点とする。また、領域検出部１４２は、領域に含まれる複数の小領域が、それぞれ異なる被写体距離に対応する場合には、領域を複数の小領域に分割する。

また、領域検出部１４２は、デプスマップに基づいて、領域を結合又は分割する。デプスマップの詳細については、図３５を用いて後述する。

図３３には、領域を結合する処理、及び領域を分割する処理の手順が、フローチャートで示されている。領域検出部１４２は、第１の特徴（例えば、彩度）の特徴量に基づいて検出した第１の領域と、第２の特徴（例えば、テクスチャ）の特徴量に基づいて検出した第２の領域との重なる部分の面積を算出する。そして、領域検出部１４２は、その重なる部分の面積が予め定められた面積以上である場合、第１の領域に第２の領域を結合する（同一のラベルにする）。また、評点算出部１４３は、結合した領域の各評点を加算し、結合した領域の「領域の情報」を更新する（ステップＳｋ１）。

図３４には、第１の特徴の特徴量に基づいて検出した第１の領域５０と、第２の特徴の特徴量に基づいて検出した第２の領域５１とが示されている。図３４において、領域検出部１４２は、第１の領域５０と、第２の領域５１との重なる部分（ＯＲ）の面積を算出する。そして、領域検出部１４２は、重なる部分の面積が予め定められた面積以上である場合、第１の領域５０に、第２の領域５１を結合する。

図３３に戻り、手順の説明を続ける。領域検出部１４２は、被写体距離が同じ距離である領域を検出する。ここで、領域検出部１４２は、記憶部１６０からデプスマップを取得し、デプスマップに基づいて、被写体距離が同じ距離である領域を検出してもよい。そして、領域検出部１４２は、被写体距離が同じ距離である領域同士が近接している場合、それらの領域を結合し、結合した領域にラベルを設定する。また、評点算出部１４３は、近接していた各領域の評点の自乗和の平方根を、結合した領域の新たな評点とし、結合した領域の「領域の情報」（図１０のステップＳｅ１２を参照）として記憶させる。

また、領域検出部１４２は、被写体距離が同じ距離である領域同士が近接していない場合でも、被写体距離が同じ距離である領域に、同じグループであることを示すラベルを設定する（グルーピング）。例えば、被写体距離が共に同じ距離であるが近接していない領域に、領域検出部１４２は、「グループＡ−１」、「グループＡ−２」のように、同じグループＡであることを示すラベルを設定してもよい。また、領域検出部１４２は、同じグループであることを示すラベルが設定された領域のうち、「テクスチャラベル」が設定された領域を優先し、「テクスチャラベル」が設定された領域に対して、焦点調整（ＡＦ）を実行させてもよい（ステップＳｋ２）。

デプスマップについて説明する。図３５には、デプスマップの例が示されている。ここで、デプスマップとは、画像における被写体距離の分布を示したマップである。なお、デプスマップは、画像における被写体像のデフォーカス量の分布を示したマップであってもよい。

デプスマップ６０には、領域検出部１４２が検出した領域を結合又は分割するための評価領域６１〜７１が、一例として、設定されている。そして、各評価領域には、その評価領域に対応する被写体距離がある。ここで、評価領域に対応する被写体距離とは、その評価領域に撮像された被写体の被写体距離である。

以下、一例として、評価領域６７〜７１には、それらの評価領域に撮像された被写体の被写体距離に応じて、被写体距離「１（至近）」が対応し、評価領域６５及び６６には、同様に被写体距離「２」が対応し、評価領域６４には、同様に被写体距離「３」が対応し、評価領域６１〜６３には、同様に被写体距離「４（無限）」が対応するものとする。

図３５において、対応する被写体距離が「１（至近）」である評価領域は、黒色で示されている。また、対応する被写体距離が「４（無限）」である評価領域は、白色で示されている。また、対応する被写体距離がそれ以外である評価領域は、その被写体距離に応じた白と黒との中間色で示されている（グレー化）。

ここで、特徴量算出部１４１は、例えば、領域検出部１４２が色相毎に検出した領域のエッジの色成分量（色相の特徴量）の勾配と、色成分量の比又は差とに基づいて、被写体距離を検出してもよい。ここで、色成分量の勾配とは、画像における軸（例えば、水平軸）上の位置と、その位置に応じて変化する色成分量を示す図（グラフ）において、色成分量を示す線の勾配である。そして、特徴量算出部１４１は、このようにして算出した評価領域６１〜７１に対応する被写体距離に基づいて、デプスマップ６０を作成してもよい。

また、特徴量算出部１４１は、例えば、領域検出部１４２が色相毎に検出した領域のエッジの線広がり関数（ＬＳＦ）の標準偏差値に基づいて、被写体距離を検出してもよい。ここで、特徴量算出部１４１は、検出した領域のエッジのデフォーカス量が多いほど、エッジの線広がり関数の標準偏差値が大きいことに基づいて、被写体距離を検出してもよい。そして、特徴量算出部１４１は、このようにして検出した評価領域６１〜７１に対応する被写体距離に基づいて、デプスマップ６０を作成してもよい。

デスマップ６０は、例えば、位相差検出方式により検出した被写体距離、コントラストＡＦ方式により検出した写体距離、又は撮像装置１００と被写体との間を光線又は音波が往復した時間により検出した被写体距離などに基づいて作成されてもよい。なお、デプスマップ６０は、上記のようにして作成されたものに限定されない。

図３６には、図３３のステップＳｋ２における、領域検出部１４２が検出した領域の結合処理及びグルーピング処理を説明するための図として、領域８０及び８１が示されている。この領域８０及び８１は、領域検出部１４２が同じ特徴の特徴量に基づいて検出した領域であってもよいし、領域検出部１４２が異なる特徴の特徴量に基づいて検出した領域であってもよい。

ここで、一例として、画像における領域８０の位置と、デプスマップ６０（図３５を参照）における評価領域６７の位置とが対応しているとする。また、画像における領域８１の位置と、デプスマップ６０における評価領域６９の位置とが対応しているとする。

この場合、評価領域６７及び６９（図３５を参照）には、同じ被写体距離「１（至近）」が対応しているので、領域検出部１４２は、被写体距離が同じ距離である領域８０及び８１（図３６を参照）を検出する。そして、領域８０及び８１が近接していないので、領域検出部１４２は、同じグループであることを示すラベルを、領域８０及び８１に設定する（グルーピング）。

また、一例として、画像における領域８０の位置と、デプスマップ６０における評価領域６７の位置とが対応しているとする。また、画像における領域８１の位置と、デプスマップ６０における評価領域６８の位置とが対応しているとする。

この場合、評価領域６７及び６８（図３５を参照）には、同じ被写体距離「１（至近）」が対応しているので、領域検出部１４２は、被写体距離が同じ距離である領域８０及び８１（図３６を参照）を検出する。そして、領域８０及び８１が近接しているので、領域検出部１４２は、領域８０及び８１を結合し、結合した領域にラベルを設定する。

図３３に戻り、手順の説明を続ける。領域検出部１４２が検出した領域に含まれる複数の小領域が、それぞれ異なる被写体距離に対応する場合、領域検出部１４２は、デプスマップ６０に基づいて、被写体距離毎に領域を小領域に分割する（分割処理）。また、評点算出部１４３は、領域検出部１４２が分割した小領域の評点を算出する（ステップＳｋ３）。

図３７には、図３３のステップＳｋ３における、領域検出部１４２が検出した領域の分割処理を説明するための図として、領域９０と、その領域９０に含まれる小領域９１〜９３とが示されている。

ここで、一例として、画像における小領域９１の位置と、デプスマップ６０（図３５を参照）における評価領域６４の位置とが対応しているとする。また、一例として、画像における小領域９２の位置と、デプスマップ６０における評価領域６９の位置とが対応しているとする。また、一例として、画像における小領域９３の位置と、デプスマップ６０における評価領域６６の位置とが対応しているとする。

この場合、評価領域６４、６９、及び６６（図３５を参照）には、それぞれ異なる被写体距離が対応しているので、領域検出部１４２は、被写体距離毎に、領域９１に含まれる小領域９１〜９３（図３７を参照）を検出する。そして、小領域９１〜９３が、それぞれ異なる被写体距離に対応するので、領域検出部１４２は、デプスマップ６０に基づいて、領域９０を被写体距離（評価領域６４、６９、及び６６）毎に小領域９１〜９３に分割する。

図３３に戻り、手順の説明を続ける。評点算出部１４３は、デプスマップに基づく被写体距離に応じて、領域の評点に加点する。ここで、評点算出部１４３は、至近側の領域（前景を示す領域）には高い評点を加点する。一方、評点算出部１４３は、無限側の領域（背景を示す領域）には低い評定を加点する（ステップＳｋ４）。

なお、評点算出部１４３は、第１の評価領域に対応する被写体距離と、第２の評価領域に対応する被写体距離との差（相対距離）に応じて、領域の評点に加点してもよい。

領域検出部１４２は、領域の射影に基づいて、背景を示す領域を検出する。そして、評点算出部１４３は、背景を示す領域の評点を減点する。さらに、領域検出部１４２は、優先ラベルを設定する対象から、背景を示す領域を除外する（ステップＳｋ５）。なお、同様に、領域検出部１４２は、優先ラベルを設定する対象から、前景（例えば、降雪）を示す領域を除外してもよい。

ステップＳｋ５において、領域検出部１４２が、領域の射影に基づいて、背景を示す領域を検出する処理を説明する。図３８には、領域検出部１４２が、領域の射影に基づいて、背景を示す領域を検出する処理の手順が、フローチャートで示されている。

領域検出部１４２は、面積の大小に応じて、画像における領域を第１グループと第２グループとに分ける。そして、第１グループの領域の「Ｘ軸に対する射影（Ｘ射影）」が、第２グループの領域のＸ射影を包含し、かつ、第１グループの領域の「Ｙ軸に対する射影（Ｙ射影）」が、第２グループの領域のＹ射影を包含する場合、領域検出部１４２は、背景が撮像された領域（背景を示す領域）として、第１グループの領域を検出し、第１グループの領域に「背景ラベル」を設定する（ステップＳｎ１）。

図３９には、図３８のステップＳｎ１における、背景を示す領域を検出する処理を説明するための図が示されている。ここで、画像の垂直方向にＸ軸と、画像の水平方向にＹ軸とが設定されているとする。さらに、領域検出部１４２は、面積の大小に応じて、画像における領域を、第１グループの領域９５と第２グループの領域９４とに分けたとする。

そして、第１グループの領域９５のＸ射影９６ｘが、第２グループの領域９４のＸ射影９７ｘを包含し、かつ、第１グループの領域９５のＹ射影９６ｙが、第２グループの領域９４のＹ射影９７ｙを包含する場合、領域検出部１４２は、第１グループの領域９５に、背景を示す領域であることを示す「背景ラベル」を設定する。

図３８に戻り、背景を示す領域を検出する処理の手順の説明を続ける。ステップＳｎ１において、第１グループの領域９５に「背景ラベル」を設定しなかった場合でも、第１グループの領域９５の面積が、予め定められた面積より広く、かつ、第２グループの領域９４から外側に向かう法線が、第１グループの領域９５に角度「１８０」度以上かかる場合には、領域検出部１４２は、第１グループの領域９５に「背景ラベル」を設定する（ステップＳｎ２）。

図４０には、図３８のステップＳｎ２における、背景を示す領域を検出する処理を説明するための図が示されている。図４０では、図３９と異なり、第１グループの領域９５のＹ射影９６ｙが、第２グループの領域９４のＹ射影９７ｙを包含していない。そして、第１グループの領域９５の面積が、予め定められた面積より広く、かつ、第２グループの領域９４から外側に向かう法線９８及び９９が、第１グループの領域９５に角度１８０度以上かかる場合、領域検出部１４２は、第１グループの領域９５に「背景ラベル」を設定する。

図３３に戻り、手順の説明を続ける。画像には、被写体距離が不明である領域があってもよい。そして、領域検出部１４２は、被写体距離が不明である領域に、高い評点（例えば、上位３つ以内）が付けられているか否かを判定する（ステップＳｋ６）。

被写体距離が不明である領域に、高い評点が付けられていない場合（ステップＳｋ６−ＮＯ）、領域検出部１４２は、検出した領域に、評点に応じて「優先ラベル」を設定する。ここで、領域検出部１４２は、複数の領域に「優先ラベル」を設定してもよい（ステップＳｋ７）。

一方、被写体距離が不明である領域に、高い評点が付けられている場合（ステップＳｋ６−ＹＥＳ）、領域検出部１４２は、その高い評点が付けられている領域に「優先ラベル」を設定する。これは、主要な被写体像の領域であるにも関わらず、低コントラストであるために、被写体距離が不明となっている場合があるためである。

また、評点算出部１４３は、至近側（例えば、被写体距離「１（至近）」）の領域に付けられた評点のうち最高の評点を、「優先ラベル」を設定した領域の評点に加算する。そして、評点算出部１４３の処理は、ステップＳｋ７に進む（ステップＳｋ８）。

以上に説明した、領域にラベルを設定する処理と、評点を算出する処理をまとめると、これらの処理の概要は、次のようになる。

まず、画像処理装置１４０は、特徴量毎にラベリングにより領域を検出し、検出した領域について、ラベリング処理、及び評点算出処理を実行する。領域検出部１４２は、特徴量毎に定まる領域を、画像から検出する。そして、領域検出部１４２は、例えば、動きのある領域に、動きラベルを設定する。また、例えば、評点算出部１４３は、画像の中心（画角中心）から領域の重心までの距離、慣性モーメント、及び領域の面積（画素数）に応じて、領域に評点を設定する。

次に、画像処理装置１４０は、特徴量に基づいて、領域の評点に加点する。例えば、評点算出部１４３は、特異である特徴量（例えば、色相環において不連続である色相）がある領域、彩度が高い領域、周囲と比較して色相（色合い）が著しく異なる領域、色相（特定の色相）に基づいて検出した領域、周囲と比較して明度が著しく異なる領域、角度検出オペレータ又はＤＣＴにより検出するテクスチャに基づいて検出した領域、縦又は横に延びたエッジに基づいて検出した領域などの評点に、加点する。

次に、画像処理装置１４０は、被写体距離（デプス、深度）に基づいて、領域の評点に加点する。例えば、評点算出部１４３は、被写体距離の差（相対距離）に応じて、領域の評点に加点する。

さらに、画像処理装置１４０は、領域を結合、分割、又はグルーピングし、領域にラベルを設定する。例えば、領域検出部１４２は、被写体距離が同じ距離である領域同士が近接している場合、それらの領域を結合し、結合した領域にラベルを設定する。また、例えば、領域検出部１４２は、デプスマップ６０に基づいて、領域を小領域に分割する。また、例えば、領域検出部１４２は、被写体距離が同じ距離である領域に、同じグループであることを示すラベルを設定する。

次に、画像処理装置１４０は、結合、分割、又はグルーピングした領域の評点に加点する。例えば、評点算出部１４３は、結合した領域の評点に加点する。また、例えば、評点算出部１４３は、前景又は背景を示す領域の評点を減点する。また、例えば、領域検出部１４２は、被写体距離が不明である領域であって、高い評点が付けられている領域に「優先ラベル」を設定する。そして、評点算出部１４３は、至近側の領域に付けられた評点を、「優先ラベル」を設定した領域の評点に加算する。

次に、画像処理装置１４０は、「優先ラベル」を設定する。例えば、領域検出部１４２は、検出した領域に、その評点に応じて「優先ラベル」を設定する。ここで、領域検出部１４２は、複数の領域に、その評点が上位である順に「優先ラベル」を設定してもよい。

以上のように、画像処理装置１４０は、第１の特徴の特徴量に基づいて検出した第１の領域と、第２の特徴の特徴量に基づいて検出した第２の領域と、の重なる部分の面積を算出し、その重なる部分の面積が予め定められた面積以上である場合、その第１の領域にその第２の領域を結合する。これにより、画像処理装置１４０は、検出した小領域をまとめた領域を、主要な被写体像の領域として識別することができる。

また、画像処理装置１４０は、第３の特徴の特徴量に基づいて検出した第３の領域に対応する距離（被写体距離）と、第４の特徴の特徴量に基づいて検出した第４の領域に対応する距離と、が同じ距離である場合、その第３の領域にその第４の領域を結合する。これにより、画像処理装置１４０は、検出した領域をまとめた領域を、主要な被写体像の領域として識別することができる。

また、画像処理装置１４０は、領域を結合する場合、結合する前の領域毎の評点を合算し、合算した評点を、結合した後の領域の評点とする。これにより、画像処理装置１４０は、結合した領域の評点に基づいて、主要な被写体像の領域を識別することができる。

また、画像処理装置１４０は、領域を構成する複数の小領域が、それぞれ異なる距離（被写体距離）に対応する場合、領域を複数の小領域に分割する。これにより、画像処理装置１４０は、検出した領域に含まれた複数の小領域に基づいて、主要な被写体像の領域を識別することができる。

また、画像処理装置１４０は、画像における距離（被写体距離）の分布を示すデプスマップに基づいて、領域を結合又は分割する。これにより、画像処理装置１４０は、取得又は作成したデプスマップに基づいて、主要な被写体像の領域を識別することができる。

［第３実施形態］
本発明の第３実施形態について図面を参照して詳細に説明する。第３実施形態では、焦点調整（ＡＦ）領域が、画角の中央に固定されている（ＡＦエリアが画角の中央にある）場合に、被写体像の領域が低コントラストであったとしても、画像処理装置１４０が主要な被写体像の領域を識別し、コントラストを確保する点が、第１及び第２実施形態と異なる。第３実施形態では、画像における固定点に設定されたＡＦ領域に、確実に被写体があると仮定して、ＡＦ領域のコントラストを上げる方法を採る。ここで、ＣＰＵ１９０は、ラベルの内側又はラベルのエッジを含む領域を、コントラストＡＦ領域に設定し、コントラストスキャンにより合焦位置を探索する。以下では、第１及び第２実施形態との相違点についてのみ説明する。

図４１には、焦点調整（ＡＦ）領域が固定されている場合における合焦動作の手順が、フローチャートで示されている。まず、ＣＰＵ１９０は、ユーザからの操作入力に基づいて、焦点調整（ＡＦ）領域を、画角の中央に設定する（ステップＳｐ１）。そして、画像処理装置１４０は、スルー画像を取得する。ここで、画像処理装置１４０は、時間的に連続するスルー画像（スルー画列）を取得してもよい（ステップＳｐ２）。

ＣＰＵ１９０は、撮像部１１０に、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、ＣＰＵ１９０は、画像処理装置１４０に、ノイズ低減処理（ＮＲ）、及びホワイトバランス調整（ＡＷＢ）を実行させる（ステップＳｐ３）。そして、特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得し、焦点調整（ＡＦ）領域に撮像された被写体像の領域のラベル作成用特徴量を算出する（ステップＳｐ４）。

さらに、特徴量算出部１４１は、特徴量毎にヒストグラムを作成し、後段処理で使用する特徴量（弁別可能な特徴量）を選択する（ステップＳｐ５）。そして、領域検出部１４２は、選択した特徴量のヒストグラムにおけるピーク又は谷に基づいて、ヒストグラムの不連続領域（分割数、分割域）を算出する（図１８を参照）（ステップＳｐ６）。

領域検出部１４２は、ヒストグラムにおいてピーク波形又は不連続領域を示す特徴量（図１８では、色相）に基づいて、ラベリングにより領域を検出する（ステップＳｐ７）。優先度設定部１４４は、評点算出部１４３が算出した評点に基づいて、領域検出部１４２が検出した領域に優先度を設定する。そして、領域検出部１４２は、優先度が高い領域（有効領域）を選択する（ステップＳｐ８）。

領域検出部１４２は、選択した領域を拡張するために、条件を緩和（例えば、ラベリングするための特徴量の閾値を下げるなど）して、再びラベリング処理を実行する。ここで、選択した領域が複数ある場合、領域検出部１４２は、それぞれの領域を拡張する（ステップＳｐ９）。特徴量算出部１４１は、領域検出部１４２が拡張した領域の境界（外周）から５％内側の領域についてヒストグラムを作成する。さらに、領域検出部１４２は、ヒストグラムに基づいて、コントラストの検出に有利な色相（色チャネル）を選択する。例えば、領域検出部１４２は、コントラスト値が高い色相（色チャネル）を、コントラストの検出に有利な色相（色チャネル）として選択する（ステップＳｐ１０）。

領域検出部１４２は、選択した領域の色相及び輝度のコントラスト値が低い（低コントラストである）か、又は色相及び輝度のコントラスト値がさらに低い（さらに低コントラストである）か、を判定する（ステップＳｐ１１）。例えば、領域検出部１４２は、予め定められた第１閾値よりコントラスト値が低い場合、その領域のコントラスト値を、低コントラストと判定してもよい。また、例えば、領域検出部１４２は、第１閾値より値が小さい第２閾値よりコントラスト値が低い場合、その領域のコントラスト値を、さらに低コントラストと判定してもよい。

選択した領域の色相及び輝度のコントラスト値が低い場合（ステップＳｐ１１−低コントラスト）、領域検出部１４２は、コントラストＡＦ領域を拡張し、選択した領域に高ガンマテーブル（図１５を参照）を設定する（ステップＳｐ１２）。

領域検出部１４２は、高ガンマテーブルを設定した領域の境界（外周）から５％内側を含む領域に、コントラストＡＦ領域を設定する（ステップＳｐ１３）。ＣＰＵ１９０は、領域検出部１４２が選択した色相について、コントラストスキャンを実行し、領域検出部１４２が選択した色相のコントラストがピークを示したレンズ位置を、記憶部１６０に記憶させる（ステップＳｐ１４）。

ＣＰＵ１９０は、コントラストがピークを示したレンズ位置にＡＦレンズ１１２を移動させることで、コントラストＡＦ領域に撮像された領域に合焦させる。ここで、コントラストＡＦ領域に複数の「選択した領域」が撮像されている場合、ＣＰＵ１９０は、その領域のうち被写体距離が最も短い（最至近に撮像された）領域に合焦させる（ステップＳｐ１５）。

一方、選択した領域の色相及び輝度のコントラスト値が、さらに低い場合（ステップＳｐ１１−さらに低コントラスト）、領域検出部１４２は、選択した領域の境界（外周）近傍のエッジを検出する（ステップＳｐ１６）。そして、領域検出部１４２は、選択した領域の境界（外周）近傍でエッジを探索し、エッジの色相（色構成）を検出する（ステップＳｐ１７）。

さらに、領域検出部１４２は、色相を検出した領域でエッジを探索し、エッジの色相を検出した領域を、ＳＮ比が確保できるまで拡張する（ステップＳｐ１８）。なお、領域検出部１４２は、アパーチャ（Ｆ値）を変更させる、又は高ガンマテーブルに変更することにより、色相及び輝度のコントラストを検出する感度を上げてもよい。

そして、領域検出部１４２は、色相を検出した領域に、コントラストＡＦ領域を設定する（ステップＳｐ１９）。領域検出部１４２の処理は、ステップＳｐ１４に進む。

なお、同じ優先度のラベルが複数あった場合、合焦位置の探索に複数のラベルが使用されてもよい。

焦点調整（ＡＦ）領域が固定されている場合における合焦動作の手順は、次のようにしてもよい。
特徴量算出部１４１は、ラベルの検出に最適な特徴量を算出する（ステップＳｒ１）。領域検出部１４２は、特徴量算出部１４１が算出した特徴量に基づいて、ラベルを検出する（ステップＳｒ２）。領域検出部１４２は、コントラストＡＦ領域に、ラベルを設定する（ステップＳｒ３）。領域検出部１４２は、設定したラベルの外側にあるエッジを抽出する（ステップＳｒ４）。領域検出部１４２は、抽出したエッジを含むまで、ラベルを拡張する（ステップＳｒ５）。領域検出部１４２は、コントラストＡＦ領域にラベルを設定する（ステップＳｒ６）。領域検出部１４２は、ガンマテーブルを２系統有し、うち１系統を高ガンマテーブルとする（ステップＳｒ７）。ＣＰＵ１９０は、ＡＦレンズ１１２を駆動して、コントラストスキャンを実行する（ステップＳｒ８）。領域検出部１４２は、ラベルの内側又は外側のいずれかにおいて、至近側に分布するラベルを合焦点と判定する（ステップＳｒ９）。

以上のように、画像処理装置１４０は、被写体像の領域の色相及び輝度のコントラスト値が低い場合、コントラストＡＦ領域を拡張し、選択した領域に高ガンマテーブルを設定する。また、画像処理装置１４０は、被写体像の領域の色相及び輝度のコントラスト値がさらに低い場合、エッジの色相を検出した領域を、ＳＮ比が確保できるまで拡張する。

これにより、焦点調整（ＡＦ）領域が画角の中央に固定されている場合に、被写体像の領域が低コントラストであったとしても、画像処理装置１４０は、色相及び輝度のコントラストを検出する感度を上げて、コントラストスキャンを実行するので、撮像された画像における領域を、高精度に識別することができる。例えば、画像処理装置１４０は、撮像された画像における、主要な被写体像の領域と、主要でない被写体像の領域とを識別することができる。

＜被写体認識技術との組み合わせ＞
画像処理装置１４０は、人の顔の位置を顔検出（被写体認識技術）により検出し、検出した顔の位置に基づいて、胴体又は髪の位置を推定し、推定した位置にラベルに設定してもよい。

胴体又は髪のラベルを用いたほうが、顔のラベルを用いるよりも有利な評価値（高ＳＮ、高コントラスト）を算出することができる場合、ＣＰＵ１９０は、顔のラベルの代わりに、胴体又は髪のラベルを使用して、コントラストスキャンを実行してもよい。また、動物を検出する場合も同様であり、領域検出部１４２は、動物の顔と同一の色相又はテクスチャのラベルを、動物の顔の周辺で探索してもよい。ＣＰＵ１９０は、探索されたラベルにおける有利な評価値を使用して、コントラストスキャンを実行する。

上記以外の被写体認識技術を用いた場合も、同様の考え方が適用できる。この場合、顔ラベルのコントラストのピークと、顔の周辺にあるラベルのコントラストのピークとが同じレベルであることが前提である。ＣＰＵ１９０は、この前提が成り立っていることを確認した上で、顔の周辺にあるラベルのコントラスト評価値を使用して、コントラストスキャンを実行する。また、ＣＰＵ１９０は、この前提が成り立っていることを確認する処理を省き、予め定められた位置関係（例えば、顔と胴体との位置関係）に基づいて、顔の周辺にあるラベルのコントラスト評価値を使用して、コントラストスキャンを実行してもよい。

［第４実施形態］
本発明の第４実施形態について図面を参照して詳細に説明する。第４実施形態では、夜景ポートレート（夜景Ｐ）を撮像する場合に、画像処理装置１４０がコントラストの検出に有利な特徴量（例えば、色相の特徴量）を選択する点が、第１〜第３実施形態と異なる。以下では、第１〜第３実施形態との相違点についてのみ説明する。

図４２には、夜景を撮像する場合における合焦動作の手順が、フローチャートで示されている。まず、ＣＰＵ１９０は、ユーザからの操作入力に基づいて、撮像モードを夜景ポートレートモードに設定する（ステップＳｑ１）。これにより、ＣＰＵ１９０は、撮像装置１００に備える発光部（不図示）に、ＡＦ補助光を発光させる。発光部（不図示）がＡＦ補助光を発光することで、ＡＦ補助光は、被写体に照射される（ステップＳｑ２）。そして、画像処理装置１４０は、スルー画像を取得する。ここで、画像処理装置１４０は、時間的に連続するスルー画像（スルー画列）を取得してもよい（ステップＳｑ３）。

ＣＰＵ１９０は、撮像部１１０に、ｄｅｂａｙｅｒ（色補間）処理を実行させる。また、ＣＰＵ１９０は、画像処理装置１４０に、ノイズ低減処理（ＮＲ）、及びホワイトバランス調整（ＡＷＢ）を実行させる（ステップＳｑ４）。そして、特徴量算出部１４１は、撮像部１１０が撮像した画像を、バッファメモリ部１３０から取得し、顔検出処理を実行して、画像において顔が撮像された領域を算出する（ステップＳｑ５）。

ここで、ＡＦ補助光が顔に照射された場合における顔の色相は、例えば、撮像装置１００の製造前に予め測定されて、顔の色相の予測値として、記憶部１６０に予め記憶されているものとする。そして、領域検出部１４２は、ＡＦ補助光が顔に照射された場合における、顔の色相の予測値に基づいて、画像において顔が撮像された領域をラベリングする。この結果、ＣＰＵ１９０は、ラベルの明度とＡＦレンズ１１２（図１を参照）の変倍位置とに基づいて、撮像装置１００から顔までの、おおよその距離を算出して、ＡＦレンズ１１２を駆動する。複数のラベルが画像に存在する場合、ＣＰＵ１９０は、最も明度の高いラベルの顔に合焦させるよう、ＡＦレンズ１１２を駆動する。また、複数のラベルが同様の明度である場合、ＣＰＵ１９０は、画角の中央に最も近いラベルに合焦させるよう、ＡＦレンズ１１２を駆動する（ステップＳｑ６）。

これにより、ＣＰＵ１９０は、顔ラベルに対してまったく合焦していない大ぼけの状態を回避して、各ラベルのコントラストを比較することができる。なお、領域検出部１４２は、顔が撮像された領域が画像に複数ある場合、各領域の評点等に応じて、優先ラベル及び優先度を設定する。

また、複数種類の光源からの光（ミックス光）が顔に照射されているなどの理由で、顔が撮像された領域に、ＡＦ補助光が顔に照射された場合における、顔の色相の予測値がない場合、特徴量算出部１４１は、顔検出により顔領域を検出し、検出した顔領域における平均色相を算出する（ステップＳｑ７）。そして、領域検出部１４２は、画像において顔が撮像された領域を、特徴量算出部１４１が検出した平均色相に基づいて、ラベリングする（ステップＳｑ８）。そして、領域検出部１４２は、顔が撮像された領域に「顔ラベル」を設定する（ステップＳｑ９）。

特徴量算出部１４１は、顔が撮像された領域の外周から５％内側の領域について、ＲＧＢヒストグラムを作成する。さらに、領域検出部１４２は、ヒストグラムに基づいて、コントラストの検出に有利な特徴量を選択する（ステップＳｑ１０）。以下では、一例として、領域検出部１４２が、コントラスト値が高い色相（色チャネル）を、コントラストの検出に有利な色相として選択したとして説明する。

領域検出部１４２は、顔が撮像された領域のＲＧＢ及び輝度が、低コントラストである否かを判定する（ステップＳｑ１１）。例えば、領域検出部１４２は、コントラスト値が予め定められた閾値より低い場合、その領域のコントラスト値が低コントラストである、と判定する。一方、領域検出部１４２は、コントラスト値が予め定められた閾値以上である場合、その領域のコントラスト値が低コントラストでない、と判定する。

顔が撮像された領域のＲＧＢチャネル及び輝度のコントラスト値が、低コントラストである場合（ステップＳｑ１１−ＹＥＳ）、領域検出部１４２は、顔の輪郭の色チャネルを選択する（ステップＳｑ１２）。そして、ＣＰＵ１９０は、選択された色チャネルに基づいて、コントラストスキャンを実行する（ステップＳｑ１３）。

一方、顔ラベルのコントラスト値が、低コントラストでない場合（ステップＳｑ１１−ＮＯ）、領域検出部１４２は、顔が撮像された領域の外周から５％内側を含む領域に、コントラストＡＦ領域を設定する（ステップＳｑ１４）。そして、領域検出部１４２の処理は、ステップＳｑ１３に進む。

＜夜景Ｐを撮像する場合における、顔検出ができる場合と、顔検出ができない場合との合焦動作について＞
顔検出ができる場合（顔検出ができる程度の光量がある場合）、領域検出部１４２は、検出した顔に基づいて、その顔の周辺をラベリングする。ＣＰＵ１９０は、検出された顔に基づいて、検出した顔から撮像装置１００までの、おおよその距離を算出して、ＡＦレンズ１１２を駆動する。

一方、顔検出ができない場合、例えば、顔検出ができる程度の定常光量がなく、かつ、ＡＦ補助光が顔に照射されたことにより、定常光とＡＦ補助光とのミックス光によって、顔の色相が特定できない場合、領域検出部１４２は、ＡＦ補助光の発光時と消灯時との差分画像に基づいて、ＡＦ補助光が照射された領域を検出する。また、領域検出部１４２は、ＡＦ補助光が顔に照射された場合における、顔の色相の予測値に基づいて、画像において顔が撮像された領域をラベリングする（顔ラベル作成）。

図４３には、夜景Ｐを撮像する場合における、顔検出ができる場合と、顔検出ができない場合との合焦動作の手順が、フローチャートで示されている。ＣＰＵ１９０は、ＡＦ補助光を発光させる（ステップＳｔ１）。領域検出部１４２は、特定色相（例えば、ミックス光の色相）を探索する（ステップＳｔ２）。領域検出部１４２は、特定色相があるか否かを判定する（ステップＳｔ３）。特定色相がある場合（ステップＳｔ３−ＹＥＳ）、領域検出部１４２は、ラベルのコントラストを評価する（ステップＳｔ４）。低コントラストである場合、領域検出部１４２は、高ガンマテーブルを設定する。また、高ガンマテーブルを設定しても、まだ低コントラストである場合、領域検出部１４２は、ラベルを拡張する。ここで、領域検出部１４２は、高ガンマテーブルでない通常ガンマテーブルを設定する（ステップＳｔ５）。ＣＰＵ１９０は、コントラストスキャンを実行する（ステップＳｔ６）。

一方、特定色相がない場合（ステップＳｔ３−ＮＯ）、領域検出部１４２は、顔検出が可能であるか否かを判定する（ステップＳｔ７）。顔検出が可能である場合（ステップＳｔ７−ＹＥＳ）、領域検出部１４２は、顔の色相の予測値に基づいて、ラベリングする（ステップＳｔ８）。顔検出が可能である場合（ステップＳｔ７−ＮＯ）、領域検出部１４２は、ＡＦ補助光の発光時と消灯時との差分画像に基づいて、ラベリングする（ステップＳｔ９）。

以上のように、夜景Ｐを撮像する場合に、画像処理装置１４０は、ＡＦ補助光が顔に照射された場合における顔の色相、又は顔が撮像された領域における平均色相を検出して、その色相に基づいて、領域をラベリングし、コントラストの検出に有利な色チャネルを選択する。

これにより、夜景Ｐを撮像する場合に、被写体像の顔の領域が低コントラストであったとしても、コントラストの検出に有利な色チャネルを選択してコントラストスキャンを実行するので、被写体像の顔の領域を、高精度に識別することができる。例えば、画像処理装置１４０は、撮像された画像における、主要な被写体像の「顔の領域」と、主要でない被写体像の領域とを識別することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、特徴量算出部１４１は、領域検出部１４２が色相毎に検出した領域のエッジの線広がり関数（ＬＳＦ）の「半値幅」に基づいて、被写体距離又はデフォーカス量を検出してもよい。

また、例えば、領域検出部１４２は、領域の情報（例えば、領域の位置、形状、被写体距離など）に基づいて、被写体像の領域を切り抜いて（グラフカット）、切り抜いた被写体像の領域を他の画像に合成してもよい。

また、例えば、ＣＰＵ１９０は、１方向にのみＡＦレンズ１１２を駆動（フォーカスポジションを変更）させながら、撮像部１１０に撮像（連写）させてもよい（ＡＦブラケット）。ここで、「優先ラベル」が設定された被写体像の領域は、ＡＦブラケットの実行前に、コントラストスキャンされていてもよい。また、ＣＰＵ１９０は、ＡＦブラケットを実行しながら、被写体像の領域をコントラストスキャンしてもよい。

また、例えば、ＡＦブラケットにより撮像（連写）された画像は、その画像が含む領域の優先度に応じて、画像の記録及び再生表示の順序が並べ替えられてもよい。例えば、画像処理装置１４０は、優先度が最も高い領域が撮像された画像を時間的に連続する最初の画像とし、優先度が最も低い領域が撮像された画像を、時間的に連続する最後の画像として、画像の順序を並べ替えて、記録及び再生表示を実行してもよい。

また、例えば、動作モードに応じて、又は「パースペクティブフラグ」がオンである場合、追尾する被写体像の領域を切り替える指示を、ＣＰＵ１９０が操作部１８０を介して受け付けている間、又は受け付けるたびに、ＣＰＵ１９０は、追尾する被写体像の領域を、優先ラベルに応じて、又は優先度の高い順に切り替えてもよい（トラッキング制御）。さらに、ＣＰＵ１９０が操作部１８０を介して撮影指示を受け付けた場合、ＣＰＵ１９０は、撮像部１１０に撮像（露光）させてもよい。

また、例えば、ＣＰＵ１９０は、図３のステップＳａ３において、初期ＡＦとして、コントラストＡＦ方式、又は位相差検出方式などの焦点調整を実行してよい。

また、例えば、画像処理装置１４０は、後段処理において、ＲＧＢ色空間で表現されたデータを使用してもよい。

また、図２、３、４、５、６、７、８、１０、１１、１７、１９、２０、２４、２６、２７、２８、２９、３０、３１、３２、３３、３８、４１、４２、及び４３を用いて説明した手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…撮像装置、１１０…撮像部、１１１…レンズ鏡筒、１４０…画像処理装置、１４１…特徴量算出部、１４２…領域検出部、１４３…評点算出部、１４４…優先度設定部

Claims (8)

1. 画像における複数の特徴毎に、当該特徴の特徴量を算出する特徴量算出部と、
   前記画像に含まれる領域であって前記特徴量毎に定まる領域を前記画像から検出し、識別子を設定する領域検出部と、
   異なる前記特徴の前記特徴量に基づいて検出された前記領域同士を比較するための評点を、前記領域毎に算出する評点算出部と、
   前記評点に基づいて、前記画像における前記領域の優先度を設定する優先度設定部と、
   を備えることを特徴とする画像処理装置。
2. 前記領域検出部は、第１の前記特徴の前記特徴量に基づいて検出した第１の前記領域と、第２の前記特徴の前記特徴量に基づいて検出した第２の前記領域と、の重なる部分の面積を算出し、当該重なる部分の面積が予め定められた面積以上である場合、当該第１の領域に当該第２の領域を結合することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域検出部は、第３の前記特徴の前記特徴量に基づいて検出した第３の前記領域に対応する距離と、第４の前記特徴の前記特徴量に基づいて検出した第４の前記領域に対応する距離と、が同じ距離である場合、当該第３の領域に当該第４の領域を結合することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記領域検出部は、前記領域を結合する場合、結合する前の当該領域毎の前記評点を合算し、合算した評点を、結合した後の前記領域の前記評点とすることを特徴とする請求項２から請求項３のいずれか１つに記載の画像処理装置。
5. 前記領域検出部は、前記領域を構成する複数の小領域が、それぞれ異なる前記距離に対応する場合、前記領域を前記複数の小領域に分割することを特徴とする請求項１から請求項４のいずれか１つに記載の画像処理装置。
6. 前記領域検出部は、前記画像における前記距離の分布を示すデプスマップに基づいて、前記領域を結合又は分割することを特徴とする請求項２から請求項５のいずれか１つに記載の画像処理装置。
7. 光学系による像を撮像し、撮像した画像を出力する撮像部と、
   前記画像における複数の特徴毎に、当該特徴の特徴量を算出する特徴量算出部と、
   前記画像に含まれる領域であって前記特徴量毎に定まる領域を前記画像から検出し、識別子を設定する領域検出部と、
   異なる前記特徴の前記特徴量に基づいて検出された前記領域同士を比較するための評点を、前記領域毎に算出する評点算出部と、
   前記評点に基づいて、前記画像における前記領域の優先度を設定する優先度設定部と、
   を備えることを特徴とする撮像装置。
8. コンピュータに、
   画像における複数の特徴毎に、当該特徴の特徴量を検出する手順と、
   前記画像に含まれる領域であって前記特徴量毎に定まる領域を前記画像から検出し、識別子を設定する手順と、
   異なる前記特徴の前記特徴量に基づいて検出された前記領域同士を比較するための評点を、前記領域毎に算出する評点算出部と、
   前記評点に基づいて、前記画像における前記領域の優先度を設定する優先度設定部と、
   を実行させるための画像処理プログラム。

Images