JP2011211629A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】面倒な操作や高度な技術を必要とせずに、好適なトリミング画像を提供する。
【解決手段】RAWデータ記録制御部３３３は、連続する複数フレームの画像のうちの所定フレームの画像（RAWデータ）の記録を制御し、トリミング枠設定部３３４は、RAWデータ記録制御部３３３により記録された所定フレームの画像において、注目する被写体の領域である被写体領域を含む複数のトリミング枠を設定し、トリミング画像生成制御部３３５は、トリミング枠設定部３３４により設定された複数のトリミング枠に基づいて、RAWデータ記録制御部３３３により記録された所定フレームの画像からの、複数のトリミング画像の生成を制御する。本発明は、デジタルスチルカメラに適用することができる。
【選択図】図１４

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、面倒な操作や高度な技術を必要とせずに、好適なトリミング画像を提供するようにする画像処理装置および方法、並びにプログラムに関する。

近年、デジタルスチルカメラ等の撮像装置において、人物や顔といった被写体を検出器によって検出した上で被写体を撮像し、撮像画像において、検出された被写体の領域が、トリミング画像の中心となるようにトリミング枠を設定する技術が提案されている（特許文献１参照）。

特開２００７−３１６９５７号公報

しかしながら、特許文献１の技術では、常に、中心付近に被写体が配置されたトリミング画像しか得られない。このような画像の中心に被写体が配置されている構図は、必ずしも良い構図であるとは限らず、面白みに欠けるものになりがちである。

好適な構図は、被写体の動きや背景、主題である被写体として何を選択するかによって異なるのはもちろん、ユーザの好みによっても異なってくる。

このような様々な構図のトリミング画像を得るには、トリミングを想定した画像を撮像することが必要とされるが、これは、撮像に慣れたユーザにとっては容易であっても、初心者にとっては決して容易ではなかった。

本発明は、このような状況に鑑みてなされたものであり、特に、面倒な操作や高度な技術を必要とせずに、好適なトリミング画像を提供するようにするものである。

本発明の一側面の画像処理装置は、連続する複数フレームの画像のうちの所定フレームの画像の記録を制御する記録制御手段と、前記記録制御手段により記録された前記所定フレームの画像において、注目する前記被写体の領域である被写体領域を含む複数のトリミング枠を設定するトリミング枠設定手段と、前記トリミング枠設定手段により設定された複数の前記トリミング枠に基づいて、前記記録制御手段により記録された前記所定フレームの画像からの、複数のトリミング画像の生成を制御する生成制御手段とを備える。

前記画像処理装置には、被写体を撮像する撮像手段と、前記所定フレームの画像において、前記被写体領域が前記所定フレームの画像の略中央にあるときに、前記撮像手段に、前記所定フレームの画像の撮像を指示する指示手段とをさらに設け、前記記録制御手段には、前記指示手段の指示に基づいて前記撮像手段により撮像された前記所定フレームの画像の記録を制御させることができる。

前記トリミング枠設定手段には、前記記録制御手段により記録された前記所定フレームの画像において、前記被写体領域の大きさおよび位置の少なくともいずれか１つに応じた数の前記トリミング枠を設定させることができる。

前記トリミング枠設定手段には、前記所定フレームの画像において、前記被写体領域がより大きい場合はより少ない数の前記トリミング枠を設定し、前記被写体領域がより小さい場合はより多くの数の前記トリミング枠を設定させることができる。

前記画像処理装置には、前記被写体が人物である場合、前記人物の顔の表情を判定する判定手段をさらに設け、前記トリミング枠設定手段には、前記所定フレームの画像において、前記判定手段により判定された前記顔の表情と、前記被写体領域の位置とに応じた数の前記トリミング枠を設定させることができる。

前記トリミング枠設定手段には、前記記録制御手段により記録された前記所定フレームの画像において、前記被写体領域の位置が、前記トリミング画像において、予め決められた構図における所定位置となる複数の前記トリミング枠を設定させることができる。

本発明の一側面の画像処理方法は、連続する複数フレームの画像のうちの所定フレームの画像の記録を制御する記録制御手段と、前記記録制御手段により記録された前記所定フレームの画像において、注目する前記被写体の領域である被写体領域を含む複数のトリミング枠を設定するトリミング枠設定手段と、前記トリミング枠設定手段により設定された複数の前記トリミング枠に基づいて、前記記録制御手段により記録された前記所定フレームの画像からの、複数のトリミング画像の生成を制御する生成制御手段とを備える画像処理装置の画像処理方法であって、前記記録制御手段が、連続する複数フレームの画像のうちの所定フレームの画像の記録を制御する記録制御ステップと、前記トリミング枠設定手段が、前記記録制御ステップの処理により記録された前記所定フレームの画像において、注目する前記被写体の領域である被写体領域を含む複数のトリミング枠を設定するトリミング枠設定ステップと、前記生成制御手段が、前記トリミング枠設定ステップの処理により設定された複数の前記トリミング枠に基づいて、前記記録制御ステップの処理により記録された前記所定フレームの画像からの、複数のトリミング画像の生成を制御する生成制御ステップとを含む。

本発明の一側面のプログラムは、連続する複数フレームの画像のうちの所定フレームの画像の記録を制御する記録制御ステップと、前記記録制御ステップの処理により記録された前記所定フレームの画像において、注目する前記被写体の領域である被写体領域を含む複数のトリミング枠を設定するトリミング枠設定ステップと、前記トリミング枠設定ステップの処理により設定された複数の前記トリミング枠に基づいて、前記記録制御ステップの処理により記録された前記所定フレームの画像からの、複数のトリミング画像の生成を制御する生成制御ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、連続する複数フレームの画像のうちの所定フレームの画像の記録が制御され、記録された所定フレームの画像において、注目する被写体の領域である被写体領域を含む複数のトリミング枠が設定され、設定された複数のトリミング枠に基づいて、記録制御ステップの処理により記録された所定フレームの画像からの、複数のトリミング画像の生成が制御される。

本発明の一側面によれば、面倒な操作や高度な技術を必要とせずに、好適なトリミング画像を提供することが可能となる。

本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 被写体追尾部の構成例を示すブロック図である。 被写体マップ生成部の構成例を示すブロック図である。 被写体候補領域矩形化部の構成例を示すブロック図である。 被写体領域選択部の構成例を示すブロック図である。 被写体追尾処理について説明するフローチャートである。 被写体マップ生成処理について説明するフローチャートである。 被写体マップ生成処理の具体例を示す図である。 被写体候補領域矩形化処理について説明するフローチャートである。 被写体候補領域矩形化処理の具体例を示す図である。 被写体領域選択処理について説明するフローチャートである。 帯域特徴量マップの被写体領域特徴量和について説明する図である。 重み係数について説明する図である。 制御部の機能構成例を示すブロック図である。 トリミング処理について説明するフローチャートである。 トリミング枠の設定について説明する図である。 トリミング枠の設定について説明する図である。 トリミング枠の設定について説明する図である。 制御部の他の機能構成例を示すブロック図である。 トリミング処理について説明するフローチャートである。 トリミング枠の設定について説明する図である。 制御部のさらに他の機能構成例を示すブロック図である。 トリミング処理について説明するフローチャートである。 被写体領域の中心位置の検出について説明する図である。 制御部のさらに他の機能構成例を示すブロック図である。 トリミング処理について説明するフローチャートである。 被写体領域の中心位置の変化について説明する図である。 制御部のさらに他の機能構成例を示すブロック図である。 トリミング処理について説明するフローチャートである。 被写体領域のサイズについて説明する図である。 画像処理装置の他の構成例を示すブロック図である。 図３１の制御部の機能構成例を示すブロック図である。 トリミング処理について説明するフローチャートである。 顔の表情の検出について説明する図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本発明の実施の形態について図を参照して説明する。

［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置１１は、例えば、動きのある被写体を撮像するデジタルビデオカメラや、デジタルスチルカメラなどの撮像装置に備えられる。

画像処理装置１１は、光学系３１、イメージャ３２、デジタル信号処理部３３、表示部３４、制御部３５、レンズ駆動部３６、インタフェース制御部３７、およびユーザインタフェース３８から構成される。また、画像処理装置１１には、記録メディア３９およびDRAM（Dynamic Random Access Memory）４０が接続されている。

光学系３１は、図示せぬ撮像レンズを含む光学系として構成される。光学系３１に入射した光は、CCD（Charge Coupled Device）等の撮像素子で構成されるイメージャ３２により光電変換される。イメージャ３２により光電変換された電気信号（アナログ信号）は、図示せぬA/D（Analog to Digital）変換部によりデジタル信号の画像データ（以下、適宜、RAWデータという）に変換され、デジタル信号処理部３３に供給される。

デジタル信号処理部３３は、イメージャ３２からの画像データ（RAWデータ）に対して、所定の信号処理を施す。デジタル信号処理部３３は、前処理部５１、デモザイク処理部５２、YC生成部５３、解像度変換部５４、被写体追尾部５５、CODEC５６、記録メディアインタフェース５７、およびメモリコントローラ５８を備えている。

前処理部５１は、前処理として、イメージャ３２からの画像データに対し、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。デモザイク処理部５２は、前処理部５１により前処理された画像データに対し、画像データの各画素がＲ，Ｇ，Ｂ全ての色成分を有するように、画素の色成分を補完するデモザイク処理を施す。

YC生成部５３は、デモザイク処理部５２によりデモザイク処理された、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。解像度変換部５４は、YC生成部５３で処理された画像データに対して、解像度変換処理を実行する。

被写体追尾部５５は、YC生成部５３によって生成された輝度信号および色信号からなる画像データを基に、画像データに対応する入力画像における被写体を検出し、追尾する被写体追尾処理を実行する。

ここで、被写体の検出は、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推
定される入力画像上の物体、つまりユーザが目を向けると推定される物体が被写体であるとして行われる。したがって、被写体は必ずしも人物に限られる訳ではない。

被写体追尾部５５は、被写体追尾処理の結果得られた、入力画像における被写体が含まれる領域を表す被写体枠についてのデータを制御部３５に供給する。なお、被写体追尾部５５の詳細については、図２を参照して後述する。

CODEC５６は、YC生成部５３または解像度変換部５４で生成された画像データや、DRAM４０に記録された画像データを必要に応じて符号化し、記録メディアインタフェース５７を介して記録メディア３９に記録させたり、符号化された画像データを復号したりする。CODEC５６で復号された画像データ、または解像度変換部５４で得られた画像データは、表示部３４に供給されて表示される。表示部３４は、例えば液晶ディスプレイなどからなり、制御部３５の制御に従ってデジタル信号処理部３３から供給された画像データに対応する入力画像を表示する。

記録メディアインタフェース５７は、制御部３５の制御に基づいて、CODEC５６により符号化された画像データを記録メディア３９に記録させる。また、記録メディアインタフェース５７には、例えば、CODEC５６により符号化された画像データの他に、DRAM４０からメモリコントローラ５８により読み出され、所定の信号処理が施された画像データが供給され、記録メディア３９に記録される。

メモリコントローラ５８は、制御部３５の制御に基づいて、YC生成部５３または解像度変換部５４で生成された画像データ（RAWデータ）をDRAM４０に記録させるとともに、DRAM４０からRAWデータを読み出し、デジタル信号処理部３３の各部に供給する。

制御部３５は、インタフェース制御部３７から供給される制御信号に応じて、画像処理装置１１の各部を制御する。

例えば、制御部３５は、デジタル信号処理部３３に、各種の信号処理に用いられるパラメータ等を供給するとともに、デジタル信号処理部３３からの、各種の信号処理の結果得られたデータを取得し、インタフェース制御部３７に供給する。

また、制御部３５は、被写体追尾部５５からの、入力画像における被写体が含まれる領域を表す被写体枠についてのデータに基づいて、表示部３４に表示されている入力画像上に、被写体枠を表示させる。

さらに、制御部３５は、光学系３１を構成する撮像レンズを駆動させたり、絞りなどを調節させたりするための制御信号をレンズ駆動部３６に供給する。また、制御部３５は、イメージャ３２による入力画像の撮像も制御する。

ユーザインタフェース３８は、ユーザが画像処理装置１１に対する指示を入力するときに操作されるボタンやレバー、スイッチ、マイクロホン等の入力装置、ユーザに対して情報を提示するランプやスピーカ等の出力装置などから構成される。

例えば、ユーザインタフェース３８は、ユーザインタフェース３８としてのボタンが操作されると、その操作に応じた制御信号を、インタフェース制御部３７を介して制御部３５に供給する。

記録メディア３９は、テープ、DVD(Digital Versatile Disc)、メモリカードなどの、画像処理装置１１に対して着脱式の記録媒体であったり、ハードディスクなどの画像処理装置１１に内蔵される固定式の記録媒体である。

DRAM４０は、デジタル信号処理部３３において生成された画像データ（RAWデータ）を適宜記録する。

［被写体追尾部の構成例］
次に、図２を参照して、図１の被写体追尾部５５の構成例について説明する。

図２の被写体追尾部５５は、被写体マップ生成部７１、被写体候補領域矩形化部７２、被写体領域選択部７３、および重み係数算出部７４から構成される。

被写体マップ生成部７１は、入力画像が有する輝度や色等の特徴毎に、入力画像の所定フレームの所定領域における特徴量を示す特徴量マップを生成し、重み係数算出部７４に供給する。また、被写体マップ生成部７１は、生成した特徴量マップと、重み係数算出部７４から供給される特徴量毎の重み係数とに基づいて、入力画像における被写体の領域らしさを示す被写体マップを生成する。

より具体的には、被写体マップ生成部７１は、特徴毎の特徴量マップの各領域の情報（特徴量）を、同じ位置にある領域毎に重み付き加算して被写体マップを生成する。被写体マップ生成部７１は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。

なお、各特徴量マップにおいて、より情報量の多い領域、つまり特徴量の多い領域に対応する入力画像上の領域は、被写体が含まれる可能性のより高い領域となり、したがって、各特徴量マップにより入力画像における被写体の含まれる領域を特定することができる。

被写体候補領域矩形化部７２は、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域、すなわち、被写体マップにおける情報量の多い領域を含む矩形領域を求め、その矩形領域の座標を表す座標情報を、被写体領域選択部７３に供給する。また、被写体候補領域矩形化部７２は、被写体マップ上で座標情報により表わされる矩形領域に関する情報（以下、領域情報という）を算出し、座標情報に対応付けて被写体領域選択部７３に供給する。

被写体領域選択部７３は、追尾対象となる、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体候補領域矩形化部７２からの領域情報に基づいて矩形領域の中から選択し、その被写体領域の座標情報を制御部３５（図１）および重み係数算出部７４に供給する。

重み係数算出部７４は、被写体マップ生成部７１からの所定フレームの各特徴量マップ上の、被写体領域に対応する領域における特徴量のうち、相対的に大きい特徴量に対応する次フレームの特徴量マップを重み付けする重み係数を算出し、被写体マップ生成部７１に供給する。

このような構成により、被写体追尾部５５は、入力画像のフレーム毎に、被写体領域を表す被写体枠を求めることができる。

［被写体マップ生成部の構成例］
次に、図３を参照して、図２の被写体マップ生成部７１の構成例について説明する。

図３の被写体マップ生成部７１は、特徴量マップ生成部１１１、帯域特徴量マップ生成部１１２、帯域特徴量マップ合成部１１３、および合成特徴量マップ合成部１１４から構成される。

特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色といった特徴に関する情報（特徴量）を示す特徴量マップを特徴量毎に生成し、帯域特徴量マップ生成部１１２に供給する。

帯域特徴量マップ生成部１１２は、特徴量マップ生成部１１１からの各特徴量マップにおける特徴量から、所定の帯域成分の特徴量を所定の回数だけ抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成し、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。

帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数に基づいて特徴量毎に合成することで、合成特徴量マップを生成し、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。

合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数に基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２（図２）に供給する。

ここで、以下においては、上述した帯域特徴量マップおよび合成特徴量マップを、単に、特徴量マップともいう。

［被写体候補領域矩形化部の構成例］
次に、図４を参照して、図２の被写体候補領域矩形化部７２の構成例について説明する。

図４の被写体候補領域矩形化部７２は、２値化処理部１３１、ラベリング処理部１３２、矩形領域座標算出部１３３、および領域情報算出部１３４から構成される。

２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて０または１のいずれかの値に２値化して、ラベリング処理部１３２に供給する。ここで、以下においては、被写体マップにおいて、入力画像の各画素に対応する情報を、単に、画素ともいう。

ラベリング処理部１３２は、２値化処理部１３１からの、２値化された被写体マップにおいて、１の値である画素が隣接する領域（以下、連結領域という）に対してラベリングし、矩形領域座標算出部１３３に供給する。

矩形領域座標算出部１３３は、ラベリング処理部１３２からの、連結領域がラベリングされた被写体マップにおいて、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、被写体マップとともに領域情報算出部１３４に供給する。

領域情報算出部１３４は、矩形領域座標算出部１３３からの被写体マップ上で座標情報により表される矩形領域に関する情報である領域情報を算出し、座標情報に対応付けて被写体領域選択部７３（図１）に供給する。

［被写体領域選択部の構成例］
次に、図５を参照して、被写体領域選択部７３の構成例について説明する。

図５の被写体領域選択部７３は、領域情報比較部１５１および被写体領域決定部１５２から構成される。

領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部２５２に供給する。

被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域の領域情報に最も近い領域情報に対応付けられている座標情報で表される矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３５（図１）および重み係数算出部７４（図２）に供給するとともに、被写体領域の領域情報を、領域情報記憶部１５３に供給する。

領域情報記憶部１５３は、被写体領域決定部１５２からの、被写体領域の領域情報を記憶する。領域情報記憶部１５３に記憶された被写体領域の領域情報は、１フレーム後に、領域情報比較部１５１に読み出される。

［被写体追尾処理］
以下においては、画像処理装置１１の被写体追尾処理について説明する。

図６は、画像処理装置１１の被写体追尾処理について説明するフローチャートである。被写体追尾処理は、例えば、ボタンとしてのユーザインタフェース３８がユーザに操作されることで、画像処理装置１１の動作モードが被写体追尾処理を実行する被写体追尾処理モードに遷移し、表示部３４に表示されている入力画像において、追尾対象としての被写体の所定領域がユーザにより選択されたときに開始される。

ステップＳ１１において、被写体追尾部５５の被写体マップ生成部７１は、被写体マップ生成処理を行い、被写体マップを生成して、被写体候補領域矩形化部７２に供給する。

［被写体マップ生成処理］
ここで、図７および図８を参照して、被写体マップ生成処理の詳細について説明する。図７は、被写体マップ生成処理について説明するフローチャートであり、図８は、被写体マップ生成処理の具体例を示す図である。

図７のフローチャートのステップＳ３１において、被写体マップ生成部７１の特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色等の特徴（特徴量毎）に特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。

具体的には、図８に示されるように、入力画像２００から、輝度に関する情報を示す輝度情報マップＦ_１、色に関する情報を示す色情報マップＦ_２乃至Ｆ_Ｋ、エッジに関する情報を示すエッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍの、Ｍ種類の特徴量マップが生成される。

輝度情報マップＦ_１においては、入力画像の各画素から得られる輝度成分（輝度信号）Ｙが、入力画像の各画素に対応する情報となり、色情報マップＦ_２乃至Ｆ_Ｋにおいては、入力画像の各画素から得られる色成分（色信号）Ｒ，Ｇ，Ｂが、入力画像の各画素に対応する情報となる。また、エッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍにおいては、例えば、入力画像の各画素における０度、４５度、９０度、および１３５度の方向のエッジ強度が、入力画像の各画素に対応する情報となる。

なお、上述した特徴量マップについて、画素のＲ，Ｇ，Ｂの各成分の値の平均値を輝度情報マップＦ_１の情報（特徴量）としてもよいし、色差成分Ｃｒ，Ｃｂや、Lab色空間におけるａ*座標成分およびｂ*座標成分を色情報マップＦ_２乃至Ｆ_Ｋの情報としてもよい。また、０度、４５度、９０度、および１３５度以外の方向のエッジ強度をエッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍの情報としてもよい。

ステップＳ３２において、帯域特徴量マップ生成部１１２は、各特徴量マップにおける特徴量から、所定の帯域成分の特徴量をＮ回抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成して、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。

具体的には、図８に示されるように、輝度情報マップＦ_１における輝度情報から、所定の帯域１乃至帯域Ｎの輝度情報が抽出され、その帯域それぞれの輝度情報を示す帯域輝度情報マップＲ_１１乃至Ｒ_１Ｎが生成される。また、色情報マップＦ_２乃至Ｆ_Ｋにおける色情報から、所定の帯域１乃至帯域Ｎの色情報が抽出され、その帯域それぞれの色情報を示す帯域色情報マップＲ_２１乃至Ｒ_２Ｎ，…，Ｒ_Ｋ１乃至Ｒ_ＫＮが生成される。さらに、エッジ情報マップＦ_{（Ｋ＋１）}乃至Ｆ_Ｍにおけるエッジ情報から、所定の帯域１乃至帯域Ｎのエッジ情報が抽出され、その帯域それぞれのエッジ情報を示す帯域エッジ情報マップＲ_{（Ｋ＋１）１}乃至Ｒ_{（Ｋ＋１）Ｎ}，…，Ｒ_Ｍ１乃至Ｒ_ＭＮが生成される。このように、帯域特徴量マップ生成部１１２は、（Ｍ×Ｎ）種類の帯域特徴量マップを生成する。

ここで、帯域特徴量マップ生成部１１２の処理の一例について説明する。

例えば、帯域特徴量マップ生成部１１２は、各特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。

この場合、特徴量マップ生成部１１１により生成された特徴量マップが、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。

また、帯域特徴量マップ生成部１１２は、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をＮ枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。

例えば、帯域特徴量マップ生成部１１２は、各階層の特徴量のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの特徴量の差分画像が得られる。

具体的には、例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。

このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから所定の帯域成分の特徴量を抽出することができる。

なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を求める際の、ピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。

また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。

図７のフローチャートに戻り、ステップＳ３３において、帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数群Ｗ_Ｒに基づいて特徴量毎に合成する。帯域特徴量マップ合成部１１３は、合成した帯域特徴量マップ（合成特徴量マップ）を、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。

具体的には、図８に示されるように、帯域輝度情報マップＲ_１１乃至Ｒ_１Ｎは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ_１１乃至ｗ_１Ｎにより重み付き加算され、合成特徴量マップＣ_１が求められる。また、帯域色情報マップＲ_２１乃至Ｒ_２Ｎ，…，Ｒ_Ｋ１乃至Ｒ_ＫＮは、重み係数算出部７４からの帯域色情報マップ毎の重みである重み係数ｗ_２１乃至ｗ_２Ｎ，…，ｗ_Ｋ１乃至ｗ_ＫＮにより重み付き加算され、合成特徴量マップＣ_２乃至Ｃ_Ｋが求められる。さらに、帯域エッジ情報マップＲ_{（Ｋ＋１）１}乃至Ｒ_{（Ｋ＋１）Ｎ}，…，Ｒ_Ｍ１乃至Ｒ_ＭＮは、重み係数算出部７４からの帯域エッジ情報マップ毎の重みである重み係数ｗ_{（Ｋ＋１）１}乃至ｗ_{（Ｋ＋１）Ｎ}，…，ｗ_Ｍ１乃至ｗ_ＭＮにより重み付き加算され、合成特徴量マップＣ_Ｋ＋１乃至Ｃ_Ｍが求められる。このように、帯域特徴量マップ合成部１１３は、Ｍ種類の合成特徴量マップを生成する。なお、重み係数群Ｗ_Ｒの詳細については後述するが、重み係数群Ｗ_Ｒの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群Ｗ_Ｒの各重み係数は全て１とされ、帯域特徴量マップは、重みなしで加算される。

ステップＳ３４において、合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数群Ｗ_Ｃに基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２に供給する。

具体的には、図８に示されるように、合成特徴量マップＣ_１乃至Ｃ_Ｍは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ_１乃至ｗ_Ｍを用いて線形結合される。さらに、線形結合の結果得られたマップの画素値に、予め求められた重みである被写体重みが乗算され正規化されて、被写体マップ２０１を求める。なお、重み係数群Ｗ_Ｃの詳細については後述するが、重み係数群Ｗ_Ｃの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群Ｗ_Ｃの各重み係数は全て１とされ、合成特徴量マップは、重みなしで線形結合される。

つまり、これから求めようとする被写体マップ上の注目する位置（画素）を注目位置とすると、各合成特徴量マップの注目位置と同じ位置（画素）の画素値に、合成特徴量マップごとの重み係数が乗算され、重み係数の乗算された画素値の総和が、注目位置の画素値とされる。さらに、このようにして求められた被写体マップの各位置の画素値に、被写体マップに対して予め求められた被写体重みが乗算されて正規化され、最終的な被写体マップとされる。例えば、正規化は、被写体マップの各画素の画素値が、０から２５５までの間の値となるようになされる。

以上のようにして、被写体マップ生成部７１は、特徴量マップから、帯域特徴量マップおよび合成特徴量マップを生成することにより、被写体マップを生成する。

図６のフローチャートに戻り、ステップＳ１２において、被写体候補領域矩形化部７２は、被写体候補領域矩形化処理を行い、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域を含む矩形領域を求める。

［被写体候補領域矩形化処理］
ここで、図９および図１０を参照して、被写体候補領域矩形化処理の詳細について説明する。図９は、被写体候補領域矩形化処理について説明するフローチャートであり、図１０は、被写体候補領域矩形化処理の具体例を示す図である。

図９のフローチャートのステップＳ５１において、被写体候補領域矩形化部７２の２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける情報を、所定の閾値に基づいて０または１のいずれかの値に２値化し、ラベリング処理部１３２に供給する。

より具体的には、２値化処理部１３１は、図１０の上から１番目に示される、０から２５５までの間の値である被写体マップ２０１の各画素の画素値に対して、例えば、閾値１２７より小さい値の画素値を０とし、１２７より大きい値の画素値を１とする。これによって、図１０の上から２番目に示されるような２値化マップ２０２が得られる。図１０で示される２値化マップ２０２においては、白で示される部分（画素）が１の画素値を有し、黒で示される部分（画素）が０の画素値を有している。なお、ここでは、閾値を１２７であるものとしたが、他の値であってもよい。

ステップＳ５２において、ラベリング処理部１３２は、２値化処理部１３１から２値化マップ２０２（２値化された被写体マップ）において、例えば、モルフォロジー演算等によって得られる、１である画素値の画素が隣接する連結領域に対してラベリングし、矩形領域座標算出部１３３に供給する。

より具体的には、例えば、図１０の上から３番目に示されるように、２値化マップ２０２においては、連結領域２１１が、ラベル「１」でラベリングされ、連結領域２１２が、ラベル「２」でラベリングされる。

ステップＳ５３において、矩形領域座標算出部１３３は、ラベリング処理部１３２からの２値化マップ２０２において、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、２値化マップ２０２とともに領域情報算出部１３４に供給する。

より具体的には、図１０の上から４番目に示されるように、２値化マップ２０２において、ラベル「１」でラベリングされた連結領域２１１を外側から囲む矩形枠（外接枠）２２１が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。また、ラベル「２」でラベリングされた連結領域２１２を外側から囲む矩形枠２２２が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。

ステップＳ５４において、領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、被写体マップ生成部７１からの被写体マップに基づいて、被写体マップ上で矩形枠に囲まれる矩形領域についての領域情報を算出する。

より具体的には、領域情報算出部１３４は、２値化マップ２０２における矩形枠２２１，２２２を表す、矩形領域座標算出部１３３からの座標情報に基づいて、矩形枠のサイズおよび中心位置の座標を、矩形領域についての領域情報として算出する。領域情報算出部１３４は、算出した領域情報を、矩形領域座標算出部１３３からの座標情報に対応付けて被写体領域選択部７３に供給する。

以上のようにして、被写体候補領域矩形化部７２は、被写体マップにおいて、注目すべき被写体の候補となる各領域を囲む矩形枠、および、被写体マップ上でその矩形枠で囲まれる領域の特徴を表す領域情報を求める。

図６のフローチャートに戻り、ステップＳ１３において、被写体領域選択部７３は、被写体領域選択処理を行い、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体領域選択部７３からの領域情報に基づいて矩形領域の中から選択する。

［被写体領域選択処理］
ここで、図１１のフローチャートを参照して、被写体領域選択処理の詳細について説明する。

ステップＳ７１において、領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部１５２に供給する。

より具体的には、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠のサイズと、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズとを比較する。また、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠の中心位置の座標と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）の中心位置の座標とを比較する。

ステップＳ７２において、被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズまたは中心位置の座標に最も近い矩形枠のサイズまたは中心位置を有する矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３５および重み係数算出部７４に供給するとともに、被写体領域の領域情報（被写体枠のサイズまたは中心位置）を、領域情報記憶部１５３に供給する。

但し、１回目の被写体領域選択処理において、領域情報記憶部１５３には、１フレーム前の被写体領域の領域情報は記憶されていないので、被写体追尾処理の開始時にユーザによって選択された被写体の所定領域（以下、初期選択領域という）を含む矩形領域が被写体領域とされる。

以上のようにして、被写体領域選択部７３は、被写体の候補となる矩形領域の中から、注目すべき被写体の被写体領域を選択する。

［重み係数の算出］
図６のフローチャートに戻り、ステップＳ１４において、重み係数算出部７４は、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部７３からの被写体領域を表す座標情報とに基づいて、図８で示された重み係数群Ｗ_Ｒ，Ｗ_Ｃを算出する。

より具体的には、図１２に示されるように、所定の帯域特徴量マップＲ_ｍｎ（１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）上の、被写体領域を表す被写体枠２３１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｒ_ｍｎとした場合、図１３の上側に示されるような重み係数群Ｗ_Ｒが算出される。

図１３の重み係数群Ｗ_Ｒにおける係数のそれぞれは、図８で示された重み係数ｗ_１１乃至ｗ_ＭＮのそれぞれに対応している。なお、図１３において、Max[a,…,z]は、値ａ乃至ｚのうちの最大値を表すものとする。

例えば、図１３の重み係数群Ｗ_Ｒにおける上から１番目の行の各係数は、図８で示された、「帯域１」である特徴量毎の帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１についての重み係数ｗ_１１乃至ｗ_Ｍ１を示している。図１３に示されるように、重み係数ｗ_１１乃至ｗ_Ｍ１は、分母が帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１それぞれについての被写体領域特徴量和ｒ_１１乃至ｒ_Ｍ１のうちの最大値とされ、分子が帯域特徴量マップＲ_１１乃至Ｒ_Ｍ１それぞれについての被写体領域特徴量和ｒ_１１乃至ｒ_Ｍ１とされる係数であり、０乃至１の値をとる。

同様に、図１３の重み係数群Ｗ_Ｒにおける上からＮ番目の行の各係数は、図８で示された、「帯域Ｎ」である特徴量毎の帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮについての重み係数ｗ_１Ｎ乃至ｗ_ＭＮを示している。図１３に示されるように、重み係数ｗ_１Ｎ乃至ｗ_ＭＮは、分母が帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮそれぞれについての被写体領域特徴量和ｒ_１Ｎ乃至ｒ_ＭＮのうちの最大値とされ、分子が帯域特徴量マップＲ_１Ｎ乃至Ｒ_ＭＮそれぞれについての被写体領域特徴量和ｒ_１Ｎ乃至ｒ_ＭＮとされる係数であり、０乃至１の値をとる。

すなわち、重み係数ｗ_１ｎ乃至ｗ_Ｍｎによれば、「帯域ｎ」である特徴量毎の帯域特徴量マップＲ_１ｎ乃至Ｒ_Ｍｎにおいて、被写体領域特徴量和が最大となる特徴量の帯域特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。

また、所定の合成特徴量マップＣ_ｍ（１≦ｍ≦Ｍ）上の、被写体領域を表す矩形枠２２１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｃ_ｍとした場合、図１３の下側に示されるような重み係数群Ｗ_Ｃが算出される。

図１３の重み係数群Ｗ_Ｃにおける係数のそれぞれは、図８で示された重み係数ｗ_１乃至ｗ_Ｍのそれぞれに対応している。

つまり、図１３の重み係数群Ｗ_Ｃにおける各係数は、図８で示された、特徴量毎の合成特徴量マップＣ_１乃至Ｃ_Ｍについての重み係数ｗ_１乃至ｗ_Ｍを示している。図１３に示されるように、重み係数ｗ_１乃至ｗ_Ｍは、分母が合成特徴量マップＣ_１乃至Ｃ_Ｍそれぞれについての被写体領域特徴量和ｃ_１乃至ｃ_Ｍのうちの最大値とされ、分子が合成特徴量マップＣ_１乃至Ｃ_Ｍそれぞれについての被写体領域特徴量和ｃ_１乃至ｃ_Ｍとされる係数であり、０乃至１の値をとる。

すなわち、重み係数ｗ_１乃至ｗ_ｍによれば、特徴量毎の合成特徴量マップＣ_１乃至Ｃ_Ｍにおいて、被写体領域特徴量和が最大となる特徴量の合成特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。

重み係数算出部７４は、算出した重み係数群Ｗ_Ｒを、被写体マップ生成部７１の帯域特徴量マップ合成部１１３に供給するとともに、重み係数群Ｗ_Ｃを、被写体マップ生成部７１の合成特徴量マップ合成部１１４に供給する。図６のフローチャートにおいては、ステップＳ１４の後、次フレームについての被写体追尾処理が実行され、この処理が１フレーム毎に繰り返される。

以上の処理によれば、入力画像の所定のフレームについての特徴量毎の特徴量マップにおける、そのフレームで選択された被写体領域に対応する領域の特徴量の相対的な大きさに応じて、次フレームについての特徴量毎の特徴量マップに対する重み係数が決定される。したがって、フレーム間で特徴量が変動するような場合であっても、複数の特徴量のうちの被写体を最もよく表す特徴量の特徴量マップが最も大きく重み付けされた被写体マップが生成されるので、被写体の状態が変動するような環境下でも、被写体をより安定して追尾することが可能となる。

また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。

特に、従来の被写体追尾の手法において、被写体領域内のいずれかの座標（またはその座標を含む一部領域）が同定されるような場合では、被写体全体を追尾することができず、AF（Auto Focus）やAE（Auto Exposure）、ACC（Auto Color Control）の検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、十分な検波精度は得られなかった。

一方、上述した被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。

また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出・追尾するものもあるが、辞書に登録されていない人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報（画像）の量は膨大な量となるため、装置規模が大きくなってしまう。

一方、上述した被写体追尾処理によれば、任意の被写体を検出・追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。

以上においては、特徴量として、輝度成分、色成分、およびエッジ方向を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。

また、以上においては、Ｍ×（Ｎ＋１）種類の特徴量マップに対応して、Ｍ×（Ｎ＋１）種類の重み係数を算出するようにしたが、一部の特徴量マップに対応する重み係数のみを、適宜算出するようにすることで、画像処理装置１１における演算量を抑えることができる。例えば、合成特徴量マップＣ_１乃至Ｃ_ＭのＭ種類の特徴量マップに対応する重み係数ｗ_１乃至ｗ_Ｍのみを算出するようにしてもよい。

さらに、以上においては、領域情報算出部１３４は、矩形領域の領域情報として、矩形枠のサイズおよび中心位置の座標を算出するようにしたが、矩形領域内の画素値の積分値やピーク値（最大値）を算出するようにしてもよい。この場合、被写体領域選択処理（図１１）においては、１フレーム前の被写体領域内の画素値の積分値またはピーク値に最も近い領域内の画素値の積分値またはピーク値を有する矩形領域が被写体領域とされる。

ところで、画像処理装置１１が、静止画像を撮像するデジタルスチルカメラとして構成される場合、ユーザは、表示部３４に表示されている動画像（ファインダ画像）を確認しながら、所望のタイミングでシャッタ操作を行うことで、静止画像を撮像する。

このように構成される画像処理装置１１には、上述した被写体追尾処理の追尾結果を適用したアプリケーションの一例として、ユーザによるシャッタ操作により撮像した静止画像（以下、撮像画像という）から、追尾した被写体を含む複数のトリミング画像を生成するトリミング処理を実行させることができる。

［制御部の機能構成例］
ここで、図１４を参照して、上述した被写体追尾処理によって追尾した被写体を含む複数のトリミング画像を生成するトリミング処理を実行する制御部３５の機能構成例について説明する。

図１４の制御部３５は、操作判定部３３１、座標情報取得部３３２、RAWデータ記録制御部３３３、トリミング枠設定部３３４、トリミング画像生成制御部３３５、および画像記録制御部３３６を備えている。

操作判定部３３１は、ユーザインタフェース制御部３７からの制御信号に基づいて、ユーザインタフェース３８としてのシャッタボタンが操作されたか否かを判定する。操作判定部３３１は、シャッタボタンが操作された場合、イメージャ３２に、撮像を指示する情報を供給する。これにより、デジタル信号処理部３３には、撮像画像に対応するRAWデータが供給される。また、操作判定部３３１は、シャッタボタンが操作された旨の情報を、座標情報取得部３３２およびRAWデータ記録制御部３３３に供給する。

座標情報取得部３３２は、操作判定部３３１からの情報に応じて、被写体追尾部５５から供給されてくる、撮像画像に対応するフレームについての被写体領域の座標情報を取得し、トリミング枠設定部３３４に供給する。

RAWデータ記録制御部３３３は、操作判定部３３１からの情報に応じて、メモリコントローラ５８を制御し、撮像画像に対応するフレームについてのRAWデータをDRAM４０に記録させる。

トリミング枠設定部３３４は、座標情報取得部３３２からの座標情報に基づいて、撮像画像に対応するフレームにおいて、座標情報取得部３３２からの座標情報で表される被写体領域を含む複数のトリミング枠を設定し、そのトリミング枠を表す情報をトリミング画像生成制御部３３５に供給する。

トリミング画像生成制御部３３５は、デジタル信号処理部３３の各部を制御し、デジタル信号処理部３３に、DRAM４０に記録されているRAWデータを読み出させ、トリミング枠設定部３３４からのトリミング枠を表す情報に基づいて、複数のトリミング画像を生成させる。また、トリミング画像生成制御部３３５は、複数のトリミング画像を生成させた旨の情報を、画像記録制御部３３６に供給する。

画像記録制御部３３６は、記録メディアインタフェース５７を制御し、トリミング画像生成制御部３３５からの情報に基づいて、デジタル信号処理部３３において生成されたトリミング画像を記録メディア３９に記録させる。

［トリミング処理］
次に、図１５のフローチャートを参照して、画像処理装置１１によるトリミング処理について説明する。

ステップＳ３１１において、被写体追尾部５５は、図６のフローチャートで説明した被写体追尾処理を実行し、被写体領域の座標情報を制御部３５に供給する。

ステップＳ３１２において、操作判定部３３１は、ユーザインタフェース制御部３７からの制御信号に基づいて、ユーザによるシャッタ操作がされたか否かを判定する。

ステップＳ３１２においては、ユーザによりシャッタ操作がされるまで、ステップＳ３１１，Ｓ３１２の処理が繰り返され、シャッタ操作がされたと判定された場合、操作判定部３３１は、イメージャ３２に撮像を指示する情報を供給する。また、操作判定部３３１は、シャッタ操作がされた旨の情報を、座標情報取得部３３２およびRAWデータ記録制御部３３３に供給し、処理はステップＳ３１３に進む。

ステップＳ３１３において、座標情報取得部３３２は、操作判定部３３１から、ユーザによりシャッタ操作がされた旨の情報が供給されると、撮像画像に対応するフレーム（以下、シャッタフレームともいう）についての、被写体追尾部５５からの被写体領域の座標情報を取得し、トリミング枠設定部３３４に供給する。

ステップＳ３１４において、RAWデータ記録制御部３３３は、ユーザによりシャッタ操作がされた旨の情報が供給されると、メモリコントローラ５８を制御し、シャッタフレームについてのRAWデータをDRAM４０に記録させる。

ステップＳ３１５において、トリミング枠設定部３３４は、座標情報取得部３３２からの座標情報に基づいて、シャッタフレームにおいて、座標情報取得部３３２からの座標情報で表される被写体領域を含む複数のトリミング枠を設定する。

ここで、図１６乃至図１８を参照して、トリミング枠設定部３３４によるトリミング枠の設定について説明する。

図１６は、撮像画像における被写体領域を表す被写体枠Ｈの例を示している。被写体枠Ｈは、座標情報取得部３３２からの座標情報（例えば、矩形領域左上および右下の頂点の座標）によって与えられる。また、図１６においては、被写体枠Ｈの幅および高さは、それぞれWidthおよびHeightで示され、被写体枠Ｈの中心位置の座標は、C(Xc,Yc)で示される。

図１６で示されるような被写体領域の座標情報が供給された場合、トリミング枠設定部３３４は、例えば、図１７で示されるトリミング枠Tr_0を設定する。

図１７において、トリミング枠Tr_0は、幅（Width×Ｋ）、高さ（Width×Ｋ×Ｐ）の矩形領域として設定されている。ここで、値Ｋは、予め決められた定数であり、値Ｐは、撮像画像のアスペクト比を示している。また、トリミング枠Tr_0の中心位置の座標は、図１６の被写体枠Ｈと同様、C(Xc,Yc)で与えられている。すなわち、図１７で示されるトリミング枠Tr_0は、被写体枠Ｈをその中心に含むトリミング枠となる。

そして、トリミング枠設定部３３４は、図１７で示されるトリミング枠Tr_0を基準として、撮像画像において、例えば、トリミング枠Tr_0を上、下、左、右、左上、右上、左下、右下の８方向に、撮像画像からはみ出さない範囲でずらしたトリミング枠を設定する。

具体的には、トリミング枠設定部３３４は、図１８の左側に示されるように、トリミング枠Tr_0（図中、破線で示される枠）を撮像画像からはみ出さない範囲で左下にずらしたトリミング枠Tr_1を、複数のトリミング枠の１つとして設定する。また、トリミング枠設定部３３４は、図１８の右側に示されるように、トリミング枠Tr_0（図中、破線で示される枠）を撮像画像からはみ出さない範囲で右上にずらしたトリミング枠Tr_2を、複数のトリミング枠の１つとして設定する。

このようにして、撮像画像において、被写体領域を含む複数のトリミング枠が設定される。トリミング枠設定部３３４は、設定した複数のトリミング枠を表す情報をトリミング画像生成制御部３３５に供給する。

図１５のフローチャートに戻り、ステップＳ３１６において、トリミング画像生成制御部３３５は、トリミング枠設定部３３４から複数のトリミング枠を表す情報が供給されると、デジタル信号処理部３３の各部を制御する。すなわち、トリミング画像生成制御部３３５は、デジタル信号処理部３３に、DRAM４０に記録されているRAWデータを読み出させ、トリミング枠設定部３３４からのトリミング枠を表す情報に基づいて、複数のトリミング画像を生成させる。また併せて、トリミング画像生成制御部３３５は、トリミングされていない撮像画像（以下、適宜、本画像という）を生成させる。そして、トリミング画像生成制御部３３５は、複数のトリミング画像を生成させた旨の情報を、画像記録制御部３３６に供給する。

ステップＳ３１７において、画像記録制御部３３６は、トリミング画像生成制御部３３５から、複数のトリミング画像を生成させた旨の情報が供給されると、記録メディアインタフェース５７を制御し、デジタル信号処理部３３において生成された本画像および複数のトリミング画像を記録メディア３９に記録させる。このとき、画像記録制御部３３６は、本画像とトリミング画像とを、記録メディア３９においてそれぞれ異なるフォルダに記録させる。

以上の処理によれば、ユーザのシャッタ操作により撮像された撮像画像において、被写体領域を含む複数のトリミング枠が設定されて、複数のトリミング画像が生成される。このとき、ユーザは、シャッタ操作を行うのみなので、撮影後の面倒な操作や、撮影時の高度な技術を必要とせずに、好適なトリミング画像を提供することが可能となる。

また、本来ユーザのシャッタ操作により撮像された撮像画像（本画像）とトリミング画像とが、記録メディア３９においてそれぞれ異なるフォルダに記録されるので、画角は異なっていても同一の被写体が撮像された画像が混在することがなくなり、ユーザの混乱を避けることができる。

以上においては、被写体領域を含む複数のトリミング枠を設定する構成について説明したが、トリミング画像における被写体の位置、つまり、トリミング画像の構図はあまり考慮されていなかった。

そこで、以下においては、トリミング画像の構図を考慮するようにしたトリミング枠を設定する構成について説明する。

［制御部の他の機能構成例］
図１９は、トリミング画像の構図を考慮するようにしたトリミング枠を設定する制御部３５の機能構成例を示している。

なお、図１９の制御部３５において、図１４の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１９の制御部３５において、図１４の制御部３５と異なるのは、トリミング枠設定部３３４に代えて、トリミング枠設定部４３１を設けた点である。

トリミング枠設定部４３１は、座標情報取得部３３２からの座標情報に基づいて、シャッタフレームにおいて、座標情報取得部３３２からの座標情報で表される被写体領域の位置が、予め決められた構図における所定位置となる複数のトリミング枠を設定し、そのトリミング枠を表す情報をトリミング画像生成制御部３３５に供給する。

［トリミング処理］
次に、図２０のフローチャートを参照して、図１９の制御部３５を備える画像処理装置１１によるトリミング処理について説明する。

なお、図２０のフローチャートのステップＳ４１１乃至Ｓ４１４，Ｓ４１６乃至Ｓ４１７の処理は、図１５のフローチャートのステップＳ３１１乃至Ｓ３１４，Ｓ３１６乃至Ｓ３１７の処理と基本的に同様であるので、その説明は省略する。

すなわち、ステップＳ４１５において、トリミング枠設定部４３１は、座標情報取得部３３２からの座標情報に基づいて、シャッタフレームにおいて、座標情報取得部３３２からの座標情報で表される被写体領域の位置が、予め決められた構図における所定位置となる複数のトリミング枠を設定する。

例えば、トリミング枠設定部４３１は、シャッタフレームにおいて、座標情報取得部３３２からの座標情報で表される被写体領域の中心位置が、３分割構図において、３分割構図を水平方向および垂直方向に３分割する３分割線の交点（３分割線交点）となるような複数のトリミング枠を設定する。

具体的には、トリミング枠設定部４３１は、図２１の左側に示されるように、撮像画像において、トリミング枠Tr_0（図１７）と同一サイズで、３分割線を有するトリミング枠Tr_11を、その右上の３分割線交点と、被写体領域の中心位置の座標C(Xc,Yc)とが一致するように設定する。また、トリミング枠設定部４３１は、図２１の右側に示されるように、撮像画像において、トリミング枠Tr_0と同一サイズで、３分割線を有するトリミング枠Tr_12を、その左下の３分割線交点と、被写体領域の中心位置の座標C(Xc,Yc)とが一致するように設定する。

同様にして、トリミング枠設定部４３１は、３分割線を有するトリミング枠を、その左上および右下の３分割線交点と、被写体領域の中心位置の座標C(Xc,Yc)とが一致するように設定する。

すなわち、この場合、４つのトリミング枠が設定されるようになる。

但し、被写体領域の中心位置によって、トリミング枠が撮像画像からはみ出してしまう場合には、そのトリミング枠は設定されない。

以上の処理によれば、ユーザによるシャッタ操作により撮像された撮像画像において、被写体領域の中心位置が、トリミング画像の３分割線交点となるような複数のトリミング枠が設定されて、複数のトリミング画像が生成される。このとき、ユーザは、シャッタ操作を行うのみなので、撮影後の面倒な操作や、撮影時の高度な技術を必要とせずに、被写体の配置が好適なトリミング画像を提供することが可能となる。

なお、上述した説明においては、被写体領域の中心位置が、３分割構図の３分割線交点となるトリミング枠を設定するようにしたが、３分割構図の３分割線交点に限らず、被写体領域の中心位置が、日の丸構図や対比構図などの他の構図における所定位置となるトリミング枠を設定するようにしてもよい。

以上においては、ユーザによりシャッタ操作がされたときの撮像画像において、トリミング枠を設定する構成について説明してきたが、以下においては、被写体の位置に応じて自動的にシャッタ（撮像）されたときの撮像画像において、トリミング枠を設定する構成について説明する。

［制御部のさらに他の機能構成例］
図２２は、被写体の位置に応じて自動的にシャッタされたときの撮像画像において、トリミング枠を設定する制御部３５の機能構成例を示している。

なお、図２２の制御部３５において、トリミング画像生成制御部５３５および画像記録制御部５３６は、図１４の制御部３５におけるトリミング画像生成制御部３３５および画像記録制御部３３６と基本的に同様の機能を有するので、その説明は省略する。

座標情報取得部５３１は、被写体追尾部５５から、入力画像の１フレーム毎に供給されてくる被写体領域の座標情報を取得し、位置検出部５３２に供給する。

位置検出部５３２は、座標情報取得部５３１からの被写体領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体の位置を検出し、その位置に応じて、イメージャ３２に撮像する指示を供給する。これにより、デジタル信号処理部３３には、撮像画像に対応するRAWデータが供給される。また、位置検出部５３２は、その位置に応じた情報をRAWデータ記録制御部５３３に供給するとともに、座標情報取得部５３１からの被写体領域の座標情報を、トリミング枠設定部５３４に供給する。

RAWデータ記録制御部５３３は、位置検出部５３２からの情報に応じて、メモリコントローラ５８を制御し、撮像画像に対応するフレームについてのRAWデータをDRAM４０に記録させる。

トリミング枠設定部５３４は、位置検出部５３２からの座標情報に基づいて、撮像画像に対応するフレームにおいて、位置検出部５３２からの座標情報で表される被写体領域の大きさ（サイズ）に応じた数のトリミング枠を設定し、そのトリミング枠を表す情報をトリミング画像生成制御部５３５に供給する。

［トリミング処理］
次に、図２３のフローチャートを参照して、図２２の制御部３５を備える画像処理装置１１によるトリミング処理について説明する。

なお、図２２のフローチャートのステップＳ５１６，Ｓ５１７の処理は、図１５のフローチャートのステップＳ３１６，Ｓ３１７の処理と基本的に同様であるので、その説明は省略する。

ステップＳ５１１において、被写体追尾部５５は、図６のフローチャートで説明した被写体追尾処理を実行し、被写体領域の座標情報を制御部３５に供給する。

ステップＳ５１２において、座標情報取得部５３１は、被写体追尾部５５からの被写体領域の座標情報を取得し、位置検出部５３２に供給する。

ステップＳ５１３において、位置検出部５３２は、座標情報取得部５３１からの被写体領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体領域の中心位置を検出する。そして、位置検出部５３２は、検出された被写体領域の中心位置が、入力画像における所定領域内にあるか否かを判定する。

具体的には、位置検出部５３２は、１フレーム毎に、入力画像における被写体領域の中心位置の座標を監視し、図２４に示されるように、入力画像において、被写体枠Ｈで表される被写体領域の中心位置の座標C(Xc,Yc)が、破線で示される領域Ａ内の座標になったか否かを判定する。なお、領域Ａは、入力画像の中心付近に設定されるものとする。

ステップＳ５１３において、被写体領域の中心位置が所定領域内にないと判定された場合、処理はステップＳ５１１に戻り、被写体領域の中心位置が所定領域内にあるフレームについての座標情報が被写体追尾部５５から供給されるまで、ステップＳ５１１乃至Ｓ５１３の処理が繰り返される。

一方、ステップＳ５１３において、被写体領域の中心位置が所定領域内にあると判定された場合、すなわち、被写体追尾部５５から、被写体領域の中心位置が所定領域内にあるフレームについての座標情報が供給された場合、位置検出部５３２は、イメージャ３２に、撮像を指示する情報を供給する。また、位置検出部５３２は、被写体領域の中心位置が所定領域内にある旨の情報をRAWデータ記録制御部５３３に供給するとともに、座標情報取得部５３１からの被写体領域の座標情報を、トリミング枠設定部５３４に供給する。

このように、動きのある被写体が入力画像の中心付近にきたときにシャッタされるので、安定した構図の撮像画像を得ることができる。

なお、以下では、被写体領域の中心位置が所定領域内に入ったときのフレームをシャッタフレームという。

ステップＳ５１４において、RAWデータ記録制御部５３３は、位置検出部５３２から、被写体領域の中心位置が所定領域内にある旨の情報が供給されると、メモリコントローラ５８を制御し、シャッタフレームについてのRAWデータをDRAM４０に記録させる。

ステップＳ５１５において、トリミング枠設定部５３４は、位置検出部５３２からの座標情報に基づいて、シャッタフレームにおいて、位置検出部５３２からの座標情報で表される被写体領域の大きさに応じた数のトリミング枠を、被写体領域を含むように設定する。

ここで、トリミング枠設定部５３４は、基本的には、図１６乃至図１８で説明したようにトリミング枠を設定するが、被写体領域の大きさが撮像画像に比して大きい（大きい割合を占める）場合、被写体領域を含むトリミング枠により生成される複数のトリミング画像は、どれも代わり映えしないので、より少ない数のトリミング枠を設定する。一方、被写体領域の大きさが入力画像に比して小さい場合、被写体領域を含むトリミング枠の設定の仕方としては、様々に考えられるので、より多い数のトリミング枠を設定する。

このようにして、撮像画像において、被写体領域の大きさに応じた数のトリミング枠が設定される。トリミング枠設定部５３４は、設定した複数のトリミング枠を表す情報をトリミング画像生成制御部５３５に供給する。

以上の処理によれば、被写体の位置に応じて撮像された撮像画像において、被写体領域を含む、被写体領域の大きさに応じた数のトリミング枠が設定されて、複数のトリミング画像が生成される。これにより、ユーザがシャッタ操作を行うことなく、撮影後の面倒な操作や、撮影時の高度な技術を必要とせずに、好適なトリミング画像を提供することが可能となる。

特に、被写体領域の大きさに応じてトリミング枠の数が決まるので、被写体領域が大きい場合には、似たようなトリミング画像の生成を抑えることで、記録メディア３９の容量を削減することでき、被写体領域が小さい場合には、より多くのトリミング画像を生成することで、ユーザに、より多様な構図のトリミング画像を提供することができる。

なお、上述した説明においては、入力画像において、被写体領域の中心位置の座標が所定領域内の座標になったとき、すなわち、被写体領域の中心位置が所定領域内に入ったときに、シャッタされるようにしたが、逆に、被写体領域の中心位置の座標が所定領域外の座標になったとき、すなわち、被写体領域の中心位置が所定領域内から出たときに、シャッタされるようにしてももちろんよい。

以上においては、入力画像において、動きのある被写体が所定領域に入ったか否か、または所定領域から出たか否かによってシャッタされる構成について説明したが、動きのある被写体が所定時間静止状態となったときにシャッタされるようにしてもよい。

［制御部のさらに他の機能構成例］
図２５は、動きのある被写体が所定時間静止状態となったときにシャッタされたときの撮像画像において、トリミング枠を設定する制御部３５の機能構成例を示している。

なお、図２５の制御部３５において、図２２の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２５の制御部３５において、図２２の制御部３５と異なるのは、座標情報保持部６３１を新たに設け、位置検出部５３２およびトリミング枠設定部５３４に代えて、位置比較部６３２およびトリミング枠設定部６３３を設けた点である。

なお、図２５の座標情報取得部５３１は、被写体追尾部５５から、入力画像の１フレーム毎に供給されてくる被写体領域の座標情報を取得し、座標情報保持部６３１および位置比較部６３２に供給する。

座標情報保持部６３１は、座標情報取得部５３１から供給されてくる被写体領域の座標情報を、数フレーム分保持し、数フレーム遅延させて位置比較部６３２に供給する。

位置比較部６３２は、座標情報保持部６３１からの、数フレーム遅延された被写体領域の座標情報と、座標情報取得部５３１からの被写体領域の座標情報とを比較することで、数フレーム前における被写体の位置と、今回フレームにおける被写体の位置とを比較する。位置比較部６３２は、比較の結果に応じて、イメージャ３２に、撮像を指示する情報を虚給する。これにより、デジタル信号処理部３３には、撮像画像に対応するRAWデータが供給される。また、位置比較部６３２は、比較の結果に応じた情報をRAWデータ記録制御部５３３に供給するとともに、比較の結果に応じて、座標情報保持部６３１からの被写体領域の座標情報を、トリミング枠設定部６３３に供給する。

トリミング枠設定部６３３は、位置比較部６３２からの座標情報に基づいて、撮像画像に対応するフレーム（シャッタフレーム）において、位置比較部６３２からの座標情報で表される被写体領域の大きさおよび位置に応じた数のトリミング枠を設定し、そのトリミング枠を表す情報をトリミング画像生成制御部５３５に供給する。

［トリミング処理］
次に、図２６のフローチャートを参照して、図２５の制御部３５を備える画像処理装置１１によるトリミング処理について説明する。

なお、図２６のフローチャートのステップＳ６１１，Ｓ６１２，Ｓ６１７，Ｓ６１８の処理は、図２３のフローチャートのステップＳ５１１，Ｓ５１２，Ｓ５１６，Ｓ５１７の処理と基本的に同様であるので、その説明は省略する。

ステップＳ６１３において、座標情報保持部６３１は、座標情報取得部５３１からの被写体領域の座標情報を保持するとともに、所定数フレーム前の被写体領域の座標情報を位置比較部６３２に供給する。

ステップＳ６１４において、位置比較部６３２は、座標情報保持部６３１からの、所定数フレーム前の被写体領域の座標情報と、座標情報取得部５３１からのこんかいフレームの被写体領域の座標情報とを比較し、所定数フレーム前から被写体領域の中心が所定の閾値より大きく変化（移動）したか否かを判定する。

具体的には、位置比較部６３２は、図２７に示されるように、所定数フレーム前の被写体枠（被写体領域）Hpの中心位置の座標Cp(Xcp,Ycp)と、今回フレームの被写体枠（被写体領域）Ｈの中心位置の座標C(Xc,Yc)との距離が、所定の閾値より大きいか否かを判定する。

ステップＳ６１４において、所定数フレーム前から被写体領域の中心が所定の閾値より大きく変化したと判定された場合、処理はステップＳ６１１に戻り、ステップＳ６１１乃至Ｓ６１４の処理が繰り返される。

一方、ステップＳ６１４において、所定数フレーム前から被写体領域の中心が所定の閾値より大きく変化していない場合、すなわち、被写体が所定数フレーム間ほとんど移動しなかった場合、位置比較部６３２は、イメージャ３２に、撮像を指示する情報を供給する。また、位置比較部６３２は、被写体が所定数フレーム間移動しなかった旨の情報をRAWデータ記録制御部５３３に供給するとともに、座標情報取得部５３１からの被写体領域の座標情報を、トリミング枠設定部６３３に供給する。

このように、動きのある被写体が所定時間静止状態になったときにシャッタされるので、安定した状態の被写体の撮像画像を得ることができる。

ステップＳ６１５において、RAWデータ記録制御部５３３は、位置比較部６３２から、被写体が所定数フレーム間移動しなかった旨の情報が供給されると、メモリコントローラ５８を制御し、シャッタフレームについてのRAWデータをDRAM４０に記録させる。

ステップＳ６１６において、トリミング枠設定部６３３は、位置比較部６３２からの座標情報に基づいて、シャッタフレームにおいて、位置比較部６３２からの座標情報で表される被写体領域の大きさおよび位置に応じた数のトリミング枠を、被写体領域を含むように設定する。

ここで、トリミング枠設定部６３３は、図２２のトリミング枠設定部５３４と同様にして、被写体領域の大きさに応じた数のトリミング枠を設定するが、被写体領域の中心位置の座標を基準として、撮像画像の中心方向に、より多い数のトリミング枠を設定する。例えば、被写体領域が、撮像画像の中心より左側に位置している場合には、撮像画像の右側に、より多い数のトリミング枠を設定する。

このようにして、撮像画像において、被写体領域の大きさおよび位置に応じた数のトリミング枠が設定される。トリミング枠設定部６３３は、設定した複数のトリミング枠を表す情報をトリミング画像生成制御部５３５に供給する。

以上の処理によれば、被写体の動きの状態に応じて撮像された撮像画像において、被写体領域を含む、被写体領域の大きさおよび位置に応じた数のトリミング枠が設定されて、複数のトリミング画像が生成される。これにより、ユーザがシャッタ操作を行うことなく、撮影後の面倒な操作や、撮影時の高度な技術を必要とせずに、好適なトリミング画像を提供することが可能となる。

特に、被写体領域の大きさに応じてトリミング枠の数が決まるので、被写体領域が大きい場合には、似たようなトリミング画像の生成を抑えることで、記録メディア３９の容量を削減することができ、被写体領域が小さい場合には、より多くのトリミング画像を生成することで、ユーザに、より多様な構図のトリミング画像を提供することができる。

また、被写体領域の位置に応じてトリミング枠の数が決まるので、被写体が、撮像画像の端の方にいる場合でも、撮像画像の中心方向に多くのトリミング枠が設定されることで、空間的に広がりをもった構図のトリミング画像を提供することができる。

以上においては、入力画像において、動きのある被写体が所定時間静止状態となったときにシャッタされる構成について説明したが、入力画像において、被写体の大きさが所定の大きさになったときにシャッタされるようにしてもよい。

［制御部のさらに他の機能構成例］
図２８は、被写体の大きさが所定の大きさになったときにシャッタされたときの撮像画像において、トリミング枠を設定する制御部３５の機能構成例を示している。

なお、図２８の制御部３５において、図２２の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２８の制御部３５において、図２２の制御部３５と異なるのは、位置検出部５３２およびトリミング枠設定部５３４に代えて、サイズ判定部７３１およびトリミング枠設定部７３２を設けた点である。

サイズ判定部７３１は、座標情報取得部５３１からの被写体領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体領域のサイズを判定し、判定の結果に応じて、イメージャ３２に、撮像を指示する情報を供給する。これにより、デジタル信号処理部３３には、撮像画像に対応するRAWデータが供給される。また、サイズ判定部７３１は、判定の結果に応じた情報をRAWデータ記録制御部５３３に供給するとともに、座標情報取得部５３１からの被写体領域の座標情報を、トリミング枠設定部７３２に供給する。

トリミング枠設定部７３２は、サイズ判定部７３１からの座標情報に基づいて、撮像画像に対応するフレーム（シャッタフレーム）において、サイズ判定部７３１からの座標情報で表される被写体領域の大きさおよび位置に応じた数のトリミング枠を設定し、そのトリミング枠を表す情報をトリミング画像生成制御部５３５に供給する。

［トリミング処理］
次に、図２９のフローチャートを参照して、図２８の制御部３５を備える画像処理装置１１によるトリミング処理について説明する。

なお、図２９のフローチャートのステップＳ７１１，Ｓ７１２，Ｓ７１６，Ｓ７１７の処理は、図２３のフローチャートのステップＳ５１１，Ｓ５１２，Ｓ５１７，Ｓ５１８の処理と基本的に同様であるので、その説明は省略する。

ステップＳ７１３において、サイズ判定部７３１は、座標情報取得部５３１からの被写体領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体領域のサイズ（大きさ）が、例えば、ユーザによって予め決められた目標サイズになったか否かを判定する。

具体的には、サイズ判定部７３１は、１フレーム毎に、入力画像における被写体領域の幅および高さを監視し、入力画像において、図３０の左側に示されるように、被写体枠Ｈで表される被写体領域の幅Widthおよび高さHeightが、図３０の右側に示されるように、目標サイズである幅Width_mおよび高さHeight_mの矩形領域H_mと同一または略同一になったか否かを判定する。

ステップＳ７１３において、被写体領域のサイズが目標サイズになっていないと判定された場合、処理はステップＳ７１１に戻り、被写体領域のサイズが目標サイズになったフレームについての座標情報が被写体追尾部５５から供給されるまで、ステップＳ７１１乃至Ｓ７１３の処理が繰り返される。

一方、ステップＳ７１３において、被写体領域のサイズが目標サイズになったと判定された場合、すなわち、被写体追尾部５５から、被写体領域のサイズが目標サイズになったフレームについての座標情報が供給された場合、サイズ判定部７３１は、イメージャ３２に、撮像を指示する情報を供給する。また、サイズ判定部７３１は、被写体領域のサイズが目標サイズになった旨の情報をRAWデータ記録制御部５３３に供給するとともに、座標情報取得部５３１からの被写体領域の座標情報を、トリミング枠設定部７３２に供給する。

このように、画像処理装置１１との距離が変化することで、被写体の大きさが入力画像において目標サイズになったときにシャッタされるので、所望のサイズの被写体の撮像画像を得ることができる。

ステップＳ７１４において、RAWデータ記録制御部５３３は、サイズ判定部７３１から、被写体領域のサイズが目標サイズになった旨の情報が供給されると、メモリコントローラ５８を制御し、シャッタフレームについてのRAWデータをDRAM４０に記録させる。

ステップＳ７１５において、トリミング枠設定部７３２は、サイズ判定部７３１からの座標情報に基づいて、シャッタフレームにおいて、サイズ判定部７３１からの座標情報で表される被写体領域の大きさおよび位置に応じた数のトリミング枠を、被写体領域を含むように設定する。

ここで、トリミング枠設定部７３２は、図２５のトリミング枠設定部６３３と同様にして、被写体領域の大きさおよび位置に応じた数のトリミング枠を設定する。但し、被写体領域の大きさは、予め決められた目標サイズであるので、予めトリミング枠の数を目標サイズに対応付けておくようにしてもよい。

このようにして、撮像画像において、被写体領域の大きさおよび位置に応じた数のトリミング枠が設定される。トリミング枠設定部７３２は、設定した複数のトリミング枠を表す情報をトリミング画像生成制御部５３５に供給する。

以上の処理によれば、被写体の大きさ（画像処理装置１１からの距離）に応じて撮像された撮像画像において、被写体領域を含む、被写体領域の大きさおよび位置に応じた数のトリミング枠が設定されて、複数のトリミング画像が生成される。これにより、ユーザがシャッタ操作を行うことなく、撮影後の面倒な操作や、撮影時の高度な技術を必要とせずに、好適なトリミング画像を提供することが可能となる。

特に、被写体領域の大きさに応じてトリミング枠の数が決まるので、被写体領域が大きい場合には、似たようなトリミング画像の生成を抑えることで、記録メディア３９の容量を削減することができ、被写体領域が小さい場合には、より多くのトリミング画像を生成することで、ユーザに、より多様な構図のトリミング画像を提供することができる。

また、被写体領域の位置に応じてトリミング枠の数が決まるので、被写体が、撮像画像の端の方にいる場合でも、撮像画像の中心方向に多くのトリミング枠が設定されることで、空間的に広がりをもった構図のトリミング画像を提供することができる。

なお、上述した説明においては、目標サイズとして、被写体領域の幅および高さを予め決めるようにしたが、被写体領域の幅または高さのいずれか１つを目標サイズとするようにしてもよい。

また、上述した説明においては、被写体領域のサイズが目標サイズになったときにシャッタされるようにしたが、被写体が人物である場合、デジタル信号処理部３３に、人物の顔を検出する顔検出器を備えるようにし、被写体領域のサイズと、顔検出器により検出された顔の領域である顔領域のサイズとの比が所定の目標値になったときにシャッタされるようにしてもよい。

なお、上述したトリミング処理において、撮像される被写体は人物に限られない。

以上においては、人物に限られない被写体の状態に応じてシャッタされる構成について説明したが、被写体としての人物の顔を検出し、検出された顔の表情に応じてシャッタされるようにしてもよい。

［画像処理装置の他の構成例］
図３１は、被写体としての人物の顔を検出し、検出された顔の表情に応じてシャッタするようにした画像処理装置の構成例を示している。

なお、図３１の画像処理装置８１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図３１の画像処理装置８１１において、図１の画像処理装置１１と異なるのは、デジタル信号処理部３３において顔検出部８２１を新たに設け、制御部３５に代えて、制御部８２２を設けた点である。

顔検出部８２１は、YC生成部５３によって生成された輝度信号および色信号からなる画像データに基づいて、画像データにより表示される入力画像において、被写体追尾部５５によって検出された被写体としての人物の被写体領域から顔を検出する。顔検出部８２１は、検出した被写体の顔から、顔の表情を検出し、顔の表情を表す情報を制御部８２２に供給する。

制御部８２２は、顔検出部８２１からの、顔の表情を表す情報に基づいて、イメージャ３２の撮像を制御し、得られた撮像画像に対してトリミング処理を実行する。

［制御部の機能構成例］
ここで、図３２を参照して、制御部８２２の機能構成例について説明する。

なお、図３２の制御部８２２において、図２２の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図３２の制御部８２２において、図２２の制御部３５と異なるのは、位置検出部５３２およびトリミング枠設定部５３４に代えて、条件判定部８３１およびトリミング枠設定部８３２を設けた点である。

なお、図３２の座標情報取得部５３１は、被写体追尾部５５から、入力画像の１フレーム毎に供給されてくる被写体領域の座標情報を取得し、トリミング枠設定部８３２に供給する。

条件判定部８３１は、顔検出部８２１からの顔の表情を表す情報に基づいて、被写体の顔の表情が所定の条件を満たしているか否かを判定し、判定の結果に応じて、イメージャ３２に、撮像の指示を表す情報を供給する。これにより、デジタル信号処理部３３には、撮像画像に対応するRAWデータが供給される。また、条件判定部８３１は、判定の結果に応じた情報をRAWデータ記録制御部５３３およびトリミング枠設定部８３２に供給する。

トリミング枠設定部８３２は、条件判定部８３１から、判定の結果に応じた情報が供給されると、座標情報取得部５３１からの座標情報に基づいて、撮像画像に対応するフレーム（シャッタフレーム）において、座標情報取得部５３１からの座標情報で表される被写体領域の位置に応じた数のトリミング枠を設定し、そのトリミング枠を表す情報をトリミング画像生成制御部５３５に供給する。

［トリミング処理］
次に、図３３のフローチャートを参照して、図３２の制御部８２２を備える図３１の画像処理装置８１１によるトリミング処理について説明する。

なお、図３３のフローチャートのステップＳ８１１，Ｓ８１２，Ｓ８１７，Ｓ８１８の処理は、図２３のフローチャートのステップＳ５１１，Ｓ５１２，Ｓ５１６，Ｓ５１７の処理と基本的に同様であるので、その説明は省略する。

ステップＳ８１３において、顔検出部８２１は、入力画像において、被写体追尾部５５による被写体追尾処理によって検出された被写体としての人物の被写体領域から顔を検出する。さらに、顔検出部８２１は、検出した被写体の顔から、顔の表情を検出し、顔の表情を表す情報を制御部８２２に供給する。

ステップＳ８１４において、条件判定部８３１は、顔検出部８２１からの顔の表情を表す情報に基づいて、被写体の顔の表情が笑顔であるか否かを判定する。

具体的には、条件判定部８３１は、顔検出部８２１から１フレーム毎に供給されてくる顔の表情を表す情報を監視し、入力画像において、図３４の左側に示されるように、被写体枠（被写体領域）Ｈに含まれる顔領域Ｆにおける顔の表情が、図３４の右側に示されるように、笑顔になったか否かを判定する。

ステップＳ８１４において、顔の表情が笑顔になっていないと判定された場合、処理はステップＳ８１１に戻り、顔の表情が笑顔になったフレームについての座標情報が被写体追尾部５５から供給されるまで、ステップＳ８１１乃至Ｓ８１４の処理が繰り返される。

一方、ステップＳ８１４において、顔の表情が笑顔になったと判定された場合、すなわち、被写体追尾部５５から、顔の表情が笑顔になったフレームについての座標情報が供給された場合、条件判定部８３１は、イメージャ３２に、撮像を指示する情報を供給する。また、条件判定部８３１は、顔の表情が笑顔になった旨の情報をRAWデータ記録制御部５３３およびトリミング枠設定部８３２に供給する。

このように、被写体である人物の顔の表情が笑顔になったときにシャッタされるので、好適な表情の被写体の撮像画像を得ることができる。

ステップＳ８１５において、RAWデータ記録制御部５３３は、条件判定部８３１から、顔の表情が笑顔になった旨の情報が供給されると、メモリコントローラ５８を制御し、シャッタフレームについてのRAWデータをDRAM４０に記録させる。

ステップＳ８１６において、トリミング枠設定部８３２は、座標情報取得部５３１からの座標情報に基づいて、シャッタフレームにおいて、座標情報取得部５３１からの座標情報で表される被写体領域の位置に応じた数のトリミング枠を、被写体領域を含むように設定する。

ここで、トリミング枠設定部８３２は、被写体領域の中心位置の、撮像画像の中心位置からの距離に応じた数のトリミング枠を設定する。具体的には、被写体領域の中心位置が撮像画像の中心位置から大きく離れている場合、より少ない数のトリミング枠を設定する。

このようにして、撮像画像において、被写体領域の位置に応じた数のトリミング枠が設定される。トリミング枠設定部８３２は、設定した複数のトリミング枠を表す情報をトリミング画像生成制御部５３５に供給する。

以上の処理によれば、被写体である人物の表情に応じて撮像された撮像画像において、被写体領域を含む、被写体領域の位置に応じた数のトリミング枠が設定されて、複数のトリミング画像が生成される。これにより、ユーザがシャッタ操作を行うことなく、撮影後の面倒な操作や、撮影時の高度な技術を必要とせずに、好適なトリミング画像を提供することが可能となる。

特に、被写体領域の中心位置が撮像画像の中心位置から大きく離れている場合には、より少ない数のトリミング枠が設定されるので、被写体である人物の顔の表情が笑顔であっても、被写体の位置が決してよくない場合にはトリミング画像の生成を抑えることができ、記録メディア３９の容量を削減することができる。

なお、以上においては、本画像とトリミング画像とを生成して記録する構成について説明してきたが、本画像に、トリミング枠を表すトリミング枠情報をメタデータとして付加して、本画像のみを記録するようにしてもよい。これにより、パーソナルコンピュータ等の情報処理装置において本画像を編集するときに、トリミング枠情報を含むメタデータに基づいて、トリミング画像を生成することができるようになる。

また、以上においては、シャッタのトリガとして、被写体追尾部５５により追尾された被写体の状態を用いるようにしたが、被写体追尾部５５に限らず、フレーム毎に、被写体の位置や動き等を検出する検出器の出力を、シャッタのトリガとするようにしてもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図３５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， ３４ 表示部， ３５ 制御部， ３９ 記録メディア， ４０ DRAM， ５５ 被写体追尾部， ５７ 記録メディアインタフェース， ５８ メモリコントローラ， ７１ 被写体マップ生成部， ７２ 被写体候補領域矩形化部， ７３ 被写体領域選択部， ７４ 重み係数算出部， １１１ 特徴量マップ生成部， １１２ 帯域特徴量マップ生成部， １１３ 帯域特徴量マップ合成部， １１４ 合成特徴量マップ合成部， １３１ ２値化処理部， １３２ ラベリング処理部， １３３ 矩形領域座標算出部， １３４ 領域情報算出部， １５１ 領域情報比較部， １５２ 被写体領域決定部， ２００ 入力画像， ２０１ 被写体マップ， ２２１，２２２ 矩形領域， ２３１ 被写体枠， ３３１ 操作判定部， ３３２ 座標情報取得部， ３３３ RAWデータ記録制御部， ３３４ トリミング枠設定部， ３３５ トリミング画像生成制御部， ３３６ 画像記録制御部， ４３１ トリミング枠設定部， ８１１ 画像処理装置， ８２２ 制御部， ８３１ 条件判定部， ８３２ トリミング枠設定部

Claims (8)

1. 連続する複数フレームの画像のうちの所定フレームの画像の記録を制御する記録制御手段と、
   前記記録制御手段により記録された前記所定フレームの画像において、注目する前記被写体の領域である被写体領域を含む複数のトリミング枠を設定するトリミング枠設定手段と、
   前記トリミング枠設定手段により設定された複数の前記トリミング枠に基づいて、前記記録制御手段により記録された前記所定フレームの画像からの、複数のトリミング画像の生成を制御する生成制御手段と
   を備える画像処理装置。
2. 被写体を撮像する撮像手段と、
   前記所定フレームの画像において、前記被写体領域が前記所定フレームの画像の略中央にあるときに、前記撮像手段に、前記所定フレームの画像の撮像を指示する指示手段とをさらに備え、
   前記記録制御手段は、前記指示手段の指示に基づいて前記撮像手段により撮像された前記所定フレームの画像の記録を制御する
   請求項１に記載の画像処理装置。
3. 前記トリミング枠設定手段は、前記記録制御手段により記録された前記所定フレームの画像において、前記被写体領域の大きさおよび位置の少なくともいずれか１つに応じた数の前記トリミング枠を設定する
   請求項１に記載の画像処理装置。
4. 前記トリミング枠設定手段は、前記所定フレームの画像において、前記被写体領域がより大きい場合はより少ない数の前記トリミング枠を設定し、前記被写体領域がより小さい場合はより多くの数の前記トリミング枠を設定する
   請求項３に記載の画像処理装置。
5. 前記被写体が人物である場合、前記人物の顔の表情を判定する判定手段をさらに備え、
   前記トリミング枠設定手段は、前記所定フレームの画像において、前記判定手段により判定された前記顔の表情と、前記被写体領域の位置とに応じた数の前記トリミング枠を設定する
   請求項３に記載の画像処理装置。
6. 前記トリミング枠設定手段は、前記記録制御手段により記録された前記所定フレームの画像において、前記被写体領域の位置が、前記トリミング画像において、予め決められた構図における所定位置となる複数の前記トリミング枠を設定する
   請求項１に記載の画像処理装置。
7. 連続する複数フレームの画像のうちの所定フレームの画像の記録を制御する記録制御手段と、
   前記記録制御手段により記録された前記所定フレームの画像において、注目する前記被写体の領域である被写体領域を含む複数のトリミング枠を設定するトリミング枠設定手段と、
   前記トリミング枠設定手段により設定された複数の前記トリミング枠に基づいて、前記記録制御手段により記録された前記所定フレームの画像からの、複数のトリミング画像の生成を制御する生成制御手段とを備える画像処理装置の画像処理方法において、
   前記記録制御手段が、連続する複数フレームの画像のうちの所定フレームの画像の記録を制御する記録制御ステップと、
   前記トリミング枠設定手段が、前記記録制御ステップの処理により記録された前記所定フレームの画像において、注目する前記被写体の領域である被写体領域を含む複数のトリミング枠を設定するトリミング枠設定ステップと、
   前記生成制御手段が、前記トリミング枠設定ステップの処理により設定された複数の前記トリミング枠に基づいて、前記記録制御ステップの処理により記録された前記所定フレームの画像からの、複数のトリミング画像の生成を制御する生成制御ステップと
   を含む画像処理方法。
8. 連続する複数フレームの画像のうちの所定フレームの画像の記録を制御する記録制御ステップと、
   前記記録制御ステップの処理により記録された前記所定フレームの画像において、注目する前記被写体の領域である被写体領域を含む複数のトリミング枠を設定するトリミング枠設定ステップと、
   前記トリミング枠設定ステップの処理により設定された複数の前記トリミング枠に基づいて、前記記録制御ステップの処理により記録された前記所定フレームの画像からの、複数のトリミング画像の生成を制御する生成制御ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images