JP2008028747A - 撮像装置及びそのプログラム - Google Patents

Abstract

【課題】 撮像された画像データに基づいて自動的に被写体を特定することができる撮像装置及びそのプログラムを実現する。
【解決手段】 静止画撮影モードでシャッタボタンが半押しされると、ＣＣＤ５により順次撮像されるフレーム画像データに基づいて、各被写体の動きを検出する処理を開始し（Ｓ３）、該検出された動きに基づいて所定の動きが検出されると（Ｓ４、Ｙ）、該所定の動きが検出された被写体を特定するとともに（Ｓ５）、該特定した被写体の位置に基づいてＡＦエリア及びトリミング枠を表示させる（Ｓ６）、そして、該特定被写体に追従させて該特定被写体の位置を検出する処理を開始するともに（Ｓ７）、該検出された特定被写体の位置に基づいてＡＦエリア、トリミング枠の表示を変更させる。
【選択図】 図２

Description

本発明は、撮像装置及びそのプログラムに係り、詳しくは、撮像された画像データに基づいて自動的に被写体を特定することができる撮像装置及びそのプログラムに関する。

撮像装置、例えば、デジタルカメラにおいては、ユーザがＡＦエリアに撮影した被写体を合わせることにより、該被写体に対してオートフォーカスを行なったり（特許文献１）、トリミングしたい被写体をトリミング枠等に合わすことにより、該被写体をトリミングしたりしていた（特許文献２）。

公開特許公報 特開平１１−２７５４３９号

公開特許公報 特開２００２−０２７２９８

しかしながら、上記技術によれば、ユーザが撮影したい被写体にＡＦエリアやトリミング枠を合わせなければならず面倒である。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、撮像された画像データに基づいて自動的に被写体を特定することができる撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮像装置は、被写体の光を画像データに変換する撮像素子と、
前記撮像素子を用いて被写体の動画を撮像する動画撮像制御手段と、
前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データを用いて、各フレーム画像間でその状態が変化する各被写体の動きを検出していく動き検出手段と、
前記動き検出手段により何れかの被写体において所定の動きが検出された場合は、該所定の動きをした被写体を特定する被写体特定手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、所定の被写体に対してオートフォーカスを行なうオートフォーカス制御手段を備え、
前記オートフォーカス制御手段は、
前記被写体特定手段により特定された被写体に対してオートフォーカスを行なうようにしてもよい。

また、例えば、請求項３に記載されているように、前記被写体特定手段により特定された被写体の位置に基づいて、前記撮像素子から取得された画像データをトリミングしてトリミング画像を生成するトリミング画像生成手段を備えるようにしてもよい。

また、例えば、請求項４に記載されているように、前記撮像素子を用いて被写体の静止画を撮影する撮影制御手段を備え、
前記トリミング画像生成手段は、
前記被写体特定手段により被写体が特定された時の該被写体の位置に基づいて、前記静止画撮影制御手段により撮影された静止画のトリミング画像を生成するようにしてもよい。

また、例えば、請求項５に記載されているように、前記被写体特定手段により特定された被写体に追従させて、各フレーム画像における該被写体の位置を検出していく被写体位置検出手段を備えるようにしてもよい。

また、例えば、請求項６に記載されているように、所定のタイミングを指示する指示手段を備え、
前記オートフォーカス制御手段は、
前記指示手段により指示されたタイミング時に前記被写体位置検出手段により検出されている被写体位置に基づいてオートフォーカスを行なうようにしてもよい。

また、例えば、請求項７に記載されているように、静止画撮影を指示する撮影指示手段と、
前記撮影指示手段により静止画撮影が指示された場合は、前記撮像素子を用いて被写体の静止画を撮影する静止画撮影制御手段と、
を備え、
前記トリミング画像生成手段は、
前記撮影指示手段により撮影が指示されたタイミング時に前記被写体位置検出手段により検出されている被写体位置に基づいて、前記静止画撮影制御手段により撮影された静止画のトリミング画像を生成するようにしてもよい。

また、例えば、請求項８に記載されているように、前記トリミング画像生成手段により生成された静止画のトリミング画像を記録手段に記録する静止画記録制御手段を備えるようにしてもよい。

また、例えば、請求項９に記載されているように、前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データを表示手段に順次更新表示させていくとともに、前記更新表示されたフレーム画像に対応させて前記トリミング画像生成手段がトリミングすることとなる範囲を示すトリミング枠を、前記被写体位置検出手段により順次検出される被写体位置に基づいて、当該フレーム画像上に順次更新表示させていく表示制御手段を備えるようにしてもよい。

また、例えば、請求項１０に記載されているように、前記トリミング画像生成手段は、
前記被写体位置検出手段により順次検出される被写体の位置に基づいて、前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに対して順次トリミング画像を生成していくようにしてもよい。

また、例えば、請求項１１に記載されているように、前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに対して、前記トリミング画像生成手段により順次生成されたトリミング画像を順次記録手段に記録する動画記録制御手段を備えるようにしてもよい。

また、例えば、請求項１２に記載されているように、前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データから前記トリミング画像生成手段により順次生成されるトリミング画像を表示手段に順次更新表示させていく表示制御手段を備えるようにしてもよい。

また、例えば、請求項１３に記載されているように、前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データを表示手段に順次更新表示させていくとともに、前記更新表示されたフレーム画像に対応させて前記トリミング画像生成手段がトリミングすることとなる範囲を示すトリミング枠を、前記被写体位置検出手段により順次検出される被写体位置に基づいて、当該フレーム画像上に順次更新表示させていく表示制御手段を備えるようにしてもよい。

また、例えば、請求項１４に記載されているように、前記被写体位置検出手段は、
前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて、前記被写体特定手段により特定された被写体の動きベクトルを検出していくことにより被写体位置を検出していくようにしてもよい。

また、例えば、請求項１５に記載されているように、前記被写体位置検出手段は、
前記被写体位置特定手段により特定された被写体を固体識別し、前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて該固体識別した被写体を検出することにより被写体位置を検出していくようにしてもよい。

また、例えば、請求項１６に記載されているように、前記動き検出手段は、
前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて、被写体毎にその位置を検出し、該検出した位置の遷移軌跡を被写体毎に検出することにより、各被写体の動きを検出していくようにしてもよい。

また、例えば、請求項１７に記載されているように、前記被写体特定手段は、
何れかの被写体の位置の遷移軌跡が予め設定されている遷移軌跡と一致する遷移軌跡となったときに、その位置の遷移軌跡が予め設定されている遷移軌跡と一致した被写体を特定するようにしてもよい。

また、例えば、請求項１８に記載されているように、前記動き検出手段は、
前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて、各被写体の形状を個別検出していくことにより各被写体の動きを検出していくようにしてもよい。

また、例えば、請求項１９に記載されているように、前記動き検出手段は、
前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて、各被写体から形状が変化した部分を検出するとともに、その形状の位置の遷移軌跡を検出していくことにより被写体の動きを検出していくようにしてもよい。

また、例えば、請求項２０に記載されているように、前記被写体特定手段は、
何れかの形状の位置の遷移軌跡が予め設定されている遷移軌跡と一致する遷移軌跡となったときに、その位置の遷移軌跡が予め設定されている遷移軌跡と一致した形状を含む被写体を特定するようにしてもよい。

また、例えば、請求項２１に記載されているように、前記被写体特定手段は、
前記動き検出手段により所定の形状が検出された場合は、所定の動作が検出されたと判断し、該所定の形状が検出された被写体を特定するようにしてもよい。

また、例えば、請求項２２に記載されているように、前記オートフォーカス制御手段は、
前記被写体特定手段により被写体が特定されたときに、当該被写体に対してオートフォーカスを行なうようにしてもよい。

上記目的達成のため、請求項２３記載の発明によるプログラムは、被写体の光を画像データに変換する撮像素子を用いて被写体の動画を撮像する動画撮像処理と、
前記動画撮像処理により前記撮像素子から順次取得されるフレーム画像データを用いて、各フレーム画像間でその状態が変化する各被写体の動きを検出していく動き検出処理と、
前記動き検出処理により何れかの被写体において所定の動きが検出された場合は、該所定の動きをした被写体を特定する被写体特定処理と、
を含み、上記各処理をコンピュータで実行させることを特徴とする。

本発明によれば、被写体の動きを検出していき、所定の動作が検出されると該所定の動作をした被写体を自動的に特定することができ、該特定された被写体に対してオートフォーカス処理やトリミング処理などを行うことができ、更には追従させる被写体をも自動的に特定することができる。

以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第１の実施の形態]

Ａ．デジタルカメラの構成
図１は、本発明の動画処理装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。

撮影レンズ２は、複数のレンズ群から構成されるフォーカスレンズ２ｂ、ズームレンズ２ａ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ２ｂ、ズームレンズ２ａをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞りとは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。

ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。

ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。

画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＣＰＵ１０に送られる。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。

ＣＰＵ１０は、静止画撮影処理、記録処理、画像生成部９から送られてきた画像データの圧縮・伸張（例えば、ＪＰＥＧ形式、ＭＰＥＧ形式の圧縮・伸張）処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。
特に、ＣＰＵ１０は、画像のエッジ検出処理、該検出されたエッジの位置の遷移軌跡を記憶させる処理、該記憶されたエッジの位置の遷移軌跡に基づいてデジタルカメラ１が落下しているか否かを判定する判定処理などを行う機能を有する。

キー入力部１１は、シャッタボタン、被写体特定ボタン、録画ボタン、モードキー、セットキー、十字キー、ズームキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータ（例えば、落下軌跡データ）が記録されており、ＣＰＵ１０は、該プログラムに従い動作する。

ＤＲＡＭ１３は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１４は、圧縮された画像データを保存する記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、動画撮影中のときもＣＣＤ５によって撮像された被写体の動画を表示させる。また、動画撮影中に静止画撮影処理が行なわれた場合は、動画とともに撮影された静止画を表示させる。

Ｂ．デジタルカメラ１の動作
まず、本実施の形態におけるデジタルカメラ１の動作を説明する前に本発明の特徴部分を簡単に説明する。
本発明の特徴となる部分は、ＣＣＤ５により順次撮像されたフレーム画像データに基づいて、撮像された各被写体の動きをそれぞれ検出していき、該検出された各被写体の動きに基づいて、何れかの被写体が所定の動作を行なったと判断すると、該所定の動作が行なわれた被写体を自動的に特定するというものである。つまり、撮像される被写体が複数ある場合であっても、所定の動作を行なった被写体を自動的に特定することができる。

第１の実施の形態においては、更に該特定した被写体の位置に基づいてＡＦエリアやトリミング枠を表示させ、その後、該被写体が移動した場合であっても、該特定した被写体に追従させてＡＦエリアやトリミング枠を表示させていくというものである。

以下、第１の実施の形態におけるデジタルカメラ１の動作を図２のフローチャートに従って説明する。

ユーザのモードキーの操作により静止画撮影モードに設定されると、ＣＰＵ１０は、所定のフレームレートでＣＣＤ５による撮像を開始させ、ＣＣＤ５により順次撮像され画像生成部９によって生成された輝度色差信号の画像データを画像表示部１５に表示されるという、いわゆるスルー画像表示を開始させる（ステップＳ１）。

次いで、ＣＰＵ１０は、シャッタボタンが半押しされたか否かを判断する（ステップＳ２）。この判断は、キー入力部１１からシャッタボタンの半押しに対応する操作信号が送られて来たか否かにより判断する。
ステップＳ２で、シャッタボタンが半押しされていないと判断するとステップＳ２に留まり、シャッタボタンが半押しされたと判断すると、動き検出処理を開始する（ステップＳ３）。この動き検出処理は、ＣＣＤ５から順次出力されるフレーム画像データに基づいて、撮像された各被写体の動きを検出していく。つまり、各フレーム画像間での被写体の変化を検出することにより各被写体の動きを検出していく。この動き検出処理について後で詳細に説明する。

ここでは、図３（ａ）に示すような画像が表示されている時にシャッタボタンが半押しされたものとする。図３（ａ）に示すように、撮像された被写体は人と、木と、太陽となる。
動き検出処理を開始すると、ＣＰＵ１０は、所定の動作が検出されたか否かを判断する（ステップＳ４）。この判断は、検出されていった被写体の動きが所定の動作であるか否かによって判断する。ここでは、検出された各被写体の動きのうち、何れか１つの動きが所定の動作と判断された場合には、所定の動作が検出されたと判断する。

ステップＳ４で、所定の動作が検出されていないと判断すると、所定の動作が検出されるまでステップＳ４に留まり、所定の動作が検出されたと判断すると、動き検出処理を終了し、該所定の動作を行なった被写体を特定する（ステップＳ５）。このとき、該特定した被写体の位置をバッファメモリの位置情報記憶領域に記憶させる。

次いで、ＣＰＵ１０は、該特定した被写体の位置（記憶させた位置）に基づいてＡＦエリアの位置を決定してＡＦエリアを表示させるとともに、該特定した被写体の位置に基づいてトリミング枠を表示させる（ステップＳ６）。つまり、ＡＦエリアの位置、及びトリミング枠の位置（トリミング位置）を該記憶させた位置に合わせて表示させる。このトリミング枠の大きさは、予め定められたトリミングサイズに基づいて表示される。
ここでは、図３（ｂ）に示すように、人が特定の動作を行なったものと判断し、該人の位置に基づいて、ＡＦエリア１１、トリミング枠１２が表示されているのがわかる。

次いで、ＣＰＵ１０は、該特定した被写体の位置検出処理を開始する（ステップＳ７）。この被写体の位置検出処理は、ＣＣＤ５から順次出力されるフレーム画像データに基づいて、該特定した被写体（特定被写体）の位置を検出していく。この位置検出処理について後で詳細に説明する。

図３（ｃ）は、被写体位置検出処理により検出されていく特定被写体の位置の様子を示すものである。特に、図３（ｃ）は、被写体を特定した後に、該特定した被写体が右方向に移動した場合に、検出されていく被写体の位置の様子を示すものである。点線で表されている被写体は、過去に検出された特定被写体の位置を示すものであり、実線で表されている被写体は、現在検出された特定被写体の位置を示すものである。

なお、ＣＰＵ１０は、特定被写体の位置を検出すると、該検出された位置を、バッファメモリの位置情報記憶領域に記憶させ、既に位置が記憶されている場合は上書きして記憶させる。これにより、最新の特定被写体の位置が記憶されることになる。

そして、該特定被写体の位置検出処理を開始すると、ＣＰＵ１０は、検出された位置（位置情報記憶領域に記憶されている位置）に基づいて、ＡＦエリア１１及びトリミング枠１２の表示を変更させる（ステップＳ８）。
図４は、表示されるＡＦエリア１１及びトリミング枠１２の様子を示す図である。

図４（ａ）は、図３（ｃ）に示す点線で表されている特定被写体を検出したときに、表示されるＡＦエリア１１及びトリミング枠１２の様子を示すものであり、図４（ｂ）は、図３（ｃ）に示す実線で表されている特定被写体を検出したときに表示されるＡＦエリア１１及びトリミング枠１２の様子を示すものである。このように、特定被写体にＡＦエリア１１及びトリミング枠１２が特定被写体に追従して表示されることになる。

次いで、ＣＰＵ１０は、シャッタボタンが全押しされたか否かを判断する（ステップＳ９）。この判断は、シャッタボタン全押し操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ９で、シャッタボタンが全押しされていないと判断するとステップＳ８に戻る。

一方、ステップＳ９で、シャッタボタンが全押しされたと判断すると、被写体の位置検出処理を終了し、シャッタ全押し直前に検出された被写体の位置（位置情報記憶領域に記憶されている位置）に基づくＡＦエリアの画像データに基づいてコントラスト検出方式によるＡＦ処理を行う（ステップＳ１０）。このコントラスト検出方式によるＡＦ処理は周知技術なので説明を省略する。

ＡＦ処理が終了すると、ＣＰＵ１０は、静止画撮影処理を行い（ステップＳ１１）、シャッタ全押し直前に検出された被写体の位置（位置情報記領域に記憶されている位置）及び予め定められたトリミングサイズに基づいて、撮影処理により得られた静止画データからトリミング画像データが生成される（ステップＳ１２）。つまり、得られた静止画データのうち、シャッタ全押し直前に表示されたトリミング枠１２の範囲の画像データがトリミングされることになる。
次いで、ＣＰＵ１０は、該生成したトリミング画像データを圧縮してフラッシュメモリ１４に記録する（ステップＳ１３）。

このように、第１の実施の形態においては、シャッタボタンが半押しされると、所定の動作が行なわれた被写体を自動的に特定し、該特定した被写体の位置に応じてＡＦエリア１１、トリミング枠１２を表示させる。この場合は、該特定した被写体が移動した場合であっても、ＡＦエリア１１、トリミング枠１２は該被写体に追従して表示されることになる。

Ｃ.次に、動き検出処理の動作を図５のフローチャートにしたがって説明する。
ここでは、被写体の動きの検出処理の例として、２通りの方法を示す。
まず１つ目は、各被写体の全体的な位置の遷移軌跡を検出することにより被写体の動きを検出する方法であり、２つ目は、各被写体において変化のある部分の位置の遷移軌跡を検出することにより被写体の動きを検出す方法法である。

Ｃ−１．まず、各被写体の全体的な位置の遷移軌跡を検出することにより被写体の動きを検出するという１つ目の方法を図５（ａ）のフローチャートにしたがって説明する。
動き検出処理を開始すると、ＣＰＵ１０は、ＣＣＤ５により直近に撮像された１枚のフレーム画像データをバッファメモリから取得する（ステップＳ２１）。なお、このときは、スルー画像表示が行われているで、ＣＣＤ５により所定のフレームレートによってフレーム画像データが順次撮像され、該撮像されたフレーム画像データは順次バッファメモリに記憶されている。

次いで、ＣＰＵ１０は、該取得したフレーム画像データに基づいて撮像された各被写体を検出する（ステップＳ２２）。この被写体の検出方法としては、フレーム画像データに基づいて、例えば、画像の高周波成分を抽出して二値化画像を生成し、この画像エッジを検出することにより各被写体を検出する。
例えば、図３（ａ）に示すような画像のフレーム画像データに基づいて被写体を検出する場合には、人、木、太陽を検出することになる。この場合、人や木などといった固体識別をする必要はなく、それぞれ別個の被写体であると認識できる程度でよい。
次いで、ＣＰＵ１０は、該検出した各被写体の位置をバッファメモリに記憶させる（ステップＳ２３）。

次いで、ＣＰＵ１０は、該記憶させた被写体の位置に基づく位置の遷移軌跡のうち何れか１つの遷移軌跡が所定の遷移軌跡と一致するか否かを判断する（ステップＳ２４）。この所定の遷移軌跡は予めメモリ１２に複数記録されており、この複数記録されている所定の遷移軌跡の何れか１つと、記憶された被写体の位置に基づく位置の遷移軌跡の何れか１つとが一致すれば、該記憶した被写体の位置の遷移軌跡が所定の遷移軌跡と一致すると判断する。

ステップＳ２４で、一致しないと判断すると、ステップＳ２１に戻り、ＣＰＵ１０は、新たに撮像されたフレーム画像データを取得し上記した動作を繰り返す。つまり、一致すると判断されるまで、ＣＣＤ５により順次撮像されたフレーム画像データに基づいて被写体の位置を検出していき、該検出された被写体の位置が順次記憶されていることになり、刻々と変化する被写体の位置を記憶させていく。例えば、図３（ａ）に示すような画像を撮像している場合には、順次撮像されたフレーム画像データに基づいて、人、木、太陽のそれぞれの位置を記憶させていく。そして、人の位置の遷移軌跡と、木の位置の遷移軌跡と、太陽の位置の遷移軌跡のうち、何れか１つでも所定の遷移軌跡と一致すれば、一致すると判断する。

一方、ステップＳ２４で、一致すると判断すると、動き検出処理を終了し、図２のステップＳ５に進む。
つまり、図２ステップＳ４の所定の動作が検出されたか否かの判断と、図５（ａ）のステップＳ２４の一致の判断は同じということになり、ステップＳ２４で一致すると判断すると、所定の動作が検出されたと判断することになる。

ここで、図６は、メモリ１２に記録されている所定の遷移軌跡の例を示すものである。
この図に示す所定の遷移軌跡は、人の動きによる人の位置の遷移軌跡を表わしており、特に、その人本人が動く意識は無くても、自然に動いてしまう微妙な動きによる被写体の位置の遷移軌跡を示すものである。

図６（ａ）は、時間とともに被写体が左右方向に移動する移動量を示し、図６（ｂ）は、時間とともに被写体が上下方向に移動する移動量を示している。
つまり、この図の遷移軌跡を見ると、本人は動く意思は無くても、左右方向に揺ら揺らとゆれてしまう動作の遷移軌跡であることがわかる。
これにより、背景をバックにして人を撮影する場合には、背景ではなく人を自動的に特定することが可能となる。
そして、順次検出されていった被写体の位置の遷移軌跡のうち、いずれか１つが図６に示すような遷移軌跡と一致したと判断すると、図２のステップＳ５に進む。

Ｃ−２．次に、各被写体において変化のある部分の位置の遷移軌跡を検出することにより被写体の動作を検出するという２つ目の方法を図５（ｂ）のフローチャートにしたがって説明する。
動き検出処理を開始すると、ＣＰＵ１０は、ＣＣＤ５により直近に撮像された１枚のフレーム画像データをバッファメモリから取得する（ステップＳ３１）。

次いで、ＣＰＵ１０は、該取得したフレーム画像データに基づいて、被写体の形状を検出する（ステップＳ３２）。この被写体の形状の検出方法としては、フレーム画像データに基づいて、例えば、画像の高周波成分を抽出して二値化画像を生成し、この画像のエッジを検出することにより各被写体の形状を検出する。

次いで、ＣＰＵ１０は、被写体毎に動きのある部分の形状を検出し、該検出した形状の位置をバッファメモリに記憶させる（ステップＳ３３）。動きのある部分の形状の検出は、前回のフレーム画像データに基づく被写体の形状と、今回のフレーム画像データに基づく被写体の形状とを比較し、変化のある部分の形状を検出する。例えば、図７に示すような被写体を撮像している場合において、人が左手のみを動かしている場合には、左手の形状を検出し、該検出された左手の形状の位置が記憶される。木や太陽、左手以外の人の構成要素は形状が変化しないので、これらの形状の位置は記憶されないことになる。つまり、１つ目の動き検出処理の方法は、それぞれの被写体全体の位置を記憶させていくのに対し、２つ目の動き検出処理の方法は、被写体全体の位置ではなく、被写体の一部、つまり、動きのある部分の位置を記憶させていくということになる。

次いで、ＣＰＵ１０は、該検出した形状の位置に基づく位置の遷移軌跡が所定の遷移軌跡と一致するか否かを判断する（ステップＳ２４）。この所定の遷移軌跡は、予めメモリ１２に複数記録されており、この複数記録されている所定の遷移軌跡の何れかと一致すれば、該検出した形状の遷移軌跡が所定の遷移軌跡と一致すると判断する。

ステップＳ３４で、一致しないと判断すると、ステップＳ３１に戻り、ＣＰＵ１０は、新たに撮像されたフレーム画像データを取得し上記した動作を繰り返す。
つまり、一致すると判断されるまで、ＣＣＤ５により順次撮像されたフレーム画像データに基づいて変化のある部分の形状の位置を検出していき、該検出された被写体の位置が順次記憶されることになり、刻々と変化する形状の位置を記憶させていく。

一方、ステップＳ３４で、一致すると判断すると、動き検出処理を終了し、図２のステップＳ５に進む。
つまり、図２のステップＳ４の所定の動作が検出されたか否かの判断と、図５（ｂ）のステップＳ３４の一致の判断は同じということになり、ステップＳ３４で一致すると判断すると、所定の動作が検出されたと判断する。

ここで、図７は、一例としてステップＳ３４で、所定の遷移軌跡と判断される動作を示す図である。
図のように、人が左手によって円弧を描くことによって、左手の位置の遷移軌跡が記憶されていき、その遷移軌跡が円になった場合には、所定の遷移軌跡と一致したと判断され、図２のステップＳ５へ進む。

Ｄ.次に、特定した被写体の位置検出処理の動作を図８のフローチャートにしたがって説明する。
ここでは、特定した被写体の位置検出処理の例として、２通りの方法を示す。
１つ目の方法は動きベクトルを検出することにより該特定した被写体の位置を検出する方法であり、２つ目の方法は、例えば、画像認識で固体識別することにより該特定した被写体の位置を検出する方法である。

Ｄ−１．まず、動きベクトルを検出することにより該特定した被写体の位置を検出する方法を図８（ａ）のフローチャートにしたがって説明する。
被写体の位置検出処理を開始すると、ＣＰＵ１０は、ＣＣＤ５により直近に撮像された１枚のフレーム画像データをバッファメモリから取得する（ステップＳ５１）。なお、このときは、スルー画像表示が行われているで、ＣＣＤ５により所定のフレームレートによってフレーム画像データが順次撮像され、該撮像されたフレーム画像データは順次バッファメモリに記憶されている。

次いで、ＣＰＵ１０は、該取得したフレーム画像データに基づいて該特定した被写体の動きベクトルを検出する（ステップＳ５２）。
この動きベクトルの検出の方法としては、ブロックマッチング法などを用いて１つ前のフレームと今回のフレームとに基づいて動きベクトルを検出する。

このとき、１つ前のフレームと今回のフレームに基づいて動きベクトルを検出する場合は、１つ前のフレーム画像データのうち、該特定した被写体がいる領域の画像データと、今回のフレーム画像データとを用いて、該被写体がいる領域の画像データの動きベクトルを検出することにより、被写体の動きベクトルを検出する。

次いで、ＣＰＵ１０は、前回検出した被写体の位置、及び、該検出した動きベクトルに基づいて、現在の被写体の位置を検出する。
次いで、ＣＰＵ１０は、位置検出処理を終了するか否かを判断する（ステップＳ５４）。この判断は、シャッタボタンが全押しされたか否かにより判断する。
ステップＳ５４で、位置検出処理を終了しないと判断すると、ステップＳ５１に戻り、新たに撮像されたフレーム画像データを取得し、特定した被写体の位置を検出するという上記の動作を繰り返す。

ここで、被写体の動きベクトルの検出についてもう少し詳しく説明する。
図９は、順次撮像された特定被写体の位置の様子を示すものであり、特定された被写体が、一番左に位置するときに撮像されたフレーム画像データを１枚目とし、中央に位置するときに撮像されたフレーム画像データを２枚目とし、一番左に位置するときに撮像されたフレーム画像データを３枚目とする。

そして、図９の領域３１は、図２のステップＳ５で特定された被写体に基づいて定められた領域であるとする。この領域３１の大きさは、該特定した被写体の大きさに基づいて定められる。
被写体の動きベクトルの検出方法は、この定められた領域の動きベクトルを検出することにより、被写体の動きベクトルを検出する。

具体的に説明すると、１枚目に撮像されたフレーム画像データのうち領域３１の画像データと、２枚目に撮像されたフレーム画像データとを用いて、該領域３１の動きベクトルを検出する（ステップＳ５２）。
そして、該検出された動きベクトルと前回の領域３１の位置に基づいて、新たに領域３２の位置を定める。この定められた領域３２の位置が２枚目のフレーム画像データの撮像時の特定被写体の位置となる（ステップＳ５３）。

そして、２枚目に撮像されたフレーム画像のうち領域３２の画像データと、３枚目に撮像されたフレーム画像データとを用いて、領域３２の動きベクトルを検出する（ステップＳ５２）。
そして、該検出された動きベクトルと前回の領域３２の位置に基づいて新たに領域３３の位置を定める（ステップＳ５３）という方法により、特定した被写体の動きベクトルを検出する。
つまり、特定した被写体に基づいて領域を定め、該領域の動きベクトルを検出することにより、該定めた領域がどこに移動したかを検出することにより、被写体の位置を検出する。

Ｄ−２．次に、画像認識で固体識別することにより該特定した被写体の位置を検出する方法を図８（ｂ）のフローチャートにしたがって説明する。
被写体の位置検出処理を開始すると、ＣＰＵ１０は、図２のステップＳ５で特定した被写体を画像認識により固体識別する（ステップＳ６１）。つまり、画像認識より特定した被写体を具体的に識別する。この画像認識は周知技術なので詳しくは説明しないが、例えば、予め記憶されている固有のパターンと順次比較していくといったパターンマッチング技術などにより特定した被写体の種類（人、車、猫、犬など）を決定し、該決定した被写体が人の場合は、肌の色、髪の毛の色、目の形、鼻の形、口の形及びその位置等の認識、それらの位置関係等も認識してそれらを数値化して数値データ（特定被写体特徴データ）を算出してバッファメモリに記憶させることにより、特定した被写体を固体識別する。なお、パターンマッチング技術により特定した被写体の種類を決定することなく、特定した被写体の特徴データを直接算出するようにしてもよい。

次いで、ＣＰＵ１０は、ＣＣＤ５により直近に撮像された１枚のフレーム画像データをバッファメモリから取得する（ステップＳ６２）。なお、このときは、スルー画像表示が行われているで、ＣＣＤ５により所定のフレームレートによってフレーム画像データが順次撮像され、該撮像されたフレーム画像データは順次バッファメモリに記憶されている。

次いで、ＣＰＵ１０は、該取得したフレーム画像データに基づいて、該固体識別した被写体がどの位置にあるのかを検出する（ステップＳ６３）。つまり、取得したフレーム画像データを画像認識することにより、該固体識別したメイン被写体がどの位置にあるか検出することになる。即ち、該記憶した特定被写体特徴データと比較照合することにより、新たに取得したフレーム画像データのどの位置にメイン被写体がいるかを検出することになる。

具体的に説明すると、メイン被写体（特定被写体）の種類が人であると決定された場合は、画像認識により取得したフレーム画像データの中で人がどこにあるのかを認識し、該認識した人の特徴データを算出し、該算出した特徴データと記憶している特定被写体特徴データを比較照合することにより同一人物であるかを判断する。また、被写体は動いているので同一被写体であっても、該算出した特徴データと特定被写体特徴データとが完全に一致するとは限らないが、ある程度の許容範囲を設けその範囲であるならば同一人物であると判断する。
なお、図４のように、特定した被写体である人である場合であって、該特定した人以外の人が他にいない場合は、画像認識により人を認識したら、特定被写体特徴データと比較照合することなくそれを特定被写体であると判断するようにしてもよい。

次いで、ＣＰＵ１０は、位置検出処理を終了するか否かを判断する（ステップＳ６４）。この判断は、シャッタボタンが全押しされたか否かにより判断する。
ステップＳ５４で、位置検出処理を終了しないと判断すると、ステップＳ５１に戻り、新たに撮像されたフレーム画像データを取得し、特定した被写体の位置を検出するという上記の動作を繰り返す。

Ｅ．以上のように、第１の実施の形態においては、シャッタボタンが半押しされると、被写体の動きを検出していき、該検出された動きが所定の動作であると判断すると、該所定の動作と判断された被写体を自動的に特定するので、該被写体にピントを合わせたり、該被写体をトリミングすることができる。
また、該特定した被写体が移動した場合は、ＡＦエリア１１やトリミング枠１２を該被写体に追従させるので、一旦被写体が特定されると被写体が動いた場合であっても、該被写体にピントを合わせたり、該被写体をトリミングすることができる。

［第２の実施の形態］
次に、第２の実施の形態について説明する。

Ｆ.デジタルカメラ１の動作
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
まず、第２の実施の形態におけるデジタルカメラ１の動作を説明する前に本発明の特徴部分を簡単に説明する。

第２の実施の形態は、本発明を動画撮影モードに適用した場合であり、スルー画像表示中に被写体を特定すると、第１の実施の形態と同様に、該特定した被写体に追従させてトリミング枠１２を表示させ、録画開始ボタンが押下されると、スルー画像表示の動作と同様に、撮像されたフレーム画像データ及びトリミング枠１２を表示させていくとともに、撮像されたフレーム画像データのうちトリミング枠１２内の画像データをトリミングして記録するというというものである。

以下、第２の実施の形態のデジタルカメラ１の動作を図１０のフローチャートにしたがって説明する。
ユーザのモードキーの操作により動画撮影モードに設定されると、ＣＰＵ１０は、所定のフレームレートでＣＣＤ５による撮像を開始させ、ＣＣＤ５により順次撮像され画像生成部９によって生成された輝度色差信号の画像データを画像表示部１５に表示されるという、いわゆるスルー画像表示を開始させる（ステップＳ１０１）。
次いで、ＣＰＵ１０は、被写体特定ボタンが押下されたか否かを判断する（ステップＳ１０２）。この判断は、キー入力部１１から被写体特定ボタンの押下に対応する操作信号が送られて来たか否かにより判断する。

ステップＳ１０２で、被写体特定ボタンが押下されていないと判断するとステップＳ２に留まり、被写体特定ボタンが押下されたと判断すると、動き検出処理を開始する（ステップＳ１０３）。この動き検出処理は、第１の実施の形態で説明したように、図５の動作を行なうことにより動きを検出する。
ここでも、図３（ａ）に示すような画像が表示されている時に被写体特定ボタンが押下されたものとする。図３（ａ）に示すように撮像された被写体は人と、木と、太陽となる。

動き検出処理を開始すると、ＣＰＵ１０は、所定の動作が検出されたか否かを判断する（ステップＳ１０４）。この判断は、検出されていった被写体の動きが所定の動作であるか否かによって判断する。
ステップＳ１０４で、所定の動作が検出されていないと判断すると、所定の動作が検出されるまでステップＳ１０４に留まり、所定の動作が検出されたと判断すると、動き検出処理を終了し、該所定の動作を行なった被写体を特定する（ステップＳ１０５）。このとき、該特定した被写体の位置をバッファメモリの位置情報記憶領域に記憶させる。

次いで、ＣＰＵ１０は、該特定した被写体の位置（記憶させた位置）に基づいてトリミング枠を表示させる（ステップＳ１０６）。つまり、トリミング枠の位置（トリミング位置）を該記憶させた位置に合わせて表示させる。このトリミング枠の大きさは、予め定められたトリミングサイズに基づいて表示される。
ここでは、図３（ｂ）に示すように、人が特定の動作を行なったものと判断し、該人の位置に基づいてトリミング枠１２が表示されているのがわかる。なお、第２の実施の形態においてはＡＦエリア１１は無いものとして説明する。

次いで、ＣＰＵ１０は、該特定した被写体の位置検出処理を開始する（ステップＳ１０７）。この被写体の位置検出処理は、第１の実施の形態で説明したように、図８の動作を行なうことにより動きを検出する。この位置検出処理は、ステップＳ１１２で録画を終了すると判断されるまで行なわれる。

図３（ｃ）は、被写体位置検出処理により検出されていく被写体の位置の様子を示すものである。特に、図３（ｃ）は、被写体を特定した後に、該特定した被写体が右方向に移動した場合に、検出されていく被写体の位置の様子を示すものである。点線で表されている被写体は、過去に検出された被写体の位置を示すものであり、実線で表されている被写体は、現在検出された被写体の位置を示すものである。

なお、ＣＰＵ１０は、被写体の位置を検出すると、該検出された位置を、バッファメモリの位置情報記憶領域に記憶させ、既に位置が記憶されている場合は上書きして記憶させる。これにより、最新の被写体の位置が記憶されることになる。

そして、該特定した被写体の位置検出処理を開始すると、ＣＰＵ１０は、検出された位置（位置情報記憶領域に記憶されている位置）に基づいてリミング枠１２を表示させる処理を開始する（ステップＳ１０８）。このトリミング枠の表示処理は、ステップＳ１１２で録画を終了すると判断されるまで行なわれる。

図４は、表示されるトリミング枠１２の様子を示す図である。
図４（ａ）は、図３（ｃ）に示す点線で表されている被写体を検出したときに、表示されるトリミング枠１２の様子を示すものであり、図４（ｂ）は、図３（ｃ）に示す実線で表されている被写体を検出したときに表示されるトリミング枠１２の様子を示すものである。このように、特定した被写体にトリミング枠１２が追従して表示されることになる。

次いで、ＣＰＵ１０は、録画を開始するか否かを判断する（ステップＳ１０９）。この判断は、録画ボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。

ステップＳ１０９で、録画を開始しないと判断すると録画を開始すると判断するまでステップＳ１０９に留まり、録画を開始すると判断すると、ＣＰＵ１０は、該順次検出された被写体位置及び予め定められたトリミングサイズに基づいて、ＣＣＤ５により順次撮像されたフレーム画像データからトリミング画像データを生成する処理を開始する（ステップＳ１１０）。つまり、新たに撮像されたフレーム画像データに基づいて検出された被写体の位置に基づいて、該フレーム画像データからトリミング画像データが生成される。

例えば、図９の場合において、１枚目のフレーム画像データから生成されるトリミング画像データは、領域３１の位置に基づいて生成され、２枚目のフレーム画像データから生成されるトリミング画像データは、領域３２の位置に基づいて生成され、３枚目のフレーム画像データから生成されるトリミング画像データは、領域３３の位置に基づいて生成される。

次いで、ＣＰＵ１０は、該生成されたトリミング画像データを圧縮してフラッシュメモリ１４に記録する処理を開始する（ステップＳ１１１）。
次いで、ＣＰＵ１０は、録画を終了するか否かの判断を行う（ステップＳ１１２）。この判断は、録画ボタンの押下に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。つまり、録画ボタンの押下により録画開始が始まり、再び録画ボタンが押下されると録画が終了する。

ステップＳ１１２で、録画を終了しないと判断する録画を終了するまでステップＳ１１２に留まる。
なお、録画中においても、該検出された被写体位置に基づいてトリミング枠が表示されており、これによりどの部分の画像がトリミングされて記録されているのかを認識することができる。

Ｇ．以上のように、第２の実施の形態においては、被写体特定ボタンが押下されると、被写体の動きを検出していき、該検出された動きが所定の動作であると判断すると、該所定の動作と判断された被写体を自動的に特定するので、トリミング等をしたい被写体を自動的に特定することができる。
また、該特定した被写体が移動した場合は、トリミング枠１２を該被写体に追従させるので、一旦被写体が特定されると被写体が動いた場合であっても、該被写体をトリミングすることができる。
また、録画が開始されると、ＣＣＤ５により順次撮像されたフレーム画像データから現在の特定被写体の位置及びトリミングサイズに基づいてトリミング画像データを生成して（トリミング枠１２内の画像データをトリミングして）記録するので、ブレを補正することができたり、該特定被写体をズームした動画データを得ることができる。

［変形例１］
Ｈ．なお、上記各実施の形態は、以下のような変形例も可能である。

（１）上記各実施の形態においては、所定の動作として、被写体の位置の遷移軌跡が所定の遷移軌跡と同一となった場合や、変化のある部分の形状の位置の遷移軌跡が所定の遷移軌跡と同一となった場合には、図２のステップＳ４、図１０のステップＳ１０４で、所定の動作が検出されたと判断するようにしたが、所定の形状が検出された場合は、所定の動作が検出されたと判断するようにしてもよい。
この場合の動き検出処理の動作、及び、所定の形状の例を図１１を用いて説明する。

図１１（ａ）は、変形例（１）における動き検出処理の動作を示すフローチャートである。
動き検出処理を開始すると、ＣＰＵ１０は、ＣＣＤ５により直近に撮像された１枚のフレーム画像データをバッファメモリから取得する（ステップＳ１５１）。
次いで、ＣＰＵ１０は、該取得したフレーム画像データに基づいて、被写体の形状を検出する（ステップＳ１５２）。この被写体の形状の検出方法としては、フレーム画像データに基づいて、画像のエッジを検出することにより各被写体の形状を検出する。

次いで、ＣＰＵ１０は、所定の形状が検出されたか否かを判断する（ステップＳ１５３）。この判断は、該検出された形状の中に所定の形状があるか否かにより判断する。この所定の形状は、予めメモリ１２に複数記録されている。なお、所定の形状を複数記録させておき、ステップＳ１５２で検出された形状の中に、記録されている複数の形状のうち何れか１つでもあれば所定の形状が検出されたと判断するようにしてもよい。
ステップＳ１５３で、所定の形状が検出されていないと判断するとステップＳ１５１に戻り、新たに撮像されたフレーム画像データを取得して上記した動作を繰り返す。

一方、ステップＳ１５３で、所定の形状が検出されたと判断すると、動き検出処理を終了し、図２のステップＳ５に進む。
つまり、図２のステップＳ４の所定の動作が検出されたか否かの判断と、図５（ｂ）のステップＳ３４の一致の判断は同じということになり、ステップＳ３４で一致すると判断すると、所定の動作が検出されたと判断する。

ここで、図１１（ｂ）は、一例としてステップＳ１５３で、所定の形状と判断される動作を示す図である。
図１１（ｂ）に示すように、ステップＳ１５２で検出された形状のうち、ピースの形状、つまり、Ｖの字の形状（点線枠内の形状）があると判断すると所定の形状が検出されたと判断する。

（２）また、上記各実施の形態においては、動き検出処理の方法として、被写体の位置を検出する方法と、変化のある部分の形状の位置を検出する方法とで説明したが、他の方法によって被写体の動きを検出するようにしてもよい。
この動き検出する方法は、要は所定の動作を検出するためのものであるので、検出したい所定の動作に応じて動き検出処理の方法は異なってくる。
例えば、変形例（１）でも説明したように、Ｖサインを検出したい場合には、被写体の形状のみを検出すればよいということになるし、一定量以上の激しい動きを検出したい場合は、それぞれの画素やブロックの動きベクトルを検出するようにしてもよい。

（３）また、上記各実施の形態においては、ステップＳ３では、被写体の動きの検出に換え、被写体の色を検出するようにし、ステップＳ４で、所定の色（例えば、肌色）が検出されたか否かを判断するようにしてもよい。これにより、人を確実に特定することが可能となる。なお、ステップＳ４で肌色の被写体が複数検出された場合は、ステップＳ５で一番肌色成分が多い被写体を特定するようにしてもよい。
また、ステップＳ４で、被写体の動きを検出するようにしたが、被写体の動きとともに被写体の色も検出するようにしてもよい。
この場合のステップＳ４の判断は、所定の動きとともに、該所定の動きを検出した被写体の色が所定の色と同一の場合のみ、ステップＳ５に進み、所定の動き及び所定の色との両方が検出されない場合は、ステップＳ４に留まる。

（４）また、第１の実施の形態においては、シャッタ半押しで、被写体の動きを検出していき、所定の動作を行なった被写体を特定するようにしたが、シャッタ半押しではなく、所定のキー操作が行なわれた場合に行なうようにしてもよい。

（５）また、第１の実施の形態においては、ステップＳ５で、特定された被写体の位置を順次検出し、該検出した被写体の位置に基づいてＡＦエリア１１やトリミング枠１２を表示させるようにしたが、ステップＳ５で被写体を特定し、ステップＳ６で該特定した被写体の位置に基づいてＡＦエリア１１、トリミング枠１２を表示させると、そのままステップＳ９に進むようにしてもよい。つまり、ステップＳ７とステップＳ８の動作を飛ばすようにしてもよい。
また、この場合は、ステップＳ６で、特定した被写体の位置に基づいてＡＦエリア１１、トリミング枠１２を表示させると、該ＡＦエリア内の画像データに基づいてオートフォーカス処理を行ってから（該特定した被写体に対してピントを合わせてからを行ってから）ステップＳ９に進むようにしてもよい。

（６）また、上記第１の実施の形態においては、該特定した被写体の位置や位置検出処理により検出された特定被写体の位置に基づいて、ＡＦエリア又はトリミング枠１２を表示させるようにしたが、どちらか一方、又は両方を表示させないようにしてもよい。
ＡＦエリア１１を表示させない場合は、該特定した被写体の位置や位置検出処理により検出された特定被写体の位置にかかわらず、所定のＡＦエリアに基づいてオートフォーカスを行なうようにしてもよい。

また、トリミング枠１２を表示させない場合は、静止画撮影処理により得られた静止画データからトリミング画像データの生成を行なわずに、該静止画データを記録させるようにしてもよい。
また、ＡＦエリア１１及びトリミング１２の両方を表示させない場合には、ＡＦエリア１１やトリミング１２の替わりに注目ポイントを表示させるようにしてもよい。この注目ポイントは、点や、×印やその他の文字、記号等でもよく、要は特定被写体が現在位置する場所を示すことができるものであればよい。

（７）また、第１の実施の形態においては、ステップＳ６で、特定した被写体の位置に基づいて、ＡＦエリア１１及びトリミング枠１２を表示させると、ステップＳ１０〜ステップＳ１３の動作を行なってから、ステップＳ７に進むようにしてもよい。つまり、被写体を特定すると該特定した被写体に対してオートフォーカス処理を行ってから静止画撮影処理を行い、撮影処理により得られた静止画データを該特定したときの特定被写体の位置に基づいてトリミング画像データを生成して記録してから、ステップＳ７に進み、特定被写体の位置検出処理を開始するようにしてもよい。

（８）また、第１の実施の形態においては、静止画データからトリミング画像データを記録するようにしたが、トリミング画像データとともに該静止画データも記録するようにしてもよい。

（９）また、第２の実施の形態においては、録画中においても、ＣＣＤ５により撮像された全画角のフレーム画像データを表示させるとともに、検出された特定被写体の位置に基づいてトリミング枠１２を表示させるようにしたが、ＣＣＤ５により順次撮像されたフレーム画像データに基づいて順次生成されたトリミング画像データを表示させるようにしてもよい。

録画が開始されると、検出された特定被写体の位置に基づいてトリミング画像データを生成する処理を開始するので（図１０のステップＳ１１０）、順次生成されるトリミング画像データを全面表示させるようにしてもよい。これによりズームされた動画データを表示できるとともにブレ補正がされた動画データを表示することができる。

また、録画中に限らず、録画開始がされる前のスルー画像表示においても、被写体が特定された後は、検出された特定被写体の位置情報に基づいてトリミング画像データを生成し、該生成したトリミング画像データを表示させるようにしてもよい。この場合は、動画撮影モードのスルー画像表示に限らず、静止画撮影モードのスルー画像表示、つまり、第１の実施の形態のスルー画像表示に適用してもよい。

（１０）また、上記変形例（１）〜（９）を任意に組み合わせるような態様であってもよい。

（１１）また、上記実施の形態におけるデジタルカメラ１は、上記の実施の形態に限定されるものではなく、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きパソコン、デジタルビデオカメラ等でもよく、被写体を撮像する機能を備えた機器であれば何でもよい。

本発明の実施の形態のデジタルカメラのブロック図である。 第１の実施の形態のデジタルカメラ１の動作を示すフローチャートである。 特定される被写体を説明するための図、及び、検出された被写体位置を説明する図である。 追従して表示されるＡＦエリア１１及びトリミング枠１２の様子を示す図である。 動き検出処理の動作を示すフローチャートである。 メモリ１２に記録されている所定の遷移軌跡の様子を示す図である。 メモリ１２に記録されている所定の遷移軌跡に基づく動作である。 位置検出処理の動作を示すフローチャートである。 順次撮像された特定被写体の位置の様子を示すものである。 第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。 変形例における所定の動作と判断される形状の例を示す図である。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス

Claims (23)

1. 被写体の光を画像データに変換する撮像素子と、
   前記撮像素子を用いて被写体の動画を撮像する動画撮像制御手段と、
   前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データを用いて、各フレーム画像間でその状態が変化する各被写体の動きを検出していく動き検出手段と、
   前記動き検出手段により何れかの被写体において所定の動きが検出された場合は、該所定の動きをした被写体を特定する被写体特定手段と、
   を備えたことを特徴とする撮像装置。
2. 所定の被写体に対してオートフォーカスを行なうオートフォーカス制御手段を備え、
   前記オートフォーカス制御手段は、
   前記被写体特定手段により特定された被写体に対してオートフォーカスを行なうことを特徴とする請求項１記載の撮像装置。
3. 前記被写体特定手段により特定された被写体の位置に基づいて、前記撮像素子から取得された画像データをトリミングしてトリミング画像を生成するトリミング画像生成手段を備えたことを特徴とする請求項１又は２記載の撮像装置。
4. 前記撮像素子を用いて被写体の静止画を撮影する撮影制御手段を備え、
   前記トリミング画像生成手段は、
   前記被写体特定手段により被写体が特定された時の該被写体の位置に基づいて、前記静止画撮影制御手段により撮影された静止画のトリミング画像を生成することを特徴とする請求項３記載の撮像装置。
5. 前記被写体特定手段により特定された被写体に追従させて、各フレーム画像における該被写体の位置を検出していく被写体位置検出手段を備えたことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
6. 所定のタイミングを指示する指示手段を備え、
   前記オートフォーカス制御手段は、
   前記指示手段により指示されたタイミング時に前記被写体位置検出手段により検出されている被写体位置に基づいてオートフォーカスを行なうことを特徴とする請求項５記載の撮像装置。
7. 静止画撮影を指示する撮影指示手段と、
   前記撮影指示手段により静止画撮影が指示された場合は、前記撮像素子を用いて被写体の静止画を撮影する静止画撮影制御手段と、
   を備え、
   前記トリミング画像生成手段は、
   前記撮影指示手段により撮影が指示されたタイミング時に前記被写体位置検出手段により検出されている被写体位置に基づいて、前記静止画撮影制御手段により撮影された静止画のトリミング画像を生成することを特徴とする請求項５記載の撮像装置。
8. 前記トリミング画像生成手段により生成された静止画のトリミング画像を記録手段に記録する静止画記録制御手段を備えたことを特徴とする請求項４又は７記載の撮像装置。
9. 前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データを表示手段に順次更新表示させていくとともに、前記更新表示されたフレーム画像に対応させて前記トリミング画像生成手段がトリミングすることとなる範囲を示すトリミング枠を、前記被写体位置検出手段により順次検出される被写体位置に基づいて、当該フレーム画像上に順次更新表示させていく表示制御手段を備えたことを特徴とする請求項７又は８記載の撮像装置。
10. 前記トリミング画像生成手段は、
    前記被写体位置検出手段により順次検出される被写体の位置に基づいて、前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに対して順次トリミング画像を生成していくことを特徴とする請求項５記載の撮像装置。
11. 前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに対して、前記トリミング画像生成手段により順次生成されたトリミング画像を順次記録手段に記録する動画記録制御手段を備えたことを特徴とする請求項１０記載の撮像装置。
12. 前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データから前記トリミング画像生成手段により順次生成されるトリミング画像を表示手段に順次更新表示させていく表示制御手段を備えたことを特徴とする請求項１０又は１１記載の撮像装置。
13. 前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データを表示手段に順次更新表示させていくとともに、前記更新表示されたフレーム画像に対応させて前記トリミング画像生成手段がトリミングすることとなる範囲を示すトリミング枠を、前記被写体位置検出手段により順次検出される被写体位置に基づいて、当該フレーム画像上に順次更新表示させていく表示制御手段を備えたことを特徴とする請求項１０又は１１記載の撮像装置。
14. 前記被写体位置検出手段は、
    前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて、前記被写体特定手段により特定された被写体の動きベクトルを検出していくことにより被写体位置を検出していくことを特徴とする請求項５乃至１３の何れかに記載の撮像装置。
15. 前記被写体位置検出手段は、
    前記被写体位置特定手段により特定された被写体を固体識別し、前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて該固体識別した被写体を検出することにより被写体位置を検出していくことを特徴とする請求項５乃至１３の何れかに記載の撮像装置。
16. 前記動き検出手段は、
    前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて、被写体毎にその位置を検出し、該検出した位置の遷移軌跡を被写体毎に検出することにより、各被写体の動きを検出していくことを特徴とする請求項１乃至１５の何れかに記載の撮像装置。
17. 前記被写体特定手段は、
    何れかの被写体の位置の遷移軌跡が予め設定されている遷移軌跡と一致する遷移軌跡となったときに、その位置の遷移軌跡が予め設定されている遷移軌跡と一致した被写体を特定することを特徴とする請求項１６記載の撮像装置。
18. 前記動き検出手段は、
    前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて、各被写体の形状を個別検出していくことにより各被写体の動きを検出していくことを特徴とする請求項１乃至１５の何れかに記載の撮像装置。
19. 前記動き検出手段は、
    前記動画撮像制御手段により前記撮像素子から順次取得されるフレーム画像データに基づいて、各被写体から形状が変化した部分を検出するとともに、その形状の位置の遷移軌跡を検出していくことにより被写体の動きを検出していくことを特徴とする請求項１８記載の撮像装置。
20. 前記被写体特定手段は、
    何れかの形状の位置の遷移軌跡が予め設定されている遷移軌跡と一致する遷移軌跡となったときに、その位置の遷移軌跡が予め設定されている遷移軌跡と一致した形状を含む被写体を特定することを特徴とする請求項１９記載の撮像装置。
21. 前記被写体特定手段は、
    前記動き検出手段により所定の形状が検出された場合は、所定の動作が検出されたと判断し、該所定の形状が検出された被写体を特定することを特徴とする請求項１８記載の撮像装置。
22. 前記オートフォーカス制御手段は、
    前記被写体特定手段により被写体が特定されたときに、当該被写体に対してオートフォーカスを行なうことを特徴とする請求項２乃至２１の何れかに記載の撮像装置。
23. 被写体の光を画像データに変換する撮像素子を用いて被写体の動画を撮像する動画撮像処理と、
    前記動画撮像処理により前記撮像素子から順次取得されるフレーム画像データを用いて、各フレーム画像間でその状態が変化する各被写体の動きを検出していく動き検出処理と、
    前記動き検出処理により何れかの被写体において所定の動きが検出された場合は、該所定の動きをした被写体を特定する被写体特定処理と、
    を含み、上記各処理をコンピュータで実行させることを特徴とするプログラム。
    
    

Images