JP2010118917A - 撮像装置、画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】画像に含まれる注目被写体の画像を容易に利用する。
【解決手段】制御部２００は、注目被写体抽出画像撮像モードが設定された場合には、これ以外の撮像モードの設定時における被写界深度よりも浅い被写界深度にする。そして、その被写界深度の状態で、注目被写体に合焦させる位置と、注目被写体以外の他の被写体に合焦させる位置とに焦点距離を変更しながら、撮像部１１０に撮像動画を生成させ、焦点距離が互いに異なる複数の画像の組合せを順次生成させる。この組合せは、注目被写体に合焦させた基準画像と、これ以外の他の被写体に合焦させた２つの画像とからなる連続する画像とする。注目被写体抽出部１８０は、基準画像と他の２つの画像とに含まれる高周波成分に基づいて、基準画像に含まれる注目被写体を抽出する。画像合成部１９０は、抽出された注目被写体の画像を合成してストロボ画像を作成する。
【選択図】図１

Description

本発明は、撮像装置に関し、特に、画像について画像処理を行う撮像装置、画像処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。このため、例えば、子供の野球の試合が行われている場合に、この試合の様子を父母等が撮像装置により撮像動画として記録することが広く行われている。例えば、野球の試合で自分の子供がバッターとして立っている場合には、その子供を注目被写体として撮像範囲の中心付近に配置して、その子供のバッティングシーンを記録することが考えられる。このように記録された撮像動画について、例えば、この撮像動画を構成する各画像のうちの一定間隔毎の画像からその注目被写体の画像のみを抽出し、この抽出された注目被写体の画像を時系列で合成する画像処理技術が提案されている。

例えば、注目被写体の画像を時系列で合成して１つの静止画を作成することにより、その注目被写体の動きの遷移を１つの画像上に表現することができる。この静止画は、一般にストロボ画像と称されている。また、このように抽出された注目被写体の画像を時系列で並べて表示する技術も提案されている。このように並べて表示される画像は、一般に分解画像と称されている。

例えば、撮像動画を構成する各画像から注目被写体を抽出する方法として、各画像に含まれる注目被写体の位置を手動操作により指定することにより、注目被写体を抽出する抽出方法が提案されている。例えば、撮像動画を構成する現フレームと直前のフレームとの差分を用いて動きのある部分を抽出し、この動きのある部分の中の注目被写体をライトペン等により指定する。そして、この指定された部分の画像を注目被写体の画像として抽出する抽出方法が提案されている（例えば、特許文献１参照。）。
特開昭５４−１３０８２９号公報（図１）

上述の従来技術によれば、例えば、自分の子供のバッティングシーンが記録されている撮像動画について、この撮像動画を構成する各画像に含まれる自分の子供を手動操作により指定することにより、その子供を注目被写体として抽出することができる。

しかしながら、このように注目被写体を抽出する場合には、手動操作により注目被写体を指定する必要があるため、この指定操作が煩雑であるという問題がある。ここで、例えば、子供の野球の試合が記録されている撮像動画を再生する場合に、その子供のバッティングシーンをストロボ画像や分解画像として容易に再生することができれば、その撮像動画の面白みをさらに高めることができる。

本発明はこのような状況に鑑みてなされたものであり、画像に含まれる注目被写体の画像を容易に利用することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体を撮像して撮像動画を生成する撮像部と、上記被写体に含まれる物体のうち対象物体である注目被写体を上記撮像動画から抽出するための注目被写体抽出画像撮像モードが設定された場合には上記注目被写体抽出画像撮像モード以外の撮像モードの設定時における第１の被写界深度よりも浅い第２の被写界深度にして上記撮像動画を生成させる制御部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、注目被写体抽出画像撮像モードが設定された場合には、注目被写体抽出画像撮像モード以外の撮像モードの設定時における第１の被写界深度よりも浅い第２の被写界深度にして撮像動画を生成させるという作用をもたらす。

また、この第１の側面において、上記制御部は、上記注目被写体抽出画像撮像モードが設定された場合には上記注目被写体に合焦させる位置と上記注目被写体以外の他の被写体に合焦させる位置とに焦点距離を変更しながら上記撮像動画を生成させて焦点距離が互いに異なる複数の画像の組合せを順次生成させるようにしてもよい。これにより、注目被写体抽出画像撮像モードが設定された場合には、注目被写体に合焦させる位置と、注目被写体以外の他の被写体に合焦させる位置とに焦点距離を変更しながら撮像動画を生成させ、焦点距離が互いに異なる複数の画像の組合せを順次生成させるという作用をもたらす。

また、この第１の側面において、上記制御部は、上記注目被写体に合焦させて撮像された画像である基準画像と上記注目被写体以外の他の被写体に合焦させて撮像された画像とを含む連続する複数の画像を上記組合せとするようにしてもよい。これにより、注目被写体に合焦させて撮像された基準画像と、注目被写体以外の他の被写体に合焦させて撮像された画像とを含む連続する複数の画像を組合せとするという作用をもたらす。

また、この第１の側面において、上記制御部は、上記基準画像と上記被写体に含まれる物体のうち上記注目被写体よりも遠距離に位置する物体に合焦させて撮像された画像である遠距離被写体合焦画像と上記被写体に含まれる物体のうち上記注目被写体よりも近距離に位置する物体に合焦させて撮像された画像である近距離被写体合焦画像とを含む連続する複数の画像を上記組合せとするようにしてもよい。これにより、基準画像と、遠距離被写体合焦画像と、近距離被写体合焦画像とを含む連続する複数の画像を組合せとするという作用をもたらす。

また、この第１の側面において、上記組合せに係る上記基準画像と上記遠距離被写体合焦画像と上記近距離被写体合焦画像とに含まれる高周波成分に基づいて上記基準画像に含まれる上記注目被写体を抽出する注目被写体抽出部をさらに具備するようにしてもよい。これにより、その組合せに係る基準画像と遠距離被写体合焦画像と近距離被写体合焦画像とに含まれる高周波成分に基づいて、基準画像に含まれる注目被写体を抽出するという作用をもたらす。

また、この第１の側面において、上記組合せに係る上記基準画像と上記遠距離被写体合焦画像と上記近距離被写体合焦画像とに関する情報を各画像の付随情報として画像毎に関連付けて記録させる記録制御部をさらに具備するようにしてもよい。これにより、その組合せに係る基準画像と遠距離被写体合焦画像と近距離被写体合焦画像とに関する情報を各画像の付随情報として画像毎に関連付けて記録させるという作用をもたらす。

また、この第１の側面において、上記注目被写体抽出画像撮像モードは、上記組合せに係る上記基準画像と上記遠距離被写体合焦画像と上記近距離被写体合焦画像とに含まれる高周波成分に基づいて上記基準画像に含まれる上記注目被写体を抽出するための上記撮像動画を記録する撮像モードとするようにしてもよい。これにより、注目被写体抽出画像撮像モードが設定された場合には、その組合せに係る基準画像と遠距離被写体合焦画像と近距離被写体合焦画像とに含まれる高周波成分に基づいて基準画像に含まれる注目被写体を抽出するための撮像動画を記録するという作用をもたらす。

また、この第１の側面において、上記制御部は、上記注目被写体抽出画像撮像モードが設定された場合には上記第２の被写界深度にした状態で上記撮像動画を生成させる撮像動作と上記第１の被写界深度にした状態で上記撮像動画を生成させる撮像動作とが交互に繰り返されるように制御するようにしてもよい。これにより、注目被写体抽出画像撮像モードが設定された場合には、第２の被写界深度にした状態で撮像動画を生成させる撮像動作と、第１の被写界深度にした状態で撮像動画を生成させる撮像動作とが交互に繰り返されるように制御するという作用をもたらす。

また、この第１の側面において、上記制御部は、上記注目被写体抽出画像撮像モードが設定された場合には上記注目被写体抽出画像撮像モード以外の撮像モードの設定時における絞り値の目標値よりも小さい絞り値とすることにより上記第２の被写界深度にするようにしてもよい。これにより、注目被写体抽出画像撮像モードが設定された場合には、注目被写体抽出画像撮像モード以外の撮像モードの設定時における絞り値の目標値よりも小さい絞り値とすることにより第２の被写界深度にするという作用をもたらす。

また、本発明の第２の側面は、被写体を撮像して撮像動画を生成する撮像部と、上記被写体に含まれる物体のうち対象物体である注目被写体を上記撮像動画から抽出するための注目被写体抽出画像撮像モード以外の撮像モードの設定時における被写界深度よりも浅い被写界深度にして上記注目被写体に合焦させる位置と上記注目被写体以外の他の被写体に合焦させる位置とに焦点距離を変更しながら上記撮像動画を生成させて焦点距離が互いに異なる複数の画像の組合せを順次生成させる制御部とを具備する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、注目被写体抽出画像撮像モード以外の撮像モードの設定時における被写界深度よりも浅い被写界深度にして、注目被写体に合焦させる位置と、注目被写体以外の他の被写体に合焦させる位置とに焦点距離を変更しながら撮像動画を生成させ、焦点距離が互いに異なる複数の画像の組合せを順次生成させるという作用をもたらす。

また、本発明の第３の側面は、被写体に含まれる物体のうち対象物体である注目被写体に合焦させて撮像された画像である基準画像と上記注目被写体以外の他の被写体に合焦させて撮像された画像である他の画像とを含む連続する複数の画像の組合せを含む撮像動画について上記基準画像に含まれる高周波成分に基づいて上記基準画像に関する評価値を算出し、上記他の画像に含まれる高周波成分に基づいて上記他の画像に関する評価値を算出する評価値算出部と、上記算出された各評価値に基づいて上記基準画像に含まれる上記注目被写体を抽出する注目被写体抽出部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、基準画像と他の画像とを含む連続する複数の画像の組合せを含む撮像動画について、基準画像に含まれる高周波成分に基づいて基準画像に関する評価値を算出し、他の画像に含まれる高周波成分に基づいて他の画像に関する評価値を算出し、この算出された各評価値に基づいて基準画像に含まれる注目被写体を抽出するという作用をもたらす。

また、この第３の側面において、上記撮像動画は、上記組合せを複数含み、上記注目被写体抽出部は、上記基準画像に含まれる上記注目被写体を上記組合せ毎に抽出し、上記組合せ毎に抽出された注目被写体の画像を合成して合成画像を作成する画像合成部をさらに具備するようにしてもよい。これにより、基準画像に含まれる注目被写体を組合せ毎に抽出し、この組合せ毎に抽出された注目被写体の画像を合成して合成画像を作成するという作用をもたらす。

また、この第３の側面において、上記抽出された注目被写体の画像を表示させる表示制御部をさらに具備するようにしてもよい。これにより、抽出された注目被写体の画像を表示させるという作用をもたらす。

本発明によれば、画像に含まれる注目被写体の画像を容易に利用することができるという優れた効果を奏し得る。

以下、本発明を実施するための最良の形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（注目被写体抽出動画の記録制御および注目被写体の抽出制御：注目被写体抽出動画を記録し、この動画を用いて注目被写体を抽出する例）
２．第２の実施の形態（注目被写体抽出動画の記録制御および注目被写体の表示制御：注目被写体抽出動画および通常の撮像動画を交互に記録し、これらの動画を用いてストロボ画像および通常の撮像動画を表示する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、撮像部１１０と、記録制御部１２０と、動画記憶部１３０と、メタデータ記憶部１４０とを備える。また、撮像装置１００は、再生処理部１５０と、対象画像保持部１６０と、評価値算出部１７０と、注目被写体抽出部１８０と、画像合成部１９０と、合成画像保持部１９１とを備える。また、撮像装置１００は、制御部２００と、操作受付部２１０と、表示制御部２２０と、表示部２３０と、モニタリング処理部２４０とを備える。撮像装置１００は、例えば、被写体を撮像して画像データを生成し、この画像データを画像解析することにより各特徴量を抽出し、この抽出された各特徴量を用いて各種画像処理を施すことが可能なデジタルビデオカメラによって実現することができる。

撮像部１１０は、制御部２００の制御に基づいて撮像制御を行い、被写体を撮像して撮像動画（ビデオデータ）を生成するものであり、生成された撮像動画を記録制御部１２０およびモニタリング処理部２４０に出力する。具体的には、撮像部１１０は、注目被写体抽出画像撮像モードが設定されている場合には、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度を浅くして撮像動画を生成する。このように被写界深度を浅くした状態で、注目被写体に合焦させる位置と、注目被写体以外の他の被写体に合焦させる位置とに焦点距離を変更しながら撮像動画が生成される。すなわち、焦点距離が互いに異なる複数の画像の組合せが順次生成され、この組合せを含む撮像動画が生成される。この組合せは、例えば、被写体に含まれる物体のうち対象物体（注目被写体）に合焦させて撮像された１つの画像（基準画像）と、注目被写体に合焦させずに撮像された２つの画像（他の画像）とからなる１組の画像群とすることができる。なお、注目被写体抽出画像撮像モードは、注目被写体を撮像動画から抽出するための撮像モードである。具体的には、注目被写体抽出画像撮像モードは、その１組の画像群に含まれる基準画像および他の画像に含まれる高周波成分に基づいて、基準画像に含まれる注目被写体を抽出するための連続する画像（注目被写体抽出画像）を記録する撮像モードである。ここで、注目被写体抽出画像撮像モード以外の撮像モード（例えば、通常の動画撮像モード）の被写界深度の目標値は、例えば、被写体照度に応じて絞り１１５（図２に示す）が調整されて設定される値である。また、注目被写体抽出画像撮像モードの被写界深度の目標値は、例えば、絞り１１５（図２に示す）の絞り値が閾値ＴＨ１（図６（ａ）等に示す）とされて設定される値である。このように抽出された注目被写体の画像を用いて、ストロボ画像や分解画像等を作成することができる。また、撮像部１１０は、注目被写体抽出画像撮像モードが設定されている場合には、生成された１組の画像群に含まれる各画像に関する情報（注目被写体抽出画像作成情報）を記録制御部１２０に出力する。この注目被写体抽出画像作成情報は、各画像の付随情報としてメタデータ記憶部１４０に記憶される。また、撮像部１１０の内部構成については、図２を参照して詳細に説明する。

記録制御部１２０は、制御部２００からの制御に基づいて、動画記憶部１３０およびメタデータ記憶部１４０に対する記録制御を行うものである。具体的には、記録制御部１２０は、撮像部１１０から出力された撮像動画をエンコードして動画ファイルとして動画記憶部１３０に記録する。また、記録制御部１２０は、撮像部１１０から出力された撮像動画を構成する各フレーム（画像）に関する注目被写体抽出画像作成情報を、撮像動画およびフレームに関連付けてメタデータファイルとしてメタデータ記憶部１４０に記録する。

動画記憶部１３０は、記録制御部１２０からの制御に基づいて、撮像部１１０により生成された撮像動画を動画ファイルとして記憶するものである。また、動画記憶部１３０は、再生処理部１５０からの要求に応じて動画ファイルを再生処理部１５０に供給する。

メタデータ記憶部１４０は、記録制御部１２０からの制御に基づいて、撮像部１１０から出力された撮像動画を構成する各フレームに関する注目被写体抽出画像作成情報をメタデータファイルとして記憶するものである。また、メタデータ記憶部１４０は、再生処理部１５０からの要求に応じてメタデータファイルを再生処理部１５０に供給する。なお、メタデータ記憶部１４０に記憶されるメタデータファイルについては、図７等を参照して詳細に説明する。

再生処理部１５０は、動画記憶部１３０に記憶されている動画ファイルを再生する場合に、再生に関する処理を行うものである。具体的には、再生処理部１５０は、通常の動画再生を指示する指示操作が受け付けられた場合には、動画記憶部１３０に記憶されている動画ファイルを取得してデコードし、このデコードされた動画ファイルを構成する各画像を表示制御部２２０に順次供給する。また、再生処理部１５０は、ストロボ画像の再生を指示する指示操作が受け付けられた場合には、動画記憶部１３０に記憶されている動画ファイルを取得するとともに、この動画ファイルに対応するメタデータファイルをメタデータ記憶部１４０から取得する。そして、取得された動画ファイルをデコードし、デコードされた動画ファイルを構成する画像に対応するメタデータに基づいて、デコードされた画像を対象画像保持部１６０に順次出力して保持させる。

対象画像保持部１６０は、再生処理部１５０から出力された画像を保持するものであり、保持されている画像を評価値算出部１７０に出力する。具体的には、注目被写体抽出画像撮像モードが設定されている場合に生成された１組の画像群に含まれる３つの画像が再生処理部１５０から順次出力されて対象画像保持部１６０に保持される。

評価値算出部１７０は、対象画像保持部１６０に保持されている１組の画像群に含まれる各画像について、注目被写体を抽出するための評価値を輝度値を用いて算出するものであり、算出された評価値を注目被写体抽出部１８０に出力する。なお、この評価値の算出方法については、図８等を参照して詳細に説明する。

注目被写体抽出部１８０は、評価値算出部１７０から出力された評価値に基づいて、対象画像保持部１６０に保持されている１組の画像群に含まれる基準画像から注目被写体を抽出するものである。そして、抽出された注目被写体の画像を画像合成部１９０に出力する。なお、この注目被写体の抽出方法については、図８および図９等を参照して詳細に説明する。

画像合成部１９０は、注目被写体抽出部１８０から出力された注目被写体の画像を、合成画像保持部１９１に保持されている履歴画像に上書き合成して合成画像を作成するものであり、作成された合成画像を表示制御部２２０に出力する。この合成画像については、図１１等を参照して詳細に説明する。

合成画像保持部１９１は、画像合成部１９０により作成された合成画像を履歴画像として保持するものであり、保持されている履歴画像を画像合成部１９０に供給する。

制御部２００は、撮像装置１００全体の制御を行うものである。例えば、制御部２００は、操作受付部２１０により受け付けられたユーザからの操作入力に応じた制御を行う。また、制御部２００は、撮像部１１０、記録制御部１２０に対する記録制御を行う。例えば、注目被写体抽出画像撮像モードが設定されている場合には、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度を浅くして撮像動画を記録させる。また、例えば、注目被写体抽出画像撮像モード以外の撮像モードが設定されている場合には、注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度を深くして撮像動画を記録させる。この記録制御については、図４乃至図６等を参照して詳細に説明する。また、制御部２００は、操作受付部２１０により再生指示が受け付けられた場合には、その再生指示に応じて、再生処理部１５０、画像合成部１９０、表示制御部２２０に対する再生制御を行う。この再生制御については、図８乃至図１１等を参照して詳細に説明する。

操作受付部２１０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた信号を制御部２００に出力する。例えば、注目被写体抽出画像撮像モード設定ボタンが押下されると、注目被写体抽出画像撮像モードが設定される。また、注目被写体抽出画像撮像モードが設定されている状態で録画ボタンが押下されると、記録制御部１２０が注目被写体抽出動画の記録動作を開始する。また、ストロボ画像再生モード設定ボタンが押下されると、ストロボ画像再生モードが設定される。また、ストロボ画像再生モードが設定されている状態で再生開始ボタンが押下されると、再生処理部１５０が動画の再生動作を開始する。

表示制御部２２０は、制御部２００からの制御に基づいて、表示部２３０に対する表示制御を行うものである。具体的には、表示制御部２２０は、通常の動画再生を指示する指示操作が操作受付部２１０により受け付けられた場合には、再生処理部１５０から出力された各画像を表示部２３０に順次表示させることにより動画の再生制御を行う。また、表示制御部２２０は、ストロボ画像の再生を指示する指示操作が操作受付部２１０により受け付けられた場合には、画像合成部１９０から出力された合成画像を表示部２３０に順次表示させることによりストロボ画像の表示制御を行う。また、表示制御部２２０は、モニタリングモードが設定されている場合には、モニタリング処理部２４０から出力された撮像動画を表示部２３０に表示させる。

表示部２３０は、表示制御部２２０の制御に基づいて、各種画像を表示する表示部である。なお、表示部２３０の表示例については、図１１等に示す。

モニタリング処理部２４０は、撮像部１１０から出力された撮像動画を表示部２３０にモニタリング表示させるためのモニタリング処理を行うものであり、モニタリング処理後の撮像動画を表示制御部２２０に出力する。モニタリング処理部２４０は、例えば、モニタリング表示される撮像動画にメッセージを上書き合成し、このメッセージが上書き合成された撮像動画を表示制御部２２０に出力する。

図２は、本発明の第１の実施の形態における撮像部１１０の内部構成例を示す図である。撮像部１１０は、光学系１１１と、フォーカス制御部１１６と、絞り制御部１１７と、イメージャ１１８と、撮像信号処理部１１９とを備える。また、光学系１１１は、複数のレンズ１１２乃至１１４と、絞り１１５とを備える。

レンズ１１２乃至１１４は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）であり、入射された被写体からの光がこれらのレンズを介してイメージャ１１８に供給される。なお、図２では、説明を容易にするため、撮像部１１０に備えられる複数のレンズを簡略化して、３つのレンズ１１２乃至１１４のみを示す。また、レンズ１１２乃至１１４のうち、フォーカス制御に用いられるレンズをレンズ１１２として示す。すなわち、以下では、フォーカス制御部１１６の制御に従って光軸方向に移動することにより焦点距離を変更し、フォーカス（ピント）を調整するレンズをレンズ１１２として説明する。すなわち、レンズ１１２により、フォーカス機能が実現される。

絞り１１５は、絞り制御部１１７の制御に従って開閉することによりレンズ１１２乃至１１４を通過した光の量（すなわち、露出）を調整するものである。

フォーカス制御部１１６は、制御部２００から出力された制御信号に基づいて、レンズ１１２の駆動制御を行うものである。具体的には、フォーカス制御部１１６は、制御部２００から出力された制御信号に基づいて、レンズ１１２を光軸方向に移動させるためのアクチュエータ（図示せず）を駆動させることにより、合焦位置を調整する。

絞り制御部１１７は、制御部２００から出力された制御信号に基づいて、絞り１１５の駆動制御を行うものである。具体的には、絞り制御部１１７は、制御部２００から出力された制御信号に基づいて、絞り１１５を開閉させるためのモータ（図示せず）を回転させることにより、絞り１１５の絞り値（Ｆ値）を調整する。

イメージャ１１８は、制御部２００から出力された制御信号に基づいて、絞り１１５を通過した被写体からの入射光に光電変換処理を施し、光電変換された電気信号を撮像信号処理部１１９に出力する撮像素子である。なお、イメージャ１１８として、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を用いることができる。

撮像信号処理部１１９は、制御部２００から出力された制御信号に基づいて、イメージャ１１８から出力された電気信号に対して各種の信号処理を施すものである。そして、信号処理が施された画像信号（画像データ）を、記録制御部１２０およびモニタリング処理部２４０に出力する。また、撮像信号処理部１１９は、制御部２００から出力された制御信号に基づいて、信号処理が施された画像信号に対応するフレームに関する注目被写体抽出画像作成情報をフレームに同期して記録制御部１２０に順次出力する。この注目被写体抽出画像作成情報については、図７を参照して詳細に説明する。

ここで、被写界深度について説明する。被写界深度は、被写体に対して、実質的にフォーカスが合っていると考えられる被写体距離の範囲を示すものである。一般に、この範囲が広い場合には「被写界深度が深い」と称し、この範囲が狭い場合には「被写界深度が浅い」と称する。また、被写界深度は、絞りの開閉に応じて、変化することが広く知られている。例えば、絞りを開くと、この開きの度合いに応じて、被写界深度は浅くなる。一方、絞りを絞ると、この絞りの度合いに応じて、被写界深度が深くなる。

例えば、図２に示す絞り１１５の開口の直径を直径Ｈ１とする場合に、被写体に対して実質的にフォーカスが合うレンズ１１２の範囲を合焦範囲Ｗ１とする。すなわち、絞り１１５の開口が直径Ｈ１である場合には、合焦範囲Ｗ１内にレンズ１１２が存在する場合には、被写体に対して実質的にフォーカスが合うことになる。このため、撮像装置１００の光軸方向に対して多少前後している被写体に対しても、比較的広い範囲（光軸方向における範囲）の被写体にフォーカスが合うことになる。また、例えば、絞り１１５の開口の直径を直径Ｈ２とする場合に、被写体に対して実質的にフォーカスが合うレンズ１１２の範囲を合焦範囲Ｗ２とする。すなわち、絞り１１５の開口が直径Ｈ２である場合には、合焦範囲Ｗ１よりも狭い合焦範囲Ｗ２内にレンズ１１２が存在しないと、被写体に対して実質的にフォーカスが合わない。このため、撮像範囲に含まれる被写体が撮像装置１００の光軸方向に対して多少前後している場合には、これらの被写体にフォーカスが合わないことがある。すなわち、撮像装置１００の光軸方向に対して多少前後している被写体に対しては、比較的狭い範囲の被写体にのみフォーカスが合うことになる。

そこで、本発明の第１の実施の形態では、上述した被写界深度の性質を用いて、注目被写体を抽出するための注目被写体抽出画像を含む注目被写体抽出動画を記録する。また、このように記録された注目被写体抽出動画から注目被写体を抽出し、この注目被写体の画像を用いてストロボ画像や分解画像を作成する。具体的には、注目被写体抽出動画を記録する場合には、注目被写体抽出画像撮像モード以外の撮像モードの絞りの目標値よりも小さい値まで絞り１１５を開放する。そして、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも浅い被写界深度とする。また、連続する３つの画像について、被写体に含まれる注目被写体に合焦させる位置と、注目被写体以外の他の被写体に合焦させる位置とに焦点距離を順次変更しながら記録する。これにより、焦点距離が互いに異なる連続する３つの画像の組合せを順次生成させる。例えば、連続する３つの画像について、注目被写体にフォーカスが合っている１つの画像と、注目被写体にフォーカスが合っていない２つの画像とを１組の画像群として順次記録する。そして、１組の画像群に含まれる各画像の高周波成分に基づいて注目被写体を抽出し、抽出された注目被写体の画像を合成することにより、ストロボ画像や分解画像を作成する。

［注目被写体抽出動画の記録例］
図３は、本発明の第１の実施の形態における撮像部１１０により生成される撮像動画を構成する画像の遷移を概略的に示す図である。図３（ａ）には、野球の試合でバットを振る人（バッター）が注目被写体として撮像された一定間隔毎の画像３０１乃至３１６を示す。ここで、図３（ａ）に示す例では、バッターおよび背景等を簡略化して示すとともに、被写体の変化を容易に把握できるように、一定間隔毎の画像を示す。

例えば、通常の記録動作により記録された撮像動画を再生する場合には、図３（ａ）に示すように、動きのある被写体の変化を順次閲覧することができる。しかしながら、例えば、撮像動画を再生する場合に、動きのある注目被写体（例えば、バッター）の軌跡を把握しながら、閲覧することができれば、さらにその撮像動画の面白みを高めることができる。そこで、本発明の第１の実施の形態では、注目被写体抽出画像撮像モードが設定されている場合には、注目被写体抽出画像撮像モード以外の撮像モードの絞りの目標値よりも小さい値まで絞り１１５を開放する。これにより、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも浅い被写界深度とする。そして、被写体に含まれる注目被写体に合焦させる位置と、注目被写体以外の他の被写体に合焦させる位置とに焦点距離を順次変更しながら、焦点距離が互いに異なる連続する３つの画像からなる１組の画像群を順次生成する。このように撮像動画を記録することにより、再生時に注目被写体を指定する操作を手動で行わなくても、注目被写体を抽出することができる。また、抽出された注目被写体を用いて、ストロボ画像や分解画像等を作成することができる。

図３（ｂ）には、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも浅い被写界深度にした状態で、焦点距離を変更しながら生成された画像群の例を示す。画像３１７は、図３（ａ）に示す画像３０１と同時刻に撮像された同一場所を被写体とする画像であるものとする。また、画像３１８および３１９は、時間軸において画像３１７に連続する画像であるものとする。例えば、注目被写体抽出画像撮像モードが設定されている場合には、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも浅い被写界深度にした状態で、焦点距離を変更しながら１組の画像群３２３が生成される。画像群３２３は、例えば、注目被写体（バッター）に合焦させて撮像された画像３１８と、注目被写体に合焦させずに撮像された２つの画像３１７および３１９とからなる画像群である。例えば、画像３１７は、注目被写体に合焦させずに注目被写体よりも遠距離に位置する物体に合焦させて撮像された画像とし、画像３１９は、注目被写体に合焦させずに注目被写体よりも近距離に位置する物体に合焦させて撮像された画像とする。

このように、画像群３２３は、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも浅い被写界深度にした状態で生成される。このため、注目被写体と、これよりも遠距離に位置する物体と、注目被写体よりも近距離に位置する物体との何れかに合焦された複数の画像となる。このため、画像３１８は、注目被写体であるバッター以外の被写体がボケて撮像される。一方、画像３１７は、注目被写体であるバッターおよびその手前の被写体がボケて撮像される。また、画像３１９は、注目被写体であるバッターおよびその背景の被写体がボケて撮像される。なお、図３（ｂ）では、被写体を示す線分を破線等で表すことによりボケていることを示す。ここで、例えば、１００ｆｐｓ（frame per second）の撮影速度（フレームレート）で撮像動画を記録する場合には、１フレームの時間間隔が１０ｍｓｅｃであるため、１組の画像群の時間間隔は３０ｍｓｅｃとなる。

また、画像群３２４も同様に、注目被写体、注目被写体よりも遠距離に位置する物体、注目被写体よりも近距離に位置する物体の何れかに合焦された複数の画像３２０乃至３２２である。なお、画像３２０は、図３（ａ）に示す画像３０２と同時刻に撮像された同一場所を被写体とする画像であるものとし、画像３２１および３２２は、時間軸において画像３２０に連続する画像であるものとする。以下では、このような画像群を再生するための絞り制御およびフォーカス制御について、図面を参照して詳細に説明する。

図４は、本発明の第１の実施の形態における撮像部１１０が注目被写体抽出動画を生成する際におけるレンズおよび絞りの対応関係を概略的に示す図である。なお、図４（ａ）乃至（ｄ）に示すレンズ１１２乃至１１４と、絞り１１５とは、図２と同様に、光学系１１１を構成するものである。図４（ａ）には、通常の動画撮像モードが設定されている場合におけるレンズ１１２乃至１１４と絞り１１５との対応関係の一例を示す。また、図４（ｂ）乃至（ｄ）には、注目被写体抽出画像撮像モードが設定されている場合におけるレンズ１１２乃至１１４と絞り１１５との対応関係の一例を示す。なお、これらの対応関係については、図５を参照して詳細に説明する。

図５は、本発明の第１の実施の形態における撮像部１１０により生成される撮像動画を構成する画像の例を示す図である。図５（ａ）乃至（ｃ）には、注目被写体抽出画像撮像モードが設定されている場合に生成された連続する３つの画像３４１乃至３４３を示す。図５（ｄ）乃至（ｆ）には、注目被写体抽出画像撮像モードの被写界深度の目標値よりも深い被写界深度にした状態で、図５（ａ）乃至（ｃ）と同様にレンズ１１２を移動させて生成された連続する３つの画像３４４乃至３４６を示す。ここで、図５に示す例では、画像３４１および３４４、画像３４２および３４５、画像３４３および３４６のそれぞれが、同時刻に同一場所が撮像された画像であるものとする。

例えば、図４（ａ）に示すように、通常の動画撮像モードが設定されている場合における絞り１１５の直径を直径Ｈ１１とし、直径Ｈ１１に対してフォーカスが合うレンズ１１２の範囲を合焦範囲Ｗ１１とする。例えば、図４（ａ）に示す状態で撮像動作が行われている場合には、合焦範囲Ｗ１１内にレンズ１１２が存在するため、注目被写体に対してフォーカスが合っている。なお、注目被写体については、例えば、ユーザ操作により設定するようにしてもよく、撮像範囲における中心部分に存在する被写体を注目被写体として設定するようにしてもよい。

例えば、図４（ａ）に示す状態で、注目被写体抽出画像撮像モード設定ボタンが押下されると、注目被写体抽出画像撮像モード以外の撮像モードの絞りの目標値よりも小さい値まで絞り１１５が開放される。これにより、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度が浅くなる。すなわち、図４（ｂ）乃至（ｄ）に示すように、絞り値が閾値ＴＨ１となるように、制御部２００からの制御に基づいて、絞り制御部１１７が絞り１１５を開放する。この場合における絞り１１５の直径を直径Ｈ１２とし、直径Ｈ１２に対してフォーカスが合うレンズ１１２の範囲を合焦範囲Ｗ１２とする。続いて、録画ボタンが押下されると、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ１２の外にレンズ１１２を移動させる。例えば、図４（ｂ）の矢印３３１に示すように、光軸方向の被写体側にレンズ１１２を移動させる。このため、図４（ｂ）に示す状態で撮像動作が行われた場合には、注目被写体がボケた画像が生成される。例えば、図５（ａ）に示すように、注目被写体３４０よりも遠い位置に存在する被写体（野球場のベンチ等）に合焦した画像３４１が生成される。

続いて、図４（ｂ）に示す状態から図４（ｃ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ１２内にレンズ１１２を移動させる。例えば、図４（ｃ）の矢印３３２に示すように、光軸方向のイメージャ側にレンズ１１２を移動させる。このため、図４（ｃ）に示す状態で撮像動作が行われた場合には、注目被写体に合焦した画像が生成される。例えば、図５（ｂ）に示すように、注目被写体３４０にのみ合焦した画像３４２が生成される。ここで、図４（ｃ）に示す状態では、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度が浅い。このため、画像３４２は、注目被写体３４０よりも遠い位置に存在する被写体（野球場のベンチ等）と、注目被写体３４０よりも近い位置に存在する被写体（一塁の審判等）とがボケた画像となる。

続いて、図４（ｃ）に示す状態から図４（ｄ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ１２の外にレンズ１１２を移動させる。例えば、図４（ｄ）の矢印３３４に示すように、光軸方向のイメージャ側にレンズ１１２を移動させる。このため、図４（ｄ）に示す状態で撮像動作が行われた場合には、注目被写体３４０がボケた画像が生成される。例えば、図５（ｃ）に示すように、注目被写体３４０よりも近い位置に存在する被写体（一塁の審判等）に合焦した画像３４３が生成される。

続いて、図４（ｄ）に示す状態でレンズ１１２を移動させず、連続して画像が生成される。すなわち、図４（ｄ）に示す状態で２つの連続する画像が生成される。

続いて、図４（ｄ）に示す状態から図４（ｃ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ１２内にレンズ１１２を移動させ、１つの画像が生成される。例えば、図４（ｃ）の矢印３３３に示すように、光軸方向の被写体側にレンズ１１２を移動させ、１つの画像が生成される。

このように、図４（ｂ）乃至（ｄ）に示す各状態で、連続する３つの画像が順次生成される。この生成された連続する３つの画像を１組の画像群とし、この１組の画像群に関する注目被写体抽出画像作成情報がメタデータ記憶部１４０に記録される。ここで、例えば、図４（ａ）と同様に絞りを絞った状態で、図４（ｂ）乃至（ｄ）と同様にレンズ１１２を移動させながら連続する３つの画像を生成する場合を想定する。この場合には、絞り１１５の直径Ｈ１１に対してフォーカスが合う合焦範囲Ｗ１１内にレンズ１１２が存在することになるため、図５（ｄ）乃至（ｆ）に示すように、撮像範囲に含まれる比較的広い範囲の被写体に合焦された画像３４４乃至３４６が生成される。なお、メタデータ記憶部１４０に記録される注目被写体抽出画像作成情報については、図７を参照して詳細に説明する。また、図４（ｂ）乃至（ｄ）に示す各状態のレンズ１１２および絞り１１５の移動の軌跡については、図６を参照して詳細に説明する。なお、注目被写体の移動等により合焦範囲Ｗ１２が移動する場合があるが、注目被写体の移動等による合焦範囲の移動についての図示および説明は省略する。

図６は、本発明の第１の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。図６（ａ）には、横軸を撮像時刻を示す軸とし、縦軸を絞り１１５の絞り値を示す軸とするグラフを示す。図６（ｂ）には、横軸を撮像時刻を示す軸とし、縦軸をレンズ１１２の位置（焦点距離）を示す軸とするグラフを示す。なお、図６（ａ）および（ｂ）に示す横軸では撮像時刻の代わりに、撮像時刻に応じたフレーム番号を示す。図６（ａ）および（ｂ）に示す例では、注目被写体抽出画像撮像モードが設定された状態で録画ボタンが押下された直後におけるフレームをフレーム１とし、フレーム１以降の各フレームに通し番号を付した場合を示す。

図６に示す例では、注目被写体抽出画像撮像モードが設定された状態で録画ボタンが押下された直後におけるフレーム１からのグラフを示すため、図６（ａ）に示すグラフでは、絞り１１５の絞り値が閾値ＴＨ１の状態となる。なお、注目被写体抽出画像撮像モードが解除された場合には、図６（ａ）に示すグラフにおいて、絞り１１５の絞り値が大きくなるように制御される。すなわち、注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度が深くなるように、絞り１１５が制御される。この絞り値として、例えば、手動設定による値または自動設定による値とすることができる。

図６（ｂ）に示すグラフにおける縦軸の「Ｆ（Far）」は、レンズ１１２の移動可能範囲における無限側の位置を示す。この無限側の位置は、図６（ａ）に示す絞り１１５の閾値ＴＨ１に対してフォーカスが合うレンズ１１２の合焦範囲の範囲外に存在する無限側の位置であり、例えば、図４（ｄ）に示すレンズ１１２の位置である。また、図６（ｂ）に示すグラフにおける「Ｎ（near）」は、レンズ１１２の移動可能範囲における至近側の位置を示す。この至近側の位置は、図６（ａ）に示す絞り１１５の閾値ＴＨ１に対してフォーカスが合うレンズ１１２の合焦範囲の範囲外に存在する至近側の位置であり、例えば、図４（ｂ）に示すレンズ１１２の位置である。また、図６（ｂ）に示すグラフにおける「Ｔ（Target）」は、レンズ１１２の移動可能範囲における合焦位置を示す。この合焦位置は、図６（ａ）に示す絞り１１５の閾値ＴＨ１に対してフォーカスが合うレンズ１１２の合焦範囲内に存在する位置であり、例えば、図４（ｃ）に示すレンズ１１２の位置である。

例えば、注目被写体抽出画像撮像モード設定ボタンが押下されると、図６（ａ）に示すように、絞り値が閾値ＴＨ１となるように、制御部２００からの制御に基づいて、絞り制御部１１７が絞り１１５を開放する。これにより、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度を浅くする。また、注目被写体抽出画像撮像モードが設定された状態で録画ボタンが押下されると、図６（ｂ）に示すように、制御部２００からの制御に基づいて、フォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる。このように、絞り値を閾値ＴＨ１とした状態で、フレーム毎にレンズ１１２を移動させることにより、注目被写体がボケた２つの画像と、注目被写体に合焦した１つの画像との組合せにより１組の画像群が生成される。例えば、フレーム１乃至３、４乃至６、７乃至９、１０乃至１２のそれぞれにより１組の画像群が構成される。これらの画像群の生成は、制御部２００の制御に基づいて、イメージャ１１８および撮像信号処理部１１９により行われる。また、注目被写体抽出画像撮像モードが設定されている場合は、撮像信号処理部１１９が撮像動画を生成するとともに、生成された撮像動画を構成する各画像に関する注目被写体抽出画像作成情報を記録制御部１２０に出力する。

図６（ｂ）に示すように、例えば、フレーム１乃至３からなる１組の画像群を生成する場合には、レンズ１１２を移動させるアクチュエータの動作方向が近距離から無限遠までの一方向となる。また、例えば、フレーム４乃至６からなる１組の画像群を生成する場合には、レンズ１１２を移動させるアクチュエータの動作方向が無限遠から近距離までの一方向となる。なお、アクチュエータの加減速を行う上で、フレーム３から４の間は合焦位置を動かさない。このように、１組の画像群を生成する場合におけるアクチュエータの動作方向が一定方向とすることができるため、１組の画像群を生成する場合におけるアクチュエータの加減速を逆方向に行う必要がない。これにより、アクチュエータの動きを最小限とすることができ、撮像動作を高速化することができる。

［メタデータの記録例］
図７は、本発明の第１の実施の形態における動画記憶部１３０およびメタデータ記憶部１４０に記憶されている各情報を模式的に示す図である。図７（ａ）には、動画記憶部１３０に記憶されている動画ファイル１３１を模式的に示す。図７（ｂ）には、動画ファイル１３１に関連付けてメタデータ記憶部１４０に記憶されているメタデータファイル１４１を示す。ここで、動画記憶部１３０に記憶されている各動画ファイルを識別するための識別情報である動画ＩＤが、各動画ファイルに付与されているものとする。例えば、動画ファイル１３１には「＃１」が付与されているものとする。

ここで、動画ファイル１３１は、複数のフレームにより構成されている撮像動画（ビデオデータ）のファイルであり、これらの各フレームの一例をフレーム１乃至１６として示す。また、フレーム１乃至１６に対応してメタデータファイル１４１に記憶されている各情報を破線の矢印で指し示す。

メタデータファイル１４１には、動画ＩＤ１４２と、フレーム番号１４３と、注目被写体抽出画像情報１４４と、焦点情報１４５と、絞り情報１４６とが関連付けて記憶されている。

動画ＩＤ１４２は、動画ファイルに付与されている動画ＩＤであり、例えば、動画ファイル１３１に付与されている「＃１」が格納される。

フレーム番号１４３は、動画ファイルを構成する各フレームの通し番号であり、例えば、動画ファイル１３１を構成するフレーム１乃至１６に対応する「１」乃至「１６」が格納される。なお、図７（ａ）に示す動画ファイル１３１は、注目被写体抽出画像撮像モードが設定されている状態で撮像動作が開始された場合における動画ファイルの一例を示す。すなわち、動画ファイル１３１は、先頭のフレーム１から注目被写体抽出動画の記録動作が行われた動画ファイルである。

注目被写体抽出画像情報１４４は、注目被写体抽出画像撮像モードが設定されている状態で撮像動作が行われたことを示す情報である。例えば、注目被写体抽出動画として生成された３つの連続するフレームの先頭フレームには「−１」が格納され、真中のフレームには「２」が格納され、最後のフレームには「１」が格納される。すなわち、注目被写体抽出画像情報１４４により、注目被写体抽出動画に係る１組の画像群を構成する各画像を特定することができる。また、例えば、注目被写体抽出画像撮像モード以外の通常の動画撮像モードが設定されている状態で撮像動作が行われた場合には、各フレームに「０」が格納される。ここで、通常の動画撮像モードが設定されて撮像動作が行われている状態で、注目被写体抽出画像撮像モード設定ボタンが押下された場合には、この押下の直後から注目被写体抽出動画の記録動作が行われる。このため、この押下までの各フレームには「０」が格納され、この押下の直後から各フレームには「−１」、「２」、「１」が順次格納される。

焦点情報１４５は、撮像動作が行われた場合におけるレンズ１１２の位置に関する情報である。例えば、フォーカスが合う合焦範囲の範囲外の無限側の位置にレンズ１１２が存在する場合には「Ｆ」が格納される。また、例えば、フォーカスが合う合焦範囲の範囲外の至近側の位置にレンズ１１２が存在する場合には「Ｎ」が格納される。また、フォーカスが合う合焦範囲内にレンズ１１２が存在する場合には、「Ｔ」が格納される。なお、これらの「Ｆ」、「Ｎ」、「Ｔ」は、図６（ｂ）に示すグラフにおける「Ｆ」、「Ｎ」、「Ｔ」に対応する。

絞り情報１４６は、撮像動作が行われた場合における絞り１１５の開閉に関する情報である。例えば、絞り１１５の絞り値が閾値ＴＨ１以下である場合には、「Ｏ（Open）」が格納される。また、例えば、絞り１１５の絞り値が閾値ＴＨ１よりも大きい値である場合には、「Ｃ」が格納される。なお、この「Ｃ」は、図６（ａ）に示すグラフにおける「Ｃ」に対応し、「Ｏ」は、図６（ａ）に示すグラフにおける「ＴＨ１」に対応する。

このように、本発明の第１の実施の形態では、注目被写体抽出画像作成情報として、注目被写体抽出画像情報１４４、焦点情報１４５および絞り情報１４６を各フレームに関連付けて記憶する例を示す。しかしながら、注目被写体抽出動画に係る１組の画像群を構成する各画像を特定することが可能な注目被写体抽出画像作成情報のみを各フレームに関連付けて記憶するようにしてもよい。例えば、注目被写体抽出画像作成情報として、注目被写体抽出画像情報１４４のみを各フレームに関連付けて記憶するようにしてもよい。

また、注目被写体抽出画像作成情報は、制御部２００の制御に基づいて、対応するフレームとともに撮像信号処理部１１９により生成され、メタデータファイルとしてメタデータ記憶部１４０に記録される。また、これらの各メタデータに対応する撮像動画が、動画ファイルとして動画記憶部１３０に記憶される。このように、メタデータ記憶部１４０に記録されたメタデータファイルを用いて、動画記憶部１３０に記憶されている動画ファイルからストロボ画像や分解画像を作成することができる。これにより、例えば、動画ファイルの再生時に注目被写体を抽出するための複雑な操作をしなくても、注目被写体を容易に抽出することができる。このように抽出された注目被写体の画像を用いてストロボ画像や分解画像を容易に作成することができる。以下では、注目被写体の抽出方法について図面を参照して詳細に説明する。

［注目被写体の抽出例］
次に、動画記憶部１３０に記憶されている動画ファイルから注目被写体を抽出する注目被写体抽出方法について図面を参照して詳細に説明する。

図８は、本発明の第１の実施の形態における注目被写体抽出部１８０が注目被写体を抽出する際に用いられる評価値の算出対象となる画像を示す図である。この評価値の算出は、評価値算出部１７０により行われる。図８（ａ）には、評価値の算出対象となる撮像動画３６０を構成する画像３６１乃至３６９を時系列で模式的に示す。ここで、図８（ａ）では、画像３６１乃至３６９を矩形で模式的に示し、各矩形内には、画像３６１乃至３６９に関連付けてメタデータ記憶部１４０に記憶されている注目被写体抽出画像情報１４４の内容を付して説明する。また、この例では、高周波成分を用いて、注目被写体を抽出する例について説明する。

最初に、再生処理部１５０が、動画記憶部１３０に記憶されている動画ファイルおよびこの動画ファイルに関連付けてメタデータ記憶部１４０に記憶されているメタデータファイルを取得する。続いて、再生処理部１５０が、取得された動画ファイルをデコードして動画ファイルを構成する各フレームを時系列で順次取得する。続いて、取得された各フレームに関連付けられているメタデータファイルの注目被写体抽出画像情報１４４を取得する。ここで、注目被写体抽出画像情報１４４に「０」が格納されている場合には、注目被写体抽出動画を構成する画像ではなく、通常の動画撮像モードで記録された撮像動画を構成する画像である。このため、注目被写体抽出画像情報１４４に「０」が格納されているフレームについては、再生処理部１５０が表示制御部２２０に順次出力し、撮像動画の再生が行われる。

一方、図８（ａ）に示すように、画像３６１乃至３６９のうち３つの連続する画像に関連付けられているメタデータファイルの注目被写体抽出画像情報１４４に「−１」、「２」、「１」の何れかが格納されている場合には、注目被写体抽出動画を構成する画像である。このため、注目被写体抽出画像情報１４４に「−１」、「２」、「１」が格納されている３つの連続する画像については、再生処理部１５０が対象画像保持部１６０に順次出力して保持させる。例えば、撮像動画３６０を構成する画像３６１乃至３６３が対象画像保持部１６０に順次出力されて保持される。このように、対象画像保持部１６０に保持される画像３６１乃至３６３は、図８（ｂ）に示すように、注目被写体にのみ合焦された１つの画像３６２と、注目被写体以外の他の被写体に合焦された２つの画像３６１および３６３とからなる１組の画像群である。この１組の画像群に含まれる３つの画像について評価値が画像毎に算出される。そして、時間軸において隣接する２つの画像について算出された評価値を比較することにより注目被写体が抽出される。

図８（ｃ）には、注目被写体を抽出するための評価値の算出対象となる画像を構成する各画素を模式的に示す。ここで、図８（ｃ）には、説明の容易のため、画像を構成する画素のうちの一部の画素＃１乃至＃４９を示す。なお、図８（ｃ）に示す例では、画素＃１乃至＃４９を矩形で示し、各矩形内に画素の番号を付して説明する。また、例えば、評価値の算出対象となる画像における水平方向（左右方向）をｘ軸とし、垂直方向（上下方向）をｙ軸とするｘｙ座標を想定する。

ここでは、画素＃２５（３８０）の評価値を算出する場合を例にして説明する。例えば、画素＃２５（３８０）の評価値を算出する場合には、図８（ｃ）に示すように、画素＃２５（３８０）の周囲の１２画素を用いる。例えば、画素＃２５（３８０）に隣接する８画素（画素＃１７乃至１９、２４、２６、３１乃至３３）と、画素＃２５（３８０）の水平方向および垂直方向の１画素隔てた位置に存在する４画素（画素＃１１、２３、２７、３９）とを用いる。図８（ｃ）では、これらの１２画素を破線の枠３８１で囲んで示す。

最初に、評価値算出部１７０が、評価値の算出対象となる画素＃２５（３８０）と、画素＃２５（３８０）の周囲の１２画素（破線の枠３８１で囲んだ１２画素）の輝度値（輝度成分）を抽出する。続いて、評価値算出部１７０が、画素＃２５（３８０）の輝度値と、画素＃２５（３８０）の周囲の１２画素の各輝度値との差分値を、画素＃２５（３８０）の周囲の１２画素毎に算出する。続いて、評価値算出部１７０が、算出された１２画素毎の差分値に重み付けをして、この重み付けがされた各差分値を加算した値を評価値として算出する。

例えば、画素＃２５の座標を座標（ｘ，ｙ）とし、画素＃２５の輝度成分をＢ（ｘ，ｙ）とする。また、画素＃２３の輝度成分をＢ（ｘ−２，ｙ）とし、画素＃２４の輝度成分をＢ（ｘ−１，ｙ）とし、画素＃２６の輝度成分をＢ（ｘ＋１，ｙ）とし、画素＃２７の輝度成分をＢ（ｘ＋２，ｙ）とする。また、画素＃１１の輝度成分をＢ（ｘ，ｙ−２）とし、画素＃１８の輝度成分をＢ（ｘ，ｙ−１）とし、画素＃３２の輝度成分をＢ（ｘ，ｙ＋１）とし、画素＃３９の輝度成分をＢ（ｘ，ｙ＋２）とする。また、画素＃１７の輝度成分をＢ（ｘ−１，ｙ−１）とし、画素＃１９の輝度成分をＢ（ｘ＋１，ｙ−１）とし、画素＃３１の輝度成分をＢ（ｘ−１，ｙ＋１）とし、画素＃３３の輝度成分をＢ（ｘ＋１，ｙ＋１）とする。この場合に、例えば、画素＃２５（３８０）における評価値Ｐ（ｘ，ｙ）は、式１を用いて算出される。
評価値Ｐ（ｘ，ｙ）＝
（Ｂ（ｘ，ｙ）−Ｂ（ｘ−２，ｙ））β
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ−１，ｙ））α
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ＋１，ｙ））α
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ＋２，ｙ））β
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ，ｙ−２））β
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ，ｙ−１））α
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ，ｙ＋１））α
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ，ｙ＋２））β
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ−１，ｙ−１））（α＋β）／２
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ＋１，ｙ−１））（α＋β）／２
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ−１，ｙ＋１））（α＋β）／２
＋（Ｂ（ｘ，ｙ）−Ｂ（ｘ＋１，ｙ＋１））（α＋β）／２ …式１
ここで、α、βは重み係数であり、例えば、α＞β、α＋β＝１を満たす値である。

同様に、注目被写体抽出動画を構成する１組の画像群に含まれる各画像について、画素毎の評価値Ｐ（ｘ，ｙ）が画像毎に算出される。例えば、図８（ｂ）に示す画像３６１乃至３６３について、評価値Ｐ（ｘ，ｙ）が画素毎に算出される。なお、１組の画像群に含まれる画像を構成する各画素について評価値Ｐ（ｘ，ｙ）を算出する場合には、例えば、１組の画像群に含まれる画像における左上隅の画素から右下隅の画素までのラスタ順に演算が行われる。また、画像における上下左右の端部から２画素以内の各画素については、評価値の算出を省略するようにしてもよい。

このように算出された評価値Ｐ（ｘ，ｙ）の値が大きい画素は、評価値の算出対象となる対象画素と、その周辺画素との輝度差の差が大きく、高周波成分の大きい画素である。また、高周波成分の大きい画素の部分は、フォーカスが合っている被写体部分であると想定される。そこで、算出された評価値Ｐ（ｘ，ｙ）を用いて注目被写体を抽出する。

例えば、注目被写体抽出動画に係る１組の画像群に含まれる３つの画像を画像Ａ、Ｂ、Ｃ（画像Ｂが注目被写体に合焦した基準画像）とする。この場合に、画像Ａ、Ｂ、Ｃにおける互いに同一の画素位置について算出された評価値を評価値ＡＰ（ｘ，ｙ）、ＢＰ（ｘ，ｙ）、ＣＰ（ｘ，ｙ）とする。この場合に、注目被写体抽出部１８０は、以下の条件を満たす画像Ｂにおける各画素により構成される画像を注目被写体として抽出する。すなわち、注目被写体抽出部１８０は、１組の画像群に含まれる３つの画像に含まれる高周波成分に基づいて、基準画像に含まれる注目被写体を抽出する。
ＡＰ（ｘ，ｙ）＜ＢＰ（ｘ，ｙ）、かつ、ＢＰ（ｘ，ｙ）＞ＣＰ（ｘ，ｙ）

例えば、図５（ａ）に示す画像３４１は、注目被写体（バッター）よりも遠距離に位置する遠距離被写体（ベンチ等）に合焦された画像である。このため、遠距離被写体に対応する画素の高周波成分が大きいと想定される。すなわち、遠距離被写体に対応する画素について算出された評価値は大きく、他の被写体に対応する画素について算出された評価値は小さいと想定される。また、例えば、図５（ｂ）に示す画像３４２は、注目被写体（バッター）に合焦された画像である。このため、注目被写体に対応する画素の高周波成分が大きく、他の被写体に対応する画素について算出された評価値は小さいと想定される。すなわち、注目被写体に対応する画素について算出された評価値は大きいと想定される。また、例えば、図５（ｃ）に示す画像３４３は、注目被写体（バッター）よりも近距離に位置する近距離被写体（一塁の審判等）に合焦された画像である。このため、近距離被写体に対応する画素の高周波成分が大きいと想定される。すなわち、近距離被写体に対応する画素について算出された評価値は大きく、他の被写体に対応する画素について算出された評価値は小さいと想定される。このように１組の画像群に含まれる３つの画像について算出された評価値は、それぞれの撮像状態に応じて異なる値となるため、上記条件を満たす画素を抽出することにより、注目被写体のみを抽出することができる。

このように、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度を浅くした状態で、合焦位置を変更しながら生成された３つの連続する画像について、同一位置の画素の評価値を比較し、上記条件を満たす画素を抽出する。これにより、注目被写体のみを適切に抽出することができる。以下では、このように算出された評価値に基づいて、注目被写体抽出部１８０が注目被写体を抽出する例を示す。

図９は、本発明の実施の形態における注目被写体抽出部１８０により抽出された注目被写体の画像の一例を示す図である。図９（ａ）には、基準画像の一例である画像３９０を示す。なお、画像３９０は、図５（ｂ）に示す画像３４２と同一の画像である。また、図９（ｂ）には、画像３９０から抽出された注目被写体の画像の一例である画像３９２を示す。例えば、図５（ａ）乃至（ｃ）に示す画像３４１乃至３４３について式１を用いて評価値が算出され、この算出された評価値に基づいて画像３９０に含まれる注目被写体が特定される。図９（ａ）に示す例では、画像３９０に含まれる注目被写体（図９に示す例では、バッターボックスのバッター）を白枠３９１で囲んで示す。このように、評価値に基づいて特定された画像３９０に含まれる注目被写体（白枠３９１内の被写体）が、図９（ｂ）に示すように、注目被写体の画像３９２として抽出される。これに対して、図５（ｄ）乃至（ｆ）に示す画像３４４乃至３４６について、同様に注目被写体抽出処理を行う場合には、図１０に示すように、注目被写体以外の被写体が抽出されるおそれがある。

図１０は、図５（ｄ）乃至（ｆ）に示す画像３４４乃至３４６を用いて、基準画像から抽出された注目被写体の画像の一例を示す図である。図１０（ａ）に示す画像３９５は、図５（ｅ）に示す画像３４５と同一の画像である。また、図１０（ｂ）には、画像３９５から抽出された注目被写体の画像の一例である画像３９７を示す。例えば、図５（ｄ）乃至（ｆ）に示す画像３４４乃至３４６について式１を用いて評価値が算出され、この算出された評価値に基づいて画像３９５に含まれる注目被写体が特定される。図１０（ａ）に示す例では、画像３９５に含まれる注目被写体（図１０に示す例では、バッター、キャッチャーおよび審判）を白枠３９６で囲んで示す。このように、評価値に基づいて特定された画像３９５に含まれる注目被写体（白枠３９６内の被写体）が、図１０（ｂ）に示すように、注目被写体の画像３９７として抽出される。

ここで、図５（ｅ）に示す画像３４５は、注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度を深くした状態で撮像動作が行われているため、注目被写体以外の比較的広い範囲の被写体に合焦された画像となる。このため、画像３４５に含まれる注目被写体およびその周辺の被写体に対応する画素の高周波成分が大きいと想定される。同様に、図５（ｄ）に示す画像３４４は、被写界深度を深くした状態で撮像動作が行われているため、遠距離被写体以外の比較的広い範囲の被写体に合焦された画像となる。このため、画像３４４に含まれる遠距離被写体およびその周辺の被写体（注目被写体を含む）に対応する画素の高周波成分が大きいと想定される。同様に、図５（ｆ）に示す画像３４６は、被写界深度を深くした状態で撮像動作が行われているため、近距離被写体以外の比較的広い範囲の被写体に合焦された画像となる。このため、画像３４６に含まれる近距離被写体およびその周辺の被写体（注目被写体を含む）に対応する画素の高周波成分が大きいと想定される。このように、図５（ａ）乃至（ｃ）に示す画像３４１乃至３４３と比較した場合に、図５（ｄ）乃至（ｆ）に示す画像３４４乃至３４６は、注目被写体に対応する画素の高周波成分を適切に利用することができない。このため、注目被写体として抽出したいバッターのみではなく、撮像装置１００からの距離（被写体距離）が注目被写体と比較的近いキャッチャーや審判が、注目被写体の画像として抽出される。このため、例えば、注目被写体としてのバッターのストロボ画像を適切に作成することができない。

［ストロボ画像の作成例］
図１１は、本発明の第１の実施の形態における注目被写体抽出部１８０により抽出された注目被写体の画像と、これらの注目被写体の画像が合成された合成画像の例を示す図である。図１１（ａ）には、注目被写体抽出部１８０により抽出された注目被写体の画像４０１乃至４０６を示す。画像４０１乃至４０６は、野球の試合においてバッターボックスに立っているバッターの遷移を示す画像である。なお、図１１（ａ）に示す例では、注目被写体の遷移を容易に把握するため、一定間隔毎の注目被写体の画像のみを示す。また、画像４０１乃至４０６は、バッターが存在する領域以外の領域は、α値として０が設定された領域とする。ここで、α値は、透明度を表す数値であり、ＲＧＢ（赤（Red）、緑（Green）、青（Blue））の透明度を０〜２５５の範囲内で変更するものである。

図１１（ｂ）には、図１１（ａ）に示す画像４０１乃至４０６が画像合成部１９０により順次上書き合成された合成画像４１１乃至４１６を示す。画像４１１乃至４１６は、注目被写体の画像を順次上書き合成した合成画像であり、ストロボ画像と称される。

具体的には、注目被写体抽出部１８０が、注目被写体の画像４０１乃至４０６を順次抽出し、この抽出された画像４０１乃至４０６を画像合成部１９０に順次出力する。画像合成部１９０は、注目被写体抽出部１８０から出力された画像４０１乃至４０６を合成画像保持部１９１に順次保持させる。この場合には、合成画像保持部１９１に保持されている履歴画像に新たな注目被写体の画像を順次上書きする。そして、合成画像保持部１９１に保持された合成画像を、画像合成部１９０が表示制御部２２０に順次出力する。そして、表示制御部２２０は、画像合成部１９０から出力された合成画像を表示部２３０に順次表示させる。すなわち、図１１（ｂ）に示す合成画像４１１乃至４１６が、表示制御部２２０の制御に基づいて、表示部２３０に順次表示される。なお、合成画像４１１乃至４１６の代わりに、注目被写体の画像４０１乃至４０６のみを順次表示させるようにしてもよい。また、合成画像４１１乃至４１６とともに、注目被写体の画像４０１乃至４０６を順次表示させるようにしてもよい。これにより、背景なしの注目被写体のみの画像をユーザが視聴することができる。また、注目被写体の画像４０１乃至４０６を左右方向に並べて表示させるようにしてもよい。例えば、注目被写体の画像４０１乃至４０６を分解画像として表示させることができる。これらの表示方法をユーザ操作により選択するようにしてもよい。

このように、本発明の第１の実施の形態によれば、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度を浅くした状態で、撮像動画を生成することにより、注目被写体のみを適切に抽出することができる。すなわち、被写界深度を浅くした状態で、合焦位置を変更して撮像された１組の画像群に含まれる各画像の高周波成分を用いて、この画像群に含まれる注目被写体のみを適切に抽出することができる。また、特に注目被写体の近距離に背景等の不要な被写体が存在する場合でも、正確に注目被写体を抽出することができる。また、注目被写体に合焦した１つの画像と、注目被写体の前後に合焦した２つの画像とを注目被写体の抽出に用いられる評価値の演算に使用しているため、注目被写体の前景等に不要なものが存在する場合でも、正確に注目被写体を抽出することができる。このように抽出された注目被写体の画像を用いて、例えば、ストロボ画像や分解画像等を容易に表示させることができる。すなわち、撮像動画を構成する画像に含まれる注目被写体の画像を容易に利用することができる。また、ストロボ画像や分解画像等を表示させるための注目被写体抽出動画を、注目被写体抽出画像撮像モード設定ボタンの操作により記録することができるため、ユーザ操作が容易である。また、ストロボ画像や分解画像等を表示させる場合には、注目被写体を指定する等の手動操作が不要であるため、ユーザ操作が容易である。

［フォーカス制御の変形例］
以上では、注目被写体抽出画像撮像モードが設定されている場合には、他の撮像モードの被写界深度の目標値よりも被写界深度を浅くした状態で、図６（ｂ）に示すフォーカス制御を行う例について説明した。以下では、フォーカス制御の変形例について図面を参照して詳細に説明する。

図１２は、本発明の第１の実施の形態における撮像部１１０が注目被写体抽出動画を生成する際におけるレンズおよび絞りの対応関係を概略的に示す図である。なお、図１２に示す例は、図４に示すレンズおよび絞りの対応関係の変形例である。このため、図４に示す例と共通する部分については、同一の符号を付してこれらの説明を省略し、図４に示す例と異なる部分を中心に説明する。

例えば、図１２（ａ）に示す状態で、注目被写体抽出画像撮像モード設定ボタンが押下されると、注目被写体抽出画像撮像モード以外の撮像モードの絞りの目標値よりも小さい値まで絞り１１５が開放される。これにより、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度が浅くなる。この場合における絞り１１５の直径を直径Ｈ１２とし、直径Ｈ１２に対してフォーカスが合うレンズ１１２の範囲を合焦範囲Ｗ２２とする。続いて、録画ボタンが押下されると、制御部２００からの制御に基づいて、フォーカス制御部１１６が注目被写体の合焦位置（合焦範囲Ｗ２２内の位置）にレンズ１１２を移動させる。例えば、図１２（ｂ）の矢印４２１または４２２に示すように、光軸方向の何れかの方向にレンズ１１２を移動させる。なお、注目被写体の合焦位置にレンズ１１２が存在する場合には、レンズ１１２を移動させない。

続いて、図１２（ｂ）に示す状態から図１２（ｃ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ１２の外にレンズ１１２を移動させる。例えば、図１２（ｃ）の矢印４２３に示すように、光軸方向のイメージャ側にレンズ１１２を移動させる。ここで、図１２（ｂ）に示す状態で、１組の画像群の先頭のフレームを生成する際に注目被写体に合焦させておくことにより、現在の絞り値に基づいて、先頭のフレームを基準位置として合焦範囲Ｗ２２を正確に特定することができる。このため、図１２（ｃ）に示す状態では、１組の画像群の次のフレームを生成する際に、レンズ１１２を移動すべき合焦範囲Ｗ２２の範囲外の位置を正確に特定することができる。このため、図４（ｄ）に示す場合よりも、レンズ１１２の移動量を減少させることができる。

続いて、図１２（ｃ）に示す状態から図１２（ｄ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ２２の外にレンズ１１２を移動させる。例えば、図１２（ｄ）の矢印４２４に示すように、光軸方向の被写体側にレンズ１１２を移動させる。ここで、図１２（ｄ）に示す状態では、上述したように、１組の画像群の最後のフレームを生成する際に、レンズ１１２を移動すべき合焦範囲Ｗ２２の範囲外の位置を正確に特定することができる。このため、図４（ｂ）に示す場合よりも、レンズ１１２の移動量を減少させることができる。

続いて、図１２（ｄ）に示す状態から図１２（ｂ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ２２内にレンズ１１２を移動させ、１つの画像が生成される。例えば、図１２（ｂ）の矢印４２１に示すように、光軸方向のイメージャ側にレンズ１１２を移動させ、１つの画像が生成される。

このように、図１２（ｂ）乃至（ｄ）に示す各状態で、連続する３つの画像が順次生成される。この生成された連続する３つの画像を１組の画像群とし、この１組の画像群に関する注目被写体抽出画像作成情報がメタデータ記憶部１４０に記録される。なお、メタデータ記憶部１４０に記録される内容については、１組の画像群を構成する各フレームのうち、注目被写体に合焦された画像と、注目被写体以外の被写体に合焦された画像との順序が異なる以外は、図７に示す例と同様であるため、ここでの説明を省略する。また、図１２（ｂ）乃至（ｄ）に示す各状態のレンズ１１２および絞り１１５の移動の軌跡については、図１３を参照して詳細に説明する。

図１３は、本発明の第１の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。なお、図１３に示す例は、図６に示すレンズ１１２および絞り１１５の移動の軌跡の変形例である。このため、図６に示す例と共通する部分については、同一の符号を付してこれらの説明を省略し、図６に示す例と異なる部分を中心に説明する。

ここで、図１３（ｂ）に示すグラフにおける縦軸の値は、例えば、図１２（ｂ）乃至（ｄ）に示すレンズ１１２の位置に対応する。例えば、注目被写体抽出画像撮像モード設定ボタンが押下されると、図１３（ａ）に示すように、絞り値が閾値ＴＨ１となるように絞り１１５が開放され、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度が浅くなる。また、録画ボタンが押下されると、図１３（ｂ）に示すように、制御部２００からの制御に基づいて、フォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる。例えば、図６（ｂ）に示す場合と同様に、フレーム１乃至３、４乃至６、７乃至９、１０乃至１２のそれぞれにより１組の画像群が構成される。

図１３（ｂ）に示すように、例えば、フレーム１乃至３からなる１組の画像群を生成する場合には、先頭のフレーム１については注目被写体に合焦させた画像とする。このように１組の画像群の先頭のフレームを生成する際に注目被写体に合焦させておくことにより、現在の絞り値に基づいて、先頭のフレームを基準位置として合焦範囲を正確に特定することができる。このため、１組の画像群の他の２つのフレームを生成する際に、レンズ１１２を移動すべき合焦範囲の範囲外の位置を正確に特定することができる。このため、レンズ１１２を無限遠および近距離まで移動させずに、注目被写体以外の被写体に合焦させることができる。これにより、アクチュエータの動き量を最小限とすることができ、消費電力を低減させることができる。また、撮像動作をさらに高速化することができる。

図１４は、本発明の第１の実施の形態における撮像部１１０が注目被写体抽出動画を生成する際におけるレンズおよび絞りの対応関係を概略的に示す図である。なお、図１４に示す例は、図４に示すレンズおよび絞りの対応関係の変形例である。このため、図４に示す例と共通する部分については、同一の符号を付してこれらの説明を省略し、図４に示す例と異なる部分を中心に説明する。

例えば、図１４（ａ）に示す状態で、注目被写体抽出画像撮像モード設定ボタンが押下されると、注目被写体抽出画像撮像モード以外の撮像モードの絞りの目標値よりも小さい値まで絞り１１５が開放される。これにより、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度が浅くなる。続いて、録画ボタンが押下されると、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ１２の外にレンズ１１２を移動させる。例えば、図１４（ｂ）の矢印４３１に示すように、光軸方向のイメージャ側にレンズ１１２を移動させる。

続いて、図１４（ｂ）に示す状態から図１４（ｃ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ１２の外にレンズ１１２を移動させる。例えば、図１４（ｃ）の矢印４３２に示すように、光軸方向の被写体側にレンズ１１２を移動させる。

続いて、図１４（ｃ）に示す状態から図１４（ｄ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が注目被写体の合焦位置（合焦範囲Ｗ１２内の位置）にレンズ１１２を移動させる。例えば、図１４（ｄ）の矢印４３３に示すように、光軸方向のイメージャ側にレンズ１１２を移動させる。ここで、図１４（ｂ）および（ｃ）に示す状態で、１組の画像群の先頭および次のフレームの撮像動作によりレンズ１１２が合焦位置を中心とする一定範囲を移動する。このため、図１４（ｄ）に示す状態では、注目被写体に対する合焦位置をさらに正確に特定することができる。

続いて、図１４（ｄ）に示す状態から図１４（ｂ）に示す状態となるように、制御部２００からの制御に基づいて、フォーカス制御部１１６が合焦範囲Ｗ２２の外にレンズ１１２を移動させ、１つの画像が生成される。例えば、図１４（ｂ）の矢印４３１に示すように、光軸方向のイメージャ側にレンズ１１２を移動させ、１つの画像が生成される。

このように、図１４（ｂ）乃至（ｄ）に示す各状態で、連続する３つの画像が順次生成される。この生成された連続する３つの画像を１組の画像群とし、この１組の画像群に関する注目被写体抽出画像作成情報がメタデータ記憶部１４０に記録される。なお、メタデータ記憶部１４０に記録される内容については、１組の画像群を構成する各フレームのうち、注目被写体に合焦された画像と、注目被写体以外の被写体に合焦された画像との順序が異なる以外は、図７に示す例と同様であるため、ここでの説明を省略する。また、図１４（ｂ）乃至（ｄ）に示す各状態のレンズ１１２および絞り１１５の移動の軌跡については、図１５を参照して詳細に説明する。

図１５は、本発明の第１の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。なお、図１５に示す例は、図６に示すレンズ１１２および絞り１１５の移動の軌跡の変形例である。このため、図６に示す例と共通する部分については、同一の符号を付してこれらの説明を省略し、図６に示す例と異なる部分を中心に説明する。

ここで、図１５（ｂ）に示すグラフにおける縦軸の値は、例えば、図１４（ｂ）乃至（ｄ）に示すレンズ１１２の位置に対応する。例えば、注目被写体抽出画像撮像モード設定ボタンが押下されると、図１５（ａ）に示すように、絞り値が閾値ＴＨ１となるように絞り１１５が開放され、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度が浅くなる。また、録画ボタンが押下されると、図１５（ｂ）に示すように、制御部２００からの制御に基づいて、フォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる。例えば、図６（ｂ）に示す場合と同様に、フレーム１乃至３、４乃至６、７乃至９、１０乃至１２のそれぞれにより１組の画像群が構成される。

図１５（ｂ）に示すように、例えば、フレーム１乃至３からなる１組の画像群を生成する場合には、先頭のフレーム１および次のフレーム２の撮像動作により、注目被写体に対する合焦位置を中心とする一定範囲をレンズ１１２が移動する。このように、焦点距離全体をなめてから、注目被写体に対する合焦位置を特定することができるため、さらに正確な合焦位置を特定することができる。例えば、高速の撮像動作による合焦のばらつきが出てしまうような場合を補う撮像動作として用いることができる。

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１６は、本発明の第１の実施の形態における撮像装置１００による動画記録処理の処理手順を示すフローチャートである。この例では、注目被写体抽出画像撮像モードが設定されている場合に、図６（ｂ）に示すグラフに従ってフォーカス制御を行う場合を例にして示す。

最初に、動画記録待機状態であるか否かが判断される（ステップＳ９０１）。動画記録待機状態でない場合には（ステップＳ９０１）、動画記録処理の動作を終了する。一方、動画記録待機状態である場合には（ステップＳ９０１）、注目被写体抽出画像撮像モードが設定されているか否かが判断される（ステップＳ９０２）。

注目被写体抽出画像撮像モードが設定されている場合には（ステップＳ９０２）、絞り値が閾値ＴＨ１となるように、絞り制御部１１７が絞り１１５の開閉を制御する（ステップＳ９０３）。すなわち、絞り１１５が開放され、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度が浅くなる。続いて、注目被写体抽出動画の記録を指示する指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９０５）。すなわち、注目被写体抽出画像撮像モードが設定されている状態で録画ボタンが押下されたか否かが判断される。注目被写体抽出動画の記録を指示する指示操作が受け付けられた場合には（ステップＳ９０５）、注目被写体抽出動画記録処理が行われる（ステップＳ９１０）。この注目被写体抽出動画記録処理については、図１７を参照して詳細に説明する。

また、注目被写体抽出画像撮像モードが設定されていない場合には（ステップＳ９０２）、絞り値が閾値ＴＨ１よりも大きい値となるように、絞り制御部１１７が絞り１１５の開閉を制御し（ステップＳ９０３）、ステップＳ９０６に進む。すなわち、被写体照度に応じて絞り１１５が調整され、注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度が深くなる。

また、注目被写体抽出動画の記録を指示する指示操作が受け付けられていない場合には（ステップＳ９０５）、通常の撮像動画の記録を指示する指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９０６）。通常の撮像動画の記録を指示する指示操作が受け付けられた場合には（ステップＳ９０６）、通常の撮像動画記録処理が行われる（ステップＳ９０７）。一方、通常の撮像動画の記録を指示する指示操作が受け付けられていない場合には（ステップＳ９０６）、動画記録待機状態の停止を指示する指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９０８）。動画記録待機状態の停止を指示する指示操作が受け付けられた場合には（ステップＳ９０６）、動画記録処理の動作を終了する。一方、動画記録待機状態の停止を指示する指示操作が受け付けられていない場合には（ステップＳ９０６）、ステップＳ９０２に戻り、動画記録処理を繰り返す。

なお、この例では、注目被写体抽出画像撮像モードが設定されている状態で録画ボタンが押下されると、注目被写体抽出動画記録処理を開始する例を示す。しかしながら、例えば、通常の撮像動画記録処理が行われている状態で、注目被写体抽出画像撮像モード設定ボタンが押下された場合に、注目被写体抽出画像撮像モードを設定し、注目被写体抽出動画記録処理を開始するようにしてもよい。

図１７は、本発明の第１の実施の形態における撮像装置１００による動画記録処理の処理手順のうちの注目被写体抽出動画記録処理手順（図１６に示すステップＳ９１０の処理手順）を示すフローチャートである。この例では、制御部２００が注目被写体抽出画像情報（−１、２、１）を順次保持して、この保持されている注目被写体抽出画像情報に基づいて撮像制御を行う例について説明する。

最初に、現在の注目被写体抽出画像情報は「−１」であるか否かが判断される（ステップＳ９１１）。現在の注目被写体抽出画像情報が「−１」である場合には（ステップＳ９１１）、撮像範囲に含まれる被写体のうち、注目被写体よりも近距離に存在する被写体に合焦するようにフォーカス制御部１１６がレンズ１１２を制御する（ステップＳ９１２）。続いて、イメージャ１１８および撮像信号処理部１１９が、注目被写体よりも近距離に存在する被写体に合焦する状態で１つの画像を生成する（ステップＳ９１３）。続いて、記録制御部１２０が、注目被写体よりも近距離に存在する被写体に合焦する状態で生成された１つの画像を動画記憶部１３０に記録する（ステップＳ９１４）。続いて、記録制御部１２０が、注目被写体よりも近距離に存在する被写体に合焦する状態で生成された１つの画像に対応する注目被写体抽出画像作成情報をメタデータ記憶部１４０に記録する（ステップＳ９１５）。例えば、注目被写体抽出画像情報として「−１」が記録される。

また、現在の注目被写体抽出画像情報は「２」であるか否かが判断される（ステップＳ９１６）。現在の注目被写体抽出画像情報が「２」である場合には（ステップＳ９１６）、撮像範囲に含まれる被写体のうち、注目被写体に合焦するようにフォーカス制御部１１６がレンズ１１２を制御する（ステップＳ９１７）。続いて、イメージャ１１８および撮像信号処理部１１９が、注目被写体に合焦する状態で１つの画像を生成する（ステップＳ９１８）。続いて、記録制御部１２０が、注目被写体に合焦する状態で生成された１つの画像を動画記憶部１３０に記録する（ステップＳ９１９）。続いて、記録制御部１２０が、注目被写体に合焦する状態で生成された１つの画像に対応する注目被写体抽出画像作成情報をメタデータ記憶部１４０に記録する（ステップＳ９２０）。例えば、注目被写体抽出画像情報として「２」が記録される。

また、現在の注目被写体抽出画像情報は「１」であるか否かが判断される（ステップＳ９２１）。現在の注目被写体抽出画像情報が「１」である場合には（ステップＳ９２１）、撮像範囲に含まれる被写体のうち、注目被写体よりも遠距離に存在する被写体に合焦するようにフォーカス制御部１１６がレンズ１１２を制御する（ステップＳ９２２）。続いて、イメージャ１１８および撮像信号処理部１１９が、注目被写体よりも遠距離に存在する被写体に合焦する状態で１つの画像を生成する（ステップＳ９２３）。続いて、記録制御部１２０が、注目被写体よりも遠距離に存在する被写体に合焦する状態で生成された１つの画像を動画記憶部１３０に記録する（ステップＳ９２４）。続いて、記録制御部１２０が、注目被写体よりも遠距離に存在する被写体に合焦する状態で生成された１つの画像に対応する注目被写体抽出画像作成情報をメタデータ記憶部１４０に記録する（ステップＳ９２５）。例えば、注目被写体抽出画像情報として「１」が記録される。

続いて、注目被写体抽出動画の記録停止を指示する指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９２６）。すなわち、注目被写体抽出動画記録処理が行われている状態で録画ボタンが再押下されたか否かが判断される。注目被写体抽出動画の記録停止を指示する指示操作が受け付けられた場合には（ステップＳ９２６）、図１６に示すステップＳ９０２に戻る。注目被写体抽出動画の記録停止を指示する指示操作が受け付けられていない場合には（ステップＳ９２６）、ステップＳ９１１に戻る。すなわち、注目被写体抽出動画の記録停止を指示する指示操作が受け付けられるまで、制御部２００が注目被写体抽出画像情報（−１、２、１）を順次保持する。そして、この保持された注目被写体抽出画像情報に対応する１つの画像を順次生成させ、１組の画像群を順次生成させる。なお、ステップＳ９０４、Ｓ９０７は、特許請求の範囲に記載の第１の制御手順の一例である。また、ステップＳ９０３、Ｓ９１０は、特許請求の範囲に記載の第２の制御手順の一例である。

図１８は、本発明の第１の実施の形態における撮像装置１００による動画再生処理の処理手順を示すフローチャートである。この例では、注目被写体抽出動画を再生する場合に、注目被写体抽出動画から抽出された注目被写体の画像を合成してストロボ画像を作成する例について説明する。

最初に、動画記憶部１３０に記憶されている動画ファイルを再生させることが可能な動画再生待機状態であるか否かが判断される（ステップＳ９３１）。動画再生待機状態でない場合には（ステップＳ９３１）、動画再生処理の動作を終了する。一方、動画再生待機状態である場合には（ステップＳ９３１）、ストロボ画像の再生を指示する指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３２）。すなわち、ストロボ画像再生モードが設定されている状態で再生開始ボタンが押下されたか否かが判断される。ストロボ画像の再生を指示する指示操作が受け付けられた場合には（ステップＳ９３２）、ストロボ画像再生処理が行われる（ステップＳ９４０）。このストロボ画像再生処理については、図１９を参照して詳細に説明する。

一方、ストロボ画像の再生を指示する指示操作が受け付けられていない場合には（ステップＳ９３２）、通常の動画再生を指示する指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３３）。通常の動画再生を指示する指示操作が受け付けられた場合には（ステップＳ９３３）、再生処理部１５０が、指示操作に応じた動画を表示制御部２２０に順次出力し、この動画を表示制御部２２０が表示部２３０に表示させる（ステップＳ９３４）。

一方、通常の動画再生を指示する指示操作が受け付けられていない場合には（ステップＳ９３３）、動画再生待機状態を停止させる指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３５）。動画再生待機状態を停止させる指示操作が受け付けられた場合には（ステップＳ９３５）、動画再生処理の動作を終了する。一方、動画再生待機状態を停止させる指示操作が受け付けられていない場合には（ステップＳ９３５）、ステップＳ９３２に戻り、動画再生処理を繰り返す。

図１９は、本発明の第１の実施の形態における撮像装置１００による動画再生処理の処理手順のうちのストロボ画像再生処理手順（図１８に示すステップＳ９４０の処理手順）を示すフローチャートである。

最初に、再生処理部１５０が、ストロボ画像の再生を指示する指示操作に係る動画ファイルを動画記憶部１３０から取得し、この取得された動画ファイルをデコードして動画ファイルを構成する１フレーム（現フレーム）を取得する（ステップＳ９４１）。続いて、再生処理部１５０が、取得された動画ファイルに対応するメタデータファイルをメタデータ記憶部１４０から取得し、この取得されたメタデータファイルから現フレームに対応するメタデータを取得する（ステップＳ９４２）。

続いて、再生処理部１５０が、現フレームに対応するメタデータに含まれる注目被写体抽出画像情報は「−１」であるか否かを判断する（ステップＳ９４３）。現フレームに対応する注目被写体抽出画像情報が「−１」である場合には（ステップＳ９４３）、再生処理部１５０が、現フレームを対象画像保持部１６０に出力して保持させ（ステップＳ９４４）、ステップＳ９４５に進む。また、現フレームに対応する注目被写体抽出画像情報が「−１」でない場合には（ステップＳ９４３）、ステップＳ９４５に進む。

続いて、再生処理部１５０が、現フレームに対応するメタデータに含まれる注目被写体抽出画像情報は「２」であるか否かを判断する（ステップＳ９４５）。現フレームに対応する注目被写体抽出画像情報が「２」である場合には（ステップＳ９４５）、再生処理部１５０が、現フレームを対象画像保持部１６０に出力して保持させ（ステップＳ９４６）、ステップＳ９４７に進む。また、現フレームに対応する注目被写体抽出画像情報が「２」でない場合には（ステップＳ９４５）、ステップＳ９４７に進む。

続いて、再生処理部１５０が、現フレームに対応するメタデータに含まれる注目被写体抽出画像情報は「１」であるか否かを判断する（ステップＳ９４７）。現フレームに対応する注目被写体抽出画像情報が「１」である場合には（ステップＳ９４７）、再生処理部１５０が、現フレームを対象画像保持部１６０に出力して保持させ（ステップＳ９４８）、ステップＳ９４９に進む。一方、現フレームに対応する注目被写体抽出画像情報が「１」でない場合には（ステップＳ９４７）、ステップＳ９４１に戻る。このように、１組の画像群に含まれる３つの連続する画像が対象画像保持部１６０に保持されるまで、ステップＳ９４１乃至９４８を繰り返す。

続いて、評価値算出部１７０が、対象画像保持部１６０に保持されている３つのフレームについて評価値を算出する（ステップＳ９４９）。続いて、注目被写体抽出部１８０が、算出された評価値に基づいて、対象画像保持部１６０に保持されている１つのフレーム（注目被写体抽出画像情報が「２」であるフレーム）から注目被写体の画像を抽出する（ステップＳ９５０）。

続いて、画像合成部１９０が、合成画像保持部１９１に保持されている履歴画像に、抽出された注目被写体の画像を上書き合成し（ステップＳ９５１）、上書き合成された新たな合成画像を履歴画像として合成画像保持部１９１に保持させる（ステップＳ９５２）。なお、最初の注目被写体が抽出された場合には、その注目被写体の画像のみが合成画像保持部１９１に保持される。続いて、表示制御部２２０が、画像合成部１９０により上書き合成された新たな合成画像を表示部２３０に表示させる（ステップＳ９５３）。続いて、ストロボ画像の再生を指示する指示操作に係る動画ファイルを構成するフレームのうち、現フレームが最後のフレームであるか否かが判断され（ステップＳ９５４）、現フレームが最後のフレームである場合には、ストロボ画像再生処理の動作を終了する。一方、現フレームが最後のフレームでない場合には（ステップＳ９５４）、ステップＳ９４１に戻る。

＜２．第２の実施の形態＞
［撮像動画の記録例］
以上では、注目被写体抽出画像撮像モードが設定されている場合には、他の撮像モードの被写界深度の目標値よりも被写界深度を浅くした状態で、フォーカス制御を行う例について説明した。すなわち、同一の撮像シーンについて注目被写体抽出動画のみを記録し、その撮像シーンについてストロボ画像を表示する例を示した。しかしながら、同一の撮像シーンを、通常の撮像動画として再生させるとともに、ストロボ画像としても容易に表示させることができれば、その撮像シーンをさらに楽しんで鑑賞することができると考えられる。そこで、本発明の第２の実施の形態では、被写界深度を浅くしてフォーカス制御を行いながら撮像動画を記録する動作と、被写界深度を深くして通常の撮像制御を行いながら撮像動画を記録する動作とを繰り返し行う例について説明する。なお、本発明の第２の実施の形態は、本発明の第１の実施の形態における絞り制御およびフォーカス制御の一部を変形したものであり、本発明の第２の実施の形態における機能構成は、図１に示す機能構成と同じである。そこで、以下では、本発明の第１の実施の形態に示す例と共通する部分については、同一の符号を付してこれらの説明を省略し、本発明の第１の実施の形態に示す例と異なる部分を中心に説明する。

ここで、本発明の第２の実施の形態では、注目被写体抽出画像撮像モードが設定されている状態で録画ボタンが押下されると、注目被写体抽出動画記録動作および撮像動画記録動作を交互に繰り返し行う。具体的には、注目被写体抽出動画記録動作では、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度を浅くした状態でフォーカス制御を行いながら、連続する３つの画像を１組の画像群として記録する。この１組の画像群は、本発明の第１の実施の形態に示すものと同様である。また、撮像動画記録動作では、注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度を深くした状態で通常の撮像制御を行いながら、連続する３つの画像を１組の画像群として記録する。この１組の画像群は、通常の撮像動画を構成する３つの画像である。このように、本発明の第２の実施の形態では、３つの連続する画像により構成される画像群毎に、絞り制御およびフォーカス制御を変更しながら、撮像画像を記録する。この絞り制御およびフォーカス制御については、図２０を参照して詳細に説明する。

図２０は、本発明の第２の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。なお、図２０に示す例は、図６に示すレンズ１１２および絞り１１５の移動の軌跡の変形例である。このため、図６に示す例と共通する部分については、同一の符号を付してこれらの説明を省略し、図６に示す例と異なる部分を中心に説明する。

図２０（ａ）に示す例では、注目被写体抽出画像撮像モードが設定されている状態で録画ボタンが押下された直後のフレーム１乃至３については、絞り１１５の絞り値が閾値ＴＨ１となるように制御される。また、フレーム４乃至６については、絞り１１５の絞り値が大きくなるように制御される。すなわち、フレーム４乃至６については、注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度が深くなるように絞り１１５が制御される。以降は同様に、３つのフレームについて絞り１１５の絞り値を閾値ＴＨ１とする動作と、次の３つのフレームについて絞り１１５の絞り値を大きくする動作とが交互に行われる。

また、図２０（ｂ）に示す例では、注目被写体抽出画像撮像モードが設定されている状態で録画ボタンが押下された直後のフレーム１乃至３については、制御部２００からの制御に基づいて、フォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる。例えば、図６（ｂ）に示す場合と同様に、フレーム１乃至３により１組の画像群が構成される。また、フレーム４乃至６については、制御部２００からの制御に基づいて、フォーカス制御部１１６が通常のフォーカス制御を行う。例えば、注目被写体に合焦するようにレンズ１１２を移動させる。以降は同様に、３つのフレームについてフォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる動作と、次の３つのフレームについて通常のフォーカス制御を行う動作とが交互に行われる。例えば、図２０（ｂ）に示すフレーム１乃至３、７乃至９、１３乃至１５について行われるフォーカス制御は、図６（ｂ）に示すフレーム１乃至３、４乃至６、７乃至９について行われるフォーカス制御と同じである。また、図２０（ｂ）に示すフレーム４乃至６、１０乃至１２について行われるフォーカス制御は、通常のフォーカス制御である。ここで、図２０（ｂ）に示すフレーム１乃至３、７乃至９、１３乃至１５は、注目被写体を抽出する場合に用いられるフレームであり、図２０（ｂ）に示すフレーム４乃至６、１０乃至１２は、動画再生を行う場合に用いられるフレームである。

なお、この例では、連続する３つの画像を１組の画像群として記録する注目被写体抽出動画記録動作と、連続する３つの画像を１組の画像群として記録する撮像動画記録動作とを交互に行う例を示す。しかしながら、例えば、それぞれの動作において生成される画像の数を変更して行うようにしてもよい。例えば、注目被写体抽出動画記録動作については、連続する３つの画像を１組の画像群とし、撮像動画記録動作については、連続する９つの画像を１組の画像群として記録するようにしてもよい。これらをユーザ操作により設定可能とするようにしてもよい。

［メタデータの記録例］
図２１は、本発明の第２の実施の形態における動画記憶部１３０およびメタデータ記憶部１４０に記憶されている各情報を模式的に示す図である。図２０（ａ）には、動画記憶部１３０に記憶されている動画ファイル１３２を模式的に示す。図２０（ｂ）には、動画ファイル１３２に関連付けてメタデータ記憶部１４０に記憶されているメタデータファイル１４７を示す。ここで、動画ファイル１３２には動画ＩＤ「＃１１」が付与されているものとする。

メタデータファイル１４７には、図７に示すメタデータファイル１４１と同様に、動画ＩＤ１４２と、フレーム番号１４３と、注目被写体抽出画像情報１４４と、焦点情報１４５と、絞り情報１４６とが関連付けて記憶されている。なお、これらの各情報は、図７に示すメタデータファイル１４１と同様であるが、記憶される内容が図７に示す例と異なる。このため、以下では、図７に示す例と異なる部分を中心に説明し、共通する部分についての説明を省略する。

注目被写体抽出画像情報１４４には、注目被写体抽出動画記録動作により生成された３つの連続するフレームの先頭フレームには「−１」が格納され、真中のフレームには「２」が格納され、最後のフレームには「１」が格納される。また、撮像動画記録動作により生成された３つの連続する各フレームには「０」が格納される。すなわち、注目被写体抽出画像情報１４４により、注目被写体抽出動画記録動作により生成された１組の画像群を構成する各画像と、撮像動画記録動作により生成された１組の画像群を構成する各画像とを特定することができる。

焦点情報１４５には、注目被写体抽出動画記録動作により生成された３つの連続するフレームについては、レンズ１１２の位置に応じて、「Ｆ」、「Ｎ」、「Ｔ」が格納される。また、撮像動画記録動作により生成された３つの連続する各フレームには「Ｔ」が格納される。なお、これらの「Ｆ」、「Ｎ」、「Ｔ」は、図２０（ｂ）に示すグラフにおける「Ｆ」、「Ｎ」、「Ｔ」に対応する。

絞り情報１４６には、注目被写体抽出動画記録動作により生成された３つの連続する各フレームについては、絞り１１５の絞り値が閾値ＴＨ１以下であるため、「Ｏ（Open）」が格納される。また、撮像動画記録動作により生成された３つの連続する各フレームについては、絞り１１５の絞り値が大きい値であるため、「Ｃ」が格納される。なお、この「Ｃ」は、図２０（ａ）に示すグラフにおける「Ｃ」に対応し、「Ｏ」は、図２０（ａ）に示すグラフにおける「ＴＨ１」に対応する。

［注目被写体抽出および表示例］
次に、動画記憶部１３０に記憶されている動画ファイルについて、動画再生を行う場合と、注目被写体を抽出してストロボ画像を表示する場合とについて図面を参照して詳細に説明する。

図２２および図２３は、本発明の第２の実施の形態における表示制御部２２０により表示される各画像の遷移を示す図である。図２２および図２３では、表示部２３０における表示画面２３１に含まれる動画再生領域２３２およびストロボ画像表示領域２３３に各画像が表示される例を示す。動画再生領域２３２には、撮像動画記録動作により生成された各画像を示し、ストロボ画像表示領域２３３には、注目被写体抽出動画記録動作により生成された各画像を用いて作成されたストロボ画像を示す。図２２および図２３に示す動画再生領域２３２およびストロボ画像表示領域２３３に表示される各画像は、野球の試合においてバッターボックスに立っているバッターの遷移を示す画像である。また、動画再生領域２３２およびストロボ画像表示領域２３３に同時に表示される２つの画像は、略同時刻に記録された画像である。なお、図２２および図２３に示す例では、注目被写体の遷移を容易に把握するため、一定間隔毎の注目被写体の画像のみを示す。

最初に、再生処理部１５０が、動画記憶部１３０に記憶されている動画ファイルおよびこの動画ファイルに関連付けてメタデータ記憶部１４０に記憶されているメタデータファイルを取得する。続いて、再生処理部１５０が、取得された動画ファイルをデコードして動画ファイルを構成する各フレームを時系列で順次取得する。続いて、取得された各フレームに関連付けられているメタデータファイルの注目被写体抽出画像情報１４４を取得する。ここで、注目被写体抽出画像情報１４４に「０」が格納されている場合には、撮像動画記録動作により生成された画像である。このため、注目被写体抽出画像情報１４４に「０」が格納されている画像については、再生処理部１５０が表示制御部２２０に順次出力し、撮像動画の再生が行われる。ここで、撮像動画記録動作により生成された画像を表示制御部２２０が表示させる場合には、撮像動画記録動作により生成された１つの画像群と次の画像群との間に含まれる３つのフレームの間隔では、直前に表示された画像を表示する状態とする。

一方、注目被写体抽出画像情報１４４に「−１」、「２」、「１」の何れかが格納されている場合には、注目被写体抽出動画記録動作により生成された各フレームである。このため、注目被写体抽出画像情報１４４に「−１」、「２」、「１」が格納されている３つの連続する画像については、再生処理部１５０が対象画像保持部１６０に順次出力して保持させる。続いて、評価値算出部１７０による評価値の算出、注目被写体抽出部１８０による注目被写体の抽出、画像合成部１９０による画像合成の一連の処理が行われる。この一連の処理については、１つの画像群と次の画像群との間に、３つのフレームの間隔が空く点以外の点は、本発明の第１の実施の形態と同様であるため、ここでの説明を省略する。

この例では、撮像動画記録動作により生成された画像と、注目被写体抽出動画記録動作により生成された画像とを同時に表示する例を示すが、何れかの画像のみを表示することもできる。例えば、撮像動画記録動作により生成された画像のみを表示させることができる（いわゆる、フレーム飛ばしの再生）。また、動画再生領域２３２に表示される画像の遷移に応じて、動画再生領域２３２以外の領域に分解画像を順次表示させるようにしてもよい。これらの表示方法をユーザ操作により選択するようにしてもよい。

［撮像装置の動作例］
次に、本発明の第２の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図２４は、本発明の第２の実施の形態における撮像装置１００による注目被写体抽出動画記録処理の処理手順を示すフローチャートである。この注目被写体抽出動画記録処理は、図１７に示す注目被写体抽出動画記録処理の変形例であり、図１７に示す処理と同一の処理については同一の符号を付して説明を省略する。また、この例では、制御部２００が注目被写体抽出画像情報（−１、２、１、０）を順次保持して、この保持されている注目被写体抽出画像情報に基づいて撮像制御を行う例について説明する。ここで、制御部２００が保持する注目被写体抽出画像情報は、−１、２、１については１つの画像を生成する毎に順次変更されるが、０については所定数（例えば、３）の画像を生成するまで保持される。

現在の注目被写体抽出画像情報は「０」であるか否かが判断される（ステップＳ９６１）。現在の注目被写体抽出画像情報が「０」である場合には（ステップＳ９６１）、絞り値が閾値ＴＨ１よりも大きい値となるように、絞り制御部１１７が絞り１１５の開閉を制御する（ステップＳ９６２）。すなわち、被写体照度に応じて絞り１１５が調整され、注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度が深くなる。

続いて、撮像範囲に含まれる被写体のうち、注目被写体に合焦するようにフォーカス制御部１１６がレンズ１１２を制御する（ステップＳ９６３）。この状態は、被写体照度に応じて絞り１１５が調整されて注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度が深くなった状態であるため、フォーカス制御により比較的広い範囲の被写体に合焦することになる。続いて、イメージャ１１８および撮像信号処理部１１９が１つの画像を生成する（ステップＳ９６４）。続いて、記録制御部１２０が、生成された１つの画像を動画記憶部１３０に記録する（ステップＳ９６５）。続いて、記録制御部１２０が、生成された１つの画像に対応する注目被写体抽出画像作成情報をメタデータ記憶部１４０に記録する（ステップＳ９６６）。例えば、注目被写体抽出画像情報として「０」が記録される。

続いて、絞り制御部１１７が絞り１１５を開いて、注目被写体抽出画像撮像モードの被写界深度の目標値よりも被写界深度が深くなった後に、所定数（例えば、３）の画像が生成されたか否かが判断される（ステップＳ９６７）。所定数の画像が生成されていない場合には（ステップＳ９６７）、ステップＳ９６３に戻る。すなわち、通常の撮像動画として所定数の画像を順次生成させ、１組の画像群を生成させる。所定数の画像が生成されている場合には（ステップＳ９６７）、絞り値が閾値ＴＨ１となるように、絞り制御部１１７が絞り１１５の開閉を制御し（ステップＳ９６８）、ステップＳ９２６に進む。すなわち、絞り１１５が開放され、注目被写体抽出画像撮像モード以外の撮像モードの被写界深度の目標値よりも被写界深度が浅くなる。

図２５は、本発明の第２の実施の形態における撮像装置１００による動画再生処理の処理手順を示すフローチャートである。この動画再生処理は、図１８に示す動画再生処理の変形例であり、図１８に示す処理と同一の処理については同一の符号を付して説明を省略する。なお、この例で示すフレーム飛ばしの再生は、注目被写体抽出画像撮像モードにおいて記録された動画を、通常の動画再生と略同様に見ることができる再生処理である。

ストロボ画像の再生を指示する指示操作が受け付けられていない場合には（ステップＳ９３２）、フレーム飛ばしの再生を指示する指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３６）。フレーム飛ばしの再生を指示する指示操作が受け付けられた場合には（ステップＳ９３６）、フレーム飛ばしの再生処理が行われる（ステップＳ９７０）。このフレーム飛ばしの再生処理については、図２６を参照して詳細に説明する。

一方、フレーム飛ばしの再生を指示する指示操作が受け付けられていない場合には（ステップＳ９３６）、動画およびストロボ画像の同時再生を指示する指示操作が、操作受付部２１０により受け付けられたか否かが判断される（ステップＳ９３７）。動画およびストロボ画像の同時再生を指示する指示操作が受け付けられた場合には（ステップＳ９３７）、動画ストロボ画像同時再生処理が行われる（ステップＳ９８０）。この動画ストロボ画像同時再生処理については、図２７を参照して詳細に説明する。一方、動画およびストロボ画像の同時再生を指示する指示操作が受け付けられていない場合には（ステップＳ９３７）、ステップＳ９３３に進む。

図２６は、本発明の第２の実施の形態における撮像装置１００による動画再生処理の処理手順のうちのフレーム飛ばしの再生処理手順（図２５に示すステップＳ９７０の処理手順）を示すフローチャートである。

最初に、再生処理部１５０が、フレーム飛ばしの再生を指示する指示操作に係る動画ファイルを動画記憶部１３０から取得し、この取得された動画ファイルをデコードして動画ファイルを構成する１フレーム（現フレーム）を取得する（ステップＳ９７１）。続いて、再生処理部１５０が、取得された動画ファイルに対応するメタデータファイルをメタデータ記憶部１４０から取得し、この取得されたメタデータファイルから現フレームに対応するメタデータを取得する（ステップＳ９７２）。

続いて、再生処理部１５０が、現フレームに対応するメタデータに含まれる注目被写体抽出画像情報は「０」であるか否かを判断する（ステップＳ９７３）。現フレームに対応する注目被写体抽出画像情報が「０」である場合には（ステップＳ９４３）、再生処理部１５０が、現フレームを表示制御部２２０に出力して保持させ、現画像とする（ステップＳ９７４）。一方、現フレームに対応する注目被写体抽出画像情報が「０」でない場合には（ステップＳ９４３）、再生処理部１５０が、現フレームを表示制御部２２０に出力せずに、表示制御部２２０に直前に保持されたフレームを現画像とする（ステップＳ９７５）。

続いて、表示制御部２２０が、現画像を表示部２３０に表示させる（ステップＳ９７６）。続いて、フレーム飛ばしの再生を指示する指示操作に係る動画ファイルを構成するフレームのうち、現フレームが最後のフレームであるか否かが判断される（ステップＳ９７７）。現フレームが最後のフレームである場合には（ステップＳ９７７）、フレーム飛ばしの再生処理の動作を終了する。一方、現フレームが最後のフレームでない場合には（ステップＳ９７７）、ステップＳ９７１に戻る。

図２７は、本発明の第２の実施の形態における撮像装置１００による動画再生処理の処理手順のうちの動画ストロボ画像同時生成処理手順（図２５に示すステップＳ９８０の処理手順）を示すフローチャートである。この動画ストロボ画像同時生成処理は、図１９に示すストロボ画像再生処理の変形例であり、図１９に示す処理と同一の処理については同一の符号を付して説明を省略する。

最初に、再生処理部１５０が、動画およびストロボ画像の同時再生の指示操作に係る動画ファイルを動画記憶部１３０から取得し、この取得された動画ファイルをデコードして動画ファイルを構成する１フレーム（現フレーム）を取得する（ステップＳ９８１）。また、現フレームに対応する注目被写体抽出画像情報が「１」でない場合には（ステップＳ９４７）、ステップＳ９８２に進む。

続いて、再生処理部１５０が、現フレームに対応するメタデータに含まれる注目被写体抽出画像情報は「０」であるか否かを判断する（ステップＳ９８２）。現フレームに対応する注目被写体抽出画像情報が「０」である場合には（ステップＳ９８２）、再生処理部１５０が、現フレームを表示制御部２２０に出力して保持させ、現画像とする（ステップＳ９８３）。続いて、表示制御部２２０が、現画像を表示部２３０に表示させ（ステップＳ９８４）、ステップＳ９５４に進む。また、現フレームに対応する注目被写体抽出画像情報が「０」でない場合には（ステップＳ９４３）、ステップＳ９５４に進む。

［フォーカス制御の変形例］
以上では、注目被写体抽出画像撮像モードが設定されている場合には、図２０に示すように、絞り制御およびフォーカス制御を画像群毎に変更しながら、撮像画像を記録する例について説明した。以下では、絞り制御およびフォーカス制御の変形例について図面を参照して詳細に説明する。

図２８は、本発明の第２の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。なお、図２８に示す例は、図２０に示すレンズ１１２および絞り１１５の移動の軌跡の変形例である。このため、図２０に示す例と共通する部分については、同一の符号を付してこれらの説明を省略し、図２０に示す例と異なる部分を中心に説明する。

図２８（ｂ）に示す例では、注目被写体抽出画像撮像モードが設定されている状態で録画ボタンが押下された直後のフレーム１乃至３については、制御部２００からの制御に基づいて、フォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる。例えば、図１３（ｂ）に示す場合と同様に、フレーム１乃至３により１組の画像群が構成される。また、フレーム４乃至６については、制御部２００からの制御に基づいて、フォーカス制御部１１６が通常のフォーカス制御を行う。例えば、注目被写体に合焦するようにレンズ１１２を移動させる。以降は同様に、３つのフレームについてフォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる動作と、次の３つのフレームについて通常のフォーカス制御を行う動作とが交互に行われる。例えば、図２８（ｂ）に示すフレーム１乃至３、７乃至９、１３乃至１５について行われるフォーカス制御は、図１３（ｂ）に示すフレーム１乃至３、４乃至６、７乃至９について行われるフォーカス制御と同じである。また、図２８（ｂ）に示すフレーム４乃至６、１０乃至１２について行われるフォーカス制御は、通常のフォーカス制御である。ここで、図２８（ｂ）に示すフレーム１乃至３、７乃至９、１３乃至１５は、注目被写体を抽出する場合に用いられるフレームであり、図２８（ｂ）に示すフレーム４乃至６、１０乃至１２は、動画再生を行う場合に用いられるフレームである。

図２９は、本発明の第２の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。なお、図２９に示す例は、図２０に示すレンズ１１２および絞り１１５の移動の軌跡の変形例である。このため、図２０に示す例と共通する部分については、同一の符号を付してこれらの説明を省略し、図２０に示す例と異なる部分を中心に説明する。

図２９（ｂ）に示す例では、注目被写体抽出画像撮像モードが設定されている状態で録画ボタンが押下された直後のフレーム１乃至３については、制御部２００からの制御に基づいて、フォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる。例えば、図１５（ｂ）に示す場合と同様に、フレーム１乃至３により１組の画像群が構成される。また、フレーム４乃至６については、制御部２００からの制御に基づいて、フォーカス制御部１１６が通常のフォーカス制御を行う。例えば、注目被写体に合焦するようにレンズ１１２を移動させる。以降は同様に、３つのフレームについてフォーカス制御部１１６がフレーム毎にレンズ１１２を移動させる動作と、次の３つのフレームについて通常のフォーカス制御を行う動作とが交互に行われる。例えば、図２９（ｂ）に示すフレーム１乃至３、７乃至９、１３乃至１５について行われるフォーカス制御は、図１５（ｂ）に示すフレーム１乃至３、４乃至６、７乃至９について行われるフォーカス制御と同じである。また、図２９（ｂ）に示すフレーム４乃至６、１０乃至１２について行われるフォーカス制御は、通常のフォーカス制御である。ここで、図２９（ｂ）に示すフレーム１乃至３、７乃至９、１３乃至１５は、注目被写体を抽出する場合に用いられるフレームであり、図２８（ｂ）に示すフレーム４乃至６、１０乃至１２は、動画再生を行う場合に用いられるフレームである。

このように、図２８または図２９に示す各状態で、連続する３つの画像が順次生成される。この生成された連続する３つの画像を１組の画像群とし、この１組の画像群に関する注目被写体抽出画像作成情報がメタデータ記憶部１４０に記録される。なお、メタデータ記憶部１４０に記録される内容については、１組の画像群を構成する各画像のうち、注目被写体に合焦された画像と、注目被写体以外の被写体に合焦された画像との順序が異なる以外は図２１に示す例と同様であるため、ここでの説明を省略する。

このように、本発明の第２の実施の形態によれば、１つの撮像装置による１度の撮像動作により記録された同一時刻の同一のシーンについて、通常の動画再生と略同一の動画再生と、ストロボ画像や分解画像等の再生とを容易に行うことができる。これにより、同一の動画について色々な再生を楽しむことができ、その動画に対する興味をさらに高めることができる。また、これらの記録動作については、注目被写体抽出画像撮像モード設定ボタンの操作により行うことができるため、ユーザ操作が容易である。また、これらの再生を行う場合にも、注目被写体を指定する等の手動操作が不要であるため、ユーザ操作が容易である。

なお、本発明の実施の形態では撮像装置を例にして説明したが、動画記憶部１３０およびメタデータ記憶部１４０に記憶されている各ファイルについて画像処理を行うことが可能な画像処理装置に本発明の実施の形態を適用することができる。また、表示部２３０に表示される合成画像等を他の画像表示装置において表示させるための画像情報を出力する画像出力部を設けた画像処理装置に本発明の実施の形態を適用することができる。また、動画記憶部１３０およびメタデータ記憶部１４０に記憶されている各ファイルを記録媒体等に記録して、他の画像処理装置において各再生処理に用いるようにしてもよい。さらに、動画記録や画像を連射することが可能なデジタルスチルカメラや携帯電話機等の撮像装置に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における撮像部１１０の内部構成例を示す図である。 本発明の第１の実施の形態における撮像部１１０により生成される撮像動画を構成する画像の遷移を概略的に示す図である。 本発明の第１の実施の形態における撮像部１１０が注目被写体抽出動画を生成する際におけるレンズおよび絞りの対応関係を概略的に示す図である。 本発明の第１の実施の形態における撮像部１１０により生成される撮像動画を構成する画像の例を示す図である。 本発明の第１の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。 本発明の第１の実施の形態における動画記憶部１３０およびメタデータ記憶部１４０に記憶されている各情報を模式的に示す図である。 本発明の第１の実施の形態における注目被写体抽出部１８０が注目被写体を抽出する際に用いられる評価値の算出対象となる画像を示す図である。 本発明の実施の形態における注目被写体抽出部１８０により抽出された注目被写体の画像の一例を示す図である。 図５（ｄ）乃至（ｆ）に示す画像３４４乃至３４６を用いて、基準画像から抽出された注目被写体の画像の一例を示す図である。 本発明の第１の実施の形態における注目被写体抽出部１８０により抽出された注目被写体の画像と、これらの注目被写体の画像が合成された合成画像の例を示す図である。 本発明の第１の実施の形態における撮像部１１０が注目被写体抽出動画を生成する際におけるレンズおよび絞りの対応関係を概略的に示す図である。 本発明の第１の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。 本発明の第１の実施の形態における撮像部１１０が注目被写体抽出動画を生成する際におけるレンズおよび絞りの対応関係を概略的に示す図である。 本発明の第１の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。 本発明の第１の実施の形態における撮像装置１００による動画記録処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における撮像装置１００による動画記録処理の処理手順のうちの注目被写体抽出動画記録処理手順を示すフローチャートである。 本発明の第１の実施の形態における撮像装置１００による動画再生処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における撮像装置１００による動画再生処理の処理手順のうちのストロボ画像再生処理手順を示すフローチャートである。 本発明の第２の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。 本発明の第２の実施の形態における動画記憶部１３０およびメタデータ記憶部１４０に記憶されている各情報を模式的に示す図である。 本発明の第２の実施の形態における表示制御部２２０により表示される各画像の遷移を示す図である。 本発明の第２の実施の形態における表示制御部２２０により表示される各画像の遷移を示す図である。 本発明の第２の実施の形態における撮像装置１００による注目被写体抽出動画記録処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における撮像装置１００による動画再生処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における撮像装置１００による動画再生処理の処理手順のうちのフレーム飛ばしの再生処理手順を示すフローチャートである。 本発明の第２の実施の形態における撮像装置１００による動画再生処理の処理手順のうちの動画ストロボ画像同時生成処理手順を示すフローチャートである。 本発明の第２の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。 本発明の第２の実施の形態におけるレンズ１１２および絞り１１５の移動の軌跡の一例を時系列で示す図である。

符号の説明

１００ 撮像装置
１１０ 撮像部
１１１ 光学系
１１２〜１１４ レンズ
１１５ 絞り
１１６ フォーカス制御部
１１７ 絞り制御部
１１８ イメージャ
１１９ 撮像信号処理部
１２０ 記録制御部
１３０ 動画記憶部
１４０ メタデータ記憶部
１５０ 再生処理部
１６０ 対象画像保持部
１７０ 評価値算出部
１８０ 注目被写体抽出部
１９０ 画像合成部
１９１ 合成画像保持部
２００ 制御部
２１０ 操作受付部
２２０ 表示制御部
２３０ 表示部
２４０ モニタリング処理部

Claims (15)

1. 被写体を撮像して撮像動画を生成する撮像部と、
   前記被写体に含まれる物体のうち対象物体である注目被写体を前記撮像動画から抽出するための注目被写体抽出画像撮像モードが設定された場合には前記注目被写体抽出画像撮像モード以外の撮像モードの設定時における第１の被写界深度よりも浅い第２の被写界深度にして前記撮像動画を生成させる制御部と
   を具備する撮像装置。
2. 前記制御部は、前記注目被写体抽出画像撮像モードが設定された場合には前記注目被写体に合焦させる位置と前記注目被写体以外の他の被写体に合焦させる位置とに焦点距離を変更しながら前記撮像動画を生成させて焦点距離が互いに異なる複数の画像の組合せを順次生成させる請求項１記載の撮像装置。
3. 前記制御部は、前記注目被写体に合焦させて撮像された画像である基準画像と前記注目被写体以外の他の被写体に合焦させて撮像された画像とを含む連続する複数の画像を前記組合せとする請求項２記載の撮像装置。
4. 前記制御部は、前記基準画像と前記被写体に含まれる物体のうち前記注目被写体よりも遠距離に位置する物体に合焦させて撮像された画像である遠距離被写体合焦画像と前記被写体に含まれる物体のうち前記注目被写体よりも近距離に位置する物体に合焦させて撮像された画像である近距離被写体合焦画像とを含む連続する複数の画像を前記組合せとする請求項３記載の撮像装置。
5. 前記組合せに係る前記基準画像と前記遠距離被写体合焦画像と前記近距離被写体合焦画像とに含まれる高周波成分に基づいて前記基準画像に含まれる前記注目被写体を抽出する注目被写体抽出部をさらに具備する請求項４記載の撮像装置。
6. 前記組合せに係る前記基準画像と前記遠距離被写体合焦画像と前記近距離被写体合焦画像とに関する情報を各画像の付随情報として画像毎に関連付けて記録させる記録制御部をさらに具備する請求項４記載の撮像装置。
7. 前記注目被写体抽出画像撮像モードは、前記組合せに係る前記基準画像と前記遠距離被写体合焦画像と前記近距離被写体合焦画像とに含まれる高周波成分に基づいて前記基準画像に含まれる前記注目被写体を抽出するための前記撮像動画を記録する撮像モードである請求項４記載の撮像装置。
8. 前記制御部は、前記注目被写体抽出画像撮像モードが設定された場合には前記第２の被写界深度にした状態で前記撮像動画を生成させる撮像動作と前記第１の被写界深度にした状態で前記撮像動画を生成させる撮像動作とが交互に繰り返されるように制御する請求項１記載の撮像装置。
9. 前記制御部は、前記注目被写体抽出画像撮像モードが設定された場合には前記注目被写体抽出画像撮像モード以外の撮像モードの設定時における絞り値の目標値よりも小さい絞り値とすることにより前記第２の被写界深度にする請求項１記載の撮像装置。
10. 被写体を撮像して撮像動画を生成する撮像部と、
    前記被写体に含まれる物体のうち対象物体である注目被写体を前記撮像動画から抽出するための注目被写体抽出画像撮像モード以外の撮像モードの設定時における被写界深度よりも浅い被写界深度にして前記注目被写体に合焦させる位置と前記注目被写体以外の他の被写体に合焦させる位置とに焦点距離を変更しながら前記撮像動画を生成させて焦点距離が互いに異なる複数の画像の組合せを順次生成させる制御部と
    を具備する撮像装置。
11. 被写体に含まれる物体のうち対象物体である注目被写体に合焦させて撮像された画像である基準画像と前記注目被写体以外の他の被写体に合焦させて撮像された画像である他の画像とを含む連続する複数の画像の組合せを含む撮像動画について前記基準画像に含まれる高周波成分に基づいて前記基準画像に関する評価値を算出し、前記他の画像に含まれる高周波成分に基づいて前記他の画像に関する評価値を算出する評価値算出部と、
    前記算出された各評価値に基づいて前記基準画像に含まれる前記注目被写体を抽出する注目被写体抽出部と
    を具備する画像処理装置。
12. 前記撮像動画は、前記組合せを複数含み、
    前記注目被写体抽出部は、前記基準画像に含まれる前記注目被写体を前記組合せ毎に抽出し、
    前記組合せ毎に抽出された注目被写体の画像を合成して合成画像を作成する画像合成部をさらに具備する請求項１１記載の画像処理装置。
13. 前記抽出された注目被写体の画像を表示させる表示制御部をさらに具備する請求項１１記載の画像処理装置。
14. 被写体に含まれる物体のうち対象物体である注目被写体を撮像動画から抽出するための注目被写体抽出画像撮像モード以外の撮像モードが設定されている場合に第１の被写界深度にして被写体を撮像して撮像動画を生成させる第１の制御手順と、
    前記注目被写体抽出画像撮像モードが設定されている場合に前記第１の被写界深度よりも浅い第２の被写界深度にして被写体を撮像して撮像動画を生成させる第２の制御手順と
    を具備する撮像装置の制御方法。
15. 被写体に含まれる物体のうち対象物体である注目被写体を撮像動画から抽出するための注目被写体抽出画像撮像モード以外の撮像モードが設定されている場合に第１の被写界深度にして被写体を撮像して撮像動画を生成させる第１の制御手順と、
    前記注目被写体抽出画像撮像モードが設定されている場合に前記第１の被写界深度よりも浅い第２の被写界深度にして被写体を撮像して撮像動画を生成させる第２の制御手順と
    をコンピュータに実行させるプログラム。