JP2007266659A - 撮像再生装置 - Google Patents

Abstract

【課題】撮影した動画の内容をサムネイル表示画面から素早く且つ的確に把握せしめる。
【解決手段】撮影した動画ごとに、動画の特徴的部分を含んだ特殊再生用期間を選定し、該特殊再生用期間に対応するサムネイル動画を作成する。サムネイル動画は、その期間における縮小フレーム画像を時間方向に間引くことによって形成される。サムネイル静止画を一覧表示している状態において、動画に対応するサムネイル静止画ＴＮ３をカーソル７２にて選択すると、その動画に対応するサムネイル動画が一覧表示のまま再生表示される。
【選択図】図５

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に代表される撮像再生装置に関する。

デジタルビデオカメラ等の撮像装置には、サムネイル画像を表示するモードが設けられていることが多い。動画用のサムネイル画像は、通常、動画の先頭画像等を縮小した静止画像となっている。ユーザは、このサムネイル画像を頼りに、録画した複数の動画の内から再生しようとする動画を選び出す。

しかしながら、動画の先頭画像等に対応した１枚のサムネイル画像にて、動画の特徴を把握するのは困難であることが多い。

一方において、下記特許文献１には、ユーザが再生メニューに表示されている番組名を選択した場合にそれに対応する静止画像を再生し、その後一定時間操作が何も行われなかったとき、その番組名に対応する映像音声データストリームの早送り再生を行う装置が開示されている。

また、下記特許文献２には、収納された各ディスクからの映像を１画面内で表示するためのダイジェスト映像データを生成及び出力する再生装置が開示されている。この再生装置では、ダイジェスト映像データ出力時にディスクに早送り再生を実行させ、ダイジェスト映像表示内で早送り映像を再生することが可能となっている。

特開２００３−２５９３１０号公報 特開２００５−１８３００３号公報

上述したように、動画の先頭画像等に対応した１枚のサムネイル画像にて動画の特徴を把握するのは困難であることが多い。このため、所望の動画ファイルを素早く探索できないことが多い。

また、上記特許文献１又は２に記載された技術を用いたとしても、単に動画の先頭フレームから縮小画像を早送り再生したのでは、動画の内容の把握に時間がかかってしまう。

そこで本発明は、撮影した動画の内容の素早い把握を可能ならしめる撮像再生装置を提供することを目的とする。

上記の目的を達成するために本発明に係る撮像再生装置は、被写体に応じた撮像信号を出力する撮像手段と、前記撮像信号に基づいて、撮影した動画ごとにサムネイルを生成するサムネイル生成手段と、撮影した動画ごとに、動画の全体の撮影期間の一部の期間である特殊再生用期間を選定し、該特殊再生用期間における前記撮像信号に基づいた特殊再生用動画を生成する特殊生成手段と、を備え、１又は２以上の前記サムネイルを再生手段に一覧表示している際において、外部からの操作によって何れかのサムネイルが選択されたとき、選択された前記サムネイルに対応する前記特殊再生用動画が前記再生手段にて再生されることを特徴とする。

特殊再生用期間は動画の全体の撮影期間よりも短く、特殊再生用期間を適切に設定すれば、撮影した動画の内容を素早く把握することが可能となる。この結果、ユーザは、所望の動画ファイルを短時間で探索できるようになる。

特殊再生用期間に、撮影した動画の特徴的部分を表した期間を含めるようにすれば、素早く且つ的確に撮影動画の内容を把握することができるようになる。

そこで具体的には例えば、上記撮像再生装置は、外部から音の入力を受ける音入力手段を更に備え、前記特殊生成手段は、前記動画の撮影中に入力された前記音の強さ若しくは大きさまたは前記音の所定帯域の周波数成分の強さ若しくは大きさに基づいて、前記特殊再生用期間を選定する。

また具体的には例えば、上記撮像再生装置は、前記被写体を表す光学像が前記撮像手段に備えられた撮像素子の撮像面に結像するようにフォーカスレンズの位置を自動的に調節するオートフォーカス制御手段を更に備え、前記特殊生成手段は、前記位置の変動状態に基づいて、前記特殊再生用期間を選定する。

また具体的には例えば、上記撮像再生装置は、前記動画を構成する撮影画像内の画像の動きに基づいて、特定の被写体を捉えつつパンニング撮影が行われているか否かを検出するパンニング撮影検出手段を備え、前記特殊生成手段は、前記パンニング撮影検出手段の検出結果に基づいて、前記特殊再生用期間を選定する。

また具体的には例えば、上記撮像再生装置は、前記撮像信号に基づいて、前記動画を構成する撮影画像内に存在する人物の顔領域を検出する顔領域検出手段を更に備え、前記特殊生成手段は、検出された前記顔領域の大きさに基づいて、前記特殊再生用期間を選定する。

また具体的には例えば、上記撮像再生装置は、前記撮像手段による撮影の画角の変更を可能とするための画角変更手段を備え、前記特殊生成手段は、前記画角変更手段による前記画角の変更状態に基づいて、前記特殊再生用期間を選定する。

また例えば、前記特殊生成手段は、動画撮影中に或いは動画撮影終了後に前記特殊再生用動画を表す特殊再生用動画データを生成して記録手段に記録し、前記再生手段による前記特殊再生用動画の再生は、前記特殊再生用動画データを前記記録手段から読み出すことによって行われる。

先に特殊再生用動画データを生成して記録しておけば、再生時の信号処理負担が軽減され、速やかに特殊再生用動画を再生すること可能となる。

しかしながら、勿論例えば、撮影した動画を表す画像データを記録するための記録手段を備え、前記特殊生成手段が、前記特殊再生用動画を前記再生手段にて再生する際に、前記記録手段に記録された前記画像データを用いて、前記特殊再生用動画を生成するようにしてもよい。

上述した通り、本発明によれば、撮影した動画の内容を素早く把握することが可能になる。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付す。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク（音入力手段）１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路（ビデオ出力回路）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。

バス２４には、撮像部１１、ＡＦＥ１２、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９、映像出力回路２０、音声出力回路２１及びＣＰＵ２３が接続されている。バス２４に接続された各部位は、バス２４を介して、各種の信号（データ）のやり取りを行う。

バス２５には、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＳＤＲＡＭ１７に接続されている。バス２５に接続された各部位は、バス２５を介して、各種の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じて、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。メモリカード１８は、撮像装置１に対して着脱自在となっている。メモリカード１８の記録内容は、メモリカード１８の端子を介して又は撮像装置１に設けられた通信用コネクタ部（不図示）を介して、外部のパーソナルコンピュータ等によって自在に読み出し可能である。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り１２の開口量の調節を実現するためのモータ等から構成される。

被写体（撮像対象）からの入射光は、光学系３５を構成するズームレンズ３０及びフォーカスレンズ３１、並びに、絞り３２を介して撮像素子３３に入射する。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

撮像素子３３は、カラー撮影の可能な、単板式の撮像素子となっている。撮像素子３３を構成する各画素には、例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の何れかのカラーフィルタ（不図示）が設けられている。尚、撮像素子３３として、３板式の撮像素子を採用することも可能である。

ＡＦＥ１２は、撮像部１１の出力信号（即ち、撮像素子３３の出力信号）であるアナログの上記電気信号を増幅する増幅回路（不図示）と、増幅された電気信号をデジタル信号に変換するＡ／Ｄ（アナログ−デジタル）変換回路（不図示）と、を備える。ＡＦＥ１２によってデジタル信号に変換された撮像部１１の出力信号は、順次、映像信号処理部１３に送られる。また、ＣＰＵ２３は、撮像部１１の出力信号の信号レベルに基づいて上記増幅回路の増幅度を調整する。

以下、撮像部１１またはＡＦＥ１２から出力される、被写体に応じた信号を、撮像信号と呼ぶ。

図３は、映像信号処理部１３の内部ブロック図である。映像信号処理部１３は、動画／静止画処理部４１と、ＡＦ評価値検出部４２と、ＡＥ評価値検出部４３と、動き検出部４４と、サムネイル生成部４５と、顔領域検出部４６と、を備える。

動画／静止画処理部４１は、ＡＦＥ１２からの撮像信号に基づいて、撮像部１１の撮影によって得られる映像（撮影画像）を表す映像信号を生成し、生成した映像信号を圧縮処理部１６に送る。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。動画／静止画処理部４１は、動画の映像信号の生成と静止画の映像信号の生成の双方を行う。

マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３（動画／静止画処理部４１）からの映像信号を、所定の圧縮方式を用いて圧縮する。動画に対しては、例えば、ＭＰＥＧ（Moving Picture Experts Group）等の圧縮方式を用いて映像信号の圧縮を行い、静止画に対しては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式を用いて映像信号の圧縮を行う。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。

尚、例えば、動画を構成する各撮影画像の画像サイズは、動画／静止画処理部４１等において、必要に応じ、間引き処理等を介して縮小されている。静止画に対しては、例えば、そのような縮小処理は施されない（施してもよい）。

また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、ＡＡＣ（Advanced Audio Coding）等の所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて、時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。

録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。録画ボタン２６ａに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。１つのフレームにて１つのフレーム画像が得られる。各フレームの長さは、例えば１／６０秒である。この場合、１／６０秒の周期にて順次取得されるフレーム画像の集まり（ストリーム画像）が、動画を構成する。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。再生モードには、メモリカード１８に格納された動画または静止画に関連付けられたサムネイル画像を表示部２７に再生表示するサムネイル画像表示モードが、含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームの撮影画像（即ちフレーム画像）が順次メモリカード１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下直後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。動画の撮影中に静止画を同時撮影することも可能であり、この場合、同一のフレームの撮像信号に基づいて、動画に関する信号処理と静止画に関する信号処理が並行して行われる。尚、共通の回路を時分割で利用して、動画に関する信号処理と静止画に関する信号処理を別個のタイミングで行うようにしてもよい。例えば、静止画に関する信号処理を動画撮影終了後に行う。この場合、例えば、事後的に行うその信号処理に必要な撮像信号（撮影画像）をＳＤＲＡＭ１７に一時記憶させておけばよい。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。即ち、表示部２７は、撮像部１１から現在出力されている撮像信号に基づく画像（現在の被写体を表す画像）、または、メモリカード１８に記録されている動画（動画像）若しくは静止画（静止画像）を、表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

次に、図２及び図３を参照して、撮像部１１及び映像信号処理部１３の機能について更に説明する。撮像装置１は、「自動的にフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像を撮像素子３３の撮像面（受光面）に結像させる」所謂オートフォーカス制御機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点が撮像素子３３の撮像面上の点と一致する。

オートフォーカス制御機能は、様々な手法によって実現可能である。例えば、映像信号中の輝度信号から所定の高域周波数成分を抽出し、その高域周波数成分のレベル（大きさ）に応じてフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像を撮像素子３３の撮像面に結像させる。測距センサ（不図示）等を用いてオートフォーカス制御機能を実現するようにしてもよい。

オートフォーカス制御は、主として、図３のＡＦ評価値検出部４２と、図１のＣＰＵ２３と、図２のドライバ３４と、によって実現される。ドライバ３４は、上記高域周波数成分のレベル（大きさ）を最大値（付近）に保つためにＣＰＵ２３から送られてくるフォーカス制御信号に基づいて、フォーカスレンズ３１を撮像面に鉛直な軸である光軸に沿って移動させることにより、被写体（撮像対象）の光学像を撮像素子３３の撮像面（受光面）に結像させる。

図４は、ＡＦ評価値検出部４２の内部ブロック図である。ＡＦ評価値検出部４２は、抽出部５１、ＨＰＦ（ハイパスフィルタ）５２及び積算部５３を、有して構成される。

抽出部５１は、動画／静止画処理部４１にて生成された映像信号或いはＡＦＥ１２からの撮像信号より輝度信号を抽出する。この際、画像内の、予め設定されたフォーカス検出領域内の輝度信号のみを抽出する。フォーカス検出領域は、例えば、画像の一部の領域であり、該一部の領域は画像内の中央付近に設けられる。ＨＰＦ５２は、抽出部５１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。

積算部５３は、ＨＰＦ５２によって抽出された高域周波数成分を積算することにより、フォーカス検出領域内の画像のコントラスト量に応じたＡＦ評価値を求める。ＡＦ評価値は、フレーム毎に算出され、ＣＰＵ２３に逐次伝達される。ＡＦ評価値は、該コントラスト量に概ね比例し、該コントラスト量が増大するにつれて増大する。

ＣＰＵ２３は、逐次与えられるＡＦ評価値を一時記憶し、ＡＦ評価値が最大値（付近）に保たれるように、所謂山登り演算を用いて、ドライバ３４を介してフォーカスレンズ３１の位置を制御する。フォーカスレンズ３１が移動するに従い、画像のコントラストは変化し、ＡＦ評価値も変化する。ＣＰＵ２３は、ＡＦ評価値が大きくなる方向にドライバ３４を介してフォーカスレンズ３１の位置を制御する。この結果、同一の光学像に対する、フォーカス検出領域内の画像のコントラスト量は最大値（付近）に保たれる。

また、図３のＡＥ評価値検出部４３は、撮影画像の明るさに応じたＡＥ評価値を検出する。ＣＰＵ２３は、ＡＥ評価値に応じ、図２のドライバ３４を介して絞り３２の開口量（及び必要に応じてＡＦＥ１２の増幅回路の増幅度）を調節することにより、受光量（画像の明るさ）を制御する

また、操作キー２６ｃに対する所定の操作に従って、ＣＰＵ２３は、ドライバ３４を介してズームレンズ３０を光軸に沿って移動させることにより、撮像部１１による撮影の画角を変更する（換言すれば、撮像素子３３の撮像面上に形成される被写体の像を拡大または縮小する）。

また、図３の動き検出部４４は、撮像信号に基づいて、各画像間に存在する被写体の動きを検出する。この検出には、例えば周知の代表点マッチング法を用いる。検出された動き（動きベクトルなど）に基づいて、所謂手ぶれ補正などが実施される。

図３のサムネイル生成部４５は、静止画を撮影する際、ＣＰＵ２３の制御の下、静止画の撮影タイミングにおける撮像信号に基づいて静止画についてのサムネイル画像を生成する。このサムネイル画像は、撮影及び記録された１枚の静止画（静止画像）を、間引き処理等によって縮小した縮小画像である。静止画についてのサムネイル画像は、撮影した静止画に関連付けられつつ圧縮処理部１６による圧縮（ＪＰＥＧなど）を介してメモリカード１８に記録される。撮影した静止画と関連付けられた上記サムネイル画像を、特に静止画用サムネイル静止画と呼ぶ。

また、サムネイル生成部４５は、動画を撮影する際、ＣＰＵ２３の制御の下、所定タイミングにおける撮像信号に基づいて動画についてのサムネイル画像を生成する。このサムネイル画像は、例えば、動画撮影中の何れかのフレームの画像（１フレーム分の画像）を間引き処理等を介して縮小した縮小画像（縮小静止画像）である。動画についてのサムネイル画像は、撮影した動画に関連付けられつつ圧縮処理部１６による圧縮（ＪＰＥＧなど）を介してメモリカード１８に記録される。撮影した動画に関連付けて記録するために生成された上記サムネイル画像を、特に動画用サムネイル静止画と呼ぶ。尚、動画の画像サイズが比較的小さい場合などにおいては、撮影された動画を構成する１枚の画像そのものを、動画用サムネイル静止画としても構わない。

また、動画用サムネイル静止画が実際に生成されるタイミングは任意である。動画撮影中にＡＦＥ１２からの撮像信号を受けて動画用サムネイル静止画を生成するようにしても良いし、動画撮影時に動画用サムネイル静止画の基となる画像を選んでおき、後から（例えば、表示部２７に表示する際に）その画像を用いて動画用サムネイル静止画を生成するようにしてもよい。いずれにしても、同一の動画用サムネイル静止画の生成の基となる撮像信号は同じである。同様に、静止画用サムネイル静止画が実際に生成されるタイミングも任意である。

サムネイル画像表示モードにおいて、メモリカード１８に格納された動画用及び静止画用サムネイル静止画は、伸張処理部１９による伸張処理及び映像出力回路２０による変換処理を介して、表示部２７に表示される。

図５に、サムネイル画像表示モードにおける表示部２７の表示画面の表示例を示す。図５では、表示部２７の表示エリアは４分割され、表示エリアの左上、右上、左下及び右下に、それぞれ、サムネイル静止画ＴＮ１、ＴＮ２、ＴＮ３及びＴＮ４が一覧表示されている。メモリカード１８に、他のサムネイル静止画が格納されている場合は、操作キー２６ｃに所定の操作を施すことにより、上記他のサムネイル静止画が表示される。サムネイル静止画ＴＮ２及びＴＮ３に付されたマーク７１は、そのサムネイル静止画が動画用のサムネイル静止画であることを示している。従って、サムネイル静止画ＴＮ２及びＴＮ３は動画用サムネイル静止画であり、サムネイル静止画ＴＮ１及びＴＮ４は静止画用サムネイル静止画である。

図５において、７２は表示画面上のカーソルである。カーソル７２は、操作キー２６ｃに対する操作により表示画面上を移動する。図５は、サムネイル静止画ＴＮ３がカーソル７２によって選択されている状態を示している。各サムネイル静止画の右下に表示されている「００１」等の番号は、各サムネイル静止画のファイル番号を示している。

カーソル７２によって或るサムネイル静止画を選択している状態において、所定のキー操作を行うと、そのサムネイル静止画に関連付けられた動画または静止画がメモリカード１８から読み出される。そして、読み出された動画または静止画が表示部２７の表示画面全体を使って表示される。例えば、サムネイル静止画ＴＮ３に対応する動画が再生されるようにキー操作を施した場合、表示部２７の表示画面は図５に示す状態から図６に示す状態に遷移し、サムネイル静止画ＴＮ３に対応する動画が表示部２７の表示画面全体を使って再生表示される。この状態で、再生を停止するためのキー操作を施すと、表示画面は図５に示す状態に戻る。

尚、サムネイル画像表示モードにおいて、一度に一覧表示されるサムネイル静止画の個数は４に限定されず任意である。また、メモリカード１８に記録されているサムネイル静止画が１つの場合は、１つのサムネイル静止画（例えば動画用サムネイル静止画）のみが表示部２７に表示される。

また、或る動画用サムネイル静止画をカーソル７２にて選択した際（カーソル７２の位置を或る動画用サムネイル静止画の表示領域にあわせた際）、その動画用サムネイル静止画が関連付けられた動画の一部分に対応したサムネイル動画（特殊再生用動画）が一覧表示のまま再生（例えば、早送り再生）される。この再生を、サムネイル特殊再生と呼ぶ。この際、サムネイル動画に対応するサムネイル動画用音声もスピーカ２８から出力される。後述する説明から明らかとなるが、サムネイル動画は、例えば、撮影した動画の特徴的部分を抽出した縮小間引き動画である。

例えば、カーソル７２にてサムネイル静止画ＴＮ３を選択してから一定時間（例えば、０．５秒）が経過すると、サムネイル静止画ＴＮ３に対応するサムネイル動画が一覧表示のまま再生される。つまり、そのサムネイル動画がサムネイル静止画ＴＮ３の表示領域内で再生（サムネイル特殊再生）される。この間、他のサムネイル静止画ＴＮ１、ＴＮ２及びＴＮ４の表示は変更されない。そして、カーソル７２によるサムネイル静止画ＴＮ３の選択を解除すると（例えば、カーソル７２の位置をサムネイル静止画ＴＮ１の表示領域に移動させると）、サムネイル動画の再生は停止し、図５の表示状態に戻る。

尚、撮影した動画とサムネイル動画を区別する意味から、撮影によって得られた本来の動画を、以下、特に「撮影動画」或いは「撮影した動画」ということがある。但し、単に「動画」といった場合、それは、サムネイル動画ではなく「撮影動画」を意味するものとする。１つの撮影動画には、１つの動画用サムネイル静止画と１つのサムネイル動画が対応付けられる。同一の撮影動画に対応する、動画用サムネイル静止画とサムネイル動画もまた、互いに対応付けられている。また、以下、特に記述しない限り、或る１つの撮影動画に着目して説明を行う。特に記述しない限り、後述の各動作は、撮影した動画ごとに行われる。

図７に、サムネイル動画を生成するための機能ブロック図を示す。今、図８に示すごとく、或るタイミング（時刻）Ｔ_Sに動画撮影を開始し、その後、或るタイミング（時刻）Ｔ_Eにその動画撮影を終了した場合を考える。タイミングＴ_SとＴ_Eの間の期間は、その動画の全体の撮影期間Ｐ_Tに相当する。

期間選定部５６は、所定の規則に則って、撮影期間Ｐ_Tの中から特殊再生用期間Ｐ_S（以下、選定期間Ｐ_Sという）を選定する。この選定期間Ｐ_Sは、１つの連続した期間であっても良いし、時間的に分離した複数の期間から構成されていても良い。図８は、時間的に分離した期間Ｐ_S1及びＰ_S2が選定期間Ｐ_Sを構成する期間として選定された場合を例示している。期間Ｐ_S1及びＰ_S2の合計の長さ、即ち、期間選定部５６によって選定された選定期間Ｐ_Sの長さは、撮影期間Ｐ_Tの長さよりも短い。

特殊再生データ生成部５７は、選定期間Ｐ_Sにおける撮像信号から、サムネイル動画を表すサムネイル動画データを生成する一方で、選定期間Ｐ_Sにおける音声信号から、サムネイル動画用音声を表すサムネイル動画用音声データを生成する。サムネイル動画データとサムネイル動画用音声データとから、特殊再生データが形成される。サムネイル画像表示モードにおいて、カーソル７２の位置に応じ、サムネイル動画データとサムネイル動画用音声データとから成る特殊再生データは、表示部２７及びスピーカ２８に送られ、上述したサムネイル特殊再生が行われる。

期間選定部５６は、例えば図１のＣＰＵ２３によって実現され、特殊再生データ生成部５７は、例えば映像信号処理部１３及び音声信号処理部１５によって実現される。

期間選定部５６は、一覧表示のまま再生されるサムネイル動画を頼りにユーザが素早く動画の内容が把握できるように、上記の選定期間Ｐ_Sを選定する。つまり、期間選定部５６は、動画全体の内容を把握する上で重要な部分が、選定期間Ｐ_Sに含まれるように、選定期間Ｐ_Sを選定する。

これを実現するための選定期間Ｐ_Sの選定手法として、以下に、第１、第２、第３、第４及び第５選定手法を例示する。各選定手法に記載された事項は、矛盾なき限り、全ての選定手法に適用可能である。

また、期間選定部５６による選定期間Ｐ_Sの選定動作及びこれに基づく特殊再生データ生成部５７による特性再生データの生成は、サムネイル動画の再生時に行うこともできるが、それらを動画撮影時に行う場合を主に例示して各選定手法の説明を行う。

［第１選定手法］
まず、第１選定手法について説明する。第１選定手法では、動画撮影中においてマイク１４を介して入力された音の強さに着目する。音声信号処理部１５は、動画撮影中においてマイク１４を介して入力された、音の強さ或いは音の所定帯域の周波数成分の強さを逐次検出する機能を備える。検出された音の強さ或いは音の所定帯域の周波数成分の強さに応じた音強度値は、逐次、期間選択部５６に伝達される。

また、音の強さの代わりに音の大きさを検出するようにし、検出された音の大きさ或いは音の所定帯域の周波数成分の大きさに応じた値を音強度値としてもよい。この場合、下記の「音の強さ」及び「音の所定帯域の周波数成分の強さ」は、それぞれ、「音の大きさ」及び「音の所定帯域の周波数成分の大きさ」に読み替えられる。

例えば、音強度値は、検出された音の強さ或いは音の所定帯域の周波数成分の強さを示す値そのものである。また、検出された音の強さ或いは音の所定帯域の周波数成分の強さを示す信号に対して、時間的にローパスフィルタ処理を加えた後の信号値を音強度値としてもよい。また例えば、音強度値は、検出された音の強さの、１フレーム分の平均値又は該フレームにおけるピーク値である。また例えば、音強度値は、検出された音の所定帯域の周波数成分の強さの、１フレーム分の平均値若しくは該フレームにおけるピーク値である。

このほか、様々な音強度値の算出法を採用可能であるが、例えば、音強度値は、音の強さ或いは音の所定帯域の周波数成分の強さが増大するにつれて大きくなるものとする。また、上記の所定帯域の周波数成分とは、例えば、人の音声の周波数帯域成分または可聴周波数帯域成分である。音声信号処理部１５は、バンドパスフィルタ等を用いて、マイク１４を介して入力された音声信号から上記所定帯域の周波数成分を抽出する。

音強度値は、例えばフレーム毎に検出される。期間選択部５６は、検出された音強度値と所定の閾値ＴＨ１とを比較し、音強度値が閾値ＴＨ１以上となっているタイミングを、選定期間Ｐ_Sに含ませる。例えば、音強度値が閾値ＴＨ１以上となっているタイミングが、第ｍ番目のフレームに対応している場合、第（ｍ−ｋ）番目〜第（ｍ＋ｋ）番目のフレームに対応する期間、或いは、第ｍ番目〜第（ｍ＋ｋ）番目のフレームに対応する期間を、選定期間Ｐ_Sに含ませる。

これに代えて或いはこれに併せて、例えば、音強度値が所定時間以上継続して所定の閾値ＴＨ２以上となっている期間を、選定期間Ｐ_Sに含ませるようにしてもよい。

尚、ｍ及びｋは自然数であり、それらは、勿論、選定期間Ｐ_Sに含まれることになるフレームが撮影期間Ｐ_T内のフレームとなるような値を持つ（例えば、（ｍ−ｋ）≧１が成立する）。また、撮影動画の先頭フレームを、第１番目のフレームと考える。その後、時間が経過するにつれて、第２番目、第３番目、・・・のフレームが順次訪れるものとする。

音楽会やパーティ会場の様子を撮影している場合において、音の強さが大きくなっている状態は、撮影現場が盛り上がっている状態と一致している、と考えることができる。このため、第１選定手法を採用して選定期間Ｐ_Sを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。

［第２選定手法］
次に、第２選定手法について説明する。第２選定手法では、オートフォーカス制御に関する情報を利用する。

上述したように、逐次算出されるＡＦ評価値に基づいて、被写体を表す光学像が撮像素子３３の撮像面（受光面）に結像するように、ＣＰＵ２３は、ドライバ３４を介してフォーカスレンズ３１の位置を調整する。このため、ＣＰＵ２３は、フォーカスレンズ３１の位置を当然に認識している。フォーカスレンズ３１の位置とは、例えば、撮像素子３３の撮像面を基準としたフォーカスレンズ３１の位置である。

ＣＰＵ２３によって実現される期間選定部５６は、フォーカスレンズ３１の位置の変動の大きさが、所定の時間Ｔ２以上継続して所定の閾値内に収まっている場合（例えば、フォーカスロックされている場合）、その周辺のフレームに対応する期間を、選定期間Ｐ_Sに含ませる。

図９を参照して具体例を挙げる。図９の曲線７５及び７６は、それぞれ、動画撮影中における、ＡＦ評価値とフォーカスレンズ３１の位置（例えば、フォーカスレンズ３１と撮像面との距離）の時間変化を表している。図９は、タイミングｔ１で、ＡＦ評価値が概ね山登り曲線の最大値をとり、その状態がタイミングｔ２まで維持されている状態を示しいている。タイミングｔ１とｔ２の間の時間は、Ｔ２であるとする。

タイミングｔ２において、期間選定部５６は、タイミングｔ１からｔ２までの期間中におけるフォーカスレンズ３１の位置の変動の大きさ（変動範囲の大きさ）と、予め定められた閾値Ｂ_REFとを比較する（尚、この比較は、他のタイミングでも逐次行われている）。そして、前者が後者（Ｂ_REF）以下となっている場合、タイミングｔ２を含むフレーム及び／又はタイミングｔ２周辺のフレームに対応する期間を、選定期間Ｐ_Sに含ませる。尚、上記の比較判断が可能なように、期間選定部５６は、時間Ｔ２分の過去のフォーカスレンズ３１の位置を特定する情報を、ＳＤＲＡＭ１７に逐次記録させている。

例えば、タイミングｔ１〜ｔ２の間の期間を選定期間Ｐ_Sに含ませる。この例の場合、タイミングｔ１以前は選定期間Ｐ_Sから除外される。また例えば、タイミングｔ２以降の期間を選定期間Ｐ_Sに含ませる。この場合、タイミングｔ２以降のタイミングｔ３において、フォーカスレンズ３１の位置がタイミングｔ２におけるそれよりも閾値Ｂ_REF以上変化したならば、例えば、タイミングｔ２〜ｔ３の間の期間を選定期間Ｐ_Sに含ませてタイミングｔ３以降を選定期間Ｐ_Sから除外する。

尚、ピントが合っている状態にてフォーカスレンズ３１の位置が完全に止まる場合は、閾値Ｂ_REFをゼロとすることもできる。ＡＦ評価値の変動が或る範囲（その範囲の大きさは、例えば後述の閾値Ａ_REF）内に収まっている場合は、フォーカスレンズ３１の位置を固定する、という位置制御手法を採用可能であり、その場合、閾値Ｂ_REFはゼロとされる。

また、図９にも示すように、通常、ＡＦ評価値とフォーカスレンズ３１の位置は、連動している。このため、ＡＦ評価値に基づいて選定期間Ｐ_Sの選定を行うようにしても良い。

つまり、例えば、タイミングｔ２において、期間選定部５６は、タイミングｔ１からｔ２までのＡＦ評価値の変動の大きさ（変動範囲の大きさ）と、予め定められた閾値Ａ_REFとを比較する。そして、前者が後者（Ａ_REF）以下となっている場合に、タイミングｔ２を含むフレーム及び／又はタイミングｔ２周辺のフレームに対応する期間を、選定期間Ｐ_Sに含ませる。この場合、上記の判断が可能なように、ＣＰＵ２３は、時間Ｔ２分の過去のＡＦ評価値を、ＳＤＲＡＭ１７に逐次記録させる。ＡＦ評価値の変動に基づく選定とフォーカスレンズ３１の位置の変動に基づく選定は、等価と言える。

動画撮影開始後、ユーザは、撮影の構図を考えながら撮像装置１を頻繁に動かすことが多い。撮影の構図が確定すると、ユーザは撮像装置１を被写体に対して（略）固定する。この状態では、フォーカスは通常ロックする一方で、撮像装置１はユーザが着目している被写体を捉えている。このため、第２選定手法を採用して選定期間Ｐ_Sを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。

［第３選定手法］
次に、第３選定手法について説明する。第３選定手法では、パンニング撮影が行われているか否かを検出し、その検出結果を参照する。

パンニング撮影が行われているか否かを検出するパンニング撮影検出手段は、図３の動き検出部４４及び図１のＣＰＵ２３によって実現される。パンニング撮影とは、撮像装置１の筐体（不図示）を右から左、或いは、左から右へと振りながら行う撮影であり、横に広い風景を撮影したり、移動する人物を追いかけて撮影したりする場合に用いられる。

図１０は、図３の動き検出部４４にて定義される、撮影画像内の検出ブロックを表している。動き検出部４４は、各フレームの撮影画像（即ちフレーム画像）内に９つの検出ブロックＢＬ１〜ＢＬ９を設ける。

そして、動き検出部４４は、逐次取得される撮影画像（フレーム画像）間の対比に基づき、周知の代表点マッチング法を用いて、検出ブロックＢＬ１〜ＢＬ９ごとに動きベクトルを検出する。この動きベクトルの検出は、フレームごとに行われる。検出ブロックＢＬ１の動きベクトルは、検出ブロックＢＬ１内の画像の動きを示すベクトルである。検出ブロックＢＬ２〜ＢＬ９の動きベクトルについても同様である。また、検出ブロックＢＬ１〜ＢＬ９にて検出された動きベクトルを、夫々、動きベクトルＶＣ１〜ＶＣ９と表記する。

図１１（ａ）、（ｂ）及び（ｃ）に、各撮影状態における動きベクトルＶＣ１〜ＶＣ９の模式図を示す。但し、図面の煩雑化防止のため、各図においてＶＣ１〜ＶＣ９の一部の符号のみを付す。

図１１（ａ）は、撮像装置１が固定された状態における動きベクトルＶＣ１〜ＶＣ９の模式図である。この場合、例えば図示の如く、動きベクトルＶＣ１〜ＶＣ９の大きさは全て比較的小さく、それらの向きは均一でない。

図１１（ｂ）は、特定の被写体を追うことなくパンニング撮影を行っている状態における、動きベクトルＶＣ１〜ＶＣ９の模式図である。この場合、動きベクトルＶＣ１〜ＶＣ９の大きさは全て比較的大きく且つ均一であり、また、動きベクトルＶＣ１〜ＶＣ９の向きも全て略一致している。

図１１（ｃ）は、図１２に示す特定人物の被写体７８を撮影画像の中央付近で捉えつつパンニング撮影を行っている状態における、動きベクトルＶＣ１〜ＶＣ９の模式図である。この場合、例えば、風景に対応する動きベクトルＶＣ１〜ＶＣ４、ＶＣ６、ＶＣ７及びＶＣ９の大きさは全て比較的大きく且つ均一であり、また、それらの向きも全て略一致している。一方において、被写体７８に対応する動きベクトルＶＣ５及びＶＣ８の大きさは比較的小さい。尚、図１２における７９は、１枚の撮影画像の全体領域を表している。

期間選択部５６は、図１１（ｃ）に示すような動きベクトルの状態が観測されている期間を、選定期間Ｐ_Sに含ませる。具体的な処理手法を説明する。例えば、期間選択部５６は、図３の動き検出部４４によって検出される動きベクトルＶＣ１〜ＶＣ９を参照して、以下の第１、第２、第３及び第４条件の成立／不成立を判断する。

第１条件は、「特定の検出ブロック（以下、検出ブロックαという）に対応する動きベクトルの大きさが、所定時間Ｔ３以上継続して、所定の閾値ＴＨ３以下であること」である（検出ブロックα内の動きが小さい）。
第２条件は、「上記特定の検出ブロック以外の検出ブロック（以下、検出ブロックβという）に対応する動きベクトルの大きさが、所定時間Ｔ３以上継続して、所定の閾値ＴＨ４以上であること」である（検出ブロックβ内の動きが大きい）。
第３条件は、「検出ブロックβに対応する動きベクトルの大きさの、動きベクトル間における相違量（相違量の最大値）が、所定時間Ｔ３以上継続して、所定の閾値ＴＨ５以下であること」である（検出ブロックβ内の動き量が均一）。
第４条件は、「検出ブロックβに対応する動きベクトルの向きの、動きベクトル間における相違角（相違角の最大値）が、所定時間Ｔ３以上継続して、所定の閾角度ＴＨ６以下であること」である（検出ブロックβ内の動きの向きが均一）。

検出ブロックαは、検出ブロックＢＬ１〜ＢＬ９の内の１又は２以上の検出ブロックから構成される。例えば、検出ブロックαは、画像の中央付近の検出ブロック（例えば、ＢＬ２、ＢＬ５及びＢＬ８の内の１又は２以上の検出ブロック）から構成される。検出ブロックβは、検出ブロックＢＬ１〜ＢＬ９から検出ブロックαを除いた部分の検出ブロックから構成される。

上記の第１〜第４条件が全て満たされるとき、動き検出部４４及びＣＰＵ２３によって実現されるパンニング撮影検出手段は、特定の被写体を捉えつつパンニング撮影が行われていると判断し、期間選定部５６は、その判断結果に従って選定期間Ｐ_Sを設定する。

例えば、図１３に示す如く、タイミングｔ４から時間Ｔ３が経過したタイミングｔ５に上記の第１〜第４条件の全てが初めて成立した場合を考える。

この場合、期間選定部５６は、例えば、タイミングｔ４〜ｔ５の間の期間を選定期間Ｐ_Sに含ませて、タイミングｔ４以前を選定期間Ｐ_Sから除外する。また例えば、第１〜第４条件を全て満たす状態がタイミングｔ５以降も継続する場合は、タイミングｔ５以降も選定期間Ｐ_Sに含ませる。そして、タイミングｔ５以降のタイミングｔ６において該状態が解除されたならば、例えば、タイミングｔ５〜ｔ６の間の期間を選定期間Ｐ_Sに含ませて、タイミングｔ６以降を選定期間Ｐ_Sから除外する。

特定の被写体を捉えつつパンニング撮影を行っている状態は、着目している人物等の被写体を追いかけて撮影している状態と一致している、と推測することができる。このため、第３選定手法を採用して選定期間Ｐ_Sを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。

尚、画像の動きを検出する手法として、代表点マッチング法を用いる手法を例示したが、他の様々な検出手法を採用することも可能である。

例えば、周知の如く、動画を構成する各フレーム間において、検出ブロックごとに明るさ（輝度信号）を比較し、各検出ブロックにおける明るさの変化に基づいて画像の動きを検出するようにしてもよい。また例えば、周知の如く、動画を構成する各フレーム間において、検出ブロックごとに色（色は映像信号から特定される）を比較し、各検出ブロックにおける色の変化に基づいて画像の動きを検出するようにしてもよい。

［第４選定手法］
次に、第４選定手法について説明する。第４選定手法では、各フレームの撮影画像（即ちフレーム画像）内に存在する人物の顔領域を検出する顔領域検出機能が利用される。この顔領域検出機能を実現するために必要となる顔領域検出部４６が、映像信号処理部１３に設けられている（図３参照）。

顔領域検出の手法として、様々な手法を採用することが可能である。顔領域検出部４６は、例えば、周知の如く、撮影画像の肌色を抽出することによって顔領域の大きさを判断する。つまり、例えば、動画を構成する各フレームの撮影画像から肌色に分類される映像信号を有する領域を顔領域として抽出し、抽出した領域の大きさ（例えば面積）に基づいて、顔領域の大きさを求める（検出する）。上記の抽出及び顔領域の大きさの検出は、フレームごとに行われる。尚、どのような映像信号を肌色と分類するかは、予め定められている。

また、周知の如く、パターンマッチング法を用いて顔領域の大きさを検出するようにしても良い。この際、様々な顔領域のパターンに関する情報を撮像装置１内のメモリに格納しておき、それらのパターンと撮影画像とを比較することによって、顔領域を検出すると共に顔領域の大きさを検出する。

期間選定部５６は、検出された顔領域の大きさに基づいて、選定期間Ｐ_Sを設定する。

実際の処理では、例えば、顔領域検出部４６が顔領域の大きさに応じた顔領域値をフレームごとに算出して、ＣＰＵ２３に逐次伝達する。顔領域値は、例えば、検出された顔領域の大きさ（例えば面積）に比例する値であり、検出された顔領域の大きさが増大するにつれて増大する。ＣＰＵ２３によって実現される期間選定部５６は、検出された顔領域値が、所定時間Ｔ４以上継続して所定の閾値ＴＨ７以上である場合、その周辺のフレームに対応する期間を選定期間Ｐ_Sに含ませる。尚、検出された顔領域値が、所定時間Ｔ４以上継続して所定の閾値ＴＨ７以上且つ所定の閾値ＴＨ８以下である場合に、その周辺のフレームに対応する期間を選定期間Ｐ_Sに含ませるようにしてもよい（但し、ＴＨ７＜ＴＨ８）。

例えば、図１４に示す如く、タイミングｔ７からｔ８の間、継続して、検出された顔領域値が閾値ＴＨ７以上であった場合を考える。タイミングｔ７以前における顔領域値は閾値ＴＨ７未満であり、且つ、タイミングｔ７とｔ８の間の時間は時間Ｔ４であるとする。

この場合、期間選定部５６は、例えば、タイミングｔ７〜ｔ８の間の期間を選定期間Ｐ_Sに含ませてタイミングｔ７以前を選定期間Ｐ_Sから除外する。また例えば、検出された顔領域値が閾値ＴＨ７以上である状態がタイミングｔ８以降も継続する場合は、タイミングｔ８以降も選定期間Ｐ_Sに含ませる。そして、タイミングｔ８以降のタイミングｔ９において該状態が解除されたならば、例えば、タイミングｔ８〜ｔ９の間の期間を選定期間Ｐ_Sに含ませてタイミングｔ９以降を選定期間Ｐ_Sから除外する。

検出された顔領域の大きさだけでなく、検出された顔領域の位置にも基づいて、選定期間Ｐ_Sを設定するようにしてもよい。

具体的には、期間選定部５６は、検出された顔領域値が所定の閾値ＴＨ７以上であって且つ顔領域が画像の中央付近に存在している状態が、所定時間Ｔ４以上継続している場合に、その周辺のフレームに対応する期間を選定期間Ｐ_Sに含ませる（それ以外の期間は、例えば選定期間Ｐ_Sに含まれない）。

図１４に示す如く、タイミングｔ７からｔ８の間、継続して、検出された顔領域値が閾値ＴＨ７以上であり且つ顔領域が画像の中央付近に存在していた場合、上述と同様に選定期間Ｐ_Sが設定される。即ち例えば、タイミングｔ７〜ｔ８の間の期間などを選定期間Ｐ_Sに含ませる。

顔領域が画像の中央付近に存在しているかは、例えば、図１５に示す如く、検出された顔領域の所定部位（例えば、顔領域の中心）が、撮影画像内に定義された所定の中央エリア８０内に位置するかによって判断される。該所定部位が中央エリア８０内に位置する場合、顔領域が画像の中央付近に存在していると判断され、そうでない場合、顔領域が画像の中央付近に存在していないと判断される。尚、図１５における７９は、１枚の撮影画像の全体領域を表している。

画像内における顔領域の大きさが比較的大きくなっている状態、或いは、それに加えて顔領域が画像の中央付近にある状態は、ユーザが着目している人物の顔が大きく映し出されている状態と一致する、と推測することができる。このため、第４選定手法を採用して選定期間Ｐ_Sを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。

［第５選定手法］
次に、第５選定手法について説明する。第５選定手法では、図２のズームレンズ３０を利用したズーム制御を参照する。

期間選定部５６は、例えば、ズームインが行われた後、所定時間Ｔ５以上継続して、ズームインまたはズームアウトによる画角の変更が行われなかった場合（即ち、画角が固定された場合）、その周辺のフレームに対応する期間を選定期間Ｐ_Sに含ませる。

ズームインとは、撮像素子３３の撮像面上に形成される被写体の像を拡大させる動作であり、この動作に伴って撮像部１１による撮影の画角は減少する。ズームアウトとは、撮像素子３３の撮像面上に形成される被写体の像を縮小させる動作であり、この動作に伴って撮像部１１による撮影の画角は増加する。ズームイン及びズームアウトは、操作キー２６ｃに対する所定の操作に応じて実行される。

例えば、図１６に示す如く、動画撮影開始後、タイミングｔ１０に至るまではズームインは行われず、タイミングｔ１０〜ｔ１１にかけてズームインが行われたとする。その後、タイミングｔ１１〜ｔ１２の間、ズームインまたはズームアウトによる画角の変更が行われなかったとする。タイミングｔ１１とｔ１２の間の時間は、上記時間Ｔ５に一致するものとする。そして、タイミングｔ１２から或る程度の時間が経過したタイミングｔ１３において、ズームアウトが行われたとする。

この場合、期間選定部５６は、例えば、タイミングｔ１１〜ｔ１２或いはｔ１１〜ｔ１３の間の期間を選定期間Ｐ_Sに含ませて、タイミングｔ１１以前やタイミングｔ１３以降を選定期間Ｐ_Sから除外する。

ユーザは、しばしば、着目している人物等の被写体をズームインによって拡大撮影する。ユーザが、このズームインによって適切な画角が設定されたと判断すると、ユーザは画角の変更を停止する。この状態で撮影された画像は、ユーザが着目している被写体を大きく捉えた特徴的な画像であることが多い。このため、第５選定手法を採用して選定期間Ｐ_Sを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。

［特殊再生データの生成手法］
次に、図７の特殊再生データ生成部５７による、選定期間Ｐ_Sに対応した特殊再生データの生成手法について説明する。上述したように、特殊再生データは、サムネイル動画データとサムネイル動画用音声データとから構成される。

まず、サムネイル動画データの生成手法について説明する。図１の圧縮処理部１６は、撮影された動画を表す映像信号（動画データ）を、例えばＭＰＥＧ２（Moving Picture Experts Group2）の圧縮方式を採用して圧縮をするものとする。ＭＰＥＧ２では、動き補償（Motion Compensation）やＤＣＴ（Discrete Cosine Transform）等を利用して、ＧＯＰ（Group Of Pictures）構造を有するＭＰＥＧ動画を生成する。生成されたＭＰＥＧ動画を表す動画データが、撮影動画を表すものとしてメモリカード１８に記録される。

図１７に、このＭＰＥＧ動画の構成を模式的に示す。ＭＰＥＧ動画は、Ｉピクチャと、Ｐピクチャと、Ｂピクチャと、から構成される。

Ｉピクチャは、フレーム内符号化画像（Intra-Coded Picture）であり、１枚のフレーム画像の全てを当該フレーム画像内で符号化した画像である。Ｉピクチャ単独で１枚のフレームを再構成可能である。

Ｐピクチャは、フレーム間予測符号化画像（Predictive-Coded Picture）であり、時間的に先のＩピクチャまたはＰピクチャから予測される画像である。Ｂピクチャは、フレーム内挿双方向予測符号化画像（Bidirectionally Predictive-Coded Picture）であり、時間的に後及び先のＩピクチャまたはＰピクチャから双方向予測される画像である。Ｐピクチャ及びＢピクチャを再構成するためには、それらの予測の基になるフレームのデータが必要である。

ＭＰＥＧ動画は、ＧＯＰを単位として構成されている。ＧＯＰは、圧縮及び伸張が行われる単位であり、１つのＧＯＰは、或るＩピクチャから次のＩピクチャまでのピクチャで構成される。例えば、１つのＧＯＰは、１５枚のピクチャ（フレーム）で構成され、「Ｉ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂ、Ｐ、Ｂ、Ｂピクチャ」がこの順番で並んで１つのＧＯＰが構成される。そして、１又は２以上のＧＯＰにてＭＰＥＧ動画は構成される。

動画撮影における１フレームの長さが１／６０秒である場合、１つのＧＯＰに相当する１５フレームを通常再生（通常の再生速度で再生）するために必要な時間の長さは、１５×１／６０＝１／４（秒）である。選定期間Ｐ_Sの長さ（時間の長さ）をＰ_Sで表した場合、選定期間Ｐ_Sにおける撮影動画を通常再生するために必要な時間の長さは、当然、Ｐ_Sである。

仮に、各ＧＯＰにおけるＢピクチャの再生を省略し、Ｉピクチャ及びＰピクチャのみを再生するようにすれば、図１８（ａ）に示す如く、選定期間Ｐ_Sにおける撮影動画は、Ｐ_S×１／３の時間にて再生できる。また、各ＧＯＰにおけるＰ及びＢピクチャの再生を省略し、Ｉピクチャのみを再生するようにすれば、図１８（ｂ）に示す如く、選定期間Ｐ_Sにおける撮影動画は、Ｐ_S×１／１５の時間にて再生できる。

サムネイル画像表示モードにてサムネイル動画を参照したユーザが素早く撮影動画の内容を把握できるように、例えば、サムネイル動画を、撮影画像を表すＭＰＥＧ動画の選定期間Ｐ_SにおけるＩピクチャ及びＰピクチャのみにて構成する。これにより、サムネイル動画の再生時間は、Ｐ_S×１／３となる。また例えば、サムネイル動画を、撮影画像を表すＭＰＥＧ動画の選定期間Ｐ_SにおけるＩピクチャのみにて構成する。これにより、サムネイル動画の再生時間は、Ｐ_S×１／１５となる。

図７の特殊再生データ生成部５７は、期間選定部５６から選定期間Ｐ_Sの選定結果に基づき、上記の如く構成されるサムネイル動画を表すサムネイル動画データを生成する。

尚、サムネイル動画の画像サイズは、撮影画像を表すＭＰＥＧ動画の画像サイズよりも適宜縮小化される（尚、この縮小化は必須ではない）。サムネイル動画の再生は、撮影画像を表すＭＰＥＧ動画の縮小画像の早送り再生、と言い換えることができる。

次に、サムネイル動画データに対応するサムネイル動画用音声データの生成手法について説明する。サムネイル動画は、上記の如く時間方向に圧縮されている。例えば、Ｉピクチャ及びＰピクチャのみにてサムネイル動画を構成する場合、サムネイル動画は時間方向に３倍で圧縮されていることになる。これに対応して、サムネイル動画用音声データも時間方向の圧縮を介して生成する。

例えば、サムネイル動画が時間方向に３倍で圧縮されている場合を考える。この場合、サムネイル動画用音声も時間方向に３倍で圧縮する。

音声の時間方向圧縮に関する技術として、公知または周知の各種技術を採用可能である。例えば、選定期間Ｐ_Sにおける音声信号から無音部分を削除し、有音部分のみから成る音声信号を作成する。図１の音声信号処理部１５によって生成される音声信号の信号値は、マイク１４を介して入力された音の強さが増加するに従って増大する。このため、音声信号の信号値が所定の閾値未満の信号部分を無音部分と判断し、該閾値以上の信号部分を有音部分と判断する。

無音部分を削除することによって音声信号が時間方向に３倍以上に圧縮されれば、上記の有音部分のみから成る音声信号にて、サムネイル動画用音声データが形成される。未だ圧縮が足りない場合、３倍の圧縮が確保されるまで音声信号の一部を捨て、３倍の圧縮が成された後の音声信号にてサムネイル動画用音声データを形成する。これにより、一部捨てられる部分があるものの音声の高さが変化せず、内容が明確に把握できる時間圧縮されたサムネイル動画用音声データを得ることができる。

図７の特殊再生データ生成部５７は、例えば動画撮影中において、期間選定部５６による選定期間Ｐ_Sの選定結果に基づき、サムネイル動画データ及びサムネイル動画用音声データを生成し、それらを、メモリカード１８に記録しておく。或いは動画撮影終了直後に、期間選定部５６による選定期間Ｐ_Sの選定結果に基づき、メモリカード１８に記録された撮影画像を表す圧縮映像信号（ＭＰＥＧ動画データ）及び圧縮音声信号から、サムネイル動画データ及びサムネイル動画用音声データを生成し、それらを、メモリカード１８に記録しておく。

これらの場合、サムネイル画像表示モードにおいて、操作部２６への操作に従って、サムネイル動画データ及びサムネイル動画用音声データがメモリカード１８から読み出され、サムネイル動画及びサムネイル動画用音声が再生される。

再生するに先立って、サムネイル動画データ等を生成及び記録しておくようにすれば、再生時の信号処理負担が軽減され、速やかにサムネイル動画等を再生すること可能となる（ユーザによる所望の動画ファイル選定も速やかに行える）。

また例えば、サムネイル動画等を先に生成してメモリカード１８に記録しておくのではなく、サムネイル動画等を再生する際にサムネイル動画データ等を生成するようにしてもよい。この場合、例えば、動画撮影時において、期間選定部５６が選定した選定期間Ｐ_Sを特定するための選定情報を撮影動画に関連付けつつメモリカード１８に記録しておく。そして再生時において、図７の特殊再生データ生成部５７が、その選定情報に基づき、メモリカード１８に記録された撮影画像を表す圧縮映像信号（ＭＰＥＧ動画データ）及び圧縮音声信号からサムネイル動画データ及びサムネイル動画用音声データを生成する。これにより、サムネイル動画及びサムネイル動画用音声が再生される。

再生時にサムネイル動画等を生成するようにすれば、メモリカード１８の記録領域の使用量を軽減することができる。

また、撮影画像を表すＭＰＥＧ動画の選定期間Ｐ_SにおけるＩ、Ｐ及びＢピクチャの全てを用いてサムネイル動画を構成することも可能である（この場合、サムネイル動画用音声の時間圧縮は不要である）。この場合、サムネイル動画の再生時間はＰ_Sとなるが、選定期間Ｐ_Sに対応する画像は撮影動画の特徴的部分を抽出した画像であるため、撮影動画の先頭フレームから再生表示するよりも、容易に撮影動画の内容を把握することが可能である。但し、撮影動画の内容をより素早く把握する観点から、Ｐ及び／又はＢピクチャを省いてサムネイル動画を構成した方が好ましい。

［撮像再生装置の構成形態］
次に、本発明に係る映像再生装置の構成形態について説明する。撮像装置１に備えられた表示部２７及びスピーカ２８にて、サムネイル動画等を再生する場合、撮像装置１によって「撮像再生装置」が形成される。

また、図１の伸張処理部１９、映像出力回路２０、音声出力回路２１、表示部２７及びスピーカ２８から成る再生手段と同等の部位を備えた、パーソナルコンピュータやテレビジョン等の映像再生装置（不図示）が、メモリカード１８の記録内容を参照して、表示部２７及びスピーカ２８による再生と同等の再生を行う、といったことも可能である。この映像再生装置は、外部からの操作に従って、サムネイル動画及びサムネイル動画用音声を再生可能である。

この場合、撮像装置１と上記の映像再生装置によって「撮像再生装置」が形成される。その映像再生装置内の再生手段による上記再生を可能ならしめる撮像装置１のみによって「撮像再生装置」が形成される、と考えることも可能である。

尚、上記の映像再生装置に、図７の特殊再生データ生成部５７と同等の部位を備えるようにしてもよい。そうすれば、映像再生装置内で、サムネイル動画データ及びサムネイル動画用音声データを生成することも可能になる。

また、表示部２７及びスピーカ２８から成る再生手段と同等の部位を備えた、パーソナルコンピュータやテレビジョン等の映像再生装置（不図示）が、撮像装置１の映像出力回路２０及び音声出力回路２１からの映像信号及び音声信号を受けることにより、表示部２７及びスピーカ２８による再生と同等の再生を行う、といったことも可能である。この映像再生装置は、外部からの操作に従って、サムネイル動画及びサムネイル動画用音声を再生可能である。

この場合も、撮像装置１と上記の映像再生装置によって「撮像再生装置」が形成される。その映像再生装置内の再生手段による上記再生を可能ならしめる撮像装置１のみによって「撮像再生装置」が形成される、と考えることも可能である。

＜＜変形等＞＞
尚、上述の第１〜第５選定手法の内、任意の２以上の選定手法を自由に組み合わせることも可能である。

また、サムネイル動画は一覧表示のまま再生されると上述したが、必ずしも一覧表示のまま再生する必要はない。図５を再度参照する。例えば、カーソル７２にてサムネイル静止画ＴＮ３を選択した際、サムネイル静止画ＴＮ３に対応するサムネイル動画を、サムネイル静止画ＴＮ３の表示領域と異なる表示領域にて、再生（表示）するようにしてもよい。

また例えば、表示画面内にサムネイル動画の再生専用表示領域を設けて、その再生専用表示領域にサムネイル動画を再生（表示）するようにしてもよい。これは、特に、上述の映像再生装置を用いる場合に適している。上述の映像再生装置における表示部の表示画面は、通常比較的大きいからである。

本実施形態において、画角変更手段として機能する部位は、ドライバ３４を含む。図１の操作キー２６ｃ及び／又はＣＰＵ２３、或いは、図２のズームレンズ３０も画角変更手段の構成要素である、と捉えることも可能である。また、オートフォーカス制御手段は、主として、図３のＡＦ評価値検出部４２と、図１のＣＰＵ２３と、図２のドライバ３４と、によって実現される。また、図７の特殊再生データ生成部５７は、或いは、期間選定部５６と特殊再生データ生成部５７は、特殊生成手段として機能する。

本発明の実施の形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部ブロック図である。 図１の映像信号処理部の内部ブロック図である。 図３のＡＦ評価値検出部の内部ブロック図である。 サムネイル画像表示モードにおける、図１の表示部の表示画面の表示例を示す図である。 図５の表示画面から遷移しうる、動画の再生表示画面を示す図である。 サムネイル画像表示モードにおいて表示されるサムネイル動画を生成するための機能ブロック図である。 図７の期間選定部の機能を説明するための図である。 図７の期間選定部による第２選定手法を説明するための図であり、ＡＦ評価値とフォーカスレンズ位置の時間変化を表す図である。 図７の期間選定部による第３選定手法を説明するための図であり、図３の動き検出部にて定義される検出ブロックの配置例を示す図である。 図７の期間選定部による第３選定手法を説明するための図である。 図７の期間選定部による第３選定手法を説明するための図である。 図７の期間選定部による第３選定手法を説明するための図である。 図７の期間選定部による第４選定手法を説明するための図である。 図７の期間選定部による第４選定手法を説明するための図である。 図７の期間選定部による第５選定手法を説明するための図である。 図１の撮像装置にて生成されるＭＰＥＧ動画のデータ構造を示す図である。 図１７のＭＰＥＧ動画の変形データ構造例である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 映像信号処理部
１４ マイク
１５ 音声信号処理部
２６ 操作部
２６ａ 録画ボタン
２６ｂ シャッタボタン
２６ｃ 操作キー
３０ ズームレンズ
３１ フォーカスレンズ
３３ 撮像素子
４１ 動画／静止画処理部
４２ ＡＦ評価値検出部
４３ ＡＥ評価値検出部
４４ 動き検出部
４５ サムネイル生成部
４６ 顔領域検出部
５６ 期間選定部
５７ 特殊再生データ生成部

Claims (8)

1. 被写体に応じた撮像信号を出力する撮像手段と、
   前記撮像信号に基づいて、撮影した動画ごとにサムネイルを生成するサムネイル生成手段と、
   撮影した動画ごとに、動画の全体の撮影期間の一部の期間である特殊再生用期間を選定し、該特殊再生用期間における前記撮像信号に基づいた特殊再生用動画を生成する特殊生成手段と、を備え、
   １又は２以上の前記サムネイルを再生手段に一覧表示している際において、外部からの操作によって何れかのサムネイルが選択されたとき、選択された前記サムネイルに対応する前記特殊再生用動画が前記再生手段にて再生される
   ことを特徴とする撮像再生装置。
2. 外部から音の入力を受ける音入力手段を更に備え、
   前記特殊生成手段は、前記動画の撮影中に入力された前記音の強さ若しくは大きさまたは前記音の所定帯域の周波数成分の強さ若しくは大きさに基づいて、前記特殊再生用期間を選定する
   ことを特徴とする請求項１に記載の撮像再生装置。
3. 前記被写体を表す光学像が前記撮像手段に備えられた撮像素子の撮像面に結像するようにフォーカスレンズの位置を自動的に調節するオートフォーカス制御手段を更に備え、
   前記特殊生成手段は、前記位置の変動状態に基づいて、前記特殊再生用期間を選定する
   ことを特徴とする請求項１に記載の撮像再生装置。
4. 前記動画を構成する撮影画像内の画像の動きに基づいて、特定の被写体を捉えつつパンニング撮影が行われているか否かを検出するパンニング撮影検出手段を備え、
   前記特殊生成手段は、前記パンニング撮影検出手段の検出結果に基づいて、前記特殊再生用期間を選定する
   ことを特徴とする請求項１に記載の撮像再生装置。
5. 前記撮像信号に基づいて、前記動画を構成する撮影画像内に存在する人物の顔領域を検出する顔領域検出手段を更に備え、
   前記特殊生成手段は、検出された前記顔領域の大きさに基づいて、前記特殊再生用期間を選定する
   ことを特徴とする請求項１に記載の撮像再生装置。
6. 前記撮像手段による撮影の画角の変更を可能とするための画角変更手段を備え、
   前記特殊生成手段は、前記画角変更手段による前記画角の変更状態に基づいて、前記特殊再生用期間を選定する
   ことを特徴とする請求項１に記載の撮像再生装置。
7. 前記特殊生成手段は、動画撮影中に或いは動画撮影終了後に前記特殊再生用動画を表す特殊再生用動画データを生成して記録手段に記録し、
   前記再生手段による前記特殊再生用動画の再生は、前記特殊再生用動画データを前記記録手段から読み出すことによって行われる
   ことを特徴とする請求項１〜請求項６の何れかに記載の撮像再生装置。
8. 撮影した動画を表す画像データを記録するための記録手段を備え、
   前記特殊生成手段は、前記特殊再生用動画を前記再生手段にて再生する際に、前記記録手段に記録された前記画像データを用いて、前記特殊再生用動画を生成する
   ことを特徴とする請求項１〜請求項６の何れかに記載の撮像再生装置。