JP2007266659A - 撮像再生装置 - Google Patents
撮像再生装置 Download PDFInfo
- Publication number
- JP2007266659A JP2007266659A JP2006084926A JP2006084926A JP2007266659A JP 2007266659 A JP2007266659 A JP 2007266659A JP 2006084926 A JP2006084926 A JP 2006084926A JP 2006084926 A JP2006084926 A JP 2006084926A JP 2007266659 A JP2007266659 A JP 2007266659A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- thumbnail
- imaging
- special
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影した動画の内容をサムネイル表示画面から素早く且つ的確に把握せしめる。
【解決手段】撮影した動画ごとに、動画の特徴的部分を含んだ特殊再生用期間を選定し、該特殊再生用期間に対応するサムネイル動画を作成する。サムネイル動画は、その期間における縮小フレーム画像を時間方向に間引くことによって形成される。サムネイル静止画を一覧表示している状態において、動画に対応するサムネイル静止画TN3をカーソル72にて選択すると、その動画に対応するサムネイル動画が一覧表示のまま再生表示される。
【選択図】図5
【解決手段】撮影した動画ごとに、動画の特徴的部分を含んだ特殊再生用期間を選定し、該特殊再生用期間に対応するサムネイル動画を作成する。サムネイル動画は、その期間における縮小フレーム画像を時間方向に間引くことによって形成される。サムネイル静止画を一覧表示している状態において、動画に対応するサムネイル静止画TN3をカーソル72にて選択すると、その動画に対応するサムネイル動画が一覧表示のまま再生表示される。
【選択図】図5
Description
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に代表される撮像再生装置に関する。
デジタルビデオカメラ等の撮像装置には、サムネイル画像を表示するモードが設けられていることが多い。動画用のサムネイル画像は、通常、動画の先頭画像等を縮小した静止画像となっている。ユーザは、このサムネイル画像を頼りに、録画した複数の動画の内から再生しようとする動画を選び出す。
しかしながら、動画の先頭画像等に対応した1枚のサムネイル画像にて、動画の特徴を把握するのは困難であることが多い。
一方において、下記特許文献1には、ユーザが再生メニューに表示されている番組名を選択した場合にそれに対応する静止画像を再生し、その後一定時間操作が何も行われなかったとき、その番組名に対応する映像音声データストリームの早送り再生を行う装置が開示されている。
また、下記特許文献2には、収納された各ディスクからの映像を1画面内で表示するためのダイジェスト映像データを生成及び出力する再生装置が開示されている。この再生装置では、ダイジェスト映像データ出力時にディスクに早送り再生を実行させ、ダイジェスト映像表示内で早送り映像を再生することが可能となっている。
上述したように、動画の先頭画像等に対応した1枚のサムネイル画像にて動画の特徴を把握するのは困難であることが多い。このため、所望の動画ファイルを素早く探索できないことが多い。
また、上記特許文献1又は2に記載された技術を用いたとしても、単に動画の先頭フレームから縮小画像を早送り再生したのでは、動画の内容の把握に時間がかかってしまう。
そこで本発明は、撮影した動画の内容の素早い把握を可能ならしめる撮像再生装置を提供することを目的とする。
上記の目的を達成するために本発明に係る撮像再生装置は、被写体に応じた撮像信号を出力する撮像手段と、前記撮像信号に基づいて、撮影した動画ごとにサムネイルを生成するサムネイル生成手段と、撮影した動画ごとに、動画の全体の撮影期間の一部の期間である特殊再生用期間を選定し、該特殊再生用期間における前記撮像信号に基づいた特殊再生用動画を生成する特殊生成手段と、を備え、1又は2以上の前記サムネイルを再生手段に一覧表示している際において、外部からの操作によって何れかのサムネイルが選択されたとき、選択された前記サムネイルに対応する前記特殊再生用動画が前記再生手段にて再生されることを特徴とする。
特殊再生用期間は動画の全体の撮影期間よりも短く、特殊再生用期間を適切に設定すれば、撮影した動画の内容を素早く把握することが可能となる。この結果、ユーザは、所望の動画ファイルを短時間で探索できるようになる。
特殊再生用期間に、撮影した動画の特徴的部分を表した期間を含めるようにすれば、素早く且つ的確に撮影動画の内容を把握することができるようになる。
そこで具体的には例えば、上記撮像再生装置は、外部から音の入力を受ける音入力手段を更に備え、前記特殊生成手段は、前記動画の撮影中に入力された前記音の強さ若しくは大きさまたは前記音の所定帯域の周波数成分の強さ若しくは大きさに基づいて、前記特殊再生用期間を選定する。
また具体的には例えば、上記撮像再生装置は、前記被写体を表す光学像が前記撮像手段に備えられた撮像素子の撮像面に結像するようにフォーカスレンズの位置を自動的に調節するオートフォーカス制御手段を更に備え、前記特殊生成手段は、前記位置の変動状態に基づいて、前記特殊再生用期間を選定する。
また具体的には例えば、上記撮像再生装置は、前記動画を構成する撮影画像内の画像の動きに基づいて、特定の被写体を捉えつつパンニング撮影が行われているか否かを検出するパンニング撮影検出手段を備え、前記特殊生成手段は、前記パンニング撮影検出手段の検出結果に基づいて、前記特殊再生用期間を選定する。
また具体的には例えば、上記撮像再生装置は、前記撮像信号に基づいて、前記動画を構成する撮影画像内に存在する人物の顔領域を検出する顔領域検出手段を更に備え、前記特殊生成手段は、検出された前記顔領域の大きさに基づいて、前記特殊再生用期間を選定する。
また具体的には例えば、上記撮像再生装置は、前記撮像手段による撮影の画角の変更を可能とするための画角変更手段を備え、前記特殊生成手段は、前記画角変更手段による前記画角の変更状態に基づいて、前記特殊再生用期間を選定する。
また例えば、前記特殊生成手段は、動画撮影中に或いは動画撮影終了後に前記特殊再生用動画を表す特殊再生用動画データを生成して記録手段に記録し、前記再生手段による前記特殊再生用動画の再生は、前記特殊再生用動画データを前記記録手段から読み出すことによって行われる。
先に特殊再生用動画データを生成して記録しておけば、再生時の信号処理負担が軽減され、速やかに特殊再生用動画を再生すること可能となる。
しかしながら、勿論例えば、撮影した動画を表す画像データを記録するための記録手段を備え、前記特殊生成手段が、前記特殊再生用動画を前記再生手段にて再生する際に、前記記録手段に記録された前記画像データを用いて、前記特殊再生用動画を生成するようにしてもよい。
上述した通り、本発明によれば、撮影した動画の内容を素早く把握することが可能になる。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付す。
図1は、本発明の実施の形態に係る撮像装置1の全体ブロック図である。撮像装置1は、例えば、デジタルスチルカメラやデジタルビデオカメラである。撮像装置1は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。
撮像装置1は、撮像部11と、AFE(Analog Front End)12と、映像信号処理部13と、マイク(音入力手段)14と、音声信号処理部15と、圧縮処理部16と、内部メモリの一例としてのSDRAM(Synchronous Dynamic Random Access Memory)17と、メモリカード18と、伸張処理部19と、映像出力回路(ビデオ出力回路)20と、音声出力回路21と、TG(タイミングジェネレータ)22と、CPU(Central Processing Unit)23と、バス24と、バス25と、操作部26と、表示部27と、スピーカ28と、を備えている。操作部26は、録画ボタン26a、シャッタボタン26b及び操作キー26c等を有している。
バス24には、撮像部11、AFE12、映像信号処理部13、音声信号処理部15、圧縮処理部16、伸張処理部19、映像出力回路20、音声出力回路21及びCPU23が接続されている。バス24に接続された各部位は、バス24を介して、各種の信号(データ)のやり取りを行う。
バス25には、映像信号処理部13、音声信号処理部15、圧縮処理部16、伸張処理部19及びSDRAM17に接続されている。バス25に接続された各部位は、バス25を介して、各種の信号(データ)のやり取りを行う。
TG22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。具体的には、タイミング制御信号は、撮像部11、映像信号処理部13、音声信号処理部15、圧縮処理部16、伸張処理部19及びCPU23に与えられる。タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。
CPU23は、撮像装置1内の各部の動作を統括的に制御する。操作部26は、ユーザによる操作を受け付ける。操作部26に与えられた操作内容は、CPU23に伝達される。SDRAM17は、フレームメモリとして機能する。撮像装置1内の各部は、必要に応じて、信号処理時に一時的に各種のデータ(デジタル信号)をSDRAM17に記録する。
メモリカード18は、外部記録媒体であり、例えば、SD(Secure Digital)メモリカードである。メモリカード18は、撮像装置1に対して着脱自在となっている。メモリカード18の記録内容は、メモリカード18の端子を介して又は撮像装置1に設けられた通信用コネクタ部(不図示)を介して、外部のパーソナルコンピュータ等によって自在に読み出し可能である。尚、本実施形態では外部記録媒体としてメモリカード18を例示しているが、外部記録媒体を、1または複数のランダムアクセス可能な記録媒体(半導体メモリ、メモリカード、光ディスク、磁気ディスク等)で構成することができる。
図2は、図1の撮像部11の内部構成図である。撮像部11は、ズームレンズ30及びフォーカスレンズ31を含む複数枚のレンズを備えて構成される光学系35と、絞り32と、撮像素子33と、ドライバ34を有している。ドライバ34は、ズームレンズ30及びフォーカスレンズ31の移動並びに絞り12の開口量の調節を実現するためのモータ等から構成される。
被写体(撮像対象)からの入射光は、光学系35を構成するズームレンズ30及びフォーカスレンズ31、並びに、絞り32を介して撮像素子33に入射する。TG22は、上記タイミング制御信号に同期した、撮像素子33を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子33に与える。
撮像素子33は、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる。撮像素子33は、光学系35及び絞り32を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の画素(受光画素;不図示)を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、TG22からの駆動パルスに従って、後段のAFE12に順次出力される。
撮像素子33は、カラー撮影の可能な、単板式の撮像素子となっている。撮像素子33を構成する各画素には、例えば、赤(R)、緑(G)及び青(B)の何れかのカラーフィルタ(不図示)が設けられている。尚、撮像素子33として、3板式の撮像素子を採用することも可能である。
AFE12は、撮像部11の出力信号(即ち、撮像素子33の出力信号)であるアナログの上記電気信号を増幅する増幅回路(不図示)と、増幅された電気信号をデジタル信号に変換するA/D(アナログ−デジタル)変換回路(不図示)と、を備える。AFE12によってデジタル信号に変換された撮像部11の出力信号は、順次、映像信号処理部13に送られる。また、CPU23は、撮像部11の出力信号の信号レベルに基づいて上記増幅回路の増幅度を調整する。
以下、撮像部11またはAFE12から出力される、被写体に応じた信号を、撮像信号と呼ぶ。
図3は、映像信号処理部13の内部ブロック図である。映像信号処理部13は、動画/静止画処理部41と、AF評価値検出部42と、AE評価値検出部43と、動き検出部44と、サムネイル生成部45と、顔領域検出部46と、を備える。
動画/静止画処理部41は、AFE12からの撮像信号に基づいて、撮像部11の撮影によって得られる映像(撮影画像)を表す映像信号を生成し、生成した映像信号を圧縮処理部16に送る。映像信号は、撮影画像の輝度を表す輝度信号Yと、撮影画像の色を表す色差信号U及びVと、から構成される。動画/静止画処理部41は、動画の映像信号の生成と静止画の映像信号の生成の双方を行う。
マイク14は、外部から与えられた音声(音)を、アナログの電気信号に変換して出力する。音声信号処理部15は、マイク14から出力される電気信号(音声アナログ信号)をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク14に対して入力された音声を表す音声信号として圧縮処理部16に送られる。
圧縮処理部16は、映像信号処理部13(動画/静止画処理部41)からの映像信号を、所定の圧縮方式を用いて圧縮する。動画に対しては、例えば、MPEG(Moving Picture Experts Group)等の圧縮方式を用いて映像信号の圧縮を行い、静止画に対しては、例えば、JPEG(Joint Photographic Experts Group)等の圧縮方式を用いて映像信号の圧縮を行う。動画または静止画撮影時において、圧縮された映像信号はメモリカード18に送られる。
尚、例えば、動画を構成する各撮影画像の画像サイズは、動画/静止画処理部41等において、必要に応じ、間引き処理等を介して縮小されている。静止画に対しては、例えば、そのような縮小処理は施されない(施してもよい)。
また、圧縮処理部16は、音声信号処理部15からの音声信号を、AAC(Advanced Audio Coding)等の所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部13からの映像信号と音声信号処理部15からの音声信号は、圧縮処理部16にて、時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード18に送られる。
録画ボタン26aは、ユーザが動画(動画像)の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン26bは、ユーザが静止画(静止画像)の撮影を指示するための押しボタンスイッチである。録画ボタン26aに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン26bに対する操作に従って静止画撮影が実施される。1つのフレームにて1つのフレーム画像が得られる。各フレームの長さは、例えば1/60秒である。この場合、1/60秒の周期にて順次取得されるフレーム画像の集まり(ストリーム画像)が、動画を構成する。
撮像装置1の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード18に格納された動画または静止画を表示部27に再生表示する再生モードと、が含まれる。再生モードには、メモリカード18に格納された動画または静止画に関連付けられたサムネイル画像を表示部27に再生表示するサムネイル画像表示モードが、含まれる。操作キー26cに対する操作に応じて、各モード間の遷移は実施される。
撮影モードにおいて、ユーザが録画ボタン26aを押下すると、CPU23の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部16を介してメモリカード18に記録される。つまり、音声信号と共に、各フレームの撮影画像(即ちフレーム画像)が順次メモリカード18に格納される。動画撮影の開始後、再度ユーザが録画ボタン26aを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード18への記録は終了し、1つの動画の撮影は完了する。
また、撮影モードにおいて、ユーザがシャッタボタン26bを押下すると、静止画の撮影が行われる。具体的には、CPU23の制御の下、その押下直後の1つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部16を介してメモリカード18に記録される。動画の撮影中に静止画を同時撮影することも可能であり、この場合、同一のフレームの撮像信号に基づいて、動画に関する信号処理と静止画に関する信号処理が並行して行われる。尚、共通の回路を時分割で利用して、動画に関する信号処理と静止画に関する信号処理を別個のタイミングで行うようにしてもよい。例えば、静止画に関する信号処理を動画撮影終了後に行う。この場合、例えば、事後的に行うその信号処理に必要な撮像信号(撮影画像)をSDRAM17に一時記憶させておけばよい。
再生モードにおいて、ユーザが操作キー26cに所定の操作を施すと、メモリカード18に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部19に送られる。伸張処理部19は、受け取った映像信号を伸張して映像出力回路20に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理13による映像信号の生成が逐次行われており、その映像信号は映像出力回路20に送られる。
映像出力回路20は、与えられたデジタルの映像信号を表示部27で表示可能な形式の映像信号(例えば、アナログの映像信号)に変換して出力する。表示部27は、液晶ディスプレイなどの表示装置であり、映像出力回路20から出力された映像信号に応じた画像を表示する。即ち、表示部27は、撮像部11から現在出力されている撮像信号に基づく画像(現在の被写体を表す画像)、または、メモリカード18に記録されている動画(動画像)若しくは静止画(静止画像)を、表示する。
また、再生モードにおいて動画を再生する際、メモリカード18に記録された動画に対応する圧縮された音声信号も、伸張処理部19に送られる。伸張処理部19は、受け取った音声信号を伸張して音声出力回路21に送る。音声出力回路21は、与えられたデジタルの音声信号をスピーカ28にて出力可能な形式の音声信号(例えば、アナログの音声信号)に変換してスピーカ28に出力する。スピーカ28は、音声出力回路21からの音声信号を音声(音)として外部に出力する。
次に、図2及び図3を参照して、撮像部11及び映像信号処理部13の機能について更に説明する。撮像装置1は、「自動的にフォーカスレンズ31の位置を制御することにより、被写体を表す光学像を撮像素子33の撮像面(受光面)に結像させる」所謂オートフォーカス制御機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点が撮像素子33の撮像面上の点と一致する。
オートフォーカス制御機能は、様々な手法によって実現可能である。例えば、映像信号中の輝度信号から所定の高域周波数成分を抽出し、その高域周波数成分のレベル(大きさ)に応じてフォーカスレンズ31の位置を制御することにより、被写体を表す光学像を撮像素子33の撮像面に結像させる。測距センサ(不図示)等を用いてオートフォーカス制御機能を実現するようにしてもよい。
オートフォーカス制御は、主として、図3のAF評価値検出部42と、図1のCPU23と、図2のドライバ34と、によって実現される。ドライバ34は、上記高域周波数成分のレベル(大きさ)を最大値(付近)に保つためにCPU23から送られてくるフォーカス制御信号に基づいて、フォーカスレンズ31を撮像面に鉛直な軸である光軸に沿って移動させることにより、被写体(撮像対象)の光学像を撮像素子33の撮像面(受光面)に結像させる。
図4は、AF評価値検出部42の内部ブロック図である。AF評価値検出部42は、抽出部51、HPF(ハイパスフィルタ)52及び積算部53を、有して構成される。
抽出部51は、動画/静止画処理部41にて生成された映像信号或いはAFE12からの撮像信号より輝度信号を抽出する。この際、画像内の、予め設定されたフォーカス検出領域内の輝度信号のみを抽出する。フォーカス検出領域は、例えば、画像の一部の領域であり、該一部の領域は画像内の中央付近に設けられる。HPF52は、抽出部51によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。
積算部53は、HPF52によって抽出された高域周波数成分を積算することにより、フォーカス検出領域内の画像のコントラスト量に応じたAF評価値を求める。AF評価値は、フレーム毎に算出され、CPU23に逐次伝達される。AF評価値は、該コントラスト量に概ね比例し、該コントラスト量が増大するにつれて増大する。
CPU23は、逐次与えられるAF評価値を一時記憶し、AF評価値が最大値(付近)に保たれるように、所謂山登り演算を用いて、ドライバ34を介してフォーカスレンズ31の位置を制御する。フォーカスレンズ31が移動するに従い、画像のコントラストは変化し、AF評価値も変化する。CPU23は、AF評価値が大きくなる方向にドライバ34を介してフォーカスレンズ31の位置を制御する。この結果、同一の光学像に対する、フォーカス検出領域内の画像のコントラスト量は最大値(付近)に保たれる。
また、図3のAE評価値検出部43は、撮影画像の明るさに応じたAE評価値を検出する。CPU23は、AE評価値に応じ、図2のドライバ34を介して絞り32の開口量(及び必要に応じてAFE12の増幅回路の増幅度)を調節することにより、受光量(画像の明るさ)を制御する
また、操作キー26cに対する所定の操作に従って、CPU23は、ドライバ34を介してズームレンズ30を光軸に沿って移動させることにより、撮像部11による撮影の画角を変更する(換言すれば、撮像素子33の撮像面上に形成される被写体の像を拡大または縮小する)。
また、図3の動き検出部44は、撮像信号に基づいて、各画像間に存在する被写体の動きを検出する。この検出には、例えば周知の代表点マッチング法を用いる。検出された動き(動きベクトルなど)に基づいて、所謂手ぶれ補正などが実施される。
図3のサムネイル生成部45は、静止画を撮影する際、CPU23の制御の下、静止画の撮影タイミングにおける撮像信号に基づいて静止画についてのサムネイル画像を生成する。このサムネイル画像は、撮影及び記録された1枚の静止画(静止画像)を、間引き処理等によって縮小した縮小画像である。静止画についてのサムネイル画像は、撮影した静止画に関連付けられつつ圧縮処理部16による圧縮(JPEGなど)を介してメモリカード18に記録される。撮影した静止画と関連付けられた上記サムネイル画像を、特に静止画用サムネイル静止画と呼ぶ。
また、サムネイル生成部45は、動画を撮影する際、CPU23の制御の下、所定タイミングにおける撮像信号に基づいて動画についてのサムネイル画像を生成する。このサムネイル画像は、例えば、動画撮影中の何れかのフレームの画像(1フレーム分の画像)を間引き処理等を介して縮小した縮小画像(縮小静止画像)である。動画についてのサムネイル画像は、撮影した動画に関連付けられつつ圧縮処理部16による圧縮(JPEGなど)を介してメモリカード18に記録される。撮影した動画に関連付けて記録するために生成された上記サムネイル画像を、特に動画用サムネイル静止画と呼ぶ。尚、動画の画像サイズが比較的小さい場合などにおいては、撮影された動画を構成する1枚の画像そのものを、動画用サムネイル静止画としても構わない。
また、動画用サムネイル静止画が実際に生成されるタイミングは任意である。動画撮影中にAFE12からの撮像信号を受けて動画用サムネイル静止画を生成するようにしても良いし、動画撮影時に動画用サムネイル静止画の基となる画像を選んでおき、後から(例えば、表示部27に表示する際に)その画像を用いて動画用サムネイル静止画を生成するようにしてもよい。いずれにしても、同一の動画用サムネイル静止画の生成の基となる撮像信号は同じである。同様に、静止画用サムネイル静止画が実際に生成されるタイミングも任意である。
サムネイル画像表示モードにおいて、メモリカード18に格納された動画用及び静止画用サムネイル静止画は、伸張処理部19による伸張処理及び映像出力回路20による変換処理を介して、表示部27に表示される。
図5に、サムネイル画像表示モードにおける表示部27の表示画面の表示例を示す。図5では、表示部27の表示エリアは4分割され、表示エリアの左上、右上、左下及び右下に、それぞれ、サムネイル静止画TN1、TN2、TN3及びTN4が一覧表示されている。メモリカード18に、他のサムネイル静止画が格納されている場合は、操作キー26cに所定の操作を施すことにより、上記他のサムネイル静止画が表示される。サムネイル静止画TN2及びTN3に付されたマーク71は、そのサムネイル静止画が動画用のサムネイル静止画であることを示している。従って、サムネイル静止画TN2及びTN3は動画用サムネイル静止画であり、サムネイル静止画TN1及びTN4は静止画用サムネイル静止画である。
図5において、72は表示画面上のカーソルである。カーソル72は、操作キー26cに対する操作により表示画面上を移動する。図5は、サムネイル静止画TN3がカーソル72によって選択されている状態を示している。各サムネイル静止画の右下に表示されている「001」等の番号は、各サムネイル静止画のファイル番号を示している。
カーソル72によって或るサムネイル静止画を選択している状態において、所定のキー操作を行うと、そのサムネイル静止画に関連付けられた動画または静止画がメモリカード18から読み出される。そして、読み出された動画または静止画が表示部27の表示画面全体を使って表示される。例えば、サムネイル静止画TN3に対応する動画が再生されるようにキー操作を施した場合、表示部27の表示画面は図5に示す状態から図6に示す状態に遷移し、サムネイル静止画TN3に対応する動画が表示部27の表示画面全体を使って再生表示される。この状態で、再生を停止するためのキー操作を施すと、表示画面は図5に示す状態に戻る。
尚、サムネイル画像表示モードにおいて、一度に一覧表示されるサムネイル静止画の個数は4に限定されず任意である。また、メモリカード18に記録されているサムネイル静止画が1つの場合は、1つのサムネイル静止画(例えば動画用サムネイル静止画)のみが表示部27に表示される。
また、或る動画用サムネイル静止画をカーソル72にて選択した際(カーソル72の位置を或る動画用サムネイル静止画の表示領域にあわせた際)、その動画用サムネイル静止画が関連付けられた動画の一部分に対応したサムネイル動画(特殊再生用動画)が一覧表示のまま再生(例えば、早送り再生)される。この再生を、サムネイル特殊再生と呼ぶ。この際、サムネイル動画に対応するサムネイル動画用音声もスピーカ28から出力される。後述する説明から明らかとなるが、サムネイル動画は、例えば、撮影した動画の特徴的部分を抽出した縮小間引き動画である。
例えば、カーソル72にてサムネイル静止画TN3を選択してから一定時間(例えば、0.5秒)が経過すると、サムネイル静止画TN3に対応するサムネイル動画が一覧表示のまま再生される。つまり、そのサムネイル動画がサムネイル静止画TN3の表示領域内で再生(サムネイル特殊再生)される。この間、他のサムネイル静止画TN1、TN2及びTN4の表示は変更されない。そして、カーソル72によるサムネイル静止画TN3の選択を解除すると(例えば、カーソル72の位置をサムネイル静止画TN1の表示領域に移動させると)、サムネイル動画の再生は停止し、図5の表示状態に戻る。
尚、撮影した動画とサムネイル動画を区別する意味から、撮影によって得られた本来の動画を、以下、特に「撮影動画」或いは「撮影した動画」ということがある。但し、単に「動画」といった場合、それは、サムネイル動画ではなく「撮影動画」を意味するものとする。1つの撮影動画には、1つの動画用サムネイル静止画と1つのサムネイル動画が対応付けられる。同一の撮影動画に対応する、動画用サムネイル静止画とサムネイル動画もまた、互いに対応付けられている。また、以下、特に記述しない限り、或る1つの撮影動画に着目して説明を行う。特に記述しない限り、後述の各動作は、撮影した動画ごとに行われる。
図7に、サムネイル動画を生成するための機能ブロック図を示す。今、図8に示すごとく、或るタイミング(時刻)TSに動画撮影を開始し、その後、或るタイミング(時刻)TEにその動画撮影を終了した場合を考える。タイミングTSとTEの間の期間は、その動画の全体の撮影期間PTに相当する。
期間選定部56は、所定の規則に則って、撮影期間PTの中から特殊再生用期間PS(以下、選定期間PSという)を選定する。この選定期間PSは、1つの連続した期間であっても良いし、時間的に分離した複数の期間から構成されていても良い。図8は、時間的に分離した期間PS1及びPS2が選定期間PSを構成する期間として選定された場合を例示している。期間PS1及びPS2の合計の長さ、即ち、期間選定部56によって選定された選定期間PSの長さは、撮影期間PTの長さよりも短い。
特殊再生データ生成部57は、選定期間PSにおける撮像信号から、サムネイル動画を表すサムネイル動画データを生成する一方で、選定期間PSにおける音声信号から、サムネイル動画用音声を表すサムネイル動画用音声データを生成する。サムネイル動画データとサムネイル動画用音声データとから、特殊再生データが形成される。サムネイル画像表示モードにおいて、カーソル72の位置に応じ、サムネイル動画データとサムネイル動画用音声データとから成る特殊再生データは、表示部27及びスピーカ28に送られ、上述したサムネイル特殊再生が行われる。
期間選定部56は、例えば図1のCPU23によって実現され、特殊再生データ生成部57は、例えば映像信号処理部13及び音声信号処理部15によって実現される。
期間選定部56は、一覧表示のまま再生されるサムネイル動画を頼りにユーザが素早く動画の内容が把握できるように、上記の選定期間PSを選定する。つまり、期間選定部56は、動画全体の内容を把握する上で重要な部分が、選定期間PSに含まれるように、選定期間PSを選定する。
これを実現するための選定期間PSの選定手法として、以下に、第1、第2、第3、第4及び第5選定手法を例示する。各選定手法に記載された事項は、矛盾なき限り、全ての選定手法に適用可能である。
また、期間選定部56による選定期間PSの選定動作及びこれに基づく特殊再生データ生成部57による特性再生データの生成は、サムネイル動画の再生時に行うこともできるが、それらを動画撮影時に行う場合を主に例示して各選定手法の説明を行う。
[第1選定手法]
まず、第1選定手法について説明する。第1選定手法では、動画撮影中においてマイク14を介して入力された音の強さに着目する。音声信号処理部15は、動画撮影中においてマイク14を介して入力された、音の強さ或いは音の所定帯域の周波数成分の強さを逐次検出する機能を備える。検出された音の強さ或いは音の所定帯域の周波数成分の強さに応じた音強度値は、逐次、期間選択部56に伝達される。
まず、第1選定手法について説明する。第1選定手法では、動画撮影中においてマイク14を介して入力された音の強さに着目する。音声信号処理部15は、動画撮影中においてマイク14を介して入力された、音の強さ或いは音の所定帯域の周波数成分の強さを逐次検出する機能を備える。検出された音の強さ或いは音の所定帯域の周波数成分の強さに応じた音強度値は、逐次、期間選択部56に伝達される。
また、音の強さの代わりに音の大きさを検出するようにし、検出された音の大きさ或いは音の所定帯域の周波数成分の大きさに応じた値を音強度値としてもよい。この場合、下記の「音の強さ」及び「音の所定帯域の周波数成分の強さ」は、それぞれ、「音の大きさ」及び「音の所定帯域の周波数成分の大きさ」に読み替えられる。
例えば、音強度値は、検出された音の強さ或いは音の所定帯域の周波数成分の強さを示す値そのものである。また、検出された音の強さ或いは音の所定帯域の周波数成分の強さを示す信号に対して、時間的にローパスフィルタ処理を加えた後の信号値を音強度値としてもよい。また例えば、音強度値は、検出された音の強さの、1フレーム分の平均値又は該フレームにおけるピーク値である。また例えば、音強度値は、検出された音の所定帯域の周波数成分の強さの、1フレーム分の平均値若しくは該フレームにおけるピーク値である。
このほか、様々な音強度値の算出法を採用可能であるが、例えば、音強度値は、音の強さ或いは音の所定帯域の周波数成分の強さが増大するにつれて大きくなるものとする。また、上記の所定帯域の周波数成分とは、例えば、人の音声の周波数帯域成分または可聴周波数帯域成分である。音声信号処理部15は、バンドパスフィルタ等を用いて、マイク14を介して入力された音声信号から上記所定帯域の周波数成分を抽出する。
音強度値は、例えばフレーム毎に検出される。期間選択部56は、検出された音強度値と所定の閾値TH1とを比較し、音強度値が閾値TH1以上となっているタイミングを、選定期間PSに含ませる。例えば、音強度値が閾値TH1以上となっているタイミングが、第m番目のフレームに対応している場合、第(m−k)番目〜第(m+k)番目のフレームに対応する期間、或いは、第m番目〜第(m+k)番目のフレームに対応する期間を、選定期間PSに含ませる。
これに代えて或いはこれに併せて、例えば、音強度値が所定時間以上継続して所定の閾値TH2以上となっている期間を、選定期間PSに含ませるようにしてもよい。
尚、m及びkは自然数であり、それらは、勿論、選定期間PSに含まれることになるフレームが撮影期間PT内のフレームとなるような値を持つ(例えば、(m−k)≧1が成立する)。また、撮影動画の先頭フレームを、第1番目のフレームと考える。その後、時間が経過するにつれて、第2番目、第3番目、・・・のフレームが順次訪れるものとする。
音楽会やパーティ会場の様子を撮影している場合において、音の強さが大きくなっている状態は、撮影現場が盛り上がっている状態と一致している、と考えることができる。このため、第1選定手法を採用して選定期間PSを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。
[第2選定手法]
次に、第2選定手法について説明する。第2選定手法では、オートフォーカス制御に関する情報を利用する。
次に、第2選定手法について説明する。第2選定手法では、オートフォーカス制御に関する情報を利用する。
上述したように、逐次算出されるAF評価値に基づいて、被写体を表す光学像が撮像素子33の撮像面(受光面)に結像するように、CPU23は、ドライバ34を介してフォーカスレンズ31の位置を調整する。このため、CPU23は、フォーカスレンズ31の位置を当然に認識している。フォーカスレンズ31の位置とは、例えば、撮像素子33の撮像面を基準としたフォーカスレンズ31の位置である。
CPU23によって実現される期間選定部56は、フォーカスレンズ31の位置の変動の大きさが、所定の時間T2以上継続して所定の閾値内に収まっている場合(例えば、フォーカスロックされている場合)、その周辺のフレームに対応する期間を、選定期間PSに含ませる。
図9を参照して具体例を挙げる。図9の曲線75及び76は、それぞれ、動画撮影中における、AF評価値とフォーカスレンズ31の位置(例えば、フォーカスレンズ31と撮像面との距離)の時間変化を表している。図9は、タイミングt1で、AF評価値が概ね山登り曲線の最大値をとり、その状態がタイミングt2まで維持されている状態を示しいている。タイミングt1とt2の間の時間は、T2であるとする。
タイミングt2において、期間選定部56は、タイミングt1からt2までの期間中におけるフォーカスレンズ31の位置の変動の大きさ(変動範囲の大きさ)と、予め定められた閾値BREFとを比較する(尚、この比較は、他のタイミングでも逐次行われている)。そして、前者が後者(BREF)以下となっている場合、タイミングt2を含むフレーム及び/又はタイミングt2周辺のフレームに対応する期間を、選定期間PSに含ませる。尚、上記の比較判断が可能なように、期間選定部56は、時間T2分の過去のフォーカスレンズ31の位置を特定する情報を、SDRAM17に逐次記録させている。
例えば、タイミングt1〜t2の間の期間を選定期間PSに含ませる。この例の場合、タイミングt1以前は選定期間PSから除外される。また例えば、タイミングt2以降の期間を選定期間PSに含ませる。この場合、タイミングt2以降のタイミングt3において、フォーカスレンズ31の位置がタイミングt2におけるそれよりも閾値BREF以上変化したならば、例えば、タイミングt2〜t3の間の期間を選定期間PSに含ませてタイミングt3以降を選定期間PSから除外する。
尚、ピントが合っている状態にてフォーカスレンズ31の位置が完全に止まる場合は、閾値BREFをゼロとすることもできる。AF評価値の変動が或る範囲(その範囲の大きさは、例えば後述の閾値AREF)内に収まっている場合は、フォーカスレンズ31の位置を固定する、という位置制御手法を採用可能であり、その場合、閾値BREFはゼロとされる。
また、図9にも示すように、通常、AF評価値とフォーカスレンズ31の位置は、連動している。このため、AF評価値に基づいて選定期間PSの選定を行うようにしても良い。
つまり、例えば、タイミングt2において、期間選定部56は、タイミングt1からt2までのAF評価値の変動の大きさ(変動範囲の大きさ)と、予め定められた閾値AREFとを比較する。そして、前者が後者(AREF)以下となっている場合に、タイミングt2を含むフレーム及び/又はタイミングt2周辺のフレームに対応する期間を、選定期間PSに含ませる。この場合、上記の判断が可能なように、CPU23は、時間T2分の過去のAF評価値を、SDRAM17に逐次記録させる。AF評価値の変動に基づく選定とフォーカスレンズ31の位置の変動に基づく選定は、等価と言える。
動画撮影開始後、ユーザは、撮影の構図を考えながら撮像装置1を頻繁に動かすことが多い。撮影の構図が確定すると、ユーザは撮像装置1を被写体に対して(略)固定する。この状態では、フォーカスは通常ロックする一方で、撮像装置1はユーザが着目している被写体を捉えている。このため、第2選定手法を採用して選定期間PSを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。
[第3選定手法]
次に、第3選定手法について説明する。第3選定手法では、パンニング撮影が行われているか否かを検出し、その検出結果を参照する。
次に、第3選定手法について説明する。第3選定手法では、パンニング撮影が行われているか否かを検出し、その検出結果を参照する。
パンニング撮影が行われているか否かを検出するパンニング撮影検出手段は、図3の動き検出部44及び図1のCPU23によって実現される。パンニング撮影とは、撮像装置1の筐体(不図示)を右から左、或いは、左から右へと振りながら行う撮影であり、横に広い風景を撮影したり、移動する人物を追いかけて撮影したりする場合に用いられる。
図10は、図3の動き検出部44にて定義される、撮影画像内の検出ブロックを表している。動き検出部44は、各フレームの撮影画像(即ちフレーム画像)内に9つの検出ブロックBL1〜BL9を設ける。
そして、動き検出部44は、逐次取得される撮影画像(フレーム画像)間の対比に基づき、周知の代表点マッチング法を用いて、検出ブロックBL1〜BL9ごとに動きベクトルを検出する。この動きベクトルの検出は、フレームごとに行われる。検出ブロックBL1の動きベクトルは、検出ブロックBL1内の画像の動きを示すベクトルである。検出ブロックBL2〜BL9の動きベクトルについても同様である。また、検出ブロックBL1〜BL9にて検出された動きベクトルを、夫々、動きベクトルVC1〜VC9と表記する。
図11(a)、(b)及び(c)に、各撮影状態における動きベクトルVC1〜VC9の模式図を示す。但し、図面の煩雑化防止のため、各図においてVC1〜VC9の一部の符号のみを付す。
図11(a)は、撮像装置1が固定された状態における動きベクトルVC1〜VC9の模式図である。この場合、例えば図示の如く、動きベクトルVC1〜VC9の大きさは全て比較的小さく、それらの向きは均一でない。
図11(b)は、特定の被写体を追うことなくパンニング撮影を行っている状態における、動きベクトルVC1〜VC9の模式図である。この場合、動きベクトルVC1〜VC9の大きさは全て比較的大きく且つ均一であり、また、動きベクトルVC1〜VC9の向きも全て略一致している。
図11(c)は、図12に示す特定人物の被写体78を撮影画像の中央付近で捉えつつパンニング撮影を行っている状態における、動きベクトルVC1〜VC9の模式図である。この場合、例えば、風景に対応する動きベクトルVC1〜VC4、VC6、VC7及びVC9の大きさは全て比較的大きく且つ均一であり、また、それらの向きも全て略一致している。一方において、被写体78に対応する動きベクトルVC5及びVC8の大きさは比較的小さい。尚、図12における79は、1枚の撮影画像の全体領域を表している。
期間選択部56は、図11(c)に示すような動きベクトルの状態が観測されている期間を、選定期間PSに含ませる。具体的な処理手法を説明する。例えば、期間選択部56は、図3の動き検出部44によって検出される動きベクトルVC1〜VC9を参照して、以下の第1、第2、第3及び第4条件の成立/不成立を判断する。
第1条件は、「特定の検出ブロック(以下、検出ブロックαという)に対応する動きベクトルの大きさが、所定時間T3以上継続して、所定の閾値TH3以下であること」である(検出ブロックα内の動きが小さい)。
第2条件は、「上記特定の検出ブロック以外の検出ブロック(以下、検出ブロックβという)に対応する動きベクトルの大きさが、所定時間T3以上継続して、所定の閾値TH4以上であること」である(検出ブロックβ内の動きが大きい)。
第3条件は、「検出ブロックβに対応する動きベクトルの大きさの、動きベクトル間における相違量(相違量の最大値)が、所定時間T3以上継続して、所定の閾値TH5以下であること」である(検出ブロックβ内の動き量が均一)。
第4条件は、「検出ブロックβに対応する動きベクトルの向きの、動きベクトル間における相違角(相違角の最大値)が、所定時間T3以上継続して、所定の閾角度TH6以下であること」である(検出ブロックβ内の動きの向きが均一)。
第2条件は、「上記特定の検出ブロック以外の検出ブロック(以下、検出ブロックβという)に対応する動きベクトルの大きさが、所定時間T3以上継続して、所定の閾値TH4以上であること」である(検出ブロックβ内の動きが大きい)。
第3条件は、「検出ブロックβに対応する動きベクトルの大きさの、動きベクトル間における相違量(相違量の最大値)が、所定時間T3以上継続して、所定の閾値TH5以下であること」である(検出ブロックβ内の動き量が均一)。
第4条件は、「検出ブロックβに対応する動きベクトルの向きの、動きベクトル間における相違角(相違角の最大値)が、所定時間T3以上継続して、所定の閾角度TH6以下であること」である(検出ブロックβ内の動きの向きが均一)。
検出ブロックαは、検出ブロックBL1〜BL9の内の1又は2以上の検出ブロックから構成される。例えば、検出ブロックαは、画像の中央付近の検出ブロック(例えば、BL2、BL5及びBL8の内の1又は2以上の検出ブロック)から構成される。検出ブロックβは、検出ブロックBL1〜BL9から検出ブロックαを除いた部分の検出ブロックから構成される。
上記の第1〜第4条件が全て満たされるとき、動き検出部44及びCPU23によって実現されるパンニング撮影検出手段は、特定の被写体を捉えつつパンニング撮影が行われていると判断し、期間選定部56は、その判断結果に従って選定期間PSを設定する。
例えば、図13に示す如く、タイミングt4から時間T3が経過したタイミングt5に上記の第1〜第4条件の全てが初めて成立した場合を考える。
この場合、期間選定部56は、例えば、タイミングt4〜t5の間の期間を選定期間PSに含ませて、タイミングt4以前を選定期間PSから除外する。また例えば、第1〜第4条件を全て満たす状態がタイミングt5以降も継続する場合は、タイミングt5以降も選定期間PSに含ませる。そして、タイミングt5以降のタイミングt6において該状態が解除されたならば、例えば、タイミングt5〜t6の間の期間を選定期間PSに含ませて、タイミングt6以降を選定期間PSから除外する。
特定の被写体を捉えつつパンニング撮影を行っている状態は、着目している人物等の被写体を追いかけて撮影している状態と一致している、と推測することができる。このため、第3選定手法を採用して選定期間PSを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。
尚、画像の動きを検出する手法として、代表点マッチング法を用いる手法を例示したが、他の様々な検出手法を採用することも可能である。
例えば、周知の如く、動画を構成する各フレーム間において、検出ブロックごとに明るさ(輝度信号)を比較し、各検出ブロックにおける明るさの変化に基づいて画像の動きを検出するようにしてもよい。また例えば、周知の如く、動画を構成する各フレーム間において、検出ブロックごとに色(色は映像信号から特定される)を比較し、各検出ブロックにおける色の変化に基づいて画像の動きを検出するようにしてもよい。
[第4選定手法]
次に、第4選定手法について説明する。第4選定手法では、各フレームの撮影画像(即ちフレーム画像)内に存在する人物の顔領域を検出する顔領域検出機能が利用される。この顔領域検出機能を実現するために必要となる顔領域検出部46が、映像信号処理部13に設けられている(図3参照)。
次に、第4選定手法について説明する。第4選定手法では、各フレームの撮影画像(即ちフレーム画像)内に存在する人物の顔領域を検出する顔領域検出機能が利用される。この顔領域検出機能を実現するために必要となる顔領域検出部46が、映像信号処理部13に設けられている(図3参照)。
顔領域検出の手法として、様々な手法を採用することが可能である。顔領域検出部46は、例えば、周知の如く、撮影画像の肌色を抽出することによって顔領域の大きさを判断する。つまり、例えば、動画を構成する各フレームの撮影画像から肌色に分類される映像信号を有する領域を顔領域として抽出し、抽出した領域の大きさ(例えば面積)に基づいて、顔領域の大きさを求める(検出する)。上記の抽出及び顔領域の大きさの検出は、フレームごとに行われる。尚、どのような映像信号を肌色と分類するかは、予め定められている。
また、周知の如く、パターンマッチング法を用いて顔領域の大きさを検出するようにしても良い。この際、様々な顔領域のパターンに関する情報を撮像装置1内のメモリに格納しておき、それらのパターンと撮影画像とを比較することによって、顔領域を検出すると共に顔領域の大きさを検出する。
期間選定部56は、検出された顔領域の大きさに基づいて、選定期間PSを設定する。
実際の処理では、例えば、顔領域検出部46が顔領域の大きさに応じた顔領域値をフレームごとに算出して、CPU23に逐次伝達する。顔領域値は、例えば、検出された顔領域の大きさ(例えば面積)に比例する値であり、検出された顔領域の大きさが増大するにつれて増大する。CPU23によって実現される期間選定部56は、検出された顔領域値が、所定時間T4以上継続して所定の閾値TH7以上である場合、その周辺のフレームに対応する期間を選定期間PSに含ませる。尚、検出された顔領域値が、所定時間T4以上継続して所定の閾値TH7以上且つ所定の閾値TH8以下である場合に、その周辺のフレームに対応する期間を選定期間PSに含ませるようにしてもよい(但し、TH7<TH8)。
例えば、図14に示す如く、タイミングt7からt8の間、継続して、検出された顔領域値が閾値TH7以上であった場合を考える。タイミングt7以前における顔領域値は閾値TH7未満であり、且つ、タイミングt7とt8の間の時間は時間T4であるとする。
この場合、期間選定部56は、例えば、タイミングt7〜t8の間の期間を選定期間PSに含ませてタイミングt7以前を選定期間PSから除外する。また例えば、検出された顔領域値が閾値TH7以上である状態がタイミングt8以降も継続する場合は、タイミングt8以降も選定期間PSに含ませる。そして、タイミングt8以降のタイミングt9において該状態が解除されたならば、例えば、タイミングt8〜t9の間の期間を選定期間PSに含ませてタイミングt9以降を選定期間PSから除外する。
検出された顔領域の大きさだけでなく、検出された顔領域の位置にも基づいて、選定期間PSを設定するようにしてもよい。
具体的には、期間選定部56は、検出された顔領域値が所定の閾値TH7以上であって且つ顔領域が画像の中央付近に存在している状態が、所定時間T4以上継続している場合に、その周辺のフレームに対応する期間を選定期間PSに含ませる(それ以外の期間は、例えば選定期間PSに含まれない)。
図14に示す如く、タイミングt7からt8の間、継続して、検出された顔領域値が閾値TH7以上であり且つ顔領域が画像の中央付近に存在していた場合、上述と同様に選定期間PSが設定される。即ち例えば、タイミングt7〜t8の間の期間などを選定期間PSに含ませる。
顔領域が画像の中央付近に存在しているかは、例えば、図15に示す如く、検出された顔領域の所定部位(例えば、顔領域の中心)が、撮影画像内に定義された所定の中央エリア80内に位置するかによって判断される。該所定部位が中央エリア80内に位置する場合、顔領域が画像の中央付近に存在していると判断され、そうでない場合、顔領域が画像の中央付近に存在していないと判断される。尚、図15における79は、1枚の撮影画像の全体領域を表している。
画像内における顔領域の大きさが比較的大きくなっている状態、或いは、それに加えて顔領域が画像の中央付近にある状態は、ユーザが着目している人物の顔が大きく映し出されている状態と一致する、と推測することができる。このため、第4選定手法を採用して選定期間PSを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。
[第5選定手法]
次に、第5選定手法について説明する。第5選定手法では、図2のズームレンズ30を利用したズーム制御を参照する。
次に、第5選定手法について説明する。第5選定手法では、図2のズームレンズ30を利用したズーム制御を参照する。
期間選定部56は、例えば、ズームインが行われた後、所定時間T5以上継続して、ズームインまたはズームアウトによる画角の変更が行われなかった場合(即ち、画角が固定された場合)、その周辺のフレームに対応する期間を選定期間PSに含ませる。
ズームインとは、撮像素子33の撮像面上に形成される被写体の像を拡大させる動作であり、この動作に伴って撮像部11による撮影の画角は減少する。ズームアウトとは、撮像素子33の撮像面上に形成される被写体の像を縮小させる動作であり、この動作に伴って撮像部11による撮影の画角は増加する。ズームイン及びズームアウトは、操作キー26cに対する所定の操作に応じて実行される。
例えば、図16に示す如く、動画撮影開始後、タイミングt10に至るまではズームインは行われず、タイミングt10〜t11にかけてズームインが行われたとする。その後、タイミングt11〜t12の間、ズームインまたはズームアウトによる画角の変更が行われなかったとする。タイミングt11とt12の間の時間は、上記時間T5に一致するものとする。そして、タイミングt12から或る程度の時間が経過したタイミングt13において、ズームアウトが行われたとする。
この場合、期間選定部56は、例えば、タイミングt11〜t12或いはt11〜t13の間の期間を選定期間PSに含ませて、タイミングt11以前やタイミングt13以降を選定期間PSから除外する。
ユーザは、しばしば、着目している人物等の被写体をズームインによって拡大撮影する。ユーザが、このズームインによって適切な画角が設定されたと判断すると、ユーザは画角の変更を停止する。この状態で撮影された画像は、ユーザが着目している被写体を大きく捉えた特徴的な画像であることが多い。このため、第5選定手法を採用して選定期間PSを設定することにより、サムネイル動画は撮影動画の特徴的部分を良く表したものとなる。この結果、サムネイル画像表示モードにおいて、ユーザは素早く且つ的確に撮影動画の内容を把握することができるようになり、所望の動画を短時間で探索できるようになる。
[特殊再生データの生成手法]
次に、図7の特殊再生データ生成部57による、選定期間PSに対応した特殊再生データの生成手法について説明する。上述したように、特殊再生データは、サムネイル動画データとサムネイル動画用音声データとから構成される。
次に、図7の特殊再生データ生成部57による、選定期間PSに対応した特殊再生データの生成手法について説明する。上述したように、特殊再生データは、サムネイル動画データとサムネイル動画用音声データとから構成される。
まず、サムネイル動画データの生成手法について説明する。図1の圧縮処理部16は、撮影された動画を表す映像信号(動画データ)を、例えばMPEG2(Moving Picture Experts Group2)の圧縮方式を採用して圧縮をするものとする。MPEG2では、動き補償(Motion Compensation)やDCT(Discrete Cosine Transform)等を利用して、GOP(Group Of Pictures)構造を有するMPEG動画を生成する。生成されたMPEG動画を表す動画データが、撮影動画を表すものとしてメモリカード18に記録される。
図17に、このMPEG動画の構成を模式的に示す。MPEG動画は、Iピクチャと、Pピクチャと、Bピクチャと、から構成される。
Iピクチャは、フレーム内符号化画像(Intra-Coded Picture)であり、1枚のフレーム画像の全てを当該フレーム画像内で符号化した画像である。Iピクチャ単独で1枚のフレームを再構成可能である。
Pピクチャは、フレーム間予測符号化画像(Predictive-Coded Picture)であり、時間的に先のIピクチャまたはPピクチャから予測される画像である。Bピクチャは、フレーム内挿双方向予測符号化画像(Bidirectionally Predictive-Coded Picture)であり、時間的に後及び先のIピクチャまたはPピクチャから双方向予測される画像である。Pピクチャ及びBピクチャを再構成するためには、それらの予測の基になるフレームのデータが必要である。
MPEG動画は、GOPを単位として構成されている。GOPは、圧縮及び伸張が行われる単位であり、1つのGOPは、或るIピクチャから次のIピクチャまでのピクチャで構成される。例えば、1つのGOPは、15枚のピクチャ(フレーム)で構成され、「I、B、B、P、B、B、P、B、B、P、B、B、P、B、Bピクチャ」がこの順番で並んで1つのGOPが構成される。そして、1又は2以上のGOPにてMPEG動画は構成される。
動画撮影における1フレームの長さが1/60秒である場合、1つのGOPに相当する15フレームを通常再生(通常の再生速度で再生)するために必要な時間の長さは、15×1/60=1/4(秒)である。選定期間PSの長さ(時間の長さ)をPSで表した場合、選定期間PSにおける撮影動画を通常再生するために必要な時間の長さは、当然、PSである。
仮に、各GOPにおけるBピクチャの再生を省略し、Iピクチャ及びPピクチャのみを再生するようにすれば、図18(a)に示す如く、選定期間PSにおける撮影動画は、PS×1/3の時間にて再生できる。また、各GOPにおけるP及びBピクチャの再生を省略し、Iピクチャのみを再生するようにすれば、図18(b)に示す如く、選定期間PSにおける撮影動画は、PS×1/15の時間にて再生できる。
サムネイル画像表示モードにてサムネイル動画を参照したユーザが素早く撮影動画の内容を把握できるように、例えば、サムネイル動画を、撮影画像を表すMPEG動画の選定期間PSにおけるIピクチャ及びPピクチャのみにて構成する。これにより、サムネイル動画の再生時間は、PS×1/3となる。また例えば、サムネイル動画を、撮影画像を表すMPEG動画の選定期間PSにおけるIピクチャのみにて構成する。これにより、サムネイル動画の再生時間は、PS×1/15となる。
図7の特殊再生データ生成部57は、期間選定部56から選定期間PSの選定結果に基づき、上記の如く構成されるサムネイル動画を表すサムネイル動画データを生成する。
尚、サムネイル動画の画像サイズは、撮影画像を表すMPEG動画の画像サイズよりも適宜縮小化される(尚、この縮小化は必須ではない)。サムネイル動画の再生は、撮影画像を表すMPEG動画の縮小画像の早送り再生、と言い換えることができる。
次に、サムネイル動画データに対応するサムネイル動画用音声データの生成手法について説明する。サムネイル動画は、上記の如く時間方向に圧縮されている。例えば、Iピクチャ及びPピクチャのみにてサムネイル動画を構成する場合、サムネイル動画は時間方向に3倍で圧縮されていることになる。これに対応して、サムネイル動画用音声データも時間方向の圧縮を介して生成する。
例えば、サムネイル動画が時間方向に3倍で圧縮されている場合を考える。この場合、サムネイル動画用音声も時間方向に3倍で圧縮する。
音声の時間方向圧縮に関する技術として、公知または周知の各種技術を採用可能である。例えば、選定期間PSにおける音声信号から無音部分を削除し、有音部分のみから成る音声信号を作成する。図1の音声信号処理部15によって生成される音声信号の信号値は、マイク14を介して入力された音の強さが増加するに従って増大する。このため、音声信号の信号値が所定の閾値未満の信号部分を無音部分と判断し、該閾値以上の信号部分を有音部分と判断する。
無音部分を削除することによって音声信号が時間方向に3倍以上に圧縮されれば、上記の有音部分のみから成る音声信号にて、サムネイル動画用音声データが形成される。未だ圧縮が足りない場合、3倍の圧縮が確保されるまで音声信号の一部を捨て、3倍の圧縮が成された後の音声信号にてサムネイル動画用音声データを形成する。これにより、一部捨てられる部分があるものの音声の高さが変化せず、内容が明確に把握できる時間圧縮されたサムネイル動画用音声データを得ることができる。
図7の特殊再生データ生成部57は、例えば動画撮影中において、期間選定部56による選定期間PSの選定結果に基づき、サムネイル動画データ及びサムネイル動画用音声データを生成し、それらを、メモリカード18に記録しておく。或いは動画撮影終了直後に、期間選定部56による選定期間PSの選定結果に基づき、メモリカード18に記録された撮影画像を表す圧縮映像信号(MPEG動画データ)及び圧縮音声信号から、サムネイル動画データ及びサムネイル動画用音声データを生成し、それらを、メモリカード18に記録しておく。
これらの場合、サムネイル画像表示モードにおいて、操作部26への操作に従って、サムネイル動画データ及びサムネイル動画用音声データがメモリカード18から読み出され、サムネイル動画及びサムネイル動画用音声が再生される。
再生するに先立って、サムネイル動画データ等を生成及び記録しておくようにすれば、再生時の信号処理負担が軽減され、速やかにサムネイル動画等を再生すること可能となる(ユーザによる所望の動画ファイル選定も速やかに行える)。
また例えば、サムネイル動画等を先に生成してメモリカード18に記録しておくのではなく、サムネイル動画等を再生する際にサムネイル動画データ等を生成するようにしてもよい。この場合、例えば、動画撮影時において、期間選定部56が選定した選定期間PSを特定するための選定情報を撮影動画に関連付けつつメモリカード18に記録しておく。そして再生時において、図7の特殊再生データ生成部57が、その選定情報に基づき、メモリカード18に記録された撮影画像を表す圧縮映像信号(MPEG動画データ)及び圧縮音声信号からサムネイル動画データ及びサムネイル動画用音声データを生成する。これにより、サムネイル動画及びサムネイル動画用音声が再生される。
再生時にサムネイル動画等を生成するようにすれば、メモリカード18の記録領域の使用量を軽減することができる。
また、撮影画像を表すMPEG動画の選定期間PSにおけるI、P及びBピクチャの全てを用いてサムネイル動画を構成することも可能である(この場合、サムネイル動画用音声の時間圧縮は不要である)。この場合、サムネイル動画の再生時間はPSとなるが、選定期間PSに対応する画像は撮影動画の特徴的部分を抽出した画像であるため、撮影動画の先頭フレームから再生表示するよりも、容易に撮影動画の内容を把握することが可能である。但し、撮影動画の内容をより素早く把握する観点から、P及び/又はBピクチャを省いてサムネイル動画を構成した方が好ましい。
[撮像再生装置の構成形態]
次に、本発明に係る映像再生装置の構成形態について説明する。撮像装置1に備えられた表示部27及びスピーカ28にて、サムネイル動画等を再生する場合、撮像装置1によって「撮像再生装置」が形成される。
次に、本発明に係る映像再生装置の構成形態について説明する。撮像装置1に備えられた表示部27及びスピーカ28にて、サムネイル動画等を再生する場合、撮像装置1によって「撮像再生装置」が形成される。
また、図1の伸張処理部19、映像出力回路20、音声出力回路21、表示部27及びスピーカ28から成る再生手段と同等の部位を備えた、パーソナルコンピュータやテレビジョン等の映像再生装置(不図示)が、メモリカード18の記録内容を参照して、表示部27及びスピーカ28による再生と同等の再生を行う、といったことも可能である。この映像再生装置は、外部からの操作に従って、サムネイル動画及びサムネイル動画用音声を再生可能である。
この場合、撮像装置1と上記の映像再生装置によって「撮像再生装置」が形成される。その映像再生装置内の再生手段による上記再生を可能ならしめる撮像装置1のみによって「撮像再生装置」が形成される、と考えることも可能である。
尚、上記の映像再生装置に、図7の特殊再生データ生成部57と同等の部位を備えるようにしてもよい。そうすれば、映像再生装置内で、サムネイル動画データ及びサムネイル動画用音声データを生成することも可能になる。
また、表示部27及びスピーカ28から成る再生手段と同等の部位を備えた、パーソナルコンピュータやテレビジョン等の映像再生装置(不図示)が、撮像装置1の映像出力回路20及び音声出力回路21からの映像信号及び音声信号を受けることにより、表示部27及びスピーカ28による再生と同等の再生を行う、といったことも可能である。この映像再生装置は、外部からの操作に従って、サムネイル動画及びサムネイル動画用音声を再生可能である。
この場合も、撮像装置1と上記の映像再生装置によって「撮像再生装置」が形成される。その映像再生装置内の再生手段による上記再生を可能ならしめる撮像装置1のみによって「撮像再生装置」が形成される、と考えることも可能である。
<<変形等>>
尚、上述の第1〜第5選定手法の内、任意の2以上の選定手法を自由に組み合わせることも可能である。
尚、上述の第1〜第5選定手法の内、任意の2以上の選定手法を自由に組み合わせることも可能である。
また、サムネイル動画は一覧表示のまま再生されると上述したが、必ずしも一覧表示のまま再生する必要はない。図5を再度参照する。例えば、カーソル72にてサムネイル静止画TN3を選択した際、サムネイル静止画TN3に対応するサムネイル動画を、サムネイル静止画TN3の表示領域と異なる表示領域にて、再生(表示)するようにしてもよい。
また例えば、表示画面内にサムネイル動画の再生専用表示領域を設けて、その再生専用表示領域にサムネイル動画を再生(表示)するようにしてもよい。これは、特に、上述の映像再生装置を用いる場合に適している。上述の映像再生装置における表示部の表示画面は、通常比較的大きいからである。
本実施形態において、画角変更手段として機能する部位は、ドライバ34を含む。図1の操作キー26c及び/又はCPU23、或いは、図2のズームレンズ30も画角変更手段の構成要素である、と捉えることも可能である。また、オートフォーカス制御手段は、主として、図3のAF評価値検出部42と、図1のCPU23と、図2のドライバ34と、によって実現される。また、図7の特殊再生データ生成部57は、或いは、期間選定部56と特殊再生データ生成部57は、特殊生成手段として機能する。
1 撮像装置
11 撮像部
12 AFE
13 映像信号処理部
14 マイク
15 音声信号処理部
26 操作部
26a 録画ボタン
26b シャッタボタン
26c 操作キー
30 ズームレンズ
31 フォーカスレンズ
33 撮像素子
41 動画/静止画処理部
42 AF評価値検出部
43 AE評価値検出部
44 動き検出部
45 サムネイル生成部
46 顔領域検出部
56 期間選定部
57 特殊再生データ生成部
11 撮像部
12 AFE
13 映像信号処理部
14 マイク
15 音声信号処理部
26 操作部
26a 録画ボタン
26b シャッタボタン
26c 操作キー
30 ズームレンズ
31 フォーカスレンズ
33 撮像素子
41 動画/静止画処理部
42 AF評価値検出部
43 AE評価値検出部
44 動き検出部
45 サムネイル生成部
46 顔領域検出部
56 期間選定部
57 特殊再生データ生成部
Claims (8)
- 被写体に応じた撮像信号を出力する撮像手段と、
前記撮像信号に基づいて、撮影した動画ごとにサムネイルを生成するサムネイル生成手段と、
撮影した動画ごとに、動画の全体の撮影期間の一部の期間である特殊再生用期間を選定し、該特殊再生用期間における前記撮像信号に基づいた特殊再生用動画を生成する特殊生成手段と、を備え、
1又は2以上の前記サムネイルを再生手段に一覧表示している際において、外部からの操作によって何れかのサムネイルが選択されたとき、選択された前記サムネイルに対応する前記特殊再生用動画が前記再生手段にて再生される
ことを特徴とする撮像再生装置。 - 外部から音の入力を受ける音入力手段を更に備え、
前記特殊生成手段は、前記動画の撮影中に入力された前記音の強さ若しくは大きさまたは前記音の所定帯域の周波数成分の強さ若しくは大きさに基づいて、前記特殊再生用期間を選定する
ことを特徴とする請求項1に記載の撮像再生装置。 - 前記被写体を表す光学像が前記撮像手段に備えられた撮像素子の撮像面に結像するようにフォーカスレンズの位置を自動的に調節するオートフォーカス制御手段を更に備え、
前記特殊生成手段は、前記位置の変動状態に基づいて、前記特殊再生用期間を選定する
ことを特徴とする請求項1に記載の撮像再生装置。 - 前記動画を構成する撮影画像内の画像の動きに基づいて、特定の被写体を捉えつつパンニング撮影が行われているか否かを検出するパンニング撮影検出手段を備え、
前記特殊生成手段は、前記パンニング撮影検出手段の検出結果に基づいて、前記特殊再生用期間を選定する
ことを特徴とする請求項1に記載の撮像再生装置。 - 前記撮像信号に基づいて、前記動画を構成する撮影画像内に存在する人物の顔領域を検出する顔領域検出手段を更に備え、
前記特殊生成手段は、検出された前記顔領域の大きさに基づいて、前記特殊再生用期間を選定する
ことを特徴とする請求項1に記載の撮像再生装置。 - 前記撮像手段による撮影の画角の変更を可能とするための画角変更手段を備え、
前記特殊生成手段は、前記画角変更手段による前記画角の変更状態に基づいて、前記特殊再生用期間を選定する
ことを特徴とする請求項1に記載の撮像再生装置。 - 前記特殊生成手段は、動画撮影中に或いは動画撮影終了後に前記特殊再生用動画を表す特殊再生用動画データを生成して記録手段に記録し、
前記再生手段による前記特殊再生用動画の再生は、前記特殊再生用動画データを前記記録手段から読み出すことによって行われる
ことを特徴とする請求項1〜請求項6の何れかに記載の撮像再生装置。 - 撮影した動画を表す画像データを記録するための記録手段を備え、
前記特殊生成手段は、前記特殊再生用動画を前記再生手段にて再生する際に、前記記録手段に記録された前記画像データを用いて、前記特殊再生用動画を生成する
ことを特徴とする請求項1〜請求項6の何れかに記載の撮像再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006084926A JP2007266659A (ja) | 2006-03-27 | 2006-03-27 | 撮像再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006084926A JP2007266659A (ja) | 2006-03-27 | 2006-03-27 | 撮像再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007266659A true JP2007266659A (ja) | 2007-10-11 |
Family
ID=38639275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006084926A Pending JP2007266659A (ja) | 2006-03-27 | 2006-03-27 | 撮像再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007266659A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009246888A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 画像処理装置 |
JP2010016729A (ja) * | 2008-07-07 | 2010-01-21 | Hitachi Ltd | 撮像装置 |
JP2010068474A (ja) * | 2008-09-12 | 2010-03-25 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
JP2010079950A (ja) * | 2008-09-24 | 2010-04-08 | Sharp Corp | 記録再生装置、記録再生装置の制御方法、プログラム、及び記録媒体 |
US8320717B2 (en) | 2008-03-31 | 2012-11-27 | Brother Kogyo Kabushiki Kaisha | Image processor |
US8422860B2 (en) | 2009-08-28 | 2013-04-16 | Sanyo Electric Co., Ltd. | Image processing apparatus |
JP2014225148A (ja) * | 2013-05-16 | 2014-12-04 | 誠人 森田 | 画像表示システム |
US9323479B2 (en) | 2014-02-27 | 2016-04-26 | Brother Kogyo Kabushiki Kaisha | Information processing apparatus for displaying thumbnail images associated with printed frames of a moving image file |
-
2006
- 2006-03-27 JP JP2006084926A patent/JP2007266659A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009246888A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 画像処理装置 |
JP4623120B2 (ja) * | 2008-03-31 | 2011-02-02 | ブラザー工業株式会社 | 画像処理装置 |
US8320717B2 (en) | 2008-03-31 | 2012-11-27 | Brother Kogyo Kabushiki Kaisha | Image processor |
US8588532B2 (en) | 2008-03-31 | 2013-11-19 | Brother Kogyo Kabushiki Kaisha | Image processor |
JP2010016729A (ja) * | 2008-07-07 | 2010-01-21 | Hitachi Ltd | 撮像装置 |
JP2010068474A (ja) * | 2008-09-12 | 2010-03-25 | Canon Inc | 撮像装置及び撮像装置の制御方法 |
JP2010079950A (ja) * | 2008-09-24 | 2010-04-08 | Sharp Corp | 記録再生装置、記録再生装置の制御方法、プログラム、及び記録媒体 |
US8422860B2 (en) | 2009-08-28 | 2013-04-16 | Sanyo Electric Co., Ltd. | Image processing apparatus |
JP2014225148A (ja) * | 2013-05-16 | 2014-12-04 | 誠人 森田 | 画像表示システム |
US9323479B2 (en) | 2014-02-27 | 2016-04-26 | Brother Kogyo Kabushiki Kaisha | Information processing apparatus for displaying thumbnail images associated with printed frames of a moving image file |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8000558B2 (en) | Thumbnail generating apparatus and image shooting apparatus | |
JP4637045B2 (ja) | 撮像装置 | |
US8515237B2 (en) | Imaging device and image processing apparatus | |
JP4949709B2 (ja) | カメラ、カメラの決定方法、カメラの制御方法 | |
JP2007266659A (ja) | 撮像再生装置 | |
JP2007318725A (ja) | カメラ、カメラの撮影制御方法、プログラム、記録媒体 | |
JP4556195B2 (ja) | 撮像装置、動画再生装置及びそのプログラム | |
US20110199496A1 (en) | Image capturing apparatus, image capturing control method, and storage medium | |
JP2008139683A (ja) | 撮像装置及びオートフォーカス制御方法 | |
JP2006303961A (ja) | 撮像装置 | |
JP2009111518A (ja) | 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造 | |
US20130063621A1 (en) | Imaging device | |
US8538247B2 (en) | Image processing apparatus and image processing method | |
JP5164610B2 (ja) | 撮像装置及びその制御方法 | |
JP4890918B2 (ja) | 再生装置、再生画像の選択方法、プログラム | |
WO2009136469A1 (ja) | 動画像の記録並びに再生を行う装置 | |
US8305467B2 (en) | Image pickup apparatus and image pickup method | |
JP2010147798A (ja) | 画像処理装置及び画像処理方法 | |
JP2008205953A (ja) | 撮像装置、及び画像再生装置 | |
JP2010050784A (ja) | デジタルカメラ | |
JP5012985B2 (ja) | 撮像装置及びそのプログラム | |
JP2008301357A (ja) | 撮像装置及びその制御方法 | |
JP2012010133A (ja) | 画像処理装置および画像処理プログラム | |
JP2014120926A (ja) | 撮像装置 | |
JP2007266662A (ja) | サムネイル生成装置及び撮像装置 |