JP2008306334A - 動画ファイル生成方法およびこれを用いた動画撮影装置 - Google Patents

Abstract

【課題】動画の撮影時において自動的に編集を行う。
【解決手段】被写体を撮影することにより画像フレームＦＰを取得し、取得した画像フレームＦＰに圧縮符号化を施して第１記憶部６に記憶する。第１記憶部６に記憶した画像フレームＦＰの符号量ＥＮから画像フレームＦＰの評価値ＥＶを算出し、算出した評価値ＥＶが設定評価値ＥＶ_ｒｅｆより小さい過小画像フレームＦＰｓであると判断された画像フレームＦＰが設定枚数Ｍ_ｒｅｆだけ連続して存在しているか否かを検出する。過小画像フレームＦＰｓが設定枚数Ｍ_ｒｅｆだけ連続していることを検出したとき、動画ファイルの録画開始から連続した過小画像フレームＦＰｓ以前までの間にある複数の画像フレームＦＰを用いて動画ファイルＭＦを生成し第２記憶部７に記憶する。
【選択図】図７

Description

本発明は、撮影時に動画ファイルを生成する際の動画ファイル生成方法およびこれを用いた動画撮影装置に関するものである。

近年、光ディスクや磁気ディスク等の大容量の記録メディアを動画像を取得するデジタルカメラの記録メディアとして用いることにより、長時間の動画の記憶が可能になってきている。一方、長時間の録画により動画を取得したとき、重要なシーンを抽出したり不要なシーンを削除する等により適切な再生時間の動画に編集することが必要になる場合が多い。そこで、撮影により取得した動画像について編集装置等を用いて編集を行うことが提案されている（たとえば特許文献１参照）。特許文献１において、撮影により取得された動画を動画像フレームのカラーヒストグラム変化に基づいて複数のセグメントに分割する映像編集システムが提案されている。

さらに、撮影時に撮影者が編集作業を容易に行うことができるように、撮影時に編集点を設定するビデオカメラが提案されている（たとえば特許文献２、３、４参照）。特許文献２において、動画の録画時に正確なピント合わせが不可能であるときにその旨をインデックスコードとして記録し、編集機による編集作業時にインデックスコードを用いて編集を行うことが提案されている。また、特許文献３において、表示部に録画開始からの経過時間を表示するとともに、各カット毎の録画時間を表示することにより、撮影時に各カットが適切な録画時間になるようにして後の編集作業を合理的に行う方法が提案されている。また特許文献４において、撮影者の生理変化を特徴量として取得して生理変化に基づいて編集点を設定する撮像装置が開示されている。たとえば発汗量、α波の変化の大きさ、まばたきの頻度、同行の変化の大きさおよび脈拍数の変化の大きさ等の生理変化に関する特徴量が判定強度以上であるか否かに応じて編集点を設定する。
特開平１０−２７６４４９号公報 特開平７−１４３３９４号公報 特開平１１−８８７２９号公報 特開２００６−１５７８９３号公報

しかし、特許文献２〜４においてはいずれも撮影時に編集作業をする際に撮影者による画面の確認や撮影者による操作が必要になるという問題がある。よって、撮影時においてユーザーの手間が掛からず自動的に編集が行われることが望まれている。

そこで、本発明は、動画の撮影時において自動的に編集を行うことができる動画ファイル生成方法およびこれを用いた動画撮影装置を提供することを目的とするものである。

本発明の動画ファイル生成方法は、被写体を撮影することにより画像フレームを順次取得し、取得した画像フレームに圧縮符号化を施して第１記憶部に記憶するとともに、圧縮符号化を施した画像フレームの符号量から画像フレームの評価値を算出し、算出した評価値が設定評価値より小さい過小画像フレームであるか否かを検出し、過小画像フレームが検出されたとき、過小画像フレームが設定枚数分連続しているか否かを検出し、過小画像フレームが設定枚数分連続したことを検出したとき、第１記憶部に記憶された複数のフレーム画像のうち、動画ファイルとなる画像フレームの取得開始から過小画像フレームが検出される前までの複数の画像フレームを抽出し生成した動画ファイルを第２記憶部に記憶することを特徴とするものである。

本発明の動画撮影装置は、被写体を撮影することにより画像フレームを順次取得する撮像部と、撮像部により生成された画像フレームに圧縮符号化を施す圧縮符号化処理部と、圧縮符号化処理部により圧縮符号化された各画像フレームを記憶する第１記憶部と、第１記憶部に記憶した画像フレームの符号量から画像フレームの評価値を算出する評価値算出部と、評価値算出部により算出された評価値が設定評価値より小さい過小画像フレームであるか否かを検出するとともに、過小画像フレームが設定枚数分連続しているか否かを検出するフレーム評価部と、フレーム評価部において過小画像フレームが設定枚数分連続したことが検出されたとき、第１記憶部に記憶された複数のフレーム画像のうち、動画ファイルとなる画像フレームの取得開始から過小画像フレームが検出される前まで複数の画像フレームを抽出し動画ファイルを生成するファイル生成部と、ファイル生成部により生成された動画ファイルを記憶する第２記憶部とを備えたことを特徴とするものである。

ここで、動画ファイルの取得開始とは、撮影者の指示により録画が開始されたときには、その指示があったときを意味し、連続した過小画像フレームの検出により動画ファイルが作成された後においては、新たな動画ファイルの取得が再開されたときを意味する。

また、評価値とは、圧縮符号化したときの符号量の評価であって符号量を用いて算出されるものであってもよいし、符号量自体であってもよい。なお、また、本明細書ではフレームで統一して記載してあるが、符号化方式等によってはフィールドを用いての実施も可能であることは勿論である。

フレーム評価部は、過小画像フレームが設定枚数分連続した後において、評価値が設定評価値以上となる画像フレームを順次検出する機能を有するものであってもよい。このとき、ファイル生成部は、フレーム評価部において画像フレームが検出されたとき、検出された画像フレームから新たな動画ファイルとして取得を開始し新たな動画ファイルの生成を行うものであってもよい。

また、動画撮影装置は、動画ファイルとなる画像フレームの取得を開始したとき、画像フレームの取得開始からの経過期間の計測を行う計時部をさらに備えたものであってもよい。このとき、ファイル生成部は、設定枚数分連続した過小画像フレームが検出されずに経過期間が設定録画期間だけ経過したとき、動画ファイルとなる画像フレームの取得開始から設定録画期間分の複数の画像フレームからなる動画ファイルを生成するようにしてもよい。

また、第１記憶部と第２記憶部は、それぞれ別々の情報記録媒体からなるものであってもよいし、同一の情報記録媒体上において異なる記憶領域で形成されたものであってもよい。

さらに、動画撮影装置は、撮影モードを切り替えるモード切替部をさらに備えたものであってもよい。このとき、フレーム評価部は、モード切替部において切り替えられる撮影モード毎に異なる設定評価値を決定する機能を有していてもよい。

本発明の動画ファイル生成方法およびこれを用いた動画撮影装置によれば、被写体を撮影することにより画像フレームを順次取得し、取得した画像フレームに圧縮符号化を施して第１記憶部に記憶するとともに、圧縮符号化を施した画像フレームの評価値を算出し、算出した評価値が設定評価値より小さい過小画像フレームであるか否かを検出し、過小画像フレームが検出されたとき、過小画像フレームが設定枚数分連続しているか否かを検出し、過小画像フレームが設定枚数分連続したことを検出したとき、第１記憶部に記憶された複数のフレーム画像のうち、動画ファイルとなる画像フレームの取得開始から過小画像フレームが検出される前までの複数の画像フレームを抽出し生成した動画ファイルを第２記憶部に記憶することにより、画像フレームがボケたとき、移動速度の速い被写体が映っているとき、被写体が障害物により隠れているとき等において画像フレームの評価値は小さくなることを利用し、評価値が小さくなった過小画像フレームは撮影者にとって重要なシーンではないと判断し、過小画像フレームが連続したときに過小画像フレームを除去した動画ファイルの生成を行うため、不要な画像フレームを除去するような編集を撮影時に自動的に行うことができる。

なお、フレーム評価部が、過小画像フレームが設定枚数分連続した後において、評価値が設定評価値以上となる画像フレームを順次検出する機能を有するものであり、ファイル生成部が、フレーム評価部において評価値が設定評価値以上となる画像フレームが検出されたとき、この画像フレームから新たな動画ファイルの取得を開始し新たな動画ファイルの生成を行うものであるとき、操作者が操作を行わなくても自動的に過小画像フレーム以後における新たな動画ファイルの生成を再開させることができる。

さらに、動画ファイルとなる画像フレームの取得を開始したとき、画像フレームの取得開始からの経過期間の計測を行う計時部をさらに備え、ファイル生成部が、設定枚数分連続した過小画像フレームが検出されずに経過期間が設定録画期間だけ経過したときに、動画ファイルとなる画像フレームの取得開始から設定録画期間分の複数の画像フレームからなる動画ファイルを生成するものであるとき、動画の取得が長時間に渡り行われたときであっても設定録画期間単位の動画ファイルが生成されるため、再生時に見たいシーンの頭出しを容易に行うことができる。

また、撮影モードを切り替えるモード切替部をさらに備え、フレーム評価部がモード切替部において切り替えられる撮影モード毎に異なる設定評価値を決定する機能を有するものであるとき、各撮影モードに適した設定評価値を決定し過小画像フレームの判定を行うことができる。

以下、図面を参照して本発明の動画撮影装置の好ましい実施の形態を詳細に説明する。図１は本発明の動画撮影装置１の内部構成の一例を示すブロック図である。動画撮影装置１はたとえばデジタルカメラであって、操作入力部２、通信部３、表示部４、撮像部１０、信号処理部２０、圧縮符号化処理部３０等を備えており、各構成間において画像バスを介して画像フレームＦＰが転送可能になっている。また、上記各構成はＣＰＵバスを介して動画撮影装置１の全体の動作はＣＰＵ５によって統括制御され、ＣＰＵ５は所定のプログラムに従って動画撮影装置１の動作を制御する制御部として機能する。

操作入力部２は、撮影者が動画撮影装置１を動作させるために操作するものであって、たとえば撮影の開始および撮影の停止を指示するためのレリーズスイッチの他に、静止画撮影モード、動画撮影モード、再生モードを切り替えるモード切替部２ａ等を有している。そして、静止画撮影のときにはモード切替部２ａにより静止画撮影モードに設定した後、レリーズスイッチを押し込み一枚の静止画を撮影指示する。また動画撮影のときにはモード切替部２ａにより動画撮影モードに設定して動画撮影スタンバイ状態にした後、レリーズスイッチを一度押し込んだら動画の取得を開始し、もう一度押し込んだら動画の取得を停止する。

通信部３は撮影により取得した動画をパーソナルコンピュータや表示装置等の外部に情報を送信するとともに、外部からの情報を受信するものである。なお、通信部３が有線によりデータ通信を行う場合について例示しているが、無線通信、光通信などの通信方式により必要に応じて使用してもよいし、使用する通信プロトコルは必要に応じて選択可能である。表示部４はたとえば液晶ディスプレイ（ＬＣＤ）等からなっており、記録メディアに記録されている動画を表示するとともに、撮影中の動画を表示するものである。

撮像部１０は、被写体から入射する被写体像を光電変換するＣＣＤ、ＣＭＯＳ等の撮像素子と、被写体像を撮像素子上に結像する結像光学系を備えている。そして、撮像部１０は動画撮影モードの場合、インターレース方式もしくはプログレッシブ方式により所定のフレームレートで画像フレームＦＰを取得してゆく。

信号処理部２０は、撮像部１０により取得された画像フレームＦＰに対しオフセット補正処理、カラーマトリクス処理、階調変換処理、デモザイク処理、輪郭強調処理等の画像処理を施すものである。

圧縮符号化処理部３０は、信号処理部２０により信号処理された各画像フレームＦＰに対し、圧縮符号化処理を施すものであって、圧縮符号化処理としてはたとえばモーションＪＰＥＧ、ＭＰＥＧ等公知の技術を用いることができる。

第１記憶部６は、圧縮符号化処理部３０において圧縮符号化された画像フレームＦＰを記憶するものであり、第２記憶部７は後述するように編集された動画ファイルＭＦを記憶するものである。なお、第１記憶部６および第２記憶部７は、内蔵に実装された記録媒体であってもよいし、いわゆるメモリカードに代表される外部記憶媒体であってもよい。さらに、第１記憶部および第２記憶部は、それぞれ別の情報記録媒体により構成されたものであっても良いし、１つの情報記録媒体においてたとえば２つのフォルダに分けられている等により構成されたものであってもよい。

図２は図１の動画撮影装置１における主要部の一例を示すブロック図である。動画撮影装置１は、上述した構成の他に評価値算出部４０、フレーム評価部５０、ファイル生成部６０を備えている。なお、評価値算出部４０、フレーム評価部５０、ファイル生成部６０等は、ＣＰＵ５にバス３２を介して接続されたＲＯＭ８に記憶されたプログラムを実行することにより構成される。

評価値算出部４０は、第１記憶部に記憶した画像フレームＦＰの符号量ＥＮについての評価値ＥＶを算出するものであって、たとえば評価値ＥＶとして符号量ＥＮ自体が用いられる。たとえば図３の期間Ｔ２に示すように、急なパンニングやズーミング等がなされ、あるいはフォーカスが合っていない等の画像フレームＦＰがぼけている場合、画像フレームＦＰに含まれる高周波成分は少なく符号量ＥＮは小さくなるため、評価値ＥＶもまた小さくなる。なお、評価値算出部４０は、上述した符号量ＥＮ自体を評価値ＥＶとして用いる他に、圧縮符号化されたときの符号量ＥＮについての公知の評価手法を用いることができる。

図２のフレーム評価部５０は、評価値算出部４０により算出された評価値ＥＶが設定評価値ＥＶ_ｒｅｆよりも小さい過小画像フレームＦＰｓが設定枚数Ｍ_ｒｅｆ以上連続したことを検出するものである。なお、評価値ＥＶが設定評価値ＥＶ_ｒｅｆより少ない過小画像フレームＦＰｓが存在する場合であっても過小画像フレームＦＰｓが設定枚数Ｍ_ｒｅｆ以上連続しない限り、フレーム評価部５０は連続した過小画像フレームＦＰであるとして検出しない。

ここで、撮影者が動画撮影装置１を用いて被写体を撮影したとき、時間経過とともに図３、図４に示すような複数の画像フレームＦＰが第１記憶部６に記憶されたものとする。フレーム評価部５０は、時刻ｔ０に取得された画像フレームＦＰから順に第１記憶部６に記憶される画像フレームＦＰの評価値ＥＶが設定評価値ＥＶ_ｒｅｆよりも小さいか否かを判断する。そして、期間Ｔ１後の時刻ｔ１から急なパンニングやズーミング等がなされ画像フレームＦＰがぼけたものになったとき、フレーム評価部５０は開始時刻ｔ１に取得した画像フレームＦＰを評価値ＥＶが設定評価値ＥＶ_ｒｅｆよりも小さい過小画像フレームＦＰｓであると評価する。さらに、時間ｔ１以後に取得された画像フレームＦＰが過小画像フレームＦＰｓであるか否かが評価され、過小画像フレームＦＰｓが設定枚数Ｍ_ｒｅｆだけ連続しているか否かを検出する。

なお、フレーム評価部５０は過小画像フレームＦＰｓの枚数をカウントする場合について例示しているが、一定のフレームレートにより動画が取得されている場合、上記枚数の計測は連続した過小画像フレームＦＰｓが存在する期間の計測と同義であるため、過小画像フレームＦＰｓが設定過小期間Ｔ１ｒｅｆだけ連続するか否かを検出するようにしてもよい。

また、上述したフレーム評価部５０は、各撮影モードに応じて異なる設定評価値ＥＶ_ｒｅｆを有し、モード切替部２ａにより切り替えられた撮影モードに従って設定評価値ＥＶ_ｒｅｆを決定する機能を有していてもよい。たとえば遠景を撮影したとき各画像フレームＦＰの符号量ＥＮは小さくなる傾向がある。よって撮影モードが風景モードに設定されたときには、フレーム評価部５０は標準的な設定評価値ＥＶ_ｒｅｆよりも小さい値の設定評価値ＥＶ_ｒｅｆを用いる。あるいは、被写体に接写するような場合、各画像フレームの符号量ＥＮは大きくなる傾向にある。よって撮影モードが近接撮影モード（マクロモード）であるとき、フレーム評価部５０は標準的な設定評価値ＥＶ_ｒｅｆよりも大きい値の設定評価値ＥＶ_ｒｅｆを用いる。

図２のファイル生成部６０は、フレーム評価部５０において設定枚数Ｍ_ｒｅｆだけ連続した過小画像フレームＦＰｓが検出されたとき、第１記憶部６に記憶された複数のフレーム画像ＦＰのうち、動画ファイルＭＦの取得開始から連続した過小画像フレームＦＰｓ以前までの複数の画像フレームＦＰを抽出し動画ファイルＭＦを生成するものである。なお、ファイル生成部６０は、撮影者により操作入力部２を介して動画の録画開始の指示がなされた場合、最初に取得された時刻ｔ０の画像フレームＦＰを動画ファイルＭＦの取得開始とする。そして、ファイル生成部６０は抽出した複数の画像フレームＦＰを用いて動画ファイルＭＦを生成し第２記憶部７に記憶する。

具体的には、図３、図４に示すように、時刻ｔ１から設定枚数Ｍ_ｒｅｆだけ過小画像フレームＦＰｓが連続したとき、図５に示すように、ファイル生成部６０は連続した過小画像フレームＦＰｓ以前の時刻ｔ０〜ｔ１までの期間Ｔ１の複数の画像フレームＦＰを第１記憶部６から抽出する。そして、ファイル生成部６０は抽出した画像フレームＦＰを用いて動画ファイルＭＦを生成し第２記憶部７に記憶させる。

さらに、フレーム評価部５０は、過小画像フレームＦＰｓが設定枚数Ｍ_ｒｅｆ以上連続した後において評価値ＥＶが設定評価値ＥＶ_ｒｅｆ以上になる画像フレームＦＰを検出する機能を有している。そして、符号量ＥＮが設定評価値ＥＶ_ｒｅｆ以上になる画像フレームＦＰを検出したとき、ファイル生成部６０は評価値ＥＶが設定評価値ＥＶ_ｒｅｆ以上になった画像フレームＦＰを新たな動画ファイルＭＦの取得を開始する。

つまり図４において、フレーム評価部５０が時間ｔ２における画像フレームＦＰの評価値ＥＶが設定評価値ＥＶ_ｒｅｆ以上であることを検出したものとする。すると、ファイル生成部６０は時間ｔ２の画像フレームＦＰから新たな動画ファイルＭＦの取得を開始する。そして、図６に示すように、ファイル生成部６０は新たな動画ファイルＭＦの取得開始（時刻ｔ２の画像フレームＦＰ）から次の過小画像フレームＦＰｓ前までの期間Ｔ３の画像フレームＦＰを抽出して新たな動画ファイルＭＦを生成し、第２記憶部７に記憶する。

なお、上述のように、期間Ｔ２の連続する過小画像フレームＦＰｓについては、第２記憶部７には記憶されないが、期間Ｔ２の画像フレームＦＰが必要になる場合があるため、期間Ｔ２の過小画像フレームＦＰｓを別ファイルとして生成するようにしてもよいし、第１記憶部６に残すようにしてもよい。さらに、ファイル生成部６０は、上述した動画ファイルＭＦの他に、第１記憶部６に記憶された上記過小画像フレームＦＰｓを含むすべての画像フレームＦＰからなる原動画ファイルを生成する機能を有していてもよい。このとき、ファイル生成部６０は、上述した評価値ＥＶが設定評価値ＥＶ_ｒｅｆ以上となる画像フレームＦＰが検出される毎に区切られた複数の原動画ファイルを生成するようにしてもよい。これにより、原動画ファイルを再生する際のシーンの頭出しを容易に行うことができる。

また、ファイル生成部６０は、第２記憶部７に１回の録画において複数の動画ファイルＭＦを作成したとき、これら複数の動画ファイルＭＦを１つの動画ファイルに結合するようにしてもよい。これにより、動画ファイルＭＦの一覧性を向上させることができる。

図７は本発明の動画ファイル生成方法の好ましい実施形態を示すフローチャートであり、図１から図７を参照して動画ファイル生成方法について説明する。まず撮影者がたとえばリレーズボタンをＯＮすることにより動画の取得が開始される（ステップＳＴ１）。すると、撮像部１０により取得された画像フレームが信号処理部２０において画像処理され、圧縮符号化処理部３０により圧縮される（ステップＳＴ２）。このとき、ファイル生成部６０において、録画が開始された最初の画像フレームＦＰから動画ファイルＭＦの取得が開始される。なお、撮影者が再びレリーズボタンを押下することにより動画の撮影が停止する（ステップＳＴ３）。

次に、一定のフレームレートで画像フレームＦＰが取得されていく間、評価値算出部４０により逐次各画像フレーム画像ＦＰの評価値ＥＶが算出されていく（ステップＳＴ４）。そして、フレーム評価部５０において画像フレームＦＰの評価値ＥＶが設定評価値ＥＶ_ｒｅｆよりも小さい過小画像フレームＦＰｓが存在するか否かが検出される（ステップＳＴ５）。

画像フレームＦＰが過小画像フレームＦＰｓである場合、過小画像フレームＦＰｓの枚数カウンターＭが加算される。そして、過小画像フレームＦＰｓが連続する場合、枚数カウンターＭが加算されていき（ステップＳＴ６）、枚数カウンターＭが設定枚数Ｍ_ｒｅｆになったか否かが検出される（ステップＳＴ７）。なお、枚数カウンターＭが設定枚数Ｍ_ｒｅｆになる前に符号量ＥＮが設定評価値ＥＶ_ｒｅｆ以上の画像フレームＦＰが存在した場合、すなわち過小画像フレームＦＰｓが連続して存在していない場合、枚数カウンターＭは初期化される（ステップＳＴ８）。

一方、過小画像フレームＦＰｓの枚数Ｍが設定枚数Ｍ_ｒｅｆになったとき、ファイル生成部６０により第１記憶部６に記憶されている過小画像フレームＦＰｓより前の画像フレームが抽出され動画ファイルＭＦが生成される。そして、生成された動画ファイルＭＦが第２記憶部７に転送され記憶される（ステップＳＴ９）。

さらに、過小画像フレームＦＰｓが設定枚数Ｍ_ｒｅｆ以上連続した期間経過後において、フレーム評価部５０により画像フレームＦＰについて評価値ＥＶが算出され（ステップＳＴ１０）、評価値ＥＶが設定評価値ＥＶ_ｒｅｆ以上であるか否かが判定される（ステップＳＴ１１）。画像フレームＦＰの評価値ＥＶが設定評価値ＥＶ_ｒｅｆ以上であると判定されたとき、ファイル生成部６０において符号量ＥＮが設定評価値ＥＶ_ｒｅｆ以上の画像フレームＦＰから新たな動画ファイルＭＦの取得が開始される（ステップＳＴ１２）。その後、上述した動作を撮影者が録画停止の操作を行うまで図８のステップＳＴ１〜ＳＴ１１までの動作が繰り返される。

このように、急なパンニング等により過小画像フレームＦＰｓが連続して存在するとき、撮影時に当該ボケ画面等を除去する編集を行った複数の動画ファイルＭＦを作成することができるため、撮影者の手間を掛けず適切にカット割りされた動画ファイルＭＦを自動的に作成することができる。すなわち、従来においては、撮影時に編集点の設定を行ったとしても、実際の編集作業は編集装置等により行わなければならず撮影者にとって負担が大きいものとなっていた。一方、上述した動画撮影装置１においては、過小画像フレームＦＰｓが連続したときは当該連続した過小画像フレームＦＰｓを除去した編集を自動的に行うことにより、不要な過小画像フレームＦＰｓを自動的に削除する編集を撮影時に行うことができる。

さらに、過小画像フレームＦＰｓが検出されるたびに動画ファイルＭＦを作成することにより、シーンの移り変わり毎に動画ファイルＭＦを作成することになるため、見たいシーンの頭出しを容易に行うことができるような編集を自動的に行うことができる。

図８は本発明の動画撮影装置の別の実施形態を示すブロック図であり、図８を参照して動画撮影装置１００について説明する。なお、図８の動画撮影装置１００において図２の動画撮影装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。図８の動画撮影装置１００が図２の動画撮影装置１と異なる点は、設定枚数Ｍ_ｒｅｆ分だけ連続した過小画像フレームＦＰｓが検出されなくても録画時間が設定録画時間を経過したとき、第１記憶部６に記憶された複数の画像フレームＦＰを第２記憶部７に転送する点である。

具体的には、動画撮影装置１００は動画の撮影開始からの経過時間Ｔを計測する計時部１１０を備えている。この計時部１１０は、動画ファイルＭＦの取得開始からの経過時間Ｔが予め設定された設定録画時間Ｔ２ｒｅｆになったか否かを判断する機能を有している。なお、撮影者の操作により録画が開始されたときには計時部１１０は録画開始からの経過時間Ｔを計測し、上述した新たな動画ファイルＭＦの取得が再開されたときにはこの新たな動画ファイルＭＦの取得開始からの経過時間Ｔを計測する。

そして、計時部１１０において、設定枚数Ｍ_ｒｅｆ分だけ連続した過小画像フレームＦＰｓが検出されずに経過期間Ｔが設定録画期間Ｔ２ｒｅｆだけ経過したとき、ファイル生成部６０は画像フレームＦＰの取得開始から設定録画期間Ｔ２ｒｅｆ分の複数の画像フレームＦＰからなる動画ファイルＭＦを生成する。

具体的には、図９は図８の動画撮影装置１００に用いられる動画ファイル生成方法の一例を示すフローチャートである。なお、図９において図７の動画ファイル生成方法と同一の工程を有する部位には同一の符号を付してその説明を省略する。図９において連続した過小画像フレームＦＰｓが検出されたか否かを判断した後（ステップＳＴ５）、計時部１１０において経過時間Ｔが設定録画時間Ｔ２_ｒｅｆになったと判断される（ステップＳＴ２１）。そして、経過時間Ｔが設定録画時間Ｔ２_ｒｅｆになったとき、ファイル生成部６０は第１記憶部に記憶されている複数の画像フレームを抽出し第２記憶部７に転送し（ステップＳＴ２２）、新たな動画ファイルＭＦの取得が開始される（ステップＳＴ１２）。このように、連続した過小画像フレームＦＰｓが検出されなくても設定録画時間Ｔ２_ｒｅｆ毎に動画ファイルＭＦを生成することにより、長時間録画を行った場合であっても見たいシーンの頭出しを容易にすることができる動画ファイルＭＦを生成することができる。

なお、計時部１１０は時間を計測する場合について例示しているが、一定のフレームレートにより動画が取得されている場合、上記経過時間Ｔの計測は画像フレームＦＰの枚数の計測と同義であり、画像フレームＦＰの枚数を計測するものであってもよい。このとき、計時部１１０は設定枚数分になったか否かを計測することになる。

上記各実施の形態によれば、被写体を撮影することにより動画ファイルＭＦとなる画像フレームＦＰを取得し、取得した画像フレームＦＰに圧縮符号化を施して第１記憶部６に記憶するとともに、第１記憶部６に記憶した画像フレームＦＰの符号量ＥＮから画像フレームＦＰの評価値ＥＶを算出し、算出した評価値ＥＶが設定評価値ＥＶ_ｒｅｆより小さい過小画像フレームＦＰｓであると判断された画像フレームＦＰが設定枚数Ｍ_ｒｅｆ分連続して存在しているか否かを検出し、過小画像フレームＦＰｓが設定枚数Ｍ_ｒｅｆ分連続していることを検出したとき、先頭画像フレームＦＰから連続した過小画像フレームＦＰｓ以前までの間にある複数の画像フレームＦＰを用いて動画ファイルＭＦを生成し第２記憶部７に記憶することにより、画像フレームＦＰがボケたとき、移動速度の速い被写体が映っているとき、被写体が障害物により隠れているとき等において評価値ＥＶが少なくなることを利用し、評価値ＥＶが小さくなった過小画像フレームＦＰｓは撮影者にとって重要なシーンではないと判断し、過小画像フレームＦＰｓが連続したときに過小画像フレームＦＰｓを除去した動画ファイルＭＦの生成を行うため、不要な画像フレームＦＰを除去するような編集を撮影時に自動的に行うことができる。

なお、フレーム評価部５０が、過小画像フレームＦＰｓが設定録画時間以上連続した後の各画像フレームＦＰから評価値ＥＶが設定評価値ＥＶ_ｒｅｆ以上となる画像フレームＦＰを検出する機能を有するものであり、ファイル生成部６０が、フレーム評価部５０において検出された評価値ＥＶが設定評価値ＥＶ_ｒｅｆ以上の画像フレームＦＰから新たな動画ファイルＭＦの取得を開始するものであるとき、操作者が特別な操作を行わなくても自動的に過小画像フレームＦＰｓ以後における動画ファイルＭＦの生成を再開させることができる。

さらに、図８、図９に示すように、先頭画像フレームＦＰの取得から連続した過小画像フレームＦＰｓが検出されるまでの経過期間の計測を行う計時部１１０をさらに備え、ファイル生成部６０が、計時部１１０において計測された経過期間が設定録画期間だけ経過したとき、設定録画期間分の複数の画像フレームＦＰを用いて動画ファイルＭＦを生成するものであるとき、動画の取得が長時間に渡り行われたときであっても設定録画期間単位の動画ファイルＭＦが生成されるため、再生時に見たいシーンの頭出しを容易に行うことができる。

撮影モードを切り替えるモード切替部２ａをさらに備え、フレーム評価部５０がモード切替部２ａにおいて切り替えられる撮影モード毎に異なる設定評価値ＥＶ_ｒｅｆを決定する機能を有するものであるとき、各撮影モードに適した設定評価値ＥＶ_ｒｅｆを決定し過小画像フレームＦＰｓの判定を行うことができる。

本発明の実施形態は、上記各実施形態に限定されない。たとえば、図１において動画撮影装置１は静止画像および動画像を撮影できるものである場合について例示しているが、動画像のみ撮影する撮影装置であってもよいし、動画撮影機能を有する携帯電話等であってもよい。

また、図３において、急なパンニング等により画像フレームＦＰがぼけているとき、評価値ＥＶが小さくなる場合について例示しているが、図１０（Ａ）に示すように画像フレームＦＰ内に高速で移動する被写体が含まれている場合や、図１０（Ｂ）に示すように主要被写体が障害物により隠れている場合等においても符号量ＥＮは小さくなり評価値ＥＶもまた小さくなる。この場合にも、連続した過小画像フレームＦＰｓが検出され、上述した動画ファイルＭＦの生成が行われる。

また、圧縮符号化処理部３０が各画像フレームＦＰをＭＰＥＧにより圧縮符号化した場合、圧縮符号化された複数の画像フレームＦＰはいわゆるＩＰＢ構造を有することになる。具体的には、複数の画像フレームＦＰは、たとえばIピクチャーが１５〜３０画像フレーム間隔で設定され、Ｐピクチャーは３〜５画像フレーム間隔で設定され、ＢピクチャーはＩピクチャーおよびＰピクチャーの間を埋めるように設定された構造を有することになる。このとき、フレーム評価部５０は、同一種類のピクチャーを所定のサンプリングピッチでサンプリングし、評価値ＥＶを算出するようにしてもよい。

本発明の動画撮影装置の好ましいハードウェア構成を示すブロック図 本発明の動画撮影装置の好ましい実施形態を示すブロック図 図２の動画撮影装置において取得される一連の画像フレームの一例を示す模式図 図３の一連の画像フレームの時間変化に対する評価値を示すグラフ 図２の第１記憶部から画像フレームを抽出して第２記憶部へ転送する様子を示す模式図 図２の第１記憶部から画像フレームを抽出して第２記憶部へ転送する様子を示す模式図 本発明の動画ファイル生成方法の好ましい実施形態を示すフローチャート 本発明の動画撮影装置の別の実施形態を示すブロック図 図８の動画撮影装置に用いられる動画ファイル生成方法の一例を示すフローチャート 本発明の動画撮影装置により編集される過小画像フレームの別の一例を示す模式図

符号の説明

１、１００ 動画撮影装置
２ａ モード切替部
６ 第１記憶部
７ 第２記憶部
１０ 撮像部
３０ 圧縮符号化処理部
４０ 評価値算出部
５０ フレーム評価部
６０ ファイル生成部
１１０ 計時部
ＥＮ 符号量
ＥＶ 評価値
ＥＶ_ｒｅｆ 設定評価値
ＦＰ 画像フレーム
ＦＰｓ 過小画像フレーム
ＭＦ 動画ファイル
Ｍ_ｒｅｆ 設定枚数
Ｔ２_ｒｅｆ 設定録画時間

Claims (7)

1. 被写体を撮影することにより画像フレームを順次取得し、
   取得した前記画像フレームに圧縮符号化を施して第１記憶部に記憶するとともに、圧縮符号化を施した前記画像フレームの評価値を算出し、
   算出した評価値が設定評価値より小さい過小画像フレームであるか否かを検出し、
   前記過小画像フレームが検出されたとき、該過小画像フレームが設定枚数分連続しているか否かを検出し、
   前記過小画像フレームが設定枚数分連続していることを検出したとき、前記第１記憶部に記憶された前記複数のフレーム画像のうち、動画ファイルとなる前記画像フレームの取得開始から前記過小画像フレームが検出される前までの前記複数の画像フレームを抽出し生成した前記動画ファイルを第２記憶部に記憶する
   ことを特徴とする動画ファイル生成方法。
2. 前記過小画像フレームが前記設定枚数分連続した後において、前記評価値が前記設定評価値以上となる画像フレームを順次検出し、
   前記評価値が前記設定評価値以上となる前記画像フレームを検出したとき、検出した該画像フレームから新たな前記動画ファイルとして取得を開始し新たな前記動画ファイルの生成を行うことを特徴とする請求項１記載の動画ファイル生成方法。
3. 前記動画ファイルとなる前記画像フレームの取得を開始したとき、該画像フレームの取得開始からの経過期間の計測を行い、
   前記設定枚数分連続した前記過小画像フレームが検出されずに前記経過期間が設定録画期間だけ経過したとき、前記設定録画期間分の前記複数の画像フレームからなる前記動画ファイルを生成することを特徴とする請求項１または２記載の動画ファイル生成方法。
4. 被写体を撮影することにより画像フレームを順次取得する撮像部と、
   前記撮像部により生成された前記画像フレームに圧縮符号化を施す圧縮符号化処理部と、
   該圧縮符号化処理部により圧縮符号化された前記各画像フレームを記憶する第１記憶部と、
   該第１記憶部に記憶した前記画像フレームの評価値を算出する評価値算出部と、
   該評価値算出部により算出された評価値が設定評価値より小さい過小画像フレームであるか否かを検出するとともに、該過小画像フレームが設定枚数分連続しているか否かを検出するフレーム評価部と、
   該フレーム評価部において前記過小画像フレームが設定枚数分連続していることが検出されたとき、前記第１記憶部に記憶された前記複数のフレーム画像のうち、前記画像フレームの取得開始から前記過小画像フレームが検出される前まで前記複数の画像フレームを抽出し動画ファイルを生成するファイル生成部と、
   該ファイル生成部により生成された前記動画ファイルを記憶する第２記憶部と
   を備えたことを特徴とする動画撮影装置。
5. 前記フレーム評価部が、前記過小画像フレームが前記設定枚数分連続した後において、前記評価値が前記設定評価値以上となる前記画像フレームを検出する機能を有するものであり、
   前記ファイル生成部が、前記フレーム評価部において前記評価値が前記設定評価値以上となる前記画像フレームが検出されたとき、検出した該画像フレームから新たな前記動画ファイルとして取得を開始し新たな前記動画ファイルの生成を行うものであることを特徴とする請求項を特徴とする請求項４記載の動画撮影装置。
6. 前記動画ファイルとなる前記画像フレームの取得を開始したとき、該画像フレームの取得開始からの経過期間の計測を行う計時部をさらに備え、
   前記ファイル生成部が、設定枚数分連続した前記過小画像フレームが検出されずに前記経過期間が設定録画期間だけ経過したとき、前記動画ファイルとなる前記画像フレームの取得開始から前記設定録画期間分の前記複数の画像フレームからなる前記動画ファイルを生成することを特徴とする請求項４または５記載の動画撮影装置。
7. 撮影モードを切り替えるモード切替部をさらに備え、前記フレーム評価部が該モード切替部において切り替えられる前記撮影モード毎に異なる前記設定評価値を決定する機能を有するものであることを特徴とする請求項４から６のいずれか１項記載の動画撮影装置。