JP2008153795A - 動画撮影装置、動画再生制御方法、及び動画再生制御プログラム - Google Patents

Abstract

【課題】記録時のフレームレートが再生時のフレームレートとは異なる動画および音声の再生中において、使用者に負担を掛けることなく、違和感のない再生動作を提供すること。
【解決手段】特定の被写体の撮影に適した撮影条件が設定される複数の撮影モードに対応付けられた複数種の効果音やＢＧＭ等の音声データが記録された構成である。いずれかの撮影モードでの撮影により記録された動画を通常の撮影時と同様の３０ｆｐｓで再生する。撮影時に一時的な高速撮影が行われることにより６０ｆｐｓで記録された部分の動画データを再生する１／２倍速再生期間中には、撮影時に設定されていた撮影モードに対応する音声データを自動的に読み出し再生する。同時に、撮影時の記録音声を１／２倍速再生期間の中央部分に寄せて動画像と非同期で再生する。
【選択図】 図８

Description

本発明は、例えばビデオカメラに用いて好適な動画撮影装置、動画再生制御方法、及び動画再生制御プログラムに関するものである。

従来、ビデオカメラ等における被写体の撮影方法として高速撮影が一般に知られている。ここで述べる高速撮影とは、再生フレームレートよりも高いフレームレートで動画撮影する機能である。例えば６０ｆｐｓのフレームレートで撮影した動画を３０ｆｐｓで再生することにより、高速で動く被写体を１／２のスピードでゆっくり滑らかな動き（スローモーション）で再生することができる。これに関する技術として、例えば下記特許文献１には、撮影時等の入力時のフレームレートが９０ｆｐｓの画像データを３０ｆｐｓのレートに変換してハードディスクに記憶し、記憶した画像データを元のフレーム順に読み出すことで、被写体を高画質なスローモーション映像として再生する技術が記載されている。
特開２００１−２９２４２３号公報

ところで、前述したように高速撮影された動画を再生するとき、途中に存在するスローモーション映像の再生期間には、音声についても再生時間が撮影時間よりも長くなるため、それを再生時のフレームレートに同期させてそのまま再生すると、間延びした不自然な音声となる。そのため、この期間における音声の再生については、特定の演出効果を意図する場合を除くと、音声部分の周波数を上げたり（例えば６０ｆｐｓで撮影した動画を３０ｆｐｓで再生する場合は周波数を２倍とする。）、再生する音声を撮影時とは異なる音声（例えば効果音や楽曲）に置き換えたり、再生せずに無音としたりすることとなる。

しかしながら、上述したいずれの場合であっても、撮影時のフレームレートと再生時のフレームレートが異なる場合の音声の再生については、その前後の通常の再生期間と比較して違和感が生じたり、臨場感が低下したりすることとなる。係ることからこのような期間における予め挿入用の音声として、複数種類の効果音やＢＧＭ（楽曲）等を予め用意しておき、ユーザーに予め選択させておいた挿入用の音声を合成して、あるいは記録されている音声に代えて再生することが考えられるが、その場合には、動画により適したものをユーザーに選択させる、つまりユーザーに効果音や楽曲等の選択といった煩雑な作業を強いることとなるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、記録時のフレームレートが再生時のフレームレートとは異なる動画および音声の再生中において、使用者に負担を掛けることなく、違和感のない再生動作を提供することが可能となる、動画撮影装置、動画再生制御方法、及び動画再生制御プログラムを提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、動画像を撮影する撮影手段と、この撮影手段により撮影された動画像、及び当該動画像の撮影時に設定されていた撮影条件を示す撮影条件情報を互いに対応付けて記憶する画像記憶手段と、前記動画像の撮影中にフレームレートが変更された変更部分を示す変更情報を前記動画像に対応付けて記憶する変更情報記憶手段と、前記画像記録手段に記録されている動画像を一定のフレームレートで再生する動画再生手段と、各々が所定の撮影条件に対応する複数種の挿入用音声が記憶された挿入用音声記憶手段と、前記動画再生手段による動画像の再生中であって、当該動画像に対応付けて前記変更情報記憶手段に記憶されている変更情報により示される変更部分の再生期間に、再生中の動画像に対応付けて前記画像記憶手段に記憶されている撮影条件情報により示される撮影条件に対応する、前記挿入用音声記憶手段に記憶されている所定の挿入用音声を再生する音声再生手段とを備えたことを特徴とする。

また、請求項２の発明にあっては、前記画像記憶手段には、記憶されている各々の動画像の撮影中に取得された音声が動画像に対応付けて記憶され、前記音声再生手段は、前記動画再生手段による動画像の再生中、当該動画像に対応付けて前記画像記憶手段に記憶されている音声を動画像と同期して再生するとともに、再生中の動画像に対応付けて前記変更情報記憶手段に記憶されている変更情報により示されるフレームレートの変更部分に対応する再生期間に、前記画像記憶手段に記憶されている音声に代えて、前記挿入用音声記憶手段に記憶されているとともに再生中の動画像に対応付けて前記画像記憶手段に記憶されている撮影条件情報により示される撮影条件に対応する所定の挿入用音声を再生することを特徴とする。

また、請求項３の発明にあっては、前記画像記憶手段には、記憶されている各々の動画像の撮影中に取得された音声が動画像に対応付けて記憶され、前記音声再生手段は、前記動画再生手段による動画像の再生中、当該動画像に対応付けて前記画像記憶手段に記憶されている音声を動画像と同期して再生するとともに、再生中の動画像に対応付けて前記変更情報記憶手段に記憶されている変更情報により示されるフレームレートの変更部分に対応する音声を動画像と非同期で再生すると同時に、前記挿入用音声記憶手段に記憶されているとともに再生中の動画像に対応付けて前記画像記憶手段に記憶されている撮影条件情報により示される撮影条件に対応する所定の挿入用音声を再生することを特徴とする。

また、請求項４の発明にあっては、前記挿入用音声記憶手段に記憶されている挿入用音声は効果音であることを特徴とする。

また、請求項５の発明にあっては、前記変更情報記憶手段に動画像に対応付けて記憶される変更情報は、動画像の撮影期間内におけるフレームレートの変更開始位置と変更解除位置とであることを特徴とする。

また、請求項６の発明にあっては、撮影により取得され記憶されている動画像の再生方法であって、前記動画像の一定のフレームレートでの再生中、当該動画像に対応付けて記憶されている変更情報により示される、撮影中にフレームレートが変更されていた変更部分の再生開始時点で、予め記憶されている複数の挿入用音声のうちの、前記動画像と対応付けて記憶されている前記動画像の撮影時における撮影条件に対応する所定の挿入用音声の再生を開始する工程と、前記変更部分の再生終了時点で前記所定の挿入用音声の再生を終了する工程とを含むことを特徴とする。

また、請求項７の発明にあっては、コンピュータに、撮影により取得され記憶されている動画像の一定のフレームレートでの再生中、当該動画像に対応付けて記憶されている変更情報により示される、撮影中にフレームレートが変更されていた変更部分の再生開始時点で、予め記憶されている複数の挿入用音声のうちの、前記動画像と対応付けて記憶されている前記動画像の撮影時における撮影条件に対応する所定の挿入用音声の再生を開始する手順と、前記変更部分の再生終了時点で前記所定の挿入用音声の再生を終了する手順とを実行させることを特徴とする。

本発明によれば、使用者に負担を掛けることなく、記録時フレームレートが再生時のフレームレートとは異なる動画および音声の再生中において、違和感のない再生動作を提供することが可能となる。

（実施形態１）
まず、第１の実施形態について説明する。図１は、各実施形態に共通するデジタルビデオカメラの構成を示すブロック図であり、デジタルビデオカメラは光学系１と、撮像部２、音声入出力部３を有している。

光学系１は、主としてズームレンズやフォーカスレンズを構成するレンズ群により構成されている。上記レンズ群は、図示しないズームモータ及びフォーカスモータにより、必要に応じて光軸方向に適宜駆動される。

撮像部２は、撮像手段であるＣＣＤや、ＣＣＤから出力されるアナログの撮像信号を処理するアナログ信号処理回路、処理後の撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器等から構成される。そして、撮影時にＣＣＤにより所定のフレームレートで撮像される被写体の画像データを制御部４へ送る。制御部４に送られた画像データは、制御部４において各種の画像処理を経てフレーム毎に動画データとして動画一時メモリ５に一時記憶される。

前記音声入出力部３は、主として周囲の音声を集音するためのマイクや、マイクに入力した音声を増幅する入力アンプ、増幅後の音声信号をデジタル信号へ変換するＡ／Ｄ変換器と、制御部４から送られるデジタルの音声信号をアナログ信号に変換するＤ／Ａ変換器、変換後の音声信号を増幅する出力アンプ、増幅後の音声信号を音声として出力するスピーカとから構成されている。

そして、音声入出力部３は、撮影時には、集音した音声のデータを制御部４へ送るとともに、撮影した動画の再生時には、動画に付随する再生音、及び後述する効果音等を音声出力する。撮影時に音声入出力部３から制御部４に送られた音声データは、制御部４において所定の処理を経て音声一時メモリ６に一時記憶される。なお、音声入出力部３はステレオ音声の記録、再生に対応した構成となっている。

また、前記動画一時メモリ５と前記音声一時メモリ６には、フレームレートが６０ｆｐｓであるとき、制御部４から送られる３秒間分の動画データと音声データとを記憶可能な記憶容量が確保されており、撮影時にはリングバッファとして使用される。

制御部４は、主としてＣＰＵと、その周辺回路、ＲＯＭ、ワーキング用の内部メモリであるＲＡＭから構成され、デジタルビデオカメラの各部を制御するとともに、画像データ及び音声データの圧縮・伸張を行う。撮影時に制御部４において圧縮された画像データ及び音声データは互いに重畳され、最終的には動画ファイルとして図示しないカードインターフェースを介して各種メモリカード７に記憶される。なお、本実施形態では、このメモリカード７が本発明の画像記憶手段、変更情報記憶手段として使用される。

液晶表示装置８は、ビデオエンコーダー、ＶＲＡＭ、液晶モニタ及びその駆動回路等からなり、撮影モードの撮影待機状態及び撮影中における被写体のスルー画像や、メモリカード７に記録されている動画、すなわち制御部４に読み出され伸張された後の一連の動画データを表示する。

また、デジタルビデオカメラには、ユーザーによる撮影の開始及び終了の指示に使用される撮影開始／停止ボタン９と、撮影中における高速撮影の実施の指示に使用される高速撮影ボタン１０、記撮影像の再生指示に使用される再生ボタン１１の他、ユーザーによるデジタルビデオカメラの種々の操作に使用される複数の各種操作ボタン１２が用意されており、各ボタンの操作状態は制御部４によって逐次スキャンされる。

なお、上記の各種操作ボタン１２としては、例えば記録モードや再生モードを設定するためのモード設定ボタン、ズームキー、デジタルビデオカメラが有する種々の機能に関する動作内容の設定／変更に際して使用される操作ボタンである。

一方、制御部４にデジタルビデオカメラの各部の制御を行わせるのに必要な各種の制御プログラム等はプログラムメモリ１３に格納されている。プログラムメモリ１３は本発明の挿入用音声記憶手段として機能するＥＥＰＲＯＭ等の書き換え可能な不揮発性メモリである。

また、プログラムメモリ１３には、撮影された動画の再生時に後述する処理を行わせることにより、制御部４を本発明の動画再生手段、音声再生手段として機能させる動画再生制御プログラムが記憶されている。また、プログラムメモリ１３には上記プログラムとともに、デジタルビデオカメラが有する種々の機能に関する動作内容の設定データも記録されている。設定データには、動画再生時における高速撮影された部分の再生期間内（後述する１／２倍速再生期間内）に、動画像と共に記録されている音声を再生するか否かに関する設定データが含まれている。

さらに、プログラムメモリ１３には、上記制御プログラムや設定データ以外に、予め設定された撮影条件としてシーンファイル１００が複数記憶されている。図２は、シーンファイルで定義されている撮影条件に合致した、液晶表示装置８に画面表示される撮影シーンの選択画面（ａ），（ｂ），（ｃ），・・・と、上記シーンファイル１００のデータ構成を概念的に示した図である。

シーンファイル１００は、予め想定される複数種の撮影シーン毎に用意されている撮影条件を示すデータにより構成されている。本実施の形態では撮影シーンとして、オート（ａ）、子供（ｂ）、ペット（ｃ）等が用意されている。なお、上記のオート（ａ）は汎用的な撮影シーンである。各々のシーンファイル１００は、撮影シーンを示すシーンＩＤ１０１と、各シーンＩＤ１０１に対応する撮影条件を構成する条件項目毎の設定パラメータ１０２、すなわち記録する画像や音声の品質に関するビットレート目標値、サンプリングレートと、音声に関するフィルター設定値、ステレオ効果設定値、最大増幅度設定値、及び画像に関するフォーカス設定値、ＡＥ設定値等から構成されている。なお、各設定値は撮影シーン毎に異なるとともに、各々の撮影シーンでの撮影に適する組み合わせとなっている。

また、プログラムメモリ１３には、上記のシーンファイル１００とは別に、撮影シーンの選択画面（ａ），（ｂ），（ｃ），・・・に表示される、各撮影シーン（特定の動画撮影対象等）を表す複数の見本画像（静止画像又は簡易な動画）１１１と、「子供を撮影します」等のシーン説明１１２、「色強調が肌色、感度が高めに設定されます。」等の設定条件説明１１３の各データが前記シーンＩＤ１０１に対応して記憶されている。なお、見本画像１１１のデータは静止画データや簡易な動画データであるとともに、前記シーンＩＤ１０１が本発明の撮影条件情報である。

さらに、プログラムメモリ１３には、図３に示した効果音テーブル２００が記憶されている。効果音テーブル２００は、前述したシーンファイル１００毎に用意された複数の撮影シーンのシーン名（実際にはシーンＩＤ）２０１と、効果音メモリ１４に予め記憶されている効果音データ（音声データ）のファイル名（効果音ファイル名）２０２との対応関係を示すデータである。

ここで効果音メモリ１４に音声データとして予め記憶されている音声は、同図に効果音の内容として便宜的に例示したように、秒針の駆動音やオルゴール音、心臓の鼓動音等であって、それらが対応するシーンＩＤ１０１によって示される種々の撮影シーンで撮影された動画を１／２倍速再生する間に聴かせる効果音（狭義の効果音）やＢＧＭとして適すると考えられたものであって、係る効果音やＢＧＭが本発明における挿入用音声である。

また、図３に示した効果音テーブル２００においてファイル名２０２が空欄となっているシーン名２０１は、それと対応する効果音が記憶されていないことを示している。また、本実施形態において効果音テーブル２００は編集可能であり、シーン名２０１とファイル名２０２との関係はユーザーが、所定の設定操作を行うことにより適宜変更できるようになっている。

なお、前述したシーンファイル１００や効果音テーブル２００は、プログラムメモリ１３に限らず、例えば前記メモリカード７等の他のメモリに記憶されていてもよく、同様に、効果音データも効果音メモリ１４以外の他のメモリに記憶されていても構わない。

次に、以上の構成からなるデジタルビデオカメラの動作について説明する。図４は、撮影用の動作モードとして予め複数用意されているシーンファイル１００を利用した、撮影時における制御部４の処理内容を示すフローチャートであり、図５は、本フローチャートによって記録される動画データと音声データとを便宜的に示した概念図であって、高速撮影が１回行われた場合の例である。

制御部４は動画撮影モードが設定されると、まず前述した撮影シーンを示す見本画像やシーン説明等からなる選択画面を液晶表示装置８に表示し、これから撮影しようとするシーンに合致、あるいは類似するシーンをユーザーに選択させる（ステップＳＡ１）。引き続き、選択されたシーンに対応するシーンファイル１００をプログラムメモリ１３から読み込むとともに、前述した設定パラメータ１０２に従い撮影条件を設定する（ステップＳＡ２）。なお、設定後には、直ちに撮像部２における撮像動作及び液晶表示装置８におけるスルー画像表示を開始する。

引き続き、撮影開始／停止ボタン１２の１度目の操作による撮影開始指示があれば（ステップＳＡ３でＹＥＳ）、６０ｆｐｓのフレームレートでの撮影処理、すなわち撮像部２のＣＣＤにより得られたフレーム毎の動画データを６０ｆｐｓで動画一時メモリ５に逐次記録する処理を開始し（ステップＳＡ４）、また音声入出力部３のマイクにより得られた音声のデータを音声一時メモリ６に逐次記録する処理を開始する（ステップＳＡ５）。図５の内容に基づいて説明すれば、Ａに相当するタイミングがステップＳＡ３でＹＥＳが検出されたタイミングである。

この後、高速撮影ボタンの操作１０や、撮影開始／停止ボタン１２の２度目の操作による撮影停止指示がなければ（ステップＳＡ６，ＳＡ７が共にＮＯ）、動画一時メモリ５及び音声一時メモリ６に逐次記録される動画データ及び音声データを３０ｆｐｓのフレームレートのデータとして撮影順に圧縮符号化してメモリカード７に逐次記録し（ステップＳＡ８）、以後、同様の処理を繰り返す。これにより記録される動画データは図５に図示される３００に相当し、音声データは３５０に相当する。

一方、高速撮影ボタン１０が操作されたことを検出すると（ステップＳＡ６でＹＥＳ）、その時点で高速撮影に移行し、その時点で動画一時メモリ５及び音声一時メモリ６にバッファリングされている３秒間分の動画データの全てを、そのまま６０ｆｐｓのデータとして撮影順に圧縮符号化し、かつこれと同時に記録された音声データについても圧縮符号化してそれらを共にメモリカード７に記録する（ステップＳＡ９）。また、このときの動画データの先頭のフレーム位置を制御部４のワーキングメモリ（ＲＡＭ）一時記憶する。このように、高速撮影ボタン１０が操作された際、その時点でバッファリングされている動画データについても変更したフレームレートを反映させて記録するので、シャッターチャンス機会を逸することなく、重要なシーンを高速撮影で記録させることができる。

さらに、その直後の３秒間に新たに取得された動画データ及び音声データについて、６０ｆｐｓのフレームレートの動画データ、及び音声データとしてメモリカード７に記録する（ステップＳＡ１０）。このとき６０ｆｐｓの動画データの最終のフレーム位置をワーキングメモリに一時記憶する。

図５の内容に基づいて上記ステップＳＡ６（ＹＥＳ）〜ＳＡ９、ＳＡ１０〜ＳＡ７の一連の処理を説明すると、ステップＳＡ６でＹＥＳを検出したタイミングは、図５のタイミングＢに相当する。そしてこのＢを時間軸の中心として、動画一時メモリ５、及び音声一時メモリ６に記憶された過去３秒分の、タイミングＢ１で記録開始されたフレームレート６０ｆｐｓの動画データ３０１は６０ｆｐｓのままメモリカード７に変換・記録され、音声データ３５１はそのまま記録される。一方、タイミングＢからタイミングＢ２の間の３秒の動画データ３０２についても６０ｆｐｓのままメモリカード７に変換・記録され、音声データ３５２もそのまま記録される。

引き続き、撮影開始／停止ボタン１２の２度目の操作による撮影停止指示がなければ（ステップＳＡ７がＮＯ）、再び、動画一時メモリ５及び音声一時メモリ６に逐次記録される動画データ及び音声データを３０ｆｐｓのフレームレートのデータとして撮影順に圧縮符号化してメモリカード７に逐次記録する処理を繰り返す（ステップＳＡ８）。図５の内容に基づいて説明すれば、Ｃに相当するタイミングが、ステップＳＡ７でＮＯが検出されたタイミングである。

なお、これ以降においても、高速撮影ボタン１０が操作されたときには（ステップＳＡ６ＹＥＳ）、その都度高速撮影に移行して前述したステップＳＡ９，ＳＡ１０の処理を繰り返す。

しかる後、撮影開始／停止ボタン１２の２度目の操作による撮影停止指示があったら（ステップＳＡ７でＹＥＳ）、それまでの間にメモリカード７に記録した動画データ及び音声データについて、ファイル名や撮影日時等の通常のヘッダ情報にステップＳＡ１で選択された撮影シーンのシーンＩＤを効果音選択条件として付加し、また、一連の動画データのうちで前述したステップＳＡ９，ＳＡ１０の処理に際して一時記憶していた６０ｆｐｓの動画データの先頭フレーム位置、及び、最終フレーム位置を、動画データ中のフレームレートが６０ｆｐｓである部分を示す変更情報として付加し、これらの情報が付加されたヘッダ情報を含んだ動画ファイルをメモリカード７内に作成し（ステップＳＡ１１）、これにより撮影処理を終了する。

図６及び図７は、再生モードにおいて任意の動画が再生対象として選択された後における制御部４の処理内容を示すフローチャートであり、図８は、図５に図示した動画データ３００〜３０２を記録動画データ、音声データ３５０〜３５２を記録音声データに置き換え、更に本フローチャートによって再生される再生動画データ３００、３０１’、３０２’、再生音声データ３５０〜３５２として、その関係を便宜的に示した概念図である。

制御部４は、メモリカード７に記録されている任意の動画ファイルが選択された後、再生ボタン１１が操作されることによる再生開始を検出したら（ステップＳＢ１でＹＥＳ）、まず選択されている動画ファイルから、前述したシーンＩＤ、変更情報を含むヘッダ情報を読み出し、それらをワーキングメモリに記憶する（ステップＳＢ２）。

しかる後、この読み出された動画ファイルからの動画データ及び音声データの読み出し、及び伸張・復号処理を開始するとともに（ステップＳＢ３）、３０ｆｐｓのフレームレートでのこの動画データに基づく動画の再生、つまり液晶表示装置８における動画表示と、この動画データに同期させて記録された音声データに基づく再生、つまり音声入出力部３のスピーカによる音声出力をそれぞれ開始する（ステップＳＢ４）。図８の内容に基づいて説明すれば、Ｄに相当するタイミングがステップＳＢ１でＹＥＳが検出されたタイミングである。

以後、全ての動画データに動画、及び、音声データに基づく音声の再生が終了するまでの間は（ステップＳＢ５でＮＯ）、前記ヘッダ情報に含まれる前記変更情報に基づき、撮影時のフレームレートが６０ｆｐｓ期間である１／２倍速再生期間（図５、図８におけるタイミングＢ１）に入ったか否かを随時判別する。そして、フレームレートが６０ｆｐｓ期間（１／２倍速再生期間）に入ったら（ステップＳＢ６でＹＥＳ）、その時点から再生されるべき音声（図８の再生音声データ３５１’、３５２’に基づく音声）の再生を一時停止し、ステップＳＢ２で読み出していた前記ヘッダ情報に含まれるシーンＩＤに対応する音声データ３５３を、効果音テーブル２００（図３）を参照することにより前記効果音メモリ１４から読み出し、再生を開始する（ステップＳＢ７）。

図８の内容に基づいて説明すると、タイミングＢ１がステップＳＢ６でＹＥＳと判断されたタイミングである。したがってこれ以降タイミングＢ２を検出するまでは、記録動画データ３０１、３０２は撮影時に６０ｆｐｓのフレームレートで記録されていることから、３０ｆｐｓで再生される場合は１／２倍速再生される再生動画データ３０１’、３０２’となる。したがって、撮影時において記録動画データ３０１、３０２と同期するように記録された記録音声データ３５１、３５２は、再生動画データ３０１’、３０２’に基づく動画の再生時に同期されれば当然の如く１／２倍速再生され、聴き取り難いものとなる。したがって、ステップＳＢ７にて、シーンＩＤに対応する音声データ３５３を前記効果音メモリ１４から読み出して再生する。

その後、記録動画データに同期して記録された記録音声データについて、予め１／２倍速再生期間における再生機能が「ＯＮ」に設定されていれば（ステップＳＢ８でＹＥＳ）、図８のタイミングＢ１の１／２倍速再生期間に入ってから３秒間、図８におけるタイミングＥ１を検出するまでは、記録音声データに基づく音声を再生せず、効果音の再生のみを再生する状態を維持する。そして、３秒経過してタイミングＥ１を検出すると（ステップＳＢ９でＹＥＳ）、記録動画データに同期して記録された記録音声データを、効果音をバックグラウンド音声として図８におけるタイミングＥ２を検出するまで再生動画データに基づく動画とは同期させずに１倍速再生させる（図７：ステップＳＢ１０）。図８の内容に基づいて説明すると、タイミングＥ１が上述のステップＳＢ９でＹＥＳと判断されたタイミングである。したがってこれ以降タイミングＥ２を検出するまでは、１／２倍速再生される再生動画データ３０１’、３０２’に基づく動画とは同期させずに効果音をバックグラウンド音声として記録音声データ＝再生音声データ３５１、３５２を再生する。

尚、図８におけるタイミングＢ１〜タイミングＥ１の３秒間、および、後述するタイミングＥ２〜タイミングＢ３の３秒間は、１／２倍速再生期間における動画データの再生の際、これに同期して記録された音声データに基づく音声を記録時の再生速度で再生させるが故に発生する無音区間である。本実施形態においては、上述の図４のフローチャートにおいて、高速撮影ボタン１０の操作を検出した前後３秒間を６０ｆｐｓのフレームレートで記録したため、３０ｆｐｓで再生すれば、記録時のフレームレートと再生時のフレームレートとの差により、記録音声データに基づく音声を再生させる場合でも実質的に６秒間の無音区間が発生する。したがって、この無音区間を高速撮影ボタン１０の操作を検出したタイミングを時間軸の中心として２分割し、タイミングＢ１〜タイミングＥ１の３秒間、および、後述するタイミングＥ２〜タイミングＢ３の３秒間を無音区間としている。このように記録時のフレームレートの変更タイミングに同期させて無音区間を設けることにより、再生時に同期することが無い音声と動画であっても、極力違和感のない再生動作を提供することができる。

引き続き、タイミングＥ１〜Ｅ２の６秒間は記録音声データ＝再生音声データ３５１、３５２に基づく音声の再生を継続し、６秒経過してタイミングＥ２となったことを検出したら（ステップＳＢ１１でＹＥＳ）、その時点で、記録音声データ３５２に基づく音声の再生を停止する（ステップＳＢ１２）。その後、再び、効果音のみの再生状態を維持し、３秒経過後のタイミングＢ３を検出したら（ステップＳＢ１３でＹＥＳ）、前記効果音の再生を停止し、それと同時に、記録動画データ＝再生動画データ３００に同期した記録音声データ＝再生音声データ３５０を再開する（ステップＳＢ１５）。

一方、前述したステップＳＢ８の判別結果がＮＯであって、１／２倍速再生期間における再生機能が「ＯＦＦ」に設定されている場合には、ステップＳＢ７で開始した効果音のみの再生状態を１２秒経過後のタイミングＢ３が検出されるまで維持し、１２秒経過後のタイミングＢ３が検出された時点で（ステップＳＢ１４でＹＥＳ）、前記効果音の再生を停止し、それと同時に、記録動画データ＝再生動画データ３００に同期した記録音声データ＝再生音声データ３５０を再開する（ステップＳＢ１５）。

以後、上述したステップＳＢ５〜ステップＳＢ１５の処理を繰り返し行い、やがて全ての動画データの再生が終了した時点で（ステップＳＢ５でＹＥＳ）、選択された動画の生成に関する全ての処理を終了する。

以上のように、本実施形態においては、撮影中に一時的に高速撮影が行われていた動画を再生するとき、高速撮影が行われた部分に対応する音声の再生期間には、その動画の撮影時に選択されていた撮影シーンに対応して用意されている効果音やＢＧＭ、すなわち動画に適した効果音等が自動的に再生される。

したがって、撮影中に一時的に高速撮影された動画であっても、それが撮影条件を設定した上で撮影されたものであれば、その再生時には、ユーザーに効果音や楽曲等の選択といった煩雑な作業を強いることなく、動画再生中の１／２倍速再生期間には撮影条件に沿った違和感のない音声を再生することができる。

なお、本実施形態においては、１／２倍速再生期間において撮影時に記録された音声のを再生する場合、記録時に高速撮影ボタン１０の操作を検出したタイミングを時間軸の中心として再生するようにしたが、上記音声は１／２倍速再生期間の中央部分以外、例えば１／２倍速再生期間の最初や最後の部分に寄せて再生するようにしてもよい。

（実施形態２）
次に、第２の実施形態におけるデジタルビデオカメラについて説明する。前述した第１の実施形態においては、撮影中における１回の高速撮影期間が６秒間に固定されていたものについて説明したが、本実施形態は、撮影中においてユーザーが所望の時点で任意の期間、高速撮影を行うことができるものである。基本構成については第１の実施形態のものと同様であり図１に示した通りであるが、プログラムメモリ１３には、第１の実施形態とは異なる以下の処理を行わせるプログラムが格納されている。

図９は、シーンファイル１００を利用した撮影時における制御部４の処理内容を示すフローチャートである。なお、ステップＳＣ１〜ＳＣ８の処理については、第１の実施形態で既説した図４のステップＳＡ１〜ＳＡ８と同様である。

すなわち制御部４は動画撮影モードが設定されると、まず、これから撮影しようとするシーンに合致、あるいは類似するシーンをユーザーに選択させ、選択されたシーンに対応する撮影条件に対するシーンファイル１００を読み出して設定した後、直ちに撮像動作及びスルー画像表示を開始する（ステップＳＣ１，ＳＣ２）。その後、撮影開始／停止ボタン１２の１度目の操作による撮影開始指示に応答して、動画一時メモリ５へのフレーム毎の動画データの記録、及び音声一時メモリ６への音声のデータの記録を開始し（ステップＳＣ３でＹＥＳ、ステップＳＣ４，ＳＣ５）、その後、高速撮影ボタンの操作１０の操作や、撮影開始／停止ボタン１２の２度目の操作による撮影停止指示がなければ（ステップＳＣ６，ＳＡ７が共にＮＯ）、動画一時メモリ５及び音声一時メモリ６に逐次記録される動画データ及び音声データを３０ｆｐｓのフレームレートのデータとして撮影順に圧縮符号化してメモリカード７に逐次記録する（ステップＳＣ８）。

そして、上記処理を繰り返す間に高速撮影ボタン１０の操作を検出した場合には（ステップＳＣ６でＹＥＳ）、まず、その時点における撮影開始時点からの時間を高速撮影開始時間としてワーキングメモリに一時記憶する（ステップＳＣ９）。そして、まず、動画一時メモリ５及び音声一時メモリ６にバッファリングされている直近３秒間分の動画データの全てを、そのまま６０ｆｐｓのデータとして撮影順に変換（圧縮符号化）し、かつ音声データについても圧縮符号化して、それらを共にメモリカード７に記録する処理を開始するとともに（ステップＳＣ１０）、係る処理を高速撮影ボタン１０の２度目の操作による高速撮影解除指示があるまで継続する（ステップＳＣ１１でＮＯ）。

この後、高速撮影解除指示を検出したら（ステップＳＣ１１でＹＥＳ）、その時点における撮影開始時点からの時間を高速撮影解除時間としてワーキングメモリに記憶し（ステップＳＣ１２）、さらに、上記の高速撮影開始時間、及び高速撮影解除時間を、撮影が終了するまでワーキングメモリの所定のメモリエリアに一時的に保持した後（ステップＳＣ１３）、前述したステップＳＣ７へ戻る。

引き続き、撮影開始／停止ボタン１２の２度目の操作による撮影停止指示がなければ（ステップＳＣ７がＮＯ）、動画一時メモリ５及び音声一時メモリ６に逐次記録される動画データ及び音声データを３０ｆｐｓのフレームレートのデータとして撮影順に圧縮符号化してメモリカード７に逐次記録する処理を再開する（ステップＳＣ８）。なお、これ以降においても、高速撮影ボタン１０が操作される毎に、その都度高速撮影に移行して前述したステップＣＳ９〜ＳＣ１３の処理を繰り返す。

しかる後、撮影開始／停止ボタン１２の２度目の操作による撮影停止指示があったら（ステップＳＣ７でＹＥＳ）、まず、所定のメモリエリアにおける高速撮影開始時間、及び高速撮影解除時間の有無から、それまでメモリカード７に記憶した動画データについてフレームレートを変更した箇所の有無を確認する（ステップＳＣ１４）。

そして、フレームレートの変更箇所があれば（ステップＳＣ１５でＹＥＳ）、ステップＳＣ１で選択された撮影シーンのシーンＩＤを効果音選択条件として、また、前述した高速撮影開始時間、及び高速撮影解除時間を同期情報としてファイル名や撮影日時等と共にヘッダ情報に書き込むとともに、係るヘッダ情報を、それまでの間にメモリカード７に記録した動画データ及び音声データに付加してメモリカード７内に新たな動画ファイルを作成し（ステップＳＣ１６）、これにより撮影処理を終了する。

また、ステップＳＣ１５の確認結果がＮＯであって、それまでの間にメモリカード７に記録した動画データ及び音声データに、フレームレートの変更箇所がなかった場合、つまり高速撮影ボタン１０の操作を１度も検出していなければ、前記効果音選択条件や同期情報を含まないファイル名や撮影日時等の通常のヘッダ情報を付加してメモリカード７内に新たな動画ファイルを作成し（ステップＳＣ１７）、これにより撮影処理を終了する。

一方、図１０は、再生モードにおいて任意の動画ファイルが再生対象として選択された後における制御部４の処理内容を示すフローチャートである。なお、ステップＳＤ１〜ＳＤ７の処理については、第１の実施形態で既説した図６のステップＳＢ１〜ＳＢ５と同様である。

すなわち制御部４は、任意の動画が選択された後、再生ボタン１１が操作されることによる再生開始を検出したら（ステップＳＤ１でＹＥＳ）、まず選択されている動画ファイルから、前述したシーンＩＤ、同期情報を含むヘッダ情報を読み出し、それらをワーキングメモリに記憶する（ステップＳＤ２）。しかる後、動画ファイルからの動画データ及び音声データの読み出しと、それらの伸張・復号処理を開始するとともに（ステップＳＤ３）、３０ｆｐｓのフレームレートでの動画データに基づく動画の再生、つまり液晶表示装置８における動画表示と、この動画データに同期した音声データに基づく音声の再生つまり音声入出力部３のスピーカによる音声出力を、それぞれ開始する（ステップＳＤ４）。

以後、全ての再生が終了するまでの間には（ステップＳＤ５でＮＯ）、その時点における再生時間（動画再生開始時点からの時間）が、前記ヘッダ情報に同期情報として含まれている高速撮影開始時間になったか否かを随時判別する。やがて再生時間が高速撮影開始時間となったら（ステップＳＤ６でＹＥＳ）、その時点で音声の再生を一時停止し、それと同時に、前述した効果音テーブル２００（図３）を参照することによりステップＳＤ２で読み出していた前記ヘッダ情報に含まれるシーンＩＤに対応する音声データを前記効果音メモリ１４から読み出し効果音の再生を開始する（ステップＳＤ７）。

その後、動画及び効果音の再生を継続するとともに、その間には、前記ヘッダ情報に同期情報として含まれている高速撮影解除時間になったか否かを随時判別する。やがて再生時間が高速撮影解除時間になったら（ステップＳＤ８でＹＥＳ）、前記効果音の再生を停止し、それと同時に、動画に同期した音声の再生を再開する（ステップＳＤ９）。

以後、上述したステップＳＤ５〜ステップＳＤ９の処理を繰り返し行い、やがて全ての動画データの再生が終了した時点で（ステップＳＤ５でＹＥＳ）、選択された動画ファイルの再生に関する全ての処理を終了する。つまり本実施形態では、撮影時に６０ｆｐｓで記録された（高速撮影されていた）動画データに基づく動画を再生している期間（１／２倍速再生期間）については、撮影時に記録した音声に代えて、撮影時に選択されていた撮影シーンに対応して予め用意されている効果音のみを再生する。

以上のように、本実施形態においては、第１の実施形態と異なり高速撮影期間が任意に変更できるものであったとしても、高速撮影が行われていた動画を再生するとき、高速撮影が行われた部分に対応する音声再生期間では、その動画の撮影時に選択されていた撮影シーンに対応して用意されている効果音やＢＧＭ、すなわち動画に適した効果音等が自動的に再生される。

したがって、撮影中に一時的に高速撮影が行われていた動画であっても、それが撮影条件を設定した上で撮影されたものであれば、第１の実施形態と同様、その再生時には、ユーザーに効果音や楽曲等の選択といった煩雑な作業を強いることなく、動画再生中の１／２倍速再生期間に撮影条件に沿った違和感のない音声を再生することができる。

なお、本実施形態においては、一時的な高速撮影が１又は複数回行われていた動画の再生時には、撮影時に記録した音声を前述した１／２倍速再生期間に一切再生しない構成であるものについて説明したが、これに限らず、第１の実施形態と同様、１／２倍速再生期間における上記音声の再生の有無を予めユーザーが設定可能な構成として、ユーザーにより上記音声の再生が設定されていた場合には、１／２倍速再生期間に上記音声の再生の実施するようにしてもよい。

また、その場合における、音声を非同期で再生する時期については、１／２倍速再生期間であれば任意であるが、第１の実施形態のように、記録音声を１／２倍速再生期間の中央部分において非同期で再生させる場合には、以下のようにすればよい。例えば動画ファイルからヘッダ情報を読み出した時点で、ヘッダ情報に同期情報として書き込まれている高速撮影開始時間、及び高速撮影解除時間によって示される１／２倍速再生期間の長さ、及び非同期による音声の再生時間から１／２倍速再生期間内での非同期による音声の再生開始時間、及び再生停止時間を計算し、それを予め記憶しておく。そして、１／２倍速再生期間中には、上記の再生開始時間、及び再生停止時間に基づき非同期での音声再生を行うようにすればよい。

ここで、第１及び第２の実施形態においては、効果音メモリ１４に、シーンファイル１００を用いた撮影に際して選択可能な複数種の撮影シーン（シーンＩＤ）に対応する効果音やＢＧＭの音声データが記憶されており、動画再生時の１／２倍速再生期間中には、再生中の動画の撮影時に選択されていた撮影シーンに対応する音声データを自動的に再生するものについて説明したが、本発明はシーンファイル１００を備えていない構成のデジタルビデオカメラにも適用することができる。

すなわち、撮影モードとして、特定の撮影条件が自動的に設定される複数の撮影モード、例えば使用頻度の高い風景やスポーツ、夜景といった被写体の種別に応じた複数の撮影モードを有するものでは、前記効果音メモリ１４に上記複数の撮影モードにそれぞれ対応する効果音やＢＧＭの音声データを記憶させておき、１／２倍速再生期間中には、撮影時に使用されていた撮影モードに応じた音声データを自動的に選択して再生させればよい。

また、本発明は、デジタルビデオカメラに限らず、動画の撮影及び再生機能を備えたデジタルスチルカメラや、撮影された動画の再生のみが可能な他の装置にも適用可能である。さらに、本発明は、動画再生用の所定のアプリケーションプログラムを用いれば、一般的な構成を備えた汎用のパーソナルコンピュータにおいても実現可能である。

本発明の各実施形態に共通するデジタルビデオカメラノブロック図である。 画面表示される撮影シーンの選択画面と、シーンファイルのデータ構成を示す概念図である。 効果音テーブルのデータ構成を示す概念図である。 第１の実施形態における撮影時の動作を示すフローチャートである。 動画撮影時の動作内容、及び一連の動画データと音声データとを便宜的に示した概念図である。 同実施形態における再生モードでの動作を示すフローチャートである。 図６に続くフローチャートである。 動画再生時の動作内容、及び一連の記録動画データと再生動画データとの関係、記録音声データと再生音声データとの関係を便宜的に示した概念図である。 第２の実施形態における撮影時の動作を示すフローチャートである。 同実施形態における再生モードでの動作を示すフローチャートである。

符号の説明

２ 撮像部
３ 音声入出力部
４ 制御部
５ 動画一時メモリ
６ 音声一時メモリ
７ メモリカード
８ 液晶表示装置
９ 撮影開始／停止ボタン
１０ 高速撮影ボタン
１１ 再生ボタン
１３ プログラムメモリ
１４ 効果音メモリ
１００ シーンファイル
１０１ シーンＩＤ
１０２ 設定パラメータ
１１１ 見本画像
１１２ シーン説明
１１３ 設定条件説明
２００ 効果音テーブル

Claims (7)

1. 動画像を撮影する撮影手段と、
   この撮影手段により撮影された動画像、及び当該動画像の撮影時に設定されていた撮影条件を示す撮影条件情報を互いに対応付けて記憶する画像記憶手段と、
   前記動画像の撮影中にフレームレートが変更された変更部分を示す変更情報を前記動画像に対応付けて記憶する変更情報記憶手段と、
   前記画像記録手段に記録されている動画像を一定のフレームレートで再生する動画再生手段と、
   各々が所定の撮影条件に対応する複数種の挿入用音声が記憶された挿入用音声記憶手段と、
   前記動画再生手段による動画像の再生中であって、当該動画像に対応付けて前記変更情報記憶手段に記憶されている変更情報により示される変更部分の再生期間に、再生中の動画像に対応付けて前記画像記憶手段に記憶されている撮影条件情報により示される撮影条件に対応する、前記挿入用音声記憶手段に記憶されている所定の挿入用音声を再生する音声再生手段と
   を備えたことを特徴とする動画撮影装置。
2. 前記画像記憶手段には、記憶されている各々の動画像の撮影中に取得された音声が動画像に対応付けて記憶され、
   前記音声再生手段は、前記動画再生手段による動画像の再生中、当該動画像に対応付けて前記画像記憶手段に記憶されている音声を動画像と同期して再生するとともに、再生中の動画像に対応付けて前記変更情報記憶手段に記憶されている変更情報により示されるフレームレートの変更部分に対応する再生期間に、前記画像記憶手段に記憶されている音声に代えて、前記挿入用音声記憶手段に記憶されているとともに再生中の動画像に対応付けて前記画像記憶手段に記憶されている撮影条件情報により示される撮影条件に対応する所定の挿入用音声を再生する
   ことを特徴とする請求項１記載の動画撮影装置。
3. 前記画像記憶手段には、記憶されている各々の動画像の撮影中に取得された音声が動画像に対応付けて記憶され、
   前記音声再生手段は、前記動画再生手段による動画像の再生中、当該動画像に対応付けて前記画像記憶手段に記憶されている音声を動画像と同期して再生するとともに、再生中の動画像に対応付けて前記変更情報記憶手段に記憶されている変更情報により示されるフレームレートの変更部分に対応する音声を動画像と非同期で再生すると同時に、前記挿入用音声記憶手段に記憶されているとともに再生中の動画像に対応付けて前記画像記憶手段に記憶されている撮影条件情報により示される撮影条件に対応する所定の挿入用音声を再生する
   ことを特徴とする請求項１記載の動画撮影装置。
4. 前記挿入用音声記憶手段に記憶されている挿入用音声は効果音であることを特徴とする請求項１又は２，３記載の動画撮影装置。
5. 前記変更情報記憶手段に動画像に対応付けて記憶される変更情報は、動画像の撮影期間内におけるフレームレートの変更開始位置と変更解除位置とであることを特徴とする請求項１乃至４いずれか記載の動画撮影装置。
6. 撮影により取得され記憶されている動画像の再生方法であって、
   前記動画像の一定のフレームレートでの再生中、当該動画像に対応付けて記憶されている変更情報により示される、撮影中にフレームレートが変更されていた変更部分の再生開始時点で、予め記憶されている複数の挿入用音声のうちの、前記動画像と対応付けて記憶されている前記動画像の撮影時における撮影条件に対応する所定の挿入用音声の再生を開始する工程と、
   前記変更部分の再生終了時点で前記所定の挿入用音声の再生を終了する工程と
   を含むことを特徴とする動画再生方法。
7. コンピュータに、
   撮影により取得され記憶されている動画像の一定のフレームレートでの再生中、当該動画像に対応付けて記憶されている変更情報により示される、撮影中にフレームレートが変更されていた変更部分の再生開始時点で、予め記憶されている複数の挿入用音声のうちの、前記動画像と対応付けて記憶されている前記動画像の撮影時における撮影条件に対応する所定の挿入用音声の再生を開始する手順と、
   前記変更部分の再生終了時点で前記所定の挿入用音声の再生を終了する手順と
   を実行させることを特徴とする動画再生制御プログラム。
   

Images