JP2010220203A - 動画再生装置および動画再生プログラム - Google Patents

Abstract

【課題】撮影された被写体の動作と録音された音声のリズムとの整合を容易に確認可能にする。
【解決手段】単位時間当たり所定のコマ数で撮影された複数の画像と、所定のサンプリング間隔で集音された音声とを記録した動画を再生する際に、音声の記録データからビート期間２３〜２５を抽出するとともに、複数の画像２１を音声のビート期間２３〜２５ごとに分割し、複数の画像２１をビート期間２３〜２５ごとに表示する。
【選択図】図２

Description

本発明は動画再生装置および動画再生プログラムに関する。

次のような画像再生装置が特許文献１により知られている。この画像再生装置は、再生対象の動画を構成する一連の画像データの中から自動的に所定間隔で複数のコマを抽出し、これらを時系列順に配列してモニターに表示する。ユーザーがいずれかのコマを選択し、その前後をさらにコマ送りして希望するコマを選択すると、そのコマから動画の再生を行う。

特開２００４−２４７８９９号公報

しかしながら、上記従来の画像再生装置では、動画のフレームやフィールド単位でのコマ送り再生は可能であるが、音楽に合わせてダンスをするシーンを撮影した動画を、音楽のリズムに同期したビート（拍）単位で再生することはできなかった。一方、リアルタイムの５０％程度以下のスロー再生を行うと、音声が聞こえなくなってしまう。このため、従来の画像再生装置では、動作と音楽が合っているかどうかを確認することができなかった。

（１） 本発明では、単位時間当たり所定のコマ数で撮影された複数の画像と、所定のサンプリング間隔で集音された音声とを記録した動画を再生する場合に、音声の記録データからビート期間を抽出するとともに、複数の画像を音声のビート期間ごとに分割し、複数の画像をビート期間ごとに再生表示する。
（２） また、本発明では、ビート期間ごとに画像を通常の動画の再生速度で再生する。（３） さらに、本発明では、ビート期間ごとに音声をグラフ表示する。
（４） さらにまた、本発明では、ビート期間ごとの音声を通常の音声の再生速度で再生する。

本発明によれば、撮影された被写体の動作が録音された音声のリズムに正しく合っているかどうかを容易に確認することができる。

本発明の一実施の形態による動画再生装置を搭載した撮像装置の構成を示す図である。 コマ画像と音声信号の表示例を示す図である。 動画再生プログラムによる処理の一部を示すフローチャートである。 図３に続く動画再生プログラムによる処理を示すフローチャートである。

図１は本発明の一実施の形態による動画再生装置および動画再生プログラムを搭載した撮像装置の構成を示す。なお、図１において本願発明と直接関係のない撮像装置の機器、回路および装置の図示と説明を省略する。撮影レンズ１は図示しないズーミングレンズ、フォーカシングレンズ、絞り、レンズＲＯＭなどを備え、撮像素子２の撮像面に被写体の像を結像する。撮像素子２はＣＣＤやＣＭＯＳなどから構成されるイメージセンサーであり、撮像面に結像された被写体像を撮像してアナログ画像信号を出力する。Ａ／Ｄコンバーター３は、撮像素子２からのアナログ画像信号をデジタル画像信号に変換して信号処理回路４へ出力する。マイクロフォン５は撮像装置周辺の音声を集音してアナログ音声信号を出力する。Ａ／Ｄコンバーター６は、マイクロフォン５からのアナログ音声信号をデジタル音声信号に変換して信号処理回路４へ出力する。

信号処理回路４はＤＳＰ４ａを備え、デジタル画像信号とデジタル音声信号に各種処理を施す。画像信号に対しては、ベイヤー配列された三原色画素の出力を補間する補間処理、輝度信号および色差信号の生成処理、ガンマ補正処理、輪郭補正処理、ホワイトバランス補正処理などを行う。また、音声信号に対してはビート（拍）を抽出する処理などを行う。さらに、信号処理回路４は、撮影した動画の画像信号により表示用コマ画像を生成するとともに音声信号からビートを抽出し、コマ画像と音声信号をビートごとに分割してコマ画像と音声をビートごとに再生する。なお、動画撮影では、単位時間当たり所定のコマ数の画像、例えば毎分３０コマの画像が撮影されるとともに、所定のサンプリング間隔で音声が記録されるが、コマ画像の撮影時刻と音声のサンプリング時刻とは同期していない。これらのコマ画像と音声に対するビートごとの分割と再生については詳細を後述する。表示回路７はモニター８により画像を再生するとともに各種の情報を表示する。音声出力回路９はスピーカー１０により音声を再生する。

駆動回路１１は撮影レンズ１のズーミングレンズ、フォーカシングレンズおよび絞りを駆動する。蓄積制御回路１２は撮像素子２の電荷蓄積動作を制御する。コントローラー１３はＣＰＵ１３ａやメモリ１３ｂなどを備え、撮影制御、焦点調節制御、画像処理、音声処理、画像および音声の記録制御などを行う。フラッシュメモリ１４は撮影した画像を一時的に記憶する記憶装置である。圧縮伸張回路１５は画像データの圧縮と伸張を行う。記録回路１６はメモリカードなどの記録媒体１７に画像と音声を記録する。操作回路１８は操作部材１９から操作信号を入力する。

図２は、モニター８の表示画面８ａに表示されたビートごとのコマ画像と音声の表示例を示す。なお、ここでは４拍子の音楽に合わせてダンスをしているシーンを撮影した動画と音声を例に挙げて説明する。信号処理回路４により生成される表示用のコマ画像と音声信号は、コントローラー１３を介してフラッシュメモリ１４に一時的に記憶される。信号処理回路４は、操作部材１９を用いたユーザーの操作によりコマ画像と音声のビートごとの再生要求があると、フラッシュメモリ１４に記憶されている一連のデジタル音声信号からビートを抽出し、ビートごとにコマ画像と音声信号を分割する。そして、モニター８の表示画面８ａに、ビートごとに分割したコマ画像と音声信号を所定のビート分だけ表示するとともに、現在位置の画像を表示する。

図２において、表示画面８ａの下部に３ビート分のコマ画像２１と音声信号２２がビート期間２３〜２５ごとに枠で分割して表示され、表示画面８ａの上部に現在位置のコマ画像２６が拡大表示される。４拍子のビートごとのコマ画像と音声信号の内、ここでは１拍目（ビート期間２３）、２拍目（ビート期間２４）、３拍目（ビート期間２５）のコマ画像と音声信号が表示されている。また、音声信号２２は、サンプリング時刻ごとの音圧レベルが折れ線グラフ（縦軸が音圧レベルを表し、横軸が時刻を表す）で表示される。

ここで、各コマ画像２１には画像データとともにそのコマ画像２１が撮影された時刻データが記録されている。一方、音声信号２２も音声のサンプリング時刻が記録されており、音圧レベルデータごとのサンプリング時刻を知ることができる。信号処理回路４は、音声信号の時刻データに基づいてビートごとに各ビート期間２３〜２５の始めと終わりの時刻を割り出し、各ビート期間２３〜２５の時刻に応じてコマ画像２１を対応するビート期間２３〜２５に振り分ける。図２には、１拍目と２拍目のビート期間２３，２４にそれぞれ対応する３枚の連続したコマ画像２１が振り分けられ、３拍目のビート期間２５に対応する２枚の連続したコマ画像２１が振り分けられている。なお、各ビート期間２３〜２５のコマ画像２１は時系列順に左から右へ並べられる。一方、音声信号２２は、各ビート期間２３〜２５ごとの音圧レベルのグラフが表示される。

各ビート期間２３〜２５の枠の左下隅には小節番号とその小節における拍の番号を示す循環番号２７が表示される。図２のビート期間２３には４小節目の１拍目を表す循環番号２７が、ビート期間２４には４小節目の２拍目を表す循環番号２７が、ビート期間２５には４小節目の３拍目を表す循環番号２７がそれぞれ表示されている。最初に表示されたビート期間（ここではビート期間２３）の循環番号２７を操作部材１９（図１参照）によりユーザーが設定すると、その前後のビート期間の循環番号２７はコントローラー１３により自動的に割り振られて設定される。

ところで、例えば図２に示すビート期間２３において、ビートが抽出された時刻とビート期間２３の先頭のコマ画像２１が撮影された時刻とが常に一致しているとは限らず、多くの場合はずれている。そのため、このような画像と音声のズレを補正する必要がある。そこで、この実施の形態では、ユーザーがモニター８の表示画面８ａに表示されたビート期間２３〜２５のコマ画像２１と音声信号２２を見ながら、画像と音声のタイムオフセットを補正するための操作を操作部材１９（図１参照）により行う。すると、ビート期間２３〜２５に表示されたコマ画像２１が１コマ単位で表示画面８ａの左右方向に移動し、ビート期間２３〜２５ごとに音声信号２２とコマ画像２１との対応関係をずらすことができる。

例えばビート期間２３において、このビート期間に対応するビート時刻に対して先頭（左端）のコマ画像２１が遅れている場合には、それより早く撮影されたコマ画像が先頭になるようにコマ画像２１を右方向へずらせばよい。反対にビート時刻に対してコマ画像２１が早すぎる場合には、それより遅く撮影されたコマ画像（ここでは右隣のコマ画像）が先頭になるようにコマ画像２１を左方向へずらせばよい。

次に、ユーザーが操作部材１９のビート送りボタン(不図示)を１回操作すると、図２に表示されたビート期間２３〜２５が画面８ａの左方向へ１ビート期間移動し、左端のビート期間２３が消え、右端に新しいビート期間が現れる。このとき、画面中央に現在位置のビート期間としてそれまで表示されていたビート期間２４が左端へ移動し、これと入れ違いに画面中央に移動してきたビート期間２５が新たに現在位置のビート期間とされる。さらに、現在位置画像２６にビート期間２４の一連のコマ画像２１（ここでは３コマ）がノーマルスピード、すなわち撮影時と同じ速度で再生表示されるとともに、スピーカー１０（図１参照）からビート期間２４の音声信号２２がノーマルスピード、すなわち撮影時と同じ速度で再生出力される。

なお、操作部材１９のビート戻しボタン(不図示)を操作することによって、ビート期間の逆送りを行うことができるが、このときビート期間ごとの動画像と音声の再生は行われない。また、操作部材１９のビート早送りボタン、ビート早戻しボタン(ともに不図示)を操作することによって、ビート期間の早送りと早戻しを行うことができるが、この場合にも動画像と音声の再生は行われない。

図３および図４は、この実施の形態の動画再生プログラムによる処理を示すフローチャートである。これらのフローチャートと図２によりビート単位での動画と音声の再生動作を説明する。ビート単位での動画と音声の再生を開始するための操作がユーザーにより操作部材１９を用いて行われると、コントローラー１３のＣＰＵ１３ａはメモリ１９ｂに記憶されている動画再生プログラムの実行を開始する。

ステップ１において、ＣＰＵ１３ａは、フラッシュメモリ１４から動画の画像データと音声データを取り込む。なお、画像データは、一連の表示可能なコマ画像と各コマ画像ごとの撮影時刻データによって構成されており、音声データは、一連の音圧データと集音時刻データによって構成されている。続くステップ２で、ＣＰＵ１３ａは、音声データからビートを抽出する。音声信号からビートを抽出する方法については周知であり、ここではその抽出方法の説明を省略する。ステップ３で、ＣＰＵ１３ａは、コマ画像の撮影時刻データと音声データの集音時刻データに基づいて一連のコマ画像をビート期間ごとに分割する。ステップ４において、ＣＰＵ１３ａは、図２に示すように、所定のビート期間２３〜２５のコマ画像２１と音声信号２２をモニター８の表示画面８ａに表示する。

ステップ５で、ＣＰＵ１３ａは、画像と音声のオフセットを調整するための操作が操作部材１９を用いてユーザーにより行われたか否かを判別し、操作があるとステップ６へ進む。ステップ６で、ＣＰＵ１３ａは、表示されているコマ画像２１を１コマ単位で操作方向に移動させる。この動作は、ユーザーによるオフセット調整操作が終了するまで行う。ステップ７で、ＣＰＵ１３ａは、循環番号を設定するための操作が操作部材１９を用いてユーザーにより行われたか否かを判別し、操作があるとステップ８へ進む。ステップ８で、ＣＰＵ１３ａは、表示画面８ａの現在位置（中央位置）に表示されているビート期間２４に循環番号２７を設定して表示するとともに、その前後のビート期間２３，２５，・・・に現在位置の循環番号２７に応じた循環番号を割り振り設定する。

図４のステップ９において、ＣＰＵ１３ａは、操作部材１９のビート送りボタンの操作を確認し、操作があるとステップ１０へ進む。ステップ１０で、ＣＰＵ１３ａは、現在位置のビート期間２４の動画と音声を再生するとともに、表示画面８ａのビート期間２３〜２５を１ビート期間だけ左へ移動する。ステップ１１で、ＣＰＵ１３ａは、操作部材１９のビート戻しボタンの操作を確認し、操作があるとステップ１２へ進む。ステップ１２で、ＣＰＵ１３ａは、表示画面８ａのビート期間２３〜２５を１ビート期間だけ右へ移動する。ステップ１３で、ＣＰＵ１３ａは、操作部材１９のビート早送りボタンまたはビート早戻しボタンの操作を確認し、いずれかの操作があるとステップ１４へ進む。ステップ１４で、ＣＰＵ１３ａは、操作が終了するまでビート期間を操作方向へ移動する。

ステップ１５において、ＣＰＵ１３ａは、操作部材１９による動画再生終了操作を確認する。終了操作があればビートごとの動画と音声の再生処理を終了し、終了操作がない場合はステップ９へ戻って上述した処理を繰り返す。

なお、上述した実施の形態では、本願発明に係わる動画再生装置および動画再生プログラムを撮像装置へ搭載した例を示したが、図３および図４に示す処理をパーソナルコンピューターに実行させるための動画再生プログラムをＣＤなどの記録媒体に記録して提供してもよい。パーソナルコンピューターは、提供された動画再生プログラムをインストールして実行すると、動画再生プログラムによる命令に従って、図３および図４に示す処理の各手順を実行する。これにより、パーソナルコンピューター上で動画のビート再生を行うことができる。この場合には、パソコンに予め格納されている動画、あるいはパソコンに接続したカメラやビデオカメラの動画をビート再生対象にすればよい。

上述した実施の形態のコマ画像と音声信号の表示は、図２に示す表示例に限定されない。また、本願発明は４拍子以外のすべてのリズムの音楽に適用可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、単位時間当たり所定のコマ数で撮影された複数の画像と、所定のサンプリング間隔で集音された音声とを記録した動画を再生する動画再生装置において、音声の記録データからビート期間を抽出するとともに、複数の画像を音声のビート期間ごとに分割し、複数の画像をビート期間ごとに表示するようにした。そのため、例えば音楽に合わせてダンスをするシーンを撮影した動画を見ながら、動作が音楽の拍子に正しく合っているかどうかを容易に確認することができる。つまり、撮影された被写体の動作が録音された音声のリズムに正しく合っているかどうかを容易に確認することができる。

また、この実施の形態によれば、ビート期間ごとに画像を通常の動画の再生速度で再生するようにしたので、ビート期間ごとに動作が音楽の拍子に正しく合っているかどうかを容易に確認することができる。

さらに、この実施の形態によれば、ビート期間ごとに音声をグラフ表示するようにしたので、音声を目で確認することができる。これにより、ビート期間ごとに動作が音楽の拍子に正しく合っているかどうかを確実かつ容易に確認することができる。

さらにまた、この実施の形態によれば、ビート期間ごとの音声を通常の音声の再生速度で再生するようにしたので、音楽の拍子を耳で確認することができる。これにより、ビート期間ごとに動作が音楽の拍子に正しく合っているかどうかを確実かつ容易に確認することができる。

４；信号処理回路、８；モニター、８ａ；表示画面、１０；スピーカー、１３；コントローラー、１３ａ；ＣＰＵ、２１；コマ画像、２２；音声信号、２３〜２５；ビート期間、２６；現在位置画像

Claims (8)

1. 単位時間当たり所定のコマ数で撮影された複数の画像と、所定のサンプリング間隔で集音された音声とを記録した動画を再生する動画再生装置であって、
   前記音声の記録データからビート期間を抽出する抽出手段と、
   前記複数の画像を前記音声のビート期間ごとに分割する分割手段と、
   前記複数の画像を前記ビート期間ごとに再生表示する表示手段とを備えることを特徴とする動画再生装置。
2. 請求項１に記載の動画再生装置において、
   前記表示手段は、前記ビート期間ごとに前記画像を通常の動画の再生速度で再生することを特徴とする動画再生装置。
3. 請求項１または請求項２に記載の動画再生装置において、
   前記表示手段は、前記ビート期間ごとに前記音声をグラフ表示することを特徴とする動画再生装置。
4. 請求項１〜３のいずれか一項に記載の動画再生装置において、
   前記ビート期間ごとの前記音声を通常の音声の再生速度で再生する音声再生手段を備えることを特徴とする動画再生装置。
5. 単位時間当たり所定のコマ数で撮影された複数の画像と、所定のサンプリング間隔で集音された音声とを記録した動画をコンピュータにより再生するための動画再生プログラムであって、
   前記音声の記録データからビート期間を抽出する抽出手順と、
   前記複数の画像を前記音声のビート期間ごとに分割する分割手順と、
   前記複数の画像を前記ビート期間ごとに再生表示する表示手順とを前記コンピュータに実行させることを特徴とする動画再生プログラム。
6. 請求項５に記載の動画再生プログラムにおいて、
   前記ビート期間ごとに前記画像を通常の動画の再生速度で再生させることにより、前記表示手順を前記コンピュータに実行させることを特徴とする動画再生プログラム。
7. 請求項５または請求項６に記載の動画再生プログラムにおいて、
   前記ビート期間ごとに前記音声をグラフ表示させることにより、前記表示手順を前記コンピュータに実行させることを特徴とする動画再生プログラム。
8. 請求項５〜７のいずれか一項に記載の動画再生プログラムにおいて、
   前記ビート期間ごとの前記音声を通常の音声の再生速度で再生する音声再生手順をさらに前記コンピュータに実行させることを特徴とする動画再生プログラム。

Images