JP2013171064A - コンテンツ再生装置及びコンテンツ再生方法 - Google Patents

Abstract

【課題】
再生時楽曲音の拍進行に同期して映像を表示する。
【解決手段】
再生時楽曲音の拍情報、及び、録画時楽曲音の拍情報が拍情報記録手段７２０に記憶される。また、取得手段７２５が、録画時楽曲音の再生出力中に撮影手段８２０により撮影された映像のデータを取得する。そして、取得手段７２５は、取得された映像のデータを抽出手段７４０へ送る。引き続き、抽出手段７４０が、拍情報記録手段７２０内の録画時楽曲音の拍情報を参照し、録画時楽曲音の拍進行タイミングと、取得された映像のデータに基づく映像の進行タイミングとの同期関係情報を抽出する。そして、表示制御手段７６０が、当該抽出された同期関係情報と、拍情報記録手段７２０内の再生時楽曲音の拍情報とに基づいて、再生時楽曲音と、取得された映像のデータに基づく再生映像の進行とを同期させて、再生映像を表示手段８４０に表示させる。
【選択図】 図１

Description

本発明は、コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム、並びに、当該コンテンツ再生プログラムが記録された記録媒体に関する。

従来から、楽曲音と同期した映像を、当該楽曲音と同期して再生する同期再生が広く行われている。こうした同期再生は、例えば、楽曲音に合わせて踊られているダンスの映像の録画を、録音機能を有するビデオカメラ装置により、当該楽曲音を含む背景音の録音と同時に行い、録画結果及び録音結果を同時に再生することにより行われる。かかる同期再生結果が、例えば、ダンス練習風景である場合には、当該同期再生結果を参照することにより、ダンス動作が楽曲音と合っているかを確認することができる。

ところで、ダンス動作は、楽曲音の拍進行に合わせて振り付けが行われることが一般的である。このため、同時再生結果によりダンス動作が、楽曲音の拍進行に同期しているかを確認できることが重要になる。

かかる重要性に鑑み、ダンス動作と、楽曲音の拍進行とが同期しているかを容易に確認できる同期再生を行うための技術が提案されている（特許文献１参照：以下、「従来例」という）。この従来例の技術では、映像の撮影の際に収音された楽曲音を解析して、当該楽曲音の拍位置を検出する。引き続き、検出された拍位置に対応するフレーム画像を特定し、当該拍位置を示す拍情報と対応付けて記録する。そして、拍情報とフレーム画像との対応関係に基づいて、拍進行と連動し映像の再生動作を行うようになっている。

特開２００９−２１８９００号公報

上述した従来例の技術では、映像の撮影の際に収音された楽曲音を解析して、当該楽曲音の拍位置を検出する。このため、収音された楽曲音の品質が低い場合には、拍位置の検出結果の正確性が確保できない場合がある。

また、ダンスに際して使用される楽曲音は、複数の楽曲が直列的に繋がれる編集が行われている場合が多い。このため、当該楽曲音では、途中でＢＰＭ（Beats Per Minute）が変化する場合や、先行する楽曲における小節の終わりと、次の楽曲における小節の始まりとが繋がれていない場合がある。この結果、映像の撮影の際に収音された楽曲音を解析して拍位置を検出する従来例の技術では、ＢＰＭの変化や、楽曲の変化に追従することが困難である場合が発生し得る。

このため、再生時楽曲音の拍進行に対して正確に同期して進行する再生映像を、再生時楽曲音とともに再生することができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。

本発明は、上記の事情を鑑みてなされたものであり、再生時楽曲音の拍進行に同期して映像を表示するための新たなコンテンツ再生装置及びコンテンツ再生方法を提供することを目的とする。

請求項１に記載の発明は、楽曲コンテンツ記録手段に記録され、再生時楽曲コンテンツとして選択された楽曲コンテンツに基づく再生時楽曲音に同期して映像を表示するコンテンツ再生装置であって、前記楽曲コンテンツ記録手段に記録され、録画時楽曲コンテンツとして選択された楽曲コンテンツに基づく録画時楽曲音の再生出力中に撮影された映像のデータを取得する取得手段と；前記再生時楽曲音の拍位置情報が含まれる第１拍情報、及び、前記録画時楽曲音の拍位置情報が含まれる第２拍情報が記録される拍情報記録手段と；前記第２拍情報を参照し、前記録画時楽曲音の拍進行タイミングと、前記取得された映像のデータに基づく映像の進行タイミングとの同期関係を抽出する抽出手段と；前記抽出された同期関係と前記第１拍情報とに基づいて、前記再生時楽曲音と前記取得された映像のデータに基づく再生映像の進行とを同期させて、前記再生映像を表示手段に表示させる表示制御手段と；を備えることを特徴とするコンテンツ再生装置である。

請求項５に記載の発明は、第１拍情報及び第２拍情報が記録される拍情報記録手段を備え、再生時楽曲音に同期して映像を表示するコンテンツ再生装置において使用されるコンテンツ再生方法であって、録画時楽曲音の再生出力中に撮影された映像のデータを取得する取得工程と；前記第２拍情報を参照し、前記録画時楽曲音の拍進行タイミングと、前記取得された映像のデータに基づく映像の進行タイミングとの同期関係を抽出する抽出工程と；前記抽出された同期関係と前記第１拍情報とに基づいて、前記再生時楽曲音と前記取得された映像のデータに基づく再生映像の進行とを同期させて、前記再生映像を表示手段に表示させる表示制御工程と；を備え、楽曲コンテンツ記録手段に記録され、再生時楽曲コンテンツとして選択された楽曲コンテンツに基づく前記再生時楽曲音の拍位置情報が、前記第１拍情報に含まれ、前記楽曲コンテンツ記録手段に記録され、録画時楽曲コンテンツとして選択された楽曲コンテンツに基づく前記録画時楽曲音の拍位置情報が、前記第２拍情報に含まれる、ことを特徴とするコンテンツ再生方法である。

請求項６に記載の発明は、請求項５に記載のコンテンツ再生方法を演算手段に実行させる、ことを特徴とするコンテンツ再生プログラムである。

請求項７に記載の発明は、請求項６に記載のコンテンツ再生プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体である。

本発明の一実施形態に係るコンテンツ再生装置の構成を説明するためのブロック図である。 本発明の一実施例に係るコンテンツ再生装置の構成を説明するためのブロック図である。 図２の楽曲コンテンツ情報の内容を説明するための図である。 図２の拍情報の内容を説明するための図である。 図２の拍同期映像情報の内容を説明するための図である。 図２のコンテンツ再生装置による拍構成情報の作成処理を説明するためのフローチャートである。 図２のコンテンツ再生装置による付加情報の編集処理を説明するためのフローチャートである。 図２のコンテンツ再生装置による拍同期映像情報の抽出処理を説明するためのフローチャートである。

以下、本発明の一実施形態を、図１を参照して説明する。なお、以下の説明においては、同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

［構成］
図１には、一実施形態に係るコンテンツ再生装置７００の概略的な構成が示されている。

図１に示されるように、コンテンツ再生装置７００は、拍情報作成手段７１０と、拍情報記録手段７２０と、取得手段７２５と、音出力制御手段７３０とを備えている。また、コンテンツ再生装置７００は、抽出手段７４０と、拍同期映像情報記録手段７５０と、表示制御手段７６０とを備えている。

さらに、コンテンツ再生装置７００は、楽曲コンテンツ記録手段８１０と、撮影手段８２０とを備えている。また、コンテンツ再生装置７００は、音出力手段８３０と、表示手段８４０と、入力手段８５０とを備えている。

上記の楽曲コンテンツ記録手段８１０は、複数の楽曲コンテンツのデータを記録している。当該楽曲コンテンツ記録手段８１０には、拍情報作成手段７１０及び音出力制御手段７３０がアクセス可能となっている。

ここで、楽曲コンテンツ記録手段８１０に記憶される楽曲コンテンツとしては、１楽曲のみから構成されるものもあるし、複数の楽曲のそれぞれの全部又は一部が直列的に接続されて構成されているものもある。なお、複数の楽曲が接続されて構成されている楽曲コンテンツのデータは、楽曲音データに加えて、どのタイミングで楽曲が繋がれる編集が行われているかを示す接続位置情報が含まれるようになっている。

上記の撮影手段８２０は、コンテンツ再生装置７００の周辺映像の撮影を行い、撮影結果を映像データとして出力するビデオカメラ等を備えている。音出力手段８３０からの録画時楽曲音の出力に同期して行われた撮影手段８２０による撮影結果は、映像データとして、取得手段７２５へ送られる。ここで、「録画時楽曲音」とは、録画時に使用される楽曲コンテンツ記録手段８１０内の楽曲コンテンツに対応する楽曲音をいう。以下、この意味で、「録画時楽曲音」の用語を使用する。

上記の音出力手段８３０は、スピーカを備えて構成される。この音出力手段８３０は、音出力制御手段７３０から送られた出力音データを受ける。そして、音出力手段８３０は、当該出力音データに対応する出力音を再生出力する。

上記の表示手段８４０は、液晶ディスプレイパネル等の表示デバイスを備えて構成される。この表示手段８４０は、表示制御手段７６０から送られた表示データを受ける。そして、表示手段８４０は、当該表示データに対応する同期映像を再生表示する。

上記の入力手段８５０は、キーボード等を備えて構成されている。入力手段８５０は、利用者の入力操作に応答して、当該入力操作に対応した指令を、当該指令の伝達が必要な要素へ送るようになっている。

上記の拍情報作成手段７１０は、入力手段８５０から送られた拍情報の作成に関連する指令を受ける。そして、拍情報作成手段７１０は、入力手段８５０から送られた指令に従って拍情報作成処理を実行し、拍情報を作成する。こうして作成された拍情報は、拍情報記録手段７２０内に記録される。

ここで、拍情報作成手段７１０により作成される拍情報には、拍情報識別子、楽曲コンテンツ識別子、拍構成情報が含まれている。この拍構成情報には、拍位置、拍と拍との間の位置、小節の開始に当たる拍（第１拍）位置が含まれている。また、拍情報には、拍情報編集により付加情報が付加された場合には、当該付加情報が含まれる。こうした付加情報としては、録画に際しての録画開始拍位置、及び、録画終了拍位置、並びに、静止画の録画に際しての録画位置（録画拍位置又は録画拍間位置）、及び、進行報告位置（進行報告拍位置又は進行報告拍間位置）等がある。

本実施形態では、静止画の録画に際しての録画拍位置又は録画拍間位置としては、各小節に共通した小節内の録画拍位置又は録画拍間位置が指定されるようになっている。また、本実施形態では、進行報告拍位置又は進行報告拍間位置としては、各小節に共通した小節内の進行報告拍位置又は進行報告拍間位置が指定されるようになっている。

なお、拍情報作成手段７１０が実行する処理については、後述する。

上記の拍情報記録手段７２０には、拍情報作成手段７１０により作成された拍情報が記録される。こうして拍情報記録手段７２０に記録された拍情報は、音出力制御手段７３０、抽出手段７４０及び表示制御手段７６０により読み取り可能となっている。

上記の取得手段７２５は、撮影手段８２０から送られた映像データを取得する。そして、取得手段７２５は、取得された映像データを、抽出手段７４０及び表示制御手段７６０へ送る。

上記の音出力制御手段７３０は、入力手段８５０から送られた楽曲コンテンツ及び再生速度を指定した楽曲音再生の開始指令を受ける。楽曲音再生の開始指令を受けた音出力制御手段７３０は、指定された再生速度に応じた速度で、指定された楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。そして、音出力制御手段７３０は、拍情報記録手段７２０内の当該指定された楽曲コンテンツの拍情報を参照して、当該指定された再生速度による拍進行状況を検出する。こうして検出された拍進行状況は、抽出手段７４０及び表示制御手段７６０へ送られる。

音出力制御手段７３０は、楽曲音再生の開始指令において指定された再生速度が通常速度であった場合に、読み取られた楽曲コンテンツのデータに基づいて、出力音データを生成する。こうして生成された出力音データは、音出力手段８３０へ送られる。

なお、楽曲音再生の開始指令において指定された再生速度が、通常速度ではなく、スロー再生速度又は早送り再生速度等であった場合には、音出力制御手段７３０は、指定された楽曲コンテンツのデータに基づく出力音データを生成しない。こうした出力音データを生成しない場合には、本実施形態では、音出力制御手段７３０は、拍の進行により進行報告位置となると、所定の効果音データを生成する。こうして生成された効果音データは、出力音データとして、音出力手段８３０へ送られる。

音出力制御手段７３０は、上述した楽曲音再生を、再生すべき楽曲音の全ての再生が終了するまで、又は、入力手段８５０から送られた楽曲音再生の終了指令を受けるまで継続する。

また、音出力制御手段７３０は、入力手段８５０から送られた拍情報が指定された確認用再生の開始指令を受ける。確認用再生の開始指令を受けた音出力制御手段７３０は、拍情報記録手段７２０内における当該指定された拍情報を参照し、指定された拍情報に対応する楽曲コンテンツを特定する。引き続き、音出力制御手段７３０は、通常速度で、特定された楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。以後、音出力制御手段７３０は、上述した通常速度が指定された楽曲音再生の開始指令を受けた場合と同様の処理を行う。

音出力制御手段７３０は、上述した確認用再生のための音出力制御を、再生すべき楽曲音の再生が終了するまで、又は、入力手段８５０から送られた確認用再生の終了指令を受けるまで継続する。

上記の抽出手段７４０は、取得手段７２５から送られた映像データを受ける。また、抽出手段７４０は、入力手段８５０から送られた楽曲コンテンツを指定した拍同期映像情報の抽出指令を受ける。なお、入力手段８５０から拍同期映像情報の抽出指令が送られる場合には、同時に、入力手段８５０から音出力制御手段７３０へ、当該楽曲コンテンツ及び通常速度を指定した楽曲音再生の開始指令が送られるようになっている。

拍同期映像情報の抽出指令を受けると、抽出手段７４０は、拍情報記録手段７２０内の当該指定された楽曲コンテンツに対応する拍情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、録画時楽曲音における拍進行タイミングと、当該映像データに対応する映像の進行タイミングとの同期関係情報を抽出する。また、抽出手段７４０は、当該指定された楽曲コンテンツに対応する拍情報において、動画の録画に際しての録画開始拍位置、録画終了拍位置、静止画の録画に際しての録画拍位置又は録画拍間位置が設定されている場合には、これらの設定情報に基づいて、同期再生用映像データを抽出する。そして、抽出手段７４０は、当該同期再生用映像データ、及び、抽出された同期関係情報を、拍同期映像情報として、拍同期映像情報記録手段７５０内に記録する。

上記の拍同期映像情報記録手段７５０には、抽出手段７４０により生成された拍同期映像情報が記録される。この拍同期映像情報は、表示制御手段７６０により読み取り可能となっている。

上記の表示制御手段７６０は、入力手段８５０から送られたモニタ表示の開始指令を受ける。モニタ表示の開始指令を受けると、表示制御手段７６０は、取得手段７２５から送られている映像データに基づいて、撮影中の映像をリアルタイムで表示させるための表示データを生成し、生成された表示データを表示手段８４０へ送る。この結果、撮影中の映像が、リアルタイムで、表示手段８４０に表示される。

表示制御手段７６０は、上述したモニタ表示制御処理を、入力手段８５０から送られたモニタ表示の終了指令を受けるまで継続する。

また、表示制御手段７６０は、入力手段８５０から送られた、拍同期映像情報記録手段７５０内に記録された拍同期映像情報を指定した同期表示の開始指令を受ける。同期表示の開始指令を受けると、表示制御手段７６０は、拍同期映像情報記録手段７５０内における当該指定された拍同期映像情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、楽曲音再生の拍進行と同期した、指定された拍同期映像情報における映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示手段８４０へ送る。この結果、楽曲音再生の拍進行と同期して進行する映像が、表示手段８４０に表示される。

表示制御手段７６０は、上述した同期表示制御処理を、当該指定された拍同期映像情報における映像データに対応する映像の全てを表示するまで、又は、入力手段８５０から送られた同期表示の終了指令を受けるまで継続する。

また、表示制御手段７６０は、拍情報作成手段７１０から送られた編集用画面データに基づいて、編集用画面を表示するための表示データを生成する。こうして生成された表示データは、表示手段８４０へ送られる。この結果、表示手段８４０には、拍情報の編集用画面が表示される。

また、表示制御手段７６０は、入力手段８５０から送られた拍情報が指定された確認用再生の開始指令を受ける。確認用再生の開始指令を受けた表示制御手段７６０は、拍情報記録手段７２０内における当該指定された拍情報を参照し、音出力制御手段７３０から送られた拍進行状況に基づいて、楽曲音再生の拍進行と同期した拍進行状況を示すための表示データを生成する。こうして生成された表示データは、表示手段８４０へ送られる。この結果、表示手段８４０には、拍情報の確認用の画像が表示される。

［動作］
次に、上記のように構成されたコンテンツ再生装置７００の動作について、拍情報の作成処理、拍同期映像情報の抽出処理、及び、再生時楽曲音と映像との同期再生処理に主に着目して説明する。

＜拍情報の作成処理＞
拍情報の作成処理では、まず、拍構成情報の作成処理が行われる。

かかる拍構成情報の作成処理は、利用者による拍構成情報の作成対象となる楽曲コンテンツを指定した拍構成情報の作成指令の入力手段８５０への入力に応答して実行される。当該拍構成情報の作成指令の入力手段８５０への入力が行われると、入力手段８５０は、当該拍構成情報の作成指令を拍情報作成手段７１０へ送る。この拍構成情報の作成指令を受けた拍情報作成手段７１０は、まず、楽曲コンテンツ記録手段８１０から、当該指定された楽曲コンテンツのデータを読み取る。

引き続き、拍情報作成手段７１０は、読み取られた楽曲コンテンツのデータを解析し、通常速度で読み取られて再生された場合の楽曲音の拍位置、拍と拍との間の位置、第１拍位置等を検出し、当該検出の結果を含む拍構成情報を作成する。そして、拍情報作成手段７１０は、作成された拍構成情報を、当該指定された楽曲コンテンツに関する拍構成情報として、拍情報記録手段７２０内に記録する。

次に、上述のようにして作成された拍構成情報の正確性の確認用処理が行われる。かかる正確性の確認用処理は、利用者による拍情報確認指令に応答して実行される。

当該拍情報確認指令の入力手段８５０への入力が行われると、入力手段８５０は、当該拍情報確認指令を拍情報作成手段７１０へ送るとともに、確認対象の拍情報を指定した確認用再生の開始指令を音出力制御手段７３０及び表示制御手段７６０へ送る。入力手段８５０から送られた確認用再生の開始指令を受けた音出力制御手段７３０は、当該指定された楽曲コンテンツのデータを、通常速度で、楽曲コンテンツ記録手段８１０から、順次読み取る。引き続き、音出力制御手段７３０は、読み取られた楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力手段８３０へ送る。この結果、音出力手段８３０から、指定された楽曲コンテンツに対応する楽曲音が出力される。

かかる指定された楽曲コンテンツに対応する楽曲音の再生制御と並行して、音出力制御手段７３０は、当該作成された拍構成情報を参照して、楽曲音再生中の拍進行状況を検出する。そして、音出力制御手段７３０は、検出された拍進行状況を表示制御手段７６０へ送る。

また、入力手段８５０から送られた確認用再生の開始指令を受けた表示制御手段７６０は、拍情報記録手段７２０における当該指定された楽曲コンテンツの拍情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、拍進行を表示するための表示データを順次生成する。そして、表示制御手段７６０は、生成された表示データを表示手段８４０へ送る。

この結果、音出力手段８３０から、指定された楽曲コンテンツの再生音が出力されるとともに、表示手段８４０に、拍進行が表示される。こうして出力された再生音、及び、表示された拍進行を参照することにより、拍情報の正確性が、利用者により確認される。

かかる確認により、拍情報が裏拍に基づいて作成されていたり、楽曲の繋ぎ目で拍位置を見失っているものとなっていたりした場合には、利用者が入力手段８５０に拍構成情報編集の開始指令を入力する。拍構成情報編集の開始指令を受けた拍情報作成手段７１０は、当該拍構成情報を表示するための編集用画面データを作成する。そして、拍情報作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。この結果、表示手段８４０には、拍構成情報編集用画面が表示される。

拍構成情報編集用画面が表示された後、表示手段８４０における表示画面を参照しつつ行われる入力手段８５０に対する拍構成情報の編集入力操作が行われるたびに、拍情報作成手段７１０は、拍構成情報を逐次更新するとともに、当該更新された拍構成情報を表示するための編集用画面データを作成する。そして、拍情報作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。

こうして、拍位置、拍と拍との間の位置、及び、小節の開始に当たる拍（第１拍）位置の変更のための編集が行われる。そして、利用者が拍構成情報の編集を終了したと判断すると、利用者が入力手段８５０に拍構成情報編集の終了指令を入力する。この拍構成情報編集の終了指令が入力されると、入力手段８５０は、当該拍構成情報編集の終了指令を拍情報作成手段７１０へ送る。拍構成情報編集の終了指令を受けると、拍情報作成手段７１０は、編集結果を拍情報記録手段７２０内に記録する。

なお、拍情報に上述した付加情報を付加する場合には、上述した拍構成情報の編集の後、利用者が入力手段８５０に付加情報編集の開始指令を入力する。この付加情報拍情報編集の開始指令が入力されると、入力手段８５０は、当該付加情報編集の開始指令を拍情報作成手段７１０へ送る。

付加情報編集の開始指令を受けた拍情報作成手段７１０は、当該付加情報を編集するための編集用画面データを作成する。そして、拍情報作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。この結果、表示手段８４０には、付加情報編集用画面が表示される。

付加情報編集用画面が表示された後、表示手段８４０における表示画面を参照しつつ行われる入力手段８５０に対する付加情報の編集入力操作が行われるたびに、拍情報作成手段７１０は、付加情報を逐次更新するとともに、当該更新された付加情報を表示するための編集用画面データを作成する。そして、拍情報作成手段７１０は、作成された編集用画面データを表示制御手段７６０へ送る。

こうして、付加情報の編集が行われる。そして、利用者が付加情報の編集を終了したと判断すると、利用者が入力手段８５０に付加情報編集の終了指令を入力する。この付加情報編集の終了指令が入力されると、入力手段８５０は、当該付加情報編集の終了指令を拍情報作成手段７１０へ送る。付加情報編集の終了指令を受けると、拍情報作成手段７１０は、編集結果を拍情報記録手段７２０内に記録する。

＜拍同期映像情報の抽出処理＞
拍同期映像情報の抽出処理は、利用者による録画時楽曲音に対応する楽曲コンテンツ（以下、「録画時楽曲コンテンツ」と呼ぶ）を指定した拍同期映像情報の抽出指令の入力手段８５０への入力に応答して開始される。当該拍同期映像情報の抽出指令の入力手段８５０への入力が行われると、入力手段８５０は、当該拍同期映像情報の抽出指令を抽出手段７４０へ送るとともに、当該録画時楽曲コンテンツ及び通常速度を指定した楽曲音再生の開始指令を音出力制御手段７３０へ送る。また、当該拍同期映像情報の抽出指令の入力手段８５０への入力が行われると、入力手段８５０は、モニタ表示の開始指令を表示制御手段７６０へ送る。

この楽曲音再生の開始指令を受けた音出力制御手段７３０は、通常速度で、録画時楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。次に、音出力制御手段７３０は、読み取られた録画時楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力手段８３０へ送る。この結果、音出力手段８３０から、録画時楽曲音が出力される。

また、モニタ表示の開始指令を受けた表示制御手段７６０は、取得手段７２５から送られている映像データに基づいて、撮影中の映像をリアルタイムで表示させるための表示データを生成し、生成された表示データを表示手段８４０へ送る。この結果、撮影中の映像が、リアルタイムで、表示手段８４０に表示される。

かかる録画時楽曲コンテンツに対応する録画時楽曲音の再生制御と並行して、音出力制御手段７３０は、拍情報記録手段７２０内の録画時楽曲コンテンツに関する拍情報を参照して、録画時楽曲音再生中の拍進行状況を検出する。そして、音出力制御手段７３０は、検出された拍進行状況を抽出手段７４０へ送る。

拍同期映像情報の抽出指令を受けると、抽出手段７４０は、拍情報記録手段７２０内の録画時楽曲コンテンツに対応する拍情報、及び、音出力制御手段７３０から送られた拍進行状況に基づいて、録画時楽曲音における拍進行タイミングと、当該映像データに対応する映像の進行タイミングとの同期関係情報を抽出する。

また、抽出手段７４０は、当該拍情報における録画開始拍位置及び録画終了拍位置の指定に従って、録画期間における動画像データ又は静止画像データを同期再生用映像データとして抽出する。そして、抽出手段７４０は、同期再生用映像データ、及び、同期再生用映像と録画時楽曲音との同期関係情報を、拍同期映像情報として、拍同期映像情報記録手段７５０内に記録する。

ここで、当該拍情報において録画開始拍位置が指定されていない場合には、抽出手段７４０は、入力手段８５０に入力された録画開始指令を受けると、同期再生用映像データの抽出を開始する。また、当該拍情報において録画終了拍位置が指定されていない場合には、抽出手段７４０は、入力手段８５０に入力された録画終了指令を受けると、同期再生用映像データの抽出を終了する。

また、当該拍情報において静止画の録画に際しての録画拍位置又は録画拍間位置の指定が行われている場合には、抽出手段７４０は、録画期間内における当該指定された録画拍位置又は録画拍間位置における映像フレームのデータを、同期再生用映像データとして抽出する。一方、当該拍情報において静止画の録画に際しての録画拍位置又は録画拍間位置の指定が行われていない場合には、抽出手段７４０は、録画期間内における動画映像データを、同期再生用映像データとして抽出する。

なお、本実施形態では、録画時楽曲コンテンツに関する拍情報が拍情報記録手段７２０内に記録されていなかった場合には、抽出手段７４０は、同期再生用映像データ及び同期関係情報の抽出を行わずに、録画期間内に取得手段７２５から送られた映像データをそのまま、不図示の通常映像記録手段内に、録画時楽曲コンテンツに関連付けて記録するようになっている。

＜同期再生処理＞
拍同期映像情報、及び、再生時楽曲コンテンツを指定した同期再生の開始指令が入力手段８５０に入力されると、入力手段８５０は、当該同期再生の開始指令を、表示制御手段７６０及び音出力制御手段７３０へ送る。なお、当該同期再生の開始指令では、再生時楽曲音の再生速度も指定される。

当該同期再生の開始指令を受けた音出力制御手段７３０は、指定された再生速度に応じた速度で、再生時楽曲コンテンツのデータを楽曲コンテンツ記録手段８１０から、順次読み取る。そして、音出力制御手段７３０は、拍情報記録手段７２０における再生時楽曲コンテンツの拍情報を参照して、当該指定された再生速度による拍進行状況を検出する。こうして検出された拍進行状況は、表示制御手段７６０へ送られる。

音出力制御手段７３０から送られた拍進行状況を受けた表示制御手段７６０は、拍同期映像情報記録手段７５０における当該指定された拍同期映像情報、及び、当該拍進行状況に基づいて、再生時楽曲音の拍進行と同期した、指定された拍同期映像情報における映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示手段８４０へ送る。この結果、再生時楽曲音の拍進行と同期して進行する映像が、表示手段８４０に表示される。このため、再生時楽曲音の再生速度に関わり無く、再生時楽曲音の拍進行と同期して進行する映像が、表示手段８４０に表示される。

ここで、再生時楽曲音の再生速度として、通常速度とは異なるスロー再生速度又は早送り再生速度等が指定された場合には、再生時楽曲音は再生されないが、拍の進行により進行報告位置となると、所定の効果音が、音出力手段８３０から出力される。この結果、再生時楽曲音が再生されない場合であっても、再生映像と再生時楽曲音との同期関係が把握できる。

なお、本実施形態では、表示制御手段７６０は、再生時楽曲音の拍進行状況を、再生映像とともに、表示手段８４０に表示させる表示制御を行う。かかる拍進行状況の表示に際して、同期再生期間の小節構成における各時点の再生時楽曲音の小節位置を拍位置ごとに点滅表示することにより、再生時楽曲音の拍進行を表示するようになっている。

こうした同期再生処理は、入力手段８５０への同期再生の終了指令が入力されるか、再生時楽曲音の全ての出力が終了すると、終了する。ここで、入力手段８５０への同期再生の終了指令が入力されると、入力手段８５０は、楽曲音再生の終了指令を音出力制御手段７３０へ送るとともに、同期表示処理の終了指令を表示制御手段７６０へ送る。この結果、再生時楽曲音の出力及び同期映像の表示が終了する。

以上説明したように、本実施形態では、再生時楽曲音の拍情報、及び、録画時楽曲音の拍情報が拍情報記録手段７２０に記憶される。また、取得手段７２５が、録画時楽曲音の再生出力中に撮影手段８２０により撮影された映像のデータを取得する。そして、取得手段７２５は、取得された映像データを抽出手段７４０へ送る。

引き続き、抽出手段７４０が、拍情報記録手段７２０内の録画時楽曲音の拍情報を参照し、録画時楽曲音の拍進行タイミングと、取得された映像のデータに基づく映像の進行タイミングとの同期関係情報を抽出する。そして、表示制御手段７６０が、当該抽出された同期関係情報と、拍情報記録手段７２０内の再生時楽曲音の拍情報とに基づいて、再生時楽曲音と、取得された映像のデータに基づく再生映像の進行とを同期させて、再生映像を表示手段８４０に表示させる。

したがって、本実施形態によれば、再生時楽曲音の拍進行に対して正確に同期して進行する再生映像を、再生時楽曲音とともに再生することができる。

また、上記の実施形態では、同期再生用映像データに対応する映像位置を拍位置、小節位置で管理できるので、通常の再生時におけるコマ送り／コマ戻しに代えて、拍送り／拍戻し、小節送り／小節戻し、所定数の小節送り／所定数の小節戻し等を行うようにすることができる。

また、本実施形態では、表示制御手段７６０が、再生時楽曲音の拍情報に基づいて、再生映像の進行と同期した拍進行状況情報を、再生映像と同時に表示手段８４０に表示させる。このため、再生映像と、再生時楽曲音の拍進行との同期を、視覚的にも把握できる。

また、本実施形態では、録画時楽曲音の拍情報において静止画の録画に際しての録画拍位置又は録画拍間位置が設定されている場合には、抽出手段７４０は、取得手段７２５が取得した映像データ中における当該設定された位置における静止画のみを、同期再生用映像データとして抽出し、拍同期映像情報として拍同期映像情報記録手段７５０に記録させる。このため、録画時における映像と楽曲との同期関係の確認に利用するための映像データのデータ量を低減させることができる。

［実施形態の変形］
本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。

例えば、上記の実施形態では、同期再生時において、再生時楽曲音の再生速度として通常速度以外の再生速度が指定された場合に、拍の進行により進行報告位置となるたびに、所定の効果音が、音出力手段８３０から出力されようにした。これに対し、拍の進行により進行報告位置となるたびに、ＬＥＤ（Light Emitting Diode）を点灯させる等、視覚的に当該進行報告位置となったことを提示するようにしてもよい。

また、録画時楽曲音に対応する楽曲コンテンツと、再生時楽曲音に対応する楽曲コンテンツとは、同一であってもよいし、互いの異なっていてもよい。

また、上記の実施形態では、楽曲コンテンツ記録手段、撮影手段、音出力手段、表示手段及び入力手段をコンテンツ再生装置が備えるようにした。これに対し、これらの一部又は全部の機能を他の装置が有しているときには、当該他の装置の機能を利用するようにしてもよい。

また、上記の実施形態のコンテンツ再生装置を、演算部としてのコンピュータを備えたコンピュータ装置として構成し、上述した拍情報作成手段、取得手段、抽出手段、音出力制御手段及び表示制御手段の機能の一部又は全部の機能を、プログラムを実行することにより実現するようにすることができる。これらのプログラムは、ＣＤ−ＲＯＭ，ＤＶＤ等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにすることができる。

以下、本発明のコンテンツ再生装置の一実施例を、図２〜図８を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。

［構成］
図２には、一実施例に係るコンテンツ再生装置１００の概略的な構成が示されている。なお、コンテンツ再生装置１００は、上述した実施形態のコンテンツ再生装置７００（図１参照）の一態様となっている。

図２に示されるように、コンテンツ再生装置１００は、拍情報作成手段７１０、取得手段７２５、音出力制御手段７３０、抽出手段７４０、表示制御手段７６０、及び、入力手段８５０の一部としての制御ユニット１１０と、楽曲コンテンツ記録手段８１０としての音源ユニット１２０と、拍情報記録手段７２０及び拍同期映像情報記録手段７５０としての記憶ユニット１３０とを備えている。また、コンテンツ再生装置１００は、音出力手段８３０としての音出力ユニット１４０と、表示手段８４０としての表示ユニット１６０と、入力手段８５０の一部としての操作入力ユニット１７０と、撮影手段８２０としての撮影ユニット１８０とを備えている。

上記の制御ユニット１１０は、コンテンツ再生装置１００の全体を統括制御するとともに、様々な処理を実行する。この制御ユニット１１０は、中央処理装置（ＣＰＵ）及びその周辺回路を備えて構成されている。制御ユニット１１０が様々なプログラムを実行することにより、上述した拍情報作成手段７１０、取得手段７２５、音出力制御手段７３０、抽出手段７４０及び表示制御手段７６０の機能が実現されるようになっている。

すなわち、制御ユニット１１０は、拍情報の作成処理、拍同期映像情報の抽出処理及び同期再生処理を行う。かかる制御ユニット１１０が実行する処理の詳細については、後述する。

上記の音源ユニット１２０は、不揮発性の記憶素子を備えて構成される。この音源ユニット１２０は、様々な楽曲に関する楽曲コンテンツ情報ＭＣＤを記憶する。この楽曲コンテンツ情報ＭＣＤの内容については、後述する。

上記の記憶ユニット１３０は、不揮発性の記憶装置であるハードディスク装置等から構成される。記憶ユニット１３０は、拍情報ＭＤＡ及び拍同期映像情報ＭＤＢを記憶する。これら拍情報ＭＤＡ及び拍同期映像情報ＭＤＢの内容については、後述する。

上記の音出力ユニット１４０は、スピーカを備えて構成される。この音出力ユニット１４０は、制御ユニット１１０から送られた出力音データを受ける。そして、音出力ユニット１４０は、制御ユニット１１０による制御のもとで、当該出力音データに対応する出力音を再生出力する。

上記の表示ユニット１６０は、液晶パネル等の表示デバイスを備えて構成される。この表示ユニット１６０は、制御ユニット１１０から送られた表示データを受ける。そして、表示ユニット１６０は、当該表示データに対応する画像を表示する。

上記の操作入力ユニット１７０は、コンテンツ再生装置１００の本体部に設けられたキー部、及び／又はキー部を備えるリモート入力装置等により構成される。ここで、本体部に設けられたキー部としては、表示ユニット１６０の表示デバイスに設けられたタッチパネルを用いることができる。なお、キー部を有する構成に代えて、又は併用して音声認識技術を利用して音声にて入力する構成を採用することもできる。また、カメラによる撮影画像についての画像認識や、モーションキャプチャによる動作認識を操作入力に際して利用することもできる。

この操作入力ユニット１７０を利用者が操作することにより、コンテンツ再生装置１００の動作内容の設定や動作指令の入力が行われる。操作入力ユニット１７０への入力内容は、操作入力データとして、制御ユニット１１０へ送られる。

上記の撮影ユニット１８０は、撮影カメラを備えて構成されている。この撮影ユニット１８０は、制御ユニット１１０による制御のもとで、コンテンツ再生装置１００の周辺映像を撮影する。撮影ユニット１８０による撮影結果は、映像データとして、制御ユニット１１０へ送られる。

次に、音源ユニット１２０内に記憶される楽曲コンテンツ情報ＭＣＤについて、説明する。楽曲コンテンツ情報ＭＣＤには、図３に示されるように、楽曲コンテンツ情報＃１，＃２，… が含まれている。かかる楽曲コンテンツが単一楽曲構成の場合には、図３において楽曲コンテンツ情報＃１として例示されるように、楽曲コンテンツ識別子、楽曲コンテンツ名及び楽曲音データが含まれている。一方、楽曲コンテンツが複数楽曲構成の場合には、図３において楽曲コンテンツ情報＃２として例示されるように、楽曲コンテンツ識別子、楽曲コンテンツ名及び楽曲音データに加えて、繋ぎ位置情報が含まれている。

次いで、記憶ユニット１３０内に記憶される拍情報ＭＤＡについて、説明する。拍情報ＭＤＡには、図４に示されるように、拍情報＃１，＃２，… が含まれている。かかる拍情報内において付加情報が付加されていない場合には、図４において拍情報＃１として例示されるように、拍情報識別子、楽曲コンテンツ識別子及び拍構成情報が含まれている。ここで、拍構成情報には、拍位置及び第１拍位置が含まれている。

一方、拍情報内において付加情報が付加されている場合には、図４において拍情報＃２として例示されるように、拍情報識別子、楽曲コンテンツ識別子及び拍構成情報に加えて、付加情報が含まれている。この付加情報には、録画開始位置、録画終了位置、静止画録画位置及び進行報告位置の少なくとも一つが含まれる。

ここで、録画開始位置は、録画開始拍位置となっており、また、録画終了位置は、録画終了拍位置となっている。また、静止画録画位置は、静止画の録画に際しての録画拍位置又は録画拍間位置となっている。また、進行報告位置は、進行報告拍位置又は進行報告拍間位置となっている。

なお、付加情報において録画開始位置が設定されていない場合には、録画開始位置として、利用者による録画開始指令の操作入力ユニット１７０への入力がされた時点の撮影映像位置が設定されているものとみなされるようになっている。また、付加情報において録画終了位置が設定されていない場合には、録画終了位置として、利用者による録画終了指令の操作入力ユニット１７０への入力がされた時点、及び、録画時楽曲コンテンツの再生が終了した撮影映像位置が設定されているものとみなされるようになっている。

さらに、付加情報において静止画録画位置が設定されていない場合には、動画像の録画が設定されているものとみなされるようになっている。また、付加情報において進行報告位置が設定されていない場合には、進行報告位置として、第１拍位置が設定されているものとみなされるようになっている。

次いで、記憶ユニット１３０内に記憶される拍同期映像情報ＭＤＢについて、説明する。拍同期映像情報ＭＤＢには、図５に示されるように、拍同期映像情報＃１，＃２，… が含まれている。かかる拍同期映像情報＃ｒ（ｒ＝１，２，…）のそれぞれには、拍同期映像情報識別子、録画時楽曲コンテンツ識別子、同期再生用映像データ及び同期関係情報が含まれている。

［動作］
次に、上記のように構成されたコンテンツ再生装置１００の動作について、拍情報の作成処理、拍同期映像情報の抽出処理、及び、再生時楽曲音と映像との同期再生処理に主に着目して説明する。

＜拍情報の作成処理＞
まず、拍情報の作成処理について説明する。拍情報の作成処理では、最初に、拍構成情報の作成処理が行われる。

かかる拍構成情報の作成処理では、図６に示されるように、まず、ステップＳ１１において、楽曲コンテンツを指定した拍構成情報の作成指令が操作入力ユニット１７０に入力されたか否かを、制御ユニット１１０が判定する。この判定の結果が否定的であった場合（ステップＳ１１：Ｎ）には、ステップＳ１１の処理が繰り返される。

拍構成情報の作成指令が入力され、ステップＳ１１における判定の結果が肯定的となると（ステップＳ１１：Ｙ）、処理はステップＳ１２へ進む。ステップＳ１２では、制御ユニット１１０が、記憶ユニット１３０内の拍情報ＭＤＡを参照し、指定された楽曲コンテンツに対応する拍構成情報が作成済であるか否かを判定する。ステップＳ１２における判定の結果が肯定的であった場合（ステップＳ１２：Ｙ）には、制御ユニット１１０は、拍構成情報の作成処理を終了する。

ステップＳ１２における判定の結果が否定的であった場合（ステップＳ１２：Ｎ）には、処理はステップＳ１３へ進む。このステップＳ１３では、制御ユニット１１０が、指定された楽曲コンテンツに対応する楽曲音の拍構成情報を作成する。

かかる拍構成情報の作成に際して、制御ユニット１１０は、まず、音源ユニット１２０から、当該指定された楽曲コンテンツのデータを読み取る。引き続き、制御ユニット１１０は、読み取られた楽曲コンテンツのデータを解析し、通常速度で読み取られて再生された場合の楽曲音の拍位置、拍と拍との間の位置、第１拍位置等を検出し、当該検出の結果を含む拍構成情報を作成する。そして、制御ユニット１１０は、作成された拍構成情報を、当該指定された楽曲コンテンツに関する拍構成情報として、拍情報識別子及び楽曲コンテンツ識別子とともに、記憶ユニット１３０内に格納する。

次に、ステップＳ１４において、上述のようにして作成された拍構成情報の正確性の確認用処理が行われる。かかる確認用処理は、利用者による当該作成された拍構成情報に対する拍情報確認指令に応答して実行される。

拍構成情報の確認用処理に際して、制御ユニット１１０は、当該指定された楽曲コンテンツのデータを、通常速度で、音源ユニット１２０から、順次読み取る。引き続き、制御ユニット１１０は、読み取られた楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力ユニット１４０へ送る。この結果、音出力ユニット１４０から、当該指定された楽曲コンテンツに対応する楽曲音が出力される。

かかる指定された楽曲コンテンツに対応する楽曲音の再生制御と並行して、制御ユニット１１０は、当該作成された拍構成情報を参照して、楽曲音再生中の拍進行状況を検出する。そして、制御ユニット１１０は、当該指定された楽曲コンテンツの拍情報、及び、検出された拍進行状況に基づいて、拍進行を表示するための表示データを順次生成する。そして、制御ユニット１１０は、生成された表示データを表示ユニット１６０へ送る。

この結果、音出力ユニット１４０から、指定された楽曲コンテンツの再生音が出力されるとともに、表示ユニット１６０に、拍進行が表示される。こうして出力された再生音、及び、表示された拍進行を参照することにより、拍情報の正確性が、利用者により確認される。

次いで、ステップＳ１５において、制御ユニット１１０が、拍構成情報の編集処理を行うか否かを判定する。ここで、操作入力ユニット１７０に編集不要指令が入力された場合には、ステップＳ１５における判定の結果が否定的となり（ステップＳ１５：Ｎ）、制御ユニット１１０は、拍構成情報の作成処理を終了する。

一方、拍情報が裏拍に基づいて作成されていたり、楽曲の繋ぎ目で拍位置を見失っているものとなっていたりした場合には、利用者が操作入力ユニット１７０に拍構成情報編集の開始指令を入力する。この結果、ステップＳ１５における判定の結果が肯定的となり（ステップＳ１５：Ｙ）、処理はステップＳ１６へ進む。

ステップＳ１６では、制御ユニット１１０が、拍構成情報の編集処理を行う。かかる拍構成情報の編集処理に際して、制御ユニット１１０は、当該拍構成情報を表示するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。この結果、表示ユニット１６０には、拍構成情報編集用画面が表示される。

拍構成情報編集用画面が表示された後、表示ユニット１６０における表示画面を参照しつつ行われる操作入力ユニット１７０に対する拍構成情報の編集入力操作が行われるたびに、制御ユニット１１０は、拍構成情報を逐次更新するとともに、当該更新された拍構成情報を表示するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。

こうして、拍位置、拍と拍との間の位置、及び、小節の開始に当たる拍（第１拍）位置の変更が行われる。そして、利用者が拍構成情報の編集を終了したと判断すると、利用者が操作入力ユニット１７０に拍構成情報編集の終了指令を入力する。この拍構成情報編集の終了指令が入力されると、制御ユニット１１０は、当編集結果を記憶ユニット１３０内に格納し、拍構成情報の作成処理を終了する。

なお、上述した拍構成情報の確認用処理及び拍構成情報の編集処理は、上述したステップＳ１１〜Ｓ１６の実行後においても、改めて行うことができる。

拍情報には、上述した付加情報を付加することができる。かかる付加情報の編集処理に際しては、図７に示されるように、まず、ステップＳ２１において、制御ユニット１１０が、操作入力ユニット１７０に、付加情報の編集をすべき拍情報を指定した付加情報編集の開始指令が入力されたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ２１：Ｎ）には、ステップＳ２１の処理が繰り返される。

付加情報編集の開始指令が入力され、ステップＳ２１における判定の結果が肯定的となると（ステップＳ２１：Ｙ）、制御ユニット１１０は、当該付加情報を編集するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。この結果、表示ユニット１６０には、付加情報編集用画面が表示される。

この後、処理はステップＳ２２へ進む。このステップＳ２２では、制御ユニット１１０が、操作入力ユニット１７０から操作入力がされた否かを判定する。この判定の結果が否定的であった場合（ステップＳ２２：Ｎ）には、ステップＳ２２の処理が繰り返される。

操作入力がされ、ステップＳ２２における判定の結果が肯定的となると（ステップＳ２２：Ｙ）、処理はステップＳ２３へ進む。ステップＳ２３では、当該操作入力が付加情報編集の終了指令であるか否かを、制御ユニット１１０が判定する。この判定の結果が肯定的であった場合（ステップＳ２３：Ｙ）には、制御ユニット１１０は、付加情報の編集処理を終了する。

ステップＳ２３における判定の結果が否定的であった場合（ステップＳ２３：Ｎ）には、処理はステップＳ２４へ進む。このステップＳ２４では、制御ユニット１１０は、操作入力に応じた付加情報の編集を行い、当該編集後の付加情報を表示するための編集用画面データを作成する。そして、制御ユニット１１０は、作成された編集用画面データを表示ユニット１６０へ送る。この結果、表示ユニット１６０には、付加情報編集用画面が表示される。この後、処理はステップＳ２２へ戻る。

以後、ステップＳ２３における判定の結果が肯定的となるまで、ステップＳ２２〜Ｓ２４の処理が繰り返される。そして、ステップＳ２３における判定の結果が肯定的となると（ステップＳ２３：Ｙ）、制御ユニット１１０は、編集結果を、指定された拍情報における付加情報として、記憶ユニット１３０に格納する。この後、制御ユニット１１０は、付加情報の編集処理を終了する。

＜拍同期映像情報の抽出処理＞
次に、拍同期映像情報の抽出処理について説明する。

拍同期映像情報の抽出処理に際しては、図８に示されるように、まず、ステップＳ３１において、制御ユニット１１０が、操作入力ユニット１７０に録画時楽曲音に対応する録画時楽曲コンテンツを指定した拍同期映像情報の抽出指令が入力されたか否かを判定する。この判定の結果が否定的であった場合（ステップＳ３１：Ｎ）には、ステップＳ３１の処理が繰り返される。

拍同期映像情報の抽出指令が入力され、ステップＳ３１における判定の結果が肯定的となると（ステップＳ３１：Ｙ）、制御ユニット１１０は、録画時楽曲音の再生出力、及び、撮影結果のモニタ表示を開始する。そして、処理はステップＳ３２へ進む。

なお、録画時楽曲音の再生出力に際して、制御ユニット１１０は、通常速度で、録画時楽曲コンテンツのデータを音源ユニット１２０から、順次読み取る。引き続き、制御ユニット１１０は、読み取られた録画時楽曲コンテンツのデータに基づいて、出力音データを生成し、生成された出力音データを音出力ユニット１４０へ送る。この結果、音出力ユニット１４０から、録画時楽曲音が出力される。かかる録画時楽曲音の再生制御と並行して、制御ユニット１１０は、録画時楽曲コンテンツに関する拍情報を参照して、録画時楽曲音再生中の拍進行状況を検出する。

また、撮影結果のモニタ表示に際して、制御ユニット１１０は、撮影ユニット１８０から映像データに基づいて、撮影中の映像をリアルタイムで表示させるための表示データを生成し、生成された表示データを表示ユニット１６０へ送る。この結果、撮影中の映像が、リアルタイムで、表示ユニット１６０に表示される。

次に、ステップＳ３２では、制御ユニット１１０が、録画時楽曲音に対応する拍情報が記憶ユニット１３０内にあるか否かを判定する。この判定の結果が肯定的であった場合（ステップＳ３２：Ｙ）には、処理はステップＳ３３へ進む。

ステップＳ３３では、制御ユニット１１０が、録画を開始するタイミングとなったか否かを判定する。かかる判定に際して、当該拍情報において録画開始拍位置が設定されていない場合には、制御ユニット１１０は、操作入力ユニット１７０に録画開始指令が入力されたか否かを判定する。また、当該拍情報において録画開始拍位置が設定されている場合には、制御ユニット１１０は、録画時楽曲音の拍進行が録画開始拍位置に到達したか否かを判定する。

ステップＳ３３における判定の結果が否定的であった場合（ステップＳ３３：Ｎ）には、ステップＳ３３の処理が繰り返される。そして、ステップＳ３３における判定の結果が肯定的となると（ステップＳ３３：Ｙ）、処理はステップＳ３４へ進む。

ステップＳ３４では、拍同期映像情報の抽出が行われる。かかる拍同期映像情報の抽出に際して、制御ユニット１１０は、記憶ユニット１３０内の録画時楽曲コンテンツに対応する拍情報、及び、検出された拍進行状況に基づいて、録画時楽曲音における拍進行タイミングと、当該映像データに対応する映像の進行タイミングとの同期関係情報を抽出する。

また、制御ユニット１１０は、動画像データ又は静止画像データを同期再生用映像データとして抽出する。ここで、当該拍情報において静止画の録画に際しての録画拍位置又は録画拍間位置の指定が行われている場合には、制御ユニット１１０は、当該指定された録画拍位置又は録画拍間位置における映像フレームのデータを、同期再生用映像データとして抽出する。一方、当該拍情報において静止画の録画に際しての録画拍位置又は録画拍間位置の指定が行われていない場合には、制御ユニット１１０は、動画映像データを、同期再生用映像データとして抽出する。

次に、ステップＳ３５において、制御ユニット１１０は、録画を終了するタイミングとなったか否かを判定する。かかる判定に際して、当該拍情報において録画終了拍位置が設定されていない場合には、制御ユニット１１０は、操作入力ユニット１７０に録画終了指令が入力されたか否かを判定する。また、当該拍情報において録画開始拍位置が設定されている場合には、制御ユニット１１０は、録画時楽曲音の拍進行が録画終了拍位置に到達したか否かを判定する。なお、制御ユニット１１０は、録画時楽曲音の全てが出力された場合にも、録画を終了するタイミングとなったと判定する。

ステップＳ３５における判定の結果が否定的であった場合（ステップＳ３５：Ｎ）には、処理はステップＳ３４へ戻る。そして、ステップＳ３４，Ｓ３５の処理が繰り返される。

この後、ステップＳ３５における判定の結果が肯定的となると（ステップＳ３５：Ｙ）、制御ユニット１１０は、同期再生用映像データ、及び、同期再生映像と録画時楽曲音との同期関係情報を、拍同期映像情報識別子及び録画時楽曲コンテンツ識別子とともに、記憶ユニット１３０内に格納する。そして、制御ユニット１１０は、拍同期映像情報の抽出処理を終了する。

上述したステップＳ３２における判定の結果が否定的であった場合（ステップＳ３２：Ｎ）には、処理はステップＳ３６へ進む。このステップＳ３６では、制御ユニット１１０は、操作入力ユニット１７０に録画開始指令が入力されたか否かを判定することにより、録画開始タイミングとなったか否かを判定する。この判定の結果が否定的であった場合には、ステップＳ３６の処理が繰り返される。

録画開始指令が入力され、ステップＳ３６における判定の結果が肯定的となると（ステップＳ３６：Ｙ）、処理はステップＳ３７へ進む。このステップＳ３７では、通常の録画が行われる。そして、映像データを、記憶ユニット１３０内の不図示の通常録画領域に逐次格納する。

次に、ステップＳ３８において、制御ユニット１１０が、操作入力ユニット１７０に録画終了指令が入力されたか否かを判定することにより、録画終了タイミングとなったか否かを判定する。この判定の結果が否定的であった場合（ステップＳ３８：Ｎ）には、処理はステップＳ３７へ戻る。そして、ステップＳ３６，Ｓ３７の処理が繰り返される。

この後、ステップＳ３８における判定の結果が肯定的となると（ステップＳ３８：Ｙ）、制御ユニット１１０は、拍同期映像情報の抽出処理を終了する。

＜同期再生処理＞
次に、同期再生処理について説明する。この同期再生処理は、拍同期映像情報、及び、再生時楽曲コンテンツを指定した同期再生の開始指令が操作入力ユニット１７０に入力されると、開始する。なお、当該同期再生の開始指令では、再生時楽曲音の再生速度も指定される。

同期再生処理が開始されると、制御ユニット１１０は、指定された再生速度に応じた速度で、再生時楽曲コンテンツのデータを音源ユニット１２０から、順次読み取る。そして、制御ユニット１１０は、記憶ユニット１３０内の再生時楽曲音に対応する拍情報を参照して、当該指定された再生速度による拍進行状況を検出する。

また、制御ユニット１１０は、記憶ユニット１３０内の当該指定された拍同期映像情報、及び、当該拍進行状況に基づいて、再生時楽曲音の拍進行と同期した、指定された拍同期映像情報における同期再生用映像データに基づく映像を表示させるための表示データを順次生成し、生成された表示データを表示ユニット１６０へ送る。この結果、再生時楽曲音の拍進行と同期して進行する映像が、表示ユニット１６０に表示される。このため、再生時楽曲音の再生速度に関わり無く、再生時楽曲音の拍進行と同期して進行する映像が、表示ユニット１６０に表示される。

ここで、再生時楽曲音の再生速度として、通常速度が指定されている場合には、制御ユニット１１０は、読み取られた再生時楽曲コンテンツのデータに基づいて、再生時楽曲音を音出力ユニット１４０から出力するための出力音データを生成する。そして、制御ユニット１１０は、生成された出力音データを音出力ユニット１４０へ送る。この結果、利用者は、再生映像と再生時楽曲音との同期関係が把握できる。

また、再生時楽曲音の再生速度として、通常速度とは異なる再生速度が指定された場合には、再生時楽曲音は再生されないが、拍の進行により進行報告位置となると、制御ユニット１１０は、所定の効果音を音出力ユニット１４０から出力するための出力音データを生成する。そして、制御ユニット１１０は、生成された出力音データを音出力ユニット１４０へ送る。この結果、再生時楽曲音が再生されない場合であっても、再生映像と再生時楽曲音との同期関係が把握できる。

なお、本実施例では、制御ユニット１１０は、再生時楽曲音の拍進行状況を、再生映像とともに、表示ユニット１６０に表示させる表示制御を行う。かかる拍進行状況の表示に際して、同期再生期間の小節構成における各時点の再生時楽曲音の小節位置を拍位置ごとに点滅表示することにより、再生時楽曲音の拍進行を表示するようになっている。

こうした同期再生処理は、操作入力ユニット１７０に同期再生終了指令が入力されるか、再生時楽曲音の全ての出力が終了すると、終了する。

以上説明したように、本実施例では、再生時楽曲音の拍情報、及び、録画時楽曲音の拍情報が記憶ユニット１３０に記憶される。また、制御ユニット１１０が、録画時楽曲音の再生出力中に撮影ユニット１８０により撮影された映像のデータを取得する。この映像のデータの取得と並行して、制御ユニット１１０が、記憶ユニット１３０内の録画時楽曲音の拍情報を参照し、録画時楽曲音の拍進行タイミングと、取得された映像のデータに基づく映像の進行タイミングとの同期関係情報を抽出する。そして、制御ユニット１１０が、当該抽出された同期関係情報と、記憶ユニット１３０内の再生時楽曲音の拍情報とに基づいて、再生時楽曲音と、取得された映像のデータに基づく再生映像の進行とを同期させて、再生映像を表示ユニット１６０に表示させる。

したがって、本実施例によれば、再生時楽曲音の拍進行に対して正確に同期して進行する再生映像を、再生時楽曲音とともに再生することができる。

また、上記の実施例では、同期再生用映像データに対応する映像位置を拍位置、小節位置で管理できるので、通常の再生時におけるコマ送り／コマ戻しに代えて、拍送り／拍戻し、小節送り／小節戻し、所定数の小節送り／所定数の小節戻し等を行うようにすることができる。

また、本実施例では、制御ユニット１１０が、再生時楽曲音の拍情報に基づいて、再生映像の進行と同期した拍進行状況情報を、再生映像と同時に表示ユニット１６０に表示させる。このため、再生映像と、再生時楽曲音の拍進行との同期を、視覚的にも把握できる。

また、本実施例では、録画時楽曲音の拍情報において静止画の録画に際しての録画拍位置又は録画拍間位置が設定されている場合には、制御ユニット１１０は、当該設定された位置における静止画のみを、同期再生用映像データとして抽出し、記憶ユニット１３０内に格納する。このため、録画時における映像と楽曲との同期関係の確認に利用するための映像データのデータ量を低減させることができる。

［実施例の変形］
本発明は、上記の実施例に限定されるものではなく、上述した実施形態の場合と同様に、様々な変形が可能である。

すなわち、上記の実施例では、同期再生時において、再生時楽曲音の再生速度として通常速度以外の再生速度が指定された場合に、拍の進行により進行報告位置となるたびに、所定の効果音が、音出力ユニット１４０から出力されようにした。これに対し、拍の進行により進行報告位置となるたびに、ＬＥＤ（Light Emitting Diode）を点灯させる等、視覚的に当該進行報告位置となったことを提示するようにしてもよい。

また、録画時楽曲音に対応する楽曲コンテンツと、再生時楽曲音に対応する楽曲コンテンツとは、同一であってもよいし、互いに異なっていてもよい。

また、上記の実施例では、音源ユニット１２０、撮影ユニット１８０、音出力ユニット１４０、表示ユニット１６０及び操作入力ユニット１７０をコンテンツ再生装置が備えるようにした。これに対し、これらの一部又は全部の機能を他の装置が有しているときには、当該他の装置の機能を利用するようにしてもよい。

なお、上記の実施例では、制御ユニット１１０によるプログラムの実行により、拍情報の作成処理、拍同期映像情報の抽出処理、及び、再生時楽曲音と映像との同期再生処理を行うようにしたが、これらの処理の全部又は一部を、専用のＬＳＩ（Large Scale Integrated circuit）等を用いたハードウェアにより行うようにしてもよい。

１００ … コンテンツ再生装置
１１０ … 制御ユニット（取得手段、抽出手段、表示制御手段）
１２０ … 音源ユニット（楽曲コンテンツ記録手段）
１３０ … 記憶ユニット（拍情報記録手段）
１６０ … 表示ユニット（表示手段）
７００ … コンテンツ再生装置
７２０ … 拍情報記録手段
７２５ … 取得手段
７４０ … 抽出手段
７６０ … 表示制御手段
８１０ … 楽曲コンテンツ記録手段
８４０ … 表示手段

Claims (7)

1. 楽曲コンテンツ記録手段に記録され、再生時楽曲コンテンツとして選択された楽曲コンテンツに基づく再生時楽曲音に同期して映像を表示するコンテンツ再生装置であって、
   前記楽曲コンテンツ記録手段に記録され、録画時楽曲コンテンツとして選択された楽曲コンテンツに基づく録画時楽曲音の再生出力中に撮影された映像のデータを取得する取得手段と；
   前記再生時楽曲音の拍位置情報が含まれる第１拍情報、及び、前記録画時楽曲音の拍位置情報が含まれる第２拍情報が記録される拍情報記録手段と；
   前記第２拍情報を参照し、前記録画時楽曲音の拍進行タイミングと、前記取得された映像のデータに基づく映像の進行タイミングとの同期関係を抽出する抽出手段と；
   前記抽出された同期関係と前記第１拍情報とに基づいて、前記再生時楽曲音と前記取得された映像のデータに基づく再生映像の進行とを同期させて、前記再生映像を表示手段に表示させる表示制御手段と；
   を備えることを特徴とするコンテンツ再生装置。
2. 前記表示制御手段は、前記第１拍情報に基づいて、前記再生映像の進行と同期した拍進行状況情報を、前記再生映像と同時に前記表示手段に表示させる、
   ことを特徴とする請求項１に記載のコンテンツ再生装置。
3. 前記第１拍情報には、前記再生時楽曲音の小節の位置情報、及び、前記小節内における拍の位置情報が含まれ、
   前記第２拍情報には、前記録画時楽曲音の小節の位置情報、及び、前記小節内における拍の位置情報が含まれる、
   ことを特徴とする請求項１又は２に記載のコンテンツ再生装置。
4. 前記再生映像は、前記再生時楽曲音の指定された拍位置又は拍間位置のいずれか一方に対応する前記取得された映像における静止映像を含む、ことを特徴とする請求項１〜３のいずれか一項に記載のコンテンツ再生装置。
5. 第１拍情報及び第２拍情報が記録される拍情報記録手段を備え、再生時楽曲音に同期して映像を表示するコンテンツ再生装置において使用されるコンテンツ再生方法であって、
   録画時楽曲音の再生出力中に撮影された映像のデータを取得する取得工程と；
   前記第２拍情報を参照し、前記録画時楽曲音の拍進行タイミングと、前記取得された映像のデータに基づく映像の進行タイミングとの同期関係を抽出する抽出工程と；
   前記抽出された同期関係と前記第１拍情報とに基づいて、前記再生時楽曲音と前記取得された映像のデータに基づく再生映像の進行とを同期させて、前記再生映像を表示手段に表示させる表示制御工程と；を備え、
   楽曲コンテンツ記録手段に記録され、再生時楽曲コンテンツとして選択された楽曲コンテンツに基づく前記再生時楽曲音の拍位置情報が、前記第１拍情報に含まれ、
   前記楽曲コンテンツ記録手段に記録され、録画時楽曲コンテンツとして選択された楽曲コンテンツに基づく前記録画時楽曲音の拍位置情報が、前記第２拍情報に含まれる、
   ことを特徴とするコンテンツ再生方法。
6. 請求項５に記載のコンテンツ再生方法を演算手段に実行させる、ことを特徴とするコンテンツ再生プログラム。
7. 請求項６に記載のコンテンツ再生プログラムが、演算手段により読み取り可能に記録されている、ことを特徴とする記録媒体。

Images