JP2008197269A - データ再生装置、データ再生方法およびプログラム - Google Patents

Abstract

【課題】ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせ、当該楽曲に対応したデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供すること。
【解決手段】本発明のデータ再生装置を有する映像表示装置は、楽曲検索部１００によってライブ楽音データから対応するリファレンス楽音データを特定し、タイムアライメント部１０２によって行われるライブ楽音データと特定したリファレンス楽音データとの比較によって生成した時刻情報に基づいて、データ読出部１０３がリファレンス楽音データと時間同期された歌詞データを読み出すことにより、ライブ楽音データと歌詞データを時間同期して再生することが可能となり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせて事前に準備したデータを再生することができる。
【選択図】図２

Description

本発明は、入力されたデータと同期して、他のデータを再生する技術に関する。

一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ：登録商標）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。

また、歌詞を表示させる技術は、カラオケ装置だけで用いられるわけではなく、テレビ放送などにおける歌番組においても用いられている。また、テレビ放送においては、生放送の歌番組などで歌手が歌唱に合わせて歌詞テロップを表示する場合、オペレータが楽曲の進行にあわせて、所定のタイミングで歌詞を表示させるようにしている。
特開２００３−１５６７５号公報 特開２０００−３４７６７６号公報

しかし、特許文献１に開示された技術を用いる場合には、伴奏データはＭＩＤＩ形式のデータの再生であるため、ＭＩＤＩ形式のデータを再生できる音源を用いた再生のため、音質が劣る場合や、テンポが単調な演奏となってしまう場合があった。また、特許文献２に開示された技術の場合には、ライブ演奏のような臨場感が得られるが、楽曲の進行が単調ではないため、歌詞テロップを表示させるためなどのシーケンスデータについては、楽曲の進行に合わせて事前に作成しておく必要があった。また、テレビ放送などにおいて上述したようなオペレータの作業は、本番においてミスは許されず、事前に楽曲の進行と歌詞の表示を行うタイミングとを合わせる練習をしておく必要があり、非常に負担が大きかった。

本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせ、当該楽曲に対応したデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、データ各部についての時刻を規定する同期情報を有した第１のデータと第１のオーディオデータとを組にして複数記憶する記憶手段と、外部から供給される第２のオーディオデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定する特定手段と、前記外部から供給される第２のオーディオデータと前記特定手段によって特定された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記特定手段によって特定された第１のオーディオデータと組になっている第１のデータを前記記憶手段から読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、別の好ましい態様において、前記特定手段は、外部から供給される第２のオーディオデータの一部分のデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定してもよい。

また、別の好ましい態様において、収音によってオーディオデータを生成する収音手段をさらに具備し、前記特定手段は、外部から供給される第２のオーディオデータに代えて、前記収音手段によって生成したオーディオデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定してもよい。

また、別の好ましい態様において、前記特定手段に再度第１のオーディオデータを特定させる再特定指示手段をさらに具備してもよい。

また、本発明は、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出す指示手段と、前記指示手段の指示に応答して前記サーバから送信されたデータを第１のオーディオデータおよびデータ各部についての時刻を規定する同期情報を有した第１のデータとして受信する受信手段と、前記受信手段によって受信した第１のオーディオデータと第１のデータとを記憶する記憶手段と、外部から供給される第２のオーディオデータと前記記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から第１のデータを読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、本発明は、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出す指示手段と、前記指示手段の指示に応答して前記サーバから送信されたデータを楽曲情報データとして受信する受信手段と、データ各部についての時刻を規定する同期情報を有した第１のデータと第１のオーディオデータとを組にして複数記憶する記憶手段と、前記楽曲情報データに基づいて、前記記憶手段に記憶されている複数の第１のオーディオデータから第１のオーディオデータを選択する選択手段と、外部から供給される第２のオーディオデータと前記選択手段によって選択された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、前記時刻情報と前記同期情報の対応関係に基づいて、前記選択手段によって選択された第１のオーディオデータと組になっている第１のデータを前記記憶手段から読み出すデータ読出手段と、前記データ読出手段によって読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成手段と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段とを具備することを特徴とするデータ再生装置を提供する。

また、別の好ましい態様において、前記指示手段は、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出すとともに、外部から供給される第２のオーディオデータを前記サーバへ送信してもよい。

また、別の好ましい態様において、前記指示手段は、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出すとともに、外部から供給される第２のオーディオデータの一部を前記サーバへ送信してもよい。

また、別の好ましい態様において、収音によってオーディオデータを生成する収音手段をさらに具備し、前記指示手段は、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出すとともに、前記収音手段によって生成したオーディオデータを前記サーバへ送信してもよい。

また、別の好ましい態様において、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を前記指示手段に再度出させる再特定指示手段をさらに具備してもよい。

また、別の好ましい態様において、複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズしてもよい。

また、本発明は、外部から供給される第２のオーディオデータに基づいて、記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定する特定過程と、外部から供給される第２のオーディオデータと前記特定過程において特定された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、データ各部についての時刻を規定する同期情報を有した第１のデータと第１のオーディオデータとを組にして複数記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記特定過程において特定された第１のオーディオデータと組になっている第１のデータを読み出すデータ読出過程と、前記データ読出過程において読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成過程と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程とを備えることを特徴とするデータ再生方法を提供する。

また、別の好ましい態様において、収音によってオーディオデータを生成する収音過程とをさらに備え、前記特定過程は、外部から供給される第２のオーディオデータに代えて、前記収音過程において生成したオーディオデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定してもよい。

また、別の好ましい態様において、コンピュータに、外部から供給される第２のオーディオデータに基づいて、記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定する特定機能と、外部から供給される第２のオーディオデータと前記特定機能によって特定された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、データ各部についての時刻を規定する同期情報を有した第１のデータと第１のオーディオデータとを組にして複数記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記特定機能において特定された第１のオーディオデータと組になっている第１のデータを読み出すデータ読出機能と、前記データ読出機能によって読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成機能と、前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能とを実現させるためのコンピュータ読み取り可能なプログラムを提供する。

また、別の好ましい態様において、収音によってオーディオデータを生成する収音機能とをさらに備え、前記特定機能は、外部から供給される第２のオーディオデータに代えて、前記収音機能によって生成したオーディオデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定してもよい。

本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせ、当該楽曲に対応したデータの再生を簡単に行うことができるデータ再生装置、データ再生方法およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜実施形態＞
図１は、本発明の本実施形態に係るデータ再生装置を有する映像表示装置１のハードウエアの構成を示すブロック図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３にロードして実行することにより、映像表示装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が記憶された各データの加工などを行う際のワークエリアとして機能する。

さらに、ＲＡＭ１３は、内部に有するライブデータバッファ領域１３ａに、通信部１７から受信するストリーミング再生するためのライブ映像データ（第２の映像データ）、ライブ楽音データ（第２のオーディオデータ）を一時的にバッファする機能を有する。そして、ＣＰＵ１１は、ＲＡＭ１３にバッファされたライブ映像データ、ライブ楽音データを読み出し、後述するような処理を行ってストリーミング再生を行う。また、ＲＡＭ１３は、ライブ楽音データの一部を記憶するための基準データ記憶領域１００２を有している。基準データ記憶領域１００２については、後述する。

ここで、ライブ映像データは、楽曲の生演奏を撮影した映像（以下、ライブ映像という）の映像データである。また、ライブ楽音データは、楽曲の生演奏を録音した音声（以下、ライブ演奏）のオーディオデータであって、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や伴奏などが含まれている。

記憶部（記憶手段）１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、各楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データ（第１のオーディオデータ）と歌詞データ（第１のデータ）を有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（同期情報）が付されている。そして、リファレンス楽音データと歌詞データは、同じタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。ここで、各リファレンス楽曲データは、それぞれの楽曲を識別するための情報（以下、楽曲情報データという）を有している。なお、楽曲を識別するための情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。

表示部１５は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、映像表示装置１を操作するためのメニュー画面などの各種画面を表示する。操作部１６は、例えばキーボードやマウスなどであり、映像表示装置１の利用者が操作部１６を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。

通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、上述したように、本実施形態においては、ライブ映像データ、ライブ楽音データを受信して、ＲＡＭ１３のライブデータバッファ領域１３ａにバッファする機能を有している。

音声出力部１８は、スピーカなどの放音手段を有し、入力されたオーディオデータに基づいて放音する。

次に、ＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図２は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。また、図３は、図２における楽曲検索部１００の詳細の構成を示すブロック図である。

楽曲検索部（特定手段）１００は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、このライブ楽音データに基づいて、当該ライブ楽音データに対応する楽曲の楽曲情報データを楽曲データ選択部１０１に出力するものである。まず、楽曲検索部１００について、図３を用いて説明する。

楽曲検索部１００は、楽音データ取得部１００１、基準データ記憶領域１００２および検索処理部１００３を有している。楽音データ取得部１００１は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データのうちライブ演奏の最初の所定時間分（本実施形態においては３秒）のライブ楽音データを取得（以下、取得したデータを基準データという）し、基準データ記憶領域１００２に記憶させる。そして、楽音データ取得部１００１は、基準データ記憶領域１００２への記憶が終了すると、検索処理部１００３に対して、検索処理の開始を指示する。

検索処理部１００３は、楽音データ取得部１００１から検索処理の開始を指示されると、検索処理を開始する。以下、検索処理について説明する。まず、検索処理部１００３は、基準データ記憶領域１００２に記憶された基準データと記憶部１４の楽曲データ記憶領域１４ａに記憶されている各リファレンス楽曲データに係るリファレンス楽音データの最初の部分と比較し、基準データと最も類似する、すなわち類似度が最も高いリファレンス楽音データを特定する。そして、検索処理部１００３は、特定したリファレンス楽音データに対応する楽曲情報データを楽曲データ選択部１０１に出力する。ここで、類似度の算出は、例えば、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングにおいて算出されるＤＰマッチングスコアの累算値に基づいて行えばよい。ＤＰマッチングおよびＤＰマッチングスコアについては後述する。

図２に戻って説明を続ける。楽曲データ選択部１０１は、楽曲検索部１００から出力された楽曲情報データに基づいて、通信部１７が受信している各データの楽曲を認識する。そして、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、認識した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、楽曲データ選択部１０１は、読み出したリファレンス楽音データをタイムアライメント部（タイムアライメント手段）１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部（データ読出手段）１０３に読み出されるまでＲＡＭ１３にバッファしておく。

タイムアライメント部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得し、当該ライブ楽音データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、ライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコード（時刻情報）を出力する機能を有している。

ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。

タイムアライメント部１０２は、図４に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、ライブ楽音データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、ライブ楽音データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。

そして、タイムアライメント部１０２は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データから所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。

そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、ライブ楽音データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図３に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、ライブ楽音データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、ライブ楽音データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。

次に、タイムアライメント部１０２が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。タイムアライメント部１０２は、上述したように、ライブ楽音データの各フレームに対してリファレンス楽音データのフレームを対応付けるから、入力されたライブ楽音データの時間軸上の位置をリファレンス楽音データの時間軸上の位置（以下、再生位置という）として認識することができる。また、この再生位置の時間変化によりテンポを認識することができる。タイムアライメント部１０２は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部１０２から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。なお、楽曲データ選択部１０１から出力されるリファレンス楽音データは、楽曲検索部１００において検索に要する時間が存在する分、ライブ楽音データに比べて遅れていることになるから、検索に要する時間によっては、楽曲の最初の部分についてはライブ楽音データとリファレンス楽音データの対応付けを行わず、楽曲途中からの対応付けを行うこととなる。この場合は、楽曲におけるイントロ部分が終了した後から対応付けを始めるようにすればよい。これは、リファレンス楽音データにイントロの終了を示す情報を付加して、タイムアライメント部１０２がその情報を読み取った場合に対応付けを始めるようにすることにより実現できる。

図２に戻って、説明を続ける。データ読出部１０３は、タイムアライメント部１０２から順次出力されるタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。そして、データ処理部（映像データ生成手段）１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データ（第１の映像データ）を生成し、映像合成部（映像合成手段）１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータを有する歌詞データは、タイムアライメント部１０２から出力されたタイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて表示される映像のデータとして生成される。

遅延部（遅延手段）１０５は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データに所定時間の遅延処理を行って出力する。ここで、所定時間は、上述したタイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、遅延部１０５から出力されたライブ楽音データ、ライブ映像データと、データ処理部１０４から出力された歌詞映像データは時間同期したものとなる。

映像合成部１０６は、遅延部１０５から出力されたライブ映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１５へ出力する。ここで、合成映像データは、遅延部１０５において所定時間の遅延処理を行ったライブ映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。

このようにして、表示部１５には合成映像データが出力され、音声出力部１８にはライブ楽音データが出力されることにより、本実施形態に係るデータ再生装置を有する映像表示装置１は、入力されたデータの楽曲を認識し、もともとのライブ映像に対して時間同期、すなわち楽曲の進行に合わせた歌詞映像が合成された映像と楽曲とを再生することができる。また、楽曲のイントロ部において検索処理を終了させるようにすれば、最初の歌詞映像が表示される前に終了させることもできる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
実施形態においては、楽曲検索部１００は、ライブ楽音データの取得を自動的に行い、楽曲の検索結果に基づいて、楽曲情報データを出力していたが、利用者が操作部１６を操作して、楽曲検索部１００に再度検索処理を行わせることができるようにしてもよい。この場合は、操作部１６が操作されてから所定時間分のライブ楽音データを取得して、基準データとして扱えばよい。このようにすると、楽曲の検索結果が対応する楽曲になっていなかった場合に、表示部１５に表示される歌詞映像がライブボーカルと一致しないものになっていても、再度検索処理を行わせることができる。また、基準データとなるライブ楽音データの領域が異なることにより、ライブ楽音データとリファレンス楽音データの類似度も異なるようになり、正しい楽曲の検索結果が得られることも期待することができる。

＜変形例２＞
実施形態においては、楽曲検索部１００は、基準データと各リファレンス楽曲データに係るリファレンス楽音データの最初の部分と比較し、基準データと最も類似する、すなわち類似度が最も高いリファレンス楽音データを特定し、特定したリファレンス楽音データに対応する楽曲情報データを楽曲データ選択部１０１に出力していたが、類似度が最も高いリファレンス楽音データを特定するのではなく、類似度が高いリファレンス楽音データを複数特定し、利用者がその中から一のリファレンス楽音データを選択するようにしてもよい。この場合は、ＣＰＵ１１は、楽曲検索部１００が特定した複数のリファレンス楽音データに対応する楽曲情報データに基づいて、楽曲の名称などを表示部１５に既に表示されているライブ映像にスーパーインポーズするようにして表示させればよい。そして、利用者は、音声出力部から出力されるライブ演奏を聴きながら、または、表示部１５に表示されているライブ映像を見ながら、操作部１６を操作して、表示された複数の楽曲の名称から、一の楽曲を選択するようにすればよい。そして、楽曲検索部１００は、利用者によって選択された楽曲に対応する楽曲情報データを楽曲データ選択部１０１へ出力すればよい。このようにすれば、一度でより正確な楽曲を特定することができる。

＜変形例３＞
実施形態においては、楽曲検索部１００は、取得したライブ楽音データを基準データとして、検索処理を行っていたが、利用者が入力する音声データを基準データとして検索処理を行なうようにしてもよい。この場合は、図５のように、映像表示装置１に、マイクロフォンなどの収音手段と収音手段によって収音された音から音声データを生成する音声データ生成手段とを有する音声入力部２１を具備させればよい。そして、利用者は、操作部１６を操作して、楽曲検索部１００に音声データを入力するタイミング、すなわち音声入力部２１から音声を収音させるタイミングを指定して、そのタイミングで発音すればよい。ここで、当該発音は、利用者が楽曲のメロディや歌詞を歌ったものであってもよいし、楽器を演奏したものであってもよい。このようにすれば、事前に曲がわかっている場合には、事前に楽曲を特定しておくことができる。

＜変形例４＞
実施形態においては、楽曲検索部１００が楽曲情報データを出力して、楽曲を特定するまでの処理は、全て映像表示装置１において行っていたが、一部の処理について通信部１７を介して映像表示装置１と通信可能なサーバなどに行なわせてもよい。例えば、各リファレンス楽曲データを楽曲データ記憶領域１４ａに記憶させる代わりに、サーバの記憶部に記憶させ、検索処理部１００３、楽曲データ選択部１０１の処理をサーバに行なわせてもよい。この場合には、楽曲検索部１００の処理は、以下のように行われる。

まず、楽音データ取得部１００１は、基準データを基準データ記憶領域１００２に記憶させた後、サーバと通信を行い、サーバの検索処理部に検索処理の開始を指示するとともに、基準データ記憶領域１００２に記憶させた基準データをサーバに送信する。そして、サーバの楽曲処理部は、送信された基準データとサーバの記憶部に記憶されたリファレンス楽曲データに係るリファレンス楽音データと比較して、類似度の高いリファレンス楽音データを特定する。その後、サーバの楽曲データ選択部は、特定したリファレンス楽音データに係るリファレンス楽曲データを映像表示装置１に送信する。映像表示装置１のＣＰＵ１１は、送信されたリファレンス楽曲データのうち、リファレンス楽音データをＲＡＭ１３にバッファした後にタイムアライメント部１０２に出力するとともに、歌詞データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。このようにすれば、映像表示装置１において行われる処理の一部をサーバにおいて行うようにしても、実施形態と同様な効果を得ることができる。

なお、上記に加えて楽音データ取得部１００１の処理をサーバに行なわせるようにしてもよい。この場合は、映像表示装置１は、サーバの楽音データ取得部にライブ楽音データを取得させ、基準データ記憶領域１００２をサーバの記憶部に確保して基準データを記憶させればよい。ここで、サーバのライブ楽音データの取得は、映像表示装置１がライブ楽音データを取得するとともに、映像表示装置１から通信部１７を介してサーバに送信することによって行なってもよいし、映像表示装置１がライブ楽音データを取得した取得元の情報をサーバに送信して、サーバが当該取得元から取得するようにしてもよい。

このように、映像表示装置１において行われる処理の一部をサーバにおいて行う態様は、様々な組み合わせで可能であり、検索処理部１００３の処理のみをサーバに行なわせてもよいし、楽音データ取得部１００１と検索処理部１００３の処理をサーバに行なわせてもよい。なお、この場合には、サーバから映像表示装置１へは楽曲情報データが送信されることになる。

＜変形例５＞
実施形態においては、楽音データ取得部１００１は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データのうちライブ演奏の最初の所定時間分を取得し、これを基準データとして基準データ記憶領域１００２に記憶させていたが、最初ではなく、途中から所定時間分を取得するようにしてもよい。この場合、利用者が操作部１６を操作して、楽音データ取得部１００１がライブ楽音データの取得を行うタイミングを指示するようにすればよい。このようにすれば、利用者が操作部１６を操作するまでは、楽曲検索部１００は、楽曲情報データを出力することはないから、ライブ映像に歌詞映像が表示されることがなく、歌詞映像を表示させたいときに利用者が操作部１６を操作して、表示させることができる。

＜変形例６＞
実施形態においては、楽音データ取得部１００１は、ライブ楽音データの取得のうちライブ演奏の最初の所定時間分を取得して、これを基準データとして基準データ記憶領域１００２に記憶させ、基準データ記憶領域１００２への記憶が終了すると、検索処理部１００３に対して、検索処理の開始を指示していたが、ライブ楽音データの取得を開始するとともに、検索処理部１００３に対して、検索処理の開始を指示してもよい。この場合、検索処理部１００３は、基準データ記憶領域１００２に順次記憶されていく基準データとリファレンス楽音データを比較すればよい。このようにすると、基準データのデータ量が徐々に増えることによって、類似度の高いリファレンス楽音データの数が絞られて、精度良くリファレンス楽音データを特定することができる。なお、リファレンス楽音データの特定が終了したら、楽音データ取得部１００１はライブ楽音データの取得を停止すればよい。

＜変形例７＞
実施形態においては、検索処理部１００３は、基準データとリファレンス楽音データを比較することにより、類似度の高いリファレンス楽音データを特定していたが、基準データおよびリファレンス楽音データのそれぞれが示すデータの特徴量を比較することにより類似度の高いリファレンス楽音データを特定するようにしてもよい。この場合には、楽曲データ記憶領域１４ａに記憶されている各リファレンス楽曲データは、リファレンス楽音データの特徴量を示す特徴量データを有するようにし、検索処理部１００３は、基準データから特徴量を抽出して、当該特徴量と、リファレンス楽曲データの特徴量データとを比較することにようにすればよい。ここで、特徴量は、音程の変動、音量の変動などオーディオデータから抽出できる特徴量であれば、どのようなものであってもよく、検索処理部１００３は、楽曲データ記憶領域１４ａに記憶されている特徴量データと同じ特徴量を基準データから抽出すればよい。なお、楽曲データ記憶領域１４ａには必ずしも特徴量データが記憶されている必要はなく、検索処理部１００３にリファレンス楽音データの特徴量も抽出させてもよい。このようにすれば、より簡易にリファレンス楽音データの特定を行うことができる。

＜変形例８＞
実施形態においては、タイムアライメント部１０２におけるライブ楽音データとリファレンス楽音データとの対応付けは、楽曲検索部１００における検索時間によっては、楽曲の途中から対応付けを行うようにしていたが、検索時間によらず、楽曲の最初から対応付けを行なうようにしてもよい。この場合には、タイムアライメント部１０２は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得するとともにＲＡＭ１３にバッファし、楽曲データ選択部１０１からリファレンス楽曲データが出力されるまで、ライブ楽音データをバッファし続ければよい。その後、実施形態におけるタイムアライメント部１０２の処理を行なうようにすればよい。ここで、ライブ楽音データをバッファする際には、取得したタイミングに応じてタイムコードを付しておくことにより、楽曲データ選択部１０１からリファレンス楽音データが出力されたときに、各データの最初からＤＰマッチングを行うことができるとともに、ライブ楽音データの現在の再生位置とリファレンス楽音データの位置の対応の目安として用いることができる。なお、ライブ楽音データをＲＡＭ１３にバッファしなくても、ライブ楽音データの再生が開始されてからの時間を認識する手段を設けるだけでも、ライブ楽音データの現在の再生位置とリファレンス楽音データの位置の対応の目安として用いることが可能である。

＜変形例９＞
実施形態においては、楽音データ取得部１００１は、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ楽音データを取得する処理を行っていたが、ＣＰＵ１１によって読み出される前、すなわちライブ楽音データがライブデータバッファ領域１３ａにバッファされ始めると同時に、ライブ楽音データの取得を行なってもよい。このようにすると、ＣＰＵ１１によってライブ楽音データが読み出される前に楽曲検索部１００において検索処理を開始することができるため、タイムアライメント部１０２におけるライブ楽音データとリファレンス楽音データの対応付けを早い段階で始めることが可能となる。

＜変形例１０＞
実施形態においては、入力される情報にライブ映像データが含まれていたが、入力されるデータには映像データが含まれなくてもよい。この場合は、図６に示すように、映像合成部１０６を用いずに、データ処理部１０４は、歌詞映像データをそのまま表示部１５へ出力するようにすればよい。このように、入力される情報には映像データを含む必要はなく、オーディオデータが含まれていればよいから、例えば、携帯オーディオから出力される音声データ、ラジオ放送など、様々な装置からのデータ入力に対応できる。この場合、通信部１７をそれぞれのデータ入力に対応した通信手段とすればよい。

＜変形例１１＞
実施形態においては、リファレンス楽音データと対応する歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データ（第１のデータ）であってもよい。この場合、以下のようにすればよい。データ読出部１０３は、実施形態に示したようにタイムコードを参照し、映像データである歌詞データを読み出して、データ処理部１０４に順次出力する。これにより、データ読出部１０３から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部１０４に出力される。そして、データ処理部１０４は、この時間軸が伸縮された歌詞データを歌詞映像データ（第１の映像データ）として生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力されたオーディオデータ（実施形態においてはライブ楽音データ）の楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。

＜変形例１２＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図７に示すように、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などの制御信号出力部１９を設け、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、制御信号データを有するようにする。ここで、制御信号データは、ＡＵＸ端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコードが付されている。

そして、図８に示すように、実施形態における楽曲データ選択部１０１の動作に加えて、楽曲データ記憶領域１４ａに記憶されている制御信号データを読み出す。そして、制御信号データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、制御信号データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした制御信号データを読み出し、制御信号出力部１９に順次出力していく。このようにすると、データ再生装置を有する映像表示装置１は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行にあわせて外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部１９に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。

＜変形例１３＞
実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、ライブ演奏に別の楽音を楽曲の進行に合わせて再生するようにしてもよい。この場合は、以下のような構成とすればよい。図９に示すように、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データは、リファレンス楽音データ、歌詞データに加え、ＭＩＤＩデータを有するようにする。ここで、ＭＩＤＩデータには、歌詞データと同様に、リファレンス楽音データと時間同期して再生できるように時刻情報が付されている。

そして、図１０に示すように、楽曲データ選択部１０１は、実施形態における動作に加えて、楽曲データ記憶領域１４ａに記憶されているＭＩＤＩデータを読み出す。そして、ＭＩＤＩデータをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、ＭＩＤＩデータに付された時刻情報とを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファしたＭＩＤＩデータを読み出し、再生部１０７に順次出力する。ここで、時刻情報がタイムコードである場合には、そのまま対応させればよいが、デュレーションなどタイムコード以外の相対時刻を表す情報である場合には、ＣＰＵ１１はリファレンス楽音データと時間同期して再生できるように設定されるテンポなどを参照してタイムコードを生成して対応させればよい。これにより、データ読出部１０３から順次出力されたＭＩＤＩデータは、読み出されるときに楽曲の進行に合わせるように読み出され再生部１０７に出力される。そして、再生部１０７は、このＭＩＤＩデータを再生してオーディオデータであるＭＩＤＩ楽音データを生成し、音声合成部１０８へ出力する。一方、遅延部１０５によって遅延処理されたライブ楽音データも音声合成部１０８へ出力される。そして、音声合成部１０８は、ライブ楽音データに係るライブ演奏とＭＩＤＩ楽音データに係るＭＩＤＩ演奏とをミキシングした音を合成楽音データとして生成し、音声出力部１８へ出力する。なお、ライブ楽音データとＭＩＤＩ楽音データとをミキシングせずに別々に音声出力部１８に出力するようにしてもよい。この場合は、それぞれのデータについて音声出力部１８においてミキシングしてもよいし、ミキシングせず異なる放音手段から放音するようにしてもよい。ここで、再生部１０７は、ＭＩＤＩデータを再生することができる音源部を有することによって、ＭＩＤＩ楽音データを生成することができる。なお、音源部によって生成されるオーディオデータの楽音の発音内容を示すシーケンスデータであれば、必ずしもＭＩＤＩデータでなくてもよい。

また、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データのＭＩＤＩデータに代えて、リファレンス楽音データと時間同期して再生できるようにタイムコードの付されたオーディオデータである追加楽音データとしてもよい。この場合は、以下のように処理される。まず、楽曲データ選択部１０１は、楽曲データ記憶領域１４ａに記憶されている追加楽音データを読み出す。そして、追加楽音データをデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファしておく。データ読出部１０３は、歌詞データを読み出すときと同様に、タイムアライメント部１０２から順次出力されるタイムコードと、追加楽音データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした追加楽音データを読み出し、再生部１０７に順次出力する。これにより、データ読出部１０３から順次出力された追加楽音データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されて再生部１０７に出力される。そして、再生部１０７は、この時間軸が伸縮された追加楽音データを新たなオーディオデータとして、音声合成部１０８へ出力する。その後はＭＩＤＩデータの場合と同様に処理すればよい。このようにすれば、映像だけでなく様々な音についても、楽曲の進行にあわせて出力することができる。

＜変形例１４＞
実施形態においては、通信部１７は、有線、無線などによって、データを受信するチューナなどの通信手段であって、ライブ映像データ、ライブ楽音データ、楽曲情報データを受信していたが、図１に破線で示したように、データ入力部２０を設けて、これらのデータがデータ入力部２０から入力されるようにしてもよい。例えば、これらのデータが、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録メディアに記録されたデータであれば、データ入力部は、ＤＶＤに記録されたデータを読み取れる光学ドライブであればよい。このようにしても、実施形態と同様な効果を得ることができる。

＜変形例１５＞
実施形態においては、遅延部１０５を設け、ＣＰＵ１１によってライブデータバッファ領域１３ａから読み出されたライブ映像データとライブ楽音データにタイムアライメント部１０２がライブ楽音データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間（以下、遅延時間という）の遅延処理を行って出力していた。一方、図１１に示すように、タイムアライメント部１０２からのタイムコードの出力は、タイムコード予測部１０９を介してデータ読出部１０３に出力されるようにしてもよい。この場合は、タイムコード予測部１０９は、タイムアライメント部１０２から順次出力されるタイムコードを参照して、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測する。そして、タイムコード予測部１０９は、予測したタイムコードをデータ読出部１０３に順次出力すればよい。ここで、タイムコードの予測は、タイムアライメント部１０２から順次出力されたタイムコードのうち、過去の所定の数のタイムコードを参照し、これらのタイムコードの示す時間軸上の位置の変化量から、遅延時間後のタイムコードを推定すればよい。なお、タイムコードの予測は、遅延時間後にタイムアライメント部１０２から出力されるタイムコードを予測すればよいから、上記方法に限らず、所定のアルゴリズムに基づいて行なえばよい。このようにすれば、遅延部１０５を用いたライブ楽音データ、ライブ演奏データの遅延をさせずに、実施形態の効果を得ることができる。

＜変形例１６＞
実施形態においては、タイムアライメント部１０２は、楽曲の進行のずれを検出する機能について、ＤＰマッチングを用いていたが、異なった手法によって楽曲の進行のずれを検出するようにしてもよい。例えば、ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を用いてもよいし、比較対象である各データから波形の特徴量（音程、音量など）を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。このようにしても、実施形態と同様な効果を得ることができる。

実施形態に係る映像表示装置のハードウエアの構成を示すブロック図である。 実施形態に係る映像表示装置のソフトウエアの構成を示すブロック図である。 楽曲検索部のソフトウエアの構成を示すブロック図である。 ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。 変形例３に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例１０に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例１２に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例１２に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例１３に係る映像表示装置のハードウエアの構成を示すブロック図である。 変形例１３に係る映像表示装置のソフトウエアの構成を示すブロック図である。 変形例１５に係る映像表示装置のソフトウエアの構成を示すブロック図である。

符号の説明

１…映像表示装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１３ａ…ライブデータバッファ領域、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…表示部、１６…操作部、１７…通信部、１８…音声出力部、１９…制御信号出力部、２０…データ入力部、２１…音声入力部、１００…楽曲検索部、１００１…楽音データ取得部、１００２…基準データ記憶領域、１００３…検索処理部、１０１…楽曲データ選択部、１０２…タイムアライメント部、１０３…データ読出部、１０４…データ処理部、１０５…遅延部、１０６…映像合成部、１０７…再生部、１０８…音声合成部、１０９…タイムコード予測部

Claims (15)

1. データ各部についての時刻を規定する同期情報を有した第１のデータと第１のオーディオデータとを組にして複数記憶する記憶手段と、
   外部から供給される第２のオーディオデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定する特定手段と、
   前記外部から供給される第２のオーディオデータと前記特定手段によって特定された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、
   前記時刻情報と前記同期情報の対応関係に基づいて、前記特定手段によって特定された第１のオーディオデータと組になっている第１のデータを前記記憶手段から読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成手段と、
   前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
   を具備することを特徴とするデータ再生装置。
2. 前記特定手段は、外部から供給される第２のオーディオデータの一部分のデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定すること
   を特徴とする請求項１に記載のデータ再生装置。
3. 収音によってオーディオデータを生成する収音手段
   をさらに具備し、
   前記特定手段は、外部から供給される第２のオーディオデータに代えて、前記収音手段によって生成したオーディオデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定すること
   を特徴とする請求項１に記載のデータ再生装置。
4. 前記特定手段に再度第１のオーディオデータを特定させる再特定指示手段
   をさらに具備することを特徴とする請求項１乃至請求項３のいずれかに記載のデータ再生装置。
5. ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出す指示手段と、
   前記指示手段の指示に応答して前記サーバから送信されたデータを第１のオーディオデータおよびデータ各部についての時刻を規定する同期情報を有した第１のデータとして受信する受信手段と、
   前記受信手段によって受信した第１のオーディオデータと第１のデータとを記憶する記憶手段と、
   外部から供給される第２のオーディオデータと前記記憶手段に記憶された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、
   前記時刻情報と前記同期情報の対応関係に基づいて、前記記憶手段から第１のデータを読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成手段と、
   前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
   を具備することを特徴とするデータ再生装置。
6. ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出す指示手段と、
   前記指示手段の指示に応答して前記サーバから送信されたデータを楽曲情報データとして受信する受信手段と、
   データ各部についての時刻を規定する同期情報を有した第１のデータと第１のオーディオデータとを組にして複数記憶する記憶手段と、
   前記楽曲情報データに基づいて、前記記憶手段に記憶されている複数の第１のオーディオデータから第１のオーディオデータを選択する選択手段と、
   外部から供給される第２のオーディオデータと前記選択手段によって選択された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント手段と、
   前記時刻情報と前記同期情報の対応関係に基づいて、前記選択手段によって選択された第１のオーディオデータと組になっている第１のデータを前記記憶手段から読み出すデータ読出手段と、
   前記データ読出手段によって読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成手段と、
   前記外部から供給される第２のオーディオデータを所定量遅延させる遅延手段と
   を具備することを特徴とするデータ再生装置。
7. 前記指示手段は、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出すとともに、外部から供給される第２のオーディオデータを前記サーバへ送信すること
   を特徴とする請求項５または請求項６に記載のデータ再生装置。
8. 前記指示手段は、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出すとともに、外部から供給される第２のオーディオデータの一部を前記サーバへ送信すること
   を特徴とする請求項５または請求項６に記載のデータ再生装置。
9. 収音によってオーディオデータを生成する収音手段
   をさらに具備し、
   前記指示手段は、ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を出すとともに、前記収音手段によって生成したオーディオデータを前記サーバへ送信すること
   を特徴とする請求項５または請求項６に記載のデータ再生装置。
10. ネットワークに接続されたサーバに第１のオーディオデータを特定させる指示を前記指示手段に再度出させる再特定指示手段
    をさらに具備することを特徴とする請求項５乃至請求項９のいずれかに記載のデータ再生装置。
11. 複数の映像データが入力され、前記複数の映像データのうち一の映像データに係る映像に対して、他の映像データに係る映像をスーパーインポーズする映像合成手段をさらに具備し、
    前記遅延手段は、外部から供給され、前記第２のオーディオデータと時間同期がとられた第２の映像データを前記所定量遅延させ、
    前記映像合成手段は、前記遅延手段によって遅延された第２の映像データに係る映像に対して、前記映像データ生成手段によって生成された第１の映像データに係る映像をスーパーインポーズすること
    を特徴とする請求項１乃至請求項１０のいずれかに記載のデータ再生装置。
12. 外部から供給される第２のオーディオデータに基づいて、記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定する特定過程と、
    外部から供給される第２のオーディオデータと前記特定過程において特定された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント過程と、
    データ各部についての時刻を規定する同期情報を有した第１のデータと第１のオーディオデータとを組にして複数記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記特定過程において特定された第１のオーディオデータと組になっている第１のデータを読み出すデータ読出過程と、
    前記データ読出過程において読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成過程と、
    前記外部から供給される第２のオーディオデータを所定量遅延させる遅延過程と
    を備えることを特徴とするデータ再生方法。
13. 収音によってオーディオデータを生成する収音過程と
    をさらに備え、
    前記特定過程は、外部から供給される第２のオーディオデータに代えて、前記収音過程において生成したオーディオデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定すること
    を特徴とする請求項１２に記載のデータ再生方法。
14. コンピュータに、
    外部から供給される第２のオーディオデータに基づいて、記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定する特定機能と、
    外部から供給される第２のオーディオデータと前記特定機能によって特定された第１のオーディオデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す時刻情報を生成するタイムアライメント機能と、
    データ各部についての時刻を規定する同期情報を有した第１のデータと第１のオーディオデータとを組にして複数記憶する記憶手段から、前記時刻情報と前記同期情報の対応関係に基づいて、前記特定機能において特定された第１のオーディオデータと組になっている第１のデータを読み出すデータ読出機能と、
    前記データ読出機能によって読み出された第１のデータに基づいて、第１の映像データを生成する映像データ生成機能と、
    前記外部から供給される第２のオーディオデータを所定量遅延させる遅延機能と
    を実現させるためのコンピュータ読み取り可能なプログラム。
15. 収音によってオーディオデータを生成する収音機能と
    をさらに備え、
    前記特定機能は、外部から供給される第２のオーディオデータに代えて、前記収音機能によって生成したオーディオデータに基づいて、前記記憶手段に記憶された複数の第１のオーディオデータから第１のオーディオデータを特定すること
    を特徴とする請求項１４に記載のコンピュータ読み取り可能なプログラム。

Images