JP2008089849A - リモート演奏システム - Google Patents
リモート演奏システム Download PDFInfo
- Publication number
- JP2008089849A JP2008089849A JP2006269275A JP2006269275A JP2008089849A JP 2008089849 A JP2008089849 A JP 2008089849A JP 2006269275 A JP2006269275 A JP 2006269275A JP 2006269275 A JP2006269275 A JP 2006269275A JP 2008089849 A JP2008089849 A JP 2008089849A
- Authority
- JP
- Japan
- Prior art keywords
- performance
- layer
- video
- data
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】生演奏を提供する側とその生演奏の提供を受ける側を分離したことにより、ネットワークを介してでも完全に同期した演奏が可能なリモート演奏システムを提供する。
【解決手段】最上流である第1階層で複数パートの生演奏を行い、次の第2階層が、その生演奏のうち好みのパートの演奏を選択して伴奏音(カラオケ演奏)を合成し、この伴奏音を用いて自分の生演奏(歌唱を含む:以下同じ)を行う。そして、この第2階層の生演奏が複数パート存在する場合、この第2階層の複数パートの生演奏を用いて、第2階層と同様に、第3階層の生演奏を行うことができ、このように、上流(第1階層)から下流(第2階層、第3階層、・・・)へ生演奏が引き継がれてゆく連鎖形態の生演奏システムとする。
【選択図】 図1
【解決手段】最上流である第1階層で複数パートの生演奏を行い、次の第2階層が、その生演奏のうち好みのパートの演奏を選択して伴奏音(カラオケ演奏)を合成し、この伴奏音を用いて自分の生演奏(歌唱を含む:以下同じ)を行う。そして、この第2階層の生演奏が複数パート存在する場合、この第2階層の複数パートの生演奏を用いて、第2階層と同様に、第3階層の生演奏を行うことができ、このように、上流(第1階層)から下流(第2階層、第3階層、・・・)へ生演奏が引き継がれてゆく連鎖形態の生演奏システムとする。
【選択図】 図1
Description
この発明は、離れた場所で生演奏をした演奏音に合わせて、さらに生演奏をすることができるリモート演奏システムに関する。
従来より、異なる場所にいる演奏家がネットワーク等の通信手段を介して一緒に演奏するというシステムが提案されている(たとえば特許文献1など)。
しかし、特許文献1に記載された技術は、双方向に通信して演奏をするものであるため、遠隔地同士で演奏をする場合には、相手の音声に遅延が出てしまい同期して演奏することが困難になるという問題点があった。
この発明は、生演奏を提供する側とその生演奏の提供を受ける側を分離したことにより、ネットワークを介してでも完全に同期した演奏が可能なリモート演奏システムを提供することを目的とする。
請求項1の発明は、特定の曲の伴奏音を再生する伴奏音再生部と、この伴奏音に合わせた所定パートの生演奏音を入力する生演奏音入力部と、前記伴奏音の進行度合い(rate)を示す時系列情報であるビートクロックを生成するビートクロック生成部と、前記生演奏音および前記ビートクロックを演奏データとしてネットワークに出力する演奏データ出力部と、を備えた第1階層演奏装置を、複数パート分備えるとともに、
パートを選択するパート選択部と、選択されたパートの演奏データをネットワークから受信する演奏データ受信部と、受信した演奏データ中の生演奏音を、各演奏データ中のビートクロックに基づいて同期させて合成することにより伴奏音データを生成する伴奏音データ生成部と、この伴奏音データに基づいて第2階層の伴奏音を再生する下位伴奏音再生部と、前記第2階層の伴奏音に合わせた所定パートの第2階層の生演奏音を入力する下位生演奏音入力部と、前記第2階層の伴奏音と前記第2階層の生演奏音とを合成して放音する演奏音放音部と、を備えた第2階層演奏装置と、
を備えたリモート演奏システム(Remote Live Performance System)である。
パートを選択するパート選択部と、選択されたパートの演奏データをネットワークから受信する演奏データ受信部と、受信した演奏データ中の生演奏音を、各演奏データ中のビートクロックに基づいて同期させて合成することにより伴奏音データを生成する伴奏音データ生成部と、この伴奏音データに基づいて第2階層の伴奏音を再生する下位伴奏音再生部と、前記第2階層の伴奏音に合わせた所定パートの第2階層の生演奏音を入力する下位生演奏音入力部と、前記第2階層の伴奏音と前記第2階層の生演奏音とを合成して放音する演奏音放音部と、を備えた第2階層演奏装置と、
を備えたリモート演奏システム(Remote Live Performance System)である。
なお、本願の発明において、演奏は楽器の演奏に限定されず歌唱をも含む概念である。
請求項1のリモート演奏システムでは、生演奏が入力される演奏装置を第1階層演奏装置と第2階層演奏装置の2階層に分離し、第1階層演奏装置を生演奏を提供する側に位置づけ、第2階層演奏装置を生演奏の提供を受け、さらにそれに合わせた生演奏を入力する装置としたことにより、生演奏音を含む演奏データの伝送に遅延が発生しても第2階層演奏装置では、第1階層の生演奏を用いて完全に同期した演奏をすることができるようになる。
また、この場合において、複数の演奏データの遅延がそれぞれ異なる場合でも、ビートクロックを用いて各演奏データを同期させるようにしたため、複数パートの生演奏がそれぞれ別々の場所で行われた場合でも、それらを同期させたのち合成した伴奏音データを作成することができる。
請求項2の発明は、上記発明において、前記演奏データ出力部は、さらに、前記特定の曲の伴奏音を、前記演奏データに含めてネットワークに出力し、前記伴奏音データ生成部は、受信した演奏データ中の生演奏音に加えて、受信した演奏データ中の伴奏音をさらに合成することにより第2階層の伴奏音データを生成することを特徴とする。
伴奏音データに第1階層の伴奏音を加えることにより、第1階層の生演奏のパートが不足した場合でも完全なパート構成の伴奏音を作成することができる。
請求項3の発明は、上記発明において、前記第2階層演奏装置は、前記第2階層の伴奏音の進行度合いを示す時系列情報である第2階層のビートクロックを生成するビートクロック生成部と、前記第2階層の生演奏音および前記第2階層のビートクロックを、第2階層の演奏データとしてネットワークに出力する第2階層演奏データ出力部と、を、さらに備え、この第2階層演奏装置の下流に、第2階層演奏装置と同様の構成で、直接の上位階層の演奏データをネットワークから受信する下位階層演奏装置を、さらに連鎖状に備えることを特徴とする。
請求項3の発明では、生演奏音を含む演奏データの伝送を第1階層、第2階層、第3階層、・・・と連鎖状にしている。これにより、各階層の演奏者に一緒に演奏したい者はその演奏者の下位階層の演奏者になればよく、演奏データの流れが上位階層から下位階層へ一方通行であっても、双方向のジャムセッションと同じように好きな演奏者と一緒に演奏する途を提供することができる。
請求項4の発明は、請求項1,2の発明において、前記第1階層演奏装置は、前記「所定パートの生演奏音」を演奏する演奏者を撮影し、第1階層演奏者映像として出力する撮影部と、前記第1階層演奏者映像をネットワークに出力する映像出力部と、を、さらに備え、
前記第2階層演奏装置は、前記選択されたパートの第1階層演奏者映像を受信する映像受信部と、前記「所定パートの第2階層の生演奏」を演奏する演奏者を撮影し、第2階層演奏者映像として出力する下位撮影部と、前記第1階層演奏者映像および第2階層演奏者映像を合成した合成映像を生成する合成映像生成部と、前記合成映像を表示する表示部と、を備えたことを特徴とする。
前記第2階層演奏装置は、前記選択されたパートの第1階層演奏者映像を受信する映像受信部と、前記「所定パートの第2階層の生演奏」を演奏する演奏者を撮影し、第2階層演奏者映像として出力する下位撮影部と、前記第1階層演奏者映像および第2階層演奏者映像を合成した合成映像を生成する合成映像生成部と、前記合成映像を表示する表示部と、を備えたことを特徴とする。
請求項5の発明は、請求項3の発明において、前記第1階層演奏装置は、前記「所定パートの生演奏音」を演奏する演奏者を撮影し、第1階層演奏者映像として出力する撮影部と、前記第1階層演奏者映像をネットワークに出力する映像出力部と、を、さらに備え、
前記第2階層演奏装置は、前記選択されたパートの第1階層演奏者映像を受信する映像受信部と、前記「所定パートの第2階層の生演奏」を演奏する演奏者を撮影し、第2階層演奏者映像として出力する下位撮影部と、前記第1階層演奏者映像および第2階層演奏者映像を合成した合成映像を生成する合成映像生成部と、前記合成映像を表示する表示部と、前記第2階層演奏者映像をネットワークに出力する下位映像出力部と、を備えたことを特徴とする。
前記第2階層演奏装置は、前記選択されたパートの第1階層演奏者映像を受信する映像受信部と、前記「所定パートの第2階層の生演奏」を演奏する演奏者を撮影し、第2階層演奏者映像として出力する下位撮影部と、前記第1階層演奏者映像および第2階層演奏者映像を合成した合成映像を生成する合成映像生成部と、前記合成映像を表示する表示部と、前記第2階層演奏者映像をネットワークに出力する下位映像出力部と、を備えたことを特徴とする。
請求項4,5の発明では、演奏音の伝送に加えて映像も伝送することができるため、さらにリアルにリモート演奏を楽しむことができる。
請求項6の発明は、請求項4,5の発明において、前記第2階層演奏装置は、前記特定の曲の歌詞を順次表示するための時系列データである歌詞表示データを記憶する歌詞表示データ記憶部と、前記ビートクロックに同期して前記歌詞表示データを読み出し、歌詞テロップ画像を生成する歌詞テロップ生成部と、を、さらに備え、
前記合成映像生成部は、前記第1階層演奏者映像、第2階層演奏者映像の上に、さらに、前記歌詞テロップ画像を合成した合成映像を生成する手段であることを特徴とする。
前記合成映像生成部は、前記第1階層演奏者映像、第2階層演奏者映像の上に、さらに、前記歌詞テロップ画像を合成した合成映像を生成する手段であることを特徴とする。
請求項6の発明では、ビートクロックに同期して歌詞表示データを読み出して表示することにより、下位階層(第2階層)において、上位階層(第1階層)の生演奏に同期して歌詞テロップを表示することができる。
この発明によれば、演奏データの流れを上位階層(第1階層)から下位階層(第2階層)への1方向に限定したことにより、伝送に遅延が生じても下位階層側において、その遅れに合わせて時間同期をとって再生すればよいため、ずれのない演奏(伴奏音)を再生することができる。
また、階層を複数段連鎖させる連鎖型とすることにより、演奏者は自由な階層(一緒に演奏したい相手演奏者の下位階層)に参加することができるため、双方向通信と同様の自由な組み合わせのセッションを楽しむことが可能になる。
図面を参照してこの発明の実施形態であるリモート演奏システムについて説明する。
このリモート演奏システムは、最上流である第1階層で複数パートの生演奏を行い、次の第2階層が、その生演奏のうち好みのパートの演奏を選択して伴奏音(カラオケ演奏)を合成し、この伴奏音を用いて自分の生演奏(歌唱を含む:以下同じ)を行うシステムである。そして、この第2階層の生演奏が複数パート存在する場合、この第2階層の複数パートの生演奏を用いて、第2階層と同様に、第3階層の生演奏を行うことができ、このように、上流(第1階層)から下流(第2階層、第3階層、・・・)へ生演奏が引き継がれてゆく連鎖形態の生演奏システムである。
このリモート演奏システムは、最上流である第1階層で複数パートの生演奏を行い、次の第2階層が、その生演奏のうち好みのパートの演奏を選択して伴奏音(カラオケ演奏)を合成し、この伴奏音を用いて自分の生演奏(歌唱を含む:以下同じ)を行うシステムである。そして、この第2階層の生演奏が複数パート存在する場合、この第2階層の複数パートの生演奏を用いて、第2階層と同様に、第3階層の生演奏を行うことができ、このように、上流(第1階層)から下流(第2階層、第3階層、・・・)へ生演奏が引き継がれてゆく連鎖形態の生演奏システムである。
図1は、このリモート演奏システムの演奏データの流れを説明する図である。なお、図2以下に示す実際のシステムでは、映像データもネットワークを介して伝送されるが、この図では音声データ(楽音データを含む)である演奏データの流れのみを示している。
第1階層の生演奏ステーション1は、演奏者(歌唱者を含む:以下同じ)と、その演奏者の演奏データを作成して送信する装置で構成される。なお、装置の詳細は第2図で説明する。図1では、n個の生演奏ステーション1−1〜1−nを示している。このn個の生演奏ステーション1のn人の演奏者は、それぞれ略同時に同じ曲を生演奏する。このn人の生演奏は、それぞれ別々のパートであってもよく、パートが重複していてもよい。各パートは、たとえば、歌唱,ギター,ドラム,キーボード等である。
各演奏者が演奏した生演奏音は、演奏データとして、ネットワークを介して第2階層へ伝送される。演奏データは、上記生演奏音のデータストリーム(生演奏トラック)のほか、この生演奏の伴奏に用いた伴奏音のデータストリーム(伴奏トラック)、および、拍の刻みで曲の進行を表すビートクロックからなる。なお、伴奏トラックは、演奏データに必須ではない。
ビートクロックは、1拍を32分割した時間を1クロックとし、クロックタイミング毎に作成されるパケットが演奏データに含められる。このクロックタイミングのパケットは、クロックタイミングである旨を示す情報と、絶対時間を表すタイムコードを含んでいる。
各演奏者は、ほぼ同時に同じ伴奏音を聴きながら生演奏する。伴奏音としては、カラオケ装置が再生するカラオケ楽曲を用いることができる。その場合、ビートクロックは、カラオケ装置がカラオケ楽曲を自動演奏する自動演奏クロックを用いることができる。
各演奏者が同じスタジオで演奏する場合には、1台のカラオケ装置で再生したカラオケ演奏音を一緒に聴きながら演奏することが可能である。この場合でも、各演奏者の演奏をそれぞれ別々のマイクまたはピックアップで収音することにより、それぞれ別々の演奏データとすることが可能である。また、各演奏者が、別々のスタジオで演奏する場合でも、1台のカラオケ装置で再生したカラオケ演奏音を、ネットワークまたは(デジタル,アナログの)オーディオケーブルを用いて各スタジオに配信することにより、各演奏者にほぼ同時に同じ伴奏を聴かせることができる。いずれの場合でも、ビートクロック信号は、カラオケ演奏音と一緒に各演奏者に伝送される。
また、各演奏者がそれぞれ別々のスタジオで演奏する場合、各スタジオにカラオケ装置を設置し、各カラオケ装置で同じ曲を同時に再生させるようにしてもよい。この場合、何らかの方法でカラオケ楽曲の演奏が同時にスタートするように同期をとる。なお、後述するように、第2階層には、第1階層の複数の演奏データの時間ずれを吸収して同期させるための同期部10(遅れ吸収バッファ10aを含む)が設けられているため、各演奏者の演奏が多少ずれていても、ビートクロックに基づき第2階層で同期をとることができる。
第2階層の生演奏ステーションは、演奏者および演奏データを再生等する装置で構成される。装置の詳細は図2,図3で説明する。システムの運用上、第1階層の演奏者はプロフェッショナルまたはそれに準じる技量の持ち主で構成されるが、第2階層の演奏者は、カラオケボックスの顧客となるような者でよい。
この図では、第2階層は、mの生演奏ステーションで構成されるようになっているが、1以上であれば数に制限はない。
この図では、第2階層は、mの生演奏ステーションで構成されるようになっているが、1以上であれば数に制限はない。
以下、生演奏ステーション2−1を例に挙げて説明する。第2階層の生演奏ステーション2は、第1階層の複数の生演奏ステーション1−1〜1−nから受信した演奏データをバッファして同期させる同期部10と、前記第1階層の生演奏ステーションのうち、選択された生演奏ステーションの演奏データを合成して伴奏トラックを作成するミキサ11、この伴奏トラックを再生する再生部12を有している。同期部10は、第1階層から受信した複数の演奏データをバッファする遅れ吸収バッファ10aを有している。
ミキサ11から伴奏トラックへは、選択された生演奏ステーションの生演奏トラック(および伴奏トラック)を合成して作成された伴奏トラック、ビートクロック、および、必要に応じてお手本となるガイドメロディトラックが転送される。再生部12は、伴奏トラックおよびガイドメロディトラックを再生して放音するとともに、ビートクロックで同期を取りながら歌詞を再生表示する。演奏者が、歌唱する者でなく楽器を演奏する者である場合には、歌詞に代えてコード進行や五線譜を再生表示するようにしてもよい。
このようにして、第2階層では、第1階層の複数の生演奏の演奏データのうち、所望のものを組み合わせて独自の伴奏トラックを作成して、自分の演奏の伴奏とすることができる。
また、このシステムは、第2階層の生演奏ステーションを用いて伴奏トラックを作成する第3階層、さらに、第3階層の生演奏ステーションを用いて伴奏トラックを作成する第4階層というように、連鎖状に階層を繰り返すことができる。第3階層以下の階層は、第2階層と同様の構成でよい。
この場合において、上位階層の生演奏ステーションが複数パートにわたって複数ある場合には、その複数パートの生演奏トラックを組み合わせて伴奏トラックを作成すればよい。もし、上位階層の生演奏が、伴奏トラックの作成に不足している場合には、上位階層における伴奏トラックと前記上位階層の生演奏とを組み合わせて伴奏トラックを作成すればよい。
図2,図3は、上記この発明の実施形態であるリモート演奏システムのシステム構成図である。
図2において、第1階層は、A地点,B地点,・・・の複数地点の生演奏ステーションを有している。以下、A地点の生演奏ステーションについてシステム構成を説明する。生演奏ステーションは、生演奏する楽曲の伴奏音を再生する装置としてカラオケ装置21を備えている。カラオケ装置21は、楽曲データに基づいて、伴奏音、BGV(バック・グラウンド・ビデオ)、ビートクロックを再生出力する。また、BGVの再生と並行して、その再生する映像のフレーム番号を表すタイムコードも出力する。伴奏音は音声ミキサ22に入力される。また、BGVは、映像ミキサ25に入力される。
図2において、第1階層は、A地点,B地点,・・・の複数地点の生演奏ステーションを有している。以下、A地点の生演奏ステーションについてシステム構成を説明する。生演奏ステーションは、生演奏する楽曲の伴奏音を再生する装置としてカラオケ装置21を備えている。カラオケ装置21は、楽曲データに基づいて、伴奏音、BGV(バック・グラウンド・ビデオ)、ビートクロックを再生出力する。また、BGVの再生と並行して、その再生する映像のフレーム番号を表すタイムコードも出力する。伴奏音は音声ミキサ22に入力される。また、BGVは、映像ミキサ25に入力される。
音声ミキサ22には、前記カラオケ装置21のほか、マイク23、スピーカ24が接続されている。マイク23は、この生演奏ステーションの演奏者Aに向けて設置される。マイク23が収音した演奏者Aの生演奏の音声は、音声ミキサ22に入力される。音声ミキサ22は、カラオケ装置21から入力される伴奏音およびマイク23から入力される生演奏音を処理する。この処理の内容は、両音声信号をミキシングしてスピーカ24に出力する処理、および、伴奏音、生演奏音それぞれ個別にデジタルのストリームデータに変換して通信部28に出力する処理である。
なお、演奏者Aの生演奏が、歌唱や自然楽器の場合にはマイク23を用いればよいが、電気楽器や電子楽器の場合にはピックアップや音声信号入力端子をマイク23に代えて設ければよい。これは後述の第2階層のマイク46についても同様である。
映像ミキサ25には、前記カラオケ装置21のほか、カメラ26、モニタTV27が接続されている。カメラ26は、前記演奏者Aに向けて設置される。カメラ26が撮影した演奏者Aの映像は、映像ミキサ25に入力される。映像ミキサ25は、カラオケ装置21から入力されるBGVおよびカメラ26から入力される演奏者Aの映像を処理する。この処理の内容は、BGV上に演奏者Aの映像を合成し、且つ、その上にカラオケ装置21から入力した歌詞テロップの映像を合成してモニタTV27に表示する処理、および、BGV、演奏者Aの映像をそれぞれ個別にデジタルのストリームデータに変換して通信部28に出力する処理である。
なお、上記音声ミキサ22の処理において、伴奏音をストリームデータに変換して出力する処理は必須ではない。また、上記映像ミキサ25の処理において、BGVをストリームデータに変換して出力する処理は必須ではない。
通信部28は、上記音声(生演奏および伴奏音)のストリームデータ、映像(演奏者映像およびBGV)のストリームデータおよびビートクロックを、演奏データとしてネットワークに送信する。すなわち、演奏データは、生演奏トラック、演奏者映像トラック、ビートクロックトラック、および、必要に応じて、伴奏音トラック、BGVトラックを有している。
第1階層のA地点〜N地点の生演奏ステーションは、全て上記構成を備えており、その各々の生演奏ステーションにおいて、同時に同じ曲が生演奏され、その演奏データがネットワークに出力される。第2階層の生演奏ステーションでは、このなかから所望のものを選択し、選択した演奏データ中の生演奏トラックを合成して伴奏データを作成する。
図3において、第2階層の生演奏ステーションとして、X地点、Z地点が記載されているが、第2階層の生演奏ステーションの数は任意である。以下、X地点の生演奏ステーションについてその構成を説明する。
第2階層の生演奏ステーションは、歌詞テロップを再生する装置としてカラオケ装置41を備えている。また、このカラオケ装置41は、第1階層(上位階層)の生演奏のパート数が不足する場合等必要に応じて、歌詞テロップの再生と並行してカラオケ楽曲を演奏し、演奏者X,Yの演奏の伴奏データの一部として出力する。
第1階層の各生演奏ステーションからネットワークに出力された演奏データは、通信部42が受信する。通信部42が受信した演奏データは同期部43に入力される。同期部43は、遅れ吸収バッファ43aを備えており、入力した演奏データをバッファし、ビートクロックのタイミングを合わせることにより、各演奏データの進行タイミングを同期させる。
同期部43には音声ミキサ44および映像ミキサ47が接続されている。音声ミキサ44および映像ミキサ47には、選択部51が接続されている。また、音声ミキサ44には、スピーカ45およびマイク46が接続されており、映像ミキサ47には、モニタTV48およびカメラ49が接続されている。マイク46は、演奏者X,Yの生演奏音を収音し、
選択部51は、演奏者X,Yの操作により、第1階層の演奏データ(A〜N)のなかから伴奏データの合成に用いる演奏データを選択する装置である。選択部51は、音声ミキサ44および映像ミキサ47に選択信号を出力する。
選択部51は、演奏者X,Yの操作により、第1階層の演奏データ(A〜N)のなかから伴奏データの合成に用いる演奏データを選択する装置である。選択部51は、音声ミキサ44および映像ミキサ47に選択信号を出力する。
音声ミキサ44は、選択部51の選択信号によって指示された演奏データの生演奏トラックおよび伴奏トラックを入力し、その生演奏トラック(および必要に応じて伴奏トラックまたはカラオケ演奏音)を合成して伴奏データを作成する。合成された伴奏データは音声信号に変換され、マイク46から入力された演奏者X,Yの生演奏音と合成されてスピーカ45から放音される。
このように、第1階層の生演奏音で伴奏データを作成し、この伴奏データに合わせて演奏者X,Yが演奏することにより、演奏者X,Yは、第1階層の生演奏ステーションで演奏している演奏者A,B,C等と同じ場所で一緒に演奏しているような雰囲気で演奏をすることができる。
また、音声ミキサ44は、マイク46から入力された生演奏音を生演奏トラックのストリームデータとして通信部50に出力する。さらに、音声ミキサ44は、伴奏データの音声信号と伴奏トラックのストリームデータとして通信部50に出力する。
映像ミキサ47は、選択部51の選択信号によって指示された演奏データの演奏者映像トラックおよびBGVトラックを入力するとともに、カメラ49が撮影した演奏者X,Yの映像およびカラオケ装置41がビートクロックに同期して再生した歌詞テロップを入力する。そして、適当なBGVトラックの上に各演奏者映像トラックおよびカメラ49で撮影した演奏者X,Yの映像を合成し、さらにその上に歌詞テロップを合成した合成映像をモニタTV48に表示する。画面上での各(第1階層の)演奏者映像および演奏者X,Yの配置は適宜最適になるように決定される。また、背景映像は、第1階層から受信したものを用いるほか、カラオケ装置41が再生したものを用いてもよい。
上記のように映像を合成することにより、このステーションの演奏者X,Yは、第1階層の生演奏ステーションで演奏している演奏者A,B,C等と同じステージで演奏しているような映像をモニタTV48に表示することができる。
映像ミキサ47は、演奏者X,Yの動画映像を演奏者映像トラックのストリームデータとして通信部50に出力するとともに、第1階層から受信して再生したBGVトラックのストリームデータを通信部40に出力する。
通信部50は、上記生演奏トラック、伴奏トラック、演奏者映像トラックおよびBGVトラックのストリームデータをネットワークに出力する。
通信部50は、上記生演奏トラック、伴奏トラック、演奏者映像トラックおよびBGVトラックのストリームデータをネットワークに出力する。
なお、この図では、第1階層の生演奏ステーション、第2階層の生演奏ステーション、さらに下位の生演奏ステーションと1方向に配列されているように記載しているが、実際には、各生演奏ステーションは、ネットワーク上にランダムに配置されており、どの生演奏ステーションも設定によって第1階層,第2階層等種々の階層のステーションとして機能する。
図4は、生演奏ステーションに設置されるカラオケ装置のブロック図である。ここでは、カラオケ装置21を例に挙げて説明する。カラオケ装置21は、装置全体の動作を制御するCPU110と、これに接続された各種機器で構成されている。
CPU110は、カラオケ楽曲を演奏し、歌詞テロップを表示するためのシーケンサプログラム130および背景映像を表示するための背景映像表示プログラム133を実行する。シーケンサプログラム130は、曲を演奏するための曲シーケンサ131および歌詞テロップを表示するための歌詞シーケンサ132からいる。
CPU110には、ハードディスク111、RAM112、音源113、MPEGデコーダ120等が接続されている。ハードディスク111は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。RAM112には、プログラムや曲データを読み出すエリアなどが設定されている。
音源113は、CPU110が実行する曲シーケンサ131の処理によって入力された曲データ(ノートイベントデータ等)に応じて楽音信号を形成する。形成した楽音信号は音声ミキサ22に入力される。
HDD111に記憶されている背景映像データ141は、MPEG2形式にエンコードされており、CPU110が実行する背景映像再生プログラム133は、これを読み出してMPEGデコーダ120に入力する。MPEGデコーダ120は、入力されたMPEGデータをNTSCの映像信号に変換して出力する。
演奏するカラオケ曲を指定されると、シーケンサ130は、指定されたカラオケ曲の曲データをハードディスク111の曲データ記憶エリア140から読み出す。曲シーケンサ131は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源113を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ132は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して映像ミキサ25に出力する。また、背景映像再生部133は、シーケンサ130からの指示に応じて所定の背景映像データを読み出してMPEGデコーダ120に入力する。MPEGデコーダ120でデコードされた背景映像信号(BGV)は、映像ミキサ25に入力される。
ここで、曲データは、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラックなどからなっている。このうち、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップを表示するためのシーケンスデータであり、曲の進行に合わせた適当なタイミングに1行ずつ歌詞を表示・消去し、曲のテンポに同期して文字の色を変えていくためのイベントデータを有している。前記歌詞シーケンサ132は、曲シーケンサ131が実行する自動演奏のテンポクロック(ビートクロック)に同期して、上記歌詞トラックのイベントデータを実行してゆく。
なお、各生演奏ステーションにおいて、自分の演奏に合わせて伴奏音のピッチやテンポを変更できるようにしてもよい。この場合、その変更したピッチやテンポをデフォルトのピッチ・テンポに戻す処理は、送信側で行ってもよく受信側で行うようにしてもよい。
1 第1階層の生演奏ステーション
2 第2階層の生演奏ステーション
10 同期部
10a 遅れ吸収バッファ
11 ミキサ
12 再生部
21 カラオケ装置
22 音声ミキサ
25 映像ミキサ
28 通信部
41 カラオケ装置
44 音声ミキサ
47 映像ミキサ
51 選択部
2 第2階層の生演奏ステーション
10 同期部
10a 遅れ吸収バッファ
11 ミキサ
12 再生部
21 カラオケ装置
22 音声ミキサ
25 映像ミキサ
28 通信部
41 カラオケ装置
44 音声ミキサ
47 映像ミキサ
51 選択部
Claims (6)
- 特定の曲の伴奏音を再生する伴奏音再生部と、
この伴奏音に合わせた所定パートの生演奏音を入力する生演奏音入力部と、
前記伴奏音の進行度合いを示す時系列情報であるビートクロックを生成するビートクロック生成部と、
前記生演奏音および前記ビートクロックを演奏データとしてネットワークに出力する演奏データ出力部と、
を備えた第1階層演奏装置を、複数パート分備えるとともに、
パートを選択するパート選択部と、
選択されたパートの演奏データをネットワークから受信する演奏データ受信部と、受信した演奏データ中の生演奏音を、各演奏データ中のビートクロックに基づいて同期させて合成することにより伴奏音データを生成する伴奏音データ生成部と、
この伴奏音データに基づいて第2階層の伴奏音を再生する下位伴奏音再生部と、
前記第2階層の伴奏音に合わせた所定パートの第2階層の生演奏音を入力する下位生演奏音入力部と、
前記第2階層の伴奏音と前記第2階層の生演奏音とを合成して放音する演奏音放音部と、
を備えた第2階層演奏装置と、
を備えたリモート演奏システム。 - 前記演奏データ出力部は、さらに、前記特定の曲の伴奏音を、前記演奏データに含めてネットワークに出力し、
前記伴奏音データ生成部は、受信した演奏データ中の生演奏音に加えて、受信した演奏データ中の伴奏音をさらに合成することにより第2階層の伴奏音データを生成する
請求項1に記載のリモート演奏システム。 - 前記第2階層演奏装置は、
前記第2階層の伴奏音の進行度合いを示す時系列情報である第2階層のビートクロックを生成するビートクロック生成部と、
前記第2階層の生演奏音および前記第2階層のビートクロックを、第2階層の演奏データとしてネットワークに出力する第2階層演奏データ出力部と、
を、さらに備え、
この第2階層演奏装置の下流に、第2階層演奏装置と同様の構成で、直接の上位階層の演奏データをネットワークから受信する下位階層演奏装置を、さらに連鎖状に備える請求項1または請求項2に記載のリモート演奏システム。 - 前記第1階層演奏装置は、
前記「所定パートの生演奏音」を演奏する演奏者を撮影し、第1階層演奏者映像として出力する撮影部と、
前記第1階層演奏者映像をネットワークに出力する映像出力部と、
を、さらに備え、
前記第2階層演奏装置は、
前記選択されたパートの第1階層演奏者映像を受信する映像受信部と、
前記「所定パートの第2階層の生演奏」を演奏する演奏者を撮影し、第2階層演奏者映像として出力する下位撮影部と、
前記第1階層演奏者映像および第2階層演奏者映像を合成した合成映像を生成する合成映像生成部と、
前記合成映像を表示する表示部と、
を備えた請求項1または請求項2に記載のリモート演奏システム。 - 前記第1階層演奏装置は、
前記「所定パートの生演奏音」を演奏する演奏者を撮影し、第1階層演奏者映像として出力する撮影部と、
前記第1階層演奏者映像をネットワークに出力する映像出力部と、
を、さらに備え、
前記第2階層演奏装置は、
前記選択されたパートの第1階層演奏者映像を受信する映像受信部と、
前記「所定パートの第2階層の生演奏」を演奏する演奏者を撮影し、第2階層演奏者映像として出力する下位撮影部と、
前記第1階層演奏者映像および第2階層演奏者映像を合成した合成映像を生成する合成映像生成部と、
前記合成映像を表示する表示部と、
前記第2階層演奏者映像をネットワークに出力する下位映像出力部と、
を備えた請求項3に記載のリモート演奏システム。 - 前記第2階層演奏装置は、
前記特定の曲の歌詞を順次表示するための時系列データである歌詞表示データを記憶する歌詞表示データ記憶部と、
前記ビートクロックに同期して前記歌詞表示データを読み出し、歌詞テロップ画像を生成する歌詞テロップ生成部と、
を、さらに備え、
前記合成映像生成部は、前記第1階層演奏者映像、第2階層演奏者映像の上に、さらに、前記歌詞テロップ画像を合成した合成映像を生成する手段である請求項4または請求項5に記載のリモート演奏システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006269275A JP2008089849A (ja) | 2006-09-29 | 2006-09-29 | リモート演奏システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006269275A JP2008089849A (ja) | 2006-09-29 | 2006-09-29 | リモート演奏システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008089849A true JP2008089849A (ja) | 2008-04-17 |
Family
ID=39374085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006269275A Pending JP2008089849A (ja) | 2006-09-29 | 2006-09-29 | リモート演奏システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008089849A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010113142A2 (en) * | 2009-04-03 | 2010-10-07 | Udayan Kanade | Musical environment for remotely connected users |
WO2014136206A1 (ja) * | 2013-03-05 | 2014-09-12 | パイオニア株式会社 | 演奏データ補正装置、演奏データ補正方法、録音再生装置、コンピュータプログラム及び記録媒体 |
US20210225345A1 (en) * | 2020-01-17 | 2021-07-22 | Yamaha Corporation | Accompaniment Sound Generating Device, Electronic Musical Instrument, Accompaniment Sound Generating Method and Non-Transitory Computer Readable Medium Storing Accompaniment Sound Generating Program |
JP2021525012A (ja) * | 2018-03-28 | 2021-09-16 | ライン プラス コーポレーションLINE Plus Corporation | ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 |
GB2610801A (en) * | 2021-07-28 | 2023-03-22 | Stude Ltd | A system and method for audio recording |
JP2023525397A (ja) * | 2020-06-25 | 2023-06-15 | ソニー・インタラクティブエンタテインメント エルエルシー | オーディオ波形サンプルを用いてライブ音楽を演奏及び録音するための方法及びシステム |
-
2006
- 2006-09-29 JP JP2006269275A patent/JP2008089849A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010113142A2 (en) * | 2009-04-03 | 2010-10-07 | Udayan Kanade | Musical environment for remotely connected users |
WO2010113142A3 (en) * | 2009-04-03 | 2010-12-02 | Udayan Kanade | Musical environment for remotely connected users |
WO2014136206A1 (ja) * | 2013-03-05 | 2014-09-12 | パイオニア株式会社 | 演奏データ補正装置、演奏データ補正方法、録音再生装置、コンピュータプログラム及び記録媒体 |
JPWO2014136206A1 (ja) * | 2013-03-05 | 2017-02-09 | パイオニア株式会社 | 演奏データ補正装置、演奏データ補正方法、録音再生装置、コンピュータプログラム及び記録媒体 |
JP2021525012A (ja) * | 2018-03-28 | 2021-09-16 | ライン プラス コーポレーションLINE Plus Corporation | ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 |
JP7164623B2 (ja) | 2018-03-28 | 2022-11-01 | ライン プラス コーポレーション | ライブ放送で発生するゲスト放送のディレイを解消する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 |
US20210225345A1 (en) * | 2020-01-17 | 2021-07-22 | Yamaha Corporation | Accompaniment Sound Generating Device, Electronic Musical Instrument, Accompaniment Sound Generating Method and Non-Transitory Computer Readable Medium Storing Accompaniment Sound Generating Program |
US11955104B2 (en) * | 2020-01-17 | 2024-04-09 | Yamaha Corporation | Accompaniment sound generating device, electronic musical instrument, accompaniment sound generating method and non-transitory computer readable medium storing accompaniment sound generating program |
JP2023525397A (ja) * | 2020-06-25 | 2023-06-15 | ソニー・インタラクティブエンタテインメント エルエルシー | オーディオ波形サンプルを用いてライブ音楽を演奏及び録音するための方法及びシステム |
JP7456019B2 (ja) | 2020-06-25 | 2024-03-26 | ソニー・インタラクティブエンタテインメント エルエルシー | オーディオ波形サンプルを用いてライブ音楽を演奏及び録音するための方法及びシステム |
GB2610801A (en) * | 2021-07-28 | 2023-03-22 | Stude Ltd | A system and method for audio recording |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4423790B2 (ja) | 実演システム、ネットワークを介した実演方法 | |
JP5331494B2 (ja) | カラオケサービスシステム、端末装置 | |
JPH08263077A (ja) | 音声変換機能付カラオケ装置 | |
JP2004538496A (ja) | ネットワーク基盤の音楽演奏/歌の伴奏サービスシステム及びその方法 | |
JP2008089849A (ja) | リモート演奏システム | |
JP2008131379A (ja) | 配信システム、および端末装置 | |
KR100819775B1 (ko) | 네트워크 기반의 음악연주/노래반주 서비스 장치, 시스템, 방법 및 기록매체 | |
JP2011237652A (ja) | 電気通信機能を備えたギターその他の楽器及び当該楽器を用いてなるエンターテインメント・システム | |
JP2008286946A (ja) | データ再生装置、データ再生方法およびプログラム | |
JP5459331B2 (ja) | 投稿再生装置及びプログラム | |
JP5109496B2 (ja) | データ配信装置、データ配信方法およびプログラム | |
KR101453177B1 (ko) | 믹싱 데이터 배신 서버 | |
WO2011111825A1 (ja) | カラオケシステム及びカラオケ演奏端末 | |
JP6220576B2 (ja) | 複数人による通信デュエットに特徴を有する通信カラオケシステム | |
JP5803956B2 (ja) | カラオケシステム及びカラオケ装置 | |
JP4586787B2 (ja) | 生演奏カラオケシステム | |
JP2008187549A (ja) | 楽器演奏アシストシステム | |
JP5342842B2 (ja) | 合唱曲のカラオケ映像作品を利用者の歌唱パートに応じて変化させるカラオケ装置 | |
Fukuda | Simulacra | |
WO2022190717A1 (ja) | コンテンツデータ処理方法およびコンテンツデータ処理装置 | |
JP2004302232A (ja) | 合唱曲や重唱曲を処理するカラオケ演奏方法およびカラオケシステム | |
JP7468111B2 (ja) | 再生制御方法、制御システムおよびプログラム | |
JP2008089854A (ja) | リモート演奏システム | |
JP2018022121A (ja) | カラオケマイナスワン | |
JP2005181585A (ja) | 演奏システム、ネットワーク演奏再生表示システム、演奏データ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090828 |