JP2002207492A - 実演システム、実演収録装置、実演管理装置、ネットワークを介した実演方法 - Google Patents

実演システム、実演収録装置、実演管理装置、ネットワークを介した実演方法

Info

Publication number
JP2002207492A
JP2002207492A JP2001003716A JP2001003716A JP2002207492A JP 2002207492 A JP2002207492 A JP 2002207492A JP 2001003716 A JP2001003716 A JP 2001003716A JP 2001003716 A JP2001003716 A JP 2001003716A JP 2002207492 A JP2002207492 A JP 2002207492A
Authority
JP
Japan
Prior art keywords
demonstration
performance
signal
mixing
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001003716A
Other languages
English (en)
Other versions
JP4423790B2 (ja
Inventor
Kohei Asada
宏平 浅田
Kazufumi Yoshida
和史 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001003716A priority Critical patent/JP4423790B2/ja
Priority to US10/043,067 priority patent/US7096080B2/en
Publication of JP2002207492A publication Critical patent/JP2002207492A/ja
Priority to US11/446,748 priority patent/US7756595B2/en
Priority to US11/446,747 priority patent/US20060224261A1/en
Application granted granted Critical
Publication of JP4423790B2 publication Critical patent/JP4423790B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04Studio equipment; Interconnection of studios

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Information Transfer Between Computers (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

(57)【要約】 【課題】 通信ネットワークを利用した実演システム実
現の容易化。 【解決手段】 数珠繋ぎ状に順番が設定された各実演収
録装置において、或る実演収録装置から次の実演収録装
置へは、それまでの全実演収録装置での実演信号がミキ
シングされた実演信号が伝送されるようにする。そして
終端(第n)の実演収録装置で、それより前の順番の全
ての実演収録装置で収録されミキシングされた実演信号
に、その実演収録装置で収録した実演信号をミキシング
することで、最終的に例えば合奏音などとして完成され
た完成実演信号を得るようにする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、離れた場所にいる
複数の実演者の実演内容(例えば演奏等)をネットワー
ク通信を介して合成(ミキシング)し、実演内容を完成
させる実演システム及び実演方法に関し、また実演シス
テムを構成する実演収録装置、実演管理装置に関するも
のである。
【0002】
【従来の技術】近年のインターネットや衛星通信などの
通信ネットワークの発展に伴って、ネットワークの多様
な利用形態が開発されている。例えば音楽演奏の分野で
は、それぞれ遠隔地にいる複数の実演者(以下、パフォ
ーマともいう)が同時に演奏を行い、収録した各演奏音
をネットワークを介してリアルタイムにミックスして、
合奏音を形成するようなことも想定されている。
【0003】
【発明が解決しようとする課題】しかしながら、各パフ
ォーマ間で同期させたリアルタイムの演奏をネットワー
クを介して実現しようとする場合は、ネットワークの伝
送容量の限界や、伝送時に発生する時間遅延により各パ
フォーマの演奏音についての同期がとれないなどの問題
から、ネットワークを介した複数パフォーマによるライ
ブ演奏等の実現は非常に困難となっている。
【0004】
【課題を解決するための手段】そこで本発明は、ネット
ワークを介した実演システム、実演方法として、伝送す
る情報量を少なくすることで伝送容量の問題を解決し、
さらに伝送時の遅延に対する適切な同期処理がとれるよ
うにすることで、ネットワークを介した複数パフォーマ
によるライブ演奏等を容易に実現できるようにすること
を目的とする。
【0005】このため本発明の実演システムは、複数の
実演収録装置が通信ネットワークを介して接続される実
演システムであって、上記各実演収録装置は、上記通信
ネットワークに接続された他の装置からの各種信号を受
信する受信手段と、上記受信手段で受信された信号もし
くは所定の同期情報に基づいて実演ガイド出力を行う出
力手段と、上記実演ガイド出力に応じて実演された内容
を実演信号として収録する収録手段と、上記収録手段で
収録された実演信号と上記受信手段で受信された他の実
演信号のミキシング処理を行うことのできるミキシング
手段と、上記収録手段で収録された実演信号もしくは上
記ミキシング手段でミキシング処理された実演信号を同
期情報とともに上記通信ネットワークに接続された他の
装置に送信する送信手段とを備える。そして各実演収録
装置について第1〜第nの順番(但しnは2以上の整
数)が設定される。第1の順番に設定された実演収録装
置は、上記送信手段により、上記収録手段で収録された
実演信号を同期情報とともに、第2の順番に設定された
実演収録装置に送信する。第2〜第nの順番に設定され
た1又は複数の各実演収録装置は、直前の順番の実演収
録装置から送信されてきた実演信号に基づいて上記出力
手段が実演ガイド出力を行なう。先頭である第1の順番
及び終端である第nの順番ではない、中間の順番に設定
された1又は複数の実演収録装置が存在する場合は、そ
の中間の順番の1又は複数の各実演収録装置は、上記収
録手段で収録された実演信号と上記受信手段で受信され
た直前の順番の実演収録装置からの実演信号を上記ミキ
シング手段でミキシング処理し、上記送信手段により、
ミキシング処理された実演信号を同期情報とともに次の
順番に設定された実演収録装置に対して送信する。
【0006】また上記構成の実演システムにおいて、上
記第nの順番に設定された実演収録装置は、上記収録手
段で収録された実演信号と上記受信手段で受信された直
前の順番の実演収録装置からの実演信号を上記ミキシン
グ手段でミキシング処理することで、全ての実演収録装
置で収録された実演信号をミキシングした完成実演信号
を得、この完成実演信号を上記送信手段により所定の装
置に対して送信する。
【0007】又は上記構成の実演システムにおいて、上
記通信ネットワークを介して上記各実演収録装置と通信
可能に接続されるとともに、同期情報に基づいて複数の
実演信号の同期補正処理を行う同期補正手段と、上記同
期補正手段で同期補正処理された複数の実演信号をミキ
シング処理するミキシング手段とを有する実演管理装置
を備えるようにする。そして第1〜第nの順番に設定さ
れた上記各実演収録装置は、上記送信手段により、上記
収録手段で収録された実演信号を同期情報とともに、上
記実演管理装置に送信する。上記実演管理装置は、上記
各実演収録装置からの実演信号について上記同期補正手
段で同期補正処理を行った後、上記ミキシング手段でミ
キシング処理することで、全ての実演収録装置で収録さ
れた実演信号をミキシングした完成実演信号を得るよう
にする。
【0008】また、上記通信ネットワークを介して上記
各実演収録装置と通信可能に接続される実演管理装置を
備え、上記各実演収録装置は、上記収録手段で収録され
た実演信号について上記ミキシング手段でのミキシング
処理の際のミキシング係数を与えるミキシング係数手段
を有し、 上記実演管理装置は、上記各実演収録装置に
対して、上記ミキシング係数手段の係数値を設定する設
定制御信号を送信する係数設定手段を有するようにす
る。またこのとき、上記実演管理装置は、同期情報に基
づいて上記各実演収録装置から実演信号の同期補正処理
を行う同期補正手段と、上記同期補正手段で同期補正処
理された複数の実演信号をミキシング処理するミキシン
グ手段と、上記ミキシング手段でミキシング処理された
実演信号を再生する再生手段と、をさらに備えるように
もする。
【0009】また上記通信ネットワークを介して上記各
実演収録装置と通信可能に接続される実演管理装置に
は、所定の実演収録装置に対して同期情報を送信する同
期情報送信手段を有するようにする。或いは、上記実演
収録装置が、同期情報を発生する同期情報発生手段を備
えるようにする。
【0010】本発明の実演収録装置は、通信ネットワー
クに接続された他の装置からの各種信号を受信する受信
手段と、上記受信手段で受信された信号もしくは所定の
同期情報に基づいて実演ガイド出力を行う出力手段と、
上記実演ガイド出力に応じて実演された内容を実演信号
として収録する収録手段と、上記収録手段で収録された
実演信号と、上記受信手段で受信された他の実演信号の
ミキシング処理を行うことのできるミキシング手段と、
上記収録手段で収録された実演信号、もしくは上記ミキ
シング手段でミキシング処理された実演信号を、同期情
報とともに、上記通信ネットワークに接続された他の装
置に送信する送信手段とを備えるようにする。また、上
記収録手段で収録された実演信号について、上記ミキシ
ング手段でのミキシング処理の際のミキシング係数を与
えるミキシング係数手段をさらに備えるものとする。ま
た、同期情報を発生する同期情報発生手段をさらに備え
るものとする。
【0011】本発明の実演管理装置は、通信ネットワー
クを介して複数の実演収録装置と通信可能に接続される
とともに、実演信号及び同期情報が上記各実演収録装置
から受信された際に、上記各同期情報に基づいて上記各
実演信号の同期補正処理を行う同期補正手段と、上記同
期補正手段で同期補正処理された各実演信号をミキシン
グ処理するミキシング手段とを備える。また、上記ミキ
シング手段でミキシング処理された実演信号を再生する
再生手段をさらに備えるようにもする。また上記各実演
収録装置に対して、ミキシング係数値を設定する設定制
御信号を送信する係数設定手段を有するようにもする。
また上記実演収録装置に対して同期情報を送信する同期
情報送信手段を有するようにもする。
【0012】本発明のネットワークを介した実演方法
は、通信ネットワークを介して接続され、第1〜第nの
順番(但しnは2以上の整数)が設定された複数の実演
収録装置による実演方法であって、第1の順番に設定さ
れた実演収録装置が、収録した実演信号を同期情報とと
もに、第2の順番に設定された実演収録装置に送信し、
第2〜第nの順番に設定された1又は複数の各実演収録
装置は、直前の順番の実演収録装置から送信されてきた
実演信号に基づいて実演ガイド出力を行ない、先頭であ
る第1の順番及び終端である第nの順番ではない、中間
の順番に設定された1又は複数の実演収録装置が存在す
る場合は、その中間の順番の1又は複数の各実演収録装
置は、収録した実演信号と、受信された直前の順番の実
演収録装置からの実演信号をミキシング処理した実演信
号を同期情報とともに次の順番に設定された実演収録装
置に対して送信し、上記第nの順番に設定された実演収
録装置は、収録した実演信号と、受信された直前の順番
の実演収録装置からの実演信号をミキシング処理するこ
とで、全ての実演収録装置で収録された実演信号をミキ
シングした完成実演信号を得、この完成実演信号を所定
の装置に対して送信するようにされていることを特徴と
する。
【0013】また本発明のネットワークを介した実演方
法は、通信ネットワークを介して接続され第1〜第nの
順番(但しnは2以上の整数)が設定された複数の実演
収録装置と、上記通信ネットワークを介して上記各実演
収録装置と通信可能に接続された実演管理装置とによっ
て行われる、実演方法であって、第1の順番に設定され
た実演収録装置が、収録した実演信号を同期情報ととも
に、第2の順番に設定された実演収録装置に送信し、第
2〜第nの順番に設定された1又は複数の各実演収録装
置は、直前の順番の実演収録装置から送信されてきた実
演信号に基づいて実演ガイド出力を行ない、先頭である
第1の順番及び終端である第nの順番ではない、中間の
順番に設定された1又は複数の実演収録装置が存在する
場合は、その中間の順番の1又は複数の各実演収録装置
は、収録した実演信号と、受信された直前の順番の実演
収録装置からの実演信号をミキシング処理した実演信号
を同期情報とともに次の順番に設定された実演収録装置
に対して送信し、第1〜第nの順番に設定された上記各
実演収録装置は、収録した実演信号を同期情報ととも
に、上記実演管理装置に送信し、上記実演管理装置は、
上記各実演収録装置からの実演信号について上記同期情
報に基づく同期補正処理を行った後、ミキシング処理す
ることで、全ての実演収録装置で収録された実演信号を
ミキシングした完成実演信号を得るようにしたことを特
徴とする。
【0014】以上のような本発明によれば、パフォーマ
の実演を収録する各実演収録装置は、ネットワーク上で
数珠つなぎ状に順番に、次の実演収録装置に対して収録
した(或いはミキシングした)オーディオデータ等の実
演信号と同期情報を送信していくものとなる。そして各
実演収録装置では、それより前の順番の全ての実演収録
装置からのミキシングされた実演信号を再生して実演の
ためのガイドとすることができる。また終端(第n)の
実演収録装置では、それより前の順番の全ての実演収録
装置で収録されミキシングされた実演信号に、その実演
収録装置で収録した実演信号をミキシングすることで、
最終的に例えば合奏音などとして完成された完成実演信
号を得ることができる。或いは、各実演収録装置からの
実演信号を実演管理装置において同期補正した上でミキ
シングすることで、完成実演信号を得ることができる。
ここで、各実演収録装置から次の実演収録装置へは、そ
れまでの実演収録装置での実演信号がミキシングされた
実演信号として伝送されるため、後段の実演収録装置に
いくほど伝送信号量が増えるということはない。つまり
必要な伝送容量が拡大しない。また、同期情報も実演信
号とともに各実演収録装置間に数珠繋ぎ状に伝送されて
いき、各装置では同期情報に基づいて抽出された実演信
号が再生され、また上記抽出された実演信号が収録され
た実演信号とミキシングされるため、ネットワーク伝送
路での時間遅延の影響のないミキシングができる。
【0015】
【発明の実施の形態】以下、本発明の実施の形態を、遠
隔地に居る複数の演奏者(パフォーマ)の各演奏音をネ
ットワークを介してミキシングしていって、合奏による
ライブ演奏を実現する例を挙げて説明する。説明は次の
順序で行う。 1.システム構成 2.パフォーマサイトの構成 3.ミキサーサイトの構成 4.システム動作 4−1 リハーサル時の動作 4−2 ミキシング係数設定時の動作 4−3 実演時の動作 5.各種変形例
【0016】1.システム構成 図1に本例の実演システムのシステム構成を示す。本例
の実演システムは、ネットワークNWに接続され、相互
に通信可能な機器により実現される各種サイトにより形
成される。例えば各種サイトはネットワーク通信機能を
備えた汎用コンピュータ装置や、各サイトとして後述す
る動作を実行するために必要な機能を備えた専用装置に
より実現できる。そして本例の実演システムの場合は、
少なくとも複数のパフォーマサイトP(P1〜Pn)及
びミキサーサイトMとしての役割を持つサイトが必要と
される。また配信サイトDにより、不特定多数もしくは
特定のエンドユーザEUに対して実演内容、即ちライブ
演奏音による音楽コンテンツを配信できるものとしてい
る。
【0017】ネットワークNWは、例えばインターネッ
ト等の公衆回線網を利用した通信ネットワークである。
もちろん専用回線、衛星通信回線網、光ファイバー網な
どの各種の通信回線網を適用できる。
【0018】パフォーマサイトP(P1〜Pn)は、そ
れぞれパフォーマが実演する実演内容を収録する機能を
備えるサイトであり、即ち本発明の実演収録装置に相当
する。このパフォーマサイトPを形成する端末の装置構
成としては、図2で後述する構成がハードウエアもしく
はソフトウエアにより用意される必要がある。例えば1
つのパフォーマサイトには一人(もしくは複数人でもよ
いが)のパフォーマが居て、楽器演奏や歌唱等の実演を
行うものとされる。そして各パフォーマサイトP1〜P
nによって各パフォーマの実演内容がオーディオデータ
形態などの実演信号として収録され、その各実演信号が
ミキシングされることで、例えばバンド演奏形態の音楽
が生成されるものである。
【0019】また各パフォーマサイトP1〜Pnは、実
際のライブ演奏の際に数珠繋ぎ状に通信を行うための順
番が設定される。例えば先頭のパフォーマサイトP1〜
終端のパフォーマサイトPnまでの順番が設定される。
なお、その順番は各パフォーマサイトとしての装置に固
有の順番ではなく、ライブ演奏の実行に際して適宜フレ
キシブルに設定されるものであればよい。例えば前回先
頭となったパフォーマサイトP1が、今回は終端のパフ
ォーマサイトとされるようにしてもよい。なお説明上
は、パフォーマサイトP1〜Pnが、その付記する
「1」〜「n」のとおりの順番に設定されているものと
する。また実演システムとして必要なパフォーマサイト
P1〜Pnの数は、最低2つとなる(n=2)。
【0020】ミキサーサイトMは、各パフォーマサイト
P1〜Pnに対しての制御を行い、収録された各実演信
号が適切にミキシングされるようにするサイトであり、
本発明の実演管理装置に相当する。ミキサーサイトMに
は後述する図3の構成が必要とされ、これらの構成がソ
フトウエア又はハードウエアにより用意されるものとな
る。
【0021】配信サイトDは、各パフォーマサイトP1
〜Pnで実演されミキシングされた音楽、つまり例えば
バンド形態のライブ演奏として完成された音楽等を受信
し、その音楽等のデータをエンドユーザEUに配信する
サイトである。いわゆる音楽サーバ等の機能を持つサイ
トとなる。配信サイトDは、パフォーマサイトP1〜P
n及びミキサーサイトMによって生成された音楽等を、
リアルタイムでエンドユーザEUに配信するようにして
もよいし、生成された音楽を一旦データベース等に格納
し、後の時点で配信してもよい。また或いは光ディス
ク、半導体メモリカード等の記録媒体に記録して、エン
ドユーザEUに販売/提供するようにしてもよい。
【0022】2.パフォーマサイトの構成 本例のパフォーマサイトP(P1〜Pn)の端末装置構
成としては、図2に示す構成がハードウエアもしくはソ
フトウエアにより用意される。なお、図2の装置内の構
成においては、各ブロックでやりとりされる各種信号の
ラインを示しているが、これはあくまでも装置内で転送
される各信号を、その種別に応じて模式的に示したもの
に過ぎず、実際のブロック間の伝送線路構造に相当する
ものではない。例えば装置内は各ブロックがいわゆるバ
ス接続されて信号が伝送されるようにしてもよいし、ま
たソフトウエア構成のブロックの場合は、装置内メモリ
に格納された必要な信号を必要に応じて読み込むような
形態でもよい。(後述するミキサーサイトMの構成を示
す図3も同様)また、この図2及び後述する図3は、機
能的なブロックとして示しているものであるが、各ブロ
ックがそれぞれハードウエアにより形成されてもよい
し、図示するブロックの全部又は一部がソフトウエア構
成とされてもよく、その場合は実際のハードウエア構成
としてはCPU、ROM、RAM、インターフェースな
どが形成されることになる。
【0023】受信部10はネットワークNWを介して当
該パフォーマサイトPに送信されてくる各種情報を受信
する。ネットワークNWを介した情報の通信は、所定の
パケットデータ方式で行われるものとする。
【0024】アンパケット処理部11は、受信部10で
受信したパケットデータ方式の情報についてアンパケッ
ト処理を行い、必要な情報を抽出する。また本例の場合
は、後述するように各パフォーマサイトPで収録された
オーディオデータ等の実演信号とともに同期情報として
タイムコードtcがネットワークNW上で送受信される
ものとしているが、アンパケット処理部11では、タイ
ムコードtcに同期した状態で受信したオーディオデー
タが出力されるようにする同期補正処理を行うようにも
している。
【0025】再生部12は、パフォーマPMに対して演
奏のガイドとなる音声を再生する部位としている。この
再生部12には、タイムコードtcが供給される場合
や、オーディオデータとしての実演信号sdm又はsd
kが供給される場合がある。上記したように各パフォー
マサイトP1〜Pnは順番が設定されるが、再生部12
に供給される信号がタイムコードtc、実演信号sd
m、sdkのいずれとなるかは、各パフォーマサイトP
の順番によって異なるものとなる。
【0026】詳しくは後述するが、例えば先頭のパフォ
ーマサイトP1の場合は、再生部12にはミキサーサイ
トMから送信されてきたタイムコードtcが供給され
る。再生部12では、タイムコードtcが供給された場
合は、そのタイムコードtcに同期してクリック音(リ
ズム/テンポのガイド音)等をスピーカ等から再生出力
する。もちろんその場合に、単純なクリック音でなく、
曲の雰囲気に応じたリズムパターンやメロディの進行が
わかるようなメロディガイド音をタイムコードtcに基
づいて出力できるようにしてもよい。
【0027】またオーディオデータとしての実演信号s
dmは、或るパフォーマサイトPよりも前の順番の複数
のパフォーマサイトのそれぞれで収録され、ミキシング
されたオーディオデータを示しており、一方、実演信号
sdkは、或るパフォーマサイトPで収録され後述する
ミキシング/パン係数部15でミキシング係数が与えら
れたオーディオデータを示している。つまり実演信号s
dkは1つのパフォーマサイトPで収録されてミキシン
グ係数が与えられたオーディオデータ、実演信号sdm
は2つ以上のパフォーマサイトPで収録されたオーディ
オデータがミキシングされたオーディオデータとしてい
る。順番が2番目以降とされたパフォーマサイトPで
は、これら実演信号sdm又はsdkが再生部12に供
給されることとなるが、その場合は、再生部12はその
実演信号sdm又はsdkとしてのオーディオデータ
(例えばPCMリニアオーディオデータ)について、D
/A変換処理、増幅処理等を行って再生音声をスピーカ
等から出力する。
【0028】再生部12から出力される、これらのクリ
ック音や前のパフォーマサイトPの実演音声は、当該パ
フォーマサイトPのパフォーマPMが演奏するためのガ
イド音声となる。つまり各パフォーマサイトPでは、パ
フォーマPMはクリック音や前のパフォーマサイトPの
実演音声に合わせて自分の楽器を演奏したり歌唱を行う
ものとなる。
【0029】表示部13は、パフォーマPMに対して映
像的なガイドを表示出力するために設けられている。例
えばライブ演奏を行う曲の楽譜がパフォーマPMに対し
て表示される。この表示部13に対しては受信したタイ
ムコードtcが供給され、表示部13はタイムコードt
cに基づいて、楽譜上での現在の演奏位置を提示するよ
うにする。再生部12でタイムコードtcに基づいたク
リック音等が再生出力されている場合は、当然楽譜上の
現在位置の表示と再生音声が同期されるものとなる。ま
た再生部12で実演信号sdm、sdkの再生が行われ
る場合も、上記アンパケット処理の際にタイムコードt
cと実演信号sdm、sdkは同期処理されるため、再
生音と楽譜上の現在位置の表示とは同期される。従って
各パフォーマPMは、再生音や楽譜表示に基づいて、他
のパフォーマPMの演奏に合わせて自分の演奏ができる
ものとなる。なお、表示される楽譜データ自体は、予め
ミキサーサイトMから送信されて(或いはパッケージメ
ディアにより送付されて)保存されるようにしてもよい
し、パフォーマサイトPにおいて独自に用意するもので
あってもよい。
【0030】収録部14はマイクロフォンシステム、M
IDI音源システム、ライン入力システムや、A/D変
換器などを備え、パフォーマPMによって演奏又は歌唱
された内容を2チャンネルのデジタルオーディオデータ
として収録できるシステムにより構成される。そして収
録部14で収録されたパフォーマPMの演奏内容は、ス
テレオ2チャンネルのオーディオデータとしての実演信
号sdとして出力される。なお、実演信号sdとは、説
明上、収録部14から出力された段階の信号を示すもの
としている。
【0031】ミキシング/パン係数部15は、2チャン
ネルオーディオデータとしての実演信号sdについて、
後段のステレオミックス部16での他の実演信号とミキ
シングする際の係数を与え、実演信号sdkとして出力
する。ここでいうミキシング係数とは、オーディオレベ
ル及びステレオL、Rチャンネルでの定位(パンニン
グ)を設定する係数とする。実演信号sdに対して、所
要のオーディオレベルとするための係数演算が行われる
ことで、他の実演信号sdk、sdmとミキシングする
際のミキシングバランスが適切に設定される。またパン
ニング係数演算が行われることで当該実演信号sdの2
チャンネルステレオにおける定位が設定されることにな
る。このミキシング/パン係数部15における係数値
は、ミキサーサイトMから送信されてくる係数制御信号
msにより設定される。但し、パフォーマPMもしくは
当該パフォーマサイトPの操作者が手動設定できるよう
にしてもよい。
【0032】ステレオミックス部16は、上記ミキシン
グ/パン係数部15でミキシング係数が与えられたステ
レオ2チャンネルの実演信号sdkと、他のパフォーマ
サイトPより送信されてきたステレオ2チャンネルの実
演信号sdk又はsdmとを、ミキシングして、ミキシ
ングされたステレオ2チャンネルの実演信号sdmを出
力する。
【0033】パケット処理部17は、当該パフォーマサ
イトPからネットワークNWを介して他のサイトへ送信
するデータのパケット化処理を行う。送信するオーディ
オデータとしては、実演信号sd又はsdk又はsdm
と、タイムコードtcとなる。パケット化の際には、2
チャンネルのストリームデータである実演信号sd又は
sdk又はsdmと、タイムコードtcを同期化するよ
うにする。パケットデータフォーマットは多様な例が考
えられるが、いずれにしても実演信号sd又はsdk又
はsdmとしてのデータストリームのタイミングと、タ
イムコードtcとしての各タイムコード値が対応づけら
れる形態であればよい。
【0034】送信部18は、パケット処理部17でパケ
ット化されたデータをネットワークNWを介して送信す
る。即ち上述した2チャンネルのオーディオストリーム
データとタイムコードを他のパフォーマサイトPに送信
したり、ミキサーサイトMや他のパフォーマサイトPと
の間で必要な各種制御情報の送信を行う。
【0035】3.ミキサーサイトの構成 図3は、上記図2と同様に機能ブロックとしてのミキサ
ーサイトMの構成を示している。本例のミキサーサイト
Mは、各パフォーマサイトPにおいてパフォーマPMの
演奏の基準となるタイミングを提供する機能と、ミキシ
ング係数を設定制御する機能、及び各パフォーマサイト
Pにおいて収録された実演信号sdをミキシングして再
生する機能を備える。
【0036】パケット処理部32は、当該ミキサーサイ
トMからネットワークNWを介して他のサイトへ送信す
るデータのパケット化処理を行う。送信部31は、パケ
ット処理部32でパケット化されたデータをネットワー
クNWを介して他のサイトに送信する。
【0037】各パフォーマサイトPにおける演奏タイミ
ングを設定するための機能として、タイムコード発生部
33が設けられる。タイムコード発生部33は、演奏実
行時において、ストリームデータ的にタイムコードtc
を発生させる。このタイムコードtcは、パケット処理
部32でパケット化され、送信部31により先頭のパフ
ォーマサイトP1のみに対して送信されることになる。
【0038】受信部36は、ネットワークNWを介して
当該ミキサーサイトMに送信されてくる各種情報を受信
する。アンパケット処理部37は、受信部36で受信し
たパケットデータ方式の情報についてアンパケット処理
を行い、必要な情報を抽出する。
【0039】また本例の場合は、後述するように各パフ
ォーマサイトPで収録されたオーディオデータ等の実演
信号Sdと同期情報としてタイムコードtcが、ミキサ
ーサイトMに対して送信されてくる場合がある。つまり
複数のパフォーマサイトPが、それぞれタイムコードt
cと同期化された実演信号sdを、ミキサーサイトMに
送信してくる。この場合、各パフォーマサイトPからの
各実演信号sdは、それぞれネットワーク伝送により発
生する時間遅延を持って、ミキサーサイトMに受信され
る。換言すれば各パフォーマサイトPの演奏音が、それ
ぞれ個別に、時間遅延を有してミキサーサイトMに供給
される。ところが各実演信号sdは、それぞれ各パフォ
ーマサイトPからの送信時にタイムコードtcとの同期
化がおこなわれているため、各実演信号sdについての
タイムコードtcを用いて、各実演信号sdの時間差を
補正することができる。このような処理が、バッファリ
ング/同期補正部38で行われる。具体的には、各パフ
ォーマサイトP1〜Pnからの各実演信号sd1〜sd
nをそれぞれバッファリングし、それぞれに対応するタ
イムコードtc1〜tcnを一致させるタイミングで、
各実演信号sd1〜sdnを出力する。これにより、各
パフォーマサイトP1〜Pnからの各実演信号sd1〜
sdnを、それぞれ時間遅延のない同期したタイミング
で出力できる。
【0040】ミキシング再生部35は、上記のように同
期補正された各パフォーマサイトP1〜Pnからの各実
演信号sd1〜sdnが供給され、これらをミキシング
する。ミキシング操作はミキシングエンジニアMMが行
う。つまりミキシングエンジニアMMが各実演信号sd
について設定操作したミキシングレベルやパンニング状
態に基づいて、各実演信号sdがミキシングされ、各パ
フォーマPMの合奏音声としてのオーディオデータが得
られる。さらにミキシング再生部35は、ミキシングし
たオーディオデータについての再生処理を行い、スピー
カ等から出力する。従ってミキシングエンジニアMM
は、再生音声を聞きながら、最適なミキシングレベル、
パンニング状態を調節する作業を行うことができる。
【0041】ミキシング係数設定部34は、各パフォー
マサイトP1〜Pnのそれぞれに対して指示するミキシ
ング係数の設定制御信号msを発生する。各パフォーマ
サイトP1〜Pnに指示するミキシング係数は、ミキシ
ング再生部35においてミキシングエンジニアが最適な
ミキシング状態とした際のミキシング係数とすればよ
い。つまり最適なミキシング状態とされた際の各実演信
号sd1〜sdnのそれぞれについてのミキシングレベ
ル及びパンニング状態が、各パフォーマサイトP1〜P
nにおいて実演信号sdkとして得られるようにミキシ
ング/パン係数部15の係数値を設定するように、各パ
フォーマサイトP1〜Pnに対するミキシング係数ms
が生成されればよい。
【0042】4.システム動作 4−1 リハーサル時の動作 以上のようなパフォーマサイトP1〜Pn、及びミキサ
ーサイトMにより構成される実演システムの動作につい
て説明していく。本例の場合、ライブ演奏の実演が行わ
れる準備として、リハーサル段階の通信、及びミキシン
グ係数設定段階の通信が行われる。ここではまずリハー
サル段階の動作について説明する。なお、リハーサル段
階の動作としては、図4,図5をそれぞれ参照して、2
つの通信動作例を説明する。
【0043】なお、以降説明する図4〜図8の各図は、
各サイト間で通信される信号経路を示すものとしてい
る。また、上述したパフォーマサイトP及びミキサーサ
イトMの機能ブロックのうちで、受信部10、36、送
信部18、31、パケット処理部17、32、アンパケ
ット処理部11、37、バッファリング/同期補正部3
8は、図示を省略しており、これらのブロックで上述し
た同期化又は同期補正が行われる信号経路については、
同期処理20、同期補正処理21又は40としてのブロ
ックで表現するものとしている。
【0044】また、説明の簡略化のため、パフォーマサ
イトPの数をP1〜P3の3つとし、それぞれを先頭パ
フォーマサイトP1、中間パフォーマサイトP2、終端
パフォーマサイトP3とも呼ぶこととする。そして、先
頭パフォーマサイトP1のパフォーマPM1はドラム奏
者、中間パフォーマサイトP2のパフォーマPM2はベ
ース奏者、終端パフォーマサイトP3のパフォーマPM
3はボーカル(歌唱者)とし、ドラム、ベース、ボーカ
ルによる演奏が行われる例とする。
【0045】なお実際のシステムは、パフォーマサイト
Pの数は2以上であればよく、またそのパフォーマサイ
トPの数は、パフォーマPMの数などに応じて実演時毎
に決められればよい(パフォーマサイトPの数はシステ
ムとして固定的なものではない)。そして、2つのパフ
ォーマサイトPで実演を行う場合は、以下説明していく
中間パフォーマサイトが存在しないものと考えればよ
い。また4以上のパフォーマサイトPで実演を行う場合
は、中間パフォーマサイトの動作を行うパフォーマサイ
トPが複数になると考えればよい。
【0046】<リハーサル時の通信動作例1>図4にリ
ハーサル時の通信動作例1を示す。リハーサル時には、
ミキサーサイトMがタイムコード発生部33からタイム
コードtcを発生させ、先頭パフォーマサイトP1に送
信する。
【0047】先頭パフォーマサイトP1では、受信され
たタイムコードtcに基づいて、再生部12がクリック
音等の演奏ガイド音を再生出力させるとともに、表示部
13で表示されている楽譜画像上で進行位置の表示を行
う。そして先頭パフォーマサイトP1のパフォーマPM
1は、クリック音や楽譜表示に合わせてドラム演奏を行
う。
【0048】この先頭パフォーマサイトP1において、
パフォーマPM1のドラム演奏音は収録部14により2
チャンネルのオーディオデータとして収録され、実演信
号sd1として出力される。この実演信号sd1は、受
信されているタイムコードtcと同期化処理20が行わ
れて、共にミキサーサイトMに送信される。また先頭パ
フォーマサイトP1は、タイムコードtcを中間パフォ
ーマサイトP2に送信する。
【0049】中間パフォーマサイトP2では、受信され
たタイムコードtcに基づいて、再生部12がクリック
音等の演奏ガイド音を再生出力させるとともに、表示部
13で表示されている楽譜画像上で進行位置の表示を行
う。そして中間パフォーマサイトP2のパフォーマPM
2は、クリック音や楽譜表示に合わせてベース演奏を行
う。なお、ネットワーク伝送の際の遅延により、中間パ
フォーマサイトP2において受信されるタイムコードt
cは、先頭パフォーマサイトP1において受信されるタ
イムコードtcに対して時間遅延が発生しているものと
なる。従って、パフォーマPM1のドラム演奏とパフォ
ーマPM2のベース演奏は、その時間遅延分だけずれた
タイミングで行われる。
【0050】この中間パフォーマサイトP2において、
パフォーマPM2のベース演奏音は収録部14により2
チャンネルのオーディオデータとして収録され、実演信
号sd2として出力される。この実演信号sd2は、受
信されているタイムコードtcと同期化処理20が行わ
れて、共にミキサーサイトMに送信される。また中間パ
フォーマサイトP2は、タイムコードtcを終端パフォ
ーマサイトP3に送信する。
【0051】終端パフォーマサイトP3では、受信され
たタイムコードtcに基づいて、再生部12がクリック
音等の演奏ガイド音を再生出力させるとともに、表示部
13で表示されている楽譜画像上で進行位置の表示を行
う。そして終端パフォーマサイトP3のパフォーマPM
3は、クリック音や楽譜表示に合わせて歌唱を行う。な
お、この場合もネットワーク伝送の際の遅延により、終
端パフォーマサイトP3において受信されるタイムコー
ドtcは、先頭パフォーマサイトP1において受信され
るタイムコードtc、及び中間パフォーマサイトP2に
おいて受信されるタイムコードtcのそれぞれに対して
時間遅延が発生しているものとなる。従って、パフォー
マPM3の歌唱も、パフォーマPM1のドラム演奏やパ
フォーマPM2のベース演奏と、その時間遅延分だけず
れたタイミングで行われる。
【0052】この終端パフォーマサイトP3において、
パフォーマPM3の歌唱音声は収録部14により2チャ
ンネルのオーディオデータとして収録され、実演信号s
d3として出力される。この実演信号sd3は、受信さ
れているタイムコードtcと同期化処理20が行われ
て、共にミキサーサイトMに送信される。
【0053】以上の各パフォーマサイトP1〜P3の動
作により、ミキサーサイトMには、先頭パフォーマサイ
トP1からの実演信号sd1とタイムコードtc、中間
パフォーマサイトP2からの実演信号sd2とタイムコ
ードtc、終端パフォーマサイトP3の実演信号sd3
とタイムコードtcが送信されてくる。ただし、ネット
ワーク伝送時に発生する遅延により、実演信号sd1、
sd2、sd3は、多少タイミングのずれたものとなっ
ている。つまり終端パフォーマサイトP3にいくほど遅
れが大きくなる。そこで、各実演信号sd1、sd2、
sd3とともに送信されてくるタイムコードtcを基準
にして、同期補正処理40が行われる。つまり各実演信
号sd1、sd2、sd3が、それぞれタイムコードt
cが一致するタイミングでミキシング再生部35に供給
されるようにする。これにより、ミキシング再生部35
では、ネットワーク伝送に伴う時間ずれのない状態で、
各実演信号sd1、sd2、sd3をミキシング処理す
ることができる。そしてミキシングエンジニアMMは、
ミキシングされた後の再生音、つまりドラム演奏音、ベ
ース演奏音、歌唱音がミックスされた音声を聞きながら
ミキシング再生部35を操作して、最適なミキシング状
態を得る作業を行うことになる。最適なミキシング状態
が得られた時点で、次のミキシング係数設定段階に移
る。
【0054】<リハーサル時の通信動作例2>リハーサ
ル時の通信動作としては、図5のような例も考えられ
る。上記図4の動作例の場合は、各パフォーマPM1〜
PM3の全てが、タイムコードtcに基づくクリック音
を頼りに演奏することになる。これはパフォーマによっ
ては演奏しずらいものとなる場合がある。例えばドラム
奏者の場合は、クリック音を頼りに演奏することがさほ
ど困難とならないが、特にリード楽器奏者や歌唱者など
は、実際の他者の演奏音が聞けることが好ましい。リハ
ーサル時であることを考えれば、図4の動作方式でも問
題ないが、リハーサル時の演奏を本番の実演時の状態に
近づけるには、以下のようにすることが望ましい。つま
り先頭パフォーマサイトP1のパフォーマPM1以外の
パフォーマPMは、それより前の順番のパフォーマPM
の演奏音をモニタリングできるようにするものである。
【0055】この場合も図5に示すようにリハーサル時
には、ミキサーサイトMがタイムコード発生部33から
タイムコードtcを発生させ、先頭パフォーマサイトP
1に送信する。先頭パフォーマサイトP1では、受信さ
れたタイムコードtcに基づいて、再生部12がクリッ
ク音等の演奏ガイド音を再生出力させるとともに、表示
部13で表示されている楽譜画像上で進行位置の表示を
行う。そして先頭パフォーマサイトP1のパフォーマP
M1は、クリック音や楽譜表示に合わせてドラム演奏を
行う。
【0056】この先頭パフォーマサイトP1において、
パフォーマPM1のドラム演奏音は収録部14により2
チャンネルのオーディオデータとして収録され、実演信
号sd1として出力される。この実演信号sd1は、受
信されているタイムコードtcと同期化処理20が行わ
れて、共にミキサーサイトMに送信される。また収録さ
れた実演信号sd1は、ミキシング/パン係数部15で
ミキシング係数処理された実演信号sdk1とされ、こ
の実演信号sdk1は、受信されているタイムコードt
cとの同期化処理20が行われて中間パフォーマサイト
P2に送信される。
【0057】なお、この場合のミキシング係数は暫定的
なものでよく、例えば先頭パフォーマサイトP1のパフ
ォーマPM1又はオペレータが任意に設定すればよい。
或いは、ミキサーサイトMが、後述するミキシング係数
設定時のようにミキシング係数制御信号msを各パフォ
ーマサイトPに送信し、暫定的な(リハーサル用の)ミ
キシング係数を設定させるようにしてもよい。
【0058】中間パフォーマサイトP2では、先頭パフ
ォーマサイトP1から送信されてきた実演信号sdk1
及びタイムコードtcについて同期補正処理21を行
う。つまり実演信号sdk1をタイムコードtcに合わ
せたリアルタイムのストリームデータとして抽出する。
そしてその実演信号sdk1を再生部35に供給し、再
生部25において実演信号sdk1(つまりドラム演奏
音)を再生させる。また受信されたタイムコードtcに
基づいて、表示部13で表示されている楽譜画像上で進
行位置の表示を行う。
【0059】この中間パフォーマサイトP2のパフォー
マPM2は、ドラム演奏音と楽譜表示に合わせてベース
演奏を行う。なお、ネットワーク伝送の際の遅延によ
り、中間パフォーマサイトP2において受信されるタイ
ムコードtc及び実演信号sdk1は、先頭パフォーマ
サイトP1において受信されるタイムコードtcに対し
て時間遅延が発生しているものとなる。従って、中間パ
フォーマサイトP2で再生されるドラム演奏音は、先頭
パフォーマサイトP1での実際のドラム演奏タイミング
より多少遅れたものとなる。しかしながらパフォーマP
M2のベース演奏は、あくまでも再生される(遅延を持
った)ドラム演奏音に合わせて行われる。
【0060】この中間パフォーマサイトP2において、
パフォーマPM2のベース演奏音は収録部14により2
チャンネルのオーディオデータとして収録され、実演信
号sd2として出力される。この実演信号sd2は、受
信されているタイムコードtcと同期化処理20が行わ
れて、共にミキサーサイトMに送信される。また収録さ
れた実演信号sd1は、ミキシング/パン係数部15
で、上記同様に任意のミキシング係数で演算処理された
実演信号sdk2とされ、さらにこの実演信号sdk2
は、ステレオミックス部16で、受信されている実演信
号sdk1とミキシングされて実演信号sdm12(ド
ラム演奏音+ベース演奏音)として出力される。そして
実演信号sdm12は、受信されているタイムコードt
cとの同期化処理20が行われて終端パフォーマサイト
P3に送信される。
【0061】終端パフォーマサイトP3では、中間パフ
ォーマサイトP2から送信されてきた実演信号sdm1
2及びタイムコードtcについて同期補正処理21を行
う。つまり実演信号sdm12をタイムコードtcに合
わせたリアルタイムのストリームデータとして抽出す
る。そしてその実演信号sdm12を再生部35に供給
し、再生部25において実演信号sdm12(つまりド
ラム演奏音とベース演奏音がミックスされた音)を再生
させる。また受信されたタイムコードtcに基づいて、
表示部13で表示されている楽譜画像上で進行位置の表
示を行う。
【0062】そして終端パフォーマサイトP3のパフォ
ーマPM3は、ドラム及びベースの演奏音や楽譜表示に
合わせて歌唱を行う。なお、この場合もネットワーク伝
送の際の遅延により、終端パフォーマサイトP3におい
て再生される演奏音及びタイムコードtcは、先頭及び
中間パフォーマサイトP1、P2での実際の演奏タイミ
ングから遅れたものとなっている。しかしながらボーカ
ル歌唱は、あくまでも再生される(遅延を持った)ドラ
ム及びベース演奏音に合わせて行われる。
【0063】この終端パフォーマサイトP3において、
パフォーマPM3の歌唱音声は収録部14により2チャ
ンネルのオーディオデータとして収録され、実演信号s
d3として出力される。この実演信号sd3は、受信さ
れているタイムコードtcと同期化処理20が行われ
て、共にミキサーサイトMに送信される。
【0064】以上の各パフォーマサイトP1〜P3の動
作により、ミキサーサイトMには、先頭パフォーマサイ
トP1からの実演信号sd1とタイムコードtc、中間
パフォーマサイトP2からの実演信号sd2とタイムコ
ードtc、終端パフォーマサイトP3の実演信号sd3
とタイムコードtcが送信されてくる。この場合、ミキ
サーサイトMの動作は上記図4の場合と同様であるため
詳細な説明は省略するが、上記のようなネットワーク伝
送時の遅延により時間ずれを持って送信されてくる各実
演信号sd1、sd2、sd3を、各タイムコードtc
を基準にして同期補正処理40を行ない、ミキシング再
生部35に供給する。ミキシング再生部35では、ネッ
トワーク伝送に伴う時間ずれのない状態で、各実演信号
sd1、sd2、sd3をミキシング処理する。そして
ミキシングエンジニアMMは、ミキシングされた後の再
生音を聞きながら最適なミキシング状態を得る作業を行
うことになる。最適なミキシング状態が得られた時点
で、次のミキシング係数設定段階に移る。
【0065】4−2 ミキシング係数設定時の動作 ミキシング係数を設定する際の通信状態を図6に示す。
上記の図4又は図5の通信動作によりミキサーサイトM
では、各パフォーマPMによる実演信号sd1、sd
2、sd3のミキシング状態をミキシングエンジニアM
Mが最適と考える状態、即ち各実演信号sd1、sd
2、sd3のミキシングレベル及び定位を設定できる
が、続いて、実際に各パフォーマサイトP1〜P3で、
同様の最適なミキシング状態が得られるようにする。
【0066】このためミキサーサイトMでは、ミキシン
グ再生部35において最適ミキシング状態における、各
実演信号sd1、sd2、sd3についてのミキシング
係数をミキシング係数設定部34に伝え、ミキシング係
数設定部34は、各パフォーマサイトP1〜P3に対す
る係数制御信号ms1、ms2、ms3を生成する。即
ち先頭パフォーマサイトP1に対する係数制御信号ms
1として、ミキシング再生部35で実演信号sd1に与
えられているミキシング係数が、先頭パフォーマサイト
P1のミキシング/パン係数部15でも与えられるよう
にする係数制御信号ms1を生成する。また中間パフォ
ーマサイトP2に対する係数制御信号ms2として、ミ
キシング再生部35で実演信号sd2に与えられている
ミキシング係数が、中間パフォーマサイトP2のミキシ
ング/パン係数部15でも与えられるようにする係数制
御信号ms2を生成する。さらに終端パフォーマサイト
P3に対する係数制御信号ms3として、ミキシング再
生部35で実演信号sd3に与えられているミキシング
係数が、終端パフォーマサイトP3のミキシング/パン
係数部15でも与えられるようにする係数制御信号ms
3を生成する。
【0067】そしてミキサーサイトMは、これら係数制
御信号ms1、ms2、ms3を、それぞれ各パフォー
マサイトP1、P2、P3に送信する。各パフォーマサ
イトP1、P2、P3では、それぞれ係数制御信号ms
1、ms2、ms3によって、ミキシング/パン係数部
15での乗算係数が設定されることになる。この係数設
定が完了した時点で、本番の実演の準備が完了したこと
になる。
【0068】4−3 実演時の動作 上記のリハーサル及びミキシング係数設定を終えた後に
行われる、ライブ演奏の実演時の通信状態として、図
7,図8の2つの例を説明する。
【0069】<実演時の通信動作例1>まず図7の通信
動作例を説明する。実演開始とともに、図7に示すよう
に、ミキサーサイトMがタイムコード発生部33からタ
イムコードtcを発生させ、先頭パフォーマサイトP1
に送信する。先頭パフォーマサイトP1では、受信され
たタイムコードtcに基づいて、再生部12がクリック
音等の演奏ガイド音を再生出力させるとともに、表示部
13で表示されている楽譜画像上で進行位置の表示を行
う。そして先頭パフォーマサイトP1のパフォーマPM
1は、クリック音や楽譜表示に合わせてドラム演奏を行
う。
【0070】この先頭パフォーマサイトP1において、
パフォーマPM1のドラム演奏音は収録部14により2
チャンネルのオーディオデータとして収録され、実演信
号sd1として出力される。この実演信号sd1は、ミ
キシング/パン係数部15でミキシング係数の乗算が行
われ、実演信号sdk1として出力される。この場合の
ミキシング係数は、上記ミキシング係数設定時に設定さ
れた、ドラム演奏音についての最適ミキシング状態を得
る係数値である。そしてこの実演信号sdk1は、受信
されているタイムコードtcと同期化処理20が行われ
て中間パフォーマサイトP2に送信される。
【0071】中間パフォーマサイトP2では、先頭パフ
ォーマサイトP1から送信されてきた実演信号sdk1
及びタイムコードtcについて同期補正処理21を行
う。つまり実演信号sdk1をタイムコードtcに合わ
せたリアルタイムのストリームデータとして抽出する。
そしてその実演信号sdk1を再生部35に供給し、再
生部25において実演信号sdk1(ドラム演奏音)を
再生させる。また受信されたタイムコードtcに基づい
て、表示部13で表示されている楽譜画像上で進行位置
の表示を行う。
【0072】この中間パフォーマサイトP2のパフォー
マPM2は、ドラム演奏音と楽譜表示に合わせてベース
演奏を行う。中間パフォーマサイトP2において、パフ
ォーマPM2のベース演奏音は収録部14により2チャ
ンネルのオーディオデータとして収録され、実演信号s
d2として出力される。そして収録された実演信号sd
2は、ミキシング/パン係数部15で、上述のミキシン
グ係数設定段階で設定された、ベース演奏音についての
最適なミキシング係数で演算処理された実演信号sdk
2とされる。さらにこの実演信号sdk2は、ステレオ
ミックス部16で、受信されている実演信号sdk1と
ミキシングされて実演信号sdm12(ドラム演奏音+
ベース演奏音)として出力される。そして実演信号sd
m12は、受信されているタイムコードtcとの同期化
処理20が行われて終端パフォーマサイトP3に送信さ
れる。
【0073】終端パフォーマサイトP3では、中間パフ
ォーマサイトP2から送信されてきた実演信号sdm1
2及びタイムコードtcについて同期補正処理21を行
う。つまり実演信号sdm12をタイムコードtcに合
わせたリアルタイムのストリームデータとして抽出す
る。そしてその実演信号sdm12を再生部35に供給
し、再生部25において実演信号sdm12(ドラム演
奏音とベース演奏音がミックスされた音)を再生させ
る。また受信されたタイムコードtcに基づいて、表示
部13で表示されている楽譜画像上で進行位置の表示を
行う。
【0074】そして終端パフォーマサイトP3のパフォ
ーマPM3は、ドラム及びベースの演奏音や楽譜表示に
合わせて歌唱を行う。この終端パフォーマサイトP3に
おいて、パフォーマPM3の歌唱音声は収録部14によ
り2チャンネルのオーディオデータとして収録され、実
演信号sd3として出力される。そして収録された実演
信号sd3は、ミキシング/パン係数部15で、上述の
ミキシング係数設定段階で設定された、ボーカル音声に
ついての最適なミキシング係数で演算処理された実演信
号sdk3とされる。さらにこの実演信号sdk3は、
ステレオミックス部16で、受信されている実演信号s
dm12とミキシングされて実演信号sdm123(ド
ラム演奏音+ベース演奏音+歌唱音)とされる。
【0075】この実演信号sdm123は、各パフォー
マサイトP1〜P3のそれぞれで実演された音声が、そ
えぞれ最適なレベル及びステレオ定位状態でミキシング
された、2チャンネルのオーディオストリームデータで
ある。即ち3人のパフォーマPM1,PM2,PM3の
演奏音声がミックスされたバンド演奏音として完成され
たオーディオデータである。従って、この終端パフォー
マサイトP3で得られる実演信号sdm123は、完成
音データとして配信サイトDに送信され、エンドユーザ
EUに対する配信コンテンツとして扱われるものとな
る。
【0076】このような通信動作によれば、ネットワー
ク通信の際の信号遅延の影響がない状態で、最終的な合
奏音(実演信号sdm123)を得ることができる。即
ち、各パフォーマサイトP1〜P3への数珠繋ぎ状の送
信の際には、信号遅延は発生し、従って、各パフォーマ
PM1,PM2,PM3の演奏自体を時間的にみれば多
少ずれたものとなるが、パフォーマサイトP2、P3の
ステレオミックス部16でミキシングされる各実演信号
は、時間ずれが発生しないものとなる。即ち例えばパフ
ォーマPM2は、あくまで受信されたタイミングでの実
演信号sdk1(ドラム演奏音)に合わせてベース演奏
を行い、そのドラム演奏音としての実演信号sdk1
と、ベース演奏音としての実演信号sdk2がステレオ
ミックス部16でミキシングされるものであるため、ネ
ットワーク伝送時の遅延の影響を受けない。終端パフォ
ーマサイトP3の場合も同様であり、実演信号sdm1
2と実演信号sdk3は時間ずれなくミキシングされ
る。このため、終端パフォーマサイトP3からの完成実
演信号sdm123は、通信時の遅延の影響のないミキ
シングデータとなる。
【0077】また、上記リハーサル段階及びミキシング
係数設定段階の動作により、各パフォーマサイトP1〜
P3のミキシング/パン係数部15の係数値は最適状態
に設定されているため、完成実演信号sdm123は、
リハーサル段階でミキシングエンジニアMMが最適と判
断したミキシング状態のデータとなっており、各楽器の
音量バランスや定位状態が、予期しない不適切な状態と
なることはない。
【0078】また、各パフォーマサイトP1〜P3間の
通信は、どの時点でも2チャンネルのオーディオデータ
ストリームとタイムコードtcを含むパケットデータで
あるため、データ容量が拡大するものではない。つま
り、順番にミキシングしながら次のパフォーマサイトP
にデータ送信するため、チャンネル数が順に拡大してい
って終端パフォーマサイトP3に近づくほど伝送データ
容量が多くなるといったことはない。従ってネットワー
ク通信に対して多大な伝送容量を要求しない、通信トラ
フィックの少ないシステムとすることができ、実現は容
易なものとなる。
【0079】さらに、2番目以降のパフォーマサイトP
のパフォーマPMは、それより前の順番のパフォーマサ
イトPのパフォーマPMの演奏音を聴きながら実際の演
奏を行うことになる。これにより各パフォーマPMの演
奏のしやすさが向上されると共に、他のパフォーマPM
の演奏の「ノリ」を感じながら演奏できるために、実際
に同一場所で同時に演奏している状態に近い演奏を行う
ことができる。これは完成実演信号sdm123とし
て、「ノリ」や「グルーブ感」のある合奏音声を提供で
きるものとなり、エンドユーザEUに対して、ライブ感
のある演奏音を提供できる。
【0080】そしてこのようなライブ演奏が、各パフォ
ーマPMの居場所が離れていても実現できるため、多様
な実演コンテンツを提供できる。例えば国内と海外のミ
ュージシャンによる同時演奏なども容易に実現できる。
【0081】<実演時の通信動作例2>次に図8で実演
時の他の通信動作例を説明する。この場合も実演開始と
ともに、図8に示すように、ミキサーサイトMがタイム
コード発生部33からタイムコードtcを発生させ、先
頭パフォーマサイトP1に送信する。先頭パフォーマサ
イトP1では、受信されたタイムコードtcに基づい
て、再生部12がクリック音等の演奏ガイド音を再生出
力させるとともに、表示部13で表示されている楽譜画
像上で進行位置の表示を行う。そして先頭パフォーマサ
イトP1のパフォーマPM1は、クリック音や楽譜表示
に合わせてドラム演奏を行う。
【0082】この先頭パフォーマサイトP1において、
パフォーマPM1のドラム演奏音は収録部14により2
チャンネルのオーディオデータとして収録され、実演信
号sd1として出力される。この実演信号sd1は、ミ
キシング/パン係数部15で、ミキシング係数設定時に
設定された最適ミキシング状態を得るミキシング係数の
乗算が行われ、実演信号sdk1として出力される。そ
してこの実演信号sdk1は、受信されているタイムコ
ードtcと同期化処理20が行われて中間パフォーマサ
イトP2に送信される。また、収録部14で収録された
実演信号sd1は、受信されているタイムコードtcと
同期化処理20が行われてミキサーサイトMに送信され
る。
【0083】中間パフォーマサイトP2では、先頭パフ
ォーマサイトP1から送信されてきた実演信号sdk1
及びタイムコードtcについて同期補正処理21を行
う。つまり実演信号sdk1をタイムコードtcに合わ
せたリアルタイムのストリームデータとして抽出する。
そしてその実演信号sdk1を再生部35に供給し、再
生部25において実演信号sdk1(ドラム演奏音)を
再生させる。また受信されたタイムコードtcに基づい
て、表示部13で表示されている楽譜画像上で進行位置
の表示を行う。
【0084】この中間パフォーマサイトP2のパフォー
マPM2は、ドラム演奏音と楽譜表示に合わせてベース
演奏を行う。中間パフォーマサイトP2において、パフ
ォーマPM2のベース演奏音は収録部14により2チャ
ンネルのオーディオデータとして収録され、実演信号s
d2として出力される。そして収録された実演信号sd
2は、ミキシング/パン係数部15で、上述のミキシン
グ係数設定段階で設定された最適なミキシング係数で演
算処理された実演信号sdk2とされる。さらにこの実
演信号sdk2は、ステレオミックス部16で、受信さ
れている実演信号sdk1とミキシングされて実演信号
sdm12(ドラム演奏音+ベース演奏音)として出力
される。そして実演信号sdm12は、受信されている
タイムコードtcとの同期化処理20が行われて終端パ
フォーマサイトP3に送信される。また、収録部14で
収録された実演信号sd2は、受信されているタイムコ
ードtcと同期化処理20が行われてミキサーサイトM
に送信される。
【0085】終端パフォーマサイトP3では、中間パフ
ォーマサイトP2から送信されてきた実演信号sdm1
2及びタイムコードtcについて同期補正処理21を行
う。つまり実演信号sdm12をタイムコードtcに合
わせたリアルタイムのストリームデータとして抽出す
る。そしてその実演信号sdm12を再生部35に供給
し、再生部25において実演信号sdm12(ドラム演
奏音とベース演奏音がミックスされた音)を再生させ
る。また受信されたタイムコードtcに基づいて、表示
部13で表示されている楽譜画像上で進行位置の表示を
行う。
【0086】そして終端パフォーマサイトP3のパフォ
ーマPM3は、ドラム及びベースの演奏音や楽譜表示に
合わせて歌唱を行う。この終端パフォーマサイトP3に
おいて、パフォーマPM3の歌唱音声は収録部14によ
り2チャンネルのオーディオデータとして収録され、実
演信号sd3として出力される。収録部14で収録され
た実演信号sd3は、受信されているタイムコードtc
と同期化処理20が行われてミキサーサイトMに送信さ
れる。
【0087】以上の各パフォーマサイトP1〜P3の動
作により、ミキサーサイトMには、先頭パフォーマサイ
トP1からの実演信号sd1とタイムコードtc、中間
パフォーマサイトP2からの実演信号sd2とタイムコ
ードtc、終端パフォーマサイトP3の実演信号sd3
とタイムコードtcが送信されてくる。ただし上述した
リハーサル段階の場合と同様に、ネットワーク伝送時に
発生する遅延により、実演信号sd1、sd2、sd3
は、多少タイミングのずれたものとなっている。そこで
ミキサーサイトMでは、各実演信号sd1、sd2、s
d3とともに送信されてくるタイムコードtcを基準に
して、上述したリハーサル段階と同様に同期補正処理4
0を行なう。そしてミキシング再生部35では、ネット
ワーク伝送に伴う時間ずれのない状態で、各実演信号s
d1、sd2、sd3のミキシング処理が行われる。こ
のときの各実演信号sd1、sd2、sd3に対するミ
キシング係数は、上記リハーサル時にミキシングエンジ
ニアMMが最適状態に設定した際のミキシング係数な
る。そしてミキシング再生部35でミキシングされたデ
ータは、完成実演信号sdm123(ドラム演奏音+ベ
ース演奏音+歌唱音)とされて、配信サイトDに送信さ
れ、エンドユーザEUに対する配信コンテンツとして扱
われるものとなる。る。
【0088】この例の場合は、最終的な完成実演信号s
dm123を得るためのミキシングはミキサーサイトM
で行われる点が上記図7の例と異なる。また、パフォー
マサイトP1、P2のミキシング/パン係数部15で行
われる係数乗算や、中間パフォーマサイトP2のステレ
オミックス部16で行われるミキシングは、後段のパフ
ォーマサイトPにおいて再生部35で再生される音声の
ミキシング状態を最適化するという意味合いを持つもの
となる。
【0089】この図8の動作例が実施される場合も、上
記図7の動作例について説明した効果と同様の効果を得
ることができる。また、この図8の動作例の場合は、最
終的な完成実演信号sdm123のミキシングがミキサ
ーサイトMで行われることで、ある程度フレキシブルな
ミキシングが可能となる。例えば実演中にミキシングエ
ンジニアMMがミキシング状態を変更するようなことも
可能となる。
【0090】また、この図8の場合は、各パフォーマサ
イトPのミキシング/パン係数部15の係数乗算は、完
成実演信号sdm123を得るミキシングのための係数
乗算ではなく、後段のパフォーマPMのモニタリング再
生音声を適切にするためのものであるため、必ずしもミ
キサーサイトMから厳密に設定する必要はない。例えば
上記ミキシング係数設定段階の動作を省略し、各パフォ
ーマサイトPに係数設定を委ねるようにしてもよい。
【0091】5.各種変形例 本発明は上記した例以外にも、各種の例が考えられる。
以下、各種変形例について述べていく。
【0092】まずパフォーマサイトPの構成としては、
図9のような例も考えられる。即ち、パフォーマサイト
Pにおいてタイムコード発生部40を備えるようにする
例である。この場合、リハーサル時及び実演時におい
て、先頭パフォーマサイトP1のみがタイムコード発生
部40からタイムコードtcを発生させ、再生部35及
び表示部13に供給する。そして再生部35ではタイム
コードtcに基づいてクリック音等を発生させ、また表
示部13で楽譜画像上での進行を表示する。他の動作は
上述した例と同様となる。そしてこのようにタイムコー
ド発生部40を備えたパフォーマサイトPを先頭パフォ
ーマサイトP1とする場合は、ミキサーサイトMではリ
ハーサル時及び実演時に先頭パフォーマサイトP1に対
してタイムコードtcを送信する必要はなくなる。或い
はミキサーサイトMにタイムコード発生部33を設ける
必要がなくなる。
【0093】また図9の例では、パフォーマサイトPに
エフェクト部41を設けるようにしている。エフェクト
部41は、収録部14から出力される実演信号sdに対
して、リバーブ、コンプレッサー、エコー、イコライジ
ングなどの音響エフェクト処理を行う。即ちエフェクト
部41を設けることで、パフォーマサイトP毎に、実演
信号sdに対して任意の音響エフェクトを与えることが
できるようにした例である。
【0094】なお図示するようにエフェクト部41にお
ける各種エフェクトの係数を設定するエフェクト係数制
御信号mseを、ミキサーサイトMから供給し、各パフ
ォーマサイトPでのエフェクト状態を設定できるように
してもよい。例えば上述したミキシング係数設定段階に
おいて、エフェクト係数も設定できるようにする。この
ようにすることで、ミキサーサイトMで各実演信号sd
に対するエフェクト状態を制御でき、最適なエフェクト
状態で各実演信号sdがミキシングされた実演信号(又
は完成実演信号)sdmを得ることができるようにな
る。また、ミキシング後の実演信号sdmに対してエフ
ェクト処理を行うことができるように構成したり、或い
はミキサーサイトMのミキシング再生部35において各
実演信号sdに対するエフェクト処理を実行できるよう
にすることも当然考えられる。
【0095】また図9の例では、収録部14で収録した
実演信号sdを再生部12にも供給するようにしてい
る。パフォーマPMにとっては、自分の演奏した音を適
度な音量バランスでモニタリングできることが好適であ
る。このため、実演信号sdを再生部12に供給し、再
生部で実演信号sdを、受信された他の実演信号sd
k、sdm等と所定のバランスでミキシングして再生出
力できるようにすることが、演奏のしやすさを向上させ
るものとなる。
【0096】また上記した実施の形態では、各パフォー
マサイトPに順番に送信されたり、又はミキサーサイト
Mに送信される実演信号sd又はsdk又はsdmは、
例えばリニアPCMデータとしたが、例えば所定の圧縮
エンコードを施して送信するようにしてもよい。例えば
パケット処理部17の前段に圧縮エンコード部を設け
る。もちろんこの場合は、受信時には圧縮処理に対する
伸張処理を行うこととなり、各パフォーマサイトPやミ
キサーサイトMにおいては、アンパケット処理部11、
37の後段に、圧縮デコード部を設けるものとなる。圧
縮方式としては、例えばATRAC方式、ATRAC3
方式、MPEGオーディオ方式など、各種のものが考え
られる。通信時にデータ圧縮を行うことによりネットワ
ークNWでの伝送速度の向上を実現できる。
【0097】また実施の形態では、ミキサーサイトM及
び複数のパフォーマサイトPにより実演システムが構成
されるものとしたが、1つの(例えば先頭となる)パフ
ォーマサイトPがミキサーサイトMの機能を兼ね備える
ようにしたり、或いはミキサーサイトMの機能を不要と
する例も考えられる。例えば図9のように少なくとも先
頭パフォーマサイトP1がタイムコード発生部40を備
えるようにし、またミキシング係数設定はあくまでも各
パフォーマサイトPにおいて行われるようにするなら
ば、ミキサーサイトMとしてのサイトは不要となる。
【0098】またミキサーサイトM及び各パフォーマサ
イトPの間で、オペレータ同士が音声連絡を取るような
通信系(伝送チャンネル)が別途設けられるようにする
ことも考えられる。その場合は、各パフォーマサイトP
において適切なミキシング係数等の指示も行うことがで
き、上記ミキシング係数設定段階の動作を、各パフォー
マサイトPのオペレータ操作により実行することもでき
る。
【0099】また、各パフォーマサイトPにおけるミキ
シング係数(或いはエフェクト係数)の設定は、例えば
曲の演奏を通して一定ではなく、演奏している曲の進行
に合わせて変化されるようにすることもできる。例えば
ミキシング/パン係数部15に、タイムコードtcに基
づいて曲進行中にミキシング係数が自動的に変化される
ような設定を行うようにすることも考えられる。
【0100】実施の形態の説明では、タイムコードtc
により、演奏のガイド音の発生、楽譜表示制御、同期
化、同期補正が行われるようにしたが、同期情報となる
タイムコードtcの形式はどのようなものでもよい。ま
たパフォーマサイトPの再生部12には、タイムコード
tcではなく、タイムコードtcと同期したクリック音
等の実際の音声信号が供給されるようにしてもよい。ま
た、表示部13にはタイムコードtcは供給されないよ
うにし、表示部13では単に楽譜表示が行われるのみと
してもよい。また実演信号sd、sdk、sdmをタイ
ムコードtcと同期化して送信することになるが、通信
方式はタイムコードtcと実演信号sd等との同期を保
ちながら通信できる通信方式であればどのようなもので
もよく、物理条件や通信プロトコルは限定されない。さ
らに、通信される実演信号sd等は、2チャンネルデー
タとしたが、1チャンネル(モノラル)或いは3チャン
ネル以上としてもよい。
【0101】また、図4,図5のリハーサル時、及び図
8の実演時の例では、各パフォーマサイトPは収録部1
4からの実演信号sdをミキサーサイトMに送信してい
るが、ミキシング/パン係数部15でミキシング係数を
与えた実演信号sdをミキサーサイトMに送信するよう
にしてもよい。
【0102】また本例の実演システムにおいて演奏を行
うパフォーマPMの全部又は一部は実際の人間に限られ
ず、MIDIシステム音源その他の自動演奏装置がパフ
ォーマPMに相当するものとして設置されてもかまわな
い。
【0103】また本例の実演システムは、直接的にエン
ドユーザEUに提供するライブ演奏のみでなく、レコー
ディング用途としても有効である。即ち各演奏者が遠隔
地にいても、いわゆる一発録音(同時演奏)に近いライ
ブ感を持ってバンド演奏等を収録できるため、例えば図
7で示した完成実演信号を録音することで、新たなレコ
ーディング形態を実現できる。また図8のような通信方
式の場合は、ミキサーサイトMにおいてミキシング再生
部35に代えてマルチトラックレコーダを設置すれば、
各演奏者にライブ感のある一発録音方式の演奏を実行さ
せながら、各演奏音(実演信号)を異なるトラックにレ
コーディングしていくことができる。つまり、録音スタ
ジオに各演奏者を集めてレコーディングを行う場合と同
等のレコーディングを、演奏者を録音スタジオに集める
こと無しに実現できる。
【0104】また実施の形態は、バンド形態やオーケス
トラ形態での音楽コンテンツを生成する例に基づいて説
明してきたが、音楽だけでなく他の分野にも本発明の実
演システムは適用できる。例えば映画、演劇、ドラマな
どをリアルタイムで制作していくシステムなどとしても
好適である。例えば先頭パフォーマサイトP1で背景画
像の撮影収録を行い、次のパフォーマサイトP2で効果
音等の収録を行い、次のパフォーマサイトP3で1又は
複数の演技者が演技を行なっている画像を収録するなど
することで、各スタッフが遠隔地にいても、演劇実演を
行うことができる。もちろん映像データをミキシングす
る場合は、映像データをタイムコードtcに同期化させ
て通信するようにする。
【0105】
【発明の効果】以上の説明から理解されるように本発明
によれば、数珠繋ぎ状に順番が設定された各実演収録装
置において、或る実演収録装置から次の実演収録装置へ
は、それまでの全実演収録装置での実演信号がミキシン
グされた実演信号が伝送されるため、後段の実演収録装
置にいくほど伝送信号量が増えるということはなく、つ
まり必要な伝送容量が拡大させずに多数の実演収録装置
により、多数のパフォーマの実演内容を伝送できる。さ
らに同期情報も実演信号とともに各実演収録装置間に数
珠繋ぎ状に伝送されていき、各装置では同期情報により
実演信号の同期がとられることにより、ネットワーク伝
送路での時間遅延を含んだ状態で各実演信号を時間ずれ
なくミキシングしていくことができる。そして終端(第
n)の実演収録装置で、それより前の順番の全ての実演
収録装置で収録されミキシングされた実演信号に、その
実演収録装置で収録した実演信号をミキシングすること
で、最終的に例えば合奏音などとして完成された完成実
演信号を得ることができる。或いは、各実演収録装置か
らの実演信号を実演管理装置において同期補正した上で
ミキシングすることで、完成実演信号を得ることができ
る。これらのことから、ネットワーク伝送における伝送
容量や時間遅延という問題を解決して、ネットワークを
介した複数パフォーマによるライブ演奏等を容易に実現
でき、例えばライブ演奏等としての完成実演信号も容易
に得ることができるという効果がある。
【0106】また、各パフォーマの全てが例えばクリッ
ク音などのガイド音を頼りに演奏するなどのものとは異
なり、各パフォーマは、自分の実演収録装置より前の実
演収録装置の実演信号の再生音等をガイドとして実演を
行うことができるため、前の実演収録装置のパフォーマ
のノリに合わせた演奏を行うことなどが可能となり、パ
フォーマにとって演奏しやすいものとなる。従って、よ
り実際のライブ演奏に近い演奏が可能となるという効果
もある。実演を視聴するエンドユーザから見れば、より
ライブ感のある、ノリのよい実演を楽しむことができ
る。
【0107】また実演管理装置により、実演収録装置の
収録手段で収録された実演信号についてのミキシング係
数を設定するようにすることで、各実演収録装置におい
て適正にミキシングされた実演信号をパフォーマのガイ
ド音声として再生でき、また完成実演信号として適正な
ミキシング状態とすることができる。またこのとき、実
演管理装置は、同期情報に基づいて各実演収録装置から
実演信号の同期補正処理を行なってミキシング処理し、
ミキシング処理された実演信号を再生することで、ミキ
シング状態を確認できるため、各実演収録装置に対して
適切なミキシング係数を設定できるものとなる。
【図面の簡単な説明】
【図1】本発明の実施の形態の実演システムのシステム
構成のブロック図である。
【図2】実施の形態のパフォーマサイトの構成のブロッ
ク図である。
【図3】実施の形態のミキサーサイトの構成のブロック
図である。
【図4】実施の形態のリハーサル時の伝送状態例の説明
図である。
【図5】実施の形態のリハーサル時の他の伝送状態例の
説明図である。
【図6】実施の形態のミキシング係数設定時の伝送状態
例の説明図である。
【図7】実施の形態の実演時の伝送状態例の説明図であ
る。
【図8】実施の形態の実演時の他の伝送状態例の説明図
である。
【図9】実施の形態のパフォーマサイトの他の構成のブ
ロック図である。
【符号の説明】
10 受信部、11 アンパケット処理部、12 再生
部、13 表示部、14 収録部、15 ミキシング/
パン係数部、16 ステレオミックス部、17パケット
処理部、18 送信部、31 送信部、32 パケット
処理部、33,40 タイムコード発生部、34 ミキ
シング係数設定部、35 ミキシング再生部、36 受
信部、37 アンパケット処理部、38 バファリング
/同期補正部、41 エフェクト部、P,P1〜Pn
パフォーマサイト、M ミキサーサイト、NW ネット
ワーク、D 配信サイト、PM パフォーマ、MM ミ
キシングエンジニア

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 複数の実演収録装置が通信ネットワーク
    を介して接続される実演システムであって、 上記各実演収録装置は、 上記通信ネットワークに接続された他の装置からの各種
    信号を受信する受信手段と、 上記受信手段で受信された信号もしくは所定の同期情報
    に基づいて実演ガイド出力を行う出力手段と、 上記実演ガイド出力に応じて実演された内容を実演信号
    として収録する収録手段と、 上記収録手段で収録された実演信号と、上記受信手段で
    受信された他の実演信号のミキシング処理を行うことの
    できるミキシング手段と、 上記収録手段で収録された実演信号、もしくは上記ミキ
    シング手段でミキシング処理された実演信号を、同期情
    報とともに、上記通信ネットワークに接続された他の装
    置に送信する送信手段と、 を備え、 各実演収録装置について第1〜第nの順番(但しnは2
    以上の整数)が設定され、 第1の順番に設定された実演収録装置は、上記送信手段
    により、上記収録手段で収録された実演信号を同期情報
    とともに、第2の順番に設定された実演収録装置に送信
    し、 第2〜第nの順番に設定された1又は複数の各実演収録
    装置は、直前の順番の実演収録装置から送信されてきた
    実演信号に基づいて上記出力手段が実演ガイド出力を行
    ない、 先頭である第1の順番及び終端である第nの順番ではな
    い、中間の順番に設定された1又は複数の実演収録装置
    が存在する場合は、その中間の順番の1又は複数の各実
    演収録装置は、上記収録手段で収録された実演信号と上
    記受信手段で受信された直前の順番の実演収録装置から
    の実演信号を上記ミキシング手段でミキシング処理し、
    上記送信手段により、ミキシング処理された実演信号を
    同期情報とともに次の順番に設定された実演収録装置に
    対して送信する、ことを特徴とする実演システム。
  2. 【請求項2】 上記第nの順番に設定された実演収録装
    置は、上記収録手段で収録された実演信号と上記受信手
    段で受信された直前の順番の実演収録装置からの実演信
    号を上記ミキシング手段でミキシング処理することで、
    全ての実演収録装置で収録された実演信号をミキシング
    した完成実演信号を得、この完成実演信号を上記送信手
    段により所定の装置に対して送信するようにされている
    ことを特徴とする請求項1に記載の実演システム。
  3. 【請求項3】 上記通信ネットワークを介して上記各実
    演収録装置と通信可能に接続されるとともに、 同期情報に基づいて複数の実演信号の同期補正処理を行
    う同期補正手段と、 上記同期補正手段で同期補正処理された複数の実演信号
    をミキシング処理するミキシング手段と、 を有する実演管理装置を備え、 上記第1〜第nの順番に設定された上記各実演収録装置
    は、上記送信手段により、上記収録手段で収録された実
    演信号を同期情報とともに、上記実演管理装置に送信
    し、 上記実演管理装置は、上記各実演収録装置からの実演信
    号について上記同期補正手段で同期補正処理を行った
    後、上記ミキシング手段でミキシング処理することで、
    全ての実演収録装置で収録された実演信号をミキシング
    した完成実演信号を得るようにしたことを特徴とする請
    求項1に記載の実演システム。
  4. 【請求項4】 上記通信ネットワークを介して上記各実
    演収録装置と通信可能に接続される実演管理装置を備
    え、 上記各実演収録装置は、上記収録手段で収録された実演
    信号について、上記ミキシング手段でのミキシング処理
    の際のミキシング係数を与えるミキシング係数手段を有
    し、 上記実演管理装置は、上記各実演収録装置に対して、上
    記ミキシング係数手段の係数値を設定する設定制御信号
    を送信する係数設定手段を有することを特徴とする請求
    項1に記載の実演システム。
  5. 【請求項5】 上記実演管理装置は、 同期情報に基づいて上記各実演収録装置から実演信号の
    同期補正処理を行う同期補正手段と、 上記同期補正手段で同期補正処理された複数の実演信号
    をミキシング処理するミキシング手段と、 上記ミキシング手段でミキシング処理された実演信号を
    再生する再生手段と、をさらに備えたことを特徴とする
    請求項4に記載の実演システム。
  6. 【請求項6】 上記通信ネットワークを介して上記各実
    演収録装置と通信可能に接続されるとともに、所定の実
    演収録装置に対して同期情報を送信する同期情報送信手
    段を有する実演管理装置を備えたことを特徴とする請求
    項1に記載の実演システム。
  7. 【請求項7】 上記実演収録装置は、同期情報を発生す
    る同期情報発生手段を備えたことを特徴とする請求項1
    に記載の実演システム。
  8. 【請求項8】 通信ネットワークに接続された他の装置
    からの各種信号を受信する受信手段と、 上記受信手段で受信された信号もしくは所定の同期情報
    に基づいて実演ガイド出力を行う出力手段と、 上記実演ガイド出力に応じて実演された内容を実演信号
    として収録する収録手段と、 上記収録手段で収録された実演信号と、上記受信手段で
    受信された他の実演信号のミキシング処理を行うことの
    できるミキシング手段と、 上記収録手段で収録された実演信号、もしくは上記ミキ
    シング手段でミキシング処理された実演信号を、同期情
    報とともに、上記通信ネットワークに接続された他の装
    置に送信する送信手段と、 を備えたことを特徴とする実演収録装置。
  9. 【請求項9】 上記収録手段で収録された実演信号につ
    いて、上記ミキシング手段でのミキシング処理の際のミ
    キシング係数を与えるミキシング係数手段を備えたこと
    を特徴とする請求項8に記載の実演収録装置。
  10. 【請求項10】 同期情報を発生する同期情報発生手段
    を備えたことを特徴とする請求項8に記載の実演収録装
    置。
  11. 【請求項11】 通信ネットワークを介して複数の実演
    収録装置と通信可能に接続されるとともに、 実演信号及び同期情報が上記各実演収録装置から受信さ
    れた際に、上記各同期情報に基づいて上記各実演信号の
    同期補正処理を行う同期補正手段と、 上記同期補正手段で同期補正処理された各実演信号をミ
    キシング処理するミキシング手段と、 を備えたことを特徴とする実演管理装置。
  12. 【請求項12】 上記ミキシング手段でミキシング処理
    された実演信号を再生する再生手段をさらに備えたこと
    を特徴とする請求項11に記載の実演管理装置。
  13. 【請求項13】 上記各実演収録装置に対して、ミキシ
    ング係数値を設定する設定制御信号を送信する係数設定
    手段を有することを特徴とする請求項11に記載の実演
    管理装置。
  14. 【請求項14】 上記実演収録装置に対して同期情報を
    送信する同期情報送信手段を有することを特徴とする請
    求項11に記載の実演管理装置。
  15. 【請求項15】 通信ネットワークを介して接続され、
    第1〜第nの順番(但しnは2以上の整数)が設定され
    た複数の実演収録装置による、ネットワークを介した実
    演方法として、 第1の順番に設定された実演収録装置が、収録した実演
    信号を同期情報とともに、第2の順番に設定された実演
    収録装置に送信し、 第2〜第nの順番に設定された1又は複数の各実演収録
    装置は、直前の順番の実演収録装置から送信されてきた
    実演信号に基づいて実演ガイド出力を行ない、 先頭である第1の順番及び終端である第nの順番ではな
    い、中間の順番に設定された1又は複数の実演収録装置
    が存在する場合は、その中間の順番の1又は複数の各実
    演収録装置は、収録した実演信号と、受信された直前の
    順番の実演収録装置からの実演信号をミキシング処理し
    た実演信号を同期情報とともに次の順番に設定された実
    演収録装置に対して送信し、 上記第nの順番に設定された実演収録装置は、収録した
    実演信号と、受信された直前の順番の実演収録装置から
    の実演信号をミキシング処理することで、全ての実演収
    録装置で収録された実演信号をミキシングした完成実演
    信号を得、この完成実演信号を所定の装置に対して送信
    するようにされていることを特徴とするネットワークを
    介した実演方法。
  16. 【請求項16】 通信ネットワークを介して接続され第
    1〜第nの順番(但しnは2以上の整数)が設定された
    複数の実演収録装置と、上記通信ネットワークを介して
    上記各実演収録装置と通信可能に接続された実演管理装
    置とによって行われる、ネットワークを介した実演方法
    として、 第1の順番に設定された実演収録装置が、収録した実演
    信号を同期情報とともに、第2の順番に設定された実演
    収録装置に送信し、 第2〜第nの順番に設定された1又は複数の各実演収録
    装置は、直前の順番の実演収録装置から送信されてきた
    実演信号に基づいて実演ガイド出力を行ない、 先頭である第1の順番及び終端である第nの順番ではな
    い、中間の順番に設定された1又は複数の実演収録装置
    が存在する場合は、その中間の順番の1又は複数の各実
    演収録装置は、収録した実演信号と、受信された直前の
    順番の実演収録装置からの実演信号をミキシング処理し
    た実演信号を同期情報とともに次の順番に設定された実
    演収録装置に対して送信し、 第1〜第nの順番に設定された上記各実演収録装置は、
    収録した実演信号を同期情報とともに、上記実演管理装
    置に送信し、 上記実演管理装置は、上記各実演収録装置からの実演信
    号について上記同期情報に基づく同期補正処理を行った
    後、ミキシング処理することで、全ての実演収録装置で
    収録された実演信号をミキシングした完成実演信号を得
    るようにしたことを特徴とするネットワークを介した実
    演方法。
JP2001003716A 2001-01-11 2001-01-11 実演システム、ネットワークを介した実演方法 Expired - Fee Related JP4423790B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001003716A JP4423790B2 (ja) 2001-01-11 2001-01-11 実演システム、ネットワークを介した実演方法
US10/043,067 US7096080B2 (en) 2001-01-11 2002-01-09 Method and apparatus for producing and distributing live performance
US11/446,748 US7756595B2 (en) 2001-01-11 2006-06-05 Method and apparatus for producing and distributing live performance
US11/446,747 US20060224261A1 (en) 2001-01-11 2006-06-05 Method and apparatus for producing and distributing live performance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001003716A JP4423790B2 (ja) 2001-01-11 2001-01-11 実演システム、ネットワークを介した実演方法

Publications (2)

Publication Number Publication Date
JP2002207492A true JP2002207492A (ja) 2002-07-26
JP4423790B2 JP4423790B2 (ja) 2010-03-03

Family

ID=18872013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001003716A Expired - Fee Related JP4423790B2 (ja) 2001-01-11 2001-01-11 実演システム、ネットワークを介した実演方法

Country Status (2)

Country Link
US (3) US7096080B2 (ja)
JP (1) JP4423790B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065010A (ja) * 2004-08-27 2006-03-09 Casio Comput Co Ltd 仮想ライブ演奏の支援システムおよび仮想ライブ演奏の支援処理プログラム
JP2015070460A (ja) * 2013-09-30 2015-04-13 シャープ株式会社 映像音声配信システム、音声映像配信方法及びプログラム
JP2016082422A (ja) * 2014-10-17 2016-05-16 ヤマハ株式会社 音響信号処理装置
JP2019525571A (ja) * 2016-07-22 2019-09-05 ドルビー ラボラトリーズ ライセンシング コーポレイション ライブ音楽実演のマルチメディア・コンテンツのネットワーク・ベースの処理および配送
JP2022008251A (ja) * 2020-06-25 2022-01-13 ソニー・インタラクティブエンタテインメント エルエルシー 遅延なくニアライブでライブインターネット音楽を演奏及び録音するための方法及びシステム
WO2022190717A1 (ja) * 2021-03-11 2022-09-15 ヤマハ株式会社 コンテンツデータ処理方法およびコンテンツデータ処理装置
US11563504B2 (en) 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7522734B2 (en) * 2000-10-10 2009-04-21 The Board Of Trustees Of The Leland Stanford Junior University Distributed acoustic reverberation for audio collaboration
JP4423790B2 (ja) * 2001-01-11 2010-03-03 ソニー株式会社 実演システム、ネットワークを介した実演方法
AU2003275089A1 (en) * 2002-09-19 2004-04-08 William B. Hudak Systems and methods for creation and playback performance
EP1427252A1 (en) * 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
JP3876855B2 (ja) * 2003-07-10 2007-02-07 ヤマハ株式会社 オートミックスシステム
DE102005006487A1 (de) * 2005-02-12 2006-08-24 Sp4 Sound Project Gmbh Verfahren zum Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten
US7702116B2 (en) * 2005-08-22 2010-04-20 Stone Christopher L Microphone bleed simulator
US7853342B2 (en) * 2005-10-11 2010-12-14 Ejamming, Inc. Method and apparatus for remote real time collaborative acoustic performance and recording thereof
US8595057B2 (en) 2006-08-08 2013-11-26 Narbeh AVEDISSIAN System for apportioning revenue based on content delivery by an online community
US20080050713A1 (en) * 2006-08-08 2008-02-28 Avedissian Narbeh System for submitting performance data to a feedback community determinative of an outcome
US10796093B2 (en) 2006-08-08 2020-10-06 Elastic Minds, Llc Automatic generation of statement-response sets from conversational text using natural language processing
KR100829560B1 (ko) * 2006-08-09 2008-05-14 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 방법 및 장치,멀티채널이 다운믹스된 신호를 2 채널로 출력하는 복호화방법 및 장치
US8457769B2 (en) * 2007-01-05 2013-06-04 Massachusetts Institute Of Technology Interactive audio recording and manipulation system
US8180063B2 (en) * 2007-03-30 2012-05-15 Audiofile Engineering Llc Audio signal processing system for live music performance
US20100095829A1 (en) * 2008-10-16 2010-04-22 Rehearsal Mix, Llc Rehearsal mix delivery
KR101040086B1 (ko) * 2009-05-20 2011-06-09 전자부품연구원 오디오 생성방법, 오디오 생성장치, 오디오 재생방법 및 오디오 재생장치
US8983829B2 (en) 2010-04-12 2015-03-17 Smule, Inc. Coordinating and mixing vocals captured from geographically distributed performers
US9058797B2 (en) 2009-12-15 2015-06-16 Smule, Inc. Continuous pitch-corrected vocal capture device cooperative with content server for backing track mix
US8521316B2 (en) * 2010-03-31 2013-08-27 Apple Inc. Coordinated group musical experience
KR101092663B1 (ko) * 2010-04-02 2011-12-13 전자부품연구원 실감 객체 오디오 재생 및 생성 장치
US10930256B2 (en) 2010-04-12 2021-02-23 Smule, Inc. Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s)
US9601127B2 (en) 2010-04-12 2017-03-21 Smule, Inc. Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s)
US20120203364A1 (en) * 2011-02-08 2012-08-09 William Gibbens Redmann Method and apparatus for secure remote real time collaborative acoustic performance recordings
US9866731B2 (en) 2011-04-12 2018-01-09 Smule, Inc. Coordinating and mixing audiovisual content captured from geographically distributed performers
US8768139B2 (en) * 2011-06-27 2014-07-01 First Principles, Inc. System for videotaping and recording a musical group
KR101388945B1 (ko) * 2012-04-06 2014-04-24 주식회사 아이덴코아 비동기 복수의 디지털 신호의 전송방법
US20140211960A1 (en) * 2013-01-30 2014-07-31 Hewlett-Packard Development Company, L.P. Real-time wireless streaming of digitized mixed audio feed to mobile device within event venue
US9178631B2 (en) * 2013-04-19 2015-11-03 Spacebar, Inc. Asynchronously streaming high quality audio of a live event from a handheld device
HK1195445A2 (en) 2014-05-08 2014-11-07 黃偉明 Endpoint mixing system and reproduction method of endpoint mixed sounds
US9400631B2 (en) * 2014-07-19 2016-07-26 Sik Kee Chan Multifunctional media players
US11488569B2 (en) 2015-06-03 2022-11-01 Smule, Inc. Audio-visual effects system for augmentation of captured performance based on content thereof
US11032602B2 (en) 2017-04-03 2021-06-08 Smule, Inc. Audiovisual collaboration method with latency management for wide-area broadcast
WO2018017878A1 (en) * 2016-07-22 2018-01-25 Dolby Laboratories Licensing Corporation Network-based processing and distribution of multimedia content of a live musical performance
US11310538B2 (en) 2017-04-03 2022-04-19 Smule, Inc. Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics
CN108040261B (zh) * 2017-12-22 2020-06-30 广州酷狗计算机科技有限公司 网络直播的管理方法、装置及存储介质
AU2020253755A1 (en) * 2019-04-05 2021-11-04 Tls Corp. Distributed audio mixing
GB2603733A (en) 2019-11-27 2022-08-10 Shure Acquisition Holdings Inc Controller with network mode and direct mode
US11196808B2 (en) * 2020-05-06 2021-12-07 Seth Weinberger Technique for generating group performances by multiple, remotely located performers
US11323496B2 (en) 2020-05-06 2022-05-03 Seth Weinberger Technique for generating group performances by multiple, remotely located performers
US11546393B2 (en) * 2020-07-10 2023-01-03 Mark Goldstein Synchronized performances for remotely located performers

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5930594A (ja) 1982-08-13 1984-02-18 ヤマハ株式会社 電子楽器
JPH01163798A (ja) 1988-11-24 1989-06-28 Yamaha Corp 電子楽器
JPH02204794A (ja) 1989-02-02 1990-08-14 Ricoh Co Ltd 合奏システム
JPH05347629A (ja) 1992-06-12 1993-12-27 Yamaha Corp データ伝送システム
JPH05347630A (ja) 1992-06-12 1993-12-27 Yamaha Corp データ伝送システム
JP3239730B2 (ja) 1996-02-06 2001-12-17 ヤマハ株式会社 ネットワークシステム
JP3765152B2 (ja) 1996-03-05 2006-04-12 ヤマハ株式会社 楽音合成装置
JP3201298B2 (ja) 1996-12-20 2001-08-20 ヤマハ株式会社 ネットワークデータの同期方法および装置、同期ノード、並びに、ネットワークシステム
JP3309722B2 (ja) 1996-07-12 2002-07-29 ヤマハ株式会社 データ転送方式
US6801630B1 (en) * 1997-08-22 2004-10-05 Yamaha Corporation Device for and method of mixing audio signals
JP3196715B2 (ja) 1997-10-22 2001-08-06 ヤマハ株式会社 楽音情報の通信装置、通信方法、制御装置、制御方法及びプログラムを記録した媒体
JP3277875B2 (ja) 1998-01-29 2002-04-22 ヤマハ株式会社 演奏装置、サーバ装置、演奏方法および演奏制御方法
JP2000122646A (ja) 1998-10-13 2000-04-28 Yamaha Corp 楽音通信装置
JP2000163054A (ja) 1998-11-26 2000-06-16 Casio Comput Co Ltd 音楽合同練習装置
JP3372505B2 (ja) 1999-06-07 2003-02-04 ヤマハ株式会社 カラオケ装置
US6501739B1 (en) * 2000-05-25 2002-12-31 Remoteability, Inc. Participant-controlled conference calling system
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
US7346698B2 (en) * 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
JP4423790B2 (ja) * 2001-01-11 2010-03-03 ソニー株式会社 実演システム、ネットワークを介した実演方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065010A (ja) * 2004-08-27 2006-03-09 Casio Comput Co Ltd 仮想ライブ演奏の支援システムおよび仮想ライブ演奏の支援処理プログラム
JP4655550B2 (ja) * 2004-08-27 2011-03-23 カシオ計算機株式会社 仮想ライブ演奏の支援システムおよび仮想ライブ演奏の支援処理プログラム
JP2015070460A (ja) * 2013-09-30 2015-04-13 シャープ株式会社 映像音声配信システム、音声映像配信方法及びプログラム
JP2016082422A (ja) * 2014-10-17 2016-05-16 ヤマハ株式会社 音響信号処理装置
JP2019525571A (ja) * 2016-07-22 2019-09-05 ドルビー ラボラトリーズ ライセンシング コーポレイション ライブ音楽実演のマルチメディア・コンテンツのネットワーク・ベースの処理および配送
JP7404067B2 (ja) 2016-07-22 2023-12-25 ドルビー ラボラトリーズ ライセンシング コーポレイション ライブ音楽実演のマルチメディア・コンテンツのネットワーク・ベースの処理および配送
JP2022008251A (ja) * 2020-06-25 2022-01-13 ソニー・インタラクティブエンタテインメント エルエルシー 遅延なくニアライブでライブインターネット音楽を演奏及び録音するための方法及びシステム
US11563504B2 (en) 2020-06-25 2023-01-24 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music using audio waveform samples
JP7242764B2 (ja) 2020-06-25 2023-03-20 ソニー・インタラクティブエンタテインメント エルエルシー 遅延なくニアライブでライブインターネット音楽を演奏及び録音するための方法及びシステム
US11616589B2 (en) 2020-06-25 2023-03-28 Sony Interactive Entertainment LLC Methods and systems for performing and recording live music near live with no latency
WO2022190717A1 (ja) * 2021-03-11 2022-09-15 ヤマハ株式会社 コンテンツデータ処理方法およびコンテンツデータ処理装置

Also Published As

Publication number Publication date
US7756595B2 (en) 2010-07-13
US20060224262A1 (en) 2006-10-05
JP4423790B2 (ja) 2010-03-03
US7096080B2 (en) 2006-08-22
US20020106986A1 (en) 2002-08-08
US20060224261A1 (en) 2006-10-05

Similar Documents

Publication Publication Date Title
JP4423790B2 (ja) 実演システム、ネットワークを介した実演方法
JP3196715B2 (ja) 楽音情報の通信装置、通信方法、制御装置、制御方法及びプログラムを記録した媒体
Emmerson et al. Electro-acoustic music
US5740260A (en) Midi to analog sound processor interface
JPH10319950A (ja) データ送受信方法およびシステム
US5484291A (en) Apparatus and method of playing karaoke accompaniment
JP2010112981A (ja) 遠隔実演再生方法、装置
CN114120942A (zh) 无时延地近乎现场演奏和录制现场互联网音乐的方法和系统
WO2022248729A1 (en) Stereophonic audio rearrangement based on decomposed tracks
KR100819775B1 (ko) 네트워크 기반의 음악연주/노래반주 서비스 장치, 시스템, 방법 및 기록매체
JP7456019B2 (ja) オーディオ波形サンプルを用いてライブ音楽を演奏及び録音するための方法及びシステム
JP2008089849A (ja) リモート演奏システム
WO2011115210A1 (ja) ミキシングデータ配信サーバ
WO2007054285A1 (en) A method and system for sound reproduction, and a program product
US6525253B1 (en) Transmission of musical tone information
US6815601B2 (en) Method and system for delivering music
JP4422656B2 (ja) ネットワークを用いた遠隔多地点合奏システム
JP2004094163A (ja) ネットワークサウンドシステムおよびサウンドサーバ
JP5454530B2 (ja) カラオケ装置
KR200447608Y1 (ko) 디에스피를 이용한 가라오케용 고음질 멀티채널 오디오 시스템
Ritsch ICE-towards distributed networked computermusic ensemble
JP2000181448A (ja) 送信装置および送信方法、受信装置および受信方法、並びに提供媒体
JP7468111B2 (ja) 再生制御方法、制御システムおよびプログラム
JPH0950285A (ja) 通信式カラオケ装置
Malyshev Sound production for 360 videos: in a live music performance case study

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091130

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees