JP2000020055A

JP2000020055A - 楽音情報転送装置

Info

Publication number: JP2000020055A
Application number: JP10180866A
Authority: JP
Inventors: Takeshi Kikuchi; 菊池　　健; Yuji Koike; 祐二小池
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1998-06-26
Filing date: 1998-06-26
Publication date: 2000-01-21
Also published as: US6525253B1

Abstract

(57)【要約】【課題】効率的に楽音情報を転送することができる楽
音情報転送装置を提供することを課題とする。【解決手段】楽音情報を入力する入力手段（ＰＣ０）
と、入力手段に入力される楽音情報を加工する複数の加
工手段（ＰＣ１，ＰＣ２）と、入力手段に入力される楽
音情報を複数の加工手段に振り分け、該振り分けた楽音
情報をそれぞれ該複数の加工手段に加工させる振り分け
手段（ＰＣ０）と、複数の加工手段により加工された楽
音情報を転送する転送手段（ＰＣ１，ＰＣ２）とを有す
る楽音情報転送装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、転送技術に関し、
特に楽音情報の転送技術に関する。

【０００２】

【従来の技術】電子楽器間の通信の統一規格として、Ｍ
ＩＤＩ（musical instrument digitalinterface）規格
がある。ＭＩＤＩ規格のインターフェースを備えた電子
楽器は、ＭＩＤＩ用ケーブルを用いて、他の電子楽器と
接続することができる。電子楽器は、ＭＩＤＩ用ケーブ
ルを介して、ＭＩＤＩデータを通信することができる。
例えば、一つの電子楽器は、演奏者が演奏した情報をＭ
ＩＤＩデータとして送信し、他の電子楽器は、当該ＭＩ
ＤＩデータを受信し、楽音を発音することができる。一
つの電子楽器で演奏すると、他の電子楽器でリアルタイ
ムに発音することができる。

【０００３】また、複数の汎用コンピュータを接続する
通信ネットワークでは、種々の情報を通信することがで
きる。例えば、コンピュータに接続されているハードデ
ィスク等にオーディオデータ（生の楽音情報）やＭＩＤ
Ｉデータ等の情報を一度蓄積しておき、通信ネットワー
クを介して、当該情報を送信する。他のコンピュータ
は、当該情報を受信して、ハードディスク等の記憶装置
に記憶する。汎用の通信ネットワークは、情報の通信を
行うのみであり、ＭＩＤＩとは性質を異にする。

【０００４】ＭＩＤＩ規格は、電子楽器間のリアルタイ
ム通信を可能にするが、長距離の通信及び多数ノード間
の通信に適していない。一方、汎用通信ネットワーク
は、長距離の通信及び多数ノード間の通信に適している
が、電子楽器間のリアルタイム通信を考慮したものでは
ない。

【０００５】

【発明が解決しようとする課題】汎用ネットワークにお
いて、マルチメディアの通信が普及しつつある。オーデ
ィオデータは、サンプリング周波数が例えば４８ｋＨｚ
であり、データ量が比較的多い。サンプリングされたオ
ーディオデータをリアルタイムで送信することは困難で
ある。特に、送信装置の処理能力が低い場合に困難であ
る。その場合には、オーディオデータを間引いてデータ
量を減らすことが考えられるが、データを間引くと音質
が悪くなってしまう。

【０００６】オーディオデータを圧縮して送信する場合
がある。その圧縮処理に長時間を要する場合にも、オー
ディオデータをリアルタイムで送信することが困難であ
る。

【０００７】本発明の目的は、効率的に楽音情報を転送
することができる楽音情報転送装置を提供することであ
る。

【０００８】

【課題を解決するための手段】本発明の一観点によれ
ば、楽音情報を入力する入力手段と、前記入力手段に入
力される楽音情報を加工する複数の加工手段と、前記入
力手段に入力される楽音情報を前記複数の加工手段に振
り分け、該振り分けた楽音情報をそれぞれ該複数の加工
手段に加工させる振り分け手段と、前記複数の加工手段
により加工された楽音情報を転送する転送手段とを有す
る楽音情報転送装置が提供される。

【０００９】楽音情報の加工は、複数の加工手段で分散
して行われるので、各加工手段の負担は軽減される。加
工手段の負担を軽減させることにより、楽音情報のリア
ルタイム処理が可能になる。また、楽音情報の情報量を
増やして、楽音情報の質を高めることできる。

【００１０】本発明の他の観点によれば、楽音情報を入
力する入力手段と、前記入力手段に入力される楽音情報
を加工する加工手段と、前記加工手段により加工された
所定周期内の楽音情報の量を検出し、その量が所定量よ
りも多いときにはその所定量の楽音情報を抽出してパケ
ット化し、その後、該パケット化したパケット内の最後
の楽音情報に対応する時刻から前記所定周期経過後に次
の楽音情報の量を検出して前記パケット化を行うパケッ
ト生成手段と、前記パケット生成手段によりパケット化
されたパケットを転送する転送手段とを有する楽音情報
転送装置が提供される。

【００１１】加工された所定周期内の楽音情報の量を検
出し、その量が所定量よりも多いときにはその所定量の
楽音情報を抽出してパケット化する。次のパケット化の
際には、前回パケット化したパケット内の最後の楽音情
報に対応する時刻から所定周期経過後に次の楽音情報の
量を検出して前記パケット化を行う。上記の所定周期の
開始時刻は、前回のパケット内の楽音情報の量に応じて
決まるので、効率的なパケット転送を行うことができ
る。

【００１２】

【発明の実施の形態】図１は、マルチメディアの通信ネ
ットワークを示す図である。

【００１３】演奏会場１には、カメラ４、マイク３、Ｍ
ＩＤＩ楽器２、エンコーダ５ａ，５ｂ，５ｃ、送信サー
バ６が備えられる。演奏会場１では、演奏者がＭＩＤＩ
楽器２を演奏し、歌手がその演奏にあわせてマイク３に
向かって歌う。さらに、他のマイク３を生ドラムや生ピ
アノや生ギターのそばに置いて、それらの音を他のマイ
ク３に入力する。

【００１４】マイク３は、歌手の歌声又はドラムの音等
を電気信号に変換してアナログ形式のオーディオ信号
（音声信号）を生成し、リアルタイムでエンコーダ５ｂ
に供給する。エンコーダ５ｂは、アナログ形式のオーデ
ィオ信号をデジタル形式のオーディオデータ（音声デー
タ）に変換する。

【００１５】ＭＩＤＩ楽器２は、演奏者の演奏操作に応
じてＭＩＤＩデータを生成し、リアルタイムでエンコー
ダ５ｃに供給する。カメラ４は、演奏者が演奏している
様子を撮影し、その様子を画像データとしてリアルタイ
ムでエンコーダ５ａに供給する。

【００１６】エンコーダ５ａ，５ｂ，５ｃのうちの全て
又は特に負荷が重いものは分散処理を行う。例えば、エ
ンコーダ５ｂは、複数のエンコーダ（コンピュータ）を
有し、分散処理を行う。分散処理によりエンコーダ５ｂ
の処理効率を向上させ、効率的なリアルタイム処理が可
能になる。その詳細は、後に図２を参照しながら説明す
る。

【００１７】エンコーダ５ａ，５ｂ，５ｃは、画像デー
タ、オーディオデータ、及びＭＩＤＩデータを所定のデ
ータ形式にパケット化して、リアルタイムで送信サーバ
６に送信する。パケット形式は、後に図１０（Ａ）、
（Ｂ）を参照しながら説明する。

【００１８】送信サーバ６は、ルータ７を介して中継プ
ロバイダ８にリアルタイムでパケット送信する。送信サ
ーバ６は、リアルタイムでパケット送信することが好ま
しい。リアルタイムは、エンコーダ５ａ、５ｂ又は５ｃ
がカメラ４、マイク３又はＭＩＤＩ楽器２からデータを
入力してから、送信サーバ６がそのデータに対応するパ
ケットを送信するまでの時間が３０秒以内、好ましくは
１０秒以内、より好ましくは５秒以内、さらにより好ま
しくは３秒以内がよい。例えば、データをバッファリン
グする時間は１〜２秒であり、エンコード（例えば圧
縮）及びパケット化する時間は数ｍ秒である。送信サー
バ６の代わりに、エンコーダ５ａ、５ｂ及び５ｃがパケ
ット生成処理を行う場合には、エンコーダ５ａ、５ｂ又
は５ｃがデータを入力してからパケットを送信するまで
の時間が上記の時間である。

【００１９】また、リアルタイムは、演奏会場１で演奏
が開始してから終了するまでの間に、送信サーバ６又は
エンコーダ５ａ、５ｂ、５ｃがパケット送信を開始する
ことが好ましい。すなわち、エンコーダ５ａ、５ｂ、５
ｃがデータ（好ましくは、１曲のデータ）の入力を開示
してから終了するまでの間に、送信サーバ６又はエンコ
ーダ５ａ、５ｂ、５ｃがパケット送信を開始することが
好ましい。

【００２０】また、リアルタイムは、エンコーダ５ａ、
５ｂ、５ｃ又は送信サーバ６が人為的な送信要求を受け
ることなく、入力されたデータをパケット送信すること
が好ましい。例えば、エンコーダ５ａ、５ｂ、５ｃは、
入力されたデータをハードディスクに蓄積しておき、操
作者がキーボードやマウス等で送信指示をしない限り、
送信されないようではリアルタイム性が失われる。送信
要求がなくても、入力されたデータを自動的にパケット
送信することにより、リアルタイム性が維持される。

【００２１】中継プロバイダ８は、複数設けられ、分散
処理により、そのパケットをインターネット回線９に送
信する。ルータ８ａは、中継プロバイダ８の入力を管理
し、ルータ８ｂは中継プロバイダ８の出力を管理する。

【００２２】インターネット回線９は、例えば電話回線
又は専用回線である。複数の送信プロバイダ１０は、そ
れぞれルータ１０ａを介してインターネット回線９から
パケットを受信する。

【００２３】ユーザは、ホームコンピュータ１２を用い
てダイヤルアップすることにより送信プロバイダ１０に
接続することができる。また、ホームコンピュータ１２
は、ルータ１１，１０ｂを介して送信プロバイダ１０に
常に（直接）接続することができる。

【００２４】ホームコンピュータ１２は、インターネッ
トに接続し、オーディオデータ、ＭＩＤＩデータ及び画
像データを受信することができる。ホームコンピュータ
１２は、ディスプレイ装置とＭＩＤＩ音源を有し、その
ＭＩＤＩ音源は外部の音声出力装置１４に接続される。

【００２５】画像データは、ディスプレイ装置に表示さ
れる。ＭＩＤＩデータは、ＭＩＤＩ音源で楽音信号に変
換され、音声出力装置１４で発音される。オーディオデ
ータは、デジタル形式からアナログ形式に変換されて、
音声出力装置１４で発音される。ホームコンピュータ１
２は、ＭＩＤＩデータとオーディオデータの同期をとっ
て、両データに応じて音声出力装置１４で発音させる。
演奏会場１の演奏音や歌声と同等の音が音声出力装置１
４からリアルタイムで発音される。

【００２６】また、ホームコンピュータ１２の外部に、
ＭＩＤＩ音源１３を接続すれば、ホームコンピュータ１
２は、ＭＩＤＩ音源１３に楽音信号を生成させ、音声出
力装置１４から発音させることができる。

【００２７】ルータ７が送信してからホームコンピュー
タ１２が受信するまでの時間は、例えば遅くても３０秒
である。ホームコンピュータ１２は、受信を開始した
後、連続的にデータを受信する。受信データを基に、リ
アルタイムで楽音の発音及び／又は画像の表示を行う。

【００２８】なお、音楽の演奏において、ユーザにとっ
ては、画像データよりもＭＩＤＩデータ及びオーディオ
データの方が重要な情報であるので、画像データよりも
ＭＩＤＩデータ及びオーディオデータを優先して処理を
行う。画像データは、画質が悪く、コマ数が少なくても
さほど気にならないが、ＭＩＤＩデータ及びオーディオ
データに基づく楽音信号は高品質が要求される。なお、
スポーツの中継等の場合は、画像と音との関係が逆にな
る。

【００２９】ユーザは、演奏会場１に赴かなくても、自
宅にいながらディスプレイ装置で演奏会場１の映像を見
ながら、リアルタイムで演奏音及び歌声を聴くことがで
きる。また、自宅のホームコンピュータ１２をインター
ネットに接続すれば、誰でも演奏音及び歌声を聴くこと
ができる。例えば、演奏会場１でコンサートを行った場
合には、不特定多数人が自宅でそのコンサートを楽しむ
ことができる。

【００３０】演奏会場からＭＩＤＩデータを自宅に送信
することにより、演奏者が複数のユーザのそれぞれの自
宅で電子楽器を演奏しているかのような状況を作り出す
ことができる。ＭＩＤＩデータの通信は、雑音により音
質を下げることはない。

【００３１】図２（Ａ）は、図１に示すエンコーダ５ｂ
の分散処理を示す。エンコーダ５ｂは、例えば３つのエ
ンコーダＰＣ０，ＰＣ１，ＰＣ２からなる。マイク３
（図１）は、ステレオデータを構成する左チャンネルデ
ータＤＬ及び右チャンネルデータＤＲをエンコーダＰＣ
０に供給する。エンコーダＰＣ０は、データＤＬ及びＤ
ＲをＡ／Ｄ変換し、左チャンネルデータＤＬをエンコー
ダＰＣ１に転送し、右チャンネルデータＤＲをエンコー
ダＰＣ２に転送する。

【００３２】エンコーダＰＣ１は、左チャンネルデータ
ＤＬを圧縮し、パケット化して送信サーバ６（図１）に
送信する。エンコーダＰＣ２は、右チャンネルデータＤ
Ｒを圧縮し、パケット化して送信サーバ６（図１）に送
信する。

【００３３】以上のように、エンコーダＰＣ０は、受け
たオーディオデータＤＬ，ＤＲをエンコーダＰＣ１及び
ＰＣ２に振り分ける。オーディオデータＤＬ，ＤＲは、
エンコーダＰＣ１及びＰＣ２で分散処理される。分散処
理を行うことにより、各エンコーダＰＣ０，ＰＣ１，Ｐ
Ｃ２の処理負担を軽減させることができる。

【００３４】仮に、エンコーダ５ｂを１つのエンコーダ
で構成する場合には、分散処理できず、エンコーダ５ｂ
の処理負担が増える。入力データＤＬ，ＤＲは、エンコ
ーダ５ｂ内のバッファに蓄積され、やがてバッファが溢
れてしまうことがある。また、データＤＬ，ＤＲの処理
のリアルタイム性が失われることもある。

【００３５】オーディオデータを分散処理することによ
り、左チャンネルデータＤＬと右チャンネルデータＤＲ
との２チャンネル分のデータを処理することができ、ま
た３チャンネル以上のデータも処理することができる。
チャンネルは、演奏パート毎に使用してもよい。

【００３６】また、オーディオデータＤＬ，ＤＲのサン
プル数を増やして、音質を向上させることができる。分
散処理により各エンコーダＰＣ１，ＰＣ２の処理負担が
軽減されるので、チャンネル数又はサンプル数が増加し
ても、オーディオデータのリアルタイム処理が可能であ
る。

【００３７】なお、エンコーダＰＣ１，ＰＣ２は必ずし
もパケット化処理を行う必要はない。図２（Ｂ）に示す
ように、エンコーダＰＣ０がエンコーダＰＣ１，ＰＣ２
から圧縮データを受け取って、パケット化し、送信サー
バ６（図１）にパケットを送信してもよい。同様に、図
２（Ｃ）に示すように、送信サーバ６がパケット化し、
パケットを送信してもよい。エンコーダＰＣ０又は送信
サーバ６がパケット化する場合には、データＤＬ及びＤ
Ｒを別々にパケット化してもよいし、それらをまとめて
パケット化してもよい。

【００３８】図３にエンコーダ５ｂの見かけ上の処理を
示し、図４にエンコーダ５ｂの分散処理を示す。図３
は、エンコーダ５ｂの見かけ上の処理を示すフローチャ
ートである。

【００３９】ステップＳＡ１では、入力データＤＬ，Ｄ
ＲをＡ／Ｄ変換し、圧縮処理し、時間データ等を付与す
る。時間データは、演奏時間を表し、パケット毎に付与
される。

【００４０】ステップＳＡ２では、前記データをパケッ
ト化して、送信サーバ６に転送する。パケット形式は、
後に図１０（Ａ）を参照しながら説明する。

【００４１】図４は、エンコーダ５ｂが行う分散処理を
示すフローチャートである。左側の処理ＳＢ１，ＳＢ２
はエンコーダＰＣ０が行う処理であり、右側の処理ＳＢ
３，ＳＢ４はエンコーダＰＣ１，ＰＣ２が行う処理であ
る。

【００４２】ステップＳＢ１では、エンコーダＰＣ０が
入力データＤＬ，ＤＲをＡ／Ｄ変換する。

【００４３】ステップＳＢ２では、エンコーダＰＣ０が
左チャンネルデータＤＬをエンコーダＰＣ１に、右チャ
ンネルデータＤＲをエンコーダＰＣ２に転送する。

【００４４】ステップＳＢ３では、エンコーダＰＣ１，
ＰＣ２がそれぞれ受信データを圧縮し、時間データ等を
付与する。

【００４５】ステップＳＢ４では、エンコーダＰＣ１，
ＰＣ２がそれぞれ前記データをパケット化して、送信サ
ーバ６に転送する。

【００４６】図５は、エンコーダ５ｂの他の分散処理例
を示す。エンコーダ５ｂは、例えばｎ＋１個のエンコー
ダＰＣ０，ＰＣ１，ＰＣ２，ＰＣ３，・・・，ＰＣｎか
らなる。オーディオデータＤＴは、マイク３（図１）か
らエンコーダＰＣ０に供給される。

【００４７】エンコーダＰＣ０は、オーディオデータＤ
ＴをＡ／Ｄ変換し、そのデジタル形式のオーディオデー
タＤＴを時分割して、エンコーダＰＣ１〜ＰＣｎに振り
分ける。例えば、オーディオデータＤＴは、データＤ
１，Ｄ２，Ｄ３，・・・，Ｄｎ，Ｄｎ＋１，・・・に時
分割される。

【００４８】エンコーダＰＣ１〜ＰＣｎは、それぞれ所
定時間分のデータが自己のバッファ内に蓄積されたとこ
ろで圧縮処理を開始し、圧縮したデータをパケット化し
て、送信サーバ６（図１）に転送する。

【００４９】データＤ１はエンコーダＰＣ１、データＤ
２はエンコーダＰＣ２、データＤ３はエンコーダＰＣ
３、・・・、データＤｎはエンコーダＰＣｎによりそれ
ぞれ処理されて転送される。次のデータＤｎ＋１は、再
びエンコーダＰＣ１で処理され、転送される。

【００５０】以上のように、エンコーダＰＣ０は、受け
たオーディオデータＤＴをｎ個のエンコーダＰＣ１〜Ｐ
Ｃｎに時分割で振り分ける。オーディオデータＤＴは、
エンコーダＰＣ１〜ＰＣｎで分散して処理される。この
分散処理は、例えば圧縮処理等であり、必要に応じてパ
ケット化処理も含む。分散処理により各エンコーダＰＣ
１〜ＰＣｎの処理負担が軽減されるので、サンプル数を
増やして（サンプリング周波数を高くして）、音質を向
上させることができる。

【００５１】オーディオデータを処理するエンコーダ５
ｂについて説明したが、画像データを処理するエンコー
ダ５ａ及びＭＩＤＩデータを処理するエンコーダ５ｃも
同様に分散処理を行うことできる。

【００５２】エンコーダ５ａは、画像データの圧縮処理
を分散することができる。例えば、フレーム毎に処理を
分散させることができる。

【００５３】エンコーダ５ｃは、ＭＩＤＩデータを複数
のＭＩＤＩデータ群に時分割し、ＭＩＤＩデータ群内の
各ＭＩＤＩデータの時間間隔を計測し、その時間間隔の
情報を対応するＭＩＤＩデータに付与する。これらの処
理を分散処理することができる。所定周期で１個又は複
数のＭＩＤＩデータがパケット化される。１つのパケッ
トには、１つの時間データ（図３のステップＳＡ１）が
付与される。この時間データは、パケット内のＭＩＤＩ
データの演奏時間を表す。上記の各ＭＩＤＩデータ毎の
時間情報は、さらに高分解能の演奏時間を表す。

【００５４】図６は、ＭＩＤＩデータの第１のパケット
生成処理を示す。ＭＩＤＩデータは、ノートオン、ノー
トオフ又はプログラムチェンジ（音色指定）等を含み、
単位時間当たりのデータ量は一定ではない。

【００５５】エンコーダ５ｃは、周期Ｔｐで入力データ
ＭＤ１，ＭＤ２のパケット生成処理を行う。パケット生
成周期Ｔｐは、例えば５００ｍｓである。ＭＩＤＩデー
タＭＤ１は、時刻ｔ０からｔ１０までの周期Ｔｐに受け
たデータであり、例えば６００バイトである。ＭＩＤＩ
データＭＤ２は、時刻ｔ１０からｔ２０までの周期Ｔｐ
に受けたデータであり、例えば７００バイトである。

【００５６】エンコーダ５ｃは、入力データＭＤ１，Ｍ
Ｄ２を自己のバッファに格納し、周期Ｔｐ毎にバッファ
内のデータについてパケット生成処理を行う。パケット
内のデータ部は、５００バイト程度が好ましい。データ
量が多すぎると、転送負荷が重くなってしまう。逆に、
データ量が少なすぎると、データ転送の効率が悪くなる
（オーバーヘッドが増加する）。

【００５７】まず、エンコーダ５ｃは、時刻ｔ０から周
期Ｔｐ経過後の時刻ｔ１０において、パケット生成処理
を行う。バッファ内の入力データＭＤ１は、６００バイ
トであり、５００バイトを超えている。エンコーダ５ｃ
は、入力データＭＤ１を分割し、２つのパケットＰ１及
びＰ２を生成する。パケットＰ１は、データＭＤ１中の
最初の５００バイトを含み、パケットＰ２は、データＭ
Ｄ１中の残りの１００バイトを含む。パケットＰ１及び
Ｐ２は、共に５００バイト以内のデータ部を有する。

【００５８】次に、エンコーダ５ｃは、時刻ｔ１０から
周期Ｔｐ経過後の時刻ｔ２０において、パケット生成処
理を行う。バッファ内の入力データＭＤ２は、７００バ
イトであり、５００バイトを超えている。エンコーダ５
ｃは、入力データＭＤ２を分割し、２つのパケットＰ３
及びＰ４を生成する。パケットＰ３は、データＭＤ２中
の最初の５００バイトを含み、パケットＰ４は、データ
ＭＤ２中の残りの２００バイトを含む。

【００５９】上記のパケット生成処理によれば、パケッ
ト内のデータを常に５００バイト以下に収めることがで
きる。エンコーダ５ｃは、４個のパケットＰ１〜Ｐ４を
転送する。

【００６０】図７は、ＭＩＤＩデータの第２のパケット
生成処理を示す。エンコーダ５ｃは、周期Ｔｐの開始タ
イミングを調整して、効率的に入力データＭＤ１，ＭＤ
２のパケット生成処理を行う。

【００６１】まず、エンコーダ５ｃは、時刻ｔ０から周
期Ｔｐ経過後の時刻ｔ１０でパケット生成処理を行う。
その際、６００バイトの入力データＭＤ１の最初の５０
０バイトのデータを基にパケットＰ１を生成する。この
パケットＰ１内の５００バイトのデータの終了時刻ｔ９
を次の周期Ｔｐの開始時刻とする。

【００６２】ここで、時刻ｔ９の取得方法を２つ説明す
る。まず、第１の方法を示す。１個のＭＩＤＩデータ
（ＭＩＤＩイベント）は、代表的には１〜３バイトで構
成される。エンコーダ５ｃは、ＭＩＤＩデータが入力さ
れる度に、その入力時刻（好ましくは絶対時間）をＭＩ
ＤＩデータと共にバッファに格納する。そして、パケッ
トＰ１を生成した後、パケットＰ１内の５００バイトの
データの最後のデータに対応する入力時刻を取得する。
その入力時刻をｔ９とする。

【００６３】また、上記の入力時刻は絶対時間でも相対
時間でもよい。エンコーダ５ｃは、パケットＰ１内の５
００バイトの最初のデータの入力時刻と最後のデータの
入力時刻を取得し、その両者の入力時刻の差を時刻ｔ０
に加算して、時刻ｔ９を取得してもよい。

【００６４】次に、第２の方法を示す。エンコーダ５ｃ
は、ＭＩＤＩデータが入力される度に、前回のＭＩＤＩ
データと今回のＭＩＤＩデータの入力時間の間隔を今回
のＭＩＤＩデータと共にバッファに格納する。そして、
パケットＰ１を生成した後、パケットＰ１内のすべての
ＭＩＤＩデータに対応する時間間隔を加算し、その加算
値を時刻ｔ０に加算することにより、時刻ｔ９を取得す
ることができる。以上で時刻ｔ９の取得方法の説明を終
える。

【００６５】次に、エンコーダ５ｃは、時刻ｔ９から周
期Ｔｐ経過後の時刻ｔ１９において、パケット生成処理
を行う。その際、バッファに格納されている入力データ
ＭＤ１の残り及びＭＤ２の先頭の５００バイトを基にパ
ケットＰ２を生成する。パケットＰ２は、入力データＭ
Ｄ１の最後の１００バイトのデータ及び入力データＭＤ
２の先頭の４００バイトのデータを有する。このパケッ
トＰ２内の５００バイトのデータの終了時刻ｔ１８を次
の周期Ｔｐの開始時刻とする。

【００６６】次に、エンコーダ５ｃは、時刻ｔ１８から
周期Ｔｐ経過後の時刻ｔ２７において、パケット生成処
理を行う。その際、バッファに格納されている入力デー
タＭＤ２中の残りの３００バイトのデータを基にパケッ
トＰ３を生成する。

【００６７】このパケットＰ３内の３００バイトのデー
タの終了時刻をｔ２０とする。次の周期Ｔｐの開始時刻
は、時刻ｔ２０又はｔ２７のいずれにしてもよい。時刻
ｔ２０を開始時刻とすると、パケットを細分化して送信
することができる利点がある。一方、時刻ｔ２７を開始
時刻とすると、送信するパケットの数を減らすことがで
きる利点がある。

【００６８】第１のパケット生成処理（図６）はパケッ
ト数が４個であったが、第２のパケット生成処理（図
７）はパケット数を３個に減らすことができる。第２の
パケット生成処理は、パケット数を減らし、効率的なパ
ケット転送を行うことができる。

【００６９】なお、上記の第１又は第２のパケット生成
処理は、エンコーダ５ｃの他、他のエンコーダ５ａ，５
ｂ又は送信サーバ６（図１）が行ってもよい。オーディ
オデータは、サンプリング周波数を変更することによ
り、単位当たりのデータ量が変化する。

【００７０】図８は、上記の第２のパケット生成処理
（図７）を示すフローチャートである。

【００７１】ステップＳＣ１では、バッファ内のデータ
（例えばデータＭＤ１）を先頭から５００バイト分だけ
パケット化する。このバッファは、ファーストインファ
ーストアウトバッファ（ＦＩＦＯ）であり、パケット化
されたデータはバッファから消去される。

【００７２】ステップＳＣ２では、バッファ内に未だデ
ータが残っているか否かをチェックする。残っていると
きにはｙｅｓの矢印に従い、ステップＳＣ３へ進み、残
っていないときにはｎｏの矢印に従い、ステップＳＣ４
へ進む。

【００７３】ステップＳＣ３では、パケット化した最後
のデータに相当する時刻（例えば時刻ｔ９）を取得し、
ステップＳＣ５へ進む。

【００７４】ステップＳＣ４では、今回パケット処理を
開始した時刻（例えば時刻ｔ２７）を取得し、ステップ
ＳＣ５へ進む。

【００７５】なお、ステップＳＣ２では、バッファ内に
データが残っていても残っていなくても、ステップＳＣ
３へ進むようにしてもよい。

【００７６】ステップＳＣ５では、上記で取得した時間
から周期Ｔｐ（５００ｍｓ）経過後にこのパケット処理
モジュール（図８）が再起動されるように準備する。

【００７７】図９は、エンコーダ５（エンコーダ５ａ，
５ｂ又は５ｃ）とホームコンピュータ１２の具体的なハ
ードウエア構成を示す図である。エンコーダ５とホーム
コンピュータ１２は、共に汎用コンピュータ又はパーソ
ナルコンピュータ等を用いることができる。

【００７８】エンコーダ５とホームコンピュータ１２
は、基本的に同じ構成である。両者の構成を説明する。
バス２１には、ＣＰＵ２２、ＲＡＭ２４、外部記憶装置
２５、外部に対してＭＩＤＩデータを送受信するための
ＭＩＤＩインターフェース２６、サウンドカード２７、
ＲＯＭ２８、表示装置２９、キーボードやスイッチやマ
ウス等の入力手段３０、インターネットを行うための通
信インターフェース３１が接続されている。

【００７９】サウンドカード２７は、バッファ２７ａと
コーデック回路２７ｂを有する。バッファ２７ａは、外
部に対して入力又は出力するためのデータをバッファリ
ングする。コーデック回路２７ｂは、Ａ／Ｄ変換器及び
Ｄ／Ａ変換器を有し、アナログ形式とデジタル形式の両
者間の変換を行うことができる。さらに、コーデック回
路２７ｂは、圧縮／伸張回路を有し、データの圧縮及び
伸張を行うことができる。データは、圧縮された状態
で、インターネット通信される。

【００８０】外部記憶装置２５は、例えばハードディス
クドライブ、フロッピーディスクドライブ、ＣＤ−ＲＯ
Ｍドライブ、光磁気ディスクドライブ等であり、ＭＩＤ
Ｉデータ、オーディオデータ、画像データ又はコンピュ
ータプログラム等を記憶することができる。

【００８１】ＲＯＭ２８は、コンピュータプログラム及
び各種パラメータを記憶することができる。ＲＡＭ２４
は、バッファやレジスタ等のワーキングエリアを有し、
外部記憶装置２５に記憶されている内容をコピーして記
憶することができる。

【００８２】ＣＰＵ２２は、ＲＯＭ２８又はＲＡＭ２４
に記憶されているコンピュータプログラムに従って、各
種演算または処理を行う。システムクロック２３は、時
間情報を生成する。ＣＰＵ２２は、システムクロック２
３から時間情報を得て、タイマ割り込み処理を行うこと
ができる。

【００８３】インターネット回線３２には、エンコーダ
５の通信インターフェース３１及びホームコンピュータ
１２の通信インタフェース３１が接続される。通信イン
ターフェース３１は、インターネットにより、ＭＩＤＩ
データ、オーディオデータ及び画像データを送受信する
ためのインターフェースである。エンコーダ５とホーム
コンピュータ１２は、インターネット回線３２により接
続される。

【００８４】まず、エンコーダ５について説明する。エ
ンコーダ５ｃ（図１）では、ＭＩＤＩインタフェース２
６にＭＩＤＩ楽器２が接続され、エンコーダ５ｂ（図
１）では、サウンドカード２７にマイク３が接続され
る。ＭＩＤＩ楽器２は、演奏者の演奏操作に応じてＭＩ
ＤＩデータを生成し、ＭＩＤＩインタフェース２６に出
力する。マイク３は、演奏会場における音声を入力し、
アナログ形式のオーディオ信号をサウンドカード２７に
出力する。サウンドカード２７は、アナログ形式のオー
ディオ信号をバッファ２７ａにバッファリングし、コー
デック回路２７ｂでアナログ形式のオーディオ信号をデ
ジタル形式のオーディオデータに変換し、そのデータを
圧縮する。

【００８５】次に、ホームコンピュータ１２について説
明する。ＭＩＤＩインタフェース２６には、ＭＩＤＩ音
源１３が接続され、サウンドカード２７には、音声出力
装置１４が接続される。ＣＰＵ２２は、通信インタフェ
ース３１を介して、インタネット回線３２上からＭＩＤ
Ｉデータとオーディオデータと画像データを受信する。

【００８６】通信インタフェース３１は、インターネッ
ト用インタフェースの他、イーサネット用インタフェー
ス、ＩＥＥＥ１３９４規格のデジタル通信インタフェー
ス、ＲＳ−２３２Ｃ用インタフェースでもよく、種々の
ネットワークに接続することができる。

【００８７】エンコーダ５は、分散処理やパケット転送
等をするためのコンピュータプログラムを記憶する。ホ
ームコンピュータ１２は、オーディオデータの受信や再
生等をするためのコンピュータプログラムを記憶する。
コンピュータプログラムや各種パラメータ等を外部記憶
装置２５に記憶させておき、それをＲＡＭ２４に読み込
むことにより、コンピュータプログラム等の追加やバー
ジョンアップ等が容易に行える。

【００８８】ＣＤ−ＲＯＭ（コンパクトディスク−リー
ド・オンリィ・メモリ）ドライブは、ＣＤ−ＲＯＭに記
憶されているコンピュータプログラム等を読み出す装置
である。読み出したコンピュータプログラム等は、ハー
ドディスクにストアされる。コンピュータプログラムの
新規インストールやバージョンアップ等が容易に行え
る。

【００８９】通信インターフェース３１はＬＡＮ（ロー
カルエリアネットワーク）やインターネット、電話回線
等の通信ネットワーク３２に接続されており、該通信ネ
ットワーク３２を介して、コンピュータ３３と接続され
る。外部記憶装置２５内に上記のコンピュータプログラ
ム等が記憶されていない場合、コンピュータ３３からコ
ンピュータプログラム等をダウンロードすることができ
る。エンコーダ５又はホームコンピュータ１２は、通信
インターフェース３１及び通信ネットワーク３２を介し
てコンピュータ３３へコンピュータプログラム等のダウ
ンロードを要求するコマンドを送信する。コンピュータ
３３は、このコマンドを受け、要求されたコンピュータ
プログラム等を、通信ネットワーク３２を介してエンコ
ーダ５又はホームコンピュータ１２へ配信する。エンコ
ーダ５又はホームコンピュータ１２が通信インタフェー
ス３１を介して、コンピュータプログラム等を受信して
外部記憶装置２５に蓄積することにより、ダウンロード
が完了する。

【００９０】なお、本実施例は、本実施例に対応するコ
ンピュータプログラム等をインストールした市販のパー
ソナルコンピュータ等によって、実施させるようにして
もよい。その場合には、本実施例に対応するコンピュー
タプログラム等を、ＣＤ−ＲＯＭやフロッピディスク等
の、コンピュータが読み込むことができる記憶媒体に記
憶させた状態で、ユーザーに提供してもよい。そのパー
ソナルコンピュータ等が、ＬＡＮ、インターネット、電
話回線等の通信ネットワークに接続されている場合に
は、通信ネットワークを介して、コンピュータプログラ
ムや各種データ等をパーソナルコンピュータ等に提供し
てもよい。

【００９１】また、エンコーダ５又はホームコンピュー
タ１２は、パーソナルコンピュータの他、電子楽器、ゲ
ーム機、カラオケ装置、テレビ等の形態として適用して
もよい。

【００９２】図１０（Ａ）は、エンコーダ５ｂが送信す
るオーディオデータパケット５０の構造を示す。

【００９３】オーディオデータパケット５０は、ヘッダ
５１とオーディオデータ４８とフッタ５２を有する。ヘ
ッダ５１は、時間情報を表すタイムスタンプ４１、パケ
ットの順番を示すシーケンスナンバ５３、当該パケット
がオーディオデータであることを示す識別子（ＩＤ）４
２、当該パケットのサイズ４３を有する。

【００９４】タイムスタンプ４１は、パケット内のオー
ディオデータ４８の送信時刻を表すと共に、演奏時刻、
録音時刻、或いは再生時刻をも表す。エンコーダ５ｂ
は、自己のシステムクロックが生成する時間情報に応じ
て、タイムスタンプ４１を生成する。

【００９５】識別子４２は、オーディオデータパケット
やＭＩＤＩデータパケットや画像データパケット等のパ
ケットの種類を表すことが可能である。ここでは、オー
ディオデータ４８を送信するので、オーディオデータパ
ケットを表すものとなる。

【００９６】オーディオデータ４８は、サンプリング周
波数及び圧縮モードを含むヘッダ４８ａとオーディオデ
ータ４８ｂを含む。オーディオデータ４８ｂは、マイク
３（図１、図９）で生成されたデータを、Ａ／Ｄ変換
し、圧縮したデータである。

【００９７】フッタ５２は、データの終了を表すデータ
を有する。ヘッダ５１又はフッタ５２に、チェックサム
を含ませてもよい。チェックサムは、例えばオーディオ
データ４８の合計値である。この場合、エンコーダ５ｂ
は、当該合計値を計算し、チェックサムとしてパケット
中に付与する。ホームコンピュータ１２は、当該合計値
を計算し、チェックサムの値と合っていれば、通信エラ
ーがないことを確認することができる。

【００９８】図１０（Ｂ）は、エンコーダ５ｃが送信す
るＭＩＤＩデータパケット４９の構造を示す。

【００９９】ＭＩＤＩデータパケット４９は、ヘッダ５
１とＭＩＤＩデータ４４とフッタ５２を有する。

【０１００】ヘッダ５１は、オーディオデータパケット
の場合と同様に、タイムスタンプ４１、シーケンスナン
バ５３、当該パケットがＭＩＤＩデータであることを示
す識別子（ＩＤ）４２、当該パケットのサイズ４３を有
する。

【０１０１】ＭＩＤＩデータ４４は、スタンダードＭＩ
ＤＩファイルフォーマットに準拠したものであり、デル
タタイム（インターバル）とＭＩＤＩイベントを１組に
したデータの列である。デルタタイムは、直前のＭＩＤ
Ｉイベントと当該ＭＩＤＩイベントの間の時間間隔を表
す。ただし、デルタタイムが０であるときには、デルタ
タイムを省略することができる。

【０１０２】画像データについても、上記のオーディオ
データパケットと同様なパケット構造を有する。その場
合、識別子４２は、画像データであることを示す。

【０１０３】以上のように、エンコーダ５ａ，５ｂ，５
ｃは、分散処理を行うことにより、画像データ、オーデ
ィオデータ、ＭＩＤＩデータのリアルタイム処理の負担
を軽減させることができる。エンコーダ５ａ，５ｂ，５
ｃの処理負担は軽減されるので、オーディオデータのサ
ンプル数等を増加させて、音質等を向上させることがで
きる。

【０１０４】分散処理の対象としては、特に楽音情報の
加工処理が好ましい。楽音情報は、オーディオデータ又
はＭＩＤＩデータ等である。加工処理は、圧縮処理、時
間情報の付与、又はパケット生成処理である。

【０１０５】また、パケット生成処理では、図７に示し
たように、周期Ｔｐの開始時刻をバッファ内のデータ量
に応じて調整することにより、パケット数を減らし、パ
ケット転送負荷を軽減させることができる。

【０１０６】なお、本実施例は、オーディオデータ及び
ＭＩＤＩデータ等をインターネットで通信する場合に限
定されない。例えば、ＩＥＥＥ１３９４規格のデジタル
シリアル通信や通信衛星等の他の通信にも適用すること
ができる。

【０１０７】以上実施例に沿って本発明を説明したが、
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組み合わせ等が可能なことは当業者に
自明であろう。

【０１０８】

【発明の効果】以上説明したように、本発明によれば、
楽音情報の加工を分散して行うことにより加工の負担は
軽減される。加工の負担を軽減させることにより、楽音
情報のリアルタイム処理が可能になる。また、楽音情報
の情報量を増やして、楽音情報の質を高めることもでき
る。

【０１０９】また、パケット化の際に、前回パケット化
したパケット内の最後の楽音情報に対応する時刻から所
定周期経過後に次の楽音情報の量を検出してパケット化
を行うことにより、効率的なパケット転送を行うことが
できる。

【図面の簡単な説明】

【図１】マルチメディアの通信ネットワークを示すブ
ロック図である。

【図２】図２（Ａ）〜（Ｃ）はステレオチャンネルデ
ータの分散処理を行うエンコーダを示すブロック図であ
る。

【図３】エンコーダの見かけ上の処理を示すフローチ
ャートである。

【図４】エンコーダの分散処理を示すフローチャート
である。

【図５】時分割で分散処理を行うエンコーダを示すブ
ロック図である。

【図６】第１のパケット生成処理を示すタイムチャー
トである。

【図７】第２のパケット生成処理を示すタイムチャー
トである。

【図８】第２のパケット生成処理を示すフローチャー
トである。

【図９】エンコーダ及びホームコンピュータのハード
ウエアの構成を示す図である。

【図１０】図１０（Ａ）はオーディオデータパケット
の構造を示し、図１０（Ｂ）はＭＩＤＩデータパケット
の構造を示す図である。

【符号の説明】

１演奏会場、２ＭＩＤＩ楽器、３マイ
ク、４カメラ、５ａ，５ｂ，５ｃエンコーダ、
６送信サーバ、７ルータ、８中継プロバ
イダ、８ａ，８ｂルータ、９インタネット
回線、１０送信プロバイダ、１０ａ，１０ｂル
ータ、１１ルータ、１２ホームコンピュータ、
１３ＭＩＤＩ音源、１４音声出力装置、
ＰＣエンコーダ、２１バス、２２ＣＰ
Ｕ、２３システムクロック、２４ＲＡＭ、
２５外部記憶装置、２６ＭＩＤＩインタフ
ェース、２７サウンドカード、２７ａバッ
ファ、２７ｂコーデック回路、２８ＲＯＭ、
２９表示装置、３０入力手段、３１通信
インタフェース、３２通信ネットワーク、３３
コンピュータ、４１タイムスタンプ、４２
識別子（ＩＤ）、４３パケットサイズ、４４Ｍ
ＩＤＩデータ、４５，４７ＭＩＤＩイベント、
４６デルタタイム、４８デジタルオーディオ
データ、４９ＭＩＤＩデータパケット、５０
オーディオデータパケット、５１ヘッダ、５２
フッタ、５３シーケンスナンバ

フロントページの続きＦターム(参考） 5D378 MM02 MM34 MM35 MM97 QQ23 QQ26 QQ30 QQ34 TT01 TT23 5K030 HA08 HB01 LA07 LA08 LE03 MA13 MB15

Claims

【特許請求の範囲】

【請求項１】楽音情報を入力する入力手段と、前記入力手段に入力される楽音情報を加工する複数の加
工手段と、前記入力手段に入力される楽音情報を前記複数の加工手
段に振り分け、該振り分けた楽音情報をそれぞれ該複数
の加工手段に加工させる振り分け手段と、前記複数の加工手段により加工された楽音情報を転送す
る転送手段とを有する楽音情報転送装置。
【請求項２】楽音情報を入力する入力手段と、前記入力手段に入力される楽音情報を加工する加工手段
と、前記加工手段により加工された所定周期内の楽音情報の
量を検出し、その量が所定量よりも多いときにはその所
定量の楽音情報を抽出してパケット化し、その後、該パ
ケット化したパケット内の最後の楽音情報に対応する時
刻から前記所定周期経過後に次の楽音情報の量を検出し
て前記パケット化を行うパケット生成手段と、前記パケット生成手段によりパケット化されたパケット
を転送する転送手段とを有する楽音情報転送装置。