JP2007178860A - 遠隔地における合奏方法及びそれに用いる電子楽器及びそのプログラム - Google Patents

Abstract

【課題】違和感の少ない遠隔地合奏を可能にした電子楽器及びその合奏方法を提供することを目的とする。
【解決手段】人間の演奏動作による楽音入力情報を送信手段１４ａによってネットワークに送信すると共に、他地点から送信されて来た演奏情報を受信する受信手段１４ｃを持ち、自身の演奏動作に基づく入力楽音情報を、遅延手段１４ｂにより、所定時間の遅延時間遅らせて楽音生成手段１８に伝達させ、その遅延させた自身の楽音情報と受信した他地点からの演奏情報とを楽音生成手段１８により、それぞれの楽音信号に生成すると共に混合する。上記遅延時間は、ネットワークの往復遅延時間以上の時間を２分割した時間である。
【選択図】図１

Description

この発明は、ネットワークを介して異なる地点間で合奏する遠隔地合奏に用いる電子楽器及びその合奏方法とそのプログラムに関し、特にネットワークの遅延時間に基づいて演奏者が感じる違和感を減少させて円滑な合奏を可能にしようとする技術に係わる。

最近、音楽データファイル（Musical Instrument Digital Interface、以下MIDIと略す）をネットワークを介して交換することで、ライブ中継や遠隔地間同士で電子楽器の合奏を行う遠隔地合奏が行なわれる様になって来ている。
この遠隔地合奏を行う方法として、従来からネットワークによる遅延時間分の時間遅らせて同時に楽音を発生させる考え方が知られている。その方法の一つである非特許文献１に示されている技術を図１２を参照して説明する。
図１２は、ネットワークを介した異なる地点であるサイトＡとサイトＢの演奏者が、例えば１２小節のブルース進行などの、同一のコード進行の繰り返しを、テンポ一定で演奏する様子を示す図である。

つまり、ネットワーク上の遅延時間分以上の時間だけ正確に遅らせてサイトＡとＢとの間でMIDIファイルを交換することで、ネットワーク上の通信の遅延時間の影響を受けないようにしたものである。したがって、楽音の繰り返し単位、例えば１２小節を一周期として繰り返される部分（part）の楽音だけをネットワークで交換するようにしたものである。
同様に楽音の同時発音に拘った特許文献１に開示された技術を図１３に示す。電子楽器端末１３Ａと１３Ｂは、ネットワークを介した離れた地点に位置し、時刻ｔ_１で電子楽器端末１３Ａが演奏動作を行なう（Ｓ１３１）。その演奏動作によって生成されたMIDIファイルは、別に測定したネットワーク上の遅延時間（Δｔ_net）以上の遅延時間であるΔＴ後（ΔＴ＞Δｔ_net）の楽音を発生させたい時刻ｔ_４の時刻情報と共にパケット（packet）化され、電子楽器端末１３Ｂに送信される（Ｓ１３２）。その楽音を発生させたい時刻情報ｔ_４とMIDIファイルから成るパケットを受信した電子楽器端末１３Ｂは（Ｓ１３３）、電子楽器端末１３Ａの楽音を、時刻ｔ_４において発生する（Ｓ１３４）。電子楽器１３Ａでは、同時刻の時刻ｔ_４で自身の楽音を発生させる（Ｓ１３５）。
ＲＭＣＰ：遠隔音楽制御用プロトコルを中心とした音楽情報処理；情報処理学会論文誌Vol.40,No.3,情報処理学会,pp.1335-1345(1999)（図６） 特開２００５−１９５９８２（図３）

しかしながら、上記したような従来の技術では、演奏者にネットワーク上の遅延時間に基づく違和感があり、快適な合奏が行なえなかった。
非特許文献１の技術では、そもそも一定のリズムを刻む一部のパートのMIDIファイルの交換を行なうものであり、サイトＡとＢにおいて同じ音楽を共有することができない。つまり、MIDIファイルを交換した同一コード進行の一部の旋律のみを共有するものであって、本来の合奏が実現できない。
また、特許文献１の技術では、一方の演奏動作に基づく楽音情報を、ネットワークの遅延時間以上遅らせて発音させる時刻情報と共に他方に送信することで、両方で同時刻に楽音を発生させる記載が見られる。しかし、他方の楽器をどのように演奏したら合奏出来るのかについての記載がない。特許文献１の段落〔0025〕に、「電子楽器端末１３Ｂの演奏音を１３Ａで発生させる場合も、同様の処理を行なえばよい」との記載があるだけで、ネットワークを介して送信されて来る演奏音に自身の楽音をどのようにして同期させるのか、についての記載が一切ない。つまり、遠隔地間で楽音は同時に発生するが、演奏者同士が一体感を感じる合奏演奏を行なうための技術は何ら示されてない。

この発明はこのような点に鑑みてなされたものであり、人間が持つ同期感覚を用いた錯覚現象を用い、違和感の少ない遠隔地合奏を可能にした電子楽器及びその合奏方法を提供することを目的とする。

この発明による電子楽器は、人間の演奏動作による入力楽音情報を送信手段によってネットワークに送信すると共に、他地点から送信されて来た演奏情報を受信する受信手段を持ち、自身の演奏動作に基づく入力楽音情報を、遅延手段により、所定時間の遅延時間遅らせて楽音生成手段に伝達させ、その遅延させた自身の楽音情報と受信した他地点からの演奏情報とを楽音生成手段により、それぞれの楽音信号に生成すると共に混合し、演奏情報からの楽音信号づく楽音が、上記電子楽器の演奏タイミングを提供する。

更にこの発明の合奏方法は、ネットワーク上の通信の往復遅延時間を測定し、上記往復遅延時間測定過程で得られた往復遅延時間を分割し、上記遅延時間分割過程で分割された第１の遅延時間と第２の遅延時間とを上記異なる両地点に対して分け合い与え、自地点の電子楽器の上記入力楽音情報をその地点に分けられた遅延時間だけ遅延して楽音信号を生成し、相手地点より受信した演奏情報を直ちに楽音信号として生成すると共に両生成された楽音信号を合成する。

以上のようにこの発明の電子楽器を用いて、他地点から送られて来る演奏情報に基づく楽音に合わせて自身の演奏操作を行なうことで、自身の演奏もそれに同期しているように錯覚し、遠隔地同士でも違和感の少ない合奏を行なうことができる。この発明の合奏方法によれば、地点Ａと地点Ｂでの楽音は同時に発生しないが、同一の楽曲を共有することが出来る。つまり、ネットワークの遅延時間分、お互いの演奏にずれは生ずるが同時に合奏しているように感じる。このずれは、通信手段（ネットワーク）で接続されたＡ地点及びＢ地点の演奏者には認識されない。したがって、遠隔地間で離れて演奏する演奏者同士が一体感を感じて合奏することが可能になる。

以下、この発明の実施の形態を図面を参照して説明する。以降の説明において、同一のものには同一の参照符号を付け、説明は繰り返さない。
［第１実施形態］

図１にこの発明の電子楽器の基本機能構成を示す。電子楽器αは、ネットワーク１０に接続されている。このネットワーク１０は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）や、インターネット（Internet）であり、これを介して電子楽器αと同一構成のこの発明による電子楽器βが接続されている。
電子楽器α（以下、電子は省略し単に楽器と称す）は、例えば電子ピアノのキーボードである演奏入力手段１２と、その演奏入力信号が入力されるマイクロプロセッサ（microprocessor）ＩＣで構成される楽器制御ＭＰＵ１４と、楽器制御ＭＰＵ１４（以下ＭＰＵ１４と略す）に遅延時間を設定する遅延時間設定手段１６と、ＭＰＵ１４が出力するMIDIデータに基づく楽音信号を生成する楽音生成手段１８と、楽音信号を音響信号に変換するスピーカー２０とで構成される。

このようにこの実施例１による楽器は、プロセッサＩＣを中心として形成されているので、プロッセサＩＣ内のＲＯＭ及びＲＡＭに記憶するコンピュータプログラムによって、その機能が実現出来るものである。
演奏者が演奏入力手段１２を操作すると、演奏入力手段１２は直に楽音情報生成手段１２ａによって楽器αの楽音情報を、例えばMIDIファイル形式で生成し、ＭＰＵ１４に入力する。そのMIDIファイルは、演奏情報として送信手段１４ａによってネットワーク１０を介して別の場所にある楽器βに送信される。この楽音情報生成手段１２ａは、ＭＰＵ１４の中に設けられていても良い。その場合、ＭＰＵ１４には演奏入力手段１２からの単純な操作信号のみが入力される。

演奏操作によって発生した楽器αのMIDIファイルは、遅延手段１４ｂによって遅延時間設定手段１６によって定められた時間、遅らされて楽音生成手段１８に伝達される。一方、楽器βからの、楽器βの演奏情報であるMIDIファイルは、受信手段１４ｃで受信されると直ちに楽音生成手段１８に伝達される。
つまり、遠く離れた場所にある楽器βからの演奏情報は、そのMIDIファイルが受信されたと同時に楽音生成手段１８によって楽音信号に変換されるが、自身（楽器α）の演奏操作に基づく入力楽音情報は、遅延手段１４ｂによって所定の時間遅らされた後に楽音信号に変換されるように構成されている。

遅延手段１４ｂが自身の入力楽音情報を遅延させる遅延量は、ネットワーク１０上の通信の往復遅延時間に基づいて設定される。その通信の往復遅延時間の測定方法は、いろいろな方法が考えられるが、例えば、ネットワーク１０上での通信がパケット通信により行なわれている場合に楽器αとは別に楽器αのネットワーク１０に対する位置と同等な位置に在るパケット往復遅延時間測定手段２２を用いて、パケット往復遅延時間測定手段２２と楽器βとが所定のパケット交換を行うことで測定する。或いは、特許文献１の段落［0029］に記載されているように、パケット往復遅延時間測定手段２２が、ネットワーク１０に接続されたトラフィック（traffic）検出サーバ２４との間でパケット交換を行なうことで通信の往復遅延時間を測定してもよい。

それらの方法で測定したパケット通信の往復遅延時間を２分割し楽器αとβに分け合い与える。例えば、楽器αからβへの往路の所要時間が２０ｍｓで、復路が１８０ｍｓの２００ｍｓであったとすると、その往復遅延時間に相当するように、例えば１００ｍｓの遅延時間になるように楽器αの遅延時間設定手段１６を設定する。この場合は往復遅延時間を分け合う関係から楽器βの遅延時間も同様に１００ｍｓに設定する。
この設定行為は、楽器αとβの演奏者が電話等で連絡を取り合って行なう。或いは、わざわざ電話するのではなく、今、楽器αとβとの間はパケット通信によって接続されているので、その通信環境に合奏のための演奏情報の他に音声情報や画像情報を乗せることで、音声又は、音声と画像によって、それぞれの演奏者が連携を取って遅延量の設定を行なうことも可能である。
［この発明の基本原理］
ここで、この発明の基本原理について述べる。図２（ａ）は、上記した楽器αからβへの往路の所要時間が例えば２０ｍｓで復路が例えば１８０ｍｓの遅延時間の時に、楽器αで演奏入力動作（例えば鍵盤を１回押す動作）をした場合に、地点Ａと地点Ｂで得られる楽音のタイミングを示した図である。つまり、ネットワーク上の通信の往復遅延時間を表している。

楽器αを時刻ｔａで演奏した場合、離れた地点Ｂに在る楽器βでは、その往路の所要時間分の２０ｍｓ後の時刻ｔｂに楽器αのＡ音が鳴る。Ｂ地点ではこのＡ音に合わせてＢ音を演奏することが出来る。しかし、Ｂ地点での演奏操作に基づく演奏情報をＡ地点に送ると、Ａ地点では時刻ｔａから２００ｍｓ後の時刻ｔｃでＢ音が鳴る。
このＡ地点におけるＢ音に時刻ｔａの演奏操作に基づくＡ音を、同期させるためには、演奏操作から２００ｍｓ後に楽音を発生させなければならない。
これでは、楽器αの演奏者は自分の演奏動作とその動作に基づく楽音とのタイミングのずれが大きく違和感も大きい。また、それぞれの地点で演奏される楽音が同期して混合されないと合奏にならない。

そこで、この発明では、演奏操作から楽音が出力されるまでの遅延は、ある程度なら許容できる点に着目して、往復遅延時間を楽器αとβで分け合うようにした。この例では２００ｍｓである往復遅延時間に対して、例えば、楽器α側の遅延時間を１００ｍｓ、楽器β側の遅延時間を１００ｍｓに設定する。
そう設定した状態で、図２（ｂ）に示すように楽器βの演奏者が、Ａ音（以下楽音Ｂα_１と表記する。Ｂ地点における楽音α_１の意味である）に自身の楽器βの楽音が同期して発生するように演奏入力を行なう。音楽は一定のリズムとテンポで楽音が刻まれるので、楽音Ｂα_１よりも過去の音を聞いてそれを行なうのは容易である。楽音Ｂα_１に楽器βの演奏が同期すると、図２（ｂ）に示すようにｔａよりも８０ｍｓ早い時刻において演奏入力β_１が行なわれる。演奏入力β_１に基づく楽器βの楽音Ｂβ_１は、今、遅延時間が１００ｍｓに設定されているので、ｔａから２０ｍｓ後に発生する楽器αの楽音Ｂα_１と同時に発生する。

一方、楽器βの演奏入力β_１に基づく演奏情報は、ネットワークを介して地点Ａの楽器αに送信される。楽器βから送信された演奏情報は、復路の遅延時間１８０ｍｓ後のｔａ＋１００ｍｓの時刻に楽器αに到達し、楽音Ａβ_１となる。いま、楽器αの遅延時間も１００ｍｓに設定されているので、時刻ｔａで行なわれた楽器αの演奏入力α_１による楽音Ａα_１も同時に発生する。つまり、絶対的な時間は異なるが、Ａ地点及びＢ地点で同じ楽音α_１とβ_１を混合して聞くことが出来る。
このように地点ＡとＢでは、同時刻で同一の楽音は発生しないが、それぞれの地点において同一の音楽を共有することが可能になる。同一の音楽を共有するためには、楽器αとβに設定する遅延時間の和をネットワークの往復遅延時間以上にする必要がある。その関係が保たれれば、自身の演奏操作のタイミングから一定時間遅れて発生する自身の楽音に、他人の楽音を同期させることが出来る。この結果、自分の演奏操作がそれに同期したような錯覚を演奏者にもたらすことができる。

このようにネットワークの往復遅延時間以上の時間を、異なる地点に在る楽器αとβで分け合う。分け合う割合は半分ずつが最も好ましいが、演奏者の遅延時間に対する許容力には差があることから、例えば楽器αに６割、楽器βに４割と、５０％±１０％程度の範囲で可変しても良い。
この発明の遅延時間設定手段１６の一具体例を図３に示し、この実施例１の動作を更に詳しく説明する。

図３は、遅延時間設定手段１６を例えば、１６ポジションのロータリースイッチ１６ａで構成した例を示す。ロータリースイッチ１６ａは、つまみ１６ｂの位置によって４bitの出力信号線ｂ０〜ｂ３が０_Ｂ（_ＢはBinary）から１５_Ｂまでの値に変化するものである。この出力信号線ｂ０〜ｂ３が、ＭＰＵ１４の入力ポート（port）に接続されている。ＭＰＵ１４は、出力信号線ｂ０〜ｂ３の値に基づいて、遅延手段１４ｂの遅れ時間を設定する。演奏入力手段１２からの入力楽音情報は、その遅延時間分、遅らされて楽音生成手段１８に入力される。

楽音生成手段１８は、図示していないディジタルコントロールオシレータ、ディジタルコントロールフィルタ、ディジタルコントロールアンプ及びエフェクタを有し、入力されたMIDIファイルに基づいて楽音波形メモリから楽音波形データを読み出して、その楽音信号を生成するものである。
演奏入力手段１２からの入力楽音情報は、ロータリースイッチ１６ａによって設定された遅延時間分、遅れて楽音生成手段１８に伝達されるので、演奏操作から遅れてスピーカー２０から楽音音響信号が出力される。

図４は図１の動作フローである。ＭＰＵ１４は、演奏入力手段１２から入力楽音情報が在った時に発生する楽音割込みと、ＭＰＵ１４が時間計測のために持つタイマー割込み、及び受信手段で演奏情報が受信された際に発生する受信割込みの３つの割込みによって動作を開始する。
演奏入力手段１２に演奏者からの演奏入力があると入力楽音情報が生成され、ＭＰＵ１４は割込み有りとして動作を開始する（ステップＳ４０）。その割込みは、ステップＳ４１で楽音割込みと判断され、演奏入力手段１２から入力されたMIDIファイルを送信手段１４ａによってネットワーク１０を介して楽器βに送信する（ステップＳ４２）。送信されたMIDIファイルは、図４には図示していないが、楽器β側で演奏情報として受信手段で受信された後、直ちに楽音生成手段において楽音信号が生成され、楽器β側のスピーカーから音響信号として出力される。

楽器αにおいては、自身の入力楽音情報を楽器βに送信した後、遅延時間設定手段１６が例えばロータリースイッチ１６ａのつまみ１６ｂの位置を読み込み、ステップＳ４３でその位置に対応した遅延時間を遅延手段１４ｂに設定する。遅延時間を遅延手段１４ｂに設定したあと、割込み待ち（ステップＳ４０）に戻る。
この状態でＭＰＵ１４が持つ例えば１０ｍｓ間隔で発生するタイマー割込みを待つ。タイマー割込みが発生すると再びＭＰＵ１４は動作を開始し、ステップＳ４７でタイマー割込みと判断され遅延手段１４ｂに設定された遅延時間の計時処理を行う（ステップＳ４４）。例えば、遅延時間が１００ｍｓだとすると、１０ｍｓ間隔のタイマー割込みを数える処理を、１０回繰り返す（ルート１）。ルート１の処理を１０回繰り返すと、入力楽音情報が入力されてから１００ｍｓの時間が経過するので、遅延時間計時がタイムアップしたと判断され（ステップＳ４５）、ＭＰＵ１４から入力楽音情報が楽音生成手段１８に出力される。楽音生成手段１８は、ＭＰＵ１４から与えられたMIDIファイルに従った楽音信号を生成しスピーカー２０から音響信号として出力させる。

遅延時間を待つルート１の処理を行なっている最中に、楽器βからの演奏情報が受信手段１４ｃに受信されると、ＭＰＵ１４は受信割込みを生成し、直ちに異なる地点における演奏情報である受信したMIDIファイルを、楽音生成手段１８に出力する。
楽音生成手段１８は、上記したようにMIDIファイルに基づく楽音信号を生成するものであり、遅延手段１４ｂからの入力楽音情報によって楽音信号を生成する楽音生成部１８ａと、受信手段１４ｃからの演奏情報によって楽音信号を生成する楽音生成部１８ｂを別々に持ち、その２つの楽音信号を混合部１８ｃで混合してスピーカー２０の入力信号とするものである。

したがって、自身の遅延させた入力楽音情報と、受信した演奏情報とが同時に楽音生成手段１８に入力されたとしても、お互いの楽音信号が潰し合うことなく合奏音として再生される。
なお遅延時間の計時を、タイマー割込みを数えるソフトウェアタイマの例で説明したが、専用のハードウェアタイマを用いてもよい。
以上述べたように、自身の演奏操作に基づいて発生する入力楽音情報は、遅延手段１４ｂで所定の時間、遅らされて音響信号に変換され、ネットワーク１０を介して入力される他者からの演奏情報は、受信されると直ぐに音響信号に変換される。

したがって、楽器αの遅延手段１４ｂの遅延時間と、楽器βの遅延手段の遅延時間との和を、上記したようにネットワークのパケット通信の往復遅延時間以上に設定することで快適な合奏を行なうことが可能になる。

上記した実施例１では、演奏者は他者が演奏した楽音をペースメーカーとして、自身の演奏動作に基づく楽音の発生が設定された遅延時間だけ後れたタイミングで行なわれ、その他者の演奏楽音に感覚的に同期させていた。この感覚を同期させる過程において、遅延時間を切り替える順応手段を設けることで更に快適な合奏が可能になる。
つまり、この感覚を同期させる最初の遅延時間を実施例１で決められた遅延時間より相当大きくしておき、ある程度その大きな遅延時間に自身の感覚を順応させた後に、一気に短い遅延時間、つまり上記実施例１で決められた遅延時間に短縮する。そうすると、最終的に設定される遅延時間が例えば上記した１００ｍｓと同じ時間であっても、人間の感覚としては、最初から１００ｍｓに自分の感覚を合わせるよりも遅れが短くなったように感じる。

他の例でこの順応現象を説明する。例えば、映画のエンディングで表示される出演者等のクレジット表示の様に、スクリーンの下から上に文字が連続的にスクロールされている時間が一定時間継続した後に、そのスクロールが停止すると、一瞬スクロールが逆方向になったような錯覚を覚える。これは視覚の事例であるが、聴覚も同様である。大きな遅延時間に慣れた後に、その時間が短くなると、最初からその短い遅延時間に同期させる場合よりも、その遅延時間を短く感じる。
この順応現象を利用した動作（順応手段）を付加した動作フローを図５に示し、その動作を説明する。図５は、順応現象を利用した２種類の遅延時間を遅延手段１４ｂに設定する動作を示す動作フローであり、上記した図４のステップＳ４３〜Ｓ４５の部分だけを示したものである。

演奏入力手段１２からの入力楽音情報を送信手段１４ａによってネットワーク１０を介して楽器βに送信するステップ４２を経て、入力楽音情報が演奏の最初の入力で有るか否かが判断される（ステップＳ４３_１）。ステップＳ４３_１で演奏の最初の入力信号であると判断されると、最初入力フラグ（以下、ＳＦと略す）をセットする（ステップＳ４３_２）。フラグは特に図示しないが、プロセッサＩＣ内に構成されるＲＡＭ内の予め決められた領域に形成されるものである。
最初入力フラグを“１”（論理レベル１）にセット（ステップＳ４３_２）した後に、順応タイマーの計時をスタートさせる（ステップＳ４３_３）、順応タイマーの計時時間は例えば３分間である。順応タイマーの計時をスタートさせた後に、遅延手段１４ｂに大きな遅延時間例えばパケット通信の往復遅延時間以上の大きな時間、例えば３００ｍｓを（ＴＤＬ＝３００ｍｓ）遅延手段１４ｂにセットする（ステップＳ４３_４）。遅延手段１４ｂは、タイマー割込みによってセットされた遅延時間ＴＤＬ＝３００ｍｓを計時する（ステップＳ４４）。同時にタイマー割込みで順応タイマーの計時処理も行なう（ステップＳ５０）。タイマー割込み処理を繰り返し、セットされた遅延時間ＴＤＬ＝３００ｍｓの計時を終了すると（ステップＳ４５）、遅延手段１４ｂはMIDIファイルを楽音生成手段１８に出力する（ステップＳ４６）。

３分間の順応タイマーがタイムアップするまでに演奏入力手段１２から入力される入力楽音情報は、最初の演奏入力で有るか否かを判断するステップＳ４３_１で、Ｎ（Ｎｏ）ノード（node）に分岐された後に、順応タイマーがタイムアップしているか否かが判断される（ステップＳ４３_５）。今、演奏入力手段１２からの入力楽音情報が、順応タイマーがタイムアップする前の入力であるとすると、その入力楽音情報に対しては遅延手段１４ｂに大きな遅延時間ＴＤＬをセットする（ルート２）。
順応タイマーがタイムアップした後の入力楽音情報に対しては、そのタイムアップを判断する処理で分岐され（ステップＳ４３_５のＹ）順応タイマーのタイムアップフラグ（以下、ＪＴと略す）をセット（ステップＳ４３_６）した後に、遅延手段に短い、例えば１００ｍｓを（ＴＤＳ＝１００ｍｓ）を設定する（ステップＳ４３_７）。

したがって、順応タイマーがタイムアップした後の入力楽音情報に対しては、短い遅延時間で音響信号が発生させられるように動作する。ＭＰＵ１４が初期化されたときは、ＳＦ,ＪＴ＝“０,０”、演奏入力手段１２が操作されて演奏が開始し、順応タイマーがタイムアップするまでの間は、ＳＦ,ＪＴ＝“１,０”、この２つの状態においては、遅延手段１４ｂは大きな遅延時間ＴＤＬの経過後にMIDIファイルを楽音生成手段１８に出力する。
順応タイマーがタイムアップするＳＦ,ＪＴ＝“１,１”の状態においては、遅延手段１４ｂは小さな遅延時間ＴＤＳの経過後にMIDIファイルを楽音生成手段１８に出力する。

このように遅延時間を階段状に変化させることで、演奏者は演奏動作から楽音発生までの時間を短く感じることが出来る。したがって、この順応手段を設けることでより快適な合奏を行なうことが可能となる。
以上、図５で説明した動作を機能構成で表すと図６になる。演奏入力手段１２からの入力楽音情報は、遅延手段１４ｂを構成する演奏開始検出部６０に入力される。入力楽音情報があると、演奏開始検出部６０の中の例えば計時時間３分の順応タイマー６０ａは直ちに計時を開始すると共に、入力楽音情報を遅らせて楽音生成手段１８へ出力する遅延大処理部６１と遅延小処理部６２とに接続される制御線６３を“１”にセットする。制御線６３が“１”のとき遅延大処理部６１が選択され、入力楽音情報は、遅延大処理部６１で遅らされて楽音生成手段１８に出力される。制御線６３が“０”の時は遅延小処理部６２が選択され、入力楽音情報は、遅延小処理部６２で遅らされて楽音生成手段１８に出力される。遅延大処理部６１と遅延小処理部６２における遅延時間量は、遅延時間設定手段１６によってそれぞれ個別に設定される。例えば、図３で説明したロータリースイッチ１６ａを２個設け、遅延大処理部６１の大きな遅延時間、例えば３００ｍｓ、遅延小処理部６２の小さな遅延時間、例えば１００ｍｓを個別に設定出来るようにすればよい。

順応手段を付加することで、演奏開始から順応タイマー６０ａがタイムアップするまでの間は、大きな遅延時間で動作し、その後は小さな遅延時間で動作させることが可能である。今、パケット通信の往復遅延時間が２００ｍｓの前提で、小さな遅延時間を１００ｍｓ、大きな遅延時間を３００ｍｓとして限定して説明を行った。なお、大きな遅延時間を小さな遅延時間の３〜１０倍位の範囲に設定しても順応効果を得ることが可能である。

順応手段で順応した後に、演奏を休止し、演奏を再開した場合に上記した順応手段を自動的に再起動する再順応手段の処理手順の例を図７に示し、その動作を説明する。
順応タイマーがタイムアップする（ステップＳ７０）と、例えば１０分間を計時する再順応開始タイマーの計時をスタートさせる（ステップＳ７１）。再順応開始タイマーが計時を開始しているときの入力楽音情報によって再順応開始タイマーをリセットさせる（ステップＳ７３）。再順応開始タイマーの計時時間の間に、演奏入力が無いまま再順応開始タイマーがタイムアップすると（ステップＳ７４）、ＪＴ及びＳＦがリセットされ（ステップＳ７５,７６）、ＭＰＵ１４が初期化されたときの状態であるＳＦ,ＪＴ＝“０,０”となる。

したがって、このＳＦ,ＪＴ＝“０,０”の状態において入力楽音情報があると、順応動作が最初から動作する。このように自動的に順応動作を再開させる再順応手段を設けることで、演奏を休止した後の演奏再開時に一々遠隔地同士で連絡を取り合って、順応手段を再起動する手間が省ける効果が得られる。
なお、再順応開始タイマーの計時する時間を例えば１０分で説明したが、その値に固定されるものではなく、遠隔地同士で最初に連携を取って任意の時間幅に設定できるようにしても良い。

これまでに示した実施例は、遅延手段１４ｂで遅らせる時間を、この発明による電子楽器本体とは別に設けられた例えばパケット往復遅延時間測定手段２２等で測定して求めた往復遅延時間を元に、演奏者が手動で設定していた。
この遅延時間を楽器自体が測定をして自動的に設定するようにした実施例４を図１を参照してその動作を説明する。説明済みの図１に、演奏入力手段１２と受信手段１４ｃとが接続される破線で示す楽音反射時間測定手段８０を設けることで、遅延手段１４ｂが入力楽音情報を遅らせて楽音生成手段１８にMIDIファイルを出力する時間を自動的に設定することが可能になる。

楽音反射時間測定手段８０は、演奏入力手段１２からの入力楽音情報と、受信手段１４ｃで受信されるネットワーク１０を介して異なる場所にある楽器βからの演奏情報とから、ネットワーク１０上のパケット通信の往復遅延時間を測定し、その往復遅延時間から遅延手段１４ｂの遅延時間を遅延時間設定手段１６を介して設定するものである。
その動作フローを図８に示し動作を説明する。楽音反射時間測定手段８０は、内部時計８０ａの時刻情報のタイムスタンプを付けたパケットを生成（ステップＳ８０）し、送信手段１４ａを経由してネットワーク１０を介して異なる場所に在る楽器βに送信する（ステップＳ８１）。楽器βの構成は、楽器αと同一であり、以下の説明において図１に図示していない楽器βの機能構成要素には、例えば楽音反射時間測定手段β８０と参照符号にβを付けて区別して標記する。

楽器βはそのタイムスタンプ付パケットを受信手段β１４ｃで受信する（ステップＳ８２）。楽器βがタイムスタンプ付パケットを受信すると楽音反射時間測定手段β８０は、楽器βの内部時計β８０ａのタイムスタンプを付けたパケットを生成（ステップＳ８３）し、送信手段β１４ａを介して楽器αに送り返す。このとき、ｔβ１の時刻のタイムスタンプ付パケットを返信する（ステップＳ８４）。
そのｔβ１のタイムスタンプ付パケットは、楽器αの受信手段１４ｃで受信される（ステップＳ８５）。ｔβ１のタイムスタンプ付パケットは、受信手段１４ｃから楽音反射時間測定手段８０の楽音反射時間測定部８０ｃに伝達される。楽音反射時間測定部８０ｃは、楽器βに送付したパケットのタイムスタンプｔα１と、受信したｔα２の２つの時刻情報から楽音反射時間（ｔ_ｎＲ＝ｔα２−ｔα１）を算出する（ステップＳ８６）。次に遅延時間決定部８０ｄが、自身の遅延手段１４ｂに設定する第１の遅延時間ｔ_ＤＳ１をｔ_ｎＲから、例えばｔ_ＤＳ１＝ｔ_ｎＲ/２として算出する（ステップＳ８７）。次に相手側である楽器βの遅延手段β１４ｂに設定するｔ_ＤＳ２を、同様にｔ_ＤＳ２＝ｔ_ｎＲ/２として算出する（ステップＳ８８）。

この例では、ｔ_ＤＳ１がｔ_ｎＲの半分としたが、例えばｔ_ＤＳ１をｔ_ｎＲの４０％、ｔ_ＤＳ２をｔ_ｎＲの６０％としてもよい。この比率は予め決めて置けば良い。また、逆にｔ_ＤＳ１をｔ_ｎＲの６０％、ｔ_ＤＳ２をｔ_ｎＲの４０％としてもよい。ｔ_ＤＳ２を算出したあと、遅延時間決定部８０ｄはｔ_ＤＳ２を送信手段１４ａを介して楽器βに送信する（ステップＳ８９）。
楽器β側の遅延時間ｔ_ＤＳ２は、受信手段β１４ｃで受信（ステップＳ９０）され楽音反射時間測定手段β８０と遅延時間設定手段β１６を経由して遅延手段β１４ｂに設定される（ステップＳ９１）。楽器α側ではステップＳ９２で自身の遅延時間ｔ_ＤＳ１が遅延手段１４ｂに設定される。

以上述べたように、タイムスタンプ付パケットを交換し合うことで、その時のネットワーク１０上のパケット通信に要する往復遅延時間を測定することが出来、その測定した往復遅延時間を元に相手と自分自身の遅延時間を持ち合うことが可能である。この方法によれば、楽器αとβの内部時計８０ａ,８０ｂが同期している必要がないので簡単である。
また、楽音反射時間測定手段８０によって測定した往復遅延時間よりも大きな時間を楽器αとβで分け合ってもこの発明は実現できるので、その例を図８中に破線で示す。ステップ８６で求められた楽音反射時間ｔ_ｎＲを元に、楽音反射時間測定手段８０の中に設けられた総遅延時間決定部８０ｃが、ｔ_ｎＲの例えば１．５倍の総遅延時間を決定する（ステップＳ９３）。１.５×ｔ_ｎＲの総遅延時間を、遅延時間決定部８０ｄが、１.５×ｔ_ｎＲの総遅延時間を１００％として６０〜４０％の範囲で合計が１００％となるようにｔ_ＤＳ１とｔ_ＤＳ２を決定する（ステップＳ９４）。

ｔ_ＤＳ１は自身の遅延手段１４ｂに、ｔ_ＤＳ２は送信手段１４ａによって楽器βに送信される。
以上の動作を整理すると、楽器αでタイムスタンプ付パケットを生成するステップ８０〜楽音反射時間ｔ_ｎＲを算出するステップＳ８６までが、往復遅延時間測定過程となる。続く、楽音反射時間ｔ_ｎＲからそれぞれの遅延時間を求めるステップＳ８７とステップＳ８８が、遅延時間分割過程となり、相手側の遅延時間ｔ_ＤＳ２を送信するステップＳ８９〜それぞれの遅延手段に遅延時間を設定するステップＳ９２までが、遅延時間分担過程となる。これらの過程をＭＰＵ１４が実行することで、自動的に自身と相手側の遅延手段１４ｂ，β１４ｂに遅延時間を設定することが可能になる。

ネットワーク１０上のパケット通信に要する往復遅延時間は、時間帯や曜日によってネットワーク１０にかかる負荷によって変動することが知られている。この変動に対応するためには、実施例４に示した往復遅延時間測定過程と遅延時間分割過程、及び遅延時間分担過程とをＭＰＵ１４が定期的に実行して、自身と相手の遅延時間を更新すれば良い。
その処理手順を図９に示し動作を説明する。楽音反射時間測定手段８０の内部に往復遅延時間再測定タイマー８０ｂがある（図１内に破線で示す）。この往復遅延時間再測定タイマー８０ｂは、非演奏時に計時を行なうものであり、非演奏状態が例えば１時間継続するとタイムアップし、上記した往復遅延時間測定過程〜遅延時間分担過程を実行させるように働くものである。

非演奏状態が継続すると、往復遅延時間再測定タイマー８０ｂがタイムアップする（ステップＳ１００）。タイムアップすると上記した往復遅延時間測定処理（ステップＳ１０１）、遅延時間分割処理（ステップＳ１０２）、遅延時間分担処理（ステップＳ１０３）が実行され、自身及び相手側の遅延時間が自動的に更新される。
この動作は、必ず非演奏時に行なわれるものである。楽器αがネットワーク１０に接続されていれば、この動作が行なわれる。したがって、演奏開始の度に往復遅延時間を測定してお互いに遅延時間を設定し合う動作を行なう必要がなくなる。

実施例５ではパケット通信に要する往復遅延時間の再測定をタイマーによって周期的に行なう例を示したが、それを時計によって制御することも可能である。再測定の時間を時計によって制御するようにした機能構成の概念図を図１０に示しその動作を説明する。
上記したようにネットワーク１０にかかる負荷は、時間帯と曜日によって異なることが多いので、その各時間帯において１回ずつ往復遅延時間の測定を自動的に行ない、自身及び相手側の遅延時間を自動的に更新させるようにしたものである。
内部時計８０ａはカレンダーまで計時可能であり、各時間帯において“１”となる出力信号線によって楽音反射時間測定手段８０が起動される。その時間帯としては、例えば、平日の午前の時間帯、例えば６時から１２時を代表して１０時に“１”となる出力信号線１００ａ、同様に平日の１４時の１００ｂ、平日の２２時の１００ｃと、週末（土日）の１０時の１００ｄ、週末の１４時の１００ｅ、週末の２２時の１００ｆの出力信号線によって楽音反射時間測定処理が実行される。

楽音反射時間測定処理の動作については、説明済みであるので省略する。このように時計によって、決まった時間にパケット通信に要する往復遅延時間の測定を行なわせることも可能である。

これまでに説明して来たように、この発明は、演奏者がネットワークを介して伝わってくる遠隔地からの演奏情報に、自身の楽器αの音を同期させるように演奏することで得られる同期感覚を用いたものである。同期を取るものとしては、演奏の結果である楽音を用いる例を示して来たが、この楽音以外の人間に対する刺激出力手段を設けることで、更に同期を取り易くなる。
図１の楽音制御ＭＰＵ１４の中に破線で示す刺激出力遅延手段１１０を設けることで、音以外の例えば光等の人間に対する刺激信号を生成するようにしたものである。刺激出力遅延手段１１０は、遅延時間設定手段１６によって遅延時間が設定され、演奏入力手段１２からの入力楽音情報を遅延させて刺激出力手段１１１に伝達するものである。

この例では、楽音の発生を遅らせる遅延手段１４ｂとは別に刺激遅延手段１１０を設けているために、楽音と例えば光による刺激出力との間に時間差を設けることが可能である。 もちろん、楽音と刺激信号とを同期させても良い。その場合は、刺激出力遅延手段１１０は必要が無くなり、遅延手段１４ｂからの出力信号を刺激出力手段１１１に接続すればよい。
刺激出力手段１１１の具体例を図１１に示す。演奏者１２０がこの発明を適用した電子ピアノ１２２を演奏している。演奏者１２０は、図示しないスピーカーから聞こえる遠隔地からの演奏音と、刺激出力手段１１１のＬＥＤ１２４の発光タイミングに自らの楽音を同期させるように演奏する。

刺激出力遅延手段１１０若しくは遅延手段１４ｂから刺激出力手段１１１に供給される信号は、演奏情報をそのまま使っても良いし、楽音に対応するディジタル信号を１ショットパルス発生器１１１ａで１個のパルス波形に変換してもよい。その１ショットパルスはＬＥＤ駆動回路１１１ｂに入力されＬＥＤ１２４を点灯させる。
刺激出力手段１１１の刺激出力としては、光以外の信号も考えられる。光以外の信号の方が好ましいことが多い。何故ならば、演奏会のように演奏者１２０の周りには、第三者が居ることが想定され、そのような場合は、周囲に気づかれない刺激信号の方が好ましい。

そのような刺激としては、例えば良く知られた低周波マッサージ器に利用される低周波パルスによる電気刺激が考えられる。例えば演奏者１２０の脇腹の皮膚の上に電極１２６を貼り付け、そこに電気刺激を加える方法が考えられる。その電気刺激は、１ショットパルス発生器１１１ａからの１個のパルスに対して、例えば２０〜３０Ｖの電圧を１００ｍｓの時間の間、３２Ｈｚ間隔で発生する低周波パルス発生器１２５によって得ることが可能である。電極１２６を貼り付ける部位は、脇腹を例に上げたが、肩や腹でも皮膚上であればどこでも良い。

また、上記低周波数のパルス信号に基づく電気刺激の他に、例えば両耳の後ろに電極を１個ずつ配置し、数ｍＡ程度の弱い直流電流を電極間に流すことで、脳の前庭感覚に直接作用して人体に刺激を与える方法がある。この方法によれば、皮膚刺激を抑えつつ電極の陽極側に向かって前庭感覚に加速度感を生じさせることが出来る。この加速度感でリズム感を演奏者に与えることが出来る。この方法は特に図示しないが、原理的には図１１に示す低周波パルス発生器１２５を定電流発生器に置き換えることで実現可能である。
このような電気刺激を用いると、周囲に気づかれずに遠隔地との同期を取ることが可能である。

なお、上記した実施例では、楽器制御部をプロセッサＩＣで構成した機能構成例で説明を行ったが、この部分を全てハードウェアだけで構成することも可能である。また、上記したようにプロセッサＩＣで構成する場合は、そのプロセッサを楽器として機能させるためのプログラムを、ＣＤ-ＲＯＭ等の記録媒体やネットワークを介した通信で提供することも可能である。

この発明の電子楽器の基本機能構成例である実施例１を示す図。 この発明の基本原理である同期感覚に基づく錯覚現象を説明するための図。図２（ａ）は通信の往復遅延時間遅れて発生する楽音タイミングを示す図。図２（ｂ）は異なる地点の演奏者が同期した状態で演奏している時の楽音発生タイミングを示す図。 この発明の遅延時間設定手段１６の一具体例を示す図。 実施例１（図１）の動作フローを示す図。 順応現象を付加した動作フローを示す図であって、図４のステップＳ４３〜Ｓ４５の部分の動作フローを示す図。 図５に示した動作フローを機能構成例で示す図。 再順応手段の考え方を示す図。 パケット通信の往復遅延時間を楽器自身が測定をして自動的に設定するようにした実施例４を示す図。 パケット通信の往復遅延時間を周期的に測定する動作フローを示す図。 パケット通信の往復遅延時間を時計が制御する概略の機能構成例を示す図。 刺激出力手段１１１の具体例を示す図。 非特許文献１に開示された遠隔地合奏の考えを示す図。 特許文献１に開示された遠隔地合奏の考えを示す図。

Claims (10)

1. ネットワークを介して異なる地点で合奏する電子楽器において、
   人間の動作に基づく入力楽音情報を上記ネットワークを介して上記異なる地点に送信する送信手段と、
   上記異なる地点で合奏する電子楽器からの演奏情報を受信する受信手段と、
   上記入力楽音情報を所定の時間の遅延時間遅らせる遅延手段と、
   上記遅延手段により遅延された入力楽音情報と、上記受信手段で受信した演奏情報とから楽音信号を生成すると共に混合する楽音生成手段と、
   を具備し、上記演奏情報からの楽音信号に基づく楽音が、上記電子楽器の演奏タイミングを提供することを特徴とする電子楽器。
2. 請求項１に記載の電子楽器において、
   上記遅延手段の遅延時間を、上記演奏開始から予め決められた所定時間の順応時間の間、上記所定の時間の遅延時間より長い遅延時間とし、上記順応時間経過後は、上記所定の時間の遅延時間とする順応手段を備えたことを特徴とする電子楽器。
3. 請求項２に記載の電子楽器において、
   上記順応時間を計時する順応タイマーがタイムアップ後に計時を開始し、上記入力楽音情報によってリセットされる再順応開始タイマーを備え、
   上記再順応開始タイマーがタイムアップした時、上記順応手段を再起動させる再順応手段を具備することを特徴とする電子楽器。
4. 請求項１に記載の電子楽器において、
   上記ネットワークの往復遅延時間を測定するために送信された信号が上記異なる地点で受信され、その受信に対する応答信号の受信時刻と、上記往復遅延時間を測定するために送信された信号の送信時刻との差を求める楽音反射時間測定手段と、
   上記楽音反射時間測定手段からの上記往復遅延時間に基づいて上記遅延量を設定する遅延時間設定手段と、
   を備えることを特徴とする電子楽器。
5. 請求項４に記載の電子楽器において、
   上記往復遅延時間以上の時間を決める総遅延時間決定手段と、
   上記決められた総遅延時間を６０〜４０％の範囲で合計が１００％となるように分け合う遅延時間決定手段とを備え、
   上記分け合った一方の遅延時間を上記遅延手段に設定し、他方の遅延時間を上記送信手段によって相手側に送信することを特徴とする電子楽器。
6. 請求項１乃至５の何れかに記載の電子楽器において、
   上記遅延手段から楽音情報が出力されるタイミングで、音響以外の上記電子楽器の演奏者に対する刺激を出力する刺激出力手段を備えたことを特徴とする電子楽器。
7. 請求項１乃至５の何れかに記載の電子楽器において、
   上記入力楽音情報が入力され、上記遅延手段の遅延時間と異なる時間遅延させる刺激出力遅延手段と、
   上記刺激出力遅延手段の出力する楽音情報に応答して上記電子楽器の演奏者に対する刺激を出力する刺激出力手段と、
   を備えることを特徴とする電子楽器。
8. ネットワークを介して異なる地点の第１の電子楽器と第２の電子楽器とで合奏する遠隔地合奏において、
   上記ネットワークに接続された第１の電子楽器と、上記第１の電子楽器と異なる地点の一方において上記ネットワークに接続された第２の電子楽器との間の通信の往復遅延時間を測定する過程と、
   上記往復遅延時間測定過程で得られた往復遅延時間を２分割する遅延時間分割過程と、
   上記遅延時間分割過程で分割された第１の遅延時間と第２の遅延時間とを上記異なる両地点に対し分け合い与える遅延時間の分担過程と、
   自地点の電子楽器の上記入力楽音情報をその地点に分けられた遅延時間だけ遅延して楽音信号を生成し、相手地点より受信した演奏情報を直ちに楽音信号として生成すると共に両生成された楽音信号を合成する過程と、
   を有することを特徴とする遠隔地における合奏方法。
9. 請求項７に記載の遠隔地における合奏方法において、
   演奏開始から上記順応時間の間、上記第１の電子楽器と、上記第２の電子楽器とが上記往復遅延時間以上の遅延時間で動作し、上記所定時間経過後、上記分担過程で分担された第１の遅延時間と第２の遅延時間の遅延時間でそれぞれの電子楽器が動作する順応過程と、
   を有することを特徴とする遠隔地における合奏方法。
10. 請求項１乃至７の何れかに記載した電子楽器としてコンピュータを機能させるための電子楽器プログラム。

Images