JP2011242560A - セッション端末及びネットワークセッションシステム - Google Patents

Abstract

【課題】ネットワークセッションにおいて通信遅延による演奏の違和感を緩和すること。
【解決手段】このネットワークセッションシステムでは、バック演奏を鳴らすユーザ端末Ａで、他のセッションメンバーであるユーザ端末Ｂとの通信遅延時間Ｔｃを測定し、バック演奏情報について、再生開始を指示してから、測定した遅延時間Ｔｃ＝３０ｍｓと同じだけの遅延時間（モニター遅延時間）Ｔｍ＝３０ｍｓの後で再生を行い、ユーザ端末Ｂに対しては、遅延をかけずに直ちに送信を始める。これにより、ユーザ端末Ｂ側では、Ｔｃ＝３０ｍｓたってからバック演奏を聞き、ユーザ端末Ａ側でも、Ｔｍ＝３０ｍｓたってからバック演奏を聞くことになる。例えば、バック演奏の開始に合わせて、ユーザＡ，Ｂが夫々ユーザ端末Ａ，Ｂで歌唱の演奏を始めると、ユーザ端末Ａ，Ｂ側では、それぞれ、ユーザＢ，Ａの歌が、バック演奏からＴｃ＝３０ｍｓ分だけ遅れてから聞こえる。
【選択図】図２

Description

この発明は、インターネットなどの通信ネットワークを介して接続された複数の電子音楽端末の間で演奏などのセッションを行うネットワークセッションシステムに関する。

従来より、インターネットを介した楽器の演奏（合奏）やデュエット等の合唱などの音楽的なセッションを可能とした技術が知られている。例えば、特許文献１の合奏システムでは、自端末（Ａ）での演奏動作を表わす演奏情報を、他端末（Ｂ）に送信すると共に、所定時間だけ遅延させて自端末（Ａ）の楽音生成部に供給することにより、自端末（Ａ）での演奏動作に応じた楽音を両端末（Ａ，Ｂ）において同時に発音させることができる。

特許第４２５９３２９号公報

また、インターネット回線を介した従来の楽器の合奏やデュエットなどのセッションでは、図１（１）に示すように、二つのユーザ端末Ａ，Ｂ間に或る程度の通信遅延（例えば、３０ｍｓ）が存在する環境において、ユーザ端末Ａで、ユーザＡ自身の楽器演奏や歌唱などの演奏を３０ｍｓ遅らせて発音させることで、ユーザ端末Ｂからの楽器演奏や歌唱などの演奏と同期させ、また、ユーザ端末Ｂでも、ユーザＢ自身の楽器演奏や歌唱などの演奏を３０ｍｓ遅らせて発音させることで、ユーザ端末Ａからの楽器演奏や歌唱などの演奏と同期させる。つまり、従来のネットセッション技術では、自端末における楽器演奏や歌唱などを表わす演奏データを他端末へ送信する一方、他端末における楽器演奏や歌唱などを表わす演奏データを自端末で受信し、自端末の演奏と他端末から受信した演奏を同時に発音させることでセッションを行い（他端末においても同様）、その際、他端末から受信した演奏と自端末で発生した演奏が同期するように、通信遅延を考慮した時間だけ、自端末における演奏の発音タイミングを遅延させる。しかしながら、端末ユーザ自身の楽器演奏や歌唱などが遅れて聞こえてしまうので、違和感を感じ、演奏者や歌唱者は気持ちよく演奏や歌唱をすることができない。

ところで、例えばカラオケなどのバック演奏をどちらかの端末で鳴らし、それに合わせてデュエットで歌いたい或いは楽器を合奏したいといったユースケースの場合には、図１（２）に示すような遅延の偏りが発生する。例えば、ユーザ端末Ａ側でバック演奏を鳴らし両端末Ａ，Ｂでデュエットで歌うとした場合、ユーザ端末Ｂ側では、３０ｍｓたってからバック演奏を聞き、バック演奏と同時にユーザＡの歌が聞こえる。これに対して、ユーザ端末Ａ側では、同図（ａ）のように、バック演奏の遅延は０ｍｓであるのに、ユーザＢの歌が、バック演奏から往復の６０ｍｓ分遅れて聞こえてしまう。これを時系列的に表わすと同図（ｂ）のようになる。

このように、インターネット越しなどの遅延が大きい環境では、片道の遅延であればセッション・デュエットが成り立つ場合でも、往復分の遅延が発生すると、聴感上不自然に聞こえて違和感を覚え、演奏が困難になってしまうことになる。

この発明は、このような事情に鑑み、通信ネットワークを介して音楽的なセッションを行う際の通信遅延による演奏の違和感を緩和することができるネットワークセッションシステムを提供することを目的とする。

〔解決策の概要〕
この発明によるネットワークセッションシステムでは、端的にいうと、図１で説明した問題点に対処する解決策として、図２（１）に示すように、バック演奏に対し、当該バック演奏を鳴らす端末つまりユーザ端末Ａ側でも、片道のネットワークの遅延分Ｔｃ＝３０ｍｓだけ強制的に遅延Ｔｍ＝３０ｍｓを入れる。つまり、ユーザ端末Ａでは、インターネット回線などの通信ネットワークにおける他のセッションメンバーであるユーザ端末Ｂとの通信遅延時間Ｔｃを測定し、図２（２）に示すように、バック演奏情報について、再生開始を指示してから、測定した遅延時間Ｔｃ＝３０ｍｓと同じだけの遅延時間（モニター遅延時間）Ｔｍ＝３０ｍｓだけ経過した後で、再生を開始し、ユーザ端末Ｂに対しては、遅延をかけずに直ちに送信を始め、端末Ａ，Ｂ間の通信遅延Ｔｃ＝３０ｍｓを許す。これにより、ユーザ端末Ｂ側では、Ｔｃ＝３０ｍｓたってからバック演奏を聞き、ユーザ端末Ａ側でも、Ｔｍ＝３０ｍｓたってからバック演奏を聞くことになる。従って、バック演奏の開始に合わせて、例えば、ユーザＡ，Ｂが夫々ユーザ端末Ａ，Ｂで歌唱の演奏を始めると、ユーザ端末Ｂ側では、ユーザＡの歌が、バック演奏からＴｃ＝３０ｍｓ分だけ遅れてから聞こえ、ユーザ端末Ａ側でも、ユーザＢの歌が、バック演奏からＴｃ＝３０ｍｓ分だけ遅れて聞こえる。

このようにバック演奏を鳴らすユーザ端末Ａで、ネットワーク遅延分Ｔｃ＝３０ｍｓだけ強制的にバック演奏に遅延Ｔｍ＝３０ｍｓを入れることによって、ユーザＡ及びユーザＢの両端末で同時にバック演奏を聴くことができ、従来技術ではユーザ端末Ａ側に偏っていた遅延を、両端末Ａ，Ｂで３０ｍｓずつに平均化することができる。この発明によるネットワークセッションシステムは、片道の遅延ではなんとかデュエット等のセッションが可能であるが、往復分の遅延では演奏が破綻してしまうようなネットワーク遅延環境（だいたい、片道２５ｍｓ〜５０ｍｓぐらいの遅延環境）において、特に効果を発揮する。現在の国内の一般的な固定回線（ＡＤＳＬや光回線）を使ってインターネット越しのセッションを行おうとすると、だいたい、この範囲内に入ることになるので、この発明により、有用なネットワークセッションシステムを提供することができるものと期待される。

〔解決手段の構成〕
従って、この発明の具体的な解決手段の構成について説明すれば、端末構成上の特徴に従うと、通信ネットワーク（ＣＮ）を介して通信可能に接続された他のセッション端末（ＴＭｂ，…，ＴＭｄ）と共にネットワークセッションシステムを構成するセッション端末（ＴＭａ）であって、演奏情報を再生するための演奏再生手段（９）と、他のセッション端末（ＴＭｂ，…，ＴＭｄ）と通信するための通信手段（１０）と、バック演奏情報（Ｂｐ）の再生を指示するバック演奏指示手段（Ａ１）と、バック演奏指示手段により再生が指示されたバック演奏情報（Ｂｐ）を通信手段（１０）を通じて他のセッション端末（ＴＭｂ，…，ＴＭｄ）に送信すると共に、当該再生が指示された後、他のセッション端末（ＴＭｂ，…，ＴＭｄ）との間の通信遅延時間（Ｔｃ）に相当するモニター遅延時間（Ｔｍ）だけ経過したときに、演奏再生手段（９）に当該バック演奏情報（Ｂｐ）の再生を開始させるバック演奏制御手段（Ａ１〜Ａ３）と、ユーザの演奏に基づくユーザ演奏情報（Ｕｐａ）を入力するユーザ演奏入力手段（１３−６，１４−７；Ａ４）と、ユーザ演奏入力手段（１３−６，１４−７；Ａ４）により入力されたユーザ演奏情報（Ｕｐａ）を通信手段（１０）を通じて他のセッション端末（ＴＭｂ，…，ＴＭｄ）に送信すると共に、当該ユーザ演奏情報（Ｕｐａ）及び他のセッション端末（ＴＭｂ，…，ＴＭｄ）から通信手段（１０）を通じて受信された他のユーザ演奏情報（Ｕｐｂ，…，Ｕｐｄ）を演奏再生手段（９）に再生させるユーザ演奏制御手段（Ａ４〜Ａ６）とを具備するセッション端末（ＴＭａ）〔請求項１〕が提供される。なお、括弧書きは、実施例の参照記号や箇所等を表わし、以下においても同様である。

また、システム構成上の特徴に従うと、通信ネットワーク（ＣＮ）を介して通信可能に接続された第１セッション端末（ＴＭａ）及び第２セッション端末（ＴＭｂ，…，ＴＭｄ）により構成されるネットワークセッションシステムであって、第１セッション端末（ＴＭａ）は、演奏情報を再生するための第１端末演奏再生手段（９）と、第２セッション端末（ＴＭｂ，…，ＴＭｄ）と通信するための第１端末通信手段（１０）と、バック演奏情報（Ｂｐ）の再生を指示するバック演奏指示手段（Ａ１）と、バック演奏指示手段（Ａ１）により再生が指示されたバック演奏情報（Ｂｐ）を第１端末通信手段（１０）を通じて第２セッション端末（ＴＭｂ，…，ＴＭｄ）に送信すると共に、当該再生が指示された後、第１及び第２セッション端末（ＴＭａ；ＴＭｂ，…，ＴＭｄ）間の通信遅延時間（Ｔｃ）に相当するモニター遅延時間（Ｔｍ）だけ経過したときに、第１端末演奏再生手段（９）に当該バック演奏情報（Ｂｐ）の再生を開始させる第１端末バック演奏制御手段（Ａ１〜Ａ３）と、第１セッション端末ユーザの演奏に基づく第１端末ユーザ演奏情報（Ｕｐａ）を入力する第１端末ユーザ演奏入力手段（１３−６，１４−７；Ａ４）と、第１端末ユーザ演奏入力手段（１３−６，１４−７；Ａ４）により入力された第１端末ユーザ演奏情報（Ｕｐａ）を第１端末通信手段（１０）を通じて第２セッション端末（ＴＭｂ，…，ＴＭｄ）に送信すると共に、当該第１端末ユーザ演奏情報（Ｕｐａ）及び第２セッション端末（ＴＭｂ，…，ＴＭｄ）から通信手段（１０）を通じて受信された第２端末ユーザ演奏情報（Ｕｐｂ，…，Ｕｐｄ）を第１端末演奏再生手段（９）に再生させる第１端末ユーザ演奏制御手段（Ａ４〜Ａ６）とを具備し、第２セッション端末（ＴＭｂ，…，ＴＭｄ）は、演奏情報を再生するための第２端末演奏再生手段（９）と、第１セッション端末（ＴＭａ）と通信するための第２端末通信手段（１０）と、第１セッション端末（ＴＭａ）から第２端末通信手段（１０）を通じて受信されるバック演奏情報（Ｂｐ）を第２端末演奏再生手段（９）に再生させるバック演奏手段（Ｂ１，…，Ｄ１）と、第２セッション端末ユーザの演奏に基づく第２端末ユーザ演奏情報（Ｕｐｂ，…，Ｕｐｄ）を入力する第２端末ユーザ演奏入力手段（１３−６，１４−７；Ｂ２，…，Ｄ２）と、第２端末ユーザ演奏入力手段（１３−６，１４−７；Ｂ２，…，Ｄ２）により入力された第２端末ユーザ演奏情報（Ｕｐｂ，…，Ｕｐｄ）を第２端末通信手段（１０）を通じて第１セッション端末（ＴＭａ）に送信すると共に、当該第２端末ユーザ演奏情報（Ｕｐｂ，…，Ｕｐｄ）及び第１セッション端末（ＴＭａ）から第２端末通信手段（１０）を通じて受信された第１端末ユーザ演奏情報（Ｕｐａ）を第２端末楽音演奏再生手段（９）に再生させる第２端末ユーザ演奏制御手段（Ｂ２〜Ｂ３，…，Ｄ２〜Ｄ３）とを具備するネットワークセッションシステム〔請求項２〕が提供される。

この発明によるネットワークセッションシステムでは、通信ネットワーク（ＣＮ）で接続されシステムを構成する複数のセッション端末（ＴＭ：ＴＭａ，ＴＭｂ，…，ＴＭｄ）のうち、第１セッション端末と呼ばれるセッション端末（ＴＭａ）に用意されたバック演奏情報（Ｂｐ）が、システムのバック演奏に用いられ、第１セッション端末（ＴＭａ）から、第２セッション端末と呼ばれる他のセッション端末（ＴＭｂ，…，ＴＭｄ）へと送信される。第２セッション端末（ＴＭｂ，…，ＴＭｄ）では、端末ユーザが、このバック演奏情報（Ｂｐ）に基づくバック演奏音を聴きながら（Ｂ１，…，Ｄ１）、楽器演奏や歌唱などのユーザ演奏をすることができる（Ｂ２〜Ｂ３，…，Ｄ２〜Ｄ３）。第１セッション端末（ＴＭａ）においても、端末ユーザは、バック演奏情報（Ｂｐ）に基づくバック演奏音を聴きながら（Ａ３）、楽器演奏や歌唱などのユーザ演奏をするが（Ａ４）、その際、第１セッション端末（ＴＭａ）〜第２セッション端末（ＴＭｂ，…，ＴＭｄ）〜第１セッション端末（ＴＭａ）間の往復分通信遅延の略半分つまり片道分の通信遅延時間（Ｔｃ）に相当するモニター遅延時間（Ｔｍ）だけ、バック演奏情報（Ｂｐ）の再生つまりバック演奏音の発音が遅延される（Ａ２〜Ａ３）。また、ユーザ演奏の際は、第１セッション端末（ＴＭａ）のユーザ演奏情報（Ｕｐａ）は第１セッション端末（ＴＭｂ〜ＴＭｄ）に送られ、第２セッション端末（ＴＭｂ，…，ＴＭｄ）のユーザ演奏情報（Ｕｐｂ，…，Ｕｐｄ）は第１セッション端末（ＴＭａ）に戻されるので、第２セッション端末（ＴＭｂ，…，ＴＭｄ）では、バック演奏（Ｂ１，…，Ｄ１）から片道分の通信遅延時間（Ｔｃ）分だけ遅れてから第１セッション端末ユーザの演奏が聞こえ（Ｂ３，…，Ｄ３）、第１セッション端末（ＴＭａ）でも、バック演奏（Ａ３）から通信遅延時間（Ｔｃ）に相当するモニター遅延時間（Ｔｍ）分だけ遅れてから第２端末ユーザの演奏が聞こえる（Ａ５〜Ａ６）。従って、この発明によれば、第１セッション端末及び第２セッション端末で、バック演奏情報の再生の遅れを均等化することができ、従来技術では第１セッション端末に偏っていた通信遅延による演奏の違和感を緩和することができる。

ネットワークセッションシステムの問題点を説明するための図である。 この発明による解決策の概要を説明するための図である。 この発明の一実施例によるネットワークセッションシステムの構成を示す。 この発明の一実施例によるネットワークセッションシステムの動作を示す。 この発明によるネットワークセッションシステムの種々の実施形態を示す。

〔システム構成の概要〕
図３は、この発明の一実施例によるネットワークセッションシステムのシステム構成を示す。このネットワークセッションシステムは、図３（１）に示すように、セッション管理サーバＳＶと複数のセッション端末ＴＭ（記号“ＴＭ”はセッション端末を代表的に表わす）：ＴＭａ〜ＴＭｄで構成され、セッション管理サーバＳＶは、メンバーとなるセッション端末ＴＭ間の接続支援、例えば、セッションの開始に先立って行われる各セッション端末ＴＭ同士の接続手続きなどを行う。各セッション端末ＴＭ間、例えば、セッション端末ＴＭａ〜ＴＭｄ間で接続が成立した後は、セッション管理サーバＳＶを介することなく、これらセッション端末ＴＭａ〜ＴＭｄ間において、ＭＩＤＩデータやオーディオデータなどの演奏情報が送受信される。セッション管理サーバＳＶの動作は、よく知られているので、ここでは、より詳細な動作については説明を省略する。

ネットワークセッションのメンバーとなる複数のセッション端末ＴＭａ〜ＴＭｄは、それぞれ、楽器演奏及び／又はカラオケが可能な電子音楽装置であり、これらセッション端末ＴＭａ〜ＴＭｄには、さらに、楽器演奏及び／又はカラオケのためのバック演奏機能を有するセッション端末がある。バック演奏機能を有するセッション端末のうち、メンバーの構成時に任意に設定された何れか１つのセッション端末は、「第１セッション端末」と呼ばれ、第１セッション端末のバック演奏機能をその時のネットワークセッションのバック演奏に利用することができる。この場合、第１セッション端末のバック演奏情報は、第１セッション端末で再生されると共に、「第２セッション端末」と呼ばれる残りの他のセッション端末に送信されて再生される。以下の説明では、セッション端末ＴＭａが第１セッション端末として振る舞い、他のセッション端末ＴＭｂ〜ＴＭｄが第２セッション端末として振る舞うものとする。また、個々のセッション端末ＴＭａ〜ＴＭｄについてはそれぞれ「セッション端末Ａ〜Ｄ」で表わすものとする。

図３（２）は、このネットワークセッションシステムを構成するセッション端末のハードウエア構成例を示すブロック図である。この発明の一実施例によるネットワークセッションシステムを構成するセッション端末ＴＭは、電子的な音楽情報処理機能を有する一種のコンピュータであり、電子楽器や音楽情報処理アプリケーションがインストールされたパーソナルコンピュータ（ＰＣ）のような電子音楽装置を用いることができる。このセッション端末ＴＭは、図１（１）に示すように、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、記憶装置４、設定操作検出回路５、演奏操作検出回路６、アナログ−ディジタル（Ａ／Ｄ）変換回路７、表示回路８、音源・効果回路９、通信インターフェース（Ｉ／Ｆ）１０などを備え、これらの要素１〜１０はバス１１を介して互いに接続される。

ＣＰＵ１は、ＲＡＭ２及ＲＯＭ３と共にデータ処理部を構成し、ネットワークセッションプログラムを含む所定の制御プログラムに従い、ネットワークセッション処理を含む種々の情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要なデータを利用可能に保持するための記憶管理領域や各種データを一時記憶するためのワーク領域として用いられ、また、ＲＯＭ３には、これらの処理を実行するために、ネットワークセッションプログラムを含む各種制御プログラムやプリセットされたデータ等が予め記憶される。

記憶装置４は、ＨＤ（ハードディスク）、ＦＤ（フレキシブルディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、フラッシュメモリなどの半導体メモリなどの記憶媒体と、その駆動装置を含み、任意の制御プログラムや、バック演奏データを含むＭＩＤＩ演奏データなどを任意の記憶媒体に記憶することができる。また、記憶媒体は、着脱可能であってもよいし、セッション端末ＴＭに内蔵されていてもよい。

設定操作検出回路５は、スイッチやマウス等の設定操作子（パネル操作子）１２と共に設定操作部（パネル操作部）を構成し、設定操作子１２の操作を検出して設定操作に対応する設定操作情報をデータ処理部（１〜３）に導入し、データ処理部は、この設定操作情報に基づき種々の設定を行う。演奏操作検出回路６は、鍵盤などの演奏操作子１３と共に楽器演奏入力部を構成し、端末ユーザによる演奏操作子１３の操作を検出して演奏操作に対応する演奏操作情報をデータ処理部に導入し、データ処理部は、演奏操作情報に基いて楽器演奏の内容をイベント列で表わしたイベント記述形式即ちＭＩＤＩ形式の演奏データ（ＭＩＤＩ演奏データという）を作成し、音源・効果回路９に送る。Ａ／Ｄ変換回路７は、マイクロフォン１４と共に歌唱入力部を構成し、端末ユーザによる歌唱の演奏によりマイクロフォン１４から入力された歌唱音声信号をディジタル信号に変換してデータ処理部に導入し、データ処理部は、歌唱音声の内容を波形で表わしたオーディオ形式の演奏データ（オーディオ演奏音データという）を音源・効果回路９に送る。表示回路８は、種々の設定、楽器演奏や歌唱などの演奏入力に必要な各種画面を表示するＬＣＤ等のディスプレイ１５や、インジケータ／ランプ（図示せず）を備え、これらの表示・点灯内容をデータ処理部からの指令に従って制御し、設定や演奏入力などに関する表示援助を行う。

音源・効果回路９は、ＭＩＤＩ形式のデータからオーディオデータを生成する音源部と、ＤＳＰを含み種々のオーディオデータ処理を行う効果部とを有し、サウンドシステム１６と共に演奏再生部として機能する。例えば、音源部は、演奏操作検出回路６からの演奏操作情報から得られるＭＩＤＩ演奏データ、或いは、ＲＯＭ３、記憶装置４又は通信Ｉ／Ｆ１０から得られるＭＩＤＩ演奏データに基づいて、オーディオ演奏音データを生成し、効果部は、マイクロフォン１４から入力されたオーディオ演奏音データや、音源部で生成されたオーディオ演奏音データ、或いは、通信Ｉ／Ｆ１０などから得られるオーディオ演奏音データについて、所定の効果を付与したりミキシングを行い、オーディオ出力データを生成する。サウンドシステム１６は、Ｄ／Ａ変換部やアンプ、スピーカ（ヘッドフォンを含む）等を備え、音源・効果回路９からのオーディオ出力データに基づく楽音（楽器演奏音や歌唱音声）を発生する。

通信Ｉ／Ｆ１０は、ＭＩＤＩ等の音楽専用有線Ｉ／Ｆ、ＩＥＥＥ１３９４等の汎用近距離有線Ｉ／Ｆ、Ｅｔｈｅｒｎｅｔ（登録商標）等の汎用ネットワークＩ／Ｆ、無線ＬａｎやＢｌｕｅｔｏｏｔｈ（登録商標）等の汎用近距離無線Ｉ／Ｆなどの１又は複数を含み、インターネットなどの通信ネットワークＣＮを介して他のセッション端末との間でＭＩＤＩ演奏データやオーディオ演奏音データを授受したり、サーバコンピュータ等の外部機器から制御プログラムやデータ等を受信して記憶装置４に保存することができる。

〔ネットワークセッションの動作例〕
なお、セッション端末ＴＭとして電子楽器を使用しカラオケを行わない場合は歌唱入力部１４−７は不要であり、セッション端末ＴＭとして音楽情報処理アプリケーション付きＰＣを使用しカラオケのみを行う場合には楽器演奏入力部１３−６は不要である。また、セッション管理サーバＳＶのハードウエア構成については、図２（２）とほぼ同様に構成されるが、楽器演奏入力部１３−６や演奏再生部９−１６は不要である。

〔ネットワークセッションの動作例〕
図４は、この発明の一実施例によるネットワークセッションシステムの動作を説明するための図である。まず、このネットワークセッションシステムにおける情報授受の概要について説明すると、このシステムでは、第１セッション端末として機能するセッション端末Ａで再生されるバック演奏情報データは、セッション端末Ａにおいて再生されると共に（Ａ１〜Ａ３）、セッションメンバーである他のセッション端末Ｂ〜Ｄへも、ＭＩＤＩ演奏データの形式のまま或いはオーディオ演奏音データの形式に変換されて、バック演奏情報Ｂｐとして送信される。バック演奏情報Ｂｐがセッション端末Ａから各セッション端末Ｂ〜Ｄに送られると、各セッション端末Ｂ〜Ｄでは、夫々の端末ユーザにより、受信したバック演奏情報Ｂｐを再生すると共に（Ｂ１〜Ｄ１）、バック演奏情報（オーディオ）Ｂｐの再生に合わせて楽器演奏及び／又は歌唱が行われる（Ｂ２〜Ｄ２）。この楽器演奏及び／又は歌唱の内容を表わし各セッション端末Ｂ〜Ｄで生成されるユーザ演奏データは、楽器演奏の場合はＭＩＤＩ演奏データ又はオーディオ演奏音データであり、歌唱の場合はオーディオ演奏音データであり、当該セッション端末Ｂ〜Ｄのユーザ演奏情報Ｕｐｂ〜Ｕｐｄとしてセッション端末Ａに送信される。

セッション端末Ａでは、セッション端末Ａの端末ユーザにより、自機で再生されたバック演奏に合わせて楽器演奏及び／又は歌唱が行われると共に（Ａ４）、他のセッション端末Ｂ〜Ｄの楽器演奏及び／又は歌唱とミックスされる（Ａ５〜Ａ６）。つまり、バック演奏とユーザによる楽器演奏及び／又は歌唱の内容を表わす演奏情報Ｂｐ，Ｕｐａは、音源・効果回路９内の効果部で、他のセッション端末Ｂ〜Ｄから受信したユーザ演奏情報Ｕｐｂ〜Ｕｐｄとミキシングされて再生される。これにより、バック演奏に合わせて各セッション端末Ａ〜Ｄで楽器演奏及び／又は歌唱されたセッション音楽が完成する。

完成したセッション音楽を表わす合奏データは、セッション端末Ａで再生されるだけでもよいし、録音されてもよいし、通信ネットワークＣＮを介して他の装置（図示せず）へ送信してもよく、送信例としては、録音したファイルをファイル共有サーバにアップロードしたり、ネット生放送アプリケーションを使って生放送の聴取者端末へリアルタイムに送信する方法がある（Ａ６）。さらに、合奏データを録音、送信するだけでなく、動画をも合わせて録画したり送信してもよい。

さて、このネットワークセッションシステムは、各セッション端末Ａ〜Ｄ間に或る程度の通信遅延が存在する環境にある。ここで、セッション端末間の通信遅延時間Ｔｃとは、図４（１）に示すように、送信側及び受信側セッション端末ＴＭｓ，Ｔｍｒ間の純粋なネットワークＣＮ上の通信遅延時間Ｔｎに加え、両端末ＴＭｓ，Ｔｍｒにおける演奏データ送信及び受信駆動部（オーディオ演奏音データの場合はオーディオドライバ、ＭＩＤＩ演奏データの場合はＭＩＤＩドライバ）ＤＲｓ，ＤＲｒの送信及び受信動作遅延時間Ｔｄｓ，Ｔｄｒをも含んだ時間である。特に、送信動作遅延時間Ｔｄｓについては、送信側セッション処理部ＳＰｓの送信指示を受ける演奏データ送信駆動部ＤＲｓ内の送信バッファＢＵｓの動作遅延が占める割合が高く、受信動作遅延時間Ｔｄｒについても、演奏データの受信から受信側セッション処理部ＳＰｒでの再生開始に至るまでの動作を行う演奏データ受信駆動部ＤＲｒ内の受信バッファＢＵｒの動作遅延が占める割合が高い。

このシステムでは、第１セッション端末として機能しバック演奏データを用意するセッション端末Ａは、第２セッション端末として機能しセッション端末Ａからのバック演奏データを利用する他のセッション端末Ｂ〜Ｄと通信することにより、セッション端末Ａと他のセッション端末Ｂ〜Ｄとの間の純粋な通信遅延時間Ｔｎを計測することができる。具体的には、セッション端末Ａからパケット送信時刻ｔａ１が付された遅延測定用パケットを各セッション端末Ｂ〜Ｄへと送信し、各セッション端末Ｂ〜Ｄにおいては、遅延測定用パケットを受信した時刻ｔｋ１及び応答時の時刻ｔｋ２を付した応答パケット（但し、添字「ｋ」は、「ｂ」〜「ｄ」であり、各端末Ｂ〜Ｄに関わることを表わす）をセッション端末Ａへと返信する。そして、セッション端末Ａにおいて、応答パケットを受信した時刻ｔａ２と上述した各時刻ｔａ１、ｔｋ１、ｔｋ２に基づき、セッション端末Ｂ〜Ｄとの間の往復の遅延時間ｄｋを次の式＜１＞で計算する。
ｄｋ ＝ （ｔａ２−ｔａ１）−（ｔｋ２−ｔｋ１） …＜１＞

ここで、時刻ｔａ１，ｔａ２は、セッション端末Ａにおいて管理されている時刻であり、時刻ｔｋ１、ｔｋ２は各セッション端末Ｂ〜Ｄにおいて管理されている時刻である。従って、各端末Ａ〜Ｄにおける絶対時刻は厳密に一致している必要はない。何故なら、式＜１＞から明らかなように、セッション端末Ａにおけるパケット送信からパケット受信までの時間差、或いは、セッション端末Ｂ〜Ｄにおけるパケット受信からパケット送信までの時間差を求めており、絶対時刻の考慮は不要となるからである。

このようにして求められた往復の遅延時間ｄｋを２分の１した値は片道の純粋な通信遅延時間Ｔｎとみなすことができる。厳密には、パケットの往路と復路とで通信遅延時間が同−とは限らないが、実装上は問題がない程度の差異であるので、この実施例では、往復の遅延時間の２分の１を片道の純粋な通信遅延時間Ｔｎとして採用している。

そして、得られた純粋な通信遅延時間Ｔｎに送信動作遅延時間Ｔｄｓ及び受信動作遅延時間Ｔｄｒを加えて、片道の通信遅延時間Ｔｃを求め、この片道の通信遅延時間Ｔｃをモニター遅延時間Ｔｍとして設定する。

なお、計測した各セッション端末Ｂ〜Ｄとの通信遅延時間の値が異なることがあるが、その場合は、次の何れかの値を適宜採用すればよい。
（１）平均値。
（２）最大値。
（３）基本的には最大値を採用するが、所定の閾値（現実的にセッションを行い得る範囲の遅延時間）Ｔｔを越える場合は該閾値Ｔｔを採用する。
（４）各セッション端末Ｂ〜Ｄごとに異なる遅延時間を設定する（具体例は後述）。

セッション開始の際は、図４（２）の機能ブロック図に示すように、セッション端末Ａにおいて、バック演奏再生の指示があると（Ａ１）、再生する所望のバック演奏データが記憶装置４から読み出され、これに対応するバック演奏情報Ｂｐがセッション端末Ｂ〜Ｄに送信されると共に、設定されたモニター遅延時間Ｔｍ分だけ自機におけるバック演奏音の再生が遅延される（Ａ２〜Ａ３）。つまり、セッション端末Ａは、バック演奏再生が指示された後（Ａ１）モニター遅延時間Ｔｍだけ経過したときに（Ａ２）、演奏再生部９に当該バック演奏データの再生に基づくバック演奏音の放音を開始させる（Ａ３）。

セッション端末Ｂ〜Ｄは、セッション端末Ａで再生されるバック演奏データに対応するバック演奏情報Ｕｐａを再生指示から通信遅延Ｔｃ分だけ遅れて受信し、受信したバック演奏情報Ｕｐａを再生して対応するバック演奏音を放音する（Ｂ１〜Ｄ１）。そこで、セッション端末Ｂ〜Ｄのユーザが、このバック演奏を聴きながら楽器演奏乃至（＝及び／又は）歌唱をすると（Ｂ２〜Ｄ２）と、これに対応するユーザ演奏音が放音されると共に（Ｂ３〜Ｄ３）、当該楽器演奏乃至歌唱の内容を表わすユーザ演奏情報Ｕｐｂ〜Ｕｐｄがセッション端末Ａに送信される。

セッション端末Ａでも、この端末のユーザが、自機で再生したバック演奏音を聴きながら楽器演奏乃至歌唱をすることができ（Ａ４）、併せて、その内容を表わすユーザ演奏情報Ｕｐａがセッション端末Ｂ〜Ｄに送信される。なお、端末Ａでのバック演奏音は、バック演奏の再生指示からモニター遅延時間Ｔｍ分だけ遅れて放音されているが、この遅れ（Ｔｍ）は、セッション端末Ａが第２セッション端末として機能していた場合の遅れ（Ｔｃ）とほぼ等しく、セッション端末Ａのユーザにとってはその影響は感じられない。また、端末Ａのユーザによる楽器演奏乃至歌唱の内容に対応するユーザ演奏音データ（Ｕｐａ）は、音源・効果回路９内の効果部で、バック演奏音データ（Ｂｐ）や、他のセッション端末Ｂ〜Ｄから受信したユーザ演奏情報Ｕｐｂ〜Ｕｐｄに対応するユーザ演奏音データと共にミキシングされ（Ａ５）、これらの演奏音データを合わせたセッション演奏音が放音、録音乃至送信される（Ａ６）。

このようにして、他のセッション端末Ｂ〜Ｄでは、バック演奏音の放音（Ｂ１〜Ｄ１）から遅れることほぼモニター遅延時間Ｔｍ後に、セッション端末Ａで楽器演奏乃至歌唱された音が放音され（Ｂ３〜Ｄ３）、セッション端末Ｂ〜Ｄのユーザは、これを聴きながら更に楽器演奏乃至歌唱をする。セッション端末Ｂ〜Ｄのユーザにとっては、セッション端末Ａのユーザの楽器演奏乃至歌唱は、バック演奏から、ほぼ通信遅延時間Ｔｃと等しいモニター遅延時間Ｔｍ分だけ遅れているが、このモニター遅延時間Ｔｍが所定時間以内（例えば３０ｍｓ以内）であればそれほど違和感なく楽器演奏乃至歌唱が可能である。また、セッション端末Ａでも、バック演奏の放音（Ａ３）から遅れること通信遅延時間Ｔｃ後に、セッション端末Ｂ〜Ｄで楽器演奏乃至歌唱されたユーザ演奏音が放音されるが（Ａ６）、この通信遅延Ｔｃが所定時間以内（例えば３０ｍｓ以内）であれば、セッション端末Ｂ〜Ｄと同様に、それほど違和感なく楽器演奏乃至歌唱が可能である。

仮に、セッション端末Ａにおいて、モニター遅延を入れないと、図１（２）で既に説明したように、セッション端末Ａのユーザの楽器演奏乃至歌唱による自機ユーザ演奏音の放音と、セッション端末Ｂ〜Ｄのユーザの楽器演奏乃至歌唱による他機ユーザ演奏音の放音とは、セッション端末Ｂ〜Ｄにおいてはこれら演奏音がほぼ同時に放音されるのに比べて、通信遅延Ｔｃの往復分だけ（例えば６０ｍｓ程度）ずれてしまい、他機ユーザ演奏音の遅延が大きくなり過ぎて違和感が大きい。このシステムでは、モニター遅延Ｔｍを入れることで、セッション端末Ａにおける自機ユーザ演奏音の遅延が半減し、しかも、セッション端末Ａとセッション端末Ｂ〜Ｄとで両ユーザ演奏音の遅延が均一化される（各セッション端末Ａ〜Ｄが第１セッション端末として機能する場合も第２セッション端末として機能する場合もほぼ同じ遅延となる）ので、違和感を軽減することができる。

なお、各セッション端末Ｂ〜Ｄにそれぞれ異なる遅延時間を設定する場合〔前記（４）の場合〕について、その具体的な設定例を説明する。セッション端末Ａにおけるモニター遅延時間Ｔｍには、測定した各セッション端末との通信遅延時間のうちの最大値、或いは、前述した所定の閾値Ｔｔ〔前記（３）参照〕を設定する。また、各セッション端末Ｂ〜Ｄへは、「モニター遅延時間Ｔｍ−夫々の通信遅延時間Ｔｃ」（但し、所定の閾値Ｔｔを設定した場合には、通信遅延時間Ｔｃが該閾値Ｔｔを越えるときは通信時間Ｔｃに代えて該閾値Ｔｔとする）だけ待ってからパック演奏情報Ｂｐを送信する。

例えば、セッション端末Ｂ，Ｃ，Ｄとの通信遅延時間Ｔｃが、それぞれ、２０ｍｓ、４０ｍｓ、６０ｍｓであった場合、セッション端末Ａにおけるモニター遅延時間Ｔｍには、最大値の６０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０ｍｓ）を設定し、セッション端末Ｂへは、６０−２０＝４０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−２０＝３０ｍｓ）だけ遅らせてから送信し、セッション端末Ｃへは、６０−４０＝２０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−４０＝１０ｍｓ）遅らせてから送信し、セッション端末Ｄへは、６０−６０＝０ｍｓ（閾値Ｔｔ＝５０ｍｓを設定した場合は５０−５０＝０ｍｓ）、つまり、遅延なしで送信する。このようにすると、各セッション端末においてほぼ同時にバック演奏を鳴らすことができる。

〔種々の実施形態〕
以上、この発明の実施に関するネットワークセッションシステムの基本的な動作例について説明したが、具体的には種々の実施形態を採用することができる。図５は、この発明によるネットワークセッションシステムの種々の実施形態を説明するための機能ブロック図である。例えば、セッション端末Ａでバック演奏を用意したり、各セッション端末Ａ〜Ｄで楽器演奏をする場合、図５（１）に示すように、自端末Ａに用意されたバック演奏データをＭＩＤＩ形式とし、このＭＩＤＩ形式のままバック演奏情報Ｂｐとして他端末Ｂ〜Ｄへ送信したり、自端末Ａ；Ｂ〜Ｄで生成されたＭＩＤＩ形式のユーザ演奏情報Ｕｐａ；Ｕｐｂ〜Ｕｐｄを他端末Ｂ〜Ｄ；Ａへ送信してもよいし、図５（２）に示すように、自端末Ａ；Ｂ〜Ｄにおける音源・効果回路９内の音源部にてオーディオ形式に変換された演奏音データ（Ａ２ａ，Ａ５ｃ；Ｂ３ｃ）をバック演奏情報Ｂｐ或いはユーザ演奏情報Ｕｐａ；Ｕｐｂ〜Ｕｐｄとして他端末Ｂ〜Ｄ；Ａへ送信してもよい。

図５（１）のようにＭＩＤＩで送信する場合には、受信側の各セッション端末は、ＭＩＤＩで受信した演奏情報Ｂｐ；Ｕｐを音源部（９）でオーディオ形式に変換してから（Ａ３ａ，Ｂ１ａ；Ａ５ｂ，Ｂ３ｂ）放音する（Ａ３，Ｂ１；Ａ６，Ｂ３）。また、セッション端末Ａにおいてモニター遅延Ｔｍを入れる場合は、バック演奏データがＭＩＤＩ形式なら、図５（１）のように、ＭＩＤＩのままで遅延しもよいし（Ａ１→Ａ２）、図５（２）のように、音源部（９）でオーディオ形式に変換されたバック演奏音データを遅延するようにしてもよい（Ａ２ａ→Ａ２）。

また、各セッション端末Ａ〜Ｄにおいて歌唱する場合、放音されたバック演奏音がマイクロフォン１４で集音されてしまうということがないように、バック演奏音の放音にはヘッドフォンを利用するのが望ましい。例えば、セッション端末Ｂにおいて、放音されるバック演奏音をマイクで集音し、これをセッション端末Ａに送信してしまうと、セッション端末Ａでは、再生された本来のバック演奏音に対して、通信遅延Ｔｃだけ遅延されたセッション端末Ｂからのユーザ演奏情報Ｕｐｂが混ざってしまい、好ましくないからである。

さらに、モニター遅延Ｔｍの挿入態様をユーザにより選択することができるようにしてもよい。例えば、モニター遅延時間Ｔｍを、計測した通信遅延時間Ｔｃに応じて自動的に設定してもよいし、計測した通信遅延時間Ｔｃを参考にしながらユーザが設定できるようにしてもよい。自動設定する場合は、既に説明したように通信路の往復遅延時間（２×Ｔｃ）の半分をモニター遅延時間Ｔｍに設定しても良いし、片道の遅延時間をそのままモニター遅延時間Ｔｍに設定してもよい。また、通信遅延時間Ｔｃが、違和感の発生が生じてしまう時間以上ある場合、ディスプレイ１５等を通じて、セッションの成立が困難である旨をユーザに通知するようにしてもよい。

また、各セッション端末Ａ〜Ｄが電子楽器の場合、図５（１）；（２）に※印が付けれた破線枠のブロックＡ５ａ，Ｂ３ａ；Ａ５ｄ，Ｂ３ｄで示すように、ユーザによる演奏操作子１３の演奏操作（Ａ４，Ｂ２）から、音源・効果回路９内の音源部によりユーザ演奏音データの生成（Ａ５ｂ，Ｂ３ｃ）が開始されるまで、或いは、ユーザ演奏音データの生成（Ａ５ｃ，Ｂ３ｂ）の後ユーザ演奏音が放音されるまで（Ａ６，Ｂ３）の間に、上限がモニター遅延時間Ｔｍや通信遅延時間Ｔｃ程度の多少の演奏遅延Ｔｐを入れても良い。このようにすると、他のセッション端末から受信した他端末ユーザの楽器演奏に対応するユーザ演奏音の生成と、自端末ユーザの楽器演奏に対応するユーザ演奏音（モニター音）の生成との時間差を短くすることができる。ただし、演奏操作から発音までの遅延があるため、ユーザによっては違和感を感じる可能性があるので、この演奏遅延Ｔｐの値は、上述のように、大きくしない方が望ましい。

ＴＭ：ＴＭａ〜ＴＭｄ；ＴＭｓ，ＴＭｒ セッション端末、
Ｔｃ，Ｔｍ，Ｔｐ 通信遅延［時間］、モニター遅延［時間］及び演奏遅延［時間］、
Ｂｐ バック演奏情報、
Ｕｐ：Ｕｐａ〜Ｕｐｄ ユーザ演奏情報、
ＤＲｓ，ＤＲｒ 送信用及び受信用オーディオ又はＭＩＤＩドライバ。

Claims (2)

1. 通信ネットワークを介して通信可能に接続された他のセッション端末と共にネットワークセッションシステムを構成するセッション端末であって、
   演奏情報を再生するための演奏再生手段と、
   他のセッション端末と通信するための通信手段と、
   バック演奏情報の再生を指示するバック演奏指示手段と、
   バック演奏指示手段により再生が指示されたバック演奏情報を通信手段を通じて他のセッション端末に送信すると共に、当該再生が指示された後、他のセッション端末との間の通信遅延時間に相当するモニター遅延時間だけ経過したときに、演奏再生手段に当該バック演奏情報の再生を開始させるバック演奏制御手段と、
   ユーザの演奏に基づくユーザ演奏情報を入力するユーザ演奏入力手段と、
   ユーザ演奏入力手段により入力されたユーザ演奏情報を通信手段を通じて他のセッション端末に送信すると共に、当該ユーザ演奏情報及び他のセッション端末から通信手段を通じて受信された他のユーザ演奏情報を演奏再生手段に再生させるユーザ演奏制御手段と
   を具備することを特徴とするセッション端末。
2. 通信ネットワークを介して通信可能に接続された第１セッション端末及び第２セッション端末により構成されるネットワークセッションシステムであって、
   第１セッション端末は、
   演奏情報を再生するための第１端末演奏再生手段と、
   第２セッション端末と通信するための第１端末通信手段と、
   バック演奏情報の再生を指示するバック演奏指示手段と、
   バック演奏指示手段により再生が指示されたバック演奏情報を第１端末通信手段を通じて第２セッション端末に送信すると共に、当該再生が指示された後、第１及び第２セッション端末間の通信遅延時間に相当するモニター遅延時間だけ経過したときに、第１端末演奏再生手段に当該バック演奏情報の再生を開始させる第１端末バック演奏制御手段と、
   第１セッション端末ユーザの演奏に基づく第１端末ユーザ演奏情報を入力する第１端末ユーザ演奏入力手段と、
   第１端末ユーザ演奏入力手段により入力された第１端末ユーザ演奏情報を第１端末通信手段を通じて第２セッション端末に送信すると共に、当該第１端末ユーザ演奏情報及び第２セッション端末から通信手段を通じて受信された第２端末ユーザ演奏情報を第１端末演奏再生手段に再生させる第１端末ユーザ演奏制御手段と
   を具備し、
   第２セッション端末は、
   演奏情報を再生するための第２端末演奏再生手段と、
   第１セッション端末と通信するための第２端末通信手段と、
   第１セッション端末から第２端末通信手段を通じて受信されるバック演奏情報を第２端末演奏再生手段に再生させるバック演奏手段と、
   第２セッション端末ユーザの演奏に基づく第２端末ユーザ演奏情報を入力する第２端末ユーザ演奏入力手段と、
   第２端末ユーザ演奏入力手段により入力された第２端末ユーザ演奏情報を第２端末通信手段を通じて第１セッション端末に送信すると共に、当該第２端末ユーザ演奏情報及び第１セッション端末から第２端末通信手段を通じて受信された第１端末ユーザ演奏情報を第２端末楽音演奏再生手段に再生させる第２端末ユーザ演奏制御手段と
   を具備する
   ことを特徴とするネットワークセッションシステム。

Images