JP2006267226A - 楽音制御装置 - Google Patents

Abstract

【課題】ライブパフォーマンスに利用したり、複数ユーザが連携して操作することができ、感覚的な操作で楽音パラメータを制御することができる楽音制御システムの提供。
【解決手段】このシステムでは、３Ｄ投影装置ＰＲにより３次元空間ＳｐにオブジェクトＡ，Ｂを表示し、オブジェクトＡ，Ｂに割り当てられた楽音がスピーカＳＫ１〜ＳＫ４から発生される（１）。ユーザＵｓにより或るオブジェクトＡを移動する操作が検出器ＤＴＬにより検出されると、このオブジェクトＡは当該操作に応じて移動される（２ａ）。各オブジェクトＡ，Ｂに対応してスピーカＳＫ１〜ＳＫ４から発生される楽音は、各オブジェクト位置Ｐａ，Ｐｂに定位され（２ｂ）、ユーザＵｓの位置ＰｕとオブジェクトＡの位置Ｐａに応じて当該オブジェクトＡに対応する楽音の音量が制御される（２ｃ）。他システムのオブジェクトを表示し合い他システムユーザと連携することもできる。
【選択図】図３

Description

この発明は、仮想空間を利用して楽音要素を制御して楽曲の制作や編集を行うことができる楽音制御システムに関する。

タッチパネル上に発音源に対応したアイコンを表示し、アイコンの位置を移動操作することで各アイコンに対応付けられた発音源の定位を制御することができる音処理装置は、特許文献１により知られている。しかしながら、この音処理装置では、タッチパネル上での２次元表示であり、ライブなどのパフォーマンスには応用できないので面白みに欠け、アイコンの移動操作を音楽制作に使うことはできない。また、単一のタッチパネルでの楽音制御を行うものであり、他のユーザと連携した楽音制御を行うこともできない。
特許第３０８９４２１号公報

この発明は、このような不都合に鑑み、ライブパフォーマンスに利用したり、複数ユーザが連携して操作することができ、感覚的な操作で楽音の定位や音量その他の楽音パラメータを制御することができる楽音制御システムを提供することを目的とする。

この発明の１つの特徴に従うと、３次元空間（Ｓｐ）にオブジェクト（Ａ，Ｂ）を表示する表示手段（１２）と、表示手段（１２）により３次元空間（Ｓｐ）に表示されているオブジェクト（Ａ，Ｂ）に割り当てられた楽音要素に対応する楽音を発生する楽音発生手段（１４，１５）と、３次元空間（Ｓｐ）に表示されているオブジェクト（Ａ，Ｂ）に対するユーザ操作を検出する検出手段（１３；ＤＴＬ，ＤＴＲ）と、検出手段（１３）により検出された第１のユーザ操作に応じて、対応するオブジェクトを移動させる表示制御手段（１１，１２；図３(2a)）と、３次元空間（Ｓｐ）に表示されているオブジェクト（Ａ，Ｂ）の位置（Ｐａ，Ｐｂ）に応じて、楽音発生手段（１４，１５）により当該オブジェクト（Ａ，Ｂ）に対応して発生される楽音の定位及び音量を制御する楽音制御手段（１１，１４，１５；図３(2b)，(2c)）とを具備する楽音制御装置〔請求項１〕が提供される。

この発明の別の特徴に従うと、３次元又は２次元空間（Ｓｐ１）にオブジェクト（Ａ１，Ｂ１）を表示する表示手段（１２）と、表示手段（１２）により３次元又は２次元空間（Ｓｐ１）に表示されているオブジェクト（Ａ１，Ｂ１）に割り当てられた楽音要素に対応する楽音を発生する楽音発生手段（１４，１５）と、３次元空間（Ｓｐ１）に表示されているオブジェクト（Ａ１，Ｂ１）に対するユーザ操作を検出する検出手段（１３；ＤＴＬ，ＤＴＲ）と、検出手段（１３）により検出された第１のユーザ操作に応じて、対応するオブジェクトを移動させる表示制御手段（１１，１２；図３(2a)）と、３次元又は２次元空間（Ｓｐ）に表示されているオブジェクト（Ａ１，Ｂ１）の位置（Ｐａ１，Ｐｂ１）に応じて、楽音発生手段（１４，１５）により当該オブジェクト（Ａ１，Ｂ１）に対応して発生される楽音の定位及び音量を制御する楽音制御手段（１１，１４，１５；図３(2b)，(2c)）と、ネットワーク（ＣＮ）を介して、他の楽音制御装置（ＳＹ２）の３次元又は２次元空間（Ｓｐ２）に表示されているオブジェクト（Ａ２，Ｂ２）及び該オブジェクトに割り当てられた楽音要素を含むオブジェクト情報（図２下段）を取得する取得手段（１１）と、取得手段（１１）により取得されたオブジェクト情報に基づいて、表示手段（１２）にオブジェクト（Ａ２，Ｂ２）を表示させ、このオブジェクト（Ａ２，Ｂ２）に割り当てられた楽音要素に対応する楽音を楽音発生手段（１４，１５）に発生させる連係制御手段（１１）とを具備する楽音制御装置（ＳＹ１）〔請求項２〕が提供される。

これらの楽音制御装置における楽音制御手段（１１，１４，１５）は、表示手段（１２）により３次元又は２次元空間（Ｓｐ；Ｓｐ１）に表示されているオブジェクト（Ａ，Ｂ；Ａ１，Ｂ１）に対して検出手段（１３）により検出された第２のユーザ操作に応じて、楽音発生手段（１４，１５）により当該オブジェクト（Ａ，Ｂ；Ａ１，Ｂ１）に対応して発生される楽音の他のパラメータを制御する〔請求項３〕ように構成することができる。

これらの楽音制御装置は、さらに、表示手段（１２）により３次元又は２次元空間（Ｓｐ；Ｓｐ１）に表示されたオブジェクトの位置に関する履歴情報（図２参照）を再生可能に記録する記録再生手段〔請求項４〕ように構成することができる。

別の特徴による楽音制御装置（Ｓｙ１）は、この楽音制御装置（ＳＹ１）及び他の楽音制御装置（ＳＹ２）の３次元又は２次元空間（Ｓｐ１，Ｓｐ２）は、互いに重なり合う部分を持つ夫々独立した座標系（[x1,y1(,z1)]，[x2,y2(,z2)]）を有し、連係制御手段（１１）は、表示手段（１２）に対して、他の楽音制御装置（ＳＹ２）からのオブジェクト情報（図２下段）に基づくオブジェクト（Ａ２）を両座標系の相対的な位置関係に応じた位置に表示させ、楽音制御手段（１１，１４，１５）は、当該オブジェクト（Ａ２）の表示位置に応じて、対応する楽音の定位及び音量を制御する〔請求項５〕ように構成することができる。なお、上記した括弧書きは実施例の参照記号・用語乃至参照箇所を表わす。

この発明の１つの特徴による楽音制御装置では、３次元空間に表示されたオブジェクトに割り当てた楽音要素を発音し、オブジェクトに対する所定のユーザ操作を検出すると、この操作に応じてオブジェクトを移動し、オブジェクトの位置に応じて楽音要素の定位と音量を制御する。従って、この発明によれば、３次元空間における感覚的な操作で楽音生成用オブジェクトを制御することができ、ライブパフォーマンスへの応用が可能となる。

また、この発明の別つの特徴による楽音制御装置では、２次元又は３次元空間に表示されたオブジェクトに割り当てた楽音要素を発音し、オブジェクトに対する所定のユーザ操作を検出すると、この操作に応じてオブジェクトを移動し、オブジェクトの位置に応じて楽音要素の定位と音量を制御すると共に、ネットワークを介して他の楽音制御装置のオブジェクト及び楽音要素を含むオブジェクト情報を取得し、このオブジェクト情報に基づき他システムのオブジェクトを表示して発音する。従って、この発明によれば、他の楽音制御装置ユーザと連携した楽音制御が可能となる。

この発明の楽音制御装置によると、さらに、オブジェクトへの操作に応じて該オブジェクトに割り当てられた他のパラメータ（楽音要素の定位と音量以外）を制御するようにしているので、楽音制御の幅を広げることができる。また、各オブジェクトの位置情報や位置移動情報を含む履歴情報を記録し再生することができるようにしているので、楽曲制作への応用が可能となる。

この発明の連携制御が可能な楽音制御装置では、各楽音制御装置の２次元又は３次元空間は、その一部が重なり合う独立した座標系を有し、各座標系の相対位置に応じて、他の楽音制御装置からのオブジェクトの表示位置を決定し、その楽音要素の定位と音量を制御することによって、各座標系の相対位置に応じた複雑な楽音制御が可能となる。

〔システムの概要〕
図１は、この発明の一実施例による楽音制御システムの全体的な構成を表わすシステム構成図を示す。この楽音制御システムは、夫々がユーザ（操作者）毎に制御可能な複数の個別楽音制御システムＳＹ１，ＳＹ２，ＳＹ３，…で構成される。これらの楽音制御システムＳＹ１，ＳＹ２，ＳＹ３，…は、それぞれ、オブジェクト制御装置１１，２１，３１，…を備え、これらのオブジェクト制御装置１１，２１，３１，…は、通信ネットワークＣＮを通じて通信可能に接続される。なお、以下の説明では、個別の楽音制御システムＳＹ１を中心にしてより具体的な構成や動作を述べるが、他の個別楽音制御システムＳＹ２，ＳＹ３，…についても、同様の構成を有し同様の動作を行うことができる。

楽音制御システムＳＹ１は、上述したオブジェクト制御装置１１の外に、３次元又は２次元（３Ｄ／２Ｄ）表示装置１２、位置動作検出装置１３、楽音データ処理装置１４、３次元（３Ｄ）音響装置１５及び記録再生装置１６を備え、これらの装置１２〜１６はオブジェクト制御装置１１に接続される。オブジェクト制御装置１１及び楽音処理装置１４は、この楽音制御システムＳＹ１の中心的な制御要素であり、それぞれ個別のコンピュータで構成してもよいし、共通する１台のコンピュータで構成してもよい。

オブジェクト制御装置１１は、複数のオブジェクトの機能や位置に関する各種情報を管理し、１乃至複数のオブジェクトの位置指令情報を含むオブジェクト表示制御情報を３Ｄ／２Ｄ表示装置１２に出力して３次元又は２次元（３Ｄ／２Ｄ）空間の所定位置に当該オブジェクトを３次元又は２次元（３Ｄ／２Ｄ）表示させる。ここで、オブジェクトとは、３Ｄ／２Ｄ空間内に位置することができる視覚的な物体をいい、例えば、光の投影などによる仮想的な表示により表現することができる。各オブジェクトは、色彩や形状などの表示態様によって互いに識別可能であり、その中心から一定距離の映像認識範囲を有する。位置動作検出装置１３は、３Ｄ／２Ｄ空間内におけるユーザの位置や操作点（ユーザの手などの身体部位）の位置及び動作などを検出し、オブジェクト制御装置１１に入力する。

オブジェクト制御装置１１は、また、３Ｄ／２Ｄ空間内に表示されている各オブジェクトの位置、同空間内におけるユーザの位置や動作などを表わす位置及び動作情報と、オブジェクト管理部により各オブジェクトに予め割り当てられている楽音生成機能に基づいて楽音制御情報を生成し、楽音処理装置１４に送ると共に、各オブジェクトやユーザの位置などの情報に基づく音場制御信号を３Ｄ音響装置１５に出力する。

楽音処理装置１４は、楽音制御情報に従ってオブジェクトに割り当てられた楽音生成機能に対応する楽音信号を生成して３Ｄ音響装置１５に入力する。３Ｄ音響装置１５は、この楽音信号を音場制御信号により３次元音響信号に変換し、複数のスピーカを通じて楽音信号に対応する楽音を発生しその音像をオブジェクト位置に定位させる。

また、記録再生装置１６は、オブジェクト制御装置１１からの各オブジェクトの位置に関する履歴情報を記録し、記録されたこれらの情報は、必要に応じて、オブジェクト制御装置１１に読出して再生し、３Ｄ／２Ｄ表示装置１２と楽音処理装置１４及び３Ｄ音響装置１５とを通じてオブジェクト映像と楽音を再現することができる。

〔オブジェクト管理の概要〕
この発明の一実施例による楽音制御システムでは、３Ｄ／２Ｄ空間上にリズム音や音楽フレーズなどに対応したオブジェクトを配置・表示し、これらのオブジェクトをユーザ（操作者）の操作により動かし、操作に対応したリズム音や音楽フレーズの音源（＝発音源：Sound Source）を仮想空間内のオブジェクト位置に定位させるように制御することができ、このようなオブジェクトは、各楽音制御システムのオブジェクト制御装置内に構成されるオブジェクト管理部により管理される。図２は、この発明の一実施例による楽音制御システムにおけるオブジェクト管理の概要を説明するための図である。

各楽音制御システムＳＹ１（ＳＹ２，…）のオブジェクト制御装置１１（２１，…）は、夫々のシステムの３Ｄ／２Ｄ空間内に複数のオブジェクトＡ，Ｂ，…を定義してオブジェクト管理部で管理することができる。これらのオブジェクトは、操作者の指示に従い、楽音生成に関する任意所定の機能（楽音生成機能）を割り当てて空間内の任意の位置に配置し任意に操作することができる。例えば、オブジェクトＡには、ドラムのリズム音を発生する源となる音源としての機能が割り当てられ、オブジェクトＢには、ピアノの演奏パターン音を発生する音源の機能が割り当てられ、何れも音源オブジェクトと呼ばれる。

また、各オブジェクトＡ，Ｂには、３Ｄ／２Ｄ空間内の位置座標Ｐａ[Xa,Ya(,Za)]，Ｐｂ[Xb,Yb(,Zb)]が与えられ、発音や表示のパラメータとして用いられる。すなわち、３Ｄ／２Ｄ表示装置１２は、与えられたオブジェクト位置Ｐａ，ＰｂにオブジェクトＡ，Ｂを夫々識別可能な所定の態様で３Ｄ／２Ｄ表示する。また、音源オブジェクトＡ，Ｂについては、３Ｄ音響装置１５により、割り当てられたリズム音や演奏パターン音が発生され、各オブジェクト位置Ｐａ，Ｐｂにその発音源を定位させる。

オブジェクトＣ（図示せず）以下についても、同様に、他の楽音生成機能が割り当てられて位置座標が付与され、所要の発音及び表示パラメータとして機能する。なお、オブジェクトは、オブジェクトＡ，Ｂのような音源オブジェクトに限定されず、他の楽音生成機能には、例えば、エコー、リバーブ、ディストーションなどのエフェクト機能を割り当てることができる。エフェクト機能が割り当てられたオブジェクトは、効果オブジェクトと呼ばれ、音源オブジェクトに対応して発音される楽音を修飾するための楽音パラメータとして用いられ、独立して音位を生成させる機能を有しない。例えば、効果オブジェクトＥには、３Ｄ／２Ｄ空間内の位置座標Ｐｅ[Xe,Ye(,Ze)]が与えられ、音源オブジェクトＡ，Ｂと同様に表示パラメータとして用いられるが、エコー効果を付与する楽音パラメータとして機能させるには、音源オブジェクトと結合する操作を行う必要がある。

或る楽音制御システム（自システム）が他の楽音制御システム（他システム）と連係する場合には、自システムのオブジェクト制御装置は、自システムのオブジェクトＡ，Ｂ，…，Ｅ，…だけでなく、他システムの３Ｄ／２Ｄ空間内におけるユーザ（操作者）やオブジェクトの機能や位置に関する情報をオブジェクト情報として取り込み、自システムの３Ｄ／２Ｄ空間内におけるオブジェクトとして管理することができる。

例えば、オブジェクトＪは、他システムのユーザ機能（「他ユーザ」）が割り当てられ、ユーザオブジェクトと呼ばれる。ユーザオブジェクトＪは、他システムにおけるユーザの位置座標を自システムの３Ｄ／２Ｄ空間座標系上に座標変換したオブジェクト位置Ｐｊ[Xj,Yj(,Zj)]が与えられ、表示パラメータとして機能させる。つまり、ユーザオブジェクト位置Ｐｊが自システムの３Ｄ／２Ｄ空間内にある場合は、３Ｄ／２Ｄ表示装置１２に、この位置ＰｊにユーザオブジェクトＪが所定の態様で３Ｄ／２Ｄ表示させる。

また、図示を省略したが、自システムのオブジェクトＡ，Ｂ，…，Ｅ，…と同様に、他システムにおいて楽音生成機能が割り当てられた音源及び効果オブジェクトについても、自システムの３Ｄ／２Ｄ空間座標系上に座標変換したオブジェクト位置が与えられる。この場合も、座標変換後のオブジェクト位置が自システムの３Ｄ／２Ｄ空間内に存在するときに限って、３Ｄ／２Ｄ表示装置１２により、当該オブジェクト位置に当該オブジェクトを所定の態様で３Ｄ／２Ｄ表示させ、３Ｄ音響装置１５には、割り当てられた楽音生成機能に対応する楽音を発生させることができる。

〔３Ｄ空間における楽音制御〕
この発明による楽音制御は、３Ｄ空間上にオブジェクトを配置（表示）し、この空間内に位置するユーザの操作に対応して音源をオブジェクト位置に定位させる３Ｄ空間楽音制御系上でのライブパフォーマンスに好適に実施することができる。図３は、この発明の一実施例による３Ｄ空間を用いた楽音制御システムの動作を説明するための図である。

図３（１）は、各楽音制御システムＳＹ１（ＳＹ２，…）におけるユーザ毎の３Ｄ空間楽音制御をイメージ的に示している。３Ｄ表示装置１２は、出力部である３Ｄ投影装置ＰＲにより、予め定められた楽音制御空間座標系[x,y,z ]を有する３Ｄ空間Ｓｐの所定位置Ｐａ，Ｐｂに、オブジェクトＡ，Ｂの映像を投影する。３Ｄ音響装置１５は、出力部であるスピーカＳＰ１〜ＳＰ４〔例えば、５．１ｃｈスピーカ。但し、図３（１）では４つのスピーカのみを代表的に図示した。〕により、３Ｄ空間Ｓｐに３Ｄ音場空間を実現する。

このシステムでは、３Ｄ投影装置ＰＲによる３Ｄ空間Ｓｐへの投影によって複数のオブジェクトが互いに識別可能に表現され、オブジェクトが音源オブジェクトの場合には、対応する楽音（パターンを含む）を持つ。図３（１）の例では、オブジェクトとして音源オブジェクトＡ，Ｂが表示されており、既述したように、例えば、オブジェクトＡに、ドラムのリズム音を発音する音源の機能が割り当てられ、オブジェクトＢには、ピアノの演奏パターン音を発音する音源の機能が割り当てられる。

ユーザ（操作者）Ｕｓは、３Ｄ空間Ｓｐ[x,y,z ]内の任意のユーザ位置Ｐｕに位置することができ、３Ｄ空間Ｓｐ内に表示されているオブジェクトを操作することができる。位置動作検出装置１３は、ユーザＵｓ自身の位置を代表する部位に装着されたユーザ位置検出器ＤＴＵや、グローブのような形態でユーザＵｓの左手乃至右手に装着された操作位置及び動作検出器ＤＴＲ，ＤＴＬ、送信器などを備える。ここで、ユーザ位置検出器ＤＴＵはユーザ位置座標Ｐｕ[Xu,Yu,Zu]を検出し、操作位置及び動作検出器ＤＴＲ，ＤＴＬは、ユーザＵｓの左手及び右手の位置座標Ｐｒ[Xr,Yr,Zr]，Ｐｌ[Xl,Yl,Zl]と、左手及び右手の特定動作を検出する。この特定動作は、握っている、開いている等、予め定められた特定の手のしぐさをいう。そして、検出器ＤＴＵ；ＤＴＲ，ＤＴＬで検出された位置情報や操作情報は、送信器を通じてオブジェクト制御装置１１に出力され、オブジェクト制御装置１１は、ユーザＵｓの左手乃至右手に着けられた操作位置及び動作検出器ＤＴＲ，ＤＴＬから現在の左手乃至右手座標情報Ｐｒ，Ｐｌ及び特定動作情報を取得する。

（ａ）手の特定動作とオブジェクトへの操作
オブジェクト制御装置１１は、ユーザＵｓの左手乃至右手座標Ｐｒ，Ｐｌが、現在表示されているオブジェクトＡ，Ｂの映像認識範囲（以下、単に「範囲」という）内に有るか否かを判定する。例えば、オブジェクトＡの範囲内に有る場合は、当該オブジェクトＡを操作していると認識する。この場合、さらに、操作位置及び動作検出器ＤＴＲ，ＤＴＬからの動作情報から、当該オブジェクトＡの範囲内で、どのような特定動作を行っているかを判定することにより、オブジェクトＡに対してどのような操作を行おうとしているかを認識する。このように、手に装着した検出器ＤＴＲ，ＤＴＬで認識可能な特定動作を対応させることで、ユーザの手で複数種類のオブジェクト操作を自由に行うことができる。

例えば、操作位置及び動作検出器ＤＴＬによって、オブジェクトＡ上で左手を握る動作が検出されたときには「オブジェクトを握る」という特定動作であると判定され、その後「オブジェクトを握る」特定動作を維持しつつ左手を動かすと、左手の位置Ｐｌに従って当該オブジェクトＡを移動させていると認識される。また、検出器ＤＴＬによりオブジェクトＡ上で左手を広げる動作が検出されたときには「オブジェクトを放す」という特定動作であると判定され、当該オブジェクトＡを移動させた後「オブジェクトを放す」特定動作を行うと、移動後の左手の位置まで当該オブジェクトＡを移動させたと認識される。

すなわち、図３（２ａ）に示すように、ユーザＵｓがオブジェクトＡの位置（映像認識範囲を含む）Ｐａｒ[Xar,Yar,Zar ]にて左手で「オブジェクトを握る」動作を行い、この動作を維持しつつ、左手を位置Ｐａｓ[Xas,Yas,Zas ]まで動かして「オブジェクトを放す」動作を行うと、当該オブジェクトＡは位置Ｐａｒから位置Ｐａｓまで移動される。このように、握る動作でオブジェクトをつかんでユーザＵｓの周りの好きな位置に移動し、ユーザの好きな位置で手を広げる動作をして、オブジェクトの所望配置を行うことができる。この場合、オブジェクト制御装置１１は、ユーザＵｒの左手位置ＰｌがオブジェクトＡの移動開始位置Ｐａｒに一致し「オブジェクトを握る」動作を検出（判定）すると、以後、移動終了位置Ｐａｓで「オブジェクトを放す」動作を検出（判定）するまで、３Ｄ表示装置１２を制御して、オブジェクトＡの位置がユーザＵｒの左手位置Ｐｌに追従するように、オブジェクトＡの映像を移動させる。

（ｂ）手の特定動作とオブジェクトの生成及び消滅
なお、３Ｄ空間Ｓｐには、オブジェクト制御装置１１により、初期設定により予め定められた所定のオブジェクトを表示することができるが、特定動作（例えば、手の握り開き回数や両手を重ねる動作）に基づいて、オブジェクト管理部（１１）にて予め対応付けられたオブジェクトを３Ｄ空間Ｓｐ内に新たに生成させたり、消滅させることができる。

例えば、ユーザＵｓが、オブジェクトを配置したい配置希望位置で、手を握った状態から大きく開くと（１開動作）、オブジェクト制御装置１１は、「握り開き」という特定動作を検出し、３Ｄ表示装置１２（ＰＲ）により、オブジェクトＡの映像を配置希望位置に３Ｄ表示して、オブジェクトＡを新たに生成させる。また、配置希望位置で手を開いた後素早く握り再び開くと（２開動作）、オブジェクトＢを生成し、更に、もう一度素早い握り開きを行うと（３開動作）、オブジェクトＣを生成させる。また、ユーザＵｓが、３Ｄ空間Ｓｐ内に現在表示されているオブジェクトＡ上で左手及び右手を重ねると、オブジェクト制御装置１１は、「両手を重ねる」という特定動作を検出し、３Ｄ表示装置１２を制御して当該オブジェクトＡを空間Ｓｐ内から消滅させる。

（ｃ）音源オブジェクトと音源の対応
複数のオブジェクトには、オブジェクトＡ，Ｂのように、予め用意されている楽音要素（楽音パターンを含む）の音源機能が割り当てられた音源オブジェクトがあり、音源オブジェクトが３Ｄ空間Ｓｐ内に表示されているときには、当該音源オブジェクトに対して特定動作（例えば、指を鳴らす動作）に基づいて、当該オブジェクトに予め対応付けられた楽音を発生させたり、停止させたりすることができる。

例えば、ユーザＵｓが、左手乃至右手をオブジェクトＡ上に置いて指を鳴らすと、オブジェクト制御装置１１は、「指を鳴らす」という特定動作を検出し、スピーカシステムＳＫ１〜ＳＫ４を含む３Ｄ音響装置１２を制御して、オブジェクトＡに対応付けられたリズム音を所望の音場で発生させることができ、次に、当該オブジェクトＡ上で再度「指を鳴らす」動作があると、このリズム音の発生を停止させることができる。

この場合、音源オブジェクトに対応する楽音は、常に、オブジェクトの位置に対応する音位及び音量で発生される。すなわち、音位については、図３（２ｂ）に示すように、夫々のオブジェクトＡ，Ｂに対応する楽音は、ユーザＵｓから各オブジェクトＡ，Ｂへの相対的な方向から聞こえるように、各音源が定位される。また、音量については、図３（２ｃ）に示すように、オブジェクトＡの位置がユーザＵｓの位置に近いほど、対応する楽音（リズム音）の音量は大きくなるというように、ユーザＵｓ・オブジェクトＡ間距離の大小に応じて音量が小さく又は大きくなるように制御される。

このように、オブジェクト上にユーザＵｓの手を重ねることは、当該オブジェクトを選択したことを表わし、音源オブジェクト上での「指をならす」動作で、選択された音源オブジェクトに対応する楽音について発音の開始及び終了を制御することができる。また、前述したように、「オブジェクトを握る」動作でオブジェクトをつかみ、その手を所望位置に動かしてこのオブジェクトを移動することができる。従って、空間Ｓｐ内に配置されている発音中の音源オブジェクトを握ったまま移動させることで、対応する音源の音位乃至音量を変化させることができる。例えば、音源オブジェクトをユーザＵｓの位置から遠ざけると音量は小さくなり、上下左右に動かすと音位が変化する。さらに、このような移動動作を繰り返して或る範囲で音源オブジェクトを往復或いは回転するなどにより、音量や音位が周期的に繰り返し変化する楽音を発生させることができる。また、所望位置に移動した後に「オブジェクトを放す」動作を行うと、この位置にオブジェクトを固定して、以後、音量や音位が一定の楽音を発生させることができる。

（ｄ）音源以外のオブジェクト
３Ｄ空間Ｓｐに表示されるオブジェクトには、オブジェクトＥのように、エコー、リバーブ、ディストーションなどのエフェクト機能が割り当てられた効果オブジェクトがある。効果オブジェクトは、「オブジェクトを握る」動作を行い、音源オブジェクト上に重ねるか或いはユーザＵｓと音源オブジェクトとの間に配置して「オブジェクトを放す」動作を行うことによって両オブジェクトを結合し、音源オブジェクトの楽音に効果オブジェクトのエフェクトを付与することができる。効果オブジェクトの場合、「指をならす」動作により、対応するエフェクトが能動化或いは不能化される。

音源以外のオブジェクトには、さらに、オブジェクトＪのように、自システムＳＹ１が他システムＳＹ２，ＳＹ３，…と連係する場合のユーザオブジェクトがある。ユーザオブジェクトは、初期設定により予め定められた他システムとの連係設定条件に従って表示することができるが、特定動作（例えば、握り開き回数や両手を重ねる動作）に基づいて、予め対応付けられたユーザオブジェクトを新たに生成させたり、消滅させることもできる。この場合、ユーザオブジェクトが生成される位置は、他システムとの連係設定条件で定められた座標関係に依存する。

（ｅ）オブジェクトに対するその他の操作
このシステムでは、上述した「オブジェクトを握る」、「オブジェクトを放す」、「握り開き」、「両手を重ねる」、「指をならす」などの操作の外に、選択したオブジェクトに別の任意の感覚的な操作を加えることにより、当該オブジェクトに対応付けられている機能や付与されたエフェクト機能を変化させることができる。

例えば、「オブジェクトをたたく」という特定動作の度に、当該オブジェクトに割り当てられている楽音パターン或いはエフェクト度合いを所定の順序で変更させて行くことができる。また、音源オブジェクトについては、「オブジェクトを投げる」（音源オブジェクトを移動して手を開いた後直ちに人差指以外を閉じる）という特定動作で、それまでの移動方向に向かって発音中の音源オブジェクトを飛んで行かせ、空間Ｓｐの周壁に当ると反射して跳ね返らせるなどの動作をさせることも可能である。さらに、「オブジェクトを擦（こす）る」という特定動作で音源オブジェクトの楽音情報にフィルタをかけ、その擦り回数に応じてフィルタ特性の切替えや解除を行うことができる。

（ｆ）オブジェクトへの操作に対応する表示
オブジェクトに対して何らかの操作がなされた場合、オブジェクト制御装置１１は、３Ｄ表示装置１２を制御して、オブジェクトにどのような操作がなされているかを当該オブジェクトの表示状態を視覚的に変更して表現し、オブジェクトの状態を感覚的につかむことができるようにすることが好ましい。

例えば、「指をならす」動作で能動化している（発音やエフェクトが有効となる）オブジェクトをより鮮明に表示したり、「オブジェクトを擦る」動作でフィルタがかかっている音源オブジェクトについては、音源オブジェクトの表示色を変更したり、彩度や色相でフィルタの係り具合を表現する。なお、音源オブジェクトに効果オブジェクトを結合した場合は、両オブジェクトの映像を連結した表示として、音源オブジェクトと共に移動可能とする。この場合、効果オブジェクトの映像部分のみを操作することにより、音源オブジェクトとは独立した特定動作（エフェクト度合いの変更や音源オブジェクトとの結合解除など）を加えることができる。

（ｇ）ユーザ自身の移動
また、空間Ｓｐ内でユーザＵｓ自身が場所を移動すると、オブジェクト制御装置１１は、ユーザ位置検出器ＤＴＵによって検出されたユーザ位置Ｐｕと各音源オブジェクトＡ，Ｂの位置Ｐａ，Ｐｂに基づいて、各音源オブジェクトとユーザとの相対的な距離及び方向を算出し、ユーザＵｓの移動に合わせて対応する各音源の音位乃至音量を変化させる。このように、空間Ｓｐ内をユーザＵｓが自由に移動することで、任意の位置Ｐｕから楽曲を鑑賞することができる。

〔他システムとの連係〕
この発明の一実施例による楽音制御システムにおいては、ネットワークで繋がっている複数の個別的な楽音制御システムを結合して複数のユーザ（操作者）が連係して楽音制御を行うように、同様のシステムを利用しているユーザのネットワーク接続によりシステムを拡張することができる。図４は、この発明の一実施例による複数の３Ｄ空間楽音制御システムを連係したシステムの動作説明図である。複数の個別的な楽音制御システムＳＹ１，ＳＹ２，…の夫々は、通信ネットワークＣＮで繋がっている他の任意のシステムと連係することができるが、以下においては、説明を簡単にするため、第１及び第２の３Ｄ空間楽音制御システムＳＹ１，ＳＹ２が連係する場合について述べる。なお、構成要素の参照記号には同様の記号を使用し、参照記号の添字“１”，“２”は、第１及び第２システムＳＹ１，ＳＹ２の夫々に対応することを表わす。

互いに連係する第１及び第２システムＳＹ１；ＳＹ２の夫々は、図３の例と同様に、夫々のＵｓ１；Ｕｓ２と夫々のオブジェクトＡ１，Ｂ１；Ａ２，Ｂ２を有する夫々の３Ｄ空間Ｓｐ１；Ｓｐ２を備えており、少なくとも互いに重なり合う部分〔共通空間（Ｓｐｃ）という〕を持つ独立した座標系を有している（図示せず）。両システムＳＹ１；ＳＹ２は、通信ネットワークＣｎを通じて両オブジェクト制御装置１１；２１間でオブジェクト情報を交信することで共通空間を仮想的に共有し、各システムのユーザＵｓ１；Ｕｓ２は、共通空間に表示される他のシステムのオブジェクトを操作することができる。この場合、他システムユーザＵｓ２；Ｕｓ１も、各システムＳＹ１；ＳＹ２の３Ｄ空間Ｓｐ１，Ｓｐ２内に、ユーザオブジェクトＪ２；Ｊ１として操作可能に仮想的に表現することができる。各システムＳＹ１；ＳＹ２では、他システム音源オブジェクトＡ２，Ｂ２；Ａ１，Ｂ１による楽音の聞こえ方（音量／音位）は、これらオブジェクトとユーザＵｓ１；Ｕｓ２との位置関係で決定され、各ユーザ位置Ｐｕ１；Ｐｕ２に依存して聞く楽音が変化する。

両システムＳＹ１；ＳＹ２は、ネットワークＣＮで互いに接続された際、各システムのユーザＵｓ１；Ｕｓ２が同一の空間Ｓｐ１＝Ｓｐ２を共有するか互いに異なる独自の空間Ｓｐ１；Ｓｐ２を持つかにより、次の（１），（２）のような楽音制御空間を構成する。

（１）同一のシステム空間を共有する場合
互いに連係するシステムが同一空間を共有する場合は、連係する全てのシステムのユーザが同じ空間で同じオブジェクトの配置を見て操作することができる。図４（１）は、第１及び第２システムＳＹ１，ＳＹ２が同一の３Ｄ空間Ｓｐ１，Ｓｐ２を共有する場合に、第１システムＳＹ１における３Ｄ空間Ｓｐ１における楽音制御のイメージを示す。

両システムＳＹ１，ＳＹ２がネットワーク接続により連係すると、第１システムにおいては、図４（１）に示すように、他システムＳＹ２のユーザＵｓ２は、他システムＳＹ２の空間Ｓｐ２内におけるユーザ位置Ｐｕ２と同一座標の位置にユーザオブジェクトＪ２で表現され、自システムＳＹ１のユーザＵｓ１と仮想的な位置関係を持つ。つまり、自システムＳＹ１とネットワークＣＮ越しの相手側システムＳＹ２は、同一の３Ｄ空間座標系Ｓｐ１[x1,y1,z1]＝Ｓｐ２[x2,y2,z2]＝共通空間Ｓｐｃを共有し、３Ｄ表示装置１２により、自システムＳＹ１の音源オブジェクトＡ１，Ｂ１や効果オブジェクト（図示せず）等と共に、相手側システムＳＹ２のユーザオブジェクトＪ２や音源オブジェクトＡ２，Ｂ２、効果オブジェクト（図示せず）等が自システム空間Ｓｐ１に仮想的に表示される。

音源オブジェクトＡ１，Ｂ１，Ａ２，Ｂ２に対応する楽音は、これら音源オブジェクトＡ１〜Ｂ２とユーザＵｓ１との位置関係によって決定される音量乃至音位で発音される。従って、他システムＳＹ２の音源オブジェクトＡ２，Ｂ２に対応する楽音は、他システムＳＹ２のユーザＵｓ２が聞く楽音とは、音量乃至音位が変化する。また、他システムＳＹ２からのユーザオブジェクトＪ２や音源オブジェクトＡ２，Ｂ２等は、ユーザＵｓ１により、自システムＳＹ１の音源オブジェクトＡ１，Ｂ１等と同様に、位置を変化させる等の操作をすることができる。このため、他システムＳＹ２でそのユーザＵｓ２がオブジェクトを操作したときには、両システムＳＹ１，ＳＹ２での操作が重畳して表われ、例えば、ユーザＵｓ１がオブジェクト位置を移動したときは、他システムＳＹ２のユーザＵｓ２からみると、自身で移動させたように見える。また、ユーザオブジェクトＪ２を移動させることにより、他システムＳＹ２からの音源オブジェクトＡ２，Ｂ２等を自システム空間Ｓｐ１外に出して楽音制御対象から外すことができる（或いは、外れることがある）。

なお、第２システムＳＹ２の３Ｄ空間Ｓｐ２においては（図示省略）、図４（１）のユーザＵｓ１の位置に他システムＳＹ１のユーザオブジェクトＪ１が表示され、ユーザオブジェクトＪ２の位置に自システムＳＹ２のユーザＵｓ２が位置し、他のオブジェクトＡ１〜Ｂ２は、図４（１）と同様である。

（２）夫々異なるシステム空間を持つ場合
互いに連係するシステムが夫々異なるシステム空間を持つ場合は、ユーザは、自システムのオブジェクトと、両システムの共通空間Ｓｐｃにある他システムのオブジェクトの配置を見て操作することができる。図４（２）は、第１及び第２システムＳＹ１，ＳＹ２が夫々異なる３Ｄ空間Ｓｐ１，Ｓｐ２を持つ場合に、第１システムＳＹ１の３Ｄ空間Ｓｐ１（実線）における楽音制御のイメージを表わし、一点鎖線は共通空間Ｓｐｃを示す。

この場合、夫々のシステムＳＹ１，ＳＹ２のユーザＵｓ１，Ｕｓ２は夫々互いに異なる独自の座標空間Ｓｐ１[x1,y1,z1]，Ｓｐ２[x2,y2,z2]を持っており、夫々の空間Ｓｐ１，Ｓｐ２の重なり方は、夫々のユーザＵｓ１，Ｕｓ２により、連係条件として自由に設定することができる。従って、例えば、第１システムＳＹ１においては、他システムＳＹ２の空間Ｓｐ２内のオブジェクトＪ２，Ａ２，Ｂ２，…を、設定された連係条件に従って自システム空間Ｓｐ１上の座標上に座標変換する。そして、図４（２）の実線及び一点鎖線内に示されるように、空間Ｓｐ１とオーバラップした共通空間Ｓｐｃに存在する特定のオブジェクトＪ２，Ｂ２のみを配置・表示し（Ａ２は非表示）他システムＳＹ２と相互に共有し、その操作によって対応する楽音を制御することができる。また、第２システムＳＹ２の３Ｄ空間Ｓｐ２においては（図示省略）、図４（２）の破線内のオブジェクトが表示され、ユーザＵｓ１の位置に他システムＳＹ１のユーザオブジェクトＪ１が表示される。

つまり、夫々別のシステムで操作をしているユーザ同士が、ネットワーク接続により、共通する空間Ｓｐｃに位置する特定オブジェクトを操作可能として、連係した楽音制御を実現するというイメージである。夫々のシステム空間Ｓｐ１，Ｓｐ２で夫々のオブジェクトを（１）の場合と同じ位置に配置したとしても、各システム空間においては、他システムのオブジェクトが、自身の空間座標系に座標変換した位置に基いて配置されるので、両空間Ｓｐ１，Ｓｐ２の重なり方に応じて各ユーザとオブジェクトの相対的位置関係が大きく異なったものとなり、オーバラップしていない非共通空間に配置される他システムの音源オブジェクトに対応する楽音は、聞くことができず、また、制御対象から外される。

なお、このように夫々異なるシステム空間を持つ場合には、例えば、次のような「音のキャッチボール」を実現するシステムを構成することができる。すなわち、他システムＳＹ２で或る音源オブジェクトＡ２に対して「オブジェクトを投げる」特定動作を行い、投げられた音源オブジェクトＡ２が自システムＳＹ１に飛んできたときに、自システムＳＹ１でこれに「オブジェクトを受け取る」特定動作を行うと、自システムＳＹ１自身の音源オブジェクトに追加することができるが、「オブジェクトを受け取る」動作がないと、そのまま、別の接続システムＳＹ３の方に飛んで行ってしまう。

〔２Ｄ空間における楽音制御〕
この発明による楽音制御システムは２Ｄ空間即ち平面上に構成することも可能である。この場合、２Ｄ仮想空間上にオブジェクトを配置し、空間内に位置するユーザの操作に対応して音源をオブジェクト位置に定位させる２Ｄ空間楽音制御系を連係することにより、複数ユーザが連携した楽音制御を簡単に実現することができる。図５は、この発明の一実施例による複数の２Ｄ空間楽音制御係を連係した楽音制御システムの説明図である。

この２Ｄ空間楽音制御システムでは、図５（１）に示すように、「タッチパネル」と通称され、画面表示機能及び座標検出機能を有するパネル装置ＰＮが、楽音制御システムＳＹ１（ＳＹ２，…）における２Ｄ表示装置１２の表示端末及び位置動作検出装置１３の検出端末に用いられる。タッチパネルＰＮの４隅には仮想スピーカ位置ｓｋ１〜ｓｋ４が設定され、タッチパネルＰＮの画面には、実際にスピーカＳＫ１〜ＳＫ４を備えた図３の３Ｄ空間と同様の音響（演奏）空間を平面的に模擬した２Ｄ仮想空間Ｓｐが構成される。

この２Ｄ仮想空間Ｓｐには、アイコン画像などによりオブジェクトＡ，Ｂが表示され、このシステムのユーザは、自身の手又はタッチペンなど（操作点という）で画面に操作を加えることによって、図３の場合と同様に、オブジェクトＡ，Ｂを任意に操作することができる。例えば、（ａ）項で説明した態様と同様に、２Ｄ空間Ｓｐに表示されているオブジェクトＡに操作点が触れると「オブジェクトをつかむ」操作であると判定され、以後、操作点を触れたまま画面上で動かすことにより、オブジェクトＡを移動（ドラッグ）し、パネルから操作点を離すと「オブジェクトを放す」操作であると判定されてオブジェクトＡをその位置に固定することができる。

このシステムのユーザの位置は、パネル上の２Ｄ空間Ｓｐの中心位置（原点）Ｐｏに対応させるか、或いは、ユーザ自身の画面操作によって任意の位置Ｐｕに設定することができ、何れの場合も、各位置Ｐｏ，Ｐｕが画面上に他のオブジェクトと識別可能に表示される。なお、前者の場合、現実のユーザは、実際にスピーカＳＫ１〜ＳＫ４が配備される現実の音響空間の中心に固定して位置すればよい。また、後者の場合には、現実の音響空間内において、設定された画面上のユーザ位置Ｐｕの移動に従って現実のユーザ位置をパネルＰＮと共に移動させる必要があるがあるが、（ｇ）項の説明と同様の効果が得られる。

なお、音源オブジェクトＡ，Ｂに対応して発生される楽音の定位や音量については、（ｃ）項の説明と同様の制御が現実の音響空間で実現される。また、音源以外のオブジェクトも（ｄ）項と同様の態様に表示され、空間が３Ｄから２Ｄに変更されてるだけである。オブジェクトに対する他の操作や表示態様についても、（ｂ），（ｅ），（ｆ）項で説明した操作及び表示方法に対応する画面上での操作及び表示態様を適宜適用すればよい。

この２Ｄ空間楽音制御システムＳＹ１は、他の同様の２Ｄ空間楽音制御システムＳＹ２と簡単に連係することができ、この場合には、図５（２ａ）のような２Ｄ空間が構成される（ユーザ位置Ｐｕ１，Ｐｕ２は任意位置に設定されるとする）。両システムＳＹ１；ＳＹ２が同一のシステム空間を共有する（原点Ｐｏ１；Ｐｏ２、座標軸ｘ１，ｙ１；ｘ２，ｙ２及びスケールが全て一致）場合には、各システム空間Ｓｐ１，Ｓｐ２では、図５（２ａ）に示すようなイメージで楽音制御がなされる。これは、図４（１）の場合に対応し、空間が３Ｄから２Ｄに変更されるだけで、既述した（１）の説明と同様の動作を呈する。

両システムが夫々の独自のシステム空間を持つ場合には、自システム空間Ｓｐ１では、図５（２ｂ）の実線及び一点鎖線（共通空間Ｓｐｃ）で示されるようなイメージで楽音制御がなされ、これは、図４（２）の場合に対応する。一方、他システム空間Ｓｐ２は破線及び一点鎖線内のオブジェクトを表示する構成となり、相手システムユーザの位置（Ｐｕ１）にユーザオブジェクトＪ１が表示される（図示せず）。各システム空間Ｓｐ１，Ｓｐ２での動作は、空間が３Ｄから２Ｄに変更されるだけで、（２）項の説明と同様である。

〔種々の実施態様〕
以上、図面を参照しつつこの発明の好適な実施の一形態について説明したが、これは単なる一例であって、この発明は、発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、３次元オブジェクトの表示方法や３次元音場の制御方法は、どのようなものでもよい。また、表示するオブジェクトの大きさ、形状、色等（表示形態）は、どのようなものでもよいが、割り当てられる楽音要素に関連した表示形態（例えば、ピアノ音の音源ならばピアノあるいはそれに類似した画像を表示する等）とするのが好ましい。さらに、連係システム間では、スケールや各座標軸（ｘ，ｙ，ｚ）の角度が異なっていてもよい。

また、単一の広大なシステム空間を持つサーバに対して複数の楽音制御システムが接続するという構成を採ることも可能である。この場合、各楽音制御システムには、広大なシステム空間の少なくとも一部分が視覚的に表示され、各ユーザはこのシステム空間内を自由に移動し、他のユーザのシステム空間と自身のシステム空間とがオーバラップした共有空間内にあるオブジェクトを操作することで、複数のユーザで連係した楽音制御を行うことができる。

また、ライブパフォーマンスに適用する場合、オブジェクトを操作する３Ｄ空間をステージとし、３Ｄ音響空間を観客席の空間としてもよい。

この発明の一実施例による楽音制御システムの全体的な構成図である。 この発明の一実施例による楽音制御システムにおけるオブジェクト管理を説明ふるための図である。 この発明の一実施例による３Ｄ空間楽音制御システムの動作説明図である。 この発明の一実施例による複数の３Ｄ空間楽音制御システムを連係したシステムの動作を説明するための図である。 この発明の一実施例による複数の２Ｄ仮想空間楽音制御系が連係する楽音制御システムを説明するための図である。

符号の説明

ＳＹ１，ＳＹ２，ＳＹ３ ユーザ毎の楽音制御システム、
Ｕｓ；Ｕｓ１，Ｕｓ２ ユーザ（操作者）、
Ａ，Ｂ；Ａ１，Ｂ１；Ａ２，Ｂ２；Ｊ１，Ｊ２ オブジェクト、
Ｐｕ；Ｐｕ１，Ｐｕ２ ユーザ位置、
Ｐａ，Ｐｂ；Ｐａ１，Ｐｂ１；Ｐａ２，Ｐｂ２；Ｐｊ１，Ｐｊ２ オブジェクト位置、
Ｓｐ；Ｓｐ１，Ｓｐ２ ユーザ毎の楽音制御空間、
Ｓｐｃ 共通空間、
ｘ，ｙ，ｚ；ｘ１，ｙ１，ｚ１；ｘ２，ｙ２，ｚ２ ユーザ毎の楽音制御空間座標系、
ＰＲ ３Ｄ映像投影装置、
ＤＴＵ；ＤＴＲ，ＤＴＬ ユーザ位置検出器並びに操作位置及び動作検出器、
ＳＫ１〜ＳＫ４ スピーカ（システム）、
ＰＮ スピーカ仮想位置ｓｋ１〜ｓｋ４が４隅に設定されたタッチパネル、
Ｐｏ；Ｐｏ１，Ｐｏ２ ユーザ毎の２Ｄ空間（タッチパネル）の中央位置（原点）。

Claims (5)

1. ３次元空間にオブジェクトを表示する表示手段と、
   上記表示手段により３次元空間に表示されているオブジェクトに割り当てられた楽音要素に対応する楽音を発生する楽音発生手段と、
   上記３次元空間に表示されているオブジェクトに対するユーザ操作を検出する検出手段と、
   上記検出手段により検出された第１のユーザ操作に応じて、対応するオブジェクトを移動させる表示制御手段と、
   上記３次元空間に表示されているオブジェクトの位置に応じて、上記楽音発生手段により当該オブジェクトに対応して発生される楽音の定位及び音量を制御する楽音制御手段と
   を具備することを特徴とする楽音制御装置。
2. ３次元又は２次元空間にオブジェクトを表示する表示手段と、
   上記表示手段により３次元又は２次元空間に表示されているオブジェクトに割り当てられた楽音要素に対応する楽音を発生する楽音発生手段と、
   上記３次元又は２次元空間に表示されているオブジェクトに対するユーザ操作を検出する検出手段と、
   上記検出手段により検出された第１のユーザ操作に応じて、対応するオブジェクトを移動させる表示制御手段と、
   上記３次元又は２次元空間に表示されているオブジェクトの位置に応じて、上記楽音発生手段により当該オブジェクトに対応して発生される楽音の定位及び音量を制御する楽音制御手段と、
   ネットワークを介して、他の楽音制御装置の３次元又は２次元空間に表示されているオブジェクト及び該オブジェクトに割り当てられた楽音要素を含むオブジェクト情報を取得する取得手段と、
   上記取得手段により取得されたオブジェクト情報に基づいて、上記表示手段にオブジェクトを表示させ、このオブジェクトに割り当てられた楽音要素に対応する楽音を上記楽音発生手段に発生させる連係制御手段と
   を具備することを特徴とする楽音制御装置。
3. 前記楽音制御手段は、前記表示手段により３次元又は２次元空間に表示されているオブジェクトに対して前記検出手段により検出された第２のユーザ操作に応じて、前記楽音発生手段により当該オブジェクトに対応して発生される楽音の他のパラメータを制御することを特徴とする請求項１又は２に記載の楽音制御装置。
4. さらに、
   前記表示手段により３次元又は２次元空間に表示されたオブジェクトの位置に関する履歴情報を再生可能に記録する記録再生手段
   を具備することを特徴とする請求項１〜３の何れか１項に記載の楽音制御装置。
5. この楽音制御装置及び他の楽音制御装置の３次元又は２次元空間は、互いに重なり合う部分を持つ夫々独立した座標系を有し、
   前記連係制御手段は、前記表示手段に対して、他の楽音制御装置からのオブジェクト情報に基づくオブジェクトを両座標系の相対的な位置関係に応じた位置に表示させ、
   前記楽音制御手段は、当該オブジェクトの表示位置に応じて、対応する楽音の定位及び音量を制御する
   ことを特徴とする請求項２〜４の何れか１項に記載の楽音制御装置。
   

Images