JP2010066655A - 電子音楽装置及びプログラム - Google Patents

Abstract

【課題】 ユーザの操作態様に応じて多様な楽音制御を行うことができる電子音楽装置の提供。
【解決手段】 ユーザ操作が所定の操作態様である場合に、予め対応付けられた動作態様に従って時間的に継続する移動動作を前記ユーザ操作が継続的に行われていなくとも自律的に行うように、第１及び／又は第２表示オブジェクトの表示位置を変更制御する。自律的な移動動作を行う第１表示オブジェクトと第２表示オブジェクトとの表示位置関係に応じて、第２表示オブジェクトに対応付けられた楽音の音高又は音色効果パラメータの制御値を決定し、これらに基づき楽音を制御する。このようにして、自律的に移動する各オブジェクトの表示位置関係に従って楽音を制御するようにしたことから、ユーザは視覚的に楽しむことができるとともに、操作態様に応じて多様な楽音制御を行うことができる。
【選択図】 図２

Description

この発明は、画面上に表示されたオブジェクトを操作して楽音の制御を行う電子音楽装置及びプログラムに関する。特に、ユーザの操作態様毎に異なる特性に従ってオブジェクトを自動的に動かし、このオブジェクトの動きに応じて楽音を制御するようにした技術に関する。

従来から、電子楽器などの電子音楽装置において、例えば鍵盤などの演奏操作子や、モジュレーションホイールやスライダーなどの制御操作子それぞれを模したオブジェクトを画面上に予め表示しておき、該画面上のオブジェクトがユーザにより直接操作されることに従って、予め関連付けられている例えば音高や、ボリューム、ピッチ、ＬＦＯなどといった各種の音色効果パラメータの制御値（パラメータ値）を決定し楽音の制御を行うものが知られている。こうした装置に関連するものとしては、例えば下記に示す非特許文献１及び非特許文献２に記載されている装置がその一例である。なお、この明細書において、楽音という場合、音楽的な音に限るものではなく、音声あるいはその他任意の音を含んでいてもよい意味あいで用いるものとする。
"MOTIF XS 6/7/8 取扱説明書"，2007年，ヤマハ株式会社，インターネット〈http://www2.yamaha.co.jp/manual/pdf/emi/japan/synth/motifxs_ja_om_c1.pdf〉 "XGworks V4.0 カタログ"，2002年，ヤマハ株式会社，インターネット〈http://www.yamaha.co.jp/product/syndtm/p/soft/xgwv4w/xgwv4w.pdf〉

ところで、上述の非特許文献１，２に記載されたような従来の装置において、画面上に表示されるオブジェクトは本装置が具備している実在の演奏操作子や制御操作子（以下、単に操作子と呼ぶ）の形状を模して表示されるだけでなく、その操作子に対する操作態様を同じものとすることによってユーザが操作しやすくしてある。しかし、実在の操作子を模したオブジェクトをユーザが操作したとしても、そのオブジェクトに対するユーザの操作態様は実在する操作子となんら変わるものでなく、従ってユーザは操作に応じて行われる楽音の制御を当然にある程度予測しうるので意外性が無く何ら面白みがない。そこで、ユーザが視覚的に楽しむことができ、かつユーザの操作態様に従って同じオブジェクトに対する操作であっても楽音の制御態様が異なりうるものが従来から望まれていたが、未だそのような装置は実現されていない。

本発明は上述の点に鑑みてなされたもので、ユーザが視覚的に楽しむことができるとともに、ユーザの操作態様に応じて多様な楽音制御を行うことができるようにした電子音楽装置及びプログラムを提供することを目的とする。

本発明に係る電子音楽装置は、仮想の操作子を表す第１表示オブジェクトと、楽音の音高又は楽音制御に係る音色効果パラメータに対応付けられた第２表示オブジェクトとを少なくとも含む画面を表示する表示器と、前記画面内で行なわれたユーザ操作を検出し、該検出したユーザ操作が所定の操作態様であるか否かを判定する判定手段と、前記検出したユーザ操作が所定の操作態様である場合に、該操作態様に予め対応付けられた動作態様に従って時間的に継続する移動動作を前記ユーザ操作が継続的に行われていなくとも自律的に行うように、前記第１表示オブジェクト及び／又は前記第２表示オブジェクトの表示位置を変更制御する表示制御手段と、前記第１表示オブジェクトと前記第２表示オブジェクトとの表示位置関係に応じて、前記第２表示オブジェクトに対応付けられた楽音の音高又は音色効果パラメータの制御値を決定する決定手段と、前記決定した楽音の音高又は音色効果パラメータの制御値に基づき楽音制御を実行する楽音制御手段とを具える。

この発明によると、画面内で行なわれたユーザ操作が所定の操作態様である場合に、該操作態様に予め対応付けられた動作態様に従って時間的に継続する移動動作を前記ユーザ操作が継続的に行われていなくとも自律的に行うように、前記第１表示オブジェクト及び／又は前記第２表示オブジェクトの表示位置を変更制御する。そして、該自律的な移動動作を行う第１表示オブジェクトと第２表示オブジェクトとの表示位置関係に応じて、第２表示オブジェクトに対応付けられた楽音の音高又は音色効果パラメータの制御値を決定し、これらに基づき楽音を制御する。このようにして、ユーザ操作が継続的に行われていなくとも、自律的に移動する各オブジェクトの表示位置関係に従って楽音を制御するようにしたことから、ユーザは視覚的に楽しむことができるとともに、操作態様に応じて多様な楽音制御を行うことができる。

本発明は装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

この発明によれば、ユーザ操作が継続的に行われていなくとも自律的に移動する各オブジェクトの表示位置関係に従って楽音を制御するようにしたことから、ユーザは視覚的に楽しむことができるとともに、操作態様に応じて多様な楽音制御を行うことができるようになる、という効果を奏する。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る電子音楽装置の全体構成の一実施例を示したハード構成ブロック図である。本実施例に示す電子音楽装置は例えば電子楽器であって、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この電子音楽装置全体の動作を制御するものである。このＣＰＵ１に対して、データ及びアドレスバス１Ｄを介してＲＯＭ２、ＲＡＭ３、検出回路４，５、表示回路６、音源・効果回路７、記憶装置８、通信インタフェース（Ｉ／Ｆ）９がそれぞれ接続されている。

ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。演奏操作子４Ａは、楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであって、各鍵に対応してキースイッチを有しており、この演奏操作子４Ａ（鍵盤等）はユーザ自身の手弾きによるマニュアル演奏に使用することができるのは勿論のこと、音色の選択や音色効果パラメータ等を設定する手段などとして使用することもできる。検出回路４は、演奏操作子４Ａの各鍵の押圧及び離鍵を検出することによって検出出力を生じる。なお、本明細書において、「音色」とはピアノやギターなどの一般的な単一の音色を示すことに限らず、１つの「音色」を複数の音色エレメントで構成する場合の所謂「音色エレメント」や、複数の単一の音色を組み合わせて１つの音色セットにした所謂「パフォーマンス」など、音色の１要素や複数の単一の音色からなる音色グループなどを含むものである。

設定操作子（スイッチ等）５Ａは、例えば演奏の際に使用する音色を選択する選択スイッチ、ボリューム、ピッチ、ＬＦＯなどの各種の音色効果パラメータをその操作量（例えば0〜128、-64〜+64など）に応じた分だけ制御する（言い換えるならば、楽音に効果を付与する際に用いられる各種音色効果に係る制御値を操作量に応じて決定する）、例えばモジュレーションホイール、ピッチベンドホイール、アフタータッチ、ノブ、スライダー、リボンコントローラなどの制御操作子、「楽音制御画面」（図２参照）を用いた音色効果パラメータの制御を行うための制御スイッチ等の各種の操作子を含んで構成される。なお、上記各制御操作子に対しては、ユーザが制御対象とする音色効果パラメータを任意に関連付けることができる。

勿論、設定操作子５Ａは上記した以外にも音高、音色、効果等を選択・設定・制御するための数値データ入力用のテンキーや文字データ入力用のキーボード、あるいはディスプレイ６Ａに表示された各種画面の位置を指定したり画面上に表示されたオブジェクトをクリック＆ドラッグするためのポインタなどを操作するマウス（二次元ポインティング操作子又はオブジェクト操作子などと呼ぶ）等の各種操作子を含んでいてもよい。検出回路５は、上記設定操作子５Ａの操作状態を検出し、その操作状態に応じたスイッチ情報等をデータ及びアドレスバス１Ｄを介してＣＰＵ１に出力する。

表示回路６は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されるディスプレイ６Ａに、「楽音制御画面」（図２参照）等の各種画面を表示するのは勿論のこと、ＲＯＭ２や記憶装置８に記憶されている各種データあるいはＣＰＵ１の制御状態などを表示することができる。ユーザはディスプレイ６Ａに表示されるこれらの各種情報を参照することで、演奏の際に使用する音色や曲の選択さらに音色効果パラメータの設定などを容易に行うことができる。なお、ディスプレイ６Ａはタッチパネルであってよく、その場合には画面がタッチ操作されたことを検出する手段を具備してなることは言うまでもない。この場合、ディスプレイ６Ａは所謂ソフトスイッチを具え、タッチパネルとしてマウス等と同様にディスプレイ６Ａに表示された「楽音制御画面」の各オブジェクトの表示位置や形状などを変更制御できる二次元ポインティング操作子（オブジェクト操作子）を兼ねるものとなる。

音源・効果回路７は複数のチャンネルで楽音信号の同時発生が可能であり、データ及びアドレスバス１Ｄを経由して与えられた演奏情報を入力し、この演奏情報に基づいて楽音を合成し楽音信号を発生する。また、楽音を合成する際には、設定された音色効果パラメータ毎の制御値（パラメータ値）に基づいて種々の効果を付与することができるようになっている。こうした音源・効果回路７から発生される楽音信号は、アンプやスピーカなどを含むサウンドシステム７Ａから発音される。音源・効果回路７とサウンドシステム７Ａの構成には、従来のいかなる構成を用いてもよい。例えば、音源・効果回路７はFM、PCM、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、また専用のハードウェアで構成してもよいし、ＣＰＵ１によるソフトウェア処理で構成してもよい。

記憶装置８は、例えば音色効果パラメータセットなどの各種データの他、ＣＰＵ１が実行する各種制御プログラム等を記憶する。なお、上述したＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置８（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置８はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の様々な形態の記憶媒体を利用する記憶装置であればどのようなものであってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。

通信インタフェース（Ｉ／Ｆ）９は、当該装置と図示しない外部機器との間で制御プログラムやデータなどの各種情報を送受信するためのインタフェースである。この通信インタフェース７は、例えばMIDIインタフェース，ＬＡＮ，インターネット，電話回線等であってよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。

なお、上述した電子音楽装置において、演奏操作子４Ａは鍵盤楽器の形態に限らず、弦楽器や管楽器、あるいは打楽器等どのようなタイプの形態でもよい。また、電子音楽装置は演奏操作子４Ａやディスプレイ６Ａあるいは音源・効果回路７などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等の通信手段を用いて各装置を接続するように構成されたものであってもよいことは言うまでもない。さらに、本発明に係る電子音楽装置は電子楽器に限らず、ミキサやパーソナルコンピュータ、携帯電話等の携帯型通信端末、またカラオケ装置やゲーム装置など、楽音を制御できるものであればどのような形態の装置・機器であってもよい。

次に、ディスプレイ６Ａに表示する「楽音制御画面」について説明する。図２は、「楽音制御画面」の一実施例を示す概念図である。該「楽音制御画面」は楽音制御のためのユーザインタフェースであって、複数のソースオブジェクトＯＳ（第１表示オブジェクト）と複数のデスティネーションオブジェクトＯＤ（第２表示オブジェクト）とを同時に表示可能である。ここでは一例として、２つのソースオブジェクトＯＳ（Ｓ１,Ｓ２）と３つのデスティネーションオブジェクトＯＤ（Ｄ１〜Ｄ３）を表示した場合を示している。また、ここではソースオブジェクトＯＳを制御操作子に対応付けておき、制御操作子が操作された場合にはレールオブジェクトＲ上の適宜の位置にのみ移動する一方で、オブジェクト操作子が操作された場合には画面内の適宜の位置に自由に移動するものを例に示した。

ソースオブジェクトＯＳは仮想的な操作子であって、各種の音色効果パラメータを制御することが可能な制御ソースを表し、例えばモジュレーションホイール、ピッチベンドホイール、アフタータッチ、ノブ、スライダー、リボンコントローラなどの制御操作子が制御ソースとして対応付けられる。一方、デスティネーションオブジェクトＯＤは、ユーザ操作に応じて制御値を決定する制御対象の音色効果パラメータを表すもので、例えばボリューム、ピッチ、ＬＦＯ、ビブラートなどの楽音に付与することが可能な各種の音色効果に関するパラメータのいずれかと対応付けられる。

レールオブジェクトＲはソースオブジェクトＯＳに付随されるものであって、制御操作子の操作に応じて対応付けられているソースオブジェクトＯＳを画面上で移動表示させる際の軌道を規定すると共に、制御操作子（ソースオブジェクトＯＳ）と該制御操作子の操作に応じて制御値を決定する対象の音色効果パラメータ（デスティネーションオブジェクトＯＤ）とを関連付ける。すなわち、制御操作子の操作に応じてソースオブジェクトＯＳはレールオブジェクトＲ上を移動するように表示制御されるようになっており、制御操作子の操作量が「最小（min）」（例えば0，-64など）の状態であるときにレール始点に位置するように、また操作量が「最大（max）」（例えば128，+64など）の状態であるときにレール終点に位置するように、制御操作子の時々の操作量の増減に応じた分だけレールオブジェクトＲ上を移動するようにしてソースオブジェクトＯＳの表示制御がなされる（そのようにレールオブジェクトＲの線分上の所定位置と制御操作子の操作量（例えば、0〜128,-64〜+64など）との対応関係が形成されている）。レールオブジェクトＲは表示してもよいし表示しなくてもよい。

なお、「楽音制御画面」に表示する対象のソースオブジェクトＯＳとデスティネーションオブジェクトＯＤはユーザが任意に選択することができてよく、またユーザはソースオブジェクトＯＳ、デスティネーションオブジェクトＯＤのそれぞれについて初期表示位置を任意に指定することができる。さらに、ユーザはレールオブジェクトＲの向きや線分長さを調整することもできる。
なお、ソースオブジェクトＯＳの表示態様としては、図示したような円状の図形表示に限らず多角形や星型等の任意形状の図形表示であってもよいし、制御操作子の形状を模したアイコンなどの図形表示であってもよい。また、図示の例では省略したが、図形表示だけでなくソースオブジェクトＯＳに対応付けられている制御操作子の名称やその略称、記号などを表示するようにしてもよい。さらに、複数のソースオブジェクトＯＳを同時に表示するような場合には、ソースオブジェクトＯＳごとに色や形状などの表示態様を異ならせて表示するとよい。デスティネーションオブジェクトＯＤについてもソースオブジェクトＯＳと同様に適宜の形状で表示してよいし、またデスティネーションオブジェクトＯＤに対応付けられている音色効果パラメータの名称等を表示するようにしてもよい。

ここで、「楽音制御画面」を用いた楽音制御について説明する。「楽音制御画面」における楽音制御のためのユーザ操作としては、制御操作子を操作する場合と、マウス等の二次元ポインティング操作子（オブジェクト操作子）あるいはユーザタッチ操作により画面上のオブジェクトを直接操作する場合とがある。制御操作子を操作する場合、操作された制御操作子に対応するソースオブジェクトＯＳがレールオブジェクトＲ上を移動する。この移動に応じて変化するソースオブジェクトＯＳの表示位置とデスティネーションオブジェクトＯＤの表示位置との距離（表示間隔）に対応して、音色効果パラメータの制御値が決定され楽音を制御する。

一方、オブジェクト操作子あるいはユーザタッチ操作により画面上のオブジェクトを直接操作する場合、１乃至複数のソースオブジェクトＯＳをそれぞれのレールオブジェクトＲから外して適宜の位置に移動させることができる。その際に、ユーザ操作態様（ジェスチャ）に従って１乃至複数のソースオブジェクトＯＳが自動的に動かされ、このソースオブジェクトＯＳの自動的な動きに応じて変化するソースオブジェクトＯＳの表示位置とデスティネーションオブジェクトＯＤの表示位置との距離（表示間隔）に対応して、音色効果パラメータの制御値が決定され楽音を制御するようになっている。このように、ソースオブジェクトＯＳはレールオブジェクトＲ上に限らず、ユーザによる操作態様（ジェスチャと呼ぶ）によって決まる種々の特性に従って自動的に画面内を自由に移動しうる。

また、図２には、指定したソースオブジェクトＯＳを素早くドラッグするジェスチャが行われた場合の移動表示の一例を示している。この図２から理解できるように、ユーザにより指定された上で例えば画面左上から右下へと素早くドラッグするジェスチャ（自律的慣性運動を指示するジェスチャ）が行われた１つのソースオブジェクトＯＳ（図では斜線を施したＳ１）は、該ソースオブジェクトＯＳに付随されるレールオブジェクトＲ（図では点線で示す）から一時的に外れて、ドラッグ操作が引き続き行われていなくてもそのドラッグされた方向（図中において実線で示す矢印の向き）にそのまま慣性で動き続けるようにして移動表示される。この際に、自律的に移動するソースオブジェクトＯＳの進行方向に他のソースオブジェクトやデスティネーションオブジェクトＯＤがありそれらが障害物となる場合、あるいは画面の淵（端）いっぱいにまで移動した場合には、障害物や画面の淵（端）との接触により跳ね返るようにしてその進行速度や進行方向を変えて自律的移動を続ける（図中において二点鎖線で示す）。これは後述する他のジェスチャによる自律的移動（図３（Ａ）参照）についても同様である。

レールオブジェクトＲから一時的に外されたソースオブジェクトＯＳについては、制御操作子（ソースオブジェクトＯＳ）と該制御操作子の操作に応じて制御値を決定する音色効果パラメータ（デスティネーションオブジェクトＯＤ）との関連付けが一時的に解除される。そして、前記慣性の動きに応じて変化するソースオブジェクトＯＳの表示位置と各デスティネーションオブジェクトＯＤの表示位置との距離（表示間隔）に応じて音色効果パラメータの制御値が決定されるようになり、それに基づき楽音制御が行われるようになっている（詳しくは後述する）。

なお、デスティネーションオブジェクトＯＤには、図示したような有効エリアＫＡが配置されていてよい。この有効エリアＫＡは、ソースオブジェクトＯＳによる該エリアを有するデスティネーションオブジェクトＯＤに対応付けられている音色効果パラメータの制御を有効にする又は無効にする（つまりは距離に応じて決定される制御値を反映する／反映しない）境界・範囲を表すものであって、ユーザが視認できるように画面上に表示してもよいし表示しなくてもよい。すなわち、該有効エリアＫＡ外にソースオブジェクトＯＳが位置している場合には、そのデスティネーションオブジェクトＯＤに対応付けられている音色効果パラメータの制御が有効とされずに制御値が反映されない一方で、該有効エリアＫＡ内にソースオブジェクトＯＳが位置している場合には、そのデスティネーションオブジェクトＯＤに対応付けられている音色効果パラメータの制御が有効とされ制御値が反映されるようにしてよい。

なお、ジェスチャによってレールオブジェクトＲから一時的に外されたソースオブジェクトＯＳは、対応付けられている制御操作子が操作されることに応じてレールオブジェクトＲ上の適宜の位置に戻る（複数のソースオブジェクＯＳが同時に自動的に動かされた場合には、そのうちのいずれかに対応する制御操作子の１つが操作されることに応じて全てのソースオブジェクトＯＳが該当のレールオブジェクトＲ上に戻る）。
なお、デスティネーションオブジェクトＯＤが有効エリアＫＡを持たず画面上の複数のソースオブジェクトＯＳ全てがそのデスティネーションオブジェクトＯＤに影響を及ぼす場合、あるいはデスティネーションオブジェクトＯＤが有効エリアＫＡを持ちその有効エリアＫＡ内にソースオブジェクトＯＳが複数ある場合、デスティネーションオブジェクトＯＤ毎に各ソースオブジェクトＯＳと当該デスティネーションオブジェクトＯＤとの距離に応じて決定される制御値を全て加算したものを楽音制御のための制御値として上記動きにあわせて都度決定する。

ソースオブジェクトＯＳを自動的に動かし楽音制御を行うためのジェスチャとしては、上記したドラッグ操作以外にも様々なものがある。そこで、ここでは多様なジェスチャに伴う楽音制御の具体例を図３に示す。図３は、多様なジェスチャとそれに伴って実行されるソースオブジェクトの動きを説明するための概念図である。ただし、ここではレールオブジェクトＲの記載を省略してある。

第１に、図３（Ａ）の左上に示すように、複数のソースオブジェクトを指定した上で、さらに画面上の任意の点（引力点：指定したソースオブジェクトのうちの１つに設定してもよい）を指示してそこからしばらく（例えば数秒間）は動かさないジェスチャが行われた場合には、全てのソースオブジェクトがその指示した点に向かって引き寄せられるように移動する。
第２に、図３（Ａ）の右上に示すように、複数のソースオブジェクトを指定した上で、さらに画面上の任意の点（斥力点：指定したソースオブジェクトのうちの１つに設定してもよい）を指示してそこからしばらく（例えば数秒間）は動かさないジェスチャが行われた場合には、指定された全てのソースオブジェクトがその指示した点から反発するように移動する。

第３に、図３（Ａ）の左下に示すように、１つのソースオブジェクトＳ１を指定した上で、それをデスティネーションオブジェクトＤ１との間で往復させるようにしてドラッグするジェスチャ（自律的振動運動を指示するジェスチャ）が行われた場合には、ドラッグ操作が引き続き行われていなくてもドラッグされたソースオブジェクトがドラッグ開始位置とデスティネーションオブジェクトＤ１との間を繰り返し往復するように移動する。
第４に、図３（Ａ）の右下に示すように、１つのソースオブジェクトＳ１を指定した上で、それをデスティネーションオブジェクトＤ１の周りを囲むようにしてドラッグするジェスチャ（自律的回転運動を指示するジェスチャ）が行われた場合には、ドラッグ操作が引き続き行われていなくてもドラッグされたソースオブジェクトがデスティネーションオブジェクトＤ１の周囲を繰り返し回るように移動する。

第５に、図３（Ｂ）の左に示すように、オブジェクトが表示されていない画面上の特定箇所において画面上下方向にドラッグするジェスチャが行われた場合には、全てのソースオブジェクトがまるで重力に従って画面下方に落下する（あるいは逆らって画面上方に上昇する）ように移動する。図示の例では画面上から下へとドラッグされており、ソースオブジェクトＳ１，Ｓ２が上から下へと落下する動きとなる。
第６に、図３（Ｂ）の右に示すように、オブジェクトが表示されていない画面上の特定箇所において画面左右方向にドラッグするジェスチャが行われた場合には、全てのソースオブジェクトがまるで風に従って画面を左右方向に流れるように移動する。図示の例では画面右から左に向かってドラッグされており、ソースオブジェクトＳ１，Ｓ２も画面右から左へと流れる動きとなる。
なお、この場合には画面右隅などに、ジェスチャに従う特性として画面内のソースオブジェクトＯＳに対して仮想の重力や風が影響していることを表す単純なアイコンを表示したり、仮想した重力や風の方向や大きさによって表示態様が変わる矢印などを含む図形を表示したりするようにしてよい。勿論、文字表示であってもよい。また、仮想した重力や風の方向や大きさによって画面の背景の色を変えたり、グラデーションをかけたり、濃淡の模様が波のように流れる表示を行うようにしてもよい。

次に、本実施例に示す電子音楽装置において、「楽音制御画面」上におけるユーザの操作態様（ジェスチャ）に応じて自動的にソースオブジェクトＯＳを移動して音色効果パラメータの制御値を決定し、これに基づき楽音を制御する処理について説明する。図４は、「メイン処理」の一実施例を示すフローチャートである。当該処理は、本電子音楽装置の電源オンに応じて開始され、電源オフに応じて終了される。

ステップＳ１は、初期設定を行う。例えば初期設定として「楽音制御画面」をディスプレイ６Ａ上に表示する。ステップＳ２は、オブジェクト追加／削除を実行する。ソースオブジェクトが追加された場合、制御操作子を対応付ける。デスティネーションオブジェクトが追加された場合、音色効果パラメータを対応付ける。また、ソースオブジェクト及びデスティネーションオブジェクトに対しそれらが有する仮想の物理特性として、質量、摩擦や抵抗などに相当する量、跳ね返り易さや滑りやすさに相当する量を割り当てると共に、初速度にゼロを設定する（つまりは、オブジェクト毎にそうした特性パラメータを記憶しておく）。さらに、オブジェクト追加／削除に応じて「楽音制御画面」を更新する。

ステップＳ３は、オブジェクトの直接操作に基づく処理を実行する。ここで、オブジェクトの直接操作とは上記した制御操作子の操作ではなく二次元ポインティング操作子（オブジェクト操作子）の操作による例えばクリック＆ドラッグ操作等（ただしジェスチャにあたる操作を除く）であって、ソースオブジェクト，レールオブジェクト，デスティネーションオブジェクトの各オブジェクトを直接指定してそれらの移動・変形操作を行うことである。この場合には、オブジェクト操作子の操作に応じて「楽音制御画面」に表示されている各オブジェクトの表示を更新する。

ステップＳ４は、引力点／斥力点の設定処理を実行する。ステップＳ５は、空間パラメータの設定処理を実行する。ステップＳ６は、ジェスチャ処理を実行する。ステップＳ７は、オブジェクト自律的移動処理を実行する。ステップＳ８は、楽音生成処理を実行する。上記ステップＳ４〜Ｓ８に記載した各処理の詳細な説明については後述する（図５〜図９参照）。

図５は、「引力点／斥力点の設定処理」（図４のステップＳ４参照）の一実施例を示すフローチャートである。ステップＳ２１は、オブジェクトの無い平面上の一点がタッチされているか否かを判定する。オブジェクトの無い平面上の一点がタッチされていないと判定した場合には（ステップＳ２１のｎｏ）、ステップＳ２３の処理へジャンプする。オブジェクトの無い画面上の一点がタッチされていると判定した場合には（ステップＳ２１のｙｅｓ）、タッチされている画面上の点を引力点に設定する。引力点が設定された場合、この点が指定されている間は、全てのソースオブジェクトはこの点に向かう方向に所定の大きさの力を受けるようにしてオブジェクト位置更新に反映される（図３（Ａ）左上参照）。

ステップＳ２３は、オブジェクトの無い画面上の所定距離以内に近接した二点がタッチされているか否かを判定する。オブジェクトの無い画面上の所定距離以内に近接した二点がタッチされていないと判定した場合には（ステップＳ２３のｎｏ）、当該処理を終了する。オブジェクトの無い画面上の所定距離以内に近接した二点がタッチされていると判定した場合には（ステップＳ２３のｙｅｓ）、タッチされている二点の中点を斥力点に設定する。斥力点が設定された場合、この点が指定されている間については、全てのソースオブジェクトはこの点から離れる方向に所定の大きさの力を受けるようにしてオブジェクト位置更新に反映される（図３（Ａ）右上参照）。

図６は、「空間パラメータの設定処理」（図４のステップＳ５参照）の一実施例を示すフローチャートである。ステップＳ３１は、ユーザ操作に応じて摩擦や空気抵抗の係数の属性を設定する。この属性設定により、オブジェクト移動方向に対する抗力として画面内の仮想空間全体で一つの抵抗パラメータが定まる。ステップＳ３２は、ユーザ操作に応じて、仮想空間内の重力のオン／オフ及び重力の強さの属性を設定する。この属性設定により、画面内の仮想空間における垂直方向に働く力として仮想空間全体で一つの重力パラメータが定まる。ステップＳ４３は、ユーザ操作に応じて、仮想空間内の風のオン／オフ及び風の吹く向き、さらには風の強さの属性を設定する。この属性設定により、画面内の仮想空間における水平方向に働く力として仮想空間全体で一つの風パラメータが定まる。ステップＳ４４は、前記設定した各属性値に応じて画面上の背景表示を更新する（図３（Ｂ）参照）。

図７は、「ジェスチャ処理」（図４のステップＳ６参照）の一実施例を示すフローチャートである。ステップＳ４１は、自律的回転運動を指示する操作が行われたソースオブジェクトがあるか否かを判定する。自律的回転運動を指示する操作が行われたソースオブジェクトがあると判定した場合には（ステップＳ４１のｙｅｓ）、操作されたオブジェクトを自律的回転運動対象に設定し、向心力係数や初速度などのパラメータを割り当てる（ステップＳ４２）。具体的には、所定時間前から直近までの操作中に、回転操作が連続して３回以上行われていたら、自律的回転運動が指示されたと判定する。その操作から回転半径に対応して向心力と初速度を求め、初速度に応じた移動開始以降において向心力がそのオブジェクトにかかりオブジェクト自律的移動に反映される（図３（Ａ）右下参照）。

ステップＳ４３は、自律的振動運動を指示する操作が行われたソースオブジェクトがあるか否かを判定する。自律的振動運動を指示する操作が行われたソースオブジェクトがあると判定した場合には（ステップＳ４３のｙｅｓ）、操作されたオブジェクトを自律的振動運動対象に設定し、往復範囲や初速度などのパラメータを割り当てる（ステップＳ４４）。例えば所定時間前から直近までの操作中に、往復振動操作が連続して３回以上行われていたら自律的振動運動が指示されたと判定する。その操作から進行方向に対する効力係数と初速度を求め、初速度に応じた移動開始以降においては効力係数に応じた効力がそのオブジェクトにかかりオブジェクト自律的移動に反映する（図３（Ａ）左下参照）。

ステップＳ４５は、自律的慣性運動を指示する操作が行われたソースオブジェクトがあるか否かを判定する。自律的慣性運動を指示する操作が行われたソースオブジェクトがあると判定した場合には（ステップＳ４５のｙｅｓ）、操作されたオブジェクトを自律的慣性運動対象に設定し、初速度などのパラメータを割り当てる（ステップＳ４６）。具体的には、直近にドラッグ操作を止めて指やポインタ等から放された操作が行われており、そのときの単位時間当たりの移動量が所定値以上であったら、自律的慣性運動が指示されたと判定する。また、その操作から初速度を求め、オブジェクト自律的移動に反映する（図２参照）。

上記いずれの運動をも指示する操作がなされていない場合には（ステップＳ４１，Ｓ４３，Ｓ４５のいずれもがｎｏ）、上記ステップＳ４２，Ｓ４４，Ｓ４６のいずれの処理も行うことなく、ステップＳ４７の処理へ行く。ステップＳ４７は、上記いずれかの運動に従って表示更新されているオブジェクトのうちタッチされたオブジェクトがある場合、そのオブジェクトを各自律的動作対象から除外する。

図８は、「オブジェクト自律的移動処理」（図４のステップＳ７参照）の一実施例を示すフローチャートである。ステップＳ５１は、ソースオブジェクトを順に１つずつ選択する。ステップＳ５２は、属性等に従い選択されたソースオブジェクトにかかる力の合力を求める。ソースオブジェクトにかかる力は、空間パラメータ（抵抗、重力、風の各パラメータ）による力、引力点／斥力点による力、自律的運動のための向心力や抗力などである。ステップＳ５３は、属性や該ソースオブジェクトの質量などに基づき加速度を求める。すなわち、ソースオブジェクトにかかる全ての力と、オブジェクト自身の属性（質量や滑りやすさなどの特性パラメータ）に応じて、加速度が求められる。ステップＳ５４は、求めた加速度に応じて進行速度を更新する。ステップＳ５５は、更新された進行速度に応じて表示位置を更新する。

ステップＳ５６は、他のオブジェクトあるいは画面の縁（端・壁）に接触したか否かを判定する。他のオブジェクトあるいは画面の縁に接触したと判定した場合には（ステップＳ５６のｙｅｓ）、そのオブジェクト（及び接触したオブジェクト）の物理属性（例えば質量や跳ね返り係数等）に応じて、自身（と相手）の進行速度や進行方向等を更新する（ステップＳ５７）。ステップＳ５８は、全てのソースオブジェクトに対して上記各処理を実行したか否かを判定する。全てのソースオブジェクトに対して上記各処理を実行していないと判定した場合には（ステップＳ５８のｎｏ）、ステップＳ５１に戻って上記処理を繰り返し実行する。全てのソースオブジェクトに対して上記各処理を実行したと判定した場合には（ステップＳ５８のｙｅｓ）、当該処理を終了する。

図９は、「楽音生成処理」（図４のステップＳ８参照）の一実施例を示すフローチャートである。ステップＳ６１は、パラメータ制御機能が割り当てられたデスティネーションオブジェクトについて、ソースオブジェクトとの位置関係からパラメータ値を決定し、音源・効果回路７に設定する。すなわち、「楽音制御画面」に表示されているソースオブジェクトＯＳとデスティネーションオブジェクトＯＤとの距離（表示間隔）に応じて、該当する音色効果パラメータの制御値を決定し、該決定した制御値を音源・効果回路７に対して供給する。ステップＳ６２は、ユーザの演奏操作に応じて音源・効果回路に楽音再生を指示する。例えばユーザによる演奏操作子４の操作に応じて発生されるノートイベント、予め記憶装置８等に記憶しておいた曲データの再生に応じて発生されるノートイベント、さらには通信インタフェース９を介して外部機器から取得されたノートイベント等に基づき、楽音生成を音源・効果回路７に指示する。

以上のように、画面内で行なわれたユーザ操作が所定の操作態様である場合に、ユーザ操作が継続的に行われていなくとも、該操作態様に予め対応付けられた動作態様に従って時間的に継続する移動動作を自律的に行うように、画面内の第１表示オブジェクト及び／又は第２表示オブジェクトの表示位置を変更制御するようにした。そして、該自律的な移動動作を行う第１表示オブジェクトと第２表示オブジェクトとの表示位置関係に応じて、第２表示オブジェクトに対応付けられた音色効果パラメータの制御値を決定し、決定した音色効果パラメータの制御値に基づき楽音を制御する。これにより、ユーザは視覚的に楽しみながら、操作態様に応じて多様な楽音制御を行うことができる。

なお、ジェスチャのうち「引き寄せられる」や「反発する」については、指定した点を中心にしてソースオブジェクトを自律的移動させるのではなく、画面上のポインタの動きにあわせて引き寄せられたり反発したりするようにしてソースオブジェクトを自律的移動させるようにしてもよい。また、「引き寄せられる」や「反発する」対象のソースオブジェクトは、ユーザが予めグルーピングしておいてもよいし、あるいは表示中の全てであってもよい。
なお、予め決められた任意の位置（ユーザが任意に設定できてよい）に障害物オブジェクトを固定表示しておき、自律的移動するソースオブジェクトが障害物オブジェクトに接触した際には画面の縁に接触した場合と同様にして自身の速度や進行方向を更新するようにしてよい。
なお、デスティネーションオブジェクトに音高を割り当てておき、該デスティネーションオブジェクトに対してソースオブジェクトが接触した場合や有効エリアの境界を交差した場合などに、該割り当てられた音高の楽音を発音するようにしてもよい。この場合には、ソースオブジェクトの表示位置とデスティネーションオブジェクトの表示位置との距離に応じて同時に音量調整をするようにしてもよい。また、ソースオブジェクトの表示位置とデスティネーションオブジェクトの表示位置との距離に応じて異なる音高を発音するように、距離毎に異なる音高を割り当てておいてもよい。

なお、上述した実施例ではソースオブジェクトを制御操作子に対応付けておき、制御操作子を操作してレールオブジェクト上のみを移動させるのではなく、オブジェクト操作子を操作して画面内を自由に移動させる場合を例に示したがこれに限らず、ソースオブジェクトは制御操作子に対応付けられていない単に仮想的な操作子であってよく、ユーザがオブジェクト操作子により直接操作することができるだけのものであってよいことは言うまでもない（この場合、レールオブジェクトは必要ない）。
なお、上述した実施例ではソースオブジェクトのみが自律的移動する例を示したがこれに限らず、デスティネーションオブジェクトについても自律的移動できるようにしてよいことは言うまでもない。
なお、二次元ポインティング操作子（オブジェクト操作子）は上記したマウスやタッチパネルに限らない。例えば矢印キーやパッドのようなものであってもよい。

この発明に係る電子音楽装置の全体構成の一実施例を示したハード構成ブロック図である。 楽音制御画面の一実施例を示す概念図である。 多様なジェスチャとそれに伴って実行されるソースオブジェクトの動きを説明するための概念図である。 メイン処理の一実施例を示すフローチャートである。 引力点／斥力点の設定処理の一実施例を示すフローチャートである。 空間パラメータの設定処理の一実施例を示すフローチャートである。 ジェスチャ処理の一実施例を示すフローチャートである。 オブジェクト自律的移動処理の一実施例を示すフローチャートである。 楽音生成処理の一実施例を示すフローチャートである。

符号の説明

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４，５…検出回路、４Ａ…演奏操作子、５Ａ…設定操作子、６…表示回路、６Ａ…ディスプレイ、７…音源・効果回路、７Ａ…サウンドシステム、８…記憶装置、９…通信インタフェース、１Ｄ…データ及びアドレスバス、ＯＳ…ソースオブジェクト、ＯＤ…デスティネーションオブジェクト、Ｒ…レールオブジェクト、ＫＡ…有効エリア

Claims (3)

1. 仮想の操作子を表す第１表示オブジェクトと、楽音の音高又は楽音制御に係る音色効果パラメータに対応付けられた第２表示オブジェクトとを少なくとも含む画面を表示する表示器と、
   前記画面内で行なわれたユーザ操作を検出し、該検出したユーザ操作が所定の操作態様であるか否かを判定する判定手段と、
   前記検出したユーザ操作が所定の操作態様である場合に、該操作態様に予め対応付けられた動作態様に従って時間的に継続する移動動作を前記ユーザ操作が継続的に行われていなくとも自律的に行うように、前記第１表示オブジェクト及び／又は前記第２表示オブジェクトの表示位置を変更制御する表示制御手段と、
   前記第１表示オブジェクトと前記第２表示オブジェクトとの表示位置関係に応じて、前記第２表示オブジェクトに対応付けられた楽音の音高又は音色効果パラメータの制御値を決定する決定手段と、
   前記決定した楽音の音高又は音色効果パラメータの制御値に基づき楽音制御を実行する楽音制御手段と
   を具える電子音楽装置。
2. 前記表示器に表示される第１表示オブジェクト及び第２表示オブジェクト又は前記動作態様に対して各々仮想的な物理量に相当する属性値を対応付けておき、前記表示制御手段は、前記属性値に応じた仮想的な物理特性に従う移動動作を行うように、前記第１表示オブジェクト及び／又は前記第２表示オブジェクトの表示位置を変更制御することを特徴とする請求項１に記載の電子音楽装置。
3. コンピュータに、
   仮想の操作子を表す第１表示オブジェクトと、楽音の音高又は楽音制御に係る音色効果パラメータに対応付けられた第２表示オブジェクトとを少なくとも含む画面を所定の表示器に表示する手順と、
   前記画面内で行なわれたユーザ操作を検出し、該検出したユーザ操作が所定の操作態様であるか否かを判定する手順と、
   前記検出したユーザ操作が所定の操作態様である場合に、該操作態様に予め対応付けられた動作態様に従って時間的に継続する移動動作を前記ユーザ操作が継続的に行われていなくとも自律的に行うように、前記第１表示オブジェクト及び／又は前記第２表示オブジェクトの表示位置を変更制御する手順と、
   前記第１表示オブジェクトと前記第２表示オブジェクトとの表示位置関係に応じて、前記第２表示オブジェクトに対応付けられた楽音の音高又は音色効果パラメータの制御値を決定する手順と、
   前記決定した楽音の音高又は音色効果パラメータの制御値に基づき楽音制御を実行する手順と
   を実行させるためのプログラム。

Images