JP2008522239A - ユーザがオーディオファイルを修正することを可能にするための方法及び装置 - Google Patents

Abstract

オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを介して、ユーザがオーディオファイルを修正することを可能にするための方法及び装置。その方法は、ａ）ユーザインタフェースのディスプレー上のアイコンをオーディオファイルの１以上の楽器又は楽器のセットに関連付け、ｂ）ユーザがアイコンを選択し（１０３）、ｃ）ユーザが位置をディスプレー上のアイコンに割り当てて（１０５）、関連付けられた楽器のユーザに対する仮想位置を示し、ｄ）ユーザは関連付けられた楽器のユーザに対する仮想経路を定義する提供された軌道である選択対象から軌道をアイコンに割り当て（１０７）、ｅ）アイコンの位置と軌道がアイコンに割り当てられているかどうかをディスプレー上に示す、ことを含む。これは、３次元のオーディオデータをＭＩＤＩファイルに適用する際に使用され得る。

Description

本発明は、オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを介して、ユーザがオーディオファイルを修正することを可能にするための方法及び装置に関する。特に、しかし排他的ではなく、本発明は、３次元のオーディオデータをＭＩＤＩファイルに適用するためのドライバを制御するユーザインターフェースを介して、ユーザがＭＩＤＩファイルを修正することを可能にするための方法及び装置に関する。

多くの個々のユーザは、自分のパソコンで、ＭＩＤＩファイル形式の音楽をダウンロードして聴く。しかしながら、ユーザはさらに洗練されてきて、ＭＩＤＩファイルのための改良された音の広がりを必要としてきている。さらに、ユーザは、例えばＭＩＤＩファイルの音の広がりを修正して、個人的な変更を保存することにより、改良された傾聴用のＭＩＤＩファイルをカスタマイズできることを望んでいる。

２次元のオーディオデータが、様々なオーディオファイルにおいて知られている。２次元のオーディオデータがファイルに適用される場合、音は固定の位置から広まらず、定期的に位置を変えられるか又は移動中の位置から広まる。しかしながら、２次元又は３次元のオーディオデータを備えたＭＩＤＩファイルを修正するためのユーザにとって便利な方法はまだ存在しない。

大まかに言えば、本発明は、ユーザインターフェースがオーディオファイルを再オーサリングするためのドライバを制御するために提供されることを目的とする。そのユーザインターフェースにおいて、アイコンは、オーディオファイルの各楽器又は楽器のセットに割り当てられる。各アイコンのために、（ユーザに対する）特定の位置が選択されても良く、及び／又は、（ユーザに対する）特定の軌道が選択されても良い。特定の軌道は、軌道の選択対象から選択されても良い。ユーザインターフェースは、アイコンと、ユーザに対する各アイコンの位置とを示し、各アイコンに割り当てられた軌道をさらに示しても良い。こうして、ユーザはアイコンの新しい位置及び／軌道を選択でき、一度ユーザがそうすると、ユーザはユーザインターフェース上で生成した変更を見ることができる。

特に、本発明によれば、オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを介して、ユーザがオーディオファイルを修正することを可能にするための方法が提供され、その方法は、
ａ）前記ユーザインタフェース上のアイコンを前記オーディオファイルの１以上の楽器又は楽器のセットに関連付け、
ｂ）各アイコンの可能な軌道である選択対象を提供し、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
ｃ）各アイコンの位置を示す前記ユーザインターフェースのディスプレーを提供し、各位置は関連付けられた楽器又は楽器のセットのユーザに対する仮想の位置を定義し、
ｄ）ユーザはアイコンを選択し、
ｅ）ユーザは位置及び／又は前記選択対象からの軌道を前記選択されたアイコンに割り当て、及び
ｇ）前記ディスプレー上に、選択されたアイコンの位置と軌道が選択されたアイコンに割り当てられているかどうかを示す、
ステップを有する。

好ましい実施形態において、ユーザインターフェースのディスプレーは、ユーザとユーザの周囲の仮想図を示す。この場合、選択されたアイコンの位置を示すステップは、仮想図上でユーザのすぐ近くの周囲にあるアイコンの位置を表示することを含んでも良い。

一実施形態において、仮想図は、ユーザの仮想平面図とユーザ周辺の２次元の水平面とを示す。この場合、２次元の平面のアイコンの位置は、仮想平面図上のアイコンの位置により、示されても良い。垂直方向のアイコンの位置は、アイコンの外観を変更することにより、仮想平面図上で示されても良い。例えば、アイコンは、影と共に表示されても良い。影のサイズは、ユーザに対するアイコンの垂直の位置を示す。

代替の実施形態において、仮想図は、ユーザの仮想斜視図とユーザ周辺の３次元空間とを示す。この場合、ユーザ周辺の空間のアイコンの位置は、仮想斜視図上のアイコンの位置により示されても良い。

代替の仮想図もまた考えられる。例えば、仮想図は、ユーザの仮想正面図及びユーザ周辺の２次元の垂直面を表示しても良い。

有利に、ユーザが選択されたアイコンに位置を割り当てるステップは、仮想図上のユーザのすぐ近くの周囲にある選択されたアイコンをユーザが移動させることを含む。これは、ユーザインターフェースの全域で、選択されたアイコンをクリック及びドラッグすることにより行われる。

好ましくは、方法は、各アイコンに関連付けられた楽器をユーザインターフェース上で表示するステップをさらに含む。

好ましくは、方法は、もしあれば、各アイコンに割り当てられた軌道をユーザインターフェース上で表示するステップをさらに有する。軌道はユーザの周辺で繰り返される位置の連続を定義して全体のオーディオファイルの継続期間に継続するループを形成する。

好ましくは、方法は、変更をオーディオファイルに保存するステップをさらに含む。このステップは、ユーザにより実行されても良いし、例えば規則的な時間間隔をおいて、自動的に実行されても良い。

一実施形態において、各アイコンに関連付けられた楽器と、各アイコンに割り当てられた軌道は、ユーザインターフェースの第２のディスプレー上に表示される。第２のディスプレーは、各アイコンに関連付けられた情報をさらに表示しても良い。従って、その実施形態において、ユーザインターフェース上に２つのディスプレーが存在する：第１はユーザに対する各アイコンの位置を表示し、第２は各アイコンに関連付けられた楽器と各アイコンに関連付けられた軌道とを含む各アイコンに関連する情報を表示する。

好ましい実施形態において、軌道を割り当てられているアイコンは、軌道を割り当てられていないアイコンと異なる外観を有する。従って、ユーザは、どのアイコンが軌道を割り当てられ、どのアイコンが軌道を割り当てられていないかを、ひと目見ただけで知ることができる。

一実施形態において、軌道を割り当てられているアイコンは、カラーの色で表示される。その色は緑色であっても良い、緑色は一般に移動に関連付けられる。

本発明の実施形態において、可能な軌道である選択対象は、１以上の：左右の移動、上下の移動、８の字の移動、ジグザグの移動、螺旋の移動、及び弓形の移動を含む。他の可能な軌道もまた考えられる。

特に有利な実施形態において、オーディオファイルはＭＩＤＩファイルであり、軌道のリズムはＭＩＤＩファイルの音楽のリズムに調和するように設けられる。その実施形態において、方法は、選択されたアイコンに割り当てられた軌道のために、ユーザが選択対象からリズムを選択するステップをさらに含んでも良い。

一実施形態において、オーディオファイルはＭＩＤＩファイルである。

本発明によれば、ユーザがオーディオファイルを修正することを可能にするための装置が提供される。その装置は、オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを有し、ユーザインターフェースは、
ａ）少なくとも１つのアイコン、そのアイコン又は各アイコンはオーディオファイルの１以上の楽器又は楽器のセットに関連付けられており、
ｂ）各アイコンの可能な軌道である選択対象、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
ｃ）前記ユーザインターフェースのディスプレー、
前記ディスプレーは、
ｉ）各アイコンの位置、各位置は関連付けられた楽器又は楽器のセットのユーザに対する仮想の位置を定義し、及び
ｉｉ）軌道が選択されたアイコンに割り当てられているかどうか
を示す、
を有する。

好ましい実施形態において、ユーザインターフェースのディスプレーは、ユーザとユーザの周囲の仮想図を含む。その場合、ディスプレーは、仮想図上でユーザの周囲にあるアイコンの位置を表示することにより、各アイコンの位置を示しても良い。

一実施形態において、仮想図は、ユーザの仮想平面図とユーザ周辺の２次元の水平面とを示す。その場合、２次元平面のアイコンの位置は、仮想平面図上のアイコンの位置により示されても良い。垂直方向のアイコンの位置は、アイコンの外観を変更することにより、仮想平面図上で示される。例えば、アイコンは影と共に表示されても良い。影の大きさは、ユーザに関するアイコンの垂直の位置を示す。

代替の実施形態において、仮想図は、ユーザの仮想斜視図とユーザ周辺の３次元空間とを示す。その場合、ユーザ周辺の空間のアイコンの位置は、仮想斜視図上のアイコンの位置により示されても良い。

代替の仮想図もまた考えられる。例えば、仮想図は、ユーザの仮想正面図とユーザ周辺の２次元の垂直面とを示しても良い。

好ましくは、ディスプレーは、各アイコンに関連付けられた楽器を示す。好ましくは、ディスプレーは、もしあれば、各アイコンに割り当てられた軌道を示す。

好ましい実施形態において、軌道を割り当てられているアイコンは、軌道を割り当てられていないアイコンと異なる外観を有する。従って、ユーザは、どのアイコンが軌道を割り当てられ、どのアイコンが軌道を割り当てられていないかを、ひと目見ただけで知ることができる。

一実施形態において、軌道を割り当てられているアイコンは、カラーの色で表示される。その色は緑色であっても良い、緑色は一般に移動に関連付けられる。

本発明の実施形態において、可能な軌道である選択対象は、１以上の：左右の移動、上下の移動、８の字の移動、ジグザグの移動、螺旋の移動、及び弓形の移動を含む。他の可能な軌道もまた考えられる。

本発明によれば、オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを介して、ユーザがオーディオファイルを修正することを可能にするための方法が提供される、その方法は、
ａ）前記ユーザインタフェース上のアイコンを前記オーディオファイルの１以上の楽器又は楽器のセットに関連付け、
ｂ）各アイコンの可能な軌道である選択対象を提供し、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
ｃ）各軌道の可能なリズムである選択対象を提供し、各リズムは前記オーディオファイルの音楽のリズムに調和し且つ前記アイコンの移動の速度を規定し、
ｄ）ユーザはアイコンを選択し、
ｅ）ユーザは前記選択対象から軌道を前記選択されたアイコンに割り当て、及び
ｆ）ユーザは前記選択対象からリズムを前記選択されたアイコンに割り当てられた軌道に割り当てる、
ステップを有する。

各リズムは、規定の軌道のためにアイコンの移動の速度を規定する。各リズムは、オーディオファイルの音楽のリズムに調和する。それにより、オーディオファイルの音楽とアイコンの軌道との間の連携を確立する。

好ましくは、方法は、各アイコンに関連付けられた楽器をユーザインターフェース上に示すステップをさらに有する。

好ましくは、方法は、各アイコンに割り当てられた軌道をユーザインターフェース上に示すステップをさらに有する。

好ましくは、方法は、各アイコンに割り当てられた軌道に割り当てられたリズムをユーザインターフェース上に示すステップをさらに有する。

一実施形態において、各アイコンに関連付けられた楽器と、各アイコンに割り当てられた軌道と、各軌道に割り当てられたリズムとは、ユーザインターフェースのディスプレーに表示される。ディスプレーは、各アイコンに関連する情報をさらに表示しても良い。

本発明の実施形態において、可能な軌道である選択対象は、１以上の：左右の移動、上下の移動、８の字の移動、ジグザグの移動、螺旋の移動、及び弓形の移動を含む。

本発明によれば、ユーザがオーディオファイルを修正することを可能にするための装置が提供される。その装置は、オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを有し、
ユーザインターフェースは、
ａ）少なくとも１つのアイコン、そのアイコン又は各アイコンは前記オーディオファイルの１以上の楽器又は楽器のセットに関連付けられており、
ｂ）各アイコンの可能な軌道である選択対象、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
ｃ）各軌道の可能なリズムである選択対象、各リズムは前記オーディオファイルの音楽のリズムに調和し且つ前記アイコンの移動の速度を規定し、及び
ｄ）前記ユーザインターフェースのディスプレー、前記ディスプレーは各アイコンの位置を表示し、各位置は関連付けられた楽器又は楽器のセットのユーザに対する仮想の位置を定義し、
を有する。

本発明によれば、オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを介して、ユーザがオーディオファイルを修正することを可能にするための方法が提供される。その方法は、
前記ユーザインターフェース上のアイコンを前記オーディオファイルの１以上の楽器又は楽器のセットに関連付けるコンピュータ手段、
各アイコンの可能な軌道である選択対象を提供するコンピュータ手段、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
各アイコンの位置を示す前記ユーザインターフェースのディスプレーを提供するコンピュータ手段、各位置は関連付けられた楽器又は楽器のセットのユーザに対する仮想の位置を定義し、
ユーザはアイコンを選択し、
ユーザは選択されたアイコンに位置を割り当て、
ユーザは選択対象から軌道を選択されたアイコンに任意に割り当て、及び
前記ディスプレー上に、選択されたアイコンの位置と軌道が選択されたアイコンに割り当てられているかどうかとを示すコンピュータ手段と、
のステップを有する。

本発明の１つの観点のどの好ましい特徴が本発明の他のどの観点の特徴より好まれても良いことは理解されるべきである。

この発明の上述した観点と多くの付随する利点は、添付の図面と共に下記の詳細な記述を参照してよりよく理解されることにより、直ちにより十分に評価されるであろう。

図１はユーザが３ＤのＭＩＤＩ情報を備えた標準のＭＩＤＩファイルコンテンツを再オーサリングすることを可能にするステップを示すフロー図である。

ロジックは、開始ステップからステップ１０１に進み、ユーザは、３Ｄオーディオ演奏メタデータの適用により、再オーサリングされる特定のＭＩＤＩファイルを選択する。このファイルは、典型的に２Ｄオーディオのみを備えた未修正のＭＩＤＩファイルである。

ステップ１０１で、ユーザがＭＩＤＩファイルを開くと、ユーザはそのファイル内の楽器を表すアイコンである選択対象を直ちに見ることができる。各アイコンは、１つの楽器（例えば、キーボード／ピアノ）を表しても良いし、１以上の楽器（例えば、キーボードとギター）を表しても良いし、楽器のセット（例えば、オーケストラの弦楽器セクション）を表しても良い。アイコンの数は、言い換えると選択された特定のファイルに依存する楽器の数に左右される。

アイコンは、ユーザに関連して各アイコンの位置を表示するようにして、ユーザインターフェース上に表示される。ディスプレー上の特定のアイコンの位置は、そのアイコンに関連付けられた楽器のユーザに対する仮想位置、すなわち、ユーザに対する位置を表す。ＭＩＤＩファイルが再生されているときに、ユーザに対するその位置からそのアイコンに関連付けられた特定の楽器の音が広がる。

「アイコンの位置」と「楽器の位置」は、明細書内でほとんど同じ意味で用いられることに注目されるであろうが、「アイコンの位置」はユーザインターフェース上でのユーザに対するアイコンの位置を言うのに対し、「楽器の位置」はユーザに対する楽器の仮想位置を言うことは理解されるべきである。アイコン／楽器の位置は、ユーザ周辺の２次元の水平面に限定されても良い。これに代えて、アイコン／楽器は、ユーザ周辺の３次元空間に配置されても良い。

ステップ１０３で、ユーザは特定のアイコンを選択する。選択されたアイコンは、ユーザが新しい位置及び／又は軌道を割り当てたい１つ、すなわち、ユーザがＭＩＤＩファイルが再生されるときに選択されたアイコンに関連付けられた楽器の音が新しい場所から広がることを望む、又はＭＩＤＩファイルが再生されるときにその楽器の音が静止しない場所から広がることを望む、対象のアイコンである。

ステップ１０５で、ユーザは、選択されたアイコンに位置を割り当てる。これは、選択されたアイコンを、ユーザインターフェースのディスプレー上で異なる位置に動かすことにより、行うことができる。

ステップ１０７で、ユーザは、選択されたアイコンに軌道を割り当てる。軌道は、そのアイコンについての可能な軌道のリストから選択される。可能な軌道は、ユーザ周辺の２次元水平面内の軌道（２Ｄ軌道）と、ユーザ周辺の３次元空間内の軌道（３Ｄ軌道）と、を含むことができる。その軌道は、それぞれ繰り返される位置の連続を定義し、全体のＭＩＤＩファイルの継続期間に継続するループを形成する。

軌道が特定のアイコンに割り当てられると、ユーザインターフェースは、どの軌道がアイコンに割り当てられたかを示す。さらに、ユーザインターフェース上でアイコン自身の外観が変化する。このように、ユーザは、どのアイコンが軌道を割り当てられ、どのアイコンが割り当てられていないかを、すなわち、ＭＩＤＩファイルが再生されるときにどれが動き、どれが静止したままかを、すぐに見ることができる。

「アイコンの軌道」と「楽器の軌道」は、明細書内でほとんど同じ意味で用いられることに注目されるであろうが、「アイコンの軌道」はユーザインターフェース上でのユーザに対するアイコンの経路を言うのに対し、「楽器の軌道」はユーザに対する楽器の仮想経路を言うことは理解されるべきである。

ステップ１０９で、ユーザは、ＭＩＤＩファイルを再生するオプションを持ち、ステップ１０３、１０５、及び１０７で生成された新しい変更が付け加えられた音の広がりを試聴する。

次に、ロジックは、決定ブロック１１１に進み、そこでユーザはさらに他のアイコンを取り扱うオプションを持つ。それ故、ユーザは新しい位置と軌道をファイル内の数個の又は全ての楽器に割り当てることができ、ＭＩＤＩファイルを再生することにより毎回効果を試聴することができる。十分な数のアイコンが新しい位置又は軌道を割り当てられたことにユーザが満足すると、ユーザはその新しい位置／軌道の効果に満足し、ロジックはステップ１１３に進む。

ステップ１１３で、ユーザは、生成した変更を組み込んだファイルを保存するオプションを持つ。それから、ロジックは停止ブロックに進む。

図２から図５は、本発明の実施形態において、図１のフロー図で説明されたステップに従った例示的なユーザインターフェースのディスプレーを示す。

図２は、ＭＩＤＩファイルが開かれたとき（図１のステップ１０１）に現れる、ＭＩＤＩファイル「海のセレナーデ」の例示的なユーザインターフェースディスプレー２０１を示す。ユーザインターフェースディスプレー２０１の左側は、ユーザ表示２０３である。ユーザ表示２０３はユーザの仮想平面図であり、中央のユーザ２０７を囲む円形の水平面２０５を示す。７つのアイコン２０９ａ〜２０９ｇは、（もちろん、アイコンの数は何個表示されても良く、これは特定のＭＩＤＩファイルに依存することが理解されるであろうが、）ユーザを囲むように表示されている。各アイコンの角度位置は、ＭＩＤＩファイルが再生されるときに、その位置からその楽器の音が広まることを表している。各アイコンの半径位置（すなわち、ユーザ２０７からの距離）は、ＭＩＤＩファイルが再生されるときの（他の楽器に関連する）楽器の音量を表している。

ユーザインターフェースディスプレー２０１の右側は、楽器の窓枠２１１である。

５つの欄が楽器の窓枠２１１に示されている。第１欄２１３は、アイコンのナンバーを示す。第２欄２１５は、可視のチェックボックスを示す。第３欄２１７は、アイコン自身を示す。第４欄２１９は各アイコンが表す楽器を示し、第５欄２２１は軌道がその楽器に割り当てられているかどうかを示す。

第１欄２１３は、単にアイコンのナンバーを示している。ナンバーは、各アイコンに割り当てられて、ユーザにとってアイコンの識別を簡単にしている。

第２欄２１５は、可視のチェックボックスを示している。特定のアイコンに続くチェックボックスがチェックされていれば、目の画像がチェックボックス内に現れる。目は、ユーザ表示２０３内でアイコンがはっきりと見えることを示す。目がチェックされていなければ、そのアイコンはユーザ表示２０３内でかすかな表示になる。これは、ＭＩＤＩファイル内に多くの楽器があり、その結果、多くのアイコンがユーザ表示２０３内に現れる場合に、役に立つ。ユーザは、それらのアイコンのいくつかに興味があるだけでも良く、残りのアイコンの目のチェックボックスを非選択にして、ユーザインターフェース上で散乱の程度をより少なくした状態の図を生成することができる。図２において、アイコン２０９ａ〜２０９ｆがはっきりと見え（目のチェックボックスが選択されている）、アイコン２０９ｇがかすれている（目のチェックボックスが選択されていない）ことがわかる。

第３欄２１７は、ユーザ表示上に現れるアイコン自身を単に表している。

第４欄２１９は、各アイコンが表す楽器を示している。アイコン２０９ａはアコースティックグランドピアノを表し、２０９ｂはフレンチホルンを表し、２０９ｃはコントラバスを表し、２０９ｄはオーケストラの弦楽器セクションを表し、２０９ｅはパンフルートを表し、２０９ｆはドラムを表し、２０９ｇはアコーディオンを表している。

第５欄２２１は、軌道がそのアイコンに割り当てられているかどうかを示している。図２において、全てのアイコン２０９ａ〜２０９ｇが“静止”、すなわち軌道が割り当てられていないことがわかる。

ユーザインターフェースの他の特徴は、開く、上書き保存、名前を付けて保存、及び楽器の一覧のボタンを含むツールバー２２３、プログレスバー２２５、グローバルステレオスプレッド表示（"Global Stereo Spread Indicator"）２２７、及び音量表示２２９を含む。

ツールバー２２３により、ユーザはＭＩＤＩファイルを開き（開くボタン）、開かれたＭＩＤＩファイルを上書き保存し（上書き保存ボタン）、又は開かれたＭＩＤＩファイルを新しいファイルとして保存する（名前を付けて保存ボタン）ことができる。ツールバー２２３の楽器の一覧ボタンは、楽器の窓枠２１１を開いたり、閉じたりする。

プログレスバー２２５は、ＭＩＤＩファイルが再生されているときの進行を示す。プログレスバーは、また、再生、停止、早送り及び巻き戻しボタンを有する。

グローバルステレオスプレッド表示２２７は、ＭＩＤＩファイルの再生のステレオの広がりを制御し、音量表示２２９はマスター音量を制御する。

図１を参照すると、ユーザはアイコンを選択し、そのアイコンに新しい位置を割り当てることがわかる（ステップ１０３及び１０５）。図３は、新しい位置がアイコン２０９ａに割り当てられたときの例示的なユーザインターフェースディスプレー３０１を示す。

アイコン２０９ａ（アコースティックグランドピアノ）は新しい角度位置を持ち、ＭＩＤＩファイルが再生されるとき、アコースティックグランドピアノの音は異なる位置から広がる。アイコン２０９ａは、異なる半径位置（ユーザからさらに離れる位置）を持ち、ＭＩＤＩファイルが再生されるとき、他の楽器に対して、アコースティックグランドピアノの音はさらに小さくなる。

図１を参照すると、ユーザは、選択されたアイコンに新しい軌道を割り当てることがわかる（ステップ１０７）。図４は、アイコン２０９ａに軌道が割り当てられているときの例示的なユーザインターフェースのディスプレーを示している。

軌道の欄２２１がアイコン２０９ａについて選択されたとき、可能な軌道である選択対象４０３が現れることがわかる。表示されている例では、６つの可能な軌道：８の字の移動４０５、右回りの螺旋の移動４０７、左回りの螺旋の移動４０９、上下の移動４１１及び２方向の斜め方向の移動４１３及び４１５がある。当然、さらに他の軌道が可能である。これらは、三角形の移動及び左から右又は上下を動く弓形を含む（しかし、これに限定されない）。

すでに説明したように、軌道は繰り返される位置の連続を定義してループを形成する。音源の移動の制限は、簡単な距離のパラメータにより、可能な軌道のサイズが制御可能なように設定されても良い。

軌道のいくつか（例えば、軌道４０７）は、ユーザの周囲の水平面内でのみの移動を含むことがわかるだろう。これらは２Ｄの軌道である。他の軌道はユーザの周囲の３次元の空間での移動を含む。これらは３Ｄの軌道である。これについては、さらに以下に説明される。

図５は、軌道がアイコン２０９ａに割り当てられたときの例示的なユーザインターフェースのディスプレー５０１を示す。

選択された軌道（この場合、８の字の軌道）は、軌道の欄２２１に示されている。さらに、アイコン２０９ａは、軌道がそのアイコンに割り当てられたことを示すために、緑で表示されている。よって、ユーザは非常に素早く且つ簡単に、どのアイコンが軌道を割り当てられているか及びどのアイコンが軌道を割り当てられていないかを見ることができる。

図１を参照すると、ユーザは、ＭＩＤＩファイルを再生することにより、変更を加えた状態で、ＭＩＤＩファイルを試聴することがわかる。ＭＩＤＩファイルが再生されているとき、プログレスバー２２５はファイルの進行状態を示す。さらに、軌道を割り当てられているアイコンは、ＭＩＤＩファイルが再生される間、割り当てられた軌道に従って、ユーザ表示内で移動する。そのアイコンに関連付けられた楽器の音は、ＭＩＤＩファイルが再生される間、移動中の位置から広がるように見える。

ユーザがファイルを試聴したら、ユーザは他のアイコンにも位置と軌道を割り当てることを選択することができる（図１のステップ１１１）。そうするために、ユーザは１以上の他のアイコンのためにステップ１０３，１０５，１０７及び１０９を繰り返す。

ユーザは、ＭＩＤＩファイルに満足すると、ツールバー２２３の「上書き保存」又は「名前を付けて保存」のオプションを使用して、ＭＩＤＩファイルを保存することができる。上書き保存又は名前を付けて保存のボタンを使用して、ＭＩＤＩファイルが保存されると、いくつかのアイコンに割り当てられた新しい軌道／位置がＭＩＤＩファイルに関連付けられる。よって、ＭＩＤＩファイルが次に再生されるとき、生成されたいくつかの変更が組み込まれる。ＭＩＤＩファイルは、同じユーザにより次に再生されても良いし、又は第１のユーザから遠く離れた他のユーザにより次に再生されても良い。例えば、第１のユーザは、第２のユーザに新しいＭＩＤＩファイルを電子的に送っても良い。これにより、他のユーザは、新しいＭＩＤＩファイルの音の広がりを経験することができる。

図１のステップは、他の態様において異なっても良いことは理解されるであろう。例えば、ユーザは、ユーザがＭＩＤＩファイルを取り扱っているときにＭＩＤＩファイルに変更を保存することを望んでも良いし、又はもっと定期的に音の広がりの試聴を望んでも良い。

ユーザは、同じ時間に複数のトラックを取り扱うことを望んでも良い。従って、ユーザインターフェースは、複数のトラックが同時に現れることができるように、折り畳める。これは、図６に示されている。

システムは、ユーザが所有するパソコンでＭＩＤＩファイルを編集したいと思う個々のユーザにより使用されるように、設計されている。一般的に、パソコンはユーザの左と右にそれぞれ１つのスピーカを備えている。

２Ｄ軌道が選択されるなら、ＭＩＤＩファイルが再生される間、アイコンは、それに応じて（ユーザの周囲の水平面を示す）ユーザ表示２０３の中で動く。同時に、楽器の音は、移動中の位置から広がるように見える。これは、ユーザの左右の２つのスピーカにより達成される。

しかしながら、３Ｄ軌道が選択されると、アイコンは、それに応じてユーザ表示２０３上で動く。しかしながら、ユーザ表示２０３は、単に水平面を示しているので、３Ｄ軌道のためには、アイコン／楽器の上下の移動（高さ）を示す必要がある。これは、アイコンの周囲に影を表示することにより達成され、アイコンがユーザから離れる又はユーザに近づくにつれて、影は増加又は減少する。同時に、楽器の音は上下の移動内で動き、これは２つのスピーカが高さを仮想化することにより、達成される。すなわち、水平に間隔をあけて配置されたスピーカが、上下の音の仮想化により、高さの移動をまねる。

軌道が特定の楽器に割り当てられるとき、軌道がＭＩＤＩファイルの特定の音楽のリズムに連携するように調節されるなら、ＭＩＤＩファイルが再生されるときの音の広がりは改善されるだろう。その場合、楽器／アイコンの移動のリズムは音楽のリズムに一致するか、又は楽器／アイコンは２つのリズムが連携するような方法で動く。よって、２つのリズムの調和は、ユーザの傾聴の経験を上達させるとともに、音楽と割り当てられた軌道との間のリンクを提供する。

例えば、簡単な左右の交互の軌道と共にワルツのリズムが与えられ、軌道がワルツのリズムに調節されると、音の広がりは改善するだろう。それをする１つの方法は、音が、バーのワルツのタイミングの３（"three-in-a-bar waltz timing"）の第１の拍子でユーザの左から広がり、それからバーのワルツのタイミングの３の次の第１の拍子でユーザの右から広がるなどのように軌道を調整することであろう。これに代えて、音は、ワルツリズムの全ての拍子に合わせて左右の間を往復するように調整されることもできる。

しかしながら、これは例であり、多くの他のリズムが考えられ得ることは理解されるべきである。例えば、音楽のリズムは、バーの２又は４であっても良い。所定の音楽のリズムのために可能な種々の異なる軌道のリズムがあっても良い。

よって、（図示されていない）本発明の１つの実施形態において、ユーザが特定のアイコンに割り当てられる軌道を選択するとき、その軌道にとって可能なリズムである選択対象が表示される。（これは、図４に示す選択対象に類似した、但し軌道ではなくリズムの選択対象を含んでも良い。）ユーザは、ユーザが好む傾聴の経験による好みのリズムを選択しても良い。これに代えて、軌道のリズムは、軌道がＭＩＤＩファイルの音楽のリズムに従って割り当てられるときに自動的に設定されても良い。

ユーザインターフェースを用いて、新しい位置及び／又は軌道を生成する本発明の範囲は、両方の標準（レガシー("legacy")の２次元）のオーディオファイルを修正し、既に３Ｄパラメータを含むオーディオファイルに、拡げることを意図する。

図示され説明された実施形態によれば、オーディオファイルの修正処理において、ユーザインターフェースのパラメータはアイコンを操作することにより変更される。すなわち、ユーザインターフェースのパラメータは、好ましくは、上述したようにユーザインターフェースの画面上でアイコンを動かすことにより、更新され又は変更される。それから、変更されたユーザインターフェースのパラメータは、オーディオファイルを再オーサリングするドライバを用いて、オーディオファイルを代表するパラメータ（例えば、３ＤのＭＩＤＩパラメータ）と、対応付けられる。ドライバは、どんな多様な方法によってオーディオファイルを修正して位置情報を配置するように構成されても良い。本発明の範囲を限定することなく、オーディオファイルを修正する１つの方法が以下に概して説明される。

本発明の範囲は、楽器の仮想位置を表す、例えば、球座標（傾聴者が中心）又はデカルト座標（スピーカが中心）系のいずれかを含むどの適切な座標系を用いたオーディオファイルにまで拡げることを意図する。１つの実施形態において、ドライバは球座標系の楽器の仮想位置を表すオーディオファイルから読み出し又は書き込むように構成される。

好ましくは、ユーザインターフェースのパラメータは、傾聴者を原点とする傾聴者中心システムに関連するように定義された、方位、距離、高さ、及びパンスプレッド（"pan spread"）の因子パラメータを含む。標準のＭＩＤＩファイルを修正するとき、２つのステレオスピーカの間に音を設けるように設計されたパンコントローラは、標準のＭＩＤＩファイルから利用できる。一般に、方位、距離、高さ、及びパンスプレッドのために、標準のＭＩＤＩファイルから利用できる値はないので、デフォルト値はこれらのために用いられる。例えば、０度のデフォルト値は高さと方位のために用いられ、１００パーセントはデフォルトの距離とパンスプレッド値のために用いられる。標準のＭＩＤＩは、デフォルトの３０度の間隔で用いられる２つのステレオスピーカを有し、傾聴者から弧への公称軸の左右から音を供給する。よって、デフォルト値の１００％は、このスプレッド値に適用される。

それから、ユーザインターフェースにより変更される最初のユーザインターフェースのパラメータは、ドライバに供給される。ドライバは、ユーザインターフェースのパラメータをオーディオファイルのパラメータに変換する。変更されたオーディオファイルのパラメータは、ＭＩＤＩのパンコントローラが弧に沿って音を位置づけることを想定することにより、仮想空間に音を設ける。傾聴者の位置から弧の中心への弧のベクトルは、高さ、方位、及び距離の値により規定される。ユーザインターフェースのパンスプレッド値は、弧の広がりを定義するために用いられ、１つの実施形態において、図２に示されたグローバルステレオスプレッド表示２２７を調整することにより、ユーザインターフェースから制御されても良い。パンスプレッドのパラメータを用いることにより、弧はより広く又はより狭くできる。この弧は、２つの仮想スピーカ間、すなわち、左右の参照位置間の弧として仮想化されても良い。１つの実施形態の再オーサリングされたオーディオファイルはパンロール角パラメータを用い、傾聴者の位置から弧の中心へのベクトルについての弧の回転を特定する。

この原点に対する方位角、仰角、及び距離のユーザインターフェースのパラメータについて、ディスプレー上でアイコンの位置を表すことは、当業者により難なく理解される自明のステップであり、それゆえに、詳細はここに記述されない。例えば、公称軸（例えばｘ軸）に沿うアイコンに対する水平距離と、（同じ水平面上にある）垂直のｙ軸に沿う水平距離は、よく知られた三角法の機能と共に用いられて、アイコンへの方位角のみならずアイコンへの水平面の距離も決定しても良い。同様に、アイコンへの仰角は、水平面の距離と垂直面の距離とから、例えば逆正接機能を用いることにより、決定されても良い。

これらのアイコン位置のユーザインターフェースのパラメータは、ドライバによりオーディオファイルのパラメータ、例えば新しいパラメータに又はＭＩＤＩファイルのコントローラに対応付けられる。当業者と特にレガシーＭＩＤＩフォーマットをよく知る者は、多くのＭＩＤＩパラメータの値とコントローラとが、２つのデータバイト、すなわち、「粗い」バイト（ＭＳＢ）と細かいバイト（ＬＳＢ）を用いて設計されて、その結果これらのパラメータのために良い解決を提供することを称賛する。さらに、データバイトをコントローラの種類又はパラメータに関連付けることは、コントローラに特定の数を割り当てる状態バイトを用いることにより、実現されても良い。当業者に知られているように、ＭＩＤＩメッセージにおいて受信したヘッダ情報は、たびたび、いくつかは（ＭＩＤＩの仕様書で定義された）登録及びいくつかは非登録のコントローラの数を含む。

１つの実施形態において、ユーザインターフェースの距離パラメータから直接弧への距離を特定するよりも、ＭＩＤＩファイルの距離と減衰パラメータが５つの異なるパラメータ：最大距離、最大距離での増幅率、参照距離比、距離比、及び増幅率の組み合わせにより設定されても良い。

適当に構成された復号機器は、再オーサリングされたオーディオファイルの内容の解釈に基づいて、音源の仮想の位置付けを実行しても良い。好ましくは、演奏機器は、変更されたデータと共に保存されたファイルを受け付けて、スピーカの配置又は利用できるＣＯＤＥＣを用いて、例えば再生システムの全能力を用いて、最も感動的な方法で対応する音を演奏する。ユーザインターフェースにより定義された仮想位置は、好ましくは、再オーサリングされたオーディオファイルに格納された３ＤのＭＩＤＩパラメータを決定するのに用いられる。３ＤのＭＩＤＩファイルと共に格納され、３Ｄコントローラに関連付けられたこれらのパラメータから、音演奏装置は、適当に仮想源を配置することができる。最初に、弧はパンスプレッド値とパン値とにより規定される。最後に仮想源を空間に配置するために、ロール値の回転に従う方位と高さの値が、距離パラメータと同様に使用される。

ステレオスピーカと共に３Ｄの位置及び軌道の情報の使用が例示されているけれども、本発明はこれに限定されない。本発明の範囲は、どんな多様なサウンドスピーカ又はシステムを備えた音源の３Ｄの空間的な位置にまで、すなわち、どんなスピーカシステム又は３Ｄシンセサイザでもオーディオファイルを再生できるということにまで、拡張することを意図する。例えば、保存された３ＤのＭＩＤＩファイルから得られる３ＤのＭＩＤＩストリームは、４．１システム、５．１システム、６．１システム、ヘッドホンなどで使用されても良い。さらに、本発明の範囲は、修正されたファイルの仮想位置のデカルト座標を直接定義することを含むための他の適した方法により楽器に関連付けられた仮想位置を格納する再オーサリングされたファイルにまで拡げることを意図する。

本発明の好ましい実施形態が図示され説明されたけれども、添付の特許請求の範囲で定義された本発明の精神と範囲から離れることなく、種々の変更がここで可能なことが十分理解されるであろう。

ユーザが３ＤのＭＩＤＩ情報を備えた標準のＭＩＤＩファイルコンテンツを再オーサリングすることを可能にするステップを示すフロー図 図１のステップ１０１についての例示的なユーザインターフェースのディスプレー 図１のステップ１０３と１０５についての例示的なユーザインターフェースのディスプレー 図１のステップ１０７についての第１の例示的なユーザインターフェースのディスプレー 図１のステップ１０７についての第２の例示的なユーザインターフェースのディスプレー ユーザが一度でどのようにして多くのファイルを取り扱えるかを示す例示的なユーザインターフェースのディスプレー

Claims (24)

1. オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを介して、ユーザがオーディオファイルを修正することを可能にするための方法であって、前記方法は、
   ａ）前記ユーザインターフェース上のアイコンを前記オーディオファイルの１以上の楽器又は楽器のセットに関連付け、
   ｂ）前記各アイコンの可能な軌道である選択対象を提供し、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
   ｃ）前記各アイコンの位置を示す前記ユーザインターフェースのディスプレーを提供し、各位置は関連付けられた楽器又は楽器のセットのユーザに対する仮想の位置を定義し、
   ｄ）ユーザはアイコンを選択し、
   ｅ）ユーザは位置及び／又は前記選択対象から軌道を選択されたアイコンに割り当て、及び
   ｇ）前記ディスプレー上に、選択されたアイコンの位置と、軌道がその選択されたアイコンに割り当てられているかどうかとを示す、
   ステップを有する方法。
2. 前記ユーザインターフェースのディスプレーは、ユーザとユーザの周囲の仮想図を示す、請求項１に記載の方法。
3. 前記選択されたアイコンの位置を示すステップは、前記仮想図上でユーザの周囲のアイコンの位置を表示することを含む、請求項２に記載の方法。
4. 前記仮想図は、ユーザの仮想平面図とユーザ周辺の２次元の水平面とを示す、請求項２又は請求項３に記載の方法。
5. 前記仮想図は、ユーザの仮想斜視図とユーザ周辺の３次元空間とを示す、請求項２又は請求項３に記載の方法。
6. ユーザが前記選択されたアイコンに位置を割り当てるステップは、ユーザが仮想図上でユーザの周囲にある選択されたアイコンを移動させることを含む、請求項２から請求項５のいずれか１項に記載の方法。
7. ユーザインターフェース上で、各アイコンに関連付けられた楽器又は楽器のセットを示すステップをさらに有する、請求項１から請求項６のいずれか１項に記載の方法。
8. もしあれば、各アイコンに割り当てられた軌道を示すステップをさらに有する、請求項１から請求項７のいずれか１項に記載の方法。
9. 軌道を割り当てられているアイコンは、軌道を割り当てられていないアイコンとは異なる外観を有する、請求項１から請求項８のいずれか１項に記載の方法。
10. 軌道を割り当てられているアイコンは、カラーの色で表示される、請求項９に記載の方法。
11. 前記可能な軌道である選択対象は、１以上の：
    左右の移動、
    上下の移動、
    ８の字の移動、
    ジグザグの移動、
    螺旋の移動、及び
    弓形の移動、
    を含む、請求項１から請求項１０のいずれか１項に記載の方法。
12. 前記オーディオファイルはＭＩＤＩファイルであり、前記軌道のリズムはＭＩＤＩファイルの音楽のリズムに調和している、請求項１から請求項１１のいずれか１項に記載の方法。
13. ユーザがオーディオファイルを修正することを可能にするための装置であって、前記装置は、オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを有し、
    前記ユーザインターフェースは、
    ａ）少なくとも１つのアイコン、そのアイコン又は各アイコンは前記オーディオファイルの１以上の楽器又は楽器のセットに関連付けられており、
    ｂ）各アイコンの可能な軌道である選択対象、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
    ｃ）前記ユーザインターフェースのディスプレー、
    前記ディスプレーは、
    ｉ）各アイコンの位置、各位置は関連付けられた楽器又は楽器のセットのユーザに対する仮想の位置を定義し、及び
    ｉｉ）軌道が選択されたアイコンに割り当てられているかどうか
    を示す、
    を有する装置。
14. 前記ユーザインターフェースのディスプレーは、ユーザとユーザの周囲の仮想図を含む、請求項１３に記載の装置。
15. 前記ディスプレーは、仮想図上でユーザの周囲にあるアイコンの位置を表示することにより、各アイコンの位置を示す、請求項１４に記載の装置。
16. 前記仮想図は、ユーザの仮想平面図とユーザ周辺の２次元の水平面とを示す、請求項１４又は請求項１５に記載の装置。
17. 前記仮想図は、ユーザの仮想斜視図とユーザ周辺の３次元空間とを示す、請求項１４又は請求項１５に記載の装置。
18. 前記ディスプレーは、もしあれば、各アイコンに割り当てられた軌道を示す、請求項１３から請求項１７のいずれか１項に記載の装置。
19. 軌道を割り当てられているアイコンは、軌道を割り当てられていないアイコンとは異なる外観を有する、請求項１３から請求項１８のいずれか１項に記載の装置。
20. 軌道を割り当てられているアイコンは、カラーの色で表示される、請求項１９に記載の装置。
21. 前記可能な軌道である選択対象は、１以上の：
    左右の移動、
    上下の移動、
    ８の字の移動、
    ジグザグの移動、
    螺旋の移動、及び
    弓形の移動、
    を含む、請求項１３から請求項２０のいずれか１項に記載の装置。
22. オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを介して、ユーザがオーディオファイルを修正することを可能にするための方法であって、前記方法は、
    ａ）前記ユーザインタフェース上のアイコンを前記オーディオファイルの１以上の楽器又は楽器のセットに関連付け、
    ｂ）各アイコンの可能な軌道である選択対象を提供し、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
    ｃ）各軌道の可能なリズムである選択対象を提供し、各リズムは前記オーディオファイルの音楽のリズムに調和し且つ前記アイコンの移動の速度を規定し、
    ｄ）ユーザはアイコンを選択し、
    ｅ）ユーザは前記選択対象から軌道を前記選択されたアイコンに割り当て、及び
    ｆ）ユーザは前記選択対象からリズムを前記選択されたアイコンに割り当てられた軌道に割り当てる、
    ステップを有する方法。
23. ユーザがオーディオファイルを修正することを可能にするための装置であって、前記装置は、オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを有し、
    前記ユーザインターフェースは、
    ａ）少なくとも１つのアイコン、そのアイコン又は各アイコンは前記オーディオファイルの１以上の楽器又は楽器のセットに関連付けられており、
    ｂ）各アイコンの可能な軌道である選択対象、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
    ｃ）各軌道の可能なリズムである選択対象、各リズムは前記オーディオファイルの音楽のリズムに調和し且つ前記アイコンの移動の速度を規定し、及び
    ｄ）前記ユーザインターフェースのディスプレー、前記ディスプレーは各アイコンの位置を表示し、各位置は関連付けられた楽器又は楽器のセットのユーザに対する仮想の位置を定義し、
    を有する装置。
24. オーディオファイルを再オーサリングするためのドライバを制御するユーザインターフェースを介して、ユーザがオーディオファイルを修正することを可能にするための方法であって、前記方法は、
    前記ユーザインターフェース上のアイコンを前記オーディオファイルの１以上の楽器又は楽器のセットに関連付けるコンピュータ手段、
    各アイコンの可能な軌道である選択対象を提供するコンピュータ手段、各軌道は関連付けられた楽器又は楽器のセットのユーザに対する仮想の経路を定義し、
    各アイコンの位置を示す前記ユーザインターフェースのディスプレーを提供するコンピュータ手段、各位置は関連付けられた楽器又は楽器のセットのユーザに対する仮想の位置を定義し、
    ユーザはアイコンを選択し、
    ユーザは選択されたアイコンに位置を割り当て、
    ユーザは前記選択対象から軌道を選択されたアイコンに任意に割り当て、及び
    前記ディスプレー上に、前記選択されたアイコンの位置と、軌道が選択されたアイコンに割り当てられているかどうかとを示すコンピュータ手段と、
    のステップを有する方法。

Images