JP2020501201A - データフォーマット - Google Patents

Abstract

【解決手段】制御可能なテンポを有するようにアレンジされたオーディオ出力を形成するために使用されるように構成された複数のオーディオコンポーネントを含む適応型メディアファイルを構築するための方法であって、複数のオーディオコンポーネントのうちの第１のオーディオコンポーネントに関連付けられた第１のオーディオデータを用意するステップと、第１のオーディオデータの再生テンポ範囲を設定するステップと、第１のオーディオコンポーネントに関連付けられた第２のオーディオデータを用意するステップと、第２のオーディオデータの再生テンポ範囲を設定するステップであって、第２のオーディオデータのテンポ範囲が第１のオーディオデータのテンポ範囲とは異なる、再生テンポ範囲を設定するステップと、第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲を関連付けるステップとを含む、方法。【選択図】図３

Description

本開示は、メディアファイルおよび関連ファイルを構築するための方法に関する。より具体的には、これに限られるわけではないが、異なるテンポでのオーディオの再生を可能にするオーディオファイルタイプが提示される。また、音楽トラックを提示する再生テンポを制御するための方法も説明される。以下の説明に基づいて、多数の他のアプリケーションが明らかになるであろう。

音楽業界においては、多くの定番曲およびヒットした音楽トラックが、リミックスされ、すなわち改変され、異なる曲が作り出されることが多い。たとえメロディの大部分がそのままであっても、リミックスは、通常は、曲の元々のリズムまたはＢＰＭ（１分あたりのビート数）を変えて、異なるムードまたは雰囲気を作り出す。曲を、曲にクラブの感覚を与えるために加速させることができ、よりラウンジ風の入力を与えるために減速させることができる。

曲または音楽トラックは、一般に、例えば８つのオーディオデータセットなど、いくつかのオーディオデータセットのミキシングの結果であり、各々のオーディオデータセットは、特定の役目（ボーカル１、ボーカル２、ビート、・・・）または楽器（ピアノ、ギター、ハープ、サックス、ベース、・・・）に割り当てられたオーディオチャネルに対応する。各々のオーディオデータセット、したがって音楽トラック自体は、それぞれの再生テンポを特徴とし、そのような再生テンポで提示または再生されるように意図される。再生テンポは、一般に、種々のオーディオデータセットを録音したときの元々のＢＰＭに対応する。オーディオチャネル（より具体的には、割り当てられたオーディオデータセット）は、一般に、音楽編集者によって、聴衆を喜ばせることができる音楽トラックのオリジナルのアレンジを生み出すために改変される。

再生テンポの変更は、オリジナルのアレンジに大きな影響を及ぼす可能性があるため、複雑なプロセスである。主な混乱は、通常はアレンジメントのピッチが大きく影響され、曲が耳に「奇妙」に聞こえ、あるいは「質が落ちて」聞こえるようになることである。リミックスは、一般に、再生テンポを変えつつ、依然として耳に心地よい新たなアレンジを生み出すための芸術的および技術的の両方の作業からなる。技術的な作業を支援するために、今日では、オーディオデータセットのタイムストレッチなど、さまざまなツールが利用可能である。タイムストレッチは、オーディオデータセットを、最初に意図されていた元々の再生テンポから、別の再生テンポに関係する修正されたオーディオデータセットに変換することからなる。変換は、再生テンポの差が芸術的アレンジへの影響を減らすようにピッチを制御することを可能にする。

タイムストレッチにおける問題は、影響が制御できなくなるまでに許容される再生テンポの範囲が、かなり限られていることである。オリジナルの再生テンポを特定の割合を超えて増減させると、利用可能なツールおよび音楽編集者の芸術的技量では、アレンジメントおよびオリジナルのオーディオサンプルの粗い劣化を補償することが不可能になる。

今日でも、音楽トラックの再生テンポを広い値の範囲にわたって変更しつつ、耳で感じられる劣化を抑える方法が、依然として必要とされている。具体的には、そのようなテンポの変更を、聞き手が音楽トラックに耳を傾けている最中に達成することが必要とされている。

一態様によれば、制御可能なテンポを有するようにアレンジされたオーディオ出力を形成するために使用されるように構成された複数のオーディオコンポーネントを含む適応型メディアファイルを構築するための方法であって、複数のオーディオコンポーネントのうちの第１のオーディオコンポーネントに関連付けられた第１のオーディオデータを用意するステップと、第１のオーディオデータの再生テンポ範囲を設定するステップと、第１のオーディオコンポーネントに関連付けられた第２のオーディオデータを用意するステップと、第１のオーディオデータのテンポ範囲とは異なる第２のオーディオデータの再生テンポ範囲を設定するステップと、第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲を関連付けるステップとを含む、方法が提供される。

場合によっては、第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲は、それらをファイル構造内に配置することによって関連付けられる。場合によっては、第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲は、第１および第２のオーディオデータに関連付けられたメタデータにおける参照によって関連付けられる。場合によっては、第１のオーディオデータの再生テンポ範囲は、第１のオーディオデータのメタデータに組み込まれる。

場合によっては、第１のオーディオデータの再生テンポ範囲は、下側テンポおよび上側テンポを表すデータを提供する。場合によっては、再生時に、第１のオーディオデータは、再生テンポが下側テンポより上かつ上側テンポよりも下、または下側テンポ以上かつ上側テンポ以下のいずれかであるときに、オーディオ出力の一部として提示されるようにアレンジされる。場合によっては、第１のオーディオデータは、或るテンポを有し、下側テンポおよび上側テンポを表すデータは、実際の上側テンポおよび実際の下側テンポ、あるいは第１のオーディオデータのテンポを上回る毎分のビート数および下回る毎分のビート数の一方である。

場合によっては、第１のオーディオデータのテンポ範囲は、第１のオーディオデータがタイムストレッチされるべき最大および最小テンポを定める。場合によっては、用意するステップは、音を録音してオーディオデータを形成すること、オーディオ制作ツールを使用してオーディオデータを生成すること、またはオーディオデータをインポートすることのうちの１つ以上によって達成される。

場合によっては、第１のオーディオデータおよび第２のオーディオデータは、第１および第２のオーディオファイルである、あるいは第１および第２のオーディオファイルから導出される。場合によっては、第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲を関連付けるステップは、適応型メディアファイルに含まれる１つ以上の構成ファイルに基づく。場合によっては、複数のオーディオコンポーネントのうちの第１のオーディオコンポーネントに関連付けられた第１のオーディオデータは、適応型メディアファイル内で特定される。場合によっては、適応型メディアファイルは、オーディオファイルまたはビデオフレームデータと関連のオーディオデータとを含むビデオファイルの一方である。

さらなる態様によれば、使用時にこの方法のプロセッサによる実行を可能にするように構成されたコンピュータ可読命令を含んでいるコンピュータ可読媒体が提供される。

さらなる態様によれば、制御可能なテンポを有するようにアレンジされたオーディオ出力を形成するための複数のオーディオコンポーネントを含むデータを提供するための適応型メディアファイルであって、複数のオーディオコンポーネントのうちの第１のオーディオコンポーネントに関連付けられた第１のオーディオデータと、第１のオーディオデータの再生テンポ範囲と、複数のオーディオコンポーネントのうちの第１のオーディオコンポーネントに関連付けられた第２のオーディオデータと、第２のオーディオデータの再生テンポ範囲とを含んでおり、第２のオーディオデータのテンポ範囲は、第１のオーディオデータのテンポ範囲とは異なり、第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲は、互いに関連付けられている、適応型メディアファイルが提供される。

場合によっては、第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲は、ファイル構造内に位置することによって関連付けられている。場合によっては、第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲は、第１および第２のオーディオデータに関連付けられたメタデータにおける参照によって関連付けられている。場合によっては、第１のオーディオデータの再生テンポ範囲は、第１のオーディオデータのメタデータに組み込まれる。

場合によっては、第１のオーディオデータの再生テンポ範囲は、下側テンポおよび上側テンポを表すデータを提供する。場合によっては、再生時に、第１のオーディオデータは、再生テンポが下側テンポより上かつ上側テンポよりも下、または下側テンポ以上かつ上側テンポ以下のいずれかであるときに、オーディオ出力の一部として提示されるようにアレンジされる。場合によっては、第１のオーディオデータは、或るテンポを有し、下側テンポおよび上側テンポを表すデータは、実際の上側テンポおよび実際の下側テンポ、第１のオーディオデータのテンポを上回る毎分のビート数および下回る毎分のビート数、あるいはテンポをテンポの上方または下方のいずれかにずらすことができる量のうちの１つである。場合によっては、第１のオーディオデータのテンポ範囲は、第１のオーディオデータがタイムストレッチされるべき最大および最小テンポを定める。

場合によっては、第１のオーディオデータおよび第２のオーディオデータは、第１および第２のオーディオファイルである、あるいは第１および第２のオーディオファイルから導出される。場合によっては、互いに関連付けられた第１のオーディオデータ、第２のオーディオデータ、およびそれぞれの再生テンポ範囲は、適応型メディアファイルに含まれる１つ以上の構成ファイルにおいて特定される。場合によっては、複数のオーディオコンポーネントのうちの第１のオーディオコンポーネントに関連付けられた第１のオーディオデータは、適応型メディアファイル内で特定される。場合によっては、適応型メディアファイルは、オーディオファイルまたはビデオフレームデータと関連のオーディオデータとを含むビデオファイルの一方である。

本発明の方法によれば、入力された再生テンポに基づいて代替的に使用することができる複数のオーディオデータセットがオーディオチャネルに関連付けられるため、オーディオデータセットについて、使用され得る再生テンポの範囲を縮小することができる。既存の技術では、ユーザは、例えばタイムストレッチ処理を使用して、広い再生テンポの区間にわたって変換を行わなければならない。本発明の技術的解決策によれば、同じオーディオチャネル用に複数のオーディオデータセットを定めることができ、各々のオーディオデータセットが、該当の小さな再生テンポ範囲についてのみ使用される。ユーザによって選択された更新後の再生テンポが別の再生テンポ範囲に入る場合、本発明のオーディオミキシングの技術的解決策は、別のオーディオデータセットの使用を開始させることによって、例えばオーディオデータセットの「過度のタイムストレッチ」を低減する。

本発明の方法は、アプリケーションによってモバイルデバイス上に実現される音楽コントローラなどの電子装置を使用して実施され得る。電子装置は、コンピュータでもよく、サウンドミキシングの技術的は、本明細書で説明されるインタフェースを介して制御可能であってよい。本発明の技術的解決策を、オーディオミキシングコントローラ、再生テンポコントローラ、または単にオーディオミキサと称することができる。

一構成を、添付の図面を参照することによって、あくまでも例として、さらに詳細に説明する。
本発明の方法の構成を実施するように構成された電子装置の概略図である。 電子装置、リモート装置、およびオーディオ出力装置を含む本発明の方法の別の構成の概略図である。 本発明のオーディオコントローラの別の構成による典型的なグラフィカルユーザインタフェース（ＧＵＩ）である。 本発明のオーディオコントローラの別の構成によるＧＵＩの例である。 本発明のオーディオコントローラの別の構成によるＧＵＩの例である。 本発明のオーディオコントローラの別の構成によるＧＵＩの例である。 本発明の方法の種々の構成による本発明のオーディオコントローラによって実行される一般的な動作ステップを示すフロー図である。 本発明の方法の種々の構成による本発明のオーディオコントローラによって実行される一般的な動作ステップを示すフロー図である。 コンピューティングデバイスの一実施例のブロック図を示している。

本明細書において、用語「提示」または「レンダリング」は、オーディオデータセット、音楽トラック、オーディオチャネルなどをユーザにとって聴き取り可能にする行為を指す。

曲などのオーディオトラックは、一般に、１つ以上のオーディオコンポーネントを含む。各々のオーディオコンポーネントは、例えば異なる楽器、ボーカルなど、オーディオトラックの異なる部分に対応する。オーディオトラックを生成するための適応型メディアファイルの図を、図３において見ることができ、図３は、縦方向に延びるバー要素によって表された１０個のオーディオコンポーネントを有する適応型メディアファイルを示している。各々のオーディオコンポーネントは、それぞれのオーディオチャネルに対応することができ、あるいは２つ以上のオーディオデータセットからなるオーディオコンポーネントが、２つ以上のオーディオチャネルに広がってもよい。例えば、図３において、「ピアノ低（Ｐｉａｎｏ ｌｏｗ）」のオーディオコンポーネントは、１つのオーディオチャネルに対応し、「ピアノ高（Ｐｉａｎｏ ｈｉｇｈ）」のオーディオコンポーネントは、２つのオーディオチャネルに対応している。トラックの再生テンポは、縦軸に示される。

各々のオーディオコンポーネントは、バー要素の異なるセクションによって表される１つ以上のオーディオデータセットを有する。各セクションは、再生テンポ範囲に対応する。すなわち、セクションは、縦方向において重ならず、それぞれ縦方向における第１および第２の境界で区切られている。「ピアノ低」のオーディオチャネルに目を向けると、３つのセクション３１１、３１２、および３１３がそれぞれ再生テンポ範囲６０〜１００ｂｐｍ、１００〜１７０ｂｐｍ、および１７０〜２４０ｂｐｍに関連付けられており、値はｂｐｍで表されている。「ハープ：シンセ（Ｈａｒｐ：Ｓｙｎｔｈｓ）」オーディオチャネルは、再生テンポ範囲８０〜１３９ｂｐｍおよび１３９〜２４０ｂｐｍにそれぞれ関連付けられた２つのセクション３０１および３０２を含んでいる。再生テンポ範囲を、所与のオーディオコンポーネントについて、或るオーディオデータセットを使用することができる再生テンポの範囲と理解することができる。再生テンポ範囲は、隣接していてもよく、すなわち、第１の再生テンポ範囲の最高レベルが第２の再生テンポ範囲の最低レベルに相当してよい。その場合、２つの連続した再生テンポ範囲は、共通の再生テンポ境界を共有する。

オーディオデータセットまたは「ステム」と、それらのそれぞれの再生テンポ範囲とを、それらをファイル構造内に配置し、あるいはオーディオデータセットまたはステムに関連付けられたメタデータを参照することによって、関連付けることができる。所与のオーディオデータセットの再生テンポ範囲を、オーディオデータセットのメタデータに組み込むことができる。あるいは、オーディオデータセットが、１つ以上のオーディオファイルに含まれてよく、構成ファイルが、後述されるように、再生テンポ範囲およびデータセット間の移行特性を含むデータセット間の関係などのファイルの関連詳細を定義することができる。

より一般的には、音楽トラックを形成する各々のオーディオコンポーネントは、複数のオーディオデータセットに関連付けられ、各々のオーディオデータセット自体が、再生テンポ範囲に関連付けられる。本発明の技術的解決策は、再生テンポを制御して音楽トラックをオーディオ出力装置に提示することを可能にするので、再生テンポの選択が、選択された再生テンポが属する再生テンポ範囲に基づいてオーディオコンポーネントについてどのオーディオデータセットが選択されるかを決定する。再生テンポ範囲を、オーディオコンポーネントについて、或るオーディオデータセットを使用することができる再生テンポの範囲と理解することができる。

再生時、選択された再生テンポが或るオーディオデータセットの低い方のテンポを上回り、かつ高い方のテンポを下回る場合、そのオーディオデータセットを、オーディオ出力の一部として提示されるようにアレンジすることができる。あるいは、選択された再生テンポが低い方のテンポ以上、かつ高い方のテンポ以下である場合に、オーディオデータセットをオーディオ出力の一部として提示されるようにアレンジすることができる。

オーディオデータセットを録音する際に、ミュージシャンは、必要な数のオーディオデータセットを録音するために、いくつかのテンポで楽器において同じ一連の音符を演奏する。同様に、歌手は、音声オーディオコンポーネントのための複数のオーディオデータセットを定めるために、同じメロディを異なる速度で歌う。図３の例における異なるテンポは、７０、１２０、および１７２ｂｐｍである。これらの所定の再生テンポ値は、それぞれのオーディオデータセットのいわゆるネイティブ再生テンポに相当する。それらは、オーディオデータセットの録音時に意図されたオーディオデータセットの提示の再生テンポ（例えば、音声、楽器、ビートなどの元々のテンポ）を定める。オーディオデータセットのネイティブ再生テンポは、このオーディオデータセットの再生テンポ範囲に含まれる。

オーディオデータセットの再生テンポ範囲を、そのネイティブテンポから計算することができる。例えば、範囲を、オーディオデータセットのネイティブテンポを上回る毎分ビート数およびネイティブテンポを下回る毎分ビート数として定義することができる。第１のオーディオデータのテンポ範囲は、再生時に第１のオーディオデータがタイムストレッチされるべき最大および最小テンポを定めることができる。

各々のオーディオデータセットに、複数のオーディオコンポーネントのうちのそれぞれのオーディオコンポーネントを関連付けることができる。これを、適応型メディアファイルにおいて特定することができる。適応型メディアファイルは、オーディオデータセットまたはビデオフレームデータと関連のオーディオデータとを含むビデオファイルのうちの１つであってよい。

再生テンポ範囲を、ユーザが、自身が録音を使用したいと望む再生テンポの範囲についての自身の認識に基づいて定義することができる。例えば、ユーザが上述のピアノ低について３つのオーディオデータセットを３つのネイティブ速度７０、１２０、および１７２ＢＰＭで録音する場合、ユーザは、３つのテンポ範囲３１１、３１２、および３１３をそれぞれ関連付ける。ユーザが再生テンポを選択するたびに、本発明の技術的解決策は、各々のオーディオコンポーネントが、選択された再生テンポを含む再生テンポ範囲に対応するオーディオデータセットを選択することを可能にする。その趣旨で、図３のＧＵＩの左側は、オーディオチャネルのバー要素と同じ方向に延びる追加のバー要素３１５を示している。この追加のバー要素を、カーソルグラフィック要素３１６における入力を介して音楽トラックを提示するための再生テンポを設定するためのカーソルバー３１５と理解することができる。カーソル要素３１６は、カーソルバー３１５におけるユーザ選択に対応するＢＰＭ値を表示するためのラベルを提示することができる。図３の例のように１２０ＢＰＭの再生テンポが選択された場合、ピアノ低については範囲３１２に対応するオーディオデータセットが選択され、ハープについては範囲３０１のオーディオデータセットが選択され、音楽トラックを提示するためのそれらのそれぞれのオーディオコンポーネントに割り当てられる。

縦方向に延びる多数のバー要素ゆえに、選択されたテンポ範囲の読み取りがユーザにとって困難になる可能性があるため、本発明のシステムは、すべての縦方向のバー要素を横切るようにＧＵＩの第２の方向に延びる別のグラフィック要素３２０を提案する。図３の例において、縦方向の１０個のバー要素が提案されている一方で、ＢＰＭレベルは、複数のバー要素を横切って横方向に設定される。しかしながら、ユーザは、カーソル３１６を動かしてすべてのオーディオチャネルを横方向に横断ステップ再生テンポを選択するときに、どの再生テンポ範囲が選択されたかについて確証を持てない可能性がある。これは、２つのシンセサイザについてのオーディオチャネルのように、グラフィカルバー要素がインタフェースの反対側に位置するオーディオコンポーネントに特に当てはまる。グラフィック要素３２０は、第１の方向、すなわちカーソルバーおよびバー要素の方向に移動可能であり、その動きは、例えばカーソルバー３１５における入力によってもたらされる。再生テンポ範囲の選択バーとして理解することができるグラフィック要素３２０は、オーディオコンポーネントのすべてのバーを横切って横方向に延びる。結果として、ユーザは、どのテンポ範囲が選択されるかについての明確な視覚的表示を得る。

本発明のシステムにおいては、さらなるＧＵＩフィードバックが提案される。このＧＵＩフィードバックの例示を、図４．１〜図４．３に見ることができる。例えばオーディオミキサ装置などの電子装置のＧＵＩを制御するための本発明の技術的解決策において、装置のプロセッサは、カーソルバー４１５のカーソル４１６（グラフィック要素）を第１の方向に移動させるためのユーザ入力に応答して、
・カーソル４１６の新たな位置を決定し、
・各々のバー要素について、グラフィック要素または選択バー４２０と交差するサブ部分を決定し、
・選択バー４２０と交差するサブ部分を第１のレンダリング方法を使用してレンダリングすることによって有効であるとマーキングし、
・残りのサブ部分を第１のレンダリング方法とは異なる第２のレンダリング方法を使用してレンダリングすることによって無効であるとマーキングする
ように構成される。

異なるレンダリング方法は、以下のように、選択された再生テンポ範囲に関するサブ部分要素を強調することからなってよい。図４．１のＧＵＩは、オーディオチャネルと同じ数の１１個の縦方向のバー要素を有する開始時インタフェースを示している。再生はまだ開始されていないため、再生テンポ範囲は強調されていない。種々のオーディオチャネルのすべてのテンポ範囲が示されており、選択バー４２０が、カーソルバー４１５上の１４７ＢＰＭの既定の開始時テンポから示されている。ユーザが、カーソル要素４１５によって運ばれるラベル上に示されるように１１２ＢＰＭという選択値へとカーソルバー４１５上でカーソル要素４１６を下方にスライドさせるための入力をもたらすとき、プロセッサは、どの再生テンポ範囲が各々のオーディオコンポーネントにおいて１１２ＢＰＭという選択された再生テンポに用意されているかをチェックする。図４．２の図において、これらの再生テンポ範囲に対応するサブ部分要素４２１は、ここでは無地の形態であるが、あるいは強い色での強調表示であってよい第１のレンダリング方法でレンダリングされる一方で、選択された再生テンポを含まない残りの再生テンポ範囲は、別の第２のレンダリング方法でレンダリングされる。これが、図４．２においてはサブ部分４２２などのハッチングされたサブ部分で示されているが、あるいは、淡色表示のサブ部分としてもよい。本発明の方法のさらなる構成においては、テンポ範囲がいかなるオーディオデータセットにも割り当てられていないときにバー要素が不連続性を示すことがあり得るため、バー要素のうちの再生テンポ範囲が定められていない部分も、同じ第２のレンダリング方法でレンダリングすることができる。あるいは、それらを、サブ部分４２３において見られるように、ユーザによって容易に無視されるように、より狭いハッチングまたはより淡色の表示など、第３のレンダリング方法でレンダリングしてもよい。本発明の異なるレンダリング方法は、どのサブ部分が有効であるか、すなわちオーディオコンポーネントに割り当てられた対応するオーディオデータセットを有するか、およびどのサブパートが無効であるか、すなわち現時点においてユーザが目標とする生成テンポ範囲に対応しない対応するオーディオデータセットを有するかについて、明確なフィードバックをユーザに与えることを可能にする。

本発明のＧＵＩの他の構成が図４．３に示されており、ここでは、選択された再生テンポは、今や１４８ＢＰＭである。このとき、７つのサブ部分が有効として強調表示されており、なぜならば、いくつかの再生テンポ範囲は、選択された再生テンポがそれらの上限よりも大きい値を有するがゆえにもはや有効でないからである。この例では、再生テンポ範囲は、ほとんどのオーディオコンポーネントにおいて連続的であり、ユーザが求めるＢＰＭが大きくなるにつれて、上側の値の範囲が有効になる。

この例では、移動可能なグラフィック要素としてカーソルを提案しているが、別の移動可能なグラフィック要素を使用する他の例においても、本発明の教示は有益であろう。さらに、オーディオミキサの文脈における例示は、本発明のＧＵＩについて可能な一用途にすぎない。あるいは、多成分変数についての制御にも本発明の教示は有益であり得る。実際、第１の方向に延びる各々のバー要素が成分の値を表し、バー要素が値の区間を表す１つ以上のサブ部分を含む場合に、本発明のＧＵＩは、選択バーが交差する有効区間の容易な選択を可能にする。値の各々の区間に、例えばファイル、機能、固有の識別子、または値を割り当てることができ、本発明のインタフェースは、他の方法では制御がより複雑になるであろう成分値の多数のバーをインタフェースが含むときに、複数の有効区間についての容易な同時フィードバックを可能にする。

オーディオミキサまたはコントローラを実現する電子装置に再び目を向けると、そのような装置の典型的なアセンブリが、図１に示されている。本発明のオーディオミキサは、ここではタッチ感応インタフェースまたはディスプレイ１２５を有するモバイルデバイスとして示されている電子装置１００上で実現され得る。センサ１２０などの他の感知要素を、例えば後述される再生テンポなどの入力を定めるために設けることができる。モバイルデバイス１００は、本明細書に記載の方法を実行するためにコンピュータプログラムの命令を実行するためのプロセッサ１１０をさらに備える。モバイルデバイス１００は、ネットワークを介して無線または有線でデータを交換するための受信／送信ユニット１３０をさらに備えることができる。交換されるデータは、オーディオデータまたは本発明のオーディオミキシングの技術的解決策を実施するために必要な他の種類のデータであってよい。さらに、プロセッサ１０は、タッチ感応ディスプレイ１２５またはセンサ１３０を介して受信した再生テンポに基づいて、複数のオーディオデータセットからオーディオデータセットを選択するための選択ユニット１４０を制御する。タイムストレッチユニット１４０を、選択されたオーディオデータセットについて、ネイティブの再生テンポとは異なる受信した再生テンポへのタイムストレッチを必要に応じて実施するために用意することができる。さらに、音楽トラックを提示ユニット１７０を使用してローカルな出力装置（図１には示されていないが、スピーカまたはジャック経由など）または遠方のオーディオ出力装置（例えば、図２のスピーカ２３０）において提示できるように、それぞれのオーディオコンポーネントに割り当てられた異なるオーディオデータセットをミキシングするために、ミキシングユニットが利用可能である。オーディオコンポーネントを、プロセッサ１１０にとって対話可能なデバイスのメモリに格納することができる。あるいは、オーディオデータセットは、遠方に格納され、ネットワークを介した電子装置１００へのストリーミングおよび受信／送信ユニット１３０を介した受信を通じて利用可能であってよい。

本発明のオーディオミキサは、全体が電子装置１００上で実現されても、図２に示されるようなクライアント／サーバの関係によって可能にされてもよい。実際、図２は、本発明の技術的解決策の他の例を示している。ユーザインタフェース２１０を備えるオーディオミキサ２００が、音楽トラックの再生テンポを受信するようにアレンジされる。再生テンポを、ユーザインタフェース２１０を介して受信することができ、あるいは変位のリズムを計算できるように、ジャイロスコープ、加速度計、または位置を測定するためのＧＰＳチップなどの感知ユニットを介して受信することができる。これは、ユーザがモバイルデバイス上で使用可能にされたオーディオミキサまたはコントローラ２００を携帯しながらジョギングしている場合であり得る。ユーザの走るペースが、ユーザが接続されたヘッドフォンを通して聞いている音楽の同期および制御のためのリズムを決定する。

この構成において、オーディオミキサ２００は、再生テンポの入力を取得するだけであり、音楽は、遠方のサーバ２２０からストリーミングされる。より正確には、オーディオコンポーネントの管理、ならびに関連の再生テンポ範囲および対応するオーディオデータセットの選択は、オーディオデータセットを格納したデータベース（図２には示さず）へのアクセスも管理する遠方のサーバ２２０で実行されてよい。オーディオ出力装置は、モバイルデバイスのジャック出力が使用されていないときにサーバまたはオーディオミキサ２００にとって対話す可能なスピーカ２３０として示されている。

次に、本発明のオーディオミキシングの方法を、この方法を実行するための種々の動作またはステップのフローチャートを示す図５に関連して説明する。

図５．１は、第１の構成による本発明の方法の典型的なフローチャートである。この方法は、図１の電子装置１００のプロセッサによって実行されてよく、あるいはサーバ４１０などの遠方の電子装置のプロセッサによって実行されてよい。開始ステップ５００において、ひとたび音楽トラックが選択されると、その音楽トラックのための種々のオーディオデータセットが、ユーザ装置１００のメモリ１２０からロードされる。あるいは、オーディオデータセットは、任意の利用可能な標準オーディオフォーマットにて無線でストリーミングされても、遠方のメモリからダウンロードされてもよい。

上述のように、各々のオーディオデータセットは、オーディオコンポーネントに対応する。各々のコンポーネントは、楽器、ビート、または１つ以上の声など、音楽トラックの一部に対応する。各々のコンポーネントを、単一のオーディオチャネルに割り当てることができ、あるいはコンポーネントがいくつかのオーディオデータセットからなる場合には、いくつかのチャネルに割り当てることができる。各々のオーディオデータは、再生テンポ範囲に関連付けられている。所与のコンポーネントについて２つ以上のオーディオデータセットがロードされる場合、各々のオーディオデータセットは、異なるテンポ範囲をカバーする。オーディオデータセットは、例えば録音時のテンポなど、提示されるように意図された元々のテンポに対応するネイティブ再生テンポにさらに関連付けられてよい。

再生テンポ範囲に関連付けられたオーディオデータセットは、以下ではステムとも呼ばれる。ステムは、図３において、グラフィカルバー要素の任意のサブ部分に対応する。ユーザは、本発明のオーディオミキサを開始するときに、ステムについてタイムストレッチを有効にするか、あるいは無効にするかを選択することができる。タイムストレッチを無効にすると、再生テンポ範囲において選択された再生テンポが、オーディオデータセットの提示に影響を及ぼすことがない。タイムストレッチは、曲が再生テンポの変更以外では耳にとって「おなじみ」のままであるように、ピッチに過度に影響を及ぼすことなくオーディオ信号の速度または持続時間を変更する処理である。

最初に元々の７９ＢＰＭで録音およびミキシングされ、別のＤＪによって６５ＢＰＭというより低い再生テンポでミキシングされ、さらに７９ＢＰＭという元々のテンポおよび９５ＢＰＭというより速いテンポで再度ミキシングされた曲を考える。３つの異なる音楽トラックの生成は、提案された再生テンポで元々のアレンジを録音すること、あるいは種々のタイムストレッチ技術または曲を提示することができる再生テンポを変更するための他の技術を使用してミキシングを行うことのいずれかによることができる。曲が他の１ダースのオーディオコンポーネントと共に利用可能である場合、ユーザは、各々のオーディオコンポーネントおよび３つのアレンジの各々について、６５、７９、および９５ＢＰＭという３つのそれぞれのネイティブテンポの周囲の変化する振幅の再生テンポ範囲を有する１２＊３＝３６個のファイルを生成することができる。このようなオーディオコンポーネントの生成を、図３のＧＵＩを通じて見ることができる。

オーディオコンポーネントは、今や複数のオーディオデータセットおよびそれらのそれぞれの再生テンポ範囲ならびに当初に提示されるように意図されたネイティブ再生テンポに関連付けられる。

図５．１の例において、タイムストレッチは実行されていない。これは、例えば、前述のタイムストレッチの選択肢を無効にすることによって達成できる。あるいは、ユーザは、再生テンポの変化に関連するあらゆる副作用を破棄することを単に選択することができる。

さらなるステップ５１０において、プロセッサ１１０は、例えばランニングの状況において上述した方法のうちの１つにて、音楽トラックを提示するための再生テンポを受信する。ユーザが再生テンポを入力するたびに、本発明の技術的解決策は、各々のオーディオ成分について入力された再生テンポを含む再生テンポ範囲を有するオーディオデータセットの選択を可能にする。次に、ステップ５２０〜５５０を、第１のオーディオコンポーネントについて一般的に説明する。

ステップ５２０において、プロセッサ１１０は、オーディオコンポーネントについて、受信した再生テンポを含む再生テンポ範囲を有するオーディオデータのセットが存在するか否かを判定する。存在する場合、さらなるステップ５３０において、受信した再生テンポを含む再生テンポ範囲に関連付けられたオーディオデータセットが選択される。次のステップ５４０において、プロセッサは、後のステップ５６０においてユーザ装置１００のオーディオ出力１６０に音楽トラックを提示するために、選択されたオーディオデータセットを第１のオーディオコンポーネントに割り当てる。

音楽トラックは、第１のオーディオコンポーネントと共に複数のオーディオコンポーネントを形成する１つ以上の追加のオーディオコンポーネントを含むため、音楽トラックの提示は、ステップ５５０において複数のオーディオコンポーネントをミキシングすることを含む。第１のオーディオコンポーネントと同様に、各々のコンポーネントは、少なくとも１つのオーディオデータセットに関連付けられ、各々のオーディオデータセットは、再生テンポ範囲に関連付けられる。第１のコンポーネントと同様に、第１のコンポーネントについてのステップ５２０〜５５０が、図５．１に第２のオーディオコンポーネントについてステップ５２２〜５５２で示されているように、他のコンポーネントについて繰り返される。換言すると、各々の追加のコンポーネントまたは現在のオーディオコンポーネントについて、
・所与のオーディオコンポーネントに関連付けられた複数のオーディオデータセットから、受信した再生テンポを含む再生テンポ範囲に関連付けられたオーディオデータセットを特定および選択するステップと、
・ユーザ装置のオーディオ出力１６０における音楽トラックの提示のために、選択されたオーディオデータセットを所与のオーディオコンポーネントに割り当てるステップと
が繰り返される。

ユーザは、トラック内の任意の位置で再生テンポを変更することができる。ステップ５７０において新たな再生テンポが受信された（ステップ５７０に対する答えが「はい」である）場合、プロセスはステップ５１０に戻り、各々のオーディオコンポーネントの再生テンポ範囲が更新され、したがって必要に応じてオーディオデータセットが変更される。本発明の技術的解決策において、所与のオーディオコンポーネントは、隣接していて共通の再生テンポ境界を共有することができる２つの連続した再生テンポ範囲を含むことができる。入力された再生テンポが速くなることで、この共通の再生テンポ境界を超えると、選択されるオーディオデータセットが変化する。この状況において、再生テンポの更新により、プロセッサ１１０は、現時点において選択されているオーディオデータセットを「オフ」にし、更新された再生テンポが属する再生テンポ範囲に関連付けられたオーディオデータセットを「オン」にする。

図３の例では、再生テンポが１２０ｂｐｍから１００ｂｐｍに変更されると、「ピアノ高」オーディオコンポーネントの１０４〜１７１ｂｐｍの範囲の部分が停止される。「シンセ＆ハープ（Ｓｙｎｔｈｓ ＆ Ｈａｒｐ）」オーディオコンポーネントの６０〜１１５ｂｐｍの範囲の部分が開始される。

図３の例における「ピアノ低」のオーディオチャネルの場合のように、新たな再生テンポがオーディオコンポーネントの２つのオーディオデータセット間の共有の境界に位置する場合、プロセッサは、フェードパラメータを使用して２つの隣接する部分の間のクロスフェードを達成する。フェードパラメータは、再生テンポがしきい値ｂｐｍ値を横切った直後にフェードを開始するか、あるいは次の小節の最初のビートまで開始を遅らせるかを示すパラメータを含む。さらに、フェードパラメータは、どの程度速く、またはゆっくりとフェードを発生させるべきかを指定するパラメータを含む。

ステップ５７０において更新された再生テンポが受信されない（ステップ５７０に対する答えが「いいえ」である）場合、プロセスは、ステップ５６０でミキシングされた現在のオーディオデータセットによる音楽トラックの提示を続ける。

入力された再生テンポがオーディオデータセットのネイティブなテンポに正確には一致しないが、そのオーディオデータセットのテンポ範囲内にある場合、ユーザは、本発明のオーディオミキシングの開始時にオーディオデータセットのタイムストレッチを有効にすることを選択し得る。タイムストレッチは、曲が再生テンポの変更以外では耳にとって「おなじみ」のままであるように、ピッチに影響を及ぼすことなくオーディオ信号の速度または持続時間を変更する処理である。図５．１の例のようにタイムストレッチが無効にあれたとき、再生テンポ範囲において選択されて入力された再生テンポが、オーディオデータセットの提示に影響を及ぼすことはない。

図５．２は、タイムストレッチがユーザによって有効にされた本発明のオーディオミキシングの技術的解決策の一例を示している。このさらなる構成におけるステップは、図５．１の割り当てるステップ５４０および５４２が、ステップ５４１および５４３にそれぞれ置き換えられていることを除いて、図５．１に示した構成のステップと同様である。

ステップ５４１および５４３は、所与のオーディオデータセットについて、入力された再生テンポがオーディオデータセットのネイティブな再生テンポと異なる場合に実行されるタイムストレッチ処理をそれぞれ説明する。より正確には、現時点の選択されたオーディオデータセットについて、ユーザ装置１００のプロセッサ１１０は、選択されたオーディオデータセットのタイムストレッチ処理を実行し、タイムストレッチ処理は、選択されたオーディオデータセットを変換して、入力された再生テンポおよび制御されたピッチで提示されるように意図された修正後オーディオデータセットを生成することを含む。次いで、修正後オーディオデータセットが、選択されたオーディオデータセットの代わりに（あるいは、選択されたオーディオデータセットとして）オーディオコンポーネントへの割り当てに使用される。

図３の例においては、９５ｂｐｍの再生テンポにおいて、オーディオミキサは、「ピアノ低（Ｐｉａｎｏ ｌｏｗ）」チャネル、第１の「ストリングス（Ｓｔｒｉｎｇｓ）」チャネル、「ハープ：シンセ（Ｈａｒｐ：Ｓｙｎｔｈｓ）」チャネル、および「シンセ＆ハープ（Ｓｙｎｔｈｓ ＆ Ｈａｒｐ）」チャネルのみを選択する。これらのコンポーネントのオーディオデータセットは、それぞれ７０ｂｐｍ、７０ｂｐｍ、１２０ｂｐｍ、および７０ｂｐｍのネイティブ再生テンポを有する。したがって、オーディオデータセットは、１２０ｂｐｍから９５ｂｐｍへと下方にストレッチされる「ハープ：シンセ（Ｈａｒｐ：Ｓｙｎｔｈｓ）」のオーディオデータセットを除いて、７０ｂｐｍから９５ｂｐｍにストレッチされる。

ステップ５４１および５４３において、オーディオデータセットをそのネイティブ再生テンポからタイムストレッチして、受信した再生テンポで提示されるように意図された修正後オーディオデータセットを生成するために、種々の技術が当業者にとって利用可能である。同様に、音楽トラックのアレンジをさらにもっと耳に心地よいものにするために、図５．２のミキシングステップ５５１に関して、多数の技術が利用可能である。これらの技術的解決策は、本明細書の範囲を超える。しかしながら、依然として本発明の技術的解決策において、適切なタイムストレッチにとって大きすぎる可能性がある再生テンポ範囲の影響を制限することによって、改善された再生テンポコントローラがユーザに提案される。

選択されたオーディオデータのセットのミキシングを含む図５．１のミキシングステップ５５０は、図５．２のこのさらなる構成において、修正後オーディオデータセットがミキシングされるミキシングステップ５５１で置き換えられる。ひとたびミキシングされると、修正後オーディオデータセットは、ステップ５５１において、受信した再生テンポで提示されるように意図された音楽トラックにミキシングされ、本発明の方法は、ステップ５６０において例えばユーザ装置１００のオーディオ出力１６０において音楽トラックを提示することによって続けられる。図５．１の構成と同様に、プロセッサは、ステップ５７０において、新たな再生テンポ値が受信されたかどうかを監視する。

新たな再生テンポが受信されない（ステップ５７０に対する答えが「いいえ」である）場合、本発明の方法はステップ５６０に進み、オーディオ出力１６０に音楽を提示するために種々のオーディオコンポーネントをミキシングする。

更新された再生テンポが受信された（ステップ５７０に対する答えが「はい」である）場合、プロセッサ１１０は、更新された再生テンポを新たな現在の再生テンポとみなす。次いで、すでに説明した図５．２のステップ５１０〜５６０が繰り返される。この場合、２つのシナリオが展開される可能性がある。

第１のシナリオにおいては、更新された再生テンポが、以前の再生テンポと同じ再生テンポ範囲に含まれるため、選択されたオーディオデータセットを変更する必要がない。代わりに、更新された再生テンポは、タイムストレッチングに影響を及ぼし、修正後オーディオデータセットの更新が必要である。実際、以前の再生テンポと同じ選択されたオーディオデータセットを使用して、更新された再生テンポで提示されるように意図された更新された修正後オーディオデータセットが、以前の修正後オーディオデータセットをタイムストレッチすることによって生成され、オーディオコンポーネントに割り当てられた以前の修正後オーディオデータセットが、更新された修正後オーディオデータセットで置き換えられる。

第２のシナリオにおいては、更新された再生テンポが、異なる再生テンポ範囲に含まれるため、選択されたオーディオデータセットを変更する必要がある。これは、更新された生成テンポが、例えば２つの連続した再生テンポ範囲の間の再生テンポ境界を横切ると発生する。したがって、プロセッサ１１０は、修正後オーディオデータセットをオフにし、新たな再生テンポに対応する再生テンポ範囲を有するオーディオデータセットが存在する場合、新たな再生テンポ範囲に関連付けられたオーディオデータセットをオンにする。これは、更新された再生テンポと新たに選択されたオーディオデータセットのネイティブ再生テンポとの間の差を考慮するために必要とされる可能性があるタイムストレッチを実行する前に行われる。

オーディオコンポーネントについてオーディオデータセットの変化が生じるとき、音楽トラックのレンダリングが、例えばオーディオデータセットの突然の変化またはビートの欠落によって影響を受ける可能性がある。この状況に対処するための種々の技術的解決策が、以下に提示される。それらは、タイムストレッチが含まれる場合の図５．２のオーディオミキシングの技術的解決策の構成に関連して説明されるが、タイムストレッチが使用されず、あるいは無効にされる場合にも使用可能である。

更新された再生テンポが、例えば音楽トラックの提示から２分など、第１の瞬間に受信されると仮定する。このとき、オーディオコンポーネントについて更新された修正後オーディオデータセットを使用する音楽トラックの提示は、オーディオデータセットの変更にかかわらずトラックの提示をギャップレスまたは連続的にするために第１の瞬間を考慮する。

第１の瞬間は、いつ再生テンポしきい値を横切るかを判断するために使用され、すなわち、しきい値を横切ったオーディオコンポーネント（例えば、図３の例における区間３１１および３１２の間の１００ｂｐｍの再生テンポにおけるピアノ低のチャネル）について以前のオーディオデータセットをオフにし、代わりに使用される更新された修正後オーディオデータセットをオンにするタイミングを判断するために使用される。

本発明の方法のさらなる構成において、ユーザは、以前の修正後オーディオデータセットと更新された修正後オーディオデータセットとの間のクロスフェードを定めることができ、クロスフェードは、第１の瞬間の後に開始される。結果として、移行を和らげるために、以前の修正後オーディオデータセットのオフを、予め設定された継続時間にわたって実行することができる。

さらに、更新されて受信された再生テンポがテンポ範囲の変化を引き起こすとき、更新された修正後オーディオデータセットを使用する音楽トラックを、第１の瞬間の後の遅延を使用して提示することができる。遅延を、完了したビートの数に関して定めることができる。音楽トラックの提示の速度を定める再生テンポを、音楽トラックのビート間の時間間隔とみなすことができる。遅延は、以前の再生テンポまたは更新された再生テンポのいずれかを使用して測定される予め設定された完了ビート数の関数であってよい。

さらに、１つのオーディオデータセットから別のオーディオデータセットへの移行は、各々のオーディオデータセットに関する音量を制御することができる。再び図３を参照すると、オーディオデータセットを表す各々のセクションは、横方向に延びる音量曲線に関連付けられている。セクション３０１または３１１に目を向けると、セクションの左側が、オーディオデータセットの音量について例えば０という最小値を定める一方で、右側の縁は、例えば１という最大値を定める。セクション３０１および３１１から分かるように、例えば区間［０−１］または任意の他の値の範囲に含まれる音量値を、再生テンポ範囲の各々の再生テンポについて定めることができる。音量値は、テンポ範囲にわたって音量曲線を定め、これをオーディオデータセットに対するさらなる制御として使用することができる。それを、再生テンポしきい値におけるオーディオデータセット間の移行の状況において、第１の再生テンポ範囲の上限に近づくにつれて音量を下げ、第２の再生テンポ範囲の下限から離れてより高い生成テンポ値に移動するときに音量を上げることによって、好都合に使用することができる。

さらに、音量曲線を、とりわけ第１のオーディオデータセットに隣接する、他のオーディオデータセットが利用可能ではない場合に、第１のオーディオデータセットの再生テンポ範囲の端において第１のオーディオデータセットの音量を下げるために使用することもできる。

本発明のオーディオコントローラは、テンポ範囲に制限を受けることなく、かつ特定のテンポでパフォーマンスを低下させることなく、適応的な音楽の生成を可能にし、音楽トラックの再生テンポをリアルタイムでトラックの任意の時点においてユーザ／聞き手に変更させる。本発明のオーディオミキシングの技術的解決策を使用して、聞き手は、熟練者またはリミックスの専門家を必要とせずに、適応的なトラックを任意のテンポでより良く聞こえるようにすることができる。

それ自体も興味深いが、この種の適応的な音楽は、特定の活動に特に適する。例えば、モバイルランニングのアプリケーションが、聞き手のランニングの速度に合わせて適応的なトラックのテンポを自動的に調整することができ、あるいはインターバルトレーニングのセッションにおいて運動中の適切な時点で適応的なトラックのテンポを変更することによって聴取者を案内することができる。スキーのアプリケーションが、トラックの速度を、スキーヤーの速度に応じて、丘の頂上では低速かつグラインディング（ｇｒｉｎｄｉｎｇ）にし、スキーヤーがより高速で滑り降りるほどより高速かつより活発にすることができる。ダンスパーティーにおいて、順番に音楽のテンポを制御することで、誰もが自身のビートに合わせて踊ることができる。ダンス教室において、インストラクターが遅いテンポで振り付けを説明し、ダンサーがステップに慣れるにつれて、インストラクターは音楽のスピードを上げるができる。等々。

本開示において説明されるように、音楽トラックを適応的にするために、トラックは、ステムの集まりと、それらのステムのアレンジを再生テンポに合わせてどのように変化させるべきかについての説明とで構成される。任意の所与の再生テンポにおいて、アーティストは、再生すべきステムおよび再生すべきでないステム、再生開始時または再生終了時のステムの移行方法、ならびに各々のステムの相対的な音量を制御することができる。この制御は、図３の典型的なＧＵＩ、ならびに例えばステムの再生テンポ範囲、ネイティブ再生テンポ、音量、タイムストレッチが有効であるか否かを変えることによる各々のサブ部分／ステムの特性のさらなる制御を使用して、容易に達成される。

オーディオコントローラは、ステムをローカルストレージから単にインポートし、あるいは任意の利用可能な標準オーディオフォーマットにて無線でストリーミングする。

図３に見られるように、色付きの各々の箱またはサブ部分は、トラック内の１つのステムを表し、箱は、オーディオコンポーネントに関連付けられたバー要素に縦方向にグループ化されている。図３の例は、３つのピアノチャネルおよび５つのステムと、３つのストリングチャネルおよび３つのステムと、４つのハープ／ストリングチャネルおよび５つのステムとで構成されている。それぞれのステムは、３つの別々のネイティブテンポ、すなわち７０、１２０、および１７２ｂｐｍのうちの１つで録音されている。

各々のステムのテンポしきい値が、そのステムを再生すべき再生テンポ範囲をオーディオコントローラに伝える。ここで、特定の再生速度に関して、本発明のオーディオコントローラは、各々のオーディオコンポーネントについて再生する適切なステムセットを選択し、それぞれをネイティブの速度から再生速度にタイムストレッチし、結果をミキシングして聞き手へと再生する。例えば、（図４．２のような）再生速度１１２ｂｐｍにおいて、オーディオミキサは、ミッドテンポのステムをすべて選択し、それらをネイティブの１２０ｂｐｍから１１２ｂｐｍの再生テンポにストレッチし、結果をミキシングして再生する。

再び図３に戻ると、再生速度８５ｂｐｍにおいて、オーディオミキサは、ピアノ低チャネル、第１のストリング、ならびに第１および第２のハープ／シンセサイザのみを選択する。これらのステムは、１２０ｂｐｍから９５ｂｐｍに下方にストレッチされる第１のハープ／シンセサイザを除いて、７０ｂｐｍから９５ｂｐｍにストレッチされる。

聞き手は、トラック内の任意の位置で再生速度を変更することができる。ステムのテンポしきい値のうちの１つを横切ると、オーディオコントローラは、必要に応じてそのステムの再生を停止または開始する。すでに説明したように、移行がどのように生じるべきかを、例えばステムのクロスフェードを使用して指定することができる。

本発明のオーディオコントローラは、雰囲気／ジャンル／感触／音／などが異なるテンポ範囲において可能な限り異なる場合に最良である適応的なリスニング体験を提供する。考え方は、オリジナルとは異なるテンポでの音楽トラックのリミックスに類似する。一般に、聞き手は、リミックスが単に異なるテンポでの元の再生のように聞こえることを望むのではなく、むしろリミックスについて新たなテンポに適した新たなジャンル／音を選ぶと考えられる。本発明のサウンドミキシングの技術的解決策を使用して、ユーザは、再生テンポの変化が滑らかかつ徐々に音楽トラックの特性全体も変化させるように、所与のオーディオコンポーネントに対して追加のステムを追加し、あるいはさまざまなステムを選択することができる。

本発明の技術的解決策によれば、ＡｄｅｌｅのＨｅｌｌｏのような曲を、ゆっくりとしたテンポにおいては幻想的なバラードのように聞き、中間的な範囲においては陽気なヒップホップのトラックのように聞き、より速いテンポにおいてはＥＤＭスタイルに切り替えることができる。

本出願の出願人は、音楽トラックが、本発明の再生テンポ制御の技術的解決策を使用して、例えば６０〜２４０ｂｐｍおよびそれ以上などのきわめて広いテンポ範囲にわたって良好に聞こえることを見出した。これにより、低いＢＰＭでのウォーキングから、毎分約１４０ステップでのランニング、典型的には毎分１８０ステップを保って走る長距離ランナー、および毎分２００ステップをはるかに超えて生じる短距離走への移行が可能になる。聞き手にとって他の多数の活動は、これほど極端でないテンポのニーズにて音楽を適応させることを必要とするであろう。

上記の説明は、オーディオデータを再生するシステムを論じているが、これらの原理が、オーディオを利用するあらゆるアプリケーションまたはメディアに当てはまることを、理解できるであろう。例えば、ビデオは、全体としてのビデオの構成部分として、ビデオフレームおよびオーディオデータを含む。このアプリケーションを、そのビデオのオーディオ部分に適用することができる。結果として、ランニング、スキー、または他のスポーツに関する有益なアプリケーションの多くを、ユーザがオーディオを聴き、また関連のビジュアルも見ることができるジムの環境において提供することができる。ユーザ入力の変化に応じてオーディオ要素のテンポを変えるという考え方は、ビデオフレームにも適用可能である。

この文書を通して提供されるオーディオアプリケーションの例は、音楽に関連している。しかしながら、論じられたアプリケーションを、他の種類のオーディオにも適用できることを、理解できるであろう。例えば、これらの原理は、「左、右、左、右」などのリズムを有するランナーへの可聴指示を含むオーディオトラックに適用可能である。その場合、これらの指示を、テンポに関連する特性に応じて変化させることができる。

さらに、電子装置の表示装置上に描かれるユーザインタフェース（ＵＩ）を制御するための方法も提供され、ＵＩは、各々が互いに平行に第１の方向に延びており、複数のメディア要素を含んでおり、各メディアコンポーネントが再生動作モードにあるときに出力をもたらすべく組み合わせられるようにアレンジされたメディアコンポーネントと、各々が第１の方向において、複数の第１のメディア要素が再生されることになっている下側および上側の再生テンポを表す第１および第２の端部によって境界付けられている複数のメディアコンポーネントのうちの第１のメディアコンポーネントの複数の第１のメディア要素と、ユーザ入力に応答して第１の方向に移動可能であり、再生動作モードにあるときの複数のメディアコンポーネントの再生テンポを表すグラフィカル要素とを備えており、電子装置のプロセッサが、グラフィカル要素を第１の方向に移動させるためのユーザ入力に応答して、グラフィカル要素の現在位置を判断し、第１のメディアコンポーネントについて、複数の第１のメディア要素のうちでグラフィック要素が第１の方向において第１および第２の端部の間に位置する第１のメディア要素を判断するように構成され、それによって第１のメディア要素が選択され、再生動作モードにあるときに出力用のメディアコンポーネントの組み合わせの一部を形成する。

選択されたメディア要素を、強調表示することができる。他のメディアコンポーネントに対応する他のメディア要素であって、グラフィック要素が第１の方向において第１および第２の端部の間に位置する他のメディア要素も、強調表示することができる。グラフィカル要素は、複数のチャネルの各々と交差する第２の方向に延びる少なくとも一部分を有することができる。グラフィカル要素とメディア要素との間の交差は、そのメディア要素が出力用のメディアコンポーネントの組み合わせの一部を形成すべく選択されるという事実を表すことができる。第２の方向は、第１の方向に対して垂直であってよい。

このＵＩ制御方法を、本明細書において説明され、特許請求の範囲において定義される本開示の種々の他の態様と組み合わせることができることを、理解できるであろう。

上述の装置機能を提供するように構成された電子装置を提供することができる。

使用時にプロセッサが上述のＵＩ制御方法を実行することを可能にするように構成されたコンピュータ可読命令を含むコンピュータ可読媒体を提供することができる。

図６は、コンピューティングデバイス６００の一実施例のブロック図を示しており、コンピューティングデバイス６００において、本明細書に記載の方法のうちの任意の１つ以上をコンピューティングデバイスに実行させるための命令一式を実行することができる。別の実施例においては、コンピューティングデバイスを、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エクストラネット、またはインターネット内の他のマシンに接続（例えば、ネットワーク接続）することができる。コンピューティングデバイスは、クライアント−サーバネットワーク環境においてはサーバまたはクライアントマシンの役割で動作でき、ピアツーピア（または、分散型）ネットワーク環境においてはピアマシンとして動作することができる。コンピューティングデバイスは、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話機、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチまたはブリッジ、あるいは行うべき動作を指定する１組の命令（順次またはその他）を実行することができる任意のマシンであってよい。さらに、コンピューティングデバイスが１つだけ示されているが、「コンピューティングデバイス」という用語は、本明細書に記載の方法のうちの任意の１つ以上を実行すべく単独または協働して１組（または、複数組）の命令を実行するマシン（例えば、コンピュータ）の任意の集合も含むように理解されるべきである。

典型的なコンピューティングデバイス６００は、バス６３０を介して互いに通信する処理装置６０２、メインメモリ６０４（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）またはラムバスＤＲＡＭ（ＲＤＲＡＭ）などのダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックメモリ６０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）、および二次メモリ（例えば、データ記憶装置６１８）を含む。

処理装置６０２は、マイクロプロセッサや中央処理装置などの１つ以上の汎用プロセッサを表す。より具体的には、処理装置６０２は、複合命令セット演算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット演算（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実行するプロセッサ、または命令セットの組み合わせを実行するプロセッサであってよい。さらに、処理装置６０２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどの１つ以上の専用処理装置であってもよい。処理装置６０２は、本明細書で説明した動作およびステップを実行するための処理ロジック（命令６２２）を実行するように構成される。

コンピューティングデバイス６００は、ネットワークインタフェースデバイス６０８をさらに含むことができる。さらに、コンピューティングデバイス６００は、ビデオ表示ユニット６１０（例えば、液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））、英数字入力装置６１２（例えば、キーボードまたはタッチスクリーン）、カーソル制御装置６１４（例えば、マウスまたはタッチスクリーン）、およびオーディオ装置６１６（例えば、スピーカ）を含むことができる。

データ記憶装置６１８は、本明細書に記載の方法または機能のうちの任意の１つ以上を具現化する１組以上の命令６２２を格納する１つ以上の機械可読記憶媒体（または、より具体的には、１つ以上の非一時的なコンピュータ可読記憶媒体）６２８を含むことができる。また、命令６２２は、コンピュータシステム６００による実行時に、全体または少なくとも一部がメインメモリ６０４内および／または処理装置６０２内に存在することができ、メインメモリ６０４および処理装置６０２もコンピュータ可読記憶装置を構成する。

上述のさまざまな方法を、コンピュータプログラムによって実施することができる。コンピュータプログラムは、上述のさまざまな方法のうちの１つ以上の方法の機能を実行するようにコンピュータに対して指示するように構成されたコンピュータコードを含むことができる。そのような方法を実行するためのコンピュータプログラムおよび／またはコードを、１つ以上のコンピュータ可読媒体、またはより一般的にはコンピュータプログラム製品にて、コンピュータなどの装置に提供することができる。コンピュータ可読媒体は、一時的であっても、非一時的であってもよい。１つ以上のコンピュータ可読媒体は、例えば、電子、磁気、光学、電磁気、赤外線、または半導体システム、あるいは例えばインターネットを介したコードのダウンロードなどのデータ伝送のための伝搬媒体であってよい。あるいは、１つ以上のコンピュータ可読媒体は、半導体または固体メモリ、磁気テープ、リムーバブルなコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、剛体磁気ディスク、ならびにＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、またはＤＶＤなどの光ディスクなどの１つ以上の物理的なコンピュータ可読媒体の形態をとることができる。

一実施例においては、本明細書で説明されるモジュール、構成要素、および他の特徴を、ディスクリートな構成要素として実現することができ、あるいはＡＳＩＣ、ＦＰＧＡ、ＤＳＰ、または同様の装置などのハードウェア構成要素の機能に統合することができる。

「ハードウェア構成要素」は、特定の動作を実行することができる有形の（例えば、非一時的な）物理的構成要素（例えば、１つ以上のプロセッサの組）であり、特定の物理的方法で構成または配置され得る。ハードウェア構成要素は、特定の動作を実行するように恒久的に構成された専用の回路または論理を含むことができる。ハードウェア構成要素は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはＡＳＩＣなどの専用プロセッサであってよく、あるいはそのような専用プロセッサを含むことができる。また、ハードウェア構成要素は、特定の動作を実行するようにソフトウェアによって一時的に設定されるプログラマブルな論理または回路を含むことができる。

したがって、「ハードウェア構成要素」という表現は、特定の方法で動作し、あるいは本明細書に記載の特定の動作を実行するように、物理的に構築され、恒久的に構成（例えば、配線）され、あるいは一時的に設定（例えば、プログラム）され得る有形の実体を包含すると理解されるべきである。

さらに、モジュールおよび構成要素を、ハードウェア装置内のファームウェアまたは機能回路として実現することができる。さらに、モジュールおよび構成要素を、ハードウェア装置およびソフトウェア構成要素の任意の組み合わせで実現することができ、あるいはソフトウェア（例えば、機械可読媒体または伝送媒体に格納または別の方法で具現化されたコード）のみにて実現することができる。

特に断りのない限り、以下の説明から明らかなように、本明細書の全体を通して、「受信する」、「決定する」、「比較する」、「可能にする」、「維持する」、「特定する」、「選択する」、「割り当てる」などの用語を用いた議論が、コンピュータシステムまたは同様の電子コンピューティングデバイスの動作および処理であって、コンピュータシステムのレジスタおよびメモリにおいて物理的な（電子的な）量として表されるデータを操作し、コンピュータシステムのメモリまたはレジスタあるいは他のそのような情報記憶装置、伝送装置、または表示装置内の物理的な量として同様に表される他のデータに変換する動作および処理を指すことを、理解できるであろう。

以上の説明が例示を意図しており、限定を意図していないことを、理解すべきである。以上の説明を検討および理解することで、多数の他の実施例が、当業者にとって明らかであろう。本開示を、特定の典型的な実施例を参照して説明したが、本開示が、説明した実施例に限定されず、むしろ添付の特許請求の範囲の技術的思想および技術的範囲の範囲内で、変更および調整を伴って実施可能であることを、理解できるであろう。したがって、本明細書および図面は、限定の意味ではなく、例示の意味で考慮されるべきである。したがって、本開示の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲に与えられる均等物の全範囲と共に決定されるべきである。

Claims (26)

1. 制御可能なテンポを有するようにアレンジされたオーディオ出力を形成するために使用されるように構成された複数のオーディオコンポーネントを含む適応型メディアファイルを構築するための方法であって、
   前記複数のオーディオコンポーネントのうちの第１のオーディオコンポーネントに関連付けられた第１のオーディオデータを用意するステップと、
   前記第１のオーディオデータの再生テンポ範囲を設定するステップと、
   前記第１のオーディオコンポーネントに関連付けられた第２のオーディオデータを用意するステップと、
   前記第２のオーディオデータの再生テンポ範囲を設定するステップであって、前記第２のオーディオデータの前記テンポ範囲が前記第１のオーディオデータの前記テンポ範囲とは異なる、再生テンポ範囲を設定するステップと、
   前記第１のオーディオデータ、前記第２のオーディオデータ、および前記それぞれの再生テンポ範囲を関連付けるステップと
   を含む、方法。
2. 前記第１のオーディオデータ、前記第２のオーディオデータ、および前記それぞれの再生テンポ範囲は、ファイル構造内に配置されることによって関連付けられる、請求項１に記載の方法。
3. 前記第１のオーディオデータ、前記第２のオーディオデータ、およびそれぞれの再生テンポ範囲は、前記第１および第２のオーディオデータに関連付けられたメタデータにおける参照によって関連付けられる、請求項１に記載の方法。
4. 前記第１のオーディオデータの前記再生テンポ範囲は、前記第１のオーディオデータのメタデータに組み込まれる、請求項１〜３のいずれか一項に記載の方法。
5. 前記第１のオーディオデータの前記再生テンポ範囲は、下側テンポおよび上側テンポを表すデータを提供する、請求項１〜４のいずれか一項に記載の方法。
6. 再生時に、前記第１のオーディオデータは、再生テンポが前記下側テンポより上かつ前記上側テンポよりも下、または前記下側テンポ以上かつ前記上側テンポ以下のいずれかであるときに、前記オーディオ出力の一部として提示されるようにアレンジされる、請求項５に記載の方法。
7. 前記第１のオーディオデータは、或るテンポを有し、前記下側テンポおよび前記上側テンポを表す前記データは、実際の上側テンポおよび実際の下側テンポ、あるいは前記第１のオーディオデータのテンポを上回る毎分のビート数および下回る毎分のビート数の一方である、請求項５に記載の方法。
8. 前記第１のオーディオデータの前記テンポ範囲は、前記第１のオーディオデータがタイムストレッチされるべき最大および最小テンポを定める、請求項１〜７のいずれか一項に記載の方法。
9. 前記用意するステップは、音を録音して前記オーディオデータを形成すること、オーディオ制作ツールを使用して前記オーディオデータを生成すること、または前記オーディオデータをインポートすることのうちの１つ以上によって達成される、請求項１〜８のいずれか一項に記載の方法。
10. 前記第１のオーディオデータおよび前記第２のオーディオデータは、第１および第２のオーディオファイルである、あるいは第１および第２のオーディオファイルから導出される、請求項１〜９のいずれか一項に記載の方法。
11. 前記第１のオーディオデータ、前記第２のオーディオデータ、および前記それぞれの再生テンポ範囲を関連付けるステップは、前記適応型メディアファイルに含まれる１つ以上の構成ファイルに基づく、請求項１０に記載の方法。
12. 前記複数のオーディオコンポーネントのうちの前記第１のオーディオコンポーネントに関連付けられた前記第１のオーディオデータは、前記適応型メディアファイル内で特定される、請求項１〜１１のいずれか一項に記載の方法。
13. 前記適応型メディアファイルは、オーディオファイルまたはビデオフレームデータと関連のオーディオデータとを含むビデオファイルの一方である、請求項１〜１２のいずれか一項に記載の方法。
14. 使用時に請求項１〜１３のいずれか一項に記載の方法のプロセッサによる実行を可能にするように構成されたコンピュータ可読命令を含んでいるコンピュータ可読媒体。
15. 制御可能なテンポを有するようにアレンジされたオーディオ出力を形成するための複数のオーディオコンポーネントを含むデータを提供するための適応型メディアファイルであって、
    前記複数のオーディオコンポーネントのうちの第１のオーディオコンポーネントに関連付けられた第１のオーディオデータと、
    前記第１のオーディオデータの再生テンポ範囲と、
    前記複数のオーディオコンポーネントのうちの前記第１のオーディオコンポーネントに関連付けられた第２のオーディオデータと、
    前記第２のオーディオデータの再生テンポ範囲と
    を含んでおり、
    前記第２のオーディオデータの前記テンポ範囲は、前記第１のオーディオデータの前記テンポ範囲とは異なり、
    前記第１のオーディオデータ、第２のオーディオデータ、および前記それぞれの再生テンポ範囲は、互いに関連付けられている、適応型メディアファイル。
16. 前記第１のオーディオデータ、前記第２のオーディオデータ、および前記それぞれの再生テンポ範囲は、ファイル構造内に位置することによって関連付けられている、請求項１５に記載の適応型メディアファイル。
17. 前記第１のオーディオデータ、前記第２のオーディオデータ、およびそれぞれの再生テンポ範囲は、前記第１および第２のオーディオデータに関連付けられたメタデータにおける参照によって関連付けられている、請求項１５に記載の適応型メディアファイル。
18. 前記第１のオーディオデータの前記再生テンポ範囲は、前記第１のオーディオデータのメタデータに組み込まれる、請求項１５〜１７のいずれか一項に記載の適応型メディアファイル。
19. 前記第１のオーディオデータの前記再生テンポ範囲は、下側テンポおよび上側テンポを表すデータを提供する、請求項１５〜１８のいずれか一項に記載の適応型メディアファイル。
20. 再生時に、前記第１のオーディオデータは、再生テンポが前記下側テンポより上かつ前記上側テンポよりも下、または前記下側テンポ以上かつ前記上側テンポ以下のいずれかであるときに、前記オーディオ出力の一部として提示されるようにアレンジされる、請求項１９に記載の適応型メディアファイル。
21. 前記第１のオーディオデータは、或るテンポを有し、前記下側テンポおよび前記上側テンポを表す前記データは、実際の上側テンポおよび実際の下側テンポ、前記第１のオーディオデータのテンポを上回る毎分のビート数および下回る毎分のビート数、あるいは前記テンポを前記テンポの上方または下方のいずれかにずらすことができる量のうちの一方である、請求項１９に記載の適応型メディアファイル。
22. 前記第１のオーディオデータの前記テンポ範囲は、前記第１のオーディオデータがタイムストレッチされるべき最大および最小テンポを定める、請求項１５〜２１のいずれか一項に記載の適応型メディアファイル。
23. 前記第１のオーディオデータおよび前記第２のオーディオデータは、第１および第２のオーディオファイルであり、あるいは第１および第２のオーディオファイルから導出される、請求項１５〜２２のいずれか一項に記載の適応型メディアファイル。
24. 互いに関連付けられた前記第１のオーディオデータ、第２のオーディオデータ、および前記それぞれの再生テンポ範囲は、前記適応型メディアファイルに含まれる１つ以上の構成ファイルにおいて特定される、請求項２３に記載の適応型メディアファイル。
25. 前記複数のオーディオコンポーネントのうちの前記第１のオーディオコンポーネントに関連付けられた前記第１のオーディオデータは、前記適応型メディアファイル内で特定される、請求項１５〜２４のいずれか一項に記載の適応型メディアファイル。
26. 前記適応型メディアファイルは、オーディオファイルまたはビデオフレームデータと関連のオーディオデータとを含むビデオファイルの一方である、請求項１５〜２５のいずれか一項に記載の適応型メディアファイル。