JP2009529717A - 自動的に楽曲を作成するための方法および装置 - Google Patents

Abstract

音楽生成エンジンは、音楽セクションと、音楽セクションの互いに対する類似性の定量化された指標(例えば、類似性のパーセンテージ)を提供する類似度を含む対応するプロパティとにアクセスすることにより自動的に楽曲を生成する。音楽セクションの順次的な関係は、次いで、類似度を用いて順次的な関係の望ましさを評価するアルゴリズム的プロセスに従って決定される。アルゴリズム的に作成された楽曲は、次いで、その曲をオーディオファイルとしてレンダリングすることにより、または音楽セクションを示すライブラリファイルを記憶することなどにより、記憶することができる。作成された楽曲は、作成された楽曲がタイムラインに沿って第1の次元を有し、かつ異なるオーディオ要素の存在に基づいて深さを提供する第2の次元を有するように異なるオーディオ要素をそれぞれが有するレイヤを含むことができる。

Description

本発明は、一般に、音楽の生成に関し、より詳細には、音楽セクションから楽曲を自動的に作成することに関する。

(関連出願の相互参照)
本出願は、米国法典第35巻第119条の下に、2006年3月10日に出願された「疑似ランダム音楽生成装置」と題する、以前に出願された米国仮特許出願第60/781,603号の利益を主張し、その内容全体を参照により本明細書に組み込む。

潜在的に適合しない部分をつなぎ合わせて単純に編集したものから、様々な粒度レベルで、進行、旋律、またはリズムを数学的に作成する複雑なアルゴリズムまでにわたり、既存の要素から新しい楽曲を自動的に作成することが長い間知られてきた。

既存の解決策は、ビデオ、ゲームなどのための背景音楽など、他の媒体と関連付けて使用されるプロダクション品質の音楽を作成することを求めているユーザに対して、特に不十分さが残っている。これらの解決策は、有用であるためには簡単もしくは不完全過ぎるものであり、あるいは、概して両方であるが、音楽をどのように作曲すべきか、また音楽が曲内でどのように変わり得るかに関して、ユーザに適切な入力を提供しない。さらに、これらの解決策は1次元的であり、通常、音楽的要素を選び、それらを単にタイムラインに沿って接続するだけである。その意味において、作曲された音楽内の潜在的な変化に関する柔軟性の欠如と、仕上げられた製品における深さの欠如とが共に存在する。

任意のスタイルの音楽で楽曲を作成することに適応し、元のオーディオ要素の品質を保持し、要素の深さを提供し、またユーザが、どのように音楽を作曲すべきかについて容易に制御し、かつ構成することのできる自動的な作曲が求められている。

一態様によれば、本発明の実施形態の1つまたは複数の実施形態は、音楽セクションと、音楽セクションの互いに対する類似性の定量化された指標(例えば、類似性のパーセンテージ)を提供する類似度を含む対応するプロパティとにアクセスすることより自動的に楽曲を作成することができる。音楽セクションの順次的な関係は、次いで、類似度を用いて順次的な関係の望ましさを評価するアルゴリズム的プロセスに従って決定される。アルゴリズム的に作成された楽曲は、次いで、その曲をオーディオファイルとしてレンダリングすることにより、または音楽セクションを示すライブラリファイルを記憶することなどにより記憶することができる。

アルゴリズム的プロセスはまた、複数の音楽セクションの順序付けにおいて、各音楽セクションがどのように類似すべきかを決定するためにその値が使用される変動度、ならびに複数の音楽セクションの順序付けにおいて、各音楽セクションがどのようにランダムであるべきかを決定するためにその値が使用されるランダム度を適用することができる。

他の態様によれば、作成された楽曲はレイヤを含み、各レイヤが、音楽セクションに対応する異なるオーディオ要素(トラックと呼ぶことができる)を提供し、したがって、作成された楽曲は多次元であり、第1の次元が、作成された楽曲のタイムラインに対応し、また第2の次元が、作成された楽曲中の各音楽セクション内の異なるオーディオ要素の1つまたは複数の存在に従って、作成された楽曲の深さに対応する。

タイムラインに沿って作成された楽曲中の各音楽セクション内のトラックの存在および不在は、強度パラメータの値に基づくことができ、それは、所定の、またはユーザの仕様に基づいて自動的に生成された強度エンベロープとすることができる。

本発明は、ビジネスプロセス、コンピュータで実施される方法、コンピュータプログラム製品、コンピュータシステムおよびネットワーク、ユーザインターフェース、アプリケーションプログラミングインターフェース(API)などを含む様々な形態で実施することができる。

本発明のこれらの、また他のより詳細かつ特有な機能は、添付の図面を参照して以下の明細でさらに十分に開示される。

以下の記述では、説明を目的として、本発明の1つまたは複数の実施形態の理解を提供するために、流れ図およびシステム構成など、数多くの細部が述べられる。しかし、当業者であれば、これらの特有の細部は本発明を実施するために必要ではないことが明らかであり、かつ明らかとなろう。

図1は、本発明の実施形態による音楽生成システム100を示すブロック図である。音楽生成システム100は、プロセッサと、音楽生成エンジン120が常駐するメモリとを有するコンピュータシステムを備える。対応するプロセッサ、メモリ、オペレーティングシステム、ならびに関係する入力および出力装置を含むコンピュータシステムは、任意の従来システムとすることができる。音楽生成エンジン120は、事前に構成されたオーディオの断片(pieces)から疑似ランダム楽曲を作成するソフトウェアベースの音楽生成エンジンであることが好ましい。作成される音楽は、任意の所望されるユーザ長とすることができ、(同じ入力パラメータを用いて)再現可能であり、またユーザによって直接制御される設定により直接変更することができる。

音楽生成エンジン120は、2つの次元、すなわち、1)時間および2)レイヤ化にわたり、音楽要素を組み合わせることにより、音楽の構成を作成する。以下のいくつかのルールにより音楽セクションを時間で並び替えて、楽曲の代替のバージョンを作成できることが長い間知られてきた。この態様によれば、音楽生成エンジン120は、その断片の全体を通して異なるオーディオ要素の追加または除去を可能にすることにより、他の次元(レイヤ化)を追加する。これらのオーディオ要素により、ユーザ/作曲者が、各セクションに対して(それらが反復される場合であっても)異なる楽器編成、サウンド、またはモチーフを用いて楽曲を作成することができる。直感的であり、かつ分かりやすい入力パラメータを適用することにより、ユーザは、音楽生成エンジン120を用いて所与の曲の異なる多くの変形形態を作成することができる。

音楽生成エンジン120は、様々な用途で楽曲を作成するように動作する。1つの有用な用途は、ビデオプロジェクト用の高品質な音楽サウンドトラックを作曲することである。音楽生成エンジン120は、任意の長さの時間に適合することができ、そのビデオプロジェクトに特有の使用料のいらない音楽を求めるビデオ撮影家による典型的な必要性に適応する。

音楽生成エンジン120はまた、将来使用するために、その時点で記憶される楽曲を作成するようにも動作する。さらに、音楽生成エンジン120は、実時間で動作することができ、それは、特に、対話的な音楽が必要なシステムに対して有用であり得る。可能な用途には、ビデオゲーム音楽(ゲーム中のプレイヤの状況に従って音楽が変化する)、対話的なウェブサイトおよびメニューシステム(ユーザの行う選択に応じて)のための背景音楽、電話の保留時音楽、およびオーディオおよびビデオ装置に対する音楽の代替の「リミックス」を作成することが含まれる。

音楽生成エンジンは、コード進行、旋律、またはリズムを数学的に作成することを試みないことが好ましい。これらの技法は、通常、特定のジャンルまたはスタイルと結びついた結果を生成し、プロダクション品質の音楽にとって十分に適切な結果を生成しないことがしばしばある。そうではなくて、音楽生成エンジン120は、事前に構成されたオーディオ要素を使用することが好ましく、それにより任意のスタイルの音楽で楽曲を作成することに適応し、かつ元のオーディオ要素の品質が保持される。

音楽セクションを順序付けすることに加えて、音楽生成エンジン120は、ユーザが構成することも可能なレイヤ化された曲を提供する。時間の経過に対して異なるオーディオ要素をレイヤ化することにより、同じ音楽セクションが何回も反復される場合であっても、音楽は完全に異なって聞こえる可能性がある。これは、所与のスタイルに対して、ほぼ無限の音楽の組合せの可能性を開くものであり、それは、所与のスタイルが、2つの別の用途において必ずしも同じように聞こえないことを意味する。

音楽生成エンジン120はまた、音楽データベースから動作することが好ましい。データベースは、コンピューティングシステムのハードディスクに記憶することができ、あるいは、それだけに限らないが、ネットワーク(LAN、インターネットなど)を介してアクセスされるものを含む外部ドライブとすることができる。音楽データベースは、音楽セクションへとすでに分割された作品を含むことのできる事前にパッケージされたコンテンツを含むことができる。音楽およびそれに対応する音楽セクションに供給するために、様々な資源を実装することができるが、一例では、音楽生成エンジン120は、ソニーメディアソフトウェア社 (Sony Media Software)のACID技術を用いて定義される音楽セクションを使用することができる。

音楽生成エンジン120は、より簡単な他の音楽生成技術では不可能な、生成された音楽に対する変更に適応する。例えば、テンポ、キー、オーディオ効果、MIDI、ソフトシンセ、およびエンベロープを変更することはすべて、生成される曲の経過を通して可能である。

音楽生成エンジン120はまた、さらなるユーザ「ヒント」を可能にし、ユーザが、自分の生成した音楽中の所与のポイントで、(テンポまたは楽器編成などの)さらなる所望する任意の変更を指定することを可能にする。これらの機能は、最終的に生成された曲に対して、さらに他のレベルの制御を可能にするので有用である。音楽生成エンジン120は、MIDI、(複数の形式で)波形オーディオ、ソフトシンセ、オーディオ効果などを含む様々な特定のメディア技術およびそれらの組合せを使用することができる。最後に、音楽生成エンジン120は、実時間で音楽を生成し、かつプレビューすることができ、ユーザがその音楽をオーディオファイルとしてセーブする用意ができた後、作成された楽曲をレンダリングすることが好ましい。

音楽生成エンジン120の機能のさらなる説明を参照する前に、図1は、音楽生成エンジン120およびそれに対応するモジュールの一実施形態を示していることに留意されたい。前述の機能は、より少ない、より多くの、あるいは異なる名前が付けられたモジュールにより提供することもできる。さらに、例示されたシステムは、ユーザがデスクトップコンピュータ、ラップトップ、パーソナルコンピューティング装置などを実施する場合に出会う可能性のあるものなど、動作環境の一例に過ぎない。音楽生成エンジン120はまた、ネットワーク環境で提供され、またアクセスされ得る。例えば、音楽生成エンジン120の機能は、ユーザがブラウザを呼び出すことによりコンピュータネットワークを介してアクセスすることができる。その機能はまた、様々な装置中に分散させることもできる。

音楽生成エンジン120は、ソフトウェアとして提供されることが好ましいが、それはまた、ハードウェアおよび/またはファームウェアエレメントを含むこともできる。音楽生成エンジン120は、音楽資源アクセスモジュール122、スタイルモジュール124、順序付けモジュール126、レイヤ管理モジュール128、楽曲提示モジュール130、および楽曲ストレージモジュール132を備える。音楽生成エンジン120はまた、前述の音楽データベースと共に動作する。

音楽資源アクセスモジュール122とスタイルモジュール124は、それぞれ、楽曲を作成するための基礎として使用される音楽要素(例えば、セクション)を記憶するデータベースにアクセスし、音楽セクションに対応するプロパティを維持する。以下でさらに十分に説明するように、これらのプロパティは、他の音楽セクションに対する個々の音楽セクションの類似性の定量的な指標(例えば、0〜100%)を提供する類似度を含む、各音楽セクションに関する様々な情報を含む。いくつかの実施形態では、セクションのプロパティの維持は、少なくとも部分的に、音楽データベースにより提供され得ることに留意されたい。すなわち、事前にパッケージ化された音楽データベースは、プロパティを有する予め用意されたセクションを含むことができる。音楽生成エンジン120はまた、適用可能な場合、ユーザがこのような特性を装飾し、かつ管理できるように構成することもできる。

順序付けモジュール126は、楽曲を作成するために音楽セクションを順序付けする。作成された楽曲を有する各音楽セクションは、それぞれ、セクションと関係付けられたプロパティに基づいて順序付けされる。音楽生成エンジン120の一態様によれば、音楽セクションのそれぞれの順次的な関係は、特定の音楽セクションの順序付けの望ましさを評価するために類似度を用いるアルゴリズム的プロセスに従って決定される。さらに、変動性およびランダム性のユーザが構成可能なパラメータは、このような類似度が、音楽セクションのシーケンスを決定するのにどのように適用されるかを規定するが、それを以下でさらに詳細に述べる。

レイヤ管理モジュール128と楽曲提示モジュール130は、それぞれ、楽曲内のレイヤの管理と、その楽曲の視覚的表現をグラフィカルに表示するユーザインターフェースとを提供し、それは、音楽セクションに関してタイムライン方向(「x」方向に示されることが好ましい)と、特定のレイヤの存在または不在による楽曲の「深さ」に対応する方向(「y」方向に示されることが好ましい)で共に表示する。レイヤはオーディオ要素を含み、それはまた、トラックと呼ぶことも可能であり、また「ピアノ」、「ギター」、「ドラムス」、「ベース」および他のものなど、トラック中に表現される楽器に従って名前を付けることができる。

最後に、楽曲ストレージモジュール132は、作成されたときの楽曲に対応する情報(すなわち、そこに含まれた音楽セクションの識別、ならびにそれらの順序付け)を保持する。この情報は、ユーザが、その初期の作成に従って楽曲を編集する場合に、かつその時点で更新される。ユーザが、作成された楽曲に満足した後、セーブ機能によりその作品をセーブすることができ、楽曲ストレージモジュール132は、それに従って機能する。セーブは、(1)レンダリングしたオーディオとして(例えば、WAVファイルとして)、または(2)プロジェクトファイルとして(例えば、生成時の設定の輪郭を示すXMLファイルとして(すなわち、音楽セクションそれ自体を記憶するのではなく、作成された楽曲の音楽セクションを参照して))、作成された曲をセーブするための選択肢を含むことができる。

音楽生成エンジン120、およびそれに対応するモジュールの様々な機能は、エンジンならびに対応するユーザインターフェースの機能を示す表示図を参照してさらに説明する。

音楽生成エンジン120では、「スタイル」は、音楽セクションだけではなく、それに関係する対応するプロパティも示す。これらのプロパティにより、楽曲を生成するためにルールを適用することが可能になる。上記で述べたように、楽曲は、2つの次元で作成され、また表示される。すなわち、x次元は、音楽データ(イベント、エンベロープ、およびグルーヴ(groove))を有するタイムラインである。y次元は、トラック自体であり、それは、通常、異なる楽器またはサウンドを提供する、図2Aは、これらの機能を示す表示図200aである。ここでは、タイムライン202は、小節によりラベル付けされている(各目盛りは小節を示しており、小節1、5、9などが付されている)。曲の深さは、トラックと呼ぶこともできるオーディオ要素(トラック)204a〜dの存在または不在によりグラフィカルに表される。トラックは、ユーザが、どこでトラックがアクティブであり、非アクティブであるかを容易に分かるように、(互いを)区別するグラフィカルな特性を有することが好ましい。さらに、各トラックは、個々のトラックに対する特性をユーザが操作できるようにするボリュームおよび他の制御を有する。音楽の時間およびテンポ206(例えば、毎分120.000拍)などのさらなる情報もまた提供される。

この例では、4つのトラック、すなわち、ピアノ、ギター、ドラムス、およびベースがある。曲の開始時点では、ピアノ、ドラムス、およびベースだけがアクティブである。小節3で、ベースが消え、小節5でギターと共に再度入る。音楽生成エンジン120により、ユーザは従来のカーソル操作を用いて、楽曲に所望の楽器を追加し、または除去することが可能になる。これらのアクションが実施されたとき、楽曲ストレージモジュール132における楽曲の表現が更新される。音楽生成エンジン120は、所与の時間におけるトラックのレイヤ化を変更することにより、あるセクションの別の変形形態を作成する。このスタイルにより、音楽生成エンジン120に所与の曲全体を通してトラックをオンまたはオフできるようにする作曲者により定義されたルールが可能になる。これは、最終的な曲がどのように聞こえるかに関する多くの可能性を開く。

上記の例は、音楽生成エンジンにより作成された楽曲に最終的に影響を与えるスタイルを、作曲者がどのように作成(かつ操作)するはずであるかを示している。より複雑な例では、それぞれが、異なる楽器編成、効果、ボリューム、およびパニングなどを有する何十ものトラックが存在することもあり得る。

いくつかの実施形態では、音楽生成エンジン120は、作曲者の役割をサポートするように備えることができ、また他のものでは、予め作成されたスタイルからの音楽生成だけが提供されるように、機能を限定することができる。すなわち、前者の場合は、音楽生成エンジン120は、トラックとしての楽器の選択にグラフィカルに適応し、また時間の経過に対して、上記で述べたスタイルを作成しかつ編集するように楽器を追加または除去するように備えている。他の実施形態では、音楽生成エンジン120は、(ユーザの見方から)ユーザがスタイルを編集しかつ操作することを必要とせずに、または必ずしもそのようにさせることなく、予め確立されたスタイルから楽曲を生成する。

図2Bは、タイムラインに沿って(すなわち、「x」次元で)、音楽セクションを示す表示図200bである。セクションは、生成される曲における可能な主題の構成を決定するために使用される時間範囲である。この例は、2つのセクション(セクション1(208a)およびセクション2(208b))を有する曲を示す。これらは、音楽用語を使用すると、「バース」、および「コーラス」とラベル付けすることもできる。音楽生成エンジン120は、所与のセクションが完了したときに行われるものに関するルールを定義する。例えば、セクション1の最後で、作曲者は、セクション1それ自体を反復するか、あるいはセクション2へと継続できるように決めることができる。同様に、セクション2の後、作曲者は、セクション2が、セクション1に戻ること、セクション3(図示せず)に進むこと、または1つまたは複数の可能なエンディング(図示せず)へと進むことができるように決めることができる。これらの時間順序付けルールにより、音楽生成エンジン120は、生成される音楽に対してユーザの所望する時間によく適合した曲を作成することができる。

これらの時間順序付けルールにより、音楽生成エンジン120は、生成される音楽に対してユーザの所望する時間によく適合した曲を作成することができる。例として、各セクションが8秒の長さであり、ユーザが30秒の音楽を求める場合、出力は、セクション1-セクション2-セクション1-セクション2となり得る。

前述のように、音楽生成エンジン120は、セクションに関係するプロパティを記憶する。これらのプロパティはセクションの長さを含む。セクションの長さは、時間(例えば、秒)ではなく、可変の拍により定義することができるが、あるいは、代替的に、時間の持続期間として定義することができる。したがって、特定のセクションに対するプロパティの記憶されたレコードは、セクションに対応する拍数を含む。図2Bを参照して説明すると、ラベル「1.1」および「9.1」は、それぞれ、x軸に沿って、小節1、拍1および小節9、拍1を示す。表示の下側部分で、音楽は4/4であるという指示があるが、それは、1小節当たり4拍あることを意味する。したがって、セクション1は4小節を有し、また16拍のセクションである。

あるセクションに対する記憶されたプロパティは拍を含むが、その後に時間の単位への変換があり得る。この変換は、次いで、テンポの設定に基づくことができる。すなわち、セクション1が16拍であり、テンポ設定が毎分120拍である場合、得られた計算は、セクションが、対応する長さを時間で有するように決定することができる。

上記の例で続けると、これらの計算は、32秒の長さである1片の音楽を作成することができ、それは、所望の30秒の音楽に対して最もよく適合している。この時点で、ユーザは、32秒の音楽で満足してもよく、余分の音楽を消すように決定することもでき、あるいはその曲を正確に30秒に適合するようにテンポを変更することもできる。

音楽生成エンジン120は、まず、以下のアルゴリズム的プロセスに関してさらに述べるように、そのプロパティ(例えば、類似度)およびユーザ設定(例えば、変動性およびランダム性)に従って、またその曲の要求される長さに従って、順序付けするのに適切なセクションを選ぶことにより、音楽を生成することが好ましい。

歌のアレンジメント(arrangement)が選択された後、複数のセクションを有する動的に変化するレイヤ化された曲を作成するように、各セクションにおいて、トラックが追加されまた除去される。典型的な音楽生成エンジン120のスタイルは、多くのセクションを有することができ、そのセクションが完了したとき、それぞれが、行われ得ることに関するその1組のルールを有する。しかし、上記の例であっても、変化する楽器編成を有する2つの特有なセクションは、曲の多くの変形形態に適応する。例えば、生成された音楽は、新しい楽器が追加される度に4回反復されるセクション1を有することができる。次いで、セクション2を選択することができ、楽器を、さらに追加または除去することができる。

一実施形態では、音楽生成エンジンは、まず、シーケンス情報(セクションの順序)を生成し、それに続いて、レイヤ化情報を生成することにより曲を作成する。レイヤ化は、各セクションに対して、ムード、アレンジメント(arrangement)、および強度設定を割り当てることにより行われる。したがって、得られた曲は、メモリ中に以下の情報を有する。

a)セクション1(ムード=A、アレンジ=1、強度=10%)
b)セクション2(ムード=A、アレンジ=1、強度=50%)
c)セクション3(ムード=B、アレンジ=1、強度=80%)
音楽が実際に(再生またはレンダリングのために)生成されたとき、セクションを、新しいプロジェクトファイルとして書き出すことができ、各セクションに対するムード、アレンジメント(arrangement)、および強度が、そのセクションに使用される実際のレイヤ(トラック)を決定するために使用される。

図2Cは初期の生成およびレイヤ化オペレーションの後のカスタマイズされた楽曲を示す表示図200cである。この例では、生成される音楽は、ドラムスで開始し、ベースを導入し、次いでピアノおよびギターを導入する。小節17で、すべての楽器はセクション2へと切り換わり、それらは時間が経過すると除去され、ピアノだけが演奏するようになる。この例は、2つの4小節だけのセクションの簡単な例とは異なる32小節の特有の音楽を示す。

音楽生成エンジン120のスタイルは、音楽セクションの音楽的なイベント、サウンド、および効果を超えるさらなる情報(または「ルール」)を含む。これらのルールは、音楽生成エンジン120に対するセクションの利用、およびトラックのレイヤ化の輪郭を示す。セクションは、音楽生成エンジン120のスタイルで定義される時間の領域である。セクションにより、音楽生成エンジン120は、その曲に対して要求された時間の長さに適合するように適切な歌のアレンジメント(arrangement)を選択することができる。

セクションは、以下のような関係するプロパティを有する。すなわち、開始セクション;このセクションは、曲を開始するために使用できることを示す、終了セクション;このセクションは、曲を終了するために使用されることを示す、フェードアウト;このセクションは、曲の最後でフェードアウトするように使用できることを示す。さらに、各セクションは、現在のセクションが完了した後、選択され得る宛先セクションのリストを有する。各宛先は、ユーザの入力パラメータに応じて、セクションの別の変形形態を生成するために、音楽生成エンジン120により使用される類似度を有する。

例えば、バース1が完了すると、次の音楽セクションの選択肢は、バース2、コーラス、またはブリッジとすることができる。これらの宛先セクションのそれぞれは、以下などのように、バース1と関連付けられたリスト中にある。

音楽生成エンジン120は、セクションの順序を決定するために、アルゴリズム的プロセスを使用することが好ましい。特に、音楽生成エンジン120は、どのセクションを次に選択するかを制御するために、2つのユーザパラメータ(「変動性」および「ランダム性」)と組み合わせて、類似度を使用することができる。変動度は、異なる隣接するセクションはどのようにあるべきかに影響し、またランダム性は、実際に選択された(変動性に基づいて)示唆されたセクションにいかに近いかに影響する。

音楽生成エンジン120は、あるセクションから開始し、関心対象の第1および第2の点に基づいてさらなるセクションをアルゴリズム的に選択することにより、アルゴリズム的プロセスを実施する。関心対象の第1点によれば、すべての宛先は類似度を有し、また関心対象の第2点によれば、ユーザは、類似性の重み付けをバイアスさせる変動性およびランダム性の設定を提供する。変動性は、音楽がどのように「変化する」かを制御する。変動性が低い場合、セクションは、現在のセクションに最も類似するセクションが選択されることになる。変動性の設定が高い場合、現在のセクションに対して最も類似していないセクションが選択されることになる。ランダム性は、音楽がいかに「ランダム」であるかを制御する。これは、変動性の設定が無効化される度合いを提供する。ランダム性の設定が高くなればなるほど、変動性設定への結びつきは下がる。非常に高いランダム性の設定は、変動性の設定を本質的に無視するセクションの選択を行い、セクションの選択を実際的にランダムにする。図3は、アルゴリズム的プロセスの例を示すグラフィカルな図300である。それぞれが、各長さおよび特性を有するA、B、C、D、およびEの5セクションがあるものと仮定する。

ユーザが、Aで開始し、Eで終了する25秒の音楽を生成したいと仮定する。さらに、ランダム性が低く設定され、また変動性も低く設定されていると仮定する。これは、セクションからセクションへと、ランダム性のほとんどない、またはまったくない「類似した」音楽を作成する。アルゴリズム的プロセスは、以下の結果となる。

この例は、アルゴリズム的プロセスの原理を示しており、当然であるが、それはさらに複雑になり、かつはるかに多くのセクションを含むことができる。良好な適合性を求めて、各セクションを反復して(すなわち、Aに対して、Bを確認し、次いでCを、次いでDをなど、何らかの順序で)確認することとは対照的に、アルゴリズム的プロセスは、類似度、ならびに変動性およびランダム性の設定を呼び出して、次のセクションを決定する。さらに、アルゴリズム的プロセスでは、変動性およびランダム性の設定に対する変更により、得られるセクションリストの順序付けを完全に変更することもできる。例えば、変動性が0%ではない場合、類似するセクションが選択されることが時々あり、また別の時には、類似性の低いセクションが選択されることになる。したがって、得られるセクションの順序は、ユーザの入力設定により改変されかつ変更され得る。

一実施形態では、アルゴリズム的プロセスは以下のように動作する。

a)変動性は、いかに速やかに音楽が変化するかを制御し、したがって、(1秒当たりの)変動度が決定される。

b)セクションが曲に使用される度に加えられる内部の累算器変数が維持される。

c)累算器に加えられる量は、選ばれたセクションの長さに直接比例する(例えば、変動度が毎秒0.1であると仮定すると、1秒のセグメントは累算器に0.1を加えることができ、同様に、2秒のセグメントは累算器に0.2を加えることができる)。

d)次に、この累算器は、選択される次のセクションに対するすべての類似度に対するバイアスファクタとして使用される。累算器が低い場合、高い類似度を有するセクションが好ましい。累算器が増加すると、異なる類似度を有するセクションが好ましい。

e)あるセクションが選択された場合、累算器は、その宛先セクションの類似度量だけ、比例して低減される。100%類似するセクションは、累算器をまったく低減することはないが、0%類似するセクションは、それを0に低減する。

f)最後に、ランダム度は、アルゴリズムをどれだけ無効化し、したがって、ランダム化するかを決定する。

上記の例(バース1、バース2を含む)に加えて、作曲者は、より細かい粒度を有するように、時間のセクションを定義することもできる。例えば、バース1は、バース1a、バース1b、バース1c、およびバース1d(それぞれが、後続するセクションへの、または可能なエンディングへの宛先を有する)として定義することもできる。このようにすると、音楽生成エンジン120は、要求された音楽の長さにさらによくマッチした曲を作成することが可能になる。

例えば、バース1、バース2、およびエンディング(それぞれが8秒の長さである)を含む楽曲であり、かつ所望の長さが28秒である場合、音楽生成エンジン120は、適合する2つの曲を作成しようとする可能性がある。

(1)バース1-バース2-バース1-エンディング(32秒)、または
(2)バース1-バース2-エンディング(24秒)である。

第1の曲は、4秒長過ぎ、また第2のものは4秒短過ぎる。音楽生成は、スタイルがそのように定義する場合、部分的なバースに適応する。したがって、音楽生成エンジン120は、より密接に適合する曲に適応することができる。すなわち、
バース1a-バース1b-バース1c-バース1d-バース2-バース1a-バース1b-エンディングである。

バース1に対する各サブセクションは、2秒の長さであり、したがって、得られた曲は、正確に28秒の長さである。当然であるが、これらの分割は、作曲者により行われる決定であり、したがって、サブセクションは適切な音楽的時点で作成され得る。

図4は、音楽生成エンジン120を用いて、スタイルに対するセクションを構成するために、作曲者により使用されるインターフェースの例を示す表示図400である。左のパネルは、様々なセクション402a〜eに対するエントリが構成されたナビゲーション的なものである。セクションには、作曲者が、作成された曲のその潜在的な実装形態を視覚的に管理できるように、名前を付けることができる。さらに、他のセクションに対する類似度が示されており、従来の操作を用いて作曲者により同様に構成することができる。パネル中で、現在のセクションが選択されると、情報パネル404は、現在のセクションに関するさらなる情報を提供するように更新される。この情報はまた、セクションが、開始部、エンディング部などとして適切であるかどうかを示すなど、ユーザ/作曲者により編集することもできる。

図4の例は、バース1が、宛先であるバース2、コーラス、ブリッジ、およびエンディング(すべてに各類似度が示されている)を有することを示している。その右には、選択されたセクションに対するさらなる設定がある。

あるスタイル内のトラックのレイヤ化はまた、ムード、アレンジメント(arrangement)、および強度のパラメータによって影響され得る。図5は、ユーザが、このようなパラメータを構成するためのインターフェースの例を示す表示図500である。インターフェースの最も左の部分は、様々なムードおよびこれらのムードのアレンジメント(arrangement)へとナビゲートし、かつ名前を付けるためのナビゲーションセクション502を含み、中央部分は、現在選択されたムードに対応するトラックを識別するためのセクション504を含み、またインターフェースの最も右の部分は、対応するトラックをどの強度で使用すべきかを示す1組の強度トリガ506を含む。

ムードは、その曲に使用する1組のトラックを決定する。例えば、1つのムードは、楽器であるピアノ、アコースティックギター、ベース、およびボンゴを使用することができ、第2のムードは、シンセサイザ、電気ギター、ベース、およびフルのドラムキットを使用することができる。当然であるが、ムードは、さらにもっと興味のあるものになり得る。例えば、1つのムードは、同じ楽器編成であるが、異なるモチーフ、または旋律、異なるハーモニー、または異なる雰囲気(feel)またはグルーヴ(groove)を用いて提供することができる。適切な例として、長調の曲のムードに対する短調のムードを挙げることもできる。

強度は、そのムードにおいてどれだけ多くの楽器が現在アクティブであるかを制御する。例えば、強度=0%では、ピアノだけがアクティブであり得る。強度が増加するにつれて、アコースティックギターが導入され、その後にベースが導入されて、最後に100%強度でボンゴが導入される。

音楽生成エンジン120はまた、いつ楽器を停止できるかを定義する。例えば、ピアノは40%〜70%の強度でだけアクティブにすることもできる。これはまた、さらに興味のある可能性を提供できる。例えば、楽器を完全に除去することが常に望ましいわけではなく、むしろ、強度が変化したとき、その楽器に関して何かを変更するだけの方が望ましいこともあり得る。全音符だけを有する単純なベーストラックを0%〜33%の強度でアクティブにすることができ、33%〜66%で、4分音符およびいくつかの基本的なフィルを有するさらに多くが含まれたものトリガされ、最後に、66%〜100%で、非常にアクティブなベースラインが使用され、フィルおよび速い音符で完了する。

最後に、アレンジメント(arrangement)は、所与のムードにおける同じ1組のトラックの複数の変形形態を可能にする。例えば、ムードは、楽器であるピアノ、アコースティックギター、ベース、およびボンゴを定義することができる。これに対する強度の典型的な組は、ピアノ=0%、ギター=25%、ベース=50%、ボンゴ=100%とすることができる。

アレンジメント(arrangement)を用いると、強度の複数の変形形態を設定することができる。例えば、

上記のものは、一例に過ぎず、また音楽生成エンジン120は、より多くの楽器およびトラックを実施することができ、可能なアレンジメント(arrangement)のより多くの変形形態を作成することができる。

3つの前述のパラメータを用いると、作曲者は、自分の曲に対する楽器編成の複数の可能性を容易に作成することができる。音楽生成エンジン120のユーザは、そのとき自分の曲がどのように聞こえるかに対して広範囲な選択肢を有する。

音楽生成エンジン120のアプリケーションは、前述の音楽生成エンジン120に関するユーザインターフェースラッパーと見なすことができ、ユーザに任意の長さおよびスタイルの楽曲の作成を可能にする。インターフェースに関するいくつかの例が述べられているが、様々なインターフェースが、同様の機能に適応できることを理解されたい。

図6は、自動的に楽曲を作成するためのプロセス600の実施形態を示す流れ図である。プロセス600は、ユーザによってスタイルを選択することから開始する602が、それは、従来のインターフェース技法を用いて様々に適応することが可能であり、同様のもののプルダウンメニューから利用可能なスタイルを選択することを含む。

前述のように、音楽生成エンジンは、セクションを選択することにより、また特有の音楽を作成するために、時間の経過に対して異なるトラックをレイヤ化することにより音楽を生成する。上記で述べたように、音楽生成エンジンは、まず、シーケンス情報(セクションの順序)を生成し、続いて情報をレイヤ化することにより、曲を作成することができる。レイヤ化は、ムード、アレンジメント(arrangement)、および強度設定を各セクションに対して割り当てることにより行われる。このような音楽生成を実行するためのプロセスの一実施形態は以下のようになる。

スタイルを選択する602ことに加えて、生成を開始するために、ユーザは、音楽生成エンジンに対して、1組の入力パラメータを提供する604。一実施形態では、これらの入力パラメータは、スタイル、開始セクション、所望のテンポ、所望のエンディングタイプ(ノーマル、フェードアウト、開始へのループ)、ならびに自分の要求するムード、アレンジメント(arrangement)、および開始強度を含む。これらの最後3つのパラメータは、曲の始めで使用されることになる1組のトラックを決定する608。

これと併せて、音楽生成エンジンは、類似度情報、トラックの識別などの関連するプロパティと、ムード、強度、およびアレンジメント(arrangement)に対する対応するパラメータおよび範囲と共にデータベース中に常駐し得る音楽セクションにアクセスする606。

音楽セクションのシーケンスの生成は開始セクションで開始し、次いで、アルゴリズム的プロセスが、作成される楽曲に対してさらなるセクションの順序付けを決定する610。プロセスは、所望の楽曲に対して、さらなるセクションが必要ではないと判定されるまで612続けられる(それは、上記でアルゴリズム的プロセスに関して述べたように、所望される場合、終了セクションの決定を含むことができる)。

音楽セクションの順序付けが確立された後、強度パラメータが生成される614。強度、ムード、およびアレンジメント(arrangement)は、次いで、強度パラメータに応じて、各音楽セクションに対して適用される616。強度パラメータは、強度エンベロープとすることができ、それは各セクションの開始時にサンプリングされる。

強度パラメータはタイムラインに沿って変化し、このパラメータは、次に、どのトラックが、対応するセクションに対してアクティブであるかを決定する(616)。生成中、音楽生成エンジンは、音楽の特有な変化を作成するために、時間の経過に対して強度を自動的に変更することができる。強度を増加させ、また減少させることにより、音楽セクションの境界で楽器を追加し、また除去して、非常に現実感があり、かつ音楽的に満足する結果が得られる。ユーザはまた、自分の曲内で行いたい強度変更の量とバリエーションに従って、エンジンを構成することができる。

音楽生成エンジンはまた、ユーザからの任意選択の「ヒント」に応ずることもできる。これらのヒントは、ムード、アレンジメント(arrangement)、強度、テンポ、またはセクションにおいて特定の変更を要求する、時間におけるマーカである。音楽生成エンジンがヒントに出会った場合、それは、これらのユーザ変更に対して、最も音楽的に適切な方法で応ずるように、生成の設定を調整することを試みる。

前述のように、強度パラメータはエンベロープとすることができる。次に、強度エンベロープは、ユーザにより指定されたまたは数学的に生成されたものとすることができる。エンベロープを生成するためのプロセスの例は、次のようになる。

a.ユーザは、初期の強度を入力する。

b.ユーザは、「ホールド」(強度変化がないことを意味する)、「リニア」(強度は、開始強度から次の強度ヒントへと線形に変化する)、またはアルゴリズム的に、強度エンベロープを生成する「生成する」のいずれかを選択する。

c.「生成する」が選択された場合、ユーザは、変動性および範囲の設定を入力する。

d.変動性は、エンベロープが変化する頻度の指示を決定する。例えば、ゼロの変動性は、完全に平坦な強度エンベロープを作成する。中間の変動性は、いくつかの山と谷を有するが時間的に広く間隔の空いたエンベロープを作成する。高い変動性は、共に時間的に非常に近接する多くの山と谷を有するエンベロープを作成する。

e.範囲は、その山と谷の深さを制御する。低い範囲は、小さな山/谷を作成し、また高い範囲は、より高い山/谷を作成する。

f.ステップb〜eは、曲全体を通して、またはヒントが使用される場合、開始(または現在の強度ヒント)から次の強度ヒントに対して実施することができる。強度ヒントにより、ユーザは、その曲の経過に対して異なる強度エンベロープを有することができる。

g.最終的な強度エンベロープは、各セクションの開始時にサンプリングされ、その強度の値は、各セクションに添付される。

完全な曲が生成されると、ユーザに完了が示され616、ユーザは、次いで、作成された曲を、前に述べたように、レンダリングされたファイルとして、またはライブラリファイルとしてセーブすることを選択することができる。

本発明の範囲を逸脱することなく、前述の諸実施形態に様々な代替形態を提供することができる。例えば、セクションの完全なシーケンスをまず生成し、次いで、強度パラメータを用いて各セクションに対するトラックを決定することに代えて、強度パラメータの検討およびトラックの決定を、セクションのシーケンスが構築されるのと同時に行うことができる。

したがって、本発明の諸実施形態は楽曲の自動生成を行い、かつ提供する。本発明は、そのいくつかの実施形態を参照してかなり詳細に述べられているが、本発明は、本発明の趣旨または範囲から逸脱することなく様々に実施することができる。したがって、添付の特許請求の範囲は、いかなる意味においても本明細書に含まれる諸実施形態の記述に限定されるべきではない。

本発明の一実施形態による音楽生成エンジンを含む音楽生成システムの例を示すブロック図である。 図2Aは、楽曲のコンポーネントを表示し、編集するためのインターフェースを示す表示図である。 図2Bは、タイムラインに沿って音楽セクションを表示するインターフェースを示す表示図である。 図2Cは、生成およびレイヤ化オペレーションの後、カスタマイズされた楽曲を含むインターフェースを示す表示図である。 音楽生成エンジンにより実施されるアルゴリズム的プロセスの例を示す概略図である。 音楽生成エンジンによる楽曲の自動生成を支援する、音楽セクション情報を編集するためのインターフェースの例を示す表示図である。 音楽生成エンジンを用いて、ムード、強度、およびアレンジメント(arrangement)パラメータを編集するためのインターフェースの例を示す表示図である。 自動的に楽曲を作成するためのプロセス600の実施形態を示す流れ図である。

Claims (22)

1. 楽曲を自動的に作成する方法であって、
   複数の音楽セクション、および前記複数の音楽セクションのそれぞれのセクションに対応するプロパティにアクセスするステップであり、前記プロパティが、前記複数の音楽セクションのうちの1つまたは複数の他のセクションに対する、前記複数の音楽セクションの個々のセクションの類似性の定量化された指標を提供する類似度(similarity factor)を含むステップと、
   前記複数の音楽セクションを順序付けして楽曲を作成するステップであり、前記複数の音楽セクションのそれぞれのセクションの順次的な関係が、前記類似度を用いて、前記順次的な関係の望ましさを評価するアルゴリズム的プロセスに従って決定されるステップと、
   前記楽曲を記憶するステップと
   を含む方法。
2. 前記定量化された指標が、各音楽セクションに割り当てられた類似性のパーセンテージである、請求項1に記載の方法。
3. 前記アルゴリズム的プロセスがまた、変動度(variance factor)を適用するものであり、前記複数の音楽セクションの順序付けにおいて、その変動度の値が用いられ、各音楽セクションがどの程度類似しているかを決定する、請求項1に記載の方法。
4. 前記アルゴリズム的プロセスがまた、ランダム度(randomness factor)を適用するものであり、前記複数の音楽セクションの順序付けにおいて、そのランダム度の値が用いられ、各音楽セクションがどの程度ランダムであるかを決定する、請求項3に記載の方法。
5. 前記プロパティが、前記音楽セクションの長さを音楽単位で含み、またテンポ値の調整が、作成される楽曲を所定の持続期間で提供することに適応する、請求項1に記載の方法。
6. 前記作成される楽曲は、前記作成される楽曲がタイムラインに沿って第1の次元を有し、かつ異なるオーディオ要素の1つまたは複数の存在に従って前記作成される楽曲の深さを提供する第2の次元を有するように前記異なるオーディオ要素をそれぞれが提供するレイヤを含む、請求項1に記載の方法。
7. 強度パラメータに基づき、前記タイムラインに沿って、前記作成される楽曲中の各音楽セクション内に、どの異なるオーディオ要素が存在するかを決定するステップをさらに含む、請求項6に記載の方法。
8. 所与の音楽セクションは反復されるが、前記オーディオ要素は、前記所与の音楽セクションの第2のインスタンス(instance)と比較して前記所与の音楽セクションの第1のインスタンス(instance)とは異なっている、請求項6に記載の方法。
9. 楽曲を自動的に作成するためのシステムであって、
   複数の音楽セクション、および前記複数の音楽セクションのそれぞれのセクションに対応するプロパティにアクセスする手段であり、前記プロパティが、前記複数の音楽セクションのうちの1つまたは複数の他のセクションに対する、前記複数の音楽セクションの個々のセクションの類似性の定量化された指標を提供する類似度を含む手段と、
   前記複数の音楽セクションを順序付して楽曲を作成する手段であり、前記複数の音楽セクションのそれぞれのセクションの順次的な関係が、前記類似度を用いて、前記順次的な関係の望ましさを評価するアルゴリズム的プロセスに従って決定される手段と、
   前記楽曲を記憶する手段と
   を備えるシステム。
10. 前記定量化された指標が、各音楽セクションに割り当てられた類似性のパーセンテージである、請求項9に記載のシステム。
11. 前記アルゴリズム的プロセスがまた、変動度(variance factor)を適用するものであり、前記複数の音楽セクションの順序付けにおいて、その変動度の値が用いられ、各音楽セクションがどの程度類似しているかを決定する、請求項9に記載のシステム。
12. 前記アルゴリズム的プロセスがまた、ランダム度(randomness factor)を適用するものであり、前記複数の音楽セクションの順序付けにおいて、そのランダム度の値が用いられ、各音楽セクションがどの程度ランダムであるかを決定する、請求項11に記載のシステム。
13. 前記作成される楽曲は、前記作成される楽曲がタイムラインに沿って第1の次元を有し、かつ異なるオーディオ要素の1つまたは複数の存在に従って前記作成される楽曲の深さを提供する第2の次元を有するように前記異なるオーディオ要素をそれぞれが提供するレイヤを含む、請求項9に記載のシステム。
14. 強度パラメータに基づき、前記タイムラインに沿って、前記作成される楽曲中の各音楽セクション内に、どの異なるオーディオ要素が存在するかを決定する手段をさらに備える、請求項13に記載のシステム。
15. 楽曲を自動的に作成するための装置であって、
    複数の音楽セクション、および前記複数の音楽セクションのそれぞれのセクションに対応するプロパティにアクセスする音楽資源アクセスモジュールであり、前記プロパティが、前記複数の音楽セクションのうちの1つまたは複数の他のセクションに対する、前記複数の音楽セクションの個々のセクションの類似性の定量化された指標を提供する類似度を含む、音楽資源アクセスモジュールと、
    前記複数の音楽セクションを順序付して楽曲を作成し、前記音楽資源アクセスモジュールと通信する順序付けモジュールであり、前記複数の音楽セクションのそれぞれのセクションの順次的な関係が、前記類似度を用いて、前記順次的な関係の望ましさを評価するアルゴリズム的プロセスに従って決定される、順序付けモジュールと、
    前記楽曲を記憶する楽曲ストレージモジュールと
    を備える装置。
16. 前記作成される楽曲は、前記作成される楽曲がタイムラインに沿って第1の次元を有し、かつ異なるオーディオ要素の1つまたは複数の存在に従って前記作成される楽曲の深さを提供する第2の次元を有するように前記異なるオーディオ要素をそれぞれが提供するレイヤを含む、請求項15に記載の装置。
17. 強度パラメータに基づき、前記タイムラインに沿って、前記作成される楽曲中の各音楽セクション内に、どの異なるオーディオ要素が存在するかを決定するレイヤ管理モジュールをさらに備える、請求項16に記載の装置。
18. 楽曲がそこに記憶されたコンピュータ可読媒体を含むコンピュータプログラム製品であって、前記楽曲が、
    複数の音楽セクション、および前記複数の音楽セクションのそれぞれのセクションに対応するプロパティにアクセスするステップであり、前記プロパティが、前記複数の音楽セクションのうちの1つまたは複数の他のセクションに対する、前記複数の音楽セクションの個々のセクションの類似性の定量化された指標を提供する類似度を含むステップと、
    前記複数の音楽セクションを順序付けして楽曲を作成するステップであり、前記複数の音楽セクションのそれぞれのセクションの順次的な関係が、前記類似度を用いて、前記順次的な関係の望ましさを評価するアルゴリズム的プロセスに従って決定されるステップと、
    前記楽曲を前記コンピュータ可読媒体に記憶するステップと
    を含むソフトウェアステップを介して自動的に作成されるコンピュータプログラム製品。
19. 楽曲を自動的に作成する方法であって、
    複数の音楽セクション、および前記複数の音楽セクションのそれぞれのセクションに対応するプロパティにアクセスするステップであり、前記プロパティが、前記複数の音楽セクションのうちの1つまたは複数の他のセクションに対する、前記複数の音楽セクションの個々のセクションの類似性の指標を含むステップと、
    前記複数の音楽セクションを順序付けして楽曲を作成するステップであり、前記複数の音楽セクションのそれぞれのセクションの順次的な関係が、類似性の前記指標を用いて、前記順次的な関係の望ましさを評価するアルゴリズム的プロセスに従って決定され、前記作成される楽曲は、前記作成される楽曲がタイムラインに沿って第1の次元を有し、かつ異なるオーディオ要素の1つまたは複数の存在に従って前記作成される楽曲の深さを提供する第2の次元を有するように前記異なるオーディオ要素をそれぞれが提供するレイヤを含むステップと、
    強度パラメータに基づき、前記タイムラインに沿って、前記作成される楽曲中の各音楽セクション内に、どの異なるオーディオ要素が存在するかを決定するステップと
    を含む方法。
20. 前記強度パラメータが強度エンベロープであり、前記各音楽セクション内に、どの異なるオーディオ要素が存在するかを決定することに従って、各セクションに対応する時間にサンプリングされたものである、請求項19に記載の方法。
21. 楽曲を自動的に作成するためのシステムであって、
    複数の音楽セクション、および前記複数の音楽セクションのそれぞれのセクションに対応するプロパティにアクセスする手段であり、前記プロパティが、前記複数の音楽セクションのうちの1つまたは複数の他のセクションに対する、前記複数の音楽セクションの個々のセクションの類似性の指標を含む手段と、
    前記複数の音楽セクションを順序付けして楽曲を作成する手段であり、前記複数の音楽セクションのそれぞれのセクションの順次的な関係が、類似性の前記指標を用いて、前記順次的な関係の望ましさを評価するアルゴリズム的プロセスに従って決定され、前記作成される楽曲は、前記作成される楽曲がタイムラインに沿って第1の次元を有し、かつ異なるオーディオ要素の1つまたは複数の存在に従って前記作成される楽曲の深さを提供する第2の次元を有するように前記異なるオーディオ要素をそれぞれが提供するレイヤを含む手段と、
    強度パラメータに基づき、前記タイムラインに沿って、前記作成される楽曲中の各音楽セクション内に、どの異なるオーディオ要素が存在するかを決定する手段と
    を備える方法。
22. 前記強度パラメータが強度エンベロープであり、前記各音楽セクション内に、どの異なるオーディオ要素が存在するかを決定することに従って、各セクションに対応する時間にサンプリングされたものである、請求項21に記載のシステム。

Images