JP2006510944A - オーディオ信号解析方法および装置 - Google Patents

Abstract

音楽トラック等のオーディオ信号の調を決定する方法が開示されている。オーディオ信号の部分（１０６）を解析して（１０４）、各部分内の音とそれに関連した強さ（１１０）を特定する（１０８）。部分で特定された音の部分は無視され（１１８）、調に関係する音をより容易に識別できるようにする。特定された音からその強さに応じて第１の音を決定する（１２４）。そして、特定された音から第１の音に応じて少なくとも第２と第３の音を選択する（１２８）。選択された音のそれぞれの強さを比較してオーディオ信号の調を決定する（１３０）。

Description

発明の詳細な説明

本発明はオーディオ信号の特徴（feature）、具体的には調（musical key）を決定する方法と装置に関する。

安価な記憶装置とインターネットへのアクセスの発達により、消費者は、ビデオ・オーディオ・テキスト・グラフィクスを含む多量の情報やコンテントにアクセスし、蓄積できるようになった。消費者による上記コンテントの検索およびアクセスを容易にするために、分類の必要性が認識されている。オーディオコンテントの場合、例えば、音楽ジャンル、アーティスト、作曲者等により分類される。しかし、ムードその他の感情的な基準に基づき選択する場合、これらの分類には限界がある。例えば、ロマンティックな音楽には多数の作曲家が含まれるし、クラシック、ポピュラー、その他の音楽的伝統の音楽スタイルにわたっている。主情的な音楽は、レベル、テンポ、調を含む固有の音楽的特徴により特徴付けられる。その音楽的特徴は、ジャンル、作曲者、その他の同様な分類とは独立したものである。

Tsuruta等の米国特許第5,038,658号は、音響信号の調を決定できる自動音楽トランスクリプションの方法と装置が開示されている。この方法の欠点は、調を決定するために必要な音程を決定するために、音響信号を複数のセグメントに分割する必要があることである。このセグメント分割には、パワー情報の変化、標準的音の長さ、連続して特定されたセグメントの音程が同一かどうかに基づくセグメント分割が含まれる。この方法のさらに別の欠点は、自己相関により時間ドメインでピッチ情報を抽出する必要があることである。

Welsh等の論文「音楽の大規模コレクションへの類似性クエリー（Querying Large Collections of Music for Similarity）」（UC Berkeley Technical Report UCB/CSD-00-1096, November, 1999）は、音楽アーカイブを前処理する一組の特徴（feature）抽出器に基づく方法を用いて、デジタル音楽の大規模アーカイブに対してクエリーを実行できるシステムが示されている。１つの特徴抽出器は、音階の音にわたり、周波数振幅のヒストグラムを作成する。ヒストグラムの各バケツ（bucket）は、解析する音楽サンプルの５オクターブにわたる音（例えばCシャープ）の平均振幅に対応する。この情報はその音楽が演奏された調を決定するために利用できるとは記載されているが、その方法は開示されていない。このアプローチのさらに別の欠点は、その音楽の調に関係する音を平均音データから区別することは潜在的に困難であることである。

本発明の目的は、従来技術を改良することである。

本発明の第１の態様によれば、オーディオ信号の調を決定する方法が提供される。前記方法は、
複数の信号部分の各々について、音を特定するために前記部分を解析するステップと、
少なくとも１つの音が特定された場合、
前記または各音に関連する強さを決定するステップと、
前記または各音のアイデンティティと、前記または各音の音に関連する強さと、前記部分のアイデンティティとを含むデータレコードを生成するステップと、
前記データレコードの各々について、特定された音に関連する前記強さが前記データレコード内に含まれる特定された音のいずれかに関連付けられた最大強さの所定割合より小さい場合、前記強さを無視するステップと、
前記特定された音から第１の音をそれぞれの強さに応じて決定するステップと、
前記特定された音から少なくとも第２と第３の音を前記第１の音に応じて選択するステップと、
前記少なくとも第２と第３の音のそれぞれの強さの比較に基づき前記調を決定するステップとを有することを特徴とする。

本発明の第２の態様によれば、オーディオ信号の調を決定する装置が提供される。前記装置は、
信号を受信するように動作する入力デバイスと、
データ処理装置とを有し、
前記データ処理装置は、
複数の信号部分の各々について、音を特定するために前記部分を解析し、
少なくとも１つの音が特定された場合、
前記または各音に関連する強さを決定し、
前記または各音のアイデンティティと、前記または各音に関連する強さと、前記部分のアイデンティティとを含むデータレコードを生成し、
前記データレコードの各々について、特定された音に関連する前記強さが前記データレコード内に含まれる特定された音のいずれかに関連付けられた最大強さの所定割合より小さい場合、前記強さを無視し、
前記特定された音から第１の音をそれぞれの強さに応じて決定し、
前記特定された音から少なくとも第２と第３の音を前記第１の音に応じて選択し、
前記少なくとも第２と第３の音のそれぞれの強さの比較に基づき前記調を決定するように動作することを特徴とする。

本発明により、オーディオ信号の調を効率的かつ正確に決定することができる。オーディオ信号は、楽曲（piece of music）のデジタルまたはアナログの記録である。

各部分は同じサイズであり、同じ時間的長さを含むことが好ましい。前記部分のサイズは前記オーディオ信号のテンポの関数であれば有利である。前記部分は連続であってもよい。、前記所定の割合は前記オーディオ信号のコンテントに応じて決定されることが好ましい。前記所定の割合は1/10から1/2の範囲にあることが理想的だが、好ましい実施形態において、前記所定の割合は1/7である。

有利にも、音を特定するために前記部分を解析するステップは、
前記部分を周波数ドメイン表示に変換するステップと、
前記周波数ドメイン表示を複数のオクターブに分割するステップと、
最大振幅を含む各オクターブについて、
前記最大振幅の周波数値を決定するステップと、
前記周波数値に応じて音階の音名を選択するステップと、
２以上のオクターブで選択された同一音名に基づき音を特定するステップとを有することを特徴とする。

この実施形態において、前記部分の周波数ドメイン表示への変換はフーリエ変換により行われることが好ましい。理想的には、前記音階は平均率である。

好ましい実施形態において、前記音に関連する強さを決定するステップは、
前記音の各周波数成分の振幅を決定するステップと、
前記振幅を加え合わせるステップとを有することを特徴とする。

有利にも、前記第１の音を決定するステップは、
各特定された音について、前記データレコードの前記音と関連付けられた前記強さを加え合わせるステップと、
前記第１の音を前記加えあわされた強さが最大である前記特定された音であると決定するステップとを有することを特徴とする。

好ましい実施形態において、前記第１の音は前記調の主音である。

本発明の有利な点は、解析に使用するオーディオ信号の部分を任意に選択してもよく、それゆえ選択はオーディオ信号のコンテントに依存しない。さらに、本発明の方法は、オーディオ信号の調に関係した音の存在の検出に依存し、好ましくは特定のタイプの音楽ソース（例えば、楽器）から発する音の検出に依存する。有利にも、音のタイミングと長さの決定は本発明には関係していない。さらに別の有利な点は、関係のない音（およびノイズ）からの影響をなくすためにフィルターを適用することである。これらの影響を消さないと、特定すべき音のアイデンティティを決定するプロセスが混乱してしまう。さらにまた、本発明の方法は、低コストのハードウェアおよび／またはソフトウェアでの実施に好適であり、大量生産のコンシューマプロダクトの開発を可能とする。

添付した図面を参照して、本発明の実施形態を一例として説明する。

図１は、オーディオ信号の調を決定する方法を示すフロー図である。一般的に、オーディオ信号は、この方法を実行する装置（５００、図５）の入力デバイス（５１０、図５）により受信される。本方法は、１００で示したが、ステップ１０２で開始し、ステップ１０４で音を特定するためにオーディオ信号の部分を解析する（以下でもっと詳細に説明する）。好ましくは、調は、特定した低音（bass musical note）を用いて決定される。これらの音（note）は低音部にあり、１以上の和声的に関係した周波数成分を有する基本成分により特徴づけられる。その成分は認識された音階と相関している。このような音を出すのは、例えばバスギターやダブルベース等の音程のある楽器（pitched instrument）（すなわち、音階に従った１以上の音を出せる楽器）である。ステップ１０８でオーディオ信号の部分の少なくとも１つの音が特定されると、ステップ１１０でその音に関連した強さを決定する。その強さは、特定された音の１以上の周波数成分の振幅に応じて決定される。オーディオ信号の部分の各音に関連した強さを決定すると、ステップ１１２でデータレコードが生成される。そのデータレコードは、音の識別と、各音に関連した強さと、およびそのオーディオ信号の部分の識別とを有する。ステップ１１６で、ステップ１０４、１０８、１１０、１１２が処理されるオーディオ信号の部分１０６のすべてについて実行されたかどうかを確かめる。オーディオ信号の部分は、受信したオーディオ信号の全体の部分しか含んでおらず、連続していることもいないこともあることに注意すべきである。結果として得られる一組のデータレコード１１４のうち各データレコード１２０をレビューして、ステップ１１８で、いずれのレコードに含まれる特定された音に関連した最大強さの所定割合（例えば、1/7）より小さいレコードの強さは無視する。ステップ１２２において、そのような強さはデータレコードから削除することも可能である。その目的は、調に関係するオーディオ信号内の音の区別に影響するこれらの音をフィルターして削除するためである。次に、ステップ１２４で、フィルターされたデータ１２６を用いて、特定された音からそれぞれの強さに応じて第１の音を決定する。そして、ステップ１２８で、フィルターされたデータ１２６をまた用いて、第１の音に応じて、特定された音から少なくとも第２の音と第３の音を選択する。選択された音は解析で使用する音階に依存する。好ましくは、平均率を使用する。この音階システムでは、第１の音は音階の主音を表し、第２と第３の音はそれぞれ別の音程を表す。各音は調の長音階と短音階に対応する。その他の音は、決定すべき調のモダリティに応じて選択される。ステップ１３０で、少なくとも第２と第３のそれぞれの強さを比較して、調を決定する。ステップ１３２で終了する。

図２は、オーディオ信号の部分を解析する、図１の方法のステップ１０４をより詳細に説明するためのフロー図である。ステップ２０２で開始し、ステップ２０４でそのオーディオ信号の部分を周波数ドメイン表示に変換する。変換手段は好適なものであればいずれを使用してもよいが、好ましくはフーリエ変換により実行される。次に、ステップ２０６で、周波数表示をいくつかのオクターブにさらに分割する。音階はオクターブを用いて構成されているからである。好適なものであればいかなる音階を用いてもよいが、好ましくは平均率を用いる。この音階が多数の音楽ジャンルおよびスタイルの共通の基礎だからである。最大振幅周波数成分を各オクターブ内で探す。このような最大値があれば、ステップ２０８で最大振幅の周波数値を決定する。ステップ２１０で、音階（例えば、平均率）の音名を決定された周波数値により選択する。決定した周波数値は、特定された音名を有する音階の基準周波数値と正確に一致するか、少なくとも所定の範囲内（例えば、+/-10%）に入っているべきである。

選択した所定範囲はオーディオ信号内の音の周波数の許容誤差に応じて決めてもよい。逆に、その周波数の許容誤差は、例えば、音階の基準チューニングと合っていない音楽ソースにより影響を受けてもよい。チューニングの違いを測定し、その違いを補償するように所定の範囲を選択してもよい。音楽ソースから調決定方法または装置への経路において、歪みが発生することがある。歪みの種類には、ワウフラッタ、データ改変、ノイズ等がある。このような歪みは時間とともに変化するので、+/-10%等の名目的な所定範囲を選択してもよいし、もっと複雑な方法を用いて歪みを継続的に測定し、所定範囲を動的に適応させてもよい。

音階の音名はオクターブの整数倍に関係するすべての音を記述する（すなわち、同一音名の音は和声的に関係している）。音階内の音は、音名とオクターブにより特徴付けることが可能である。ステップ２１２で、オーディオ信号の部分の周波数ドメイン表示のすべてのオクターブがステップ２０８と２１０で処理されたかどうかを確認する。オクターブで選択された音名はステップ２１４で比較される。２つ以上の音名があるときは、ステップ２１６で、音を特定するものと見なされる。その理由は、歌手や楽器等の音楽ソースは、和声的に関係する一組の周波数成分により特徴づけられる音を出すからである。すなわち、このような音楽ソースにより出された音の周波数成分は、互いに整数倍となっている。ステップ２１８で終了する。

当業者には明らかであるが、オーディオ信号の部分について本発明は音を特定しないこともあるし、１つまたはそれ以上の音を特定することもある。オーディオ信号の部分の周波数ドメイン表示をいくつかのオクターブに分割した場合、２以上の音を特定する能力は、オーディオ信号の部分の周波数ドメイン表示が分割されたオクターブの数に応じて決まる。２つまたは３つのオクターブでは１つの音まで特定できるが、４つまたは５つのオクターブでは２つまでの音を特定できる等々である。音楽ソースによる音の範囲は、オーディオ信号の部分の周波数ドメイン表示が分割されるオクターブの数に影響する。例えば、オーディオ信号は、27Hzから4.1kHzの周波数範囲にある音を有してもよい（例えば、平均率のA0からC8の音を出すことができるピアノ）。この実施例において、ピアノのハイピッチ音を特定するために、オーディオ信号の部分の周波数ドメイン表示を、例えば１つまたは２つの別のオクターブに分割する（例えば、平均率のオクターブ０から１０の全部で１１オクターブ）。しかし、この全体的アプローチは調の決定のためには必ずしも必要なく、オクターブのサブセットを用いることが好ましい。例えば、特定の音域を有する音楽ソースを調の決定のために使用してもよい。好ましくは、オーディオ信号は低音を有し、その低音を特定するため、オーディオ信号の部分の周波数ドメイン表示を５つのオクターブに分割できる（例えば、平均率のオクターブ１から５）。

図３ａは、オーディオ信号の部分の周波数ドメイン表示の一例を示す一連のグラフである。周波数ドメイン表示は、いくつかのオクターブに分割される。図３ａにおいて、５つの振幅対周波数のグラフ表示３０１、３０２、３０３、３０４、３０５が示されている。各々は音階の一オクターブを表す（水平周波数軸は対数目盛り）。オクターブは、音の好適な成分が、そのオーディオ信号の部分にあれば、周波数範囲に入るような周波数範囲を含むように選択される。低音が特定されることが好ましい。それゆえ、好適なオクターブは、例えば、平均率の場合はオクターブ番号１から５である、低音楽器により出された音の基本およびハーモニック成分を含むオクターブが含まれる。各オクターブ内でオーディオ信号の部分の周波数成分の振幅のアウトラインが、３０６、３０８、８１０、３１２、３１４として示されている。これらのアウトラインの各々は、（もしあれば）最大値を検出するために使われる。図示した実施例において、各オクターブには最大値があり、それぞれ３１６、３１８、３２０、３２２、３２４として示されている。図３ａにおいて、各振幅対周波数グラフ表示３０１から３０５は、平均率の一オクターブについて、同じ音シーケンスをカバーするように構成されている。例えば、音Cの（オクターブ中の）周波数値は限定であり、周波数軸のスケールは１オクターブをカバーしている。最大値３１６、３２０、３２４は、すべてのオクターブで共通の同じ音名（E）を表すライン３２６により示されているように、すべて同じ音名Eに関係する（各オクターブは対数周波数軸を用いて示されており、表示３０１−３０５は図示したように垂直に配列されているからである）。それゆえ、（最大周波数成分である）音Eは２以上のオクターブ（実際には３つのオクターブ）に現れる。音Eはそれゆえ特定されたと見なされる。特定された音Eに関連する強さを、その音名が最大振幅に対応するオクターブの周波数成分の振幅を加え合わせることにより決定する。本実施例において、強さはそれぞれのオクターブ中の音の関係する（最大）周波数成分の振幅値e1、e3、e5の合計を含む。他のオクターブをレビューして、最大値３１８と３２２には対応する音が無いことが分かる。これらはそれぞれ音Dの周波数成分（振幅d2）と音Aの周波数成分（振幅a4）である。

図３ｂは、図３ａに表されたものに含まれるオーディオ信号の部分に対応する一組のデータレコードを含むテーブルを示す図である。一組のデータレコード３２７はオーディオ信号の部分の解析中に生成される。各レコードには、音３２８と、その音に関連した強さ３３０と、その音が特定されたオーディオ信号の部分３３２とを特定するフィールドが含まれる。前に説明したように、オーディオ信号の部分内で２以上の音が特定されることもある。図３ｂは、２番のオーディオ信号の部分のデータレコードの場合を表す。図３ａに表されたオーディオ信号の部分のデータレコードが示され、特定された音の識別３３４を含む。計算された強さ３３６は音およびそのオーディオ信号の部分の特定３３８と関連付けられている。

音が平均率の５つのオクターブ１〜５で特定されている例を考えると、いずれかの部分にある最も強い特定された音は、
ａ）５つのオクターブのほとんどでかなり大きな振幅をもつ成分を有する低音、および／または
ｂ）上のオクターブ（例えば、オクターブ４と５）で大きな振幅の成分を有する高いピッチの音
であることが多い。

オーディオ信号の部分のサイズを好適に選択すれば、これらの音を区別する役に立つ。部分のサイズが増えれば、部分内で特定される音の数が増える。１つの部分の２以上の楽音の特定は、その部分の周波数ドメイン表示が分割されたオクターブの数に依存することを思い出すと、与えられた数のオクターブについて、部分のサイズが大きくなると、すべての音を特定する能力は減少する。逆に、低音域のより高いパート（例えば、オクターブ４と５）の強い音の影響を最小化するために、低音と強い高音が同じ部分をあまり頻繁に占有しないように、好適に部分サイズを選択しなければならない。部分のサイズは可変でも固定でもよい。部分のサイズを固定する利点は、処理条件が減る（その結果実行が速くなる）ことである。好ましくは、各部分のサイズは同じであり、例えば、各部分は同じ長さの時間を含む。部分のサイズはオーディオ信号のテンポ（ビートレート）によって選択してもよい。テンポが分からないときは、部分のサイズは、最大期待テンポ（例えば、240ビート／分）に応じて選択してもよい。例えば、ビート当たり２つの音のように、ビートごとに別個に演奏される音の最大数を仮定することにより、さらに精密化してもよい。例えば、毎秒44100サンプルを有するオーディオ信号を、サイズが5512サンプルの部分で分析する。これは、ビート当たり最大２つの音が演奏される（すなわち、八分音符）、240ビート／分のテンポに対応する。この実施例において、便宜上、部分サイズは5000サンプルに切り捨てしてもよい。

図４ａは、オーディオ信号の部分に対応する一組のデータレコードのテーブルを示す図である。データレコード４０２は、１または２の音が特定された部分と、各音に関連する強さを示すフィールドを含んでいる。データレコード４０４は、部分１に関係し、１つの音（E）を示しその関連する強さ（30）を有している。同様に、データレコード４０６は、部分４に関係し、２つの音（CおよびFシャープ（F#））とその関連する強さ（それぞれ100と10）を示している。

その一組のデータレコードは、いくつかの部分のレコードを有し、各データレコードは特定の部分の音とその強さデータを有することはすでに説明した。本方法により、データレコード内の一定の特定された楽音がフィルターされる。例えば、いずれかの部分にある特定された最も強い楽音の所定の割合より小さい、部分の音に関連する強さは無視することによりフィルターされる。フィルターすることにより、例えば、オーディオ信号内の強い音を強調できる。このような音は調とより強く関係している。低音が特定された場合、部分の音と関連する強さが無視されるものには、低音成分が比較的少ない音（例えば、その部分の周波数ドメイン表示の高いオクターブ内にしかコントリビューションがないもの）や、低音レベルが比較的低く全体的なコントリビューションが少ない音（例えば、比較的小さい音やノイズ）が含まれる。前記所定の割合は、いずれかの部分の特定された最も強い音の1/10から1/2の範囲にある。前記所定の割合は、オーディオ信号のコンテントに応じて決定することができる。例えば、低音域内で演奏している楽器が（第２の楽曲と比較して）より多い第１の楽曲は、第２の楽曲と比較して異なるフィルター（割合）を必要とする。選択された前記所定の割合は音楽ジャンルによって決めてもよい。例えば、ポピュラー音楽の好適な所定割合は1/7である。所定割合のデフォルト値として1/7を用いることが好ましい。調の決定において、デフォルト値である1/7による結果があまりよくない場合は、異なる割合を用いて別のフィルターリングを実行する。上で説明したように、好適な割合の選択は、経験的になされてもよいし、オーディオ信号のコンテントやジャンルに基づいてなされてもよい。

図４ａの実施例において、オーディオ信号はポピュラー音楽であることが分かっており、所定の割合は1/7を用いた。一組のデータレコード４００中の最大強さは100である（部分４の特定された音Cと関連する強さ４１０）。それゆえ、そのデータレコード４００中の強さ４１４、４１６、４１８、４２０は各々100/7より低く、その後の処理では無視される。例えば、データレコード４００中のそれぞれのデータレコードから削除される（図４ａには図示せず）。それぞれの強さに応じて、特定された音から第１の楽音が決定される。一例として、同じ音名を有する各部分の特定された音の強さを取り、すべての部分にわたって音階の各特定された音の強さの総和を計算する。

図４ｂは、図４ａのテーブル内のデータから導き出した、特定された音と関連する強さの総和を示すテーブルである。計算した強さの各総和は、平均率の半音階の１２音４５２の１つと対応している。強さの総和が最も大きい特定された音を、オーディオ信号の音楽調に関係する（この実施例では主音である）第１の音と見なす。第２と第３の音を主音との関係により選択すると、それらの相対的な強さが調のモードが長調か短調かを示す。例えば、第１音（tonic）が主音（key note）である音階について、音階の第３のステップ（音程）を調べる。オーディオ信号の解析した部分が主に長調である場合、主音から４番目の音は半音になることが多い（例えば、主音がCである場合、Cメジャーの４番目の半音はEナチュラルである）。あるいは、オーディオ信号の解析した部分が主に短調である場合、主音から３番目の音は半音になることが多い（例えば、主音がCである場合、Cマイナーの３番目の音はDシャープ（D#）である）。それゆえ、本実施例において、主音から４番目と３番目の半音の強さの総和の相対的強さを比較する（Cの調について、特定された音EとD#を比較する）ことにより、調が長調か短調かが分かる。別の音（例えば、６番目の音）を調べて長調か短調かを決めることもできる（例えば、Cの調について、特定された音AナチュラルとGシャープを比較する）。図４ｂにおいて、特定された音C４５４の強さ４６６（強さ４０８、４１０、４１２の和）が最も大きいので、第１の音（主音）と見なされる。特定された他の音もデータレコード４００に含まれており、音４５６、４５８、４６０、４６２、４６４を有し、対応する（フィルターされた）強さ４６８、４７０、４７２、４７４、４７６を有する。例えば、音４５８のトータル強さ４７０はコントリビューション４２０を含まないことが分かる。この音は関係のない音かノイズであると考えられ、フィルターされた（無視された）からである。上で説明したように、特定された別の音、例えば第３音程と第６音程が主音に応じて選択される。本方法により、主音に基づき第３（または第６）の音程に対応する特定された楽音４５６、４７８（あるいは、４６４、４８０）を選択する。特定され選択された各楽音のトータルの強さ４６８、４８２（あるいは、４７６、４８４）の比較をして、オーディオ信号の調性が長調か短調かを決定する。図４ｂの実施例において、調の主音はCである（トータルな強さが160で最も大きい）。長調と短調の第３音程の音４５６と４７８のトータルな強さ４６８と４８２とを比較する。調はCメジャーであると決定できる。調はある種のモダリティを有しており、調のモードを完全に決定するためには追加または別の音を選択する必要があるかもしれない。

図５は、オーディオ信号の調を決定するための装置（符号５００で示す）を示す概略図である。本装置は、オーディオ信号の受信に使用する入力デバイス５１０を有する。その入力デバイスは物理媒体（磁気テープ、磁気または光ディスク等）を読み取るか、または有線および／または無線ネットワークとインターフェイスしてインターネットソースも含むローカルおよびリモートネットワークソースとアクセスを可能とするインターフェイスを含む。具体的に、好適な有線システムには、イーサネット（登録商標）、RS232、USB等を含む。好適な無線システムには、WiFi、802.11b、ローパワーラジオ、ブルートゥース等を含む。オーディオ信号は好適なアナログまたはデジタルフォーマットを有する。受信したオーディオ信号はベースバンドであるか、または変調されている。好適なデジタルオーディオ信号フォーマットには、AES/EBU、CDオーディオ、WAV、AIFF等を含む。入力デバイスは、装置のデータ処理装置５０２セクションに好適な形式でオーディオ信号を提供するために、処理を実行する。本装置は、CPU５０４、プログラムROM５０６、RAM５０８（これらはデータ処理装置５０２を構成する）も有する。これらは入力デバイス５１０とバス５１２を介して相互接続され通信する。プログラムROMはコードを含み、このコードはCPUにより実行されると、本方法のステップを実行するように動作する。プログラムコードは、あるいは、装置とは遠隔のソースから入力デバイスを介してダウンロードし、RAM５０８等のローカルストレージに格納してもよい。一般的に、RAMは一時的に結果を保管するために使用される。入力デバイス５１０および／またはデータ処理装置５０２の実施は、ハードウェア、ソフトウェア、またはこれらの組み合わせですることができる。例えば、入力デバイスおよび／またはデータ処理装置の機能をASICで実施することもできる。他の実施例において、入力デバイスは無線インターフェイスであってもよく、データ処理装置は従来のCPU、ROM、RAMを用いて実施してもよい。ユーザインターフェイス５１４はバス５１２を介してデータ処理装置に接続されてもよく、このインターフェイスを用いて、例えば、必要な音楽のムードのタイプを選択させるなど、ユーザに方法を設定させてもよい。この選択を用いて、どの調を探すかを設定してもよい。記憶５１６は、オーディオ信号のアイデンティティ（例えば、オーディオ信号の記憶場所を表すデータ）やオーディオ信号ファイル（例えば、音楽トラック）を（例えば、本装置による事前の解析により決定した）その調とともに格納することもできる。ユーザ入力に応じて、またはその他の方法により、本装置はオーディオ信号にアクセスし、解析し、および／またはプレイリストのコンパイル等の目的のためオーディオ信号を１以上の決定した調に基づき選択する。そのプレイリストは、ムード、状況等を含む入力情報に従ってコンパイルされる。本装置は、遠隔ソースからのオーディオ信号にアクセスし、解析し、入力信号に従ってトラックを提供することができる。他の場合において、本装置は調とオーディオ信号情報を出力デバイス５１８を介して出力でき、他の装置またはシステムの使用に供することができる。物理媒体および／またはネットワークエンティティとのインターフェイスのための出力デバイスの実施は、好適なものであればいかなるものでもよく、入力デバイスに関して上で説明したものも含む。

本発明は、専用の調抽出装置として構成された好適な装置に組み込んでもよく、ホスト製品やアプリケーション内で調抽出機能（feature）を提供してもよい。好適な装置の例としては、オーディオジュークボックス、インターネットラジオ、（例えば、ラジオ局で使用される）プレイリストジェネレータがある。オーディオジュークボックスは、（磁気テープ／ディスクおよび／または光ディスクを使用する）リムーバブル媒体を用いて、および／または有線または無線相互接続による（ローカルエリアおよびインターネットを含むワイドエリア等）ネットワーク技術を介してオーディオ信号にアクセスすることができる。

前述の方法と実施は、例として提示したものであり、当業者であれば本発明を利用したものであると容易に特定できる方法と実施の例を表す。

上の説明および図１を参照して、音楽トラック等のオーディオ信号の調を決定する方法が開示されている。オーディオ信号の部分（１０６）を解析して（１０４）、各部分内の音とそれに関連した強さ（１１０）を特定する（１０８）。部分で特定された音の部分は無視され（１１８）、調に関係する音をより容易に識別できるようにする。特定された音からその強さに応じて第１の音を決定する（１２４）。そして、特定された音から第１の音に応じて少なくとも第２と第３の音を選択する（１２８）。選択された音のそれぞれの強さを比較してオーディオ信号の調を決定する（１３０）。

オーディオ信号の調を決定する方法を示すフロー図である。 オーディオ信号の部分を解析する、図１に示した方法中の一ステップを示すフロー図である。 オーディオ信号の部分の周波数ドメイン表示の一例を示す一連のグラフである。 図３ａに表したものを含むオーディオ信号の部分に対応する一組のデータレコードを示すテーブルである。 オーディオ信号の部分に対応する一組のデータレコードを示すテーブルである。 図４ａに示したテーブル内のデータから導き出された特定された音に関連するトータル強さを示すテーブルである。 オーディオ信号の調を決定する装置を示す概略図である。

Claims (27)

1. オーディオ信号の調を決定する方法であって、
   複数の信号部分の各々について、音を特定するために前記部分を解析するステップと、
   少なくとも１つの音が特定された場合、
   前記または各音に関連する強さを決定するステップと、
   前記または各音のアイデンティティと、前記または各音に関連する強さと、前記部分のアイデンティティとを含むデータレコードを生成するステップと、
   前記データレコードの各々について、特定された音に関連する前記強さが前記データレコード内に含まれる特定された音のいずれかに関連付けられた最大強さの所定割合より小さい場合、前記強さを無視するステップと、
   前記特定された音から第１の音をそれぞれの強さに応じて決定するステップと、
   前記特定された音から少なくとも第２と第３の音を前記第１の音に応じて選択するステップと、
   前記少なくとも第２と第３の音のそれぞれの強さの比較に基づき前記調を決定するステップとを有することを特徴とする方法。
2. 請求項１に記載の方法であって、各部分は同じサイズであることを特徴とする方法。
3. 請求項１に記載の方法であって、各部分は同じ時間的長さを含むことを特徴とする方法。
4. 請求項１に記載の方法であって、前記部分のサイズは前記オーディオ信号のテンポの関数であることを特徴とする方法。
5. 請求項１ないし４いずれか一項に記載の方法であって、前記部分は連続であることを特徴とする方法。
6. 請求項１ないし５いずれか一項に記載の方法であって、前記所定の割合は前記オーディオ信号のコンテントに応じて決定されることを特徴とする方法。
7. 請求項１ないし６いずれか一項に記載の方法であって、前記所定の割合は1/10から1/2の範囲にあることを特徴とする方法。
8. 請求項７に記載の方法であって、前記所定の割合は1/7であることを特徴とする方法。
9. 請求項１ないし８いずれか一項に記載の方法であって、音を特定するために前記部分を解析するステップは、
   前記部分を周波数ドメイン表示に変換するステップと、
   前記周波数ドメイン表示を複数のオクターブに分割するステップと、
   最大振幅を含む各オクターブについて、
   前記最大振幅の周波数値を決定するステップと、
   前記周波数値に応じて音階の音名を選択するステップと、
   ２以上のオクターブで選択された同一音名に基づき音を特定するステップとを有することを特徴とする方法。
10. 請求項９に記載の方法であって、前記部分の周波数ドメイン表示への変換はフーリエ変換により行われることを特徴とする方法。
11. 請求項９または１０に記載の方法であって、前記音階は平均率であることを特徴とする方法。
12. 請求項１ないし１１いずれか一項に記載の方法であって、前記または各音に関連する強さを決定するステップは、
    前記音の各周波数成分の振幅を決定するステップと、
    前記振幅を加え合わせるステップとを有することを特徴とする方法。
13. 請求項１ないし１２いずれか一項に記載の方法であって、前記第１の音を決定するステップは、
    各特定された音について、前記データレコードの前記音と関連付けられた前記強さを加え合わせるステップと、
    前記第１の音を前記加えあわされた強さが最大である前記特定された音であると決定するステップとを有することを特徴とする方法。
14. 請求項１ないし１３いずれか一項に記載の方法であって、前記第１の音は前記調の主音であることを特徴とする方法。
15. オーディオ信号の調を決定する装置であって、
    信号を受信するように動作する入力デバイスと、
    データ処理装置とを有し、
    前記データ処理装置は、
    複数の信号部分の各々について、音を特定するために前記部分を解析し、
    少なくとも１つの音が特定された場合、
    前記または各音に関連する強さを決定し、
    前記または各音のアイデンティティと、前記または各音に関連する強さと、前記部分のアイデンティティとを含むデータレコードを生成し、
    前記データレコードの各々について、特定された音に関連する前記強さが前記データレコード内に含まれる特定された音のいずれかに関連付けられた最大強さの所定割合より小さい場合、前記強さを無視し、
    前記特定された音から第１の音をそれぞれの強さに応じて決定し、
    前記特定された音から少なくとも第２と第３の音を前記第１の音に応じて選択し、
    前記少なくとも第２と第３の音のそれぞれの強さの比較に基づき前記調を決定するように動作することを特徴とする装置。
16. 請求項１５に記載の装置であって、前記所定の割合は前記オーディオ信号のコンテントに応じて決定されることを特徴とする装置。
17. 請求項１６に記載の装置であって、前記所定の割合は1/10から1/2の範囲にあることを特徴とする装置。
18. 請求項１７に記載の装置であって、前記所定の割合は1/7であることを特徴とする装置。
19. 請求項１５ないし１８いずれか一項に記載の装置であって、複数の信号部分の各々について、音を特定するために前記部分を解析するために、前記データ処理装置は、
    前記部分を周波数ドメイン表示に変換し、
    前記周波数ドメイン表示を複数のオクターブに分割し、
    最大振幅を含む各オクターブについて、
    前記最大振幅の周波数値を決定し、
    前記周波数値に応じて音階の音名を選択し、
    ２以上のオクターブで選択された同一音名に基づき音を特定することを特徴とする装置。
20. 請求項１９に記載の装置であって、前記データ処理装置は、フーリエ変換を実行することにより前記部分を周波数ドメイン表示へ変換することを特徴とする装置。
21. 請求項１９または２０に記載の装置であって、前記音階は平均率であることを特徴とする装置。
22. 請求項１５ないし２１いずれか一項に記載の装置であって、前記または各音に関連する強さを決定するために、前記データ処理装置は、
    前記音の各周波数成分の振幅を決定し、
    前記振幅を加え合わせることを特徴とする装置。
23. 請求項１５ないし２２いずれか一項に記載の装置であって、前記第１の音を決定するために、前記データ処理装置は、
    各特定された音について、前記データレコードの前記音と関連付けられた前記強さを加え合わせ、
    前記第１の音を前記加え合わされた強さが最大である前記特定された音であると決定することを特徴とする装置。
24. 請求項１５ないし２３いずれか一項に記載の装置であって、
    前記オーディオ信号の調に対応するデータを送信するように動作する出力デバイスをさらに有することを特徴とする装置。
25. 請求項１ないし１４いずれか一項に記載の方法を実行するように動作するソフトウェアを有する記録担体。
26. 請求項１ないし１４いずれか一項に記載の方法を実行するように構成されたソフトウェアユーティリティ。
27. データプロセッサを含むジュークボックスであって、前記データプロセッサはその動作中請求項２６に記載のソフトウェアユーティリティにより命令されることを特徴とするジュークボックス。

Images