JP2009510658A - オーディオを再生用に処理する方法および装置 - Google Patents

Abstract

１つのオーディオトラックの開始領域と、先行オーディオトラックの終端領域との間でスムースなトランジションを提供するよう、オーディオを再生用に処理する方法および装置を開示する。オーディオトラックのそれぞれにつきクロマグラムを表す量が計算され、各オーディオトラックの開始領域および終端領域についてミキシング点が特定される。オーディオトラックの開始領域のミキシング点におけるクロマグラムを表す量と、先行オーディオトラックの終端領域のミキシング点におけるクロマグラムを表す量との、相関関係が取られ、オーディオトラックの再生順序および／またはミキシングされたトランジションの持続時間が決定される。

Description

本発明は、オーディオを再生用に処理する方法および装置に関するものである。本発明は特に、一連のオーディオ片同士の間でスムースなトランジション（移行）が提供されるオーディオ再生に関するものである。

オーディオ圧縮技術の進歩、家庭におけるブロードバンドのインターネットアクセスの利用可能性、および電子音楽配信システムの人気の結果、ユーザーはいまや、絶えず増え続ける数のオーディオファイルを取得し、自分のローカルのデータベースに保存することができる。さらに、大容量のランダムアクセス記憶装置と高度なレンダリング性能とを有する民生機器は、電子音楽のデータベース全体を、即座に再生できるものとして利用可能としている。限られた数の歌曲のみが手動で選択される従来型の音楽再生と異なり、ユーザーの興味を考慮に入れた上でデータベース全体を利用する、インテリジェント再生リスト生成技術が強く求められている。さらに、これらの歌曲を、スムースなトランジションをもって、シームレスにストリーム化した態様で提供することが望ましい。歌曲同士の間のスムースなトランジションを提供する自動オーディオミキシングおよび再生システムは知られており、一般的にＡｕｔｏＤＪと呼ばれる。

ＡｕｔｏＤＪは、音楽の「知識」を有する消費者用のハードウェアプラットホーム内のソフトウェア機能であり、したがって所与のデータベースから歌曲を選択し、ミキシングすることができる。ＡｕｔｏＤＪは、人間のＤＪがオーディオミキシングを行うのに使われるツールではなく、むしろ人間のＤＪに代わるものであり、最小限の人的介入をもって動作する。

ＡｕｔｏＤＪは、単にクロスフェード型のトランジションを提供するのではなく、そのオーディオのコンテンツおよびユーザーの嗜好に応じて、様々なタイプのトランジションを適用することができる。ＡｕｔｏＤＪは、２つの部分に分けることができ、それは（１）再生リストを生成し、歌曲の類似度に応じてそれら歌曲をソートする部分（すなわち、ＡｕｔｏＤＪは、いくらかの「音楽の知識」を持っている）、および（２）一連の歌曲をミキシングし、そのミキシングされた音楽を再生する部分である。歌曲のミキシングは、トランジションのタイプおよびサイズを計算する工程と、正確なミキシング点を決定する工程と、音楽を再生する工程とを含む。そのようなＡｕｔｏＤＪシステムは、一連のトラックの分析機能だけでなく、一連のトラック間の様々なトランジション（たとえば、テンポの等化およびビート位相の同期）を実現するための、複雑な音声処理機能を提供する。ＡｕｔｏＤＪシステムは、明りょうな基準に基づいてトランジションを決定し、そのトランジションを実行する。

自動オーディオミキシングを行う既存の製品は数多く存在し、たとえばＢｐｍ ＤＪおよびＤＪ Ｍｉｘ Ｐｒｏ．Ｂｐｍ ＤＪは、予め規定された再生リストがライブイベントにおいてミキシングされる、クローズドシステムである。この予め規定されたミキシング音楽は、種々のジャンルに基づいている。たとえば、サウスダコタ・ウェディングＳＪミックス、スーフォールズ−ブルッキングス・ミックス、チェンバレン・ミックスもしくはウォータータウン・イベント・ミックス、またはプロム、スクールダンス、パーティー等々のミキシング音楽が、選択肢に含まれ得る。これらはすべて、既知のデータベースおよび再生リストに基づいている。しかしながら、このアプローチは、歌曲の事前知識を有していることを必要とし、予め規定された歌曲の集合があるときのみ動作する。ＤＪ Ｍｉｘ Ｐｒｏは、より柔軟な再生リストの選択を提供し、ある程度、入力された再生リストに基づくビートミキシングを実行する。しかしながら、ＤＪ Ｍｉｘ Ｐｒｏは、フレーズ境界といったような歌曲の重要なセマンティックスを特定する能力は有さない。歌曲を自動的にミキシングして、２つの歌曲間でシームレスなトランジションを生成する手法は、米国特許出願公開ＵＳ２００３／０１８３９６４号にも開示されている。既知の自動ミキシング方法の１つの欠点は、生成されたミキシング音楽中のトランジションが、短いまたは低品質であることが多い点である。

したがって、再生リスト中の一連の音楽トラックを自動的に選択、順序付けおよびミキシングして、（ほぼ）シームレスなトランジションを創出するための、単純かつ有効なシステムを提供することが望ましい。さらに、多様な再生リストの提供に利用可能なデータベース全体を使用できるＡｕｔｏＤＪであって、再生順序を最適化してオーディオトラック間のスムースなトランジションを提供することができるようなＡｕｔｏＤＪを提供することが望ましい。音楽トラックはオーディオ片であり、たとえば、後で再生できるようにデジタルフォーマットで保存されたものであってもよい歌曲とされ得る。

具体的には、本発明の第１の側面によれば、上記の目的は、１つのオーディオトラックの開始領域と、先行オーディオトラックの終端領域との間でスムースなトランジションを提供するよう、オーディオを再生用に処理する方法であって、
上記のオーディオトラックの開始領域のミキシング点におけるクロマグラムを表す量と、上記の先行オーディオトラックの終端領域のミキシング点におけるクロマグラムを表す量との、相関関係を取る工程と、
それらクロマグラムを表す量の間の相関関係に基づいて、上記のオーディオトラックの開始領域のミキシング点および上記の先行オーディオトラックの終端領域のミキシング点における再生中、それら連続するオーディオトラック間のトランジションをスムースにする工程とを含むことを特徴とする方法により達成される。クロマグラムを表す量は、クロマグラムそのものであってもよいし、クロマグラムから導出された１つまたは複数の値であってもよい。

本発明の第２の側面によれば、上記の目的はまた、１つのオーディオトラックの開始領域と、先行オーディオトラックの終端領域との間でスムースなトランジションを提供するよう、オーディオを再生用に処理する装置であって、
上記のオーディオトラックの開始領域のミキシング点におけるクロマグラムを表す量と、上記の先行オーディオトラックの終端領域のミキシング点におけるクロマグラムを表す量との、相関関係を取る相関器と、
それらクロマグラムを表す量の間の相関関係に基づいて、上記のオーディオトラックの開始領域のミキシング点および上記の先行オーディオトラックの終端領域のミキシング点における再生中、それら連続するオーディオトラック間のトランジションをスムースにする手段とを含むことを特徴とする装置によっても達成される。

クロマグラムは、オーディオトラックのスムースなミキシングを創出するのに、極めて有用であることが分かった。本システムは、歌曲に関する任意の事前知識を伴う任意のオーディオの集合に対して動作し得る。

連続する記録素材の各ペアがそれらのミキシング点において類似の調音またはコードの前後関係を有するような態様で、再生リスト中のオーディオ記録素材を選択およびソートするのに、クロマグラムを利用することができる。そのようなオーディオ記録素材の最適アレンジは、再生リスト内の２つの連続するオーディオ記録素材のミキシング点におけるクロマグラム間において、最も強い相関関係を見出すことにより実現することができる。

好ましくは、連続するオーディオトラックの開始領域のクロマグラムと終端領域のクロマグラムとの相関関係に基づいた順序で再生を行うよう、複数のオーディオトラックが選択される。さらに好ましくは、連続するオーディオトラックの開始領域のクロマグラムと終端領域のクロマグラムとの相関関係を最適化するように、再生順序が決定される。

再生リストの順序は、オーディオトラックのシーケンスが予め規定された制約条件を満たすか否かについてペナルティが計算され、最小のペナルティを有するオーディオトラックのシーケンスが反復法により導出される、局所的探索の手法に基づいて決定されてもよい。ペナルティは、オーディオトラックのクロマグラム間の相関関係に基づいて計算されてもよい。

上記に加えてまたは上記に代えて、連続するオーディオトラックの開始領域のクロマグラムと終端領域のクロマグラムとの間の相関関係に基づいて、それら連続するオーディオトラック間の、ミキシングされたトランジションの持続時間が決定されてもよい。

本発明の１つの好ましい実施形態では、クロマグラムは、予め決められたオクターブ数に亘って、各オーディオトラックのコンテンツのＦＦＴベースの振幅スペクトルを調音圧縮する（ｈａｒｍｏｎｉｃａｌｌｙ ｃｏｍｐｒｅｓｓ）ことによって計算される。このオクターブ数は、６オクターブであってもよい。その後、各オーディオトラックの調音圧縮された振幅スペクトルが、そのスペクトルにハミング窓を掛け合わせることによってフィルタリングされる。スペクトルのピーク位置およびピーク周辺位置において、振幅スペクトルの値が抽出される。

クロマグラムは、音楽オーディオ中の１２個のクロマすべてについて、その生じやすさ（ｌｉｋｅｌｉｈｏｏｄ）を符号化したものである。クロマは、音符の目盛位置のカテゴリーであり、オクターブにかかわらず、音符名により表される（たとえば「Ｃ」、「Ｃ＃」、「Ｄ」、・・・）。そのため、１オクターブ離れた２つのピッチは、同じクロマを有するが、ピッチ高さが異なる。したがって、クロマは、オクターブの周期で繰り返される特性を有する。このため、クロマグラムは、音楽サンプルの調音／コードのコンテンツを、１２成分の特徴ベクトルという非常にコンパクトな形式で要約するものである。

特定のキーで作曲された音楽、または特定のコード進行を使用した音楽は、比較的高い頻度で出現する特定のクロマを有する。すなわち、これらのクロマはより安定していることが見出される。長調キー（または対応の長調コードの３和音）のクロマグラムは、それらの主音につき最も高い出現率を有し、その後に３和音中の他の２つのピッチ（長３度、完全５度）、その後に長調目盛りの残りのピッチが続き、最後に目盛外のピッチとなる。一方、短調キー（または対応の短調コードの３和音）のクロマグラムは、長３度の出現率がより低いが、短３度の出現率がより高い点で異なる。クロマグラムは、ピッチと主音との関係のみに依存し、絶対的なピッチには依存しない。したがって、異なる長調キー（長調コード）に対するクロマグラム、および異なる短調キー（短調コード）に対するクロマグラムは、すべて互いに位置移動したものとなっている。たとえば、ハ長調に対するクロマグラムを６個の位置分シフトすることにより、ト長調に対するクロマグラムに到達することができる。このため、２つのオーディオサンプルのクロマグラム間のピアソン積モーメント相関は、それら２つのオーディオサンプル間の調音（ハーモニー）の類似度を計算するための、非常によい候補となる。

本発明をより完全に理解するため、図面と共に以下の説明を参照されたい。

図１は、既知のＡｕｔｏＤＪシステムの簡単な模式図を示している。この図には、コンテンツアナライザ１０３およびプレーヤー１０５に歌曲を出力する、歌曲データベース１０１が含まれている。コンテンツアナライザ１０３は、データベース１０１内に保存されている歌曲を分析して、そのコンテンツのリズミカル特性および知覚上の特性を表すパラメータを抽出する。これらのパラメータは、とりわけ、歌曲のセグメント化パラメータ、テンポおよびビート位置（オンセット）、ハーモニック・シグニチャ等を含んでいる。好都合な形態では、これらのパラメータ（集合的に、ＡｕｔｏＤＪメタ情報と呼ぶこととする）は、オフラインで計算され、接続されている特性データベース１０７に保存または追加される。

再生リスト生成器１０９は、ユーザーの嗜好の入力を受け、データベース１０１を用いて適切な再生リストを生成する。そのような再生リストを与えられると、トランジションプランナー１１１が、再生リスト中の歌曲に対応するＡｕｔｏＤＪメタ情報を比較し、最適な再生順序を決定して、プレーヤー１０５により実行されるべきコマンドの組を生成する。最後に、プレーヤー１０５は、いかにしてそれらの歌曲がリズム上調和したスムースな態様でミキシングおよび再生されるべきかを記述したコマンドのシーケンスを実行しながら、データベース１０１から出力レンダリング装置１１３（たとえばスピーカー）へと歌曲を流す。

歌曲間のシームレスなトランジションを実行するためには、ミキシング音楽中でうまく再生される歌曲は、それら歌曲のミキシング点において、音楽的に類似の特性を有することが必要不可欠である。したがって、歌曲の選択、および再生リスト中におけるそれら歌曲の順序は、ミキシング音楽中における音楽的な類似性を保証するために重要である。テンポに関しては、小さな非類似特性は、時間伸長アルゴリズムといったような音楽変換技術を適用することにより補正可能である。歌曲は、それら歌曲のビート（すなわち音楽中で知覚されるパルス）を揃えることによってミキシングすることができ、これは「ビートミキシング」として知られている。また、類似の音楽キー（または類似の調音／コードの前後関係）に関連付けて歌曲をミキシングすることもでき、これは「ハーモニックミキシング」と呼ばれる。

再生リスト中の歌曲の正しい「最適な」順序を生成する技術としては、多くの技術が知られている。その１つは、局所的探索である。この方法では、ユーザーの嗜好は、再生リストに対する制約条件として規定される。再生リストに対して「最も」適したものを生成するために、制約条件に違反することによるペナルティが最小限となるようにされる。このことを実現するために、制約条件がどの程度満たされているかを数値表現する、ペナルティ関数が用いられる。局所的探索は、ソリューション（再生リスト）が見出されるように反復法で行われ、各反復中において、このソリューションに対し、小さなランダムな変更が加えられる。ソリューションに対して加えることのできる変更の種類は、（ｉ）歌曲の追加、（ｉｉ）歌曲の削除、（ｉｉｉ）ある歌曲と新規な歌曲との置換、および（ｉｖ）再生リスト中の２つの歌曲の順序交換である。その後、最小ペナルティが見出されるまで、各反復時の各ソリューションに対するペナルティが、前回のペナルティと比較される。

ＡｕｔｏＤＪにおいて適切な再生リストを生成する別の既知の方法は、カーネル関数のガウシアンの線形結合を用いて、ユーザーの嗜好をモデリングする方法である。このモデルは、カーネル関数を用いて歌曲のメタデータ間の類似度を表すことによって、ユーザーの嗜好を学習しようとするものである。ＡｕｔｏＤＪがトレーニングされると、学習された挙動は、より多くの他の歌曲の組に直接適用される。メタデータが、そのメタデータと関連付けられた歌曲をばらつきなく要約していることが、基本的な前提条件となっている。

多くの場合、これは有効でない前提条件である。なぜならば、ファイルのオーディオコンテンツに添付されているメタデータは、任意に記述されたもので、必ずしも歌曲の挙動を代表していないからである。さらに、この形態は、歌曲のビートミキシングを許容しない。

本発明の原理の理解を助けるため、以下、図２から４を参照して、ミキシング処理の基本を詳細に説明する。

図２は、音楽トラックの典型的な構成を図解している。この音楽トラックの構成は、単なる一例であり、実装されるべきトランジションのタイプは、ミキシングが適用される場所に依存し、また逆にいえば、使用されるインターバルは、想定されるトランジションのタイプに依存し得る。

図２に図示されているように、音楽トラック（または歌曲）は、３つの主要部分、具体的にはイントロ、要部およびアウトロに分解することができる。これらおよびその他のいくつかの領域は、以下のように定義することができる。

最初の可聴点（フェードイン点）２０１。トラックが可聴閾値を最初に超えた位置である。

イントロの終了点２０２。この終了点は、分析目的のためだけに利用される。この終了点は、ブレンド・イン点のポインタのアンカーとして利用される。これにより、イントロの一部がビートミキシングのトランジション状態となる可能性が、低減させられる。

ブレンド・イン点２０３。このブレンド・イン点は、ビートミキシングの場合には、再生リスト中の先行トラックのブレンド・アウト点に同期させられる、ビートオンセットの位置を特定する。

ブレンド・アウト点２０４。このブレンド・アウト点は、ビートミキシングの場合には、再生リスト中の次のトラックのブレンド・イン点に同期させられる、ビートオンセットの位置を特定する。

アウトロの開始点２０５。この開始点は、分析目的のためだけに利用される。この開始点は、ブレンド・アウト点のポインタのアンカーとして利用される。これにより、アウトロの一部がビートミキシングのトランジション状態となる可能性が、低減させられる。

最後の可聴点（フェードアウト点）２０６。トラックが可聴閾値をまさに最後に超えていた位置である。

上記の区切りに基づいて、以下の４つのミキシング領域（分析領域）が存在する。

フェードイン領域（領域Ａ）：トランジション型のフェードインが適用される領域。全体が、歌曲のイントロ内に位置し、フェードイン点２０１から始まって延びている。この領域の実際の持続時間は、先行する歌曲の特性に依存する。

ブレンド・イン領域（領域Ｂ）：前の歌曲とのビートミキシングが生じ得る領域。全体が、歌曲の要部内に位置し、ブレンド・イン点２０３から始まって延びている。この領域の厳密な持続時間は、先行する歌曲の特性に依存する。

ブレンド・アウト領域（領域Ｃ）：次の歌曲とのビートミキシングが生じ得る領域。全体が、歌曲の要部内に位置し、ブレンド・アウト点２０４まで延びている。この領域の実際の持続時間は、次の歌曲の特性に依存する。

フェードアウト領域（領域Ｄ）：トランジション型のフェードアウトが適用される領域。全体が、歌曲のアウトロ内に位置し、フェードアウト点２０６まで延びている。この領域の実際の持続時間は、次の歌曲の特性に依存する。

各分析領域について、ＡｕｔｏＤＪメタ情報が、データベース内に保存されている。これらの領域外においては、任意の領域に対するメタ情報のリアルタイム計算が可能であれば、装飾的なミキシングが行われてもよい。好ましい実施形態のＡｕｔｏＤＪは、利用可能なメタ情報が存在しないときには、単純なＣＤスタイルのトランジションを利用してもよい。

本発明の１つの実施形態に係るＡｕｔｏＤＪシステム内での第１のステップは、コンテンツの自動選択およびソートを可能とする信号特性を抽出する工程である。この目的のため、２カテゴリーのＡｕｔｏＤＪ特性、具体的には、芸術面からみて一貫性のあるミキシング音楽を作製するのに必要な特性の組（再生リスト特性と呼ぶこととする）と、リズムの面からみて一貫性のあるミキシングを行うのに必要な特性の組（リズミカル特性と呼ぶこととする）とが特定される。

再生リスト特性は、ユーザーの評価基準を満足するような、意味のある（芸術面からみて一貫性のある）歌曲の集合を構成するのに用いられる特性である。再生リストの生成は、記録素材と共に提供されるメタデータに基づいて開始されてもよい。かかるメタデータは、ほとんどの場合には手動で編集されたものであり、ジャンルやアーティストといったような、その歌曲の何らかの直観的な周辺知識に基づいている。一般的に供給されるメタデータは、発表年、アーティスト名、ジャンルタグ等を含んでいる。メタデータに基づく再生リスト生成方法は、基本的に、編集済みのメタデータが、そのメタデータと関連付けられた歌曲を正しく記述していることを前提とする。しかしながら、この前提条件が満足される可能性は極めて低い。なぜならば、コンテンツ片に添付されているメタデータは、ほとんどの場合は任意に記述されたものであり、必ずしもその歌曲の挙動を代表していないからである。そのため、歌曲の特性とメタデータとの関連付けは、不備のあるモデルをもたらしかねない。

再生リストを生成する別の１つの方法は、コンテンツ自体からメタデータを自動的に生成する何らかの信号処理ツールを用いて抽出される、低層レベルの特性に基づいている。これにより、歌曲の分類が可能となる。この形態は、客観的な量を用いて歌曲の類似度が測定され、したがって結果として一貫性のあるモデルが得られる潜在能力があるという利点を有する。再生リストの生成には、２つのアプローチが利用される。１つは、分類を基礎とするアプローチであり、もう１つは、類似度の測定を基礎とするアプローチである。第１のアプローチでは、まず特性の組が抽出され、その後、これらの特性に基づいて処理が行われる。あるモデルが導出され、歌曲の分類および自動ラベリングを行うためにトレーニングされる。歌曲がラベリングされると、メタデータを用いて、ミキシングのための再生リストが生成される。上記で述べたように、１つの既知の方法は局所的探索である。第２のアプローチは、何らかの客観的な距離の測定に基づく、歌曲の類似度を基礎としている。この第２のアプローチの思想は、客観的な距離の尺度と「シード（核）」となる歌曲とが与えられ、類似度に基づいて、類似の歌曲が収集およびソートされるという思想である。

リズミカル特性は、モデリングが容易な、歌曲の自明な特性である。これらのリズミカル特性は、一般には、たとえばテンポ、ビート位相、節およびフレーズの境界といったような、明確かつ客観的な概念である。最も低層のレベルでは、歌曲のセマンティックス中には歌曲のビートがあり、連続する各ビートは、あるビート周期をもって隔てられている。ビートの周波数は、その歌曲のテンポと呼ばれる。複数のビートの組が、歌曲の節を形成する。１節に含まれるビートの数は、その歌曲のジャンルに依存する。たとえば、ダンスミュージックでは、１節につき４ビートが存在する。より高層概念のレベルには、歌曲のフレーズが存在する。このフレーズは、一般的には、４つの節の集合であり、通常、歌曲中のボーカルフレーズの開始点と一致して始まる。歌曲ミキシングの分野では、人間のＤＪは常に、ミキシングされる歌曲同士のフレーズ境界を揃えようと試みる。こうすることにより、リズムのよい音声ミキシングが作られる。しかしながら、フレーズ検出およびフレーズ揃えは、より深い音楽感覚を必要とし、モデリングするのは難しいことが多い。そのような場合、節同士が揃えられたビートミキシングでも十分かもしれない。一般的には、フレーズを揃えるのは理想的な話であり、節同士を揃えるのでも許容可能であるが、ビートを揃えただけでは、リズム上許容可能な音楽ミキシングには不十分である。

本発明の１つの実施形態に係るＡｕｔｏＤＪが、図３に示されている。

ＡｕｔｏＤＪ５０１は、第１のミキサ５０３と、第２のミキサ５０５とを含んでいる。各ミキサの入力端子の対は、ＡｕｔｏＤＪ５０１のそれぞれの入力端子５０７ａ、５０７ｂ、５０７ｃおよび５０７ｄに接続されている。各ミキサ５０３および５０５は、ＡｕｔｏＤＪ５０１の制御端子５０９にも接続されている。各ミキサ５０３および５０５０の出力部は、加算器５１１の各入力部に接続されている。加算器５１１の出力部は、ＡｕｔｏＤＪ５０１の出力端子５１３に接続されている。

第１の対の入力端子５０７ａ、５０７ｂは、第１の低域通過フィルタ５１５および第１の高域通過フィルタ５１７の出力に接続されている。第２の対の入力端子５０７ｃ、５０７ｄは、第２の低域通過フィルタ５１９および第２の高域通過フィルタ５２１の出力に接続されている。

トランジション期間中においては、第１の低域通過フィルタ５１５と第１の高域通過フィルタ５１７とが、第１の入力信号ｘ［ｎ］を、２つの相補的な成分ｘ_Ｌ［ｎ］とｘ_Ｈ［ｎ］とに分解し、第２の低域通過フィルタ５１９と第２の高域通過フィルタ５２１とが、第２の入力信号ｙ［ｎ］を、２つの相補的な成分ｙ_Ｌ［ｎ］とｙ_Ｈ［ｎ］とに分解する。好ましくは、これらは低周波（低音域）成分および高周波（高音域）成分である。その後、第１のミキサ５０３が適用され、２つの信号ｘ_Ｌ［ｎ］およびｙ_Ｌ［ｎ］の対応の周波数成分がミキシングされる。また、第２のミキサ５０５が適用され、２つの信号ｘ_Ｈ［ｎ］およびｙ_Ｈ［ｎ］の対応の周波数成分がミキシングされる。第１のミキサ５０３および第２のミキサ５０５のトランジションプロファイルは、図４に示したのと類似している。

続いて、ミキサ５０３および５０５の出力ｚ_Ｌ［ｎ］とｚ_Ｈ［ｎ］とが、加算器５１１によって加算され、出力ミキシング信号ｚ［ｎ］が生成されて、ＡｕｔｏＤＪ５０１の出力端子５１３から出力される。ＡｕｔｏＤＪ５０１の制御端子５０９に入力される制御信号は、２つのミキサ５０３および５０５内におけるミキシングがどのように行われるのかを記述しており、ミキシング点の位置および重複部分のサイズの情報を含んでいる。

原則として、それぞれ自己のトランジションプロファイルを持つような、複数の周波数帯を選択することができる。さらに、各周波数帯におけるトランジションプロファイルは、重複部分がゼロであるものから、極めて大きな重複部分を有するものまで可変である。

以下、ミキサ５０３および５０５のより詳細な説明を、図４を参照しながら行う。第１のミキサ５０３と第２のミキサ５０５とは、実質的に類似のものであってもよく、簡単化のために、ここでは第１のミキサ５０３のみを示して説明する旨を理解されたい。

第１のミキサ５０３は、位相比較器６０１を含んでいる。位相比較器６０１の入力部は、ミキサ５０３の入力端子６０３および６０５に接続されている。ミキサ５０３の入力端子６０３および６０５はまた、それぞれ、第１の遅延素子６０７および第２の遅延素子６０９の入力部にも接続されている。遅延素子６０７および６０９は、位相比較器６０１により生成される制御信号Ｃにより制御されている。第１の遅延素子６０７の出力部は、第１のゲイン素子６１１の入力部に接続されている。第２の遅延素子６０９の出力部は、第２のゲイン素子６１３の入力部に接続されている。第１のゲイン素子６１１および第２のゲイン素子６１３の出力部は、加算器６１５のそれぞれの入力部に接続されている。加算器６１５の出力部は、ミキサ５０３の出力端子６１７に接続されている。

入力信号ｘ_Ｌ［ｎ］は入力端子６０３に配され、入力信号ｙ_Ｌ［ｎ］は入力端子６０５に配される。ｘ_Ｌ［ｎ］およびｙ_Ｌ［ｎ］の位相が、位相比較器６０１で比較される。比較器６０１の出力は制御信号Ｃであり、この制御信号Ｃは、加算中における位相の不一致が最小限となるように、遅延素子６０７および６０９を制御する。可聴レベルのアーティファクトを防止するために、遅延素子６０７および６０９は、グレイスフルな手法で変更される。ゲイン素子６１１および６１３は、クロスフェード・プロファイルを組み入れる。こうすることにより、位相の不一致（この例ではミキシングされる信号の低音域成分）の問題が補償される。

ゲイン素子６１１および６１３のゲインは、ＡｕｔｏＤＪ５０１の制御端子５０９に入力される制御信号によって制御される。

ミキシングを作製する際に人間のＤＪが考慮に入れる１つの重要な特性は、ミキシングされる歌曲同士の音楽キーの類似度である。たとえば、ハ長調と嬰へ短調とをミキシングするのはより難しい。信号処理においては、歌曲の音楽キーは、その歌曲のいわゆるクロマグラムによって表される。クロマグラムは、ピッチの知覚的な構造に基づく、オーディオ信号の経時変化するスペクトルの抽出であって、冗長性の高いオクターブの関係は割り引いて考慮され、ピッチ構造が重視される。クロマグラムは、歌曲の音楽キーを表すものであり、表１に示すような周波数対キーのマッピングに基づいている。

歌曲のクロマグラムは、０から２０ｋＨｚの周波数範囲内にある１２オクターブのビン（ｂｉｎ）について、信号の規格化された累積エネルギーを考慮に入れることによって計算される。より具体的に、ｘ（ｆ）がオーディオ信号の周波数応答であり、ｆ_ｋｊ１およびｆ_ｋｊ２が、ｋ番目のオクターブのビン内にあるｊ番目の周波数範囲の下限周波数および上限周波数であるとする。ｆ_ｋｊ１およびｆ_ｋｊ２は、各スペクトル領域の幅が、表１に示した中心周波数周囲の半音の１／２分となるような周波数とされる。すると、ｋ番目のクロマグラム値μ_ｋは、

により与えられる。

歌曲Ｗのクロマグラムｘは、１２個のクロマグラム値を１つのベクトルに集約することにより構築される、ヒストグラムである。具体的には、

である。

本発明の本実施形態に係るＡｕｔｏＤＪシステムでは、ミキシングの持続時間（重複部分のサイズ）は、ミキシングされる２つの歌曲のクロマグラム間の類似度に比例する。２つのクロマグラム間の類似度は、

という、２つのクロマグラムベクトルｘおよびｙのピアソン積モーメント相関ｐ（ｘ，ｙ）によって規定される。ここで、ｘおよびｙは、サイズＭ（＝１２）のクロマグラムベクトルを表し、ｐ（ｘ，ｙ）は、

で与えられるピアソン積モーメント相関である。

このピアソン相関値は、［−１，１］の区間に入り、値１は完全な対応関係があることを示し、値０は対応関係が全くないことを示し、値−１は完全に逆の対応関係があることを示す。ｐ（ｘ，ｙ）が与えられると、

との関係式を用いて、ミキシングの持続時間が計算される。ここでθは、許容される最小限の重複を表し、通常は、出力される歌曲のビート周期に等しい。Ｋは、相関値を持続時間値にマッピングするための定数である。Ｋは、典型的には、ビートを単位として測定され、１６−３２ビートの範囲内の値を有し得る（すなわち、重複部分の上限は、１フレーズから２フレーズ分）。

ミキシングされる歌曲同士のクロマグラムが大きく異なるものであるときは、ミキシングの期間は短く、より快適度の低いミキシングが生成されてしまうかもしれない。

この問題を解決するため、人工的に生成されたトランジションパターンを用いて、２つのコンテンツの橋渡しをすることが望ましいかもしれない。このパターンは、いかなるクロマグラムにも合う、打楽器パターンであるのが一般的である。打楽器パターンは、オクターブの複数のビンに対して多かれ少なかれ平坦なスペクトルを持っており、したがってあらゆる種類の歌曲に対してほとんど一定の相関値を与えるため、単一キー信号と呼ぶこととする。クロマグラムが合致しない歌曲が与えられると、よりスムースなトランジションを可能とするために、２つの歌曲間に人工的なパターンが挿入される。

歌曲Ａと歌曲Ｂとが一致しない音楽キーを有するものと仮定すると、この不一致の橋渡しをするために、人工的に生成されたトランジションパターンが用いられる。打楽器パターンは、その打楽器パターンのクロマグラムが歌曲Ａに近いものから歌曲Ｂに近いものに徐々に移行するように設計されてもよいし、上記で述べたような単一キーを有するように選択されてもよい。クロマグラム以外の点でも、人工的なパターンを用いて、非常に異なるテンポや全く異なるスタイルの歌曲同士をマッチングすることもできる。この後者のマッチングは、たとえば、ミキシングされる歌曲間の休止のような音響効果を導入することにより実現され得る。

好ましい実施形態では、歌曲のデータベースから、ＡｕｔｏＤＪメタ情報が導出される。各分析につき、ＡｕｔｏＤＪメタ情報、具体的にはテンポならびにビートオンセット、バー境界（ｂａｒ ｂｏｕｎｄａｒｉｅｓ）、ビートの強さ、およびスペクトル形状パラメータ（クロマグラム）がオフラインで計算され、上記で図１を参照して述べたような接続されたデータベースに保存される。これ以外にも、他の（いわゆる非ＡｕｔｏＤＪ）メタ情報、たとえばジャンル、時代、アーティスト、および客観的な類似度の尺度に使用される低層レベルの特性（類似度パラメータと呼ぶこととする）も収集される。ＡｕｔｏＤＪは任意の２つの歌曲間の最適なトランジション（長い混成から休止によるミキシングまで多岐に亘る）を決定するものであるが、非ＡｕｔｏＤＪメタ情報に関する条件も利用され満足されたほうが、再生リストはより魅力的なものとなる。そこで、ユーザーが供給した核（シード）となる歌曲に端を発する再生リストを提供するため、ＡｕｔｏＤＪメタ情報と類似度パラメータとをいくつかの重み付けした組合せで用いる適用形態が作られた。可能な限り多くの同期させられたミキシングを再生リストが含むか、あるいはハーモニック・シグニチャに関して連続的に最適なマッチングを有するトラックを再生リストが含むかという、２つの「予め設定された」ユーザーの嗜好が取り入れられる。

自動生成された再生リストはトランジションプランナーに供給され、このトランジションプランナーが、各トランジションにおいて使用される分析領域のＡｕｔｏＤＪメタ情報を分析する。トランジションプランナーは、この分析から、好適なタイプのトランジションと、それを実行するために必要とされるパラメータとを決定する。その後、生成されたコマンドの組がプレーヤーにより実行され、必要なミキシングが行われる。

再生リスト中の歌曲の順序を最適化して、必要とされるスムースなトランジションを提供するための１つの好ましい方法は、局所的探索に基づく方法を利用するものである。この方法では、調音（ハーモニー）の類似度を、長さＮの歌曲シーケンスＳ＝ｓ_１，ｓ_２，・・・，ｓ_Ｎからなる再生リスト中における２つの（連続する）位置ｉとｊ＝（ｉ＋１）との間の二値条件として、すなわち

として、モデリングすることができる。ここで、ｓ_ｉ．ｘは、歌曲ｓ_ｉのミキシング点ｘにおけるクロマグラムを表す。ミキシング点は、たとえば、連続する２つの歌曲のアウトロとイントロとを含んでいてもよい（たとえば最後と最初との１０秒分）。局所的探索を実装するためには、クロマグラム間の上記の近似を、さらにペナルティ関数として運用できるようにしなくてはならない。このペナルティ関数は、一方のクロマグラムが他方のクロマグラムにどの程度近似しているかを、０から１の範囲の数値で表したものである。

調音の類似度に関して再生リスト全体を最適な順序としなくてはならないため、すべてのペナルティ関数の総和Ｐ^＊が最小となる、すなわち

となるような歌曲シーケンスＳ＝ｓ_１，ｓ_２，・・・，ｓ_Ｎを見出す必要がある。

明らかなことであるが、この問題は、最大化の問題として定式化してもよい。

第１に、本発明の好ましい実施形態に係る方法は、各歌曲（または各歌曲の各関連ミキシング点）について、クロマグラムを計算する方法である。ミキシング点は、歌曲のイントロおよびアウトロであってもよい。この計算は、オフラインで行ってもよいし、オンラインで行ってもよい。しかしながら、計算速度の目的からすれば、計算はオフラインで行う方が好ましい。

上記で述べたように、クロマグラムは、周波数が１２個の限られたクロマ値の組に多数対１の態様でマッピングされた、スペクトル表現の再構成として規定される。このマッピングは、たとえば上記の表１に示したように、周波数を、均等に調整された縮尺を有する、その周波数に対して理想的なクロマ値を表す「ビン」に割り当てることにより行われる。これらの「ビン」は、１オクターブ中の１２個のクロマに対応する。スペクトル表現としては、５ｋＨｚを上回るスペクトル成分が信号のダウンサンプリングによりカットオフされた、調音圧縮されたＦＦＴベースの振幅スペクトルの合計が使用される。より高い周波数領域中の調音は、低周波数領域内のピッチには顕著に寄与しないと想定される。好ましくは、限られた数（たとえば１５個）の調音圧縮スペクトルのみが加算される。ピッチに寄与しない擬似的なピークを打ち消すため、スペクトル成分（すなわちピーク）が強調される。より高い周波数のスペクトル成分は、より低い周波数のスペクトル成分に比べて、ピッチへの寄与度が低い。人間のピッチの知覚は対数律に従うので、補間により、周波数の横座標が対数座標に変換される。合計すると、１オクターブにつき１７１個の点が、三次スプライン法により、６オクターブ（２５Ｈｚから５ｋＨｚ）に亘って補間される。これは、線形周波数領域から対数周波数領域に転換するためのより高い分解能を実現するため、および数値の不安定さを防止するために必要とされる。

人間の聴覚（ピッチの体感音量が周波数に依存する）をモデリングするためには、重み付け関数が用いられる。たとえば、４００Ｈｚよりも低い周波数では、等しい振幅を有するピッチの音量が、急激に低下し始める。

調音圧縮は、周波数の線形横座標に、整数因子ｎが乗算されることを意味する。対数周波数領域では、この乗算はシフト（すなわち加算）と等価である。圧縮ランクｎは、分解される調音の指数を意味する。実行される圧縮回数は、分析対象の調音の数に等しい。これらすべての異なる圧縮されたスペクトル表現が加算される。その際、より高い調音のピッチへの寄与度が、より低い調音よりも低くなる状態を実現するために、低減因子のシーケンスが用いられる。

アルゴリズムの観点からみると、入力信号が、重複のない１００ミリ秒の時間フレームに分割される。信号がステレオフォーマットである場合には、最初に２つのチャネルを平均することにより、モノクロ版の信号が創出される。フレームの長さは、一方では、利用可能なグローバルなテンポを有する音楽実演中の音符の最低限の持続時間（３０−３００ｂｐｍ、すなわち１秒につき５イベントから２秒につき１イベントの間）によって影響を受け、他方では、長いフレームはあまりに強力な計算を必要とするという事実によって影響を受ける。

以降の処理ではＡ０（２７．５Ｈｚ）からＡ６（１７６０．０Ｈｚ）の音楽ピッチしか考慮しないので、より高いピッチ周波数の調音もいくらか捕捉するためにも、調音圧縮は、２５Ｈｚから５ｋＨｚまでの６オクターブに亘って行われる。したがって、５ｋＨｚよりも高い周波数のスペクトル内容は、考慮されない。少なくとも１０ｋＨｚの低域通過フィルタリングおよびデシメーション処理が、ある特定の率によって、信号の帯域制限およびダウンサンプリングを行う。低域通過フィルタリングは、理想的な低域通過フィルタのＦＩＲ近似によりダウンさせられる。このダウンサンプリングは、結果に深刻な影響を与えることなく、必要な計算時間を大幅に低減させる。フレーム中の「残りの」サンプルが、ハミング窓と掛け合わされ、ゼロで埋め合わされて、１０２４点のＦＦＴから振幅スペクトルが算出される。このスペクトルは、周波数の線形目盛上で４．８８Ｈｚの間隔を有する、５１２個の点からなる。次に、周波数またはそれらの強度に深刻な影響を与えることなくピークを強調することを目的とした処理が行われる。極大点から２つのＦＦＴ点分（９．７７Ｈｚ）より遠くに離れたすべての点の値をゼロに設定することによって、スペクトルのピーク値およびピーク周辺の値のみが考慮される。結果として得られたスペクトルは、その後、ハニングフィルタを用いて平滑化される。

４．８８Ｈｚという線形分解能は、低ピッチ領域においては限定されすぎた分解能であるので（Ｃ２とＣ＃２との間のピッチ周波数の違いは３．８９Ｈｚ）、１７１個の点につき、対数周波数目盛上でのスペクトル値が計算される（補間）。１２５０Ｈｚ未満の周波数に対する人間の聴覚系を擬似再現するため、補間されたスペクトルには、上げ底された逆正接関数が乗算される。この結果は、対数周波数目盛りに沿ってシフトされ、低減因子ｈが乗算され、分解されるべきすべての調音（Ｎ＝１５）について加算されて、その結果、少なくとも６オクターブに亘って規定された調音圧縮スペクトルが得られる。

等分平均律の各クロマに対応する調音圧縮スペクトル中のスペクトル領域を位置決めすることにより、各フレームのクロマグラムが計算される。ピッチクラスＣに関していえば、これは、Ｃ１（３２．７Ｈｚ）、Ｃ２（６５．４Ｈｚ）、Ｃ３（１３０．８Ｈｚ）、Ｃ４（２６１．６Ｈｚ）、Ｃ５（５２３．３Ｈｚ）およびＣ６（１０４６．５Ｈｚ）のピッチ周波数周辺を中心とする、４つのスペクトル領域に集約される。各スペクトル領域の幅は、この中心から半音の１／２分である。４つすべてのスペクトル領域内の振幅が加算され、１つのクロマ領域が形成される。そして、クロマ領域内に入る振幅のノルムＨと、クロマ領域内に入らない振幅のノルムＲとが取られる。Ｈ／Ｒの比を計算することにより、そのクロマの生じやすさが与えられる。すべてのフレームに亘ってクロマグラムを加算し規格化することにより、結果として、音楽サンプル全体についての１つのクロマグラムが得られる。

上記の好ましい実施形態は、ミキシング点においてクロマグラムの相関関係を取る特定の相関技術に言及して説明されてきたが、本発明は、かかる特定の技術に限定されるものでなく、ミキシング点におけるクロマグラムの相関関係の取得は、任意の他の組合せ尺度または距離尺度（たとえばカイ二乗距離、ユークリッド距離、エントロピー尺度、分布尺度等）を含み得る点を理解されたい。

本発明の好ましい実施形態を、図面に示し上記の詳細な説明で説明してきたが、本発明は、上記に開示された実施形態に限定されるものでなく、特許請求の範囲で規定した本発明の技術的範囲から逸脱することなく、多くの変更形態が可能であることを理解されたい。

既知の自動ＤＪシステムの簡単な模式図 オーディオトラックの典型的なミキシング素材を、グラフにより示した図 本発明の１つの実施形態に係るＡｕｔｏＤＪシステムの簡単な模式図 図３のＡｕｔｏＤＪシステムのミキサの簡単な模式図

Claims (9)

1. １つのオーディオトラックの開始領域と、先行オーディオトラックの終端領域との間でスムースなトランジションを提供するよう、オーディオを再生用に処理する方法であって、
   前記オーディオトラックの前記開始領域のミキシング点におけるクロマグラムを表す量と、前記先行オーディオトラックの前記終端領域のミキシング点におけるクロマグラムを表す量との、相関関係を取る工程と、
   前記クロマグラムを表す前記量の間の相関関係に基づいて、前記オーディオトラックの前記開始領域の前記ミキシング点および前記先行オーディオトラックの前記終端領域の前記ミキシング点における再生中、該連続するオーディオトラック間の前記トランジションをスムースにする工程とを含むことを特徴とする方法。
2. 前記連続するオーディオトラック間の前記トランジションをスムースにする前記工程が、前記クロマグラムを表す前記量の間の相関関係に基づいて、前記オーディオトラックが再生される再生順序を決定する工程を含むことを特徴とする請求項１記載の方法。
3. 連続するオーディオトラックの前記開始領域の前記クロマグラムを表す前記量と前記終端領域の前記クロマグラムを表す前記量との間の相関関係を最適化することによって、前記再生順序が決定されることを特徴とする請求項２記載の方法。
4. 前記再生順序を決定する前記工程が、
   オーディオトラックのシーケンスが予め規定された制約条件を満たすか否かについて、該オーディオトラックの前記クロマグラムを表す前記量の間の前記相関関係に基づいて、ペナルティを計算する工程と、
   最小のペナルティを有するオーディオトラックのシーケンスを、反復法により導出する工程とを含んでいることを特徴とする請求項２または３記載の方法。
5. 前記連続するオーディオトラックの前記開始領域の前記クロマグラムを表す前記量と前記終端領域の前記クロマグラムを表す前記量との間の前記相関関係に基づいて、該連続するオーディオトラック間のミキシングされたトランジションの持続時間が決定されることを特徴とする請求項１から４いずれか１項記載の方法。
6. １つのオーディオトラックの開始領域と、先行オーディオトラックの終端領域との間でスムースなトランジションを提供するよう、オーディオを再生用に処理する装置であって、
   前記オーディオトラックの前記開始領域のミキシング点におけるクロマグラムを表す量と、前記先行オーディオトラックの前記終端領域のミキシング点におけるクロマグラムを表す量との、相関関係を取る相関器と、
   前記クロマグラムを表す前記量の間の相関関係に基づいて、前記オーディオトラックの前記開始領域の前記ミキシング点および前記先行オーディオトラックの前記終端領域の前記ミキシング点における再生中、該連続するオーディオトラック間の前記トランジションをスムースにする手段とを含むことを特徴とする装置。
7. 前記連続するオーディオトラックの前記開始領域の前記クロマグラムを表す前記量と前記終端領域の前記クロマグラムを表す前記量との間の、前記相関関係に基づく再生順序で再生を行うよう、再生リスト中の複数のオーディオトラックを選択する再生リスト生成器をさらに含むことを特徴とする請求項６記載の装置。
8. 前記連続するオーディオトラックの前記開始領域の前記クロマグラムを表す前記量と前記終端領域の前記クロマグラムを表す前記量との間の前記相関関係に基づいて、該連続するオーディオトラック間のミキシングされたトランジションの持続時間を決定する、トランジション持続時間決定器をさらに含むことを特徴とする請求項６または７記載の装置。
9. 請求項１から５いずれか１項記載の方法を実行するための、複数のプログラムコード部分を含むことを特徴とするコンピュータプログラム。

Images