JP2005292207A - 音楽分析の方法 - Google Patents

Abstract

【課題】 ビデオクリップを備えたサウンドトラックの配置のインデックスを作る音楽のテンポ推定、ビートとマイクロチェンジ（ｍｉｃｒｏ−ｃｈａｎｇｅ）の検出の方法を提供する。
【解決手段】 本発明のビデオクリップを備えたサウンドトラックの配列にインデックスを作る音楽のテンポ推定、ビートとマイクロチェンジの検出の方法によれば、テンポ値、ビートの出だしとマイクロチェンジは、重複のサンプルを有するオーディオブロックのサブバンドベクトルを用いて検出され、ベクトルを決定づけるサブバンドセットは、ユーザーの入力によって決めることができるようになる。よって、ビデオクリップを備えたサウンドトラックの配列のインデックスは、より正確で、容易に得られる。
【選択図】図１

Description

本発明は、音楽分析に関し、特に、自動ビデオ編集システムにビデオクリップを備えたサウンドトラックの配列のインデックスを作る音楽のテンポ推定、ビート検出とマイクロチェンジ（ｍｉｃｒｏ−ｃｈａｎｇｅ）検出の方法に関するものである。

音楽の引用（ｍｕｓｉｃａｌ ｅｘｃｅｒｔｓ）から周期パルスの自動抽出は、近年の研究の盛んな話題になっている。ビートトラッキングとフットタッピングとも言われ、目的は、聴取者にビート、またはパルスの現象的経験に対応する象徴を抽出できる計算アルゴリズムを構築することである。

音楽的なコンセプトとしてのリズムは、直感的に認識できるものであるが、定義するのは、やや難しい。ヘンデルは、リズムの体験は動き、調和、グルーピング、さらに、抑揚と分化を含む、と書き、更に、音響による信号の簡易な測定でリズムが検出できるグラウンド・トゥルースはなく、現象的な観点の重大さを強調している。唯一のグラウンド・トゥルースは、その信号の音楽内容のリズム面を聴取者がどう同感するかだけである。

１９８９年にヘンデルは、一般に、リズムとは対照的に、ビートとパルスは、等しく間隔を置かれた一時的な単位の感覚にだけ対応すると述べた。拍子とリズムは、グルーピング、序列、強／弱の二分法の特質と関係しており、一曲のパルスは、シンプルなレベルでの単に周期的なものである。一曲のビートは、等しく間隔を開けた現象インパルス（ｉｍｐｕｌｓｅｓ）の配列であり、音楽のテンポを定義する。

注意するのは、一曲で１回演奏される数と音調の多声の複雑性と、そのリズムの複雑性、またはパルスの複雑性の間には、シンプルな関係はない。音感的、音調的に複雑だが、率直で、知覚的にシンプルなリズムの音楽の曲とスタイルのものがあれば、それほど複雑でない音感を扱うが、リズム的に理解することや説明することがより難しいものも存在する。

前者のような音楽の曲は、後者のとは対照的に、強いビートを有する。このような音楽には、リスナーのリズムの反応はシンプル、即刻、明白で、全てのリスナーは、リズムの内容に同感する。

自動ビデオ編集（ＡＶＥ）システムでは、音楽分析のプロセッシングは、ビデオクリップを備えたサウンドトラックの配列のインデックスを得るのに不可欠である。ほとんどのポップミュージックビデオでは、ビデオ／画像のショット変換は、通常ビートで起こる。更に、速い音楽は通常、多くの短いビデオクリップと速い変換と協調し、遅い音楽は通常、長いビデオクリップと遅い変換と協調する。よって、テンポ推定とビート検出は、自動ビデオ編集システムにおいて２つの重要で不可欠なプロセスである。ビートとテンポに加えて、自動ビデオ編集システムに不可欠なその他の重要なデータは、マイクロチェンジであり、一曲の中で局所的に著しく変化する音楽や、特に、ドラムのない、または、正確にビートを検出し、テンポを推定するのが難しい音楽に適する。

特開２００４−９６６１７号公報

本発明の目的は、ビデオクリップを備えたサウンドトラックの配置のインデックスを作る音楽のテンポ推定、ビートとマイクロチェンジ（ｍｉｃｒｏ−ｃｈａｎｇｅ）の検出の方法を提供する。

本発明は、ミュージックサウンドトラックを得るステップ、
前記ミュージックサウンドトラックのオーディオストリームを再サンプリングすることで、前記再サンプルされたオーディオストリームがブロックで構成されるステップ、
前記各ブロックにフーリエ変換をさせるステップ、
前記各変換されたブロックから第１ベクトルを求め、前記第１ベクトルの構成要素は、複数の第１サブバンド内の前記ブロックのエネルギーの合計であるステップ、
複数のテンポ値を用いて、同じ前記第１サブバンドで前記全ブロックの前記第１ベクトルの前記要素で構成された各配列に自己相関をさせ、各配列には、最大相関結果が信頼度として識別され、前記最大相関結果を生み出すテンポ値は、推定されたテンポとして識別されるステップ、および
前記全配列の信頼度を比較し、前記最大信頼度を最終推定のテンポとして対応して前記推定したテンポを識別するステップを含む音楽分析の方法を提供する。

本発明のビデオクリップを備えたサウンドトラックの配列にインデックスを作る音楽のテンポ推定、ビートとマイクロチェンジの検出の方法によれば、テンポ値、ビートの出だしとマイクロチェンジは、重複のサンプルを有するオーディオブロックのサブバンドベクトルを用いて検出され、ベクトルを決定づけるサブバンドセットは、ユーザーの入力によって決めることができるようになる。よって、ビデオクリップを備えたサウンドトラックの配列のインデックスは、より正確で、容易に得られる。

本発明についての目的、特徴、長所が一層明確に理解されるよう、以下に実施形態を例示し、図面を参照しながら、詳細に説明する。

図１は、本発明の実施例１に基づいたテンポ推定、ビートとマイクロチェンジ検出方法のフローチャートである。

ステップＳ１０では、ミュージックサウンドトラックが取得される。例えば、ミュージックサウンドトラックのテンポは、６０から１８０Ｍ.Ｍ（１分毎のビート）である。

ステップＳ１１では、ミュージックサウンドトラックのオーディオストリームが前処理される。オーディオストリームは、再サンプルされる。図２に見られるように、従来のオーディオストリームは、複数の塊Ｃ１、Ｃ２、…、に分割され、例えば、それぞれ２５６サンプルを含む。ブロックＢ１は、塊Ｃ１、Ｃ２で構成され、ブロックＢ２は、塊Ｃ２、Ｃ３で構成され、以下同様に構成される。よって、ブロックＢ１、Ｂ２、…は、重複するサンプルを有する。

ステップＳ１２では、ＦＦＴが各オーディオブロックに与えられ、オーディオブロックを時間領域から周波数領域に変換する。

ステップＳ１３では、一対のサブバンドのベクトルが各オーディオブロックから求められ、１つのベクトルは、テンポ推定とビート検出に、その他のベクトルは、マイクロチェンジ検出に用いられる。各ベクトルの構成要素は、異なる周波数帯域（サブバンド）内のオーディオブロックのエネルギー合計で、２つのベクトルのサブバンドセットは異なる。

２つのベクトルは、

と表すことができる。

なお、Ｖ１_(n)とＶ２_(n)は、ｎ番目オーディオブロックから分割された２つのベクトルで、Ａ₁（ｎ）（ｉ＝１〜Ｉ）は、テンポ推定とビート検出のためのサブバンドセットのｉ番目サブバンド内のｎ番目オーディオブロックのエネルギー合計で、Ｂ_j（ｎ）（ｊ＝１〜Ｊ）は、マイクロチェンジ検出のためのサブバンドセットのｊ番目サブバンド内のｎ番目オーディオブロックのエネルギー合計である。

更に、エネルギーの合計は、下記の方程式（３），（４）より分割される。

なお、Ｌ_iとＨ_iは、テンポ推定とビート検出のためのサブバンドセットのｉ番目サブバンドの上界と下界で、Ｌ_jとＨ_jは、マイクロチェンジ検出のためのサブバンドセットのｊ番目サブバンドの上界と下界であり、ａ（ｎ、ｋ）は、周波数ｋでのｎ番目オーディオブロックのエネルギー値（振幅）である。例えば、テンポ推定とビート検出のためのサブバンドセットは、３つのサブバンド［０Ｈｚ、１２５Ｈｚ］、［１２５Ｈｚ、２５０Ｈｚ］と［２５０Ｈｚ、５００Ｈｚ］を含み、マイクロチェンジ検出のためのサブバンドセットは、４つのサブバンド［０Ｈｚ、１１００Ｈｚ］、［１１００Ｈｚ、２５００Ｈｚ］、［２５００Ｈｚ、５５００Ｈｚ］と［５５００Ｈｚと１１０００Ｈｚ］を含む。

低周波数のドラム音がほとんどのポップミュージックで非常に規則的であることから、ビートの出だし（ｏｎｓｅｔ）をそれらから容易に引き出すことができる。テンポ推定とビート検出のためのサブバンドセットの全範囲は、マイクロチェンジ検出のより低い。

ステップＳ１４１では、同じサブバンドのベクトルＶ１₍₁₎、Ｖ１₍₂₎、…、Ｖ１_(n)（Ｎは、オーディオブロックの数）の要素から構成された各配列は、フィルターされ、ノイズを除去する。例えば、３つの配列がそれぞれサブバンド［０Ｈｚ、１２５Ｈｚ］、［１２５Ｈｚ、２５０Ｈｚ］と［２５０Ｈｚ、５００Ｈｚ］にある。各配列には、既定値より大きい振幅を有する構成要素だけが変更されず、その他は、ゼロにセットされる。

ステップＳ１４２では、自己相関が各フィルターされた配列に用いられる。各フィルターされた配列では、相関結果はテンポ値を用いて計算され、例えば、６０から１８６Ｍ.Ｍ.で、最大相関結果を生み出すテンポ値は、推定されたテンポで、推定されたテンポの信頼度は、最大関数結果である。更に、相関結果の妥当性の識別に閾値を用いることができ、閾値より大きい相関結果だけが、妥当である。仮に、サブバンドの１つに妥当な関数結果がない場合、そのサブバンドの推定されたテンポと信頼度は、それぞれ６０と０にセットされる。

ステップＳ１４３では、テンポ推定とビート検出のために、全サブバンドの推定されたテンポの信頼度を比較すると、最大信頼度を備えた推定のテンポは、最終的に推定されたテンポとして決定される。

ステップＳ１４４では、ビートの出だしは、最終的に推定されたテンポによって決定される。第一に、推定されたテンポが最終推定のテンポであるサブバンドの配列の最大ピークが識別される。第二に、最終推定のテンポの範囲内の最大ピークの近傍は、削除される。第三に、配列の次の最大ピークが識別される。第四に、他のピークが識別されなくなるまで第二と第三のステップを繰り返される。これらの識別されたピークがビートの出だしである。

ステップ１５では、ミュージックサウンドトラックのマイクロチェンジは、サブバンドベクトルＶ２₍₁₎、Ｖ２₍₂₎、…、Ｖ２_(n)を用いて検出される。マイクロチェンジ値ＭＶは、各オーディオブロックのために計算される。マイクロチェンジ値は、現在のベクトルと前回のベクトル間の差の合計である。より具体的に言うと、ｎ番目オーディオブロックのマイクロチェンジ値は、下記の方程式（５）によって求められる。

なお、２つのベクトル間の差は、さまざまに定義することができる。例えば、それは、二つのベクトルの振幅の差であることができる。マイクロチェンジ値が得られた後、それらは既定の閾値と比較される。閾値より大きいマイクロチェンジ値を有するオーディオブロックは、マイクロチェンジとして識別される。

上述の実施例では、サブバンドのセットは、ユーザーの入力によって決めることができ、インタラクティブな音楽分析を達成することができる。

以上、本発明の好適な実施例を例示したが、これは本発明を限定するものではなく、本発明の精神及び範囲を逸脱しない限りにおいては、当業者であれば行い得る少々の変更や修飾を付加することは可能である。従って、本発明が保護を請求する範囲は、特許請求の範囲を基準とする。

本発明の実施例１に基づいたテンポ推定、ビートとマイクロチェンジ検出方法のフローチャートである。 本発明の実施例１に基づいたオーディオブロックを示している。

符号の説明

Ｃ１、Ｃ２ 塊
Ｂ１、Ｂ２ ブロック

Claims (16)

1. ミュージックサウンドトラックを得るステップ、
   前記ミュージックサウンドトラックのオーディオストリームを再サンプリングすることで、前記再サンプルされたオーディオストリームがブロックで構成されるステップ、
   前記各ブロックにフーリエ変換をさせるステップ、
   前記各変換されたブロックから第１ベクトルを求め、前記第１ベクトルの構成要素は、複数の第１サブバンド内の前記ブロックのエネルギーの合計であるステップ、
   複数のテンポ値を用いて、同じ前記第１サブバンドで前記全ブロックの前記第１ベクトルの前記要素で構成された各配列に自己相関をさせ、各配列には、最大相関結果が信頼度として識別され、前記最大相関結果を生み出すテンポ値は、推定されたテンポとして識別されるステップ、および
   前記全配列の信頼度を比較し、前記最大信頼度を最終推定のテンポとして対応して前記推定したテンポを識別するステップを含むことを特徴とする、音楽分析の方法。
2. 前記各変換されたブロックから第２ベクトルを求め、前記第２ベクトルの構成要素は、複数の第１サブバンド内の前記ブロックのエネルギーの合計であるステップ、および
   前記第２ベクトルを用いてマイクロチェンジを検出するステップを更に含む、請求項１に記載の音楽分析の方法。
3. 前記各ブロックには、前記ブロックの前記第２ベクトルと前回のベクトル間の差の合計であるマイクロチェンジ値が計算される、請求項２に記載の音楽分析の方法。
4. 各マイクロチェンジ値は、下記の方程式（１）によって求められる、請求項３に記載の音楽分析の方法。
   

   
5. 前記２つの第２ベクトル間の差は、その振幅の差である、請求項４に記載の音楽分析の方法。
6. 前記マイクロチェンジ値は、既定の閾値と比較され、
   前記閾値より大きい前記マイクロチェンジ値を有する前記ブロックは、マイクロチェンジとして識別される、請求項５に記載の音楽分析の方法。
7. 前記第２サブバンドは、［０Ｈｚ、１１００Ｈｚ］、［１１００Ｈｚ、２５００Ｈｚ］、［２５００Ｈｚ、５５００Ｈｚ］と［５５００Ｈｚと１１０００Ｈｚ］である、請求項６に記載の音楽分析の方法。
8. 前記第２サブバンドは、ユーザーの入力によって決められる、請求項６に記載の音楽分析の方法。
9. 自己相関が用いられる前に配列をフィルターし、既定値より大きい振幅を有する構成要素だけが変更されず、その他は、ゼロにセットされるステップを更に含む、請求項１に記載の音楽分析の方法。
10. 前記オーディオストリームは、前記オーディオストリームを複数の塊に分割し、２つの隣接する塊を１つのブロックに接合することで、前記ブロックは重複するサンプルを有するステップによって、再サンプルされる、請求項１に記載の音楽分析の方法。
11. １つの塊にある前記サンプルの数は、２５６である、請求項１０に記載の音楽分析の方法。
12. 前記ｉ番目サブバンド内の前記ｎ番目ブロックの前記エネルギー合計は、下記の方程式（２）より分割される、請求項１に記載の音楽分析の方法。
    

    
13. 前記第１サブバンドは、［０Ｈｚ、１２５Ｈｚ］、［１２５Ｈｚ、２５０Ｈｚ］と［２５０Ｈｚ、５００Ｈｚ］である、請求項１に記載の音楽分析の方法。
14. 前記第１サブバンドは、ユーザーの入力によって決められる、請求項６に記載の音楽分析の方法。
15. 前記最終推定のテンポを用いて前記ミュージックサウンドトラックのビートの出だしを決定するステップを更に含む、請求項１５に記載の音楽分析の方法。
16. 前記ビートの出だしは、
    ａ）推定されたテンポが前記最終推定のテンポである前記サブバンドの前記配列の最大ピークを識別するステップ、
    ｂ）前記最終推定のテンポの範囲内の最大ピークの近傍を削除するステップ、
    ｃ）前記配列の次の最大ピークを識別するステップ、および
    ｄ）他のピークが識別されなくなるまでｂ）とｃ）のステップを繰り返すステップによって決定され、
    前記全識別されたピークが前記ビートの出だしである、請求項１５に記載の音楽分析の方法。

Images