JP2004528596A - リズム情報に関するオーディオ信号を解析するための装置及び方法 - Google Patents

Abstract

オーディオ信号をそのリズム情報に関して解析するための装置であって、オーディオ信号を少なくとも二つの副帯信号に分けるためのフィルターバンク（１０２）を有している。各副帯信号のリズム生情報を得るために、各副帯信号は副帯信号（１０４ａ，１０４ｂ）の周期性に関して識別される。各副帯信号の重要度を得るために、リズム生情報は質の評価（１１０ａ，１１０ｂ）をされる。最終的に、副帯信号の重要度及びリズム生情報（１０８ａ，１０８ｂ）を考慮して、オーディオ信号のリズム情報が決定される。このような装置はオーディオ信号のより確実な解析を可能にする。リズム情報を決定する際に、重要なリズム情報が存在する副帯信号が、あまり重要でないリズム情報が存在する副帯信号よりも、重要視されるからである。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理概念、特にリズム情報に関するオーディオ信号の解析に関する。
【０００２】
【従来の技術及び課題】
近年、オーディオデータやビデオデータのようなマルチメディアデータ資料の入手可能度が著しく進歩してきた。これは、特にインターネット、能率的なコンピュータのハードウェア及びソフトウェア、能率的なデータ圧縮つまりソース符号化方法やオーディオ及びビデオ方法の幅広い有用度に基づく一連の技術的要因による。
【０００３】
例えば、インターネットにより世界的に入手可能な大容量の音声視覚信号は、内容の基準によってこれらのデータを判断したり分類することが可能になる概念を必要とする。有効な基準を指定することによって、所定の計算方法でマルチメディアを検索し、見つけ出せることが求められている。
【０００４】
この要求は「コンテントベース」技術と呼ばれ、音声視覚データから、その信号の重要な特性を表すいわゆる特徴点を抜粋する。このような特徴点及びこれらの特徴点の組合せに基づき、オーディオ信号やビデオ信号それぞれの間で、類似のものや共通の特徴点が引き出される。これは、単純に「作品」とも称される異なる信号から抜粋された特徴値をそれぞれ比較及び関連付けることによって実行される。
【０００５】
信号論理的だけでなく直接意味論的である意義を有する、つまりリスナーによって直接受信された特徴点を表すような特徴点の決定と抜粋のそれぞれが、特に注目されている。
【０００６】
これにより、ユーザーは、オーディオ信号データバンクの一覧にある全てのデータからいくつかの作品を見つけ出すために、簡単で直感的な方法で検索要求を表現することができる。同様に、意味論的に関連する特徴点により、人間の感覚に近い方法で、作品の間の類似関係を類型化することができる。意味論的意義を有する特徴点の使用は、また、ユーザーの好みが明らかである場合には、例えばそのユーザーのために作品を自動的に提案することも可能にする。
【０００７】
音楽解析の分野において、テンポは重要な音楽パラメータであり、これは意味論的意義を有するものである。テンポは、通常、分単位のビート（ｂｐｍ）で測定される。テンポだけでなく「ビート」の小節ごとの強勢の自動的な抜粋、つまり概してリズム情報の自動的な抜粋は、一つの音楽作品の意味論的に重要な特徴点をとらえるための一つの例である。
【０００８】
さらに、特徴点の抜粋、つまり、オーディオ信号からリズム情報を抜粋することは、確実でありコンピュータ的に効率的な方法で行われることが望まれている。確実であるというのは、その作品がソース符号化され、再び復号化されたものかどうか、その作品はスピーカを介して演奏されたりマイクから受信されるものかどうか、大きくあるいは穏やかに演奏されているのかどうか、一つの楽器あるいは複数の楽器で演奏されているのかどうかは関係ないということである。
【０００９】
小節の強勢及びこれによりテンポを決定するために、つまりリズム情報を決定するために、「ビートトラッキング」という言葉が専門家の間で確立してきた。先行技術より、楽譜のような書き写された信号表記に基づき、つまりミディフォーマットで、ビートトラッキングを行うことが知られている。しかし、このようなメタ表記を必要とするのではなく、例えば、ＰＣＭ符号化された又は概してデジタルオーディオ信号を直接解析することが目標である。
【００１０】
ジャーナル音響社会学アメリカ１０３：１（１９９８年１月）５８８〜６０１ページ、Ｅｒｉｃ Ｄ． Ｓｃｈｅｉｒｅｒによる“Ｔｅｍｐｏ ａｎｄ Ｂｅａｔ Ａｎａｌｙｓｉｓ ｏｆ Ａｃｏｕｓｔｉｃ Ｍｕｓｉｃａｌ Ｓｉｇｎａｌｓ”に、音楽的な抜粋からリズムパルスを自動的に抜粋する方法が開示されている。入力信号は、フィルターバンクを介して一連の副帯、例えば、２００Ｈｚ、４００Ｈｚ、８００Ｈｚ、１６００Ｈｚ、３２００Ｈｚという遷移周波数を有する六つの副帯に分割される。低域フィルタリングが最初の副帯のために行われる。最後の副帯のためには高域フィルタリングが行われ、他の中間副帯のためには帯域フィルタリングが行われる。各副帯は以下のように処理される。まず、副帯信号を整流する。それとは別にサンプルの絶対値を決定する。そして、エンベロープ信号を得るために、決定した値ｎを、例えば適当なウィンドウで平均化することによって平滑にする。コンピュータ演算の複雑さを緩和するために、エンベロープ信号を二段抽出することが可能である。エンベロープ信号は微分され、つまり、好ましくは微分フィルタによって信号の振幅の突然の変化にも対応できる。結果は負ではない値に制限される。各エンベロープ信号は共振フィルター、つまり振動子のバンクに格納される。各振動子は各テンポ領域のためのフィルターを備えており、従ってその音楽のテンポに合うフィルターが最も刺激される。入力信号のテンポをそのフィルターに属するテンポに合せるための手段として、各フィルターの出力信号のエネルギーが算出される。各テンポのためのエネルギーは全ての副帯において合計され、最も大きなエネルギー合計が結果として与えられるテンポ、つまりリズム情報を特徴づける。
【００１１】
この方法の重要な不利点は、特に、多数の振動子を並行して共振させ、最終的にはそのうちのただ一つを選択するということを実現するために行われる膨大な計算量とメモリの複雑さにある。このことが、リアルタイムな応用というような効率的な実行をほとんど不可能にしている。
【００１２】
Ｅｒｉｃ Ｄ． Ｓｃｈｅｉｒｅｒによる“Ｐｕｌｓｅ Ｔｒａｃｋｉｎｇ ｗｉｔｈ ａ Ｐｉｔｃｈ Ｔｒａｃｋｅｒ”（音声及び音波信号処理の応用に関するワークショップ１９９７年会報、モーホンク、ニューヨーク、１９９７年１０月）では、前述の振動子概念と別の概念との比較を検討している。別の概念とは、オーディオ信号からの周期性の抜粋、つまり信号のリズム情報抜粋のための、自動相関関数の使用に基づくものである。ビートトラッキングのために、人間のピッチ感覚の変調のためのアルゴリズムが使用される。
【００１３】
図３は、公知のアルゴリズムを示すブロック図である。オーディオ信号は、オーディオ入力３００を介して解析フィルターバンク３０２に送り込まれる。解析フィルターバンクは、そのオーディオ入力からｎ個のチャンネル、つまり個々の副帯信号を生成する。各副帯信号は、オーディオ信号のある特定の周波数領域を有している。解析フィルターバンクのフィルターは、人間の内耳の選択特性に近くなるように選択される。このような解析フィルターバンクは、γトーンフィルターバンクとも称される。
【００１４】
各副帯のリズム情報は手段３０４ａ〜３０４ｃで評価される。各入力信号に対して、まず、エンベロープ状の出力信号が（耳の中のいわゆる内部繊毛細胞処理に関して）計算され、二段抽出される。この結果から自動相関関数（ＡＣＦ）が算出され、信号の周期性を遅延の関数として得る。
【００１５】
手段３０４ａ〜３０４ｃの出力側において、自動相関関数が各副帯信号に対して与えられ、これは各副帯信号のリズム情報の様相を表す。
【００１６】
副帯信号のそれぞれの自動相関関数は、手段３０６で合計されることで組み合わされ、総自動相関関数（ＳＡＣＦ）を得る。総自動相関関数は、オーディオ入力３００で信号のリズム情報を再生する。この情報はテンポ出力３０８で出力できる。総自動相関関数において高い値は、小節の始まりの高い周期性が総自動相関関数のピークのずれとして現れることを示している。従って、例えば総自動相関関数のピーク値は、音楽的に有用な遅延内において探し出される。
【００１７】
音楽的に有用な遅延とは、例えば、６０〜２００ｂｐｍの範囲のテンポである。手段３０６は、遅延時間をテンポ情報に変換させるために設けられている。従って、１秒間のピークの遅延は、例えば毎分６０ビートというテンポに相当する。遅延がそれより小さい場合はテンポがそれよりも速いことを示し、遅延がそれより大きい場合はテンポがそれよりも遅いことを示している。
【００１８】
いずれの振動子をも高い計算及び記憶能力を必要としないので、この方法は最初に述べた方法に比べて有利である。しかし他方では、結果の質はオーディオ信号のタイプにかなり左右されるという点で、この概念は不利である。例えば、オーディオ信号から主要なリズム楽器の音が聞こえる場合には、図３に示した概念は良好に作用するであろう。しかし、声が主で、明白なリズム情報が与えられない場合には、リズム決定は曖昧なものになってしまう。しかし、オーディオ信号中に、単にリズム情報を含むだけの帯域が存在している可能性がある。例えば、ドラムのハイハットが周波数上位置している高周波帯域、又は大きなドラムが周波数上位置している低周波帯域である。それぞれの情報の組み合わせにより、このような特定の副帯に関するかなり明確な情報は、他の副帯に関する曖昧な情報に重畳され、「減殺」される。
【００１９】
副帯信号の周期性を引き出すために自動相関関数を用いる際の他の問題点は、手段３０６によって得られる総自動相関関数が曖昧であるということである。出力３０６における総自動相関関数は、自動相関関数のピーク値は複数の遅延期間を持って形成されるという点で曖昧である。これは、自動相関関数処理される際、ｔ０の期間の湾曲成分が、ｔ０での望ましい最高値及び複数の遅延期間をおいた時点、即ち、２ｔ０、３ｔ０等の時点での最高値とは無関係に形成されるという事実から納得できる。
【００２０】
ＴｏｌｏｎｅｎとＫａｒｊａｌａｉｎｅｎによる“Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ Ｅｆｆｉｃｉｅｎｔ Ｍｕｌｔｉｐｉｔｃｈ Ａｎａｌｙｓｉｓ Ｍｏｄｅｌ”（スピーチ及びオーディオ処理に関するＩＥＥＥ転送、第８巻、２０００年１１月）は、複雑なオーディオ信号の周期性解析のための時間効率的な計算モデルを開示している。この計算モデルでは、信号を二つのチャンネル、つまり、１０００Ｈｚ未満のチャンネルと１０００Ｈｚ以上のチャンネルに分ける。これらから、低周波チャンネルの自動相関関数及び高周波チャンネルのエンベロープの自動相関関数が算出される。最終的に、これら二つの自動相関関数が合計される。総自動相関関数の曖昧さを除去するために、この総自動相関関数はさらに処理され、いわゆるエンハンストサマリー自動相関関数（ＥＳＡＣＦ）が得られる。この総自動相関関数の後処理は、負でない値に制限して、整数の係数で拡張された様々な変形自動相関関数を総自動相関関数から繰り返し引くという処理を含む。
【００２１】
本発明の目的は、リズム情報を有するオーディオ信号を解析するための計算時間に関して効率的で確実な装置、及び、効率的で確実な方法を提供することである。
【００２２】
【発明の構成、作用及び効果】
前記目的は、請求項１に係るオーディオ信号を解析するための装置、又は、請求項１１に係るオーディオ信号を解析するための方法によって達成される。
【００２３】
本発明は、それぞれの周波数帯域、つまり副帯に、リズミカルな周期性を探し出すための様々な好ましい条件がしばしば存在するという知識に基づいている。例えば、ポップミュージックでは、しばしば１ｋＨｚ周辺の中央領域では、ビートに呼応しない声が主であり、高周波領域では主にドラムにハイハットのようなパーカッションの音が存在し、これによりリズムの定期性を非常によく抜粋することができる。また、異なる周波数帯域には、オーディオ信号によって異なる量のリズム情報が存在し、これらの周波数帯域はそのオーディオ信号にとって異なる質又は重要性をそれぞれ有している。
【００２４】
従って、本発明によると、オーディオ信号はまず副帯信号に分けられる。各副帯信号はその周期性に関して識別され、各副帯信号のリズム生情報が得られる。本発明によると、その後、各副帯信号の重要度を得るために、各副帯信号の周期性の質の評価が行われる。高い重要度は、その副帯信号に明白なリズム情報が存在することを示し、低い重要度は、その副帯にはあまり明白でないリズム情報が存在することを示している。
【００２５】
本発明の好ましい一実施形態によると、副帯信号をその周期性に関して識別する際、まず、副帯信号の変形エンベロープが計算され、そのエンベロープの自動相関関数が算出される。このエンベロープの自動相関関数はリズムの生情報を示している。自動相関関数が明らかな最高値を示す場合には明白なリズム情報が存在し、一方、その副帯信号のエンベロープの自動相関関数が重要な信号ピーク値を有さないか又は全くピーク値を有さない場合には、明白なリズム情報がほとんど存在しない。従って、明白な信号ピークを有する自動相関関数は重要度が高く、比較的平坦な信号波形を有する自動相関関数は重要度が低い。
【００２６】
本発明によると、それぞれの副帯信号のそれぞれのリズム生情報は「盲目的に」のみ組み合わされるのではなく、オーディオ信号のリズム情報を得るための各副帯信号の重要度を考慮して組み合わされる。ある副帯信号が高い重要度を有している場合、リズム情報を決定する際、これを十分に考慮することが好ましく、一方、ある副帯信号が低い重要度を有している場合、つまり、リズム情報に関して低い質しか有さない場合には、リズム情報を決定する際、これをほとんどあるいは極端な場合には全く考慮しない。
【００２７】
これは、重要度に基づく重み付け係数により、良好な方法で計算時間的に効率的に実施することができる。リズム情報にとって良質な、つまり高い重要度を有する副帯信号には１の重み付け係数を与えることも可能であり、重要度の低い他の副帯信号には１よりも小さい重み付け係数を与えられる。極端な場合、全く平坦な自動相関関数を有する副帯信号は０の重み付け係数を有することになる。重み付けされた自動相関関数、つまり重み付けされた生リズム情報は、その後単純に合計される。全ての副帯信号のうちのただ一つの副帯信号のみが良質なリズム情報を提供し、他の副帯信号は平坦な信号波形の自動相関関数を有している場合、この重み付けは、極端な場合、その唯一の副帯信号を除く他の全ての副帯信号には重み付け係数０が与えられ、リズム情報決定の際には全く考慮されないことになる。そして、このオーディオ信号のリズム情報は単に一つの副帯信号からのみ決定されることになる。
【００２８】
本発明は、リズム情報の確実な決定が可能になることに利点がある。明白でなくさらにそれぞれ異なるリズム情報を有する副帯信号、例えば、声がその作品の実際のビートとは異なるリズムを有している場合、それらがオーディオ信号のリズム情報を弱めたり崩壊させたりしないからである。さらに、非常にノイズに近い副帯信号はシステム自動相関関数に全く平坦な信号波形を与えるが、これらの信号は、リズム情報を決定する際、信号雑音比を低下させない。しかし、先行技術のように、全ての副帯信号の自動相関関数を同じ重みで単に合計すれば、信号雑音比を低下させることになる。
【００２９】
本発明の方法の他の利点は、わずかな付加的な演算処理で重要度が決定できること、及びその重要度を有するリズム生情報の評価とそれに続く合計が膨大な記憶量や計算時間を費やさずに効率的に行えることであり、従って、本発明は特にリアルタイムな応用に適している。
【００３０】
【発明の実施の形態】
本発明の好ましい実施形態を添付図面を参照して以下に説明する。
【００３１】
図１は、オーディオ信号をリズム情報に関して解析するための装置のブロック図を示す。オーディオ信号は入力１００を介して手段１０２に送られ、少なくとも二つの副帯信号１０４ａ，１０４ｂに分けられる。各副帯信号１０４ａ，１０４ｂはそれぞれ手段１０６ａ，１０６ｂに送られ、その副帯信号中の周期性に関して識別され、それぞれの副帯信号に対してリズム生情報１０８ａ，１０８ｂが得られる。このリズム生情報１０８ａ，１０８ｂは手段１１０ａ，１１０ｂに送られ、その少なくとも二つの副帯信号のそれぞれの周期性の質が評価され、それぞれの副帯信号に対して重要度１１２ａ，１１２ｂが与えられる。これらのリズム生情報１０８ａ，１０８ｂ及び重要度１１２ａ，１１２ｂの両方が手段１１４に送られ、このオーディオ信号のリズム情報を決定する。オーディオ信号を決定する際、手段１１４は、各副帯信号の重要度１１２ａ，１１２ｂ及び少なくとも一つの副帯信号のリズム生情報１０８ａ，１０８ｂを考慮する。
【００３２】
例えば、質評価手段１１０ａが副帯信号１０４ａ中には特に周期性はないと判断した場合、重要度１１２ａは非常に小さくほぼ０に等しいものとなる。この場合、リズム情報を決定する手段１１４は、重要度１１２ａが０であるので、オーディオ信号のリズム情報を決定する際には、副帯信号１０４ａのリズム生情報１０８ａを全く考慮する必要はないと判断する。このオーディオ信号のリズム情報は、副帯信号１０４ｂのリズム生情報１０８ｂのみに基づいて決定されることになる。
【００３３】
図２を参照して、図１の装置の具体的な実施形態を以下に説明する。オーディオ信号を分割する手段１０２として、共通解析フィルターバンクが使用でき、この場合、出力側に与えられる副帯信号の数はユーザーにより選択可能となる。各副帯信号はそれぞれ手段１０６ａ，１０６ｂ，１０６ｃの処理を受け、各リズム生情報の重要度が手段１１０ａ〜１１０ｃにより決定される。図２に示す好ましい実施形態において、手段１１４は、各副帯信号の重み付け係数をその副帯信号の重要度及び任意に他の副帯信号の重要度に基づき算出する手段１１４ａを含んでいる。そして、手段１１４ｂにおいて、リズム生情報１０８ａ〜１０８ｃの重み付けがその副帯信号の重み付け係数をもって行われる。その後、手段１１４ｂでは、重み付けされたリズム生情報が例えば合計されて組み合わされ、テンポ出力１１６でオーディオ信号のリズム情報が得られる。
【００３４】
従って、本発明の概念は以下のようなものである。例えば、エンベロープ作成、平滑化、微分、正の値への限定及び自動相関関数の作成（手段１０６ａ〜１０６ｃ）を行うことによってそれぞれの帯域のリズム情報を評価した後、これらの中間結果の重要度及び質の評価が手段１１０ａ〜１１０ｃにおいて行われる。これは、それぞれの結果の信用性を重要度をもって評価する評価関数の助けを借りて行われる。リズム情報の抜粋のために、重み付け係数が各帯域の副帯信号全ての重要度から引き出される。そして、それぞれの帯域幅の結果をそれぞれの重み付け係数を考慮して組み合わせることにより、リズム抜粋の最終的な結果が手段１１４ｂで得られる。
【００３５】
結果的に、このように実行されたリズム解析のアルゴリズムは、不都合な条件下にあっても、信号内のリズム情報を確実に見つけ出すことができる。従って、本発明の概念は高い確実性によって区別される。
【００３６】
好ましい実施形態において、各副帯信号の周期性を示すリズム生情報１０８ａ，１０８ｂ，１０８ｃは自動相関関数によって決定される。この場合、自動相関関数の最大値をその自動相関関数の平均で割り、そして１を引くことにより、重要度を決定することが好ましい。ここで明記すべき点は、全ての自動相関関数は常に遅延０で信号のエネルギーを示す局部的最大値を与えるということである。質の決定を台無しにしないように、この最大値は考慮すべきではない。
【００３７】
さらに、自動相関関数はある特定のテンポの範囲内でのみ、例えば、最大遅延つまり関連する最小テンポから最小遅延つまり関連する最大テンポまででのみ、考慮すべきである。典型的なテンポの範囲は６０〜２００ｂｐｍである。
【００３８】
あるいは、関連するテンポ範囲内の自動相関関数の算術的平均とそのテンポ範囲内の自動相関関数の幾何学的平均との間の関係を重要度として決定することもできる。周知のように、自動相関関数の全ての値が等しい場合、つまり、自動相関関数が平坦な信号波形を有する場合、自動相関関数の幾何学的平均と自動相関関数の算術的平均は等しい。この場合、重要度は１に等しい値であり、これはそのリズム生情報は重要でないことを意味している。
【００３９】
強いピークを有するシステム自動相関関数の場合、算術的平均の幾何学的平均に対する比は１以上となり、これはこの自動相関関数が好ましいリズム情報を有していることを意味している。算術的平均と幾何学的平均の間の比が小さければ小さいほど、その自動相関関数は平坦で、低い周期性であり、その副帯信号のリズム情報はさほど重要でない、つまり低い又は０の重み付け係数で表されるような質の低いものであるということを意味している。
【００４０】
重み付け係数に関して、いくつかの可能性が存在する。比較重み付けが好ましく、全ての副帯信号の重み付け係数の合計が１になるようにする。例えば、ある帯域の重み付け係数は、全ての重要度の値の合計で割られた重要度の値として決定される。この場合、比較重み付けは、オーディオ信号のリズム情報を得るための重み付けされたリズム生情報の合計の前に行われる。
【００４１】
前述したように、自動相関関数を用いてリズム情報の評価を行うことが好ましい。図４は、この場合の説明図である。オーディオ信号は、オーディオ信号を副帯信号１０４ａ，１０４ｂに分割する手段１０２に、オーディオ信号入力１００を介して送り込まれる。前述したように、各副帯信号は、自動相関関数を使用して、それぞれ手段１０６ａ，１０６ｂにおいて識別される。そして、リズム生情報１０８ａ，１０８ｂが手段１０６ａ，１０６ｂの出力側に与えられる。これらは手段１１８ａ、１１８ｂにそれぞれ送られ、手段１１６ａで自動相関関数を介してリズム生情報の後処理が行われる。これにより、自動相関関数の曖昧さ、つまり信号ピークが整数回の遅延をもって起こることが副帯ごとに必ず除去され、後処理されたリズム生情報１２０ａ，１２０ｂがそれぞれ得られる。
【００４２】
従来技術のように、それぞれの自動相関関数の合計の後に曖昧さが除去されるだけではなく、自動相関関数、つまりリズム生情報１０８ａ，１０８ｂの曖昧さは、すでに副帯ごとに除去されているという利点を有している。その上、手段１１８ａ，１１８ｂにより自動相関関数の曖昧さを各帯域に関して除去することで、副帯信号のリズム生情報を互いに独立して扱うことが可能になる。例えば、リズム生情報１０８ａの手段１１０ａを介して又はリズム生情報１０８ｂの手段１１０ｂを介して質の評価を行うことが可能になる。
【００４３】
図４に点線で示されているように、質の評価は後処理されたリズム生情報に関しても行うことができ、この最後の可能性が好ましい。後処理されたリズム生情報に基づき質の評価を行うことは、もはや曖昧でない情報の質を評価することになるからである。
【００４４】
手段１１４によるリズム情報の決定は、一つのチャンネルの後処理されたリズム情報に基づき行われ、好ましくは、このチャンネルの重要度にも基づいて行われる。
【００４５】
質の評価が手段１１８ａの前段の信号を意味するリズム生情報に基づき行われる場合、重要度が０である、即ち、自動相関関数が平坦な信号波形であると判断されると、計算時間を節約するために手段１１８ａを介した後処理は全く削除され得るというような点で有利である。
【００４６】
図５を参照して、リズム生情報の後処理を行う手段１１８ａ，１１８ｂの構造をより詳細に以下に説明する。まず、１０４ａのような副帯信号が、自動相関関数を介して副帯信号の周期性を識別する手段１０６ａに送り込まれ、リズム生情報１０８ａが得られる。曖昧さを副帯ごとに除去するために、先行技術にあるように、手段１２１によって拡張自動相関関数を算出することも可能である。その際、自動相関関数が整数回の遅延をもって拡張される拡張自動相関関数を算出するために、手段１２２が設置されている。この場合、手段１２２は、この拡張自動相関関数を元の自動相関関数、つまりリズム生情報１０８ａから引くために設置されている。特に、自動相関関数をまず２倍のサイズに拡張し、そしてそれをリズム生情報１０８ａから引くことが好ましい。次のステップでは、係数３で拡張された自動相関関数が手段１２１で算出され、前段階の引き算の結果から再びそれを引く。このようにして、リズム生情報から、全ての曖昧さが徐々に除去されていく。
【００４７】
あるいは又は付加的に、整数の係数によって作り出される、例えば１よりも小さい係数で拡張された自動相関関数を計算するために、手段１２１を設けてもよい。これは、遅延時間ｔ０／２，ｔ０／３等の部分をも形成するために、手段１２２によってリズム生情報に付加される。
【００４８】
さらに、拡張され、作成されたリズム生情報の変形１０８ａに対して、確実性という意味でここで融通性を得るために、加算及び減算の前に重み付けをしてもよい。
【００４９】
自動相関関数に基づく副帯信号の周期性を識別するこの方法によって、自動相関関数の特性が取り込まれ、手段１１８ａ，１１８ｂによって後処理が行われる際、さらなる向上が可能となる。このように、距離ｔ０を有する一連の周期的な小節の始まりは、遅延時間ｔ０だけでなく２ｔ０，３ｔ０でも自動相関関数のピークを形成する。このことは、テンポ検出、つまり自動相関関数の重要な最大値を探し出す際に曖昧さをもたらすことになる。整数の係数によって拡張された自動相関関数の変形が出力値から副帯ごとに（重み付けされて）引かれることにより、この曖昧さが除去される。
【００５０】
さらに自動相関関数に関して、「基本のテンポ」の２倍又は３倍を意味するｔ０／２，ｔ０／３等で、何の情報も与えられないという問題がある。特に、異なる副帯に存在する二つの楽器がその信号のリズムを共に決めている場合には、間違った結果につながるおそれがある。この問題は整数の係数によって作成された自動相関関数の変形が算出され、重み付けされるか又は重み付けされないでリズム生情報に付加されるという事実によって考慮される。
【００５１】
このように、ＡＣＦ後処理は副帯ごとに行われ、これにより自動相関関数が少なくとも一つの副帯信号に対して算出され、そしてこの関数の拡大変形と組み合わされる。
【図面の簡単な説明】
【図１】
リズム生情報の質的評価に関してオーディオ信号を解析するための装置のブロック図である。
【図２】
重要度に基づく重み付け係数を使用して、オーディオ信号を解析する装置のブロック図である。
【図３】
リズム情報に関してオーディオ情報を解析する従来の装置のブロック図である。
【図４】
リズム生情報の副帯ごとの後処理をした自動相関関数を使用して、オーディオ信号をリズム情報に関して解析する装置のブロック図である。
【図５】
図４の後処理手段の詳細なブロック図である。

Claims (11)

1. オーディオ信号を、そのオーディオ信号のリズム情報に関して解析するための装置であり、以下のものを備えている、
   オーディオ信号を少なくとも二つの副帯信号（１０４ａ，１０４ｂ）に分ける手段（１０２）、
   前記副帯信号のリズム生情報（１０８ａ，１０８ｂ）を得るために、前記副帯信号の周期性に関して該副帯信号を識別する手段（１０６ａ，１０６ｂ）、
   前記副帯信号の重要度（１１２ａ）を得るために、副帯信号（１０４ａ）のリズム生情報（１０８ａ）の周期性の質に関して評価する手段（１１０ａ，１１０ｂ）、及び、
   前記副帯信号の重要度（１１２ａ）と少なくとも一つの副帯信号のリズム生情報（１０８ａ，１０８ｂ）を考慮して、オーディオ信号のリズム情報を決定する手段（１１４）。
2. 請求項１に記載の装置において、前記識別手段（１０６ａ，１０６ｂ）は、前記少なくとも二つの副帯信号のそれぞれに対する自動相関関数を算出するためのものである。
3. 請求項１又は請求項２に記載の装置において、前記識別手段（１０６ａ，１０６ｂ）は以下のものを含む、
   副帯信号のエンベロープを形成する手段、
   平滑なエンベロープを得るために前記副帯信号のエンベロープを平滑化する手段、
   微分されたエンベロープを得るために平滑化されたエンベロープを微分する手段、
   限定されたエンベロープを得るために微分されたエンベロープを正の値に限定する手段、及び、
   リズム生情報（１０８ａ，１０８ｂ）を得るために、限定されたエンベロープの自動相関関数を作成する手段。
4. 請求項２又は請求項３に記載の装置において、前記質の評価手段（１１０ａ，１１０ｂ）は、自動相関関数の最大値の自動相関関数の平均値に対する比を重要度として用いるものである。
5. 請求項２又は請求項３に記載の装置において、前記質の評価手段（１１０ａ，１１０ｂ）は、リズム生情報の算術的平均値のリズム生情報の幾何学的平均値に対する比を重要度として用いるものである。
6. 請求項４又は請求項５に記載の装置において、前記質の評価手段（１１０ａ，１１０ｂ）は、最大テンポを得るための最小遅延から最小テンポを得るための最大遅延に至るテンポの範囲内でのみ、自動相関関数を評価するものである。
7. 請求項１、請求項２、請求項３、請求項４、請求項５又は請求項６に記載の装置において、前記決定手段（１１４）は以下のものを含む、
   副帯信号に対する重要度を用いて、副帯信号に対する重み付け係数を引き出す手段（１１４ａ）、及び
   副帯信号に対する重み付けされたリズム生情報を得るために、該副帯信号の重み付け係数を用いて副帯信号のリズム生情報を重み付けし、オーディオ信号のリズム情報を得るために、重み付けされた該副帯信号のリズム生情報を、重み付けされた又は重み付けされていない他の副帯信号のリズム生情報と統合する手段（１１４ｂ）。
8. 請求項７に記載の装置において、前記重み付け係数を引き出す手段（１１４ａ）は、それぞれの副帯信号に対して相関的な重み付け係数を算出するものであり、全ての副帯信号の重み付け係数の合計は１となる。
9. 請求項８に記載の装置において、前記重み付け係数を引き出す手段（１１４ａ）は、重み付け係数を、副帯信号の重要度の全ての副帯信号の重要度の合計に対する比として算出するものである。
10. 請求項９に記載の装置において、前記副帯信号識別手段（１０６ａ，１０６ｂ）は、その長さが１０秒より長い副帯信号を識別する。
11. オーディオ信号を、該オーディオ信号のリズム情報に関して解析する方法であり、以下のステップを備えている、
    オーディオ信号を少なくとも二つの副帯信号（１０４ａ，１０４ｂ）に分ける、
    前記副帯信号のリズム生情報（１０８ａ，１０８ｂ）を得るために、前記副帯信号の周期性に関して該副帯信号を識別する（１０６ａ，１０６ｂ）、
    前記副帯信号の重要度（１１２ａ）を得るために、副帯信号（１０４ａ）のリズム生情報（１０８ａ）の周期性の質を評価する（１１０ａ，１１０ｂ）、及び、
    前記副帯信号の重要度（１１２ａ）と少なくとも一つの副帯信号のリズム生情報（１０８ａ，１０８ｂ）を考慮して、オーディオ信号のリズム情報を決定する（１１４）。

Images