JP2008517317A

JP2008517317A - オーディオデータ処理システム、方法、プログラム要素、及びコンピュータ読み取り可能媒体

Info

Publication number: JP2008517317A
Application number: JP2007536324A
Authority: JP
Inventors: スホーベン，ダニール; アールトス，ロナルデュス
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-10-15
Filing date: 2005-10-11
Publication date: 2008-05-22
Also published as: WO2006040727A3; EP1803115A2; US20090052681A1; WO2006040727A2; CN101040322A

Abstract

オーディオデータ処理システム（１００）であって、入力オーディオデータ（１０２）から過渡オーディオデータ部（１０３）を抽出するように構成された抽出ユニット（１０１）と、過渡オーディオデータ部（１０３）を供給されるように抽出ユニット（１０１）に結合された、過渡オーディオデータ部（１０３）の残響を別に分けて発生するように構成されたリバーブレータユニット（１０５）とを有する、システム。

Description

本発明はオーディオデータ処理システムに関する。

本発明はさらにオーディオデータ処理方法に関する。

さらにまた、本発明はプログラム要素（program element）に関する。

さらにまた、本発明はコンピュータ読み取り可能媒体に関する。

閉じた空間で音声を発すると、複数の反射が積み重なり一緒になって残響を生じる。残響は、音声が止まっても反射が続いている時に特に顕著であり、聞こえなくなるまで大きさは減少していく。

音響的目的及び録音目的のために、残響を人工的に作ることができる。残響効果を作り出すためには、いくつかの異なる電子的メカニズムを使用する。機械的な解決法としては、プレートリバーブレータ（plate reverberator）及びスプリングリバーブレータ（spring reverberator）がある。いわゆるＤＳＰ（Digital Signal Processing）リバーブレータは、エレクトロニクスと信号処理アルゴリズムを使用し、長さが疑似的ランダムな多数の遅延に、任意的に等化、エンベロープシェアリング、その他のプロセスを組み合わせて、残響効果を作り出す。また、現実の空間をシミュレートするためにコンボリューションと事前に録音したインパルス応答も使用する。

先行技術によると、指数関数的に崩壊するノイズシーケンスを良好な人工残響フィルタとして使用できることが知られている（例えば、非特許文献１を参照）。かかるフィルタは、大きな計算量とメモリを要する長くて複雑な残響フィルタとして実施できる。

先行技術では、例えば、特許文献１または特許文献２から、多数の残響発生アルゴリズムが知られている。先行技術では、例えば、特許文献３または特許文献４から、効率的な時間変化残響フィルタも知られている。これらの時間変化残響フィルタは、耳に聞こえる歪みが入ることを避けるためである場合、本質的に非線形であり、わずかに効率的である。しかし、かかる時間変化リバーブレータが音声信号を歪めることもある。

特許文献５は、入力信号のあるなしを検出するレベル検出回路を有する残響報知装置（reverberation-imparting device）を開示している。残響の発生は固定、またはレベル検出回路の検出結果に応じて適応的に行われる。

しかし、特許文献５によると、発生された音響信号の品質は十分ではなく、特に大音量のオーディオ信号部分から小音量のオーディオ信号部分に移行する場合に十分ではない。

アルゴリズムの計算負荷は現代の（モバイル）計算機器では重要な問題ではない。しかし、メモリに対する要求が厳しいため、よい残響を実施するアルゴリズムはない。
米国特許第４，１０５，８６４号公報米国特許第５，９１７，９１７号公報米国特許第４，３０３，９９１号公報米国特許第５，５５３，１５０号公報米国特許第４，７０６，２９１号公報 J. Martin, D. Van Maercke, J.-P. Vian, "Binaural simulation of concert halls: A new approach for the binaural reverberation process", J. Acoust. Soc. Am., Volume ９４, No. ６, Pages ３２５５ - ３２６４, １９９３

本発明の目的は、過渡信号の場合でも、主観的なオーディオ品質がよく、メモリに対する要求も相応であるオーディオ信号再生を可能にすることである。

上記の目的を達成するため、独立請求項による特徴を有するオーディオデータ処理システム、オーディオデータ処理方法、プログラム要素、及びコンピュータ読み取り可能媒体を提供する。

オーディオデータ処理システムは、入力オーディオデータから過渡オーディオデータ部を抽出するように構成された抽出ユニットと、過渡オーディオデータ部を供給されるように抽出ユニットに結合された、過渡オーディオデータ部の残響を別に分けて発生するように構成されたリバーブレータユニットとを有する。

本発明によるオーディオデータ処理方法では、過渡オーディオデータ部を入力オーディオデータから抽出し、その過渡オーディオデータ部の残響を別に分けて発生する。

さらにまた、プロセッサで実行されたとき、上記段階を有するオーディオデータ処理方法を実行するように構成されたプログラム要素を提供する。

さらにまた、プロセッサで実行されたとき、上記段階を有するオーディオデータ処理方法を実行するように構成されたコンピュータプログラムを格納したコンピュータ読み取り可能媒体を提供する。

本発明のオーディオデータ処理は、コンピュータプログラムすなわちソフトウェアにより実現でき、１つ以上の特殊な電子最適化回路すなわちハードウェアを用いて実現でき、またはハイブリッド形式すなわちソフトウェアコンポーネントとハードウェアコンポーネントにより実現できる。

本発明による特徴的な機能（characteristic features）は、入力オーディオデータの一部として抽出された過渡オーディオデータ部、すなわち音量等のオーディオパラメータに関して変動が大きい部分を、オーディオ信号に加える残響に関しては別に分けて（separately）取り扱うとの特に有利な点を有する。特に、加える残響の発生方法及び／または残響の量は、過渡オーディオデータ部と定常オーディオデータ部で異なる。こうすることが有利なのは、オーディオスピーチ（audio speech）の品質の主観的な感覚に関しては、過渡オーディオデータ部が定常オーディオデータ部すなわち音量等のオーディオパラメータにおいて変動が小さい部分よりも重要であることが理由である。過渡オーディオデータ部を比較的高度な残響発生方法で処理することにより、リスナーが感じる主観的品質が非常に改善される。一方、オーディオ残響の定常部分は、非常に簡単な残響方法で発生しても、リスナーが感じる主観的品質が大きく損なわれることはない。それゆえ、本発明のシステムのメモリ必要量及び信号処理の必要性は最小限度である。一方、同時に音声再生の知覚品質は追加的に発生される残響により高くなる。

この説明において、「過渡オーディオデータ部」との用語は、比較的振幅が大きい部分から比較的振幅が小さい部分への遷移があるオーディオ信号の一部を言う。

本発明の一実施形態では、所定の時間窓（time window）において、信号振幅が所定の閾値よりも大きく減少するとき、遷移があったと考える。言い換えると、大音量の音声から小音量の音声への遷移を遷移と考える。かかる遷移、すなわち音声のオフセットは、その残響に関して別に分けて扱われる。リスナーの主観的感覚に対して、残響に関してはオフセットは音声のオンセット（onset）、すなわち小音量から大音量への遷移よりも重要である。このように、上記の実施形態では、オンセット（onset）ではなくオフセット（offset）のみを残響に関しては別に分けて（separately）処理する。

本発明の他の実施形態では、所定の時間窓（time window）において、信号振幅が所定の閾値よりも大きく減少または増加するとき、遷移があったと考える。言い換えると、この実施形態では、大音量の音声から小音量の音声への遷移、またはその反対の遷移を遷移と考える。この場合、音声のオフセットの残響と音声のオンセットの残響は別に分けて処理される。

この説明では「定常オーディオデータ部」との用語は、信号の振幅が比較的一定であり、すなわち所定の時間窓において変化が所定の閾値より小さいオーディオ信号の一部分を意味する。

本発明は、過渡音声を再生（play）するとき、残響が特に聞こえるとの所見に基づく。例えば、大きな教会で近くにいて話をしている場合、残響は誰かが話をやめたときだけに聞こえ、エコーはゆっくりと消えるように聞こえる。続けて話しているときは、残響効果はあるが、主にスピーチの音質に限定されている。音質とは、一部の周波数がその他の周波数に対して減衰／増幅していることを意味する。大音量から小音量への遷移は遷移であると考えられる。

このように、本発明は、音声信号の過渡部分の残響を音声信号の定常部分の残響とは別に処理し、特に高効率時間変化残響フィルタで処理することを教示し、一方、定常部分は少ない手間で実行できる時間不変残響フィルタで処理できることを教示している。これを実現するため、過渡部分を抽出ユニットで検出し、過渡オーディオデータ部に加える残響部分を別に分けて発生するように、リバーブレータユニットにおいて別に分けて処理する。一方、残りの信号、すなわちオーディオ信号の定常部分は、別に分けて処理され、残響部分（reverberation contribution）を決定する。その残響部分はこの定常オーディオデータ部に加えられる。過渡オーディオデータ部と定常オーディオデータ部で残響発生方法（reverberation generation scheme）を分けることにより、残響を効率的に発生でき、メモリ必要量はできるだけ少なくなる。

このように、信号の過渡部分の残響は、この過渡部分を音楽信号から抽出してシステムに入力することにより、よくすることができる。信号の過渡部分を抽出した後、定常部分のみが残る。後者の残響は、非常に小さいローパスフィルタ（low-pass filter）と全パスフィルタ（all-pass filter）を組み合わせて使用すれば、よい残響を発生できる。信号の過渡部分と定常部分を分けるために使用できるアルゴリズムは、その信号の一定の窓中のエネルギーの測定に基づく。

本発明の一態様は、オーディオ信号を過渡部分と定常部分とに分割する手段を有し、過渡部分の残響と定常部分の残響を異なる残響方法で発生する残響装置に関する。過渡部分に使用する残響方法は、好ましくは時間的に変化することにより、残響部分の非常に正確な推定をする。一方、定常部分の残響方法は、時間的には変化せず、ハードウェアやソフトウェア的な手間をほとんどかけずに実現できる。

本発明のリバーブレータシステム（reverberator system）が適する適用分野は、すべての種類のオーディオ製品である。バーチャライザ（virtualizers）、３次元ヘッドホン、ポータブルオーディオ装置等に直接適用できる。

本発明は、オーディオ信号を過渡部分と定常部分とに分割する分割手段を有する、オーディオ信号に残響を加える残響装置を開示している。その結果として、小さなメモリ資源だけを用いて長い残響時間を得ることができる。開示された方法には、ポータブルインフォテインメント及びモバイル端末において技術的及び商業的に大きなポテンシャルがある。これらの分野では、現在は簡単な残響アルゴリズムが使用され、ヘッドホン音声の再生では十分な性能（convincing out of head performance）を発揮できない。本発明は、信号レベル基準に基づき、オーディオを過渡部分と定常部分の２つに分割することにより、少ないメモリで効果的に残響を発生する方法を教示している。そして、前記定常部分と過渡部分にそれぞれ別の残響発生アルゴリズム、すなわち時間不変なものと時間変化するものを使用して、限られたメモリ資源のみを用いて長い残響時間を発生する。

それにより高効率な残響方法と装置を提供する。

本発明のさらに別の好ましい実施形態を、従属項を参照して以下に説明する。これらの実施形態は、方法、プログラム要素、及びコンピュータ読み取り可能媒体に使用できる。

本システムでは、抽出ユニットは入力オーディオデータを過渡オーディオデータ部と定常オーディオデータ部とに分割するように構成されてもよい。この分割では、オーディオ信号はこれらの２つの部分（contributions）を含むことを仮定している。しかし、この仮定は多くの場合非常によい近似であり、システムの数値的なモデル化を可能とする。

リバーブレータユニットは、定常オーディオデータ部を供給されるように抽出ユニットに結合され、定常オーディオデータ部の残響を別に分けて発生するように構成され得る。信号の２つの別に分けられた部分、すなわち過渡部分と定常部分は、その残響に関して別に分けて処理される。定常部分では、残響は人間の耳にはあまり重要ではなく、非常に簡単な残響方法を使用できる。一方、過渡部分では、加える残響量を適切に選択することが、人間の耳による主観的な感覚にとってより重要である。特に、非常に大きな信号から非常に小さな信号への変化は、非常に小さな信号から非常に大きな信号への変化よりも、重要である。このように、後者の過渡オーディオデータ部における２つのシナリオ（大音量から小音量、小音量から大音量）は、本発明では別に分けて処理され、後者の２つの副態様（sub-aspects）には２つの異なる残響方法を適用する。このように、さらに別の正確な残響を発生できる。

リバーブレータユニットは、定常オーディオデータ部の残響発生とは異なる残響決定方法を用いて過渡オーディオデータ部の残響を発生するように構成され得る。

リバーブレータユニットは過渡オーディオデータ部の残響を時間変化するように別に分けて発生するように構成され得る。これにより、十分大きな自由度が含まれるので、過渡部分の残響部分を非常に高品質に推定できる（very high-quality reverberation contribution estimation）。

対照的に、リバーブレータユニットは、定常オーディオ部分の残響を別に分けて時間不変に発生するように構成することができ、非常に効率的かつ手間のかからず、結果としてメモリ必要量が少なくて済む残響方法を実現できる。

抽出ユニットは、入力オーディオデータのレベル分析に基づき、オーディオデータから過渡オーディオデータ部を抽出するように構成され得る。よって、オーディオ信号のある部分が過渡オーディオデータ部分（contribution）を有するか否か決定するために、音響信号の振幅とその時間変化を用いる。

抽出ユニットは、入力オーディオデータの所定部分のエネルギー分析に基づき、供給されたオーディオデータから過渡オーディオデータ部を抽出するように構成され得る。よって、オーディオ信号の時間スライスが第１の平均振幅を有し、その後の時間スライスが第２の平均振幅を有する場合、その２つの平均振幅の差に基づいて過渡部分があるか無いかを決定することができる。

減算ユニットを本システムに設ける。その減算ユニットには（入力オーディオデータから抽出した）過渡オーディオデータ部を供給し、入力オーディオデータも供給する。減算ユニットは、過渡オーディオデータ部を入力オーディオデータから減算することにより定常オーディオ部を求めるように構成されている。これは、過渡オーディオデータ部と定常オーディオデータ部を別に分けて（separately）供給する簡単かつ非常に効率的な方法である。残りの部分、すなわち求めた過渡部分をオーディオ信号から引いた部分は、定常部分であると考えられる。これには１つの減算のみでよい。

さらにまた、加算ユニットを設ける。その加算ユニットは、残響を含む過渡オーディオデータ部と残響を含む定常オーディオデータ部を有する出力オーディオデータを発生するように構成され得る。加算ユニットは、過渡オーディオデータ部、その過渡オーディオデータ部に対して発生された残響、定常オーディオデータ部、その定常オーディオデータ部に対して発生された残響を加算し、出力オーディオデータを発生することができる。しかし、加算ユニットは、残響を施した（reverberated）過渡オーディオデータと残響を施した定常オーディオデータを加算することもできる。かかる加算ユニットは個々の部分を結合して出力信号とするように機能する。

過渡オーディオデータ部の残響を別に分けて発生するように構成されたリバーブレータユニットは、遅延要素と減衰要素を有するフィードバックループにより残響を発生し得る。その残響は過渡オーディオデータ部を、フィードバックループを通すことにより発生され得る。さらにまた、リバーブレータユニットは、過渡オーディオデータ部と、フィードバックループを通した過渡オーディオデータ部とを合計するように構成された合計ユニットを有してもよい。リバーブレータユニットは、さらに、過渡オーディオデータ部とフィードバックループを通した過渡オーディオデータ部との合計に、ランダム信号を乗算するように構成された乗算器を有してもよい。この後者の実施形態（図２参照）は、１つだけのサンプルに対して（for only one sample）入力信号が０でない場合に完璧に動作する高効率リバーブレータを提供する非常に簡単なアーキテクチャである。

上記のアーキテクチャの代替案として、過渡オーディオデータ部の残響を別に分けて発生するように構成されたリバーブレータユニットは、各々が発生する残響の一部を発生するように構成されたパラレルに構成された複数の第１の乗算器により残響を発生してもよい。さらにまた、乗算器の各々は、遅延された過渡オーディオデータ部の１つに減衰パラメータの累乗（２乗、３乗等）とランダム信号とで決まるファクタをかけるように構成され得る。さらにまた、過渡オーディオデータ部の残響を別に分けて発生するように構成されているリバーブレータユニットは、遅延過渡オーディオデータ部を発生するように構成された直列構成された複数の遅延要素と、第２の乗算器を含むフィードバックループと、過渡オーディオデータ部及び遅延要素とフィードバックループを通った過渡オーディオデータ部とを合計するように構成された合計ユニットとにより、残響を発生し得る。この好ましい実施形態（図３参照）では、過渡オーディオデータ部の残響部分（reverberation contribution）を発生する効率的な過渡リバーブレータ（reverberator）のアーキテクチャを提供する。そのアーキテクチャは、時間に依存するように高品質で残響を発生する構成を有する。

本システムは、加算ユニットに接続され、出力オーディオ信号に基づき音波を発生し放射するように構成されたヘッドホンを有してもよい。あるいは、音波を発生するラウドスピーカを使用してもよい。ヘッドホンを使用する場合は、ラウドスピーカを実装する場合よりも、リスナーが感じる主観的品質が重要である。このように、少ないメモリで高品質のオーディオ信号を供給する本発明の有利性は、特にヘッドホンシステムにおいて有効（prevalent）である。

本発明のシステムは、集積回路、特に半導体集積回路として実現できる。特に、本システムは、シリコンテクノロジーで製造され得るモノリシックＩＣとして実現できる。

本発明のシステムは、バーチャライザ（virtualizer）、ポータブルオーディオプレーヤ、インターネットラジオ装置、（好ましくはＭＰ３再生機能を有する）ＤＶＤプレーヤ等として実現できる。

本発明の上記その他の態様は、以下に説明する実施形態から明らかとなり、この実施形態を参照して詳しく説明される。

以下、実施形態の例を参照しつつ、本発明を詳細に説明するが、本発明はこれらの実施形態には限定されない。

図面は概略図である。同様または同一の要素には、異なる図面でも同じ参照符号を付した。

本発明の好ましい実施形態によるオーディオ処理システム１００を、図１を参照して以下に説明する。オーディオ処理システム１００は、入力オーディオデータ１０２から過渡オーディオデータ部分１０３を抽出するように構成された過渡ディテクタ１０１を有する。リバーブレータユニット１０４がさらに設けられている。このリバーブレータユニット１０４は、過渡オーディオデータ部１０３を受けるように過渡ディテクタ１０１と結合された過渡リバーブレータ１０５を有する。過渡リバーブレータ１０４は、過渡オーディオデータ部１０３の残響（reverberation）を別に分けて発生するように構成されている。さらに、過渡ディテクタ１０１は、減算ユニット１０７と併せて、入力オーディオデータ１０２を過渡オーディオデータ部１０３と定常（stationary）オーディオデータ部１０６とに分割するように構成されている。さらにまた、リバーブレータユニット１０５の定常リバーブレータ１０８は、定常オーディオデータ部１０６を供給するように過渡ディテクタ１０１に結合している。リバーブレータユニット１０４の定常リバーブレータ（stationary reverberator）１０８は、定常オーディオデータ部１０６の残響（reverberation）を別に分けて発生するように構成されている。

このように、リバーブレータユニット１０４は、（過渡リバーブレータ１０５に組み込まれている）残響決定方法により過渡オーディオデータ部１０３の残響を発生するように構成されているが、この残響決定方法は、（定常リバーブレータ１０８に組み込まれた残響決定方法を有する）定常オーディオデータ部１０６の残響発生に使用される方法とは異なる。図２と図３を参照して以下に説明するように、過渡リバーブレータ１０５は、過渡オーディオデータ部１０３の残響を時間変化するように別に分けて発生するように構成されている。これに対して、定常リバーブレータ１０８は、定常オーディオデータ部１０６の残響を別に分けて時間的に一定に発生するように構成されている。ユニット１０８の構成例は先行技術として知られている。また、ユニット１０５の構成例を図２と図３に例として示す。

過渡ディテクタ１０１は、入力オーディオデータ１０２のレベル分析に基づき、供給されたオーディオデータ入力信号１０２から過渡オーディオデータ部１０３を抽出するように構成されている。このように、入力オーディオデータ１０２の所定部分（selected portion）のエネルギーを過渡ディテクタ１０１で分析し、オーディオ信号のある部分を過渡オーディオ信号として分類するか、定常オーディオ信号として分類するか判断する。

減算ユニット１０７には第１の入力に過渡オーディオデータ部１０３が供給され、第２の入力に入力オーディオデータ１０２が供給される。減算ユニット１０７は、入力オーディオデータ部１０２から過渡オーディオデータ部１０３を減算して定常オーディオデータ部１０６を求め、その定常オーディオデータ部１０６を出力する。減算ユニット１０７のその出力は定常リバーブレータ１０８の入力に結合されている。

さらに、加算ユニット１０９が設けられ、過渡リバーブレータ１０５の出力と定常リバーブレータ１０８の出力とに結合されている。その加算ユニット１０９は、ユニット１０５、１０８の出力信号を加算して出力オーディオデータ１１０を発生するように構成されている。その出力オーディオデータ１１０はオーディオ処理システム１００の出力として供給される。

図１に示したように、この出力データ１１０はヘッドホン（図示せず）の左出力に送られる。あるいは、ヘッドホンではなくラウドスピーカが設けられてもよい。ヘッドホンの場合、耳への直接経路と早期反射（early reflections）をモデル化するフィルタで元のオーディオをパラレルに処理してもよい。残響音声（reverberated sound）は遅延されてこれに足される。オーディオ処理システム１００に示したのと同様の構成を別に設けて、リスナーの左右の耳で別々のオーディオ処理システムを有するヘッドホンの右出力を発生する。しかし、非常にコンパクトな構成の場合、オーディオ処理システム１００は、左右両方のヘッドホンに送られ得オーディオ信号１１０を発生してもよい。あるいは、過渡ディテクタ１０１は左（Ｌ）信号と右（Ｒ）信号に基づく決定をして、過渡リバーブレータ１０５の遅延ライン（delay line）に左（Ｌ）信号及び右（Ｒ）信号を満たしてもよい。左（Ｌ）と右（Ｒ）に対して異なる係数ａ_１乃至ａ_Ｎ（図３の対応する記載を参照）を用いることにより、左右の残響を異ならせる。

図１は、本発明のシステム全体のブロック図を示す。過渡リバーブレータ１０５は、図２に示すように実施してもよいし、より好ましくは、図３に示すように実施してもよい。定常リバーブレータ１０８は、先行技術として知られているように非常に簡単な構成である（例えば、全パスフィルタ構成により形成してもよい）。

図１は、本発明のハイブリッドアプローチ（hybrid approach）を示している。入力信号１０２中の過渡信号は過渡ディテクタ１０１により検出され、高効率時間変化リバーブレータ（super-efficient time-varying reverberator）１０５に送られる。元の信号と過渡信号の差は定常部分であると考えられ、効率的な時間不変リバーブレータ（efficient time-invariant reverberator）１０８により別に分けて処理される。

本発明の第１の実施形態による過渡リバーブレータ２００を、図２を参照して以下に説明する。過渡リバーブレータ２００を使用して図１に示した過渡リバーブレータ１０５を実施することができる。

過渡リバーブレータ２００は、遅延要素２０２と減衰要素２０３を有するフィードバックループ２０１を用いて、過渡オーディオデータ部１０３の残響（reverberation）を別に分けて発生するように構成されている。過渡オーディオデータ部１０３をフィードバックループ２０１を通すことにより、前記残響を発生する。過渡リバーブレータ２００は、さらに、過渡オーディオデータ部１０３と、フィードバックループ２０１を通した後の過渡オーディオデータ部１０３とを合計するように構成された合計ユニット２０４を有する。合計ユニット２０４において、残響（reverberation）が過渡オーディオデータ部１０３に加算される。図２から分かるように、減衰要素２０３の減衰ファクタは本実施形態では０．９９９である。しかし、減衰は１より少し小さい値であればよく、例えば、０．９９や０．９９９９であってもよい。減衰ファクタによりフィルタの残響時間が決まる。

過渡リバーブレータ２００は、さらに、過渡オーディオデータ部１０３と、フィードバックループ２０１を通した後の過渡オーディオデータ部１０３とを合計に、Ｒａｎｄｎ（）で示したランダム信号を乗算するように構成された乗算器２０５を有する。過渡リバーブレータ２００の出力２０６は、図１に示した加算ユニット１０９に結合してもよい。

図２は、いかなる所望の残響の長さも実現しつつ遅延要素２０２を１つだけ使用して過渡オーディオデータ部１０３に残響（reverberation contribution）を加えるように、この信号をいかに処理するかを示す実施形態例を示す。しかし、発生した残響は必ずしも元の信号に加える必要はない。その代わりに、元の信号を残響させることもできる。図２は、１つだけのサンプルに対して（for only one sample）入力信号が０でない場合に完璧に動作する高効率リバーブレータを示している。

上記の方法は、音声信号の過渡部と定常部を異なる方法で残響させる、すなわち、前者を図１または図３に示したような高効率時間変化残響フィルタで残響させるものである。より定常的な成分は、重要性が低く、効率的な定常リバーブレータ１０８等の簡単な固定フィルタによりフィルタされる。このハイブリッドアプローチにより、少ないメモリ資源しか使用しない残響時間が長いシステムを実現できる。

図２に示した実施形態はパルス信号に特に好適である。減衰要素２０３（乗算器）の減衰値は、応答時間を長くするために１に近い１より小さい値である。乗算器２０５に入力される信号Ｒａｎｄｎ（）はランダムシーケンスであり、すなわち白色ノイズ信号である。

本発明の他の実施形態による過渡リバーブレータ３００を、図３を参照して以下に説明する。過渡リバーブレータ３００は、好ましくは図１の過渡リバーブレータ１０５として実施される。

過渡リバーブレータ３００は、パラレルに構成された複数の第１の乗算器３０１を用いて、過渡オーディオデータ部１０３の残響を別に分けて発生するように構成されている。各乗算器３０１は、発生する残響の一部（cntribution）を発生するように構成されている。各乗算器３０１（フィルタ３００のサブフィルタと考えてもよい）は、遅延した過渡オーディオデータ部（の関連した１つ）に、積ａ_ｎｇ^ｎ−１であるファクタを乗算するように構成されている。この積は、減衰パラメータｇの累乗ｎ、すなわちｇ^ｎ−１と、ランダム信号ａ_ｎとの積である。ここで、ｎ＝１，２，．．．，Ｎである。

過渡リバーブレータ３００は、過渡オーディオデータ部１０３の残響を別に分けて発生するように構成されている。この発生は、遅延過渡オーディオデータ部を発生するように構成された直列構成された複数の遅延要素３０２と、第２の乗算器３０４を含むフィードバックループ３０３と、過渡オーディオデータ部１０３及び遅延要素３０２とフィードバックループ３０３を通った過渡オーディオデータ部１０３とを合計するように構成された合計ユニット３０５とを用いることにより行われる。

出力２０６に残響を含む過渡オーディオデータ信号を発生するように、第２の合計ユニット３０６を設け、図３に示したように第１の乗算器３０１の出力信号を合計する。この信号は図１に示した加算ユニット１０９に供給される。

このように、図３は、好ましくは図１の過渡リバーブレータ１０５として使用できる実施形態を示す。係数ａ_ｎは指数関数的に減衰する白色ノイズシーケンスとして選択され、よいリバーブレータ（「ムーアの理想リバーブレータ」）として動作する。図３は、図１の一般化と考えてもよく、入力信号がＮサンプルまで０でない場合に完全に動作する。使用するメモリ要素の数はＮである。減衰する白色ノイズシーケンスを有する有限長さフィルタとして動作するＮ個の遅延要素３０２のみを有するフィルタを作ることができる。これは、フィルタ係数ａ_ｎを、一度にａ_１からａ_Ｎに変え、再度ａ_１に変えることにより実施できる。ここで、フィードバックループにおける減衰はｇ^Ｎであり、残響のテイル（tail）はなめらかに指数関数的に減衰する。

任意の残響時間を値ｇの選択により得られる。実際には、サンプリング周波数４４．１ｋＨｚを用いて残響時間０．２５秒を実現するとき、Ｎ＝４００とするとよい結果が得られる。

「有する（comprising）」という用語は他の要素やステップを排除するものではなく、「１つの（“a” or “an”）」という表現は複数ある場合を排除するものではないことに留意すべきである。また、異なる実施形態に関して説明した要素を組み合わせてもよい。

請求項中の参照符号は、その請求項の範囲を限定するものと解釈してはならないことにも留意すべきである。

本発明の好ましい実施形態による、オーディオデータ処理システムを示す図である。図１に示したオーディオデータ処理システムにおいて実施される、効率的過渡リバーブレータ（transient reverberator）の一実施形態であるリバーブレータユニットを示す図である。図１に示したオーディオデータ処理システムにおいて実施される、効率的過渡リバーブレータ（transient reverberator）の他の実施形態であるリバーブレータユニットを示す図である。

Claims

オーディオデータ処理システムであって、
入力オーディオデータから過渡オーディオデータ部を抽出するように構成された抽出ユニットと、
過渡オーディオデータ部を供給されるように抽出ユニットに結合された、過渡オーディオデータ部の残響を別に分けて発生するように構成されたリバーブレータユニットとを有する、システム。
抽出ユニットは入力オーディオデータを過渡オーディオデータ部と定常オーディオデータ部とに分割するように構成された、請求項１に記載のシステム。
リバーブレータユニットは定常オーディオデータ部を供給されるように抽出ユニットに結合され、定常オーディオデータ部の残響を別に分けて発生するように構成された、請求項１に記載のシステム。
リバーブレータユニットは、定常オーディオデータ部の残響を発生するために使用する残響決定方法とは異なる残響決定方法により、過渡オーディオデータ部の残響を発生するように構成された、請求項３に記載のシステム。
リバーブレータユニットは過渡オーディオデータ部の残響を時間変化するように別に分けて発生するように構成された、請求項１に記載のシステム。
リバーブレータユニットは定常オーディオデータ部の残響を時間不変で別に分けて発生するように構成された、請求項３に記載のシステム。
抽出ユニットは、入力オーディオデータのレベル分析に基づき、入力オーディオデータから過渡オーディオデータ部を抽出するように構成された、請求項１に記載のシステム。
抽出ユニットは、入力オーディオデータの所定部分のエネルギーレベル分析に基づき、供給されたオーディオデータから過渡オーディオデータ部を抽出するように構成された、請求項１に記載のシステム。
過渡オーディオデータ部を供給され、入力オーディオデータから過渡オーディオデータ部を減算することにより定常オーディオデータ部を求めるように構成された減算ユニットをさらに有する、請求項１に記載のシステム。
残響を含む過渡オーディオデータ部と残響を含む定常オーディオデータ部を有する出力オーディオデータを発生するように構成された加算ユニットを有する、請求項３に記載のシステム。
過渡オーディオデータ部の残響を発生するように構成されたリバーブレータユニットは遅延要素と減衰要素を有するフィードバックループにより残響を別に分けて発生し、その残響は過渡オーディオデータ部をフィードバックループを通すことにより発生される、請求項１に記載のシステム。
リバーブレータユニットは、さらに、過渡オーディオデータ部と、フィードバックループを通した過渡オーディオデータ部とを合計するように構成された合計ユニットを有する、請求項１１に記載のシステム。
リバーブレータユニットは、さらに、過渡オーディオデータ部とフィードバックループを通した過渡オーディオデータ部との合計に、ランダム信号を乗算するように構成された乗算器を有する、請求項１２に記載のシステム。
過渡オーディオデータ部の残響を別に分けて発生するように構成されたリバーブレータユニットは、各々が発生する残響の一部を発生するように構成されたパラレルに構成された複数の第１の乗算器により残響を発生する、請求項１に記載のシステム。
乗算器の各々は、遅延された過渡オーディオデータ部の１つに減衰パラメータの累乗とランダム信号とで決まるファクタをかけるように構成された、請求項１４に記載のシステム。
過渡オーディオデータ部の残響を別に分けて発生するように構成されているリバーブレータユニットは、遅延過渡オーディオデータ部を発生するように構成された直列構成された複数の遅延要素と、第２の乗算器を含むフィードバックループと、過渡オーディオデータ部及び遅延要素とフィードバックループを通った過渡オーディオデータ部とを合計するように構成された合計ユニットとにより、残響を発生する、請求項１５に記載のシステム。
加算ユニットに接続され、出力オーディオデータに基づき音波を発生し放射するように構成されたヘッドホンを有する、請求項１０に記載のシステム。
集積回路として実施された、請求項１に記載のシステム。
バーチャライザ、ポータブルオーディオプレーヤ、ＤＶＤプレーヤ、ＭＰ３プレーヤ、またはインターネットラジオ装置として実施された、請求項１に記載のシステム。
オーディオデータ処理方法であって、
入力オーディオデータから過渡オーディオデータ部を抽出する段階と、
過渡オーディオデータ部の残響を別に分けて発生する段階とを有する方法。
プロセッサで実行されたとき、オーディオデータ処理方法を実行するように構成されたプログラム要素であって、該方法は、
入力オーディオデータから過渡オーディオデータ部を抽出する段階と、
過渡オーディオデータ部の残響を別に分けて発生する段階とを有するプログラム要素。
プロセッサで実行されたとき、オーディオデータ処理方法を実行するように構成されたコンピュータ読み取り可能媒体であって、該方法は、
入力オーディオデータから過渡オーディオデータ部を抽出する段階と、
過渡オーディオデータ部の残響を別に分けて発生する段階とを有するコンピュータ読み取り可能媒体。