以下において、実施形態の記載の冗長性を低減するために、同一のまたは類似した機能特性を有する対象および機能ユニットに対して、同一の参照番号が部分的に用いられ、図面についてのその記述は他の図面にも適用される。
図1は、本発明の一実施形態に係る、入力オーディオ信号102を用いて出力信号132を提供するオーディオエンコーダ100のブロック図である。出力信号は、デコーダでの帯域幅拡張に適合する。それ故、オーディオエンコーダは、帯域幅拡張エンコーダとも呼ばれる。帯域幅拡張エンコーダ100は、パッチ生成器110と、比較器120と、出力インターフェース130を備える。
パッチ生成器110は比較器120に接続され、比較器120は出力インターフェース130に接続される。パッチ生成器110は、少なくとも1つの帯域幅拡張高周波信号112を生成する。帯域幅拡張高周波信号112は、高周波帯域を含み、帯域幅拡張高周波信号112の高周波帯域は、入力オーディオ信号102の低周波帯域に基づいている。異なる帯域幅拡張高周波信号112が生成される場合、異なる帯域幅拡張高周波信号112は、それらの高周波帯域内に異なる周波数を備える。
比較器120は、複数の比較パラメータを算出する。比較パラメータは、入力オーディオ信号102と生成された帯域幅拡張高周波信号112の比較に基づいて算出される。複数の比較パラメータの各比較パラメータは、入力オーディオ信号102と生成された帯域幅拡張高周波信号112の間の異なるオフセット周波数に基づいて算出される。更に、比較器120は、複数の比較パラメータから比較パラメータを決定し、決定された比較パラメータは予め定義された決定基準を満たしている。
出力インターフェース130は、伝送または記憶のために出力信号132を提供する。出力信号132は、決定された比較パラメータに対応するオフセット周波数に基づくパラメータ指示を備える。
異なるオフセット周波数に対する複数の比較パラメータを算出することによって、オリジナル入力オーディオ信号102によく適合する帯域幅拡張高周波信号112を見つけることができる。これは、各々異なるオフセット周波数を有する複数の帯域幅拡張高周波信号112を生成することによってまたは1つの帯域幅拡張高周波信号を生成して異なるオフセット周波数によって帯域幅拡張高周波信号112の高周波帯域をシフトすることによってなすことができる。また、異なるオフセット周波数を有する複数の帯域幅拡張高周波信号112を生成することと、他の異なるオフセット周波数によってそれらの高周波帯域をシフトすることの組合せも可能である。例えば、5つの異なる帯域幅拡張高周波信号112が生成され、それらの各々が一定の周波数オフセットによって5回シフトされる。
図2は、1つの帯域幅拡張高周波信号のみが生成されて異なるオフセット信号によってシフトされるケースに対する、帯域幅拡張高周波信号の生成、帯域幅拡張高周波信号と入力オーディオ信号の比較およびオプションの帯域幅拡張高周波信号の電力適応の概略図200を示す。
第1の概略の「電力対周波数」線図210は、入力オーディオ信号102を概略的に示す。この入力オーディオ信号102に基づいて、パッチ生成器110は、例えば、入力オーディオ信号102の低周波帯域をより高周波帯域にシフト222することによって(参照番号によって示されるように)、帯域幅拡張高周波信号112を生成することができる。例えば、低周波帯域は、帯域幅拡張エンコーダ100の一部とすることができる図1に図示されないコアコーダのクロスオーバー周波数に等しい周波数または他の予め定義された周波数によってシフトされる。
生成された帯域幅拡張高周波信号112は、そのとき異なるオフセット周波数232によって、そして各オフセット周波数232に対して、(参照番号230によって示されるように)シフトすることができ、比較パラメータは比較器120によって算出することができる。オフセット周波数232は、例えば、コアコーダのクロスオーバー周波数と関係して、他の特性周波数と関係して、または絶対周波数値として定義することができる。
次に、比較器120は、予め定義された決定基準を満たす比較パラメータを決定する。このようにして、(参照番号240に示すように)決定された比較パラメータに対応するオフセット周波数242を有する帯域幅拡張高周波信号112を決定することができる。
加えて、(参照番号250によって示されるように)電力密度パラメータ252を決定することもできる。電力密度パラメータ252は、決定された比較パラメータに対応するオフセット周波数を有する帯域幅拡張高周波信号の高周波帯域と入力オーディオ信号の対応する周波数帯域の比率を表すことができる。例えば、比率は、電力密度比、電力比または周波数帯域の電力密度に関する量の他の比率に関係するものとすることができる。
あるいは、図3は、異なるオフセット周波数を有する複数の帯域幅拡張高周波信号が生成されるケースに対する、帯域幅拡張高周波信号の生成、生成された帯域幅拡張高周波信号と入力オーディオ信号の比較およびオプションの帯域幅拡張高周波信号の電力適応の概略図300を示す。
図2に示されたシーケンスに対する差異において、パッチ生成器110は、(参照番号320によって示されるように)異なるオフセット周波数232を有する複数の帯域幅拡張高周波信号112を生成する。これは、入力オーディオ信号102の低周波帯域のより高い周波数への周波数シフト222によって再びなすことができる。入力オーディオ信号102の低周波帯域は、一定の周波数に各帯域幅拡張高周波信号112の個々のオフセット周波数232に加えたものによってシフトすることができる。その一定の周波数は、コアコーダのクロスオーバー周波数または他の特定の周波数に等しくすることができる。
各生成された帯域幅拡張高周波信号112に対する比較パラメータは、それとき算出することができ、予め定義された決定基準を満たす比較パラメータは比較器120によって決定することができる(240)。
電力密度パラメータは、前述のように決定することができる(250)。
図2と図3に示されたコンセプトは、結合することもできる。
入力オーディオ信号102と生成された帯域幅拡張高周波信号112の比較は、両方の信号の相互相関によってなすことができる。このケースにおいて、比較パラメータは、例えば、入力オーディオ信号102と生成された帯域幅拡張高周波信号112の間の特定のオフセット周波数に対する相互相関の結果とすることができる。
出力信号132のパラメータ指示は、オフセット周波数自体、量子化されたオフセット周波数またはオフセット周波数に基づく他の量とすることができる。
入力オーディオ信号102の高周波帯域の代わりにパラメータ指示のみを伝送または記憶することによって、伝送または記憶のビットレートを低減することができる。予め定義された判定基準を満たす比較パラメータに対応するオフセット周波数に基づいてパラメータを選択することによって、これは、帯域の限られたオーディオ信号のみを復号化するよりも良好なオーディオ品質においてもたらすことができる。
予め定義された判定基準は、例えば、他のオフセット周波数を有する帯域幅拡張高周波信号112の70%以上の入力オーディオ信号102に整合する対応するオフセット周波数を有する帯域幅拡張高周波信号112を示している、入力オーディオ信号102への最良の3つの整合するうちの1つである対応するオフセット周波数を有する帯域幅拡張高周波信号112を示している、または対応するオフセット周波数を有する最も整合する帯域幅拡張高周波信号112を示している、複数の比較パラメータのうちの比較パラメータを決定することができる。これは、異なるオフセット周波数を有する複数の帯域幅拡張高周波信号112が生成されるケース、並びに1つの帯域幅拡張高周波信号112のみが生成され、異なるオフセット周波数によってシフトされるケース、またはこれらの2つのケースの組合せに関係する。
比較パラメータは、相互相関の結果または特定のオフセット周波数を有する帯域幅拡張高周波信号112がどれくらいよく入力オーディオ信号102に整合しているかを示す他の量とすることができる。
帯域幅拡張エンコーダ100は、入力オーディオ信号102の低周波帯を符号化するコアコーダを備えることができる。このコアコーダは、入力オーディオ信号102の符号化された低周波帯域の上側遮断周波数に対応することができるクロスオーバー周波数を備えることができる。コアコーダのクロスオーバー周波数は、一定または時間上で可変とすることができる。可変のクロスオーバー周波数を実施することは、コアコーダの複雑さを増やす可能性があるが、符号化の柔軟性を増やすこともできる。
図2および/または図3に示されるプロセスは、より高い周波数帯域またはパッチに対して繰り返すことができる。例えば、入力オーディオ信号102の低周波帯域は、4kHzの上側遮断周波数を備える。それ故、帯域幅拡張高周波信号112を生成するために入力オーディオ信号102の低周波帯域が低周波帯域の上側遮断周波数によってシフトされる場合、帯域幅拡張高周波信号112は、4kHzの下側遮断周波数と8kHzの上側遮断周波数を有する高周波帯域を備える。そのプロセスは、入力オーディオ信号102の低周波帯域を、低周波帯域の上側遮断周波数の2倍シフトすることによって繰り返すことができる。こうして、新しく生成された帯域幅拡張高周波信号112は、8kHzの下側遮断周波数と12kHzの上側遮断周波数を有する高周波帯域を備える。これは、所望の最も高い周波数に到達するまで繰り返すことができる。あるいは、これは、複数の異なる高周波帯域を有する1つの帯域幅拡張高周波信号を生成することによっても実現することができる。
この実施例で図示したように、入力オーディオ信号の低周波帯域の帯域幅と帯域幅拡張高周波信号の高周波帯域の帯域幅は同じとすることができる。あるいは、入力オーディオ信号の低周波帯域は、帯域幅拡張高周波信号を生成するために、拡張しシフトすることができる。
決定された比較パラメータに対応するオフセット周波数232を有する帯域幅拡張高周波信号112を決定することは、オフセット周波数242に依存して、入力オーディオ信号102の低周波帯域と帯域幅拡張高周波信号112の高周波帯域の間のギャップを残す可能性がある。このギャップは、例えば帯域制限されたノイズを含むこのギャップにフィットする周波数部分を生成することによって埋めることができる。あるいは、そのギャップは、オーディオ品質が劇的に被害を受けないかも知れないので、空で残すことができる。
図4は、本発明の実施形態に係る、入力オーディオ信号102を用いて出力信号132を提供する帯域幅拡張エンコーダ400のブロック図を示す。帯域幅拡張エンコーダ400は、パッチ生成器110と、比較器120と、出力インターフェース130と、コアコーダ410と、帯域通過フィルタ420と、パラメータ抽出ユニット430を備える。コアコーダ410は出力インターフェース130とパッチ生成器110に接続され、パッチ生成器110は比較器120に接続され、比較器120はパラメータ抽出ユニット430に接続され、パラメータ抽出ユニット430は出力インターフェース130に接続され、帯域通過フィルタ420は比較器120に接続される。
パッチ生成器110は、入力オーディオ信号102に基づいて帯域幅拡張高周波信号112を生成する変調器として実現することができる。比較器120は、帯域通過フィルタ420によってフィルタリングされた入力オーディオ信号102と生成された帯域幅拡張高周波信号112の比較を、それらの相互相関によって実行することができる。予め定義された判定基準を満たす比較パラメータの決定は、遅延推定と呼ぶこともできる。
出力インターフェース130は、ビットストリーム整形器の機能を含むこともでき、コアコーダ410によって提供される低周波信号とパラメータ抽出ユニット430によって提供されるオフセット周波数に基づくパラメータ指示を備えるパラメータ信号432を結合する結合器を備えることができる。更に、出力インターフェース130は、出力信号132のビットレートを減らすためにエントロピーコーダまたは差動コーダを備えることができる。結合器およびエントロピーまたは差動コーダは、この実施例で示されたように、出力インターフェース130の一部とすることができ、または独立ユニットとすることができる。
オーディオ信号102は、低周波部分と高周波部分に分割することもできる。これは、コアコーダ410の低域通過フィルタと帯域通過フィルタ420によってなすことができる。低域通過フィルタは、コアコーダ410の一部またはコアコーダ410に接続された独立の低域通過フィルタとすることができる。
低周波部分は、例えば、MPEG1/2のレイヤー3「MP3」またはMPEG4のAAC標準または音声コーダに準拠するオーディオコーダとすることができるコアエンコーダ410によって処理される。
低周波部分は、例えば、側波帯変調または周波数ドメインの高速フーリエ変換(FFT)によって、固定値によってシフトすることができ、対応するパッチの目標エリアにおけるオリジナルの低周波領域上に位置する。オプションとして、低周波部分は入力信号102から直接に取得することができる。これは、パッチ生成器110に接続される独立の低域通過フィルタによってなすことができる。
正規の時間インターバルにおいて、(入力オーディオ信号の)オリジナルの高周波部分と取得された高周波部分(帯域幅拡張高周波信号)の間の窓化された信号セクションの振幅スペクトル間の相互相関を算出することができる。このような方法で、最大相関に対する遅延(オフセット周波数)を決定することができる。この遅延は、オリジナルの単側波帯変調に関して補正ファクタの意味を持つことができ、すなわち単側波帯変調は、遅延によって付加的に補正し、相互相関を最大化することができる。言い換えれば、予め定義された判定基準を満たす比較パラメータに対応するものであって、比較パラメータは相互相関に対応し、予め定義された判定基準は最大相関を発見するものである、遅延とも呼ばれるオフセット周波数を、決定することができる。
加えて、振幅スペクトルの絶対値の比率を決定することができる。これによって、取得された高周波信号がどのファクタによって減衰または増幅するべきかを導き出すことができる。言い換えれば、電力の比、電力密度、振幅スペクトルの絶対値または帯域幅拡張高周波信号112の高周波帯域とオリジナル入力オーディオ信号102の対応する周波数帯域の電力密度比に関係する他の値を示す電力密度パラメータを、決定することができる。これは、実施例において示されたようなパラメータ抽出ユニット430の一部または独立のユニットとすることができる電力密度比較器によってなすことができる。電力密度パラメータを決定するために、例えば、入力オーディオ信号102の低周波帯域を一定の周波数によってシフトすることによって生成される帯域幅拡張高周波信号112または決定された比較パラメータに対応する帯域幅拡張高周波信号112または他の生成された帯域幅拡張高周波信号112を用いることができる。このケースにおける対応する周波数帯域は、例えば、同じ周波数範囲を有する周波数帯域を意味する。例えば、帯域幅拡張高周波信号の高周波帯域が4kHzから8kHzを形成する周波数を備える場合、入力オーディオ信号の対応する周波数帯域は4kHzから8kHzの範囲も備える。
遅延に対応し、振幅の絶対値に対応する取得された補正ファクタ(オフセット周波数、電力密度パラメータ)は、時間上で補間することができる。言い換えれば、窓化された信号セクションに対して(時間フレームに対して)決定されたパラメータは、信号セクションの各時間ステップに対して補間することができる。
この変調(制御)信号(パラメータ信号)またはそのパラメータ化された表現は、記憶またはデコーダに伝送することができる。言い換えれば、パラメータ信号432は、コアコーダ410によって処理された入力オーディオ信号102の低周波帯域と結合し、記憶またはデコーダに伝送することができる出力信号132を取得することができる。
加えて、例えばノイズレベルおよび/または音調に適応させるための更なるパラメータを決定することができる。これは、パラメータ抽出ユニット430によってなすことができる。更なるパラメータを、パラメータ信号432に加えることができる。
図4に示された実施例は、時間可変変調のエンコーダ側の演算を図示する。このケースにおける時間可変変調は、異なるオフセット周波数を有する帯域幅拡張高周波信号112に関係する。予め定義された判定基準を満たす決定された比較パラメータに対応するオフセット周波数は、時間上で変化することができる。
図5は、本発明の一実施形態に係る、入力オーディオ信号502とパラメータ信号504に基づいて帯域幅の拡張されたオーディオ信号532を提供する帯域幅拡張デコーダ500のブロック図を示す。パラメータ信号504は、オフセット周波数の指示と電力密度パラメータの指示を備える。帯域幅拡張デコーダ500は、パッチ生成器510と、結合器520と、出力インターフェース530を備える。
パッチ生成器510は結合器520に接続され、結合器520は出力インターフェース530に接続される。パッチ生成器510は、入力オーディオ信号502に基づいて高周波帯域を備える帯域幅拡張高周波信号512を生成する。帯域幅拡張高周波信号512の高周波帯域は、入力オーディオ信号502の周波数帯域の周波数シフトに基づいて生成され、周波数シフトはオフセット周波数に基づいている。
更に、パッチ生成器510は、電力密度パラメータの値に等しいまたは電力密度パラメータの逆数値に等しいファクタによって帯域幅拡張高周波信号512の高周波帯域を増幅または減衰させる。
結合器520は、帯域幅拡張高周波信号512と入力オーディオ信号502を結合し、帯域幅の拡張されたオーディオ信号532を取得し、出力インターフェース530は帯域幅の拡張されたオーディオ信号532を提供する。
例えば、オフセット周波数が前述のように決定される場合、オフセット周波数に基づいて帯域幅拡張高周波信号112を生成することは、高周波領域における入力オーディオ信号の周波数範囲の改良された延長を可能にすることができる。これは、帯域幅の拡張されたオーディオ信号532のオーディオ品質を増大することができる。
加えて、入力オーディオ信号502の高周波延長の電力密度は、電力密度パラメータによって帯域幅拡張高周波信号512の高周波帯域を増幅または減衰することによって、非常に効率的な方法でなすことができる。このような方法で、正規化は、必要でないものとすることができる。
パッチ生成器510は、入力オーディオ信号512の周波数帯域を、一定の周波数にオフセット周波数を加えた周波数でシフトすることによって、帯域幅拡張高周波信号512を生成することができる。オフセット周波数が下側周波数への周波数シフトを示す場合、結合器は、入力オーディオ信号502の上側遮断周波数より低い周波数を備える帯域幅拡張高周波信号512の高周波帯域の一部を無視することができる。
パッチ生成器510は、時間ドメインにおいてまたは周波数ドメインにおいて帯域幅拡張高周波信号512を生成することができる。時間ドメインにおいて、パッチ生成器510は、単側波帯変調に基づいて帯域幅拡張高周波信号512を生成することができる。
加えて、出力インターフェースは、出力信号を、それを提供する前に増幅することができる。
図6は、本発明の一実施形態に係る、入力オーディオ信号502とパラメータ信号504に基づいて帯域幅の拡張されたオーディオ信号532を提供する帯域幅拡張デコーダ600のブロック図を示す。帯域幅拡張デコーダ600は、パッチ生成器510と、結合器520と、出力インターフェース530と、コアデコーダ610と、パラメータ抽出ユニット620を備える。コアデコーダ610はパッチ生成器510と結合器520に接続され、パラメータ抽出ユニット620はパッチ生成器510と出力インターフェース530に接続され、パッチ生成器510は結合器520に接続され、結合器520は出力インターフェース530に接続される。
コアデコーダ610は、受信されたビットストリーム602を復号化し、パッチ生成器510と結合器520に入力オーディオ信号502を提供することができる。入力オーディオ信号502は、コアデコーダ610のクロスオーバー周波数に等しい上側遮断周波数を備えることができる。このクロスオーバー周波数は、一定または時間上で可変とすることができる。時間上で可変は、例えば、異なる時間インターバルまたは時間フレームに対して可変であるが、1つの時間インターバルまたは時間フレームに対して一定であることを意味する。
パラメータ抽出ユニット620は、受信されたビットストリーム602からパラメータ信号504を分離し、それをパッチ生成器510に提供することができる。加えて、パラメータ信号504または抽出されたノイズおよび/または音調パラメータは、出力インターフェース530に提供することができる。
パッチ生成器510は、オフセット周波数に基づいて入力オーディオ信号502を変調し、帯域幅拡張高周波信号512を取得することができ、パラメータ信号504に備えられた電力密度パラメータに基づいて帯域幅拡張高周波信号512を増幅または減衰することができる。この帯域幅拡張高周波信号512は、結合器530に提供される。言い換えれば、パッチ生成器510は、オフセット周波数と電力密度パラメータに基づいて入力オーディオ信号502を変調し、高周波信号を取得することができる。これは、例えば、時間ドメインにおいて、補間を有する単側波帯変調634および/または各時間ステップに対するフィルタリング632によってなすことができる。
結合器520は、入力オーディオ信号502と生成された帯域幅拡張高周波信号512を結合し、帯域幅拡張オーディオ信号532を取得する。
出力インターフェース530は、帯域幅の拡張されたオーディオ信号532を提供し、付加的に補正ユニットを備えることができる。補正ユニットは、パラメータ抽出ユニット620によって提供されるパラメータに基づいて、音調補正および/またはノイズ補正を実行することができる。補正ユニットは、図6で示すように出力インターフェース530の一部とすることができ、または独立のユニットとすることができる。補正ユニットは、パッチ生成器510と結合器520の間に配置することもできる。このような方法で、補正ユニットは、生成された帯域幅拡張高周波信号512の音調および/またはノイズのみを補正することができる。入力オーディオ信号512の音調およびノイズの補正は、入力オーディオ信号502はオリジナルオーディオ信号に相当するので必要ない。
いくつかの言葉で要約すると、帯域幅拡張デコーダ600は、伝送された変調機能によって、オーディオデコーダまたはコアデコーダ(入力オーディオ信号)の出力信号から高周波信号を合成し、スペクトル的に形成することができる。伝送された変調機能は、例えば、オフセット周波数と電力密度パラメータに基づく変調機能を意味する。次に、高周波信号と低周波信号を結合することができ、ノイズレベルと音調に適応させるための更なるパラメータを適用することができる。
図7は、本発明の実施形態に係る、入力オーディオ信号に基づいて出力信号を提供する方法700のフロー図を示す。本方法は、少なくとも1つの帯域幅拡張高周波信号を生成するステップ710と、複数の比較パラメータを算出するステップ720と、複数の比較パラメータから比較パラメータを決定するステップ730と、伝送または記憶のために信号を提供するステップ740を備える。
生成された帯域幅拡張高周波信号は、高周波帯域を備える。帯域幅拡張高周波信号の高周波帯域は、入力オーディオ信号の低周波帯域に基づいている。異なる帯域幅拡張高周波信号が生成される場合、異なる帯域幅拡張高周波信号は、それらの高周波帯域内に異なる周波数を備える。
比較パラメータは、入力オーディオ信号と生成された帯域幅拡張高周波信号との比較に基づいて算出される。複数の比較パラメータの各比較パラメータは、入力オーディオ信号と生成された帯域幅拡張高周波信号との間の異なるオフセット周波数に基づいて算出される。
決定された比較パラメータは、予め定義された判定基準を満たしている。
出力信号は、決定された比較パラメータに対応するオフセット周波数に基づくパラメータ指示を備える。
図8は、本発明の一実施形態に係る、入力オーディオ信号とパラメータ信号に基づいて帯域幅の拡張されたオーディオ信号を提供する方法800のフロー図を示す。パラメータ信号は、オフセット周波数の指示と電力密度パラメータの指示を含んでいる。本方法は、帯域幅拡張高周波信号を生成するステップ810と、帯域幅拡張高周波信号の高周波帯域を増幅または減衰するステップ820と、帯域幅拡張高周波信号と入力オーディオ信号を結合し、帯域幅の拡張されたオーディオ信号を取得するステップ830と、帯域幅の拡張されたオーディオ信号を提供するステップ840を備える。
帯域幅拡張高周波信号は、高周波帯域を備える。帯域幅拡張高周波信号の高周波帯域は、入力オーディオ信号の周波数帯域の周波数シフトに基づいて生成される(810)。周波数シフトは、オフセット周波数に基づいている。
帯域幅拡張高周波信号の高周波帯域は、電力密度パラメータの値に等しいまたは電力密度パラメータの逆数値に等しいファクタによって増幅または減衰される(820)。
図9は、本発明の一実施形態に係る、入力オーディオ信号に基づいて出力信号を提供する方法900のフロー図を示す。それは、エンコーダにおけるアルゴリズムのシーケンスのための1つの可能性を図示する。これは、以下において数学的に記載される形式的ものでもある。リアルタイム信号はラテンの小文字によって、ヒルベルト変換信号は対応するギリシャ文字によって、フーリエ変換された信号はラテンの大文字または代わりにギリシャ文字によって示すことができる。
合計は、γkがnから独立している場合にのみ、nによって置き換えることができる。
このケースにおいて、各パッチは、同じ帯域幅を備える。
低域通過フィルタ処理された入力信号904の変調は、周波数ドメインにおいてまたは時間ドメインにおいてなすことができる。
このような方法で、変調された信号910とも呼ばれる帯域幅拡張高周波信号を生成することができる。
時間ドメインにおけるプロセスは、図9に示される。
このオーバーオール変調機能またはオーバーオール変調機能のパラメータは、記憶または伝送する出力信号によって提供740することができる。
加えて、ノイズ補正および/または音調補正のための更なるパラメータを決定することができる。
音の信号がそこにない、例えば静寂、過渡現象またはノイズの場合、遅延の演算は省略することができる。これらのケースにおいて、遅延は0にセットすることができる。
図10は、遅延を決定する実施例1000をより詳細に示す。
時間フレームまたは窓ξ=iに対して(1010)、遅延νは、開始値として−λにセットされる。そして、相互相関Rξ,k(ν)が算出される(720)。νがΛより小さい場合(1030)、νは増やされ(1032)、相互相関に関する次の比較パラメータが算出される(720)。νがΛに等しいまたは大きい場合(1030)、最大の算出された相互相関に対応する遅延を決定することができる(730)。最大が明確に識別可能である場合(924)、決定された遅延は、パラメータdξ,kとして用いられる(918)。そうでない場合、遅延は0にセットされ、パラメータdξ,k=0として用いられる(922)。
そして、次の時間フレームξ=ξ+1に対して(1050)、全体のプロセスが繰り返される(1040)。決定された遅延は、各時間ステップNに対するパラメータを取得するために補間することができる(926)。
複数の比較器が用いられる場合、複数の比較パラメータ、例えば相互相関の結果の演算は、並列になすこともできる。また、必要なハードウェアが何度か利用可能である場合、異なる時間フレームの処理は、並列になすこともできる。相互相関を算出するためのループは、+Λから開始することもでき、各ループをν≦Λまで減らすことができる。
図11は、異なる時間フレームのオフセット周波数、時間インターバルまたは窓の補間926の概略図を示す。図11aは、時間フレームがオーバーラップしない場合の補間1100を示す。遅延dξ,kは、全部の時間フレーム1110に対して決定される。各時間ステップ1120に対してパラメータを補間する最も簡単な方法は、時間フレーム1110の全ての時間ステップ1120のパラメータを、対応する遅延dξ,kに等しく設定することによって、実現することができる。時間フレームの端において、前または次の時間フレームの遅延を選択することができる。例えば、パラメータλk(n)からλk(n+3)は、dξ,kに等しく、パラメータλk(n+4)からλk(n+7)はdξ+1,kに等しい。
あるいは、補間は、例えばメディアンフィルタリングによってなすことができる。
補間は、補間手段によってなすことができる。補間手段は、パラメータ抽出ユニットまたは出力インターフェースの一部とすることができ、または別のユニットとすることができる。
そして、前述したように、例えば逆フィルタリングによる音調補正は、以下のようにすることができる。
図12は、本発明の実施形態に係る、入力オーディオ信号502に基づいて帯域幅の拡張されたオーディオ信号532を提供する帯域幅拡張デコーダ1200のブロック図を示す。帯域幅拡張デコーダ1200は、パッチ生成器1210と、比較器1220と、結合器1230と、出力インターフェース1240を備える。パッチ生成器1210は比較器1220に接続され、比較器1220は結合器1230に接続され、結合器1230は出力インターフェース1240に接続される。
パッチ生成器1210は、入力オーディオ信号502に基づいて、高周波帯域を備える少なくとも1つの帯域幅拡張高周波信号1212を生成するものであって、帯域幅拡張高周波信号1212の高周波帯域の下側遮断周波数は、入力オーディオ信号502の上側遮断周波数より低い。異なる帯域幅拡張高周波信号1212が生成される場合、異なる帯域幅拡張高周波信号1212は、それらの高周波帯域内に異なる周波数を備える。
比較器1220は、複数の比較パラメータを算出する。比較パラメータは、入力オーディオ信号502と生成された帯域幅拡張高周波信号1212の比較に基づいて算出される。複数の比較パラメータの各比較パラメータは、入力オーディオ信号502と生成された帯域幅拡張高周波信号1212の間の異なるオフセット周波数に基づいて算出される。更に、比較器は、複数の比較パラメータから、予め定義された判定基準を満たす比較パラメータを決定する。
結合器1230は、入力オーディオ信号502と帯域幅拡張高周波信号1212を結合し、帯域幅の拡張されたオーディオ信号532を取得するものであって、帯域幅拡張高周波信号1212は決定された比較パラメータに対応するオフセット周波数に基づいている。
出力インターフェース1240は、帯域幅の拡張されたオーディオ信号532を提供する。
図5に示されるデコーダに比較して、記載されているデコーダ1200は、オフセット周波数を単独で決定する。それ故、このパラメータを入力オーディオ信号502とともに受信する必要はない。このような方法で、オーディオ信号の伝送と記憶のためのビットレートを更に減らすことができる。
図1に対して記載されたように、パッチ生成器1210は、異なるオフセット周波数を有する複数の帯域幅拡張高周波信号をまたは異なるオフセット周波数によってシフトされる1つの帯域幅拡張高周波信号のみを生成することができる。また、これらの2つの可能性の結合を用いることもできる。
図13は、本発明の実施形態に係る、帯域幅の拡張されたオーディオ信号を提供する方法1300のフロー図を示す。方法1300は、少なくとも1つの帯域幅拡張高周波信号を生成するステップ1310と、複数の比較パラメータを算出するステップ1320と、複数の比較パラメータから比較パラメータを決定するステップ1330と、入力オーディオ信号と帯域幅拡張高周波信号を結合するステップ1340と、帯域幅の拡張されたオーディオ信号を提供するステップ1350を備える。
帯域幅の拡張された高周波信号は、入力オーディオ信号に基づく高周波帯域を備える。帯域幅の拡張された高周波信号の高周波帯域の下側遮断周波数は、入力オーディオ信号の上側遮断周波数より低い。異なる帯域幅拡張高周波信号が生成される場合、異なる帯域幅拡張高周波信号は、それらの高周波帯域内に異なる周波数を備える。
比較パラメータは、入力オーディオ信号と生成された帯域幅拡張高周波信号の比較に基づいて算出される。複数の比較パラメータの各比較パラメータは、入力オーディオ信号と生成された帯域幅拡張高周波信号の間の異なるオフセット周波数に基づいて算出される。
決定された比較パラメータは、予め定義された判定基準を満たしている。
帯域幅拡張オーディオ信号を取得するために入力オーディオ信号と結合された帯域幅拡張高周波信号は、決定された比較パラメータに対応するオフセット周波数に基づいている。
図14は、本発明の実施形態に係る、帯域幅の拡張されたオーディオ信号を提供する方法1400のフロー図を示す。
入力オーディオ信号を備えるビットストリームを受信1402した後、コアデコーダは、入力オーディオ信号を復号化1410する。入力オーディオ信号に基づいて帯域幅拡張高周波信号が生成1310され、入力オーディオ信号と、異なるオフセット周波数を有する生成された帯域幅拡張高周波信号の間の相互相関に関する複数の比較パラメータが算出1320される。そして、遅延推定とも呼ばれる予め定義された判定基準を満たす比較パラメータが決定1330される。
決定された比較パラメータに対応するオフセット周波数に基づき、変調器は入力オーディオ信号を変調1420する。加えて、受信されたビットストリーム1402からパラメータを抽出1430し、例えば変調された信号の電力密度に適応させることができる。変調された信号は、そこで入力オーディオ信号と結合1340される。加えて、帯域幅の拡張されたオーディオ信号の音調とノイズを補正1440することができる。これは、入力オーディオ信号との結合の前になすこともできる。そして、帯域幅の拡張されたオーディオ信号に関するオーディオデータが、例えば音響再生のために提供1350される。
このような方法で、時間可変変調の演算が、デコーダ側でなされる。
入力オーディオ信号を変調1420してパッチを生成する変調器の代替として、例えば、既に前に生成された帯域幅拡張高周波信号を用いることができ、または、パッチ生成器は決定された比較パラメータに対応するオフセット周波数に基づいて帯域幅拡張高周波信号(パッチ)を生成することができる。
言い換えれば、低データレートがデコーダ側の低い複雑度より重要である場合、変調器の周波数変調の決定は、デコーダ側でなすこともできる。このため、図9に示されるアルゴリズムは、いくつかの変更のみによってデコーダで実行することができる。オリジナル信号はデコーダでの相互相関の演算に対して利用可能でないので、相関は、オーバーラップ範囲内でオリジナル信号(入力オーディオ信号)とシフトされたオリジナル信号(入力オーディオ信号)の間で算出することができる。例えば、信号は、ゼロとαk、例えば2で割ったαk、3で割ったαk、または4で割ったαk、の間でシフトすることができる。αkは、またk番目の帯域端を示し、例えば、α1はコアコーダのクロスオーバー周波数を示す。例えば、これは、エンコーダにおいて、デコーダでと同じ方法で生じる可能性がある。
エンコーダにおいて、スペクトル形成、ノイズ補正および/または音調補正のためのパラメータを抽出し、デコーダに伝送することができる。
図15は、本発明の一実施形態に係る、入力オーディオ信号を用いて出力信号を提供する帯域幅拡張エンコーダ1500のブロック図を示す。エンコーダ1500は、図4に示されたエンコーダに対応する。しかしながら、エンコーダ1500は、オフセット周波数自体に基づくパラメータ指示を有する出力信号132を提供しない。それは、電力密度パラメータと、音調補正およびノイズ補正のためのオプションのパラメータを決定し、出力信号132へのこれらのパラメータのパラメータ指示を含むことができるだけである。しかしながら、電力密度パラメータは(また、決定されている場合は他のパラメータも)、決定された比較パラメータに対応するオフセット周波数に基づいて決定される。
例えば、電力密度パラメータは、入力オーディオ信号102と、決定された比較パラメータに対応するオフセット周波数を有する帯域幅拡張高周波信号との比率を指示することができる。それ故、電力密度パラメータとオプションとして音調補正および/またはノイズ補正のためのパラメータに関係するパラメータ指示は、決定された比較パラメータに対応するオフセット周波数に基づいている。
エンコーダ1500と図4に示されたエンコーダとの更なる差異は、パッチ生成器110がデコーダ1400のパッチ生成器がなすのと同じ方法で帯域幅拡張高周波信号を生成するということである。このように、エンコーダ1500とデコーダは、同じオフセット周波数を取得することができ、それ故、エンコーダ1500によって抽出されるパラメータは、デコーダによって生成されるパッチに対して有効である。
言い換えれば、パッチは、例えば、各時間ステップ、各時間フレーム、時間フレームの部分または時間フレームのグループに対して、変化する遮断周波数によって生成することができる。
記載されたオーディオ信号の帯域幅の拡張の方法は、エンコーダ側とデコーダ側で、並びにデコーダ側のみで、用いることができる。公知の方法とは対照的に、記載された新規な方法は、オーディオ信号の基本周波数についての正確な情報を必要としない、いわゆる帯域幅のハーモニック拡張を実行することができる。更に、例えば、米国仮特許出願(出願番号US61/0125129)「 Nagel, S. Disch:オーディオ信号におけるハーモニック帯域幅拡張の装置および方法」に示されたような、位相ボコーダによってなされる、いわゆるハーモニック帯域幅拡張とは対照的に、スペクトルは広がることがなく、それ故、密度も変更することがない。ハーモニーを確実にするために、拡張されたものとベースバンドとの間の相関が実施される。この相関は、演算と記憶の複雑度およびデータレートの要求に依存して、デコーダにおいて並びにエンコーダにおいて算出することができる。
例えば、帯域幅拡張自体は、振幅変調(AM)および複数の遅い、単一適応の、時間可変キャリアを有する単側波帯変調(SSB)による周波数シフトを用いてなすことができる。付加的なパラメータによる次の後処理は、オリジナル信号のスペクトル包絡およびノイズレベル並びに他の特性を近似することを試みることができる。
信号の変換のための新規な方法は、低周波領域(LF)と高周波領域(HF)の間の、並びに次の高周波領域との間の時間可変遮断周波数XOverによるスペクトルのハーモニック補正の延長による単純な複製またはミラー操作、いわゆるパッチのために現れる問題を回避することができる。これらの遮断周波数は、生成されたパッチがオリジナルにおいて存在したような既存のハーモニック・ラスタに可能な限りよくフィットするように選択される。
図16は、ベースバンドの単側波帯変調によって3つのパッチを生成することができる、3つの時間可変の振幅および遮断周波数を有する変調器を示す。図16aは、時間可変遮断周波数1610を用いた帯域幅の拡張された信号のスペクトル線図1600aを示す。図16bは、3つのトーンのオーディオ信号のスペクトル線図1600bを図示する。図18bに描かれたスペクトログラムと比較して、ライン1620は、有意に不鮮明でない。
図17は、その期間の線図1700による作用効果を図示する。オーディオ信号の第3トーンの電力密度スペクトルは、オリジナル1710、一定の遮断周波数を有する1720、および可変遮断周波数を有する1730として示される。一定の遮断周波数1720を用いることとは対照的に、ハーモニック構造は、可変遮断周波数1730を用いることによって残る。
スペクトルのハーモニック延長によって、ベースバンド(コアコーダ)と拡張された帯域の両方の間の、および後続するパッチの間の遷移点における問題は、回避することができる。システムの機能に対する要求条件としてF0推定なしで、ハーモニーを妨害することも、過渡的な音響イベントによることもなく、聞き取れるアーチファクトの存在なしで、任意の信号をハーモニック延長することができる。
本発明に係るいくつかの実施形態は、全部の帯域幅が利用可能でない全てのオーディオアプリケーションに適する方法に関する。例えば、デジタルラジオ、インターネットストリーム、またはオーディオ通信アプリケーションのようなオーディオコンテンツの放送に対して、記載された方法を用いることができる。
本発明に係る更なる実施形態は、入力オーディオ信号とパラメータ信号に基づいて帯域幅の拡張されたオーディオ信号を提供するものであって、パラメータ信号がオフセット周波数の指示と電力密度パラメータの指示を備える、帯域幅拡張デコーダに関する。帯域幅拡張デコーダは、パッチ生成器と、結合器と、出力インターフェースを備える。パッチ生成器は、高周波帯域を備える帯域幅拡張高周波信号を生成するように構成され、帯域幅拡張高周波信号の高周波帯域は、入力オーディオ信号の周波数帯域の周波数シフトに基づいて生成され、周波数シフトは、オフセット周波数に基づき、パッチ生成器は、帯域幅拡張高周波信号の高周波帯域を、電力密度パラメータの値に等しいまたは電力密度パラメータの逆数値に等しいファクタによって増幅または減衰するように構成される。結合器は、帯域幅拡張高周波信号と入力オーディオ信号を結合し、帯域幅の拡張されたオーディオ信号を取得するように構成される。出力インターフェースは、帯域幅の拡張されたオーディオ信号を提供するように構成される。
本発明に係るいくつかの更なる実施形態は、前述のような帯域幅拡張デコーダに関し、パッチ生成器は、帯域幅拡張高周波信号の高周波帯域を、電力密度パラメータの値に等しいまたは電力密度パラメータの逆数値に等しいファクタによって増幅または減衰するように構成され、電力密度パラメータの指示は、入力オーディオ信号によって含まれる。
本発明はいくつかの実施形態に関して記載されているが、そこにはこの発明のスコープの範囲内にある変更、置換および均等物がある。また、この発明の方法および構成を実施する多くの代替方法があることにも注意すべきである。それ故に、以下に添付される請求の範囲は、本発明の真の趣旨およびスコープの範囲内にあるような全ての変更、置換および均等物を含むものと解釈することが意図される。
特に、状況に依存して、発明のスキームはソフトウェアにおいて実施することができることも指摘される。対応する方法が実行されるようにプログラム可能なコンピューターシステムと協働することができる電子的に読込可能な制御信号を有するデジタル記憶媒体、特にフロッピー(登録商標)またはCD上に実装することができる。一般に、本発明は、このように、コンピュータプログラム製品がコンピュータ上で実行されるときに本発明の方法を実行する機械読取可能な媒体に記憶されたプログラムコードを有するコンピュータプログラム製品においても成立する。言い換えれば、本発明は、このように、コンピュータプログラム製品がコンピュータ上で実行されるときに本方法を実行するプログラムコードを有するコンピュータプログラムとしても実現することができる。