JP2010530079A - インパルス状の部分と定常部分とを有するオーディオ信号を符号化するオーディオ符号器、符号化方法、復号器、復号化方法、および符号化されたオーディオ信号 - Google Patents

Abstract

オーディオ信号からインパルス状の部分を抽出するインパルス抽出器（１０）を含むオーディオ信号を符号化する音声符号器を提供する。このインパルス状の部分は符号化されて、出力インタフェース（２２）へ転送される。さらに、音声符号器は、インパルス状の部分がオーディオ信号から低減される、または、なくされるようにオーディオ信号から得られた残余信号を符号化する信号符号器（１６）を備える。出力インタフェース（２２）は、符号化された信号両方、つまり、符号化されたインパルス状の信号（１２）および符号化された残余信号（２０）を送信または格納目的で転送する。復号器側では、信号部分両方が別個に復号化され、その後、結合されて、復号化されたオーディオ信号を得る。
【選択図】 図１

Description

本発明は、ソースの符号化に関し、特に、オーディオ信号を、異なる符合化アルゴリズムを有する少なくとも２つの異なるオーディオ符号器により処理する音源符号化に関する。

低ビットレートのオーディオおよび音声符号化技術においては、従来から多くの異なる符号化技術が利用されることで、任意のビットレートで最大限の主観品質の低ビットレート信号符号化が達成されてきた。一般の音楽／音響信号の符号器は、知覚モデル（「知覚音声符号化」）により入力信号から推定されたマスキング閾値曲線により、量子化エラーのスペクトル（および時間）を成形することで主観品質を最適化することを目的としている。一方で、非常に低いビットレートの音声の符号化は、人間の音声の生成モデルに基づいて（つまり、線形予測符号化（ＬＰＣ）を用いて）人間の声道の共鳴効果をモデリングすることで非常に効率的に行われ、且つ、残余励起信号を効率的に符号化できることが示されている。

これら２つの異なる方法の結果、汎用オーディオ符号器（例えばMPEG-1 Layer 3、または、MPEG-2/4 Advanced Audio Coding, AAC）は、音声源モデルを利用しないことから、通常、例えばＬＰＣベースの音声符号器専用の非常に低いデータレートのオーディオ信号についてはうまく機能しない。逆に、ＬＰＣベースの音声符号器は、一般的な音楽信号に利用された際には、マスキング閾値曲線により符号の歪みのスペクトル包絡線を柔軟に成形することができないことから、説得力のある成果を発揮できない。以下に、ＬＰＣベースの符号化の利点および知覚オーディオ符号化の利点の両方を単一のフレームワークに組み込むコンセプトを提供して、一般的なオーディオ信号およびオーディオ信号両方について効率的な統一化されたオーディオ符号化について記載する。

従来の知覚オーディオ符号化では、効率的にオーディオ信号を符号化してマスキング曲線の推定によって量子化歪みを成形するフィルタバンクベースの方法が採用されている。

図１６ａは、モノラルの知覚符号化システムの基本的なブロック図を示す。分析フィルタバンク１６００を利用して、時間領域のサンプルをサブサンプルされたスペクトル成分へとマッピングする。スペクトル成分の数に応じて、システムはさらに、サブバンド符号器（例えば３２個という少数のサブバンド）または変換符号器（例えば５１２という多数の周波数線）とも称される。知覚（「心理音響」）モデル１６０２を用いて、実際の時間依存のマスキング閾値を推定する。スペクトル（「サブバンド」または周波数領域）成分は、量子化ノイズが実際の送信信号に隠れて、復号化の後で知覚できなくなるように、量子化および符号化される１６０４。これは、時間および周波数にわたりスペクトル値の量子化の粒度を変化させることで達成される。

量子化されエントロピー符号化されたスペクトル係数またはサブバンド値は、副情報とともに、ビットストリームフォーマッタ１６０６へ入力されて、そこで、送信および格納に適した、符号化されたオーディオ信号が提供される。ブロック１６０６で出力されるビットストリームは、インターネット経由での送信が可能であり、または、任意の機械可読データキャリアへの格納が可能である。

復号器側では、復号器入力インタフェース１６１０は、符号化されたビットストリームを受信する。ブロック１６１０で、エントロピー符号化され量子化されたスペクトル／サブバンド値を副情報から分離する。符号化されたスペクトル値は、１６１０と１６２０との間に位置するエントロピー復号器（ハフマン復号器等）に入力される。このエントロピー復号器の出力は、量子化されたスペクトル値である。これら量子化されたスペクトル値を、図１６ａの１６２０で示される「逆」量子化を行う再量子化器に入力する。ブロック１６２０の出力は、合成フィルタバンク１６２２に入力され、そこで、周波数／時間変換および、通常は、重ね合わせ、加算、および／または、合成側のウィンドウイング処理等の時間領域エイリアシング除去処理を含む合成フィルタリングが行われて、最終的な出力オーディオ信号が得られる。

図１６ｂ、１６ｃは、図１６ａの全フィルタバンクベースの知覚符号化コンセプトの代替例を示しており、符号器側のプレフィルタリング方法および復号器側のポストフィルタリング方法が実装されている。

「Ｅｄｌ００」では、周波数にわたるスペクトル係数の可変量子化ではなくて所謂プレフィルタリングを利用して、無関係低減（つまり、知覚基準によるノイズ成形）および重複低減（つまり、数学的に、よりコンパクトな情報表現の達成）の側面を分離する知覚オーディオ符号器が提案されている。この原理を図１６ｂに示す。入力信号を知覚モデル１６０２で分析して、周波数にわたるマスキング閾値曲線の推定値を計算する。マスキング閾値は、周波数応答の大きさがマスキング閾値に反比例するようなプレフィルタ係数一式に変換される。プレフィルタ処理により、この係数一式を入力信号に適用して、全ての周波数成分が知覚的な重要度（「知覚的ホワイトニング」）により表された出力信号を生成する。この信号は後に、任意の種類のオーディオ符号器１６３２で符号化され、「ホワイト」量子化歪みを生成する、つまり、知覚ノイズ形成法を利用しない。オーディオ信号の送信／格納は、符号器のビットストリームおよびプレフィルタリング係数の符号化バージョン両方を含む。図１６ｃの復号器は、符号器ビットストリームを、加法性ホワイト量子化ノイズを含む知覚ホワイトニングオーディオ信号に復号化する（１６３４）。そして信号は、送信されたフィルタリング係数によりポストフィルタリング処理１６４０にかけられる。ポストフィルタにより、プレフィルタとは逆のフィルタリング処理が行われるので、元のオーディオ入力信号が知覚ホワイトニング信号から復元される。さらなるホワイト量子化ノイズは、ポストフィルタリングによってマスキング曲線のようにスペクトル的に成形されるので、復号器の出力では、意図されたように知覚的にカラー付きで見える。

このようなスキームでは、知覚ノイズ成形は、スペクトル係数の周波数依存量子化ではなくてプレ／ポストフィルタリングステップにより達成されるので、コンセプトは、フィルタバンクベースのオーディオ符号器ではなくてプレフィルタリングされたオーディオ信号を表すよう非フィルタバンクベースの符号化メカニズムを含むよう一般化されうる。「Ｓｃｈ０２」では、これは予測およびエントロピー符号化段階を利用する時間領域の符号化カーネルについて示されている。

プレ／ポストフィルタリング技術を利用して適切なスペクトルノイズ成形を行うためには、プレ／ポストフィルタの周波数成分を人間の聴覚システムのものに適応させることが肝要である。理想的には、周波数成分は、公知の知覚周波数スケール（ＢＡＲＫまたはＥＲＢ周波数スケール「Ｚｗｉ」等）に則っていることが望ましい。これは、プレ／ポストフィルタリングモデルのオーダを最小化し、ひいては関連する計算複雑度および副情報送信率を最小化する目的上、特に望ましい。

プレ／ポストフィルタリング周波数成分の適用は、公知の周波数ワープコンセプト「ＫＨＬ９７」により行われうる。主に、フィルタ構造内の単位遅延は、（第１以上のオーダの）オールパスフィルタで置き換えられ、これにより、フィルタの周波数応答の不均一な歪み（「ワープ」）が生じる。以下の式のような一次オールパスフィルタの利用によっても、適切にオールパス係数を選択することで、知覚周波数スケールのかなり正確な近似が可能であることが知られている「ＳＡ９９」。

故に、殆どの既知のシステムは、より高次のオールパスフィルタを周波数ワープに利用していない。一次オールパスフィルタは、周波数スケールの歪みを決定する単一のスカラーパラメータ（「ワープ係数」と称する、−１＜Λ＜１）により完全決定される。例えば、Λ＝０のワープ係数については、歪みは有効ではない（つまり、フィルタは通常の周波数スケールに対して機能する）。高いワープ係数を選択すると、スペクトルの低周波数領域に、より高い周波数成分（frequency resolution）が集まり（これは知覚周波数スケールを近似するのに必要である）、スペクトルのより高い周波数領域から取り除かれる。

ワープしたプレ／ポストフィルタを利用して、オーディオ符号器は通常、４８ｋＨｚまたは４４．１ｋＨｚのような共通のサンプリングレートで８および２０の間のフィルタオーダを利用する「ＷＳＫＨ０５」。

ワープされたフィルタリングの他の適用例（例えば、室内インパルス応答のモデリング「ＨＫＳ００」およびオーディオ信号内のノイズ成分のパラメータモデリング）が記載されている（Laguerre/Kauz filteringと称される場合がある）「ＳＯＢ０３」。

従来、効率的な音声符号化は、線形予測符号化（ＬＰＣ）に基づいて人間の声道の共鳴効果をモデリングして、残余励起信号を効率的に符号化することで行われてきた「ＶＭ０６」。ＬＰＣも励起パラメータも、符号器から復号器へ送信される。この原理を図１７ａおよび１７ｂに示す。

図１７ａは、線形予測符号化に基づく符号化／復号化システムの符号器側を示す。この音声入力は、ＬＰＣ分析器１７０１に入力され、その出力でＬＰＣフィルタ係数が提供される。これらＬＰＣフィルタ係数に基づいて、ＬＰＣフィルタ１７０３が調節される。ＬＰＣフィルタは、スペクトルホワイトオーディオ信号を出力し、これは「予測エラー信号」と称される。このスペクトルホワイトオーディオ信号は残余／励起符号器１７０５に入力されて、ここで励起パラメータが生成される。故に、音声入力は一方では励起パラメータに符号化され、他方ではＬＰＣ係数に符号化される。

図１７ｂの復号器側では、励起パラメータを励起復号器１７０７に入力して、逆ＬＰＣフィルタに入力可能な励起信号を生成する。逆ＬＰＣフィルタを、送信されたＬＰＣフィルタ係数を用いて調節する。逆ＬＰＣフィルタ１７０９は、復元された、または、合成された音声出力信号を生成する。

経時的には、ＭＰＥ（Multi-Pulse Excitation）、ＲＰＥ（Regular Pulse Excitation）、およびＣＥＬＰ（Code-Excited Linear Prediction）等の多くの方法が、残余（励起）信号の効率的および知覚的に説得力のある表現に関して提案されてきた。

線形予測符号化は、過去の観測の線形結合としての幾らかの過去の値の観測に基づいて、シーケンスの現在のサンプル値の推定値を生成する。入力信号の重複を低減すべく、符号器ＬＰＣフィルタはスペクトル包絡線の入力信号（つまり、信号のスペクトル包絡線の逆数モデルである）を「ホワイトニング」する。逆に、復号器ＬＰＣフィルタは、信号のスペクトル包絡線のモデルである。特に、公知の自動回帰（ＡＲ）線形予測分析は、信号のスペクトル包絡線を全極近似によってモデリングすることが知られている。

通常、狭帯域の音声符号器（つまり、８ｋＨｚのサンプリングレートの音声符号器）は、８および１２の間のオーダのＬＰＣフィルタを利用する。ＬＰＣフィルタの性質により、均一な周波数成分が全周波数範囲にわたり有効である。これは、知覚周波数スケールに対応しない。

ワープ技術が提供するように、不均一な周波数感度は、音声符号化についても利点を提供することに鑑みて、通常のＬＰＣ分析を、ワープした予測分析で置き換えるという提案がなされた（例えば、「ＴＭＫ９４」、「ＫＴＫ９５」）。ワープしたＬＰＣおよびＣＥＬＰ符号化の他の組み合わせも公知である（例えば、「ＨＬＭ９９」から）。

従来のＬＰＣ／ＣＥＬＰベースの符号化の利点（オーディオ信号に対して最良品質であること）と、従来のフィルタバンクベースの知覚オーディオ符号法の利点（音楽に対して最適であること）とを組み合わせるべく、これらアーキテクチャを組み合わせた符号化が提案された。ＡＭＲ−ＷＢ＋符号器「ＢＬＳ０５」では、２つの代替的な符号化カーネルがＬＰＣ残余信号上で動作する。１つ目はＡＣＥＬＰ（Algebraic Code Excited Linear Prediction）であり、故に、オーディオ信号の符号化に非常に効率的である。他の符号化カーネルは、ＴＣＸ（Transform Coded Excitation）（音楽信号に対して良好な品質を得ることのできる従来のオーディオ符号化技術に似たフィルタバンクベースの符号法）に基づく。入力信号の特徴に応じて、２つの符号化モードのうち１つが、ＬＰＣ残余信号送信用に短期間選択される。このようにして、８０ｍｓの期間のフレームを４０または２０ｍｓのサブフレームに分割して、２つの符号化モード間の決定をする。

この方法における制限は、処理が、導入される符号化歪みの種類に関して著しく異なる特徴を有する２つの符号器／符号スキーム間のハードスイッチ決定に基づいていることである。このハードスイッチプロセスは、あるモードから別のモードへスイッチされる際に受信信号品質に切れ目が生じて煩わしい。例えば、オーディオ信号が音楽信号（例えば放送番組のアナウンスの後などの）へと徐々にクロスフェードする際、スイッチ点は検知可能である。同様に、音楽上の音声（例えば音楽背景におけるアナウンス等）については、ハードスイッチは聴き取り可能である。このアーキテクチャでは、２つのコンポーネント符号器の特徴間でスムーズなフェードができる符号器を得るのは難しい。

近年、欧州特許文献第１８７３７５４号明細書に記載されているように、従来のＬＰＣモード（ＣＥＬＰベースの音声符号化に適している）と、プレ／ポストフィルタリングに基づく近くオーディオ符号化に類似したワープモードとの間の符号器フィルタのフェードにより、知覚的に重み付けられた周波数スケール上でフィルタバンクベースの符号化カーネルを動作させるスイッチ符号化の組み合わせも公知である。

可変周波数ワープを有するフィルタを用いることで、図１７ｃと以下に示されているように、音声およびオーディオ両面において高度な符号化品質を達成可能な音声／オーディオ符号器の組み合わせを構築することができる。

用いるべき符号化モードについての決定は（「音声モード」または「音楽モード」）、入力信号の分析を行うことで別個のモジュール１７２６により行われ、音楽からオーディオ信号を区別する公知の技術に基づくことができる。この結果、決定モジュールは、符号化モードと、フィルタ１７２２の関連する最適なワープ係数とについての決定をする。さらに、この決定に応じて、選択された符号化モード（つまり、音声符号化）で入力信号に相応しい一式の適切なフィルタ係数を決定して、ＬＰＣ分析を行い（ワープ無しで、または、低ワープ係数で）、一方で、音楽の符号化については、マスキング曲線を推定して、その逆数をワープスペクトル係数に変換する。

時変ワープ特性を有するフィルタ１７２２を共通符号器／復号器フィルタとして用いて、符号化モード決定／ワープ係数および決定モジュールが生成したフィルタ係数一式に応じて信号に適用される。

フィルタリング段階の出力信号は、符号化モードに応じて、音声符号化カーネル１７２４（例えばＣＥＬＰ符号器）または、汎用オーディオ符号器カーネル１７２６（例えば、フィルタバンクベースの符号器または予測オーディオ符号器）または両方により符号化される。

送信／格納される情報は、符号化モード決定（またはワープ係数に関する指示）、何らかの符号化形式のフィルタ係数、および、音声／励起および汎用のオーディオ符号器が配信する情報を含む。

対応する復号器では、残余／励起復号器および汎用のオーディオ復号器の出力が足し合わされて、符号化モード、ワープ係数、およびフィルタ係数に基づいて、出力を時変ワープ合成フィルタによりフィルタリングする。

しかし、２つの符号化モード間のハードスイッチ決定によれば、スキームは、先に記載したスイッチされたＣＥＬＰ／フィルタバンクベースの符号法と類似した限定を依然として有する。このアーキテクチャでは、２つのコンポーネント符号器の特徴間でスムーズなフェードができる符号器を得るのは難しい。

音声符号化カーネルと汎用の知覚オーディオ符号器とを組み合わせる別の方法が、ＭＰＥＧ−４ Ｌａｒｇｅ−Ｓｔｅｐ Ｓｃａｌａｂｌｅ Ａｕｄｉｏ Ｃｏｄｉｎｇに利用される「Ｇｒｉ９７」「Ｈｅｒ０２」。スケーラブル符号化という概念は、完全なビットストリームのサブセットを有意義に復号化することのできる符号化／復号化スキームおよびビットストリームフォーマットを提供し、これにより出力信号の品質が低減する。ここでは、送信／復号化データレートは、入力信号の再符号化なしに即時の送信チャネル容量に適合させることが可能となる。

ＭＰＥＧ−４ Ｌａｒｇｅ−Ｓｔｅｐ Ｓｃａｌａｂｌｅ Ａｕｄｉｏ Ｃｏｄｅｒの構造を図１８に示す「Ｇｒｉ９７」。この構成は、所謂コア符号器１８０２および知覚オーディオ符号化モジュールに基づく幾らかの向上層１８０４を両方含む。コア符号器（通常は狭帯域音声符号器である）は、後続する向上層よりサンプリングレートが低い。これらコンポーネントのスケーラブルな組み合わせは以下のように機能する。

入力信号がダウンサンプルされ１８０１、コア符号器により符号化される１８０２。生成されたビットストリームは、スケーラブルビットストリームのコア層部分１８０４を構成する。ローカルに復号化され１８０６、アップサンプルされ１８０８、知覚的向上層のサンプリングレートと整合させて、分析フィルタバンク（ＭＤＣＴ）１８１０を通過させる。

第２の信号経路では、遅延（１８１２）補償された入力信号を、分析フィルタバンク１８１４を通過させ、残余符号化エラー信号を計算するのに利用する。

残余信号は、周波数選択スイッチ（ＦＳＳ）ツール１８１６を通過して、もしも残余信号よりも効率的に符号化できるのであれば、スケールファクターバンドベースの元の信号に戻すことができる。

ＡＡＣ符号化カーネル１８０４によりスペクトル係数を量子化／符号化して、向上層ビットストリーム１８１８とする。残余符号化エラー信号の再符号化による、さらなる向上段階（向上層）が後続してよい。

図１９は、関連するコアベースのスケーラブル復号器の構造を示す。合成ビットストリームを個々の符号化層に分解する１９０２。そしてコア符号器ビットストリーム（例えば音声符号器ビットストリーム）の復号１９０４を行い、その出力信号をオプションのポストフィルタ段階で提示してよい。コア復号器信号をスケーラブル復号処理で利用すべく、スケーラブル符号器のサンプリングレートまでアップサンプルして１９０８、他の層との関連で遅延を補償して１９１０、符号器分析フィルタバンク（ＭＤＣＴ）１９１２により分解する。

そして、ＡＡＣノイズレス復号および逆量子化を適用して、全てのスペクトル係数の貢献を足し合わせる１９１８ことで、より高い層のビットストリームを分解する１９１６。周波数選択スイッチツール１９２０は、結果生じるスペクトル係数をコア層の貢献と組み合わせるが、これを、それらの総計または符号器からの信号を受けた向上層から生じる係数のみを選択することにより行う。最後に、結果を合成フィルタバンク（ＩＭＤＣＴ）１９２２が表す時間領域にマッピングして戻す。

一般的な特徴として、音声符号器（コア符号器）は常にこの構成で利用され復号化する。復号器がビットストリームのコア層だけでなく、１以上の向上層にもアクセスを有する場合においてのみ、向上層の知覚オーディオ符号器からの貢献も送信して、これにより良好な品質の無声／音楽信号の提供が可能となる。

この結果、このスケーラブル構成は常に、音声符号器を含む活性層を含むことになり、これは、音声およびオーディオ信号両方について最良の全体品質を提供する上での性能上の欠点となる。

入力信号が主に音声から構成される信号である場合、向上層の知覚オーディオ符号器は、通常のオーディオ信号のものとかなり異なる特性を有するので、この種類の符号器についての符号化が難しい残余／差異信号を符号化する。一例としては、残余信号は、性質上衝撃的なコンポーネントを含みうるので、フィルタバンクベースの知覚オーディオ符号器で符号化されると、プレエコーを引き起こす。

入力信号が主に音声ではない場合、残余信号はしばしば入力信号の符号化より多くのビットレートを要求する。この場合には、ＦＳＳは、残余信号ではなくて向上層による符号化用に元の信号を選択する。この結果、コア層は、出力信号に貢献せず、コア層のビットレートは無駄に消費される、というのも、全品質の向上に貢献しないからである。つまり、そのような場合には、全ビットレートが単に知覚オーディオ符号器のみに割り当てられたとすると、結果の音響は悪くなる。

http://www.hitech-projects.com/euprojects/ardor/summary.htmのＡＲＤＯＲ（Adaptive Rate-Distortion Optimised sound codeR）コーデックを以下に記載する。

プロジェクト内では、課された制約および利用可能な副符号器が与えられている条件で、汎用オーディオを最も適切な信号モデルの組み合わせで符号化するコーデックを作成する。これを、図２０に示す３つのコーデックコンポーネントに対応する３つの部分に分割する。

レート歪み理論は、ＡＲＤＯＲコーデックを現在の時変の制約および入力信号の種類が与えられている条件で最も効率的に動くよう構成する最適化メカニズム２００４に基づいていた。この目的を達成すべく、「副符号化」ストラテジー２０００一式を制御するが、その各々が、特定の種類の入力信号コンポーネント（例えば、トーナル信号、ノイズの多い信号、および過渡的な信号）を符号化するのに高度に効率的である。各特定の「副符号化」ストラテジーについて適切なレートおよび信号コンポーネント割り当ては、レート歪み最適化メカニズムの知覚基準を提供する新たな知覚歪み計測部２００２に基づく。言い換えると、人間の聴覚システムについての到達技術に基づく知覚モデルは、最適化メカニズムに、音の異なる部分の知覚的に関連性のある情報を与える。

最適化アルゴリズムは、例えば、知覚的に関連性のある情報を除去すると決定しうる。その結果、元の信号を復元することができず、聴覚システムは差異を感知することができない。

上述の幾らかの先行技術システムの説明は、一方では汎用オーディオ信号およびオーディオ信号に最適な品質を提供しつつ、他方では任意の種類の信号に対して低ビットレートを提供することのできる最適な符号化ストラテジーが未だ存在しないことを前提とする。特に、図１８および図１９との関連で記載した、ＭＰＥＧ−４で正規化されたスケーラブル方法は、オーディオ信号（特に、オーディオ信号源）は考慮に入れず音声符号器コアを利用して全オーディオ信号を連続して処理する。故に、オーディオ信号が音声に類似していない場合、コア符号器は大量の符号化アーチファクトを導入し、その結果、図１８の周波数選択スイッチツール１８１６は、確実に全オーディオ信号がＡＡＣ符号器コア１８０４を利用して符号化されるようにする。故に、この場合、ビットストリームは音声コア符号器の無駄な出力を含み、さらに、オーディオ信号の知覚的に符号化された表現を含む。これは、送信帯域幅の無駄になるばかりでなく、高く無駄な電力消費となるので、符号化コンセプトがバッテリ電力を利用しているためにエネルギー資源の限られたモバイルデバイスに実装される場合には特に問題を呈する。

一般的に言って、変換ベースの知覚符号器は、オーディオ信号源を無視して動作するので、全ての利用可能な信号源について、知覚オーディオ符号器（中程度のビットレートを有する場合）が、非定常信号部分を除いて、過度に多数の符号化アーチファクトなしに出力を生成できることになる、というのも、マスキング閾値が定常音ほど効率的にマスキングしないからである。さらに、変換ベースのオーディオ符号器の時間解像度と周波数成分との間の潜在的な妥協によっても、この符号化システムは過渡的またはインパルス状の信号成分について問題のあるものとなっている、というのものこれらの信号成分は、高い時間解像度を必要とするが、高い周波数成分は不要であるからである。

しかし音声符号器は、ソースモデルに大いに基づく符号化コンセプトの顕著な一例である。故に、音声符号器は、音声源のモデルに類似しているので、符号化アルゴリズムが表すソースモデルに類似した音源から生じる信号を高い効率のパラメータ表現として提供するポジションにある。音声符号器ソースモデルと合致しないソースから生じる音については、出力は大量のアーチファクトを含む、または、ビットレートの増加が許容される場合には、汎用オーディオ符号器のビットレートよりも非常に多く、実質的に高いビットレートを示す。

本発明の目的は、特定の符号器コンセプトおよび汎用符号器コンセプト両方の利点を提供して、可能な限りこれら符号器の欠点を回避する向上したオーディオ符号コンセプトを提供することである。

この目的は、請求項１に記載のオーディオ符号器、請求項２４に記載のオーディオ符号化方法、請求項２５に記載の符号化オーディオ信号を復号化する復号器、請求項３２に記載の復号化方法、請求項３３に記載の向上したオーディオ信号、または請求項３４に記載のコンピュータプログラムにより達成される。

本発明は、オーディオ信号からインパルスを分離することにより、高い効率性を有し、高品質のオーディオ符号化コンセプトが生じるという発見に基づいている。インパルスをオーディオ信号から抽出することで、一方でインパルスオーディオ信号が、およびオーディオ信号に対応するインパルスのない残余信号が生成される。インパルスオーディオ信号は高い効率性を有する音声符号器のようなインパル符号器により符号化されえて、オーディオ信号について高品質で非常に低データレートを可能とする。他方で、残余信号は、インパルス状の部分がなく、主に元のオーディオ信号の定常部分から構成される。このような信号は、汎用オーディオ符号器のような信号符号器に、好適には、変換ベースの知覚制御オーディオ符号器に、非常に適している。出力インタフェースは、符号化されたインパルス状の信号および符号化された残余信号を出力する。出力インタフェースは、これら２つの符号化された信号を任意の利用可能なフォーマットで出力しうるが、符号化された残余信号のみ、または符号化されたインパルス状の信号のみが、それ自身で非常に有用な特別な状況下にあることもあるので、フォーマットはスケーラブルフォーマットである必要はない。両方の信号が組み合わされることによってのみ、高品質オーディオ信号が提供される。

しかし他方で、ＣＥＬＰまたはＡＣＥＬＰ符号器等の固定レートインパルス符号器を好適に利用された場合、そのビットレートに関する密な制御が可能なので、この結合された符号化オーディオ信号のビットレートは、高度に制御可能である。他方で、信号符号器は、生来はＭＰ３またはＭＰ４符号器の技術分野で公知なビット蓄積部の実装に基づいて可変ビットレートを出力する知覚符号化処理を行うものであるが、例えばＭＰ３またはＭＰ４符号器として実装された場合、固定ビットレートを出力するよう制御することができる。これにより、符号化された出力信号のビットレートが確実に一定のビットレートにされる。

残余オーディオ信号は問題のあるインパルス状の部分をもはや含まないという事実から、この残余信号は信号符号器に最適であるので、符号化された残余信号のビットレートは低くなる。

他方で、インパルス符号器はインパルス符号器ソースモデルに最適であるようオーディオ信号から特別に成形および選択されている信号を供給されることから、インパルス符号器は良好に且つ効率的に処理を行うことができる。故に、インパルス抽出器がオーディオ信号のインパルス部分を発見できない場合、インパルス符号器はアクティブにならず、インパルス符号器の符号化に全く適していない信号部分の符号化を試みない。この点に鑑みて、インパルス符号器は、符号化されたインパルス信号を供給せず、インパルス符号器が高ビットレートを要求しうる信号部分への出力ビットレートに貢献せず、許容できる品質の出力信号を提供する位置付けにない。特に、モバイル用途においては、インパルス符号器はこのような状況下でエネルギーリソースを要求しない。故に、インパルス符号器は、オーディオ信号がインパルス状の部分を含む場合においてのみアクティブになり、インパルス抽出器が抽出するインパルス状の部分も、インパルス符号器が期待するものと完全に整合する。

故に、オーディオ信号を２つの異なる符号化アルゴリズムへ分配することで、組み合わせられた符号化処理となり、これは特に、信号符号器が継続的にアクティブであり、インパルス符号器が予備器の類として利用される場合（信号が実際にインパルス状の部分を含む場合にのみアクティブになり、出力ビットを生成して、エネルギー消費するような場合）において利便性を発揮する。

好適には、インパルス符号器は、本技術分野で「インパルス列」とも称されるインパルスシーケンスを符号化する。これら「パルス」または「インパルス列」は、人間の声道をモデリングすることにより得られる典型的なパターンである。パルス列は、隣接するパルス間の時間的に離間したインパルスを有する。このような時間的な距離は、「ピッチラグ」と称され、この値は「ピッチ周波数」に対応している。

本発明の好適な実施形態を添付図面との関連において以下に記載する。
本発明の一実施形態によるオーディオ符号器のブロック図である。 符号化されたオーディオ信号を復号化する復号器のブロック図である。 オープンループの実施形態を示す。 復号器の特定の実施形態を示す。 符号器側の別のオープンループの実施形態を示す。 符号器側のクローズドループの実施形態を示す。 インパルス抽出器とインパルス符号器とが、修正されたＡＣＥＬＰ符号器内に実装された一実施形態を示す。 （ａ）は、時間領域の音声セグメントの波形をインパルス状の信号セグメントとして示し、（ｂ）は（ａ）のセグメントのスペクトルを示し、（ｃ）は、定常セグメントの一例として無声の時間領域の音声セグメントを示し、（ｄ）は、（ｃ）の時間領域波のスペクトルを示す。 合成ＣＥＬＰ符号器による分析のブロック図である。 インパルス状および定常の信号の一例として音声／無声励起信号を示す。 インパルス状および定常の信号の一例として音声／無声励起信号を示す。 インパルス状および定常の信号の一例として音声／無声励起信号を示す。 インパルス状および定常の信号の一例として音声／無声励起信号を示す。 短期予測情報および予測エラー信号を提供する符号器側ＬＰＣ段階を示す。 図４ａのオープンループの実施形態の好適な実施形態を示す。 実際のインパルス状の信号の波形を示す。 図８のインパルス特徴向上段階で生成される向上したまたはより理想的なインパルス状の信号を示す。 図４ｃの実施形態で実装可能な修正されたＣＥＬＰアルゴリズムを示す。 図１０のアルゴリズムの、より特別な実装例を示す。 図１１のアルゴリズムの特別な実装例を示す。 図４ｃの別の修正されたＣＥＬＰアルゴリズムを示す。 信号復号器の連続処理およびインパルス復号器の断続処理を示す動作モードを示す。 信号符号器が心理音響モデルを含む符号器の実施形態を示す。 ＭＰ３またはＭＰ４符号化／復号化コンセプトを示す。 プレフィルタリング符号化コンセプトを示す。 ポストフィルタリング復号化コンセプトを示す。 ＬＰＣ符号器を示す。 ＬＰＣ復号器を示す。 動的可変ワープＬＰＣフィルタによるスイッチ符号化を実装する符号器を示す。 ＭＥＰＧ−４スケーラブル符号器を示す。 ＭＰＥＧ−４スケーラブル復号器を示す。 ＡＲＤＯＲ符号器の概略図を示す。

以下の実施形態の利点は、知覚オーディオ符号器を拡張して、最適な品質を有する一般的なオーディオ信号の符号化のみならず、顕著に向上した符号化品質のオーディオ信号を得ることを可能とする統一された方法を提供することである。さらに、前述のオーディオ符号化モード（例えばフィルタバンクベースの）と音声符号化モード（例えばＣＥＬＰ法に基づく）との間のハードスイッチに関連する問題を回避することができる。その代わりに、以下の実施形態は、符号化モードおよびツールのスムーズな／連続的な処理の組み合わせを可能とし、このようにして混合信号のより洗練された遷移／合成を行うことができる。

以下の考察は、以下の実施形態の基を形成する。

フィルタバンクを用いた共通知覚オーディオ符号器は、周波数をまたぐ非常に精緻な構造を有しうる信号を表すのに好適であるが、経時的には比較的定常である。過渡的な、またはインパルス状の信号のフィルタバンクベースの符号器による符号化によって、経時的に符号化歪という瑕疵が生じ、これによりプレエコーアーチファクトが生じることがある。

オーディオ信号の大部分は、あるピッチ周波数を有する有声音声が発されている間の人間の声門が生成するインパルス列から構成される。従って、これらのパルス列構造は、低ビットレートでのフィルタバンクベースの知覚オーディオ符号器による符号化が難しい。

故に、最適な信号品質をフィルタバンクベースの符号化システムで得ようとした場合、符号器入力信号をインパルス状の構造その他、より定常コンポーネントに分解することが好適である。インパルス状の構造は、専用符号化カーネル（以後、インパルス符号器と称する）を用いて符号化されうるが、他の残余コンポーネントは、共通のフィルタバンクベースの知覚オーディオ符号器（以後、残余符号器と称する）を用いて符号化されうる。パルス符号器は、ＬＰＣフィルタ、パルス位置に関する情報等の従来の音声符号化スキームから機能ブロックから構築されることが好適であり、励起コードブック、ＣＥＬＰ等の技術を用いることができる。符号器入力信号の分離は、２つの条件が充たされるよう実行されうる。

（条件１）インパルス符号器入力のインパルス状の信号の特徴：インパルス符号器は特にインパルス状の構造を送信する用途において最適であり、定常（トーナル）信号成分の送信には最適ではないので、不要な歪を生じさせないためには、インパルス符号器への入力信号は、インパルス状の構造のみを有することが好適である。つまり、トーン状の信号成分をインパルス符号器に供給すると、フィルタバンクベースの符号器では容易に補償不可能な歪を生じさせてしまう。

（条件２）残余符号器用の時間円滑化符号器残余：残余符号器が符号化する残余信号は、パルス符号器でパルスを符号化するような時間インスタンスにおいてさえも、入力信号の分割後に残余信号が経時的に定常であるよう生成されることが好適である。特に、残余の時間包絡線に「ホール」が生成されないようにすることが好適である。

上述のスイッチ符号化スキームと比較すると、インパルス符号化および残余符号化の連続的組み合わせは、符号器（インパルス符号器および残余符号器）とこれらに関連付けられた復号器を、必要なときに、並列に（つまり、同時に）運用することにより達成される。特に、好適な運用方法は、残余符号器が常に動作しており、インパルス符号器は動作することで利益がある場合のみに起動される、というものである。

提案されているコンセプトの一貫として、入力信号を、各部分的符号器（インパルス符号器および残余符号器）の特徴に最適に合致した幾らかの入力信号部分に分割して、全体的な性能を最適化するということがある。以下の好適な実施形態では、以下が仮定される。

１つの部分的符号器は、フィルタバンクベースのオーディオ符号器（共通知覚オーディオ符号器に類似している）である。この結果、この部分的符号器は、定常且つトーン状のオーディオ信号（「水平構造」に相当するスペクトログラム表現）を処理するのには適しているが、過渡的部分、初期部分、またはインパルス等の、経時的に多くの非定常部分を含むオーディオ信号（「垂直構造」に相当するスペクトログラム表現）には適さない。このような信号をフィルタバンクベースの符号器を用いて符号化しようとした場合、出力信号は、時間的瑕疵（temporal smearing）、プレエコー、および、残響特徴を生じてしまう。

第２の部分的符号器は、時間領域で動作するインパルス符号器である。この結果、この部分的符号器は、過渡的部分、初期部分、またはインパルス等の、経時的に多くの非静止部分を含むオーディオ信号（「垂直構造」に相当するスペクトログラム表現）のには適しているが、定常且つトーン状のオーディオ信号（「水平構造」に相当するスペクトログラム表現）を表すのには適さない。このような信号を時間領域のインパルス符号器を用いて符号化しようとした場合、基底にあるスパースな時間領域表現によって、トーナル信号成分が歪み、あるいは、音響テクスチャが耳障りなものとなる。

フィルタバンクベースのオーディオ復号器および時間領域のインパルス復号器両方で復号された出力は、足し合わされることで、復号信号全体を形成する（インパルスおよびフィルタバンクベースの符号器両方が同時にアクティブである場合）。

図１は、インパルス状の部分と定常部分とを有するオーディオ信号１０を符号化するオーディオ符号器を示す。概して、オーディオ信号のインパルス状の部分および定常信号の定常部分の間の区別は、インパルス状の特徴および定常特徴の両方を計測する信号処理により行うことができる。このような計測は、例えば、オーディオ信号の波形の分析により行われうる。この目的においては、任意の変換ベースの処理またはＬＰＣ処理または任意の他の処理を行うことができる。ある部分がインパルス状であるか否かを決定する直感的な方法は、例えば、時間領域波形を観察して、この時間領域波形のピークが定期的または非定期的な間隔を有するかを判断することであり、定期的な間隔のピークが音声符号器にはより適している。

例えば、図５（ａ）から図５（ｄ）を参照されたい。ここでは、インパルス状の信号セグメントまたは信号部分、および定常信号セグメントまたは信号部分について例示されている。特に、図５（ａ）の時間領域および図５（ｂ）の周波数領域の有声音声を、インパルス状の信号部分の例として挙げ、定常信号部分の例である無声音声セグメントを、図５（ｃ）および（ｄ）との関連で説明する。音声は概して有声、無声、または混合への分類が可能である。図５の（ａ）から（ｄ）に、サンプリングされた有声および無声のセグメントの時間および周波数領域のプロットを示す。有声の音声は、時間領域では準周期的であり、周波数領域では調波的に構造化されており、無声の音声は、ランダム状でブロードバンドである。加えて、有声のセグメントのエネルギーは概して無声のセグメントのエネルギーより高い。有声の音声の短期間のスペクトルは、精巧且つフォルマントな構造により特徴付けられる。精巧な調波構造は、音声の準周期性の結果であり、声帯の振動に起因しうる。フォルマント構造（スペクトル包絡線）は、ソースと声道との相互作用に起因する。声道は、咽頭と口腔とからなる。有声音声の短期的スペクトルに「整合する」スペクトル包絡線の形状は、声道の伝達特性および声門のパルスによるスペクトル傾斜（６ｄＢ／オクターブ）に関連付けられる。スペクトル包絡線は、フォルマントと称される一式のピークにより特徴付けられる。フォルマントは、声道の共鳴モードである。平均的な声道では、５ｋＨｚ未満の３から５つのフォルマントがある。第１の３つのフォルマントの振幅および位置は、通常３ｋＨｚ未満で起こっており、音声合成および知覚において非常に重要となる。これより高いフォルマントも、ワイドバンドよび無声音声表現においては重要である。音声の特性は、以下のような物理音声生成システムに関連している。有声音声は、声帯を振動させることで生成される準周期的な声門の空気パルスで声道を励起することで生成される。周期的なパルスは、基本周波数またはピッチと称される。無声音声は、空気で声道を締め付けることで生成される。鼻音は鼻道と声道とのオーディオ結合によるものであり、破裂音は道の閉鎖部の背後に蓄積されている空圧を急に解放することで生成される。

故に、オーディオ信号の定常部分は、図５（ｃ）が示すような時間領域の定常部分、または、周波数領域の定常部分でありうるが、これは、時間領域の定常部分に顕著なパルスの繰り返しがないことから、例えば図５（ａ）に示されるようなインパルス状の部分とは異なる。しかし後に概略を示すように、定常部分とインパルス状の部分との間の区別は、声道のモデリングおよび声道の励起を行うＬＰＣ法を用いても行うことができる。信号の周波数領域表現を考慮する場合、インパルス状の信号は、図５（ｂ）の顕著なピークである個々のフォルマントの顕著な発現を示すが、定常スペクトルは図５（ｄ）に示すようにかなり白いスペクトルを有する、または調波信号の場合には、例えば音楽信号に起こるような特定のトーンを表す幾らか顕著なピークを有する非常に連続的なノイズフロアを示すが、図５（ｂ）のインパルス状の信号のように互いから定期的な距離を有することはない。

さらに、インパルス状の部分および定常部分は、タイムリーに生じる、つまり、オーディオ信号のある時間的な部分は定常であり、オーディオ信号の時間的に別の部分はインパルス状である。または、あるいはさらに、信号の特徴は、周波数帯毎に異なりうる。故に、オーディオ信号が定常であるかインパルス状であるかの判断は、ある周波数帯または幾らかの特定の周波数帯が定常であるとみなされ、他の周波数帯がインパルス状であるとみなされる、というように、周波数選択的に行うことができる。この場合、オーディオ信号のある時間的な部分は、インパルス状の部分および定常部分両方を有することもありうる。

図１の符号器の実施形態は、インパルス状の部分をオーディオ信号から抽出するインパルス抽出器１０を含む。インパルス抽出器１０は、インパルス状の部分を符号化して、符号化されたインパルス状の信号を得るインパルス符号器を含む。後に示すように、インパルス抽出と実際の符号化動作とは、互いから分離されてよく、一方が、図４ｃとの関連で記載されるように修正版のＡＣＥＬＰアルゴリズムのような単一のアルゴリズムを得るようにしてよい。

インパルス抽出器１０の出力は、符号化されたインパルス状の信号１２であり、幾らかの実施形態では、インパルス抽出の種類およびインパルス符号化の種類に関するさらなる副情報である。

図１の符号器の実施形態は、さらに、オーディオ信号１０から得られる残余信号１８を符号化して、符号化された残余信号２０を得る単一の符号器１６を含む。特に、残余信号１８は、インパルス状の部分がオーディオ信号から低減されるよう、もしくは、オーディオ信号から完全になくなるように、オーディオ信号１０から得られる。しかし、定常部分はインパルス抽出器１０では抽出されないので、オーディオ信号は依然として定常部分を含む。

さらに、発明のオーディオ符号器は、符号化されたインパルス信号１２、符号化された残余信号２０、および利用可能な場合には副情報１４を出力する出力インタフェース２２を含み、符号化された信号２４を得る。出力インタフェース２２は、符号化された残余信号と符号化されたインパルス信号とが互いに独立して復号可能なよう、且つ、利用可能な信号が得られるように書き込まれるスケーラブルデータストリームを生成するスケーラブルデータストリームインタフェースである必要はない。符号化されたインパルス信号および符号化された残余信号のいずれもが許容できるオーディオ品質を有するオーディオ信号ではないことから、好適な実施形態では他の信号をともなわない唯一の信号を提供することに意義はない。故に、出力インタフェース２２は、データストリームについて、および、スケーラブルに復号化できるか否かについて考慮する必要なく、完全にビット的に効率的な方法で動作しうる。

好適な実施形態では、発明のオーディオ復号器は、残余信号生成器２６を含む。残余信号生成器２６は、抽出されたインパルス信号部分に関する情報２８およびオーディオ信号１０を受信して、抽出された信号の部分を含まない残余信号１８を出力するよう適合される。実装に応じて、残余信号生成器２６または信号符号器１６は、副情報も出力してよい。しかし、復号器が構成によっては予め設定できるということから、および、符号器がこれら構成に基づいて動作する限り、発明の符号器はさらなる副情報を生成および送信する必要がないことから、副情報１４を出力生成する必要は必ずしもない。しかし、符号器側および復号機側に幾らか柔軟性を持たせたい場合、あるいは、残余信号生成器の特定の動作に純粋な減算以外のものがある場合には、復号器に副情報を送信して、ホールがなくスムーズ且つインパルス状ではない残余信号を得る目的のみから、復号器が（特に復号器の中の結合器が）、符号器側に導入された、復号された残余信号の部分を無視することが有利であろう。

図２は、出力インタフェース２２が出力するものと同じ信号である符号化オーディオ信号２４を復号化する好適な復号器の実施形態を示す。概して、符号化されたオーディオ信号２４は、符号化されたインパルス状の信号および符号化された残余信号を含む。復号器は、符号化されたオーディオ信号２４から、符号化されたインパルス信号１２、符号化された残余信号２０、および副情報１４を抽出する復号器入力インタフェース２８を含みうる。符号化されたインパルス信号１２は、符号化されたインパルス状の信号を生成するのに利用された符号化アルゴリズム（つまり、図１２のブロック１０で利用された符号化アルゴリズム）に適合した復号アルゴリズムを利用して、符号化されたインパルス状の信号を復号化するインパルス復号器３０に入力される。図２の復号器はさらに、符号化された残余信号を生成するのに利用された符号化アルゴリズム（図１のブロック１６で利用された符号化アルゴリズム）に適合した復号化アルゴリズムを利用して、符号化された残余信号を復号化する信号復号器３２を含む。復号器３０および３２両方の出力信号は、復号化されたインパルス状の信号および復号化された残余信号を結合して、復号化された出力信号３６を生成する信号結合器３４の入力へと転送される。特に、信号復号器３２およびインパルス復号器３０は、復号化されたオーディオ信号と同じ時間インスタントに関する復号化されたオーディオ信号の出力値の選択された部分を提供する機能を有する。

この特徴を図１４を参照しながら記載する。図１４は、１４０における信号復号器３２の出力を示す。図１４に示されているように、信号復号器の出力１４０は連続的に存在する。これは、信号復号器（および対応する信号符号器）が、オーディオ信号が存在する間は、連続して動作して常に出力信号を提供することを意味している。当然、オーディオトラックが終わったときのみに、符号化するべき入力信号もなくなるので、信号復号器も出力を停止する。

図１４の第２ラインは、インパルス復号器の出力１４２を示す。特に、図１４に概略を示すように、元のオーディオ信号がこれら時間部分１４３内に定常成分を有さなかったので、インパルス復号器の出力が存在しない部分１４３が存在する。しかし、他の時間的部分では、信号は、定常成分および／またはインパルス状の成分を含み、インパルス状の成分はインパルス復号器の出力により生成される。故に、時間部分１４２では、復号器は両方とも、復号化された信号の同じ時間インスタントに関する出力値を供給する。しかし、時間部分１４３では、出力信号は、残余信号復号器の出力からのみ構成され、インパルス復号器からの貢献を受けない。

図３ａは、所謂オープンループ構成の符号器の好適な実施形態を示す。インパルス抽出器１０は、ライン４０上に示す符号化されていないインパルス信号を生成する汎用インパルス抽出器を含む。インパルス抽出器は１０ａで示される。インパルス信号４０は、符号化されたインパルス信号１２を最終的に出力するインパルス符号器１０ｂに転送される。ライン２８上のインパルス信号上の情報は、インパルス抽出器１０ａが抽出する非符号化インパルス信号に対応する。残余信号生成器２６は、図３ａでは、オーディオ信号１０からのライン２８上のインパルス信号上の情報を減算して残余信号１８を得る減算器として実装される。

好適には、信号符号器１６は、フィルタバンクベースのオーディオ符号器として実装される、というのも、このようなフィルタバンクベースのオーディオ符号器は、インパルス状の部分をもはや持たない残余信号、または、インパルス状の部分が元のオーディオ信号１０に関して少なくとも減衰させられた残余信号を符号化する用途に特に有効である。故に、信号は、部分的な符号器の入力信号を出力として提供する第１の処理段階１０ａを経る。特に、分割アルゴリズムは、前述の条件１（インパルス符号器がインパルス状の信号を受信する）および条件２（残余符号器の残余信号が時間的に円滑化される）を充たすライン４０およびライン１８上への出力信号を生成する機能を有する。故に、図３ａに示すように、インパルス抽出モジュール１０ａは、オーディオ入力信号１０からインパルス信号を抽出する。

残余信号１８は、オーディオ入力からインパルス信号を除去することで生成される。この除去は、図３ａが示すような減算により行うこともできるが、オーディオ信号のインパルス状の領域を、インパルス状の領域の左右にある領域間の適切な時変のスケーリングまたは補間により元のオーディオ信号１０から導出されうる、よりインパルス状らしくない（平坦）信号で置き換える等の他の手段により行うこともできる。連続する並列の符号化段階１０ｂおよび１６では、インパルス信号（もし存在すれば）を専用インパルス符号器１０ｂで符号化して、残余信号を好適にはフィルタバンクベースのオーディオ符号器１６で符号化する。

オーディオ信号の時間部分がインパルス状であるとして検出された別の好適な実施形態では、この時間部分の処理を純粋に切り離すこと、および、この部分をインパルス符号器のみにより符号化することで、信号符号器の残余信号にホールが生じることになる場合がある。信号符号器にとって問題のある不連続性であるこのホールを回避するべく、「ホール」へ導入されるべき信号を合成する。この信号は、後に記載するように、補間信号または元の信号に重み付け処理を施したバージョンまたはあるエネルギーを有するノイズ信号でありうる。

一実施形態では、この補間／合成信号は、インパルス状の「切り離された」信号部分から減算され、減算処理の結果物のみをインパルス符号器へ転送する（結果物もインパルス状の信号である）。本実施形態は、復号器側で、残余符号器の出力およびインパルス復号器の出力を組み合わせて、復号化信号が確実に得られるようにする。

本実施形態では、出力復号器両方により得られる全ての信号が、出力信号を得るのに常に利用および合成され、復号器のいずれかの出力の破棄は行われない。

続いて、減算以外の部分の残余信号生成器２６の他の実施形態を、記載する。

上述したように、オーディオ信号の時変スケーリングを行うことができる。特に、オーディオ信号のインパルス状の部分を検出するやいなや、スケーリング係数を利用して、オーディオ信号の時間領域のサンプルをスケーリングすることができる（スケーリング係数の値は、例えば０．５未満であり、０．１未満であってもよい）。これにより、オーディオ信号がインパルス状である期間中、残余信号のエネルギーは低減することになる。しかし、このインパルス状の期間中に元のオーディオ信号を単に０に設定する場合と比較すると、残余信号生成器２６は、確実に残余信号が「ホール」を有さないようにして、これが再度、フィルタバンクベースのオーディオ符号器１６についてはかなり問題を呈するものとなりうる非固定性となる。他方で、元のオーディオ信号を小さなスケーリング係数で乗算して得られたインパルス状の時間部分中の符号化された残余信号は、復号器側では利用されないことがあり、復号器側で少しの程度利用されることもある。この事実は、追加的な副情報１４により信号で伝えられることがある。故に、このような残余信号生成器が生成する副情報ビットは、どのスケーリング係数を利用してオーディオ信号のインパルス状の部分がダウンスケーリングされたか、または、どのスケーリング係数を復号器側で利用して、個々の部分が復号化された後で元のオーディオ信号が正確に組み立てられたかを示す場合がある。

残余信号を生成する別の方法は、元のオーディオ信号のインパルス状の部分を切り離して、切り離した部分を、インパルス状の部分の最初または最後の部分のオーディオ信号を利用して補間して、連続したオーディオ信号を提供するが、これはもはやインパルス状ではない。補間は、特定の副情報ビット１４により信号で伝えられることもできるが、これは概してインパルス符号化または信号符号化に関する情報、または残余信号生成特徴を提供する。復号器側では、結合器は、補間された部分の復号化表現を完全に除去、または少なくともある程度減衰することができる。程度または示唆は、ある副情報１４を介して信号により伝えられてよい。

さらに、フェードインおよびフェードアウトを行うように残余信号を提供することが好適である。故に、時変スケーリング係数を小さい値に急に設定せずに、インパルス状の部分の終わりで、または終わり付近で、小さな値となるまで連続的に低減させ、小さなスケーリング係数は通常モードにおけるスケーリング係数（インパルス状の特徴を有さないオーディオ信号部分では小さなスケーリング係数１）にまで連続して増加される。

図３ｂは、図２の信号復号器３２がフィルタバンクベースのオーディオ復号器として実装され、信号結合器３４がサンプルに関する加算器として実装される図３ａの符号器に対応する復号器を示す。

または、信号結合器３４が実行する結合は、さらに、インパルス復号器３０およびフィルタバンクベースのオーディオ復号器３２が周波数領域またはサブバンド領域の出力信号を提供するという前提で、周波数領域でまたはサブバンド領域で行われる可能性がある。

さらに、結合器３４は、必ずしも、サンプルに関する加算を行う必要はなく、結合器は、図１、２、および３ａに関して説明した副情報１４のような副情報により制御可能であり、これにより時変スケーリング処理を行って符号器側でフェードインおよびフェードアウト処理を補償してよく、挿入、補間、または時変スケーリングにより残余信号を平坦化すべく符号器側で生成された信号部分を処理してよい。残余信号生成器２６が図３ａに示すようなサンプルに関する減算を行う機能を有する場合、復号器側の結合器３４は、さらなる副情報の必要がなく、サンプルに関する加算をフェード、フェードアウト、または信号スケーリング等のさらなる処理ステップを伴わずに行うことができる。

有声音声信号については、励起信号（声門インパルス）が人間の声道によりフィルタリングされて、ＬＰＣフィルタにより反転されてよい。故に、声門インパルスに対応するインパルスの抽出は、通常、さらにオープンループ実装である図４ａに示すように、実際のインパルス選択段階の前にＬＰＣ分析を含みうるし、残余信号を計算する前にＬＰＣ合成を含みうる。

特に、オーディオ信号８はＬＰＣ分析ブロック１０ａに入力される。ＬＰＣ分析ブロックは、例えば図９ａに示すような実際のインパルス状の信号を生成する。この信号はインパルス選択段階１０ｃに入力され、そこで例えば図９ａに示されるように実際のインパルス状の信号が処理され、これによりインパルス選択段階１０ｃの入力における実際のインパルス状の信号と比較して、理想的な、または少なくともより理想的なインパルス状の信号であるインパルス信号を出力する。このインパルス信号はインパルス符号器１０ｂに入力される。インパルス符号器１０ｂは、この符号器が特にこのようなインパルス状の信号に適しており、ライン４８上の入力インパルス信号が略理想的なインパルス信号であることから、入力されるインパルス状の信号の高品質表現を提供する。図４ａの実施形態では、図１の「インパルス信号上の情報」２８に対応するライン４８のインパルス信号がＬＰＣ合成クロック２６ｂに入力されて、「ＬＰＣドメイン」に存在する理想的なインパルス状の信号を時間領域へ「変換」する。ＬＰＣ合成ブロック２６ｂの出力は、減算器２６ａに入力されて、元のオーディオ信号である残余信号１８が生成されるが、これはもはやライン４８または２８上の理想的なインパルス信号が表すパルス構造を含まない。故に、図１の残余信号生成器２６は、図４ａでは、ＬＰＣ合成ブロック２６ｂおよび減算器２６ａとして実装されている。

ＬＰＣ分析１０ａおよびＬＰＣ合成２６ｂの機能を、図７ａから７ｅ、図８、および図９ａから９ｂを参照しながら、以下に詳述する。

図７ａは、線形音声生成システムのモデルを示す。このシステムは、２段階励起（図７ａに示す有声音声インパルス列および図７ｄに示す無声音声用のランダムノイズ）を仮定している。声道は、声門モデル７２が生成する図７ｃから図７ｄのパルスを処理する全極変換フィルタ７０としてモデリングされる。全極変換機能は、フォルマントを表す少数の２極共鳴器のカスケードにより形成される。声門モデルは、２極ローパスフィルタとして表され、リップラディエーションモデル７４は、Ｌ（ｚ）＝１−ｚ^−１により表される。最後に、スペクトル補正係数７６を含めて、より高い極の低周波数効果を補償する。個々の音声表現においては、スペクトル補正は省かれ、リップラディエーション機能の０を声門極のいずれかで本質的にキャンセルする。故に、図７ａのシステムは、利得段階７７、転送経路７８、フィードバック経路７９、および加算段階８０を有する図７ｂの全極モデルへと還元され（reduced）うる。フィードバック経路７９には予測フィルタ８１があり、図７ｂに示す全ソースシステム合成モデルは、ｚ領域機能を利用して以下のように表されうる。

ここで、ｇは利得を表し、Ａ（ｚ）はＬＰＣ分析により決定される予測フィルタであり、Ｘ（ｚ）は励起信号であり、Ｓ（ｚ）は合成音声出力である。

図７ｃおよび７ｄは、線形ソースシステムモデルを用いた有声および無声の音声合成のグラフィックな時間領域の記載である。このシステムおよび上述の式の励起パラメータは未知であり、有限の音声サンプル一式により決定されねばならない。Ａ（ｚ）の係数は、線形予測を用いて導出される。ｐ次の転送線形予測器では、音声シーケンスの現在のサンプルを、ｔ個の通過サンプルの線形結合により予測する。予測器の係数は、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズム等の公知のアルゴリズム、または一般的には自動補正法または反射法により決定されうる。

図７ｅは、図４ａのＬＰＣ分析ブロック１０ａのより詳細な実装例を示す。オーディオ信号を、フィルタ情報Ａ（ｚ）を決定するフィルタ決定ブロックに入力する。この情報は、復号器に必要な短期予測情報として出力される。図４ａの実施形態では、つまり、短期予測情報はインパルス符号器出力信号により必要とされうる。しかし、ライン８４の予測エラー信号のみが必要である場合、短期予測情報は出力される必要がない。しかし、短期予測情報は、実際の予測フィルタ８５により必要とされる。減算器８６では、オーディオ信号の現在のサンプルを入力して、現在のサンプルの予測値を減算して、このサンプルの予測エラー信号がライン８４で生成されるようにする。このような予測エラー信号サンプルのシーケンスは、図９ａでかなり概略化されて描かれており、明瞭化目的から、ＡＤ／ＤＣコンポーネントに関する点が示されていない。故に、図９ａは、整流されたインパルス状の信号の類として捉えることが出来る。

図８を以下で詳述する。図８は、図４ａに類似しているが、ブロック１０ａとブロック２６ｂとがより詳しい。さらに、インパルス特徴向上段階１０ｃの一般的な機能を説明している。図８のＬＰＣ分析段階１０ａは、図７ｅに詳述されているように実装されうるが、ここで、短期予測情報Ａ（ｚ）は合成段階２６ｂに入力され、「実際のインパルス状の信号」である予測エラー信号を、このライン８４で出力する。信号が混合されていると仮定される場合、つまり、音声成分および他の成分を含む場合、実際のインパルス状の信号を、図９ａの整流された表現に相当する図７ｃおよび７ｄの励起信号の重畳として考えることができる。さらに定常成分を有する実際のインパルス状の信号を観察することもできる。これらの定常成分は、インパルス特徴向上段階１０ｃにより除去され、出力で、例えば図９ｂに類似した信号を提供する。または、ブロック１０ｃが出力する信号は、純粋なピーク選択の結果でありえて、これは、幾らかのサンプルから始まり、ピークの左側へ向かい、ピークの右側の幾らかのサンプルで終わるインパルスが、図９ａの信号から選択されることを意味するが、ピーク間の図９ａの信号の信号サンプルは完全に破棄されている。これは、図７ｃに示すものに類似した信号がブロック１０ｃで生成されることを意味するが、インパルスが理想的なＤＩＲＡＣパルスではなく、幾らかのインパルス幅を有するという違いがある。さらに、インパルス特徴向上段階１０ｃは、ピークを処理して、各ピークが同じ高さと形状を有するようにすることができる（図９ｂに概略が示されている）。

ブロック１０ｃで生成される信号は、インパルス符号器１０ｂにとって理想的であるので、インパルス符号器は、少数のビットしか必要とせず、量子化エラーがない、または、非常に少量の量子化エラーのみを有する理想的なインパルス状の信号の表現である符号化表現を提供する。

図８のＬＰＣ合成段階２６ｂは、ユニティ利得または１と異なる利得で、図７ｂの全極モデルと全く同じように実装可能にされることで、ブロック２６ｂが示す伝達関数は、時間領域のブロック１０ｃの出力で理想的なパルス状の信号の表現を有するべく実装されて、除去のようなサンプルに関する組み合わせがブロック２６ａで行うことができるようにする。そして、ブロック２６ａの出力は残余信号となり、理想的なケースでは、これはオーディオ信号の定常部分のみを有し、もはやオーディオ信号のインパルス状の部分は含まない。ブロック１０ｃでピーク選択等のインパルス特徴向上処理を行うことで導入された情報損失は問題がない、というのも、この「エラー」は残余信号内で説明されており、損失されないからである。しかし重要なことは、段階１０ｃで選択されるインパルスの位置が、オーディオ信号８のインパルス位置を正確に表しており、ブロック２６ａの信号両方の組み合わせが、特に減算により形成された場合、密に隣接している２つのパルスとならず、パルスを有さない単一の信号となるようにしているということである、というのも、元のオーディオ信号８のパルスは、ブロック２６ａでの結合処理によりキャンセルされているからである。

この特徴は、所謂「オープンループの実施形態」の利点であり、図４ｂに示す所謂「クローズドループの実施形態」の不利な点でありうる。図４ｂは、図４ａとは、インパルス符号器出力信号が、図１の残余信号生成器２６の一部であるインパルス復号器２６ｅに入力される点で異なっている。インパルス符号器１０ｂがパルス位置に量子化エラーを導入する場合、および、これらエラーがインパルス復号器２６ｃの処理により補償されない場合、ブロック２６ａの減算処理は、オーディオ信号に元のパルスを有するのみならず、これらパルスの隣にも減算処理によりさらなるパルスが導入された残余信号を生じることになる。このような状況を回避するべく、結合器２６は、サンプルに関する除去を行うだけでなく、インパルス復号器２６ｃの出力信号を分析して、減算を同期化する。

「クローズドループ」処理は、さらに、カスケードされた分割処理として捉えられる。２つの部分的な符号器の１つ（好適にはインパルス符号器）を調節して、入力信号の適切な部分（好適には声門のインパルス）を受け取らせる。そして、他の部分的な符号器１６を、元の信号と第１の部分的な符号器からの復号化信号との間の差異信号からなる残余信号により供給する。インパルス信号は先ず符号化および復号化されて、量子化された出力をオーディオ入力から減算して、クローズドループ法の残余信号を生成して、これをフィルタバンクベースのオーディオ符号器により符号化する。

例えば、ＣＥＬＰまたはＡＣＥＬＰ符号器は、図４ｃに示す効率的なインパルス符号器として利用可能であるが、これについては後述する。しかし好適には、ＣＥＬＰまたはＡＣＥＬＰルーチンを修正して、符号器が、トーナルな、または非常に定常信号成分もモデリングを試みるのではなく、入力信号のインパルス状の部分のみをモデリングするようにする。つまり、ある数のインパルスがインパルス状の信号部分のモデリングに利用済みの場合、さらなるインパルスを割り当てて信号の他の部分をモデリングすることは、非生産的であり、出力信号全体の品質を劣化させる。故に、ひとたび全ての実際に起こっているパルスがモデリングされた場合、適切なプレプロセッサまたはコントローラ（例えば図１０の１０００で示される）がインパルス割り当て処理を終了する。

さらに、図４ｃのフィルタバンクベースの符号器１６における符号化に適したようにするには、インパルス符号器出力信号を除去した後の残余を構築して、経時的に平坦にすることで、条件２を充たすようにすることが望ましい。

図４ｃはこの方法を示しているが、修正されたＡＣＥＬＰ符号器１０は、インパルス抽出器およびインパルス符号器の両方の動作を行う。ここでも、図１の残余信号生成器２６は減算２６ａを行い、インパルス状の部分をオーディオ信号から除去するが、前述した平坦化または補間等の他の方法を利用することもできる。

信号を先ずインパルス信号と残余信号とに分離して、これら信号部分を個々に符号化するので、消失の多い符号化（インパルス符号器およびフィルタバンクベースのオーディオ符号器における量子化）となる図４ｂのオープンループ実装例の不利な点は、両方の符号器の量子エラーが、個々に制御および永遠に最小化されねばならないことである。これは、復号器の出力で両方の量子化エラーが加算されてしまうことにある。

しかし、オープンループ実装例の利点は、インパルス抽出段階により、量子化エラーによる歪のないクリーンなインパルス信号が生成されることである。故に、インパルス符号器の量子化は、残余信号に影響しない。

しかし、両方の実装例を混合して、ある種の混合モードを実装することもできる。故に、オープンループおよびクローズドループ法両方からのコンポーネントがともに実装される。

効率的なインパルス符号器は通常、個々の値およびインパルス位置の両方を量子化する。混合オープン／クローズドループモードの一つのオプションは、残余信号を計算する目的から、量子化されたインパルス値と、正確な／量子化されていないインパルス位置とを利用することである。インパルス位置はその後、オープンループ様式で量子化される。または、インパルス状の信号検出のために繰り返しＣＥＬＰ合成分析処理を利用することができるが、パルス位置を僅かな量しかエラーで量子化しようがしまいが、インパルス信号の実際の符号化用の専用符号化ツールを実装する。

以下に、図６を参照しながら合成分析ＣＥＬＰ符号器を説明して、図１０から１３に示されるこのアルゴリズムへの変形例を示す。このＣＥＬＰ符号器は、「Speech Coding: A Tutorial Review」Andreas Spanias, Proceedings of the IEEE, Vol. 82, No. 10, October 1994, １５４１から１５８２ページに詳述されている。図６に示されているＣＥＬＰ符号器は、長期予測コンポーネント６０と短期予測コンポーネント６２とを含む。さらに、６４で示されるコードブックを利用する。知覚重み付けフィルタＷ（ｚ）を６６で実装して、エラー最小化コントローラを６８で提供する。ｓ（ｎ）は、例えばＬＰＣ分析段階１０ａで生成される励起信号である。この信号は、図７ｅのライン８４で示される「予測エラー信号」とも称される。知覚的に重み付けをされた後で、重み付け予測エラー信号を減算器６９に入力して、ブロック６６の出力の合成信号と実際の重み付け予測エラー信号ｓ（ｗ）（ｎ）との間のエラーを算出する。一般的に言って、短期予測Ａ（ｚ）は、図７ｅが示すＬＰＣ分析段階で計算されて、この情報に応じて、長期予測利得ｇおよびベクトル量子化指数（つまりコードブック参照のこと）を含む長期予測情報Ａ_Ｌ（ｚ）を算出する。ＣＥＬＰアルゴリズムにより、例えばガウスシーケンスのコードブックを用いて励起が符号化される。Ａが代数（Ａｌｇｅｂｒａｉｃ）のＡを意味するＡＣＥＬＰアルゴリズムは、特別な代数的に設計されたコードブックを有する。

コードブックは、各サンプルが幾らかのサンプルの長さである多少のベクトルを含みうる。利得係数ｇは励起ベクトルをスケーリングして、励起サンプルは長期合成フィルタおよび短期合成フィルタによりフィルタリングされる。「最適な」ベクトルは、知覚的に重み付けされた平均平方エラーを最小化することで選択される。ＣＥＬＰの検索処理は、図６に示す合成分析スキームから明らかである。

以下に、例示的なＡＣＥＬＰアルゴリズムを、図１０を参照しながら記載するが、図１０では、図４ｃで説明した本発明の一実施形態についての変形例が示される。

刊行物「A simulation tool for introducing Algebraic CELP (ACELP) coding concepts in a DSP course」Frontiers in Education Conference, Boston, Massachusetts, 2002, Venkatraman Atti and Andreas Spaniasは、符号励起線形予測（ＣＥＬＰ）符号化コンセプトを大学のクラスに導入する教育ツールについて説明している。基礎にあるＡＣＥＬＰアルゴリズムは、幾らかの段階を含み、この段階には、前処理およびＬＰＣ分析段階１０００、オープンループピッチ分析段階１００２、クローズドループピッチ分析段階１００４、および代数（固定）コードブック検索段階１００６が含まれる。

前処理およびＬＰＣ分析段階では、入力信号はハイパスフィルタリングされスケーリングされる。１４０Ｈｚの遮断周波数を有する二次極ゼロフィルタ（second order pole-zero filter）を用いて、ハイパスフィルタリングを行う。固定点実装のオーバフローの確率を低減すべく、スケーリング処理を行う。そして、前処理された信号を、３０ｍｓ（２４０個のサンプル）の非対称ウィンドウを用いてウィンドウイングする。重畳も実装する。そして、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムを用いて、線形予測係数を、ウィンドウイングされた音声に対応する自動補正係数から計算する。ＬＰ係数は、後に量子化および送信される線形スペクトル対に変換される。Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムはさらに、重み付けした音声信号の自動補正の最大値を検索して、この最大値の遅延を読み出すことで、オープンループピッチＴ_ｏｐを計算するオープンループピッチ分析ブロックで利用される反射係数（reflection coefficient）を出力する。このオープンループピッチに基づいて、クローズドループピッチ検索段階１００４は、Ｔ_ｏｐの周りの小さなサンプル範囲を検索して、最終的に高度に正確なピッチ遅延および長期予測利得を出力する。この長期予測利得はさらに、代数固定コードブック検索で利用されて、最終的に他のパラメータ情報を量子化された利得値とともに出力する。代数コードブックは、パルス位置、パルス数、インタリーブ深さ、パルス位置を記載するビット数が参照される特定のコードブック構造を有する幾らかの非ゼロエレメントを含むインタリーブされた一式の置換コードからなる。検索コードブックベクトルは、符号の乗算も行う発見位置に、選択された量の単位パルスを配置することで決定される。コードブックベクトルに基づいて、全ての利用可能なコードベクトルのなかから、最も適切なコードベクトルを選択する最適化処理を行う。そして、最も適切なコードベクトルのパルス位置およびパルス時間を符号化して、量子化利得値とともにパラメータ符号化情報として送信する。

ＡＣＥＬＰ出力信号のデータレートは、割り当てられたパルス数に依存する。少数のパルスの場合には（例えば単一のパルス）、小さいビットレートを得る。多数のパルスの場合には、７．４ｋｂ／ｓのビットレートから、５パルス毎にビットレートが８．６ｋｂ／ｓ増加し、１０パルスについて１２．６ｋｂ／ｓのビットレートまで増加させる。

図４ｃに示す本発明の好適な実施形態により、修正されたＡＣＥＬＰ符号器１０は、パルス数制御段階１０００を含む。特に、パルス数制御段階では、ＬＴＰ利得をクローズドループピッチ分析による出力として計測して、ＬＴＰ利得が低い場合、パルス数制御を行う。低いＬＴＰ利得は、実際に処理された信号があまりインパルス列状ではないことを示しており、高いＬＴＰ利得は、実際の信号がインパルス列状であり、ＡＣＥＬＰ符号器に非常に適していることを示す。

図１１は、図１０のブロック１０００の好適な実装例を示す。特に、ブロック１０１０では、ＬＴＰ利得が所定のＬＴＰ利得の閾値より大きいか否かが判断される。判断が肯定的である場合、１０１１で信号はパルス状であると判断される。そして、所定の、または潜在的なパルス数を１０１２に示すように用いる。故に、ＡＣＥＬＰ符号化アルゴリズムの直接的なパルス設定または直接的なパルス数制御を、修正することなく適用して、この符号器が引き起こすパルス位置のばらつきは、部分的にまたは完全に、過去の情報に基づいて周期格子（periodic grid）に制限されて、クローズドループの実施形態の不利な点をなくす（ブロック１０１３参照）。特に、長期予測（ＬＴＰ）利得が高い場合、つまり、信号が周期的で、パルスが過去のフレームに配置されている場合、信号がインパルス形状である場合、過去のパルス位置およびＬＴＰラグが決定する周期格子に、可能性のあるパルス位置を制限することで、代数コードブックを用いてインパルス形状を向上させている。特に、代数コードブックが配置するパルス数は、ブロック１０１１が示すように、このモードでは一定でありうる。

長期予測（ＬＴＰ）利得が低いと判断される場合（１０１４が示すように）、パルス数はコードブック最適化で異なる（１０１５参照）。特に、代数コードブックは、残りの残余のエネルギーが最小化され、ＬＴＰラグに等しい期間の間、複数のパルス位置が周期パルス列を形成するよう、パルスを制御する。しかし処理は、エネルギー差異がある閾値を下回ると、停止して、代数コードブックのパルス数が可変になる。

続いて、図１２は、ブロック１０１５との関連で記載されるパルス数の変化の好適な実施形態を示す。先ず、１０１６に示すように、少数のパルス（例えば単一のパルス）を利用して最適化を行う。次に、１０１７に示すように、この少数のパルスで最適化を行う。最適なコードベクトルについては、エラー信号エネルギーをブロック１０１８で計算して、ブロック１０１９でエラーエネルギー閾値（ＴＨＲ）と比較する。閾値は所定であり、ＡＣＥＬＰ符号器が信号のパルス部分のみを、ある正確度をもって符号化でき、信号の非パルス状の部分を符号化しないようにする値に適切に設定されてよく、符号器はこれを図１０の発明のコントローラ１０００が存在しない場合に行う。

ステップ１０１９で閾値が充たされていると判断する場合、処理を停止する。しかし、ブロック１０１９の比較により、エラー信号エネルギー閾値が未だ充たされていない場合、パルス数を、例えば１増加させる（１０２０参照）。そして、ステップ１０１７、１０１８、および１０１９を繰り返すが、今回はより多い数のパルスで行う。この処理は、例えば許可されたパルスの最大値等、最終的な基準が充たされるまで継続される。しかし通常は、閾値基準のため処理は停止して、一般的に非パルス状の信号のパルス数は符号化アルゴリズムがパルス状信号の場合に割り当てるパルス数より少ない。

ＡＣＥＬＰ符号器の別の変形例を図１３に示す。この符号器では、１３００に示すように有声／無声の決定を行う。この符号器は、次に、この有声／無声の決定に基づいて、有声部分について第１のコードブックを用い、無声部分について第２のコードブックを用いる。本発明の一実施形態において、ＣＥＬＰ合成分析処理は、１３１０で示すようにブロック１３００で有声部分が検出されたときにインパルスコード情報を決定する目的にのみ利用される。しかし、ＣＥＬＰ符号器が無声部分を決定する場合、これら無声部分についてのＣＥＬＰ符号器の出力は、計算されない、または、少なくとも無視されて符号化されたインパルス信号に含められない。本発明によると、これら無声部分は、残余符号器を利用して符号化されるので、この符号器の変形例は、１３２０が示すように無声部分についての符号器出力を無視することを含む。

本発明は、好適には、図１７ａ−ｃに示すように、動的に可変なワープしたＬＰＣフィルタでスイッチした符号化を行うコンセプトと組み合わせられる。インパルス符号器はＬＰＣフィルタを利用するが、インパルス符号器はブロック１７２４で表される。フィルタバンクベースの残余符号器がプレ／ポストフィルタリング構造を含む場合、図１７ｃにこれは示されていないが、プレフィルタ１７２２の適用以外のオーディオ入力の処理は行われないが、図１の残余信号符号器１６に対応する汎用オーディオ符号器１７２６への入力を提供する目的からは行われることがあるので、パルス符号器１７２４および残余符号器両方に統一された時間―周波数表現を利用する可能性がある。このようにして、符号器側の２つの分析フィルタおよび復号器側の２つの合成フィルタを不要とすることができる。これは、図１７ｃに関して記載したように、ワープ特徴の汎用フィルタの動的な適合を含みうる。故に、本発明は、この信号を汎用オーディオ符号器１７２６に入力する前にプレフィルタ１７２２出力信号を処理することにより、および、オーディオ信号を残余励起符号器１７２４に入力する前にオーディオ信号からパルスをさらに抽出することにより、図１７ｃのフレームワークへの実装が可能である。故に、ブロック１０ｃ、２６ｂ、および２６ａは、時変ワープフィルタ１７２２の出力、図４ａのインパルス符号器１０ｂに対応する配置される残余／励起符号器１７２４への入力、および、図４ａのフィルタバンクベースのオーディオ符号器１６に対応する汎用オーディオ符号器１７２６の入力に配置される必要がある。当然、図４ｂのクローズドループの実施形態がさらに、図１７ｃの符号化システムに実装されうる。

図１の心理音響的に制御された信号符号器１６の利用が好適である。心理音響モデル１６０２は、例えば図１６ａの対応するブロックに類似しているが、好適には、図１５に実装されて、その入力がオーディオ信号８に接続される。これにより、ライン１５００の心理音響マスキング閾値情報は、残余信号生成器２６の出力の残余信号ではなくて、元のオーディオ信号の状況を反映するようになる。故に、量子化器１６０４ａは、実際に量子化される信号に由来しないが、残余信号１８の計算前の元のオーディオ信号に由来するマスキング閾値情報１５００により制御される。この処理は、インパルス状の信号部分のマスキング効果も利用することでビットレートをさらに低減しうることから、残余信号生成器２６の出力への心理音響モデルの入力の接続と比して好ましい。しかし他方で、心理音響モデル入力の残余信号生成器１８の出力への接続も有用な場合がある、というのは、残余信号は実際のオーディオ信号であり、その結果、マスキング閾値を有するからである。この実装例は用途によっては一般的に可能であり有用であるが、心理音響モデル１６０２に元のオーディオ信号を供給する状況と比較して高いビットレートを生成する。

一般的に、本発明の好適な実施形態は、以下に纏めるような幾らかの側面を有する。

符号化側：信号分割方法；フィルタバンクベースの層は常に存在する；音声向上はオプション層である；符号化前に信号分析（インパルス抽出）を行う；インパルス符号器は、入力信号のある成分のみを処理する；インパルス符号器は、インパルスのみを処理するよう調節される；および、フィルタバンクベースの層は、未修正のフィルタバンクベースの符号器である。復号化側：フィルタバンクベースの層は常に存在する；音声向上はオプション層である。

一般的に言って、インパルス用の基底にあるソースモデル（例えば声門インパルス励起）が、入力信号によく適合する場合、フィルタバンクベースの符号化モードに加えてインパルス符号化法を選択し、インパルス符号化を任意の都合のよい時点で開始することができる；インパルス用の基底にあるソースモデル（例えば声門インパルス励起）が、入力信号によく適合する場合、フィルタバンクベースの符号化モードに加えてインパルス符号化法を選択する；これが、コーデック両方のレート歪行動の分析を伴わないので、符号化処理において、顕著により効率的である。

好適なインパルス符号化またはパルス列符号化方法は、「Speech coding below 4 kB/s using waveform interpolation」、 W. B. Kleijn, Globecom '91, １８７９から１８８３ページ、または「A speech coder based on decomposition of characteristic waveforms」、 W. B. Kleijn およびJ. Haagen, ICASSP 1995、５０８から５１１ページに記載されている波形補間技術である。

記載する実施形態は、本発明の原理の例示に過ぎない。ここに記載する配置および詳細の変形例および変更例が当業者には明らかである。

発明の方法の実装要件に応じて、発明の方法をハードウェアまたはソフトウェアに実装することができる。実装例は、発明の方法を実行するプログラム可能なコンピュータシステムと協働する電子的に読み取り可能な制御信号が格納されたデジタル格納媒体（特にディスク、ＤＶＤ，またはＣＤ）を利用して実装することができる。概して、本発明は、機械可読キャリアに格納されたプログラムコードを有するコンピュータプログラムプロダクトであり、プログラムコードは、コンピュータプログラムプロダクトがコンピュータ上で実行される際に発明の方法を実行するよう動作させられる。言い換えると、発明の方法は、コンピュータプログラムがコンピュータ上で実行される際に、発明の方法のうち少なくとも１つを実行するプログラムコードを有するコンピュータプログラムである。

文献一覧は以下の通りである。
[Edl00] B. Edler, G. Schuller: "Audio coding using a psychoacoustic pre- and post filter", ICASSP 2000, Volume 2, 5-9 June 2000 Page(s):II881 - II884 vol.2;
[Sch02] G. Schuller, B. Yu, D. Huang, and B. Edler, "Perceptual Audio Coding using Adaptive Pre- and Post-Filters and Lossless Compression", IEEE Transactions on Speech and Audio Processing, September 2002, pp. 379-390;
[Zwi] Zwicker, E. and H. Fastl, "Psychoacoustics, Facts and Models", Springer Verlag, Berlin;
[KHL97] M. Karjalainen, A. Harma, U.K. Laine, "Realizable warped IIR filters and their properties", IEEE ICASSP 1997, pp. 2205 - 2208, vol.3;
[SA99] J.O. Smith, J.S. Abel, "Bark and ERB Bilinear Transforms", IEEE Transactions on Speech and Audio Processing, Volume 7, Issue 6, Nov. 1999, pp. 697 - 708;
[HKS00] Harma, Aki; Karjalainen, Matti; Savioja, Lauri; Valimaki, Vesa; Laine, Unto K.; Huopaniemi, Jyri, "Frequency-Warped Signal Processing for Audio Applications", Journal of the AES, Volume 48 Number 11 pp. 1011-1031; November 2000;
[SOB03] E. Schuijers, W. Oomen, B. den Brinker, J. Breebaart, "Advances in Parametric Coding for High-Quality Audio", 114th Convention, Amsterdam, The Netherlands 2003, preprint 5852;
[WSKH05] S. Wabnik, G. Schuller, U. Kramer, J. Hirschfeld, "Frequency Warping in Low Delay Audio Coding", IEEE International Conference on Acoustics, Speech, and Signal Processing, March 18-23, 2005, Philadelphia, PA, USA;
[TMK94] K. Tokuda, H. Matsumura, T. Kobayashi and S. Imai, "Speech coding based on adaptive mel-cepstral analysis," Proc. IEEE ICASSP'94, pp.197-200, Apr. 1994;
[KTK95] K. Koishida, K. Tokuda, T. Kobayashi and S. Imai, "CELP coding based on mel-cepstral analysis," Proc. IEEE ICASSP'95, pp.33-36, 1995;
[HLM99] Aki Harma, Unto K. Laine, Matti Karjalainen, "Warped low-delay CELP for wideband audio coding", 17th International AES Conference, Florence, Italy, 1999;
[BLS05] B. Bessette, R. Lefebvre, R. Salami, "UNIVERSAL SPEECH/AUDIO CODING USING HYBRID ACELP/TCX TECHNIQUES," Proc. IEEE ICASSP 2005, pp. 301 - 304, 2005;
[Gri97] Grill, B., "A Bit Rate Scalable Perceptual Coder for MPEG-4 Audio", 103rd AES Convention, New York 1997, Preprint 4620
[Her02] J. Herre, H. Purnhagen: "General Audio Coding", in F. Pereira, T. Ebrahimi (Eds.), "The MPEG-4 Book", Prentice Hall IMSC Multimedia Series, 2002. ISBN 0-13-061621-4.

Claims (34)

1. インパルス状の部分と定常部分とを含むオーディオ信号（８）を符号化するオーディオ符号器であって、
   前記オーディオ信号から前記インパルス状の部分を抽出するインパルス抽出器であって、前記インパルス状の部分を符号化して、符号化されたインパルス状の信号を得るインパルス符号器を有するインパルス抽出器（１０）と、
   前記インパルス状の部分が前記オーディオ信号から低減される、または、なくされるように前記オーディオ信号から得られた残余信号を符号化して、符号化された残余信号（２０）を得る信号符号器（１６）と、
   前記符号化されたインパルス状の信号（１２）と前記符号化された残余信号（２０）とを出力して、符号化された信号（２４）を提供する出力インタフェース（２２）と
   を備えるオーディオ符号器。
2. 前記インパルス符号器（１０ｂ）および前記信号符号器（１６）は、前記インパルス符号器（１０ｂ）が前記信号符号器（１６）よりもインパルス状の信号に適しているよう、且つ、前記信号符号器（１６）が前記インパルス符号器（１０ｂ）よりも定常信号に適しているよう設計される請求項１に記載のオーディオ符号器。
3. 前記オーディオ信号（８）と、前記抽出したインパルス信号部分に関する情報（２８）とを受信し、前記抽出した信号部分を含まない前記残余信号（１８）を出力する残余信号生成器（２６）をさらに備える請求項１または２に記載のオーディオ符号器。
4. 前記残余信号生成器（２６）は、前記抽出された信号部分（２８）を前記オーディオ信号（８）から減算して、前記残余信号（１８）を得る減算器（２６ａ）を有する請求項３に記載のオーディオ符号器。
5. 前記インパルス抽出器（１０）は、前記インパルス信号部分のパラメータ表現を抽出して、
   前記残余信号生成器（２６）は、前記パラメータ表現を利用して前記波形表現を合成して（２６ｃ）、前記オーディオ信号（８）から前記波形表現を減算する（２６ａ）請求項３に記載のオーディオ符号器。
6. 前記残余信号生成器（２６）は、復号化されたインパルス信号を計算するインパルス復号器（２６ｃ）と、前記復号化されたインパルス信号を前記オーディオ信号（８）から減算する減算器（２６ａ）とを有する請求項３に記載のオーディオ符号器。
7. 前記インパルス抽出器（１０）は、前記オーディオ信号（８）のＬＰＣ分析を行い、予測エラー信号（８４）を得るＬＰＣ分析段階（１０ａ）を有し、
   前記インパルス抽出器（１０）は、前記予測エラー信号を処理して、前記予測エラー信号のインパルス状の特徴を向上させる予測エラー信号プロセッサ（１０ｃ）を有し、
   前記残余信号生成器（２６）は、前記向上した予測エラー信号を用いてＬＰＣ合成（２６ｂ）を行い、前記ＬＰＣ合成で生じた信号を前記オーディオ信号から減算して、前記残余信号（１８）を得る請求項３に記載のオーディオ符号器。
8. 前記インパルス抽出器（１０）は、インパルス／非インパルス決定段階（１３００）を有し、
   インパルス状の部分として検出される前記オーディオ信号の一部は前記インパルス符号器（１０ｂ）へ供給され、前記信号符号器（１６）には供給されない請求項１から７のいずれか一項に記載のオーディオ符号器。
9. 前記インパルス／非インパルス段階は有声／無声決定段階である請求項８に記載のオーディオ符号器。
10. 前記オーディオ信号はフォルマント構造および精巧な構造を有し、
    前記インパルス抽出器（１０）は、前記オーディオ信号を処理して処理済信号に前記精巧な構造のみを表させ、前記精巧な構造の信号を処理して、前記精巧な構造の信号の前記インパルス状の特徴を向上させ（１０ｃ）、
    前記向上した精巧な構造の信号は前記インパルス符号器（１０ｂ）により符号化される請求項１から９のいずれか一項に記載のオーディオ符号器。
11. 前記信号符号器（１６）は、変換またはフィルタバンクベースの汎用オーディオ符号器であり、
    前記インパルス符号器は時間領域ベースの符号器である請求項１から１０のいずれか一項に記載のオーディオ符号器。
12. 前記インパルス抽出器（１０）はＡＣＥＬＰ符号器（１０）を有し、前記ＡＣＥＬＰ符号器は、短期予測情報を得るＬＰＣ分析段階（１０００）と、ピッチ情報および長期予測利得を得るピッチ決定段階（１００２、１００４）と、残余信号の前記パラメータ表現に利用される複数のパルスのパルス位置に関するコードブック情報を決定するコードブック段階（１００６）とを含み、
    前記インパルス抽出器（１０）は、前記長期予測利得に応じて前記ＡＣＥＬＰ符号器（１０）を制御して（１０００）、前記第１の長期予測利得に可変数のパルスまたは第２の長期予測利得に固定数のパルスのいずれかを割り当て、前記第２の長期予測利得は、前記第１の長期予測利得より大きい請求項１から１１のいずれか一項に記載のオーディオ符号器。
13. 前記可変数のパルスの最大値は、前記固定数以下である請求項１２に記載のオーディオ符号器。
14. 前記インパルス抽出器（１０）は、前記ＡＣＥＬＰ符号器を制御して（１０００）、少数のパルス（１０１６）から始まり、より多い数のパルス（１０２０）へと徐々に割り当て、
    エラーエネルギーが予め定められたエネルギー閾値（１０１９）未満になると、前記徐々に行う割り当てを停止させる請求項１２または１３に記載のオーディオ符号器。
15. 前記インパルス抽出器（１０）は、前記ＡＣＥＬＰ符号器（１０）を制御して（１０００）、長期予測利得が閾値より高い場合、可能性のあるパルス位置を、先行するフレーム（１０１３）から少なくとも１パルス離れた位置に基づく格子内に決定する請求項１２から１４のいずれか一項に記載のオーディオ符号器。
16. 前記インパルス符号器（１０ｂ）は、インパルス位置と量子化されたインパルス値とを計算する符号励起線形予測（ＣＥＬＰ）符号器であり、
    前記残余信号生成器（２６）は、量子化されていないインパルス位置と量子化されたインパルス値とを利用して、前記残余信号を得るべく前記オーディオ信号（８）から減算されるべき信号を計算する請求項３に記載のオーディオ符号器。
17. 前記インパルス抽出器は、合成処理によるＣＥＬＰ分析を含むことで、前記予測エラー信号の量子化されていないインパルス位置を決定し、
    前記インパルス符号器（１０ｂ）は、前記量子化された短期予測情報の正確度より高い正確度で前記インパルス位置を符号化する請求項３に記載のオーディオ符号器。
18. 前記インパルス抽出器（１０）は、信号部分をインパルス状であると決定し、
    前記残余信号生成器（２６）は、前記オーディオ信号の前記信号部分を、インパルス状の構造が低減された、または全くない合成信号で置き換える請求項３に記載のオーディオ符号器。
19. 前記残余信号生成器（２６）は、インパルス状の信号および前記非インパルス状の信号の間の縁から外挿により前記合成信号を計算する請求項１８に記載のオーディオ符号器。
20. 前記残余信号生成器は、０．５未満の重み付け係数を用いて前記オーディオ信号の前記インパルス状の部分を重み付けすることにより、前記合成信号を計算する請求項１８に記載のオーディオ符号器。
21. 前記信号符号器（１６）は、心理音響的に駆動されるオーディオ符号器であり、
    オーディオ値の量子化（１６０４ａ）に利用される心理音響マスキング閾値（１５００）は、前記オーディオ信号（８）を利用して計算され、
    前記信号符号器（１６）は、前記残余信号をスペクトル表現（１６００）に変換して、前記心理音響マスキング閾値（１５００）を用いて前記スペクトル表現の値を量子化する（１６０４ａ）請求項１から２０のいずれか一項に記載のオーディオ符号器。
22. 前記インパルス抽出器（１０）は、前記オーディオ信号から実際のパルス状の信号を抽出し、
    前記インパルス抽出器（１０）は、前記実際のインパルス状の信号を操作して（１０ｃ）、前記実際のインパルス状の信号よりも理想的なインパルス状の信号である向上したインパルス状の信号を得て、
    前記インパルス符号器（１０ｂ）は、前記向上したインパルス状の信号を符号化して、符号化され向上したインパルス状の信号を得て、
    前記オーディオ符号器は、前記インパルス状の信号、スペクトル形状の向上したインパルス状の信号、または前記符号化されたインパルス状の信号を復号化することで得られた信号を、前記オーディオ信号から減算して、前記残余信号を得る残余信号計算器（２６）を備える請求項１から２１のいずれか一項に記載のオーディオ符号器。
23. 前記インパルス抽出器は、インパルス列を抽出して、
    前記インパルス符号器は、非インパルス列状の信号よりも効率が高く符号化エラーが少ないインパルス列状の信号を符号化する請求項１から２２のいずれか一項に記載のオーディオ符号器。
24. インパルス状の部分と定常部分とを含むオーディオ信号（８）を符号化する方法であって、
    前記オーディオ信号から前記インパルス状の部分を抽出して、前記インパルス状の部分を符号化して、符号化されたインパルス状の信号を得る抽出段階（１０）と、
    前記インパルス状の部分が前記オーディオ信号から低減される、または、なくされるように前記オーディオ信号から得られた残余信号を符号化して、符号化された残余信号（２０）を得る符号化段階（１６）と、
    前記符号化されたインパルス状の信号（１２）と前記符号化された残余信号（２０）とを、送信または格納により出力して、符号化された信号（２４）を提供する出力段階（２２）と
    を備える方法。
25. 符号化されたインパルス状の信号（１２）と符号化された残余信号（２０）とを含む符号化されたオーディオ信号（２４）を復号化する復号器であって、
    前記符号化されたインパルス状の信号を生成するように作成された符号化アルゴリズムに適合した復号化アルゴリズムを用いて、前記符号化されたインパルス状の信号を復号化するインパルス復号器（３０）と、
    前記符号化された残余信号（２０）を生成するのに用いられる符号化アルゴリズムに適合した復号化アルゴリズムを用いて、前記符号化された残余信号（２０）を復号化する信号復号器（３２）と、
    前記復号化されたインパルス状の信号と前記復号化された残余信号とを結合して、復号化された出力信号（３６）を提供する信号結合器（３４）と
    を備え、
    前記信号復号器（３２）および前記インパルス復号器（３０）は、復号化された信号の同じ時間インスタントに関する出力値を提供する復号器。
26. 前記信号復号器（３２）は、前記復号化された残余信号が連続信号（１４０）であるように、信号値を連続して受信および処理して、
    前記インパルス復号器（３０）は、前記信号復号器のみが出力データを提供する期間（１４３）により分離される特定の時間部分（１４２）において、入力データの受信のみを行い、前記復号化されたインパルス信号を提供して、
    前記復号化された出力信号は、前記符号器出力信号が前記復号化された残余信号と等しい時間部分（１４３）と、前記復号化された出力信号が前記復号化された残余信号と前記復号化されたインパルス状の信号とからなる時間部分（１４２）とを有する請求項２５に記載の復号器。
27. 前記インパルス復号器（３０）は時間領域の復号器であり、前記信号復号器（３２）はフィルタバンクまたは変換ベースの復号器である請求項２５または請求項２６に記載の復号器。
28. 前記符号化されたオーディオ信号は、前記残余信号に関する符号化または復号化特徴に関する情報を示す副情報（１４）を含み、
    前記結合器（３４）は、前記復号化された残余信号と前記復号化されたインパルス状の信号とを、前記副情報（１４）に従って結合する請求項２５から２７のいずれか一項に記載の復号器。
29. 前記副情報（１４）は、インパルス状の部分において、合成信号が前記残余信号に生成されたことを示し、
    前記結合器（３２）は、前記副情報に応じて、前記インパルス状の部分の間で、前記復号化された残余信号を抑止する、または、少なくとも減衰する請求項２５から２７のいずれか一項に記載の復号器。
30. 前記副情報は、インパルス状の信号が、前記オーディオ信号から減算される前に減衰係数により減衰されたことを示し、
    前記結合器（３４）は、前記減衰係数に基づいて、前記復号化された残余信号を減衰して、前記減衰および復号化された信号を前記復号化されたインパルス状の信号と結合して利用する請求項２５から２７のいずれか一項に記載の復号器。
31. 前記符号化されたインパルス状の信号は、インパルス列状の信号を含み、
    前記符号化されたインパルス状の信号を復号化（３０）する前記復号器は、符号化アルゴリズムに適合した復号化アルゴリズムを利用して、
    前記符号化アルゴリズムは、非インパルス列状の信号よりも効率が高く符号化エラーが少ないインパルス列状の信号を符号化する請求項２５から３０のいずれか一項に記載の復号器。
32. 符号化されたインパルス状の信号（１２）と符号化された残余信号（２０）とを含む符号化されたオーディオ信号（２４）を復号化する方法であって、
    前記符号化されたインパルス状の信号を生成するように作成された符号化アルゴリズムに適合した復号化アルゴリズムを用いて、前記符号化されたインパルス状の信号を復号化する復号化段階（３０）と、
    前記符号化された残余信号（２０）を生成するのに用いられる符号化アルゴリズムに適合した復号化アルゴリズムを用いて、前記符号化された残余信号（２０）を復号化する復号化段階（３２）と、
    前記復号化されたインパルス状の信号と前記復号化された残余信号とを結合して、復号化された出力信号（３６）を提供する結合段階（３４）と
    を備え、
    前記復号化段階（３０、３２）は、復号化された信号の同じ時間インスタントに関する出力値を提供する方法。
33. 符号化されたインパルス状の信号（１２）と、符号化された残余信号（２０）と、前記残余信号または前記インパルス状の信号に関する符号化または復号化特徴に関する情報を示す副情報（１４）と
    を備える符号化されたオーディオ信号（２４）。
34. プロセッサ上で実行されると請求項２４または３２に記載の前記方法を実行するプログラムコードと
    を備えるコンピュータプログラム。

Images