JP2014531056A - フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 - Google Patents

Abstract

エラーフレームをなす第１複数個の帯域から構成された複数個のグループについて、グループ単位で回帰分析を行ってパラメータを予測する段階、及びグループ別に予測されたパラメータを利用して、エラーフレームのエラーを隠匿する段階を含むフレームエラー隠匿方法である。

Description

本発明は、フレームエラー隠匿に係り、さらに具体的には、周波数ドメインにおいて、低複雑度でさらなる遅延なしに、信号の特性に適応的に、エラーフレームをさらに正確に復元するためのフレームエラー隠匿方法及びその装置、オーディオ復号化方法及びその装置、並びにそれを採用するマルチメディア機器に関する。

有無線網を介して符号化されたオーディオ信号を伝送するにあたり、伝送上のエラーによって、一部パケットが損失されたり歪曲される場合が生じれば、復号化されたオーディオ信号の一部フレームにエラーが発生しうる。その場合、フレームに生じたエラーを適切に処理しなければ、エラーが生じたフレーム（以下、エラーフレームとする）区間で復号化されたオーディオ信号の音質が低下してしまう。

フレームエラーを隠匿するための方法の例としては、エラーフレームにおける信号の振幅を低減させることにより、エラーが出力信号に及ぼす影響を弱化させる黙音（muting）法、エラーフレームの以前正常フレーム（ＰＧＦ：previous good frame）を反復して再生することにより、エラーフレームの信号を復元する反復（repetition）法、以前正常フレーム（ＰＧＦ）と次の正常フレーム（ＮＧＦ：next good frame）とのパラメータを補間し、エラーフレームのパラメータを予測する補間（interpolation）法、以前正常フレーム（ＰＧＦ）のパラメータを補外し、エラーフレームのパラメータを求める補外（extrapolation）法、以前正常フレーム（ＰＧＦ）のパラメータを回帰分析し、エラーフレームのパラメータを求める回帰分析法（regression analysis）などがある。

ところで、既存には、入力信号の特性にかかわらず、同一方式を画一的に適用し、エラーフレームを復元したので、フレームエラーが効率的に隠匿されず、音質が低下してしまうという問題がある。そして、補間法の場合、フレームエラーを効率的に隠匿することができるが、１フレームというさらなる遅延を必要とするので、遅延に敏感な通信用コーデックでは、採択することが適切ではない。また、回帰分析法の場合、既存のエネルギーをある程度考慮した隠匿が可能であるが、信号が徐々に大きくなったり、信号の変動がはなはだしいところでは、効率低下が発生する。また、回帰分析法は、周波数ドメインの各帯域別に回帰分析を行えば、各帯域の瞬間的なエネルギー変化によって、意図しない信号が予測される場合もある。

本発明が解決しようとする課題は、周波数ドメインにおいて、低複雑度でさらなる遅延なしに、信号の特性に適応的に、エラーフレームをさらに正確に復元するためのフレームエラー隠匿方法及びその装置を提供するところにある。

本発明が解決しようとする他の課題は、周波数ドメインにおいて、低複雑度でさらなる遅延なしに、信号の特性に適応的に、エラーフレームをさらに正確に復元することにより、フレームエラーによる音質低下を最小化させるオーディオ復号化方法及びその装置、その記録媒体と、それを採用するマルチメディア機器とを提供するところのにある。

本発明が解決しようとする他の課題は、フレームエラー隠匿方法あるいはオーディオ復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

本発明が解決しようとする他の課題は、フレームエラー隠匿装置あるいはオーディオ復号化装置を採用するマルチメディア機器を提供するところにある。

前記課題を達成するための本発明の一実施形態によるフレームエラー隠匿方法は、エラーフレームをなす第１複数個の帯域から構成された複数個のグループに対して、グループ単位で回帰分析を行ってパラメータを予測する段階と、グループ別に予測されたパラメータを利用して、前記エラーフレームのエラーを隠匿する段階と、を含んでもよい。

前記課題を達成するための本発明の一実施形態によるオーディオ復号化方法は、正常フレームに対して復号化を行ってスペクトル係数を獲得する段階と、エラーフレームをなす第１複数個の帯域から構成された複数個のグループに対して、グループ単位で回帰分析を行ってパラメータを予測し、グループ別に予測されたパラメータを利用して、前記エラーフレームのスペクトル係数を獲得する段階と、前記正常フレームあるいは前記エラーフレームの復号化されたスペクトル係数に対して時間ドメインに変換し、オーバーラップ処理及びアド処理を行って時間ドメインの信号に復元する段階と、を含んでもよい。

本発明によれば、急激な信号変動を平滑化させ、周波数ドメインにおいて、低複雑度で、さらなる遅延なしに、信号の特性、特に、トランジェントである特性及びバーストエラー区間に適応的に、エラーフレームをさらに正確に復元することができる。

本発明が適用されるオーディオ符号化装置の一例による構成を示したブロック図である。 本発明が適用されるオーディオ復号化装置の一例による構成を示したブロック図である。 本発明が適用されるオーディオ符号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ復号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ符号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ復号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成を示したブロック図である。 本発明の一実施形態による周波数ドメイン復号化装置の構成を示したブロック図である。 本発明の一実施形態によるスペクトル復号化部の構成を示したブロック図である。 本発明の一実施形態によるフレームエラー隠匿部の構成を示したブロック図である。 本発明の一実施形態によるメモリ更新部の構成を示したブロック図である。 は本発明に適用された帯域分割の例を示した図面である。 本発明に適用された線形回帰分析と非線形回帰分析との概念を示した図面である。 本発明において回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示した図面である。 ７．６ｋＨｚまで支援する広帯域（wideband）に対して回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示した図面である。 １３．６ｋＨｚまで支援する超広帯域（super-wideband）に対して回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示した図面である。 ２０ｋＨｚまで支援する全帯域（fullband）に対して回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示した図面である。 １６ｋＨｚまで支援して帯域拡張（ＢＷＥ）を使用する場合、超広帯域に対して回帰分析を適用するためにグルーピングされたサブバンド構造の例を示した図面である。 １６ｋＨｚまで支援して帯域拡張（ＢＷＥ）を使用する場合、超広帯域に対して回帰分析を適用するためにグルーピングされたサブバンド構造の例を示した図面である。 １６ｋＨｚまで支援して帯域拡張（ＢＷＥ）を使用する場合、超広帯域に対して回帰分析を適用するためにグルーピングされたサブバンド構造の例を示した図面である。 次の正常フレーム（ＮＧＦ）の時間信号を利用したオーバーラップ・アンド・アド方式の例を示した図面である。 次の正常フレーム（ＮＧＦ）の時間信号を利用したオーバーラップ・アンド・アド方式の例を示した図面である。 次の正常フレーム（ＮＧＦ）の時間信号を利用したオーバーラップ・アンド・アド方式の例を示した図面である。 本発明の一実施形態によるマルチメディア機器の構成を示したブロック図である。 本発明の他の実施形態によるマルチメディア機器の構成を示したブロック図である。

本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明で具体的に説明する。しかし、それは、本発明を特定の実施形態について限定するものではなく、本発明の技術的思想及び技術範囲に含まれる全ての変換、均等物あるいは代替物を含むものであると理解するのである。本発明の説明において、関連公知技術に係わる具体的な説明が、本発明の要旨を不明確なものにすると判断される場合、その詳細な説明を省略する。

第１、第２のような用語は、多様な構成要素の説明に使用されるが、構成要素が用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。

本発明で使用した用語は、ただ特定の実施形態を説明するために使用されたものであり、本発明を限定する意図ではない。本発明で使用した用語は、本発明での機能を考慮しながら、可能な限り現在広く使用される一般的な用語を選択したが、それは当業者の意図、判例、または新たな技術の出現などによって異なりもする。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で、詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味、及び本発明の全般にわたった内容を基に定義されなければならない。

単数の表現は、文脈上明白に特定されて意味しない限り、複数の表現を含む。本発明で、「含む」または「有する」のような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものが存在するということを指定するものであり、一つまたはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものの存在または付加の可能性をあらかじめ排除するものではないということを理解しなければならない。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

図１Ａ及び図１Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の一例による構成をそれぞれ示したブロック図である。

図１Ａに図示されたオーディオ符号化装置１１０は、前処理部１１２、周波数ドメイン符号化部１１４及びパラメータ符号化部１１６を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図１Ａにおいて、前処理部１１２は、入力信号に対して、フィルタリングあるいはダウンサンプリングなどを行うが、それらに限定されるものではない。入力信号は、音声信号、音楽信号、あるいは音声と音楽とが混合された信号を含んでもよい。以下では、説明の便宜のために、オーディオ信号とする。

周波数ドメイン符号化部１１４は、前処理部１１２から提供されるオーディオ信号に対して、時間・周波数変換を行い、オーディオ信号のチャンネル数、符号化帯域及びビット率に対応して符号化ツールを選択し、選択された符号化ツールを利用して、オーディオ信号に対する符号化を行う。時間・周波数変換は、ＭＤＣＴ（modified discrete cosine transform）またはＦＦＴ（fast Fourier transform）を使用するが、それらに限定されるものではない。ここで、与えられたビット数によって、十分な場合、全体帯域に対して、一般的な変換符号化方式を適用し、十分ではない場合、一部帯域に対しては、帯域拡張（ＢＷＥ）方式を適用することができる。一方、オーディオ信号がステレオあるいはマルチチャネルである場合、与えられたビット数によって、十分な場合、各チャネル別に符号化し、十分ではない場合、ダウンミキシング方式を適用することができる。周波数ドメイン符号化１１４からは、符号化されたスペクトル係数が生成される。

パラメータ符号化部１１６は、周波数ドメイン符号化部１１４から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータは、サブバンド別に抽出され、各サブバンドは、スペクトル係数をグルーピングした単位であり、臨界帯域を反映させ、均一長あるいは非均一長を有する。非均一長を有する場合、低周波数帯域に存在するサブバンドの場合、高周波数帯域と比べ、相対的に短い長さを有する。１フレームに含まれるサブバンドの個数及び長さは、コーデックアルゴリズムによって異なり、符号化性能に影響を及ぼす。一方、パラメータは、サブバンドのスケールファクタ、パワー、平均エネルギーあるいはnormを例として挙げることができるが、それらに限定されるものではない。符号化の結果として得られるスペクトル係数とパラメータは、ビットストリームを形成し、チャネルを介して、パケット状で伝送されたり、あるいは記録媒体に保存される。

図１Ｂに図示されたオーディオ復号化装置１３０は、パラメータ復号化部１３２、周波数ドメイン復号化部１３４及び後処理部１３６を含んでもよい。ここで、周波数ドメイン復号化部１３４は、フレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図１Ｂにおいて、パラメータ復号化部１３２は、パケット状で伝送されるビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラー発生をチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるかエラーフレームであるかに係わる情報を、周波数ドメイン復号化部１３４に提供する。

周波数ドメイン復号化部１３４は、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成し、エラーフレームである場合、周波数ドメインでのフレームエラー隠匿アルゴリズムを介して、以前正常フレームのスペクトル係数をスケーリングして合成されたスペクトル係数を生成することができる。周波数ドメイン復号化部１３４は、合成されたスペクトル係数に対し、て周波数・時間変換を遂行して時間ドメイン信号を生成することができる。

後処理部１３６は、周波数ドメイン復号化部１３４から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部１３６は、出力信号として復元されたオーディオ信号を提供する。

図２Ａ及び図２Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。

図２Ａに図示されたオーディオ符号化装置２１０は、前処理部２１２、モード決定部２１３、周波数ドメイン符号化部２１４、時間ドメイン符号化部２１５及びパラメータ符号化部２１６を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図２Ａにおいて、前処理部２１２は、図１Ａの前処理部１１２と実質的に同一であるので、説明を省略する。

モード決定部２１３は、入力信号の特性を参照し、符号化モードを決定することができる。入力信号の特性によって、現在フレームが音声モードであるか、または音楽モードであるかを決定することができ、また現在フレームに効率的な符号化モードが、時間ドメインモードであるか、あるいは周波数ドメインモードであるかについて決定することができる。ここで、フレームの短区間特性、あるいは複数のフレームに対する長久間特性などを利用して、入力信号の特性を把握することができるが、それに限定されるものではない。モード決定部２１３は、入力信号の特性が音楽モードあるいは周波数ドメインモードに該当する場合には、前処理部２１２の出力信号を、周波数ドメイン符号化部２１４に、入力信号の特性が音声モードあるいは時間ドメインモードに該当する場合には、時間ドメイン符号化部２１５に提供する。

周波数ドメイン符号化部２１４は、図１Ａの周波数ドメイン符号化部１１４と実質的に同一であるので、説明を省略する。

時間ドメイン符号化部２１５は、前処理部２１２から提供されるオーディオ信号に対して、ＣＥＬＰ（code excited linear prediction）符号化を行うことができる。具体的には、ＡＣＥＬＰ（algebraic ＣＥＬＰ）を使用することができるが、それに限定されるものではない。時間ドメイン符号化２１５からは、符号化されたスペクトル係数が生成される。

パラメータ符号化部２１６は、周波数ドメイン符号化部２１４あるいは時間ドメイン符号化部２１５から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータ符号化部２１６は、図１Ａのパラメータ符号化部１１６と実質的に同一であるので、説明を省略する。符号化の結果として得られるスペクトル係数とパラメータは、符号化モード情報と共にビットストリームを形成し、チャネルを介してパケット状で伝送されたり、あるいは記録媒体に保存される。

図２Ｂに図示されたオーディオ復号化装置２３０は、パラメータ復号化部２３２、モード決定部２３３、周波数ドメイン復号化部２３４、時間ドメイン復号化部２３５及び後処理部２３６を含んでもよい。ここで、周波数ドメイン復号化部２３４と時間ドメイン復号化部２３５は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化されて、なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図２Ｂにおいて、パラメータ復号化部２３２は、パケット状で伝送されるビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラー発生をチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるかエラーフレームであるかに係わる情報を、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５に提供する。

モード決定部２３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５に提供する。

周波数ドメイン復号化部２３４は、符号化モードが音楽モードあるいは周波数ドメインモードである場合動作し、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音楽モードあるいは周波数ドメインモードである場合、周波数ドメインでのフレームエラー隠匿アルゴリズムを介して、以前正常フレームのスペクトル係数をスケーリングし、合成されたスペクトル係数を生成することができる。周波数ドメイン復号化部２３４は、合成されたスペクトル係数に対して周波数・時間変換を行い、時間ドメイン信号を生成することができる。

時間ドメイン復号化部２３５は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的なＣＥＬＰ復号化過程を介して復号化を行い、時間ドメイン信号を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音声モードあるいは時間ドメインモードである場合、時間ドメインでのフレームエラー隠匿アルゴリズムを実行することができる。

後処理部２３６は、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部２３６は、出力信号として復元されたオーディオ信号を提供する。

図３Ａ及び図３Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。

図３Ａに図示されたオーディオ符号化装置３１０は、前処理部３１２、ＬＰ（linear prediction）分析部３１３、モード決定部３１４、周波数ドメイン励起符号化部３１５、時間ドメイン励起符号化部３１６及びパラメータ符号化部３１７を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図３Ａにおいて、前処理部３１２は、図１Ａの前処理部１１２と実質的に同一であるので、説明を省略する。

ＬＰ分析部３１３は、入力信号に対してＬＰ分析を行ってＬＰ係数を抽出し、抽出されたＬＰ係数から励起信号を生成する。励起信号は、符号化モードにより、周波数ドメイン励起符号化部３１５及び時間ドメイン励起符号化部３１６のうち一つに提供される。

モード決定部３１４は、図２Ｂのモード決定部２１３と実質的に同一であるので、説明を省略する。

周波数ドメイン励起符号化部３１５は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、入力信号が励起信号であることを除いては、図１Ａの周波数ドメイン符号化部１１４と実質的に同一であるので、説明を省略する。

時間ドメイン励起符号化部３１６は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、入力信号が励起信号であることを除いては、図２Ａの時間ドメイン符号化部２１５と実質的に同一であるので、説明を省略する。

パラメータ符号化部３１７は、周波数ドメイン励起符号化部３１５あるいは時間ドメイン励起符号化部３１６から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータ符号化部３１７は、図１Ａのパラメータ符号化部１１６と実質的に同一であるので、説明を省略する。符号化の結果として得られるスペクトル係数とパラメータは、符号化モード情報と共にビットストリームを形成し、チャネルを介してパケット状で伝送されたり、あるいは記録媒体に保存される。

図３Ｂに図示されたオーディオ復号化装置３３０は、パラメータ復号化部３３２、モード決定部３３３、周波数ドメイン励起復号化部３３４、時間ドメイン励起復号化部３３５、ＬＰ合成部３３６及び後処理部３３７を含んでもよい。ここで、周波数ドメイン励起復号化部３３４と時間ドメイン励起復号化部３３５は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図３Ｂにおいて、パラメータ復号化部３３２は、パケット状で伝送されるビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラー発生をチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるかエラーフレームであるかに係わる情報を、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に提供する。

モード決定部３３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に提供する。

周波数ドメイン励起復号化部３３４は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音楽モードあるいは周波数ドメインモードである場合、周波数ドメインでのフレームエラー隠匿アルゴリズムを介して以前正常フレームのスペクトル係数をスケーリングし、合成されたスペクトル係数を生成することができる。周波数ドメイン励起復号化部３３４は、合成されたスペクトル係数に対して周波数・時間変換を行い、時間ドメイン信号である励起信号を生成することができる。

時間ドメイン励起復号化部３３５は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的なＣＥＬＰ復号化過程を介して復号化を行い、時間ドメイン信号である励起信号を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音声モードあるいは時間ドメインモードである場合、時間ドメインでのフレームエラー隠匿アルゴリズムを実行することができる。

ＬＰ合成部３３６は、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５から提供される励起信号に対してＬＰ合成を行い、時間ドメイン信号を生成する。

後処理部３３７は、ＬＰ合成部３３６から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部３３７は、出力信号として復元されたオーディオ信号を提供する。

図４Ａ及び図４Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。

図４Ａに図示されたオーディオ符号化装置４１０は、前処理部４１２、モード決定部４１３、周波数ドメイン符号化部４１４、ＬＰ分析部４１５、周波数ドメイン励起符号化部４１６、時間ドメイン励起符号化部４１７及びパラメータ符号化部４１８を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。図４Ａに図示されたオーディオ符号化装置４１０は、図２Ａのオーディオ符号化装置２１０と、図３Ａのオーディオ符号化装置３１０とを結合したものと見られるので、共通する部分の動作説明は省略する一方、モード決定部４１３の動作について説明する。

モード決定部４１３は、入力信号の特性及びビット率を参照し、入力信号の符号化モードを決定することができる。モード決定部４１３は、入力信号の特性によって、現在フレームが音声モードであるか、あるいは音楽モードであるかということにより、また現在フレームに効率的な符号化モードが時間ドメインモードであるか、あるいは周波数ドメインモードであるかにより、ＣＥＬＰモードと、それ以外のモードとに決定することができる。もし入力信号の特性が音声モードである場合には、ＣＥＬＰモードに決定し、音楽モードでありながら、高ビット率である場合、周波数ドメインモードに決定し、音楽モードでありながら低ビット率である場合、オーディオモードに決定することができる。モード決定部４１３は、周波数ドメインモードである場合、入力信号を周波数ドメイン符号化部４１４に、オーディオモードである場合、ＬＰ分析部４１５を介して周波数ドメイン励起符号化部４１６に、ＣＥＬＰモードである場合、ＬＰ分析部４１５を介して時間ドメイン励起符号化部４１７に提供することができる。

周波数ドメイン符号化部４１４は、図１Ａのオーディオ符号化装置１１０の周波数ドメイン符号化部１１４、あるいは図２Ａのオーディオ符号化装置２１０の周波数ドメイン符号化部２１４に、周波数ドメイン励起符号化部４１６あるいは時間ドメイン励起符号化部４１７は、図３Ａのオーディオ符号化装置３１０の周波数ドメイン励起符号化部３１５あるいは時間ドメイン励起符号化部３１６に対応する。

図４Ｂに図示されたオーディオ復号化装置４３０は、パラメータ復号化部４３２、モード決定部４３３、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５、時間ドメイン励起復号化部４３６、ＬＰ合成部４３７及び後処理部４３８を含んでもよい。ここで、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５及び時間ドメイン励起復号化部４３６は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。図４Ｂに図示されたオーディオ復号化装置４３０は、図２Ｂのオーディオ復号化装置２３０と、図３Ｂのオーディオ復号化装置３３０とを結合したものであると見られるので、共通する部分の動作説明は省略する一方、モード決定部４３３の動作について説明する。

モード決定部４３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５あるいは時間ドメイン励起復号化部４３６に提供する。

周波数ドメイン復号化部４３４は、図１Ｂのオーディオ符号化装置１３０の周波数ドメイン復号化部１３４あるいは図２Ｂのオーディオ復号化装置２３０の周波数ドメイン復号化部２３４に、周波数ドメイン励起復号化部４３５あるいは時間ドメイン励起復号化部４３６は、図３Ｂのオーディオ復号化装置３３０の周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に対応する。

図５は、本発明の一実施形態による周波数ドメイン復号化装置の構成を示したブロック図であり、図２Ｂのオーディオ復号化装置２３０の周波数ドメイン復号化部２３４と、図３Ｂのオーディオ復号化装置３３０の周波数ドメイン励起復号化部３３４とに対応する。

図５に図示された周波数ドメイン復号化装置５００は、エラー隠匿部５１０、スペクトル復号化部５３０、メモリ更新部５５０、逆変換部５７０及びオーバーラップ・アンド・アド部５９０を含んでもよい。メモリ更新部５５０に内蔵されるメモリ（図示せず）を除いた各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図５において、まず復号化されたパラメータから、現在フレームにエラーが発生していないということが判断されれば、スペクトル復号化部５３０、メモリ更新部５５０、逆変換部５７０及びオーバーラップ・アンド・アド部５９０を経て、復号化過程が遂行され、最終時間ドメイン信号を生成することができる。具体的には、スペクトル復号化部５３０は、復号化されたパラメータを利用して、スペクトル復号化を行い、スペクトル係数を合成することができる。メモリ更新部５５０は、正常フレームである現在フレームについて、合成されたスペクトル係数、復号化されたパラメータ、パラメータを利用して得られた情報、現在まで連続したエラーフレームの個数、以前フレームの特性（デコーダで合成された信号分析を介した信号特性、例えば、トランジェント特性、normal特性、stationary特性など）、及び以前フレームのタイプ情報（エンコーダから伝送された情報、例えば、トランジェントフレーム、normalフレームなど）などを次のフレームのために更新することができる。逆変換部５７０は、合成されたスペクトル係数に対して周波数・時間変換を行い、時間ドメイン信号を生成することができる。オーバーラップ・アンド・アド部５９０は、以前フレームの時間ドメイン信号を利用して、オーバーラップ・アンド・アド処理を行い、その結果、現在フレームに対する最終時間ドメイン信号を生成することができる。

一方、復号化されたパラメータから、現在フレームにエラーが生じたと判断されれば、復号化されたパラメータのうち、例えば、ＢＦＩ（bad frame indicator）が１に設定され、エラーフレームである現在フレームについては、何らの情報も存在しなくなる。その場合、以前フレームの復号化モードをチェックし、周波数ドメインである場合、現在フレームについて、周波数ドメインでのエラー隠匿アルゴリズムを実行することができる。

すなわち、エラー隠匿部５１０は、現在フレームがエラーフレームであり、以前フレームの復号化モードが周波数ドメインである場合に動作することができる。エラー隠匿部５１０は、メモリ更新部５５０に保存された情報を利用して、現在フレームのスペクトル係数を復元することができる。現在フレームの復元されたスペクトル係数は、スペクトル復号化部５３０、メモリ更新部５５０、逆変換部５７０及びオーバーラップ・アンド・アド部５９０を経て、復号化過程が遂行され、最終時間ドメイン信号を生成することができる。

ここで、オーバーラップ・アンド・アド部５９０は、現在フレームがエラーフレームであり、以前フレームが正常フレームであり、復号化モードが周波数ドメインであるか、あるいは現在フレーム及び以前フレームが正常フレームであり、復号化モードが周波数ドメインである場合には、正常フレームである以前フレームの時間ドメイン信号を利用して、オーバーラップ・アンド・アド過程を遂行することができる。一方、現在フレームが、正常フレーム、エラーフレームに連続した以前フレームの個数が２個以上であり、以前フレームがエラーフレームであり、最後の正常フレームである以前フレームの復号化モードが周波数ドメインである場合には、正常フレームである以前フレームの時間ドメイン信号を利用して、オーバーラップ・アンド・アド過程を遂行するのではなく、正常フレームである現在フレームで求められた時間ドメイン信号を利用して、オーバーラップ・アンド・アド過程を遂行することができる。その条件は、次のように示すことができる。

if (bfi==0)&&(st→old_bfi_int>1)&&(st→prev_bfi==1)&&
(st→last_core==FREQ_CORE))
ここで、ｂｆｉは、現在フレームに対するエラーフレーム指示子、ｓｔ→ｏｌｄ＿ｂｆｉ＿ｉｎｔは、以前フレームの連続したエラーフレームの個数、ｓｔ→ｐｒｅｖ＿ｂｆｉは、以前フレームのｂｆｉ情報、ｓｔ→ｌａｓｔ＿ｃｏｒｅは、以前の最後の正常フレームに係るコアの復号化モードであり、周波数ドメイン（ＦＲＥＱ＿ＣＯＲＥ）あるいは時間ドメイン（ＴＩＭＥ＿ＣＯＲＥ）を例として挙げることができる。

図６は、本発明の一実施形態によるスペクトル復号化部の構成を示したブロック図である。図６に図示されたスペクトル復号化部６００は、無損失復号化部６１０、パラメータ逆量子化部６２０、ビット割当て部６３０、スペクトル逆量子化部６４０、ノイズ・フィリング部６５０及びスペクトル・シェーピング部６６０を含んでもよい。ここで、ノイズ・フィリング部６５０は、スペクトル・シェーピング部６６０の後端に位置することもできる。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図６を参照すれば、無損失復号化部６１０は、符号化過程で無損失符号化が行われたパラメータ、例えば、norm値に対して無損失復号化を行うことができる。

パラメータ逆量子化部６２０は、無損失復号化されたnorm値に対して逆量子化を行うことができる。符号化過程で、norm値は、多様な方式、例えば、ＶＱ（vector quantization）、ＳＱ（scalar quantization）、ＴＣＱ（trellis coded quantization）、ＬＶＱ（lattice vector quantization）などを利用して量子化され、対応する方式を使用して逆量子化を行うことができる。

ビット割当て部６３０は、量子化されたnorm値に基づいて、帯域別に必要となるビットを割り当てることができる。その場合、帯域別に割り当てられたビットは、符号化過程で割り当てられるビットと同一である。

スペクトル逆量子化部６４０は、帯域別に割り当てられたビットを使用して、逆量子化過程を遂行し、正規化されたスペクトル係数を生成することができる。

ノイズ・フィリング部６５０は、帯域別にノイズ・フィリングを必要とする部分に対して、ノイズ信号を充填することができる。

スペクトル・シェーピング部６６０は、逆量子化されたnorm値を利用して、正規化されたスペクトル係数をシェーピングすることができる。スペクトル・シェーピング過程を介して、最終的に復号化されたスペクトル係数が得られる。

図７は、本発明の一実施形態によるフレームエラー隠匿部の構成を示したブロック図である。図７に図示されたフレームエラー隠匿部７００は、信号特性判断部７１０、パラメータ制御部７３０、回帰分析部７５０、利得算出部７７０及びスケーリング部７９０を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。

図７を参照すれば、信号特性判断部７１０は、復号化された信号を利用して信号の特性を判断し、復号化された信号の特性をトランジェント、normａｌ、stationaryなどに分類する。そのうち、トランジェント・フレームを判断する方法は、次の通りである。一実施形態によれば、以前フレームのフレームエネルギー及び移動平均エネルギーを利用して、現在フレームがトランジェントであるか否かを判断することができる。そのために、正常フレームについて得られる移動平均エネルギー（Energy＿ＭＡ）と差エネルギー（Energy＿ｄｉｆｆ）とを使用することができる。Energy＿ＭＡとEnergy＿ｄｉｆｆとを得る方法は、次の通りである。

フレームのエネルギーまたはnorm値の和をEnergy＿Ｃｕｒｒとすれば、Energy＿ＭＡは、Energy＿ＭＡ＝Energy＿ＭＡ＊０．８＋Energy＿Ｃｕｒｒ＊０．２のように求めることができる。そのとき、Energy＿ＭＡの初期値は、例えば、１００に設定することができる。

次に、Energy＿ｄｉｆｆは、Energy＿ＭＡとEnergy＿Ｃｕｒｒとの差を正規化させたものであり、Energy＿ｄｉｆｆ＝（Energy＿Ｃｕｒｒ−Energy＿ＭＡ）／Energy＿ＭＡのように示すことができる。

トランジェント判断部７１０は、Energy＿ｄｉｆｆが所定のしきい値、例えば、１．０以上である場合、現在フレームをトランジェントと判断することができる。ここで、Energy＿ｄｉｆｆが１．０である場合には、Energy＿ＣｕｒｒがEnergy＿ＭＡの２倍であるということを示し、以前フレームと比べ、現在フレームのエネルギー変動が非常に大きいということを意味する。

信号特性判断部７１０で決定された信号特性、エンコーダから伝送された情報であるフレームタイプや符号化モードなどを利用して、フレームエラー隠匿のためのパラメータを制御することができる。一方、トランジェント判断は、エンコーダから伝送された情報を利用したり、あるいは信号特性判断部７１０で求められたトランジェント情報を利用することができる。ところで、二つを同時に利用する場合には、下記のような条件を利用することができる。すなわち、エンコーダから伝送されたトランジェント情報であるis＿transientが１であるか、あるいはデコーダで求められた情報であるEnergy＿ｄｉｆｆがしきい値（ＥＤ＿ＴＨＲＥＳ）、例えば、１．０以上である場合、現在フレームが、エネルギー変化がはなはだしいトランジェント・フレームであるということを意味し、従って、回帰分析に使用される以前正常フレームの個数（ｎｕｍ＿ｐｇｆ）を減少させ、それ以外の場合は、トランジェントしていないフレームと判断し、以前正常フレームの個数（ｎｕｍ＿ｐｇｆ）を増加させることができる。

if((Energy_diff<ED_THRES)&&(is_transient==0))
{
num_pgf = 4;
}
else
{
num_pgf = 2;
}
ここでＥＤ＿ＴＨＲＥＳは、しきい値であり、一例によれば、１．０に設定することができる。

前述のトランジェント判断結果によって、フレームエラー隠匿のためのパラメータを制御することができる。ここで、フレームエラー隠匿のためのパラメータの例としては、回帰分析に使用された以前正常フレームの個数を有することができる。フレームエラー隠匿のためのパラメータの他の例としては、バーストエラー区間に係わるスケーリング方式を有することができる。１つのバーストエラー区間で、同一のEnergy＿ｄｉｆｆ値を使用することができる。エラーフレームである現在フレームがトランジェントではないと判断されれば、バーストエラーが発生した場合、例えば、５番目のフレームからは、以前フレームで復号化されたスペクトル係数について、回帰分析とは別途に、強制的に３ｄＢずつ固定された値でスケーリングすることができる。一方、エラーフレームである現在フレームがトランジェントと判断されれば、バーストエラーが発生した場合、例えば、２番目のフレームからは、以前フレームで復号化されたスペクトル係数について、回帰分析とは別途に、強制的に３ｄＢずつ固定された値でスケーリングすることができる。フレームエラー隠匿のためのパラメータの他の例としては、適応的ミューティング及びランダム符号の適用方式を有することができる。それについては、スケーリング部７９０で説明する。

回帰分析部７５０は、保存されている以前フレームに係わるパラメータを利用して、回帰分析を行うことができる。回帰分析は、単一のエラーフレームについて行うこともでき、バーストエラーが発生した場合に限定して行うこともできる。回帰分析を行うエラーフレームの条件については、デコーダ設計時にあらかじめ定義される。もし単一のエラーフレームで回帰分析を行う場合には、エラーが発生したフレームで即時に行うことができる。遂行された結果によって求められた関数によって、エラーフレームで必要なパラメータを予測する。

もしバーストエラーが発生したときに回帰分析を行う場合、下記のように、連続したエラーフレームの個数を意味するｂｆｉ＿ｃｎｔが２、すなわち、２番目に連続したエラーフレームから回帰分析を行う。その場合、最初のエラーフレームは、以前フレームで求めたスペクトル係数を単純反復したり、あるいは決定された値ほどスケーリングする方法が可能である。

if (bfi_cnt==2){
regression_anaysis();
}if
一方、周波数ドメインでは、時間ドメインでオーバーラッピングされた信号を変換した結果に対して、連続したエラーが発生しなかったにもかかわらず、連続したエラーと類似した問題が発生しうる。例えば、１フレーム飛ばしてエラーが発生する場合、すなわち、エラーフレーム−正常フレーム−エラーフレームの順序でエラーが発生すれば、５０％のオーバーラッピングで変換ウィンドウを構成した場合、中間に正常フレームが存在するにもかかわらず、音質は、エラーフレーム−エラーフレーム−エラーフレームの順序でエラーが発生した場合と大差がない。それは、後述する図１６Ｃでのように、フレームｎが正常フレームだとしても、ｎ−１フレームとｎ＋１フレームとがエラーフレームである場合、オーバーラッピング過程で、全く異なる信号が作られるからである。従って、エラーフレーム−正常フレーム−エラーフレームの順序でエラーが発生する場合、２番目のエラーが発生する３番目のフレームのｂｆｉ＿ｃｎｔは、１であるが、１を強制的に増加させる。その結果、ｂｆｉ＿ｃｎｔが２になり、バーストエラーが発生したと判断され、回帰分析が使用される。

if((prev_old_bfi==1) && (bfi_cnt==1))
{
st->bfi_cnt++;
}
if(bfi_cnt==2){
regression_anaysis();
}
ここで、ｐｒｅｖ＿ｏｌｄ＿ｂｆｉは、２フレーム以前のフレームエラー情報を意味する。前記過程は、現在フレームがエラーフレームである場合に適用される。

回帰分析部７５０は、低い複雑度のために、２個以上の帯域を１つのグループで構成し、各グループの代表値を導き出し、代表値に対して回帰分析を適用することができる。代表値の一例としては、平均値、中間値、最大値などを使用することができるが、それらに限定されるものではない。一実施形態によれば、各グループに含まれた帯域のnorm平均値であるグルーピングされたnormの平均ベクトルを代表値として使用することができる。

一方、信号特性判断部７１０で決定された信号特性や、エンコーダから伝送された情報であるフレームタイプなどを利用して、現在フレームの特性を決定するとき、現在フレームがトランジェント・フレームと決定された場合には、回帰分析のための以前正常フレーム（ＰＧＦ）の個数を減らし、正常（stationary）フレームである場合には、以前正常フレーム（ＰＧＦ）の個数を増やす。一実施形態によれば、以前フレームのトランジェントいかんを意味するis＿transientが１である場合、すなわち、以前フレームがトランジェントである場合には、以前正常フレーム（ＰＧＦ）の個数（ｎｕｍ＿ｐｇｆ）を２に設定し、それ以外の正常フレームについては、４に設定することができる。

if(is_transient==1)
{
num_pgf = 2;
}
else
{
num_pgf = 4;
}
そして、回帰分析のための行列のロウ（row）の個数は、一例を挙げ、２に設定することができる。

回帰分析部７５０での回帰分析の結果、エラーフレームについて、各グループの平均normを予測することができる。すなわち、エラーフレームで、１つのグループに属する各帯域は、同一のnorm値と予測される。具体的には、回帰分析部７５０は、回帰分析を介して、後述する線形回帰分析方程式あるいは非線形回帰分析方程式で、ａ及びｂ値を算出し、算出されたａ及びｂ値を利用して、エラーフレームのaverage grouped normをグループ別に予測することができる。

利得算出部７７０は、エラーフレームについて予測された各グループの平均normと、直前good frameでの各グループの平均normとの利得を求めることができる。

スケーリング部７９０は、利得算出部７７０で求められた利得を、直前good frameのスペクトル係数に乗じ、エラーフレームのスペクトル係数を生成することができる。

一方、スケーリング部７９０は、一実施形態によれば、入力信号の特性によって、エラーフレームについて適応的ミューティング（adaptive muting）を適用したり、あるいは予測されたスペクトル係数について、ランダム符号（random sign）を適用することができる。

まず、入力信号を、トランジェント信号と、トランジェントではない信号とに区分することができる。トランジェントではない信号のうち、正常（stationary）である信号を分類し、他の方式で処理することができる。例えば、入力信号に、高調波成分が多く存在すると判断された場合、信号の変化が大きくない正常（stationary）である信号と決定し、それに対応したエラー隠匿アルゴリズムを実行することができる。一般的に、入力信号の高調波情報は、エンコーダから伝送される情報を利用することができる。低い複雑度を必要としない場合には、デコーダで合成された信号を利用して求めることもできる。

入力信号を、トランジェント信号、正常な信号、そして残りの信号の三種に大別する場合、適応的ミューティング及びランダム符号は、下記のように適用される。ここで、mute＿startが意味する数字は、連続したエラーが発生したとき、ｂｆｉ＿ｃｎｔがmute＿start以上である場合、強制的にミューティングを始めるということを意味する。ランダム符号と係わるrandom＿startも同一の方式で解釈される。

if((old_clas == HARMONIC) && (is_transient==0)) /* Stationaryである場合 */
{
mute_start = 4;
random_start = 3;
}
else if((Energy_diff<ED_THRES) && (is_transient==0)) /* 残りの信号 */
{
mute_start = 3;
random_start = 2;
}
else /* Transientである信号 */
{
mute_start = 2;
random_start = 2;
}
ここで、適応的ミューティングを適用する方式は、スケーリング遂行時、強制的に固定された値にダウンさせる。例えば、現在フレームのｂｆｉ＿ｃｎｔが４であり、現在フレームが正常（stationary）フレームである場合には、現在フレームで、スペクトル係数のスケーリングを３ｄＢずつダウンさせる。

そして、スペクトル係数の符号をランダムに修正するのは、フレームごとにスペクトル係数の反復によって発生する変調ノイズ（modulation noise）を低減させるためのものである。ランダム符号を適用する方式としては、多様な公知の方式を使用することができる。

一実施形態によれば、フレームの全体スペクトル係数に対してランダム符号を適用することもでき、他の実施形態によれば、ランダム符号を適用し始める周波数帯域をあらかじめ定義した後、定義された周波数帯域以上について、ランダム符号を適用することができる。その理由は、非常に低い周波数帯域では、符号の変化によって、波形やエネルギーが大きく変わる場合が生じるので、非常に低い周波数帯域、すなわち、例えば、２００Ｈｚ以下、または最初の帯域では、以前フレームと同一のスペクトル係数の符号を使用する方が、さらに良好な性能を有することができるのである。

図８は、本発明の一実施形態によるメモリ更新部の構成を示したブロック図である。図８に図示されたメモリ更新部８００は、第１パラメータ獲得部８２０、normグルーピング部８４０、第２パラメータ獲得部８６０及び保存部８８０を含んでもよい。

図８を参照すれば、第１パラメータ獲得部８２０は、トランジェントいかんを判断するためのEnergy＿ＣｕｒｒとEnergy＿ＭＡとの値を求め、求められたEnergy＿ＣｕｒｒとEnergy＿ＭＡとの値を保存部８８０に提供する。

normグルーピング部８４０は、あらかじめ定義されたグループに、norm値をグルーピングする。

第２パラメータ獲得部８６０は、グループ別平均norm値を求め、求められたグループ別平均normを、保存部８８０に提供する。
保存部８８０は、第１パラメータ獲得部８２０から提供されるEnergy＿Ｃｕｒｒ値及びEnergy＿ＭＡ値、第２パラメータ獲得部８６０から提供されるグループ別平均norm、エンコーダから伝送される現在フレームがトランジェントであるか否かを示すトランジェント・フラグ、現在フレームが時間ドメイン符号化であるか、周波数ドメイン符号化であるかを示す符号化モード、そしてgood frameに係わるスペクトル係数を現在フレームの値にアップデートして保存する。

図９は、本発明に適用された帯域分割の例を示したものである。４８ｋＨｚの全帯域（fullband）の場合、２０ｍｓサイズのフレームについて、５０％のオーバーラッピングを支援し、ＭＤＣＴを適用する場合、符号化するスペクトル係数の個数は、９６０個になる。もし２０ｋＨｚまで符号化する場合、符号化されるスペクトル係数の個数は、８００個になる。

図９において、Ａ部分は、狭帯域（narrowband）に該当し、０〜３．２ｋＨｚまで支援し、帯域当たり８個のサンプルを利用して、全１６個のサブバンドに分割した例である。Ｂ部分は、広帯域（wideband）を支援するために、狭帯域に追加される帯域に該当し、３．２〜６．４ｋＨｚまで追加して支援し、帯域当たり１６個のサンプルを利用して、全８個のサブバンドに分割した例である。Ｃ部分は、超広帯域（super-wideband）を支援するために、広帯域に追加される帯域に該当し、６．４〜１３．６ｋＨｚまで追加して支援し、帯域当たり２４個のサンプルを利用して、全１２個のサブバンドに分割した例である。Ｄ部分は、全帯域（fullband）を支援するために、超広帯域に追加される帯域に該当し、１３．６〜２０ｋＨｚまで追加して支援し、帯域当たり３２個のサンプルを利用して、全８個のサブバンドに分割した例である。

サブバンドに分割された信号を符号化する方式は、多様なものがある。スペクトルのエンベロープを符号化するためには、帯域別エネルギー、スケールファクタまたはnormなどを利用することができる。スペクトルのエンベロープをまず符号化した後、帯域別微細構造（fine structure）、すなわち、スペクトル係数を符号化することができる。実施形態によれば、帯域別normを利用して、全体帯域のエンベロープを符号化することができる。normは、下記数式（１）を介して求められる。

ここで、normに該当する値は、ｇ_ｂであり、log scaleのｎ_ｂが、実際に量子化される。量子化されたｎ_ｂを利用して、量子化されたｇ_ｂ値を求め、本来の入力信号ｘ_ｉを、量子化されたｇ_ｂ値で割れば、ｙ_ｉ値が求められ、そのｙ_ｉ値に対して、微細構造量子化過程が遂行される。

図１０は、本発明に適用された線形回帰分析と非線形回帰分析との概念を示したものであり、norm平均は、多くの帯域をまとめて求められた平均norm値であり、回帰分析が適用される対象である。以前フレームの平均norm値について、量子化されたｇ_ｂ値を使用すれば、線形回帰分析になって、ログスケールである量子化されたｎ_ｂ値を使用すれば、非線形回帰分析になる。その理由は、ログスケールでの線形値は、実際でには線形値であるからである。回帰分析に使用される以前正常フレームの個数を意味するＰＧＦ（previous good frame）数は、可変的に設定される。

線形回帰分析の一例は、下記数式（２）のように示すことができる。

このように、一次方程式を使用する場合、ａ及びｂを求めれば、今後の推移を予測することができる。数式（２）で、ａ，ｂ値は、逆行列によって求めることができる。簡単に逆行列を求める方式は、Gauss−Jordan eliminationを利用することができる。

非線形回帰分析の一例は、下記数式（３）のように示すことができる。

ここで、ａ及びｂを求めれば、今後の推移を予測することができる。ここで、ｌｎ値はｎ_ｂ値を利用して置き換えることができる。

図１１は、本発明において回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示したものである。図１１を参照すれば、最初の領域は、８個の帯域が１つのグループになり、平均norm値を求め、以前フレームについて求められたグルーピングされた平均norm値を利用して、エラーフレームのグルーピングされた平均norm値を予測する。各帯域別に、具体的なバンドの使用例は、図１２ないし図１４のように示すことができる。

図１２は、７．６ｋＨｚまで支援する広帯域（wideband）符号化のために回帰分析を適用する場合、グルーピングされたサブバンド構造の例を示したものである。図１３は、１３．６ｋＨｚまで支援する超広帯域（super-wideband）符号化のために回帰分析を適用する場合、グルーピングされたサブバンド構造の例を示したものである。図１４は、２０ｋＨｚまで支援する全帯域（fullband）符号化のために回帰分析を適用する場合、グルーピングされたサブバンド構造の例を示したものである。

グルーピングされたサブバンドで求められたグルーピングされた平均norm値は,１つのベクトルを形成し、そのベクトルを,グルーピングされたnormの平均ベクトル（average vector of the grouped norm）とする。グルーピングされたnormの平均ベクトルを利用して、図１０で述べた行列式に代入し、勾配及びｙ切片にそれぞれ該当するａ値及びｂ値を求めることができる。

図１５Ａないし図１５Ｃは、１６ｋＨｚまで支援し、帯域拡張（ＢＷＥ）を使用する場合、超広帯域（super-wideband）について回帰分析を適用するためにグルーピングされたサブバンド構造の例を示したものである。

超広帯域で、２０ｍｓのフレームサイズを、５０％オーバーラッピングしてＭＤＣＴを行えば、全６４０個のスペクトル係数が得られる。実施形態では、コア（core）部分とＢＷＥ部分とを分離してグルーピングされたサブバンドを決定することができる。ここで、最初の開始部分からＢＷＥが始める部分までを、コーダ符号化という。そのとき、コア部分とＢＷＥ部分とで使用されるスペクトル・エンベロープを示す方式は異なる。例えば、コア部分では、norm値またはスケールファクタなどを利用することができ、同様に、ＢＷＥ部分でも、norm値またはスケールファクタなどを利用することができるが、コア部分とＢＷＥ部分とで、互いに異なるものを使用しても差し支えない。

図１５Ａは、コア符号化に多くのビットが使用された場合の例であり、図１５Ｂ及び図１５Ｃに行きつつ、コア符号化に割り当てられるビットが少なくなる。ＢＷＥ部分は、各グルーピングされたサブバンドの例であり、各サブバンドの数字は、スペクトル係数の個数を示す。スペクトル・エンベロープのnormを利用する場合、回帰分析を利用したフレームエラー隠匿アルゴリズムは、次の通りである。まず、回帰分析は、ＢＷＥ部分に該当するグルーピングされた平均norm値を利用してメモリを更新する。コア部分と独立して、以前フレームのＢＷＥ部分のグルーピングされた平均norm値を利用して、回帰分析を行い、現在フレームのグルーピングされた平均norm値を予測する。

図１６Ａないし図１６Ｃは、次の正常フレームの時間信号を利用したオーバーラップ・アンド・アド方式の例を示したものである。

図１６Ａは、以前フレームがエラーフレームではない場合、以前フレームを利用して、反復や利得スケーリングを行う方法について説明する。一方、図１６Ｂを参照すれば、さらなる遅延を使用しないように、オーバーラッピングを介してまだ復号化されていない部分についてのみ、次の正常フレームである現在フレームで復号化された時間ドメイン信号を、過去に反復しながらオーバーラッピングを行い、それに加え、利得スケーリングを行う。反復信号の大きさは、オーバーラッピングされる部分の大きさより小さいか、あるいはそれと同じ値が選択される。一実施形態によれば、オーバーラッピングされる部分の大きさは、１３＊Ｌ／２０でもある。ここで、Ｌは、例えば、狭帯域（narrowband）である場合には、１６０、広帯域（wideband）である場合には、３２０、超広帯域（super-wideband）である場合には、６４０、全帯域（fullband）である場合には、９６０である。

一方、時間オーバーラッピング過程に使用される信号を導出するために次、の正常フレームの時間ドメイン信号を、反復を介して求める方式は、以下の通りである。

図１６Ｂにおいて、ｎ＋２フレームの未来部分に表示された１３＊Ｌ／２０サイズのブロックを、ｎ＋１フレームの同一位置に該当する未来部分にコピーし、既存値を置き換えならばスケールを調整する。ここで、スケーリングされる値の例は、−３ｄＢである。コピーするとき、以前ｎ＋１フレームとの不連続性をなくすために、最初の３＊Ｌ／２０サイズについては、以前フレーム値である図１６Ｂのｎ＋１フレームで得られた時間ドメイン信号と、未来部分でコピーされた信号とについて、線形的にオーバーラッピングを行う。その過程を介して、最終的に、オーバーラッピングのための信号が得られ、修正されたｎ＋１信号とｎ＋２信号とがオーバーラッピングされれば、最終Ｎ＋２フレームに係わる時間ドメイン信号が出力される。

一方、他の例として、図１６Ｃを参照すれば、伝送されたビットストリームは、復号化過程を介して、「ＭＤＣＴ−domain decoded Spectrum」を構成する。例えば、５０％のオーバーラッピングを使用する場合、実際パラメータの個数は、フレームサイズの２倍になる。復号化されたスペクトル係数に対して逆変換を行えば、同一サイズの時間ドメイン信号が生成され、時間ドメイン信号に対して、「Time windowing」過程を遂行し、ウィンドウイングされた信号（ａｕOut）を生成する。ウィンドウイングされた信号に対して、「Time Overlap-and-add」過程を遂行し、最終「Time Output」を生成する。フレームｎを基準とするとき、以前フレームでオーバーラッピングがなされていない部分（OldａｕOut）は、保存されて次のフレームで使用される。

図１７は、本発明の一実施形態によるマルチメディア機器の構成を示したブロック図である。図１７に図示されたマルチメディア機器１７００は、通信部１７１０と復号化モジュール１７３０とを含んでもよい。また、復号化の結果として得られる復元されたオーディオ信号の用途によって、復元されたオーディオ信号を保存する保存部１７５０をさらに含んでもよい。また、マルチメディア機器１７００は、スピーカ１７７０をさらに含んでもよい。すなわち、保存部１７５０とスピーカ１７７０は、オプションとして具備される。一方、図１７に図示されたマルチメディア機器１７００は、任意の符号化モジュール（図示せず）、例えば、一般的な符号化機能を遂行する符号化モジュールをさらに含んでもよい。ここで、復号化モジュール１７３０は、マルチメディア機器１７００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１つの以上のプロセッサ（図示せず）でもって具現される。

図１７を参照すれば、通信部１７１０は、外部から提供される符号化されたビットストリームと、オーディオ信号のうち少なくとも一つとを受信したり、あるいは復号化モジュール１７３０の復号化の結果として得られる復元されたオーディオ信号と、符号化の結果として得られるオーディオ・ビットストリームのうち少なくとも一つとを送信することができる。

通信部１７１０は、無線インターネット、無線イントラネット、無線電話網、無線ＬＡＮ（local area network）、Ｗｉ−Ｆｉ（wireless fidelity）、ＷＦＤ（Ｗｉ−Ｆｉ direct）、３Ｇ（generation）、４Ｇ（４generation）、ブルートゥース（（登録商標）Bluetooth）、赤外線通信（ＩｒＤＡ：infrared data association）、ＲＦＩＤ（radio frequency identification、ＵＷＢ（ultra-wideband）、ジグビー（（登録商標）Zigbee）、ＮＦＣ（near field communication）のような無線ネットワーク、または有線電話網、有線インターネットのような有線ネットワークを介して、外部のマルチメディア機器とデータを送受信することができるように構成される。

復号化モジュール１７３０は、前述の本発明の多様な実施形態によるオーディオ復号化装置を利用して具現される。

保存部１７５０は、復号化モジュール１７３０で生成される復元されたオーディオ信号を保存することができる。一方、保存部１７５０は、マルチメディア機器１７００の運用に必要な多様なプログラムを保存することができる。

スピーカ１７７０は、復号化モジュール１７３０で生成される復元されたオーディオ信号を外部に出力することができる。

図１８は、本発明の他の実施形態によるマルチメディア機器の構成を示したブロック図である。図１８に図示されたマルチメディア機器１８００は、通信部１８１０、符号化モジュール１８２０及び復号化モジュール１８３０を含んでもよい。また、符号化の結果として得られるオーディオ・ビットストリーム、あるいは復号化の結果として得られる復元されたオーディオ信号の用途によって、オーディオ・ビットストリームあるいは復元されたオーディオ信号を保存する保存部１８４０をさらに含んでもよい。また、マルチメディア機器１８００は、マイクロホン１８５０あるいはスピーカ１８６０をさらに含んでもよい。ここで、符号化モジュール１８２０と復号化モジュール１８３０は、マルチメディア機器１８００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。図１８に図示された構成要素のうち、図１７に図示されたマルチメディア機器１７００の構成要素と重複される部分については、その詳細な説明を省略する。

図１８において、符号化モジュール１８２０は、公知の多様な符号化アルゴリズムを搭載し、オーディオ信号に対して符号化を行い、ビットストリームを生成することができる。符号化アルゴリズムとしては、ＡＭＲ−ＷＢ（adaptive multi-rate-wideband）、ＭＰＥＧ−２ ＆ ４ＡＡＣ（advanced audio coding）などを挙げることができるが、それらに限定されるものではない。

保存部１８４０は、符号化モジュール１８２０で生成される符号化されたビットストリームを保存することができる。一方、保存部１８４０は、マルチメディア機器１８００の運用に必要な多様なプログラムを保存することができる。

マイクロホン１８５０は、ユーザあるいは外部のオーディオ信号を、符号化モジュール１８２０に提供することができる。

図１７及び図１８に図示されたマルチメディア機器１７００，１８００には、電話、モバイルフォンなどを含む音声通信専用端末、ＴＶ（television）、ＭＰ３プレーヤなどを含む放送あるいは音楽の専用装置、あるいは音声通信専用端末と、放送あるいは音楽の専用装置との融合端末装置が含まれるが、それらに限定されるものではない。また、マルチメディア機器１７００，１８００は、クライアント、サーバ、あるいはクライアントとサーバとの間に配置される変換器として使用される。

一方、マルチメディア機器１７００，１８００が、例えば、モバイルフォンである場合、図示されていないが、キーパッドのようなユーザ入力部、ユーザ・インターフェース、あるいはモバイルフォンで処理される情報をディスプレイするディスプレイ部、モバイルフォンの全般的な機能を制御するプロセッサをさらに含んでもよい。また、モバイルフォンは、撮像機能を有するカメラ部と、モバイルフォンで必要とする機能を遂行する少なくとも一つ以上の構成要素とをさらに含んでもよい。

一方、マルチメディア機器１７００，１８００が、例えば、ＴＶである場合、図示されていないが、キーパッドのようなユーザー入力部、受信された放送情報をディスプレイするディスプレイ部、ＴＶの全般的な機能を制御するプロセッサをさらに含んでもよい。また、ＴＶは、ＴＶで必要とする機能を遂行する少なくとも一つ以上の構成要素をさらに含んでもよい。

前記実施形態による方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令、あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全種の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ（compact disc）−ＲＯＭ（read-only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ（random-access memory）、フラッシュメモリのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードを含んでもよい。

以上、本発明の一実施形態は、たとえ限定された実施形態と図面とによって説明したにしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、そのような記載から、多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲にしめされており、それと均等または等価的変形は、いずれも本発明技術的思想の範疇に属するものである。

Claims (12)

1. エラーフレームをなす第１複数個の帯域から構成された複数個のグループについて、グループ単位で回帰分析を行ってパラメータを予測する段階と、
   グループ別に予測されたパラメータを利用して、前記エラーフレームのエラーを隠匿する段階と、を含むフレームエラー隠匿方法。
2. 前記予測されたパラメータは、各グループに含まれる第２複数個の帯域の平均エネルギーであることを特徴とする請求項１に記載のフレームエラー隠匿方法。
3. 前記パラメータ予測段階は、
   前記第１複数個の帯域から、前記複数個のグループを構成する段階と、
   前記エラーフレームの信号特性を判断する段階と、
   前記判断段階の結果によって、回帰分析に使用される以前正常フレームの個数を決定し、決定された個数の以前正常フレームを利用して、グループ単位で前記回帰分析を行う段階と、を含むことを特徴とする請求項１に記載のフレームエラー隠匿方法。
4. 前記信号特性判断段階は、エンコーダから伝送されるトランジェント・フラグを利用して、以前フレームがトランジェントである場合、前記エラーフレームをトランジェントと判断することを特徴とする請求項３に記載のフレームエラー隠匿方法。
5. 前記信号特性判断段階は、以前正常フレームまで求められる移動平均エネルギーと、前記以前正常フレームと、前記移動平均エネルギーとの差エネルギーと、を利用して、前記差エネルギーと、所定のしきい値との比較結果により、前記エラーフレームをトランジェントと判断することを特徴とする請求項３に記載のフレームエラー隠匿方法。
6. 前記信号特性判断段階は、エンコーダから伝送されるトランジェント・フラグ、以前正常フレームまで求められる移動平均エネルギーと、前記エラーフレームと前記以前正常フレームとの差エネルギーと、を利用して遂行されることを特徴とする請求項３に記載のフレームエラー隠匿方法。
7. 前記エラー隠匿段階は、
   前記グループ別に予測されたパラメータと、以前正常フレームで対応するグループのパラメータとの利得を求める段階と、
   前記エラーフレームのパラメータを生成するために、前記求められた利得を利用して、前記以前正常フレームの各帯域のパラメータをスケーリングする段階と、を含むことを特徴とする請求項１に記載のフレームエラー隠匿方法。
8. 前記スケーリング段階では、前記エラーフレームが、バーストエラー区間を形成する場合、前記エラーフレームが、トランジェントであるか否かということにより、前記バーストエラー区間のうち一部について固定された値にスケーリングダウンさせることを特徴とする請求項７に記載のフレームエラー隠匿方法。
9. 前記スケーリング段階では、前記エラーフレームが、バーストエラー区間を形成する場合、前記以前正常フレームの信号特性により、前記バーストエラー区間のうち一部についてスケーリングダウンさせることを特徴とする請求項７に記載のフレームエラー隠匿方法。
10. 前記スケーリング段階では、前記エラーフレームが、バーストエラー区間を形成する場合、前記以前正常フレームの信号特性により、前記バーストエラー区間のうち一部についてランダム符号を適用することを特徴とする請求項７に記載のフレームエラー隠匿方法。
11. 正常フレームについて復号化を行ってスペクトル係数を獲得する段階と、
    エラーフレームをなす第１複数個の帯域から構成された複数個のグループについて、グループ単位で回帰分析を行ってパラメータを予測し、グループ別に予測されたパラメータを利用して、前記エラーフレームのスペクトル係数を獲得する段階と、
    前記正常フレームあるいは前記エラーフレームの復号化されたスペクトル係数に対して時間ドメインに変換し、オーバーラップ処理及びアド処理を行って時間ドメインの信号に復元する段階と、を含むオーディオ復号化方法。
12. 前記オーバーラップ処理及びアド処理は、現在フレームが正常フレームであり、以前の連続したエラーフレームの個数が２個以上であり、前記以前フレームがエラーフレームであり、前記最後の正常フレームの符号化モードが周波数ドメインである場合、前記現在フレームは、次の正常フレームの時間ドメイン信号とオーバーラッピングを行うことを特徴とする請求項１１に記載のオーディオ復号化方法。

Images