JP2016184182A - フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 - Google Patents

フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 Download PDF

Info

Publication number
JP2016184182A
JP2016184182A JP2016139585A JP2016139585A JP2016184182A JP 2016184182 A JP2016184182 A JP 2016184182A JP 2016139585 A JP2016139585 A JP 2016139585A JP 2016139585 A JP2016139585 A JP 2016139585A JP 2016184182 A JP2016184182 A JP 2016184182A
Authority
JP
Japan
Prior art keywords
frame
error
unit
frames
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016139585A
Other languages
English (en)
Other versions
JP6259024B2 (ja
Inventor
ソン，ホ−サン
Ho-Sang Sung
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2016184182A publication Critical patent/JP2016184182A/ja
Application granted granted Critical
Publication of JP6259024B2 publication Critical patent/JP6259024B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Error Detection And Correction (AREA)

Abstract

【課題】 周波数ドメインにおいて、低複雑度でさらなる遅延なしに、信号の特性に適応的に、エラーフレームをさらに正確に復元する。
【解決手段】 エラーフレームをなす第１複数個の帯域から構成された複数個のグループについて、グループ単位で回帰分析を行ってパラメータを予測する段階、及びグループ別に予測されたパラメータを利用して、エラーフレームのエラーを隠匿する段階を含むフレームエラー隠匿方法である。
【選択図】 図７

Description

本発明は、フレームエラー隠匿に係り、さらに具体的には、周波数ドメインにおいて、低複雑度でさらなる遅延なしに、信号の特性に適応的に、エラーフレームをさらに正確に復元するためのフレームエラー隠匿方法及びその装置、オーディオ復号化方法及びその装置、並びにそれを採用するマルチメディア機器に関する。
有無線網を介して符号化されたオーディオ信号を伝送するにあたり、伝送上のエラーによって、一部パケットが損失されたり歪曲される場合が生じれば、復号化されたオーディオ信号の一部フレームにエラーが発生しうる。その場合、フレームに生じたエラーを適切に処理しなければ、エラーが生じたフレーム（以下、エラーフレームとする）区間で復号化されたオーディオ信号の音質が低下してしまう。
フレームエラーを隠匿するための方法の例としては、エラーフレームにおける信号の振幅を低減させることにより、エラーが出力信号に及ぼす影響を弱化させる黙音（muting）法、エラーフレームの以前正常フレーム（ＰＧＦ：previous good frame）を反復して再生することにより、エラーフレームの信号を復元する反復（repetition）法、以前正常フレーム（ＰＧＦ）と次の正常フレーム（ＮＧＦ：next good frame）とのパラメータを補間し、エラーフレームのパラメータを予測する補間（interpolation）法、以前正常フレーム（ＰＧＦ）のパラメータを補外し、エラーフレームのパラメータを求める補外（extrapolation）法、以前正常フレーム（ＰＧＦ）のパラメータを回帰分析し、エラーフレームのパラメータを求める回帰分析法（regression analysis）などがある。
ところで、既存には、入力信号の特性にかかわらず、同一方式を画一的に適用し、エラーフレームを復元したので、フレームエラーが効率的に隠匿されず、音質が低下してしまうという問題がある。そして、補間法の場合、フレームエラーを効率的に隠匿することができるが、１フレームというさらなる遅延を必要とするので、遅延に敏感な通信用コーデックでは、採択することが適切ではない。また、回帰分析法の場合、既存のエネルギーをある程度考慮した隠匿が可能であるが、信号が徐々に大きくなったり、信号の変動がはなはだしいところでは、効率低下が発生する。また、回帰分析法は、周波数ドメインの各帯域別に回帰分析を行えば、各帯域の瞬間的なエネルギー変化によって、意図しない信号が予測される場合もある。
本発明が解決しようとする課題は、周波数ドメインにおいて、低複雑度でさらなる遅延なしに、信号の特性に適応的に、エラーフレームをさらに正確に復元するためのフレームエラー隠匿方法及びその装置を提供するところにある。
本発明が解決しようとする他の課題は、周波数ドメインにおいて、低複雑度でさらなる遅延なしに、信号の特性に適応的に、エラーフレームをさらに正確に復元することにより、フレームエラーによる音質低下を最小化させるオーディオ復号化方法及びその装置、その記録媒体と、それを採用するマルチメディア機器とを提供するところにある。
本発明が解決しようとする他の課題は、フレームエラー隠匿方法あるいはオーディオ復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。
本発明が解決しようとする他の課題は、フレームエラー隠匿装置あるいはオーディオ復号化装置を採用するマルチメディア機器を提供するところにある。
前記課題を達成するための本発明の一実施形態によるフレームエラー隠匿方法は、エラーフレームをなす第１複数個の帯域から構成された複数個のグループに対して、グループ単位で回帰分析を行ってパラメータを予測する段階と、グループ別に予測されたパラメータを利用して、前記エラーフレームのエラーを隠匿する段階と、を含んでもよい。
前記課題を達成するための本発明の一実施形態によるオーディオ復号化方法は、正常フレームに対して復号化を行ってスペクトル係数を獲得する段階と、エラーフレームをなす第１複数個の帯域から構成された複数個のグループに対して、グループ単位で回帰分析を行ってパラメータを予測し、グループ別に予測されたパラメータを利用して、前記エラーフレームのスペクトル係数を獲得する段階と、前記正常フレームあるいは前記エラーフレームの復号化されたスペクトル係数に対して時間ドメインに変換し、オーバーラップ処理及びアド処理を行って時間ドメインの信号に復元する段階と、を含んでもよい。
本発明によれば、急激な信号変動を平滑化させ、周波数ドメインにおいて、低複雑度で、さらなる遅延なしに、信号の特性、特に、トランジェントである特性及びバーストエラー区間に適応的に、エラーフレームをさらに正確に復元することができる。
本発明が適用されるオーディオ符号化装置の一例による構成を示したブロック図である。 本発明が適用されるオーディオ復号化装置の一例による構成を示したブロック図である。 本発明が適用されるオーディオ符号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ復号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ符号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ復号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成を示したブロック図である。 本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成を示したブロック図である。 本発明の一実施形態による周波数ドメイン復号化装置の構成を示したブロック図である。 本発明の一実施形態によるスペクトル復号化部の構成を示したブロック図である。 本発明の一実施形態によるフレームエラー隠匿部の構成を示したブロック図である。 本発明の一実施形態によるメモリ更新部の構成を示したブロック図である。 は本発明に適用された帯域分割の例を示した図面である。 本発明に適用された線形回帰分析と非線形回帰分析との概念を示した図面である。 本発明において回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示した図面である。 ７．６ｋＨｚまで支援する広帯域（wideband）に対して回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示した図面である。 １３．６ｋＨｚまで支援する超広帯域（super-wideband）に対して回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示した図面である。 ２０ｋＨｚまで支援する全帯域（fullband）に対して回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示した図面である。 １６ｋＨｚまで支援して帯域拡張（ＢＷＥ）を使用する場合、超広帯域に対して回帰分析を適用するためにグルーピングされたサブバンド構造の例を示した図面である。 １６ｋＨｚまで支援して帯域拡張（ＢＷＥ）を使用する場合、超広帯域に対して回帰分析を適用するためにグルーピングされたサブバンド構造の例を示した図面である。 １６ｋＨｚまで支援して帯域拡張（ＢＷＥ）を使用する場合、超広帯域に対して回帰分析を適用するためにグルーピングされたサブバンド構造の例を示した図面である。 次の正常フレーム（ＮＧＦ）の時間信号を利用したオーバーラップ・アンド・アド方式の例を示した図面である。 次の正常フレーム（ＮＧＦ）の時間信号を利用したオーバーラップ・アンド・アド方式の例を示した図面である。 次の正常フレーム（ＮＧＦ）の時間信号を利用したオーバーラップ・アンド・アド方式の例を示した図面である。 本発明の一実施形態によるマルチメディア機器の構成を示したブロック図である。 本発明の他の実施形態によるマルチメディア機器の構成を示したブロック図である。
本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明で具体的に説明する。しかし、それは、本発明を特定の実施形態について限定するものではなく、本発明の技術的思想及び技術範囲に含まれる全ての変換、均等物あるいは代替物を含むものであると理解するのである。本発明の説明において、関連公知技術に係わる具体的な説明が、本発明の要旨を不明確なものにすると判断される場合、その詳細な説明を省略する。
第１、第２のような用語は、多様な構成要素の説明に使用されるが、構成要素が用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
本発明で使用した用語は、ただ特定の実施形態を説明するために使用されたものであり、本発明を限定する意図ではない。本発明で使用した用語は、本発明での機能を考慮しながら、可能な限り現在広く使用される一般的な用語を選択したが、それは当業者の意図、判例、または新たな技術の出現などによって異なりもする。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で、詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味、及び本発明の全般にわたった内容を基に定義されなければならない。
単数の表現は、文脈上明白に特定されて意味しない限り、複数の表現を含む。本発明で、「含む」または「有する」のような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものが存在するということを指定するものであり、一つまたはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものの存在または付加の可能性をあらかじめ排除するものではないということを理解しなければならない。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
図１Ａ及び図１Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の一例による構成をそれぞれ示したブロック図である。
図１Ａに図示されたオーディオ符号化装置１１０は、前処理部１１２、周波数ドメイン符号化部１１４及びパラメータ符号化部１１６を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図１Ａにおいて、前処理部１１２は、入力信号に対して、フィルタリングあるいはダウンサンプリングなどを行うが、それらに限定されるものではない。入力信号は、音声信号、音楽信号、あるいは音声と音楽とが混合された信号を含んでもよい。以下では、説明の便宜のために、オーディオ信号とする。
周波数ドメイン符号化部１１４は、前処理部１１２から提供されるオーディオ信号に対して、時間・周波数変換を行い、オーディオ信号のチャンネル数、符号化帯域及びビット率に対応して符号化ツールを選択し、選択された符号化ツールを利用して、オーディオ信号に対する符号化を行う。時間・周波数変換は、ＭＤＣＴ（modified discrete cosine transform）またはＦＦＴ（fast Fourier transform）を使用するが、それらに限定されるものではない。ここで、与えられたビット数によって、十分な場合、全体帯域に対して、一般的な変換符号化方式を適用し、十分ではない場合、一部帯域に対しては、帯域拡張（ＢＷＥ）方式を適用することができる。一方、オーディオ信号がステレオあるいはマルチチャネルである場合、与えられたビット数によって、十分な場合、各チャネル別に符号化し、十分ではない場合、ダウンミキシング方式を適用することができる。周波数ドメイン符号化１１４からは、符号化されたスペクトル係数が生成される。
パラメータ符号化部１１６は、周波数ドメイン符号化部１１４から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータは、サブバンド別に抽出され、各サブバンドは、スペクトル係数をグルーピングした単位であり、臨界帯域を反映させ、均一長あるいは非均一長を有する。非均一長を有する場合、低周波数帯域に存在するサブバンドの場合、高周波数帯域と比べ、相対的に短い長さを有する。１フレームに含まれるサブバンドの個数及び長さは、コーデックアルゴリズムによって異なり、符号化性能に影響を及ぼす。一方、パラメータは、サブバンドのスケールファクタ、パワー、平均エネルギーあるいはnormを例として挙げることができるが、それらに限定されるものではない。符号化の結果として得られるスペクトル係数とパラメータは、ビットストリームを形成し、チャネルを介して、パケット状で伝送されたり、あるいは記録媒体に保存される。
図１Ｂに図示されたオーディオ復号化装置１３０は、パラメータ復号化部１３２、周波数ドメイン復号化部１３４及び後処理部１３６を含んでもよい。ここで、周波数ドメイン復号化部１３４は、フレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図１Ｂにおいて、パラメータ復号化部１３２は、パケット状で伝送されるビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラー発生をチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるかエラーフレームであるかに係わる情報を、周波数ドメイン復号化部１３４に提供する。
周波数ドメイン復号化部１３４は、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成し、エラーフレームである場合、周波数ドメインでのフレームエラー隠匿アルゴリズムを介して、以前正常フレームのスペクトル係数をスケーリングして合成されたスペクトル係数を生成することができる。周波数ドメイン復号化部１３４は、合成されたスペクトル係数に対して、周波数・時間変換を遂行して時間ドメイン信号を生成することができる。
後処理部１３６は、周波数ドメイン復号化部１３４から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部１３６は、出力信号として復元されたオーディオ信号を提供する。
図２Ａ及び図２Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。
図２Ａに図示されたオーディオ符号化装置２１０は、前処理部２１２、モード決定部２１３、周波数ドメイン符号化部２１４、時間ドメイン符号化部２１５及びパラメータ符号化部２１６を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図２Ａにおいて、前処理部２１２は、図１Ａの前処理部１１２と実質的に同一であるので、説明を省略する。
モード決定部２１３は、入力信号の特性を参照し、符号化モードを決定することができる。入力信号の特性によって、現在フレームが音声モードであるか、または音楽モードであるかを決定することができ、また現在フレームに効率的な符号化モードが、時間ドメインモードであるか、あるいは周波数ドメインモードであるかについて決定することができる。ここで、フレームの短区間特性、あるいは複数のフレームに対する長久間特性などを利用して、入力信号の特性を把握することができるが、それに限定されるものではない。モード決定部２１３は、入力信号の特性が音楽モードあるいは周波数ドメインモードに該当する場合には、前処理部２１２の出力信号を、周波数ドメイン符号化部２１４に、入力信号の特性が音声モードあるいは時間ドメインモードに該当する場合には、時間ドメイン符号化部２１５に提供する。
周波数ドメイン符号化部２１４は、図１Ａの周波数ドメイン符号化部１１４と実質的に同一であるので、説明を省略する。
時間ドメイン符号化部２１５は、前処理部２１２から提供されるオーディオ信号に対して、ＣＥＬＰ（code excited linear prediction）符号化を行うことができる。具体的には、ＡＣＥＬＰ（algebraic ＣＥＬＰ）を使用することができるが、それに限定されるものではない。時間ドメイン符号化２１５からは、符号化されたスペクトル係数が生成される。
パラメータ符号化部２１６は、周波数ドメイン符号化部２１４あるいは時間ドメイン符号化部２１５から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータ符号化部２１６は、図１Ａのパラメータ符号化部１１６と実質的に同一であるので、説明を省略する。符号化の結果として得られるスペクトル係数とパラメータは、符号化モード情報と共にビットストリームを形成し、チャネルを介してパケット状で伝送されたり、あるいは記録媒体に保存される。
図２Ｂに図示されたオーディオ復号化装置２３０は、パラメータ復号化部２３２、モード決定部２３３、周波数ドメイン復号化部２３４、時間ドメイン復号化部２３５及び後処理部２３６を含んでもよい。ここで、周波数ドメイン復号化部２３４と時間ドメイン復号化部２３５は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化されて、なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図２Ｂにおいて、パラメータ復号化部２３２は、パケット状で伝送されるビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラー発生をチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるかエラーフレームであるかに係わる情報を、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５に提供する。
モード決定部２３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５に提供する。
周波数ドメイン復号化部２３４は、符号化モードが音楽モードあるいは周波数ドメインモードである場合動作し、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音楽モードあるいは周波数ドメインモードである場合、周波数ドメインでのフレームエラー隠匿アルゴリズムを介して、以前正常フレームのスペクトル係数をスケーリングし、合成されたスペクトル係数を生成することができる。周波数ドメイン復号化部２３４は、合成されたスペクトル係数に対して周波数・時間変換を行い、時間ドメイン信号を生成することができる。
時間ドメイン復号化部２３５は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的なＣＥＬＰ復号化過程を介して復号化を行い、時間ドメイン信号を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音声モードあるいは時間ドメインモードである場合、時間ドメインでのフレームエラー隠匿アルゴリズムを実行することができる。
後処理部２３６は、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部２３６は、出力信号として復元されたオーディオ信号を提供する。
図３Ａ及び図３Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。
図３Ａに図示されたオーディオ符号化装置３１０は、前処理部３１２、ＬＰ（linear prediction）分析部３１３、モード決定部３１４、周波数ドメイン励起符号化部３１５、時間ドメイン励起符号化部３１６及びパラメータ符号化部３１７を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図３Ａにおいて、前処理部３１２は、図１Ａの前処理部１１２と実質的に同一であるので、説明を省略する。
ＬＰ分析部３１３は、入力信号に対してＬＰ分析を行ってＬＰ係数を抽出し、抽出されたＬＰ係数から励起信号を生成する。励起信号は、符号化モードにより、周波数ドメイン励起符号化部３１５及び時間ドメイン励起符号化部３１６のうち一つに提供される。
モード決定部３１４は、図２Ｂのモード決定部２１３と実質的に同一であるので、説明を省略する。
周波数ドメイン励起符号化部３１５は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、入力信号が励起信号であることを除いては、図１Ａの周波数ドメイン符号化部１１４と実質的に同一であるので、説明を省略する。
時間ドメイン励起符号化部３１６は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、入力信号が励起信号であることを除いては、図２Ａの時間ドメイン符号化部２１５と実質的に同一であるので、説明を省略する。
パラメータ符号化部３１７は、周波数ドメイン励起符号化部３１５あるいは時間ドメイン励起符号化部３１６から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータ符号化部３１７は、図１Ａのパラメータ符号化部１１６と実質的に同一であるので、説明を省略する。符号化の結果として得られるスペクトル係数とパラメータは、符号化モード情報と共にビットストリームを形成し、チャネルを介してパケット状で伝送されたり、あるいは記録媒体に保存される。
図３Ｂに図示されたオーディオ復号化装置３３０は、パラメータ復号化部３３２、モード決定部３３３、周波数ドメイン励起復号化部３３４、時間ドメイン励起復号化部３３５、ＬＰ合成部３３６及び後処理部３３７を含んでもよい。ここで、周波数ドメイン励起復号化部３３４と時間ドメイン励起復号化部３３５は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図３Ｂにおいて、パラメータ復号化部３３２は、パケット状で伝送されるビットストリームからパラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラー発生をチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるかエラーフレームであるかに係わる情報を、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に提供する。
モード決定部３３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に提供する。
周波数ドメイン励起復号化部３３４は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音楽モードあるいは周波数ドメインモードである場合、周波数ドメインでのフレームエラー隠匿アルゴリズムを介して以前正常フレームのスペクトル係数をスケーリングし、合成されたスペクトル係数を生成することができる。周波数ドメイン励起復号化部３３４は、合成されたスペクトル係数に対して周波数・時間変換を行い、時間ドメイン信号である励起信号を生成することができる。
時間ドメイン励起復号化部３３５は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的なＣＥＬＰ復号化過程を介して復号化を行い、時間ドメイン信号である励起信号を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音声モードあるいは時間ドメインモードである場合、時間ドメインでのフレームエラー隠匿アルゴリズムを実行することができる。
ＬＰ合成部３３６は、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５から提供される励起信号に対してＬＰ合成を行い、時間ドメイン信号を生成する。
後処理部３３７は、ＬＰ合成部３３６から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部３３７は、出力信号として復元されたオーディオ信号を提供する。
図４Ａ及び図４Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。
図４Ａに図示されたオーディオ符号化装置４１０は、前処理部４１２、モード決定部４１３、周波数ドメイン符号化部４１４、ＬＰ分析部４１５、周波数ドメイン励起符号化部４１６、時間ドメイン励起符号化部４１７及びパラメータ符号化部４１８を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。図４Ａに図示されたオーディオ符号化装置４１０は、図２Ａのオーディオ符号化装置２１０と、図３Ａのオーディオ符号化装置３１０とを結合したものと見られるので、共通する部分の動作説明は省略する一方、モード決定部４１３の動作について説明する。
モード決定部４１３は、入力信号の特性及びビット率を参照し、入力信号の符号化モードを決定することができる。モード決定部４１３は、入力信号の特性によって、現在フレームが音声モードであるか、あるいは音楽モードであるかということにより、また現在フレームに効率的な符号化モードが時間ドメインモードであるか、あるいは周波数ドメインモードであるかにより、ＣＥＬＰモードと、それ以外のモードとに決定することができる。もし入力信号の特性が音声モードである場合には、ＣＥＬＰモードに決定し、音楽モードでありながら、高ビット率である場合、周波数ドメインモードに決定し、音楽モードでありながら低ビット率である場合、オーディオモードに決定することができる。モード決定部４１３は、周波数ドメインモードである場合、入力信号を周波数ドメイン符号化部４１４に、オーディオモードである場合、ＬＰ分析部４１５を介して周波数ドメイン励起符号化部４１６に、ＣＥＬＰモードである場合、ＬＰ分析部４１５を介して時間ドメイン励起符号化部４１７に提供することができる。
周波数ドメイン符号化部４１４は、図１Ａのオーディオ符号化装置１１０の周波数ドメイン符号化部１１４、あるいは図２Ａのオーディオ符号化装置２１０の周波数ドメイン符号化部２１４に、周波数ドメイン励起符号化部４１６あるいは時間ドメイン励起符号化部４１７は、図３Ａのオーディオ符号化装置３１０の周波数ドメイン励起符号化部３１５あるいは時間ドメイン励起符号化部３１６に対応する。
図４Ｂに図示されたオーディオ復号化装置４３０は、パラメータ復号化部４３２、モード決定部４３３、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５、時間ドメイン励起復号化部４３６、ＬＰ合成部４３７及び後処理部４３８を含んでもよい。ここで、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５及び時間ドメイン励起復号化部４３６は、それぞれ当該ドメインでのフレームエラー隠匿アルゴリズムを含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。図４Ｂに図示されたオーディオ復号化装置４３０は、図２Ｂのオーディオ復号化装置２３０と、図３Ｂのオーディオ復号化装置３３０とを結合したものであると見られるので、共通する部分の動作説明は省略する一方、モード決定部４３３の動作について説明する。
モード決定部４３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５あるいは時間ドメイン励起復号化部４３６に提供する。
周波数ドメイン復号化部４３４は、図１Ｂのオーディオ符号化装置１３０の周波数ドメイン復号化部１３４あるいは図２Ｂのオーディオ復号化装置２３０の周波数ドメイン復号化部２３４に、周波数ドメイン励起復号化部４３５あるいは時間ドメイン励起復号化部４３６は、図３Ｂのオーディオ復号化装置３３０の周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に対応する。
図５は、本発明の一実施形態による周波数ドメイン復号化装置の構成を示したブロック図であり、図２Ｂのオーディオ復号化装置２３０の周波数ドメイン復号化部２３４と、図３Ｂのオーディオ復号化装置３３０の周波数ドメイン励起復号化部３３４とに対応する。
図５に図示された周波数ドメイン復号化装置５００は、エラー隠匿部５１０、スペクトル復号化部５３０、メモリ更新部５５０、逆変換部５７０及びオーバーラップ・アンド・アド部５９０を含んでもよい。メモリ更新部５５０に内蔵されるメモリ（図示せず）を除いた各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図５において、まず復号化されたパラメータから、現在フレームにエラーが発生していないということが判断されれば、スペクトル復号化部５３０、メモリ更新部５５０、逆変換部５７０及びオーバーラップ・アンド・アド部５９０を経て、復号化過程が遂行され、最終時間ドメイン信号を生成することができる。具体的には、スペクトル復号化部５３０は、復号化されたパラメータを利用して、スペクトル復号化を行い、スペクトル係数を合成することができる。メモリ更新部５５０は、正常フレームである現在フレームについて、合成されたスペクトル係数、復号化されたパラメータ、パラメータを利用して得られた情報、現在まで連続したエラーフレームの個数、以前フレームの特性（デコーダで合成された信号分析を介した信号特性、例えば、トランジェント特性、normal特性、stationary特性など）、及び以前フレームのタイプ情報（エンコーダから伝送された情報、例えば、トランジェント・フレーム、normalフレームなど）などを次のフレームのために更新することができる。逆変換部５７０は、合成されたスペクトル係数に対して周波数・時間変換を行い、時間ドメイン信号を生成することができる。オーバーラップ・アンド・アド部５９０は、以前フレームの時間ドメイン信号を利用して、オーバーラップ・アンド・アド処理を行い、その結果、現在フレームに対する最終時間ドメイン信号を生成することができる。
一方、復号化されたパラメータから、現在フレームにエラーが生じたと判断されれば、復号化されたパラメータのうち、例えば、ＢＦＩ（bad frame indicator）が１に設定され、エラーフレームである現在フレームについては、何らの情報も存在しなくなる。その場合、以前フレームの復号化モードをチェックし、周波数ドメインである場合、現在フレームについて、周波数ドメインでのエラー隠匿アルゴリズムを実行することができる。
すなわち、エラー隠匿部５１０は、現在フレームがエラーフレームであり、以前フレームの復号化モードが周波数ドメインである場合に動作することができる。エラー隠匿部５１０は、メモリ更新部５５０に保存された情報を利用して、現在フレームのスペクトル係数を復元することができる。現在フレームの復元されたスペクトル係数は、スペクトル復号化部５３０、メモリ更新部５５０、逆変換部５７０及びオーバーラップ・アンド・アド部５９０を経て、復号化過程が遂行され、最終時間ドメイン信号を生成することができる。
ここで、オーバーラップ・アンド・アド部５９０は、現在フレームがエラーフレームであり、以前フレームが正常フレームであり、復号化モードが周波数ドメインであるか、あるいは現在フレーム及び以前フレームが正常フレームであり、復号化モードが周波数ドメインである場合には、正常フレームである以前フレームの時間ドメイン信号を利用して、オーバーラップ・アンド・アド過程を遂行することができる。一方、現在フレームが、正常フレーム、エラーフレームに連続した以前フレームの個数が２個以上であり、以前フレームがエラーフレームであり、最後の正常フレームである以前フレームの復号化モードが周波数ドメインである場合には、正常フレームである以前フレームの時間ドメイン信号を利用して、オーバーラップ・アンド・アド過程を遂行するのではなく、正常フレームである現在フレームで求められた時間ドメイン信号を利用して、オーバーラップ・アンド・アド過程を遂行することができる。その条件は、次のように示すことができる。
if (bfi==0)&&(st→old_bfi_int>1)&&(st→prev_bfi==1)&&
(st→last_core==FREQ_CORE))
ここで、ｂｆｉは、現在フレームに対するエラーフレーム指示子、ｓｔ→ｏｌｄ＿ｂｆｉ＿ｉｎｔは、以前フレームの連続したエラーフレームの個数、ｓｔ→ｐｒｅｖ＿ｂｆｉは、以前フレームのｂｆｉ情報、ｓｔ→ｌａｓｔ＿ｃｏｒｅは、以前の最後の正常フレームに係るコアの復号化モードであり、周波数ドメイン（ＦＲＥＱ＿ＣＯＲＥ）あるいは時間ドメイン（ＴＩＭＥ＿ＣＯＲＥ）を例として挙げることができる。
図６は、本発明の一実施形態によるスペクトル復号化部の構成を示したブロック図である。図６に図示されたスペクトル復号化部６００は、無損失復号化部６１０、パラメータ逆量子化部６２０、ビット割当て部６３０、スペクトル逆量子化部６４０、ノイズ・フィリング部６５０及びスペクトル・シェーピング部６６０を含んでもよい。ここで、ノイズ・フィリング部６５０は、スペクトル・シェーピング部６６０の後端に位置することもできる。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図６を参照すれば、無損失復号化部６１０は、符号化過程で無損失符号化が行われたパラメータ、例えば、norm値に対して無損失復号化を行うことができる。
パラメータ逆量子化部６２０は、無損失復号化されたnorm値に対して逆量子化を行うことができる。符号化過程で、norm値は、多様な方式、例えば、ＶＱ（vector quantization）、ＳＱ（scalar quantization）、ＴＣＱ（trellis coded quantization）、ＬＶＱ（lattice vector quantization）などを利用して量子化され、対応する方式を使用して逆量子化を行うことができる。
ビット割当て部６３０は、量子化されたnorm値に基づいて、帯域別に必要となるビットを割り当てることができる。その場合、帯域別に割り当てられたビットは、符号化過程で割り当てられるビットと同一である。
スペクトル逆量子化部６４０は、帯域別に割り当てられたビットを使用して、逆量子化過程を遂行し、正規化されたスペクトル係数を生成することができる。
ノイズ・フィリング部６５０は、帯域別にノイズ・フィリングを必要とする部分に対して、ノイズ信号を充填することができる。
スペクトル・シェーピング部６６０は、逆量子化されたnorm値を利用して、正規化されたスペクトル係数をシェーピングすることができる。スペクトル・シェーピング過程を介して、最終的に復号化されたスペクトル係数が得られる。
図７は、本発明の一実施形態によるフレームエラー隠匿部の構成を示したブロック図である。図７に図示されたフレームエラー隠匿部７００は、信号特性判断部７１０、パラメータ制御部７３０、回帰分析部７５０、利得算出部７７０及びスケーリング部７９０を含んでもよい。各構成要素は、少なくとも一つ以上のモジュールに一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。
図７を参照すれば、信号特性判断部７１０は、復号化された信号を利用して信号の特性を判断し、復号化された信号の特性をトランジェント、normａｌ、stationaryなどに分類する。そのうち、トランジェント・フレームを判断する方法は、次の通りである。一実施形態によれば、以前フレームのフレームエネルギー及び移動平均エネルギーを利用して、現在フレームがトランジェントであるか否かを判断することができる。そのために、正常フレームについて得られる移動平均エネルギー（Energy＿ＭＡ）と差エネルギー（Energy＿ｄｉｆｆ）とを使用することができる。Energy＿ＭＡとEnergy＿ｄｉｆｆとを得る方法は、次の通りである。
フレームのエネルギーまたはnorm値の和をEnergy＿Ｃｕｒｒとすれば、Energy＿ＭＡは、Energy＿ＭＡ＝Energy＿ＭＡ＊０．８＋Energy＿Ｃｕｒｒ＊０．２のように求めることができる。そのとき、Energy＿ＭＡの初期値は、例えば、１００に設定することができる。
次に、Energy＿ｄｉｆｆは、Energy＿ＭＡとEnergy＿Ｃｕｒｒとの差を正規化させたものであり、Energy＿ｄｉｆｆ＝（Energy＿Ｃｕｒｒ−Energy＿ＭＡ）／Energy＿ＭＡのように示すことができる。
トランジェント判断部７１０は、Energy＿ｄｉｆｆが所定のしきい値、例えば、１．０以上である場合、現在フレームをトランジェントと判断することができる。ここで、Energy＿ｄｉｆｆが１．０である場合には、Energy＿ＣｕｒｒがEnergy＿ＭＡの２倍であるということを示し、以前フレームと比べ、現在フレームのエネルギー変動が非常に大きいということを意味する。
信号特性判断部７１０で決定された信号特性、エンコーダから伝送された情報であるフレームタイプや符号化モードなどを利用して、フレームエラー隠匿のためのパラメータを制御することができる。一方、トランジェント判断は、エンコーダから伝送された情報を利用したり、あるいは信号特性判断部７１０で求められたトランジェント情報を利用することができる。ところで、二つを同時に利用する場合には、下記のような条件を利用することができる。すなわち、エンコーダから伝送されたトランジェント情報であるis＿transientが１であるか、あるいはデコーダで求められた情報であるEnergy＿ｄｉｆｆがしきい値（ＥＤ＿ＴＨＲＥＳ）、例えば、１．０以上である場合、現在フレームが、エネルギー変化がはなはだしいトランジェント・フレームであるということを意味し、従って、回帰分析に使用される以前正常フレームの個数（ｎｕｍ＿ｐｇｆ）を減少させ、それ以外の場合は、トランジェントしていないフレームと判断し、以前正常フレームの個数（ｎｕｍ＿ｐｇｆ）を増加させることができる。
if((Energy_diff<ED_THRES)&&(is_transient==0))
{
num_pgf = 4;
}
else
{
num_pgf = 2;
}
ここでＥＤ＿ＴＨＲＥＳは、しきい値であり、一例によれば、１．０に設定することができる。
前述のトランジェント判断結果によって、フレームエラー隠匿のためのパラメータを制御することができる。ここで、フレームエラー隠匿のためのパラメータの例としては、回帰分析に使用された以前正常フレームの個数を有することができる。フレームエラー隠匿のためのパラメータの他の例としては、バーストエラー区間に係わるスケーリング方式を有することができる。１つのバーストエラー区間で、同一のEnergy＿ｄｉｆｆ値を使用することができる。エラーフレームである現在フレームがトランジェントではないと判断されれば、バーストエラーが発生した場合、例えば、５番目のフレームからは、以前フレームで復号化されたスペクトル係数について、回帰分析とは別途に、強制的に３ｄＢずつ固定された値でスケーリングすることができる。一方、エラーフレームである現在フレームがトランジェントと判断されれば、バーストエラーが発生した場合、例えば、２番目のフレームからは、以前フレームで復号化されたスペクトル係数について、回帰分析とは別途に、強制的に３ｄＢずつ固定された値でスケーリングすることができる。フレームエラー隠匿のためのパラメータの他の例としては、適応的ミューティング及びランダム符号の適用方式を有することができる。それについては、スケーリング部７９０で説明する。
回帰分析部７５０は、保存されている以前フレームに係わるパラメータを利用して、回帰分析を行うことができる。回帰分析は、単一のエラーフレームについて行うこともでき、バーストエラーが発生した場合に限定して行うこともできる。回帰分析を行うエラーフレームの条件については、デコーダ設計時にあらかじめ定義される。もし単一のエラーフレームで回帰分析を行う場合には、エラーが発生したフレームで即時に行うことができる。遂行された結果によって求められた関数によって、エラーフレームで必要なパラメータを予測する。
もしバーストエラーが発生したときに回帰分析を行う場合、下記のように、連続したエラーフレームの個数を意味するｂｆｉ＿ｃｎｔが２、すなわち、２番目に連続したエラーフレームから回帰分析を行う。その場合、最初のエラーフレームは、以前フレームで求めたスペクトル係数を単純反復したり、あるいは決定された値ほどスケーリングする方法が可能である。
if (bfi_cnt==2){
regression_anaysis();
}if
一方、周波数ドメインでは、時間ドメインでオーバーラッピングされた信号を変換した結果に対して、連続したエラーが発生しなかったにもかかわらず、連続したエラーと類似した問題が発生しうる。例えば、１フレーム飛ばしてエラーが発生する場合、すなわち、エラーフレーム−正常フレーム−エラーフレームの順序でエラーが発生すれば、５０％のオーバーラッピングで変換ウィンドウを構成した場合、中間に正常フレームが存在するにもかかわらず、音質は、エラーフレーム−エラーフレーム−エラーフレームの順序でエラーが発生した場合と大差がない。それは、後述する図１６Ｃでのように、フレームｎが正常フレームだとしても、ｎ−１フレームとｎ＋１フレームとがエラーフレームである場合、オーバーラッピング過程で、全く異なる信号が作られるからである。従って、エラーフレーム−正常フレーム−エラーフレームの順序でエラーが発生する場合、２番目のエラーが発生する３番目のフレームのｂｆｉ＿ｃｎｔは、１であるが、１を強制的に増加させる。その結果、ｂｆｉ＿ｃｎｔが２になり、バーストエラーが発生したと判断され、回帰分析が使用される。
if((prev_old_bfi==1) && (bfi_cnt==1))
{
st->bfi_cnt++;
}
if(bfi_cnt==2){
regression_anaysis();
}
ここで、ｐｒｅｖ＿ｏｌｄ＿ｂｆｉは、２フレーム以前のフレームエラー情報を意味する。前記過程は、現在フレームがエラーフレームである場合に適用される。
回帰分析部７５０は、低い複雑度のために、２個以上の帯域を１つのグループで構成し、各グループの代表値を導き出し、代表値に対して回帰分析を適用することができる。代表値の一例としては、平均値、中間値、最大値などを使用することができるが、それらに限定されるものではない。一実施形態によれば、各グループに含まれた帯域のnorm平均値であるグルーピングされたnormの平均ベクトルを代表値として使用することができる。
一方、信号特性判断部７１０で決定された信号特性や、エンコーダから伝送された情報であるフレームタイプなどを利用して、現在フレームの特性を決定するとき、現在フレームがトランジェント・フレームと決定された場合には、回帰分析のための以前正常フレーム（ＰＧＦ）の個数を減らし、正常（stationary）フレームである場合には、以前正常フレーム（ＰＧＦ）の個数を増やす。一実施形態によれば、以前フレームのトランジェントいかんを意味するis＿transientが１である場合、すなわち、以前フレームがトランジェントである場合には、以前正常フレーム（ＰＧＦ）の個数（ｎｕｍ＿ｐｇｆ）を２に設定し、それ以外の正常フレームについては、４に設定することができる。
if(is_transient==1)
{
num_pgf = 2;
}
else
{
num_pgf = 4;
}
そして、回帰分析のための行列のロウ（row）の個数は、一例を挙げ、２に設定することができる。
回帰分析部７５０での回帰分析の結果、エラーフレームについて、各グループの平均normを予測することができる。すなわち、エラーフレームで、１つのグループに属する各帯域は、同一のnorm値と予測される。具体的には、回帰分析部７５０は、回帰分析を介して、後述する線形回帰分析方程式あるいは非線形回帰分析方程式で、ａ及びｂ値を算出し、算出されたａ及びｂ値を利用して、エラーフレームのaverage grouped normをグループ別に予測することができる。
利得算出部７７０は、エラーフレームについて予測された各グループの平均normと、直前good frameでの各グループの平均normとの利得を求めることができる。
スケーリング部７９０は、利得算出部７７０で求められた利得を、直前good frameのスペクトル係数に乗じ、エラーフレームのスペクトル係数を生成することができる。
一方、スケーリング部７９０は、一実施形態によれば、入力信号の特性によって、エラーフレームについて適応的ミューティング（adaptive muting）を適用したり、あるいは予測されたスペクトル係数について、ランダム符号（random sign）を適用することができる。
まず、入力信号を、トランジェント信号と、トランジェントではない信号とに区分することができる。トランジェントではない信号のうち、正常（stationary）である信号を分類し、他の方式で処理することができる。例えば、入力信号に、高調波成分が多く存在すると判断された場合、信号の変化が大きくない正常（stationary）である信号と決定し、それに対応したエラー隠匿アルゴリズムを実行することができる。一般的に、入力信号の高調波情報は、エンコーダから伝送される情報を利用することができる。低い複雑度を必要としない場合には、デコーダで合成された信号を利用して求めることもできる。
入力信号を、トランジェント信号、正常な信号、そして残りの信号の三種に大別する場合、適応的ミューティング及びランダム符号は、下記のように適用される。ここで、mute＿startが意味する数字は、連続したエラーが発生したとき、ｂｆｉ＿ｃｎｔがmute＿start以上である場合、強制的にミューティングを始めるということを意味する。ランダム符号と係わるrandom＿startも同一の方式で解釈される。
if((old_clas == HARMONIC) && (is_transient==0)) /* Stationaryである場合 */
{
mute_start = 4;
random_start = 3;
}
else if((Energy_diff<ED_THRES) && (is_transient==0)) /* 残りの信号 */
{
mute_start = 3;
random_start = 2;
}
else /* Transientである信号 */
{
mute_start = 2;
random_start = 2;
}
ここで、適応的ミューティングを適用する方式は、スケーリング遂行時、強制的に固定された値にダウンさせる。例えば、現在フレームのｂｆｉ＿ｃｎｔが４であり、現在フレームが正常（stationary）フレームである場合には、現在フレームで、スペクトル係数のスケーリングを３ｄＢずつダウンさせる。
そして、スペクトル係数の符号をランダムに修正するのは、フレームごとにスペクトル係数の反復によって発生する変調ノイズ（modulation noise）を低減させるためのものである。ランダム符号を適用する方式としては、多様な公知の方式を使用することができる。
一実施形態によれば、フレームの全体スペクトル係数に対してランダム符号を適用することもでき、他の実施形態によれば、ランダム符号を適用し始める周波数帯域をあらかじめ定義した後、定義された周波数帯域以上について、ランダム符号を適用することができる。その理由は、非常に低い周波数帯域では、符号の変化によって、波形やエネルギーが大きく変わる場合が生じるので、非常に低い周波数帯域、すなわち、例えば、２００Ｈｚ以下、または最初の帯域では、以前フレームと同一のスペクトル係数の符号を使用する方が、さらに良好な性能を有することができるのである。
図８は、本発明の一実施形態によるメモリ更新部の構成を示したブロック図である。図８に図示されたメモリ更新部８００は、第１パラメータ獲得部８２０、normグルーピング部８４０、第２パラメータ獲得部８６０及び保存部８８０を含んでもよい。
図８を参照すれば、第１パラメータ獲得部８２０は、トランジェントいかんを判断するためのEnergy＿ＣｕｒｒとEnergy＿ＭＡとの値を求め、求められたEnergy＿ＣｕｒｒとEnergy＿ＭＡとの値を保存部８８０に提供する。
normグルーピング部８４０は、あらかじめ定義されたグループに、norm値をグルーピングする。
第２パラメータ獲得部８６０は、グループ別平均norm値を求め、求められたグループ別平均normを、保存部８８０に提供する。
保存部８８０は、第１パラメータ獲得部８２０から提供されるEnergy＿Ｃｕｒｒ値及びEnergy＿ＭＡ値、第２パラメータ獲得部８６０から提供されるグループ別平均norm、エンコーダから伝送される現在フレームがトランジェントであるか否かを示すトランジェント・フラグ、現在フレームが時間ドメイン符号化であるか、周波数ドメイン符号化であるかを示す符号化モード、そしてgood frameに係わるスペクトル係数を現在フレームの値にアップデートして保存する。
図９は、本発明に適用された帯域分割の例を示したものである。４８ｋＨｚの全帯域（fullband）の場合、２０ｍｓサイズのフレームについて、５０％のオーバーラッピングを支援し、ＭＤＣＴを適用する場合、符号化するスペクトル係数の個数は、９６０個になる。もし２０ｋＨｚまで符号化する場合、符号化されるスペクトル係数の個数は、８００個になる。
図９において、Ａ部分は、狭帯域（narrowband）に該当し、０〜３．２ｋＨｚまで支援し、帯域当たり８個のサンプルを利用して、全１６個のサブバンドに分割した例である。Ｂ部分は、広帯域（wideband）を支援するために、狭帯域に追加される帯域に該当し、３．２〜６．４ｋＨｚまで追加して支援し、帯域当たり１６個のサンプルを利用して、全８個のサブバンドに分割した例である。Ｃ部分は、超広帯域（super-wideband）を支援するために、広帯域に追加される帯域に該当し、６．４〜１３．６ｋＨｚまで追加して支援し、帯域当たり２４個のサンプルを利用して、全１２個のサブバンドに分割した例である。Ｄ部分は、全帯域（fullband）を支援するために、超広帯域に追加される帯域に該当し、１３．６〜２０ｋＨｚまで追加して支援し、帯域当たり３２個のサンプルを利用して、全８個のサブバンドに分割した例である。
サブバンドに分割された信号を符号化する方式は、多様なものがある。スペクトルのエンベロープを符号化するためには、帯域別エネルギー、スケールファクタまたはnormなどを利用することができる。スペクトルのエンベロープをまず符号化した後、帯域別微細構造（fine structure）、すなわち、スペクトル係数を符号化することができる。実施形態によれば、帯域別normを利用して、全体帯域のエンベロープを符号化することができる。normは、下記数式（１）を介して求められる。
Figure 2016184182
 ここで、normに該当する値は、ｇｂであり、log scaleのｎｂが、実際に量子化される。量子化されたｎｂを利用して、量子化されたｇｂ値を求め、本来の入力信号ｘｉを、量子化されたｇｂ値で割れば、ｙｉ値が求められ、そのｙｉ値に対して、微細構造量子化過程が遂行される。
図１０は、本発明に適用された線形回帰分析と非線形回帰分析との概念を示したものであり、norm平均は、多くの帯域をまとめて求められた平均norm値であり、回帰分析が適用される対象である。以前フレームの平均norm値について、量子化されたｇｂ値を使用すれば、線形回帰分析になって、ログスケールである量子化されたｎｂ値を使用すれば、非線形回帰分析になる。その理由は、ログスケールでの線形値は、実際には線形値であるからである。回帰分析に使用される以前正常フレームの個数を意味するＰＧＦ（previous good frame）数は、可変的に設定される。
線形回帰分析の一例は、下記数式（２）のように示すことができる。
Figure 2016184182
 このように、一次方程式を使用する場合、ａ及びｂを求めれば、今後の推移を予測することができる。数式（２）で、ａ，ｂ値は、逆行列によって求めることができる。簡単に逆行列を求める方式は、Gauss−Jordan eliminationを利用することができる。
非線形回帰分析の一例は、下記数式（３）のように示すことができる。
Figure 2016184182
 ここで、ａ及びｂを求めれば、今後の推移を予測することができる。ここで、ｌｎ値はｎｂ値を利用して置き換えることができる。
図１１は、本発明において回帰分析を適用するためにグルーピングされたサブバンド構造の一例を示したものである。図１１を参照すれば、最初の領域は、８個の帯域が１つのグループになり、平均norm値を求め、以前フレームについて求められたグルーピングされた平均norm値を利用して、エラーフレームのグルーピングされた平均norm値を予測する。各帯域別に、具体的なバンドの使用例は、図１２ないし図１４のように示すことができる。
図１２は、７．６ｋＨｚまで支援する広帯域（wideband）符号化のために回帰分析を適用する場合、グルーピングされたサブバンド構造の例を示したものである。図１３は、１３．６ｋＨｚまで支援する超広帯域（super-wideband）符号化のために回帰分析を適用する場合、グルーピングされたサブバンド構造の例を示したものである。図１４は、２０ｋＨｚまで支援する全帯域（fullband）符号化のために回帰分析を適用する場合、グルーピングされたサブバンド構造の例を示したものである。
グルーピングされたサブバンドで求められたグルーピングされた平均norm値は,１つのベクトルを形成し、そのベクトルを,グルーピングされたnormの平均ベクトル（average vector of the grouped norm）とする。グルーピングされたnormの平均ベクトルを利用して、図１０で述べた行列式に代入し、勾配及びｙ切片にそれぞれ該当するａ値及びｂ値を求めることができる。
図１５Ａないし図１５Ｃは、１６ｋＨｚまで支援し、帯域拡張（ＢＷＥ）を使用する場合、超広帯域（super-wideband）について回帰分析を適用するためにグルーピングされたサブバンド構造の例を示したものである。
超広帯域で、２０ｍｓのフレームサイズを、５０％オーバーラッピングしてＭＤＣＴを行えば、全６４０個のスペクトル係数が得られる。実施形態では、コア（core）部分とＢＷＥ部分とを分離してグルーピングされたサブバンドを決定することができる。ここで、最初の開始部分からＢＷＥが始める部分までを、コーダ符号化という。そのとき、コア部分とＢＷＥ部分とで使用されるスペクトル・エンベロープを示す方式は異なる。例えば、コア部分では、norm値またはスケールファクタなどを利用することができ、同様に、ＢＷＥ部分でも、norm値またはスケールファクタなどを利用することができるが、コア部分とＢＷＥ部分とで、互いに異なるものを使用しても差し支えない。
図１５Ａは、コア符号化に多くのビットが使用された場合の例であり、図１５Ｂ及び図１５Ｃに行きつつ、コア符号化に割り当てられるビットが少なくなる。ＢＷＥ部分は、各グルーピングされたサブバンドの例であり、各サブバンドの数字は、スペクトル係数の個数を示す。スペクトル・エンベロープのnormを利用する場合、回帰分析を利用したフレームエラー隠匿アルゴリズムは、次の通りである。まず、回帰分析は、ＢＷＥ部分に該当するグルーピングされた平均norm値を利用してメモリを更新する。コア部分と独立して、以前フレームのＢＷＥ部分のグルーピングされた平均norm値を利用して、回帰分析を行い、現在フレームのグルーピングされた平均norm値を予測する。
図１６Ａないし図１６Ｃは、次の正常フレームの時間信号を利用したオーバーラップ・アンド・アド方式の例を示したものである。
図１６Ａは、以前フレームがエラーフレームではない場合、以前フレームを利用して、反復や利得スケーリングを行う方法について説明する。一方、図１６Ｂを参照すれば、さらなる遅延を使用しないように、オーバーラッピングを介してまだ復号化されていない部分についてのみ、次の正常フレームである現在フレームで復号化された時間ドメイン信号を、過去に反復しながらオーバーラッピングを行い、それに加え、利得スケーリングを行う。反復信号の大きさは、オーバーラッピングされる部分の大きさより小さいか、あるいはそれと同じ値が選択される。一実施形態によれば、オーバーラッピングされる部分の大きさは、１３＊Ｌ／２０でもある。ここで、Ｌは、例えば、狭帯域（narrowband）である場合には、１６０、広帯域（wideband）である場合には、３２０、超広帯域（super-wideband）である場合には、６４０、全帯域（fullband）である場合には、９６０である。
一方、時間オーバーラッピング過程に使用される信号を導出するために次、の正常フレームの時間ドメイン信号を、反復を介して求める方式は、以下の通りである。
図１６Ｂにおいて、ｎ＋２フレームの未来部分に表示された１３＊Ｌ／２０サイズのブロックを、ｎ＋１フレームの同一位置に該当する未来部分にコピーし、既存値を置き換えならばスケールを調整する。ここで、スケーリングされる値の例は、−３ｄＢである。コピーするとき、以前ｎ＋１フレームとの不連続性をなくすために、最初の３＊Ｌ／２０サイズについては、以前フレーム値である図１６Ｂのｎ＋１フレームで得られた時間ドメイン信号と、未来部分でコピーされた信号とについて、線形的にオーバーラッピングを行う。その過程を介して、最終的に、オーバーラッピングのための信号が得られ、修正されたｎ＋１信号とｎ＋２信号とがオーバーラッピングされれば、最終Ｎ＋２フレームに係わる時間ドメイン信号が出力される。
一方、他の例として、図１６Ｃを参照すれば、伝送されたビットストリームは、復号化過程を介して、「ＭＤＣＴ−domain decoded Spectrum」を構成する。例えば、５０％のオーバーラッピングを使用する場合、実際パラメータの個数は、フレームサイズの２倍になる。復号化されたスペクトル係数に対して逆変換を行えば、同一サイズの時間ドメイン信号が生成され、時間ドメイン信号に対して、「Time windowing」過程を遂行し、ウィンドウイングされた信号（ａｕOut）を生成する。ウィンドウイングされた信号に対して、「Time Overlap-and-add」過程を遂行し、最終「Time Output」を生成する。フレームｎを基準とするとき、以前フレームでオーバーラッピングがなされていない部分（OldａｕOut）は、保存されて次のフレームで使用される。
図１７は、本発明の一実施形態によるマルチメディア機器の構成を示したブロック図である。図１７に図示されたマルチメディア機器１７００は、通信部１７１０と復号化モジュール１７３０とを含んでもよい。また、復号化の結果として得られる復元されたオーディオ信号の用途によって、復元されたオーディオ信号を保存する保存部１７５０をさらに含んでもよい。また、マルチメディア機器１７００は、スピーカ１７７０をさらに含んでもよい。すなわち、保存部１７５０とスピーカ１７７０は、オプションとして具備される。一方、図１７に図示されたマルチメディア機器１７００は、任意の符号化モジュール（図示せず）、例えば、一般的な符号化機能を遂行する符号化モジュールをさらに含んでもよい。ここで、復号化モジュール１７３０は、マルチメディア機器１７００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１つの以上のプロセッサ（図示せず）でもって具現される。
図１７を参照すれば、通信部１７１０は、外部から提供される符号化されたビットストリームと、オーディオ信号のうち少なくとも一つとを受信したり、あるいは復号化モジュール１７３０の復号化の結果として得られる復元されたオーディオ信号と、符号化の結果として得られるオーディオ・ビットストリームのうち少なくとも一つとを送信することができる。
通信部１７１０は、無線インターネット、無線イントラネット、無線電話網、無線ＬＡＮ（local area network）、Ｗｉ−Ｆｉ（wireless fidelity）、ＷＦＤ（Ｗｉ−Ｆｉ direct）、３Ｇ（generation）、４Ｇ（４generation）、ブルートゥース（（登録商標）Bluetooth）、赤外線通信（ＩｒＤＡ：infrared data association）、ＲＦＩＤ（radio frequency identification、ＵＷＢ（ultra-wideband）、ジグビー（（登録商標）Zigbee）、ＮＦＣ（near field communication）のような無線ネットワーク、または有線電話網、有線インターネットのような有線ネットワークを介して、外部のマルチメディア機器とデータを送受信することができるように構成される。
復号化モジュール１７３０は、前述の本発明の多様な実施形態によるオーディオ復号化装置を利用して具現される。
保存部１７５０は、復号化モジュール１７３０で生成される復元されたオーディオ信号を保存することができる。一方、保存部１７５０は、マルチメディア機器１７００の運用に必要な多様なプログラムを保存することができる。
スピーカ１７７０は、復号化モジュール１７３０で生成される復元されたオーディオ信号を外部に出力することができる。
図１８は、本発明の他の実施形態によるマルチメディア機器の構成を示したブロック図である。図１８に図示されたマルチメディア機器１８００は、通信部１８１０、符号化モジュール１８２０及び復号化モジュール１８３０を含んでもよい。また、符号化の結果として得られるオーディオ・ビットストリーム、あるいは復号化の結果として得られる復元されたオーディオ信号の用途によって、オーディオ・ビットストリームあるいは復元されたオーディオ信号を保存する保存部１８４０をさらに含んでもよい。また、マルチメディア機器１８００は、マイクロホン１８５０あるいはスピーカ１８６０をさらに含んでもよい。ここで、符号化モジュール１８２０と復号化モジュール１８３０は、マルチメディア機器１８００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも一つ以上のプロセッサ（図示せず）でもって具現される。図１８に図示された構成要素のうち、図１７に図示されたマルチメディア機器１７００の構成要素と重複される部分については、その詳細な説明を省略する。
図１８において、符号化モジュール１８２０は、公知の多様な符号化アルゴリズムを搭載し、オーディオ信号に対して符号化を行い、ビットストリームを生成することができる。符号化アルゴリズムとしては、ＡＭＲ−ＷＢ（adaptive multi-rate-wideband）、ＭＰＥＧ−２ ＆ ４ＡＡＣ（advanced audio coding）などを挙げることができるが、それらに限定されるものではない。
保存部１８４０は、符号化モジュール１８２０で生成される符号化されたビットストリームを保存することができる。一方、保存部１８４０は、マルチメディア機器１８００の運用に必要な多様なプログラムを保存することができる。
マイクロホン１８５０は、ユーザあるいは外部のオーディオ信号を、符号化モジュール１８２０に提供することができる。
図１７及び図１８に図示されたマルチメディア機器１７００，１８００には、電話、モバイルフォンなどを含む音声通信専用端末、ＴＶ（television）、ＭＰ３プレーヤなどを含む放送あるいは音楽の専用装置、あるいは音声通信専用端末と、放送あるいは音楽の専用装置との融合端末装置が含まれるが、それらに限定されるものではない。また、マルチメディア機器１７００，１８００は、クライアント、サーバ、あるいはクライアントとサーバとの間に配置される変換器として使用される。
一方、マルチメディア機器１７００，１８００が、例えば、モバイルフォンである場合、図示されていないが、キーパッドのようなユーザ入力部、ユーザ・インターフェース、あるいはモバイルフォンで処理される情報をディスプレイするディスプレイ部、モバイルフォンの全般的な機能を制御するプロセッサをさらに含んでもよい。また、モバイルフォンは、撮像機能を有するカメラ部と、モバイルフォンで必要とする機能を遂行する少なくとも一つ以上の構成要素とをさらに含んでもよい。
一方、マルチメディア機器１７００，１８００が、例えば、ＴＶである場合、図示されていないが、キーパッドのようなユーザー入力部、受信された放送情報をディスプレイするディスプレイ部、ＴＶの全般的な機能を制御するプロセッサをさらに含んでもよい。また、ＴＶは、ＴＶで必要とする機能を遂行する少なくとも一つ以上の構成要素をさらに含んでもよい。
前記実施形態による方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令、あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全種の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ（compact disc）−ＲＯＭ（read-only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ（random-access memory）、フラッシュメモリのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードを含んでもよい。
以上、本発明の一実施形態は、たとえ限定された実施形態と図面とによって説明したにしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、そのような記載から、多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲にしめされており、それと均等または等価的変形は、いずれも本発明技術的思想の範疇に属するものである。
上記の実施形態につき以下の付記を残しておく。
（付記１）
エラーフレームをなす第１複数個の帯域から構成された複数個のグループについて、グループ単位で回帰分析を行ってパラメータを予測する段階と、
グループ別に予測されたパラメータを利用して、前記エラーフレームのエラーを隠匿する段階と、を含むフレームエラー隠匿方法。
（付記２）
前記予測されたパラメータは、各グループに含まれる第２複数個の帯域の平均エネルギーであることを特徴とする付記１に記載のフレームエラー隠匿方法。
（付記３）
前記パラメータ予測段階は、
前記第１複数個の帯域から、前記複数個のグループを構成する段階と、
前記エラーフレームの信号特性を判断する段階と、
前記判断段階の結果によって、回帰分析に使用される以前正常フレームの個数を決定し、決定された個数の以前正常フレームを利用して、グループ単位で前記回帰分析を行う段階と、を含むことを特徴とする付記１に記載のフレームエラー隠匿方法。
（付記４）
前記信号特性判断段階は、エンコーダから伝送されるトランジェント・フラグを利用して、以前フレームがトランジェントである場合、前記エラーフレームをトランジェントと判断することを特徴とする付記３に記載のフレームエラー隠匿方法。
（付記５）
前記信号特性判断段階は、以前正常フレームまで求められる移動平均エネルギーと、前記以前正常フレームと、前記移動平均エネルギーとの差エネルギーと、を利用して、前記差エネルギーと、所定のしきい値との比較結果により、前記エラーフレームをトランジェントと判断することを特徴とする付記３に記載のフレームエラー隠匿方法。
（付記６）
前記信号特性判断段階は、エンコーダから伝送されるトランジェント・フラグ、以前正常フレームまで求められる移動平均エネルギーと、前記エラーフレームと前記以前正常フレームとの差エネルギーと、を利用して遂行されることを特徴とする付記３に記載のフレームエラー隠匿方法。
（付記７）
前記エラー隠匿段階は、
前記グループ別に予測されたパラメータと、以前正常フレームで対応するグループのパラメータとの利得を求める段階と、
前記エラーフレームのパラメータを生成するために、前記求められた利得を利用して、前記以前正常フレームの各帯域のパラメータをスケーリングする段階と、を含むことを特徴とする付記１に記載のフレームエラー隠匿方法。
（付記８）
前記スケーリング段階では、前記エラーフレームが、バーストエラー区間を形成する場合、前記エラーフレームが、トランジェントであるか否かということにより、前記バーストエラー区間のうち一部について固定された値にスケーリングダウンさせることを特徴とする付記７に記載のフレームエラー隠匿方法。
（付記９）
前記スケーリング段階では、前記エラーフレームが、バーストエラー区間を形成する場合、前記以前正常フレームの信号特性により、前記バーストエラー区間のうち一部についてスケーリングダウンさせることを特徴とする付記７に記載のフレームエラー隠匿方法。
（付記１０）
前記スケーリング段階では、前記エラーフレームが、バーストエラー区間を形成する場合、前記以前正常フレームの信号特性により、前記バーストエラー区間のうち一部についてランダム符号を適用することを特徴とする付記７に記載のフレームエラー隠匿方法。
（付記１１）
正常フレームについて復号化を行ってスペクトル係数を獲得する段階と、
エラーフレームをなす第１複数個の帯域から構成された複数個のグループについて、グループ単位で回帰分析を行ってパラメータを予測し、グループ別に予測されたパラメータを利用して、前記エラーフレームのスペクトル係数を獲得する段階と、
前記正常フレームあるいは前記エラーフレームの復号化されたスペクトル係数に対して時間ドメインに変換し、オーバーラップ処理及びアド処理を行って時間ドメインの信号に復元する段階と、を含むオーディオ復号化方法。
（付記１２）
前記オーバーラップ処理及びアド処理は、現在フレームが正常フレームであり、以前の連続したエラーフレームの個数が２個以上であり、前記以前フレームがエラーフレームであり、前記最後の正常フレームの符号化モードが周波数ドメインである場合、前記現在フレームは、次の正常フレームの時間ドメイン信号とオーバーラッピングを行うことを特徴とする付記１１に記載のオーディオ復号化方法。
１１０ オーディオ符号化装置
１１２ 前処理部
１１４ 周波数ドメイン符号化部
１１６ パラメータ符号化部
１３２ パラメータ復号化部
１３４ 周波数ドメイン復号化部
１３６ 後処理部
２１３ モード決定部
２１４ 周波数ドメイン符号化部
２１５ 時間ドメイン符号化部
３１３ ＬＰ分析部
３３６ ＬＰ合成部

Claims (10)

  1. 少なくとも１つのプロセッサを含み、
    前記プロセッサは、
    複数の以前正常フレームの各グループのパラメータに対して回帰分析を行うことによって、エラーフレームの各グループのパラメータを予測し、
    前記エラーフレームの予測された各グループのパラメータと前記複数の以前正常フレームの各グループのパラメータとの間の利得を獲得し、
    グループ単位で前記利得に基づき前記以前正常フレームのスペクトル係数から前記エラーフレームのスペクトル係数を生成して前記エラーフレームを隠匿し、
    前記複数の以前正常フレームの各グループと前記エラーフレームの各グループは、対応する複数のサブバンドとを含み、
    １つのグループに含まれる複数のサブバンドは、同じ利点を持つ、
    ことを特徴とするフレームエラー隠匿装置。
  2. 前記予測された各グループのパラメータは、前記複数の以前正常フレームの各グループの平均エネルギーから得られる、
    ことを特徴とする請求項１に記載のフレームエラー隠匿装置。
  3. 前記プロセッサは、
    前記エラーフレームの信号特性を判断し、
    前記判断する段階の結果によって、前記回帰分析に使用される以前正常フレームの個数を決定し、決定された個数の以前正常フレームを利用して、グループ単位で前記回帰分析を行うことにより、 各グループのパラメータを予測する、
    ことを特徴とする請求項１に記載のフレームエラー隠匿装置。
  4. 前記プロセッサは、
    エンコーダから伝送されるトランジェント・フラグを利用して、以前フレームがトランジェントである場合、前記エラーフレームをトランジェントと判断することにより、前記信号特性を判断する、
    ことを特徴とする請求項３に記載のフレームエラー隠匿装置。
  5. 前記プロセッサは、
    以前正常フレームまで求められる移動平均エネルギーと、前記以前正常フレームのエネルギーと、前記移動平均エネルギーとの差エネルギーと、を利用して、前記差エネルギーと、所定のしきい値との比較結果により、前記エラーフレームをトランジェントと判断することにより、前記信号特性を判断する、
    ことを特徴とする請求項３に記載のフレームエラー隠匿装置。
  6. 前記プロセッサは、
    エンコーダから伝送されるトランジェント・フラグと、以前正常フレームまで求められる移動平均エネルギーと、前記以前正常フレームのエネルギーと前記移動平均エネルギーとの差エネルギーと、を利用して前記信号特性を判断する、
    ことを特徴とする請求項３に記載のフレームエラー隠匿装置。
  7. 前記プロセッサは、
    グループ単位で前記利得を利用して、前記以前正常フレームの各サブバンドのパラメータをスケーリングすることにより、前記エラーフレームを隠匿する、
    ことを特徴とする請求項１に記載のフレームエラー隠匿装置。
  8. 前記プロセッサは、
    前記エラーフレームが、連続して発生する場合、前記エラーフレームが、トランジェントであるか否かということにより、連続して発生したエラーフレームのうち一部について固定された値にスケーリングダウンさせることで、各サブバンドのパラメータをスケーリングする、
    ことを特徴とする請求項７に記載のフレームエラー隠匿装置。
  9. 前記プロセッサは、
    前記エラーフレームが、連続して発生する場合、前記以前正常フレームの信号特性により、連続して発生したエラーフレームのうち一部について生成されたスペクトル係数をスケーリングダウンさせることで、各サブバンドのパラメータをスケーリングする、
    ことを特徴とする請求項７に記載のフレームエラー隠匿装置。
  10. 前記プロセッサは、
    前記エラーフレームが、連続して発生する場合、前記以前正常フレームの信号特性により、前記連続して発生したエラーフレームのうち一部について生成されたスペクトル係数に符号をランダムに適用することにより、各サブバンドのパラメータをスケーリングする、
    ことを特徴とする請求項７に記載のフレームエラー隠匿装置。
JP2016139585A 2011-10-21 2016-07-14 フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置 Active JP6259024B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161549953P 2011-10-21 2011-10-21
US61/549,953 2011-10-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014537002A Division JP5973582B2 (ja) 2011-10-21 2012-10-22 フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017235512A Division JP6546256B2 (ja) 2011-10-21 2017-12-07 フレームエラー隠匿方法及びその装置

Publications (2)

Publication Number Publication Date
JP2016184182A true JP2016184182A (ja) 2016-10-20
JP6259024B2 JP6259024B2 (ja) 2018-01-10

Family

ID=48141574

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014537002A Active JP5973582B2 (ja) 2011-10-21 2012-10-22 フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置
JP2016139585A Active JP6259024B2 (ja) 2011-10-21 2016-07-14 フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置
JP2017235512A Active JP6546256B2 (ja) 2011-10-21 2017-12-07 フレームエラー隠匿方法及びその装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014537002A Active JP5973582B2 (ja) 2011-10-21 2012-10-22 フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017235512A Active JP6546256B2 (ja) 2011-10-21 2017-12-07 フレームエラー隠匿方法及びその装置

Country Status (9)

Country Link
US (4) US20130144632A1 (ja)
EP (1) EP2770503B1 (ja)
JP (3) JP5973582B2 (ja)
KR (3) KR102070430B1 (ja)
CN (3) CN104011793B (ja)
MX (1) MX338070B (ja)
TR (1) TR201908217T4 (ja)
TW (2) TWI585747B (ja)
WO (1) WO2013058635A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011793B (zh) * 2011-10-21 2016-11-23 三星电子株式会社 帧错误隐藏方法和设备以及音频解码方法和设备
CN103516440B (zh) * 2012-06-29 2015-07-08 华为技术有限公司 语音频信号处理方法和编码装置
CN104995673B (zh) * 2013-02-13 2016-10-12 瑞典爱立信有限公司 帧错误隐藏
WO2014175617A1 (ko) * 2013-04-23 2014-10-30 ㈜ 소닉티어 직접 오디오 채널 데이터 및 간접 오디오 채널 데이터를 이용한 스케일러블 디지털 오디오 인코딩/디코딩 방법 및 장치
PL3011557T3 (pl) 2013-06-21 2017-10-31 Fraunhofer Ges Forschung Urządzenie i sposób do udoskonalonego stopniowego zmniejszania sygnału w przełączanych układach kodowania sygnału audio podczas ukrywania błędów
EP3614381A1 (en) 2013-09-16 2020-02-26 Samsung Electronics Co., Ltd. Signal encoding method and device and signal decoding method and device
CN103646647B (zh) * 2013-12-13 2016-03-16 武汉大学 混合音频解码器中帧差错隐藏的谱参数代替方法及系统
WO2015134579A1 (en) 2014-03-04 2015-09-11 Interactive Intelligence Group, Inc. System and method to correct for packet loss in asr systems
CN107112022B (zh) * 2014-07-28 2020-11-10 三星电子株式会社 用于时域数据包丢失隐藏的方法
EP2980797A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, method and computer program using a zero-input-response to obtain a smooth transition
TWI602172B (zh) * 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
CA3016837C (en) * 2016-03-07 2021-09-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Hybrid concealment method: combination of frequency and time domain packet loss concealment in audio codecs
WO2020169754A1 (en) * 2019-02-21 2020-08-27 Telefonaktiebolaget Lm Ericsson (Publ) Methods for phase ecu f0 interpolation split and related controller
JP7371133B2 (ja) * 2019-06-13 2023-10-30 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 時間反転されたオーディオサブフレームエラー隠蔽
TWI789577B (zh) * 2020-04-01 2023-01-11 同響科技股份有限公司 音訊資料重建方法及系統
CN111726629B (zh) * 2020-06-09 2022-02-11 绍兴图信科技有限公司 基于多元线性回归的smvq压缩数据隐藏方法
KR102492212B1 (ko) * 2020-10-19 2023-01-27 주식회사 딥히어링 음성 데이터의 품질 향상 방법, 및 이를 이용하는 장치
CN113035205B (zh) * 2020-12-28 2022-06-07 阿里巴巴（中国）有限公司 音频丢包补偿处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099096A (ja) * 2001-09-26 2003-04-04 Toshiba Corp オーディオ復号処理装置及びこの装置に用いられる誤り補償装置
JP2010511201A (ja) * 2006-11-28 2010-04-08 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置
JP2011075936A (ja) * 2009-09-30 2011-04-14 Panasonic Corp オーディオエンコーダ及びデコーダ
JP2014531056A (ja) * 2011-10-21 2014-11-20 サムスン エレクトロニクスカンパニー リミテッド フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
US5636231A (en) * 1995-09-05 1997-06-03 Motorola, Inc. Method and apparatus for minimal redundancy error detection and correction of voice spectrum parameters
JP2776775B2 (ja) * 1995-10-25 1998-07-16 日本電気アイシーマイコンシステム株式会社 音声符号化装置及び音声復号化装置
US6137915A (en) * 1998-08-20 2000-10-24 Sarnoff Corporation Apparatus and method for error concealment for hierarchical subband coding and decoding
US6327689B1 (en) * 1999-04-23 2001-12-04 Cirrus Logic, Inc. ECC scheme for wireless digital audio signal transmission
DE19921122C1 (de) * 1999-05-07 2001-01-25 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
JP4464488B2 (ja) * 1999-06-30 2010-05-19 パナソニック株式会社 音声復号化装置及び符号誤り補償方法、音声復号化方法
US6658112B1 (en) * 1999-08-06 2003-12-02 General Dynamics Decision Systems, Inc. Voice decoder and method for detecting channel errors using spectral energy evolution
FR2813722B1 (fr) * 2000-09-05 2003-01-24 France Telecom Procede et dispositif de dissimulation d'erreurs et systeme de transmission comportant un tel dispositif
US7031926B2 (en) * 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
DE60139144D1 (de) * 2000-11-30 2009-08-13 Nippon Telegraph & Telephone Audio-dekodierer und audio-dekodierungsverfahren
US7069208B2 (en) * 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
EP1428206B1 (en) * 2001-08-17 2007-09-12 Broadcom Corporation Bit error concealment methods for speech coding
US7590525B2 (en) * 2001-08-17 2009-09-15 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
JP2004361731A (ja) * 2003-06-05 2004-12-24 Nec Corp オーディオ復号装置及びオーディオ復号方法
SE527669C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Förbättrad felmaskering i frekvensdomänen
JP4744438B2 (ja) * 2004-03-05 2011-08-10 パナソニック株式会社 エラー隠蔽装置およびエラー隠蔽方法
JP4486387B2 (ja) * 2004-03-19 2010-06-23 パナソニック株式会社 エラー補償装置およびエラー補償方法
US8725501B2 (en) * 2004-07-20 2014-05-13 Panasonic Corporation Audio decoding device and compensation frame generation method
RU2404506C2 (ru) * 2004-11-05 2010-11-20 Панасоник Корпорэйшн Устройство масштабируемого декодирования и устройство масштабируемого кодирования
KR100686174B1 (ko) * 2005-05-31 2007-02-26 엘지전자 주식회사 오디오 에러 은닉 방법
KR100736041B1 (ko) * 2005-06-30 2007-07-06 삼성전자주식회사 에러 은닉 방법 및 장치
KR100723409B1 (ko) 2005-07-27 2007-05-30 삼성전자주식회사 프레임 소거 은닉장치 및 방법, 및 이를 이용한 음성복호화 방법 및 장치
US8620644B2 (en) * 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
KR101292771B1 (ko) * 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
CN101046964B (zh) * 2007-04-13 2011-09-14 清华大学 基于重叠变换压缩编码的错误隐藏帧重建方法
CN101399040B (zh) * 2007-09-27 2011-08-10 中兴通讯股份有限公司 一种帧错误隐藏的谱参数替换方法
CN101207665B (zh) 2007-11-05 2010-12-08 华为技术有限公司 一种衰减因子的获取方法
CN100550712C (zh) * 2007-11-05 2009-10-14 华为技术有限公司 一种信号处理方法和处理装置
WO2009084918A1 (en) * 2007-12-31 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8301440B2 (en) * 2008-05-09 2012-10-30 Broadcom Corporation Bit error concealment for audio coding systems
EP2289065B1 (en) * 2008-06-10 2011-12-07 Dolby Laboratories Licensing Corporation Concealing audio artifacts
WO2009150290A1 (en) * 2008-06-13 2009-12-17 Nokia Corporation Method and apparatus for error concealment of encoded audio data
DE102008042579B4 (de) * 2008-10-02 2020-07-23 Robert Bosch Gmbh Verfahren zur Fehlerverdeckung bei fehlerhafter Übertragung von Sprachdaten
EP2458585B1 (en) * 2010-11-29 2013-07-17 Nxp B.V. Error concealment for sub-band coded audio signals
CA2827000C (en) * 2011-02-14 2016-04-05 Jeremie Lecomte Apparatus and method for error concealment in low-delay unified speech and audio coding (usac)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099096A (ja) * 2001-09-26 2003-04-04 Toshiba Corp オーディオ復号処理装置及びこの装置に用いられる誤り補償装置
JP2010511201A (ja) * 2006-11-28 2010-04-08 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置
JP2011075936A (ja) * 2009-09-30 2011-04-14 Panasonic Corp オーディオエンコーダ及びデコーダ
JP2014531056A (ja) * 2011-10-21 2014-11-20 サムスン エレクトロニクスカンパニー リミテッド フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置

Also Published As

Publication number Publication date
CN107103910B (zh) 2020-09-18
KR102070430B1 (ko) 2020-01-28
JP5973582B2 (ja) 2016-08-23
US10984803B2 (en) 2021-04-20
JP2014531056A (ja) 2014-11-20
TW201337912A (zh) 2013-09-16
JP2018041109A (ja) 2018-03-15
KR20200013253A (ko) 2020-02-06
US20200066284A1 (en) 2020-02-27
MX2014004796A (es) 2014-08-21
US10468034B2 (en) 2019-11-05
TW201725581A (zh) 2017-07-16
KR102194558B1 (ko) 2020-12-23
EP2770503A4 (en) 2015-09-30
JP6546256B2 (ja) 2019-07-17
WO2013058635A3 (ko) 2013-06-20
EP2770503B1 (en) 2019-05-29
KR102328123B1 (ko) 2021-11-17
TWI585747B (zh) 2017-06-01
CN104011793B (zh) 2016-11-23
TR201908217T4 (tr) 2019-06-21
US20210217427A1 (en) 2021-07-15
KR20200143348A (ko) 2020-12-23
US20190172469A1 (en) 2019-06-06
US20130144632A1 (en) 2013-06-06
CN107068156A (zh) 2017-08-18
US11657825B2 (en) 2023-05-23
WO2013058635A2 (ko) 2013-04-25
KR20130044194A (ko) 2013-05-02
CN107103910A (zh) 2017-08-29
CN104011793A (zh) 2014-08-27
TWI610296B (zh) 2018-01-01
EP2770503A2 (en) 2014-08-27
JP6259024B2 (ja) 2018-01-10
MX338070B (es) 2016-04-01
CN107068156B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
JP6259024B2 (ja) フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置
KR102117051B1 (ko) 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
JP6346322B2 (ja) フレームエラー隠匿方法及びその装置、並びにオーディオ復号化方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171207

R150 Certificate of patent or registration of utility model

Ref document number: 6259024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250