JP2016530548A - エネルギー調整モジュールを備えた帯域幅拡大モジュールを有するオーディオ復号器 - Google Patents

エネルギー調整モジュールを備えた帯域幅拡大モジュールを有するオーディオ復号器 Download PDF

Info

Publication number
JP2016530548A
JP2016530548A JP2016520479A JP2016520479A JP2016530548A JP 2016530548 A JP2016530548 A JP 2016530548A JP 2016520479 A JP2016520479 A JP 2016520479A JP 2016520479 A JP2016520479 A JP 2016520479A JP 2016530548 A JP2016530548 A JP 2016530548A
Authority
JP
Japan
Prior art keywords
audio
signal
current
audio frame
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016520479A
Other languages
English (en)
Other versions
JP6228298B2 (ja
Inventor
ジェレミー・レコンテ
ファビアン・バウアー
ラルフ・シュペルシュナイダー
アルトゥル・トリットハルト
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2016530548A publication Critical patent/JP2016530548A/ja
Application granted granted Critical
Publication of JP6228298B2 publication Critical patent/JP6228298B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

オーディオフレームを含むビットストリームからオーディオ信号を生成するように構成されているオーディオ復号器が提供される。このオーディオ復号器は、ビットストリームから直接復号されたコア帯域オーディオ信号を導出するように構成されているコア帯域復号モジュールと、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するように構成されている帯域幅拡大モジュールであって、帯域幅拡大オーディオ信号が、少なくとも１つの周波数帯域を有する周波数領域信号に基づいている帯域幅拡大モジュールと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるように構成されている結合器とを備えている。帯域幅拡大モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも１つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数であって、先行するオーディオフレーム又はビットストリームからの利得係数から導出される現在の利得係数に基づいて、及び少なくとも１つの周波数帯域の推定信号エネルギーであって、コア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される推定信号エネルギーに基づいて設定される。【選択図】図４

Description

ＳＢＲ（スペクトル帯域複製）は、他の帯域幅拡大技法と同様に、コア符号化器段階の上に、オーディオ信号の高スペクトル帯域部分を符号化及び復号するように意図されている。ＳＢＲは[ＩＳＯ０９]において標準化されており、ＭＰＥＧ−４ Profile ＨＥ−ＡＡＣにおけるＡＡＣとともに使用される。ＭＰＥＧ−４ Profile ＨＥ−ＡＡＣは、様々なアプリケーション規格、例えば３ＧＰＰ[３ＧＰ１２ａ]、ＤＡＢ＋[ＥＢＵ１０]及びＤＲＭ[ＥＢＵ１２]に利用されている。
ＡＡＣと協働する現行の技術水準のＳＢＲ復号は、[ＩＳＯ０９,section 4.6.18]に記載されている。
図１は分析フィルタバンク、合成フィルタバンク、ＳＢＲデータ復号、ＨＦ生成器及びＨＦ調整器を備えている現行の技術水準のＳＢＲ復号器を示す。
現行の技術水準のＳＢＲ復号において、コア符号化器の出力は元の信号のローパスフィルタリングされた表現である。これは、ＳＢＲ復号器のＱＭＦ分析フィルタバンクに対する入力ｘpcm_inである。
このフィルタバンクの出力ｘQMF_anaはＨＦ生成器に渡され、そこでパッチングが行われる。パッチングは、基本的に、低帯域スペクトルを高帯域に上げて複製することである。
パッチングされたスペクトルｘHF_patchedは、次に、ＳＢＲデータ復号から得られる高帯域のスペクトル情報（エンベロープ）とともにＨＦ調整器に与えられる。エンベロープ情報はハフマン復号され、その後、差動復号され、最後に、エンベロープデータを得るために逆量子化される（図２参照）。得られたエンベロープデータは、特定の時間量、例えば全フレーム又はその一部分、をカバーするスケール係数のセットである。ＨＦ調整器はパッチングされた高帯域のエネルギーを適切に調整し、すべての帯域ｋについて符号化器側における元の高帯域エネルギーと可能な限り良好に一致させる。式１及び図２がこれを解明する。
ｇsbr[ｋ]＝ＥRef[ｋ]／ＥEstAvg[ｌ]
ＥAdj[ｋ]＝ＥEst[ｋ]×ｇsbr[ｋ] （１）
式中、
ＥRef[ｋ]はＳＢＲビットストリーム内で符号化形式で送信されている１つの帯域ｋのエネルギーを示す。
ＥEst[ｋ]はＨＦ生成器によってパッチングされた１つの高帯域ｋからのエネルギーを示す。
ＥEstAvg[ｌ]は、
Figure 2016530548
と
Figure 2016530548
との間の帯域の範囲として定義されている１つのスケール係数帯域ｌの内部の平均化された高帯域エネルギーを示す。すなわち、
Figure 2016530548
である。
ＥAdj[ｋ]は、利得sbrを使用してＨＦ調整器によって調整された、１つの高帯域ｋからのエネルギーを示す。
ｇsbr[ｋ]は、式（１）に示す除算からもたらされる、１つの利得係数を示す。
合成ＱＭＦフィルタバンクは、処理されたＱＭＦサンプルｘHF_adjをＰＣＭオーディオｘpcm_outに復号する。
再構築されたスペクトルにノイズの欠落があり、そのノイズは元の高帯域には存在していたがＨＦ生成器によってパッチングされなかったものである場合、各帯域ｋについて、一定のノイズフロア（noise floor）Ｑによっていくらかのノイズが追加される可能性がある。
Q[k]=EnergyAdditional_Noise[k]/EnergyHF_Generated[k] （３）
さらに、現行の技術水準のＳＢＲは、一定の限界内のＳＢＲフレーム境界及びフレームあたり複数のエンベロープを動かすことを可能にする。
ＣＥＬＰ／ＨＶＸＣを伴うＳＢＲ復号が、[ＥＢＵ１２,section 5.6.2.２]に記載されている。ＤＲＭにおけるＣＥＬＰ／ＨＶＸＣ＋ＳＢＲ復号器は、section 1.1.1に記載されているＨＥＡＡＣにおける現行の技術水準のＳＢＲに密接に関連する。基本的に、図１が当てはまる。
エンベロープ情報の復号は、[ＥＢＵ１２,section 5.6.2.2.4]に記載されているように、音声状信号のスペクトル特性に適合されている。
通常のＡＭＲ−ＷＢ復号において、高帯域拡大はホワイトノイズｕHB1（ｎ）を生成することによってなされる。高帯域励振の電力は、より低い帯域の励振ｕ2（ｎ）の電力に等しくなるように設定され、これは次式を意味する。
Figure 2016530548
最終的に、高帯域励振は次式によって求められる。
Figure 2016530548
式中、
Figure 2016530548
は利得係数である。
２３.８５ｋｂｉｔ／ｓモードにおいて、
Figure 2016530548
は受信利得インデックス（サイド情報）から復号される。
６.６０、８.８５、１２.６５、１４.２５、１５.８５、１８.２５、１９.８５及び２３.０５ｋｂｉｔ／ｓモードにおいて、ｇHBは、[０.１,１.０]によって制限される発声情報を使用して推定される。最初に、合成の傾斜ｅtiltが求められる。
Figure 2016530548
式中、
Figure 2016530548
は、４００Ｈｚのカットオフ周波数でハイパスフィルタリングされたより低い帯域の音声合成
Figure 2016530548
である。次に、ｇHBが以下の式によって求められる。
Figure 2016530548
式中、ｇSP＝１―ｅtiltは音声信号の利得であり、ｇBG＝１.２５ｇSPは背景雑音信号の利得であり、ｗSPは、音声区間検出（ＶＡＤ）がオンであるときは１に、オフであるときは０に設定される重み関数である。ｇHBは[０.１,１.０]の間に制限される。高周波数において存在するエネルギーがより少ない有声セグメントの場合、ｅtiltは１に近づき、結果として利得ｇHBはより低くなる。これによって、有声セグメントの場合に生成されるノイズのエネルギーが低減される。
その後、高帯域ＬＰ合成フィルタＡHB（ｚ）が重み付き低帯域ＬＰ合成フィルタから導出される。すなわち、
Figure 2016530548
である。
式中、
Figure 2016530548
は補間されたＬＰ合成フィルタである。
Figure 2016530548
は１２.８ｋＨｚのサンプリングレートで信号を分析して計算されているが、ここでは１６ｋＨｚ信号に使用される。これは、１２.８ｋＨｚ領域内の５.１〜５.６ｋＨｚが１６ｋＨｚ領域内の６.４〜７.０ｋＨｚにマッピングされることを意味する。
次に、ｕHB（ｎ）がＡHB（ｚ）を通じてフィルタリングされる。この高帯域合成ｓHB（ｎ）の出力が、６〜７ｋＨｚの通過帯域を有するバンドパスＦＩＲフィルタＨHB（ｚ）を通じてフィルタリングされる。最後に、ｓHBが合成音声に加えられて、合成出力音声信号が生成される。
ＡＭＲ−ＷＢ＋において、ＨＦ信号は入力信号の（ｆｓ／４）を上回る周波数成分から構成される。ＨＦ信号を低いレートで表すために、帯域幅拡大（ＢＷＥ）手法が利用される。ＢＷＥにおいて、エネルギー情報がスペクトルエンベロープ及びフレームエネルギーの形態で復号器に送信されるが、信号の微細構造は、復号器において、ＬＦ信号内の受信（復号）励振信号から推定される。
ダウンサンプリングされた信号ｓHFのスペクトルは、ダウンサンプリング前の高周波数帯域の折り畳まれたものと考えることができる。ｓHF（ｎ）に対してＬＰ分析が実施されて、この信号のスペクトルエンベロープをモデル化する係数のセットが得られる。一般的に、必要とされるパラメータは、ＬＦ信号よりも少ない。ここでは、次数８のフィルタが使用される。その後、ＬＰ係数がＩＳＰ表現に変換され、送信のために量子化される。
ＨＦ信号の合成は、ある種の帯域幅拡大（ＢＷＥ）メカニズムを実行し、ＬＦ復号器からのいくつかのデータを使用する。これは、ＡＭＲ−ＷＢ音声復号器（上記参照）において使用されるＢＷＥメカニズムの発展である。ＨＦ復号器は図３において詳述されている。
ＨＦ信号は２つのステップにおいて合成される。
１.ＨＦ励振の計算、
２.ＨＦ励振からのＨＦ信号の計算。
ＨＦ励振は、ＬＦ励振信号を、６４サンプルサブフレームベース上のスカラー因子（又は利得）を用いて時間領域内で整形することによって得られる。このＨＦ励振信号は後処理されて出力の「耳鳴り（buzziness）」が低減され、その後、ＨＦ線形予測合成フィルタ１／ＡHF（ｚ）によってフィルタリングされる。その結果がさらに後処理されて、エネルギー変化が平滑化される。さらなる情報については[３ＧＰ０９]を参照されたい。
ＡＡＣを伴うＳＢＲにおけるパケット損失隠蔽（concealment）は３ＧＰＰ ＴＳ ２６.４０２[３ＧＰ１２ａ,section 5.2]に規定されており、その後、ＤＲＭ[ＥＢＵ１２,section 5.6.3.1]及びＤＡＢ[ＥＢＵ１０,section A2]において再使用された。
フレーム損失の場合、フレームあたりのエンベロープの数が１に設定され、最後の有効な受信エンベロープデータが再使用され、すべての隠蔽フレームについて一定の比によってエネルギーが低減される。
その結果もたらされるエンベロープデータがその後、通常の復号プロセスに供給され、その復号プロセスにおいて、ＨＦ調整器がそれらのデータを使用して利得を計算し、計算された利得は、ＨＦ生成器からパッチングされた高帯域を調整するのに使用される。残りのＳＢＲ復号は通常通り行われる。
さらに、符号化ノイズフロアデルタ値が０に設定されており、これによって、デルタ復号ノイズフロアが固定されたままになる。復号プロセスの終わりにおいて、これは、ノイズフロアのエネルギーがＨＦ信号のエネルギーに従うことを意味する。
さらに、正弦波を追加するためのフラグがクリアされる。
現行の技術水準のＳＢＲ隠蔽は復元にも対処する。現行の技術水準のＳＢＲ隠蔽は、不整合のフレーム境界から生じるおそれがあるエネルギーギャップに関して、隠蔽された信号から正確に復号された信号への円滑な遷移を管理する。
ＣＥＬＰ／ＨＶＸＣを伴う現行の技術水準のＳＢＲ隠蔽は、[ＥＢＵ１２,section 5.6.3.2]に記載されており、以下に簡潔に概説する。
破損したフレームが検出されたときはいつでも、所定のデータ値セットがＳＢＲ復号器に与えられる。これによって、「より高い周波数に向かうロールオフを呈する、相対再生レベル（relative playback level）が低い静的な高帯域スペクトルエンベロープ」がもたらされる[ＥＢＵ１２,section 5.6.3.2]。ここで、ＳＢＲ隠蔽は、ＳＢＲ領域における専用フェージング（dedicated fading）を有しない何らかの種類の快適ノイズを挿入する。これによって、聴取者の耳が潜在的に大音量の音響バーストを受けることが回避され、帯域幅が一定であるという印象が保たれる。
Ｇ.７１８のＢＷＥの現行の技術水準の隠蔽は[ＩＴＵ０８,７.１１.１.７.１]に記載されており、以下のように簡潔に概説する。
もっぱら層１と２にとって利用可能である低遅延モードにおいて、高周波数帯域６０００〜７０００Ｈｚの隠蔽は、フレーム消去が発生しないときとまったく同じように実施される。層１、２及び３のクリーンチャネル復号器動作は以下のとおりである、すなわち、ブラインド帯域幅拡大が適用される。範囲６４００〜７０００Ｈｚ内のスペクトルが、励振領域で適切にスケーリングされた白色雑音信号で満たされる（高帯域のエネルギーは低帯域エネルギーに一致しなければならない）。その後、スペクトルは、１２.８ｋＨｚ領域に使用されるものと同じＬＰ合成フィルタから重み付けすることによって導出されるフィルタで合成される。層４と５については、それらの層は８ｋＨｚまでの全帯域をカバーするため、帯域幅拡大は実施されない。
デフォルト動作において、１６ｋＨｚのサンプリング周波数において合成信号の高周波数帯域を再構築するために、低複雑度処理が実施される。最初に、スケーリングされた高周波数帯域拡張ｕ’’HB（ｎ）が、次式のようにフレーム全体を通じて線形的に減衰される。
Figure 2016530548
式中、フレーム長は３２０サンプルであり、ｇatt（ｎ）は次式によって与えられる減衰係数である。
Figure 2016530548
上記の式において、
Figure 2016530548
は平均ピッチ利得である。これは、適応コードブックの隠蔽中に使用されるものと同じ利得である。その後、周波数範囲６０００〜７０００Ｈｚ内のバンドパスフィルタのメモリが、式１０中において導出されるようなｇatt（ｎ）を使用して減衰されて、任意の不連続性が防止される。最後に、高周波数励振信号ｕ’’’（ｎ）が、合成フィルタを通じてフィルタリングされる。合成信号はその後、１６ｋＨｚのサンプリング周波数において、隠蔽された合成に加えられる。
現行の技術水準のＡＭＲ−ＷＢにおけるブラインド帯域幅拡大の隠蔽は、[３ＧＰ１２ｂ,６.２.４]に概説されており、ここで簡潔に要約する。
フレームが失われるか又は部分的に失われると、高帯域利得パラメータは受信されず、代わりに、高帯域利得の推定が使用される。これは、音声フレームが不良／失われている場合、高帯域再構築はすべての異なるモードに対して同じように動作することを意味する。
フレームが失われる場合、高帯域ＬＰ合成フィルタは、コア帯域からのＬＰＣ係数から通常通り導出される。唯一の例外は、ＬＰＣ係数がビットストリームから復号されておらず、通常のＡＭＲ−ＷＢ隠蔽手法を使用して推定されていることである。
現行の技術水準のＡＭＲ−ＷＢ＋における帯域幅拡大の隠蔽は[３ＧＰ０９,６.２]に概説されており、ここで簡潔に要約する。
パケット損失の場合、ＨＦ復号器の内部にある制御データが、不良フレームインジケータベクトルＢＦＩ＝（ｂｆｉ０,ｂｆｉ１,ｂｆｉ２,ｂｆｉ３）から生成される。これらのデータは、
Figure 2016530548
、ＢＦＩGAIN、及びＩＳＦ補間のためのサブフレームの数である。これらのデータの性質を、下記により詳細に定義する。
Figure 2016530548
は、ＩＳＦパラメータの損失を示す２値フラグである。ＨＦ信号のＩＳＦパラメータは常に、ＨＦ２０、４０又は８０のいずれかである第１のパケット（第１のサブフレームを含む）内で送信されるため、損失フラグは常に第１のサブフレームのｂｆｉインジケータに設定される（ｂｆｉ０）。同じことが、失われたＨＦ利得の指示にも当てはまる。現在のモードの第１のパケット／サブフレームが失われた場合（ＨＦ２０、４０又は８０）、利得が失われ、隠蔽される必要がある。
ＨＦ ＩＳＦベクトルの隠蔽は、コアＩＳＦのＩＳＦ隠蔽と非常に類似している。主な着想は、最後の良好なＩＳＦベクトルを再使用するが、このベクトルを平均ＩＳＦベクトルに向けてシフトすることである（平均ＩＳＦベクトルはオフライン訓練される）。すなわち、
Figure 2016530548
である。
Figure 2016530548
は、以下のソースコードに従って推定される（コードにおいて、
Figure 2016530548
は復号器定数である）。
Figure 2016530548
「ｆｓ／４において振幅を一致させるための利得」を導出するために、クリーンチャネル復号におけるアルゴリズムと同じアルゴリズムが実施されるが、ＨＦ及び／又はＬＦ部分のためのＩＳＦがすでに隠蔽されている場合がある点が異なっている。利得の線形ｄＢ補間、合計及び適用のようなすべての後続するステップはクリーンチャネルの事例と同じである。
励振を導出するために、正確に受信されたフレームにおけるのと同じ処理が適用される。その処理では、より低い帯域の励振が、
ランダム化され、
サブフレーム利得を用いて時間領域において増幅され、
ＬＰフィルタを用いて周波数領域において整形され、
エネルギーが時間にわたって平滑化された
後に、使用される。
その後、図３に従って合成が実施される。
ＡＥＳ convention paper 6789 : Schneider, Krauss and Ehret[ＳＫＥ０６]は、最後の有効なＳＢＲエンベロープデータを再使用する隠蔽技法を記載している。２つ以上のＳＢＲフレームが失われた場合、フェードアウト（fadeout）が適用される。「基本原理は、新たな送信データを用いてＳＢＲ処理が継続され得るまで、単純に、最後の既知の有効なＳＢＲエンベロープ値をロックすることである。加えて、２つ以上のＳＢＲフレームが復号可能でない場合、フェードアウトが実施される。」
ＡＥＳ convention paper 6962 : Sang-Uk Ryu and Kenneth Rose[ＲＲ０６]は、先行するフレームと次のフレームからのＳＢＲを使用してパラメータ情報を推定する隠蔽技法を記載している。周囲のフレームにおけるエネルギー発生から、高帯域エンベロープが適応的に推定される。
パケット損失隠蔽概念は、パケット損失中に、知覚的に劣化したオーディオ信号を生成し得る。
[3GP09] 3GPP; Technical Specification Group Services and System Aspects, Extended adaptive multi-rate - wideband (AMR-WB+) codec, 3GPP TS 26.290, 3rd Generation Partnership Project, 2009. [3GP12a] General audio codec audio processing functions; Enhanced aacPlus general audio codec; additional decoder tools (release 11), 3GPP TS 26.402, 3rd Generation Partnership Project, Sep 2012. [3GP12b] Speech codec speech processing functions; adaptive multi-rate - wideband (AMRWB) speech codec; error concealment of erroneous or lost frames, 3GPP TS 26.191, 3rd Generation Partnership Project, Sep 2012. [EBU10] EBU/ETSI JTC Broadcast, Digital audio broadcasting (DAB); transport of advanced audio coding (AAC) audio, ETSI TS 102 563, European Broadcasting Union, May 2010. [EBU12] Digital radio mondiale (DRM); system specification, ETSI ES 201 980, ETSI, Jun 2012. [ISO09] ISO/IEC JTC1/SC29/WG11, Information technology - coding of audio-visual objects - part 3: Audio, ISO/IEC IS 14496-3, International Organization for Standardization, 2009. [ITU08] ITU-T, G.718: Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s, Recommendation ITU-T G.718, Telecommunication Standardization Sector of ITU, Jun 2008. [RR06] Sang-Uk Ryu and Kenneth Rose, Frame loss concealment for audio decoders employing spectral band replication, Convention Paper 6962, Electrical and Computer Engineering, University of California, Oct 2006, AES. [SKE06] Andreas Schneider, Kurt Krauss, and Andreas Ehret, Evaluation of real-time transport protocol configurations using aacplus, Convention paper 6789, AES, May 2006, Presented at the 120th Convention 2006 May 20-23.
本発明の目的は、改善されたパケット損失隠蔽概念を有するオーディ復号器及び方法を提供することである。
この目的は、オーディオフレームを含むビットストリームからオーディオ信号を生成するように構成されている以下のオーディオ復号器によって達成することができる。このオーディオ復号器は、ビットストリームから直接復号されたコア帯域オーディオ信号を導出するように構成されているコア帯域復号モジュール（core band decoding module）と、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するように構成されている帯域幅拡大モジュールであって、その帯域幅拡大オーディオ信号は少なくとも１つの周波数帯域を有する周波数領域信号に基づいている帯域幅拡大モジュールと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるように構成されている結合器とを備えている。帯域幅拡大モジュールはエネルギー調整モジュールを備え、エネルギー調整モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも１つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数と少なくとも１つの周波数帯域の推定信号エネルギーとに基づいて設定されるように構成されている。現在の利得係数は先行するオーディオフレーム又はビットストリームからの利得係数から導出され、推定信号エネルギーはコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される。
本発明によるオーディオ復号器は、エネルギーに関して帯域幅拡大モジュールをコア帯域復号モジュールにリンクし、又は、言い換えれば、コア帯域復号モジュールが何を行おうとも、隠蔽中、エネルギーに関して帯域幅拡大モジュールがコア帯域復号モジュールに従うことを確実にする。
本手法による革新は、隠蔽の場合には、高帯域生成がもはやエンベロープエネルギーに厳密には適合しないことである。利得ロックの技法によって、高帯域エネルギーは隠蔽中は低帯域エネルギーに適合され、したがって、もはや最後の良好なフレームにおける送信データのみには依拠しない。この処理は、高帯域再構築に低帯域情報を使用するという着想を取り上げる。
この手法によれば、追加のデータ（例えば、フェードアウト係数（fadeout factor））がコア符号化器から帯域幅拡大符号化器に転送される必要はない。これによって、本技法が、帯域幅拡大を用いる任意の符号化器、特に、ＳＢＲに容易に適用可能になる。ＳＢＲでは、利得計算が本来すでに実施されている（式１）。
本発明のオーディオ復号器の隠蔽は、コア帯域復号モジュールのフェージング勾配（fading slope）を考慮に入れる。これによって、全体としてのフェードアウトの意図される挙動がもたらされる。
コア帯域復号モジュールの周波数帯域のエネルギーが帯域幅拡大モジュールの周波数帯域のエネルギーよりも遅くフェードアウトする状況は、知覚可能になり、帯域が制限された信号の不快な印象を引き起こすが、この状況が回避される。
さらに、コア帯域復号モジュールの周波数帯域のエネルギーが帯域幅拡大モジュールの周波数帯域のエネルギーよりも速くフェードアウトする状況は、帯域幅拡大モジュールの周波数帯域がコア帯域復号モジュールの周波数帯域と比較して増幅され過ぎるためにアーティファクトを導入するが、この状況も回避される。
所定のエネルギーレベルを有する帯域幅拡大を行う非フェージング復号器（例えば、ＣＥＬＰ／ＨＶＸＣ＋ＳＢＲ復号器のようなもの）は特定の信号タイプのスペクトル傾斜のみを保持するが、それは異なり、本発明のオーディオ復号器は信号のスペクトル特性とは無関係に機能し、それによって、オーディオ信号の知覚的に復号される劣化が回避される。
提案される技法は、コア帯域復号モジュール（以下、コア符号化器）に加えて任意の帯域幅拡大（ＢＷＥ）方法によって使用することができる。帯域幅拡大技法のほとんどは、元のエネルギーレベルとコアスペクトルが複製された後に得られるエネルギーレベルとの間の帯域あたりの利得に基づいている。提案される技法は、現行の技術水準がそうするように先行するオーディオフレームのエネルギーに対して作用するのではなく、先行するオーディオフレームの利得に対して作用する。
オーディオフレームが失われているか又は読み取り不可能であるとき（又は、言い換えれば、オーディオフレーム損失が発生している場合）、最後の良好なフレームからの利得がコア帯域復号モジュールの通常の復号プロセスに供給され、これによって、帯域幅拡大モジュールの周波数帯域のエネルギーが調整される（式１参照）。これによって、隠蔽が形成される。コア帯域復号モジュール隠蔽によってコア帯域復号モジュールに適用されている任意のフェードアウトは、低帯域と高帯域との間にエネルギー比をロックすることによって、帯域幅拡大モジュールの周波数帯域のエネルギーに自動的に適用される。
少なくとも１つの周波数領域を有する周波数領域信号は、例えば、代数符号励振線形予測励振信号（ＡＣＥＬＰ（algebraic code-excited linear prediction）励振信号）とすることができる。
いくつかの実施形態において、帯域幅拡大モジュールは、少なくともオーディオフレーム損失が発生している現在のオーディオフレームにおける現在の利得係数をエネルギー調整モジュールに転送するように構成されている利得係数提供モジュール（gain factor providing module）を備えている。
好ましい実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、現在の利得係数が先行するオーディオフレームの利得係数であるように構成されている。この実施形態は、最後の良好なフレーム内の最後のエンベロープについて導出される利得をロックするだけで、帯域幅拡大復号モジュールに含まれているフェードアウトを完全に無効化する。すなわち、
Figure 2016530548
である。式中、ＥAdj[ｋ]は帯域幅拡大モジュールの１つの周波数バンクｋからのエネルギーを示し、元のエネルギー分布を可能なかぎり良好に表現するように調整されている。
Figure 2016530548
は、現在のフレームの利得係数を示し、
Figure 2016530548
は先行するフレームの利得係数を示す。
他の好ましい実施形態において、利得係数提供モジュールは、フレーム損失が発生している現在のオーディオフレームにおいて、現在の利得係数が先行するオーディオフレームの利得係数と先行するオーディオフレームの信号クラスとから計算されるように構成されている。
この実施形態は、信号分類器を使用して、過去の利得に基づいて、及び以前受信されたフレームの信号クラスにも適応的に基づいて利得を計算する。すなわち、
Figure 2016530548
である。式中、
Figure 2016530548
は、先行するオーディオフレームの利得係数
Figure 2016530548
と先行するオーディオフレームの信号クラス
Figure 2016530548
とに依存する関数を示す。信号クラスは言語音のクラスを指すことができ、阻害音（これのサブクラスは閉鎖音、破擦音、摩擦音である）、共鳴音（これのサブクラスは、鼻音、はじき接近音（flap approximant）、母音である）、側音、顫音などである。
好ましい実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生する後続のオーディオフレームの数を計算するように構成されており、かつオーディオフレーム損失が発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理（gain factor lowering procedure）を実行するように構成されている。
バーストフレーム損失（後続のオーディオフレームにおける複数のフレーム損失）の直前に摩擦音が発生した場合、利得ロックと相まって心地よく自然な音を確実にするには、コア帯域復号モジュールの本来のデフォルトフェードアウトが遅すぎる場合がある。この問題の知覚される結果は、帯域幅拡大モジュールの周波数帯域のエネルギーが大きすぎることによって、摩擦音が長引くことであり得る。この理由から、複数のフレーム損失に対するチェックを実施することができる。このチェックが陽性である場合、利得係数低減処理を実行することができる。
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第１の閾値を超える場合に、現在の利得係数を第１の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴によって、第１の閾値（経験的に決定することができる）を超える利得が低減される。
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第１の閾値よりも大きい第２の閾値を超える場合に、現在の利得係数を第１の数よりも大きい第２の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴は、極端に高い利得がさらに迅速に低減することを確実にする。第２の閾値を超えるすべての利得がより迅速に低減される。
いくつかの実施形態において、利得係数低減処理は、低減後の現在の閾値が第１の閾値を下回る場合に、現在の利得係数を第１の閾値に設定するステップを含む。これらの特徴によって、低減した利得が第１の閾値を下回って降下することが防止される。
一例を、擬似コード１に見ることができる。
Figure 2016530548
ここで、previousFrameErrorFlagは複数のフレーム損失が存在するか否かを示すフラグであり、BWE_GAINDECは第１の閾値を示し、50*BWE_GAINDECは第２の閾値を示し、gain[k]は周波数バンクｋの現在の利得係数を示す。
いくつかの実施形態において、帯域幅拡大モジュールは、少なくとも１つの周波数帯域にノイズを追加するように構成されているノイズ生成器モジュールを備え、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、先行するオーディオフレームの少なくとも１つの周波数帯域の信号エネルギー対ノイズエネルギーの比が現在のオーディオフレームのノイズエネルギーを計算するのに使用される。
帯域幅拡大において実行されるノイズフロア特徴（すなわち、元の信号の騒々しさを保持するための追加のノイズ成分）がある場合、ノイズフロアにも向けた利得ロックの着想を導入することが必要である。これを達成するために、帯域幅拡大モジュールの周波数帯域のエネルギーを考慮に入れて、非隠蔽フレームのノイズフロアエネルギーレベルがノイズ比に変換される。この比はバッファに保存され、隠蔽の場合のノイズレベルの基礎となる。この主要な利点は、比prev_noise[k]の計算によって、ノイズフロアがコア符号化器エネルギーに一層良好に結合することである。
擬似コード２がこれを示している。
Figure 2016530548
ここで、frameErrorFlagはフレーム損失が存在するか否かを示すフラグであり、prev_noise[k]は周波数バンクｋのエネルギーnrgHighband[k]と周波数バンクｋのノイズレベルnoiseLevel[k]との間の比である。
好ましい実施形態において、オーディオ復号器はスペクトル分析モジュールを備えており、スペクトル分析モジュールは、コア帯域オーディオ信号の現在のオーディオフレームのスペクトルを確立し、かつコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから、少なくとも１つの周波数帯域の現在のフレームの推定信号エネルギーを導出するように構成されている。
いくつかの実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生していない現在のオーディオフレームがオーディオフレーム損失が発生している先行するオーディオフレームに後続する事例において、コア帯域復号モジュールのオーディオフレームに対する帯域幅拡大モジュールのオーディオフレームの遅延が遅延閾値よりも小さい場合、現在のオーディオフレームについて受信される利得係数が現在のフレームに使用され、一方で、コア帯域復号モジュールのオーディオフレームに対する帯域幅拡大モジュールのオーディオフレームの遅延が遅延閾値よりも大きい場合、先行するオーディオフレームからの利得係数が現在のフレームに使用されるように構成されている。
隠蔽に加えて、帯域幅拡大モジュールにおいて、フレーミングに特別な注意を払う必要がある。帯域幅拡大モジュールのオーディオフレームとコア帯域復号モジュールのオーディオフレームは正確には位置整合されていないことが多く、一定の遅延を有し得る。そのため、１つの失われたパケットが、同じパケット内に含まれているコア信号に対して遅延されている帯域幅拡大データを含むということが起き得る。
この事例の結果、損失の後の第１の良好なパケットが、復号器においてすでに隠蔽された、先行するコア帯域復号モジュールオーディオフレームの、帯域幅拡大モジュールの周波数帯域の部分を作成するための拡大データを含む場合があるということになる。
この理由から、コア帯域復号モジュールと帯域幅拡大モジュールのそれぞれの特性に応じて、復元中にフレーミングを考慮する必要がある。これは、帯域幅拡大モジュールにおいて第１のオーディオフレーム又はその部分を誤りのあるものとして処理し、最新の利得を即座に適用するのではなく、１つ追加のフレームのために第１のオーディオフレームからのロックされた利得を保持することを意味することがありうる。
第１の良好なフレームのロックされた利得を保持するべきか否かは、遅延に応じて決まる。異なる遅延をもつコーデックへの経験的な応用は、複数の異なる遅延をもつコーデックに対する複数の異なる利点を示している。遅延が非常に小さい（例えば、１ｍｓ）コーデックについては、第１の良好なオーディオフレームに最新の利得を使用することがより良好である。
好ましい実施形態において、帯域幅拡大モジュールは信号生成器モジュールを備えており、信号生成器モジュールは、コア帯域オーディオ信号とビットストリームに基づいて少なくとも１つの周波数帯域を有する原周波数領域信号を作成するように構成されており、原周波数領域信号はエネルギー調整モジュールに転送される。
好ましい実施形態において、帯域幅拡大モジュールは、周波数領域信号から帯域幅拡大オーディオ信号を生成するように構成されている信号合成モジュールを備えている。
本発明の目的は、オーディオフレームを含むビットストリームからオーディオ信号を生成するための方法によって達成することができる。この方法は、ビットストリームから、直接復号されたコア帯域オーディオ信号を導出するステップと、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するステップであって、帯域幅拡大オーディオ信号は少なくとも１つの周波数帯域を有する周波数領域信号に基づいている導出するステップと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるステップとを含んでいる。そして、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも１つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数と少なくとも１つの周波数帯域の推定信号エネルギーとに基づいて設定される。現在の利得係数は先行するオーディオフレーム又はビットストリームからの利得係数から導出され、推定信号エネルギーはコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される。
本発明の目的は、さらに、コンピュータ又はプロセッサ上で作動するときに、上述した方法を実施するためのコンピュータプログラムによって達成することができる。
本発明によるオーディ復号器の一実施形態を示す概略図である。 本発明によるオーディ復号器の一実施形態のフレーミングを示す図である。
続いて、本発明の好ましい実施形態を添付の図面を参照しながら説明する。
図４は、本発明によるオーディ復号器１の一実施形態を概略図で示す。オーディオ復号器１は、オーディオフレームＡＦを含むビットストリームＢＳからオーディオ信号ＡＳを生成するように構成されている。オーディオ復号器１は、ビットストリームＢＳから直接復号されたコア帯域オーディオ信号ＣＢＳを導出するように構成されているコア帯域復号モジュール２と、コア帯域オーディオ信号ＣＢＳ及びビットストリームＢＳからパラメータ的に復号された帯域幅拡大オーディオ信号ＢＥＳを導出するように構成されている帯域幅拡大モジュール２であって、帯域幅拡大オーディオ信号ＢＥＳは少なくとも１つの周波数帯域ＦＢを有する周波数領域信号ＦＤＳに基づいている帯域幅拡大モジュール２と、オーディオ信号ＡＳを生成するように、コア帯域オーディオ信号ＣＢＳと帯域幅拡大オーディオ信号ＢＥＳとを組み合わせるように構成されている結合器４とを備えている。帯域幅拡大モジュール３はエネルギー調整モジュール５を備えており、エネルギー調整モジュール５は、オーディオフレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２において、少なくとも１つの周波数帯域ＦＢの現在のオーディオフレームＡＦ２の調整信号エネルギーが、現在のオーディオフレームＡＦ２の現在の利得係数ＣＧＦと少なくとも１つの周波数帯域ＦＢの推定信号エネルギーＥＥとに基づいて設定されるように構成されている。現在の利得係数ＣＧＦは先行するオーディオフレームＡＦ１又はビットストリームＢＳからの利得係数から導出され、推定信号エネルギーＥＥはコア帯域オーディオ信号ＣＢＳの現在のオーディオフレームＡＦ２のスペクトルから導出される。
本発明によるオーディオ復号器１は、エネルギーに関して帯域幅拡大モジュール３をコア帯域復号モジュール２にリンクさせ、又は、言い換えれば、コア帯域復号モジュール２が何を行おうとも、隠蔽中、エネルギーに関して帯域幅拡大モジュール３がコア帯域復号モジュール２に従うことを確実にする。
本手法による革新は、隠蔽の場合には、高帯域生成がもはやエンベロープエネルギーに厳密には適合しないことである。利得ロックの技法によって、高帯域エネルギーは隠蔽中は低帯域エネルギーに適合され、したがって、もはや最後の良好なフレームＡＦ１における送信データのみには依拠しない。この処理は、高帯域再構築に低帯域情報を使用するという着想を取り上げる。
この手法によれば、追加のデータ（例えば、フェードアウト係数）がコア符号化器２から帯域幅拡大符号化器３に転送される必要はない。これによって、本技法が、帯域幅拡大３を用いる任意の符号化器１、特に、ＳＢＲに容易に適用可能になる。ＳＢＲでは、利得計算が本来すでに実施されている（式１）。
本発明のオーディオ復号器１の隠蔽は、コア帯域復号モジュール２のフェージング勾配を考慮に入れる。これによって、全体としてのフェードアウトの意図される挙動がもたらされる。
コア帯域復号モジュール２の周波数帯域ＦＢのエネルギーが帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーよりも遅くフェードアウトする状況は、知覚可能になり、帯域が制限された信号の不快な印象を引き起こすが、この状況が回避される。
さらに、コア帯域復号モジュール２の周波数帯域ＦＢのエネルギーが帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーよりも速くフェードアウトする状況は、帯域幅拡大モジュール３の周波数帯域ＦＢがコア帯域復号モジュール２の周波数帯域ＦＢと比較して増幅され過ぎるためにアーティファクトを導入するが、この状況も回避される。
所定のエネルギーレベルを有する帯域幅拡大を有する非フェージング復号器（例えば、ＣＥＬＰ／ＨＶＸＣ＋ＳＢＲ復号器のようなもの）は特定の信号タイプのスペクトル傾斜のみを保持するが、それとは異なり、本発明のオーディオ復号器１は信号のスペクトル特性とは無関係に機能し、それによって、オーディオ信号ＡＳの知覚的に復号される劣化が回避される。
提案される技法は、コア帯域復号モジュール２（以下、コア符号化器）に加えて任意の帯域幅拡大（ＢＷＥ）方法によって使用され得る。帯域幅拡大技法のほとんどは、元のエネルギーとコアスペクトルが複製された後に得られるエネルギーレベルとの間の帯域あたりの利得に基づいている。提案される技法は、現行の技術水準がそうするように先行するオーディオフレームのエネルギーに対して作用するのではなく、先行するオーディオフレームＡＦ１の利得に対して作用する。
オーディオフレームＡＦ２が失われているか又は読み取り不可能であるとき（又は、言い換えれば、オーディオフレーム損失ＡＦＬが発生している場合）、最後の良好なフレームからの利得がコア帯域復号モジュール２の通常の復号プロセスに供給され、これによって、帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーが調整される（式１参照）。これによって、隠蔽が形成される。コア帯域復号モジュール隠蔽によってコア帯域復号モジュール２に適用されている任意のフェードアウトは、低帯域と高帯域との間にエネルギー比をロックすることによって、帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーに自動的に適用される。
いくつかの実施形態において、帯域幅拡大モジュール３は、少なくともオーディオフレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２における現在の利得係数ＣＧＦをエネルギー調整モジュール５に転送するように構成されている利得係数提供モジュール６を備えている。
好ましい実施形態において、利得係数提供モジュール６は、オーディオフレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２において、現在の利得係数ＣＧＦが先行するオーディオフレームＡＦ１の利得係数であるように構成されている。
この実施形態は、最後の良好なフレーム内の最後のエンベロープについて導出される利得をロックするだけで、帯域幅拡大復号モジュール３に含まれているフェードアウトを完全に無効化する。
他の好ましい実施形態において、利得係数提供モジュール６は、フレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２において、現在の利得係数ＣＧＳが先行するオーディオフレームの利得係数と先行するオーディオフレームの信号クラスから計算されるように構成されている。
この実施形態は、信号分類器を使用して、過去の利得に基づいて、及び以前受信されたフレームＡＦ１の信号クラスにも適応的に基づいて利得ＧＣＳを計算する。信号クラスは言語音のクラスを指すことができ、阻害音（これのサブクラスは閉鎖音、破擦音、摩擦音である）、共鳴音（これのサブクラスは、鼻音、はじき接近音、母音である）、側音、顫音などである。
好ましい実施形態において、利得係数提供モジュール６は、オーディオフレーム損失ＡＦＬが発生する後続のオーディオフレームの数を計算するように構成されており、かつオーディオフレーム損失ＡＦＬが発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理を実行するように構成されている。
バーストフレーム損失（後続のオーディオフレームＡＦにおける複数のフレーム損失ＡＦＬ）の直前に摩擦音が発生した場合、利得ロックと相まって心地よく自然な音を確実にするには、コア帯域復号モジュール２の本来のデフォルトフェードアウトが遅すぎる場合がある。この問題の知覚される結果は、帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーが大きすぎることによって、摩擦音が長引くことであり得る。この理由から、複数のフレーム損失ＡＦＬに対するチェックを実施することができる。このチェックが陽性である場合、利得係数低減処理を実行することができる。
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第１の閾値を超える場合に、現在の利得係数を第１の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴によって、第１の閾値（経験的に決定することができる）を超える利得が低減される。
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第１の閾値よりも大きい第２の閾値を超える場合に、現在の利得係数を第１の数よりも大きい第２の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴は、極端に高い利得がさらに迅速に低減することを確実にする。第２の閾値を超えるすべての利得がより迅速に低減される。
いくつかの実施形態において、利得係数低減処理は、低減後の現在の閾値が第１の閾値を下回る場合に、現在の利得係数を第１の閾値に設定するステップを含む。これらの特徴によって、低減した利得が第１の閾値を下回って降下することが防止される。
いくつかの実施形態において、帯域幅拡大モジュール３は、少なくとも１つの周波数帯域ＦＢにノイズＮＯＩを追加するように構成されているノイズ生成器モジュール７を備え、オーディオフレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２において、先行するオーディオフレームＡＦ１の少なくとも１つの周波数帯域ＦＢの信号エネルギー対ノイズエネルギーの比が現在のオーディオフレームＡＦ２のノイズエネルギーを計算するのに使用される。
帯域幅拡大３に実装されているノイズフロア特徴（すなわち、元の信号の騒々しさを保持するための追加のノイズ成分）がある場合、ノイズフロアにも向けた利得ロックの着想を導入することが必要である。これを達成するために、帯域幅拡大モジュールの周波数帯域のエネルギーを考慮に入れて、非隠蔽フレームのノイズフロアエネルギーレベルがノイズ比に変換される。この比はバッファに保存され、隠蔽の場合のノイズレベルの基礎となる。この主要な利点は、この比の計算によってノイズフロアがコア符号化器エネルギーに一層良好に結合することである。
好ましい実施形態において、オーディオ復号器１はスペクトル分析モジュール８を備えており、スペクトル分析モジュール８は、コア帯域オーディオ信号ＣＢＳの現在のオーディオフレームＡＦ２のスペクトルを確立し、かつコア帯域オーディオ信号ＣＢＳの現在のオーディオフレームＡＦ２のスペクトルから、少なくとも１つの周波数帯域ＦＢの現在のフレームＡＦ２の推定信号エネルギーＥＥを導出するように構成されている。
好ましい実施形態において、帯域幅拡大モジュール３は信号生成器モジュール９を備えており、信号生成器モジュール９は、コア帯域オーディオ信号ＣＢＳとビットストリームＢＳに基づいて少なくとも１つの周波数帯域ＦＢを有する原周波数領域信号ＲＦＳを作成するように構成されており、原周波数領域信号ＲＦＳはエネルギー調整モジュール５に転送される。
好ましい実施形態において、帯域幅拡大モジュール３は、周波数領域信号ＦＤＳから帯域幅拡大オーディオ信号ＢＥＳを生成するように構成されている信号合成モジュール１０を備えている。
図５は、本発明によるオーディ復号器１の一実施形態のフレーミングを示す。
いくつかの実施形態において、利得係数提供モジュール６は次のように構成されている。すなわち、オーディオフレーム損失ＡＦＬが発生していない現在のオーディオフレームＡＦ２が、オーディオフレーム損失ＡＦＬが発生している先行するオーディオフレームＡＦ１に後続する事例において、コア帯域復号モジュール２のオーディオフレームＡＦ’に対する帯域幅拡大モジュール３のオーディオフレームＡＦの遅延ＤＥＬが遅延閾値よりも小さい場合、現在のオーディオフレームＡＦ２について受信される利得係数が現在のフレームＡＦ２に使用され、一方で、コア帯域復号モジュール３のオーディオフレームＡＦ’に対する帯域幅拡大モジュール３のオーディオフレームＡＦの遅延ＤＥＬが遅延閾値よりも大きい場合、先行するオーディオフレームＡＦ１からの利得係数が現在のフレームＡＦ２に使用される。
隠蔽に加えて、帯域幅拡大モジュール３において、フレーミングに特別な注意を払う必要がある。帯域幅拡大モジュールのオーディオフレームＡＦとコア帯域復号モジュール３のオーディオフレームＡＦ’は正確には位置整合されていないことが多く、一定の遅延ＤＥＬを有し得る。そのため、１つの失われたパケットが、同じパケット内に含まれているコア信号に対して遅延されている帯域幅拡大データを含むということが起き得る。
この事例の結果、損失の後の第１の良好なパケットが、復号器２においてすでに隠蔽された、先行するコア帯域復号モジュールオーディオフレームＡＦ’の、帯域幅拡大モジュール３の周波数帯域ＦＢの部分を作成するための拡大データを含む場合があるということになる。
この理由から、コア帯域復号モジュールと帯域幅拡大モジュールのそれぞれの特性に応じて、復元中にフレーミングを考慮する必要がある。これは、帯域幅拡大モジュール３において第１のオーディオフレーム又はその部分を誤りのあるものとして処理し、最新の利得係数を即座に適用するのではなく、１つ追加のフレームのために第１のオーディオフレームからのロックされた利得を保持することを意味することがありうる。
第１の良好なフレームのロックされた利得を保持するべきか否かは、遅延に応じて決まる。異なる遅延をもつコーデックへの経験的な適用は、複数の異なる遅延をもつコーデックに対する複数の異なる利点を示している。遅延が非常に小さい（例えば、１ｍｓ）コーデックについては、第１の良好なオーディオフレームに最新の利得係数を使用することがより良好である。
いくつかの態様を装置に関して説明してきたが、これらの態様は対応する方法の説明をも表すことは明らかであり、ブロック又はデバイスは方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップに関して説明されている態様は、対応する装置の対応するブロック、項目又は特徴の説明をも表す。方法ステップのいくつか又はすべては、ハードウェア装置、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路など、によって（又はそれを使用して）実行することができる。いくつかの実施形態において、もっとも重要な方法ステップのある１つ又は複数は、そのような装置によって実行することができる。
特定の実施要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアにおいて実装することができる。実施態様は、デジタル記憶媒体のような非遷移型の記憶媒体を使用して実施することができる。そのようなデジタル記憶媒体は、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリであり、電子的に読取り可能な制御信号を保持し、その制御信号はそれぞれの方法が実施されるようにプログラマブルコンピュータシステムと協働する（又は協働することが可能である）。それゆえ、そのようなデジタル記憶媒体は、コンピュータ読取り可能である。
本発明によるいくつかの実施形態は、本明細書に記載されている方法の１つが実施されるようにプログラマブルコンピュータシステムと協働することが可能な電子的読取可能制御信号を有するデータキャリアを含む。
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、そのプログラムコードはコンピュータプログラム製品がコンピュータ上で作動するときに本発明の方法の１つを実施するように動作可能である。そのプログラムコードは、例えば機械読取り可能なキャリアに記憶することができる。
他の実施形態は、機械読取り可能なキャリアに記憶され、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを含む。
言い換えれば、本発明の方法の一実施形態は、それゆえ、コンピュータプログラムであって、このコンピュータプログラムがコンピュータ上で作動するときに本明細書に記載されている方法の１つを実施するためのプログラムコードを有する。
それゆえ、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを記憶して備えているデータキャリア（又はデジタル記憶媒体もしくはコンピュータ読取り可能な媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は一般的に有形かつ／又は非遷移型である。
それゆえ、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。そのデータストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成することができる。
さらなる実施形態は、処理手段、例えば、本明細書に記載されている方法の１つを実施するように構成又は適合されているコンピュータ又はプログラマブル論理デバイスを含む。
さらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムがインストールされているコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを受信機に（例えば、電子的又は光学的に）転送するように構成されている装置又はシステムを含む。その受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。その装置又はシステムは、例えば、コンピュータを受信機に転送するためのファイルサーバを含むことができる。
いくつかの実施形態において、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を、本明細書に記載されている方法の機能のいくつか又はすべてを実施するのに使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイが、本明細書に記載されている方法の１つを実施するためにマイクロプロセッサと協働することができる。概して、本発明の方法は、好ましくは、任意のハードウェア装置によって実施される。
上述した実施形態は、本発明の原理の例示にすぎない。当然のことながら、本明細書に記載されている構成及び記載の修正及び変形が当業者には明らかである。それゆえ、意図するところは、本発明は、添付の特許請求項の範囲によってのみ限定され、本明細書における実施形態の記載及び説明によって提示されている特定の詳細によっては限定されないことが意図される。
１ オーディオ復号器
２ コア帯域復号モジュール
３ 帯域幅拡大モジュール
４ 結合器
５ エネルギー調整モジュール
６ 利得係数提供モジュール
７ ノイズ生成器モジュール
８ スペクトル分析モジュール
９ 信号生成器モジュール
１０ 信号合成モジュール
ＡＳ オーディオ信号
ＢＳ ビットストリーム
ＡＦ オーディオフレーム
ＣＢＳ コア帯域オーディオ信号
ＢＥＳ 帯域幅拡大オーディオ信号
ＦＤＳ 周波数領域信号
ＦＢ 周波数帯域
ＡＦＬ オーディオフレーム損失
ＣＧＦ 現在の利得係数
ＥＥ 推定信号エネルギー
ＮＯＩ ノイズ
ＤＥＬ 遅延
ＲＦＳ 原周波数領域信号

Claims (15)

  1. オーディオフレーム（ＡＦ）を含むビットストリーム（ＢＳ）からオーディオ信号（ＡＳ）を生成するように構成されているオーディオ復号器であって、該オーディオ復号器（１）は、
    前記ビットストリーム（ＢＳ）から直接復号されたコア帯域オーディオ信号（ＣＢＳ）を導出するように構成されているコア帯域復号モジュール（２）と、
    前記コア帯域オーディオ信号（ＣＢＳ）及び前記ビットストリーム（ＢＳ）からパラメータ的に復号された帯域幅拡大オーディオ信号（ＢＥＳ）を導出するように構成されている帯域幅拡大モジュール（３）であって、前記帯域幅拡大オーディオ信号（ＢＥＳ）は少なくとも１つの周波数帯域（ＦＢ）を有する周波数領域信号（ＦＤＳ）に基づいている帯域幅拡大モジュール（３）と、
    前記オーディオ信号（ＡＳ）を生成するように、前記コア帯域オーディオ信号（ＣＢＳ）と前記帯域幅拡大オーディオ信号（ＢＥＳ）とを組み合わせるように構成されている結合器（４）とを備え、
    前記帯域幅拡大モジュール（３）は、エネルギー調整モジュール（５）を備え、前記エネルギー調整モジュール（５）は、オーディオフレーム損失（ＡＦＬ）が発生している現在のオーディオフレーム（ＡＦ２）において、前記少なくとも１つの周波数帯域（ＦＢ）の前記現在のオーディオフレーム（ＡＦ２）の調整信号エネルギーが、
    前記現在のオーディオフレーム（ＡＦ２）の現在の利得係数（ＣＧＦ）であって、先行するオーディオフレーム（ＡＦ１）又は前記ビットストリーム（ＢＳ）からの利得係数から導出される現在の利得係数（ＣＧＦ）に基づいて、及び
    前記少なくとも１つの周波数帯域の推定信号エネルギー（ＥＥ）であって、前記コア帯域オーディオ信号（ＣＢＳ）の前記現在のオーディオフレーム（ＡＦ２’）のスペクトルから導出される推定信号エネルギー（ＥＥ）に基づいて設定されるように構成されているオーディオ復号器。
  2. 前記帯域幅拡大モジュール（３）は、少なくとも前記オーディオフレーム損失（ＡＦＬ）が発生している前記現在のオーディオフレーム（ＡＦ２）における前記現在の利得係数（ＣＧＦ）を前記エネルギー調整モジュール（５）に転送するように構成されている利得係数提供モジュール（６）を備えている請求項１に記載のオーディオ復号器。
  3. 前記利得係数提供モジュール（６）は、前記オーディオフレーム損失（ＡＦＬ）が発生している前記現在のオーディオフレーム（ＡＦ２）において、前記現在の利得係数（ＣＧＦ）が、前記先行するオーディオフレーム（ＡＦ１）の前記利得係数であるように構成されている請求項２に記載のオーディオ復号器。
  4. 前記利得係数提供モジュール（６）は、前記フレーム損失（ＡＦＬ）が発生している前記現在のオーディオフレーム（ＡＦ２）において、前記現在の利得係数（ＣＧＦ）が、前記先行するオーディオフレーム（ＡＦ１）の前記利得係数及び前記先行するオーディオフレーム（ＡＦ１）の信号クラスから計算されるように構成されている請求項２又は３に記載のオーディオ復号器。
  5. 前記利得係数提供モジュール（６）は、オーディオフレーム損失（ＡＦＬ）が発生する後続のオーディオフレームの数を計算するように構成されており、オーディオフレーム損失（ＡＦＬ）が発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理を実行するように構成されている請求項２から４のいずれか一項に記載のオーディオ復号器。
  6. 前記利得係数低減処理は、前記現在の利得係数が第１の閾値を超える場合に、前記現在の利得係数を第１の数で除算することによって、前記現在の利得係数を低減するステップを含む請求項５に記載のオーディオ復号器。
  7. 前記利得係数低減処理は、前記現在の利得係数が、前記第１の閾値よりも大きい第２の閾値を超える場合に、前記現在の利得係数を前記第１の数よりも大きい第２の数で除算することによって、前記現在の利得係数を低減するステップを含む請求項５又は６に記載のオーディオ復号器。
  8. 前記利得係数低減処理は、低減後の前記現在の閾値が前記第１の閾値を下回る場合に、前記現在の利得係数を前記第１の閾値に設定するステップを含む請求項５から７のいずれか一項に記載のオーディオ復号器。
  9. 前記帯域幅拡大モジュール（３）は、前記少なくとも１つの周波数帯域（ＦＢ）にノイズ（ＮＯＩ）を追加するように構成されているノイズ生成器モジュール（７）を備え、前記オーディオフレーム損失（ＡＦＬ）が発生している前記現在のオーディオフレーム（ＡＦ２）において、前記先行するオーディオフレーム（ＡＦ１）の前記少なくとも１つの周波数帯域（ＦＢ）の信号エネルギー対ノイズエネルギーの比が、前記現在のオーディオフレーム（ＡＦ２）のノイズエネルギーを計算するのに使用される請求項１から８のいずれか一項に記載のオーディオ復号器。
  10. 該オーディオ復号器（１）はスペクトル分析モジュール（８）を備え、前記スペクトル分析モジュール（８）は、前記コア帯域オーディオ信号（ＣＢＳ）の前記現在のオーディオフレーム（ＡＦ２’）の前記スペクトルを確立し、かつ前記コア帯域オーディオ信号（ＣＢＳ）の前記現在のオーディオフレーム（ＡＦ２’）の前記スペクトルから、前記少なくとも１つの周波数帯域（ＦＢ）の前記現在のフレーム（ＡＦ２）の前記推定信号エネルギーを導出するように構成されている請求項１から９のいずれか一項に記載のオーディオ復号器。
  11. 前記利得係数提供モジュール（６）は、オーディオフレーム損失が発生していない現在のオーディオフレームが、オーディオフレーム損失が発生している先行するオーディオフレームに後続する事例において、前記コア帯域復号モジュール（２）の前記オーディオフレーム（ＡＦ１’、ＡＦ２’）に対する前記帯域幅拡大モジュール（３）のオーディオフレーム（ＡＦ１、ＡＦ２）の遅延（ＤＥＬ）が遅延閾値よりも小さい場合、前記現在のオーディオフレームについて受信される前記利得係数が前記現在のフレームに使用され、一方で、前記コア帯域復号モジュールの前記オーディオフレームに対する前記帯域幅拡大モジュールのオーディオフレームの遅延が前記遅延閾値よりも大きい場合、前記先行するオーディオフレームからの前記利得係数が前記現在のフレームに使用されるように構成されている請求項２から１０のいずれか一項に記載のオーディオ復号器。
  12. 前記帯域幅拡大モジュール（３）は信号生成器モジュール（９）を備え、前記信号生成器モジュール（９）は、前記コア帯域オーディオ信号（ＣＢＳ）及び前記ビットストリーム（ＢＳ）に基づいて、前記エネルギー調整モジュール（５）に転送される、少なくとも１つの周波数帯域（ＦＢ）を有する原周波数領域信号（ＲＦＳ）を作成するように構成されている請求項１から１１のいずれか一項に記載のオーディオ復号器。
  13. 前記帯域幅拡大モジュール（３）は、前記周波数領域信号（ＦＤＳ）から前記帯域幅拡大オーディオ信号（ＢＥＳ）を生成するように構成されている信号合成モジュール（１０）を備えている請求項１から１２のいずれか一項に記載のオーディオ復号器。
  14. オーディオフレーム（ＡＦ）を含むビットストリーム（ＢＳ）からオーディオ信号（ＡＳ）を生成するための方法であって、該方法は、
    前記ビットストリーム（ＢＳ）から直接復号されたコア帯域オーディオ信号（ＣＢＳ）を導出するステップと、
    前記コア帯域オーディオ信号（ＣＢＳ）及び前記ビットストリーム（ＢＳ）からパラメータ的に復号された帯域幅拡大オーディオ信号（ＢＥＳ）を導出するステップであって、前記帯域幅拡大オーディオ信号（ＢＥＳ）が、少なくとも１つの周波数帯域（ＦＢ）を有する周波数領域信号（ＦＤＳ）に基づいている導出するステップと、
    前記オーディオ信号（ＡＳ）を生成するように、前記コア帯域オーディオ信号（ＣＢＳ）と前記帯域幅拡大オーディオ信号（ＢＥＳ）とを組み合わせるステップとを含み、
    オーディオフレーム損失（ＡＦＬ）が発生している現在のオーディオフレーム（ＡＦ２）において、前記少なくとも１つの周波数帯域（ＦＢ）の前記現在のオーディオフレーム（ＡＦ２）の調整信号エネルギーが、
    前記現在のオーディオフレーム（ＡＦ２）の現在の利得係数（ＣＧＦ）であって、先行するオーディオフレーム（ＡＦ１）又は前記ビットストリーム（ＢＳ）からの利得係数から導出される現在の利得係数（ＣＧＦ）に基づいて、及び
    前記少なくとも１つの周波数帯域（ＦＢ）の推定信号エネルギーであって、前記コア帯域オーディオ信号（ＣＢＳ）の前記現在のオーディオフレーム（ＡＦ２’）のスペクトルから導出される推定信号エネルギーに基づいて設定される方法。
  15. コンピュータ又はプロセッサ上で作動するときに、請求項１４に記載の方法を実施するためのコンピュータプログラム。
JP2016520479A 2013-06-21 2014-06-18 エネルギー調整モジュールを備えた帯域幅拡大モジュールを有するオーディオ復号器 Active JP6228298B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13173152.3 2013-06-21
EP13173152 2013-06-21
EP14167050 2014-05-05
EP14167050.5 2014-05-05
PCT/EP2014/062902 WO2014202701A1 (en) 2013-06-21 2014-06-18 Audio decoder having a bandwidth extension module with an energy adjusting module

Publications (2)

Publication Number Publication Date
JP2016530548A true JP2016530548A (ja) 2016-09-29
JP6228298B2 JP6228298B2 (ja) 2017-11-08

Family

ID=51022308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016520479A Active JP6228298B2 (ja) 2013-06-21 2014-06-18 エネルギー調整モジュールを備えた帯域幅拡大モジュールを有するオーディオ復号器

Country Status (18)

Country Link
US (2) US10096322B2 (ja)
EP (1) EP3011560B1 (ja)
JP (1) JP6228298B2 (ja)
KR (2) KR101991421B1 (ja)
CN (1) CN105431898B (ja)
AU (1) AU2014283285B2 (ja)
BR (1) BR112015031605B1 (ja)
CA (1) CA2915001C (ja)
ES (1) ES2697474T3 (ja)
HK (1) HK1224368A1 (ja)
MX (1) MX358362B (ja)
MY (1) MY169410A (ja)
PL (1) PL3011560T3 (ja)
PT (1) PT3011560T (ja)
RU (1) RU2642894C2 (ja)
SG (1) SG11201510458UA (ja)
TW (1) TWI564883B (ja)
WO (1) WO2014202701A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021502588A (ja) * 2017-10-27 2021-01-28 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ニューラルネットワークプロセッサを用いた帯域幅が拡張されたオーディオ信号を生成するための装置、方法またはコンピュータプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3011560B1 (en) * 2013-06-21 2018-08-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder having a bandwidth extension module with an energy adjusting module
JP6576934B2 (ja) * 2014-01-07 2019-09-18 ハーマン インターナショナル インダストリーズ インコーポレイテッド 圧縮済みオーディオ信号の信号品質ベース強調及び補償
CN109668917B (zh) * 2018-09-29 2020-06-19 中国科学院高能物理研究所 一种利用单色器获得不同能量带宽x射线的方法
CN113324546B (zh) * 2021-05-24 2022-12-13 哈尔滨工程大学 罗经失效下的多潜航器协同定位自适应调节鲁棒滤波方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007000988A1 (ja) * 2005-06-29 2007-01-04 Matsushita Electric Industrial Co., Ltd. スケーラブル復号装置および消失データ補間方法
WO2010127617A1 (en) * 2009-05-05 2010-11-11 Huawei Technologies Co., Ltd. Methods for receiving digital audio signal using processor and correcting lost data in digital audio signal

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009117A (en) * 1996-09-17 1999-12-28 Kabushiki Kaisha Toyoda Jidoshokki Seisakusho Spread spectrum communication system
WO1999050828A1 (en) 1998-03-30 1999-10-07 Voxware, Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
US6763142B2 (en) * 2001-09-07 2004-07-13 Nline Corporation System and method for correlated noise removal in complex imaging systems
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
US6985856B2 (en) * 2002-12-31 2006-01-10 Nokia Corporation Method and device for compressed-domain packet loss concealment
CA2603255C (en) 2005-04-01 2015-06-23 Qualcomm Incorporated Systems, methods, and apparatus for wideband speech coding
US8374857B2 (en) * 2006-08-08 2013-02-12 Stmicroelectronics Asia Pacific Pte, Ltd. Estimating rate controlling parameters in perceptual audio encoders
US8433582B2 (en) * 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
MX2011000361A (es) * 2008-07-11 2011-02-25 Ten Forschung Ev Fraunhofer Un aparato y un metodo para generar datos de salida por ampliacion de ancho de banda.
WO2010051857A1 (en) * 2008-11-10 2010-05-14 Oticon A/S N band fm demodulation to aid cochlear hearing impaired persons
US8428938B2 (en) * 2009-06-04 2013-04-23 Qualcomm Incorporated Systems and methods for reconstructing an erased speech frame
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
CA2792011C (en) * 2010-07-19 2016-04-26 Dolby International Ab Processing of audio signals during high frequency reconstruction
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
WO2012131438A1 (en) * 2011-03-31 2012-10-04 Nokia Corporation A low band bandwidth extender
US8909539B2 (en) * 2011-12-07 2014-12-09 Gwangju Institute Of Science And Technology Method and device for extending bandwidth of speech signal
EP2950308B1 (en) * 2013-01-22 2020-02-19 Panasonic Corporation Bandwidth expansion parameter-generator, encoder, decoder, bandwidth expansion parameter-generating method, encoding method, and decoding method
EP3011560B1 (en) * 2013-06-21 2018-08-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder having a bandwidth extension module with an energy adjusting module

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007000988A1 (ja) * 2005-06-29 2007-01-04 Matsushita Electric Industrial Co., Ltd. スケーラブル復号装置および消失データ補間方法
WO2010127617A1 (en) * 2009-05-05 2010-11-11 Huawei Technologies Co., Ltd. Methods for receiving digital audio signal using processor and correcting lost data in digital audio signal

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021502588A (ja) * 2017-10-27 2021-01-28 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ニューラルネットワークプロセッサを用いた帯域幅が拡張されたオーディオ信号を生成するための装置、方法またはコンピュータプログラム
US11562764B2 (en) 2017-10-27 2023-01-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method or computer program for generating a bandwidth-enhanced audio signal using a neural network processor
JP7214726B2 (ja) 2017-10-27 2023-01-30 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ニューラルネットワークプロセッサを用いた帯域幅が拡張されたオーディオ信号を生成するための装置、方法またはコンピュータプログラム

Also Published As

Publication number Publication date
CA2915001A1 (en) 2014-12-24
RU2016101607A (ru) 2017-07-26
MX2015017846A (es) 2016-04-18
CA2915001C (en) 2019-04-02
EP3011560B1 (en) 2018-08-01
AU2014283285A1 (en) 2016-02-11
KR20170124590A (ko) 2017-11-10
CN105431898B (zh) 2019-09-06
KR101991421B1 (ko) 2019-06-21
TW201513097A (zh) 2015-04-01
WO2014202701A1 (en) 2014-12-24
PL3011560T3 (pl) 2019-01-31
SG11201510458UA (en) 2016-01-28
JP6228298B2 (ja) 2017-11-08
TWI564883B (zh) 2017-01-01
ES2697474T3 (es) 2019-01-24
US10096322B2 (en) 2018-10-09
US20160180854A1 (en) 2016-06-23
CN105431898A (zh) 2016-03-23
KR20160024920A (ko) 2016-03-07
EP3011560A1 (en) 2016-04-27
BR112015031605A2 (pt) 2017-07-25
MY169410A (en) 2019-04-01
US20190027153A1 (en) 2019-01-24
PT3011560T (pt) 2018-11-09
AU2014283285B2 (en) 2017-09-21
RU2642894C2 (ru) 2018-01-29
MX358362B (es) 2018-08-15
HK1224368A1 (zh) 2017-08-18
BR112015031605B1 (pt) 2022-03-29

Similar Documents

Publication Publication Date Title
US11776551B2 (en) Apparatus and method for improved signal fade out in different domains during error concealment
KR101940740B1 (ko) 시간 도메인 여기 신호를 변형하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
KR101957905B1 (ko) 시간 도메인 여기 신호를 기초로 하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
US20190027153A1 (en) Audio Decoder Having A Bandwidth Extension Module With An Energy Adjusting Module

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171012

R150 Certificate of patent or registration of utility model

Ref document number: 6228298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250