JP2018045244A - 低レートｃｅｌｐデコーダに関する非音声コンテンツの向上 - Google Patents

低レートｃｅｌｐデコーダに関する非音声コンテンツの向上 Download PDF

Info

Publication number
JP2018045244A
JP2018045244A JP2017211618A JP2017211618A JP2018045244A JP 2018045244 A JP2018045244 A JP 2018045244A JP 2017211618 A JP2017211618 A JP 2017211618A JP 2017211618 A JP2017211618 A JP 2017211618A JP 2018045244 A JP2018045244 A JP 2018045244A
Authority
JP
Japan
Prior art keywords
frequency
domain excitation
time domain
normalized
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017211618A
Other languages
English (en)
Other versions
JP6532926B2 (ja
Inventor
トミー・ヴェヤンクール
Vaillancourt Tommy
ミラン・ジェリネク
Jelinek Milan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VoiceAge Corp
Original Assignee
VoiceAge Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=48191141&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2018045244(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by VoiceAge Corp filed Critical VoiceAge Corp
Publication of JP2018045244A publication Critical patent/JP2018045244A/ja
Application granted granted Critical
Publication of JP6532926B2 publication Critical patent/JP6532926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】時間領域デコーダによって復号化された時間領域励振の合成物を修正するための方法および装置を提供する。【解決手段】時間領域デコーダによって復号化された時間領域励振の合成物を修正するための方法および装置であって、復号化された時間領域励振の合成物は、いくつかのカテゴリのうちの1つに分類される。復号化された時間領域励振は、周波数領域励振に変換され、その周波数領域励振は、復号化された時間領域励振の合成物が分類されたカテゴリに応じて修正される。修正された周波数領域励振は、修正された時間領域励振に変換され、そして修正された時間領域励振が、復号化された時間領域励振の修正された合成物を生成するために、合成フィルタに供給される。【選択図】図１

Description

本開示は、時間領域デコーダによって復号化された時間領域励振の合成物を修正するための装置および方法に関する。
最新式の会話コーデックは、ビットレートが約8kbpsの状態で、明瞭な音声信号を極めて高品質で表すことができ、16kbpsのビットレートにおける明瞭さに近づけることができる。低ビットレートにおいてさえも、この音声の高品質を維持するためには、マルチモーダル(multi modal)符号化スキームを使用することができる。通常、入力音響信号は、その特性を反映する異なるカテゴリの間に分割される。たとえば、異なるカテゴリは、有声、無声および出だし音(onset：頭子音)のカテゴリを含むことができる。コーデックでは、これらのカテゴリのすべてに最適化される異なる符号化モードが使用される。
Milan JelinekおよびPhilippe Gournay、PCT特許出願国際公開第03102921号、「A method and device for efficient frame erasure concealment in linear predictive based speech codecs」 T. Vaillancourt他、PCT特許出願国際公開第2007073604号、「Method and device for efficient frame erasure concealment in speech codecs」
3GPP TS 26.190,「Adaptive Multi-Rate-Wideband(AMR-WB)speech codec」;Transcoding functions J. D. Johnston、「Transform coding of audio signal using perceptual noise criteria」、IEEE J. Select. Areas Commun., vol.6、314〜323頁、1988年2月
しかし、いくつかの展開されている音声コーデックでは、このマルチモーダルのアプローチが使用されておらず、明瞭な音声と異なる音響信号では、特に低いビットレートにおいて準最適な品質になる。コーデックが展開されたとき、ビットストリームが標準化されており、ビットストリームに対するあらゆる修正が、コーデックの相互運用性を壊すことになるということが原因で、エンコーダを修正することは困難である。しかし、デコーダの修正は、受信側で受け取られる品質を向上させるように実施することができる。
第1の態様によれば、本開示は、時間領域デコーダによって復号化された時間領域励振の合成物を修正するための装置に関し、該装置は、復号化された時間領域励振の合成物のいくつかのカテゴリのうちの1つへの分類器と;復号化された時間領域励振の周波数領域励振への変換器と;復号化された時間領域励振の合成物が分類器によって分類されたカテゴリに応じる、周波数領域励振の修正器と;修正された周波数領域励振の修正された時間領域励振への変換器と;復号化された時間領域励振の修正された合成物を生成するために、修正された時間領域励振が供給される合成フィルタとを含む。
別の態様によれば、本開示は、符号化パラメータによって符号化された音響信号を復号化するための装置に関し、その装置は、音響信号の符号化パラメータに応答する時間領域励振のデコーダと;前記時間領域励振の合成物を生成するように、復号化された時間領域励振に応答する合成フィルタと;時間領域励振の合成物を修正するための上記に述べた装置とを含む。
第3の態様によれば、本開示は、時間領域デコーダによって復号化された時間領域励振の合成物を修正するための方法に関し、その方法は、復号化された時間領域励振の合成物をいくつかのカテゴリの1つに分類するステップと;復号化された時間領域励振を周波数領域励振に変換するステップと;復号化された時間領域励振の合成物が分類されたカテゴリに応じて、周波数領域励振を修正するステップと;修正された周波数領域励振を修正された時間領域励振に変換するステップと;復号化された時間領域励振の修正された合成物を生成するために、修正された時間領域励振を合成するステップとを含む。
さらなる態様によれば、本開示は、符号化パラメータによって符号化された音響信号を復号化するための方法に係わり、その方法は、音響信号の符号化パラメータに応答して時間領域励振を復号化するステップと;前記時間領域励振の合成物を生成するために、復号化された時間領域励振を合成するステップと;時間領域励振の合成物を修正するための上記に述べた方法とを含む。
時間領域励振の合成物を修正するための装置および方法に関する前述および他の特徴は、限定しない実施例として設けた次の非限定の記述を、添付図面を参照して読むと、より明らかになるはずである。
受動的なフレームおよび能動的な無声フレームを向上させるためのCELPデコーダの修正を示す簡単化したブロック図である。 受動的なフレームおよび能動的な無声フレームを向上させるためのCELPデコーダの修正を示す詳細なブロック図である。 一般のオーディオフレームを向上させるためのCELPデコーダの修正を示す簡単化したブロック図である。 一般のオーディオフレームを向上させるためのCELPデコーダの修正を示す詳細なブロック図である。
本開示は、相互運用性を維持し、かつ知覚品質を高めるように、デコーダ側でマルチモーダルの復号化を実施するアプローチに関するものである。本開示では、参考文献[3GPP TS 26.190,「Adaptive Multi-Rate-Wideband(AMR-WB)speech codec」;Transcoding functions]に記載されているAMR-WBが、例示的な例として使用されているが、このアプローチは、他のタイプの低ビットレートの音声デコーダに同様に適用することができることを念頭に置くべきであり、この文献の全部の内容は、参照によって本明細書に組み込まれる。
図1を参照すると、このマルチモーダルの復号化を達成するためには、時間領域励振デコーダ102が、まず、受け取られたビットストリーム101、たとえばAMR-WBビットストリームを全部復号化して、完全な時間領域の符号励振線形予測(CELP:Code-Excited Linear Prediction)による復号化された励振を得る。復号化された時間領域励振は、線形予測(LP:Linear Prediction)合成フィルタ103によって処理され、デコーダの内部サンプリング周波数における音声/音響信号の時間領域合成物が得られる。AMR-WBでは、この内部サンプリング周波数は12.8kHzであるが、別のコーデックでは、それは、異なることができるはずである。
LP合成フィルタ103からの現在のフレームの時間領域合成物は、ビットストリーム101からの音声区間検出(VAD:voice activity detection)情報109が提供される分類器104-105-106-301(図1、図2および図3)によって処理される。分類器104-105-106-301は、時間領域合成物を分析して受動的な音声、能動的な有声音声、能動的な無声音声または一般のオーディオのいずれかとして分類する。受動的な音声(1051で検出される)は、音声バーストの間のすべてのバックグラウンドのノイズを含み、能動的な有声音声(1061で検出される)は、有声の特徴を有する能動的な音声バーストの間のフレームを表し、能動的な無声音声(1062で検出される)は、無声の特徴を有する音声バーストの間のフレームを表し、そして一般のオーディオ(3010で検出される)は、音楽または残響音声を表す。他のカテゴリが、追加されるか、または上記のカテゴリから導き出されることができる。開示するアプローチは、特に、ただし排他的でなく、受動的な音声、能動的な無声音声および一般のオーディオの知覚品質を向上させることを目指している。
一度時間領域合成物のカテゴリが決定されると、変換器/修正器107は、非オーバーラップ周波数変換を使用して、時間領域励振デコーダ102からの復号化された励振を周波数領域に変換する。同様にオーバーラップ変換を使用することができるが、しかしそれは、端から端まで(end-to-end：エンドツーエンド)の遅延が増加するという意味を含み、それは、ほとんどの場合望まれない。次いで、励振の周波数表現は、変換器/修正器107中で異なる周波数バンドに分割される。周波数バンドは、固定のサイズを有することができるか、またはクリティカルバンドに依存することができる[全体の内容が参照によって本明細書に組み込まれる、J. D. Johnston、「Transform coding of audio signal using perceptual noise criteria」、IEEE J. Select. Areas Commun., vol.6、314〜323頁、1988年2月参照]か、または任意の他の組み合わせである。次いで、バンド当たりのエネルギーが計算され、変換器/修正器107中のメモリに保存されて、修正がグローバルなフレームのエネルギーレベルを変化させていないことを保証するために、再成形プロセスの後で使用される。
変換器/修正器107によって行われる周波数領域中の励振の修正は、合成物の分類によって異なることができる。受動的な音声および能動的な無声音声について、再成形は、ノイズを加えることによって低周波数を正規化することと、高周波数コンテンツをノイズだけと置き換えることとからなることができる。復号化された時間領域合成物のカットオフ周波数、すなわち低周波数と高周波数との間のリミットは、約1〜1.2kHzの値に固定することができる。復号化された時間領域合成物の低周波数コンテンツのいくらかは、修正されないフレームと修正されたフレームとの間で切り替えられるとき、不自然な結果(artifact)を防止するために保存される。時間領域励振デコーダ102からの復号化されたピッチの関数として周波数ビンを選ぶことによって、カットオフ周波数をフレームごとに可変にすることも可能である。修正プロセスは、低ビットレートの音声コーデックと関連付けられた或る種類の電気ノイズを除去するという効果を有する。修正プロセスの後、6kHzより高い周波数におけるLPフィルタの利得の低下を補償するように、それらの周波数についてエネルギーをわずかに増加させることによって、周波数バンド当たりの初期エネルギーレベルを取り戻すために、周波数バンドごとの利得整合が適用される。
一般のオーディオとして分類されたフレームでは、変換器/修正器107中の処理が異なる。まず、正規化が、すべてのバンドについて周波数バンドごとに実施される。正規化動作では、バンド内の最大周波数値の分数より低い周波数バンド内部のすべてのビンは、ゼロに設定される。より高周波数バンドには、より多いビンが、バンドごとにゼロに設定される。これは、ビット配分が高いが、より多くのビットがより低周波数に割り当てられている周波数定量化スキームをシミュレートしている。正規化プロセスの後、ゼロに設定されたビンをランダムノイズに置き換えるために、ノイズ充填(noise fill)を適用することができるが、しかしビットレートに依存して、ノイズ充填は、常には使用されない。修正プロセスの後、周波数バンドごとの利得整合が、周波数バンド当たりの初期エネルギーレベルを取り戻すために適用され、そして一般のオーディオ入力の場合、LPフィルタのシステム的な過小評価を補償するために、ビットレートに依存する傾斜是正が周波数バンドに沿って適用される。一般のオーディオ経路に対する別の差別化は、利得整合がすべての周波数ビンにわたって適用されないことに起因する。一般のオーディオのスペクトルが、通常、音声よりピーキー(peaky)なので、スペクトルのパルスを識別して、それをいくぶん強調することが可能であるとき、知覚品質は向上する。そうするためには、傾斜是正による十分な利得整合が、周波数バンド内部のもっとも高いエネルギーのビンだけに適用される。もっとも低いエネルギーのビンに関しては、わずかな利得整合だけがそれらのビンに適用される。これによって、スペクトルのダイナミックが高められることになる。
励振周波数の再成形および利得整合の後、修正された時間領域励振を得るために、変換器/修正器107が逆周波数変換を適用する。この修正された励振は、LP合成フィルタ108によって処理され、修正された時間領域合成物が得られる。ディエンファサイジング(de-emphasizing)フィルタおよび再サンプラ112における16kHz(AMR-WBの例について)までの最終的なディエンファシス(de-emphasis)および再サンプリングの前に、上書き器110は、LP合成フィルタ103からの時間領域の復号化された合成物を、時間領域の復号化された合成物の分類に依存して修正されたLP合成フィルタ108からの時間領域合成物によって単に上書きする。
受動的な音声の場合、能動的な無声音声の修正に比べて唯一の差は、より平坦なノイズ変動を与えるようにLP合成フィルタ108を平滑化するために、スムーザ111を使用することである。残された修正は、能動的な無声経路についてのものと同じである。次の文章では、開示するアプローチの実装形態のより詳細な実施例を、図2を参照して述べる。
1) 信号分類
図2を参照すると、分類器104-105-106-301は、デコーダで、上文に記載のように、修正が適用されるビットレートに関して音声/音響信号の時間領域合成物1021を分類する。図面を簡単にするために、LP合成フィルタ103は、図2に示していない。デコーダでの分類は、全体の内容が参照によって本明細書に組み込まれる、参考文献[Milan JelinekおよびPhilippe Gournay、PCT特許出願国際公開第03102921号、「A method and device for efficient frame erasure concealment in linear predictive based speech codecs」]および[T. Vaillancourt他、PCT特許出願国際公開第2007073604号、「Method and device for efficient frame erasure concealment in speech codecs」]に記載されているものと同様であると共に、さらに、一般のオーディオ検出のためのいくつかの適用である。デコーダでのフレームの分類のために、次のパラメータが使用される;正規化相関rx、スペクトル傾斜基準et、ピッチ安定性カウンタpc、現在のフレームの最後における音響信号の相対的なフレームエネルギーEsおよびゼロ交差カウンタzcである。信号を分類するために使用されるこれらのパラメータの計算は、下記で説明される。
正規化相関rxは、音声/音響信号の時間領域合成物Sout(n)に基づき、フレームの最後で計算される。時間領域励振デコーダ102からの最後のサブフレームのピッチ遅延が使用される。より具体的には、正規化相関rxは、次のようにピッチに同期して計算される。
Figure 2018045244
ただし、x(n)=Sout(n)であり、Tは、最後のサブフレームのピッチ遅延であり、t=L-Tであり、そしてLは、フレームサイズである。最後のサブフレームのピッチ遅延が、3N/2より大きい場合(Nはサブフレームサイズである)、Tは、最後の2つのサブフレームの平均のピッチ遅延に設定される。
したがって、正規化相関rxは、音声/音響信号の時間領域合成物Sout(n)を使用して計算される。サブフレームサイズ(64サンプル)より小さいピッチ遅延に関して、正規化相関は、t=L-Tの瞬間およびt=L-2Tの瞬間で2回計算され、正規化相関rxは、これらの2つの計算値の平均値として与えられる。
スペクトルの傾斜パラメータetは、エネルギーの周波数分布に関する情報を含む。非限定の実施例として、デコーダでのスペクトルの傾斜は、時間領域合成物の第1の正規化自己相関係数として推定される。これは、最後の3つのサブフレームに基づき、次のように計算される。
Figure 2018045244
ただし、x(n)=Sout(n)は、時間領域合成信号であり、Nは、サブフレームサイズであり、そしてLは、フレームサイズである(AMR-WBの例ではN=64およびL=256)。
ピッチ安定性カウンタpcは、ピッチ期間の変動を評価する。これは、次のようにデコーダで計算される。
ｐｃ＝｜ｐ３＋ｐ２−ｐ１−ｐ０｜ （３）
値p0、p1、p2およびp3は、現在のフレームの4つのサブフレームからの閉ループのピッチ遅延に対応する(AMR-WBの例では)。
相対的なフレームエネルギーEsは、dBでの現在のフレームエネルギーEfとその長期平均値Eltとの間の差として計算される。
Ｅｓ＝Ｅｆ−Ｅｌｔ （４）
ただし、現在のフレームエネルギーEfは、フレームの最後でピッチに同期して計算されるdBでの時間領域合成物Sout(n)のエネルギーであり、次のようである。
Figure 2018045244
ただし、L=256(AMR-WBの例では)は、フレーム長であり、Tは、最後の2つのサブフレームの平均のピッチ遅延である。Tがサブフレームサイズより小さい場合、Tは、2Tに設定される(短いピッチ遅延については2つのピッチ期間を使用して計算されるエネルギー)。
長期平均化エネルギーは、次の関係を使用して能動的な音声フレームに対して更新される。
Ｅｌｔ＝０．９９Ｅｌｔ＋０．０１Ｅｆ （６）
最後のパラメータは、時間領域合成物Sout(n)の1つのフレームに対して計算されるゼロ交差カウンタzcである。非限定の実施例として、ゼロ交差カウンタzcは、時間領域合成物の符号が、その期間の間、正から負に変化する回数をカウントする。
分類をよりロバストなものにするために、複数の分類パラメータを合わせて考慮し、1つのメリット関数fmを形成するものとする。その目的のために、分類パラメータは、まず、線形関数を使用してスケーリングされる。パラメータpxを考えると、そのスケーリングされたバージョンは、次式を使用して得られる。
ｐｓ＝ｋｐ・ｐｘ＋ｃｐ （７）
スケーリングされたピッチ安定性カウンタpcは、0と1の間にクリップされる。関数の係数kpおよびcpは、そのパラメータのそれぞれについて実験的に見つけられている。実装形態のこの実施例で使用される値は、テーブル1(表1)に要約している。
Figure 2018045244
メリット関数は、次のように定義される。
Figure 2018045244
ただし、上付き文字sは、パラメータのスケーリングされたバージョンを示す。
次いで、フレームの分類が、メリット関数fmを使用し、テーブル2(表2)に要約したルールに従って行われる。
Figure 2018045244
この分類に加えて、エンコーダによる音声区間検出(VAD:voice activity detection)に関する情報109は、AMR-WBの例の場合のように、ビットストリーム101中で伝達することができる(図1)。それゆえ、エンコーダが現在のフレームを能動的なコンテンツ(VAD=1)として見なしているのか、または受動的なコンテンツ(バックグラウンドノイズ、VAD=0)として見なしているのかを規定するために、1つのビットがビットストリーム101中に送られる。VAD情報が、コンテンツは受動的であると示すとき、分類器の一部分104、105、106および301は、分類を無声として上書きする。
分類スキームは、さらに、一般のオーディオ検出を含む(図3の分類器の一部分301参照)。一般のオーディオのカテゴリは、音楽、残響音声を含み、そしてまた、バックグラウンドの音楽を含むことができる。分類の第2のステップは、分類器104-105-106-301が、十分な確かさで、現在のフレームを一般のオーディオとして分類することができることを可能にする。2つのパラメータが、この第2の分類のステップを実現するために使用される。パラメータの1つは、方程式(5)で公式化される全フレームエネルギーEfである。
まず、これまでの40個の全フレームエネルギー変動の平均値
Figure 2018045244
が、次の関係を使用して計算される。
Figure 2018045244
次いで、最後の15個のフレームにわたるエネルギー変動履歴の統計的偏差σEが、次の関係を使用して決定される。
Figure 2018045244
その結果得られた偏差σEは、復号化された合成物のエネルギー安定性についての表示を与える。通常、音楽は、エネルギー安定性が音声より高い(エネルギー変動履歴の統計的偏差がより低い)。
さらに、方程式(5)で公式化されるフレームエネルギーEfが-12dBより高いとき、無声として分類される2つのフレームの間の間隔Nuvを評価するために、第1のステップの分類が使用される。フレームが無声として分類され、フレームエネルギーEfが-9dBより大きいときは、信号が無声であるが無音でないことを意味し、方程式(6)で公式化される長期の能動的な音声エネルギーEltが40dBより低い場合、無声間隔カウンタが16に設定され、そうでなければ、無声間隔カウンタNuvが8だけ減少される。カウンタNuvは、また、能動的な音声信号については0と300の間に制限され、受動的な音声信号については0と125の間に制限される。この例示的な例では、能動的な音声信号と受動的な音声信号との間の差は、ビットストリーム101中に含められる音声区間検出(VAD)情報から推測することができることに注意されたい。
長期平均値は、能動的な音声信号に関して、次のように、この無声フレームカウンタから導き出される。
Figure 2018045244
そして、受動的な音声信号に関しては、次のようである。
Figure 2018045244
さらにまた、長期平均値が大変大きく、偏差σEが大きいとき、たとえば、実装形態の現在の実施例では、
Figure 2018045244
およびσE>5であるとき、長期平均値は、次のように修正される。
Figure 2018045244
無声として分類されたフレームの間のフレーム数の長期平均値についてのこのパラメータは、フレームを一般のオーディオとして見なすべきかどうかを決定するために、分類器104-105-106-301によって使用される。無声フレームが時間内でより接近していればいるほど、フレームが音声特性をますます有しそうである(一般のオーディオである可能性がより少ない)。例示的な例では、フレームを一般のオーディオとして見なすのかどうかを決定するしきい値GAは、次のように定義される。
Figure 2018045244
方程式(9)で定義されるパラメータ
Figure 2018045244
は、大きいエネルギー変動を一般のオーディオとして分類しないように加えられ、その変動は、能動的な音声として維持される。
励振に対して実施される修正は、フレームの分類によって決定され、或るタイプのフレームには、全く修正が施されない。次のテーブル3(表3)に、修正を実施することができる、またはできない場合を要約する。
Figure 2018045244
*一般のオーディオカテゴリは、実装形態に依存して、修正してもよく、またはしなくてもよい。たとえば、一般のオーディオは、受動的であるだけ修正してよく、あるいは、一般のオーディオは、能動的であるときだけ修正してもよく、そして、いつでも修正してもよく、または、いつでも修正しなくてもよい。
2) 周波数変換
周波数領域の修正フェーズの間、励振は、変換領域中で表すことが必要である。たとえば、時間-周波数変換は、25Hzの周波数分解能を与えるタイプII DTC(離散コサイン変換;Discrete Cosine Transform)を使用して、変換器/修正器107の時間-周波数領域変換器201によって達成されるが、しかし、あらゆる他の適切な変換を使用することができる。別の変換が使用される場合、周波数分解能(上記で定義した)、周波数バンド数およびバンド当たりの周波数ビン数(さらに下記で定義する)は、それに従って改訂することが必要である。時間-周波数領域変換器201で計算される時間領域CELP励振の周波数表現feは、下記で与えられる。
Figure 2018045244
ただし、etd(n)は、時間領域CELP励振であり、Lはフレーム長である。AMR-WBの例では、フレーム長は、12.8kHzの対応する内部サンプリング周波数に対して256サンプルである。
時間領域CELPデコーダ、たとえば102では、時間領域励振信号は、
ｅｔｄ（ｎ）＝ｂｖ（ｎ）＋ｇｃ（ｎ） （１５）
によって与えられる、ただし、v(n)は、適応コードブック寄与度(adaptive codebook contribution)であり、bは適応コードブック利得であり、c(n)は固定コードブック寄与度(fixed codebook contribution)であり、gは固定コードブック利得である。
3) バンド当たりのエネルギーの分析
時間領域励振に対するあらゆる修正の前に、変換器/修正器107は、それ自体が周波数領域励振のバンド当たりのエネルギーEbを計算するサブ計算機209を含む利得計算機208-209-210を含み、そして励振スペクトル再成形後にエネルギーを調整するために、計算したバンド当たりのエネルギーEbをメモリに保存する。12.8kHzのサンプリング周波数では、エネルギーは、次のように、サブ計算機209によって計算することができる。
Figure 2018045244
ただし、CBbは、バンド当たりの累積周波数ビンを表し、Bbは、次のように定義される周波数バンド当たりのビン数を表す。
Figure 2018045244
低周波数バンドは、参考文献[Milan JelinekおよびPhilippe Gournay、PCT特許出願国際公開第03102921号、「A method and device for efficient frame erasure concealment in linear predictive based speech codecs」]に記載のようにクリティカルなオーディオバンドに対応することができ、この文献の全部の内容は、参照によって本明細書に組み込まれるが、しかし、3700Hzより高い周波数バンドは、それらのバンド中の起こり得るスペクトルのエネルギー変動をより良く調和させるためには、少しだけより低いことがある。スペクトルのバンドのあらゆる他の構成も可能である。
4) 受動的なフレームおよび能動的な無声フレームのための励振修正
a) 時間領域寄与度対ノイズ充填のカットオフ周波数
受動的なフレームおよび能動的な無声フレームについて、非修正の励振と修正された励振との間の明瞭な切り替えを達成するためには、時間領域励振の寄与率の少なくともより低い周波数が保存される。変換器/修正器107は、時間領域寄与度の使用を停止すべき周波数を決定するカットオフ周波数計算機203を含み、カットオフ周波数fcは、1.2kHzの最小値を有する。これは、復号化された励振の最初の1.2kHzが常に保存され、このカットオフ周波数は、時間領域励振デコーダ102からの復号化されたピッチ値に依存していて、より高くすることができることを意味する。第8次高調波が、すべてのサブフレームのもっとも低いピッチから計算され、時間領域寄与度は、この第8次高調波まで保存される。第8次高調波の推定は、次のように計算される。
Figure 2018045244
ただし、Fs=12800Hzであり、Nsubは、サブフレーム数であり、Tは、復号化されたサブフレームのピッチである。Nbが、周波数範囲Lfに含まれる最大周波数バンドであって、すべてのi<Nbについて、第8次高調波が配置されているバンドを見つけるために、次の不等式がなお検証されるもっとも高いバンドを探し求めることによって、検証が行われる。
Figure 2018045244
ただし、Lfは、次のように定義される。
Figure 2018045244
Lf中のその周波数バンドの指標は、
Figure 2018045244
と呼ぶことにし、それは、第8次高調波が配置されていそうである周波数バンドを示す。計算機のカットオフ周波数計算機203は、1.2kHzと、第8次高調波が配置されていそうである周波数バンドの最後の周波数
Figure 2018045244
との間のより高いほうの周波数として、次の関係を使用して、最終的なカットオフ周波数ftcを計算する。
Figure 2018045244
b) 正規化およびノイズ充填
変換器/修正器107は、カットオフ周波数fcより高い周波数バンドの周波数ビンをゼロに設定するゼロアー(zeroer)204をさらに含む。
受動的なフレームおよび能動的な無声フレームについて、変換器/修正器107の正規化器(normalizer)205は、[0,4]の間において、時間領域CELP励振feの周波数表現の周波数バンドのfcより低い周波数ビンを、次の関係を使用して正規化する。
Figure 2018045244
その場合、変換器/修正器107は、ランダムノイズを発生するランダムノイズ発生器206を含み、そして周波数ビンのすべてにわたり一定レベルでノイズを加えるために、簡単なノイズ充填が加算器207によって実施される。このノイズ添加を記述する関数は、以下のように定義される。
Figure 2018045244
ただし、randは、-1と+1の間に制限される乱数の発生器である。
c) 修正された励振スペクトルのバンド当たりのエネルギー分析
利得計算機208-209-210のサブ計算機208は、上記の章3で述べたものと同じ方法を使用して、スペクトル再成形Eb'後のバンド当たりのエネルギーを決定する。
d) エネルギー整合
受動的なフレームおよび能動的な無声フレームについて、エネルギー整合は、励振スペクトル修正後にバンド当たりのエネルギーをその初期値に調節することだけから成り立つ。各バンドiについて、利得計算機208-209-210のサブ計算機210は、エネルギーを整合させるために、周波数バンド中のすべてのビンに適用される整合利得Gbを次のように決定する。
Figure 2018045244
ただし、Eb(i)は、上記の章3の方法を使用してサブ計算機209で決定される、励振スペクトル修正前のバンド当たりのエネルギーであり、E'b(i)は、サブ計算機208で計算される、励振スペクトル修正後のバンド当たりのエネルギーである。特定のバンドiについて、サブ計算機210で決定される、修正された(非正規化の)周波数領域励振
Figure 2018045244
は、次のように書くことができる。
Figure 2018045244
ただし、CBbおよびBbは、上記の章3で定義される。
5) 一般のオーディオフレームのための励振修正
a) 正規化およびノイズ充填
ここで、図3を参照することにする。分類器の一部分301によって決定される一般のオーディオフレームに関して、正規化は、わずかに異なり、正規化器302によって行われる。まず、正規化ファクターNfは、バンドごとに変化し、低周波数バンドにはより高い値を使用し、高周波数バンドにはより低い値を使用する。その考えは、パルスの位置がより正確である低い周波数バンド中に、より大きい振幅をもたらし、パルスの位置がそれほど正確でないより高い周波数バンド中に、より小さい振幅をもたらすということである。この例示的な例では、周波数バンドによって変化する正規化ファクターNfは、次のように定義される。
Nf={16、16、16、16、16、16、16、12、12、12、12、8、8、8、8、8、4、4、2、2、1、1、1}
特定の周波数バンドiに関して、一般のオーディオフレームの時間領域励振の周波数表現(周波数領域励振)feの正規化は、次のように記述することができる。
Figure 2018045244
ただし、Bbは、周波数バンド当たりのビン数であり、バンド当たりの累積周波数ビンは、CBbであり、feN(j)は、正規化された周波数領域励振である。BbおよびCBbは、上記の章3で記述している。
さらにまた、正規化器302は、
Figure 2018045244
Figure 2018045244
を得るために、各周波数バンド中のfeN(j)の最大値の分数Zfより低いすべての周波数ビンをゼロに設定するゼロアー(zeroer)(図示せず)を含む。
ただし、Zfは、次のように表すことができる。
Zf={1、1、1、1、1、1、1、1、1、1、1、1、1、1、1、1、1、1、1、1、0.5、0.5、0.5}
より挑戦的なゼロ設定は、スペクトルのピーキーな性質(peakiness：とがった性質)を増加させることが望まれる場合、ベクトルZfの値を増加することによって実施することができる。
b) 修正された励振スペクトルのバンド当たりのエネルギー分析
利得計算機303-304-306の計算機の一部分303は、上記の章3で記述したものと同じ方法を使用して、スペクトル再成形後のバンド当たりのエネルギーEb'を決定する。
c) エネルギー整合
図3は、利得計算機303-304-306を示し、図4は、この利得計算機の計算機の一部分306をより詳細に記述する。
一般のオーディオフレームに関して、エネルギー整合は、それがスペクトルのダイナミックも増加させることを目指すので、より難しい。各周波数バンドiについて、利得計算機303-304-306の計算機の一部分306のサブ計算機413は、方程式(22)中のものと同様に定義される推定される利得Geを計算する。
Figure 2018045244
ただし、Eb(i)は、上記の章3で述べた方法を使用して、計算機の一部分304で決定される励振スペクトル修正前のバンド当たりのエネルギーであり、E'b(i)は、計算機の一部分303で計算される、励振スペクトル修正後のバンド当たりのエネルギーである。
計算機の一部分306のサブ計算機414は、修正された(非正規化された)周波数領域励振
Figure 2018045244
を形成するために、正規化器302およびスペクトルスプリッタ401-420からの正規化された周波数領域励振
Figure 2018045244
の最初の400Hz(または最初の4つのバンド)に、次の関係を使用して、利得Geを適用する。
Figure 2018045244
発見器404は、400Hzより高いバンドiごとに最大値maxa≦j<b(|feN(j)|)を決定し、ただし、a=CBb(i)およびb=CBb(i)+Bb(i)は、上記の章3で定義されている。
正規化された周波数領域励振の400Hzと2kHzの間(バンド4〜12)に含まれる周波数バンドに関して(モジュール420および450参照)、周波数ビン中の正規化された周波数領域励振が、
Figure 2018045244
である場合(モジュール451参照)、増幅器402は、方程式(28)の上の行に示すように、ファクター1.1だけ、サブ計算機413からの利得Geを増幅する。サブ計算機403は、修正された(非正規化された)周波数領域励振
Figure 2018045244
を得るために、方程式(28)の最初の行に従って、周波数ビン中の正規化されたスペクトルの励振
Figure 2018045244
に、増幅器402からの増幅された利得を適用する。
さらに、正規化された周波数領域励振の400Hzと2kHzの間(バンド4〜12)に含まれる周波数バンドに関して(モジュール420および450参照)、周波数ビン中の正規化された周波数領域励振が、
Figure 2018045244
である場合(モジュール451参照)、減衰器405は、方程式(28)の下の行に示すように、ファクター0.86だけ、サブ計算機413からの利得Geを減衰させる。サブ計算機406は、修正された(非正規化された)周波数領域励振
Figure 2018045244
を得るために、方程式(28)の下の行に従って、周波数ビン中の正規化されたスペクトルの励振
Figure 2018045244
に、減衰器405からの減衰された利得を適用する。
要約すると、修正された(非正規化された)スペクトルの励振
Figure 2018045244
は、次のように与えられる。
Figure 2018045244
最後に、スペクトルのより高い部分、この実施例では正規化された周波数領域励振の2kHzより高い周波数バンド(バンド>12)に関して(モジュール420および450参照)、周波数ビン中の正規化された周波数領域励振が、
Figure 2018045244
である場合(モジュール452参照)、周波数バンドiの関数であり、またビットレートの関数とすることができる傾斜は、LPCフィルタの低すぎるエネルギー推定を補償するために、利得Geに加えられる。周波数バンド当たりの傾斜の値δ(i)は、次のように公式化される。
Figure 2018045244
傾斜は、傾斜計算機407-408によって計算され、修正された(非正規化された)周波数領域励振
Figure 2018045244
を得るために、サブ計算機409により、方程式(30)の上の行に従って、周波数ビンによる正規化された周波数領域励振
Figure 2018045244
に適用される。
さらに、スペクトルのより高い部分、この例示的な例では正規化された周波数領域励振の2kHzより高い周波数バンド(バンド>12)に関して(モジュール420および450参照)、周波数ビン中の正規化された周波数領域励振が、
Figure 2018045244
である場合(モジュール452参照)、減衰器410は、修正された(非正規化された)周波数領域励振
Figure 2018045244
を得るために、サブ計算機411により、方程式(30)の下の行に従って、周波数ビンによって正規化されたスペクトルの励振
Figure 2018045244
に適用される減衰利得
Figure 2018045244
を計算する。
要約すると、非正規化されたスペクトルの励振
Figure 2018045244
が、次のように決定される。
Figure 2018045244
ただし、aおよびbは、本明細書で上記に述べている。最新のバンドに適用される利得をさらに増加することも可能であり、その場合、LPCのエネルギー整合は最も悪くなる。
6) 逆周波数変換
結合器453は、全部そろった修正された(非正規化された)周波数領域励振
Figure 2018045244
を形成するために、サブ計算機414、403、406、409および411からの修正された(非正規化された)周波数領域励振
Figure 2018045244
に寄与度を結合する。
周波数領域処理が完了した後、逆周波数-時間変換202が、時間領域の修正された励振を見出すために、結合器453からの修正された(非正規化された)周波数領域励振
Figure 2018045244
に適用される。この例示的な実施形態では、周波数-時間変換が、25Hzの分解能を与える時間-周波数変換のために使用されるのと同じタイプII DCTの逆を用いて達成される。さらに、あらゆる他の変換を使用することができる。修正された時間領域励振
Figure 2018045244
が、以下のように得られる。
Figure 2018045244
ただし、
Figure 2018045244
は、修正された励振の周波数表現であり、Lは、フレーム長である。この例示的な例では、フレーム長は、12.8kHzの対応する内部サンプリング周波数に対して256サンプルである(AMR-WB)。
7) 合成フィルタリングおよび現在のCELP合成物の上書き
一度励振修正が完了されると、修正された励振は、現在のフレームについて修正された合成物を得るために、合成フィルタ108によって処理される。上書き器110は、この修正された合成物を使用して、復号化された合成物の上に上書きし、それによって知覚品質が高められる。
次いで、16kHzまでの最後のディエンファシスおよび再サンプリングをディエンファシスフィルタおよび再サンプラ112で実施することができる。
101 AMR-WBビットストリーム
102 時間領域励振デコーダ
103 LP合成フィルタ
104、105、106、301 分類器の一部分
107 変換器/修正器
108 LP合成フィルタ
109 音声区間検出(VAD)情報
111 LPフィルタスムーザ
112 ディエンファサイジングフィルタおよび再サンプラ
201 時間-周波数領域変換器
203 カットオフ周波数計算機
204 ゼロアー
205 正規化器
206 ランダムノイズ発生器
207 加算器
208、209、210 利得計算機のサブ計算機
302 正規化器
303、304、306 利得計算機の一部分の計算機
401 スペクトルスプリッタ
402 増幅器
403 サブ計算機
404 発見器
405 減衰器
406 サブ計算機
407 傾斜計算機
408 傾斜計算機
409 サブ計算機
410 減衰器
411 サブ計算機
413 サブ計算機
414 サブ計算機
420 モジュール、スペクトルスプリッタ
450 モジュール
451 モジュール
452 モジュール
453 結合器
1021 音声/音響信号の時間領域合成物

Claims (18)

  1. 時間領域デコーダによって復号化された時間領域励振の一般のオーディオ合成物を修正するための装置であって、
    前記復号化された時間領域励振の周波数領域励振への第1の変換器と、
    前記周波数領域励振の修正器であって、前記周波数領域励振は、それぞれが周波数ビンに分割される周波数バンドに分割され、前記修正器は、正規化された周波数領域励振を生成するために、周波数バンドによって変化する正規化ファクターを使用する、前記周波数領域励振の正規化器を含む、前記修正器と、
    前記修正された周波数領域励振の修正された時間領域励振への第2の変換器と、
    前記復号化された時間領域励振の修正された合成物を生成するために、前記修正された時間領域励振が供給される合成フィルタと
    を含む、時間領域励振の一般のオーディオ合成物を修正するための装置。
  2. 前記修正器は、前記周波数ビンを含む周波数バンド中の前記正規化された周波数領域励振の最大値の分数より低い周波数ビンのゼロアーを含む、請求項1に記載の時間領域励振の一般のオーディオ合成物を修正するための装置。
  3. 前記修正器は、修正の前および後の前記周波数領域励振のエネルギーを使用する、周波数バンド当たりの整合利得の第1の計算機を含む、請求項1に記載の時間領域励振の一般のオーディオ合成物を修正するための装置。
  4. 前記修正器は、第1の周波数より低い周波数バンドに関して、前記修正された周波数領域励振を生成するために、前記正規化された周波数領域励振に前記整合利得を適用するための第2の計算機を含む、請求項3に記載の時間領域励振の一般のオーディオ合成物を修正するための装置。
  5. 第1のより低い周波数と第2のより高い周波数との間の周波数バンドに関して、
    前記正規化された周波数領域励振の周波数バンド当たりの最大値の発見器と、
    前記周波数ビン中の前記正規化された周波数領域励振が、前記周波数バンドの前記最大値に比例する値に等しいか、またはそれより高いとき、周波数ビン当たりの増幅ファクターだけ、前記整合利得を増幅するための増幅器と、
    前記周波数ビン中で前記修正された周波数領域励振を生成するために、前記周波数ビン中の前記正規化された周波数領域励振に前記増幅された整合利得を適用するための第2の計算機と
    を含む、請求項3に記載の時間領域励振の一般のオーディオ合成物を修正するための装置。
  6. 第1のより低い周波数と第2のより高い周波数との間の周波数バンドに関して、
    前記正規化された周波数領域励振の周波数バンド当たりの最大値の発見器と、
    前記周波数ビン中の前記正規化された周波数領域励振が、前記周波数バンドの前記最大値に比例する値より低いとき、前記周波数バンドの周波数ビン当たりの減衰ファクターだけ、前記整合利得を減衰させるための減衰器と、
    前記周波数ビン中で前記修正された周波数領域励振を生成するために、前記周波数ビン中の前記正規化された周波数領域励振に前記減衰された整合利得を適用するための第2の計算機と
    を含む、請求項3に記載の時間領域励振の一般のオーディオ合成物を修正するための装置。
  7. 所与の周波数より高い周波数バンドに関して、
    前記正規化された周波数領域励振の周波数バンド当たりの最大値の発見器と、
    前記整合利得のための傾斜の第2の計算機であって、前記周波数ビン中の前記正規化された周波数領域励振が、前記周波数バンドの前記最大値に比例する値より高いとき、前記第2の計算機は、前記整合利得に計算された傾斜を適用する、前記第2の計算機と、
    前記周波数ビン中で前記修正された周波数領域励振を生成するために、前記計算された傾斜が適用されている前記整合利得を、前記周波数ビン中の前記正規化された周波数領域励振に適用するための第3の計算機と
    を含む、請求項3に記載の時間領域励振の一般のオーディオ合成物を修正するための装置。
  8. 所与の周波数より高い周波数バンドに関して、
    前記正規化された周波数領域励振の周波数バンド当たりの最大値の発見器と、
    前記周波数ビン中の前記正規化された周波数領域励振が、前記周波数バンドの前記最大値に比例する値より低いとき、前記周波数バンドの周波数ビン当たりの増幅ファクターだけ、前記整合利得を減衰させるための減衰器と、
    前記周波数ビン中で前記修正された周波数領域励振を生成するために、前記周波数ビン中の前記正規化された周波数領域励振に前記減衰された整合利得を適用するための第2の計算機と
    を含む、請求項3に記載の時間領域励振の一般のオーディオ合成物を修正するための装置。
  9. 符号化パラメータによって符号化された音響信号を復号化するための装置であって、
    前記音響信号の符号化パラメータに応答する時間領域励振のデコーダと、
    前記時間領域励振の合成物を生成するために、前記復号化された時間領域励振に応答する合成フィルタと、
    前記時間領域励振の前記合成物を修正するための、請求項1から8のいずれか一項に記載の前記装置とを含む、装置。
  10. 時間領域デコーダによって復号化された時間領域励振の一般のオーディオ合成物を修正するための方法であって、
    前記復号化された時間領域励振を周波数領域励振に変換するステップと、
    前記周波数領域励振を修正するステップであって、前記周波数領域励振は、それぞれが周波数ビンに分割される周波数バンドに分割され、前記周波数領域励振を修正するステップは、正規化された周波数領域励振を生成するために、周波数バンドによって変化する正規化ファクターを使用して周波数領域励振を正規化するステップを含む、ステップと、
    前記修正された周波数領域励振を修正された時間領域励振に変換するステップと、
    前記復号化された時間領域励振の修正された合成物を生成するために、前記修正された時間領域励振を合成するステップと
    を含む、時間領域励振の一般のオーディオ合成物を修正するための方法。
  11. 前記周波数領域励振を修正するステップは、前記周波数ビンを含む周波数バンド中の前記正規化された周波数領域励振の最大値の分数より低い前記周波数ビンをゼロに設定するステップを含む、請求項10に記載の時間領域励振の一般のオーディオ合成物を修正するための方法。
  12. 前記周波数領域励振を修正するステップは、修正の前および後の前記周波数領域励振のエネルギーを使用して、周波数バンド当たりの整合利得を計算するステップを含む、請求項10に記載の時間領域励振の一般のオーディオ合成物を修正するための方法。
  13. 前記周波数領域励振を修正するステップは、第1の周波数より低い周波数バンドに関して、前記修正された周波数領域励振を生成するために、前記整合利得を前記正規化された周波数領域励振に適用するステップを含む、請求項12に記載の時間領域励振の一般のオーディオ合成物を修正するための方法。
  14. 第1のより低い周波数と第2のより高い周波数との間の周波数バンドに関して、
    前記正規化された周波数領域励振の周波数バンド当たりの最大値を発見するステップと、
    前記周波数ビン中の前記正規化された周波数領域励振が、前記周波数バンドの前記最大値に比例する値に等しいか、またはそれより高いとき、周波数ビン当たりの増幅ファクターだけ、前記整合利得を増幅するステップと、
    前記周波数ビン中で前記修正された周波数領域励振を生成するために、前記周波数ビン中の前記正規化された周波数領域励振に前記増幅された整合利得を適用するステップと
    を含む、請求項12に記載の時間領域励振の一般のオーディオ合成物を修正するための方法。
  15. 第1のより低い周波数と第2のより高い周波数との間の周波数バンドに関して、
    前記正規化された周波数領域励振の周波数バンド当たりの最大値を発見するステップと、
    前記周波数ビン中の前記正規化された周波数領域励振が、前記周波数バンドの前記最大値に比例する値より低いとき、前記周波数バンドの周波数ビン当たりの減衰ファクターだけ、前記整合利得を減衰させるステップと、
    前記周波数ビン中で前記修正された周波数領域励振を生成するために、前記周波数ビン中の前記正規化された周波数領域励振に前記減衰された整合利得を適用するステップと
    を含む、請求項12に記載の時間領域励振の一般のオーディオ合成物を修正するための方法。
  16. 所与の周波数より高い周波数バンドに関して、
    前記正規化された周波数領域励振の周波数バンド当たりの最大値を発見するステップと、
    前記周波数ビン中の前記正規化された周波数領域励振が、前記周波数バンドの前記最大値に比例する値より高いとき、前記整合利得のための傾斜を計算し、そして前記計算された傾斜を前記整合利得に適用するステップと、
    前記周波数ビン中で前記修正された周波数領域励振を生成するために、前記計算された傾斜が適用されている前記整合利得を、前記周波数ビン中の前記正規化された周波数領域励振に適用するステップと
    を含む、請求項12に記載の時間領域励振の一般のオーディオ合成物を修正するための方法。
  17. 所与の周波数より高い周波数バンドに関して、
    前記正規化された周波数領域励振の周波数バンド当たりの最大値を発見するステップと、
    前記周波数ビン中の前記正規化された周波数領域励振が、前記周波数バンドの前記最大値に比例する値より低いとき、前記周波数バンドの周波数ビン当たりの増幅ファクターだけ、前記整合利得を減衰させるステップと、
    前記周波数ビン中で前記修正された周波数領域励振を生成するために、前記減衰された整合利得を、前記周波数ビン中の前記正規化された周波数領域励振に適用するステップと
    を含む、請求項12に記載の時間領域励振の一般のオーディオ合成物を修正するための方法。
  18. 符号化パラメータによって符号化された音響信号を復号化するための方法であって、
    前記音響信号の符号化パラメータに応答して時間領域励振を復号化するステップと、
    前記時間領域励振の合成物を生成するために、前記復号化された時間領域励振を合成するステップと、
    請求項10から17のいずれか一項に記載の、時間領域励振の一般のオーディオ合成物を修正するための前記方法と
    を含む、方法。
JP2017211618A 2011-11-03 2017-11-01 時間領域デコーダによって復号化された時間領域励振の一般のオーディオ合成物を修正するための方法および装置 Active JP6532926B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161555246P 2011-11-03 2011-11-03
US61/555,246 2011-11-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014539195A Division JP6239521B2 (ja) 2011-11-03 2012-11-01 低レートｃｅｌｐデコーダに関する非音声コンテンツの向上

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019096082A Division JP2019152878A (ja) 2011-11-03 2019-05-22 時間領域デコーダによって復号化された時間領域励振の一般のオーディオ合成物を修正するための方法および装置

Publications (2)

Publication Number Publication Date
JP2018045244A true JP2018045244A (ja) 2018-03-22
JP6532926B2 JP6532926B2 (ja) 2019-06-19

Family

ID=48191141

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2014539195A Active JP6239521B2 (ja) 2011-11-03 2012-11-01 低レートｃｅｌｐデコーダに関する非音声コンテンツの向上
JP2017211617A Active JP6513769B2 (ja) 2011-11-03 2017-11-01 時間領域デコーダによって復号化された時間領域励振の受動的な音声または無声合成物を修正するための方法および装置
JP2017211618A Active JP6532926B2 (ja) 2011-11-03 2017-11-01 時間領域デコーダによって復号化された時間領域励振の一般のオーディオ合成物を修正するための方法および装置
JP2019096082A Pending JP2019152878A (ja) 2011-11-03 2019-05-22 時間領域デコーダによって復号化された時間領域励振の一般のオーディオ合成物を修正するための方法および装置
JP2021188032A Active JP7237127B2 (ja) 2011-11-03 2021-11-18 時間領域励振デコーダによって復号化された時間領域励振の合成物を修正するための方法および装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2014539195A Active JP6239521B2 (ja) 2011-11-03 2012-11-01 低レートｃｅｌｐデコーダに関する非音声コンテンツの向上
JP2017211617A Active JP6513769B2 (ja) 2011-11-03 2017-11-01 時間領域デコーダによって復号化された時間領域励振の受動的な音声または無声合成物を修正するための方法および装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019096082A Pending JP2019152878A (ja) 2011-11-03 2019-05-22 時間領域デコーダによって復号化された時間領域励振の一般のオーディオ合成物を修正するための方法および装置
JP2021188032A Active JP7237127B2 (ja) 2011-11-03 2021-11-18 時間領域励振デコーダによって復号化された時間領域励振の合成物を修正するための方法および装置

Country Status (15)

Country Link
US (1) US9252728B2 (ja)
EP (2) EP2774145B1 (ja)
JP (5) JP6239521B2 (ja)
KR (1) KR102105044B1 (ja)
CN (3) CN104040624B (ja)
CA (1) CA2851370C (ja)
DK (1) DK2774145T3 (ja)
ES (1) ES2805308T3 (ja)
HK (1) HK1198265A1 (ja)
HR (1) HRP20201070T1 (ja)
HU (1) HUE050600T2 (ja)
IN (1) IN2014DN03022A (ja)
LT (1) LT2774145T (ja)
SI (1) SI2774145T1 (ja)
WO (1) WO2013063688A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104040624B (zh) * 2011-11-03 2017-03-01 沃伊斯亚吉公司 改善低速率码激励线性预测解码器的非语音内容
EP3848929B1 (en) 2013-03-04 2023-07-12 VoiceAge EVS LLC Device and method for reducing quantization noise in a time-domain decoder
US9418671B2 (en) * 2013-08-15 2016-08-16 Huawei Technologies Co., Ltd. Adaptive high-pass post-filter
CN111312277B (zh) * 2014-03-03 2023-08-15 三星电子株式会社 用于带宽扩展的高频解码的方法及设备
CN110097892B (zh) * 2014-06-03 2022-05-10 华为技术有限公司 一种语音频信号的处理方法和装置
JP6401521B2 (ja) * 2014-07-04 2018-10-10 クラリオン株式会社 信号処理装置及び信号処理方法
US10049684B2 (en) * 2015-04-05 2018-08-14 Qualcomm Incorporated Audio bandwidth selection
US9972334B2 (en) * 2015-09-10 2018-05-15 Qualcomm Incorporated Decoder audio classification
US10373608B2 (en) 2015-10-22 2019-08-06 Texas Instruments Incorporated Time-based frequency tuning of analog-to-information feature extraction
WO2019056108A1 (en) 2017-09-20 2019-03-28 Voiceage Corporation METHOD AND DEVICE FOR EFFICIENT DISTRIBUTION OF A BINARY BUDGET IN A CELP CODEC
TWI790705B (zh) * 2021-08-06 2023-01-21 宏正自動科技股份有限公司 語速調整方法及其系統
CN115857614B (zh) * 2022-11-17 2023-12-29 弘正储能(上海)能源科技有限公司 多路光伏mppt交错式boost控制方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58220199A (ja) * 1982-06-17 1983-12-21 日本電気株式会社 帯域分割型ボコ−ダ
JP2001134296A (ja) * 1999-11-01 2001-05-18 Nec Corp 音声信号復号方法及び装置と音声信号符号化復号方法及び装置と記録媒体
JP2010520512A (ja) * 2007-03-05 2010-06-10 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 定常的な背景雑音の平滑化を行うための方法及び装置
JP2015501452A (ja) * 2011-11-03 2015-01-15 ヴォイスエイジ・コーポレーション 低レートｃｅｌｐデコーダに関する非音声コンテンツの向上

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3088121B2 (ja) * 1991-04-12 2000-09-18 沖電気工業株式会社 統計励振コードベクトルの最適化方法
JP2606006B2 (ja) * 1991-05-24 1997-04-30 ヤマハ株式会社 ノイズ音発生装置
JP3328080B2 (ja) * 1994-11-22 2002-09-24 沖電気工業株式会社 コード励振線形予測復号器
US6240386B1 (en) * 1998-08-24 2001-05-29 Conexant Systems, Inc. Speech codec employing noise classification for noise compensation
JP3451998B2 (ja) * 1999-05-31 2003-09-29 日本電気株式会社 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体
US7272553B1 (en) * 1999-09-08 2007-09-18 8X8, Inc. Varying pulse amplitude multi-pulse analysis speech processor and method
US7139700B1 (en) * 1999-09-22 2006-11-21 Texas Instruments Incorporated Hybrid speech coding and system
US6704711B2 (en) * 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
JP3462464B2 (ja) * 2000-10-20 2003-11-05 株式会社東芝 音声符号化方法、音声復号化方法及び電子装置
JP2003110429A (ja) * 2001-09-28 2003-04-11 Sony Corp 符号化方法及び装置、復号方法及び装置、伝送方法及び装置、並びに記録媒体
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
JP3861770B2 (ja) * 2002-08-21 2006-12-20 ソニー株式会社 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体
WO2004084182A1 (en) * 2003-03-15 2004-09-30 Mindspeed Technologies, Inc. Decomposition of voiced speech for celp speech coding
WO2004090870A1 (ja) * 2003-04-04 2004-10-21 Kabushiki Kaisha Toshiba 広帯域音声を符号化または復号化するための方法及び装置
CN101185127B (zh) * 2005-04-01 2014-04-23 高通股份有限公司 用于编码和解码语音信号的高频带部分的方法和设备
US7707034B2 (en) * 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
US7630882B2 (en) * 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
KR20080047443A (ko) * 2005-10-14 2008-05-28 마츠시타 덴끼 산교 가부시키가이샤 변환 부호화 장치 및 변환 부호화 방법
US7490036B2 (en) * 2005-10-20 2009-02-10 Motorola, Inc. Adaptive equalizer for a coded speech signal
US8255207B2 (en) * 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
US20090281812A1 (en) * 2006-01-18 2009-11-12 Lg Electronics Inc. Apparatus and Method for Encoding and Decoding Signal
US8271277B2 (en) * 2006-03-03 2012-09-18 Nippon Telegraph And Telephone Corporation Dereverberation apparatus, dereverberation method, dereverberation program, and recording medium
US7590523B2 (en) * 2006-03-20 2009-09-15 Mindspeed Technologies, Inc. Speech post-processing using MDCT coefficients
CN101086845B (zh) * 2006-06-08 2011-06-01 北京天籁传音数字技术有限公司 声音编码装置及方法以及声音解码装置及方法
US7873511B2 (en) * 2006-06-30 2011-01-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
CN101025918B (zh) * 2007-01-19 2011-06-29 清华大学 一种语音/音乐双模编解码无缝切换方法
CN101388214B (zh) * 2007-09-14 2012-07-04 向为 一种变速率的声码器及其编码方法
CN100585699C (zh) * 2007-11-02 2010-01-27 华为技术有限公司 一种音频解码的方法和装置
WO2009110738A2 (ko) * 2008-03-03 2009-09-11 엘지전자(주) 오디오 신호 처리 방법 및 장치
EP2259254B1 (en) * 2008-03-04 2014-04-30 LG Electronics Inc. Method and apparatus for processing an audio signal
CN101620854B (zh) * 2008-06-30 2012-04-04 华为技术有限公司 频带扩展的方法、系统和设备
CN102105930B (zh) * 2008-07-11 2012-10-03 弗朗霍夫应用科学研究促进协会 用于编码采样音频信号的帧的音频编码器和解码器
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
PL2146344T3 (pl) * 2008-07-17 2017-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście
EP3640941A1 (en) * 2008-10-08 2020-04-22 Fraunhofer Gesellschaft zur Förderung der Angewand Multi-resolution switched audio encoding/decoding scheme
KR101622950B1 (ko) * 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
EP2471061B1 (en) * 2009-10-08 2013-10-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-mode audio signal decoder, multi-mode audio signal encoder, methods and computer program using a linear-prediction-coding based noise shaping
US8892428B2 (en) * 2010-01-14 2014-11-18 Panasonic Intellectual Property Corporation Of America Encoding apparatus, decoding apparatus, encoding method, and decoding method for adjusting a spectrum amplitude
US8958572B1 (en) * 2010-04-19 2015-02-17 Audience, Inc. Adaptive noise cancellation for multi-microphone systems
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
CN102074245B (zh) * 2011-01-05 2012-10-10 瑞声声学科技(深圳)有限公司 基于双麦克风语音增强装置及语音增强方法
DE102014101462B3 (de) 2014-02-06 2015-03-05 Sartorius Lab Instruments Gmbh & Co. Kg Verfahren zur Funktionsprüfung eines Messgerätes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58220199A (ja) * 1982-06-17 1983-12-21 日本電気株式会社 帯域分割型ボコ−ダ
JP2001134296A (ja) * 1999-11-01 2001-05-18 Nec Corp 音声信号復号方法及び装置と音声信号符号化復号方法及び装置と記録媒体
JP2010520512A (ja) * 2007-03-05 2010-06-10 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 定常的な背景雑音の平滑化を行うための方法及び装置
JP2015501452A (ja) * 2011-11-03 2015-01-15 ヴォイスエイジ・コーポレーション 低レートｃｅｌｐデコーダに関する非音声コンテンツの向上

Also Published As

Publication number Publication date
EP3709298A1 (en) 2020-09-16
HUE050600T2 (hu) 2021-01-28
KR102105044B1 (ko) 2020-04-27
CN107068158B (zh) 2020-08-21
JP7237127B2 (ja) 2023-03-10
JP2018045243A (ja) 2018-03-22
WO2013063688A1 (en) 2013-05-10
JP6532926B2 (ja) 2019-06-19
JP2015501452A (ja) 2015-01-15
HK1198265A1 (en) 2015-03-20
JP6513769B2 (ja) 2019-05-15
US9252728B2 (en) 2016-02-02
US20130121508A1 (en) 2013-05-16
ES2805308T3 (es) 2021-02-11
JP2019152878A (ja) 2019-09-12
DK2774145T3 (da) 2020-07-20
KR20140090214A (ko) 2014-07-16
EP2774145A4 (en) 2015-10-21
JP2022022247A (ja) 2022-02-03
EP2774145B1 (en) 2020-06-17
JP6239521B2 (ja) 2017-11-29
CN104040624B (zh) 2017-03-01
LT2774145T (lt) 2020-09-25
CN106910509A (zh) 2017-06-30
HRP20201070T1 (hr) 2020-10-30
CN106910509B (zh) 2020-08-18
SI2774145T1 (sl) 2020-10-30
CN107068158A (zh) 2017-08-18
IN2014DN03022A (ja) 2015-05-08
CA2851370C (en) 2019-12-03
CA2851370A1 (en) 2013-05-10
CN104040624A (zh) 2014-09-10
EP2774145A1 (en) 2014-09-10

Similar Documents

Publication Publication Date Title
JP7237127B2 (ja) 時間領域励振デコーダによって復号化された時間領域励振の合成物を修正するための方法および装置
JP7427752B2 (ja) 時間領域デコーダにおける量子化雑音を低減するためのデバイスおよび方法
RU2470385C2 (ru) Система и способ улучшения декодированного тонального звукового сигнала

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180914

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190522

R150 Certificate of patent or registration of utility model

Ref document number: 6532926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250