JP2019168709A - オーディオ信号復号器における改善された周波数帯域拡張 - Google Patents

オーディオ信号復号器における改善された周波数帯域拡張 Download PDF

Info

Publication number
JP2019168709A
JP2019168709A JP2019107008A JP2019107008A JP2019168709A JP 2019168709 A JP2019168709 A JP 2019168709A JP 2019107008 A JP2019107008 A JP 2019107008A JP 2019107008 A JP2019107008 A JP 2019107008A JP 2019168709 A JP2019168709 A JP 2019168709A
Authority
JP
Japan
Prior art keywords
signal
band
decoded
frequency
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019107008A
Other languages
English (en)
Other versions
JP6775064B2 (ja
Inventor
マグダレーナ・カニエウスカ
Kaniewska Magdalen
ステファーヌ・ラゴ
Ragot Stephane
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51014390&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2019168709(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019168709A publication Critical patent/JP2019168709A/ja
Application granted granted Critical
Publication of JP6775064B2 publication Critical patent/JP6775064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K3/00Apparatus for stamping articles having integral means for supporting the articles to be stamped
    • B41K3/54Inking devices
    • B41K3/56Inking devices using inking pads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/02Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with one or more flat stamping surfaces having fixed images
    • B41K1/04Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with one or more flat stamping surfaces having fixed images with multiple stamping surfaces; with stamping surfaces replaceable as a whole
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/08Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters
    • B41K1/10Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters having movable type-carrying bands or chains
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/08Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters
    • B41K1/12Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor with a flat stamping surface and changeable characters having adjustable type-carrying wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/36Details
    • B41K1/38Inking devices; Stamping surfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/36Details
    • B41K1/38Inking devices; Stamping surfaces
    • B41K1/40Inking devices operated by stamping movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41KSTAMPS; STAMPING OR NUMBERING APPARATUS OR DEVICES
    • B41K1/00Portable hand-operated devices without means for supporting or locating the articles to be stamped, i.e. hand stamps; Inking devices or other accessories therefor
    • B41K1/36Details
    • B41K1/38Inking devices; Stamping surfaces
    • B41K1/40Inking devices operated by stamping movement
    • B41K1/42Inking devices operated by stamping movement with pads or rollers movable for inking
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)

Abstract

【課題】AMR−WBタイプのコーデックまたはこのコーデックの相互運用可能バージョンにおける帯域拡張の周波数成分を改善する。【解決手段】復号化または改善処理中にオーディオ周波数信号の周波数帯域を拡張する方法であって、低帯域と称する第1の周波数帯域において復号化された復号化低帯域信号を得る工程、第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上で、復号化低帯域の信号を拡張して、拡張復号化低帯域信号を形成する工程、拡張復号化低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程、結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により音声成分と環境信号とを結合する工程、を有する。エネルギーレベル制御係数は、環境レベル制御係数並びに拡張復号化低帯域信号及び音声成分の合計エネルギーの関数として計算される係数facを有する。【選択図】図4

Description

本発明は、オーディオ周波数信号(スピーチ、音楽または他のこのような信号など)の送信または保管のための符号化/復号化および処理の分野に関する。
より具体的には、本発明は、オーディオ周波数信号強調を行う復号器またはプロセッサにおける周波数帯域拡張方法および装置に関する。
スピーチまたは音楽などのオーディオ周波数信号を圧縮する(損失を伴った)ための非常に多くの技術が存在する。
対話型アプリケーションのための従来の符号化方法は通常、波形符号化(「パルス符号変調」(PCM)、「適応差分パルス符号変調」(ADPCM)、変換符号化など)、パラメータ符号化(線形予測符号化(LPC)、正弦波符号化など)、および「合成による分析」によるパラメータの量子化を伴うパラメトリックハイブリッド符号化(その中でも「符号励振線形予測」(CELP)符号化が最もよく知られた例である)として分類される。
非対話型アプリケーションに関し、(モノラル)オーディオ信号符号化のための従来技術は、帯域複製による高周波数のパラメータの符号化(スペクトル帯域複製(SBR))での変換によるか、または副帯域における知覚的符号化からなる。従来のスピーチおよびオーディオ符号化方法の精査は、(非特許文献1)、(非特許文献2)、(非特許文献3)に見出すことができる。
ここでの焦点は3GPP標準規格AMR−WB(「適応化マルチレート広帯域」)コーデック(符号器および復号器)に特に当てられる。このコーデックは16kHzの入力/出力周波数で動作する。ここでは、信号は2つの副帯域(すなわち、12.8kHzでサンプリングされCELPモデルにより符号化される低帯域(0〜6.4kHz)と、現フレームのモードに応じて追加情報を含むまたは含まない「帯域拡張」(または「帯域幅拡張」(BWE))によりパラメータ的に再構築される高帯域(6.4〜7kHz))に分割される。7kHzにおけるAMR−WBコーデックの符号化帯域の制限は、広帯域端末の送信における周波数応答が標準規格ITU−T P.341に定義された周波数マスクによる標準化(ETSI/3GPP、後にITU−T)時に、より具体的には標準規格ITU−T G.191において定義され、7kHzより高い周波数をカットするいわゆる「P341」フィルタ(このフィルタはP.341において定義されたマスクに従う)を使用することにより、近似されたという事実にほぼ結び付けられることが指摘され得る。しかし、理論的には、16kHzでサンプリングされた信号は0〜8000Hzの規定オーディオ帯域を有し得ることがよく知られており、したがってAMR−WBコーデックは8kHzの理論帯域幅と比較して高帯域の制限を導入する。
3GPP AMR−WBスピーチコーデックは、主にGSM(登録商標)(2G)およびUMTS(3G)上の回路モード(CS)電話アプリケーション用に2001年に標準化された。この同じコーデックはまた、勧告G.722.2「Wideband coding speech at around 16kbit/s using Adaptive Multi−Rate Wideband(AMR−WB)」の形式でITU−Tにより2003年に標準化された。
3GPP AMR−WBスピーチコーデックは、6.6〜23.85kbit/sの9ビットレート(モードと呼ばれる)を含み、音声活動検出(VAD)を含む連続送信機構(「不連続送信」(DTX))と、無音記述フレーム(「無音挿入記述子」(SID))からのコンフォート雑音生成(CNG)と、消失フレーム訂正機構(「パケット消失隠蔽」(PLC)と呼ばれることもある、「フレーム消失隠蔽」(FEC))とを含む。
AMR−WB符号化および復号化アルゴリズムの詳細についてはここでは繰り返さない。このコーデックの詳細説明は、3GPP仕様(TS26.190、26.191、26.192、26.193、26.194、26.204)、ITU−T−G.722.2(および対応する付属書類および付録)、(非特許文献4)、ならびに関連3GPPおよびITU−T標準規格のソースコードに見出すことができる。
AMR−WBコーデックにおける帯域拡張の原理はかなり基本的かつ単純である。実際、高帯域(6.4〜7kHz)は時間(1サブフレーム当たりの利得の形式で適用される)および周波数(線形予測合成フィルタまたはLPC(「線形予測符号化」)の適用による)包絡線を介し白色雑音をシェーピングすることにより生成される。この帯域拡張技術は図1に示される。
白色雑音uHB1(n),n=0,・・・,79は線形合同生成器(ブロック100)により5msサブフレーム毎に16kHzで生成される。この雑音uHB1(n)は適時、サブフレーム毎に利得を適用することによりシェーピングされる。この操作は、次の2つの処理工程(ブロック102、106または109)に分解される。
●白色雑音uHB1(n)を低帯域において12.8kHzで復号化される励振u(n),n=0,・・・,63のものと同様のレベルに設定する(ブロック102)ために次の第1の係数が計算される(ブロック101)。
Figure 2019168709
エネルギーの正規化はサンプリング周波数(12.8または16kHz)の差の補償なしに異なるサイズ(u(n)には64、uHB1(n)には80)のブロックを比較することにより行われることが指摘され得る。
●次に、高帯域における励振は次の形式:
Figure 2019168709
で得られ(ブロック106または109)、ここで、利得
Figure 2019168709
は、ビットレートに応じて異なる方法で得られる。現フレームのビットレートが<23.85kbit/sであれば、利得
Figure 2019168709
は「ブラインドで」(すなわち追加情報なしに)推定される。この場合、ブロック103は、信号
Figure 2019168709
を得るために、400Hzにおけるカットオフ周波数を有するハイパスフィルタにより、低帯域において復号化された信号をフィルタ処理する。このハイパスフィルタは、ブロック104においてなされた推定を歪め得る極低周波の影響をなくす。次に、信号
Figure 2019168709
のetiltで表される「傾き」(スペクトル傾きの指標)が正規化自己相関により計算される(ブロック104)。
Figure 2019168709
最後に、
Figure 2019168709
が次の形式:
Figure 2019168709
で計算され、ここで、gSP=1−etiltは活性スピーチ(SP)フレーム内で適用される利得であり、gBG=1.25gSPは、背景(BG)雑音に関連する不活性スピーチフレーム内で適用される利得であり、wSPは音声活動検出(VAD)に依存する重み関数である。傾き(etilt)の推定は、高帯域のレベルを信号のスペクトル性質に応じて適合化させることを可能にすることが理解される。この推定は、CELP復号信号のスペクトル傾きが、周波数が増加すると平均エネルギーが低下するようになっている場合(etiltが1近傍であり、したがってgSP=1−etiltは低減される音声信号の場合)に特に重要である。AMR−WB復号化における係数
Figure 2019168709
は区間[0.1,1.0]内の値を取らなければならないことにも注意すべきである。実際、そのスペクトルが高周波でより多くのエネルギーを有する(etiltが−1近傍、gSPが2近傍である)信号では、利得
Figure 2019168709
は通常、過小評価される。
23.85kbit/sでは、補正情報がAMR−WB符号器により送信され、サブフレーム毎に(5ms毎に4ビット、すなわち0.8kbit/s)推定された利得を改良するために復号化される(ブロック107、108)。
人工励振uHB(n)は、伝達関数1/AHB(z)を有し、16kHzのサンプリング周波数で動作するLPC合成フィルタにより、その後フィルタ処理される(ブロック111)。このフィルタの構築は次のように現フレームのビットレートに依存する。
●6.6kbit/sにおいて、フィルタ1/AHB(z)は、低帯域(12.8kHz)において復号化される16次LPCフィルタ
Figure 2019168709
を「外挿」した20次LPCフィルタ
Figure 2019168709
を係数γ=0.9により重み付けすることにより得られる、ISF(イミタンススペクトル周波数)パラメータの領域における外挿の詳細は、標準規格G.722.2章6.3.2.1に記載されている。この場合、
Figure 2019168709
である。
●ビットレート>6.6kbit/sでは、フィルタ1/AHB(z)は16次であり、次式:
Figure 2019168709
に単純に対応し、ここで、γ=0.6である。この場合、フィルタ
Figure 2019168709
は16kHzにおいて使用され、[0,6.4kHz]から[0,8kHz]へのこのフィルタの周波数応答の広がりを生じる(比例変換により)ことに注意すべきである。
結果sHB(n)は、6〜7kHz帯域のみを維持するために、FIR(「有限インパルス応答」)タイプのバンドパスフィルタにより最後に処理される(ブロック112)。23.85kbit/sにおいて、7kHzより高い周波数をさらに減衰させるために、FIRタイプのローパスフィルタがまた処理に加えられる(ブロック113)。高周波(HF)合成が最後に、ブロック120〜123により得られ、16kHzにおいて再サンプリングされる(ブロック123)低周波(LF)合成へ加えられる(ブロック130)。したがって、AMR−WBコーデックにおいて高帯域が6.4〜7kHzへ理論的に拡張しても、HF合成はむしろ、LF合成による加算の前に6〜7kHz帯域内に含まれる。
AMR−WBコーデックの帯域拡張技術における以下のような多くの欠点が同定され得る。
●高帯域内の信号は、6.4〜7kHz帯域内の信号の良い汎用モデルではないシェーピングされた白色雑音である(1/AHB(z)とバンドパスフィルタ処理によりフィルタ処理することにより、サブフレーム毎に一時的利得によりシェーピングされた白色雑音)。例えば正弦波成分(すなわち音声)を含むが雑音を含まない(または小雑音を含む)6.4〜7kHz帯域の極高調波音楽信号が存在する。これらの信号では、AMR−WBコーデックの帯域拡張は品質を著しく劣化させる。
●7kHzにおけるローパスフィルタ(ブロック113)は、低帯域と高帯域との間に、23.85kbit/sにおいて2つの帯域を若干非同期化させることによりいくつかの信号の品質を劣化させ得るほぼ1msの変位を導入し、この非同期化はまた、ビットレートを23.85kbit/sから他のモードへ切り替える際に問題となり得る。
●サブフレーム毎の利得の推定(ブロック101、103〜105)は最適ではない。部分的には、サブフレーム毎の利得の推定は、異なる周波数における信号:16kHz(白色雑音)における人工励振と12.8kHz(復号化されたACELP励振)における信号との間の1サブフレーム当たりの「絶対」エネルギーの等化(ブロック101)に基づく。この手法は高帯域励振の減衰(比12.8/16=0.8のみ)を暗黙的に誘起することに特に注目し得る。実際、0.6に比較的近い増幅(6400Hzにおける1/(1−0.68z−1)の周波数応答の値に対応する)を暗黙的に誘起するAMR−WBコーデックでは、いかなるデエンファシスも高帯域に対し行われないことにも留意されよう。
実際には、1/0.8と0.6の係数はほぼ補償される。
●スピーチに関して、3GPP報告TR26.976において文書化された3GPP AMR−WBコーデック特徴付け試験は、23.85kbit/sにおけるモードが23.05kbit/sにおける品質よりもあまり良くない品質(実際には15.85kbit/sにおけるモードと同様の品質)を有することを示した。これは、品質が23.85kbit/sにおいて低下され、一方、1フレーム当たり4ビットは元の高周波数のエネルギーを最良に近似できるようにすると考えられるため、人工HF信号のレベルが非常に慎重に制御されなければならないことを特に示す。
●符号化帯域の7kHzまでの制限は、音響端末の送信応答(ITU−TG.191標準規格P.341のフィルタ)の厳しいモデルの適用から生じる。16kHzのサンプリング周波数に関し、7〜8kHz帯域内の周波数は、良質なレベルを保証するために特に音楽信号には依然として重要である。
AMR−WB復号化アルゴリズムは、2008年に標準化されたスケーラブルITU−T G.718コーデックの開発により部分的に改善された。
ITU−T G.718標準規格は、コア符号化が12.65kbit/sにおけるG.722.2(AMR−WB)符号化に準拠する、いわゆる相互運用可能モードを含む。さらに、G.718復号器は、AMR−WBコーデック(6.6〜23.85kbit/s)のすべての可能なビットレートにおいてAMR−WB/G.722.2ビットストリームを復号化することができる特定の特徴を有する。
低遅延モードにおけるG.718相互運用可能復号器(G.718−LD)が図2に示される。以下は、必要に応じて図1を参照するG.718復号器におけるAMR−WBビットストリーム復号化機能により提供される改善点のリストである。帯域拡張(例えば勧告G.718の節7.13.1に記載されるブロック206)は、6〜7kHzのバンドパスフィルタと1/AHB(z)合成フィルタ(ブロック111、112)が逆順であることを除きAMR−WB復号器のものと同一である。加えて、23.85kbit/sでは、AMR−WB符号器により1サブフレーム当たりで送信される4ビットは相互運用可能G.718復号器では使用されない。したがって、23.85kbit/sにおける高周波数(HF)の合成は23.05kbit/sと同一であり、23.85kbit/sにおけるAMR−WB復号化品質の公知の問題を回避する。さらに、7kHzローパスフィルタ(ブロック113)は使用されず、23.85kbit/sモードの特定の復号化(ブロック107〜109)は省略される。16kHzにおける合成の後処理(G.718の節7.14参照)は、(レベルの低減により無音の品質を「向上する」ために)ブロック208内の「雑音ゲート」、ハイパスフィルタ処理(ブロック209)、低周波におけるクロス高調波雑音を減衰するブロック210内の低周波ポストフィルタ(「低音域ポストフィルタ(bass posfilter)」と呼ばれる)、およびブロック211内の飽和制御(利得制御またはAGCによる)による16ビット整数への変換により、G.718において実施される。
しかし、AMR−WBおよび/またはG.718(相互運用可能モード)コーデックにおける帯域拡張は多くの態様に関し依然として制限される。
特に、シェーピングされた白色雑音(LPCソースフィルタタイプの時間的手法による)による高周波の合成は、6.4kHzより高い周波数の帯域内の信号の極めて限られたモデルである。
6.4〜7kHz帯域のみが人為的に再合成され、一方、実際には、信号の品質を向上する可能性のある広帯域(最大8kHz)は、ITU−Tのソフトウェアツールライブラリ(標準規格G.191)において定義されるようにP.341タイプ(50〜7000Hz)のフィルタにより前処理されなければ、16kHzのサンプリング周波数において理論的に可能である。
W.B.Kleijn and K.K.Paliwal(eds.),Speech Coding and Synthesis,Elsevier,1995 M.Bosi,R.E.Goldberg,Introduction to Digital Audio Coding and Standards,Springer 2002 J.Benesty,M.M.Sondhi,Y.Huang(eds.),Handbook of Speech Processing,Springer 2008 B.Bessette et al.entitled"The adaptive multirate wideband speech codec(AMR−WB)",IEEE Transactions on Speech and Audio Processing,vol.10,no.8,2002,pp.620−636
したがって、AMR−WBタイプのコーデックまたはこのコーデックの相互運用可能バージョンにおける帯域拡張を改善するための必要性、またはより一般的には、特に帯域拡張の周波数成分を改善するようにオーディオ信号の帯域拡張を改善するための必要性がある。
本発明はこの状況を改善する。
本発明は、この目的のために、復号化または改善処理中にオーディオ周波数信号の周波数帯域を拡張する方法であって、低帯域と称する第1の周波数帯域において復号化された信号を得る工程を含む、方法を提案する。本方法は、
− 復号低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程と、
− 結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により音声成分と環境信号とを結合する工程と、
− 第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上で、抽出工程前の低帯域復号信号または結合工程後の結合信号を拡張する工程と
を含むようなものである。
以下では、「帯域拡張」は、広義に解釈され、高周波数における副帯域の拡張の場合だけでなく零に設定される副帯域の置換(変換符号化における「雑音充填」タイプ)の場合も含むことに注意されたい。したがって、低帯域の復号化から生じる信号から抽出された音声成分と環境信号とを同時に考慮することにより、人工雑音の使用とは対照的に信号の性質に適した信号モデルにより帯域拡張を行うことが可能である。したがって帯域拡張の品質は改善され、特に音楽信号などのあるタイプの信号について改善される。
実際、低帯域において復号化された信号は、高調波成分と現環境との混合がコヒーレント再構築高帯域を保証できるようにする方法で高周波に変換され得る、音環境に対応する部分を含む。
本発明が相互運用可能AMR−WB符号化に関連して帯域拡張の品質の強化により動機付けられたとしても、異なる実施形態は、オーディオ信号の帯域拡張のより一般的な場合に、特に、帯域拡張に必要なパラメータを抽出するためにオーディオ信号の分析を行う強化装置に適用されることに注意されたい。
以下に述べる様々な特定の実施形態は、独立に、または上に定義された拡張方法の工程と互いに組み合わせて追加され得る。
一実施形態では、帯域拡張は励振の領域において行われ、復号低帯域信号は低帯域復号化励振信号である。
この実施形態の利点は、ウィンドウ処理なしの(または、フレームの長さの暗黙的矩形窓と均等に)変換が励振の領域において可能であることである。この場合、いかなるアーティファクト(ブロック効果)も可聴ではない。
第1の実施形態では、音声成分および環境信号の抽出は、
− 周波数領域内の復号低帯域信号または復号および拡張低帯域信号の優勢音声成分を検出する工程と、
− 環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
に従って行われる。
この実施形態は、音声成分の精密な検出を可能にする。
複雑度が低い第2の実施形態では、音声成分および環境信号の抽出は、
− 復号低帯域信号または復号および拡張低帯域信号のスペクトルの平均値を計算することにより環境信号を取得する工程と、
− 復号低帯域信号または復号および拡張低帯域信号から計算環境信号を減じることにより音声成分を取得する工程と
に従って行われる。
結合工程の一実施形態では、適応化混合に使用されるエネルギーレベルの制御係数は、復号低帯域信号または復号および拡張低帯域信号と音声成分との合計エネルギーに応じて計算される。
この制御係数の適用は、上記混合における環境信号の相対的比率を最適化するように結合工程を信号の特性に適応化させることができる。したがって、エネルギーレベルは可聴アーティファクトを回避するように制御される。
好適な実施形態では、復号低帯域信号は、変換またはフィルタバンクベースの副帯域分解の工程を受け、抽出工程および結合工程は、その後、周波数領域または副帯域領域において行われる。
周波数領域における帯域拡張の実施形態は、時間的手法では利用できない周波数分析の精細さを得られるようにし、また音声成分を検知するのに十分な周波数分解能が得られるようにする。
詳細な実施形態では、復号および拡張低帯域信号は次式:
Figure 2019168709
に従って得られ、ここで、kはサンプルの指標であり、U(k)は変換工程後に得られる信号のスペクトルであり、UHB1(k)は拡張信号のスペクトルであり、およびstart_bandは予め定義された変数である。したがって、この関数は、サンプルをこの信号のスペクトルへ追加することによる信号の再サンプリングを含む。しかし、信号を拡張する他の方法が可能であり、例えば副帯域処理における変換によるものが可能である。
本発明はまた、低帯域と称する第1の周波数帯域において復号化されたオーディオ周波数信号の周波数帯域を拡張する装置を想定する。本装置は、
− 復号低帯域信号から生じる信号に基づき音声成分と環境信号とを抽出するモジュールと、
− 結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により音声成分と環境信号とを結合するモジュールと、
− 第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上へ抽出モジュール前の低帯域復号信号または結合モジュール後の結合信号を拡張し、かつ抽出モジュール前の低帯域復号信号または結合モジュール後の結合信号において実装されるモジュールと
を含む。
この装置は、実施する前述の方法と同じ利点を呈示する。
本発明は、説明したような装置を含む復号器を対象とする。
本発明は、プロセッサにより実行されると、上記帯域拡張方法の工程を実施するコード命令を含むコンピュータプログラムを対象とする。
最後に、本発明は、プロセッサにより読み取られ得、帯域拡張装置に組み込まれても組み込まれなくれもよく、場合により着脱可能であり、前述の帯域拡張方法を実施するコンピュータプログラムを格納する記憶媒体に関する。
本発明の他の特徴および利点は、純粋に非限定的例としておよび添付図面を参照して示される以下の詳細な説明を読むとより明確になる。
前述の従来技術の周波数帯域拡張工程を実施するAMR−WBタイプの復号器の一部分を示す。 前述の従来技術による16kHzG.718−LD相互運用可能タイプの復号器を示す。 AMR−WB符号化と相互運用可能であるとともに本発明の一実施形態による帯域拡張装置に組み込まれた復号器を示す。 本発明の一実施形態による帯域拡張方法の主工程を流れ図の形式で示す。 復号器に組み込まれた本発明による帯域拡張装置の周波数領域における実施形態を示す。 本発明による帯域拡張装置のハードウエア実施形態を示す。
図3はAMR−WB/G.722.2標準規格に準拠する例示的復号器を示す。例示的復号器内には、G.718に導入されたものと同様の図2を参照して説明した後処理と、ブロック309により示された帯域拡張装置により実施される本発明の拡張方法による改善された帯域拡張とが存在する。
16kHzの出力サンプリング周波数により動作するAMR−WB復号化と、8または16kHzにおいて動作するG.718復号器とは異なり、周波数fs=8、16、32または48kHzの出力(合成)信号により動作し得る復号器が本明細書では考察される。ここでは次のように仮定することに留意されたい。符号化は、AMR−WBアルゴリズムに従って行われ、低帯域CELP符号化に関しては12.8kHzの内部周波数により、および16kHzの周波数におけるサブフレーム利得符号化に関しては23.85kbit/sで行われたが、AMR−WB符号器の相互運用可能変形形態も可能である。本発明はここでは符号化レベルにおいて説明されるが、符号化はまた、周波数fs=8、16、32または48kHzの入力信号により動作し得、本発明の範囲外の適切な再サンプリング動作がfsの値に応じて符号化に関して実施される。fs=8kHzの復号器では、AMR−WBに準拠する復号化の場合、周波数fsにおける再構築オーディオ帯域は0〜4000Hzに制限されるため、0〜6.4kHz低帯域を拡張する必要はないことに留意されたい。
図3において、CELP復号化(低周波LF)は、AMR−WBとG.718におけるのと同様に12.8kHzの内部周波数において依然として動作し、本発明の主題である帯域拡張(高周波数HF)は16kHzの周波数で動作し、LF合成とHF合成は、好適な再サンプリング(ブロック307、311)後に周波数fsにおいて結合される(ブロック312)。本発明の変形形態では、低帯域と高帯域との結合は、低帯域を12.8から16kHzへ再サンプリングした後、結合信号を周波数fsで再サンプリングする前に16kHzにおいて行われ得る。
図3による復号化は受信された現フレームに関連するAMR−WBモード(またはビットレート)に依存する。指標として、およびブロック309に影響を与えることなしに、低帯域におけるCELP部分の復号化は下記工程を含む。
●正しく受信されたフレームの場合の符号化パラメータの逆多重化工程(ブロック300)(「不良フレーム指標」であるbfi=0、受信フレームに対して値0、消失フレームに対して1を有する);
●ISFパラメータを標準規格G.722.2の節6.1に記載のようにLPC係数(ブロック301)中へ補間および変換することにより復号化する工程;
●12.8kHzにおいて長さ64の各サブフレーム内に励振(excまたはu'(n))を再構築する適応化および固定部によりCELP励振を復号化する工程(ブロック302):
Figure 2019168709
であって、CELP復号化に関するG.718の節7.1.2.1の表記に従って、v(n)とc(n)はそれぞれ適応化辞書と固定辞書の符号語であり、
Figure 2019168709
は関連付けられた復号化利得である、工程。この励振は、次のサブフレームの適応化辞書内で使用され、次に後処理される。その後、G.718と同様に、励振u'(n)(またexcで表される)は、ブロック303において合成フィルタ
Figure 2019168709
の入力として機能するその修正された後処理バージョンu(n)(またexc2で表される)から識別される。本発明において実施され得る変形形態では、励振に適用される後処理操作は修正され得る(例えば、位相分散が強化され得る)か、またはこれらの後処理操作は、本発明による帯域拡張方法の性質に影響を与えることなしに拡張され得る(例えば、クロス高調波雑音の低減が実施され得る);

Figure 2019168709
による合成フィルタ処理工程(ブロック303)(ここで、復号化LPCフィルタ
Figure 2019168709
は16次のものである);
●fs=8kHzであればG.718の節7.3による狭帯域後処理(ブロック304);
●フィルタ1/(1−0.68z−1)によるデエンファシス(ブロック305);
●G.718の節7.14.1.1に記載のような低周波の後処理(ブロック306)。この処理は、高帯域(>6.4kHz)の復号化において考慮される遅延を導入する;
●出力周波数fsにおける12.8kHzの内部周波数の再サンプリング(ブロック307)。多くの実施形態が可能である。一般性を失うことなしに、本明細書では、一例として、fs=8または16kHzであればG.718の節7.6に記載された再サンプリングがここでは繰り返され、fs=32または48kHzであれば追加の有限インパルス応答(FIR)フィルタが使用されると考えられる;
●G.718の節7.14.3に記載のように優先的に行われる「雑音ゲート」のパラメータの計算(ブロック308)。
本発明において実施され得る変形形態では、励振に適用される後処理操作は修正され得る(例えば、位相分散が強化され得る)か、またはこれらの後処理操作は帯域拡張の性質に影響を与えることなしに拡張され得る(例えば、クロス高調波の雑音の低減が実施され得る)。ここでは、3GPP AMR−WB標準規格において有益な情報である現フレームが失われた(bfi=1)ときの低帯域の復号化のケースを説明しない。一般的に、AMR−WB復号器またはソースフィルタモデルに依存する一般的復号器を扱うかに関わらず、通常、ソースフィルタモデルを保持する一方で消失信号を再構築するようにLPC励振とLPC合成フィルタの係数とを最良に推定することに関わる。bfi=1のとき、本明細書では、帯域拡張(ブロック309)はbfi=0とビットレート<23.85kbit/sの場合として動作し得ると考えられ、したがって、本発明の説明は、以下では、一般性を失うことなしにbfi=0を想定する。
ブロック306、308、314の使用は任意選択的であることが注目され得る。
上記低帯域の復号化は6.6〜23.85kbit/sのビットレートを有するいわゆる「活性」現フレームを想定することにも留意されよう。実際、DTXモードが活性化されると、いくつかのフレームは「非活性」として符号化され得、この場合、無音記述子を(35ビットで)送信するか、または何も送信しないかのいずれかが可能である。特に、AMR−WB符号器のSIDフレームがいくつかのパラメータ:すなわち、8フレームにわたって平均化されたISFパラメータ、8フレームにわたる平均エネルギー、および非定常雑音の再構築のための「ディザリングフラグ」を記述することが想起される。すべての場合において、復号器内には、活性フレームに関する同じ復号化モデルが存在し、本発明を不活性フレームにも適用できるようにする励振と現フレームのLPCフィルタとの再構築を伴う。同じ観測は、LPCモデルが適用される「消失フレーム」の復号化(またはFEC、PLC)に当てはまる。
この例示的復号器は、励振の領域において動作し、したがって低帯域励振信号を復号化する工程を含む。本発明による帯域拡張装置および帯域拡張方法はまた、励振の領域と異なる領域において、かつ特に低帯域復号化直接信号または知覚フィルタにより重み付けられた信号により動作する。
AMR−WBまたはG.718復号化とは異なり、説明した復号器は、復号化低帯域(復号器上の50Hzハイパスフィルタ処理を考慮した50〜6400Hz、一般的な場合の0〜6400Hz)を、その幅が現フレーム内で実施されるモードに応じてほぼ50〜6900Hzから50〜7700Hzまでの範囲で変化する拡張帯域へ拡張できるようにする。したがって、0〜6400Hzの第1の周波数帯域と6400〜8000Hzの第2の周波数帯域とを参照することが可能である。現実には、好ましい実施形態では、高周波のための、かつ、その傾きが拒絶上側帯域においてあまり急でない幅6000〜6900または7700Hzのバンドパスフィルタ処理を可能にするために5000〜8000Hzの帯域内の周波数領域において生成される励振である。
高帯域合成部分は、一実施形態の図5において詳述される本発明による帯域拡張装置を表すブロック309において生成される。
復号低帯域と復号高帯域とを整合させるために、遅延(ブロック310)が導入されブロック306とブロック309の出力を同期させ、16kHzにおいて合成された高帯域は16kHzから周波数fsへ再サンプリングされる(ブロック311の出力)。遅延Tの値は、実施される処理動作に応じて他の場合(fs=32、48kHz)に適応化されなければならなくなる。fs=8kHzの場合、復号器の出力における信号の帯域は0〜4000Hzに制限されるため、ブロック309〜311を適用する必要はないことが想起される。
第1の実施形態に従ってブロック309において実施される本発明の拡張方法は、12.8kHzにおいて再構築された低帯域に対する追加の遅延を優先的には導入しないが、本発明の変形形態では、遅延を導入できるようになる(例えば、時間/周波数変換をオーバーラップして使用することにより)ことに注意されたい。したがって、一般的には、ブロック310におけるTの値は特定の実装形態に応じて調整されなければならなくなる。例えば、低周波の後処理が使用されない場合(ブロック306)、fs=16kHzに対して導入される遅延はT=15に固定され得る。
低帯域と高帯域は次にブロック312において結合(加算)され、得られた合成結果は、その係数が周波数fsに依存する2次の50Hzハイパスフィルタ処理(IIRタイプ)により後処理され(ブロック313)、G.718と同様の方法で「雑音ゲート」の任意選択的適用により後処理を出力する(ブロック314)。
図5の復号器の実施形態によるブロック309により示される本発明による帯域拡張装置は、図4を参照して次に説明される(広義の)帯域拡張方法を実施する。
この拡張装置はまた、復号器とは独立し得、同装置へ格納または送信される現存オーディオ信号の帯域拡張を行う(例えば励振をそれから抽出する同オーディオ信号の分析とLPCフィルタとにより)図4において説明される方法を実施し得る。
この装置は、励振の領域または信号の領域であり得る低帯域u(n)と称する第1の周波数帯域において復号化された信号を入力として受信する。ここで説明する実施形態では、時間周波数変換またはフィルタバンクによる副帯域分解の工程(E401b)は、周波数領域における実施のための低帯域復号信号U(k)のスペクトルを得るために低帯域復号信号へ適用される。
拡張された低帯域復号信号UHB1(k)を得るように第1の周波数帯域より高い第2の周波数帯域において低帯域復号信号を拡張する工程E401aは、分析工程(副帯域への分解)の前または後にこの低帯域復号信号に対して行われ得る。この拡張工程は再サンプリング工程と拡張工程(または単純には入力において得られる信号に応じた周波数変換または転換の工程)とを同時に含み得る。変形形態では、工程E401aは、図4において説明する処理(拡張前の主に低帯域信号に対して行われる)の終わりに(すなわち、結合信号に対して)行うことができ、その結果は均等であることに注意されたい。
この工程は図5を参照して説明する実施形態において後で詳述される。
環境信号(UHBA(k))と音声成分(y(k))とを抽出する工程E402は、復号低帯域信号(U(k))または復号および拡張低帯域信号(UHB1(k))に基づき行われる。環境信号はここでは、現存信号から主(または優勢)高調波(または音声成分)を消去することにより得られる残留信号として定義される。
ほとんどの広帯域信号(16kHzにおいてサンプリングされた)では、高帯域(>6kHz)は、低帯域内に存在するものとほぼ同様の環境情報を含む。
音声成分と環境信号とを抽出する工程は、例えば、
− 周波数領域内の復号(または復号および拡張)低帯域信号の優勢音声成分の検出工程と、
− 環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
を含む。
この工程はまた、
− 復号(または復号および拡張)低帯域信号の平均値を計算することにより環境信号を得る工程と、
− 復号低帯域信号または復号および拡張低帯域信号から計算環境信号を減じることにより音声成分を得る工程と
により得られ得る。
音声成分および環境信号は、いわゆる結合信号(UHB2(k))を得る工程E403におけるエネルギーレベル制御係数を用いてその後適応的方法で結合される。このとき、復号低帯域信号に対して未だ行われていなければ拡張工程E401aが実施され得る。
したがって、これらの2つのタイプの信号を結合することで、音楽信号などのいくつかのタイプの信号により好ましく、かつ周波数成分の質がより高く、かつ第1および第2の周波数帯域を含む全周波数帯域に対応する拡張周波数帯域における質がより高い特性を有する結合信号が得られるようにする。
本方法による帯域拡張は、AMR−WB標準規格に記載された拡張に関するこのタイプの信号の品質を改善する。
環境信号と音声成分との結合を使用することで、人工信号ではなく真の信号の特性により近くするようにこの拡張信号の質を向上できるようにする。
この結合工程については図5を参照して後で詳述する。
信号を時間領域に戻すためにE404bにおいて合成工程(401bにおける分析に対応する)が行われる。
任意選択的な方法で、高帯域信号のエネルギーレベルを調整する工程は、合成工程の前および/または後に、利得を適用することによりおよび/または適切なフィルタ処理によりE404aにおいて行われ得る。この工程については、ブロック501〜507の図5に記載された実施形態においてさらに詳細に説明する。
例示的実施形態において、次に、帯域拡張装置500について、この装置だけでなくAMR−WB符号化による相互運用可能タイプの復号器における実施に好適な処理モジュールも同時に示す図5を参照して説明する。この装置500は図4を参照して前述した帯域拡張方法を実施する。
したがって、処理ブロック510は復号低帯域信号(u(n))を受信する。特定の実施形態では、帯域拡張は、図3のブロック302により出力されるような12.8kHzにおける復号化励振(exc2またはu(n))を使用する。
この信号は、一般的には信号u(n)の副帯域U(k)への分解を得るために変換を行うか、またはフィルタバンクを適用する副帯域分解モジュール510(図4の工程E401bを実施する)により周波数副帯域に分解される。
特定の実施形態では、下記式に従う直接変換、u(n),n=0,・・・,255となるDCT−IV(「離散コサイン変換」−タイプIV)タイプの変換(ブロック510)が20ms(256サンプル)の現フレームへウィンドウ処理なしに適用される。
Figure 2019168709
ここで、N=256、k=0,・・・,255である。
ウィンドウ処理なしの(均等的にフレームの長さの暗黙的矩形窓による)変換は、同処理が信号領域ではなく励振領域において行われる場合に可能である。この場合、アーティファクト(ブロック効果)は可聴でなく、したがって本発明のこの実施形態の著しい利点を構成する。
この実施形態では、DCT−IV変換は、D.M.Zhang,H.T.Liによる記事A Low Complexity Transform−Evolved DCT,IEEE 14th International Conference on Computational Science and Engineering(CSE),Aug.2011,pp.144−149に記載されたいわゆる「進化型(Evolved)DCT」(EDCT)アルゴリズムに従ってFFTにより実施され、標準規格ITU−T G.718 Annex BとG.729.1において実施される。
本発明の変形形態において、かつ一般性を失うことなく、DCT−IV変換は、同じ長さの他の短期的時間−周波数変換により、および励振領域またはFFT(「高速フーリエ変換」)またはDCT−II(離散コサイン変換 − タイプII)などの信号領域において置換されることができるようになる。または、重複加算と現フレームの長さより大きな長さのウィンドウ処理とによる変換により(例えばMDCT(「修正離散余弦変換」)を使用することにより)フレームに対するDCT−IVを置換することが可能となる。この場合、図3のブロック310における遅延Tは、この変換による分析/合成による追加遅延に応じて適切に調整(低減)されなければならなくなる。
別の実施形態では、副帯域分解は実数または複素数フィルタバンク(例えばPQMF(擬QMF)タイプ)を適用することにより行われる。いくつかのフィルタバンクでは、所与のフレーム内の副帯域毎に、スペクトル値ではなく、副帯域に関連付けられた一連の時間値が得られる。この場合、本発明において好ましい実施形態は、例えば各副帯域の変換を行うことにより、かつ絶対値の領域において環境信号を計算することにより適用され得、音声成分は信号(絶対値)と環境信号とを区別することにより依然として得られる。複素数フィルタバンクの場合、サンプルの複素数モジュラスが絶対値を置換することになる。
他の実施形態では、本発明は2つの副帯域を使用するシステムにおいて適用され、低帯域は変換またはフィルタバンクにより分析される。
DCTの場合、帯域0〜6400Hz(12.8kHzにおける)をカバーする256サンプルのDCTスペクトルU(k)は、次の形式の0〜8000帯域Hz(16kHzにおける)をカバーする320サンプルのスペクトルへその後拡張される(ブロック511)。
Figure 2019168709
ここで、start_band=160と優先的に採られる。
ブロック511は、図4の工程E401a、すなわち低帯域復号信号の拡張を実行する。この工程はまた、サンプル(k=240・・・,319)の1/4をスペクトルへ加算することにより周波数領域内の12.8kHzから16kHzへ再サンプリングする工程を含み得る(ここで16と12.8の比は5/4である)。
指標200〜239の範囲のサンプルに対応する周波数帯域において、元のスペクトルは、この周波数帯域内のハイパスフィルタの漸進的減衰応答をそれに適用することができるように、また低周波合成と高周波合成との加算の工程において可聴欠陥を導入しないように保持される。
この実施形態ではオーバーサンプルおよび拡張スペクトラムの生成は、5〜8kHzの範囲、したがって第1の周波数帯域(0〜6.4kHz)より高い第2の周波数帯域(6.4〜8kHz)を含む周波数帯域において行われることに注意されたい。
したがって、復号低帯域信号の拡張は、少なくとも第2の周波数帯域に対してであるがまた第1の周波数帯域の一部に対しても行われる。
明らかに、これらの周波数帯域を定義する値は復号器または本発明が適用される処理装置に応じて異なリ得る。
さらに、ブロック511は、UHB1(k)の第1の200サンプルが零に設定されるため、0〜5000Hz帯域において暗黙的ハイパスフィルタ処理を行う。後で説明するように、このハイパスフィルタ処理はまた、5000〜6400Hz帯域内の指標k=200,・・・,255のスペクトル値の漸進的減衰の一部により補完され得、この漸進的減衰はブロック501において実施されるが、ブロック501外で別個に行われ得る。均等的に、かつ本発明の変形形態において、変換領域における減衰係数k=200,・・・,255のうちの零へ設定された指標k=0,・・・,199の係数のブロックに分離されたハイパスフィルタ処理の実施は、したがって単一工程で行われることができるようになる。
この例示的実施形態において、およびUHB1(k)の定義によると、UHB1(k)の5000〜6000Hz帯域(指標k=200,・・・,239に対応する)はU(k)の5000〜6000Hz帯域から複製されることに注意されたい。この手法は、元のスペクトルをこの帯域内に保持できるようにし、HF合成とLF合成との加算の際に5000〜6000Hz帯域に歪みを導入しないようにする。特に、この帯域内の信号の位相(DCT−IV領域内に暗黙的に表された)が保存される。
HB1(k)の6000〜8000Hz帯域はここでは、start_bandの値が160に優先的に設定されるため、U(k)の4000〜6000Hz帯域を複製することにより定義される。
本実施形態の変形形態では、start_bandの値は、本発明の性質を修正することなしに、160の値あたりで適応化させることができるようになる。start_band値の適応化の詳細は、本発明の範囲を変更することなく本発明のフレームワークを越えるため、ここでは説明しない。
ほとんどの広帯域信号(16kHzにおいてサンプリングされた)では、高帯域(>6kHz)は、低帯域内に存在するものと元々同様の環境情報を含む。環境情報はここで、現存信号から主(すなわち優勢)高調波を消去することにより得られる残留信号として定義される。6000〜8000Hz帯域における高調波レベルは通常、より低い周波数帯域のものと相関付けられる。
この復号および拡張低帯域信号は、入力として拡張装置500へ特にはモジュール512へ提供される。したがって、音声成分と環境信号を抽出するブロック512は、周波数領域において図4の工程E402を実行する。したがって、k=240,・・・,319(80サンプル)の環境信号UHBA(k)は、その後結合ブロック513において適応的方法で抽出音声成分y(k)と結合するように、第2の周波数帯域(いわゆる高周波)に対して得られる。
特定の実施形態では、音声成分と環境信号(6000〜8000Hz帯域内)との抽出は、次の操作に従って行われる。
●拡張復号低帯域信号enerHBの全エネルギーの計算:
Figure 2019168709
ここで、ε=0.1(この値は異なり得るが、本明細書では、一例として固定される)である。
●本明細書ではスペクトルの平均レベルlev(i)に対応する環境情報(絶対値)の計算(スペクトル線毎)と優勢音声部分(高周波スペクトル内)のエネルギーenertonalの計算、i=0,...,L−1に対し、この平均レベルは次式により得られる。
Figure 2019168709
これは平均レベル(絶対値)に対応し、したがってスペクトルの一種の包絡線を表す。この実施形態では、L=80であり、Lはスペクトルの長さを表し、および0〜L−1の指標iは240〜319の指標j+240(すなわち6〜8kHzのスペクトル)に対応する。
一般的に、fb(i)=i−1、fn(i)=i+7であるが、第1および最後の7つの指標(i=0・・・,6、i=L−7・・・,L−1)は特殊処理を必要とする。一般性を失うことなく、次に、
fb(i)=0およびfn(i)=i+7、i=0,・・・,6の場合、
fb(i)=i−7およびfn(i)=L−1、i=L−7,・・・,L−1の場合
を定義する。
本発明の変形形態では、|UHB1(j+240)|,j=fb(i)、...fn(i)の平均値は同じ組の値に関するメジアン値で置換され得る、すなわちlev(i)−medianj=fb(i),..,fn(i)(|UHB1(j+240)|)である。この変形形態は、滑り平均(sliding mean)より複雑な欠陥(多くの計算という意味合いで)を有する。他の変形形態では、非一様重み付けが平均項に適用され得るか、またはメディアンフィルタ処理は例えば「スタックフィルタ」タイプの他の非線形フィルタで置換され得る。
残留信号も次のように計算される。
y(i)=(|UHB1(i+240)|)−lev(i),i=0,...,L−1
これは、所与のスペクトル線iにおける値y(i)が正(y(i)>0)であれば、音声成分に(ほぼ)対応する。
したがって、この計算は音声成分の暗黙的検出を含む。したがって、音声部分は適応化閾値を表す中間項y(i)を用いて暗黙的に検知される。検出条件はy(i)>0である。本発明の変形形態では、この条件は、例えば信号の局所包絡線上に依存する適応化閾値を定義することによりまたはy(i)>lev(i)+xdB形式で変更され得る。ここで、xは予め定義された値(例えばx=10dB))を有する。
優勢音声部分のエネルギーは次式により定義される。
Figure 2019168709
当然ながら、環境信号を抽出するための他の方式が想定され得る。例えば、この環境信号は、低周波信号または任意選択的に別の周波数帯域(またはいくつかの周波数帯域)から抽出され得る。
音声スパイクまたは成分の検出は異なる方法で行われ得る。
この環境信号の抽出はまた、復号化されたが拡張されなかった励振に対して、すなわちスペクトル拡張または変換工程前に、すなわち例えば高周波信号に対して直接的にではなくむしろ低周波信号の一部に対して行われ得る。
変形実施形態では、音声成分と環境信号の抽出は、異なる順で、かつ、
− 周波数領域内の復号(または復号および拡張)低帯域信号の優勢音声成分の検出工程と、
− 環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
に従って行われる。
この変形形態は例えば次の方法で行われ得る。スパイク(または音声成分)は、次の判定基準が満たされれば、振幅|UHB1(i+240)|のスペクトル内の指標iのスペクトル線において検知される。
|UHB1(i+240)|>|UHB1(i+240−1)|、|UHB1(i+240)|>|UHB1(i+240+1)|,i=0,...,L−1
スパイクが指標iのスペクトル線において検知されると直ちに、正弦波モデルが、このスパイクに関連付けられた音声成分の振幅、周波数および任意選択的に位相パラメータを推定するように適用される。この推定の詳細はここでは提示されないが、周波数の推定は通常、3点の振幅|UHB1(i+240)|(dBで表現される)を近似する放物線の最大値の位置を特定するように3点にわたる放物線補間を要求し得、振幅推定はこの同じ補間により得られる。ここで使用される変換(DCT−IV)領域は位相を直接得られるようにしないため、一実施形態ではこの項を無視することが可能となるが、変形形態では、位相項を推定するためにDSTタイプの直交変換を適用することが可能となる。y(i),i=0,...,L−1の初期値は零に設定される。各音声成分の正弦波パラメータ(周波数、振幅および任意選択的に位相)が推定され、次に、項y(i)は、推定正弦波パラメータに従ってDCT−IV領域(または、いくつかの他の副帯域分解が使用されれば、他の領域)に変換された純粋な正弦関数の予め定義されたプロトタイプ(スペクトル)の和として計算される。最後に、振幅スペクトルの領域を絶対値として表わすために絶対値が項y(i)へ適用される。音声成分を判断するための他の方式が可能であり、例えば、この包絡線を越えるスパイクとして音声成分を検知するとともに下記y(i)を定義するために、この包絡線を一定レベル(dB)だけ低下させるために、|UHB1(i+240)|の極大値(検知されたスパイク)のスプライン補間により信号の包絡線env(i)を計算することも可能であろう。
y(i)=max(|UHB1(i+240)|−env(i),0)
したがって、この変形形態では、環境信号は次式により得られる。
lev(i)=|UHB1(i+240)|−y(i),i=0,...,L−1
本発明の他の変形形態では、スペクトル値の絶対値は、例えば本発明の原理を変えることなくスペクトル値の2乗により置換される。この場合、信号領域に戻るために、2乗根が必要になり、これは実行するのがより複雑である。
結合モジュール513は、環境信号と音声成分との適応化混合により結合工程を行う。したがって、環境レベル制御係数は次式により定義される。
Figure 2019168709
βは係数であり、その例示的計算が以下に与えられる。
拡張信号を得るために、最初に、i=0,...,L−1の場合の絶対値の結合信号を得る。
Figure 2019168709
この式にはUHB1(k)の符号が適用される。
y''(i)=sgn(UHB1(i+240))y'(i)
ここで、下記関数sgn(.)は符号を与える。
Figure 2019168709
定義により、係数Γ>1である。条件y(i)>0によりスペクトル線毎に検知された音声成分は係数Γだけ低減され、平均レベルは係数1/Γだけ増幅される。
適応化混合ブロック513では、エネルギーレベルの制御係数は復号(または復号および拡張)低帯域信号と音声成分との合計エネルギーに応じて計算される。
適応化混合の好適な実施形態では、エネルギー調整は次の方法で行われる。
HB2(k)=fac.y''(k−240),k=240,...,319
HB2(k)は帯域拡張結合信号である。
調整係数は次式により定義される。
Figure 2019168709
ここでγはエネルギーの過剰推定を回避できるようにする。例示的実施形態では、信号の連続帯域内の音声成分のエネルギーに関して同じレベルの環境信号を保持するようにβを計算する。3つの帯域:2000〜4000Hz、4000〜6000Hz、および6000〜8000Hz内の音声成分のエネルギーを以下の式により計算する。
Figure 2019168709
ここで、
Figure 2019168709
ここで、N(k,k)は指標kの組であり、指標kの係数は音声成分に関連付けられて分類される。この組は、例えば|U'(k)|>lev(k)を満足するU'(k)内の局所スパイクを検出することにより得ることができる。またはlev(k)は、スペクトル線毎のスペクトルの平均レベルとして計算される。
音声成分のエネルギーを計算する他の方式(例えば、考察帯域全体にわたるスペクトルのメジアン値を取ることによる方式)が可能であることに留意されたい。βを、4〜6kHzと6〜8kHz帯域における音声成分のエネルギーの比が2〜4kHzおよび4〜6kHz帯域における音声成分のエネルギーの比と同じとなるように固定する。
Figure 2019168709
ここで、
Figure 2019168709
max(.,.)は2つの引き数の最大値を与える関数である。
本発明の変形形態では、βの計算は他の方式で置換され得る。例えば、一変形形態では、AMR−WBコーデックにおいて計算されたものと同様の「傾き」パラメータを含む低帯域信号を特徴付ける様々なパラメータ(または「特徴」)を抽出(計算)することが可能となり、および係数βは、その値を0〜1に制限することによりこれらの様々なパラメータに基づき線形回帰の関数として推定される。線形回帰は例えば、学習ベースで元の高帯域を与えられることにより係数βを推定することによる統括管理的方法で推定されることができる。βが計算される方法は本発明の性質を限定しないことに注意されたい。その後、パラメータβは、所与の帯域において加算される環境信号と信号が通常、同じ帯域内の同じエネルギーを有する高調波信号より強いものとして感知されることを考慮することにより、γを計算するために使用され得る。αを、高調波信号へ加算された環境信号の量であるように定義すれば、
Figure 2019168709
αの減少関数としてγを計算することが可能となる、例えば、
Figure 2019168709
b=1.1、a=1.2、かつγは0.3〜1に制限される。ここで再び、αおよびγの他の定義が本発明のフレームワーク内で可能である。
帯域拡張装置500の出力において、ブロック501は、特定の実施形態では、任意選択的な方法で、バンドパスフィルタ周波数応答の適用と周波数領域内のデエンファシス(すなわち強調解除)フィルタ処理との2重操作を行う。
本発明の変形形態では、デエンファシスフィルタ処理は、ブロック502後(または、さらにはブロック510の前)の時間領域において行うことができることになる。しかし、この場合、ブロック501において行われるバンドパスフィルタ処理は、やや感知可能な方法で復号化低帯域を修正し得るデエンファシスにより増幅される極低レベルのいくつかの低周波成分を残し得る。このため、ここでは周波数領域内でデエンファシスを行うのが好ましい。好適な実施形態では、指標K=0,・・・,199の係数は零へ設定され、したがってデエンファシスはより高い係数に限定される。励振は最初に次式に従ってデエンファシスされる。
Figure 2019168709
ここで、Gdeemph(k)は、限定離散周波数帯域にわたるフィルタ1/(1−0.68z−1)の周波数応答である。DCT−IVの離散(奇数)周波数を考慮することにより、Gdeemph(k)はここでは次のように定義される。
Figure 2019168709
ここで、
Figure 2019168709
である。
DCT−IV以外の変換が使用される場合、θの定義は調整されることができる(例えば、周波数に関しても)。
デエンファシスは、5000〜6400Hz周波数帯域に対応するk=200,・・・,255に対して2段階で適用されることに注意すべきであり、ここで、応答1/(1−0.68z−1)は12.8kHzにおいて、および6400〜8000Hzの周波数帯域に対応するk=256,・・・,319に対して適用され、応答は、ここでは16kHzから6.4〜8kHz帯域内の一定値へ拡張される。
AMR−WBコーデックではHF合成はデエンファシスされないことに注目し得る。本明細書に提示された実施形態では、高周波信号は、逆に、図3のブロック305を出る低周波信号(0〜6.4kHz)に整合する領域に戻すようにデエンファシスされる。これは、HF合成のエネルギーの推定とその後の調整とのために重要である。
本実施形態の変形形態では、複雑性を低減するために、上記実施形態の条件下でk=200,・・・,319に対して例えばGdeemph(k)の平均値にほぼ対応するGdeemph(k)=0.6を採用することによりGdeemph(k)をkとは無関係の一定値に設定することが可能となる。
復号器の実施形態の別の変形形態では、デエンファシスは、逆DCT後に時間領域内で均等な方法で行われることができるようになる。
デエンファシスに加えて、バンドパスフィルタ処理が2つの別個の部品(一方は固定のハイパスフィルタ、他方は適応型(ビットレートに応じた)ローパスフィルタ)により適用される。
このフィルタ処理は周波数領域において行われる。
好適な実施形態では、ローパスフィルタ部分応答は、周波数領域において次のように計算される。
Figure 2019168709
ここで、6.6kbit/sにおいてNlP=60、8.85kbit/sにおいてNlP=40、>8.85ビット/sのビットレートにおいてNlP=20である。
次に、バンドパスフィルタは次の形式で適用される。
Figure 2019168709
hp(k),k=0,・・・,55の定義は、例えば次の表1に与えられる。
Figure 2019168709
本発明の変形形態ではGhp(k)の値は漸進的減衰を維持する一方で修正されることができるようになることに注意されたい。同様に、可変帯域幅Glp(k)を有するローパスフィルタ処理は、このフィルタ処理工程の原理を変えることなしに、異なる値または周波数支援により調整されることができるようになる。
バンドパスフィルタ処理は、ハイパスフィルタ処理とローパスフィルタ処理とを結合する単一フィルタ処理工程を定義することにより適応化されることができるようになることにも留意されよう。
別の実施形態では、バンドパスフィルタ処理は、逆DCT工程後、ビットレートに基づき異なるフィルタ係数により時間領域において均等な方法で(図1のブロック112と同様に)行われることができるようになる。しかし、フィルタ処理はLPC励振の領域において行われるため、周波数領域においてこの工程を直接行うことが有利であり、したがって巡回畳み込みの問題とエッジ効果の問題はこの領域内では極めて制限されることに注意されたい。
逆変換ブロック502は、16kHzにおいてサンプリングされた高周波信号を発見するために320サンプルに対して逆DCTを行う。その実施形態は、DCT−IVが変換の長さが256ではなく320であることを除いて正規直交であるため、ブロック510と同一であり、次式が得られる。
Figure 2019168709
ここで、N16k=320、k=0,・・・,319である。
ブロック510がDCTではないが副帯域中への他のある変換または分解である場合、ブロック502は、ブロック510において行われた分析に対応する合成を行う。
16kHzにおける標本化信号は、その後任意選択的な方法で、80サンプルのサブフレーム毎に定義された利得によりスケーリングされる(ブロック504)。好適な実施形態では、利得gHB1(m)は、サブフレーム同士のエネルギーの比によりサブフレーム毎に最初に計算され(ブロック503)、したがって、現フレームの指標m=0、1、2または3の各サブフレームでは、
Figure 2019168709
であり、ここで、
Figure 2019168709
であり、ここで、ε=0.01である。1サブフレーム当たりの利得gHB1(m)は次の形式で書かれ得る。
Figure 2019168709
これは、信号uHB内では、信号u(n)と同様に、1サブフレーム当たりのエネルギーと1サブフレーム当たりのエネルギーとの同じ比が保証されることを示す。
ブロック504は、次式に従って結合信号のスケーリング(図4の工程E404aに含まれる)を行う。
HB'(n)=gHB1(m)uHB(n)、n−80m,・・・80(m+1)−1
ブロック503の実施形態は、現フレームレベルにおけるエネルギーがサブフレームのものに加えて考慮されるため、図1のブロック101のものと異なることに注意されたい。これにより、フレームのエネルギーと各サブフレームのエネルギーとの比を有することが可能になる。したがって、絶対エネルギーではなく低帯域と高帯域間とのエネルギーの比(すなわち相対エネルギー)が比較される。
したがって、このスケーリング工程は、高帯域において、低帯域におけるのと同じ方法で、サブフレームとフレームとのエネルギーの比を保持できるようにする。
任意選択的な方法では、ブロック506はその後、次式に従って信号のスケーリング(図4の工程E404aに含まれる)を行う。
HB''(n)=gHB2(m)uHB'(n),n−80m,・・・80(m+1)−1
ここで、利得gHB2(m)はAMR−WBコーデックのブロック103、104、105を実行することによりブロック505から得られる(ブロック103の入力は、低帯域において復号化された励振u(n)である)。ブロック505と506は、LPC合成フィルタ(ブロック507)のレベルを調整する(ここでは信号の傾きに応じて)のに役立つ。本発明の性質を変えることなく利得gHB2(m)を計算する他の方式が可能である。
最後に、信号uHB'(n)またはuHB''(n)は、ここでは伝達関数
Figure 2019168709
として採ることにより具現化され得るフィルタ処理モジュール507によりフィルタ処理される。ここで、6.6kbit/sにおいてγ=0.9、他のビットレートにおいてγ=0.6であり、これにより次数16のフィルタの次数を制限する。変形形態において、このフィルタ処理は、AMR−WB復号器の図1のブロック111に対して説明したのと同じ方法で行われることができるようになるが、フィルタの次数は6.6ビットレートでは20に変わり、これは合成信号の品質を著しくは変えない。別の変形形態では、ブロック507において実施されるフィルタの周波数応答を計算した後に周波数領域内でLPC合成フィルタ処理を行うことが可能となる。
本発明の変形実施形態では、低帯域(0〜6.4kHz)の符号化はAMR−WBにおいて使用されるもの以外のCELP符号器(例えば、8kbit/sにおけるG.718のCELP符号器など)により置換されることができるようになる。一般性を失うことなく、他の広帯域符号器または16kHzより高い周波数において動作する符号器(低帯域の符号化が12.8kHzの内部周波数により動作する)が使用可能であろう。さらに、本発明は明らかに、低周波符号器が元信号または再生信号のサンプリング周波数未満のサンプリング周波数により動作する場合、12.8kHz以外のサンプリング周波数に適応化され得る。低帯域復号化が線形予測を使用しない場合は、拡張されるべき励振信号は存在しない。この場合、現フレームにおいて再構築された信号のLPC分析を行うことが可能となり、LPC励振は、本発明を適用することができるように計算される。
最後に、本発明の別の変形形態では、励振または低帯域信号(u(n))は、長さ320の変換(例えばDCT−IV)前に、例えば線形補間または3次「スプライン」補間により12.8kHzから16kHzへ再サンプリングされる。この変形形態は、このとき励振または信号の変換(DCT−IV)がより長い長さにわたって計算され、再サンプリングは変換領域では行われないため、より複雑であるという欠陥を有する。
さらに、本発明の変形形態では、利得(GHBN,gHB1(m),gHB2(m),gHBN(m),...)の推定に必要なすべての計算は対数の領域で行われることができるようになる。
図6は、本発明による帯域拡張装置600の例示的物理的実施形態を表す。例示的物理的実施形態は、オーディオ周波数信号復号器またはオーディオ周波数信号(復号化されたまたはされない)を受信する装置の重要部分を形成し得る。
このタイプの装置は、格納および/または作業メモリMEMを含むメモリブロックBMと協働するプロセッサPROCを含む。このような装置は、抽出周波数領域(U(k))に戻される第1の周波数帯域(低帯域と称する)内の復号またはオーディオ信号を受信することができる入力モジュールEを含む。このような装置は、第2の周波数帯域(UHB2(k))内の拡張信号を例えば図5のフィルタ処理モジュール501へ送信することができる出力モジュールSを含む。
メモリブロックは有利には、プロセッサPROCにより実行されると本発明の範囲の帯域拡張方法の工程を実施するためのコード命令を含むコンピュータプログラム含み得る。帯域拡張方法の工程は、特には、復号低帯域信号(U(k))から生じる信号から音声成分と環境信号とを抽出する工程(E402)と、結合信号(UHB2(k))と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用することによる適応化混合により音声成分(y(k))と環境信号(UHBA(k))とを結合する工程(E403)と、第1の周波数帯域より高い少なくとも1つの第2の周波数帯域にわたって抽出工程前の低帯域復号信号または結合工程後の結合信号を拡張する工程(E401a)とである。
通常、図4の説明は、このようなコンピュータプログラムのアルゴリズムの工程を繰り返する。コンピュータプログラムはまた、装置の読み取り機により読み取られ得るまたはメモリ空間にダウンロードされ得るメモリ媒体上に格納され得る。
メモリMEMは通常、本方法の実施に必要なすべてのデータを格納する。
1つの可能な実施形態では、このように説明された装置はまた、本発明による帯域拡張機能に加えて、低帯域復号化機能と例えば図5、図3において説明した他の処理機能とを含み得る。

Claims (11)

  1. 低帯域と称する第1の周波数帯域において復号化された信号を得る工程を含む、復号化または改善処理中にオーディオ周波数信号の周波数帯域を拡張する方法において、
    − 前記復号低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程(E402)と、
    − 結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により前記音声成分と前記環境信号とを結合する工程(E403)と、
    − 前記第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上で、前記抽出工程前の前記低帯域復号信号または前記結合工程後の結合信号を拡張する工程(E401a)と
    を含むことを特徴とする、方法。
  2. 前記復号低帯域信号は低帯域復号化励振信号であることを特徴とする、請求項1に記載の方法。
  3. 前記音声成分および前記環境信号の前記抽出工程は、
    − 周波数領域内の前記復号低帯域信号または前記復号および拡張低帯域信号の優勢音声成分を検出する工程と、
    − 前記環境信号を得るために前記優勢音声成分の抽出により残留信号を計算する工程と
    に従って行われることを特徴とする、請求項1または2に記載の方法。
  4. 前記音声成分および前記環境信号の前記抽出工程は、
    − 前記復号低帯域信号または前記復号および拡張低帯域信号のスペクトルの平均値を計算することにより前記環境信号を取得する工程と、
    − 前記復号低帯域信号または前記復号および拡張低帯域信号から計算環境信号を減じることにより前記音声成分を取得する工程と
    に従って行われることを特徴とする、請求項1または2に記載の方法。
  5. 前記適応化混合に使用されるエネルギーレベルの制御係数は、前記復号低帯域信号または前記復号および拡張低帯域信号と前記音声成分との合計エネルギーに応じて計算されることを特徴とする、請求項1に記載の方法。
  6. 前記復号低帯域信号は、変換またはフィルタバンクベースの副帯域分解の工程を受け、前記抽出工程および前記結合工程は、その後、前記周波数領域または副帯域領域において行われることを特徴とする、請求項1〜5のいずれか一項に記載の方法。
  7. 前記復号低帯域信号を拡張する前記工程は次式:
    Figure 2019168709
    に従って行われ、ここで、kはサンプルの指標であり、U(k)は変換工程後に得られる前記復号低帯域信号のスペクトルであり、UHB1(k)は前記拡張信号のスペクトルであり、およびstart_bandは予め定義された変数であることを特徴とする、請求項1〜6のいずれか一項に記載の方法。
  8. 低帯域と称する第1の周波数帯域において復号化されたオーディオ周波数信号の周波数帯域を拡張する装置において、
    前記復号低帯域信号から生じる信号に基づき音声成分と環境信号とを抽出するモジュール(512)と、
    結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により前記音声成分と前記環境信号とを結合するモジュール(513)と、
    前記第1の周波数帯域より高い少なくとも1つの第2の周波数帯域上へ前記抽出モジュール前の前記低帯域復号信号または前記結合モジュール後の前記結合信号を拡張し、かつ前記抽出モジュール前の前記低帯域復号信号または前記結合モジュール後の前記結合信号において実装されるモジュール(511)と
    を含むことを特徴とする、装置。
  9. 請求項8に記載の周波数帯域拡張装置を含むことを特徴とする、オーディオ周波数信号復号器。
  10. プロセッサにより実行されると、請求1〜7のいずれか一項に記載の周波数帯域拡張方法の工程を実施するコード命令を含むコンピュータプログラム。
  11. 請求項1〜7のいずれか一項に記載の周波数帯域拡張方法の工程を実行するコード命令を含むコンピュータプログラムが格納される、周波数帯域拡張装置により読み取られ得る記憶媒体。
JP2019107008A 2014-02-07 2019-06-07 オーディオ信号復号器における改善された周波数帯域拡張 Active JP6775064B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1450969 2014-02-07
FR1450969A FR3017484A1 (fr) 2014-02-07 2014-02-07 Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016549732A Division JP6625544B2 (ja) 2014-02-07 2015-02-04 オーディオ周波数信号の周波数帯域を拡張する方法及び装置

Publications (2)

Publication Number Publication Date
JP2019168709A true JP2019168709A (ja) 2019-10-03
JP6775064B2 JP6775064B2 (ja) 2020-10-28

Family

ID=51014390

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016549732A Active JP6625544B2 (ja) 2014-02-07 2015-02-04 オーディオ周波数信号の周波数帯域を拡張する方法及び装置
JP2019107009A Active JP6775065B2 (ja) 2014-02-07 2019-06-07 オーディオ信号復号器における改善された周波数帯域拡張
JP2019107008A Active JP6775064B2 (ja) 2014-02-07 2019-06-07 オーディオ信号復号器における改善された周波数帯域拡張
JP2019107007A Active JP6775063B2 (ja) 2014-02-07 2019-06-07 オーディオ信号復号器における改善された周波数帯域拡張

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016549732A Active JP6625544B2 (ja) 2014-02-07 2015-02-04 オーディオ周波数信号の周波数帯域を拡張する方法及び装置
JP2019107009A Active JP6775065B2 (ja) 2014-02-07 2019-06-07 オーディオ信号復号器における改善された周波数帯域拡張

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019107007A Active JP6775063B2 (ja) 2014-02-07 2019-06-07 オーディオ信号復号器における改善された周波数帯域拡張

Country Status (21)

Country Link
US (5) US10043525B2 (ja)
EP (4) EP3327722B1 (ja)
JP (4) JP6625544B2 (ja)
KR (5) KR102510685B1 (ja)
CN (4) CN107993667B (ja)
BR (2) BR122017027991B1 (ja)
DK (2) DK3330966T3 (ja)
ES (2) ES2878401T3 (ja)
FI (1) FI3330966T3 (ja)
FR (1) FR3017484A1 (ja)
HR (2) HRP20231164T1 (ja)
HU (2) HUE062979T2 (ja)
LT (2) LT3103116T (ja)
MX (1) MX363675B (ja)
PL (2) PL3330966T3 (ja)
PT (2) PT3103116T (ja)
RS (2) RS64614B1 (ja)
RU (4) RU2763481C2 (ja)
SI (2) SI3330966T1 (ja)
WO (1) WO2015118260A1 (ja)
ZA (3) ZA201606173B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2626977T3 (es) * 2013-01-29 2017-07-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato, procedimiento y medio informático para sintetizar una señal de audio
FR3017484A1 (fr) 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP3382703A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
US10681486B2 (en) * 2017-10-18 2020-06-09 Htc Corporation Method, electronic device and recording medium for obtaining Hi-Res audio transfer information
EP3518562A1 (en) 2018-01-29 2019-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels
KR102308077B1 (ko) * 2019-09-19 2021-10-01 에스케이텔레콤 주식회사 학습 모델 기반의 인공 대역 변환장치 및 방법
JP2023509201A (ja) * 2020-01-13 2023-03-07 ホアウェイ・テクノロジーズ・カンパニー・リミテッド オーディオ符号化及び復号方法、並びにオーディオ符号化及び復号デバイス

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181496A (ja) * 1998-12-14 2000-06-30 Sony Corp 受信装置及び方法、通信装置及び方法
US20010044722A1 (en) * 2000-01-28 2001-11-22 Harald Gustafsson System and method for modifying speech signals
JP2009501351A (ja) * 2005-07-13 2009-01-15 フランス テレコム 階層符号化/復号化装置
JP2011075728A (ja) * 2009-09-29 2011-04-14 Oki Electric Industry Co Ltd 音声帯域拡張装置および音声帯域拡張プログラム
JP2012022166A (ja) * 2010-07-15 2012-02-02 Fujitsu Ltd 音声処理装置、音声処理方法および電話装置
JP2012512437A (ja) * 2008-12-15 2012-05-31 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ オーディオエンコーダおよび帯域幅拡張デコーダ
JP2013222205A (ja) * 2012-04-16 2013-10-28 Samsung Electronics Co Ltd 音質向上装置及び方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1225736A (zh) * 1996-07-03 1999-08-11 英国电讯有限公司 语音活动检测器
SE9700772D0 (sv) * 1997-03-03 1997-03-03 Ericsson Telefon Ab L M A high resolution post processing method for a speech decoder
TW430778B (en) * 1998-06-15 2001-04-21 Yamaha Corp Voice converter with extraction and modification of attribute data
US6226616B1 (en) * 1999-06-21 2001-05-01 Digital Theater Systems, Inc. Sound quality of established low bit-rate audio coding systems without loss of decoder compatibility
JP4792613B2 (ja) * 1999-09-29 2011-10-12 ソニー株式会社 情報処理装置および方法、並びに記録媒体
DE10041512B4 (de) * 2000-08-24 2005-05-04 Infineon Technologies Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
WO2003003345A1 (fr) * 2001-06-29 2003-01-09 Kabushiki Kaisha Kenwood Dispositif et procede d'interpolation des composantes de frequence d'un signal
CN100395817C (zh) * 2001-11-14 2008-06-18 松下电器产业株式会社 编码设备、解码设备和解码方法
JP2005509928A (ja) * 2001-11-23 2005-04-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ信号帯域幅拡張
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
CN1318231C (zh) * 2002-06-28 2007-05-30 倍耐力轮胎公司 一个轮胎的特性参数的监控系统和方法
US6845360B2 (en) * 2002-11-22 2005-01-18 Arbitron Inc. Encoding multiple messages in audio data and detecting same
RU2376657C2 (ru) * 2005-04-01 2009-12-20 Квэлкомм Инкорпорейтед Системы, способы и устройства для высокополосного предыскажения шкалы времени
JP5237637B2 (ja) * 2005-06-08 2013-07-17 パナソニック株式会社 オーディオ信号の帯域を拡張するための装置及び方法
US7546237B2 (en) * 2005-12-23 2009-06-09 Qnx Software Systems (Wavemakers), Inc. Bandwidth extension of narrowband speech
CN101089951B (zh) * 2006-06-16 2011-08-31 北京天籁传音数字技术有限公司 频带扩展编码方法及装置和解码方法及装置
JP5141180B2 (ja) * 2006-11-09 2013-02-13 ソニー株式会社 周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、プログラム及び記録媒体
KR101379263B1 (ko) * 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
US8229106B2 (en) * 2007-01-22 2012-07-24 D.S.P. Group, Ltd. Apparatus and methods for enhancement of speech
US8489396B2 (en) * 2007-07-25 2013-07-16 Qnx Software Systems Limited Noise reduction with integrated tonal noise reduction
US8041577B2 (en) * 2007-08-13 2011-10-18 Mitsubishi Electric Research Laboratories, Inc. Method for expanding audio signal bandwidth
ES2375192T3 (es) * 2007-08-27 2012-02-27 Telefonaktiebolaget L M Ericsson (Publ) Codificación por transformación mejorada de habla y señales de audio.
WO2009039897A1 (en) * 2007-09-26 2009-04-02 Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program
US8688441B2 (en) * 2007-11-29 2014-04-01 Motorola Mobility Llc Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content
CN101903944B (zh) * 2007-12-18 2013-04-03 Lg电子株式会社 用于处理音频信号的方法和装置
ATE518224T1 (de) * 2008-01-04 2011-08-15 Dolby Int Ab Audiokodierer und -dekodierer
US8554551B2 (en) * 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
DE102008015702B4 (de) * 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
US8831936B2 (en) * 2008-05-29 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement
KR101381513B1 (ko) * 2008-07-14 2014-04-07 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
WO2010028292A1 (en) * 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Adaptive frequency prediction
US8352279B2 (en) * 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
US8463599B2 (en) * 2009-02-04 2013-06-11 Motorola Mobility Llc Bandwidth extension method and apparatus for a modified discrete cosine transform audio coder
RU2452044C1 (ru) * 2009-04-02 2012-05-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство, способ и носитель с программным кодом для генерирования представления сигнала с расширенным диапазоном частот на основе представления входного сигнала с использованием сочетания гармонического расширения диапазона частот и негармонического расширения диапазона частот
CN101990253A (zh) * 2009-07-31 2011-03-23 数维科技(北京)有限公司 一种带宽扩展方法及其装置
RU2568278C2 (ru) * 2009-11-19 2015-11-20 Телефонактиеболагет Лм Эрикссон (Пабл) Расширение полосы пропускания звукового сигнала нижней полосы
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
KR101826331B1 (ko) * 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
SG192718A1 (en) * 2011-02-14 2013-09-30 Fraunhofer Ges Forschung Audio codec using noise synthesis during inactive phases
US20140019125A1 (en) * 2011-03-31 2014-01-16 Nokia Corporation Low band bandwidth extended
US9251800B2 (en) 2011-11-02 2016-02-02 Telefonaktiebolaget L M Ericsson (Publ) Generation of a high band extension of a bandwidth extended audio signal
EP2830062B1 (en) 2012-03-21 2019-11-20 Samsung Electronics Co., Ltd. Method and apparatus for high-frequency encoding/decoding for bandwidth extension
US9228916B2 (en) * 2012-04-13 2016-01-05 The Regents Of The University Of California Self calibrating micro-fabricated load cells
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
FR3017484A1 (fr) * 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181496A (ja) * 1998-12-14 2000-06-30 Sony Corp 受信装置及び方法、通信装置及び方法
US20010044722A1 (en) * 2000-01-28 2001-11-22 Harald Gustafsson System and method for modifying speech signals
JP2009501351A (ja) * 2005-07-13 2009-01-15 フランス テレコム 階層符号化/復号化装置
JP2012512437A (ja) * 2008-12-15 2012-05-31 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ オーディオエンコーダおよび帯域幅拡張デコーダ
JP2011075728A (ja) * 2009-09-29 2011-04-14 Oki Electric Industry Co Ltd 音声帯域拡張装置および音声帯域拡張プログラム
JP2012022166A (ja) * 2010-07-15 2012-02-02 Fujitsu Ltd 音声処理装置、音声処理方法および電話装置
JP2013222205A (ja) * 2012-04-16 2013-10-28 Samsung Electronics Co Ltd 音質向上装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HARINARAYANAN E V ET AL.: "New Enhancements to the Audio Bandwidth Extension Toolkit (ABET)", AES CONVENTION 124, JPN6020022780, May 2008 (2008-05-01), pages 1 - 7, ISSN: 0004297031 *

Also Published As

Publication number Publication date
ZA201708366B (en) 2019-05-29
US20180141361A1 (en) 2018-05-24
CN107993667B (zh) 2021-12-07
EP3327722A1 (fr) 2018-05-30
CN105960675A (zh) 2016-09-21
FI3330966T3 (fi) 2023-10-04
HUE055111T2 (hu) 2021-10-28
RU2017144522A3 (ja) 2021-04-01
ZA201606173B (en) 2018-11-28
KR102510685B1 (ko) 2023-03-16
BR112016017616B1 (pt) 2023-03-28
RU2016136008A (ru) 2018-03-13
US10043525B2 (en) 2018-08-07
EP3103116B1 (fr) 2021-05-05
RU2017144523A3 (ja) 2021-04-01
MX2016010214A (es) 2016-11-15
EP3327722B1 (fr) 2024-04-10
RU2016136008A3 (ja) 2018-09-13
DK3103116T3 (da) 2021-07-26
MX363675B (es) 2019-03-29
PT3330966T (pt) 2023-10-04
BR112016017616A2 (pt) 2017-08-08
EP3330967B1 (fr) 2024-04-10
CN108109632B (zh) 2022-03-29
JP6775065B2 (ja) 2020-10-28
EP3330966A1 (fr) 2018-06-06
KR20160119150A (ko) 2016-10-12
PT3103116T (pt) 2021-07-12
RU2763848C2 (ru) 2022-01-11
KR20220035271A (ko) 2022-03-21
BR122017027991B1 (pt) 2024-03-12
FR3017484A1 (fr) 2015-08-14
US20170169831A1 (en) 2017-06-15
ES2955964T3 (es) 2023-12-11
CN108022599A (zh) 2018-05-11
CN107993667A (zh) 2018-05-04
US11325407B2 (en) 2022-05-10
PL3330966T3 (pl) 2023-12-18
JP6775064B2 (ja) 2020-10-28
JP2019168708A (ja) 2019-10-03
RU2763481C2 (ru) 2021-12-29
SI3103116T1 (sl) 2021-09-30
JP6775063B2 (ja) 2020-10-28
SI3330966T1 (sl) 2023-12-29
JP2017509915A (ja) 2017-04-06
KR102380205B1 (ko) 2022-03-29
RU2017144521A3 (ja) 2021-04-01
HRP20231164T1 (hr) 2024-01-19
DK3330966T3 (da) 2023-09-25
RS62160B1 (sr) 2021-08-31
PL3103116T3 (pl) 2021-11-22
RU2017144523A (ru) 2019-02-18
CN108109632A (zh) 2018-06-01
CN105960675B (zh) 2020-05-05
KR102426029B1 (ko) 2022-07-29
RS64614B1 (sr) 2023-10-31
KR20180002910A (ko) 2018-01-08
HUE062979T2 (hu) 2023-12-28
US20200338917A1 (en) 2020-10-29
EP3103116A1 (fr) 2016-12-14
RU2682923C2 (ru) 2019-03-22
ES2878401T3 (es) 2021-11-18
US10730329B2 (en) 2020-08-04
US20200353765A1 (en) 2020-11-12
LT3103116T (lt) 2021-07-26
US20180304659A1 (en) 2018-10-25
JP2019168710A (ja) 2019-10-03
HRP20211187T1 (hr) 2021-10-29
US10668760B2 (en) 2020-06-02
US11312164B2 (en) 2022-04-26
RU2017144521A (ru) 2019-02-18
KR20180002906A (ko) 2018-01-08
KR20180002907A (ko) 2018-01-08
LT3330966T (lt) 2023-09-25
EP3330967A1 (fr) 2018-06-06
RU2017144522A (ru) 2019-02-18
KR102380487B1 (ko) 2022-03-29
CN108022599B (zh) 2022-05-17
EP3330966B1 (fr) 2023-07-26
WO2015118260A1 (fr) 2015-08-13
RU2763547C2 (ru) 2021-12-30
JP6625544B2 (ja) 2019-12-25
ZA201708368B (en) 2018-11-28

Similar Documents

Publication Publication Date Title
JP6515157B2 (ja) 音声周波数信号復号器における周波数帯域拡張のための最適化スケール因子の判定方法及び判定装置
JP6775063B2 (ja) オーディオ信号復号器における改善された周波数帯域拡張
US9911432B2 (en) Frequency band extension in an audio signal decoder
JP2016528539A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201005

R150 Certificate of patent or registration of utility model

Ref document number: 6775064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250