JP2019514065A - 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム - Google Patents

高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2019514065A
JP2019514065A JP2018553874A JP2018553874A JP2019514065A JP 2019514065 A JP2019514065 A JP 2019514065A JP 2018553874 A JP2018553874 A JP 2018553874A JP 2018553874 A JP2018553874 A JP 2018553874A JP 2019514065 A JP2019514065 A JP 2019514065A
Authority
JP
Japan
Prior art keywords
frequency band
shaping
spectral
lower frequency
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018553874A
Other languages
English (en)
Other versions
JP6734394B2 (ja
Inventor
ムルトルス,マルクス
ノイカム,クリスチャン
シュネル,マルクス
シューベルト,ベンヤミン
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2019514065A publication Critical patent/JP2019514065A/ja
Priority to JP2020118122A priority Critical patent/JP6970789B2/ja
Application granted granted Critical
Publication of JP6734394B2 publication Critical patent/JP6734394B2/ja
Priority to JP2021177073A priority patent/JP7203179B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • G10L19/265Pre-filtering, e.g. high frequency emphasis prior to encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

低位周波数帯域と高位周波数帯域とを有するオーディオ信号を符号化するためのオーディオ符号器であって、オーディオ信号の高位周波数帯域内のピークスペクトル領域を検出するための検出部(802)と、低位周波数帯域の整形情報を用いて低位周波数帯域を整形し、低位周波数帯域の整形情報の少なくとも一部を用いて高位周波数帯域を整形するための整形部(804)であって、高位周波数帯域の検出されたピークスペクトル領域におけるスペクトル値を追加的に減衰させるように構成された整形部(804)と、整形された低位周波数帯域及び整形された高位周波数帯域を量子化し、整形された低位周波数帯域及び整形された高位周波数帯域からの量子化されたスペクトル値をエントロピー符号化するための量子化器及び符号器ステージ(806)と、を備える。【選択図】 図8

Description

本発明は、オーディオ符号化に関し、好ましくは、EVSコーデックにおけるMDCTベースのTCXのスペクトル係数の量子化を制御するための方法、装置またはコンピュータプログラムに関する。
EVSコーデックの参照文献は、3GPP TS24.445V13.1(2016−03)、第3世代パートナーシッププロジェクト、Technical Specification Group(技術仕様グループ)のサービス・システム、Enhanced Voice Services(高性能ボイスサービス:EVS)用コーデック、詳細アルゴリズム記述(リリース13)である。
しかしながら、本発明は、リリース13以外の他のリリースによって定義されるような、他のEVSバージョンにも有用であり、加えて、本発明は、例えば特許請求の範囲に定義されるような検出部、整形部及び量子化器及びコーダステージに依存するEVSとは異なる他のすべてのオーディオ符号器においてさらに有用である。
さらに、独立請求項だけでなく従属請求項によっても定義されるすべての実施形態は、請求項の相互依存性によって概説されるように、または好ましい実施例において後述するように、互いに別個に、または一緒に使用することができることに留意すべきである。
EVSコーデック[非特許文献1]は、3GPPで指定されているように、狭帯域(NB)、広帯域(WB)、超広帯域(SWB)または全帯域(FB)のスピーチおよびオーディオコンテンツのための最新ハイブリッドコーデックであり、信号分類に基づいて、いくつかの符号化アプローチの間で切り替えることができる。
図1は、EVSにおける共通の処理および異なる符号化スキームを示している。特に、図1における符号器の共通の処理部は、信号リサンプリングブロック101と、信号分析ブロック102とを含む。オーディオ入力信号は、オーディオ信号入力103において共通処理部に入力され、特に信号再サンプリングブロック101に入力される。信号リサンプリングブロック101は、コマンドラインパラメータを受信するためのコマンドライン入力をさらに有する。共通処理ステージの出力は、図1に見られるように、異なる要素に入力される。特に、図1は、線形予測ベース符号化ブロック(LPベース符号化)110、周波数ドメイン符号化ブロック120、および非活動信号符号化/CNGブロック130を含む。ブロック110、120、130は、ビットストリームマルチプレクサ140に接続されている。さらに、スイッチ150は、分類部の決定に応じて、共通処理ステージの出力をLPベース符号化ブロック110、周波数ドメイン符号化ブロック120、または非活動信号符号化/CNG(快適ノイズ生成)ブロック130のいずれかに切り替えるために設けられる。さらに、ビットストリームマルチプレクサ140は、分類部情報、すなわち、ブロック103で入力され、かつ共通処理部によって処理された入力信号のある現在の部分が、ブロック110、120、130のいずれを使用して符号化されているかの情報を受信する。
−CELP符号化などのLPベース(線形予測ベース)符号化は、主に、スピーチまたはスピーチ優勢コンテンツおよび高い時間変動を伴う一般的なオーディオコンテンツに使用される。
−周波数ドメイン符号化は、音楽または背景ノイズのような他のすべての一般的なオーディオコンテンツに対して使用される。
低ビットレートおよび中ビットレートに対して最大品質を提供するために、共通処理モジュールにおける信号分析に基づいて、LPベースの符号化と周波数ドメイン符号化との間の頻繁な切り替えが行われる。演算量を節約するために、コーデックは、後続のモジュールにおいても信号分析ステージの要素を再使用するよう最適化された。例えば、信号分析モジュールは、LP分析ステージを特徴とする。得られたLPフィルタ係数(LPC)および残差信号は、最初に、ボイス活動検出部(VAD)またはスピーチ/音楽分類部などのいくつかの信号分析ステップに使用される。第2に、LPCは、LPベースの符号化方式および周波数ドメイン符号化方式の基本的な部分でもある。演算量を節約するために、CELP符号器(SRCELP)の内部サンプリングレートで、LP分析が実行される。
CELP符号器は、12.8kHzまたは16kHzの内部サンプリングレート(SRCELP)のいずれかで動作する。したがって、6.4または8kHzのオーディオ帯域幅までの信号を直接表すことができる。WB、SWBまたはFBでこの帯域幅を超えるオーディオコンテンツに対して、CELPの周波数表現より上のオーディオコンテンツは、帯域幅拡張機構によって符号化される。
MDCTベースのTCXは、周波数ドメイン符号化のサブモードである。LPベースの符号化アプローチと同様に、TCXにおけるノイズ整形は、LPフィルタに基づいて実行される。このLPC整形は、重み付き量子化LPフィルタ係数から計算された利得ファクタをMDCTスペクトル(復号器側)に適用することにより、MDCTドメインにおいて実行される。符号器側では、レートループの前に逆利得ファクタが適用される。これは、後段ではLPC整形利得の適用と呼ばれる。TCXは、入力サンプリングレート(SRinp)に対して動作する。これは、付加的な帯域幅拡張なしに、MDCTドメインにおいて完全なスペクトルを直接符号化するために利用される。MDCT変換が実行される入力サンプリングレートSRinpは、LP係数が計算されるCELPサンプリングレートSRCELPよりも高くすることができる。したがって、LPC整形利得は、MDCTスペクトルのCELP周波数レンジ(fCELP)に対応する部分についてのみ計算することができ、スペクトルの残りの部分(もしあれば)については、最高周波数帯域の整形利得が使用される。
図2は、LPC整形利得の適用、及びMDCTベースのTCXについて、高レベルで示している。特に、図2は、符号器側における、TCXのノイズ整形および符号化、又は図1の周波数ドメイン符号化ブロック120の原理を示している。
特に、図2は符号器の概略ブロック図を示す。入力信号103はリサンプリングブロック201に入力され、ここでその信号にCELPサンプリングレートSRCELP、即ち図1のLPベースの符号化ブロック110によって必要となるサンプリングレートへのリサンプリングが実行される。さらに、LPCパラメータを計算するLPC計算部203が設けられ、ブロック205においては、図1のLPベースの符号化ブロック110によってさらに処理される信号、即ちACELPプロセッサを使用して符号化されるLPC残差信号を得るために、LPCベースの重み付けが実行される。
さらに、入力信号103は、如何なるリサンプリングなしに、MDCT変換として例示的に図示されている時間−スペクトル変換部207に入力される。さらに、ブロック209において、ブロック203によって計算されたLPCパラメータがいくつかの計算の後に適用される。特に、ブロック209は、ライン213を介してブロック203から計算され、または代替的にもしくは追加的にブロック205から計算されたLPCパラメータを受信し、次いで、対応する逆LPC整形利得を適用するために、MDCTまたは一般的にスペクトルドメイン重み係数を導出する。次に、ブロック211において、例えばグローバル利得を調整するレートループである一般的な量子化器/符号器操作が実行され、さらに、好ましくは周知のEVS符号器仕様に示されるような算術符号化を使用してスペクトル係数の量子化/符号化を実行し、ビットストリームを最終的に取得する。
SRCELPでのコアコーダとより高いサンプリングレートで動作する帯域幅拡張機構とを組み合わせる、CELP符号化手法とは対照的に、MDCTベースの符号化手法は、入力サンプリングレートSRINPで直接的に動作し、フルスペクトルのコンテンツをMDCTドメインで符号化する。
MDCTベースのTCXは、16kHzまでのオーディオコンテンツを、9.6または13.2kビット/秒SWBのような低ビットレートで符号化する。このような低いビットレートでは、スペクトル係数の小さなサブセットのみを算術符号器によって直接符号化することができるので、スペクトル内の結果として生じるギャップ(0値の領域)は、2つの機構によって隠蔽される。
−ノイズ充填であって、復号化されたスペクトルにランダムノイズを挿入する。ノイズのエネルギーは、ビットストリーム内で伝送される利得ファクタによって制御される。
−インテリジェントギャップ充填(IGF)であって、スペクトルの低い周波数部分から信号部分を挿入する。これらの挿入された周波数部分の特性は、ビットストリーム内で伝送されるパラメータによって制御される。
ノイズ充填は、最高周波数までの低周波数部分のために使用され、送信されたLPC(fCELP)によって制御可能である。この周波数よりも高い周波数では、IGFツールが使用され、このツールは挿入された周波数部分のレベルを制御するために他の機構を提供する。
どのスペクトル係数が符号化手順を生き残るか、またはノイズ充填もしくはIGFによってどれが置換されるかを決定するために、2つのメカニズムがある。
1)レートループ(Rate loop)
逆LPC整形利得を適用した後、レートループが適用される。このために、グローバル利得が推定される。その後、スペクトル係数は量子化され、量子化されたスペクトル係数は算術符号器で符号化される。算術符号器の実際の又は推定されたビット需要及び量子化誤差に基づいて、グローバル利得は増加又は減少される。これは量子化器の精度に影響する。精度が低いほど、より多くのスペクトル係数が0に量子化される。レートループの前に重み付きLPCを使用して逆LPC整形利得を適用することにより、知覚的に関係のないコンテンツよりも有意に高い確率で知覚的に関連するラインが生き残ることが保証される。
2)IGFトーンマスク(IGF Tonal mask)
LPCが利用可能でないfCELPを超えた部分では、知覚的に関連するスペクトル成分を識別するための異なる機構が使用される:ライン毎のエネルギーが、IGF領域における平均エネルギーと比較される。知覚的に関連する信号部分に対応する支配的なスペクトル線が維持され、他のすべての線は0に設定される。その後、IGFトーンマスクで前処理されたMDCTスペクトルは、レートループに供給される。
重み付きLPCは、信号のスペクトル包絡に従う。重み付きLPCを使用して逆LPC整形利得を適用することによって、スペクトルの知覚的ホワイトニングが実行される。これは、符号化ループの前に、MDCTスペクトルのダイナミックスを著しく減少させ、したがって、符号化ループ内のMDCTスペクトル係数の間のビット配分を制御する。
上述したように、重み付きLPCは、fCELPを超える周波数に対しては利用可能ではない。これらのMDCT係数に対して、fCELPよりも低い最高周波数帯域の整形利得が適用される。これが良好に機能するのはfCELPよりも低い最高周波数帯域の整形利得がfCELPよりも高い係数のエネルギーにほぼ対応する場合であり、その場合の多くはスペクトル傾斜に起因するものであり、ほとんどのオーディオ信号において観測され得る。したがって、高位帯域の整形情報が計算または送信される必要がないので、この手順は有利である。
しかし、fCELPを超える領域に強いスペクトル成分があり、fCELPより低い最高周波数帯域の整形利得が非常に低い場合、これは不整合をもたらす。この不整合は、最も高い振幅を有するスペクトル係数に焦点を当てた作業またはレートループに大きく影響する。これは、低いビットレートで、特に低帯域において、残りの信号成分を削除するであろうし、知覚的に不良な品質を生成する。
図3〜図6は、この問題を示している。図3は、逆LPC整形利得を適用する前の絶対値MDCTスペクトルを示し、図4は、対応するLPC整形利得を示す。fCELPより上側に視認できる強いピークがあり、これらピークはfCELPより低い最高ピークと同じオーダーの大きさである。fCELPより上側のスペクトル成分は、IGFトーンマスクを使用した前処理の結果である。図5は、量子化の前であって、逆LPC利得を適用した後の絶対値MDCTスペクトルを示す。ここで、fCELPより上側のピークはfCELPより下側のピークを有意に超えており、レートループが主にこれらのピークに焦点を合わせるという効果を有するであろう。図6は、低ビットレートでのレートループの結果を示す。fCELPより上側のピークを除く全てのスペクトル成分は、0に量子化されていた。これは、低周波数における聴覚心理的に非常に重要な信号部分が完全に失われているので、完全な復号化プロセスの後、知覚的に非常に悪い結果をもたらす。
図3は、逆LPC整形利得を適用する前の臨界フレーム(critical frame)のMDCTスペクトルを示す。
図4は、適用されるLPC整形利得を示す。符号器側では、スペクトルに逆利得が乗算される。最後の利得値は、fCELPより上側のすべてのMDCT係数に対して使用される。図4は右側境界にfCELPを示す。
図5は、逆LPC整形利得を適用した後の臨界フレームのMDCTスペクトルを示す。fCELPより上側の高いピークは明瞭に視認できる。
図6は、量子化後の臨界フレームのMDCTスペクトルを示している。表示されるスペクトルは、グローバル利得の適用を含むが、LPC整形利得は含んでいない。fCELPを超えるピークを除く全てのスペクトル係数は、0に量子化されていることがわかる。
[1] 3GPP TS 26.445 - Codec for Enhanced Voice Services (EVS); Detailed algorithmic description
本発明の目的は、改善されたオーディオ符号化の概念を提供することである。
この目的は、請求項1のオーディオ符号器、請求項25のオーディオ信号を符号化する方法、または請求項26のコンピュータプログラムによって達成される。
本発明は、オーディオ符号器に含まれる量子化器および符号器ステージの特異な特性に応じて、符号化すべきオーディオ信号を前処理することにより、このような従来技術の問題を解決することができるという発見に基づくものである。このために、オーディオ信号の高位周波数帯域のピークスペクトル領域が検出される。次に、低帯域の整形情報を用いて低周波帯域を整形し、低帯域の整形情報の少なくとも一部を用いて高位周波数帯域を整形する、整形部が用いられる。特に、整形部は、検出されたピークスペクトル領域内、すなわちオーディオ信号の高位周波数帯域における検出部によって検出されたピークスペクトル領域内のスペクトル値を減衰させるように追加的に構成される。次に、整形された低位周波数帯域と減衰された高位周波数帯域とが量子化され、かつエントロピー符号化される。
高位周波数帯域が選択的に、すなわち検出されたピークスペクトル領域内で減衰されていることにより、この検出されたピークスペクトル領域は、量子化器および符号器ステージの挙動をもはや十分に特徴付けることができない。
代わりに、オーディオ信号の高位周波数帯域において減衰が実行されているという事実に起因して、符号化動作の結果の全体的な知覚品質が改善される。特に低いビットレートであって、非常に低いビットレートが量子化器および符号器ステージの主な目標である場合、高位周波数帯域における高スペクトルピークは量子化器および符号器ステージによって必要とされるすべてのビットを消費しかねない。なぜなら、コーダは高い上側周波数部分に誘導され、その結果、これらの部分における利用可能なビットの大部分を使用しかねないからである。これは自動的に、知覚的により重要な低周波数レンジのための任意のビットがもはや利用可能でない状況をもたらせてしまう。したがって、このような手順は、符号化された高周波数部分のみを有し、その一方で低周波数部分は全く符号化されないか、または非常に大まかに符号化されているだけであるという信号をもたらすであろう。しかしながら、このような手順よりも知覚的に高い快適性を生む状況が判明してきた。即ち、支配的な高いスペクトル領域による問題のある状況が検出され、量子化器及びエントロピー符号器ステージを含む符号器手順を実行する前にそれらの高い周波数レンジのピークが減衰される状況である。
好ましくは、ピークスペクトル領域は、MDCTスペクトルの高位周波数帯域で検出される。しかしながら、フィルタバンク、QMFフィルタバンク、DFT、FFT、又は任意の他の時間−周波数変換など、他の時間−スペクトル変換部を使用することも可能である。
さらに、本発明は、高位周波数帯域について整形情報を算出する必要がない点で有用である。その代わり、より低い周波数帯域に対して元々計算された整形情報が、高位周波数帯域を整形するために使用される。このように、本発明は、低帯域整形情報が高帯域を形成するためにも使用され得るので、計算的に非常に効率的な符号器を提供する。なぜなら、そのような状況すなわち高位周波数帯域における高いスペクトル値からもたらされる問題は、追加的減衰によって対処されるからであり、その追加的減衰は、例えば低帯域信号についてのLPCパラメータによって特徴付けられ得る、低帯域信号のスペクトル包絡に典型的に基づいた単純な整形動作に加えて整形部によって追加的に適用される。しかし、スペクトル包絡は、スペクトルドメインにおいて整形を実行するために使用可能な任意の他の対応する尺度によって表現することもできる。
量子化器および符号器ステージは、整形された信号、すなわち整形された低帯域信号および整形された高帯域信号に対して量子化および符号化操作を実行するが、整形された高帯域信号は付加的な減衰をさらに受けている。
検出されたピークスペクトル領域における高帯域の減衰は、復号器により回復され得ない前処理動作であるが、しかし復号器の結果は、追加的減衰が適用されない状況と比較してより快適であり、その理由は、減衰によって知覚的により重要な低位周波数帯域に対してビットが残っているという事実が生じるからである。このように、ピークを有する高いスペクトル領域が全体の符号化結果を支配するという問題のある状況において、本発明は、そのようなピークを追加的に減衰させることで、最終的には、符号器は減衰された高周波数部分を有する信号を「見る」ことになり、したがって、符号化された信号が有用で知覚的に心地よい低周波数情報を依然として有している。高いスペクトル帯域に関する「犠牲」は、リスナーによって全く又は殆ど知覚されず、その理由は、リスナーが一般に信号の高周波数コンテンツの明瞭な描写を有しておらず、はるかに高い確率で低周波数成分に関する期待を有するからである。換言すると、非常に低いレベルの低周波数コンテンツを有するが、有意な高レベルの周波数コンテンツを有する信号は、典型的には不自然であると知覚される信号である。
本発明の好ましい実施形態は、ある時間フレームの線形予測係数を導出する線形予測分析部を含み、これらの線形予測係数は整形情報を表し、または整形情報はこれらの線形予測係数から導出される。
さらなる実施形態では、複数の整形ファクタが、低位周波数帯域の複数のサブバンドに対して計算され、高周波数帯域における重み付けのために、低位周波数帯域の最高のサブバンドに対して計算された整形ファクタが使用される。
さらなる実施形態では、検出部は、条件グループのうちの少なくとも一つが真である場合に、高位周波数帯域内のピークスペクトル領域を決定し、その条件グループは、少なくとも低位周波数帯域振幅条件、ピーク距離条件およびピーク振幅条件を含む。さらに好ましくは、ピークスペクトル領域は、2つの条件が同時に真である場合にのみ検出され、より好ましくは、ピークスペクトル領域は、3つの条件がすべて真である場合にのみ検出される。
さらなる実施形態では、検出部は、追加的減衰を伴うかまたは伴わない整形操作の前または後のいずれかで、条件を検査するために使用される、複数の値を決定する。
一実施形態では、整形部は、減衰ファクタを使用してスペクトル値をさらに減衰させ、この減衰ファクタは、1より大きいかまたは1に等しい所定の数で乗算され、かつ高位周波数帯域における最大スペクトル振幅によって除算された、低位周波数帯域における最大スペクトル振幅から導出される。
さらに、追加的減衰がどのように適用されるかについての具体的な方法は、いくつかの異なる方法で実施することができる。1つの方法は、検出されたピークスペクトル領域内のスペクトル値を整形するために、整形部がまず低位周波数帯域についての整形情報の少なくとも一部を使用して重み付けを実行することである。次に、その減衰情報を用いて、後続の重み付け操作が実行される。
一つの代替手順は、まず減衰情報を使用して重み付け操作を適用し、次に、低位周波数帯域についての整形情報の少なくとも一部に対応する重み情報を使用して後続の重み付けを実行することである。さらに別の代替方法は、一方で減衰から導出され、他方で低位周波数帯域に関する整形情報の一部から導出される結合重み情報を用いて、単一の重み情報を適用することである。
乗算を用いて重み付けが行われる状況では、減衰情報は減衰ファクタであり、整形情報は整形ファクタであり、実際の結合重み情報は重みファクタ、すなわち単一の重み情報についての単一の重みファクタであり、この単一の重みファクタは、減衰情報と低帯域側帯域の整形情報とを乗算することによって導出される。このように、整形部は多くの異なる方法で実装することができるが、しかし、その結果は低帯域の整形情報と追加的減衰とを使用した高周波帯域の整形である、ことは明らかである。
一実施形態では、量子化器および符号器ステージは、エントロピー符号化されたオーディオ信号の所定のビットレートが得られるように、量子化器特性を推定するためのレートループプロセッサを含む。一実施形態では、この量子化器特性は、グローバル利得、つまり全周波数レンジに適用される利得値であり、すなわち量子化及び符号化されるべき全てのスペクトル値に適用される利得値である。要求されたビットレートがあるグローバル利得を使用して得られるビットレートより低いと思われるとき、グローバル利得は増加され、実際のビットレートが要求と一致するか、すなわち要求されたビットレート以下となるか否かが決定される。この手順は、グローバル利得が符号器において量子化の前に使用されるとき、スペクトル値がグローバル利得で除算されるように実行される。しかしながら、グローバル利得が異なるように使用される場合、すなわち量子化を実行する前にスペクトル値にグローバル利得を乗算することによって使用される場合には、実際のビットレートが高すぎる場合にグローバル利得が低減されるか、または実際のビットレートが許容可能な値よりも低い場合にグローバル利得が増加され得る。
しかし、あるレートループ条件においては、他の符号器ステージ特性を使用することもできる。1つの方法は、例えば、周波数選択的利得である。さらなる手順は、要求されるビットレートに応じてオーディオ信号の帯域幅を調整することである。一般に、最終的には、要求される(典型的には低い)ビットレートに一致するビットレートが得られるように、様々な量子化器特性へ変更され得る。
好ましくは、この手順は、インテリジェント・ギャップ充填処理(IGF処理)と組み合わされるのに特に適している。この手順では、トーンマスクプロセッサは、量子化されエントロピー符号化されるべきスペクトル値の第1グループと、ギャップ充填手順によってパラメトリックに符号化されるべきスペクトル値の第2グループとを、高位周波数帯域において決定するために適用される。トーンマスクプロセッサは、スペクトル値の第2グループを0値に設定し、これらの値が量子化器/符号器ステージにおいて多くのビットを消費しないようにする。他方で、量子化及びエントロピー符号化されるべきスペクトル値の第1グループに属する典型的な値は、ある環境下において、量子化器/符号器ステージの問題状況の場合に検出され追加的に減衰され得るピークスペクトル領域内の値であるように思われる。したがって、インテリジェント・ギャップ充填フレームワーク内のトーンマスクプロセッサと、検出されたピークスペクトル領域の追加的減衰との組み合わせは、非常に効率的な符号器手順をもたらし、それはさらに、後方互換性があり、それにもかかわらず、非常に低いビットレートであっても良好な知覚的品質をもたらす。
CELPより高い周波数に適用される利得を実際のMDCTスペクトル係数に良好に適合させるために、LPCの周波数レンジを拡張する方法または他の手段を含む実施形態は、この問題に対処する潜在的解決策よりも有利である。しかしながら、この手順は、コーデックが既に市場で展開されている場合に後方互換性を打ち消し、前述の方法は既存の実施への相互運用性を打ち消す可能性がある。
次に、添付の図面を参照して本発明の好ましい実施形態を説明する。
EVSにおける共通の処理および異なる符号化スキームを示す。 符号器側のTCXにおけるノイズ整形及び符号化の原理を示す。 逆LPC整形利得の適用前の臨界フレームのMDCTスペクトルを示す。 LPC整形利得が適用された状態での図3の状況を示す。 逆LPC整形利得の適用後の臨界フレームのMDCTスペクトルを示し、fCELPより上側の高いピークは明瞭に可視である。 ハイパス情報のみを有しローパス情報を有しない量子化後の臨界フレームのMDCTスペクトルを示す。 逆LPC整形利得と本発明の符号器側前処理との適用後の臨界フレームのMDCTスペクトルを示す。 オーディオ信号を符号化するためのオーディオ符号器の好ましい実施形態を示す。 異なる周波数帯域のための異なる整形情報の計算と、高帯域のための低帯域整形情報の使用とに関する状況を示す。 オーディオ符号器の好ましい実施形態を示す。 ピークスペクトル領域を検出するための検出部の機能を説明するためのフローチャートである。 低帯域振幅条件の実装の好ましい実装例を示す。 ピーク距離条件の実装の好ましい実施形態を示す。 ピーク振幅条件の実装の好ましい実装例を示す。 量子化器および符号器ステージの好ましい実装形態を示す。 レートループプロセッサとしての量子化器および符号器ステージの動作を説明するためのフローチャートである。 好ましい実施形態における減衰ファクタを決定するための決定手順を示す。 低帯域整形情報を高位周波数帯域に適用し、整形されたスペクトル値を2つの後続のステップで追加的に減衰させる好適な実施例を示す。
図8は、低位周波数帯域および高位周波数帯域を有するオーディオ信号403を符号化するためのオーディオ符号器の好ましい実施形態を示す。オーディオ符号器は、オーディオ信号103の高位周波数帯域内のピークスペクトル領域を検出するための検出部802を備えている。さらに、オーディオ符号器は、低帯域のための整形情報を用いて低位周波数帯域を整形し、低位周波数帯域のための整形情報の少なくとも一部を使用して高位周波数帯域を整形する整形部804を含む。さらに、整形部は、高位周波数帯域において検出されたピークスペクトル領域内のスペクトル値を追加的に減衰させるように構成されている。
このように、整形部804は、低帯域のための整形情報を用いて、低帯域におけるある種の「単一整形」を実行する。さらに、整形部は、低帯域のための整形情報、および典型的には最高周波数の低帯域の整形情報を使用して、高帯域におけるある種の「単一の」整形を追加的に実行する。この「単一の」整形は、検出部802によってピークスペクトル領域が検出されていない高帯域におけるいくつかの実施形態の中で実行される。さらに、高帯域内のピークスペクトル領域に対して、一種の「二重」整形が実行され、すなわち、低帯域からの整形情報がピークスペクトル領域に適用され、さらに、追加的減衰がピークスペクトル領域に適用される。
整形部804の結果は整形された信号805である。整形された信号は、整形された低位周波数帯域と整形された高位周波数帯域とであり、整形された高位周波数帯域はピークスペクトル領域を含む。この整形された信号805は量子化器および符号器ステージ806に送られ、このステージは、整形された低位周波数帯域とピークスペクトル領域を含む整形された高位周波数帯域とを量子化し、かつ整形された低位周波数帯域とピークスペクトル領域を含む整形された高位周波数帯域とからの量子化されたスペクトル値をエントロピー符号化して、符号化されたオーディオ信号814を得るものである。
好ましくは、オーディオ符号器は、時間フレームにおけるオーディオサンプルのブロックを分析することによって、オーディオ信号の時間フレームについて線形予測係数を導出する線形予測符号化分析部808を含む。好ましくは、これらのオーディオサンプルは、低位周波数帯域に帯域制限されている。
さらに、整形部804は、図8に812で示すように、整形情報として線形予測係数を使用して、低位周波数帯域を整形するように構成される。さらに、整形部804は、オーディオ信号の時間フレームにおける高位周波数帯域を整形するために、低位周波数帯域に帯域制限されたオーディオサンプルのブロックから導出された線形予測係数の少なくとも一部を使用するように構成される。
図9に示すように、低位周波数帯域は、好ましくは、例えば4つのサブバンドSB1、SB2、SB3およびSB4のような複数のサブバンドに細分化される。さらに、概略的に図示されるように、サブバンド幅は、低位サブバンドから高位サブバンドにかけて増加する、すなわちサブバンドSB4はサブバンドSB1よりも周波数がより広い。しかし、他の実施形態では、同じ帯域幅を有する帯域も同様に使用することができる。
サブバンドSB1〜SB4は、例えばfCELPである境界周波数まで延びる。このように、境界周波数fCELPより低位のすべてのサブバンドは低帯域を構成し、境界周波数より高位の周波数コンテンツは高帯域を構成する。
特に、図8のLPC分析部808は、典型的には、各サブバンドについての整形情報を個別に計算する。このように、LPC分析部808は、好ましくは、各サブバンドが関連する各整形情報を有するように、4つのサブバンドSB1〜SB4に対して4つの異なる種類のサブバンド情報を計算する。
さらに、整形部804により各サブバンドSB1〜SB4に対し、正にこのサブバンドについて計算された整形情報を用いて整形が適用される。重要なことは、高帯域について整形が行われるが、整形情報を計算する線形予測分析部が低位周波数帯域に帯域制限された帯域制限信号を受信するという事実に起因して、高帯域についての整形情報が算出されていないという点である。しかしながら、高周波数帯域についての整形を行うために、サブバンドSB4の整形情報が高帯域を整形するために使用される。このように、整形部804は、低位周波数帯域の最も高いサブバンドについて計算された整形ファクタを使用して、高位周波数帯域のスペクトル係数を重み付けするように構成されている。図9のSB4に対応する最も高いサブバンドは、低位周波数帯域のサブバンドの全ての中心周波数のうちで最も高い中心周波数を有する。
図11は、検出部802の機能を説明するための好ましいフローチャートを示している。特に、検出部802は、あるグループの条件の少なくとも1つが真である場合に、高位周波数帯域におけるピークスペクトル領域を決定するように構成され、ここで、そのグループの条件は、低帯域振幅条件1102と、ピーク距離条件1104と、ピーク振幅条件1106とを含む。
好ましくは、異なる条件は、図11に示された正にその順序で適用される。すなわち、低帯域振幅条件1102がピーク距離条件1104の前に算出され、ピーク距離条件がピーク振幅条件1106の前に算出される。ピークスペクトル領域を検出するために3つの条件全てが真でなければならない状況では、図11における逐次的処理を適用することにより、計算効率の良い検出部が得られ、ある条件が真でない、すなわち偽である場合には即座に、ある時間フレームの検出処理を停止し、この時間フレームにおけるピークスペクトル領域の減衰が必要でないと判定される。したがって、ある時間フレームについて低帯域振幅条件1102が満たされていない、すなわち偽であると既に決定されている場合には、このコントローラは、この時間フレームにおけるピークスペクトル領域の減衰は必要ではないという決定をくだし、いかなる追加的減衰なしに処理が続く。しかし、条件1102が真であるとコントローラが判定した場合、第2の条件1104が決定される。このピーク距離条件は、ピーク振幅1106の前に再び決定され、その結果、条件1104が偽の結果をもたらす場合、ピークスペクトル領域の減衰が行われないとコントローラが判定する。ピーク距離条件1104が真の結果を有している場合にのみ、第3のピーク振幅条件1106が決定される。
他の実施形態では、多かれ少なかれ何らかの条件を決定することができ、逐次的または並列的な判定を実行することができる。しかしながら、バッテリー駆動であるモバイル用途において特に価値のある計算資源を節約するために、図11に例示的に示されている逐次的な決定が好ましい。
図12、13、14は、条件1102、1104および1106についての好ましい実施形態を提供する。
低帯域振幅条件では、ブロック1202で示されるように、低帯域における最大スペクトル振幅が決定される。この値はmax_lowである。さらに、ブロック1204では、max_highとして示される高位帯域における最大スペクトル振幅が決定される。
ブロック1206では、条件1102の偽又は真の結果を得るために、ブロック1232及び1234から決定された値が好ましくは所定数c1と一緒に処理される。好ましくは、ブロック1202および1204における条件は、低帯域整形情報を用いた整形の前、すなわち、スペクトル整形部804、又は図10に関して804aによって実行される手順の前に実行される。
ブロック1206で使用される図12の所定数c1について、16の値が好ましいが、4と30の間の値が同様に有用であることが証明されている。
図13は、ピーク距離条件の好ましい実施形態を示している。ブロック1302において、max_lowとして示される、低帯域における第1の最大スペクトル振幅が決定される。
さらに、ブロック1304に示されるように、第1のスペクトル距離が決定される。この第1のスペクトル距離はdist_lowとして示されている。特に、第1のスペクトル距離は、ブロック1302によって決定された第1の最大スペクトル振幅の、低位周波数帯域の中心周波数と高位周波数帯域の中心周波数との間の境界周波数からの距離である。好ましくは、境界周波数はf_celpであるが、この周波数は、先に概説したような任意の他の値を有することができる。
さらに、ブロック1306は、max_highと呼ばれる高位帯域内の第2の最大スペクトル振幅を決定する。さらに、第2のスペクトル距離1308が決定され、dist_highとして示される。境界周波数からの第2の最大スペクトル振幅の第2のスペクトル距離は、好ましくは、境界周波数としてf_celpを用いて再度決定されるのが好ましい。
さらに、ブロック1310では、第1のスペクトル距離によって重み付けされ、かつ1より大きい所定数によって重み付けされた第1の最大スペクトル振幅が、第2のスペクトル距離によって重み付けされた第2の最大スペクトル振幅より大きいとき、ピーク距離条件が真であるかどうか、が判定される。
好ましくは、所定の数c2は、最も好ましい実施形態では4に等しい。1.5〜8の値が有用であることが証明されている。
好ましくは、ブロック1302および1306における決定は、低帯域整形情報を用いた整形の後、すなわちブロック804aに続いて実行されるが、勿論図10のブロック804bの前に実行される。
図14は、ピーク振幅条件の好ましい実装形態を示す。特に、ブロック1402は低位帯域における第1の最大スペクトル振幅を決定し、ブロック1404は高位帯域における第2の最大スペクトル振幅を決定し、ここで、ブロック1402の結果がmax_low2として示され、ブロック1404の結果がmax_highとして示される。
次に、ブロック1406で示すように、第2の最大スペクトル振幅が1以上の所定数c3によって重み付けされた第1の最大スペクトル振幅より大きい場合には、ピーク振幅条件は真である。c3は、好ましくは、異なるレートに依存して1.5の値又は3の値に設定されるが、一般に、1.0と5.0の間の値が有用であることが証明されている。
さらに、図14に示されるように、ブロック1402、1404での判定は、低帯域整形情報を用いた整形の後に行われ、すなわちブロック804aに示された処理の後で、かつブロック804bに示された処理の前に行われ、または図17に関して言えば、ブロック1702の後でブロック1704の前に行われる。
他の実施形態では、ピーク振幅条件1106、特に図14のブロック1402の手順は、低位周波数帯域の最小値、すなわちスペクトルの最低周波数値から決定されないが、低帯域における第1の最大スペクトル振幅の決定は低帯域の一部に基づいて決定され、その一部は、所定の開始周波数から低位周波数帯域の最大周波数まで延びており、所定の開始周波数は、低位周波数帯域の最小周波数よりも大きい。一実施形態では、所定の開始周波数は、低位周波数帯域の最小周波数よりも上側の低位周波数帯域の少なくとも10%であるか、または他の実施形態では、所定の開始周波数は、最大周波数の半分の±10%の許容範囲内で、低位周波数帯域の最大周波数の半分に等しい周波数である。
さらに、第3の所定数c3は、量子化器/符号器ステージによって提供されるビットレートに依存するのが好ましく、所定数は高いビットレートに対してより高いことが好ましい。換言すると、量子化器および符号器ステージ806によって提供されるべきビットレートが高い場合、c3は高く、ビットレートが低いと決定された場合、所定数c3は低い。ブロック1406における好ましい式を考慮した場合、所定数c3が高くなる程、ピークスペクトル領域がより稀に決定されることが明らかになる。しかし、c3が小さい場合には、最終的に減衰されるべきスペクトル値が存在するピークスペクトル領域がより頻繁に決定される。
ブロック1202、1204、1402、1404または1302および1306は、スペクトル振幅を常に決定する。スペクトル振幅は様々に決定することができる。スペクトル包絡の決定の1つの方法は、実数スペクトルのスペクトル値の絶対値を決定することである。代替的に、スペクトル振幅は、複素スペクトル値の大きさであってもよい。他の実施形態では、スペクトル振幅は、実数スペクトルのスペクトル値の任意の羃であるか、または複素スペクトルの大きさの任意の羃であり、その羃は1より大きい。好ましくは、羃は整数であるが、1.5または2.5の羃がさらに有用であることが証明されている。しかしながら、好ましくは2または3の羃がよい。
一般に、整形部804は、高位周波数帯域における最大スペクトル振幅および/または低位周波数帯域における最大スペクトル振幅に基づいて、検出されたピークスペクトル領域内の少なくとも1つのスペクトル値を減衰させるように構成される。他の実施形態では、整形部は、低位周波数帯域の一部における最大スペクトル振幅を決定するように構成され、この一部は、低位周波数帯域の所定の開始周波数から低位周波数帯域の最大周波数まで延びている。所定の開始周波数は、低位周波数帯域の最小周波数よりも大きく、好ましくは、低位周波数帯域の最小周波数よりも高い低位周波数帯域の少なくとも10%であるか、または所定の開始周波数は、最大周波数の半分の±10%以内の許容範囲内で、低位周波数帯域の最大周波数の半分に等しい周波数であることが好ましい。
整形部はさらに、追加的減衰を決定する減衰ファクタを決定するように構成され、ここで減衰ファクタは、1以上の所定数が乗算され、かつ高位周波数帯域における最大スペクトル振幅で除算された、低位周波数帯域における最大スペクトル振幅から導出される。このために、低帯域における最大スペクトル振幅の決定(好ましくは整形後、すなわち図10のブロック804aの後、または図17のブロック1702の後)を示すブロック1602が参照される。
さらに、整形部は、やはり好ましくは、例えば図10のブロック804a、又は図17のブロック1702によって実行される整形の後に、高帯域における最大スペクトル振幅を決定するように構成される。次に、ブロック1606において、減衰ファクタfacが図示されるように計算され、ここで所定数c3は1以上に設定される。実施形態において、図16のc3は、図14の場合と同じ所定数c3である。しかしながら、他の実施形態では、図16のc3は、図14のc3とは異なるように設定することができる。さらに、減衰ファクタに直接影響を及ぼす図16のc3はビットレートにも依存するので、図8に示される量子化器/符号器ステージ806によって実行されるように、より高いビットレートに対してより高い所定数c3を設定することができる。
図17は、図10において、ブロック804a及び804bで示されたものと同様の好ましい実装例を示している。すなわち、fcelpのような境界周波数より上側のスペクトル値に対して低帯域利得情報を用いた整形が適用され、境界周波数より上側の整形されたスペクトル値が取得され、さらに次のステップ1704において、図16のブロック1606により計算された減衰ファクタfacが図17のブロック1704に適用される。このように、図17及び図10は、整形部が、低位周波数帯域に関する整形情報の一部を使用する第1の重み付け動作と、減衰情報、すなわち例示的な減衰ファクタfacを使用する第2の後続の重み付け動作とに基づいて、検出されたスペクトル領域内でスペクトル値を整形するように構成される状況を示す。
しかしながら、他の実施形態では、図17におけるステップの順序は逆転され、そのため、第1の重み付け動作が減衰情報を使用して実行され、第2の後続の重み情報は、低位周波数帯域についての整形情報の少なくとも一部を使用して実行される。又は代替的に、一方では減衰情報に、他方では低位周波数帯域についての整形情報の少なくとも一部に、依存しかつそれから導出される、結合重み情報を使用した単一の重み付け操作を用いて整形が実行される。
図17に示すように、追加の減衰情報は、検出されたピークスペクトル領域内の全てのスペクトル値に適用される。代替的に、減衰ファクタは、例えば、最も高いスペクトル値または最も高いスペクトル値のグループにのみ適用され、そのグループのメンバーは、例えば2〜10の範囲であってもよい。さらに、実施形態はまた、オーディオ信号の時間フレームのために、ピークスペクトル領域が検出部によって検出されていた高位周波数帯域内の全てのスペクトル値に減衰ファクタを適用する。したがって、この実施形態では、ピークスペクトル領域として単一のスペクトル値のみが決定された場合に、同じ減衰ファクタが高位周波数帯域全体に適用される。
あるフレームについて、ピークスペクトル領域が検出されなかった場合、次に低位周波数帯域および高位周波数帯域は、整形部によって追加的減衰なしに整形される。このとき、時間フレームから時間フレームへの切り替えが実行され、ここでは、実装に応じて、減衰情報のある種の平滑化を行うことが好ましい。
好ましくは、量子化器および符号器ステージは、図15aおよび15bに示されるように、レートループプロセッサを含む。一実施形態では、量子化器および符号器ステージ806は、グローバル利得重み付け部1502、量子化器1504、および算術符号器またはハフマン符号器などのエントロピー符号器1506を備える。さらに、エントロピー符号器1506は、時間フレームの量子化値のあるセットに対して、推定されまたは測定されたビットレートをコントローラ1508へ供給する。
コントローラ1508は、一方でループ終了基準を受信し、および/または他方で所定のビットレート情報を受信するように構成される。コントローラ1508が、所定のビットレートが得られない、および/または終了基準が満たされないと判定すると直ちに、コントローラは、調整済みのグローバル利得をグローバル利得重み付け部1502へ提供する。次に、グローバル利得重み付け部は、調整済のグローバル利得を、時間フレームの整形されかつ減衰されたスペクトル線に適用する。ブロック1502から出力される重み付けられたグローバル利得は量子化器1504へ供給され、量子化結果はエントロピー符号器1506へ供給され、このエントロピー符号器は調整済みのグローバル利得で重み付けされたデータに関する推定又は測定ビットレートを再度決定する。終了基準が満たされ、及び/又は所定のビットレートが満たされた場合、次に符号化されたオーディオ信号は出力ライン814で出力される。しかし、所定のビットレートが得られない、または終了基準が満たされない場合には、そのループは再び開始する。これは、図15bにさらに詳細に示されている。
ブロック1510に示すように、ビットレートが高過ぎるとコントローラ1508が判断すると、ブロック1512に示すように、グローバル利得が増加する。したがって、全ての整形されかつ減衰されたスペクトル線は、増大されたグローバル利得で除算されるので、より小さくなり、次に量子化器がより小さいスペクトル値を量子化し、その結果、エントロピー符号器は、この時間フレームに対してより少数の必要なビットをもたらす。したがって、重み付け、量子化および符号化の手順は、図15bのブロック1514で示されるように、調整済みのグローバル利得を用いて実行され、次にビットレートが高過ぎるかどうかが再度決定される。ビットレートが依然として高過ぎる場合、再度ブロック1512および1514が実行される。しかしながら、ビットレートが高過ぎないと判定された場合には、制御は終了基準が満たされているか否かを判定するステップ1516へと進む。終了基準が満たされると、レートループは停止され、最終的なグローバル利得は、図10の出力インタフェース1014のような出力インタフェースを介して符号化された信号に追加的に導入される。
しかしながら、終了基準が満たされていないと判定された場合、ブロック1518に示すように、グローバル利得が減少され、最終的には、許容される最大ビットレートが使用される。これは、符号化が容易である時間フレームがより高い精度で、すなわち損失の少ない状態で符号化されることを保証する。したがって、このような場合、グローバル利得はブロック1518に示されるように減少され、ステップ1514はこの減少されたグローバル利得を用いて実行され、ステップ1510は結果としてのビットレートが高過ぎるか否かを調べるために実行される。
当然ながら、グローバル利得増加または減少の増分(increment)に関する特異な実装は、必要に応じて設定することができる。加えて、コントローラ1508は、ブロック1510、1512および1514を有するか、またはブロック1510、1516、1518および1514を有するかのいずれかで実装することができる。このように、実装に依存して、またグローバル利得の開始値に依存して、この手順は、非常に高いグローバル利得から開始して、ビットレート要件を依然として満たす最低のグローバル利得が見つかるまで開始されるようなものであり得る。一方、この手順は、非常に低いグローバル利得から開始され、許容ビットレートが得られるまでグローバル利得が増加されるような方法で行うことができる。さらに、図15bに示すように、両方の手順間の組合せであっても適用することができる。
図10は、切り替え型の時間ドメイン/周波数ドメインの符号器設定内への、ブロック802、804a、804b、806からなる本発明のオーディオ符号器の埋め込みを示す。
特に、オーディオ符号器は共通プロセッサを含む。共通プロセッサは、ACELP/TCXコントローラ1004と、リサンプラ1006のような帯域制限部と、LPC分析部808とからなる。これは、1002で示されるハッチングされたボックスによって図示されている。
さらに、帯域制限部は、図8に関して既に説明したLPC分析部へと供給する。次に、LPC分析部808により生成されたLPC整形情報はCELPコーダ1008に送られ、CELPコーダ1008の出力は最終的に符号化された信号1020を生成する出力インタフェース1014に入力される。さらに、コーダ1008からなる時間ドメイン符号化ブランチは、時間ドメイン帯域幅拡張コーダ1010を追加的に含み、この帯域幅拡張コーダは、情報、及び典型的には、入力1001において入力された全帯域オーディオ信号の少なくとも高帯域についてのスペクトル包絡情報のようなパラメトリック情報を提供する。好ましくは、時間ドメイン帯域幅拡張コーダ1010によって処理された高帯域は、帯域制限部1006によっても使用される境界周波数で始まる帯域である。このように、帯域制限部は低帯域を得るためにローパスフィルタリングを実行し、ローパス帯域制限部1006によってフィルタ除去された高帯域は、時間ドメイン帯域幅拡張コーダ1010によって処理される。
他方、スペクトルドメインまたはTCX符号化ブランチは、時間−スペクトル変換部1012と、例えばギャップ充填符号器処理を得るために前述したようなトーンマスクとを含む。
次に、時間−スペクトル変換部1012と追加的な任意のトーンマスク処理との結果がスペクトル整形部804aに入力され、スペクトル整形部804aの結果は減衰部804bに入力される。減衰部804bは、時間ドメインデータ、または1022に示されるように時間−スペクトル変換ブロック1012の出力のいずれかを使用して検出を実行する、検出部802によって制御される。ブロック804aおよび804bは共に、前述したように図8の整形部804を構成する。ブロック804の結果は、量子化器および符号器ステージ806に入力され、ある実施形態では、そのステージは所定のビットレートによって制御される。さらに、検出部によって適用される所定数も所定のビットレートに依存する場合、その所定のビットレートは検出部802(図10には図示せず)にも入力される。
このように、符号化された信号1020は、量子化器および符号器ステージからのデータと、コントローラ1004からの制御情報と、CELPコーダ1008からの情報と、時間ドメイン帯域幅拡張コーダ1010からの情報とを受け取る。
次に、本発明の好ましい実施の形態について、さらに詳細に説明する。
既存の実装に対する相互運用性および後方互換性を守る選択肢は、符号器側の前処理を実行することである。そのアルゴリズムは、後に説明するように、MDCTスペクトルを分析する。fCELPより下側に有意な信号成分が存在し、レートループにおける完全なスペクトルの符号化を潜在的に破壊するような高いピークがfCELPより上側に見出される場合、fCELPより上側のこれらピークは減衰される。その減衰は復号器側で回復され得ないが、結果として得られる復号化信号は、スペクトルの大部分が完全にゼロ化された従来よりも知覚的に有意に快適である。
減衰は、fCELPより上側のピークにレートループが集中することを抑制し、有意な低周波MDCT係数がレートループ後に存続することを可能にする。
以下のアルゴリズムは、符号器側の前処理を記述している。
1)低帯域コンテンツの検出(例えば1102)
低帯域コンテンツの検出は、有意な低帯域信号部分が存在するかどうかを分析する。このために、逆LPC整形利得の適用前に、MDCTスペクトル上で、fCELPの下側および上側のMDCTスペクトルの最大振幅が探索される。検索手順は、以下の値をリターンする。
a)max_low_pre:逆LPC整形利得の適用前に絶対値のスペクトル上で評価された、fCELPより下側の最大MDCT係数。
b)max_high_pre:逆LPC整形利得の適用前に絶対値のスペクトル上で評価された、fCELPより上側の最大MDCT係数。判定のために、以下の条件が評価される。
条件1:c1*max_low_pre>max_high_pre。
条件1が真である場合、かなりの量の低帯域コンテンツが想定され、前処理が継続される。条件1が偽である場合、前処理が中止される。これは、例えば、fCELPより上側の正弦波掃引(sine-sweep)などの高帯域のみの信号に対して、損傷を与えないことを保証する。
擬似コード:
Figure 2019514065
ここで、XMは、逆LPC利得整形を適用する前のMDCTスペクトルであり、LTCX (CELP)は、fCELPまでのMDCT係数の数であり、LTCX (BW)は、フルMDCTスペクトルについてのMDCT係数の数である。一実施例では、c1は16に設定され、fabsは絶対値をリターンする。
2)ピーク距離メトリックの評価(例えば1104)
ピーク距離メトリックは、fCELPより上側のスペクトルピークの算術符号器への影響を分析する。したがって、逆LPC整形利得の適用後、すなわち算術符号器が適用されるドメインにおいて、fCELPより下側および上側のMDCTスペクトルの最大振幅が、MDCTスペクトル上で探索される。最大振幅に加えて、fCELPからの距離も評価される。検索手順は、以下の値をリターンする。
a)max_low:逆LPC整形利得の適用後に絶対値のスペクトル上で評価された、fCELPより下側の最大MDCT係数
b)dist_low: fCELPからのmax_lowの距離
c)max_high:逆LPC整形利得の適用後に絶対値のスペクトル上で評価された、fCELPより上側の最大MDCT係数
d)dist_high: fCELPからのmax_highの距離
判定のために、以下の条件が評価される。
条件2:c2*dist_high*max_high>dist_low*max_low
条件2が真である場合、非常に高いスペクトルピークまたはこのピークの高周波数のいずれかに起因して、算術符号器に対して有意なストレスが想定される。高いピークは、レートループにおける符号化プロセスを支配することになり、高周波数は算術符号器を不利にするであろう。なぜなら、算術符号器は常に低周波数から高周波数へと作動する、すなわち、高周波数は符号化に非効率的だからである。条件2が真である場合、前処理は継続される。条件2が偽である場合には、前処理は中止される。
Figure 2019514065
ここで、
Figure 2019514065
は、逆LPC利得整形を適用した後のMDCTスペクトルであり、LTCX (CELP)は、fCELPまでのMDCT係数の数であり、LTCX (BW)は、フルMDCTスペクトルのためのMDCT係数の数である。一実施例では、c2は4に設定される。
3)ピーク振幅の比較(例えば1106)
最後に、心理音響的に類似したスペクトル領域におけるピーク振幅が比較される。したがって、逆LPC整形利得の適用後、MDCTスペクトル上で、fCELPより下側および上側のMDCTスペクトルの最大振幅が探索される。fCELPより下側のMDCTスペクトルの最大振幅は、フルスペクトルについて探索されず、flow>0Hzで開始するだけである。これは、心理音響的に最も重要でありかつ逆LPC整形利得の適用後に通常最も高い振幅を有する、最も低い周波数を破棄するためであり、同様の心理音響的重要性を有する成分同士を単に比較するためである。探索手順は、以下の値をリターンする。
a)max_low2:flowから始まる逆LPC整形利得の適用後に、絶対値のスペクトル上で評価された、fCELPより下側の最大MDCT係数
b)max_high:逆LPC整形利得の適用後に、絶対値のスペクトル上で評価された、fCELPより上側の最大MDCT係数
判定のために、以下の条件が評価される。
条件3:max_high>c3*max_low2
条件3が真である場合、fCELPより上側のスペクトル係数が想定され、それはfCELPの直ぐ下側よりも有意に高い振幅を有し、符号化のためにコストがかかると想定される。定数c3は、チューニングパラメータである最大利得を定義する。条件2が真である場合、前処理は継続される。条件2が偽である場合には、前処理は中止される。
擬似コード:
Figure 2019514065
ここで、Llowは、flowに対応するオフセットであり、XMは、逆LPC利得整形を適用した後のMDCTスペクトルであり、LTCX (CELP)は、fCELPまでのMDCT係数の数であり、LTCX (BW)は、フルMDCTスペクトルについてのMDCT係数の数である。一実施例の実装では、flowは、LTCX (CELP)/2に設定される。例示的な実施例では、c3は、低ビットレートに対しては1.5に設定され、高ビットレートに対しては3.0に設定される。
4)fCELPより上側の高いピークの減衰(例えば、図16および図17)
条件1−3が真であることが判明した場合、fCELPより上側のピークの減衰が適用される。この減衰は、心理音響的に類似したスペクトル領域と比較して、最大利得c3を可能にする。減衰ファクタは、以下のように計算される。
減衰ファクタ=c3*max_low2/max_high
その後、減衰ファクタは、fCELPより上側のすべてのMDCT係数に適用される。
5)擬似コード:
Figure 2019514065
ここで、XMは、逆LPC利得整形を適用した後のMDCTスペクトルであり、LTCX (CELP)は、fCELPまでのMDCT係数の数であり、LTCX (BW)は、フルMDCTスペクトルについてのMDCT係数の数である。
符号器側の前処理は、fCELPより上側の関連するスペクトル係数を依然として維持しながら、符号化ループに係るストレスを大幅に低減する。
図7は、逆LPC整形利得および上述した符号器側前処理の適用後の臨界フレームのMDCTスペクトルを示している。c1、c2およびc3に対して選択された数値に依存して、次にレートループに入力される、結果的に得られるスペクトルは、上記のように見え得る。それらは有意に低減されているが、利用可能なすべてのビットを消費することなく、依然としてレートループ後に存続する可能性が高い。
いくつかの態様が装置に関して説明されてきたが、これらの態様は、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明を表すことは明らかである。同様に、方法ステップの文脈において説明される態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって実行される(または使用される)ことが可能である。いくつかの実施形態では、最も重要な方法ステップのうちの一つまたは複数は、そのような装置によって実行されてもよい。
本発明の符号化オーディオ信号は、デジタル記憶媒体に格納することができ、又は無線伝送媒体又はインターネットのような有線伝送媒体のような伝送媒体上で伝送することができる。
特定の実施要件に応じて、本発明の実施形態は、ハードウェアで実施されてもよいし、ソフトウェアで実施されてもよい。この実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することが可能な)電子的に読み取り可能な制御信号を記憶する、非一時的な記憶媒体、またはデジタル記憶媒体、例えばフレキシブルディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。
本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの一つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般に、本発明の実施形態は、コンピュータプログラムプロダクトとして実装することができ、プログラムコードは、コンピュータプログラムプロダクトがコンピュータ上で実行されるときに、そのメソッドの一つを実行するように動作するプログラムコードを有する。プログラムコードは、例えば、機械読み取り可能なキャリアに格納されてもよい。
他の実施形態は、機械可読キャリアに格納された、本明細書に記載された方法のうちの一つを実行するためのコンピュータプログラムを含む。
言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載された方法の一つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の一つを実行するためのコンピュータプログラムを、その上に記録されたデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録された媒体は、一般的に有形および/または非移行性である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の一つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは信号シーケンスは、例えば、インターネットを介して、データ通信接続を介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書で説明される方法の一つを実行するように構成されるかまたは適合されるように構成された、例えば、コンピュータなどの処理手段、またはプログラム可能な論理デバイスを含む。
さらなる実施形態は、本明細書に記載される方法の一つを実行するためのコンピュータプログラムをその上にインストールされたコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載される方法の一つを実行するためのコンピュータプログラムを受信器に転送(例えば、電子的または光学的に)するための装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、メモリ機器などであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
いくつかの実施形態において、プログラム可能な論理デバイス(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載されている方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明される方法のうちの一つを実行するためにマイクロプロセッサと協働することができる。一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装することができる。
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装されてもよい。
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組み合わせを使用して実行され得る。
本明細書に記載される方法、または本明細書に記載される装置の任意の構成要素は、ハードウェアによって、および/またはソフトウェアによって、少なくとも部分的に実行され得る。
上述した実施形態は、本発明の原理を説明するためのものである。本明細書中に記載される配置および詳細の変更および変形は、当業者には明らかであることが理解される。従って、本明細書の実施形態の説明および説明によって提示される特定の詳細によるものではなく、当該特許請求の範囲によってのみ限定されることが意図される。
上記の説明では、開示を合理化するために、様々な特徴が、実施形態において一緒にグループ化されることがわかる。本開示の方法は、特許請求の範囲に記載された実施形態が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、本発明の主題は、開示された単一の実施形態のすべての特徴よりも少ないものであってもよい。したがって、以下の特許請求の範囲は、詳細な説明に組み込まれ、各特許請求の範囲は、別個の実施形態として自立してもよい。各請求項は別個の実施形態として自立してもよいが、従属請求項は、特許請求の範囲において、一つ以上の他の請求項との特定の組み合わせを指してもよいが、他の実施形態は、従属請求項と各他の従属請求項の主題との組み合わせ、または各特徴と他の従属請求項または独立請求項との組み合わせを含んでもよいことに留意すべきである。特定の組み合わせが意図されていないと述べられていない限り、このような組み合わせは本明細書で提案されている。さらに、本特許請求の範囲が独立請求項に直接依存しない場合でも、ある請求項の特徴を任意の他の独立請求項に含めることも意図されている。
本明細書又は特許請求の範囲に開示されている方法は、これらの方法の各ステップの各々を実行する手段を有するデバイスによって実施されてもよいことに留意されたい。
さらに、いくつかの実施形態では、単一のステップは、複数のサブステップを含むか、または複数のサブステップに分割されてもよい。このようなサブステップは、明示的に除外されない限り、この単一ステップの開示に含まれてもよく、その一部であってもよい。
[付録]
次に、上記標準リリース13(Enhanced Voice Services(高性能ボイスサービス:EVS)用の3GPP TS26.445−コーデック、詳細なアルゴリズムの記述)の一部を示す。セクション5.3.3.2.3は整形部の好ましい実施形態を説明し、セクション5.3.3.2.7は量子化器および符号器ステージからの量子化器の好ましい実施形態を説明し、セクション5.3.3.2.8は量子化器および符号器ステージにおける符号器の好ましい実施形態における算術符号器を説明し、ここで、定ビットレートおよびグローバル利得に関する好ましいレートループはセクション5.3.2.8.1.2に記載されている。好ましい実施形態のIGFの特徴は、セクション5.3.3.2.11に記載されており、ここでは、セクション5.3.3.2.11.5.1のIGFトーンマスク計算に対して具体的な言及がなされる。標準の他の部分は、参照により本明細書中に援用される。
5.3.3.2.3 MDCTドメインにおけるLPC整形
5.3.3.2.3.1 一般原理
LPC整形は、重み付き量子化LPフィルタ係数から計算された利得ファクタをMDCTスペクトルに適用することによって、MDCTドメインにおいて実行される。MDCT変換が基礎とする入力サンプリングレートsrinpは、LP係数が計算されるCELPサンプリングレートsrcelpよりも高くなり得る。したがって、LPC整形利得は、MDCTスペクトルのCELP周波数範囲に対応する部分についてのみ計算されてもよい。スペクトルの残りの部分(もしあれば)については、最も高い周波数帯域の整形利得が使用される。
5.3.3.2.3.2 LPC整形利得の計算
64個のLPC整形利得を計算するために、重み付きLPフィルタ係数
Figure 2019514065
は、長さ128の奇数スタッキングDFTを使用して、まず周波数ドメインに変換される。
Figure 2019514065
次に、LPC整形利得gLPCがXLPCの逆数の絶対値として計算される。
Figure 2019514065
5.3.3.2.3.3 LPC整形利得をMDCTスペクトルに適用
CELP周波数範囲に対応するMDCT係数XMは、64個のサブバンドにグループ化される。各サブバンドの係数は、整形スペクトル
Figure 2019514065
を得るために、対応するLPC整形利得の逆数で乗算される。CELP周波数範囲
Figure 2019514065
に対応するMDCTビンの数が64の倍数ではない場合、サブバンドの幅は、以下の擬似コードによって定義されるように、1ビンずつ変化する。
Figure 2019514065
CELP周波数範囲より上側の残りのMDCT係数(もしあれば)は、最後のLPC整形利得の逆数で乗算される。
Figure 2019514065
5.3.3.2.4 適応型低周波エンファシス
5.3.3.2.4.1 一般原理
適応型の低周波エンファシスおよびデ・エンファシス(ALFE)処理の目的は、低周波数における周波数ドメインTCXコーデックの主観的性能を向上させることである。この目的のために、低周波MDCTスペクトル線は、符号器内での量子化の前に増幅され、それによりそれらの量子化SNRが増加する。このブーストは、増幅アーチファクトを防止するために、内部及び外部の復号器における逆MDCT処理の前に取り消される。
算術符号化アルゴリズムとビットレートとの選択に基づいて、符号器および復号器において一貫して選択される2つの異なるALFEアルゴリズムがある。ALFEアルゴリズム1は、9.6kbps(包絡ベース算術符号器)および48kbps以上(コンテキストベース算術符号器)で使用される。ALFEアルゴリズム2は、13.2から32kbps以下まで使用される。符号器において、ALFEは、各MDCT量子化の直前(アルゴリズム1)又は直後(アルゴリズム2)に、ベクトルx[]内のスペクトル線に対して動作する。これは、コンテキストベース算術符号器の場合、レートループ内で複数回実行される(サブ条項5.3.3.2.8.1を参照)。
5.3.3.2.4.2 適応型エンファシスアルゴリズム1
ALFEアルゴリズム1は、LPC周波数帯域利得lpcGains[]に基づいて動作する。最初に、利得指数0〜8のループ内で実行される比較演算を使用して、最初の9個の利得の最小値および最大値、すなわち低周波数(LF)利得が発見される。
次いで、最小値と最大値との比が1/32の閾値を超える場合、1番目のライン(DC)が(32min/max)0.25で増幅され、33番目のラインが増幅されないように、xにおける最も低いラインの漸進的なブーストが実行される。
Figure 2019514065
5.3.3.2.4.3 適応型エンファシスアルゴリズム2
ALFEアルゴリズム2は、アルゴリズム1とは異なり、送信されたLPC利得に基づいて動作するのではなく、量子化された低周波(LF)MDCTラインへの修正によって信号化される。この手順は、5つの連続するステップに分けられる。
・ステップ1:最初に、低いスペクトル四半分
Figure 2019514065
内のインデックスi_maxにおける第1の振幅最大値を、invGain=2/gTCXを利用して発見し、その最大値を修正する:
xq[i_max] +=(xq[i_max]<0) ? −2 : 2
・ステップ2:次に、量子化を記述するサブ条項内と同様に、k=0…i_max−1の全てのラインを再量子化することによって、i_maxまでの全てのx[i]の値範囲を圧縮する。ただし、この場合、gTCXの代わりにinvGainをグローバル利得ファクタとして使用する。
・ステップ3:i_max>−1である場合には、半分の高さとなる、
Figure 2019514065
よりも小さな第1の振幅最大値をinvGain=4/gTCXを使用して発見し、その最大値を修正する:
xq[i_max] += (xq[i_max] < 0) ? −2 : 2
・ステップ4:ステップ2のように、前のステップで発見された半分の高さi_maxまで全てのx[i]を再圧縮および量子化する。
・ステップ5:ステップ1で見出された最初のi_maxが−1より大きい場合には再びinvGain=2/gTCXを利用し、その他の場合にはinvGain=4/gTCXを利用して、発見された最後のi_maxにおける2つのライン、すなわちk=i_max+1及びi_max+2における2つのラインを終了し、常に圧縮する。全てのi_maxは−1に初期化される。詳細については、tcx_utils_enc.cにおけるAdaptLowFreqEmph()を参照されたい。
5.3.3.2.5 パワースペクトルのスペクトルノイズ尺度
TXC符号化プロセスにおける量子化のガイダンスのために、0(調性)と1(ノイズ状)との間のノイズ尺度が、ある特定周波数より上側の各MDCTスペクトル線に対し、現在の変換パワースペクトルに基づいて決定される。パワースペクトルXp(k)は、同じ時間ドメイン信号セグメント上のMDCT係数XM(k)とMDST係数XS(k)とから、同じ窓掛け操作を用いて計算される。
Figure 2019514065
次に、noiseFlags(k)における各ノイズ尺度が以下のように計算される。まず、(例えばTCX遷移変換の後にACELPフレームが続くなど)変換長が変化した場合、または(例えばより短い変換長が最後のフレームにおいて使用された場合など)前のフレームがTCX20符号化を使用しなかった場合、
Figure 2019514065
までの全てのnoiseFlags(k)が0にリセットされる。ノイズ尺度開始ラインkstartは、以下の表1に従って初期化される。
Figure 2019514065
ACELPからTCXへの遷移に関しては、kstartは1.25でスケーリングされる。次に、ノイズ尺度開始ラインkstart
Figure 2019514065
未満である場合、kstart以上におけるnoiseFlags(k)はパワースペクトルラインの累計から帰納的に導出される。
Figure 2019514065
Figure 2019514065
さらに、上記ループにおいてnoiseFlags(k)が0に設定される度に、変数lastToneはkに設定される。s(k)はそれ以上更新できないので、上側の7つのラインは別々に処理される(しかし、c(k)は上記のように計算される)。
Figure 2019514065
Figure 2019514065
における上限ラインはノイズ状であると定義され、したがって
Figure 2019514065
である。最後に、上記の変数lastTone(0に初期化された)が0より大きい場合には、noiseFlags(lastTone+1)=0となる。この手順は、TCX20においてのみ実行され、他のTCXモードでは実行されないことに留意されたい。
Figure 2019514065
5.3.3.2.6 ローパス係数検出部
ローパス係数clpfは、32.0kbps未満のすべてのビットレートに対してパワースペクトルに基づいて決定される。したがって、パワースペクトルXp(k)は、すべての
Figure 2019514065
について、閾値tlpfに対して反復的に比較される。ここで、正則MDCT窓についてはtlpf=32.0であり、ACELPからMDCTへの遷移窓についてはtlpf=64.0である。この反復は、Xp(k)>tlpfになれば直ちに停止する。
ローパス係数clpfは、
Figure 2019514065
と決定し、ここで、clpf,prevは最後に決定されたローパス係数である。符号器の起動時には、clpf,prevは1.0に設定される。ローパス係数clpfは、ノイズ充填停止ビンを決定するために使用される(サブ条項5.3.3.2.10.2を参照のこと)。
5.3.3.2.7 適応型デッドゾーンを用いた均一量子化器
ALFEの後またはその前に(適用されたエンファシスアルゴリズムに依存して、サブ条項5.3.3.2.4.1を参照)MDCTスペクトル
Figure 2019514065
を均一に量子化するため、係数は、量子化のステップサイズを制御するグローバルゲインgTCX(サブ条項5.3.3.2.8.1.1を参照)によって最初に除算される。その結果は次に、(gTCXに対して相対的な)係数の大きさと(サブ条項5.3.3.2.5においてnoiseFlags(k)によって定義されるような)トーナリティとに基づいて各係数に対して適合された丸めオフセットを用いて、0に向かって丸められる。低いトーナリティと大きさとを有する高周波スペクトル線については、0の丸めオフセットが使用されるのに対し、他の全てのスペクトル線については、0.375のオフセットが使用される。より具体的には、以下のアルゴリズムが実行される。
インデックス
Figure 2019514065
における最も高い符号化済みMDCT係数から出発して、条件
Figure 2019514065
が成立する限り、
Figure 2019514065
を設定し、kを1だけ減分する。次に、この条件が満たされない(これはnoiseFlags(0)=0により保証される)インデックスk‘≧0にある第1のラインから下流側について、0.375の丸めオフセットを用いて0に向かって丸め操作を行い、得られた整数値を−32768から32767の範囲に制限する。
Figure 2019514065
ここで、k=0…k‘である。最後に、
Figure 2019514065
以上である
Figure 2019514065
の全ての量子化された係数はゼロに設定される。
5.3.3.2.8 算術符号器
量子化されたスペクトル係数は、エントロピー符号化によって、より具体的には算術符号化によって、ノイズなしに符号化される。
算術符号化は、そのコードを計算するために14ビット精度確率(precision probabilities)を使用する。アルファベット確率分布は、種々の方法で導出することができる。低いレートでは、LPC包絡から導出されるが、高いレートでは、それは過去のコンテキストから導出される。どちらの場合も、確率モデルを精緻化するために、高調波モデルを追加することができる。
以下の擬似コードは、確率モデルに関連付けられた任意のシンボルを符号化するために使用される算術符号化ルーチンを記述する。確率モデルは、累積度数テーブル(cumulative frequency table)cum_freq[]で表される。確率モデルの導出は以下のサブ条項に記載されている。
Figure 2019514065
ヘルパー関数ari_first_symbol()およびari_last_symbol()は、生成された符号語の最初のシンボルおよび最後のシンボルをそれぞれ検出する。
5.3.3.2.8.1 コンテキストベースの算術コーデック
5.3.3.2.8.1.1 グローバル利得推定部
TCXフレームについてのグローバル利得gTCXの推定は、2つの反復工程で実行される。第1の推定は、SQから各サンプルにつき1ビット当たり6dBのSNR利得を考慮する。第2の推定はエントロピー符号化を考慮に入れることにより推定値を精緻化する。
4つの係数からなる各ブロックのエネルギーが最初に計算される。
Figure 2019514065
0.125dBの最終分解能を用いて二分探索(bisection search)が行われる:
初期化:fac=offset=12.8およびtarget=0.15(target_bits−L/16)と設定する。
反復:以下の操作ブロックを10回実行する。
Figure 2019514065
利得の第1の推定値は次に、以下の式によって与えられる。
Figure 2019514065
5.3.3.2.8.1.2 定ビットレートおよびグローバル利得のためのレートループ
最良の利得gTCXをused_bits≦target_bitsの制約内で設定するために、gTCXとused_bitsの収束プロプロセスが以下の変数及び定数を使用することによって実行される。
LbとWUbは下限と上限とに対応する重みを示し、
LbとgUbは下限と上限とに対応する利得を示し、
Lb_foundとUb_foundはそれぞれgLbとgUbとが発見されたことを示すフラグであり、
μ及びηは、μ=max(1,2.3−0.0025*target_bits)及びη=1/μを有する変数であり、
λ及びνは定数であり、10および0.96として設定される。
算術符号化によるビット消費の初期推定の後、target_bitsがused_bitsより大きいときstopは0に設定され、used_bitsがtarget_bitsより大きいときにはstopはused_bitsとして設定される。
stopが0より大きい場合、これはused_bitsがtarget_bitsより大きいことを意味する。gTCXは前のものよりも大きくなるように修正される必要があり、Lb_foundはTRUE(真)として設定され、gLbは前のgTCXとして設定される。WLbは次のように設定される。
Figure 2019514065
Ub_foundが設定された場合、これはused_bitsがtarget_bitsより小さかったことを意味し、gTCXが上限と下限との間の補間値として更新される。
Figure 2019514065
その他の場合、Ub_foundはFALSE(偽)であり、利得は以下のように増幅される。
Figure 2019514065
ここで、gUbを達成するのを加速するために、used_bits(=stop)とtarget_bitsとの比が大きいほど増幅率が大きくなる。
Stopが0に等しい場合には、used_bitsがtarget_bitsより小さいことを意味する。gTCXは前の値よりも小さくなるべきであり、Ub_foundは1に設定され、Ubは前のgTCXとして設定され、WUbは次のように設定される。
Figure 2019514065
Lb_foundが既に設定されている場合には、利得は次のように計算される。
Figure 2019514065
その他の場合には、帯域利得gLbを低下させることを加速するため、利得は次のように低減される。
Figure 2019514065
ここで、used_bitsとtarget_bitsとの比が小さいとき、利得はより大きな低減率を持つ。
このような利得の補正後、量子化を行い、算術符号化によるused_bitsの推定を行う。その結果、target_bitsがused_bitsより大きい場合にはstopが0に設定され、used_bitsがtarget_bitsより大きい場合にはstopがused_bitsとして設定される。ループカウントが4未満であれば、その値stopに応じて次のループで下限設定処理又は上限設定処理のいずれか一方を行う。ループカウントが4である場合、最終利得gTCXおよび量子化されたMDCTシーケンスXQMDCT(k)が得られる。
5.3.3.2.8.1.3 確率モデル導出及び符号化
量子化されたスペクトル係数Xは、最も低い周波数の係数から始めて、最も高い周波数の係数へと進行するよう、ノイズなしに符号化される。それらは、いわゆる2−タプル{a,b}に集合している2つの係数aおよびbのグループ単位で符号化される。
各2−タプル{a,b}は、3つの部分、すなわちMSB、LSBおよび正負符号に分割される。正負符号は、均一確率分布を使用して大きさから独立して符号化される。大きさ自身はさらに2つの部分、すなわち2つの最上位ビット(MSB)と残りの最下位ビットプレーン(適用可能であれば、LSB)に分割される。2つのスペクトル係数の大きさが3以下となる2−タプルは、MSB符号化によって直接符号化される。そうでない場合、エスケープシンボルが、まず任意の付加的なビットプレーンを信号化するために送信される。
2−タプルと、2−タプルの個々のスペクトル値aおよびbと、最上位ビットプレーンmと、残りの最下位ビットプレーンrとの間の関係は、以下の図1の実例で示されている。この実例では、3つのエスケープシンボルが実際の値mの前に送られ、それらは3つの伝送された最下位ビットプレーンを示している。
Figure 2019514065
確率モデルは、過去のコンテキストから導出される。過去のコンテキストは、12ビット毎のインデックス上に変換され、ari_cf_m[]に格納された64の利用可能な確率モデルのうちの一つへと、ルックアップテーブルari_context_lookup[]を用いてマップする。
過去のコンテキストは、同じフレーム内で既に符号化された2つの2−タプルから導出される。このコンテキストは、過去の周波数内の直に隣接するか又はさらなる位置にあるものから導出され得る。ピーク領域(高調波ピークに属する係数)及び高調波モデルに従う他の(非ピーク)領域に対して、別個のコンテキストが維持される。高調波モデルが使用されない場合には、他の(非ピーク)領域コンテキストのみが使用される。
スペクトルの末尾に位置するゼロのスペクトル値は伝送されない。それは最後の非ゼロの2−タプルのインデックスを伝送することによって達成される。高調波モデルが使用される場合、スペクトルの末尾は、ピーク領域係数からなるスペクトルの末尾として定義され、その後に他の(非ピーク)領域係数が続く。この定義はトレーリングゼロの数を増加させる傾向があるので、符号化効率を改善する。符号化するサンプルの数は、以下のように計算される。
Figure 2019514065
以下のデータが以下の順序でビットストリーム内へと書き込まれる。
Figure 2019514065
2.エントロピー符号化されたMSB及びエスケープシンボル
3.1ビット単位の符号語を用いた正負符号
4.ビット予算が十分に使用されていない場合には区分に記述された残差量子化ビット
5.LSBはビットストリームバッファの終端から後方に向かって書き込まれる。
以下の疑似コードは、コンテキストがどのように導出され、MSB、正負符号、LSBのためのビットストリームデータがどのように計算されるかを記述する。入力される独立変数は、量子化スペクトル係数x[]、考慮対象のスペクトルのサイズL、ビット予算target_bits、高調波モデルパラメータ(pi,hi)及び最後の非ゼロのシンボルlastnzのインデックスである。
Figure 2019514065
ヘルパー関数ari_save_states() と ari_restore_states() とは、算術的コーダ状態を保存するため及び回復するためにそれぞれ使用される。ビット予算に違反する場合には最後のシンボルの符号化をキャンセルし得る。更に、ビット予算がオーバーフローする場合には、ビット予算の終了に到達するまで、又はスペクトルのlastnzサンプルを処理するまで、残りのビットをゼロで充填することができる。
他のヘルパー関数を以下のサブ条項において説明する。
5.3.3.2.8.1.4 次の係数の取得
Figure 2019514065
ii[0]及びii[1]のカウンタは、ari_context_encode() (及び復号器においては ari_context_decode() も)の冒頭において0に初期化される。
5.3.3.2.8.1.5 コンテキスト更新
コンテキストは以下の疑似コードで記述するように更新される。これは2個の4ビット単位のコンテキスト要素の連鎖で構成される。
Figure 2019514065
5.3.3.2.8.1.6 コンテキストの取得
最終的なコンテキストは2つの方法で修正される。
Figure 2019514065
コンテキストtは0〜1023のインデックスである。
5.3.3.2.8.1.7 ビット消費の推定
コンテキストベースの算術符号器のビット消費推定は、量子化のレートループ最適化のために必要である。この推定は、算術符号器をコールすることなくビット要求を計算することで実行される。生成されるビットは以下により正確に推定され得る。
Figure 2019514065
ここで、probaは16384に初期化された整数であり、mはMSBシンボルである。
5.3.3.2.8.1.8 高調波モデル
コンテキストベース算術符号化と包絡ベース算術符号化との両方に関し、高調波モデルは、高調波コンテキストを有するフレームのより効率的な符号化のために使用される。このモデルは、以下の条件のうちのいずれかが適用すると無効化される。
−ビットレートが、9.6,13.2,16.4,24.4,32,48kbpsのいずれかではない。
−前のフレームがACELPで符号化されていた。
−包絡ベースの算術符号化が使用され且つ符号器タイプがVoicedでもGenericでもない。
−ビットストリーム内の単一ビット高調波モデルフラグがゼロに設定されている。
このモデルが有効化されたとき、高調波の周波数ドメイン・インターバルは鍵となるパラメータであり、算術符号器の両方の特色のために共通して分析され符号化される。
5.3.3.2.8.1.8.1 高調波のインターバルの符号化
ピッチラグ及び利得が後処理に使用されるとき、ラグパラメータは、高調波のインターバルを周波数ドメインで表現するために利用される。その他の場合、インターバルの通常の表現が適用される。
5.3.3.2.8.1.8.1.1 時間ドメイン・ピッチラグに依存したインターバルの符号化
時間ドメインのピッチラグの整数部分dintがMDCTのフレームサイズLTCXよりも小さい場合、7ビットの小数精度を有する周波数ドメインのインターバルユニット(ピッチラグに対応する高調波ピークの間)TUNITが次式で与えられる。
Figure 2019514065
ここで、dfrは時間ドメインでのピッチラグの小数部分を示し、res_maxは可能な小数値の最大数を示し、その値は条件次第で4又は6である。
UNITは限定された範囲を持つので、周波数ドメインにおける高調波ピーク間の実際のインターバルは、表2に示すビットを使用してTUNITに対して相対的に符号化される。表3又は表4内に示す乗算ファクタの候補Ratio()の中で、MDCTドメイン変換係数の最適な高調波インターバルを与える乗数が選択される。
Figure 2019514065
Figure 2019514065
Figure 2019514065
Figure 2019514065
5.3.3.2.8.1.8.1.2 時間ドメイン・ピッチラグに依存しないインターバルの符号化
時間ドメインにおけるピッチラグ及び利得が使用されないか、又はピッチ利得が0.46以下である場合、不均一な分解能を有するインターバルの通常の符号化が使用される。
スペクトルピークのユニットインターバルTUNITが次式のように符号化される。
Figure 2019514065
実際のインターバルTMDCTは、Resの小数分解能を用いて次式のように表される。
Figure 2019514065
各パラメータを表5に示す。ここで「small size」とは、フレームサイズが256よりも小さいか、又は目標ビットレートが150以下であることを意味する。
Figure 2019514065
5.3.3.2.8.1.8.2 空白
5.3.3.2.8.1.8.3 高調波のインターバルの探索
高調波の最良のインターバルを求めて、符号器は、絶対値のMDCT係数のピーク部分の重み付き合計EPERIODを最大化できるインデックスを発見しようと試みる。EABSM(k)は、MDCTドメイン変換係数の絶対値の3個のサンプルの合計を次式のように示す。
Figure 2019514065
ここで、num_peakは、
Figure 2019514065
が周波数ドメインでサンプルの限界に到達する最大数である。
インターバルが時間ドメインにおけるピッチラグに依存しない場合、演算コストを節約するため階層的探索が使用される。インターバルのインデックスが80未満である場合、周期性が4の粗いステップにより調査される。最良のインターバルを得た後に、より細密な周期性が最良のインターバルの周囲で−2から+2まで探索される。インデックスが80以上の場合、周期性は各インデックスについて探索される。
5.3.3.2.8.1.8.4 高調波モデルの決定
初期推定において、高調波モデルを用いない使用ビットの数used_bits及び高調波モデルを用いた使用ビットの数used_bitshmが取得され、消費ビットのインジケータIdicatorBが次式のように定義される。
Figure 2019514065
ここで、Index_bitshmは高調波構成をモデル化するための追加的ビットを示し、stop及びstophmは目標ビットよりも大きい場合の消費ビットを示す。従って、IdicatorBが大きければ大きいほど、高調波モデルを使用することがより好ましくなる。相対的な周期性indicatorhmが、整形されたMDCT係数のピーク領域の絶対値の正規化された和として次式で定義される。
Figure 2019514065
ここで、TMDCT_maxは、EPERIODの最大値を達成する高調波インターバルである。このフレームの周期性のスコアが次式のように閾値よりも大きい場合、
Figure 2019514065
このフレームは高調波モデルによって符号化されるべきと考えられる。利得gTCXで除算された整形済みのMDCT係数は、MDCT係数の整数値の系列
Figure 2019514065
を生成するべく量子化され、高調波モデルを用いた算術符号化によって圧縮される。このプロセスは、消費ビットBhmを用いてgTCX及び
Figure 2019514065
を得るために反復的な収束処理(レートループ)を必要とする。収束の最後には、高調波モデルを確認するために、通常の(非高調波)モデルを用いた算術符号化によって
Figure 2019514065
のために消費されるビットBno_hmが追加的に計算され、Bhmと比較される。BhmがBno_hmよりも大きい場合、
Figure 2019514065
の算術符号化は通常のモデルを使用するよう変更される。Bhm−Bno_hmは、更なる強化のため残差量子化用に使用され得る。その他の場合には、高調波モデルが算術符号化で使用される。
対照的に、このフレームの周期性のインジケータが閾値以下である場合、量子化と算術符号化とは通常のモデルを使用して実行されると想定され、整形されたMDCT係数の整数値の系列
Figure 2019514065
を消費ビットBno_hmを用いて生成することになる。レートループの収束の後で、高調波モデルを用いた算術符号化によって
Figure 2019514065
のために消費されるビットBhmが計算される。Bno_hmがBhmよりも大きい場合、
Figure 2019514065
の算術符号化は高調波モデルを使用するよう切換えられる。その他の場合には、通常のモデルが算術符号化で使用される。
5.3.3.2.8.1.9 コンテキストベースの算術符号化における高調波情報の使用
コンテキストベースの算術符号化について、全ての領域が2つのカテゴリーに分類される。その1つはピーク部分であって、τUの高調波ピークのU番目(Uは限界までの正の整数)のピークに中心を持つ3個の連続的なサンプルで構成される。
Figure 2019514065
他のサンプルは通常の部分又は谷の部分に帰属する。高調波ピーク部分は、高調波のインターバル及びそのインターバルの整数倍によって特定され得る。算術符号化はピーク領域と谷領域とで異なるコンテキストを使用する。
記述および構成を簡素化するため、高調波モデルは以下のインデックス系列を使用する。
Figure 2019514065
無効化された高調波モデルの場合、これら系列はpi=()、及びhi=ip=(0,…,LM−1)である。
5.3.3.2.8.2 包絡ベースの算術符号化
MDCTドメインにおいて、スペクトル線は知覚モデルW(z)により、各線が同一精度で量子化され得るように重み付けられる。個々のスペクトルのばらつきは、知覚モデルによって重み付けられた線形予測子A-1(z)の形状に従う。よって、重み付き形状はS(z)=W(z)A-1(z)となる。
W(z)は、サブ条項5.3.3.2.4.1及び5.3.3.2.4.2.に詳述したように、
Figure 2019514065
を周波数ドメインのLPC利得へと変換することで計算される。A-1(z)は、
Figure 2019514065
から、直接形係数(direct-form coefficients)へと変換し、チルト補償1−γz-1を適用し、最後に周波数ドメインLPC利得へと変換した後で導出される。他の全ての周波数整形ツール及び高調波モデルからの寄与もまた、この包絡形状S(z)の中に含まれることになる。これはスペクトル線の相対的ばらつきを与えるだけであり、その一方で全体的包絡は任意のスケーリングを有することに注目すべきであり、それにより、包絡をスケーリングすることから始めなくてはならない。
5.3.3.2.8.2.1 包絡スケーリング
ここでは、スペクトル線xkはゼロ平均であり、ラプラス分布に従って分散していると仮定する。よって、確率分布の関数は次式となる。
Figure 2019514065
そのようなスペクトル線のエントロピー及び従ってビット消費は、bitsk=1+log22ebkとなる。しかし、この式は、ゼロに量子化されるこれらスペクトル線のためにも正負符号が符号化されると想定している。この矛盾を補償するため、近似に代えて
Figure 2019514065
を使用し、この式はbk≧0.08について正確である。bk≦0.08である線のビット消費はbitsk=log2(1.0224)と仮定し、これはbk=0.08におけるビット消費に合致する。大きなbk>255については、簡略化のために真のエントロピーbitsk=log2(2ebk)を用いる。
ついで、スペクトル線のばらつきは、σk 2=2bk 2となる。sk 2が包絡形状のパワー|S(z)|2のk番目の要素である場合、sk 2はスペクトル線の相対エネルギーをγ2σk 2=bk 2となるように記述し、ここでγはスケーリング係数である。換言すれば、sk 2は意味のある大きさを持たないスペクトルの形状を記述するのみであり、γはその形状をスケールして実際のばらつきσk 2を得るために使用される。
ここでの目的は、スペクトルの全ての線をある算術符号器を用いて符号化する場合、ビット消費が予め定義されたレベルB、即ち
Figure 2019514065
と合致することである。その場合、目標ビットレートBが達成されるよう、二分アルゴリズム(bi-section algorithm)を使用して適切なスケーリング係数γを決定することができる。
包絡形状bkが、その形状に合致する信号の想定されるビット消費が目標ビットレートをもたらすようにスケーリングされたとき、スペクトル線の量子化へと進むことができる。
5.3.3.2.8.2.2 量子化レートループ
量子化インターバルが
Figure 2019514065
となるように、xkが整数
Figure 2019514065
へと量子化されたと仮定すると、そのインターバル内で発生しているスペクトル線の確率は、
Figure 2019514065
については
Figure 2019514065
となり、
Figure 2019514065
については
Figure 2019514065
となる。
これら2つの場合についてのビット消費は、理想的には次のようになる。
Figure 2019514065
項目
Figure 2019514065
を予め計算しておくことで、全体スペクトルのビット消費を効率的に計算できる。
次に、レートループが二分探索を用いて適用され得る。ここで、所望のビットレートに十分近づくまで、スペクトル線のスケーリングをファクタρで調節し、スペクトルのビット消費ρxkを計算する。上述したビット消費の理想的な場合の値は、最終的なビット消費と必ずしも完全に一致する必要がないことに留意されたい。なぜなら、算術符号化は有限精度の近似を用いて動作するからである。よって、このレートループはビット消費の近似に依存するが、演算効率が良いという恩恵も受ける。
最適なスケーリングσが決定されていた場合、スペクトルは標準的な算術符号器で符号化され得る。値
Figure 2019514065
に量子化されるスペクトル線は、インターバル
Figure 2019514065
へと符号化され、
Figure 2019514065
はインターバル
Figure 2019514065
へと符号化される。xk≠0の正負符号は、追加の1ビットを用いて符号化されるであろう。
算術符号器は、上述のインターバルが全てのプラットフォームにわたってビット厳密(bit-exact)となるように、固定点演算実行(fixed point implementation)を用いて動作しなければならないことに留意されたい。従って、線形予測モデルおよび重み付けファクタを含む、算術符号器に対する全ての入力は、システムを通して固定点で実行されなければならない。
5.3.3.2.8.2.3 確率モデルの導出と符号化
最適なスケーリングσが決定されていた場合、スペクトルは標準的な算術符号器で符号化され得る。値
Figure 2019514065
に量子化されるスペクトル線は、インターバル
Figure 2019514065
へと符号化され、
Figure 2019514065
はインターバル

Figure 2019514065
へと符号化される。xk≠0の正負符号は、追加の1ビットを用いて符号化されるであろう。
5.3.3.2.8.2.4 包絡ベースの算術符号化における高調波モデル
包絡ベースの算術符号化の場合、高調波モデルが算術符号化を強化するために使用され得る。コンテキストベースの算術符号化の場合と同様の探索処理が、MDCTドメインにおける高調波間のインターバルを推定するために使用される。しかしながら、高調波モデルは図2に示すようにLPC包絡と組み合わせて使用される。包絡の形状は高調波分析の情報に従ってレンダリングされる。
周波数データサンプル内のkにおける高調波形状は、
Figure 2019514065
のとき次式で定義され、
Figure 2019514065
その他の場合にはQ(k)=1.0であり、ここで、τはU番目の高調波の中心位置を示し、
Figure 2019514065
である。h及びσは各高調波の高さ及び幅を示し、次式のように単位インターバルに依存している。
Figure 2019514065
高さ及び幅は、インターバルが増大するに従って増大する。
スペクトル包絡S(k)は、kにおける高調波形状Q(k)により次式のように修正される。
Figure 2019514065
ここで、高調波成分の利得gharmは、ジェネリックモードについては常に0.75に設定され、gharmは、2ビットを使用してボイスモードについてEnormを最小化するよう{0.6,1.4,4.5,10.0}から選択される。
Figure 2019514065
Figure 2019514065
5.3.3.2.9 グローバル利得符号化
5.3.3.2.9.1 グローバル利得の最適化
最適なグローバル利得goptは、量子化済み及び量子化されていないMDCT係数から計算される。32kbpsまでのビットレートについては、このステップの前に、適応型低周波数デ・エンファシス(サブ条項6.2.2.3.2参照)が量子化済みMDCT係数に適用される。その計算結果がゼロ以下の最適利得をもたらす場合、(推定およびレートループにより)以前に決定されたグローバル利得gTCXが使用される。
Figure 2019514065
5.3.3.2.9.2 グローバル利得の量子化
復号器への伝送のため、最適なグローバル利得goptは、7ビットのインデックスITCX,gainへと量子化される。
Figure 2019514065
逆量子化されたグローバル利得
Figure 2019514065
は、サブ条項6.2.2.3.3に定義されるように取得される。
5.3.3.2.9.3 残差符号化
残差量子化は、第1のSQステージを精錬する精錬量子化レイヤ(refinement quantization layer)である。それは、最終的に未使用のビットtarget_bits−nbbitsを活用するものであり、ここでnbbitsはエントロピー符号器によって消費されるビット数である。残差量子化は、ビットストリームが所望のサイズに到達したときはいつでも符号化を停止するように、貪欲な方策を採用し、エントロピー符号化は採用しない。
残差量子化は、第1の量子化を2つの手段で精錬し得る。1番目の手段はグローバル利得量子化の精錬である。グローバル利得の精錬は、13.2kbps以上のレートについてのみ実行される。最大で3個の追加的ビットがそれに割り当てられる。量子化された利得
Figure 2019514065
は、n=0から開始してnを1ずつ増分することで、以下の反復に従って順次精錬されていく。
Figure 2019514065
精錬の2番目の手段は、量子化されたスペクトルを線毎に再量子化することから成る。まず、非ゼロの量子化済み線が1ビットの残差量子化器を用いて処理される。
Figure 2019514065
最後に、ビットが残っておれば、ゼロの線が考慮対象となり、3つのレベルに量子化される。デッドゾーンを有するSQの丸めオフセットは、残差量子化器の設計に考慮されていたものである。
Figure 2019514065
5.3.3.2.10 ノイズ充填
復号器側では、係数がゼロに量子化されていたMDCTスペクトル内のギャップを充填するために、ノイズ充填が適用される。ノイズ充填は、疑似ランダムノイズをギャップに挿入し、ビンkNFstartから開始してビンkNFstop−1まで続く。復号器内で挿入されるノイズの量を制御するため、ノイズファクタが符号器側で計算され、復号器へと伝送される。
5.3.3.2.10.1 ノイズ充填チルト
LPCチルトを補償するため、チルト補償ファクタが計算される。13.2kbps未満のビットレートについては、チルト補償は、直接形量子化LP係数
Figure 2019514065
から計算され、それより高いビットレートについては定数値が使用される。
Figure 2019514065
5.3.3.2.10.2 ノイズ充填開始ビンおよび停止ビン
ノイズ充填の開始ビンおよび停止ビンは、次式で計算される。
Figure 2019514065
Figure 2019514065
5.3.3.2.10.3 ノイズ遷移幅
ノイズ充填セグメントの各側において、挿入されたノイズに対して遷移フェードアウトが適用される。遷移の幅(ビンの数)は以下のように定義される。
Figure 2019514065
ここで、HMは算術コーデックに高調波モデルが使用されたことを示し、previousは前のコーデックモードを示す。
5.3.3.2.10.4 ノイズセグメントの計算
ノイズ充填セグメントが決定される。それらは、kNFstartとkNFstop,LPの間のMDCTスペクトルの連続的ビンのセグメントであり、これらに対する全ての係数がゼロに量子化されるものである。そのようなセグメントは次の疑似コードにより定義されるように決定される。
Figure 2019514065
ここで、kNF0(j)及びkNF1(j)は、ノイズ充填セグメントjの開始ビン及び停止ビンであり、nNFは、セグメントの個数である。
5.3.3.2.10.5 ノイズファクタの計算
ノイズファクタは、ノイズ充填が適用されるビンの非量子化MDCT係数から計算される。
ノイズ遷移幅wNFが3以下のビンである場合、減衰ファクタが偶数および奇数のMDCTビンのエネルギーに基づいて計算される。
Figure 2019514065
各セグメントについて、量子化されないMDCT係数から、グローバル利得とチルト補償と遷移とを適用して、誤差値が計算される。
Figure 2019514065
各セグメントについての重みが、セグメントの幅に基づいて計算される。
Figure 2019514065
次に、ノイズファクタが以下のように計算される。
Figure 2019514065
5.3.3.2.10.6 ノイズファクタの量子化
伝送のため、ノイズファクタは量子化されて3ビットのインデックスが取得される。
Figure 2019514065
5.3.3.2.11 インテリジェント・ギャップ充填
インテリジェント・ギャップ充填(IGF)ツールは、スペクトル内のギャップ(ゼロ値の領域)を充填する高性能なノイズ充填技術である。これらのギャップは、符号化プロセスの中で、所与のスペクトルの大部分がビット制限に合わせるためにゼロに設定され得るような、粗い量子化によって発生し得る。しかしながら、IGFツールを使用すれば、これらの欠損信号部分は、受信機側(RX)において、送信側(TX)で計算されたパラメトリック情報を用いて再構成される。IGFは、TCXモードが活性である場合にのみ使用される。
全てのIGF動作点に関する以下の表6を参照されたい。
Figure 2019514065
送信側において、IGFは、複素値または実数値のTCXスペクトルを使用して、スケールファクタ帯域のレベルを計算する。さらに、スペクトルホワイトニング・インデックスが、スペクトル平坦度とクレストファクタとを使用して計算される。算術符号器が、ノイズレス符号化および受信機(RX)側への効率的な送信のために使用される。
5.3.3.2.11.1 IGFヘルパー関数
5.3.3.2.11.1.1 遷移ファクタを用いたマッピング値
CELPからTCX符号化への遷移がある場合(isCelpToTCX=true)、又はTCX10フレームが信号伝達された場合(isTCX10=true)、TCXフレーム長は変化し得る。フレーム長が変化した場合、フレーム長に関連する全ての値が関数tFを用いてマッピングされる。
Figure 2019514065
Figure 2019514065
ここで、nは自然数であり、例えばスケールファクタ帯域オフセットであり、fは遷移ファクタであり、表11を参照されたい。
5.3.3.2.11.1.2 TCXパワースペクトル
現在のTCXフレームのパワースペクトルP∈Pnが次式を用いて計算される。
Figure 2019514065
ここで、nは実際のTCX窓長さであり、P∈Pnは現在のTCXスペクトルの(コサイン変換された)実数部分を含むベクトルであり、I∈Pnは現在のTCXスペクトルの(サイン変換された)虚数部分を含むベクトルである。
5.3.3.2.11.1.3 スペクトル平坦度関数(spectral flatness measurement function)SFM
P∈Pnはサブ条項5.3.3.2.11.1.2に従って計算されたTCXパワースペクトルであり、bはSFM尺度領域の開始線であり、eは停止線であると仮定する。
IGFと共に適用されるSFM関数は以下のように定義される。
Figure 2019514065
Figure 2019514065
ここで、nは実際のTCX窓長さであり、pは次式で定義される。
Figure 2019514065
5.3.3.2.11.1.4 クレストファクタ関数CREST
P∈Pnはサブ条項5.3.3.2.11.1.2に従って計算されたTCXパワースペクトルであり、bはクレストファクタ尺度領域の開始線であり、eは停止線であると仮定する。
IGFと共に適用されるCREST関数は以下のように定義される。
Figure 2019514065
Figure 2019514065
ここで、nは実際のTCX窓長さであり、Emaxは次式で定義される。
Figure 2019514065
5.3.3.2.11.1.5 マッピング関数hT
hTマッピング関数は次式で定義される。
Figure 2019514065
Figure 2019514065
ここで、sは計算されたスペクトル平坦度値であり、kは範囲内のノイズ帯域である。閾値ThMk,ThSkについては、以下の表7を参照されたい。
Figure 2019514065
5.3.3.2.11.1.6 空白
5.3.3.2.11.1.7 IGFスケールファクタの表
IGFスケールファクタの表はIGFが適用される全てのモデルに対して有効である
Figure 2019514065
上記の表8は、TCX20の窓長さ及び遷移ファクタ1.00について言及するものである。
全ての窓長さに対し以下の再マッピングを適用する。
Figure 2019514065
ここで、tFはサブ条項5.3.3.2.11.1.1に記載された遷移ファクタ・マッピング関数である。
5.3.3.2.11.1.8 マッピング関数m
Figure 2019514065
全てのモードについて、IGF領域における所与の目的線からソース線へアクセスするために、マッピング関数が定義される。
Figure 2019514065
マッピング関数m1は次式で定義される。
Figure 2019514065
マッピング関数m2aは次式で定義される。
Figure 2019514065
マッピング関数m2bは次式で定義される。
Figure 2019514065
マッピング関数m3aは次式で定義される。
Figure 2019514065
マッピング関数m3bは次式で定義される。
Figure 2019514065
マッピング関数m3cは次式で定義される。
Figure 2019514065
マッピング関数m3dは次式で定義される。
Figure 2019514065
マッピング関数m4は次式で定義される。
Figure 2019514065
値fは適切な遷移ファクタであり、これについては後段の表11を参照されたい。tFはサブ条項5.3.3.2.11.1.1に記載された通りである。
全ての値t(0),t(1),...,t(nB)は、サブ条項5.3.3.2.11.1.1に記載されたように、関数tFを用いて既にマップされている筈である、ことに留意されたい。nBについての値は表8に定義されている。
ここに記載されるマッピング関数は、「マッピング関数m」として本稿で言及され、現在のモードにとって適切な関数が選択されている、という想定に基づいている。
5.3.3.2.11.2 IGF入力要素(TX)
IGF符号器モジュールは、以下のベクトルとフラグとを入力として想定している。
R:現在のTCXスペクトルの実数部分XMを有するベクトル
I:現在のTCXスペクトルの虚数部分XSを有するベクトル
P:TCXパワースペクトルの値Xpを有するベクトル
isTransient:現在のフレームが過渡を含む場合に信号伝達するフラグ、サブ条項5.3.2.4.1.1を参照。
isTCX10:TCX10フレームを信号伝達するフラグ
isTCX20:TCX20フレームを信号伝達するフラグ
isCelpToTCX:CELPからTCXへの遷移を信号伝達するフラグであって、最後のフレームがCELPであったかどうかのテストによりフラグを生成する
isIndepFlag:現在のフレームが前のフレームから独立していることを信号伝達するフラグ
表11に示すように、フラグisTCX10、isTCX20、isCelpToTCXにより信号伝達される以下の組合せがIGFを用いて可能である。
Figure 2019514065
5.3.3.2.11.3 送信(TX)側におけるIGF関数
全ての関数の申告は、入力要素がフレーム単位で提供されるという想定に基づいている。唯一の例外は、2つの連続するTCX10フレームであって、2番目のフレームが1番目のフレームに依存して符号化されている場合である。
5.3.3.2.11.4 IGFスケールファクタの計算
このサブ条項は、IGFスケールファクタベクトルg(k),k=0,1,...,nB−1が送信(TX)側においてどのように計算されるかについて説明する。
5.3.3.2.11.4.1 複素値の計算
TCXパワースペクトルPが利用可能であれば、IGFスケールファクタ値gはPを用いて計算され、
Figure 2019514065
m:N→Nを、IGF目標領域をサブ条項5.3.3.2.11.1.8に記載のIGFソース領域へとマップするマッピング関数と仮定して、次式を計算する。
Figure 2019514065
ここで、t(0),t(1),...,t(nB)は、関数tFを用いて既にマップされている筈であり(サブ条項5.3.3.2.11.1.1参照)、nBはIGFスケールファクタ帯域の個数である(表8参照)。
g(k)を次式により計算し、
Figure 2019514065
g(k)を次式により範囲[0,91]⊂Zに制限する。
Figure 2019514065
値g(k),k=0,1,...,nB−1は、サブ条項5.3.3.2.11.8に記載の算術符号器を用いたさらなるロスレス圧縮の後で、受信機(RX)側へと送信されるであろう。
5.3.3.2.11.4.2 実数値の計算
TCXパワースペクトルが利用可能でない場合、以下の計算をする。
Figure 2019514065
ここで、t(0),t(1),...,t(nB)は、関数tFを用いて既にマップされているはずであり(サブ条項5.3.3.2.11.1.1参照)、nBは帯域の個数である(表8参照)。
g(k)を次式により計算し、
Figure 2019514065
g(k)を次式により範囲[0,91]⊂Zに制限する。
Figure 2019514065
値g(k),k=0,1,...,nB−1は、サブ条項5.3.3.2.11.8に記載の算術符号器を用いたさらなるロスレス圧縮の後で、受信機(RX)側へと送信されるであろう。
5.3.3.2.11.5 IGFトーンマスク
どのスペクトル成分がコアコーダ用いて送信させるべきかを決定するために、トーンマスクが計算される。よって、全ての有意なスペクトルコンテンツが識別される一方で、IGFを介するパラメトリック符号化に適したコンテンツはゼロに量子化される。
5.3.3.2.11.5.1 IGFトーンマスクの計算
TCXパワースペクトルPが利用可能でない場合、t(0)を上回る全てのスペクトルコンテンツは消去される。
Figure 2019514065
ここで、RはTNSを適用した後の実数値のTCXスペクトルであり、nは現在のTCX窓長さである。
TCXパワースペクトルPが利用可能である場合、次式を計算する。
Figure 2019514065
ここで、t(0)はIGF領域内の第1スペクトル線である。
HPを所与として、以下のアルゴリズムを適用する。
Figure 2019514065
5.3.3.2.11.6 IGFスペクトル平坦度の計算
Figure 2019514065
IGFスペクトル平坦度の計算のために、2つの静的アレー(static arrays) prevFIR及びprevIIR、即ちサイズnTを持つ両方が、複数のフレームにわたってフィルタ状態を保持するために必要となる。追加的に、静的フラグ(static flag)wasTransientが前のフレームからの入力フラグisTransientの情報を守るために必要となる。
5.3.3.2.11.6.1 フィルタ状態のリセット
ベクトルprevFIR及びprevIIRは、両方ともIGFモジュールにおけるサイズnTの静的アレーであり、両アレーはゼロを用いて初期化されている。
Figure 2019514065
この初期化は以下のように実行されるべきである。
−コーデックスタートアップとともに
−任意のビットレート切り替えとともに
−任意のコーデックタイプ切り替えとともに
−CELPからTCXへの遷移とともに、例えばisCelpToTCX=true
−現在のフレームが過渡特性を有する場合、例えばisTransient=true
5.3.3.2.11.6.2 現ホワイトニングレベルのリセット
ベクトルcurrWLevelは、全てのタイルについてゼロで初期化されるべきである。
Figure 2019514065
−コーデックスタートアップとともに
−任意のビットレート切り替えとともに
−任意のコーデックタイプ切り替えとともに
−CELPからTCXへの遷移とともに、例えばisCelpToTCX=true
5.3.3.2.11.6.3 スペクトル平坦度インデックスの計算
以下のステップ(1)〜(4)が連続的に実行されるべきである。
(1)前のレベルバッファを更新し、現在のレベルを初期化する。
Figure 2019514065
prevIsTransient又はisTransientが真(true)の場合、次式を適用する。
Figure 2019514065
その他の場合、パワースペクトルPが利用可能であれば、次式を計算する。
Figure 2019514065
ここで、
Figure 2019514065
であり、SFMはサブ条項5.3.3.2.11.1.3に記載のスペクトル平坦度関数であり、CRESTはサブ条項5.3.3.2.11.1.4に記載のクレストファクタ関数である。
次式を計算する。
Figure 2019514065
ベクトルs(k)の計算の後で、フィルタ状態は次式のように更新される。
Figure 2019514065
(2)計算された値に対してマッピング関数hT:N×P→Nが適用され、ホワイトニングレベル・インデックスベクトルcurrWLevelを得る。マッピング関数hT:N×P→Nは、サブ条項5.3.3.2.11.1.5に記載の通りである。
Figure 2019514065
(3)選択されたモードを用いて(表13を参照)、以下の最終的マッピングを適用する。
Figure 2019514065
Figure 2019514065
ステップ(4)を実行した後、ホワイトニングレベル・インデックスベクトルcurrWLevelは送信準備が整った状態となっている。
5.3.3.2.11.6.4 IGFホワイトニングレベルの符号化
ベクトルcurrWLevelで定義されたIGFホワイトニングレベルは、1タイル当たり1又は2ビットを使用して伝送される。必要とされる総計ビットの厳密な数は、currWLevel内に含まれる実際の値とisIndepフラグの値とに依存する。詳細なプロセスは以下の疑似コードにより記述される。
Figure 2019514065
ここで、ベクトルpreWLevelは前のフレームからのホワイトニングレベルを含み、関数encode_whitening_levelは、ホワイトニングレベルcurrWLevel(k)のバイナリコードへの実際のマッピングで役割を果たす。その関数は以下の疑似コードに従って実行される。
Figure 2019514065
5.3.3.2.11.7 IGF時間的平坦度インジケータ
IGFにより再構築された信号の時間的包絡は、伝送された時間的包絡平坦度の情報、即ちIGF平坦度インジケータに従って、受信機(RX)側において平坦化される。
時間的平坦度は、周波数ドメインにおける線形予測利得として測定される。まず、現在のTCXスペクトルの実数部分の線形予測が実行され、次に予測利得ηigfが計算される。
Figure 2019514065
ここで、kiは線形予測によって取得されたi番目のPARCOR係数である。
サブ条項5.3.3.2.2.3に記載された予測利得ηigfと予測利得ηtnsとから、IGF時間的平坦度インジケータフラグisIgfTemFlatが次式のように定義される。
Figure 2019514065
5.3.3.2.11.8 IGFノイズレス符号化
IGFスケールファクタベクトルgは、ベクトルの効率的な表現をビットストリームへと書き込むため、算術符号器を用いてノイズレスに符号化される。
モジュールはインフラストラクチャから普通の生の算術符号器関数を使用し、これらはコア符号器によって提供されたものである。使用される関数は、値bitを符号化するari_encode_14bits_sign(bit)と、累積度数テーブルcumulativeFrequencyTableを使用して27個のシンボル(SYMBOLS_IN_TABLE)から成るアルファベットからvalueを符号化するari_encode_14bits_ext(value,cululativeFrequencyTable)と、算術符号器を初期化するari_start_encoding_14bits()と、算術符号器を終結させるari_finish_encoding_14bits()とである。
5.3.3.2.11.8.1 IGF独立性フラグ
isIndepFlagのフラグがtrue(真)の値を持つ場合には、算術符号器の内部状態がリセットされる。このフラグは、TCX10窓(表11を参照)が2つの連続的なTCX10フレームの2番目のフレームに使用されるようなモードにおいてのみ、false(偽)に設定され得る。
5.3.3.2.11.8.2 IGFオールゼロフラグ
IGFオールゼロフラグは、全てのIGFスケールファクタがゼロであることを信号伝達する。
Figure 2019514065
allZeroフラグは、まずビットストリームに書き込まれる。このフラグがtrue(真)である場合、符号器状態はリセットされ、更なるデータはビットストリームに書き込まれない。その他の場合、算術符号化されたスケールファクタベクトルgがビットストリーム内で続く。
5.3.3.2.11.8.3 IGF算術符号化ヘルパー関数
5.3.3.2.11.8.3.1 リセット関数
算術符号器状態は、t∈{0,1}と、前のフレームから保存されたベクトルgの値を表現するprevベクトルとで構成される。ベクトルgを符号化しているとき、tの値0は、有効な前のフレームが存在しないことを意味し、よってprevは定義されずかつ使用されない。tの値1は、有効な前のフレームが存在することを意味し、よってprevは妥当なデータを有しそれが使用されるが、このようなケースは、2つの連続的なTCX10フレームの2番目のフレームのためにTCX10窓(表11を参照)が使用されるようなモードにおいてのみ起こり得る。算術符号器状態をリセットするためには、t=0を設定するだけで十分である。
あるフレームがisIndepFlagセットを有する場合、符号器状態はスケールファクタベクトルgを符号化する前にリセットされる。1番目のフレームがallZero=1をもっていた場合、t=0とisIndepFlag=falseとの組合せは妥当であり、2つの連続的なTCX10フレームの2番目のフレームにとって発生し得るものであることに留意されたい。この特殊な場合、t=0であるため、フレームは前のフレームからのコンテキスト情報(prevベクトル)を使用せず、独立フレームとして実際に符号化される。
5.3.3.2.11.8.3.2 arith_encode_bits関数
arith_encode_bits関数は、長さnBitsビットの正負符号のない整数xを、一度に1ビット書き込むことによって符号化する。
Figure 2019514065
5.3.3.2.11.8.3.2 符号器状態関数の保存と回復
符号器状態の保存は、関数iisIGFSCFEncoderSaveContextStateを使用して達成され、これは、t及びprevベクトルをtSave及びprevSaveベクトル内にそれぞれコピーするものである。符号器状態の回復は、補足的な関数iisIGFSCFEncoderRestoreContextStateを使用して実行され、これは、tSave及びprevSaveベクトルをt及びprevベクトル内にそれぞれコピーし戻すものである。
5.3.3.2.11.8.4 IGF算術符号化
算術符号器はビットをカウントすることだけ可能であるべきであり、例えばビットをビットストリームに書き込むことなく算術符号化を実行すべきであることに注目されたい。false(偽)に設定されたパラメータdoRealEncodingを使用して算術符号器がカウント要求と共にコールされた場合、算術符号器の内部状態は、そのコールの前にトップレベル関数iisIGFSCFEncoderEncodeに保存されるべきであり、そのコールの後でコール者(caller)によって回復されるべきである。このような特殊なケースでは、算術符号器によって内部的に生成されたビットはビットストリームに書き込まれない。
arith_encode_residual関数は、累積度数テーブルcumulativeFrequencyTableとテーブルオフセットtableOffsetとを使用して、整数値の予測残差xを符号化する。テーブルオフセットtableOffsetは、符号化の前に値xを調節するために使用され、非常に小さいか非常に大きい値が僅かに効率の悪いエスケープ符号化を使用して符号化されるであろう全体確率を最小化する。MIN_ENC_SEPARATE=−12とMAX_ENC_SEPARATE=12との間の値(両端の値を含む)は、累積度数テーブルcumulativeFrequencyTableとSYMBOLS_IN_TABLE=27のアルファベットサイズとを使用して直接的に符号化される。
SYMBOLS_IN_TABLEシンボルの上述のアルファベットについて、値0と値SYMBOLS_IN_TABLE−1とは、デフォルトインターバル内に適合するには値が小さ過ぎるか又は大き過ぎることを示すために、エスケープ符号として予約される。このような場合には、値extraが、分布の末尾の1つにおける値の位置を示す。値extraは、それが範囲{0,...,14}内にあれば4ビットを使用して符号化され、それが範囲{15,...,15+62}内にあれば値15を有する4ビットとその後続の追加の6ビットを使用して符号化され、それが15+63以上であれば値15を有する4ビットとその後続の値63を有する追加の6ビットとその後続の追加の7ビットを使用して符号化される。これら3つのケースのうちの最後のケースが、わざと構成された人工的な信号が符号器内に想定外の大きな残差値状態を作りかねないような稀な状況を防止するために、主に有益となる。
Figure 2019514065
関数encode_sfe_vectorは、nB個の整数値から成るスケールファクタベクトルgを符号化する。符号器状態を構成する値tとprevベクトルとは、関数のための追加的パラメータとして使用される。トップレベル関数iisIGFSCFEncoderEncodeは、関数encode_sfe_vectorをコールする前に、通常の算術符号器初期化関数ari_start_encoding_14bits()をコールしなければならず、後に算術符号器終結関数ari_done_encoding_14bitsをもコールしなければならないことに注目されたい。
関数quant_ctxは、コンテキスト値ctxを{−3,...,3}に制限することによって、コンテキスト値を量子化するために使用され、以下のように定義される。
Figure 2019514065
コンテキスト値を計算するために使用される、疑似コードからのコメント内に示されたシンボル名の定義は、以下の表14に記載されている。
Figure 2019514065
Figure 2019514065
上述の関数において、tの値とベクトルg内のある値の位置fとに依存して、5つのケースが存在する。
・t=0及びf=0のとき、独立フレームの第1のスケールファクタは、累積度数テーブルcf_se00を用いて符号化される最上位ビットと、直接符号化される2つの最下位ビットとに分割することで符号化される。
・t=0及びf=1のとき、独立フレームの第2のスケールファクタは、累積度数テーブルcf_se01を用いて(予測残差として)符号化される。
・t=0及びf≧2のとき、独立フレームの第3及び後続のスケールファクタは、量子化されたコンテキスト値ctxにより決定された累積度数テーブルcf_se02[CTX_OFFSET+ctx]を用いて(予測残差として)符号化される。
・t=1及びf=0のとき、依存型フレームの第1のスケールファクタは、累積度数テーブルcf_se10を用いて(予測残差として)符号化される。
・t=1及びf≧1のとき、依存型フレームの第2及び後続のスケールファクタは、量子化されたコンテキスト値ctx_t及びctx_fにより決定された累積度数テーブルcf_se11[CTX_OFFSET+ctx_t][CTX_OFFSET+ctx_f]を用いて(予測残差として)符号化される。
所定の累積度数テーブルcf_se01、cf_se02及びテーブルオフセットcf_off_se01、cf_off_se02は、現在の動作点に依存し、またビットレートに暗黙的に依存し、さらにそれらは、符号器の初期化の間に各所与の動作点について利用可能な選択肢のセットから選択されることに留意されたい。累積度数テーブルcf_se00は全ての動作点について共通であり、累積度数テーブルcf_se10及びcf_se11と、対応するテーブルオフセットcf_off_se10及びcf_off_se11ともまた共通であるが、それらは、依存型TCX10フレーム(t=1のとき)の場合に、48kbps以上のビットレートに対応する動作点に対してだけ使用される。
5.3.3.2.11.9 IGFビットストリームライタ
算術符号化されたIGFスケールファクタ、IGFホワイトニングレベル及びIGF時間的平坦度インジケータは、ビットストリームを介して復号器側へと連続的に伝送される。IGFスケールファクタの符号化は、サブ条項5.3.3.2.11.8.4に記載されている。IGFホワイトニングレベルは、サブ条項5.3.3.2.11.6.4に記載のように符号化される。最後に、1ビットとして表現されるIGF時間的平坦度インジケータフラグがビットストリームに書き込まれる。
TCX20フレームの場合、即ち(isTCX20=true)の場合であって、カウント要求がビットストリームライタに信号伝達されない場合、ビットストリームライタの出力はビットストリームに直接供給される。2つのサブフレームが20msフレーム内で依存的に符号化されるTCX10フレームの場合、即ち(isTCX10=true)の場合、各サブフレームへのビットストリームライタの出力は一時的バッファに書き込まれ、個々のサブフレームについてのビットストリームライタの出力を含む1つのビットストリームをもたらす。この一時的バッファのコンテンツは、最終的にそのビットストリームに書き込まれる。
一つの代替手順は、まず減衰情報を使用して重み付け操作を適用し、次に、低位周波数帯域についての整形情報の少なくとも一部に対応する重み情報を使用して後続の重み付けを実行することである。さらに別の代替方法は、一方で減衰情報から導出され、他方で低位周波数帯域に関する整形情報の一部から導出される結合重み情報を用いて、単一の重み付け操作を適用することである。
図8は、低位周波数帯域および高位周波数帯域を有するオーディオ信号103を符号化するためのオーディオ符号器の好ましい実施形態を示す。オーディオ符号器は、オーディオ信号103の高位周波数帯域内のピークスペクトル領域を検出するための検出部802を備えている。さらに、オーディオ符号器は、低帯域のための整形情報を用いて低位周波数帯域を整形し、低位周波数帯域のための整形情報の少なくとも一部を使用して高位周波数帯域を整形する整形部804を含む。さらに、整形部は、高位周波数帯域において検出されたピークスペクトル領域内のスペクトル値を追加的に減衰させるように構成されている。
ブロック1206では、条件1102の偽又は真の結果を得るために、ブロック1202及び1204から決定された値が好ましくは所定数c1と一緒に処理される。好ましくは、ブロック1202および1204における決定は、低帯域整形情報を用いた整形の前、すなわち、スペクトル整形部804、又は図10に関して804aによって実行される手順の前に実行される。
しかしながら、他の実施形態では、図17におけるステップの順序は逆転され、そのため、第1の重み付け動作が減衰情報を使用して実行され、第2の後続の重み付け操作は、低位周波数帯域についての整形情報の少なくとも一部を使用して実行される。又は代替的に、一方では減衰情報に、他方では低位周波数帯域についての整形情報の少なくとも一部に、依存しかつそれから導出される、結合重み情報を使用した単一の重み付け操作を用いて整形が実行される。

Claims (26)

  1. 低位周波数帯域と高位周波数帯域とを有するオーディオ信号を符号化するためのオーディオ符号器であって、
    前記オーディオ信号の前記高位周波数帯域内のピークスペクトル領域を検出するための検出部(802)と、
    前記低位周波数帯域の整形情報を用いて前記低位周波数帯域を整形し、前記低位周波数帯域の整形情報の少なくとも一部を用いて前記高位周波数帯域を整形するための整形部(804)であって、前記高位周波数帯域の検出されたピークスペクトル領域におけるスペクトル値を追加的に減衰させるように構成された整形部(804)と、
    整形された低位周波数帯域及び整形された高位周波数帯域を量子化し、前記整形された低位周波数帯域及び整形された高位周波数帯域からの量子化されたスペクトル値をエントロピー符号化するための量子化器及び符号器ステージ(806)と、
    を備えたオーディオ符号器。
  2. 時間フレームにおけるオーディオサンプルのブロックを分析することによって、前記オーディオ信号の時間フレームの線形予測係数を導出する線形予測分析部(808)であって、前記オーディオサンプルは前記低位周波数帯域に帯域制限されている、線形予測分析部(808)をさらに含み、
    前記整形部(804)は、前記整形情報として前記線形予測係数を用いて前記低位周波数帯域を整形するように構成されており、
    前記整形部(804)は、前記オーディオ信号の前記時間フレームにおける前記高位周波数帯域を整形するために、前記低位周波数帯域に帯域制限された前記オーディオサンプルのブロックから導出された前記線形予測係数の少なくとも一部を使用するように構成される、
    請求項1に記載のオーディオ符号器。
  3. 前記整形部(804)は、前記オーディオ信号の前記低位周波数帯域から導出される線形予測係数を使用して、前記低位周波数帯域の複数のサブバンドのための複数の整形ファクタを計算するよう構成され、
    前記整形部(804)は、前記低位周波数帯域において、前記低位周波数帯域のあるサブバンドにおけるスペクトル係数を、その対応するサブバンドのために計算された整形ファクタを用いて、重み付けするよう構成され、
    かつ前記高位周波数帯域におけるスペクトル係数を、前記低位周波数帯域のサブバンドの一つのために計算された整形ファクタを用いて重み付けするよう構成される、
    請求項1または2に記載のオーディオ符号器。
  4. 前記整形部(804)は、前記高位周波数帯域のスペクトル係数を、前記低位周波数帯域の最高のサブバンドのために計算された整形ファクタを用いて重み付けするよう構成され、前記最高のサブバンドは、前記低位周波数帯域のサブバンドのすべての中心周波数の中で最も高い中心周波数を有する、
    請求項3に記載のオーディオ符号器。
  5. 前記検出部(802)は、ある条件グループの少なくとも一つが真である場合に、前記高位周波数帯域におけるピークスペクトル領域を決定するように構成され、
    前記条件グループは、低位周波数帯域振幅条件(1102)、ピーク距離条件(1104)、及びピーク振幅条件(1106)を少なくとも含む、
    前記請求項1〜4のいずれか1項に記載のオーディオ符号器。
  6. 前記検出部(802)は、前記低位周波数帯域振幅条件のために、
    前記低位周波数帯域における最大スペクトル振幅(1202)と、
    前記高位周波数帯域における最大スペクトル振幅(1204)と、を決定するよう構成され、
    ゼロより大きな所定数によって重み付けられた前記低位周波数帯域における最大スペクトル振幅が、前記高位周波数帯域における最大スペクトル振幅(1204)より大きい場合に、前記低位周波数帯域振幅条件(1102)が真である、
    請求項5に記載のオーディオ符号器。
  7. 前記検出部(802)は、前記整形部(804)により適用される整形操作の前に、前記低位周波数帯域における最大スペクトル振幅又は前記高位周波数帯域における最大スペクトル振幅を検出するように構成され、又は前記所定数が4〜30である、
    請求項6に記載のオーディオ符号器。
  8. 前記検出部(802)は、ピーク距離条件について、
    前記低位周波数帯域における第1の最大スペクトル振幅(1206)と、
    前記低位周波数帯域の中心周波数と前記高位周波数帯域の中心周波数との間の、境界周波数からの前記第1の最大スペクトル振幅の第1のスペクトル距離(1304)と、
    前記高位周波数帯域における第2の最大スペクトル振幅(1306)と、
    前記境界周波数から前記第2の最大スペクトル振幅までの前記第2の最大スペクトル振幅の第2のスペクトル距離(1308)と、
    を決定するよう構成され、
    前記第1のスペクトル距離によって重み付けされかつ1より大きな所定数によって重み付けられた前記第1の最大スペクトル振幅が、前記第2のスペクトル距離によって重み付けられた第2の最大スペクトル振幅よりも大きい場合(1310)に、前記ピーク距離条件(1104)が真である、
    請求項5〜7のいずれか一項に記載のオーディオ符号器。
  9. 前記検出部(802)は、前記第1の最大スペクトル振幅又は前記第2の最大スペクトル振幅を、前記追加的減衰なしの前記整形部(804)による整形操作に続いて、決定するように構成され、又は
    前記境界周波数は、前記低位周波数帯域の最高周波数又は前記高位周波数帯域の最低周波数であり、又は
    前記所定数は1.5と8との間である、
    請求項8に記載のオーディオ符号器。
  10. 前記検出部(802)は、前記低位周波数帯域の一部分における第1の最大スペクトル振幅(1402)を決定するよう構成され、前記一部分は前記低位周波数帯域の所定の開始周波数から前記低位周波数帯域の最大周波数まで延びており、前記所定の開始周波数は前記低位周波数帯域の最小周波数よりも大きく、
    前記検出部(802)は、前記高位周波数帯域における第2の最大スペクトル振幅(1404)を決定するよう構成され、
    前記第2の最大スペクトル振幅が、1以上の所定数で重み付けされた第1の最大スペクトル振幅より大きい場合(1406)に、前記ピーク振幅条件(1106)が真である、
    請求項5〜9のいずれか一項に記載のオーディオ符号器。
  11. 前記検出部(802)は、前記第1の最大スペクトル振幅又は前記第2の最大スペクトル振幅を、前記整形部(804)によって前記追加的減衰なしに適用される整形操作の後で決定するように構成され、若しくは前記所定の開始周波数は前記低位周波数帯域の前記最小周波数よりも高い低周波数の少なくとも10%にあるか、若しくは前記所定の開始周波数は前記低位周波数帯域の最大周波数の半分の±10%の許容差内で前記最大周波数の半分に等しい周波数であり、又は
    前記所定数は、前記量子化器/符号器ステージによって提供されるビットレートに依存し、それによって、ビットレートが高いほど前記所定数が高くなり、又は
    前記所定数は1.0と5.0との間である、
    請求項10に記載のオーディオ符号器。
  12. 前記検出部(802)は、前記3つの条件のうちの少なくとも2つ又は前記3つの条件が真である場合にのみ、前記ピークスペクトル領域を決定するように構成される、
    請求項6から11のいずれか一項に記載のオーディオ符号器。
  13. 前記検出部(802)は、前記スペクトル振幅として、実数スペクトルのスペクトル値の絶対値、複素スペクトルの大きさ、前記実数スペクトルの前記スペクトル値の任意の羃、又は前記複素スペクトルの大きさの任意の羃を決定するように構成され、前記羃は1より大きい、
    請求項6〜12のいずれか一項に記載のオーディオ符号器。
  14. 前記整形部(804)は、前記高位周波数帯域における最大スペクトル振幅に基づいて、又は前記低位周波数帯域における最大スペクトル振幅に基づいて、前記検出されたピークスペクトル領域における少なくとも1つのスペクトル値を減衰させるように構成される、
    請求項1〜13のいずれか1項に記載のオーディオ符号器。
  15. 前記整形部(804)は、前記低位周波数帯域の一部分における最大スペクトル振幅を決定するよう構成され、前記一部分は前記低位周波数帯域の所定の開始周波数から前記低位周波数帯域の最大周波数まで延びており、前記所定の開始周波数は前記低位周波数帯域の最小周波数より大きく、前記所定の開始周波数は好ましくは前記低位周波数帯域の最小周波数より高い前記低位周波数帯域の少なくとも10%にあり、又は前記所定の開始周波数は好ましくは前記低位周波数帯域の最大周波数の半分の±10%の許容誤差内で前記最大周波数の半分に等しい周波数である、
    請求項14に記載のオーディオ符号器。
  16. 前記整形部(804)は、減衰ファクタを用いて前記スペクトル値をさらに減衰させるよう構成され、前記減衰ファクタは、1以上である所定数により乗算(1606)され、かつ前記高位周波数帯域における最大スペクトル振幅(1604)によって除算された、前記低位周波数帯域における最大スペクトル振幅(1602)から導出される、
    請求項14又は15に記載のオーディオ符号器。
  17. 前記整形部(804)は、検出されたピークスペクトル領域内のスペクトル値を、
    −前記低位周波数帯域の整形情報の少なくとも一部を用いた第1の重み付け操作(1702、804a)と、減衰情報を用いた第2の後続の重み付け操作(1704、804b)、又は
    −減衰情報を使用した第1の重み付け操作と、前記低位周波数帯域についての前記整形情報の少なくとも一部を用いた第2の後続の重み情報、又は
    −前記減衰情報と前記低位周波数帯域についての前記整形情報の少なくとも一部とから導出された結合された重み情報を用いた単一の重み付け操作、
    に基づいて整形するように構成される、請求項1〜16のいずれか1項に記載のオーディオ符号器。
  18. 前記低位周波数帯域についての重み情報は整形ファクタの集合であり、各整形ファクタは前記低位周波数帯域の1つのサブバンドと関連しており、
    前記高位周波数帯域についての整形操作に使用される前記低位周波数帯域についての重み情報の少なくとも一部は、前記低位周波数帯域のすべてのサブバンドの最も高い中心周波数を有する前記低位周波数帯域のサブバンドに関連付けられた整形ファクタであり、又は
    前記減衰情報は、前記検出されたスペクトル領域における少なくとも1つのスペクトル値に、または前記検出されたスペクトル領域における全てのスペクトル値に、または前記オーディオ信号の時間フレームに対して前記検出部(802)によって前記ピークスペクトル領域が検出された前記高位周波数帯域におけるすべてのスペクトル値に、適用される減衰ファクタであり、又は
    前記整形部(804)は、前記検出部(802)が前記オーディオ信号の時間フレームの高位周波数帯域のいずれのピークスペクトル領域も検出しない場合に、如何なる追加的減衰も行わずに前記低位周波数帯域及び前記高位周波数帯域の整形を実行するよう構成されている、
    請求項17に記載のオーディオ符号器。
  19. 前記量子化器および符号器ステージ(806)は、エントロピー符号化されたオーディオ信号の所定のビットレートが得られるように、量子化器特性を推定するためのレートループプロセッサを含む、
    請求項1〜18のいずれか1項に記載のオーディオ符号器。
  20. 前記量子化器特性はグローバル利得であり、
    前記量子化器および符号器ステージ(806)が、
    前記低位周波数帯域における整形されたスペクトル値と、前記高位周波数帯域における整形されたスペクトル値とを、同じグローバル利得によって重み付けするための重み付け部(1502)と、
    前記グローバル利得により重み付けされた値を量子化するための量子化器(1504)と、
    量子化された値をエントロピー符号化するエントロピー符号器(1506)であって、前記エントロピー符号器は算術符号器またはハフマン符号器を含む、エントロピー符号器(1506)と、
    を含む、
    請求項19記載のオーディオ符号器。
  21. 前記オーディオ符号器は、前記高位周波数帯域において、量子化されエントロピー符号化されるべきスペクトル値の第1グループと、ギャップ充填手順によりパラメトリックに符号化されるべきスペクトル値の第2グループとを決定するためのトーンマスクプロセッサ(1012)をさらに含み、前記トーンマスクプロセッサは、前記スペクトル値の第2グループをゼロ値に設定するよう構成されている、
    請求項1〜20のいずれか1項に記載のオーディオ符号器。
  22. 前記オーディオ符号器は、
    共通プロセッサ(1002)と、
    周波数ドメイン符号器(1012,802,804,806)と、
    線形予測符号器(1008)と、をさらに備え、
    前記周波数ドメイン符号器は、前記検出部(802)と、前記整形部(804)と、前記量子化器および符号器ステージ(806)とを含み、
    前記共通プロセッサは、前記周波数ドメイン符号器および前記線形予測符号器によって使用されるべきデータを計算するよう構成される、
    請求項1〜21のいずれか1項に記載のオーディオ符号器。
  23. 前記共通プロセッサは、前記オーディオ信号をリサンプリング(1006)して、前記オーディオ信号の時間フレームのために前記低位周波数帯域に帯域制限されたリサンプリング済みオーディオ信号帯域を得るように構成され、
    前記共通プロセッサ(1002)は、前記時間フレームにおけるオーディオサンプルのブロックを分析することによって、前記オーディオ信号の前記時間フレームについての線形予測係数を導出する線形予測分析部(808)を備え、前記オーディオサンプルは、前記低位周波数帯域に帯域制限されており、又は
    前記共通プロセッサ(1002)は、前記オーディオ信号の前記時間フレームが、前記線形予測符号器の出力または前記周波数ドメイン符号器の出力のいずれかによって表現されるように制御するよう構成される、
    請求項22に記載のオーディオ符号器。
  24. 前記周波数ドメイン符号器は、前記オーディオ信号の時間フレームを、前記低位周波数帯域及び前記高位周波数帯域を含む周波数表現へと変換するための時間−周波数変換部(1012)を含む、
    請求項22又は23に記載のオーディオ符号器。
  25. 低位周波数帯域と高位周波数帯域とを有するオーディオ信号を符号化するための方法であって、
    前記オーディオ信号の前記高位周波数帯域におけるピークスペクトル領域を検出するステップ(802)と、
    前記低位周波数帯域のための整形情報を用いて、前記オーディオ信号の前記低位周波数帯域を整形(804)し、かつ前記低位周波数帯域のための整形情報の少なくとも一部を使用して、前記オーディオ信号の高位周波数帯域を整形(1702)するステップであって、前記高位周波数帯域の整形は、前記高位周波数帯域の検出されたピークスペクトル領域におけるスペクトル値の追加的減衰(1704)を含む、ステップと、
    を含む方法。
  26. コンピュータまたはプロセッサ上で実行されたとき、請求項25に記載の方法を実行するためのコンピュータプログラム。
JP2018553874A 2016-04-12 2017-04-06 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム Active JP6734394B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020118122A JP6970789B2 (ja) 2016-04-12 2020-07-09 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム
JP2021177073A JP7203179B2 (ja) 2016-04-12 2021-10-29 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16164951.2 2016-04-12
EP16164951 2016-04-12
PCT/EP2017/058238 WO2017178329A1 (en) 2016-04-12 2017-04-06 Audio encoder for encoding an audio signal, method for encoding an audio signal and computer program under consideration of a detected peak spectral region in an upper frequency band

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020118122A Division JP6970789B2 (ja) 2016-04-12 2020-07-09 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019514065A true JP2019514065A (ja) 2019-05-30
JP6734394B2 JP6734394B2 (ja) 2020-08-05

Family

ID=55745677

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018553874A Active JP6734394B2 (ja) 2016-04-12 2017-04-06 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム
JP2020118122A Active JP6970789B2 (ja) 2016-04-12 2020-07-09 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム
JP2021177073A Active JP7203179B2 (ja) 2016-04-12 2021-10-29 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020118122A Active JP6970789B2 (ja) 2016-04-12 2020-07-09 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム
JP2021177073A Active JP7203179B2 (ja) 2016-04-12 2021-10-29 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム

Country Status (19)

Country Link
US (3) US10825461B2 (ja)
EP (3) EP4134953A1 (ja)
JP (3) JP6734394B2 (ja)
KR (1) KR102299193B1 (ja)
CN (3) CN109313908B (ja)
AR (1) AR108124A1 (ja)
AU (1) AU2017249291B2 (ja)
CA (1) CA3019506C (ja)
ES (2) ES2933287T3 (ja)
FI (1) FI3696813T3 (ja)
MX (1) MX2018012490A (ja)
MY (1) MY190424A (ja)
PL (2) PL3443557T3 (ja)
PT (2) PT3696813T (ja)
RU (1) RU2719008C1 (ja)
SG (1) SG11201808684TA (ja)
TW (1) TWI642053B (ja)
WO (1) WO2017178329A1 (ja)
ZA (1) ZA201806672B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022537033A (ja) * 2019-06-17 2022-08-23 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 信号依存的な数および精度制御を伴うオーディオエンコーダ、オーディオデコーダ、ならびに関連する方法およびコンピュータプログラム

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
JP7088403B2 (ja) * 2019-02-20 2022-06-21 ヤマハ株式会社 音信号生成方法、生成モデルの訓練方法、音信号生成システムおよびプログラム
CN110047519B (zh) * 2019-04-16 2021-08-24 广州大学 一种语音端点检测方法、装置及设备
CN113192523B (zh) 2020-01-13 2024-07-16 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN113539281B (zh) * 2020-04-21 2024-09-06 华为技术有限公司 音频信号编码方法和装置
CN111613241B (zh) * 2020-05-22 2023-03-24 厦门理工学院 一种高精度高稳定度的弦乐器基波频率检测方法
CN113963703A (zh) * 2020-07-03 2022-01-21 华为技术有限公司 一种音频编码的方法和编解码设备
CN112397043B (zh) * 2020-11-03 2021-11-16 北京中科深智科技有限公司 一种语音转化成歌曲的方法和系统
CN112951251B (zh) * 2021-05-13 2021-08-06 北京百瑞互联技术有限公司 一种lc3音频混合方法、装置及存储介质
CN118314908A (zh) * 2023-01-06 2024-07-09 华为技术有限公司 场景音频解码方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015516593A (ja) * 2012-03-29 2015-06-11 テレフオンアクチーボラゲット エル エム エリクソン(パブル) ハーモニックオーディオ信号の帯域幅拡張

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672670A (en) * 1983-07-26 1987-06-09 Advanced Micro Devices, Inc. Apparatus and methods for coding, decoding, analyzing and synthesizing a signal
JP3125543B2 (ja) * 1993-11-29 2001-01-22 ソニー株式会社 信号符号化方法及び装置、信号復号化方法及び装置、並びに記録媒体
DE19804581C2 (de) * 1998-02-05 2000-08-17 Siemens Ag Verfahren und Funk-Kommunikationssystem zur Übertragung von Sprachinformation
US6415253B1 (en) * 1998-02-20 2002-07-02 Meta-C Corporation Method and apparatus for enhancing noise-corrupted speech
KR100391935B1 (ko) * 1998-12-28 2003-07-16 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 오디오 신호를 코딩 또는 디코딩하는 방법 및 디바이스
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
GB9917985D0 (en) * 1999-07-30 1999-09-29 Scient Generics Ltd Acoustic communication system
JP2001143384A (ja) * 1999-11-17 2001-05-25 Sharp Corp ディジタル信号処理装置およびディジタル信号処理方法
US7330814B2 (en) * 2000-05-22 2008-02-12 Texas Instruments Incorporated Wideband speech coding with modulated noise highband excitation system and method
US6587816B1 (en) * 2000-07-14 2003-07-01 International Business Machines Corporation Fast frequency-domain pitch estimation
AU2211102A (en) * 2000-11-30 2002-06-11 Scient Generics Ltd Acoustic communication system
US20020128839A1 (en) * 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
CA2388352A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for frequency-selective pitch enhancement of synthesized speed
DE60327039D1 (de) 2002-07-19 2009-05-20 Nec Corp Audiodekodierungseinrichtung, dekodierungsverfahren und programm
US7650277B2 (en) * 2003-01-23 2010-01-19 Ittiam Systems (P) Ltd. System, method, and apparatus for fast quantization in perceptual audio coders
US7272551B2 (en) * 2003-02-24 2007-09-18 International Business Machines Corporation Computational effectiveness enhancement of frequency domain pitch estimators
WO2004090870A1 (ja) * 2003-04-04 2004-10-21 Kabushiki Kaisha Toshiba 広帯域音声を符号化または復号化するための方法及び装置
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
CN100507485C (zh) 2003-10-23 2009-07-01 松下电器产业株式会社 频谱编码装置和频谱解码装置
US8150683B2 (en) * 2003-11-04 2012-04-03 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus, method, and computer program for comparing audio signals
EP1719117A1 (en) * 2004-02-16 2006-11-08 Koninklijke Philips Electronics N.V. A transcoder and method of transcoding therefore
KR100721537B1 (ko) * 2004-12-08 2007-05-23 한국전자통신연구원 광대역 음성 부호화기의 고대역 음성 부호화 장치 및 그방법
CN101180676B (zh) * 2005-04-01 2011-12-14 高通股份有限公司 用于谱包络表示的向量量化的方法和设备
JP5129117B2 (ja) * 2005-04-01 2013-01-23 クゥアルコム・インコーポレイテッド 音声信号の高帯域部分を符号化及び復号する方法及び装置
EP1931169A4 (en) * 2005-09-02 2009-12-16 Japan Adv Inst Science & Tech POST-FILTER FOR A MICROPHONE MATRIX
US7991611B2 (en) * 2005-10-14 2011-08-02 Panasonic Corporation Speech encoding apparatus and speech encoding method that encode speech signals in a scalable manner, and speech decoding apparatus and speech decoding method that decode scalable encoded signals
US8032371B2 (en) * 2006-07-28 2011-10-04 Apple Inc. Determining scale factor values in encoding audio data with AAC
US8135047B2 (en) * 2006-07-31 2012-03-13 Qualcomm Incorporated Systems and methods for including an identifier with a packet associated with a speech signal
US9496850B2 (en) * 2006-08-04 2016-11-15 Creative Technology Ltd Alias-free subband processing
EP2054876B1 (en) * 2006-08-15 2011-10-26 Broadcom Corporation Packet loss concealment for sub-band predictive coding based on extrapolation of full-band audio waveform
KR101565919B1 (ko) * 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
KR100848324B1 (ko) * 2006-12-08 2008-07-24 한국전자통신연구원 음성 부호화 장치 및 그 방법
JP5339919B2 (ja) * 2006-12-15 2013-11-13 パナソニック株式会社 符号化装置、復号装置およびこれらの方法
DK2571024T3 (en) * 2007-08-27 2015-01-05 Ericsson Telefon Ab L M Adaptive transition frequency between the noise filling and bandwidth extension
CN101843115B (zh) * 2007-10-30 2013-09-25 歌乐株式会社 听觉灵敏度校正装置
CN102177426B (zh) * 2008-10-08 2014-11-05 弗兰霍菲尔运输应用研究公司 多分辨率切换音频编码/解码方案
KR101661374B1 (ko) * 2009-02-26 2016-09-29 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치 및 이들 방법
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
US8751225B2 (en) * 2010-05-12 2014-06-10 Electronics And Telecommunications Research Institute Apparatus and method for coding signal in a communication system
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP2012163919A (ja) * 2011-02-09 2012-08-30 Sony Corp 音声信号処理装置、および音声信号処理方法、並びにプログラム
US9293151B2 (en) * 2011-10-17 2016-03-22 Nuance Communications, Inc. Speech signal enhancement using visual information
KR20130047630A (ko) * 2011-10-28 2013-05-08 한국전자통신연구원 통신 시스템에서 신호 부호화 장치 및 방법
JP5915240B2 (ja) * 2012-02-20 2016-05-11 株式会社Jvcケンウッド 特殊信号検出装置、雑音信号抑制装置、特殊信号検出方法、雑音信号抑制方法
US9741350B2 (en) * 2013-02-08 2017-08-22 Qualcomm Incorporated Systems and methods of performing gain control
US9711156B2 (en) * 2013-02-08 2017-07-18 Qualcomm Incorporated Systems and methods of performing filtering for gain determination
JP6155766B2 (ja) * 2013-03-29 2017-07-05 凸版印刷株式会社 印刷再現色予測方法
EP2963646A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
US9830921B2 (en) * 2015-08-17 2017-11-28 Qualcomm Incorporated High-band target signal control

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015516593A (ja) * 2012-03-29 2015-06-11 テレフオンアクチーボラゲット エル エム エリクソン(パブル) ハーモニックオーディオ信号の帯域幅拡張

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022537033A (ja) * 2019-06-17 2022-08-23 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 信号依存的な数および精度制御を伴うオーディオエンコーダ、オーディオデコーダ、ならびに関連する方法およびコンピュータプログラム
JP7518863B2 (ja) 2019-06-17 2024-07-18 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 信号依存的な数および精度制御を伴うオーディオエンコーダ、オーディオデコーダ、ならびに関連する方法およびコンピュータプログラム

Also Published As

Publication number Publication date
AU2017249291B2 (en) 2020-02-27
PT3443557T (pt) 2020-08-27
US20190156843A1 (en) 2019-05-23
US12014747B2 (en) 2024-06-18
ES2933287T3 (es) 2023-02-03
BR112018070839A2 (pt) 2019-02-05
CN117316168A (zh) 2023-12-29
MY190424A (en) 2022-04-21
ZA201806672B (en) 2019-07-31
JP6970789B2 (ja) 2021-11-24
WO2017178329A1 (en) 2017-10-19
KR20180134379A (ko) 2018-12-18
TWI642053B (zh) 2018-11-21
FI3696813T3 (fi) 2023-01-31
US10825461B2 (en) 2020-11-03
JP7203179B2 (ja) 2023-01-12
JP6734394B2 (ja) 2020-08-05
AU2017249291A1 (en) 2018-10-25
PL3696813T3 (pl) 2023-03-06
RU2719008C1 (ru) 2020-04-16
CA3019506C (en) 2021-01-19
AR108124A1 (es) 2018-07-18
PL3443557T3 (pl) 2020-11-16
CA3019506A1 (en) 2017-10-19
US11682409B2 (en) 2023-06-20
TW201802797A (zh) 2018-01-16
US20210005210A1 (en) 2021-01-07
EP3443557A1 (en) 2019-02-20
PT3696813T (pt) 2022-12-23
EP3696813A1 (en) 2020-08-19
EP3443557B1 (en) 2020-05-20
JP2020181203A (ja) 2020-11-05
ES2808997T3 (es) 2021-03-02
CN117253496A (zh) 2023-12-19
KR102299193B1 (ko) 2021-09-06
EP3696813B1 (en) 2022-10-26
CN109313908A (zh) 2019-02-05
US20230290365A1 (en) 2023-09-14
MX2018012490A (es) 2019-02-21
SG11201808684TA (en) 2018-11-29
JP2022009710A (ja) 2022-01-14
CN109313908B (zh) 2023-09-22
EP4134953A1 (en) 2023-02-15

Similar Documents

Publication Publication Date Title
JP6970789B2 (ja) 高位周波数帯域における検出されたピークスペクトル領域を考慮してオーディオ信号を符号化するオーディオ符号器、オーディオ信号を符号化する方法、及びコンピュータプログラム
JP5978218B2 (ja) 低ビットレート低遅延の一般オーディオ信号の符号化
RU2660605C2 (ru) Концепция заполнения шумом
JP6779966B2 (ja) 先進量子化器
CN105247614B (zh) 音频编码器和解码器
US20070106502A1 (en) Adaptive time/frequency-based audio encoding and decoding apparatuses and methods
KR20230066137A (ko) 신호 부호화방법 및 장치와 신호 복호화방법 및 장치
BR112018070839B1 (pt) Codificador de áudio e método para codificar um sinal de áudio

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200709

R150 Certificate of patent or registration of utility model

Ref document number: 6734394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250