JP2022521494A - 位相ecu f0補間スプリットのための方法および関係するコントローラ - Google Patents

位相ecu f0補間スプリットのための方法および関係するコントローラ Download PDF

Info

Publication number
JP2022521494A
JP2022521494A JP2021547687A JP2021547687A JP2022521494A JP 2022521494 A JP2022521494 A JP 2022521494A JP 2021547687 A JP2021547687 A JP 2021547687A JP 2021547687 A JP2021547687 A JP 2021547687A JP 2022521494 A JP2022521494 A JP 2022521494A
Authority
JP
Japan
Prior art keywords
bin
tone
consecutive
fractional
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021547687A
Other languages
English (en)
Other versions
JP7178506B2 (ja
Inventor
マルティン セールステッド,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2022521494A publication Critical patent/JP2022521494A/ja
Priority to JP2022181549A priority Critical patent/JP7471375B2/ja
Application granted granted Critical
Publication of JP7178506B2 publication Critical patent/JP7178506B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/14Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141Discrete Fourier transforms
    • G06F17/142Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Communication Control (AREA)

Abstract

受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御することが提供される。少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルが取得され、少なくとも1つのビンベクトルは、少なくとも1つのトーンについての3つの連続するビン値を含む。3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかが決定される。決定に応答して、3つの連続するビン値は、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、少なくとも1つのトーンの周波数を推定するために処理される。【選択図】図12

Description

本開示は、一般に、損失したオーディオフレームについての隠蔽方法を制御するための方法に関する。本開示はまた、受信されたオーディオ信号の損失したオーディオフレームについての隠蔽方法を制御するように設定されたコントローラに関する。
現代の通信チャネル/ネットワークを介した音声/オーディオの送信は、主に、音声/オーディオコーデックを使用してデジタルドメインにおいて行われる。これは、デジタルサンプルを取得するために、アナログ信号をとり、サンプリングおよびアナログデジタル変換器(ADC)を使用してそのアナログ信号をデジタル化することを伴い得る。これらのデジタルサンプルは、さらに、適用例に応じて10ms~40msの連続する期間からのサンプルを含んでいるフレームにグループ化され得る。これらのフレームは、次いで、送信される必要があるビット数を低減し、依然として、できるだけ高い品質を達成し得る、圧縮アルゴリズムを使用して処理され得る。次いで、符号化されたビットストリームが、データパケットとして、デジタルネットワークを介して受信機に送信される。受信機では、プロセスが逆にされる。データパケットは、最初に、復号されて、デジタルサンプルをもつフレームが再作成され得、そのフレームは、次いで、デジタルアナログ変換器(DAC)に入力されて、受信機において入力アナログ信号の近似が再作成され得る。図1は、上記で説明された手法を使用する、デジタルネットワークなどのネットワークを介した、オーディオエンコーダおよびデコーダを使用するオーディオ転送のブロック図の一例を提供する。
データパケットがネットワーク上で送信されるとき、トラフィック負荷によりネットワークによってドロップされるか、または、ビット誤りの結果としてドロップされるかのいずれかであり得る、データパケットがあり、復号についてデジタルデータを無効にし得る。これらのイベントが起こるとき、デコーダは、実際の復号を行うことが不可能である期間中に、出力信号を置き換える必要がある。この置換プロセスは、一般に、フレーム/パケット損失隠蔽(PLC:packet loss concealment)と呼ばれる。図2は、パケット損失隠蔽を含むデコーダ200のブロック図を示す。不良フレームインジケータ(BFI)が、損失したまたは破損したフレームを示すとき、PLC202が、紛失した/破損したフレームを置き換えるための信号を作成し得る。他の場合、すなわち、BFIが、損失したまたは破損したフレームを示さないとき、受信された信号は、ストリームデコーダ204によって復号される。現在フレームについての不良フレームインジケータ変数を、アクティブ、すなわち、BFI=1にセットすることによって、フレーム消去がデコーダにシグナリングされ得る。復号または隠蔽されたフレームは、次いで、DAC206に入力されて、アナログ信号が出力される。フレーム/パケット損失隠蔽は、誤り隠蔽ユニット(ECU:error concealment unit)と呼ばれることもある。
デコーダにおいてパケット損失隠蔽を行う多数のやり方がある。いくつかの例は、損失したフレームを無音(silence)と置き換えること、および最後のフレームを繰り返すこと(または、最後のフレームパラメータの復号)である。他の手法は、フレームを、オーディオ信号の最も可能性がある継続(continuation)と置き換えることを試みることである。雑音のような信号の場合、1つの手法は、同様のスペクトル構造をもつ雑音を生成し得る。音の信号の場合、最初に、今のトーンの特性(周波数、振幅、および位相)を推定し、これらのパラメータを使用して、損失したフレームの対応する時間ロケーションにおいてトーンの継続を生成し得る。
ECUのための別の手法は、3GPP TS26.477 V15.0.0節5.4.3.5およびWO2014/123471A1において説明される、位相ECUであり、デコーダは、通常復号中に、復号された信号のプロトタイプを継続的に保存し得る。このプロトタイプは、損失したフレームの場合に使用され得る。プロトタイプはスペクトル的に分析され、雑音および音のECU機能が、スペクトルドメインにおいて組み合わせられる。位相ECUは、スペクトル中のトーンを識別し、関係するスペクトルビンのスペクトル時間置換を計算する。他のビン(非音)は、雑音としてハンドリングされ得、これらのスペクトル領域における音のアーティファクトを回避するためにスクランブルされる。得られた再作成されたスペクトルは、時間ドメインに逆FFT(高速フーリエ変換)変換され、信号は、損失したフレームの置換を作成するために処理される。オーディオコーデックが修正離散コサイン変換(MDCT)に基づくとき、置換の作成は、すでに復号された信号の統合された継続を作成するための重複MDCTに関係する、窓処理、TDA(時間ドメインエイリアシング)およびITDA(逆TDA)を含む。この方法は、MDCTメモリの継続的使用と、通常復号が再開されるべきであるときに使用されるべきであるMDCTメモリの作成とを保証し得る。PLCから通常動作への遷移における最初の正しく復号されたフレームは、最初の良好なフレームとしても知られる。図3は、PLCプロトタイプからの信号の位相ECUおよび再作成の時間整合および信号図を示す。図3は、エンコーダ(エンコーダ入力の後の一番上のもの)と、デコーダ中の最初の損失したフレームのポイントにおけるデコーダ中(デコーダ合成の後の第2の線)との間のタイミング関係をも示す。図3はまた、位相ECU時間進行再作成信号(Phase ECU time advanced recreated signal)が、消失したフレームセグメントおよび変換メモリを再作成するために、窓処理TDA、ITDAおよび合成窓処理を使用し続けるために、どのように位置決めされ、使用されるかを示す。
PLCプロトタイプバッファに対するスペクトル分析を使用して、2つの動作においてトーン位置特定が行われ得る。窓処理およびFFTの後に、第1の動作は、ビンの位置を特定することであり得、マグニチュードスペクトルを使用してトーンの位置が特定され得る。第2の動作は、補間によってこれらの推定値を改良することであり得、それにより、フラクショナル(fractional)オフセット値の形態の精度増加を得ることであり得る。周波数推定の分解能は、2つのことに依存する。第1に、変換の長さ - より長い変換が、より高い分解能を与え得る。第2に、異なる補間方法が異なる精度を有し得る。たとえば、国際特許出願公開第WO2014/123469号において説明される動作では、より短いフレーム(10ms)の場合、精度が十分に良好ではないことがある。より高品質の誤り隠蔽のために、高い精度が周波数推定のために必要とされ得る。ただバッファ長を増加させることが1つのソリューションであり得るが、複雑さがあまりにも増加することになる。最も敏感であるのは、クリーン正弦トーン(sinus tone)であり、補間誤差が、明らかに可聴である、フレームごとの不連続性をもたらし、再構築された信号の品質を劣化させる。より長いバーストの場合、小さい誤差でさえ、復号されたコンテンツへの遷移中に、可聴の不連続性を生じ得る。
発明概念のいくつかの実施形態によれば、受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するためのコントローラを動作させるための方法が提供される。そのような方法では、コントローラは、少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得し得、少なくとも1つのビンベクトルは、少なくとも1つのトーンについての3つの連続するビン値を含む。コントローラは、3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定し得る。決定に応答して、コントローラは、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、少なくとも1つのトーンの周波数を推定するために3つの連続するビン値を処理し得る。
取得され得る1つの利点は、フレーム境界におけるクリーントーンにおけるクリックの低減が行われ得ることである。誤りバーストの後の復号されたコンテンツへの遷移も改善し得、マグニチュード近似からの複雑さの低減があり得る。
発明概念のいくつかの実施形態によれば、少なくとも1つのトーンについての3つの連続するビン値の各々が複素数値を有すると決定したことに応答して、コントローラは、3つの連続するビン値の各々についての複素数値係数(complex value coefficient)を抽出することと、3つの連続するビン値の各々の複素数値係数(complex valued coefficient)に基づいて、1つのトーンについてのフラクショナルビンオフセットを計算することと、フラクショナルビンオフセットに基づいて、1つのトーンについてのビン周波数を計算することとを行い得る。3つの連続するビン値のうちの少なくとも1つが実数値を有すると決定したことに応答して、コントローラは、3つの連続するビン値の各々についてのマグニチュードポイントを抽出することと、3つの連続するビン値の各々のマグニチュードポイントに基づいて、少なくとも1つのトーンについてのフラクショナルビンオフセットを計算することと、フラクショナルビンオフセットに基づいて、少なくとも1つのトーンについてのビン周波数を計算することとを行い得る。
発明概念のいくつかの実施形態によれば、受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するための装置が提供される。本装置は、少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得することであって、少なくとも1つのビンベクトルが、少なくとも1つのトーンについての3つの連続するビン値を含む、少なくとも1つのビンベクトルを取得することを含む動作を実施する。本装置は、3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定することを含むさらなる動作を実施する。本装置は、決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、少なくとも1つのトーンの周波数を推定するために3つの連続するビン値を処理することを含むさらなる動作を実施する。
発明概念のいくつかの実施形態によれば、受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するためのデコーダの少なくとも1つのプロセッサによって実行されるべきプログラムコードを備えるコンピュータプログラムが提供される。プログラムコードの実行は、デコーダに、少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得することであって、少なくとも1つのビンベクトルが、少なくとも1つのトーンについての3つの連続するビン値を含む、少なくとも1つのビンベクトルを取得することを含む動作を実施させる。プログラムコードの実行は、デコーダに、3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定することを含むさらなる動作を実施させる。プログラムコードの実行は、デコーダに、決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、少なくとも1つのトーンの周波数を推定するために3つの連続するビン値を処理することを含むさらなる動作を実施させる。
発明概念のいくつかの実施形態によれば、受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するためのデコーダの少なくとも1つのプロセッサによって実行されるべきプログラムコードを含む非一時的記憶媒体を備えるコンピュータプログラム製品。プログラムコードの実行は、デコーダに、少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得することであって、少なくとも1つのビンベクトルが、少なくとも1つのトーンについての3つの連続するビン値を含む、少なくとも1つのビンベクトルを取得することを含む動作を実施させる。プログラムコードの実行は、デコーダに、3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定することを含むさらなる動作を実施させる。プログラムコードの実行は、デコーダに、決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、少なくとも1つのトーンの周波数を推定するために3つの連続するビン値を処理することを含むさらなる動作を実施させる。
本開示のさらなる理解を提供するために含まれ、本出願に組み込まれ、本出願の一部をなす、添付の図面は、発明概念のいくつかの非限定的な実施形態を示す。
ネットワークを介したオーディオエンコーダおよびオーディオデコーダを使用するブロック図である。 パケット損失隠蔽を含むデコーダのブロック図である。 PLCプロトタイプからの信号の位相ECUおよび再作成の時間整合および信号図である。 サンプリングマグニチュードスペクトルを示す図である。 マグニチュードスペクトルの平方根なしの線形近似(square root free linear approximation)のフローチャートである。 フラクショナル周波数補間のためのフローチャートである。 発明概念のいくつかの実施形態による、フラクショナル周波数補間のためのフローチャートである。 発明概念のいくつかの実施形態による、フェード長さ24をもつ128サンプルHammRectフィルタのフェードイン(fadein)のハム(Hamm)を示す図である。 発明概念のいくつかの実施形態による、フェード長さ24サンプルをもつ128サンプルHammRectフィルタのハムフェードアウト(fadeout)を示す図である。 発明概念のいくつかの実施形態による、コピー部分の長さがサンプリング周波数に依存することを示す図である。 発明概念のいくつかの実施形態による、ハミング部分の長さがサンプル周波数に依存することを示す図である。 発明概念のいくつかの実施形態による、コントローラ動作を示すフローチャートである。 発明概念のいくつかの実施形態による、コントローラを含むデコーダのブロック図である。 発明概念のいくつかの実施形態による、コントローラを含むデコーダのブロック図である。 発明概念のいくつかの実施形態による、コントローラを含むデコーダのブロック図である。
次に、発明概念の実施形態の例が示されている添付の図面を参照しながら、発明概念が以下でより十分に説明される。しかしながら、発明概念は、多くの異なる形態で具現され得、本明細書に記載される実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明概念の範囲を当業者に十分に伝達するように提供される。これらの実施形態は相互排他的でないことにも留意されたい。一実施形態からの構成要素が、別の実施形態において存在する/使用されると暗に仮定され得る。
以下の説明は、開示される主題の様々な実施形態を提示する。これらの実施形態は、教示例として提示され、開示される主題の範囲を限定するものと解釈されるべきではない。たとえば、説明される実施形態のいくらかの詳細は、説明される主題の範囲から逸脱することなく、修正、省略、または拡大され得る。
様々な実施形態が、図13~図15に示されているデコーダ中のコントローラに適用される。図13は、いくつかの実施形態による、デコーダの概略ブロック図である。デコーダ1300は、符号化されたオーディオ信号を受信するように設定された入力ユニット1302を備える。図13は、論理フレーム損失隠蔽ユニット1304によるフレーム損失隠蔽を示し、これは、デコーダが、本明細書で説明される様々な実施形態による、損失したオーディオフレームの隠蔽のためのコントローラを実装するように設定されることを示す。さらに、デコーダ1300は、本明細書で説明される様々な実施形態を実装するための(本明細書ではプロセッサまたはプロセッサ回路とも呼ばれる)コントローラ1306を備える。コントローラ1306は、入力(IN)と、プロセッサ1306に結合された(本明細書ではメモリ回路とも呼ばれる)メモリ1308とに結合される。プロセッサ1306から取得された、復号されたおよび再構築されたオーディオ信号は、出力(OUT)から出力される。メモリ1308は、プロセッサ1306によって実行されたとき、プロセッサに、本明細書で開示される実施形態による動作を実施させる、コンピュータ可読プログラムコード1310を含み得る。他の実施形態によれば、プロセッサ1306は、別個のメモリが必要とされないようなメモリを含むように規定され得る。
フレーム損失隠蔽動作を実施するための正弦波モデルの適用例は、以下のように説明され得る。
対応する符号化された情報が利用可能でないので、すなわち、フレームが損失したので、コード化された信号の所与のセグメントがデコーダによって再構築され得ない場合、このセグメントより前の信号の利用可能な部分がプロトタイプフレームとして使用され得、ここで、プロトタイプフレームは、単一のフレームよりも長くなり得る。n=0...N-1であるy(n)が、置換フレームz(n)が生成されなければならない利用不可能なセグメントであり、n<0であるy(n)が、利用可能な、前に復号された信号である場合、長さLおよび開始インデックスn-1の利用可能な信号のプロトタイプフレームが、窓関数w(n)を用いて抽出され、たとえば、DFTによって周波数ドメインに変換される。
Figure 2022521494000002
様々な実施形態では、復号された信号の端部がプロトタイプフレームとして使用される。そのような状況では、y(n)は、n=L...N-1であるy(n)になる。上記の等式は、
Figure 2022521494000003
になる。窓関数は、正弦波分析における、以下でより詳細に説明される窓関数のうちの1つであり得る。たとえば、以下で説明されるように、窓関数は、矩形窓をハム窓に基づくテーパリングと組み合わせ得る。好ましくは、数値複雑さを保存するために、周波数ドメイン変換されたフレームは、正弦波分析中に使用されたものと同等であるべきであり、これは、分析フレームとプロトタイプフレームとが同等であり、同様に、それらのそれぞれの周波数ドメイン変換が同等であることを意味する。
次のステップにおいて、正弦波モデル仮定が適用される。正弦波モデル仮定によれば、プロトタイプフレームのDFTは、以下のように書かれ得る。
Figure 2022521494000004
次に、使用される窓関数のスペクトルが、0に近い周波数範囲においてのみ著しい寄与を有することが了解される。窓関数のマグニチュードスペクトルは、(サンプリング周波数の半分に対応する、-πからπまでの正規化された周波数範囲内で)0に近い周波数の場合は大きく、他の場合は小さい。したがって、近似として、窓スペクトルW(m)は、区間M=[-mmin,mmax]についてのみ非0であり、mminおよびmmaxは小さい正数であると仮定される。特に、各kについて、上記の式におけるシフトされた窓スペクトルの寄与が厳密に重複しないように、窓関数スペクトルの近似が使用される。したがって、上記の等式では、各周波数インデックスについて、常に、最大で、1つの被加数からの、すなわち、1つのシフトされた窓スペクトルからの寄与があるにすぎない。これは、上記の式が、非負m∈Mについておよび各kについて、以下の近似式になることを意味する。
Figure 2022521494000005
ここでは、Mは整数区間
Figure 2022521494000006
を示し、ここで、mmin,kおよびmmax,kは、区間が重複しないように、上記で説明された制約を満たす。mmin,kおよびmmax,kのための好適な選定は、mmin,kおよびmmax,kを小さい整数値δ、たとえば、δ=3にセットすることである。しかしながら、2つの近隣する正弦波周波数fおよびfk+1に関係するDFTインデックスが2δよりも小さい場合、δは、区間が重複しないことが保証されるように、
Figure 2022521494000007
にセットされる。関数floor(・)は、関数引数よりも小さいかまたはそれに等しい、関数引数に最も近い整数である。
次に、正弦波モデルは、上記の式に従って、および時間的にそのK個のシヌソイド(sinusoid)を展開するために適用される。プロトタイプフレームの時間インデックスと比較した、消去されたセグメントの時間インデックスが、n-1個のサンプルだけ異なるという仮定は、シヌソイドの位相が
Figure 2022521494000008
だけ進行することを意味し、ここで、timeoffs=tadv+N(burstlen-1)である
ここで、timeoffsは時間オフセットであり、tadvは時間進行であり、N(burstlen-1)は連続する誤りの数に基づくタイミング調節である。再作成されたフレームは、消失したフレームにわたってセンタリングされる(したがって、再作成されたフレームをセンタリングするためのt_advの使用)。連続する誤りの場合、デコーダは、いくつのフレームが損失したかを追跡し、それに応じてオフセットを調節する必要がある(したがって、N(burstlen-1)の使用)。したがって、展開される正弦波モデルのDFTスペクトルは、以下によって与えられる。
Figure 2022521494000009
シフトされた窓関数スペクトルがそれに従って重複しない、近似を再び適用することが、非負m∈Mについておよび各kについて、以下を与える。
Figure 2022521494000010
各m∈Mについて、近似を使用することによって、展開される正弦波モデルY(m)のDFTとプロトタイプフレームY-1(m)のDFTを比較すると、マグニチュードスペクトルは不変のままであるが、位相は
Figure 2022521494000011
だけシフトされることがわかる。
したがって、置換フレームは、非負m∈Mについておよび各kについて、以下の式によって計算され得る。
z(n)=IDFT{Z(m)}、
Figure 2022521494000012
信号調性に応答した区間Mのサイズが適応され得る。コントローラ1306は、少なくとも1つのトーンについてのスペクトル表現の複数のビンベクトルを受信し得る。各ビンベクトルは、1つのトーンについての3つの連続するビン値を含む。コントローラ1306は、3つの連続するビンの各々が複素数値を有するのか実数値を有するのかを決定し得る。決定に応答して、コントローラ1306は、少なくとも1つのトーンの周波数を推定するために3つの連続するビン値を処理し得る。図15に示されているように、受信することは、受信ユニット1312によって実施され得、決定することは、決定ユニット1314によって実施され得、処理することは、処理ユニット1316によって実施され得る。図15に示されているように、受信ユニット1312と、決定ユニット1314と、処理ユニット1316とを含む、プロセッサ1306によって処理されるべき信号が、メモリ1308から提供され得る。
プロセッサ1306をもつデコーダは、ハードウェアで実装され得る。デコーダのユニットの機能を達成するために使用され、組み合わせられ得る、回路エレメントの多数の変形態がある。そのような変形態は、様々な実施形態によって包含される。デコーダのハードウェア実装の特定の例は、汎用電子回路と特定用途向け回路の両方を含む、デジタル信号プロセッサ(DSP)ハードウェアおよび集積回路技術における実装である。
PLCプロトタイプバッファに対するスペクトル分析を使用して、2つの動作においてトーン位置特定が行われ得る。窓処理およびFFTの後に、第1の動作は、ビンの位置を特定することであり得、マグニチュードスペクトルを使用してトーンの位置が特定され得る。第2の動作は、補間によってこれらの推定値を改良することであり得、それにより、フラクショナルオフセット値の形態の精度増加を得ることであり得る。周波数推定の分解能は、2つのことに依存する。第1に、変換の長さ- より長い変換が、より高い分解能を与え得る。第2に、異なる補間方法が異なる精度を有し得る。たとえば、国際特許出願公開第WO2014/123469号において説明される動作では、より短いフレーム(10ms)の場合、精度が十分に良好ではないことがある。より高品質の誤り隠蔽のために、高い精度が周波数推定のために必要とされ得る。ただバッファ長を増加させることが1つのソリューションであり得るが、複雑さが増加することになる。最も敏感であるのは、クリーン正弦トーンであり、補間誤差が、明らかに可聴である、フレームごとの不連続性をもたらし、再構築された信号の品質を劣化させる。より長いバーストの場合、小さい誤差でさえ、復号されたコンテンツへの遷移中に、可聴の不連続性を生じ得る。
さらに、トーンロケータと現在の補間器の両方についてのマグニチュードスペクトルの使用は、複雑な関数である、平方根関数を使用する。複雑さを低減するために、代わりにマグニチュード近似関数を使用することが、より良好であり得る。
発明概念の本開示のいくつかの実施形態は、利用可能なFFT係数に従って異なる補間方法を使用することを可能にし得る、補間方法コントローラを使用し得、これは、複雑さの増加を限定しながら、精度を増加させ得る。いくつかの実施形態は、トーンロケータのためのマグニチュードスペクトルを計算することの複雑さを低下させるマグニチュード近似をも使用し得、放物線補間によっても使用され得る。
複雑さ低減のために、複雑さがより低いマグニチュード近似ユニットが使用され得る。周波数分解能の損失なしの、同様の複雑さがより低いマグニチュード近似ユニットについての動作が、M AllieおよびR Lyons、「A Root of Less Evil」、IEEE Signal Processing Magazine、93~96ページ、2005年3月(「Allie」)において説明される。
本発明の実施形態の本開示のいくつかの実施形態は、補間精度を改善し得、位相ECUからの再作成された信号の品質を増加させ得る。さらに、品質の改善とともに、より短いPLCバッファが使用され、品質を維持し得、これは、複雑さの低減のために使用され得、たとえば、FFTおよびIFFTは、大きい算出であり得、長いバッファについてコストがかかるようになり得る。
増加された周波数分解能のための装置が、2つの追加のユニットを含み得る。第1のユニットは、周波数補間のためにどの方法が使用され得るかを制御し得、すなわち、ビンデータの絶対値を使用する補間ユニット(たとえば、国際特許公開第WO2014/123469A1号において説明される同様の動作を参照)が使用され得るか、または複素ビン値を使用して周波数補間が行われる第2のユニットが使用され得るかのいずれかである。
FFT個のサンプルの窓処理およびFFTを使用するプロトタイプバッファの周波数分析が、
Figure 2022521494000013
個の値をもつスペクトル表現、
Figure 2022521494000014
についてW(n)、を作り出す。ここで、n=0はDCを表し、
Figure 2022521494000015
はサンプリング周波数(fs)の半分を表す。これらのうち、2つ以外のすべてが複素数値であり、エンドポイント(DCおよびfs/2)のみが実数である。したがって、利用可能な複素数係数を利用する別の補間方法が使用され得る場合、精度が増加され得る。
国際特許公開第WO2014/123469A1号において説明される補間方法は、識別されたトーンロケーション上の各側の1つのビンを使用する。また、エンドポイントにおいて、国際特許公開第WO2014/123469A1号において説明される補間方法は、依然として、3つのビンを使用し、追加のフラグが、識別されたピークが中間ロケーションにないことを示すためにセットされる。発明概念のいくつかの実施形態では、追加の制御ユニットが、すべての3つのビンが複素数値を有するピークについて、その制御ユニットが、改善された周波数推定のために、ビンデータの絶対値を使用する補間ユニットの代わりに新しい補間ユニットを呼び出すことを保証し得る。ビンデータの絶対値を使用する補間ユニットは、ビン0または
Figure 2022521494000016
個のビンが3つのポイントの補間データ中に含まれる場合、使用され得、ここでも、ピークが中間ビンに位置しない場合、追加のフラグがセットされる。
補間ユニットによる処理の後に、見つけられたトーンロケーションに従ってビン値が更新され得(トーンおよび周囲のビンの位相調節)、非トーンロケーションのスクランブリングが続けられる。たとえば、国際特許公開第WO2014/123469A1号において説明される同様の動作を参照されたい。
発明概念のいくつかの実施形態では、MDCTが、10ms進行で20ms窓にわたってとられ得る。良好なフレームの後に保存されたPLCプロトタイプフレームは、長さが16msである。関係する過渡検出器が、PLCプロトタイプフレームの1/4である長さ4msをもつ2つの短いFFTを使用する。これらのアイテムの実際の長さは、使用されるサンプリング周波数に依存し、8kHzから48kHzまでであり得る。これらの長さは、各変換におけるスペクトルビンの数に影響を及ぼす。
スペクトル分析および初期トーン位置特定が、国際特許公開第WO2014/123469A1号において説明される動作と同様の動作を使用して行われる。発明概念のいくつかの実施形態は、より低い複雑さのためにマグニチュード近似を使用する。国際特許公開第WO2014/123469A1号において説明される複雑なスペクトル推定のマグニチュードスペクトルの計算は、平方根関数の使用を伴う。たとえば、国際特許公開第WO2014/123469A1号では、複素数x=a+ibであり、xのマグニチュードが、次のように計算され得る。
Figure 2022521494000017
発明概念のいくつかの実施形態では、線形近似を使用する、複雑さがより低い近似が使用される。複雑さがより低い近似のための同様の動作が、M.AllieおよびR.Lyons、「A Root of Less Evil」、IEEE Signal Processing Magazine、93~96ページ、2005年3月(Allie)において説明される。図5を参照すると、FFT W(n)からのスペクトルエステートにおける第1のビン(0)および最後のビン
Figure 2022521494000018
は、実数であるが、近似は、ブロック501においてそれら2つの絶対値をとる。(ビン)n = 1 …
Figure 2022521494000019
についてのものである、W(n)=a+ibという形式を有する複素スペクトル係数の場合、ブロック503において、実数部および虚数部の絶対が最初に見つけられる必要がある。
abs=abs(a)
abs=abs(b) (2)
次に、ブロック505において、より大きい絶対値とより小さい絶対値とが識別され得る。
MAXab=max(aabs,babs
MINab=min(aabs,babs) (3)
より大きい値とより小さい値とが知られているとき、ブロック507および509において、マグニチュード近似が、それら2つの線形結合として計算され得る。
Figure 2022521494000020
図5は、複素入力X(n)=a+ibをもつ、マグニチュードスペクトルの平方根なしの線形近似のフローチャートであり、この線形近似は、各スペクトルビンについて1回実施され得る。
国際特許公開第WO2014/123469A1号において説明される周波数推定のための動作では、粗い周波数推定は、トーンの位置が特定されるビンである。たとえば、1つのトーンの場合、それは、エンドポイントにおける特殊な処置を除いて、ビンkに位置する。図6を参照すると、スペクトル推定値は、ビンk-1、k、k+1を使用し得、それらのスペクトルマグニチュードが、ブロック601において抽出され、補間ユニットに入力され得、補間ユニットは、ブロック603において補間δを計算し得、ブロック605におけるフラクショナルビンオフセットは、通常、入力に基づいて、範囲δ=[-0.5,0.5]内にある。図6は、トーンロケータによって見つけられる各トーンについて1回実施され得る、フラクショナル周波数補間のための上記の動作のためのそのようなプロセスのフローチャートである。
発明概念のいくつかの実施形態では、周波数補間は、位置を特定された各トーンのためにどの方法が使用されるべきであるかを選択するために、制御ユニットを使用し得る。図7は、発明概念の実施形態による、トーンロケータによって見つけられる各トーンについて1回実施され得る、フラクショナル周波数補間のためのフローチャートである。図7は、以下のようにより詳細に説明される。
ブロック701において、補間がDCビンまたはfs/2ビンのいずれかを使用することになるような、トーンの位置が特定された場合、補間制御ユニットは、ビンデータの絶対値を使用する方法を使用する(ブロック707、709、711)。たとえば、国際特許公開第WO2014/123469A1号において説明される同様の動作を参照されたい。ここで、kにおけるトーンについて、ブロック707において抽出された3つの連続するスペクトル推定値は、実数マグニチュードスペクトル係数|X(n)|、n=k-1、k、k+1であり、|Xk-1|、|X|、および|Xk+1|として補間現在ユニットに入力される。ブロック709において、国際特許公開第WO2014/123469A1号において説明される動作と同様のフラクショナルオフセットの計算が行われる。
Figure 2022521494000021
DCまたはFS/2において位置が特定されたトーンの特殊なハンドリングの場合、それは、トーンロケータが、位置が特定されたトーンが、提供されたデータポイントの中心にないことがあることを示し得るときである。
発明概念のいくつかの実施形態では、補間がDCビンまたはfs/2ビンのいずれをも使用しないような、トーンの位置が特定された場合、補間制御ユニットは、使用される窓関数およびFFT長さに適合された方法を使用し(ブロック703、705、711)、
Figure 2022521494000022
について、FFT係数X(n)が、推定されたスペクトルである。同様の動作が、E JacobsenおよびP Kootsooks、「Fast Accurate Frequency Estimation」、IEEE Signal Processing Magazine、123~125ページ、2007年5月(Jacobsen)において説明される。ビンデータの絶対値を使用する補間は、マグニチュードスペクトルを使用するが、複素スペクトルは、依然として保存され、再構築のために使用され得、したがって、複雑さまたはメモリペナルティがない。補間は、中心ビンが、見つけられたトーンロケーションである、3つの連続するFFTビン上の複素数係数を使用して行われ得る。
スペクトルの複素数表現が使用されるので、トーンロケータのためのマグニチュードスペクトルを計算する際にマグニチュード近似を使用することによる精度ペナルティがないことがある。エンドポイントのみが、それらの近似を使用することになる。
kにおけるトーンの場合、複素数値係数X(n)、n=k-1、k、k+1は、Xk-1、X、およびXk+1として補間ユニットに入力され得る。補間は、以下の等式に基づいて、通常、範囲δ=[-0.5,0.5]において、ブロック711において、フラクショナルビンオフセットを計算し得る。
Figure 2022521494000023
ここで、Kjacobは、使用される窓のタイプとサンプリング周波数に関するFFTのサイズとに依存するスケーリング係数である。一方、式RE{}は、括弧内の式の実数部のみが結果として使用されること、すなわち、入力のために使用されるスペクトル係数が複素数であるにもかかわらず、δが依然として実数値であることになることを意味する。より少ない複雑さのために、RE{}内の式の実数部のみが計算され得る。
どちらの場合も、推定された周波数を得るために、このフラクショナルオフセットは、ピークロケーションkの粗い分解能および補間値δと組み合わせられ得る。
=(k+δ)C (7)
ここで、Cは、(Hz/ビン単位の)粗い分解能であり、FFTの長さおよびサンプリング周波数fsに依存する。Hz/ビンである粗い分解能は、ちょうどC=fs/NFFTである。
Jacobsenは、いくつかの窓タイプについての(JacobsenにおいてQと称する)Kjacob値について説明するが、Jacobsenは、国際特許公開第WO2014/123469A1号において使用される窓を含まない。いくつかの実施形態では、その窓についての係数を導出するために、トーンが2つのビン間の中間にある場合が使用され得る、すなわち、どのピークが選定されるかに応じて、δ=±0.5である。たとえば、図4を参照されたい。図4は、2つのスペクトルビン間の中間において位置が特定された1つのトーンをもつ例示的なマグニチュードスペクトルを示す。トーン位置特定が、粗いトーン推定値をkであると報告するのか、kであると報告するのかは、ランダムイベントである。いずれの場合も、フラクショナル補間は、推定された同じ周波数を指すべきであり、これにより、それについて、δ≒+0.5となり、一方δ≒-0.5となる。kおよびkのためのマグニチュードが等しく高いので、それらを異ならせるのは、トーンの位相、雑音、またはFFT精度のみであり得、トーン位置特定は、等しく、それらのいずれかをトーンについてのビンとして選択する可能性がある。したがって、これは、最良の最小2乗誤差を提供しないが、δ=±0.5における補間不連続性を回避し得る。
国際特許公開第WO2014/123469A1号におけるスペクトル分析のために使用される窓は、それが、矩形窓をハム窓に基づくテーパリングと組み合わせるので、「HammRect窓」と呼ばれる。国際特許公開第WO2014/123469A1号において説明されるすべてのサンプリング周波数について、矩形とテーパリングとの比は同じであり得る。いくつかの実施形態では、窓は、3msフェードインテーパリング、10ms矩形、および3msフェードアウトとして規定される。fs=8kHzについてのフェードインテーパリングおよびフェードアウトテーパリングが、それぞれ、図8および図9において見られ得、矩形部分は、その2つの間に位置することになり、1.000の80個のサンプルがあることになる。図10および図11は、異なるサンプリング周波数に応じたフェージングおよび矩形長さを示す。図10は、発明概念のいくつかの実施形態による、コピー部分の長さがサンプリング周波数に依存することを示す。図11は、発明概念のいくつかの実施形態による、ハミング部分の長さがサンプル周波数に依存することを示す。
このタイプの窓の場合、Kjacob=1.1429の値は、すべてのサンプリング周波数について同じであることになる。テーパリングのために対称ハム窓を使用する場合、異なるサンプリング周波数のために異なる値を使用する必要があり、その差は小さい。いくつかの例は、以下の通りである。FFTサイズ128->1.1476、256->1.1452、512->1.1440、および768->1.1436。1つの固定係数および周期的ハム窓を使用することが、これを回避し得る。周期的ハム窓のための規定は、以下の通りである。
Figure 2022521494000024
テーパリングセクションを生成するために、その窓は、L=2Lfadeを用いて評価され、評価の後に、この窓の前半はフェードイン部分であり、後半はフェードアウト部分である。
ハム窓が対称であるのか周期的であるのかを知るための1つの手法は、窓における最初および最後のサンプルが0.08である場合、それが対称であることである。0.08が周期的窓へのサンプルに追加される場合、それは対称になるが、長さL+1をもつ。記憶の観点から、周期的規定は、サブサンプリングを可能にし、すなわち、32kHz窓から、それをサブサンプリングして、16kHzおよび8kHz窓を得ることができる。
国際特許公開第WO2014/123469A1号において説明される放物線補間の場合、定数がなく、その放物線補間は、対称または周期的ハム関数に依存しない。
次に、発明概念のいくつかの実施形態による、図12のフローチャートを参照しながら、デコーダ1300の動作が説明される。たとえば、モジュールは、図13~図15のメモリ1308に記憶され得、これらのモジュールは、モジュールの命令がプロセッサ1306によって実行されたとき、プロセッサ1306がそれぞれのフローチャートのそれぞれの動作を実施するような命令を提供し得る。
図12は、受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するためのデコーダ1300のコントローラ1306の動作を示す。
図12のブロック1200において、デコーダ1300のプロセッサ1306は、少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得し、少なくとも1つのビンベクトルは、少なくとも1つのトーンについての3つの連続するビン値を含む。ブロック1202において、デコーダ1300のプロセッサ1306は、3つの連続するビンベクトルの各々が複素数値を有するのか実数値を有するのかを決定する。ブロック1204において、デコーダ1300のプロセッサ1306は、決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、少なくとも1つのトーンの周波数を推定するために3つの連続するビン値を処理し得る。
略語
以下の略語のうちの少なくともいくつかが本開示で使用され得る。略語間の不整合がある場合、その略語が上記でどのように使用されるかが選好されるべきである。以下で複数回リストされる場合、最初のリスティングが(1つまたは複数の)後続のリスティングよりも選好されるべきである。
略語 説明
ADC アナログデジタル変換器
BFI 不良フレームインジケータ
DAC デジタルアナログ変換器
FFT 高速フーリエ変換
IFFT 逆高速フーリエ変換
ITDA 逆時間ドメインエイリアシング
LA_ZEROS ルックアヘッドゼロ
MDCT 修正離散コサイン変換
OLA オーバーラップ加算
TDA 時間ドメインエイリアシング
参考文献
[1]
国際特許公開第WO2014/123469A1号
[2]
M AllieおよびR Lyons、「A Root of Less Evil」、IEEE Signal Processing Magazine、93~96ページ、2005年3月
[3]
E JacobsenおよびP Kootsooks、「Fast Accurate Frequency Estimation」、IEEE Signal Processing Magazine、123~125ページ、2007年5月
[4]
国際特許公開第WO2014/123471A1号
発明概念のさらなる説明が、文献国際特許出願公開第WO2014/123469A1号において提供される。
発明概念の例示的な実施形態のリスティング:
例示的な実施形態が以下で説明される。参照番号/文字は、例示的な実施形態を、参照番号/文字によって示される特定のエレメントに限定することなしに、例/例示として丸括弧中に提供される。
1. 受信されたオーディオ信号の損失したオーディオフレームについての隠蔽方法を制御するための方法であって、方法は、
少なくとも1つのトーンについてのスペクトル表現の複数のビンベクトルを受信すること(1200、1312)であって、複数のビンベクトルが、少なくとも1つのトーンについての3つの連続するビンベクトルを含む、複数のビンベクトルを受信すること(1200、1312)と、
3つの連続するビンベクトルの各々が複素数値を有するのか実数値を有するのかを決定すること(1202、1314)と、
決定に応答して、少なくとも1つのトーンの周波数を推定するために3つの連続するビン値を処理すること(1204、1316)と
を含む、方法。
2. 決定することは、少なくとも1つのトーンについての3つの連続するビンベクトルの各々が複素数値を有すると決定することを含み、処理することは、3つの連続するビンベクトルの各々についての複素数値係数を抽出することと、3つの連続するビンベクトルの各々についての複素数値係数に基づいて、少なくとも1つのトーンについてのフラクショナルビンオフセットを計算すること(1204、1314)と、フラクショナルビンオフセットに基づいて、少なくとも1つのトーンについてのビン周波数を計算すること(1204、1314)とを含む、実施形態1に記載の方法。
3. 少なくとも1つのトーンについてのフラクショナルビンオフセットを計算することが、少なくとも1つのトーンについての3つの連続するビンベクトルの各々を含んでいる周波数スペクトルについての、スケーリング係数、スペクトル表現のために使用される窓関数、および変換長を含む、実施形態1または2に記載の方法。
4. スケーリング係数が窓関数のタイプに依存する、実施形態1から3のいずれか1つに記載の方法。
5. 少なくとも1つのトーンについてのフラクショナルビンオフセットを計算することが、3つの連続するビンベクトルの各々を含んでいる周波数スペクトルについての、窓関数および変換長を含む、実施形態1から4のいずれか1つに記載の方法。
6. 窓関数が、ハム窓に基づくテーパリングとの組み合わせられた矩形窓を含む、実施形態1から5のいずれか1つに記載の方法。
7. 矩形窓が矩形長さを含み、ハム窓がフェージング長さを含む、実施形態1から6のいずれか1つに記載の方法。
8. 矩形長さおよびフェージング長さの各々が、少なくとも1つのサンプリング周波数に依存する、実施形態1から7のいずれか1つに記載の方法。
9. スケーリング係数は、窓関数が、ハム窓に基づくテーパリングとの組み合わせられた矩形窓を含むとき、定数を含む、実施形態1から18のいずれか1つに記載の方法。
10. 窓関数が周期的ハム窓を含む、実施形態1から9のいずれか1つに記載の方法。
11. スケーリング係数は、窓関数が、周期的ハム窓を含むとき、定数を含む、実施形態1から10のいずれか1つに記載の方法。
12. 少なくとも1つのトーンについてのビン周波数を計算することが、少なくとも1つのトーンについてのフラクショナルビンオフセットと、3つの連続するビンのうちの第1のビンにおける少なくとも1つのトーンのロケーションと、Hz/ビン単位の粗い分解能とを含む、実施形態1から11のいずれか1つに記載の方法。
13. 粗い分解能が、周波数スペクトルについての変換長、およびサンプリング周波数に依存する、実施形態1から12のいずれか1つに記載の方法。
14. 決定することおよび処理することが、スペクトル表現の少なくとも1つのトーンの各々について実施される、実施形態1から13のいずれか1つに記載の方法。
15. 決定することは、3つの連続するビンベクトルのうちの少なくとも1つが実数値を有すると決定することを含み、処理することが、3つの連続するビンベクトルの各々についてのマグニチュードポイントを抽出することと、3つの連続するビンベクトルの各々についてのマグニチュードポイントに基づいて、フラクショナルビンオフセットを計算することと、フラクショナルビンオフセットに基づいて、少なくとも1つのトーンについてのビン周波数を計算することとを含む、実施形態1に記載の方法。
16. 受信されたオーディオ信号の損失したオーディオフレームについての隠蔽方法を制御するためのデコーダ(1300)であって、デコーダが、
プロセッサ(1306)と、
プロセッサに結合されたメモリ(1308)と
を備え、メモリが、プロセッサによって実行されたとき、デコーダに、実施形態1から15のいずれか1つに記載の動作を実施させる命令を含む、デコーダ(1300)。
17. 受信されたオーディオ信号の損失したオーディオフレームについての隠蔽方法を制御するためのデコーダ(1300)であって、デコーダが、実施形態1から15のいずれか1つに従って実施するように適合された、デコーダ(1300)。
18. 受信されたオーディオ信号の損失したオーディオフレームについての隠蔽方法を制御するためのデコーダ(1300)の少なくとも1つのプロセッサ(1306)によって実行されるべきプログラムコードを備えるコンピュータプログラムであって、プログラムコードの実行が、デコーダ(1300)に、実施形態1から15のいずれか1つに記載の動作を実施させる、コンピュータプログラム。
19. 受信されたオーディオ信号の損失したオーディオフレームについての隠蔽方法を制御するためのデコーダ(1300)の少なくとも1つのプロセッサ(1306)によって実行されるべきプログラムコードを含む非一時的記憶媒体を備えるコンピュータプログラム製品であって、プログラムコードの実行が、デコーダ(1300)に、実施形態1から15のいずれか1つに記載の動作を実施させる、コンピュータプログラム製品。
追加の説明
概して、本明細書で使用されるすべての用語は、異なる意味が、明確に与えられ、および/またはその用語が使用される文脈から暗示されない限り、関連する技術分野における、それらの用語の通常の意味に従って解釈されるべきである。1つの(a/an)/その(the)エレメント、装置、構成要素、手段、ステップなどへのすべての言及は、別段明示的に述べられていない限り、そのエレメント、装置、構成要素、手段、ステップなどの少なくとも1つの事例に言及しているものとしてオープンに解釈されるべきである。本明細書で開示されるいずれの方法のステップも、ステップが、別のステップに後続するかまたは先行するものとして明示的に説明されない限り、および/あるいはステップが別のステップに後続するかまたは先行しなければならないことが暗黙的である場合、開示される厳密な順序で実施される必要はない。本明細書で開示される実施形態のいずれかの任意の特徴は、適切であればいかなる場合も、任意の他の実施形態に適用され得る。同じように、実施形態のいずれかの任意の利点は、任意の他の実施形態に適用され得、その逆も同様である。同封の実施形態の他の目的、特徴、および利点は、以下の説明から明らかになる。
本明細書で開示される任意の適切なステップ、方法、特徴、機能、または利益は、1つまたは複数の仮想装置の1つまたは複数の機能ユニットまたはモジュールを通して実施され得る。各仮想装置は、いくつかのこれらの機能ユニットを備え得る。これらの機能ユニットは、1つまたは複数のマイクロプロセッサまたはマイクロコントローラを含み得る、処理回路、ならびに、デジタル信号プロセッサ(DSP)、専用デジタル論理などを含み得る、他のデジタルハードウェアを介して実装され得る。処理回路は、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、キャッシュメモリ、フラッシュメモリデバイス、光記憶デバイスなど、1つまたはいくつかのタイプのメモリを含み得る、メモリに記憶されたプログラムコードを実行するように設定され得る。メモリに記憶されたプログラムコードは、1つまたは複数の通信および/またはデータ通信プロトコルを実行するためのプログラム命令、ならびに本明細書で説明される技法のうちの1つまたは複数を行うための命令を含む。いくつかの実装形態では、処理回路は、それぞれの機能ユニットに、本開示の1つまたは複数の実施形態による、対応する機能を実施させるために使用され得る。
ユニットという用語は、エレクトロニクス、電気デバイス、および/または電子デバイスの分野での通常の意味を有し得、たとえば、本明細書で説明されるものなど、それぞれのタスク、プロシージャ、算出、出力、および/または表示機能を行うための、電気および/または電子回路、デバイス、モジュール、プロセッサ、メモリ、論理固体および/または個別デバイス、コンピュータプログラムまたは命令などを含み得る。
本発明概念の様々な実施形態の上記の説明では、本明細書で使用される専門用語は、具体的な実施形態を説明するためのものにすぎず、本発明概念を限定するものではないことを理解されたい。別段に規定されていない限り、本明細書で使用される(技術用語および科学用語を含む)すべての用語は、本発明概念が属する技術の当業者によって通常理解されるものと同じ意味を有する。通常使用される辞書において規定される用語など、用語は、本明細書および関連技術の文脈におけるそれらの用語の意味に従う意味を有するものとして解釈されるべきであり、明確にそのように本明細書で規定されない限り、理想的なまたは過度に形式的な意味において解釈されないことをさらに理解されよう。
エレメントが、別のエレメントに「接続された」、「結合された」、「応答する」、またはそれらの変形態であると呼ばれるとき、そのエレメントは、別のエレメントに直接、接続され、結合され、または応答し得、あるいは介在するエレメントが存在し得る。対照的に、エレメントが、別のエレメントに「直接接続された」、「直接結合された」、「直接応答する」、またはそれらの変形態であると呼ばれるとき、介在するエレメントが存在しない。同様の番号は、全体を通して同様のエレメントを指す。さらに、本明細書で使用される、「結合された」、「接続された」、「応答する」、またはそれらの変形態は、無線で結合された、無線で接続された、または無線で応答する、を含み得る。本明細書で使用される単数形「a」、「an」および「the」は、文脈が別段に明確に示すのでなければ、複数形をも含むものとする。簡潔および/または明快のために、よく知られている機能または構築が詳細に説明されないことがある。「および/または」という用語は、関連するリストされた項目のうちの1つまたは複数の任意のおよび全部の組合せを含む。
様々なエレメント/動作を説明するために、第1の、第2の、第3の、などの用語が本明細書で使用され得るが、これらのエレメント/動作は、これらの用語によって限定されるべきでないことを理解されよう。これらの用語は、あるエレメント/動作を別のエレメント/動作と区別するために使用されるにすぎない。したがって、本発明概念の教示から逸脱することなしに、いくつかの実施形態における第1のエレメント/動作が、他の実施形態において第2のエレメント/動作と呼ばれることがある。同じ参照番号または同じ参照符号は、本明細書全体にわたって同じまたは同様のエレメントを示す。
本明細書で使用される、「備える、含む(comprise)」、「備える、含む(comprising)」、「備える、含む(comprises)」、「含む(include)」、「含む(including)」、「含む(includes)」、「有する(have)」、「有する(has)」、「有する(having)」という用語、またはそれらの変形態は、オープンエンドであり、1つまたは複数の述べられた特徴、完全体、エレメント、ステップ、構成要素または機能を含むが、1つまたは複数の他の特徴、完全体、エレメント、ステップ、構成要素、機能またはそれらのグループの存在または追加を排除しない。さらに、本明細書で使用される、「たとえば(exempli gratia)」というラテン語句に由来する「たとえば(e.g.)」という通例の略語は、前述の項目の一般的な1つまたは複数の例を紹介するかまたは具体的に挙げるために使用され得、そのような項目を限定するものではない。「すなわち(id est)」というラテン語句に由来する「すなわち(i.e.)」という通例の略語は、より一般的な具陳から特定の項目を具体的に挙げるために使用され得る。
例示的な実施形態が、コンピュータ実装方法、装置(システムおよび/またはデバイス)および/またはコンピュータプログラム製品のブロック図および/またはフローチャート例示を参照しながら本明細書で説明される。ブロック図および/またはフローチャート例示のブロック、ならびにブロック図および/またはフローチャート例示中のブロックの組合せが、1つまたは複数のコンピュータ回路によって実施されるコンピュータプログラム命令によって実装され得ることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ回路、専用コンピュータ回路、および/またはマシンを作り出すための他のプログラマブルデータ処理回路のプロセッサ回路に提供され得、したがって、コンピュータおよび/または他のプログラマブルデータ処理装置のプロセッサを介して実行する命令は、ブロック図および/またはフローチャートの1つまたは複数のブロックにおいて指定された機能/行為を実装するために、およびそれにより、ブロック図および/またはフローチャートの(1つまたは複数の)ブロックにおいて指定された機能/行為を実装するための手段(機能)および/または構造を作成するために、トランジスタ、メモリロケーションに記憶された値、およびそのような回路内の他のハードウェア構成要素を変換および制御する。
これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラマブルデータ処理装置に特定の様式で機能するように指示することができる、有形コンピュータ可読媒体に記憶され得、したがって、コンピュータ可読媒体に記憶された命令は、ブロック図および/またはフローチャートの1つまたは複数のブロックにおいて指定された機能/行為を実装する命令を含む製造品を作り出す。したがって、本発明概念の実施形態は、ハードウェアで、および/または「回路」、「モジュール」またはそれらの変形態と総称して呼ばれることがある、デジタル信号プロセッサなどのプロセッサ上で稼働する(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)ソフトウェアで具現され得る。
また、いくつかの代替実装形態では、ブロック中で言及される機能/行為は、フローチャート中で言及される順序から外れて行われ得ることに留意されたい。たとえば、関与する機能/行為に応じて、連続して示されている2つのブロックが、事実上、実質的にコンカレントに実行され得るか、またはブロックが、時々、逆の順序で実行され得る。その上、フローチャートおよび/またはブロック図の所与のブロックの機能が、複数のブロックに分離され得、ならびに/あるいはフローチャートおよび/またはブロック図の2つまたはそれ以上のブロックの機能が、少なくとも部分的に統合され得る。最後に、他のブロックが、示されているブロック間に追加/挿入され得、および/または発明概念の範囲から逸脱することなく、ブロック/動作が省略され得る。その上、図のうちのいくつかが、通信の主要な方向を示すために通信経路上に矢印を含むが、通信が、図示された矢印と反対方向に行われ得ることを理解されたい。
本発明概念の原理から実質的に逸脱することなしに、実施形態に対して多くの変形および修正が行われ得る。すべてのそのような変形および修正は、本発明概念の範囲内で本明細書に含まれるものとする。したがって、上記で開示された主題は、例示であり、限定するものではないと見なされるべきであり、実施形態の例は、本発明概念の趣旨および範囲内に入る、すべてのそのような修正、拡張、および他の実施形態をカバーするものとする。したがって、法によって最大限に許容される限りにおいて、本発明概念の範囲は、実施形態およびそれらの等価物の例を含む、本開示の最も広い許容可能な解釈によって決定されるべきであり、上記の詳細な説明によって制限または限定されるべきでない。

Claims (26)

  1. 受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するための方法であって、
    少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得すること(1200、1312)であって、前記少なくとも1つのビンベクトルが、前記少なくとも1つのトーンについての3つの連続するビン値を含む、少なくとも1つのビンベクトルを取得すること(1200、1312)と、
    前記3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定すること(1202、1314)と、
    前記決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、前記少なくとも1つのトーンの周波数を推定するために前記3つの連続するビン値を処理すること(1204、1316)と
    を含む、方法。
  2. 前記少なくとも1つのトーンについての前記3つの連続するビン値の各々が複素数値を有すると決定したことに応答して、
    前記3つの連続するビン値の各々についての複素数値係数を抽出することと、
    前記3つの連続するビン値の各々の前記複素数値係数に基づいて、前記少なくとも1つのトーンについてのフラクショナルビンオフセットを計算すること(1204、1314)と、
    前記フラクショナルビンオフセットに基づいて、前記少なくとも1つのトーンについてのビン周波数を計算すること(1204、1314)と
    を行う、請求項1に記載の方法。
  3. 前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することが、前記少なくとも1つのトーンについての前記3つの連続するビン値の各々を含んでいる周波数スペクトルについての、スケーリング係数、前記スペクトル表現のために使用される窓関数、および変換長に基づいて、前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することを含む、請求項2に記載の方法。
  4. 前記スケーリング係数が窓関数のタイプに依存する、請求項3に記載の方法。
  5. 前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することが、前記3つの連続するビン値の各々を含んでいる周波数スペクトルについての、窓関数および変換長に基づいて、前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することを含む、請求項2から4のいずれか一項に記載の方法。
  6. 前記フラクショナルビンオフセットを計算することが、
    =(k+δ)C
    に従って前記フラクショナルビンオフセットを計算することを含み、fが、ピークロケーションkについての前記フラクショナルビンオフセットであり、δが補間値であり、Cが、Hz/ビン単位の粗い分解能である、請求項5に記載の方法。
  7. δが、
    Figure 2022521494000025
    に従って決定され、ここで、Kjacobがスケーリング係数であり、Xk-1、X、およびXk+1が、kにおける前記少なくとも1つのトーンについての複素数値係数である、請求項6に記載の方法。
  8. 前記3つの連続するビン値のうちの少なくとも1つが実数値を有すると決定したことに応答して、
    前記3つの連続するビン値の各々についてのマグニチュードポイントを抽出することと、
    前記3つの連続するビン値の各々についての前記マグニチュードポイントに基づいて、フラクショナルビンオフセットを計算することと、
    前記フラクショナルビンオフセットに基づいて、前記少なくとも1つのトーンについてのビン周波数を計算することと
    をさらに含む、請求項1に記載の方法。
  9. 前記少なくとも1つのトーンについての前記3つの連続するビン値の各々が複素数値を有すると決定したことに応答して、
    前記3つの連続するビン値の各々についての複素数値係数を抽出することと、
    前記3つの連続するビン値の各々の前記複素数値係数に基づいて、前記少なくとも1つのトーンについてのフラクショナルビンオフセットを計算すること(1204、1314)と、
    前記フラクショナルビンオフセットに基づいて、前記少なくとも1つのトーンについてのビン周波数を計算すること(1204、1314)と、
    前記3つの連続するビン値のうちの少なくとも1つが実数値を有すると決定したことに応答して、
    前記3つの連続するビン値の各々についてのマグニチュードポイントを抽出することと、
    前記3つの連続するビン値の各々の前記マグニチュードポイントに基づいて、前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することと、
    前記フラクショナルビンオフセットに基づいて、前記少なくとも1つのトーンについての前記ビン周波数を計算することと
    をさらに含む、請求項1に記載の方法。
  10. 決定することおよび処理することが、前記スペクトル表現の前記少なくとも1つのトーンの各々について実施される、請求項1から9のいずれか一項に記載の方法。
  11. 受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するための装置(1304)であって、
    少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得すること(1200、1312)であって、前記少なくとも1つのビンベクトルが、前記少なくとも1つのトーンについての3つの連続するビン値を含む、少なくとも1つのビンベクトルを取得すること(1200、1312)と、
    前記3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定すること(1202、1314)と、
    前記決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、前記少なくとも1つのトーンの周波数を推定するために前記3つの連続するビン値を処理すること(1204、1316)と
    を含む動作を実施する、装置(1304)。
  12. 前記装置が、処理回路(1306)と、前記処理回路に結合されたメモリ(1308)とを備え、前記メモリは、前記処理回路によって実行されたとき、前記装置に、前記少なくとも1つのトーンについての前記3つの連続するビン値の各々が複素数値を有すると決定したことに応答して、
    前記3つの連続するビン値の各々についての複素数値係数を抽出することと、
    前記3つの連続するビン値の各々の前記複素数値係数に基づいて、前記少なくとも1つのトーンについてのフラクショナルビンオフセットを計算すること(1204、1314)と、
    前記フラクショナルビンオフセットに基づいて、前記少なくとも1つのトーンについてのビン周波数を計算すること(1204、1314)と
    を含む動作を実施させる命令を含む、請求項11に記載の装置。
  13. 前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することが、前記少なくとも1つのトーンについての前記3つの連続するビン値の各々を含んでいる周波数スペクトルについての、スケーリング係数、前記スペクトル表現のために使用される窓関数、および変換長に基づいて、前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することを含む、請求項12に記載の装置。
  14. 前記スケーリング係数が窓関数のタイプに依存する、請求項13に記載の装置。
  15. 前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することが、前記3つの連続するビン値の各々を含んでいる周波数スペクトルについての、窓関数および変換長に基づいて、前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することを含む、請求項12から14のいずれか一項に記載の装置。
  16. 前記フラクショナルビンオフセットを計算することが、
    =(k+δ)C
    に従って前記フラクショナルビンオフセットを計算することを含み、fが、ピークロケーションkについての前記フラクショナルビンオフセットであり、δが補間値であり、Cが、Hz/ビン単位の粗い分解能である、請求項15に記載の装置。
  17. δが、
    Figure 2022521494000026
    に従って決定され、ここで、Kjacobがスケーリング係数であり、Xk-1、X、およびXk+1が、kにおける前記少なくとも1つのトーンについての複素数値係数である、請求項16に記載の装置。
  18. 前記装置が、処理回路(1306)と、前記処理回路に結合されたメモリ(1308)とを備え、前記メモリは、前記処理回路によって実行されたとき、前記装置に、前記3つの連続するビン値のうちの少なくとも1つが実数値を有すると決定したことに応答して、
    前記3つの連続するビン値の各々についてのマグニチュードポイントを抽出することと、
    前記3つの連続するビン値の各々についての前記マグニチュードポイントに基づいて、フラクショナルビンオフセットを計算することと、
    前記フラクショナルビンオフセットに基づいて、前記少なくとも1つのトーンについてのビン周波数を計算することと
    をさらに含む動作を実施させる命令を含む、請求項11に記載の装置。
  19. 前記装置が、処理回路(1306)と、前記処理回路に結合されたメモリ(1308)とを備え、前記メモリは、前記処理回路によって実行されたとき、前記装置に、
    前記少なくとも1つのトーンについての前記3つの連続するビン値の各々が複素数値を有すると決定したことに応答して、
    前記3つの連続するビン値の各々についての複素数値係数を抽出することと、
    前記3つの連続するビン値の各々の前記複素数値係数に基づいて、前記少なくとも1つのトーンについてのフラクショナルビンオフセットを計算すること(1204、1314)と、
    前記フラクショナルビンオフセットに基づいて、前記少なくとも1つのトーンについてのビン周波数を計算すること(1204、1314)と、
    前記3つの連続するビン値のうちの少なくとも1つが実数値を有すると決定したことに応答して、
    前記3つの連続するビン値の各々についてのマグニチュードポイントを抽出することと、
    前記3つの連続するビン値の各々の前記マグニチュードポイントに基づいて、前記少なくとも1つのトーンについての前記フラクショナルビンオフセットを計算することと、
    前記フラクショナルビンオフセットに基づいて、前記少なくとも1つのトーンについての前記ビン周波数を計算することと
    をさらに含む動作を実施させる命令を含む、請求項11に記載の装置。
  20. 決定することおよび処理することが、前記スペクトル表現の前記少なくとも1つのトーンの各々について実施される、請求項11から19のいずれか一項に記載の装置。
  21. 受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するためのデコーダ(1300)であって、
    前に復号されたオーディオフレームのスペクトル表現を作り出すために、窓処理および高速フーリエ変換(FFT)を使用して、前記前に復号されたオーディオフレームの一部の正弦波分析を実施することと、
    前記スペクトル表現のピークを、少なくとも1つのトーンについてのスペクトル表現を識別するために、識別することと、
    少なくとも1つのトーンについての前記スペクトル表現の少なくとも1つのビンベクトルを取得すること(1200、1312)であって、前記少なくとも1つのビンベクトルが、前記少なくとも1つのトーンについての3つの連続するビン値を含む、少なくとも1つのビンベクトルを取得すること(1200、1312)と、
    前記3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定すること(1202、1314)と、
    前記決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、前記少なくとも1つのトーンの周波数を推定するために前記3つの連続するビン値を処理すること(1204、1316)と
    を含む動作を実施するように適合された、デコーダ(1300)。
  22. 前記デコーダが、請求項2から10のいずれか一項に記載の動作を実施するようにさらに適合された、請求項21に記載のデコーダ。
  23. 受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するためのデコーダ(1300)の少なくとも1つのプロセッサ(1306)によって実行されるべきプログラムコードを備えるコンピュータプログラムであって、前記プログラムコードの実行は、前記デコーダ(1300)に、
    少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得すること(1200、1312)であって、前記少なくとも1つのビンベクトルが、前記少なくとも1つのトーンについての3つの連続するビン値を含む、少なくとも1つのビンベクトルを取得すること(1200、1312)と、
    前記3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定すること(1202、1314)と、
    前記決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、前記少なくとも1つのトーンの周波数を推定するために前記3つの連続するビン値を処理すること(1204、1316)と
    を含む動作を実施させる、コンピュータプログラム。
  24. 前記コンピュータプログラムが、前記デコーダ(1300)の前記少なくとも1つのプロセッサ(1306)によって実行されるべきさらなるプログラムコードを備え、それにより、前記プログラムコードの実行が、前記デコーダ(1300)に、請求項2から10のいずれか一項に記載の動作を実施させる、請求項23に記載のコンピュータプログラム。
  25. 受信されたオーディオ信号に関連する損失したオーディオフレームについての隠蔽方法を制御するためのデコーダ(1300)の少なくとも1つのプロセッサ(1306)によって実行されるべきプログラムコードを含む非一時的記憶媒体を備えるコンピュータプログラム製品であって、前記プログラムコードの実行は、前記デコーダ(1300)に、
    少なくとも1つのトーンについてのスペクトル表現の少なくとも1つのビンベクトルを取得すること(1200、1312)であって、前記少なくとも1つのビンベクトルが、前記少なくとも1つのトーンについての3つの連続するビン値を含む、少なくとも1つのビンベクトルを取得すること(1200、1312)と、
    前記3つの連続するビン値の各々が複素数値を有するのか実数値を有するのかを決定すること(1202、1314)と、
    前記決定に応答して、各ビン値が複素数値を有するのか実数値を有するのかに基づいて、前記少なくとも1つのトーンの周波数を推定するために前記3つの連続するビン値を処理すること(1204、1316)と
    を含む動作を実施させる、コンピュータプログラム製品。
  26. 前記非一時的記憶媒体が、前記デコーダ(1300)の前記少なくとも1つのプロセッサ(1306)によって実行されるべきさらなるプログラムコードを含み、それにより、前記プログラムコードの実行が、前記デコーダ(1300)に、請求項2から10のいずれか一項に記載の動作を実施させる、請求項25に記載のコンピュータプログラム製品。
JP2021547687A 2019-02-21 2020-02-20 位相ecu f0補間スプリットのための方法および関係するコントローラ Active JP7178506B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022181549A JP7471375B2 (ja) 2019-02-21 2022-11-14 位相ecu f0補間スプリットのための方法および関係するコントローラ

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962808587P 2019-02-21 2019-02-21
US201962808600P 2019-02-21 2019-02-21
US201962808610P 2019-02-21 2019-02-21
US62/808,587 2019-02-21
US62/808,600 2019-02-21
US62/808,610 2019-02-21
PCT/EP2020/054520 WO2020169754A1 (en) 2019-02-21 2020-02-20 Methods for phase ecu f0 interpolation split and related controller

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022181549A Division JP7471375B2 (ja) 2019-02-21 2022-11-14 位相ecu f0補間スプリットのための方法および関係するコントローラ

Publications (2)

Publication Number Publication Date
JP2022521494A true JP2022521494A (ja) 2022-04-08
JP7178506B2 JP7178506B2 (ja) 2022-11-25

Family

ID=69701173

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2021547686A Active JP7335968B2 (ja) 2019-02-21 2020-02-20 Mdct係数からのスペクトル形状予測
JP2021547688A Active JP7307805B2 (ja) 2019-02-21 2020-02-20 周波数領域パケットロス補償のための方法、および関連デコーダ
JP2021547687A Active JP7178506B2 (ja) 2019-02-21 2020-02-20 位相ecu f0補間スプリットのための方法および関係するコントローラ
JP2022181549A Active JP7471375B2 (ja) 2019-02-21 2022-11-14 位相ecu f0補間スプリットのための方法および関係するコントローラ
JP2023107640A Active JP7568788B2 (ja) 2019-02-21 2023-06-30 周波数領域パケットロス補償のための方法、および関連デコーダ
JP2023133704A Pending JP2023166423A (ja) 2019-02-21 2023-08-18 Mdct係数からのスペクトル形状予測

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2021547686A Active JP7335968B2 (ja) 2019-02-21 2020-02-20 Mdct係数からのスペクトル形状予測
JP2021547688A Active JP7307805B2 (ja) 2019-02-21 2020-02-20 周波数領域パケットロス補償のための方法、および関連デコーダ

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2022181549A Active JP7471375B2 (ja) 2019-02-21 2022-11-14 位相ecu f0補間スプリットのための方法および関係するコントローラ
JP2023107640A Active JP7568788B2 (ja) 2019-02-21 2023-06-30 周波数領域パケットロス補償のための方法、および関連デコーダ
JP2023133704A Pending JP2023166423A (ja) 2019-02-21 2023-08-18 Mdct係数からのスペクトル形状予測

Country Status (9)

Country Link
US (6) US11705136B2 (ja)
EP (3) EP3928313A1 (ja)
JP (6) JP7335968B2 (ja)
KR (1) KR20210130743A (ja)
CN (4) CN113439302A (ja)
BR (1) BR112021014477A2 (ja)
CO (2) CO2021010587A2 (ja)
MX (1) MX2021009635A (ja)
WO (3) WO2020169754A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984920B (zh) * 2020-08-31 2022-03-18 广东电网有限责任公司广州供电局 次/超同步谐波参数识别方法、装置、设备和介质
CN118364211B (zh) * 2024-06-19 2024-08-30 南京信息工程大学 一种数字矢量信号频谱分析方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014123469A1 (en) * 2013-02-05 2014-08-14 Telefonaktiebolaget L M Ericsson (Publ) Enhanced audio frame loss concealment
JP2016526703A (ja) * 2013-06-21 2016-09-05 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. オーディオ信号の置換フレームのためのスペクトル係数を得るための方法および装置、オーディオデコーダ、オーディオ受信機ならびにオーディオ信号を送信するためのシステム

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884253A (en) * 1992-04-09 1999-03-16 Lucent Technologies, Inc. Prototype waveform speech coding with interpolation of pitch, pitch-period waveforms, and synthesis filter
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
US5848391A (en) * 1996-07-11 1998-12-08 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method subband of coding and decoding audio signals using variable length windows
US7117156B1 (en) * 1999-04-19 2006-10-03 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
WO2001033411A1 (en) * 1999-10-30 2001-05-10 Stmicroelectronics Asia Pacific Pte. Ltd. Fast modified discrete cosine transform method
US7016850B1 (en) * 2000-01-26 2006-03-21 At&T Corp. Method and apparatus for reducing access delay in discontinuous transmission packet telephony systems
US20030177011A1 (en) 2001-03-06 2003-09-18 Yasuyo Yasuda Audio data interpolation apparatus and method, audio data-related information creation apparatus and method, audio data interpolation information transmission apparatus and method, program and recording medium thereof
US7324444B1 (en) * 2002-03-05 2008-01-29 The Board Of Trustees Of The Leland Stanford Junior University Adaptive playout scheduling for multimedia communication
KR100467617B1 (ko) * 2002-10-30 2005-01-24 삼성전자주식회사 개선된 심리 음향 모델을 이용한 디지털 오디오 부호화방법과그 장치
KR100477701B1 (ko) * 2002-11-07 2005-03-18 삼성전자주식회사 Mpeg 오디오 인코딩 방법 및 mpeg 오디오 인코딩장치
US7325023B2 (en) 2003-09-29 2008-01-29 Sony Corporation Method of making a window type decision based on MDCT data in audio encoding
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder
US7526351B2 (en) * 2005-06-01 2009-04-28 Microsoft Corporation Variable speed playback of digital audio
US8473298B2 (en) * 2005-11-01 2013-06-25 Apple Inc. Pre-resampling to achieve continuously variable analysis time/frequency resolution
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
BRPI0718300B1 (pt) * 2006-10-24 2018-08-14 Voiceage Corporation Método e dispositivo para codificar quadros de transição em sinais de fala.
KR101292771B1 (ko) * 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
JP5103880B2 (ja) 2006-11-24 2012-12-19 富士通株式会社 復号化装置および復号化方法
CN101207468B (zh) * 2006-12-19 2010-07-21 华为技术有限公司 丢帧隐藏方法、系统和装置
US8165872B2 (en) * 2007-02-01 2012-04-24 Broadcom Corporation Method and system for improving speech quality
US8468024B2 (en) * 2007-05-14 2013-06-18 Freescale Semiconductor, Inc. Generating a frame of audio data
JP5618826B2 (ja) * 2007-06-14 2014-11-05 ヴォイスエイジ・コーポレーション Itu.t勧告g.711と相互運用可能なpcmコーデックにおいてフレーム消失を補償する装置および方法
US8185388B2 (en) * 2007-07-30 2012-05-22 Huawei Technologies Co., Ltd. Apparatus for improving packet loss, frame erasure, or jitter concealment
TW200912892A (en) * 2007-09-04 2009-03-16 Univ Nat Central Method and apparatus of low-complexity psychoacoustic model applicable for advanced audio coding encoders
CA2715432C (en) * 2008-03-05 2016-08-16 Voiceage Corporation System and method for enhancing a decoded tonal sound signal
US20100324911A1 (en) * 2008-04-07 2010-12-23 Broadcom Corporation Cvsd decoder state update after packet loss
CN101588341B (zh) * 2008-05-22 2012-07-04 华为技术有限公司 一种丢帧隐藏的方法及装置
US9076439B2 (en) * 2009-10-23 2015-07-07 Broadcom Corporation Bit error management and mitigation for sub-band coding
US20110196673A1 (en) * 2010-02-11 2011-08-11 Qualcomm Incorporated Concealing lost packets in a sub-band coding decoder
CN104011793B (zh) 2011-10-21 2016-11-23 三星电子株式会社 帧错误隐藏方法和设备以及音频解码方法和设备
CN103714821A (zh) * 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
US9325544B2 (en) * 2012-10-31 2016-04-26 Csr Technology Inc. Packet-loss concealment for a degraded frame using replacement data from a non-degraded frame
FR3001593A1 (fr) * 2013-01-31 2014-08-01 France Telecom Correction perfectionnee de perte de trame au decodage d'un signal.
EP2954517B1 (en) 2013-02-05 2016-07-27 Telefonaktiebolaget LM Ericsson (publ) Audio frame loss concealment
ES2881510T3 (es) 2013-02-05 2021-11-29 Ericsson Telefon Ab L M Método y aparato para controlar la ocultación de pérdida de trama de audio
FR3004876A1 (fr) * 2013-04-18 2014-10-24 France Telecom Correction de perte de trame par injection de bruit pondere.
CN104282309A (zh) 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
NO2780522T3 (ja) * 2014-05-15 2018-06-09
CN107112022B (zh) 2014-07-28 2020-11-10 三星电子株式会社 用于时域数据包丢失隐藏的方法
FR3024582A1 (fr) * 2014-07-29 2016-02-05 Orange Gestion de la perte de trame dans un contexte de transition fd/lpd
JP2016038435A (ja) 2014-08-06 2016-03-22 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
EP3230980B1 (en) * 2014-12-09 2018-11-28 Dolby International AB Mdct-domain error concealment
US9978400B2 (en) * 2015-06-11 2018-05-22 Zte Corporation Method and apparatus for frame loss concealment in transform domain
EP3182410A3 (en) * 2015-12-18 2017-11-01 Dolby International AB Enhanced block switching and bit allocation for improved transform audio coding
CA3016837C (en) * 2016-03-07 2021-09-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Hybrid concealment method: combination of frequency and time domain packet loss concealment in audio codecs
KR102192998B1 (ko) * 2016-03-07 2020-12-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 상이한 주파수 대역에 대한 상이한 감쇠 인자에 따라 은닉된 오디오 프레임을 페이드 아웃하는 에러 은닉 유닛, 오디오 디코더, 및 관련 방법과 컴퓨터 프로그램
MX2018010756A (es) * 2016-03-07 2019-01-14 Fraunhofer Ges Forschung Unidad de ocultamiento de error, decodificador de audio, y método relacionado y programa de computadora que usa características de una representación decodificada de una trama de audio decodificada apropiadamente.
US10770082B2 (en) * 2016-06-22 2020-09-08 Dolby International Ab Audio decoder and method for transforming a digital audio signal from a first to a second frequency domain
EP3616196A4 (en) * 2017-04-28 2021-01-20 DTS, Inc. AUDIO ENCODER WINDOW AND TRANSFORMATION IMPLEMENTATIONS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014123469A1 (en) * 2013-02-05 2014-08-14 Telefonaktiebolaget L M Ericsson (Publ) Enhanced audio frame loss concealment
JP2016526703A (ja) * 2013-06-21 2016-09-05 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. オーディオ信号の置換フレームのためのスペクトル係数を得るための方法および装置、オーディオデコーダ、オーディオ受信機ならびにオーディオ信号を送信するためのシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Digital Enhanced Cordless Telecommunications (DECT); Low Complexity Communication Codec plus (LC3plu", ETSI TECHNICAL SPECIFICATION, vol. ETSI TS 103 634 v0.1.1, JPN6022037862, 27 June 2019 (2019-06-27), pages 85 - 90, ISSN: 0004873789 *
ERIC JACOBSEN, PETER KOOTSTOOKOS: "Fast, Accurate Frequency Estimators [DSP Tips & Tricks]", IEEE SIGNAL PROCESSING MAGAZINE, vol. Volume: 24, Issue: 3, May 2007, JPN6022037861, 21 May 2007 (2007-05-21), pages 123 - 125, ISSN: 0004873790 *

Also Published As

Publication number Publication date
BR112021014477A2 (pt) 2021-09-28
JP7568788B2 (ja) 2024-10-16
CN113454713B (zh) 2024-06-25
KR20210130743A (ko) 2021-11-01
US20220172733A1 (en) 2022-06-02
WO2020169754A1 (en) 2020-08-27
US20240135936A1 (en) 2024-04-25
US20220189490A1 (en) 2022-06-16
MX2021009635A (es) 2021-09-08
JP7178506B2 (ja) 2022-11-25
WO2020169756A1 (en) 2020-08-27
CN113454714B (zh) 2024-05-14
JP7471375B2 (ja) 2024-04-19
US11862180B2 (en) 2024-01-02
CN113454714A (zh) 2021-09-28
US20220148602A1 (en) 2022-05-12
CN118571232A (zh) 2024-08-30
JP7307805B2 (ja) 2023-07-12
US20240304192A1 (en) 2024-09-12
EP3928314A1 (en) 2021-12-29
US12002477B2 (en) 2024-06-04
JP7335968B2 (ja) 2023-08-30
CN113454713A (zh) 2021-09-28
CO2021012223A2 (es) 2021-09-30
EP3928312A1 (en) 2021-12-29
JP2023166423A (ja) 2023-11-21
EP3928313A1 (en) 2021-12-29
WO2020169757A1 (en) 2020-08-27
JP2022521188A (ja) 2022-04-06
US11705136B2 (en) 2023-07-18
CO2021010587A2 (es) 2021-08-30
US20230298597A1 (en) 2023-09-21
CN113439302A (zh) 2021-09-24
JP2022521077A (ja) 2022-04-05
JP2023138988A (ja) 2023-10-03
JP2023029834A (ja) 2023-03-07

Similar Documents

Publication Publication Date Title
JP6818838B2 (ja) 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
JP6698792B2 (ja) オーディオフレーム損失のコンシールメントを制御する方法及び装置
JP7471375B2 (ja) 位相ecu f0補間スプリットのための方法および関係するコントローラ
JP5978408B2 (ja) オーディオフレーム損失コンシールメント
JP4782006B2 (ja) 低ビットレートオーディオ符号化
EP2954516A1 (en) Enhanced audio frame loss concealment
US20220284908A1 (en) Encoder, decoder, encoding method and decoding method for frequency domain long-term prediction of tonal signals for audio coding
JP6728142B2 (ja) デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置
JP2019133169A (ja) バーストフレーム誤り処理
CA2955757C (en) Apparatus and method for comfort noise generation mode selection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7178506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150