JP2019194704A - 独立したノイズ充填を用いた強化された信号を生成するための装置および方法 - Google Patents

独立したノイズ充填を用いた強化された信号を生成するための装置および方法 Download PDF

Info

Publication number
JP2019194704A
JP2019194704A JP2019103541A JP2019103541A JP2019194704A JP 2019194704 A JP2019194704 A JP 2019194704A JP 2019103541 A JP2019103541 A JP 2019103541A JP 2019103541 A JP2019103541 A JP 2019103541A JP 2019194704 A JP2019194704 A JP 2019194704A
Authority
JP
Japan
Prior art keywords
spectral
noise
region
value
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019103541A
Other languages
English (en)
Other versions
JP6992024B2 (ja
Inventor
サッシャ ディスヒ
Sasha Disching
サッシャ ディスヒ
ラルフ ガイガー
Geiger Ralf
ラルフ ガイガー
アンドレーアス ニーダーマイアー
Niedermeier Andreas
アンドレーアス ニーダーマイアー
マティアス ノイズィンガー
Nofsinger Mathias
マティアス ノイズィンガー
コンスタンティン シュミット
Schmidt Konstantin
コンスタンティン シュミット
シュテファン ヴィルデ
Stephan Wilde
シュテファン ヴィルデ
ベンヤミン シューベルト
schubert Benjamin
ベンヤミン シューベルト
クリスティアン ノイカム
Neukam Christian
クリスティアン ノイカム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2019194704A publication Critical patent/JP2019194704A/ja
Priority to JP2021198957A priority Critical patent/JP7391930B2/ja
Application granted granted Critical
Publication of JP6992024B2 publication Critical patent/JP6992024B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Abstract

【課題】BWEやIGFにおいて複数のスペクトル領域を再現するために相関するノイズを用いた場合の知覚的な損傷を低減する。【解決手段】入力信号600から強化された信号を生成する装置であって、強化された信号のスペクトル値は、入力信号に含まれない。装置は、入力信号のソース・スペクトル領域を強化スペクトル領域におけるターゲット領域にマップするためのマッパー602として動作する。ソース・スペクトル領域は、ノイズ充填領域702を含み、入力信号のソース・スペクトル領域におけるノイズ充填領域に対する第1のノイズ値を生成し、ターゲット領域におけるノイズ領域に対する第2のノイズ値を生成する。第2のノイズ値は、第1のノイズ値から非相関またはターゲット領域における第2のノイズ値を生成する。第2のノイズ値は、第1のノイズ値から非相関されるノイズ・フィラーを含む。【選択図】図7

Description

本出願は、信号処理に関するものであり、特に、音声信号処理に関するものである。
効率的保存のためのデータ量減少を目的とした音声信号の知覚的な符号化、または、これらの信号の伝送は、広く実用的に使われている。特に、最低ビットレートを達成しようとする時に、使用される符号化は、伝送される音声信号帯域のエンコーダ側での制限によってしばしば主に起因する音声品質の低下につながる。現代のコーデックにおいて、周知な方法が、音声信号Band Width Extension(BWE)(例えばSpectral Band Replication(SBR))を用いるデコーダ側の信号復元のために存在する。
低ビットレートの符号化において、いわゆるノイズ充填は、使用される。厳しいビットレート制限のためにゼロに量子化された突出したスペクトル領域は、デコーダ内で合成されたノイズで充填される。
通常、両方の技術は、低ビットレートの符号化の適用において同時に行われる。さらに、Intelligent Gap Filling(IGF)のような、音声符号化、ノイズ充填およびスペクトル・ギャップ充填を同時に用いる統合的解決法が存在する。
しかしながら、すべてのこれらの方法は、第一段階で、ベースバンドまたはコア音声信号が波形復号化およびノイズ充填を用いて再現され、第二段階で、BWEまたはIGF処理が直ちに再現された信号を用いて実行される、という共通点を有している。これは、再現の間ノイズ充填によってベースバンドにおいて充填された同じノイズ値が、(BWEにおいて)高周波帯域の失われた部分を再生するために、または、(IGFにおいて)残りのスペクトル・ギャップを充填するために、使用されるという事実に至る。BWEまたはIGFにおいて複数のスペクトル領域を再現するために高度に相関するノイズを用いることは、知覚的な損傷に至る可能性がある。
最先端の技術水準において関連するトピックは、次のことを含む。
・波形復号化に対するポスト・プロセッサとしてのSBR[1−3]
・AAC PNS[4]
・MPEG−D USAC ノイズ充填[5]
・G.719およびG.722.1C[6]
・MPEG−H 3D IGF[8]
以下の文献および特許出願は、本出願に関連すると考えられる方法を記載する:
[1] M. Dietz, L. Liljeryd, K. Kjoerling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, Germany, 2002.
[2] S. Meltzer, R. Boehm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, Germany, 2002.
[3] T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention
, Munich, Germany, 2002.
[4] J. Herre, D. Schulz, Extending the MPEG-4 AAC Codec by Perceptual Noise Substitution, Audio Engineering Society 104th Convention, Preprint 4720, Amsterdam, Netherlands, 1998
[5] 欧州特許出願公開第2304720号 USACノイズ充填
[6] ITU−T勧告G.719およびG.221C
[7] 欧州特許出願公開第2704142号
[8] 欧州特許出願公開第13177350号
これらの方法によって処理された音声信号は、特に低ビットレートで、例えば粗さ、変調歪みおよび不快に知覚される音質といった人工的な産物をこうむることとなる。そして、その結果、低い帯域幅および/またはLF範囲のスペクトル孔の発生をこうむる。その理由は主として、後述するように、拡張された又はギャップ充填されたスペクトルの再現された構成要素が、ベースバンドからのノイズを含んでいる一つ以上の直接的なコピーに基づくものであるという事実である。再現されたノイズにおける上記の望まれざる相関関係から生じている一時的な変調は、知覚的な粗さ又は不快なゆがみとして騒々しい方法で聞き取ることができる。mp3+SBR、AAC+SBR、USAC、G.719およびG.722.1C、更にはMPEG−H 3D IGFのようなすべての既存の方法は、最初に、コアからコピーまたは反映されたスペクトル・データでスペクトル・ギャップまたはハイバンドを満たす前にノイズ充填を含んでいる完全なコア復号化を行う。
本発明の目的は、強化された信号を生成することについて改良された概念を提供することである。
この目的は、請求項1の強化された信号を生成する装置、請求項13の強化された信号を生成する方法、請求項14の符号化および復号化のシステム、請求項15の符号化および復号化の方法、または、請求項16のコンピュータ・プログラム、によって達成される。
本発明は、帯域幅拡張又は高度なギャップ充填により生成された強化された信号、または、入力信号には含まれていない強化スペクトル領域に対するスペクトル値を有する他の方法により生成された強化された信号、の音声品質の重大な改善が、入力信号のソース・スペクトル領域においてノイズ充填領域に対する第1のノイズ値を生成すること、および、デスティネーション(destination)またはターゲット領域における、すなわち、現在はノイズ値を有する強化領域におけるノイズ領域に対する第2の独立したノイズ値、すなわち、第1のノイズ値から独立した第2のノイズ値を生成すること、によって得られる、という事実に、基づくものである。
したがって、スペクトル値マッピングのためにベースバンドおよび強化バンドに従属するノイズがあるという従来の技術的課題は除去される。そして、粗さ、変調歪みおよび特に低ビットレートで不快に知覚される音質といったような人工的な産物があるという関連する課題は除去される。
すなわち、第2のノイズ値のノイズ充填は、第1のノイズ値から非相関される。つまり、第1のノイズ値から少なくとも部分的には独立しているノイズ値は、人工的な産物がもはや生じないか、または、従来技術に関しては少なくとも減少される、ということを確認する。それ故、簡単な帯域幅拡張または高度なギャップ充填動作によるベースバンドにお
けるノイズ充填スペクトル値の従来技術での処理は、ベースバンドからのノイズとは非相関であり、例えば、レベルを変えるのみである。しかしながら、一方ではソース・バンドにおいて、他方ではターゲット・バンドにおいて、好ましくは別個のノイズ処理に由来する、非相関のノイズ値を導入することは、最高の結果を提供する。しかしながら、完全に非相関ではない、または、完全に独立してはおらず、0の非相関値が完全な非相関を示すときに例えば0.5以下の非相関値で少なくとも部分的に非相関であるノイズ値の導入さえ、従来技術の完全な相関問題を改善する。
それゆえに、実施例は、知覚的なデコーダにおいて、波形復号化、帯域幅拡張、または、ギャップ充填およびノイズ充填、の組合せを述べている。
更なる利点は、既存の概念とは対照的に、信号歪みおよび知覚的な粗さという人工的な産物の発生が回避されるということである。ここで、人工的な産物は、現在のところ波形復号化およびノイズ充填に続く帯域幅拡張またはギャップ充填を算出することに対して典型的なことである。
これは、いくつかの実施例において、前述の処理ステップの過程で生じる変化によるものである。波形復号化の後に帯域幅拡張またはギャップ充填を直接的に実行することは好まれ、そして、無相関のノイズを使用して既に再構築された信号上にノイズ充填を引き続いて計算することは、さらに好まれる。
更なる実施例においては、波形復号化およびノイズ充填は従来の順序で実行されることができ、さらに前記処理の流れに沿って、ノイズ値は適切にスケールされた無相関のノイズと置き換えられることができる。
それゆえに、本発明は、ノイズ充填の段階を処理連鎖のまさにその終端へ移すことによって、そして、パッチングまたはギャップ充填のために無相関のノイズを使用することによって、ノイズ充填されたスペクトル上への複写動作または鏡像動作によって発生する課題に対処する。
続いて、本発明の好ましい実施例は、添付の図面に関して述べられる。
図1aは、音声信号を符号化する装置を例示する。 図1bは、図1aのエンコーダと整合する符号化された音声信号を復号化するためのデコーダを例示する。 図2aは、デコーダの好適な実施の形態を例示する。 図2bは、エンコーダの好適な実施の形態を例示する。 図3aは、図1bのスペクトル領域デコーダによって生成されるスペクトルの概略図を例示する。 図3bは、スケール・ファクタ・バンドのためのスケール・ファクタと再構築バンドのためのエネルギーとノイズ充填バンドのためのノイズ充填情報との関係を示している表を例示する。 図4aは、スペクトル部分の選択をスペクトル部分の第1および第2のセットに適用するためのスペクトル領域エンコーダの機能を例示する。 図4bは、図4aの機能の実施の形態を例示する。 図5aは、MDCTエンコーダの機能を例示する。 図5bは、MDCT技術を備えるデコーダの機能を例示する。 図5cは、周波数再生器の実施の形態を例示する。 図6は、本発明と一致する強化された信号を生成する装置のブロック図を例示する。 図7は、本発明の実施例と一致するデコーダにおいて選択情報によって導かれる独立したノイズ充填の信号フローを例示する。 図8は、ギャップ充填または帯域幅拡張の交換された順序およびデコーダのノイズ充填によって実施される独立したノイズ充填の信号フローを例示する。 図9は、本発明の更なる実施例に一致する手順のフローチャートを例示する。 図10は、本発明の更なる実施例に一致する手順のフローチャートを例示する。 図11は、ランダムな値のスケーリングを説明するためのフローチャートを例示する。 図12は、本発明を一般的な帯域幅拡張またはギャップ充填手順にあてはめたものを例示しているフローチャートを例示する。 図13aは、帯域幅拡張パラメータの計算を伴うエンコーダを例示する。 図13bは、図1aまたは1bのような統合化された手順よりもむしろポストプロセッサとして実施される帯域幅拡張を伴うデコーダを例示する。
図6は、音声信号にもなりえる入力信号から、例えば音声信号のような強化された信号を生成する装置を例示する。強化された信号は、強化スペクトル領域に対するスペクトル値を有する。ここで、強化スペクトル領域に対するスペクトル値は、入力信号である入力600で最初の入力信号には含まれない。当該装置は、入力信号のソース・スペクトル領域を強化スペクトル領域のターゲット領域にマップするためのマッパー602を備える。ここで、ソース・スペクトル領域は、ノイズ充填領域を含む。
さらにまた、当該装置は、入力信号のソース・スペクトル領域のノイズ充填領域のための第1のノイズ値を生成するように構成された、そして、ターゲット領域のノイズ領域のための第2のノイズ値を生成するように構成されたノイズ・フィラー(noise filler)604を備える。ここで、第2のノイズ値、すなわち、ターゲット領域のノイズ値は、ノイズ充填領域において第1のノイズ値から独立しているか、無相関であるか、非相関である。
一実施例は、次の状況に関する。その状況において、ノイズ充填は、実際はベースバンドにおいて実行される。つまり、その状況において、ソース領域のノイズ値は、ノイズ充填によって生成されたものである。更なる変形例において、ソース領域のノイズ充填は実行されなかったと推定される。にもかかわらず、ソース領域は、ソースまたはコア・エンコーダによってスペクトル値として模式的に符号化されるスペクトル値のようなノイズで実際は満たされるノイズ領域を有している。ソース領域のようなこのノイズを強化領域にマップすることは、ソース及びターゲット領域において従属するノイズをも生成する。この問題に対処するために、ノイズ・フィラー(noise filler)は、マッパーのターゲット領域に、当該ノイズを満たすだけである。すなわち、ノイズ・フィラー(noise filler)は、ターゲット領域におけるノイズ領域のために第2のノイズ値を生成する。ここで、第2のノイズ値は、ソース領域の第1のノイズ値から非相関される。この置換またはノイズ充填は、ソース・タイル・バッファにおいて起こることもできるか、またはターゲットそのものにおいて起こることもできる。ノイズ領域は、ソース領域を分析することによって、または、ターゲット領域を分析することによって、分類器によって識別されることができる。
この目的を達成するために、図3Aを参照して述べる。図3Aは、充填領域として、入力信号のスケール・ファクタ・バンド301を例示する。そして、ノイズ・フィラー(noise filler)は、入力信号の復号化動作においてこのノイズ充填バンド30
1で第一のノイズ・スペクトル値を生成する。
さらに、このノイズ充填バンド301は、ターゲット領域にマップされる。すなわち、従来技術と一致するように、生成されたノイズ値はターゲット領域にマップされる。そして、それゆえ、ターゲット領域は、ソース領域を伴うノイズに依存または相関している。
本発明によれば、しかしながら、図6のノイズ・フィラー(noise filler)604は、デスティネーション(destination)またはターゲット領域におけるノイズ領域のために第2のノイズ値を生成する。ここで、第2のノイズ値は、図3Aのノイズ充填バンド301における第1のノイズ値から非相関であるか、無相関であるか、独立している。
通常、ノイズ充填とソース・スペクトル領域をデスティネーション(destination)領域にマップするためのマッパーとは、統合化されたギャップ充填の範囲内で、図1Aから図5Cまで模式的に図示するように、高周波数再生器の範囲内に含まれていてもよい。または、図13Bにて図示するようにポストプロセッサとして、そして図13Aの対応エンコーダとして実施されることができる。
通常、入力信号は、逆量子化700に、または、ブロック700の出力で、図6の入力信号が得られることを意味する付加的な所定のデコーダ処理700に従う。その結果、コア・コーダ・ノイズ充填ブロックまたはノイズ・フィラー・ブロック(noise filler block)704への入力は、図6の入力600である。図6のマッパーはギャップ充填または帯域幅拡張ブロック602に対応し、そして、独立したノイズ充填ブロック702は図6のノイズ・フィラー(noise filler)604の範囲内にも含まれる。このように、ブロック704および702は共に図6のノイズ・フィラー(noise filler)ブロック604にも含まれ、そして、ブロック704はノイズ充填領域におけるノイズ領域のためにいわゆる第1のノイズ値を生成し、そして、ブロック702はデスティネーション(destination)またはターゲット領域におけるノイズ領域のために第2のノイズ値を生成する。そして、それはマッパーまたはギャップ充填または帯域幅拡張ブロック602によって実施される帯域幅拡張の側のベースバンドにおけるノイズ充填領域に由来する。さらに、後ほど述べられるように、ブロック702によって実施される独立のノイズ充填動作は、制御ライン706で例示される制御ベクトルPHIによって制御される。
1.ステップ:ノイズ識別
第一段階において、送信された音声フレームにおけるノイズを表す全てのスペクトル線は、識別される。識別処理は、ノイズ充填[4][5]に使用するノイズ位置についてのすでに既存の、送信された情報によって制御されてもよい、または追加分類器と識別されてもよい。ノイズ線識別の結果は、1の位置がノイズを表すスペクトル線を示す0および1を含んでいるベクトルである。
数学的条件において、この手順は、次のように表現することができる:
2.ステップ:独立したノイズ
第二段階において、送信されたスペクトルの特定の領域は、選択されて、ソース・タイルへコピーされる。このソース・タイルの範囲内で、識別されたノイズは、ランダム・ノイズに置き換えられる。挿入されたランダム・ノイズのエネルギーは、ソース・タイルにおけるオリジナルのノイズの同じエネルギーに適合される。
数学的条件において、この手順は、次のように表現することができる:
図8は、図1Bのブロック112において例示されるスペクトル領域の復号化のようないかなる後処理にも続く実施例を例示する。または、図13Bのブロック1326で例示されるポストプロセッサの実施例において、入力信号は、最初に、ギャップ充填または帯域幅拡張に従う。すなわち、入力信号は、最初にマッピング動作に従い、そして、それから、独立したノイズ充填は、その後、すなわち、全スペクトルの範囲内で、実行される。
本発明の独立したノイズ充填が、同様にステレオ・チャネル・ペア環境において用いられることができる。したがって、エンコーダは、周波数帯および任意の予測係数毎に、適切なチャネル・ペア表現、L/RまたはM/Sを算出する。デコーダは、上記の独立したノイズ充填を、L/R表現に向かうすべての周波数帯の最終転化の次の計算の前に、チャネルの適切に選ばれた表現に適用する。
本発明は、完全な帯域幅が利用できないか、スペクトル孔を埋めるためのギャップ充填を使用するすべての音声アプリケーションに、適用できる、又は、適している。本発明は、例えばデジタル・ラジオ、インターネット・ストリーミングおよび音声通信アプリケーションで、例えば音声コンテンツの配布または放送で、使用形態を発見することができる。
次に、本発明の実施例は、図9−12に関して述べられる。ステップ900において、ノイズ領域は、ソース範囲において識別される。この手順、つまり「ノイズ識別」に関して以前から議論されていた手順は、完全にエンコーダ側から受け取られるノイズ充填側情報に依存することができ、または、強化スペクトル領域のためのスペクトル値なしで、すなわち、この強化スペクトル領域のためのスペクトル値なしで、既に生成された入力信号の信号分析に代替的に又は付加的に依存するように加えて構成されることもできる。
それから、ステップ902において、当該技術分野において周知である直接のノイズ充填に既にしたがっているソース範囲、すなわち、完全なソース範囲は、ソース・タイル・バッファへコピーされる。
それから、ステップ904において、第1のノイズ値、すなわち入力信号のノイズ充填
領域の中で発生する直接のノイズ値は、ランダムな値によってソース・タイル・バッファにおいて置換される。それから、ステップ906において、これらのランダムな値は、ターゲット領域に対する第2のノイズ値を得るために、ソース・タイル・バッファにおいてスケールされる。それから、ステップ908において、マッピング動作は実行される、すなわち、ステップ904及び906の後に利用可能なソース・タイル・バッファのそれらの内容は、デスティネーション(destination)範囲にマップされる。このようにして、置換動作904によって、そして、マッピング動作908に続いて、ソース範囲およびターゲット範囲の独立したノイズ充填動作は、得られた。
図10は、本発明の更なる実施例を例示する。また、ステップ900で、ソース範囲のノイズは、識別される。しかしながら;このステップ900の機能は図9のステップ900の機能と異なる。なぜなら、図9のステップ900は、ノイズ値をすでに受信した、すなわち、ノイズ充填動作はすでに実行された、入力信号スペクトルに作用することができる。
しかしながら、図10においては、入力信号に対するいかなるノイズ充填動作も実行されなかった、そして、入力信号は、ステップ902の入力でノイズ充填領域のいかなるノイズ値もまだ有しない。ステップ902において、ソース範囲は、デスティネーション(destination)またはターゲット範囲にマップされる。ここで、ノイズ充填値はソース範囲に含まれていない。
このようにして、ステップ900のソース範囲におけるノイズの識別は、ノイズ充填領域に関して、信号の0スペクトル値を識別することによって、および/または、入力信号からのこのノイズ充填サイド情報を用いることによって、実行されることができる。すなわち、エンコーダ側はノイズ充填情報を生成した。それから、ステップ904において、ノイズ充填情報と、特に、デコーダ側の入力信号にもたらされるエネルギーを識別しているエネルギー情報とは、読み込まれる。
それから、ステップ1006にて図示するように、ソース範囲におけるノイズ充填は実行され、そして、その後、または、並行して、ステップ1008は実行される。すなわち、ランダムな値は、全帯域にまたがるステップ900によって識別された、または、マッピング情報とともにベースバンドまたは入力信号情報を用いて識別された、デスティネーション(destination)範囲における位置に挿入される。そして、マッピング情報とは、すなわち、どの(複数の)ソース範囲は、どの(複数の)ターゲット範囲にマップされるかという情報である。
最後に、挿入されたランダムな値は、2番目に独立であるか無相関であるか非相関のノイズ値を得るためにスケールされる。
次に、図11は、強化スペクトル領域におけるノイズ充填値のスケーリングに関する更なる情報を例示するために述べられる。すなわち、いかにしてランダムな値から、第2のノイズ値が得られるか、が述べられる。
ステップ1100において、ソース範囲におけるノイズに関するエネルギー情報が、得られる。それから、エネルギー情報は、ランダムな値から、すなわち、ステップ1102にて図示するように、ランダム又は疑似ランダムの処理によって生成する値から、決定される。さらにまた、ステップ1104は、スケール・ファクタを算出する方法、すなわち、ソース範囲におけるノイズに関するエネルギー情報を用いる方法、そして、ランダムな値に関するエネルギー情報を用いる方法を説明する。それから、ステップ1106において、ランダムな値、すなわちステップ1102においてエネルギーが算出される根拠とな
ったランダムな値は、ステップ1104によって生成されたスケール・ファクタに乗算される。それゆえ、図11において例示される手順は、先に実施例において示されたスケール・ファクタgの算出に対応する。しかしながら、すべてのこれらの算出は、対数的領域において、または、他のいかなる領域において、実行されることもでき、そして、乗算ステップ1106は対数的範囲における加算または減算によって置換されることができる。
更なる参照は、一般的な知的なギャップ充填または帯域幅拡張スキームの範囲内で本発明の埋め込みを例示するために、図12になされる。ステップ1200において、スペクトル・エンベロープ情報は、入力信号から回収される。スペクトル・エンベロープ情報は、例えば、図13Aのパラメータ抽出器1306によって生成されることができ、そして、図13bのパラメータ・デコーダ1324によって提供されることができる。それから、第2のノイズ値およびデスティネーション(destination)範囲における他の値は、1202に図示するようにこのスペクトル・エンベロープ情報を使用して、スケールされる。その後、いかなる更なる後処理1204も、帯域幅拡張の場合には増加した帯域幅を有する、もしくは、減らされた数を有する最終的な時間領域の強化された信号を得るために、または、知的なギャップ充填の状況におけるスペクトル孔を得ないために、実行されることができる。
この状況において、特に図9の実施例のために、いくつかの変形例が適用されることができることは、概説される。実施例のために、ステップ902は、入力信号の全部のスペクトルで、または、少なくともノイズ充填境界周波数を越える入力信号のスペクトルの部分で、実行される。この周波数は、特定の周波数以下で、すなわち、この周波数以下で、いかなるノイズ充填も全く実行されないことを保証する。
それから、いかなる特定のソース範囲/ターゲット範囲マッピング情報にかかわりなく、全部の入力信号スペクトル、すなわち完全な潜在的ソース範囲は、ソース・タイル・バッファ902へコピーされ、それからステップ904および906で処理される、そして、ステップ908はそれから特に必要とされる特定のソース領域をこのソース・タイル・バッファから選択する。
他の実施例において、しかしながら、入力信号の部分だけでもよい特に必要とされるソース範囲だけは、単一のソース・タイル・バッファに、または、入力信号に含まれるソース範囲/ターゲット範囲情報に基づくいくつかの個々のソース・タイル・バッファに、すなわち、サイド情報としてこの音声入力信号に関連するソース・タイル・バッファに、コピーされる。特に必要とされるソース範囲だけはステップ902、904、906によって処理される当該状況つまり第2の変形例に応じて、複雑さ又は最低メモリ必要条件は、特定のマッピング状況から常に独立している状況であって、少なくともノイズ充填境界周波数を超える全部のソース範囲がステップ902、904、906によって処理される状況と比較して、減らされていてもよい。
その後、周波数再生器116の範囲内で本発明の特定の実施の形態を例示するために、参照は図1a−5eになされる。周波数再生器116は、スペクトル時間コンバータ118の前に配置される。
図1aは、音声信号99を符号化する装置を例示する。音声信号99は、サンプリング・レートを有する音声信号を、時間スペクトル・コンバータによって出力されるスペクトル表現101に変換するための、時間スペクトル・コンバータ100への入力である。当該スペクトル101は、スペクトル表現101を分析するためのスペクトル・アナライザ102への入力である。スペクトル・アナライザ101は、第1のスペクトル解像度で符号化されるように第1のスペクトル部分103の第1のセットを決定し、そして、第2の
スペクトル解像度で符号化されるように第2のスペクトル部分105の異なる第2のセットを決定するように、構成される。第2のスペクトル解像度は、第1のスペクトル解像度より小さい。第2のスペクトル部分105の第2のセットは、第2のスペクトル解像度を有するスペクトル・エンベロープ情報を算出するためのパラメータ計算機またはパラメトリック・コーダ104への入力である。さらにその上、スペクトル領域音声コーダ106は、第1のスペクトル解像度を有する第1のスペクトル部分の第1のセットの第1の符号化された表現107を生成するために設けられている。さらにまた、パラメータ計算機/パラメトリック・コーダ104は、第2のスペクトル部分の第2のセットの第2の符号化された表現109を生成するように構成される。第1の符号化された表現107と第2の符号化された表現109とは、ビットストリーム・マルチプレクサまたはビット・ストリーム・フォーマ108への入力であり、そして、ブロック108は最終的に、伝送または記憶装置上の記憶のために符号化された音声信号を出力する。
概して、図3aのうちの306のような第1のスペクトル部分は、307a、307bのような2つの第2のスペクトル部分によって囲まれる。これは、HE AACにおけるケースではない。ここで、コア・コーダ周波数範囲は、制限されるバンドである。
図1bは、図1aのエンコーダと調和するデコーダを例示する。第1の符号化された表現107は、第1のスペクトル部分の第1のセットの第1の復号化された表現(第1のスペクトル解像度を有する復号化された表現)を生成するためのスペクトル領域音声デコーダ112への入力である。さらにまた、第2の符号化された表現109は、第1のスペクトル解像度より低い第2のスペクトル解像度を有する第2のスペクトル部分の第2のセットの第2の復号化された表現を生成するためのパラメトリック・デコーダ114への入力である。
デコーダは、さらに、第1のスペクトル部分を使用している第1のスペクトル解像度を有する再構築された第2のスペクトル部分を再生するための周波数再生器116を有する。周波数再生器116は、タイル充填動作を実行する、すなわち、第1のスペクトル部分の第1のセットのタイルまたは部分を使用し、第2のスペクトル部分を有する再構築範囲または再構築バンドへの第1のスペクトル部分のこの第1のセットをコピーし、そして、概して、パラメトリック・デコーダ114によって復号化される第2の表現の出力によって、すなわち、第2のスペクトル部分の第2のセットに関する情報を用いて、示されるように、スペクトル・エンベロープの形成またはその他の動作を実行する。第1のスペクトル部分の復号化された第1のセットと、線117上の周波数再生器116の出力で示されるようなスペクトル部分の再構築された第2のセットとは、第1の復号化された表現と再構築された第2のスペクトル部分とを時間表現119(ある特定の高いサンプリング・レートを有する時間表現)へ転換するように構成されるスペクトル時間コンバータ118への入力である。
図2bは、図1aエンコーダの実施の形態を例示する。音声入力信号99は、図1aの時間スペクトル・コンバータ100に対応する分析フィルタバンク220への入力である。それから、図2bの1ブロックである音のマスク226に対応する図1aのスペクトル・アナライザ102への入力は、時間的ノイズ形成動作/時間的タイル形成動作が適用されない時は完全なスペクトル値であり、図2bで例示されるようなTNS動作であるブロック222が適用されるときは残余のスペクトル値である。2チャネル信号またはマルチチャネル信号のために、共同の(joint)チャネル符号化228は付加的に実行されることができる。その結果、図1aのスペクトル領域エンコーダ106は、共同の(joint)チャネル符号化ブロック228を有していてもよい。さらに、無損失性データ圧縮を実行するためのエントロピー・コーダ232は設けられている。そして、それは図1aのスペクトル領域エンコーダ106の一部でもある。
スペクトル・アナライザ/音のマスク226は、TNSブロック222の出力を、コア・バンドと、第1のスペクトル部分103の第1のセットに対応する音の構成要素と、図1aの第2のスペクトル部分105の第2のセットに対応する残余の構成要素と、に区分する。IGFパラメータ抽出符号化として示されるブロック224は、図1aのパラメトリック・コーダ104に対応し、そして、ビットストリーム・マルチプレクサ230は、図1aのビットストリーム・マルチプレクサ108に対応する。
好ましくは、分析フィルタバンク222はMDCT(修正された離散コサイン変換フィルタバンク)として実施され、そして、MDCTは、信号99を、周波数分析ツールとして作用する修正された離散コサイン変換で時間周波数領域に変えるために用いられる。
スペクトル・アナライザ226は、好ましくは音調マスクを適用する。この音調マスク評価ステージは、音の構成要素を信号中のノイズのような構成要素から切り離すために用いられる。これは、コア・コーダ228に音響心理学的なモジュールを有するすべての音の構成要素を符号化させることができる。音調マスク評価ステージは、多数の異なる方法で実施されることができて、好ましくは、スピーチ/オーディオ符号化[8、9]のためのサインおよびノイズモデリングにおいて使用される正弦波トラック評価ステージ、または、〔10〕に記載した音声コーダに基づくHILNモデルと同様に、その機能において、実施される。好ましくは、生死軌道を維持する必要性なしに実施することが容易である実施の形態が用いられるが、他のいかなる音調またはノイズ検出器も同様に用いられることができる。
加えて、例えばさえずりや音楽的なノイズのような周波数領域の人工的な産物を取り除くタイル選択安定化技術が提案されている。
ステレオ・チャネル・ペアの場合には、付加的な共同の(joint)ステレオ処理が適用される。これは、必要なことである。なぜなら、ある特定のデスティネーション(destination)範囲のために、信号は、パンされた音源と高度に相関することができるからである。この特定領域のために選択されるソース領域がよく相関していない場合には、エネルギーがデスティネーション(destination)領域のために合わされるにもかかわらず、空間イメージは無相関のソース領域のために損なわれることができる。概してスペクトル値の相互相関を実行しつつ、エンコーダは、それぞれのデスティネーション(destination)領域エネルギー・バンドを分析し、そして、特定の閾値が上回られる場合には、このエネルギー・バンドのための共同の(joint)フラグをセットする。この共同の(joint)ステレオ・フラグがセットされない場合、デコーダにおいて、左右のチャネル・エネルギー・バンドは個々に処理される。共同の(joint)ステレオ・フラグがセットされる場合には、エネルギーもパッチングも両方とも共同の(joint)ステレオ領域において実行される。予測の場合には、予測の方向がダウンミックスから残余であるか又はその逆の方向であるのかを指し示しているフラグを含みつつ、IGF領域のための共同の(joint)ステレオ情報は、コア符号化のための信号を送付され類似する共同の(joint)ステレオの情報である。
もう一つの解法は、共同の(joint)ステレオが作動中であるバンドに対して共同の(joint)ステレオ領域において直接的にエネルギーを算出し、伝導することである。その結果、付加的なエネルギー変化がデコーダ側では必要とされない。
共同の(Joint)ステレオ->LR変換:
この処理は、たとえソース領域が相関していない場合であっても、高度に相関されるデスティネーション(destination)領域とパンされたデスティネーション(destination)領域とを再生するために使用されるタイルから、結果として生じる左右のチャネルはまだ、相関されパンされた音源を表現することを保証する。そして、そのような領域のためにステレオ画像を保存する。
換言すれば、ビットストリームにおいて、一般的な共同の(joint)ステレオ符号化のための一例としてL/RかM/Sが使われるかどうかについて指し示す共同の(joint)ステレオ・フラグが送信される。デコーダにおいて、最初に、コア・バンドのための共同の(joint)ステレオ・フラグによって示されるように、コア信号は復号化される。2番目に、コア信号は、L/RおよびM/S表現に格納される。IGFタイル充填のために、IGFバンドのための共同の(joint)ステレオ情報によって示されるように、ソース・タイル表現はターゲット・タイル表現に合うように選ばれる。
時間的ノイズ形成(TNS)は、標準技術およびAAC[11−13]の一部である。
TNSは、知覚的なコーダの基本スキームの拡張と考えることができる。そして、フィルタバンクと量子化ステージとの間に任意の処理ステップを挿入する。TNSモジュールのメイン・タスクは、生成された量子化ノイズを信号のような一時的現象の一時的なマスキング領域に隠すことである、そして、したがって、それは、より効率的な符号化スキームに至る。最初に、TNSは、変換領域(例えばMDCT)における「前方の予測」を使用している一組の予測係数を算出する。これらの係数は、それから、信号の時間的エンベロープを平らにするために使用される。量子化がTNSフィルタに通されたスペクトルに影響を及ぼす時に、また、量子化ノイズは一時的に平坦である。デコーダ側で逆TNSフィルタリングを適用することによって、量子化ノイズはTNSフィルタの時間的エンベロープにしたがって形成され、したがって、量子化ノイズは一時的現象によってマスクされる。
IGFは、MDCT表現に基づく。効果的な符号化のために、好ましくは、約20msのロング・ブロックが、用いられなければならない。そのようなロング・ブロックの中の信号が一時的現象を含む場合、聞き取ることができる前および後エコーは、タイル充填によりIGFスペクトル・バンドで発生する。図7cは、IGFにより一時的な開始の前に典型的な前エコー効果を示す。左側で、オリジナル信号のスペクトログラムは示され、そして、右側で、TNSフィルタリングを用いないで帯域幅拡張した信号のスペクトログラムは示される。
レガシー・デコーダにおいて、音声信号上のスペクトル・パッチングは、パッチ境界でスペクトル相関を腐敗し、このことにより、分散を導くことによって、音声信号の時間的エンベロープを損なう。それゆえ、残余信号上のIGFタイル充填を実行する他の利点は、フィルタ形成のアプリケーションの後、タイル境界がシームレスに相関しているということである。そして、このことは、信号のより忠実な時間的再生という結果になる。
発明のエンコーダにおいて、TNS/TTSフィルタリング、音調マスク処理およびIGFパラメータ評価を受けていたスペクトルは、音の構成要素を除いてIGF開始周波数を上回る任意の信号を欠いている。このまばらなスペクトルは、算術符号化および予兆的符号化の原則を使用しているコア・コーダによって現在のところ符号化される。シグナリング・ビットと一緒にこれらの符号化された構成要素は、オーディオのビットストリームを形成する。
図2aは、対応するデコーダの実施の形態を例示する。符号化された音声信号に対応する図2aのビットストリームは、ブロック112および114まで、図1bに関して、接続されるデマルチプレクサ/デコーダへの入力である。ビットストリーム・デマルチプレクサは、入力音声信号を図1bの第1の符号化された表現107と図1bの第2の符号化された表現109とに分ける。第1のスペクトル部分の第1のセットを有する第1の符号化された表現は、図1bのスペクトル領域デコーダ112に対応する共同の(joint)チャネル復号化ブロック204への入力である。第2の符号化された表現は、図2aにおいて例示されていないパラメトリック・デコーダ114への入力であり、そしてそれから、図1bの周波数再生器116に対応するIGFブロック202への入力である。周波数再生のために必要な第1のスペクトル部分の第1のセットは、線203を経由するIGFブロック202への入力である。さらにその上、共同の(joint)チャネル復号化204に続いて、特定のコア複号化は、音のマスク・ブロック206に適用される。その結果、音のマスク206の出力は、スペクトル領域デコーダ112の出力に対応する。それから、コンバイナ208による組合せは実行される。すなわち、コンバイナ208の出力が完全な範囲のスペクトルを有するが、しかしまだ、TNS/TTSフィルタに通された領域におけるフレーム・ビルディングである。それから、ブロック210において、逆のTNS/TTS動作は、線109を経由して提供されるTNS/TTSフィルタ情報を使用して実行される。すなわち、TTSサイド情報は、好ましくは、スペクトル領域エンコーダ106によって生成される第1の符号化された表現に含まれる。スペクトル領域エンコーダ106は、例えば、直接のAACまたはUSACコア・エンコーダでありえるか、又は、第2の符号化された表現に含まれることもできる。ブロック210の出力で、オリジナルの入力信号のサンプリング・レートで定義される完全な範囲の周波数である最大周波数までの完全なスペクトルが提供される。それから、スペクトル/時間転換は、最後に音声出力信号を得るために、合成フィルタバンク212において実行される。
図3aは、スペクトルの概略図を例示する。スペクトルは、図3aの例で図示するように、SCB1からSCB7までの7つのスケール・ファクタ・バンドが存在するスケール・ファクタ・バンドSCBにおいて再分割される。スケール・ファクタ・バンドは、AAC標準において定められるAACスケール・ファクタ・バンドであり得て、そして、模式的に図3aにて図示するように、上側の周波数まで増加している帯域幅を有する。スペクトルのまさしくその始まりからではなく知的なギャップ充填を実行することが、好ましい。すなわち、低周波数で、309で例示したIGF開始周波数でIGF動作を開始することが好ましい。したがって、コア周波数帯は、最低周波数からIGF開始周波数まで伸びる。IGF開始周波数を上回って、スペクトル分析は、高解像度スペクトル要素304、305、306、307(第1のスペクトル部分の第1のセット)を第2のスペクトル部分の第2のセットによって表現される低解像度要素から切り離すために適用される。図3aは、スペクトル領域エンコーダ106または共同の(joint)チャネル・コーダ228への模式的な入力であるスペクトルを例示する。すなわち、コア・エンコーダは完全な範囲で動作するが、相当数の0スペクトル値を符号化する。すなわち、これらの0スペクトル値は0に量子化され、または、量子化する前に0にセットされ、または、量子化の後に起こる。いずれにせよ、コア・エンコーダは完全な範囲で動作する。すなわち、スペクトルが図示されるように、すなわち、コア・デコーダは、必ずしも、任意の知的なギャップ充填を認知する必要はなく、より低いスペクトル解像度を用いて第2のスペクトル部分の第2のセットの符号化をする必要もない。
好ましくは、高解像度はMDCT線のようなスペクトル線の線的な符号化によって定義される。その一方で、第2の解像度または低解像度は、例えば、スケール・ファクタ・バンド毎に単一のスペクトル値のみを算出することによって定義される。ここで、スケール・ファクタ・バンドは、いくつかの周波数線をカバーする。このように、第2の低解像度
は、そのスペクトル解像度に関して、例えばAACまたはUSACコア・エンコーダのようなコア・エンコーダによって典型的に適用される線的な符号化によって定義される第1の又は高解像度より非常に低い。
特に、コア・エンコーダが低ビットレートの状態の下にあるときに、コア・バンドにおける、すなわち、IGF開始周波数より低い周波数における、すなわち、SCB1からSCB3までのスケール・ファクタ・バンドにおける、付加的なノイズ充填動作は、加えて適用されることができる。ノイズ充填において、ゼロまで量子化された複数の隣接するスペクトル線が、存在する。デコーダ側で、0のスペクトル値まで量子化されたこれらは再合成され、そして、再合成されたスペクトル値は、図3bにおける308で例示されるNF2のようなノイズ充填エネルギーを用いて、それらの規模で適合させられる。絶対的な条件で与えられうる、又は、USACにおけるものとして特にスケール・ファクタに関する相対的な条件で与えられうる、ノイズ充填エネルギーは、0まで量子化されるスペクトル値のセットのエネルギーに対応する。これらのノイズ充填スペクトル線は、ソース範囲からのスペクトル値とエネルギー情報E1、E2、E3、E4とを使用している周波数タイルを再構築するための他の周波数から周波数タイルを使用している周波数再生に依存しているいかなるIGF動作もない直接のノイズ充填合成によって再生される第3のスペクトル部分の第3のセットである、と考慮されることもできる。
好ましくは、エネルギー情報が算出される対象である、バンドは、スケール・ファクタ・バンドと一致する。他の実施例において、例えば、スケール・ファクタ・バンド4および5に対して、単一のエネルギー情報値だけが送信されるように、エネルギー情報値グループ化は適用されるが、しかし、本実施例においてさえ、グループ化された再構築バンドの境界はスケール・ファクタ・バンドの境界と一致する。異なるバンド分離が適用される場合、特定の再算出または同期算出は適用されてもよく、そして、これは特定の実施の形態に応じて意味をなすことができる。
好ましくは、図1aのスペクトル領域エンコーダ106は、図4aにて図示するように、音響心理学的に駆動されるエンコーダである。概して、例えばMPEG2/4 AACスタンダードまたはMPEG1/2,Layer 3スタンダードにおいて例示されるように、スペクトル範囲(図4aの401)に変形された後に符号化された音声信号であることは、スケール・ファクタ計算機400に送られる。スケール・ファクタ計算機は、量子化された音声信号であることを付加的に受領する、又は、MPEG1/2 Layer 3またはMPEG AACスタンダードにおいてそうであるように、音声信号の複雑な
スペクトル表現を受領する音響心理学的なモデルによってコントロールされる。音響心理学的なモデルは、各スケール・ファクタ・バンドに対して、音響心理学的な閾値を表現しているスケール・ファクタを算出する。加えて、よく知られた内と外との繰り返しループの協力によって、または、他のいかなる適切な調整された符号化手順によって、スケール・ファクタはそうであり、その結果、特定のビットレート条件は完全に充填される。それから、一方では量子化されたスペクトル値であることが、他方では算出されたスケール・ファクタが、クオンタイザ・プロセッサ404への入力である。直接の音声エンコーダ動作において、量子化されたスペクトル値であることはスケール・ファクタによって加重され、そして、加重されたスペクトル値は、それから、概して上の振幅範囲まで圧縮機能を有している固定クオンタイザへの入力である。それから、クオンタイザ・プロセッサの出力で、隣接した周波数値に対する0量子化インデックスのセットに対して、又は、この技術分野ではまたそう呼ばれるように0値の「走行」に対して特定かつ効率的な符号化を概して有するエントロピーエンコーダの中へそれから送られる量子化インデックスがまさに存在する。
図1aの音声エンコーダにおいて、しかしながら、クオンタイザ・プロセッサは、概してスペクトル・アナライザから第2のスペクトル部分に関する情報を受領する。このように、クオンタイザ・プロセッサ404は、クオンタイザ・プロセッサ404の出力において、スペクトル・アナライザ102によって識別される第2のスペクトル部分が、0であるか、又は、スペクトルにおいて0値の「走行」が特に存在する時に非常に効率的に符号化されうる0表現としてエンコーダまたはデコーダによって認知される表現を有することを確認する。
図4bは、クオンタイザ・プロセッサの実施の形態を例示する。MDCTスペクトル値は、0ブロック410のセットへの入力になりうる。それから、ブロック412のスケール・ファクタによる加重が実行される前に、第2のスペクトル部分はすでに0へのセットである。付加的な実施の形態において、ブロック410は設けられていない、しかし、0協力へのセットは、加重ブロック412に続くブロック418において実行される。更なる実施の形態において、0動作へのセットは、クオンタイザ・ブロック420における量子化に続く0ブロック422へのセットにおいて実行されることもできる。この実施の形態において、ブロック410および418は、存在しない。一般的に、ブロック410、418、422のうちの少なくとも1つは、特定の実施の形態に応じて設けられている。
それから、ブロック422の出力で、量子化されたスペクトルは、図3aにおいて例示されることに対応して得られる。この量子化されたスペクトルは、それから、例えばUSAC標準において定められるようにハフマン・コーダまたは算数コーダでありえる図2bの232のようなエントロピー・コーダへの入力である。
各々交代的に又は平行に設けられている0ブロック410、418、422へのセットは、スペクトル・アナライザ424によって制御される。スペクトル・アナライザは、好ましくは、周知の音調検出器のいかなる実施の形態も含むか、または、スペクトルを高解像度によって符号化される構成要素と低解像度によって符号化される構成要素とに分けるためのいかなる異なる種類の有効な検出器も含む。異なるスペクトル部分に対する解像度要件に関するスペクトル情報または関連するメタデータに応じて、スペクトル・アナライザにおいて実施される他の同様なアルゴリズムは、音声アクティビティ検出器、ノイズ検出器、スピーチ検出器、または決め手となるいかなる他の検出器でもありえる。
例えば、AACまたはUSACにおいて実施されるように、図5aは図1aの時間スペクトル・コンバータ100の好ましい実施の形態を例示する。時間スペクトル・コンバータ100は、一時的な検出器504によって制御されるウィンドウア502を有する。一
時的な検出器504が一時的現象を検出するとき、ロング・ウィンドウからショート・ウィンドウへの切り替えはウィンドウアに信号を送られる。ウィンドウア502は、それから、ブロックに重なるために、ウィンドウ化されたフレームを算出する。ここで、ウィンドウ化された各フレームは、概して、例えば2048個の値のような2N個の値を有する。それから、ブロック変換器506の範囲内の変換は実行される、そして、このブロック変換器は概して付加的に衰退を提供する。その結果、合同の衰退/変換は、MDCTスペクトル値のようなN個の値を伴うスペクトル・フレームを得るために実行される。このように、ロング・ウィンドウ・オペレーションのために、ブロック506の入力でのフレームは、2048個の値のような2N個の値を含み、そして、スペクトル・フレームはそれから1024個の値を有する。それから、しかしながら、スイッチはショート・ブロックまで実行される。そのとき、各ショート・ブロックがロング・ウィンドウと比較して1/8にウィンドウ化された時間領域値を有し、各スペクトル・ブロックはロング・ブロックと比較して1/8のスペクトル値を有するところで、8つのショート・ブロックは実行される。このように、この衰退がウィンドウアの50%の重なり動作と結合されるときに、スペクトルは、時間領域音声信号99の決定的にサンプルをとられたバージョンである。
その後、参照は、図1bの、または、図2aのブロック208、212の複合動作の周波数再生器116およびスペクトル時間コンバータ118の特定の実施の形態を例示している図5bになされる。図5bにおいて、特定の再構築バンドは、例えば図3aのスケール・ファクタ・バンド6として考えられている。この再構築バンドにおける第1のスペクトル部分すなわち図3aの第1のスペクトル部分306は、フレーム組立器/調整器ブロック510への入力である。さらにまた、スケール・ファクタ・バンド6に対する再構築された第2のスペクトル部分は、同様にフレーム組立器/調整器510への入力である。さらにまた、スケール・ファクタ・バンド6に対する図3bのE3のようなエネルギー情報は、ブロック510への入力でもある。再構築バンドにおける再構築された第2のスペクトル部分は、ソース範囲を使用する周波数タイル充填によってすでに発生した、そして、再構築バンドはそれからターゲット範囲に対応する。現在、フレームのエネルギー調整は、例えば、図2aのコンバイナ208の出力で得られるようにN個の値を有する完全な再構築されたフレームを最終的に得るために実行される。ついで、ブロック512において、逆のブロック変換/補間は、例えばブロック512の入力での124スペクトル値に対する248時間領域値を得るために実行される。それから、合成ウィンドウイング動作は、符号化された音声信号におけるサイド情報として送信されるロング・ウィンドウ/ショート・ウィンドウ表示によって再び制御されるブロック514において実行される。それから、ブロック516において、以前の時間フレームを有する重なり/加算動作は、実行される。好ましくは、MDCTは50%の重なりを適用する。その結果、2N個の値の各新しい時間フレームごとに対して、N時間領域値が最後に出力される。50%の重なりは、それがブロック516の重なり/加算動作のため1つのフレームから次のフレームまで重要なサンプリングと連続交差とを提供するという事実のため、非常に好まれる。
図3aの301で図示するように、ノイズ充填動作は、付加的に、IGF開始周波数未満だけでなく、図3aのスケール・ファクタ・バンド6と一致している熟考された再構築バンドに対するようなIGF開始周波数を超えても、適用されることができる。それから、ノイズ充填スペクトル値はフレーム組立器/調整器510への入力であることもでき、そして、ノイズ充填スペクトル値の調整はこのブロックの範囲内に適用されることもでき、または、ノイズ充填スペクトル値はフレーム組立器/調整器510への入力である前にノイズ充填エネルギーを使用してすでに調整されることができる。
好ましくは、IGF動作すなわち他の部分からのスペクトル値を使用している動作を充填している周波数タイルは、完全なスペクトルにおいて適用されることができる。このように、スペクトル・タイル充填動作は、IGF開始周波数を超える高いバンドにおいて適
用されることができるだけでなく、低いバンドにおいて適用されることもできる。さらにまた、周波数タイル充填を伴わないノイズ充填は、IGF開始周波数未満だけでなくIGF開始周波数を超えても適用されることもできる。しかしながら、ノイズ充填動作がIGF開始周波数未満の周波数範囲に制限されるとき、そして、図3aにて図示するように周波数タイル充填動作がIGF開始周波数を超える周波数範囲に制限されるときに、高品質かつ高効率な音声符号化が得られることができるということが分かっている。
好ましくは、ターゲット・タイル(TT)(IGF開始周波数より大きい周波数を有する)は、フルレート・コーダのスケール・ファクタ・バンド境界に束縛されている。すなわち、IGF開始周波数より低い周波数に対して、情報がとられる元となるソース・タイル(ST)は、スケール・ファクタ・バンド境界に束縛されない。STのサイズは、関係するTTのサイズに対応しなければならない。これは、次の例を使用して例示される。TT[0]は、10MDCT Binsの長さを有する。これは、正確に、2つの次のSCB(例えば4+6)の長さに対応する。それから、また、TT[0]と相関しているすべての可能なSTは、10の容器の長さを有する。TT[0]と隣接している第2のターゲット・タイルTT[1]は、15の容器l(7+8の長さを有するSCB)の長さを有する。それから、それのためのSTは、TT[0]に関しては、10の容器よりむしろ15の容器の長さを有する。
ターゲット・タイルの長さを伴うSTに対してTTを誰も見つけられないというケース(例えば、TTの長さが利用可能なソース範囲より大きいとき)が、仮に発生すれば、その場合は、相関は算出されず、そしてソース範囲は、ターゲット・タイルTTが完全に充填されるまではずっと、このTTに向かって複数の回数をコピーされる(コピーは順々に実行される。その結果、第2のコピーの最低周波数に対する周波数線は、直ちに、周波数において、第1のコピーの最も高い周波数に対する周波数線に続いて起こる。)。
その後、参照は、図1bの周波数再生器116または図2aのIGFブロック202の更なる好ましい実施例を例示している図5cになされる。ブロック522は、ターゲット・バンドIDを受領しているだけでなく、加えて、ソース・バンドIDを受領している周波数タイル生成器である。模式的に、図3aのスケール・ファクタ・バンド3がスケール・ファクタ・バンド7を再構築することに対して非常によく適しているということが、エンコーダ側で決定された。このように、ソース・バンドIDは2であり、そして、ターゲット・バンドIDは7である。この情報に基づいて、周波数タイル生成器522は、スペクトル構成要素523の生の第2の部分を生成するために、コピー・アップまたは倍音的タイル充填動作または他のいかなるタイル充填動作も適用する。スペクトル構成要素の生の第2の部分は、第1のスペクトル部分の第1のセットに含まれる周波数解像度と同一の周波数解像度を有する。
それから、図3aの307のような再構築バンドの第1のスペクトル部分は、フレーム組立器524への入力であり、そして、生の第2の部分523も、フレーム組立器524への入力である。それから、再構築されたフレームは、ゲイン・ファクタ計算機528によって算出される再構築バンドに対してゲイン・ファクタを使用している調整器526によって調整される。しかしながら、重要なことに、フレームにおける第1のスペクトル部分は調整器526によって影響されない、しかし、再構築フレームのための生の第2の部分のみは調整器526によって影響される。この目的で、最後に正しいゲイン・ファクタ527を発見するために、ゲイン・ファクタ計算機528はソース・バンドまたは生の第2の部分523を分析し、加えて、再構築バンドにおける第1のスペクトル部分を分析する。その結果、スケール・ファクタ・バンド7が考慮されるときに、調整器526により調整されたフレーム出力のエネルギーはエネルギーE4を有する。
この状況において、HE−AACと比較して本発明の高周波数再構築精度を評価することは、非常に重要である。これは、図3aのスケール・ファクタ・バンド7に関して説明される。図13aにおいて例示されるような従来技術エンコーダが、「失われた倍音」として高解像度で符号化されるスペクトル部分307を検出することが、想定される。それから、このスペクトル構成要素のエネルギーは、スケール・ファクタ・バンド7のような再構築バンドに対するスペクトル・エンベロープ情報と共に、デコーダに送信される。それから、デコーダは、失われた倍音を再形成する。しかしながら、図13bの従来技術デコーダによって失われた倍音307が再構築されるところであるスペクトル値は、再構築周波数390によって示される周波数でバンド7の中央である。このように、本発明は、図13dの従来技術デコーダによって導かれる周波数エラー391を回避する。
実施の形態において、スペクトル・アナライザも、第1のスペクトル部分と第2のスペクトル部分との類似点を算出するために実施され、そして、算出された類似点に基づいて、再構築範囲における第2のスペクトル部分に対して、できるだけ第2のスペクトル部分と合っている第1のスペクトル部分を決定するために実施される。それから、この可変的なソース範囲/デスティネーション(destination)範囲の実施の形態において、パラメトリック・コーダは、付加的に、第2の符号化された表現に、デスティネーション(destination)範囲ごとに対してマッチング・ソース範囲を示しているマッチング情報を導入する。デコーダ側で、それから、この情報は、ソース・バンドIDおよびターゲット・バンドIDに基づく生の第2の部分523の生成を例示している図5cの周波数タイル生成器522により用いられる。
さらに、図3aにおいて図示するように、スペクトル・アナライザは、サンプリング周波数の半分未満の少量だけであって、好ましくはサンプリング周波数の少なくとも1/4であるかまたは概してそれより大きい最大分析周波数まで、スペクトル表現を分析するように構成される。
図示するように、エンコーダはダウン・サンプリングなしに動作し、そして、デコーダはアンサンプリングなしに動作する。換言すれば、スペクトル領域音声コーダは、オリジナルの入力音声信号のサンプリング・レートによって定義されるナイキスト周波数を有するスペクトル表現を生成するように構成される。
さらに、図3aにおいて図示するように、スペクトル・アナライザは、ギャップ充填開始周波数で開始し、スペクトル表現に含まれる最大周波数によって表現される最大周波数で終了するスペクトル表現を分析するように構成される。ここで、最小周波数からギャップ充填開始周波数まで伸びているスペクトル部分は、スペクトル部分の第1のセットに帰属し、そして、ギャップ充填周波数を超える周波数値を有する304、305、306、307のような更なるスペクトル部分は、付加的に、第1のスペクトル部分の第1のセットに含まれる。
概説するように、第1の復号化された表現におけるスペクトル値によって表現される最大周波数が、第1のスペクトル部分の第1のセットにおける最大周波数に対するスペクトル値が0であるか0と異なるようなサンプリング・レートを有する時間表現に含まれる最大周波数と等しくなるように、スペクトル領域音声デコーダ112は構成される。いずれにせよ、スペクトル構成要素の第1のセットにおけるこの最大周波数に対して、スケール・ファクタ・バンドに対するスケール・ファクタが存在する。そして、それは、図3aおよび3bの状況において述べられるように、このスケール・ファクタ・バンドにおける全てのスペクトル値が0にセットされるかどうかにかかわりなく、生成され、送信される。
したがって、本発明は、圧縮効率、例えばノイズ置換およびノイズ充填(これらの技術
は、ローカル信号内容のようなノイズの効率的な表現に対するもののみである)を上昇するために、他のパラメータの技術に関して有利である。本発明は音の構成要素の正確な周波数再生を可能にする。現在までのところ、最先端の技術は、高バンド(HF)と低バンド(LF)とにおける固定されたアプリオリな分裂の制限のないスペクトル・ギャップ充填による任意の信号内容の効率的なパラメータの表現を述べない。
本発明システムの実施例は、最先端の方法を改善し、そして、このことにより、低ビットレートに対してさえ高い圧縮効率と全くないかわずかな知覚的な不快感と完全な音声帯域幅とを提供する。
一般のシステムは、次のものからなる。
・完全なバンド・コア符号化
・知的なギャップ充填(タイル充填又はノイズ充填)
・音のマスクにより選択されるコアにおけるまばらな音の部分
・タイル充填を含み完全なバンドに対して符号化する共同の(joint)ステレオ・ペア
・タイル上のTNS
・IGF範囲におけるスペクトル白化
より効率的なシステムへの第1のステップは、スペクトル・データをコア・コーダの1つと異なる第2の変換領域に変換することの必要性を取り除くことである。例えばAACのような大多数の音声コーデックは基本的な変換としてMDCTを使用するように、MDCT領域においてBWEを実行することもまた有用である。BWEシステムに対する第2の要件は、HF音の構成要素さえ保存され、かつ、符号化された音声の品質が既存のシステムよりこのように優れる手段である音のグリッドを保存する必要性である。上述した両方の要件を処理するために、知的なギャップ充填(IGF)と呼ばれるシステムが、提案された。図2bはエンコーダ側の提案されたシステムのブロック図を示し、そして、図2aはデコーダ側のシステムを示す。
その後、後処理フレームワークは、本発明がこの後処理の実施例における高周波数再構築器1330において実施されることもできることを例示するために、13A図および図13Bに関して記載されている。
例えば、高効率AAC(HE−AAC)で使われるように、図13aは帯域幅拡張技術に対する音声エンコーダの概略図を例示する。線1300での音声信号は、ロー・パス1302とハイ・パス1304とを有するフィルタシステムへの入力である。ハイ・パス・フィルタ1304による信号出力は、パラメータ抽出器/コーダ1306への入力である。パラメータ抽出器/コーダ1306は、例えば、スペクトル・エンベロープ・パラメータ、ノイズ加算パラメータ、失われた倍音パラメータまたは逆のフィルタリング・パラメータのようなパラメータを算出および符号化するように構成される。これらの抽出されたパラメータは、ビットストリーム・マルチプレクサ1308への入力である。ロー・パス出力信号は、ダウン・サンプラ1310およびコア・コーダ1312の機能を概して備えるプロセッサへの入力である。ロー・パス1302は、符号化される帯域幅を、線1300上でオリジナルの入力音声信号において発生するものより著しく少ない帯域幅に制限する。コア・コーダに生じる全部の機能が、減らされた帯域幅を有する信号に作用しなければならないだけであるという事実のため、これは、重要な符号化ゲインを提供する。例えば、線1300上の音声信号の帯域幅が20kHzであるときに、そして、ロー・パス・フィルタ1302が模範的に4kHzの帯域幅を有するときに、サンプリング定理を満たすために、ダウン・サンプラに続く信号が8kHzのサンプリング周波数を有することは理論的に充分である。そして、それは、少なくとも40kHzでなければならない音声
信号1300に対して必要とされるサンプリング・レートへの相当な縮小である。
図13bは、対応する帯域幅拡張デコーダの概略図を例示する。デコーダは、ビットストリーム・マルチプレクサ1320を有する。ビットストリーム・デマルチプレクサ1320は、コア・デコーダ1322に対する入力信号とパラメータ・デコーダ1324に対する入力信号とを抽出する。上記の例において、コア・デコーダ出力信号は、8kHzのサンプリング・レートと、それゆえ、4kHzの帯域幅を有するが、一方、完全な帯域幅再構築のためには、高周波数再構築器1330の出力信号は、少なくとも40kHzのサンプリング・レートを必要とする20kHzでなければならない。これを可能にするために、アップサンプラ1325およびフィルタバンク1326の機能を有するデコーダ・プロセッサが、必要とされる。高周波数再構築器1330はそれから、フィルタバンク1326によって周波数分析された低周波数信号出力を受信し、高い周波数帯のパラメータの表現を使用している図13aのハイ・パス・フィルタ1304によって定義される周波数範囲を再構築する。高周波数再構築器1330は、低周波数範囲においてソース範囲を使用するより上の周波数範囲の再生成、スペクトル・エンベロープ調整、ノイズ加算機能およびより上の周波数範囲において失われた倍音を導入する機能のようないくつかの機能を有し、そして、図13aのエンコーダにおいて適用され算出される場合には、概して、より高い周波数範囲がより低い周波数範囲ほど音的ではないという事実の原因を説明するために逆のフィルタ動作を有する。HE−AACにおいて、失われた倍音は、デコーダ側で再合成されて、再構築バンドの中央に正確に配置される。それゆえ、特定の再構築バンドにおいて決定されたすべての失われた倍音は、それらがオリジナル信号で位置されていた周波数値に配置されるというわけではない。その代わりに、それらの失われた倍音線は、特定のバンドの中央における周波数に配置される。このように、オリジナル信号の失われた倍音線がオリジナル信号の再構築バンド境界の非常に近くに配置されたときは、バンドの中央に再構築された信号のこの失われた倍音線を配置することによって導かれる周波数におけるエラーは、個々の再構築バンドの約50%である。再構築バンドに対して、パラメータは生成され、送信されている。
さらに、典型的音声コア・コーダがスペクトル領域において作動する場合であっても、それにもかかわらず、コア・デコーダは、それから再びフィルタバンク1326の機能によってスペクトル領域に変換される時間領域信号を生成する。これは、更なる処理遅延を導き、スペクトル領域から周波数領域への第1の変換と、概して異なる周波数領域への再度の変換とのタンデム処理により人工的な産物を導くことができ、そして、もちろん、これが、十分な量の計算複雑さとそれゆえ電力とをも必要とする。そして、それは、帯域幅拡張技術が携帯電話、タブレットまたはラップトップ・コンピュータ等のようなモバイル機器に適用されるときに、特に問題である。
いくつかの態様が、符号化または復号化のための装置との関連で説明されるが、これらの態様も、対応する方法の説明を表現することは明らかであり、ここで、ブロックあるいはデバイスは、方法のステップまたは方法のステップの特徴に対応する。類似して、方法のステップとの関連で説明される態様はまた、対応するブロック、アイテムまたは対応する装置の特徴の説明を表現する。方法のステップのいくつかまたは全ては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路のようなハードウェア装置によって実行(または使用)されうる。いくつかの実施例において、最も重要な方法のステップの1つ以上は、そのような装置によって実行されうる
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアにおいて、実施されうる。その実施の形態は、そこに格納され電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えば、フロッピー(登録商標)ディスク、ハード・ディスク・ドライブ(HDD)、DVD、Blu−Ray(登録商標)、CD、ROM、PROM、EPROM、EEPROM、またはFLASHメモリのような非一時的記憶媒体を使用して実行されうる。それは、プログラミング可能なコンピュータ・システムと協働し(または、協働することができ)、その結果、それぞれの方法が実行される。したがって、デジタル記憶媒体は、コンピュータ読込可能でもよい。
本発明によるいくつかの実施例は、プログラミング可能なコンピュータ・システムと協働することができる電子的に読み込み可能な制御信号を有するデータキャリアを含む。その結果、本願明細書において記載される方法のうちの1つは実行される。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータ・プログラム製品として実施され、コンピュータ・プログラム製品がコンピュータ上で稼動する場合、当該プログラムコードは、方法のうちの1つを実行することに対して有効である。当該プログラムコードは、例えば、機械読込可能キャリア上に、格納されうる。
他の実施例は、機械読込可能キャリアに格納され、本願明細書において記載される方法のうちの1つを実行するためのコンピュータ・プログラムを含む。
換言すれば、したがって、コンピュータ・プログラムがコンピュータ上で稼動する場合、本発明の方法の実施例は、本願明細書において記載される方法のうちの1つを実行するためのプログラムコードを有するコンピュータ・プログラムである。
したがって、本発明の方法の更なる実施例は、その上に記録され、本願明細書において記載される方法のうちの1つを実行するためのコンピュータ・プログラムを含むデータキャリア(または、デジタル記憶媒体、またはコンピュータ読込可能媒体)である。
したがって、本発明の方法の更なる実施例は、本願明細書において記載される方法のうちの1つを実行するためのコンピュータ・プログラムを表現しているデータ・ストリームまたは一連の信号である。例えば、データ・ストリームまたは一連の信号は、データ通信接続を介して、例えば、インターネットを介して、転送されるように構成されていてもよい。
更なる実施例は、本願明細書において記載される方法のうちの1つを実行するように構成され、または適応される処理手段、例えば、コンピュータまたはプログラマブル・ロジック・デバイスを含む。
更なる実施例は、その上にインストールされ、本願明細書において記載される方法のうちの1つを実行するためのコンピュータ・プログラムを有するコンピュータを含む。
本発明による更なる実施例は、本願明細書に記載される方法のうちの1つを実行するためのコンピュータ・プログラムをレシーバに(例えば、電子的にまたは光学的に)転送するように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリ素子等でもよい。装置またはシステムは、例えば、レシーバにコンピュータ・プログラムを転送するためのファイル・サーバを含んでもよい。
いくつかの実施例において、プログラマブル・ロジック・デバイス(例えば、フィールド・プログラマブル・ゲート・アレイ)は、本願明細書において記載される方法の機能のいくつかまたは全てを実行するために使用されていてもよい。いくつかの実施例において、フィールド・プログラマブル・ゲート・アレイは、本願明細書において記載される方法の1つを実行するために、マイクロプロセッサと協働してもよい。一般的に、当該方法は、いくつかのハードウェア装置によって、好ましくは実行される。
上述した実施例は、本発明の原理のために、単に説明されているだけである。配置の修正変更および本願明細書において記載されている詳細は他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許請求の範囲だけによってのみ制限され、本願明細書において実施例の説明および説明として示される具体的な詳細によっては制限されないことが意図される。

Claims (16)

  1. 入力信号(600)から強化された信号を生成する装置であって、前記強化された信号は、強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は、前記入力信号(600)に含まれておらず、前記装置は、
    前記入力信号のソース・スペクトル領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー(602)であって、前記ソース・スペクトル領域は、ノイズ充填領域(302)を含む、マッパー(602)と、
    前記入力信号の前記ソース・スペクトル領域における前記ノイズ充填領域(302)について第1のノイズ値を生成するように構成され、かつ、前記ターゲット領域内のノイズ領域についての第2のノイズ値を生成するように構成され、ここで前記第2のノイズ値は、前記第1のノイズ値から非相関され、または、前記ターゲット領域におけるノイズ領域に対する第2のノイズ値を生成するように構成され、ここで前記第2のノイズ値は、前記ソース領域における第1のノイズ値から非相関される、ノイズ・フィラー(604)と、
    を含み、
    ここで、前記ノイズ・フィラー(604)は、
    前記入力信号における前記第1のノイズ値を有する前記ノイズ充填領域を識別し、
    前記入力信号の少なくとも1つの領域をソース・タイル・バッファへコピーし(902)、前記領域は前記ソース・スペクトル領域を含み、
    前記独立のノイズ値によって識別されるように前記第1のノイズ値を置換する(904)ように構成され、
    前記マッパー(602)は、非相関のノイズ値を有する前記ソース・タイル・バッファを前記ターゲット領域にマップするように構成される、装置。
  2. 前記入力信号は、前記入力信号の前記ソース・スペクトル領域についてのノイズ充填パラメータを含む符号化された信号であり、
    前記ノイズ・フィラーは、前記ノイズ充填パラメータを使用して前記第1のノイズ値を生成するように構成され、かつ、前記第1のノイズ値に関するエネルギー情報を使用して前記第2のノイズ値を生成するように構成される、請求項1に記載の装置。
  3. 前記ノイズ・フィラー(604)は、前記非相関のノイズ値(1102)に関するエネルギー情報と前記第1のノイズ値(1100)に関するエネルギー情報とを測定し、前記非相関のノイズ値に関する前記エネルギー情報と前記第1のノイズ値に関する前記エネルギー情報とから導出されたスケーリング値を使用して前記非相関のノイズ値をスケールする(906)ように構成される、請求項1に記載の装置。
  4. 前記ノイズ・フィラー(604)は、前記マッパー(602)の動作に続く前記第2のノイズ値を生成するように構成され、または、前記マッパー(602)の動作に続く前記第1および前記第2のノイズ値を生成する(604)ように構成される、請求項1ないし請求項3のいずれかに記載の装置。
  5. 前記マッパー(602)は、前記ソース・スペクトル領域を前記ターゲット領域にマップするように構成され、
    前記ノイズ・フィラー(604)は、ノイズ充填とサイド情報として前記入力信号において送信されるノイズ充填パラメータとを使用して前記第1のノイズ値を生成することによってスペクトル領域におけるノイズ充填を実行するように構成され、かつ、前記第1のノイズ値に関するエネルギー情報を使用して前記第2のスペクトル値を生成するために前記ターゲット領域におけるノイズ充填を実行するように構成される、請求項1ないし請求項4のいずれかに記載の装置。
  6. サイド情報として前記入力信号に含まれるスペクトル・エンベロープ情報を使用して前記強化スペクトル領域における前記第2のノイズ値を調整する(1202)ためのエンベロープ調整器を、さらに含む、請求項1ないし請求項5のいずれかに記載の装置。
  7. 前記ノイズ・フィラー(604)は、ノイズ充填のためにスペクトルの位置を識別するために、前記入力信号のサイド情報のみを使用するように構成されるか、または、
    前記ノイズ・フィラー(604)は、ノイズ充填のためにスペクトルの位置を識別するために、前記ノイズ充填領域におけるスペクトル値の有無にかかわらず前記入力信号の時間またはスペクトル特性を解析するように構成される、請求項1ないし請求項6のいずれかに記載の装置。
  8. 前記ノイズ・フィラー(604)は、前記ソース・スペクトル領域のみにおけるスペクトルの位置に対する入力を有するか、または、前記ソース・スペクトル領域および前記ターゲット・スペクトル領域におけるスペクトルの位置に対する入力を有する識別ベクトル(706)を使用してノイズ位置を識別するように構成される、請求項1ないし請求項7のいずれかに記載の装置。
  9. 前記ノイズ・フィラー(604)は、前記コピーする動作(902)において、前記入力信号のスペクトル部分全体をコピーするか、もしくは、前記マッパーが一般的に使用可能なノイズ充填境界周波数を超える前記入力信号のスペクトル部分全体を前記ソース・タイル・バッファにコピーし、かつ、前記ソース・タイル・バッファ全体に対して前記置換処理(904)を実行するように構成され、または、
    前記ノイズ・フィラー(604)は、前記コピーする動作(902)において、前記マッパー(602)が前記ターゲット領域のために使用するソース領域に対して、1つ以上の特定のソース識別子(specific source identifiers)によって識別される前記入力信号のスペクトル領域のみをコピーするように構成され、ここで、各異なる個別のマッピング動作について、個別のソース・タイル・バッファが使用される、請求項1または請求項3に記載の装置。
  10. 前記マッパー(602)は、前記ターゲット・スペクトル領域を生成するために、ギャップ充填動作を実行するように構成され、前記装置は、
    第1のスペクトル部分の第1のセットの第1の復号化された表現を生成するためのスペクトル領域音声デコーダ(112)であって、前記復号化された表現は、第1のスペクトル解像度を有する、スペクトル領域音声デコーダ(112)と、
    前記第1のスペクトル解像度より低い第2のスペクトル解像度を有する第2のスペクトル部分の第2のセットの第2の復号化された表現を生成するためのパラメトリック・デコーダ(114)と、
    第1のスペクトル部分と前記第2のスペクトル部分に対するスペクトル・エンベロープ情報とを使用して前記第1のスペクトル解像度を有する再構築された第2のスペクトル部分を再生成するための周波数再生器(116)と、
    前記再構築された第2のスペクトル部分における前記第1の復号化された表現を時間表現に変換するためのスペクトル時間コンバータ(118)と、
    を含み、
    前記マッパー(602)および前記ノイズ・フィラー(604)は、前記周波数再生器(116)において、少なくとも部分的に含まれる、請求項1ないし請求項9のいずれかに記載の装置。
  11. 前記スペクトル領域音声デコーダは、スペクトル値の一連の復号化されたフレームを出力するように構成され、復号化されたフレームは、前記第1の復号化された表現であり、ここで、前記フレームは、スペクトル部分の前記第1のセットについてのスペクトル値と第2のスペクトル部分の前記第2のセットについての0表示とを含み、
    ここで、復号化するための装置は、前記第1のスペクトル部分の前記第1のセットと第2のスペクトル部分の前記第2のセットとについてのスペクトル値を含む再構築されたスペクトル・フレームを得るために、第2のスペクトル部分の前記第2のセットについての前記周波数再生器によって生成されたスペクトル値と再構築バンドにおける第1のスペクトル部分の前記第1のセットのスペクトル値とを結合するためのコンバイナ(208)をさらに含み、
    前記スペクトル時間コンバータ(118)は、前記再構築されたスペクトル・フレームを前記時間表現に変換するように構成される、請求項10に記載の装置。
  12. 各ターゲット周波数範囲に対して、ソース領域識別をさらに含み、
    ここで、前記マッパー(602)は、前記ソース領域識別を使用して前記ソース領域を選択するように構成され、かつ、前記ターゲット領域に前記選択されたソース領域をマップするように構成される、請求項1ないし請求項11のいずれかに記載の装置。
  13. 入力信号(600)から強化された信号を生成するための方法であって、前記強化された信号は、強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は、前記入力信号(600)に含まれておらず、前記方法は、
    前記入力信号のソース・スペクトル領域を前記強化スペクトル領域におけるターゲット領域にマップするステップ(602)であって、前記ソース・スペクトル領域は、ノイズ充填領域(302)を含む、マップするステップ(602)と、
    前記入力信号の前記ソース・スペクトル領域内の前記ノイズ充填領域(302)についての第1のノイズ値を生成し、かつ、前記ターゲット領域内のノイズ領域についての第2のノイズ値を生成するステップであって、ここで前記第2のノイズ値は、前記第1のノイズ値から非相関され、または、前記ターゲット領域におけるノイズ領域に対する第2のノイズ値を生成するステップであって、ここで前記第2のノイズ値は、前記ソース領域における第1のノイズ値から非相関される、生成するステップ(604)と、
    を含み、
    前記生成するステップ(604)は、
    前記入力信号における前記第1のノイズ値を有する前記ノイズ充填領域を識別するステップと、
    前記入力信号の少なくとも1つの領域をソース・タイル・バッファへコピーするステップ(902)であって、前記領域は前記ソース・スペクトル領域を含む、コピーするステップ(902)と、
    識別された前記第1のノイズ値を前記独立のノイズ値によって置換するステップ(904)と、を含み、
    前記マップするステップ(602)は、非相関のノイズ値を有する前記ソース・タイル・バッファを前記ターゲット領域にマップするステップを含む、方法。
  14. 音声信号を処理するシステムであって、前記システムは、
    符号化された信号を生成するためのエンコーダと、
    請求項1ないし請求項12のいずれかに記載の強化された信号を生成するための前記装置であって、前記符号化された信号は、前記強化された信号を生成するための前記装置への前記入力信号(600)を生成するために、所定の処理(700)の対象となる、前記装置と、を含むシステム。
  15. 音声信号を処理する方法であって、前記方法は、
    入力信号から符号化された信号を生成するステップと、
    請求項13に記載の強化された信号を生成する方法であって、前記符号化された信号は、前記強化された信号を生成するための前記装置への前記入力信号(600)を生成するために、所定の処理(700)の対象となる、方法と、を含む、方法。
  16. コンピュータ上で稼動する際に、請求項13または請求項15の方法を実行する、コンピュータ・プログラム。
JP2019103541A 2014-07-28 2019-06-03 独立したノイズ充填を用いた強化された信号を生成するための装置および方法 Active JP6992024B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021198957A JP7391930B2 (ja) 2014-07-28 2021-12-08 独立したノイズ充填を用いた強化された信号を生成するための装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14178777.0 2014-07-28
EP14178777.0A EP2980792A1 (en) 2014-07-28 2014-07-28 Apparatus and method for generating an enhanced signal using independent noise-filling

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017504674A Division JP6535730B2 (ja) 2014-07-28 2015-07-24 独立したノイズ充填を用いた強化された信号を生成するための装置および方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021198957A Division JP7391930B2 (ja) 2014-07-28 2021-12-08 独立したノイズ充填を用いた強化された信号を生成するための装置および方法

Publications (2)

Publication Number Publication Date
JP2019194704A true JP2019194704A (ja) 2019-11-07
JP6992024B2 JP6992024B2 (ja) 2022-01-13

Family

ID=51224865

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2017504674A Active JP6535730B2 (ja) 2014-07-28 2015-07-24 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP2017504691A Active JP6457625B2 (ja) 2014-07-28 2015-07-24 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP2018238686A Active JP6943836B2 (ja) 2014-07-28 2018-12-20 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP2019103541A Active JP6992024B2 (ja) 2014-07-28 2019-06-03 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP2021146839A Active JP7354193B2 (ja) 2014-07-28 2021-09-09 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP2021198957A Active JP7391930B2 (ja) 2014-07-28 2021-12-08 独立したノイズ充填を用いた強化された信号を生成するための装置および方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2017504674A Active JP6535730B2 (ja) 2014-07-28 2015-07-24 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP2017504691A Active JP6457625B2 (ja) 2014-07-28 2015-07-24 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP2018238686A Active JP6943836B2 (ja) 2014-07-28 2018-12-20 独立したノイズ充填を用いた強化された信号を生成するための装置および方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021146839A Active JP7354193B2 (ja) 2014-07-28 2021-09-09 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
JP2021198957A Active JP7391930B2 (ja) 2014-07-28 2021-12-08 独立したノイズ充填を用いた強化された信号を生成するための装置および方法

Country Status (18)

Country Link
US (7) US10354663B2 (ja)
EP (4) EP2980792A1 (ja)
JP (6) JP6535730B2 (ja)
KR (2) KR101958360B1 (ja)
CN (4) CN111261176B (ja)
AR (2) AR101346A1 (ja)
AU (2) AU2015295547B2 (ja)
BR (2) BR112017001586B1 (ja)
CA (2) CA2956024C (ja)
ES (2) ES2693051T3 (ja)
MX (2) MX365086B (ja)
PL (2) PL3186807T3 (ja)
PT (2) PT3186807T (ja)
RU (2) RU2665913C2 (ja)
SG (2) SG11201700631UA (ja)
TR (2) TR201816634T4 (ja)
TW (2) TWI575511B (ja)
WO (2) WO2016016144A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2980792A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling
US10541772B2 (en) * 2017-04-28 2020-01-21 Qualcomm Incorporated Techniques for transmission of discovery reference signals in new radio shared spectrum
CN108871385B (zh) * 2017-05-12 2021-09-07 西门子公司 编码器、电机、编码器数据处理方法及存储介质
TWI809289B (zh) * 2018-01-26 2023-07-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
TWI715139B (zh) * 2019-08-06 2021-01-01 原相科技股份有限公司 聲音播放裝置及其透過遮噪音訊遮蓋干擾音之方法
CN110610717B (zh) * 2019-08-30 2021-10-15 西南电子技术研究所(中国电子科技集团公司第十研究所) 复杂频谱环境混合信号的分离方法
JP2023509201A (ja) * 2020-01-13 2023-03-07 ホアウェイ・テクノロジーズ・カンパニー・リミテッド オーディオ符号化及び復号方法、並びにオーディオ符号化及び復号デバイス
CN113808596A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN113808597A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004053895A (ja) * 2002-07-19 2004-02-19 Nec Corp オーディオ復号装置と復号方法およびプログラム
JP2011527455A (ja) * 2008-07-11 2011-10-27 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ ノイズ充填装置、ノイズ充填パラメータ演算装置、ノイズ充填パラメータを提供する方法、オーディオ信号のノイズ充填されたスペクトル表現を提供する方法、それに対応するコンピュータプログラムおよび符号化されたオーディオ信号
WO2013002623A2 (ko) * 2011-06-30 2013-01-03 삼성전자 주식회사 대역폭 확장신호 생성장치 및 방법
JP2013015598A (ja) * 2011-06-30 2013-01-24 Zte Corp オーディオ符号化/復号化方法、システム及びノイズレベルの推定方法
WO2013141638A1 (ko) * 2012-03-21 2013-09-26 삼성전자 주식회사 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
WO2014033131A1 (en) * 2012-08-27 2014-03-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6931370B1 (en) 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
WO2002021510A1 (en) 2000-09-08 2002-03-14 Koninklijke Philips Electronics N.V. Speech recognition method with a replace command
JP3870193B2 (ja) * 2001-11-29 2007-01-17 コーディング テクノロジーズ アクチボラゲット 高周波再構成に用いる符号器、復号器、方法及びコンピュータプログラム
RU2376657C2 (ru) 2005-04-01 2009-12-20 Квэлкомм Инкорпорейтед Системы, способы и устройства для высокополосного предыскажения шкалы времени
US7930176B2 (en) * 2005-05-20 2011-04-19 Broadcom Corporation Packet loss concealment for block-independent speech codecs
JP4670483B2 (ja) * 2005-05-31 2011-04-13 日本電気株式会社 雑音抑圧の方法及び装置
KR101291672B1 (ko) * 2007-03-07 2013-08-01 삼성전자주식회사 노이즈 신호 부호화 및 복호화 장치 및 방법
CA2698031C (en) * 2007-08-27 2016-10-18 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for noise filling
JP5183741B2 (ja) * 2007-08-27 2013-04-17 テレフオンアクチーボラゲット エル エム エリクソン(パブル) ノイズ補充と帯域拡張との間の遷移周波数の適合
US9177569B2 (en) * 2007-10-30 2015-11-03 Samsung Electronics Co., Ltd. Apparatus, medium and method to encode and decode high frequency signal
CN101868821B (zh) * 2007-11-21 2015-09-23 Lg电子株式会社 用于处理信号的方法和装置
CN101572092B (zh) * 2008-04-30 2012-11-21 华为技术有限公司 编解码端的固定码本激励的搜索方法及装置
CN101572088A (zh) * 2008-04-30 2009-11-04 北京工业大学 立体声编解码方法、编解码器及编解码系统
CN101281748B (zh) * 2008-05-14 2011-06-15 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
EP2410522B1 (en) * 2008-07-11 2017-10-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal encoder, method for encoding an audio signal and computer program
BRPI0910792B1 (pt) * 2008-07-11 2020-03-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. "sintetizador de sinal de áudio e codificador de sinal de áudio"
WO2010053287A2 (en) * 2008-11-04 2010-05-14 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
PL3598447T3 (pl) * 2009-01-16 2022-02-14 Dolby International Ab Transpozycja harmonicznych rozszerzona o iloczyn wektorowy
BR122019023709B1 (pt) * 2009-01-28 2020-10-27 Dolby International Ab sistema para gerar um sinal de áudio de saída a partir de um sinal de áudio de entrada usando um fator de transposição t, método para transpor um sinal de áudio de entrada por um fator de transposição t e meio de armazenamento
EP2555191A1 (en) * 2009-03-31 2013-02-06 Huawei Technologies Co., Ltd. Method and device for audio signal denoising
BR112012007803B1 (pt) * 2009-10-08 2022-03-15 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Decodificador de sinal de áudio multimodal, codificador de sinal de áudio multimodal e métodos usando uma configuração de ruído com base em codificação de previsão linear
CN102063905A (zh) * 2009-11-13 2011-05-18 数维科技(北京)有限公司 一种用于音频解码的盲噪声填充方法及其装置
CN102081927B (zh) * 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
CN102081926B (zh) * 2009-11-27 2013-06-05 中兴通讯股份有限公司 格型矢量量化音频编解码方法和系统
CN102194457B (zh) * 2010-03-02 2013-02-27 中兴通讯股份有限公司 音频编解码方法、系统及噪声水平估计方法
CN102136271B (zh) * 2011-02-09 2012-07-04 华为技术有限公司 舒适噪声生成器、方法及回声抵消装置
TWI484479B (zh) * 2011-02-14 2015-05-11 Fraunhofer Ges Forschung 用於低延遲聯合語音及音訊編碼中之錯誤隱藏之裝置和方法
EP2684190B1 (en) * 2011-03-10 2015-11-18 Telefonaktiebolaget L M Ericsson (PUBL) Filling of non-coded sub-vectors in transform coded audio signals
US8706509B2 (en) * 2011-04-15 2014-04-22 Telefonaktiebolaget L M Ericsson (Publ) Method and a decoder for attenuation of signal regions reconstructed with low accuracy
TWI562133B (en) * 2011-05-13 2016-12-11 Samsung Electronics Co Ltd Bit allocating method and non-transitory computer-readable recording medium
CN102208188B (zh) * 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
US8527264B2 (en) * 2012-01-09 2013-09-03 Dolby Laboratories Licensing Corporation Method and system for encoding audio data with adaptive low frequency compensation
US9078653B2 (en) * 2012-03-26 2015-07-14 Ethicon Endo-Surgery, Inc. Surgical stapling device with lockout system for preventing actuation in the absence of an installed staple cartridge
EP2709106A1 (en) * 2012-09-17 2014-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a bandwidth extended signal from a bandwidth limited audio signal
US9373337B2 (en) 2012-11-20 2016-06-21 Dts, Inc. Reconstruction of a high-frequency range in low-bitrate audio coding using predictive pattern analysis
CN103854653B (zh) * 2012-12-06 2016-12-28 华为技术有限公司 信号解码的方法和设备
BR112015017748B1 (pt) * 2013-01-29 2022-03-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Preenchimento de ruído na codificação de áudio de transformada perceptual
CN103413553B (zh) * 2013-08-20 2016-03-09 腾讯科技(深圳)有限公司 音频编码方法、音频解码方法、编码端、解码端和系统
US8768005B1 (en) * 2013-12-05 2014-07-01 The Telos Alliance Extracting a watermark signal from an output signal of a watermarking encoder
EP2980792A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating an enhanced signal using independent noise-filling

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004053895A (ja) * 2002-07-19 2004-02-19 Nec Corp オーディオ復号装置と復号方法およびプログラム
JP2011527455A (ja) * 2008-07-11 2011-10-27 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ ノイズ充填装置、ノイズ充填パラメータ演算装置、ノイズ充填パラメータを提供する方法、オーディオ信号のノイズ充填されたスペクトル表現を提供する方法、それに対応するコンピュータプログラムおよび符号化されたオーディオ信号
WO2013002623A2 (ko) * 2011-06-30 2013-01-03 삼성전자 주식회사 대역폭 확장신호 생성장치 및 방법
JP2013015598A (ja) * 2011-06-30 2013-01-24 Zte Corp オーディオ符号化/復号化方法、システム及びノイズレベルの推定方法
JP2014523548A (ja) * 2011-06-30 2014-09-11 サムスン エレクトロニクス カンパニー リミテッド 帯域幅拡張信号生成装置及びその方法
WO2013141638A1 (ko) * 2012-03-21 2013-09-26 삼성전자 주식회사 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
JP2015512528A (ja) * 2012-03-21 2015-04-27 サムスン エレクトロニクス カンパニー リミテッド 帯域幅拡張のための高周波数符号化/復号化方法及びその装置
WO2014033131A1 (en) * 2012-08-27 2014-03-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal
JP2015526769A (ja) * 2012-08-27 2015-09-10 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 音声信号を再生するための装置および方法、符号化音声信号を生成するための装置および方法、コンピュータプログラム、および符号化音声信号

Also Published As

Publication number Publication date
MX2017001231A (es) 2017-07-07
AU2015295547B2 (en) 2018-07-19
CN113160838A (zh) 2021-07-23
CN106796798B (zh) 2021-03-05
RU2016146738A (ru) 2018-08-28
TW201608561A (zh) 2016-03-01
BR112017000852B1 (pt) 2022-11-22
CA2947804C (en) 2019-07-02
JP2022003397A (ja) 2022-01-11
US20200090668A1 (en) 2020-03-19
SG11201700631UA (en) 2017-02-27
KR20170024048A (ko) 2017-03-06
PL3175449T3 (pl) 2019-01-31
JP6992024B2 (ja) 2022-01-13
US20190295561A1 (en) 2019-09-26
MX2017001236A (es) 2017-07-07
AU2015295549A1 (en) 2017-03-16
EP3175449B1 (en) 2018-08-15
CN111261176B (zh) 2024-04-05
SG11201700689VA (en) 2017-02-27
US20170069332A1 (en) 2017-03-09
TR201816634T4 (tr) 2018-11-21
BR112017001586B1 (pt) 2022-11-22
CA2947804A1 (en) 2016-02-04
JP2017526957A (ja) 2017-09-14
KR101958360B1 (ko) 2019-03-15
RU2017105507A3 (ja) 2018-08-28
TWI575515B (zh) 2017-03-21
AU2015295547A1 (en) 2017-01-12
US20210065726A1 (en) 2021-03-04
TWI575511B (zh) 2017-03-21
AU2015295549B2 (en) 2018-11-01
WO2016016146A1 (en) 2016-02-04
MX363352B (es) 2019-03-20
EP3186807B1 (en) 2019-01-02
KR101958359B1 (ko) 2019-03-15
BR112017001586A2 (pt) 2018-01-30
RU2016146738A3 (ja) 2018-08-28
JP2017526004A (ja) 2017-09-07
US20170133024A1 (en) 2017-05-11
US10529348B2 (en) 2020-01-07
US11908484B2 (en) 2024-02-20
AR101346A1 (es) 2016-12-14
JP2022046504A (ja) 2022-03-23
KR20170063534A (ko) 2017-06-08
US10354663B2 (en) 2019-07-16
ES2693051T3 (es) 2018-12-07
US20230386487A1 (en) 2023-11-30
US11705145B2 (en) 2023-07-18
JP7391930B2 (ja) 2023-12-05
RU2667376C2 (ru) 2018-09-19
CN106537499B (zh) 2020-02-21
CN106537499A (zh) 2017-03-22
EP3471094A1 (en) 2019-04-17
WO2016016144A1 (en) 2016-02-04
JP2019074755A (ja) 2019-05-16
EP2980792A1 (en) 2016-02-03
JP6943836B2 (ja) 2021-10-06
BR112017000852A2 (pt) 2017-12-05
PT3186807T (pt) 2019-04-02
EP3175449A1 (en) 2017-06-07
US20220148606A1 (en) 2022-05-12
EP3186807A1 (en) 2017-07-05
CA2956024A1 (en) 2016-02-04
RU2017105507A (ru) 2018-08-28
CA2956024C (en) 2019-05-07
PL3186807T3 (pl) 2019-06-28
AR101345A1 (es) 2016-12-14
MX365086B (es) 2019-05-22
US10885924B2 (en) 2021-01-05
CN106796798A (zh) 2017-05-31
TR201904282T4 (tr) 2019-05-21
JP6535730B2 (ja) 2019-06-26
CN111261176A (zh) 2020-06-09
TW201618083A (zh) 2016-05-16
JP6457625B2 (ja) 2019-01-23
JP7354193B2 (ja) 2023-10-02
RU2665913C2 (ru) 2018-09-04
US11264042B2 (en) 2022-03-01
ES2718728T3 (es) 2019-07-04
PT3175449T (pt) 2018-11-23

Similar Documents

Publication Publication Date Title
JP7391930B2 (ja) 独立したノイズ充填を用いた強化された信号を生成するための装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R150 Certificate of patent or registration of utility model

Ref document number: 6992024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150