JP2016506543A - デジタルオーディオ信号におけるプリエコーの効率的な減衰 - Google Patents

デジタルオーディオ信号におけるプリエコーの効率的な減衰 Download PDF

Info

Publication number
JP2016506543A
JP2016506543A JP2015548736A JP2015548736A JP2016506543A JP 2016506543 A JP2016506543 A JP 2016506543A JP 2015548736 A JP2015548736 A JP 2015548736A JP 2015548736 A JP2015548736 A JP 2015548736A JP 2016506543 A JP2016506543 A JP 2016506543A
Authority
JP
Japan
Prior art keywords
sub
signal
echo
attenuation
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015548736A
Other languages
English (en)
Other versions
JP6373865B2 (ja
Inventor
バラーツ・コヴシー
ステファン・ラゴ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2016506543A publication Critical patent/JP2016506543A/ja
Application granted granted Critical
Publication of JP6373865B2 publication Critical patent/JP6373865B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/21Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a set of bandfilters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Stereophonic System (AREA)

Abstract

本発明は、変換復号化によって復号化されたデジタルオーディオ信号においてプリエコーの減衰を処理する方法に関する。上記の方法は、所定の分割基準に従って、復号化された信号を少なくとも2つのサブ信号に分割するステップ(E603)と、サブ信号ごとに、かつ以前に判定されたプリエコー帯のサンプルごとに、減衰係数を算出するステップ(E604)と、減衰係数をサブ信号に適用することによって、サブ信号の各々のプリエコー帯においてプリエコーを減衰させるステップ(E605)と、減衰されたサブ信号を足し合わせることによって、減衰された信号を生成するステップ(E606)とを有する。また、本発明は、説明した方法の各ステップを実行する処理デバイス、およびそのようなデバイスを備える復号器に関する。

Description

本発明は、デジタルオーディオ信号を復号化するときにプリエコーの減衰を処理する方法およびデバイスに関する。
例えば、それが固定ネットワークまたはモバイルネットワークであるかに関わらず、電気通信ネットワーク上でのデジタルオーディオ信号の伝送のために、または信号の記憶のために、一般的に線形予測型による時間符号化、または変換型による周波数符号化の符号化システムを実装することには、圧縮(または、ソース符号化)処理が含まれる。
よって、本発明の主題である方法及び装置は、音声信号、特に周波数変換によって符号化されたデジタルオーディオ信号の圧縮の範囲内にある。
図1は、例示として、従来技術による、重複−加算(overlap−addition)による分析−合成を含む、変換によるデジタルオーディオ信号の符号化および復号化の概略図を表す。
衝突音(percussions)などのある音の系列(musical sequences)、および破裂音などのあるスピーチセグメント(/k/、/t/、など)は、数個のサンプルの空間における信号のダイナミックレンジの非常に急速な遷移、および非常に強い変動となる、きわめて急激な立ち上がりによって特徴付けられる。例示的な遷移は、図1において、サンプル410によって与えられる。
符号化/復号化処理のために、入力信号は、長さLのサンプルのブロックに細分化され、図1においては、その境界が垂直の点線によって表される。入力信号は、x(n)で表され、nは、サンプルのインデックスである。連続するブロック(またはフレーム)への分断は、ブロックx(n)=[x(N.L)...x(N.L+L−1)]=[x(0)...x(L−1)]を定義することをもたらし、ここで、Nは、ブロック(またはフレーム)のインデックスであり、Lは、フレームの長さである。図1においては、L=160のサンプルである。修正離散コサイン変換(MDCT)のケースでは、2つのブロックX(n)およびXN+1(n)がともに分析されて、インデックスNのフレームと関連付けられた、変換された係数のブロックを与え、かつ分析窓は正弦曲線となる。
変換符号化によって適用される、フレームとも称されるブロックへの分割は、全体として音声信号から独立しており、したがって、遷移は、分析窓の任意のポイントで現れることがある。ここで、変換復号化の後、再構築された信号は、量子化(Q)−逆量子化(Q−1)操作により生じる「雑音」(または歪み)の影響を受ける。この符号化雑音は、変換されたブロックの媒体時間全体にわたって、すなわち、サンプルの長さ2L(長さLのサンプルが重複する)の窓の全体の長さにわたって、比較的一定の方法で、時間的に分散される。符号化雑音のエネルギーは、概して、ブロックのエネルギーと比例し、かつ符号化/復号化ビットレートの関数である。
(図1のブロック320〜480のような)立ち上がりを含むブロックに対して、信号のエネルギーは高く、したがって、雑音は高いレベルにある。
変換符号化において、符号化雑音のレベルは主として、遷移の直後に続く高エネルギーのセグメントに対する信号のレベルよりも低いが、特に遷移に先行する部分(図1のサンプル160〜410)にわたって、符号化雑音のレベルは、より低いエネルギーのセグメントに対する信号のレベルよりは高い。上述した部分に対して、信号対雑音比は負であり、かつその結果生じる劣化は、リスニング時に、非常に煩わしく感じられることがある。遷移に先立つ符号化雑音は、プリエコーと称され、遷移に続く符号化雑音は、ポストエコーと称される。
図1では、プリエコーが、遷移よりも前のフレームに影響を及ぼすとともに、その遷移が発生するフレームにも影響を及ぼすことを理解することができる。
サイコアコースティック(Psycho−acoustic)の実験は、人間の耳が、数ミリ秒の次元である、非常に限られた、時間的な音のプリマスキング(逆行マスキング)を行うことを示した。立ち上がりよりも前の雑音、すなわちプリエコーは、プリエコーの期間がプリマスキング期間よりも大きいときに聞き取り可能である。
また、人間の耳は、高エネルギーの系列から低エネルギーの系列に遷移する際に、5〜60ミリ秒のさらに長い期間のポストマスキング(順行マスキング)を行う。したがって、ポストエコーに対する許容可能な不快感の程度またはレベルは、プリエコーに対するものよりもさらに大きい。
サンプル数の観点からは、ブロックの長さが非常に大きいときに、より重大なプリエコーの現象が特に悩ましい。ここで、変換符号化では、定常信号に関して、変換の長さが増大すると、符号化利得がさらに大きくなることが知られている。固定されたサンプリング周波数および固定されたビットレートで、窓のポイントの数(したがって、変換の長さ)が増加する場合、サイコアコースティックモデルによって、有益であると思われるフレームごとの符号に対するビットおよび周波数波線が多くなり、よって、大きな長さのブロックを使用することの利点がある。例えば、MPEG AAC(Advanced Audio Coding)は、2048個の固定数のサンプルを含み、すなわちサンプリング周波数が32kHzの場合に64msの期間にわたって、大きな長さの窓を使用する。中間窓(遷移窓と称される)を通じて、それらの長い窓から8つの短い窓に切り替えることを可能にすることによって、プリエコーの問題が管理され、それは、遷移の存在を検知し、かつ窓を適合させるのに、符号化において一定の遅延を要する。したがって、それらの短い窓の長さは256個のサンプルである(32kHzで8ms)。低ビットレートでは、数msの可聴プリエコーが未だに存在する可能性がある。窓の切り替えによって、プリエコーを減衰させることが可能になるが、それを除去することができない。ITU−T G.722.1、G.722.1C、またはG.719などの会話型用途で使用される変換符号器は、16、32、または48kHz(それぞれ)において、20msのフレーム長および40msの期間の窓を使用することが多い。ITU−T G.719符号器は、過渡検出を有する窓切替機構を組み込むが、低ビットレート(主として、32kbit/s)では、プリエコーは完全に減少しないことが分かる。
上述したプリエコー現象の悩ましい影響を減少させるために、符号器および/または復号器レベルで様々な解決法が提案されてきた。
窓の切り替えは既に述べたが、それは、現在のフレームにおいて使用される窓のタイプを特定する補助情報を伝送することが伴う。別の解決法は、適応フィルタリングを適用することを含む。立ち上がりに先行する帯域(zone)では、再構築された信号が、元の信号の合計および量子化雑音の合計として見られる。
対応するフィルタリング技術が、文献「High Quality Audio Transform Coding at 64kbits」(非特許文献1)において説明されている。
このようなフィルタリングの実装は、パラメータの知識であって、その一部が、予測係数、およびプリエコーによって破損される信号の不一致のような、雑音サンプルから復号器上で推測されるパラメータの知識を伴う。一方、元の信号のエネルギーなどの情報を、符号器のみに知らせることができ、結果的に伝送しなければならない。このことは、制限されたビットレートで、変換符号化に割り当てられた相対的な量(budget)を減少させる追加情報を伝送することを伴う。受信したブロックが、ダイナミックレンジの急激な変動を含むとき、フィルタリング処理がそれに適用される。
上述したフィルタリング処理によっては、元の信号を取り出すことはできないが、プリエコーを大きく減少させることができる。しかしながら、このことは、追加パラメータを復号器に伝送することを伴う。
上述した解決法とは異なり、情報の特定の伝送を行わない異なるプリエコー減少技術が提案されてきた。例えば、階層型符号化との関連におけるプリエコーの減少の検討が、文献「Pre−echo reduction in the ITU−T G.729.1 embedded coder」(非特許文献2)で提示されている。
補助情報なしのプリエコー減衰方法の典型的な例は、仏国特許出願第0856248号(特許文献1)で説明されている。この例では、遷移または立ち上がりが検出されたサブブロックに先行する低エネルギーのサブブロックにおいて、サブブロックごとに減衰係数が判定される。
k番目のサブブロックにおける減衰係数g(k)は、例えば、最も強いエネルギーのサブブロックのエネルギーと、該当のk番目のサブブロックのエネルギーとの間の比率R(k)に応じて算出され、
g(k)=f(R(k))
であり、ここで、fは、0から1の間の値を有する減少関数であり、kは、サブブロックの番号である。係数g(k)の他の定義が、例えば、現在のサブブロックにおけるエネルギーEn(k)および先行するサブブロックにおけるエネルギーEn(k−1)に応じて可能である。
サブブロックのエネルギーが、現在のフレームにあると見なされるサブブロックにおける最大エネルギーに対してほとんど変動しない場合、減衰は必要ではなく、係数g(k)は、減衰を抑止する減衰係数、すなわち1に設定される。そうでなければ、減衰係数は0から1の間にある。
ほとんどのケースでは、とりわけプリエコーが煩わしいとき、プリエコーフレームに先行するフレームは、低エネルギーのセグメント(主として、背景雑音)のエネルギーに相当する均一のエネルギーを有する。経験から、プリエコー減衰処理の後に、信号のエネルギーが、処理帯よりも前の信号の(サブブロックごとの)平均エネルギーよりも大きくなることは有益でなく、望ましいことでもない。平均エネルギーは、主として、
Figure 2016506543
で表される先行するフレームの平均エネルギー、または
Figure 2016506543
で表される先行するフレームの後ろ半分の平均エネルギーである。
処理されるインデックスkのサブブロックに対し、処理されるサブブロックに先行するセグメントのサブブロックごとの平均エネルギーと同一のエネルギーを正確に得るために、lim(k)で表される、減衰係数の制限値を算出することが可能である。この値はもちろん、ここで対象となる減衰値であるので、1の最大値に制限される。特にここでは、以下が定義され、
Figure 2016506543
先行するセグメントの平均エネルギーは、値
Figure 2016506543
によって近似される。
よって、値lim(k)は、サブブロック減衰係数の最終的な算出において、下限としての役割を果たし、したがって、以下のように使用される。
g(k)=max(g(k),lim(k))
サンプルごとに適用される関数を平滑化することによって、サブブロックごとに判定される減衰係数(または利得)g(k)を平滑化して、ブロックの境界における減衰係数の急激な変動を回避することができる。
例えば、サンプルごとの利得を、区分的に一定の(piecewise constant)関数
pre(n)=g(k),n=kL’,・・・,(k+1)L’−1
として最初に定義することが可能であり、ここで、L’はサブブロックの長さを表す。
そして、関数は、以下の式によって平滑化され、
pre(n):=αgpre(n−1)+(1−α)gpre(n),n=0,・・・,L−1
上記式は、gpre(−1)が、先行するサブブロックの最後のサンプルに対して得られた最後の減衰係数であり、αは平滑化係数であり、主としてα=0.85である、という規則を有する。
例えば、uのサンプル上での線形クロスフェージングなどの他の平滑化関数
Figure 2016506543
が可能であり、gpre’(n)は非平滑化減衰であり、gpre(n)は平滑化減衰であり、n=−(u−1),・・・,−1を有するgpre’(n)は、先行するサブブロックの最後のサンプルに対して得られた最後のu−1の減衰係数である。例えば、u=5とすることが可能である。
よって、係数gpre(n)が算出されると、各サンプルに、対応する係数を乗算することによって、現在のフレームで再構築された信号xrec(n)に関してプリエコーの減衰が行われ、
rec,g(n)=gpre(n)xrec(n),n=0,・・・,L−1
であり、xrec,g(n)は、プリエコー減少によって復号化および後処理される信号である。
図2および図3は、上述し、かつ先で要約した、従来技術の特許出願において説明された減衰方法の実装を示す。
これらの例では、信号は32kHzでサンプリングされ、フレームの長さがL=640のサンプルであり、各フレームは、K=80のサンプルの8つのサブブロックに分割される。
図2の部分a)では、32kHzでサンプリングされた元の信号のフレームが示されている。信号における立ち上がり(または遷移)が、インデックス320で始まるサブブロックに位置する。この信号は、MDCT型の変換符号器によって、低ビットレート(24kbit/s)で符号化されている。
図2の部分b)では、プリエコー処理なしの複合化の結果が示されている。立ち上がりを含む1つのサブブロックに先行するサブブロックにおいて、サンプル160からプリエコーを観測することができる。
図2の部分c)では、上述した従来技術の特許出願で説明された方法によって得られたプリエコー減衰係数の傾向(実線)を示している。点線は平滑化の前の係数を示している。ここで、立ち上がりの位置が、サンプル380の周囲で(サンプル320およびサンプル400によって区切られたブロック)で推定されることに留意すべきである。
部分d)は、プリエコー処理(信号b)と信号c)との乗算)の適用後の復号化の結果を示している。実際にプリエコーが減衰されていることを理解することができる。図2はまた、平滑化された係数が、立ち上がり時に1に戻らないことを示しており、それは、立ち上がりの振幅が減少していることを暗に示している。この減少の知覚可能な影響は非常に小さいが、しかしながら、それを回避することができる。図3は、図2と同一の例を示しており、そこでは、平滑化の前に、立ち上がりが位置するサブブロックに先行するサブブロックの数個のサンプルに対して、減衰係数値が1にされる。図3の部分c)は、このような補正の例を示す。
この例では、インデックス364から、立ち上がりに先行するサブブロックの最後の16個のサンプルに、係数値1が割り当てられている。よって、平滑化関数は、立ち上がり時に1に近似した値を有するように係数を次第に増加させる。そして、立ち上がりの振幅は、図3の部分d)で示されるように維持されるが、数個のプリエコーサンプルが減衰されない。
図3の例では、利得の平滑化を理由に、減衰によるプリエコーの減少によっては、プリエコーを立ち上がりのレベルまで減少させることができない。
図3と同一の状況を有する別の例が、図4に示される。この図は、立ち上がりよりも前の信号の本質をより適格に示す2つのフレームを示している。ここで、立ち上がりよりも前の元の信号のエネルギーは、図3によって示されるケースよりも強く(部分a))、立ち上がりよりも前の信号は聞き取り可能である(サンプル0〜850)。部分b)では、サンプル700〜850の帯で、プリエコー処理なしで復号化された信号のプリエコーを観察することができる。先に説明された減衰制限手順によって、プリエコー帯の信号のエネルギーが、処理帯よりも前の信号の平均エネルギーまで減衰される。部分c)では、エネルギー制限を考慮することによって算出された減衰係数が1に近似し、かつプリエコー帯における信号の正確な平準化にも関わらず、プリエコー処理(信号b)と信号c)との乗算)の適用後に、部分d)上にプリエコーが未だに存在していることを理解することができる。実際には、高周波数成分がこの帯で信号に重ね合わされることを見ることができる波形上で、このプリエコーを明確に区別することができる。
この高周波数成分は、明確にはっきりと聞き取り可能であり、かつ煩わしいものであり、立ち上がりがより不明確になる(図4の部分d))。
この現象の説明は、以下の通りである。(図4に示す)非常に急激で、衝撃的な立ち上がりのケースでは、(立ち上がりを含むフレームにおける)信号のスペクトルはよりホワイトとなり、したがって、多数の高周波数も含む。よって、量子化雑音はまた、拡散され、周波数(ホワイト)では比較的均一であり、かつ高周波数から構成され、これはプリエコー帯よりも前の信号のケースではない。したがって、1つのフレームから他へのスペクトルにおいて急激な変化が存在し、これによってエネルギーが正確なレベルに設定されているにも関わらず、可聴プリエコーをもたらす。
図5aおよび図5bにおいてこの現象を再度示し、図5aでは、図4の部分a)で示された信号に対応する、元の信号のスペクトル図を示し、図5bでは、図4の部分b)で示された信号に対応する、従来技術によるプリエコー減衰を有する信号のスペクトル図をそれぞれ示している。
図5bの枠の部分では、さらなる可聴プリエコーを明確に見ることができる。
仏国特許出願第0856248号
Y. Mahieux, J. P. Petit, "High Quality Audio Transform Coding at 64 kbits", IEEE Trans. On Communications Vol 42, No. 11, November 1994 B. Koevesi, S. Ragot, M. Gartner, H. Taddei, "Pre-echo reduction in the ITU-T G.729.1 embedded coder", EUSIPCO, Lausanne, Switzerland, August 2008
したがって、望ましくない高周波数、より一般的には擬似プリエコーを、正確かつ至る所で減衰させることが可能であり、符号器により任意の補助情報が伝送されることがない、復号化においてプリエコーを減衰させる技術の改善の必要性が存在する。
本発明は従来技術の状況を改善する。
この目的を達成するために、本発明は、変換復号化により復号化されたデジタルオーディオ信号においてプリエコーの減衰を処理する方法を扱う。方法は、以下のステップ、すなわち、
− 所定の分割基準に従って、復号化された信号を少なくとも2つのサブ信号に分割するステップと、
− サブ信号ごとに、かつ以前に判定されたプリエコー帯のサンプルごとに、減衰係数を算出するステップと、
− 減衰係数をサブ信号に適用することによって、サブ信号の各々のプリエコー帯においてプリエコーを減衰させるステップと、
− 減衰されたサブ信号を組み合わせることによって、減衰された信号を得るステップと
を有する。
よって、当該方法により、サブ信号の各々に適用される減衰を正確に制御することが可能になる。これらのサブ信号は、選択された分割基準に従って、復号化された信号の特定の特性を表す成分を有する。よって、これらの異なる特性に対して適用される減衰の量を適合させることができる。そして、この復号化された信号におけるプリエコーの減衰は、より正確かつより効果的なものとなる。
本明細書で以下に記載するさまざまな特定の実施態様を、先に定義した方法のステップにおいて、独立して、または互いに組み合わせて追加することができる。
第1の実施態様では、所定の分割基準は周波数基準である。
よって、復号化された信号の周波数特性に減衰が正確に適合される。
特定の実施態様では、復号化された信号の分割は、第1のローパスまたはハイパスフィルタリングによって実行されて、第1のサブ信号が得られる。
したがって、第1のサブ信号は、ローパスフィルタリングのケースでは低周波数成分を含み、またはハイパスフィルタリングのケースでは高周波数成分を含む。この第1のサブ信号に対する減衰は、その周波数成分に適合される。
可能な実施態様によって、信号の分割はさらに、第1のフィルタリングを補完する、第2のハイパスまたはローパスフィルタリングによって実行され、第2のサブ信号が得られる。
したがって、第2のサブ信号は、補完的ハイパスフィルタリングのケースでは高周波数成分を含み、または補完的ローパスフィルタリングのケースでは低周波数成分を含む。この第2のサブ信号の減衰はまた、その周波数成分に適合される。
別の可能な実施態様によって、第2のサブ信号を得るための第2のフィルタリングを回避するように、復号化された信号から第1のサブ信号を減算することによって、第2のサブ信号が得られる。したがって、これは、方法の分割のステップの複雑度を低減させる。
特に、フィルタリングは、ゼロの伝達関数の位相(zero transfer function phase)を有する有限インパルス応答フィルタリングであり、
c(n)z−1+(1−2c(n))+c(n)z
ここで、c(n)は、0から0.25の間にある係数である。
このタイプのフィルタリングは複雑度が低い。
変形実施態様では、QMFフィルタリングおよびPQMFフィルタリングによって復号化された信号の分割が実行されて、サブ帯域におけるサブ信号が得られる。
よって、多くのサブ信号が得られ、サブ信号の各々が異なる周波数帯域で表される。よって、結果として生じる減衰により、プリエコーのスペクトル拡散を考慮することが可能になる。そして、減衰はこれらのスペクトル特性に適合される。
第2の実施態様では、所定の分割基準は、信号の周期性の基準である。
この実施態様では、減衰は、信号の周期性特性に適合される。第1のサブ信号は、例えば、正弦曲線型の周期性成分を含み、第2のサブ信号は、雑音成分を含む。
可能な実施態様によって、プリエコー帯は、以下のステップ、すなわち、
− 分割するステップよりも前に、復号化された信号において立ち上がり位置を検出するステップと、
− 分割するステップよりも前の復号化された信号において、または分割するステップよりも後のサブ信号において、検出された立ち上がり位置に先行するプリエコー帯を判定するステップと
によって判定される。
よって、立ち上がり位置を検出するステップは、全てのサブ信号に対してプール(pooled)されることによって、処理の複雑度を低減させることが可能になる。また、プリエコー帯を判定するステップを、対象の低複雑度においてプールすることができ、または良好な低複雑度/信号への適合のトレードオフのためにサブ信号において実行することができる。
別の可能な実施態様によって、プリエコー帯は、以下のステップ、すなわち、
− 分割するステップよりも後に得られたサブ信号の各々において立ち上がり位置を検出するステップと、
− サブ信号の各々において、検出された立ち上がり位置に先行するプリエコー帯を判定するステップと
によって判定される。
立ち上がり位置の検出を、それが適用されるサブ信号によって異なって実行することができる。これによって、より高い複雑度を緩和して、サブ信号に応じた検出を最良に適合させることが可能になる。
本発明の1つの実施態様による方法をさらに単純化するために、少なくとも1つのサブ信号に対し、減衰係数の算出が、復号化された信号において立ち上がり位置を検出するステップの少なくとも1つのパラメータを使用することによって実行される。
実際には、これは、全体的に高周波数成分よりもさらに大きなエネルギーを有する低周波数成分をサブ信号が含むケースであり、復号化された信号xrec(n)のサブブロックごとのエネルギー、および主に低周波数成分xrec,ss1(n)を含むサブ信号のサブブロックごとのエネルギーは、非常に近似している。したがって、この信号に対して、立ち上がりを検出するためにサブブロックごとのエネルギー値が既に計算されているので、サブ信号の減衰係数を算出するために、サブブロックのエネルギーを再算出する必要がもはやない。
特定の実施態様では、減衰係数を平滑化するステップは、少なくとも1つのサブ信号に対して適用される。
この平滑化によって、サンプルブロックの境界における減衰係数の急激な変動を回避することが可能になる。
有利な実施態様では、立ち上がりの開始よりも前の所定の数のサンプルに対して、減衰係数が1とされる。
よって、減衰係数は、立ち上がり時に1の値を有し、それによって、立ち上がりの振幅を保持することが可能になる。
本発明はまた、変換復号器によって復号化されたデジタルオーディオ信号においてプリエコーの減衰を処理するデバイスに関する。このデバイスは、
− 所定の分割基準に従って、復号化された信号を少なくとも2つのサブ信号に分割する分割モジュールと、
− サブ信号ごとに、かつ以前に判定されたプリエコー帯のサンプルごとに、減衰係数を算出する算出モジュールと、
− 減衰係数をサブ信号に適用することによって、サブ信号の各々のプリエコー帯においてプリエコーを減衰させる減衰モジュールと、
− 減衰されたサブ信号を組み合わせることによって、減衰された信号を得る取得モジュールと
を具備する。
このデバイスの有利な点は、それが実装する減衰処理方法について説明された内容と同一である。
本発明は、先に説明したデバイスを具備する、デジタルオーディオ信号の復号器を対象にする。
本発明はまた、プロセッサにより実行されると、先に説明した方法の各ステップを実行するコード命令を含む、コンピュータプログラムを対象にする。
最後に、本発明は、場合によっては着脱可能な処理装置に組み込まれ、または組み込まれていないプロセッサによって読み取ることができ、先に説明した処理方法を実行するコンピュータプログラムを記憶した記憶媒体に関する。
本発明の他の特徴および有利点は、単に非限定的な例として与えられる以下の詳細な説明を読み、かつ添付図面を参照することによって、さらに明確になるであろう。
先に説明した、従来技術による変換符号化−復号化システムを示す図である。 先に説明した、従来技術による減衰方法が実行される例示的なデジタルオーディオ信号を示す図である。 先に説明した、従来技術による減衰方法が実行される別の例示的なデジタルオーディオ信号を示す図である。 先に説明した、従来技術による減衰方法が実行されるさらに別の例示的なデジタルオーディオ信号を示す図である。 従来技術による、元の信号のスペクトル図である(図4の部分a)に対応する)。 従来技術による、プリエコー減衰を有する信号のスペクトル図である(図4の部分d)に対応する)。 デジタルオーディオ信号復号器におけるプリエコー減衰を処理し、かつ本発明の実施形態による処理方法によって実行されるステップを処理するデバイスを示す図である。 異なるフィルタパラメータ値に対して、信号を分割するステップにおいて本発明の1つの実施形態によって実行されるローパスフィルタの周波数応答を示す図である。 異なるフィルタパラメータ値に対して、信号を分割するステップにおいて本発明の1つの実施形態によって実行されるハイパスフィルタの周波数応答を示す図である。 プリエコー現象が生じやすい変換符号化および復号化に対する低遅延を有する分析窓および合成窓の例を示す図である。 本発明によるプリエコー減衰方法が実行される例示的なデジタルオーディオ信号を示す図である。 プリエコー減衰処理の実行に関する、本発明によるデジタルオーディオ信号の分割の例を示す図である。 立ち上がり帯に近いサンプルを拡大することによって、図10の信号を繰り返す図である。 元のデジタルオーディオ信号のスペクトル図である。 プリエコー減衰処理なしで復号化された信号のスペクトル図である。 本発明によるプリエコー減衰処理で復号化された信号のスペクトル図である。 本発明による減衰処理デバイスのハードウェアの例を示す図である。
図6を参照して、プリエコー減衰処理デバイス600が説明される。以下で説明されるこの減衰処理デバイス600は、信号Sを受信する逆量子化(Q−1)モジュール610と、逆変換(MDCT−1)モジュール620と、図1を参照して説明された重複−加算によって信号を再構築し(Add/rec)、再構築された信号xrec(n)を、本発明による減衰処理デバイスに配信する再構築モジュール630とを備える復号器に含まれる。ここで、スピーチおよびオーディオ符号化において最も一般的であるMDCT変換の例が用いられるが、デバイス600はまた、任意の他のタイプの変換(FFT、DCTなど)に適用することができることが分かる。
デバイス600の出力において、プリエコー減衰が実行された、処理された信号Saが供給される。
デバイス600は、サブ信号に分割される復号化された信号xrec(n)においてプリエコーを減衰させる方法を実行し、この分割は、プリエコー処理に特有である。
本発明の一実施形態では、減衰処理方法は、復号化された信号xrec(n)において、プリエコーを生成することがある立ち上がりを検出するステップ(E601)を備える。減衰デバイス600を、合成MDCT窓が固定されるケース、および窓化が適応型であるケースに等しく適用することができることが分かる。
よって、デバイス600は、復号化されたオーディオ信号において立ち上がりの位置を検出するステップ(E601)を実行するのに適した検出モジュール601を備える。
立ち上がりは、信号のダイナミックレンジ(または振幅)の急速な遷移および急激な変動である。このタイプの信号を、より一般的な用語「過渡(transient)」によって指定することができる。以下では、一般性を失わずに、用語「立ち上がり」または「遷移」のみが、過渡を説明するのにも使用される。
この実施形態では、一点鎖線矢印「a」によって示される、以下で説明されるモジュール603のサブ信号に分割するステップ(E603)よりも前に、復号化された信号に関してプリエコー検出が実行される。
復号化された信号xrec(n)の長さLのサンプルの各々の現在のフレームは、長さL’のKのサブブロックに分割され、例えば、32kHzにおいて、L=640のサンプル(20ms)、L’=80のサンプル(2.5ms)、およびK=8である。したがって、好ましくは、これらのサブブロックのサイズが理想的であるが、本発明は正当な根拠を維持しており、かつサブブロックが可変サイズを有しているときに容易に本発明を一般化することができる。このことは、例えば、フレームLの長さがサブブロックKの数で分割可能でないとき、またはフレーム長が可変である場合のケースであってもよい。
ITU−T G.718標準において説明されるのに類似する特殊な低遅延分析−合成窓は、MDCT変換の分析部および合成部に対して使用される。そのような窓の例は、図8を参照して示される。変換により生じる遅延は、従来の正弦曲線の窓の使用のケースにおける640個のサンプルの遅延と比較して、192個のサンプルのみである。よって、特殊な低遅延分析−合成窓を有するMDCTメモリは、従来の正弦曲線の窓の使用のケースにおける320個のサンプルと比較して、(現在のフレームで交差しない)96個の独立したサンプルのみを含む。
実際には、図8において、分析窓(Ana.)に対して、交差帯(folding zone)は、サンプル864とサンプル1055との間の点線によって制限されることを理解することができる。交差線は、サンプル960において一点鎖線によって表される。
合成(Synth.)に対して、対称性を利用することによって、分析交差帯に関する情報を取得するのに、レンジM(96個のサンプル)によって表されるサンプルのみが必要となる。したがって、メモリに含まれるこれらのサンプルは、次のフレームの窓の交差したサンプルも使用することによって、この交差帯を復号化するのに有効となる。サンプル864とサンプル1055との間のこの帯における立ち上がりのケースでは、レンジMによって表されるサンプルの平均エネルギーは、サンプル864に先行するサブフレームのエネルギーよりも非常に大きい。したがって、MDCTメモリに含まれるレンジMのエネルギーの急激な増加は、現在のフレームにおいてプリエコーを生成することがある次のフレームにおける立ち上がりをシグナリングすることができる。
この実施形態の変形形態では、他の分析/合成窓を使用することができ、または長い窓と短い窓との間での切り替えを使用することができる。
未来の信号の一時的な交差のバージョンを与える、MDCTメモリ(xMDCT(n))が使用される。このメモリまたはこのメモリの一部はまた(冗長性を理由に)、長さL(n)のK’サブブロックに分割され、n=0,..,K’であり、L(n)は比較可能であるが、必ずしもL’と同一ではない。従来の正弦曲線の窓の使用のケースでは、最後の4つのサブブロックが、最初の4つのサブブロックに対して対称的であり、よって次のフレームにおける立ち上がりの検出に対するいかなる追加的な情報を伝達しないので、信号xMDCT(n)の長さL(n)=L’=80のK’=4の最初のサブブロックのみが保持される。むしろ、図8で示される低遅延を有する特殊な分析−合成窓が使用される場合、MDCTメモリから独立した全てのサンプルを含む、長さL(0)=96の1つの(K’=1)ブロックのみが保持される。このサブブロックにおける非常に多数のサンプルであるにも関わらず、そのエネルギーは、メモリ部が分析窓によって窓化(windowed)されている(したがって、減衰されている)ので、現在のフレームのサブブロックのエネルギーと比較可能なままでいる。サンプルの数が(80個の代わりに)96個であり、かつ窓化が補償されることが分かり、本発明は、そのような補償が実行されるケースに等しく適用する。
実際には、図1は、立ち上がりが位置するフレームに先行するフレームにプリエコーが影響を及ぼすこと、およびMDCTメモリに部分的に含まれる、未来のフレームにおいて立ち上がりを検出することが望ましいことを示す。
MDCTメモリに含まれる信号が、一時的な交差(次のフレームが受信されるときに補償される)を含むことが分かる。以下で説明されるように、ここでは、MDCTメモリにおける信号xMDCT(n)が、次の(未来の)フレームにおける信号のサブブロックごとのエネルギーを推定するのに主として使用され、かつ未来のフレーム上で完全に復号化された信号の代わりに、次のフレーム上で利用可能なMDCTメモリから実行されるとき、この推定が、プリエコーの検出および減衰の必要性に対して十分に正確であると考えられる。
現在のフレームおよびMDCTメモリを、(K+K’の)連続したサブブロックに細分化される信号を形成する連結信号(concatenated signals)として見ることができる。これらの状況で、k番目のサブブロックにおけるエネルギーは以下のように定義される。
Figure 2016506543
ここで、k番目のサブブロックが現在のフレームに位置するとき、
Figure 2016506543
であり、サブブロックがMDCTメモリ(未来のフレームに対して利用可能な信号を表す)にあり、かつLcm(i)が、メモリ部のサブブロックの境界を含むとき、
Figure 2016506543
である。
したがって、現在のフレームにおけるサブブロックの平均エネルギーは、以下のように得られる。
Figure 2016506543
現在のフレームの第2の部分におけるサブブロックの平均エネルギーはまた、以下のように定義される(Kは偶数であると仮定する)。
Figure 2016506543
該当のサブブロックの1つにおいて、比率
Figure 2016506543
が所定の閾値を上回る場合に、プリエコーに関連付けられた立ち上がりが検出される。本発明の本質を変えることなく、他のプリエコー検出基準が可能である。
さらに、立ち上がりの位置が以下のように定義されると考えられる。
Figure 2016506543
ここで、Lへの制限は、MDCTメモリが変更されないことを保証する。他に、より正確にするには、立ち上がりの位置の推定する方法がまた可能である。
窓を切り替えること、換言すれば、適応MDCT窓化の変形実施形態では、サブブロックのスケールから、1つのサンプルのプラスまたはマイナスの位置までの範囲の精度を有する、立ち上がりの位置を与える他の方法を使用することができる。
上記の与えられた例では、プリエコーを生成することがある立ち上がりの検出は、全てのサブ信号に共通である、復号化された信号に関して行われる。変形実施形態では、この検出を、後に説明される以下のステップE603の後に得られるサブ信号とは別個に行うことができる。このケースは、点線矢印「b」によって示される。
また、デバイス600は、検出された立ち上がり位置に先行するプリエコー帯(ZPE)を判定するステップ(E602)を実行する判定モジュール602を備える。ここで、プリエコー帯とは、立ち上がりにより生成されるプリエコーによって妨害され、かつこのプリエコーの減衰が望ましい、推定された立ち上がりの位置よりも前のサンプルをカバーする帯を意味する。本発明によれば、プリエコー帯を復号化された信号に関して判定することができる(図6の矢印)。変形実施形態では、各サブ信号に対してそれを別個に判定することができる。
この変形実施形態では、図6の矢印bによって説明される実施形態によって、後に説明されるステップE603によって得られるサブ信号に対して、プリエコー帯が別個に判定される。よって、プリエコー帯は、異なるサブ信号に対して異なってもよい。
この相違は、図10および図11によって示され、例えば、a)において、復号化された信号(プリエコー減衰前)の例を示し、b)において、主に低周波数成分を有する第1のサブ信号(プリエコー減衰なし)の例を示し、c)において、主に高周波数成分を有する第2のサブ信号(プリエコー減衰なし)の例を示し、d)において、本発明によるプリエコー減衰後の第2のサブ信号の例を示す。図11は、同一の信号を取り上げるが、560から1040の範囲のサンプルを拡大する。
これらの図面では、第2のサブ信号についてのプリエコーが第1のサブ信号についてのプリエコーよりも大きいことが分かる。したがって、ここで示される2つのサブ信号のプリエコー帯は全く異なる。この結果として、2つのサブ信号に対して得られた減衰利得を示す図9のc)では、減衰利得(第1のサブ信号に対しては点線、第2のサブ信号に対しては実線)は、高周波数成分を有する第2のサブ信号に対して、低周波数成分を有する第1のサブ信号(サンプル720〜860)に対してよりも、さらなるサンプルが減衰される(サンプル640〜860)ものである。
プリエコー帯を得る一実施形態では、エネルギーEn(k)は、第1の復号化された信号の一時的なエンベロープと時間順で連結され、そして、MDCT変換のメモリから推定された次のフレームの信号のエンベロープと連結される。この連結された一時的なエンベロープおよび先行するフレームの平均エネルギー
Figure 2016506543
および
Figure 2016506543
に応じて、例えば、比率R(k)が閾値(主として、この閾値は32)を上回る場合、プリエコーの存在が検出される。
よって、プリエコーが検出されたサブブロックは、全体的に、サンプルn=0,・・・,pos−1、すなわち、現在のフレームの開始から立ち上がりの位置(pos)までをカバーするプリエコー帯を構成する。
変形実施形態では、プリエコー帯は必ずしも、フレームの開始から始まらず、かつプリエコーの長さの推定を含むことができる。窓切り替えが使用される場合、使用される窓を考慮するのに、プリエコー帯が定義される必要がある。また、未来のフレームにおいて立ち上がりが検出される場合に、現在のフレーム全体を通じて、プリエコー帯が的確に広がることがあることが分かる。
デバイス600は、所定の基準によって、復号化された信号を少なくとも2つのサブ信号に分割するステップE603を実行するのに適した信号分割モジュール603を備える。
例えば、この基準は、周波数基準とすることができ、それによって、先に説明した図10および図11で示された、異なる周波数成分を有するサブ信号を得ることが可能になる。
例えば、基準は、信号の周期性の基準とすることができ、それによって、信号または逆にその雑音の周期性を表す成分を有するサブ信号を与える。
本発明の特定の実施形態では、復号化された信号xrec(n)は、ステップE603において、以下のように2つのサブ信号に分割される。
− 3つの係数を有し、ゼロの伝達関数の位相c(n)z−1+(1−2c(n))+c(n)z(c(n)の値は0〜0.25にある)を有するFIRフィルタ(有限インパルス応答フィルタ)を使用することによって、ローパスフィルタリングによって第1のサブ信号xrec,ss1(n)が得られ、[c(n),1−2c(n),c(n)]は、ローパスフィルタの係数であり、このフィルタは、以下の異なる式で実行される。
rec,ss1(n)=c(n)xrec(n−1)+(1−2c(n))xrec(n)+c(n)x(n+1)
特定の実施形態では、一定値c(n)=0.25が使用される。c(n)=0.05、0.1、0.15、0.2、および0.25の場合に、係数[c(n),1−2c(n),c(n)]に応じた、このフィルタの周波数応答が図7aに示される。
したがって、このフィルタリングから生じるサブ信号xrec,ss1(n)が、復号化された信号のさらなる低周波数成分を含むことが分かる。
3つの係数を有し、ゼロの伝達関数の位相−c(n)z−1+2c(n)−c(n)zを有するFIRフィルタを使用することによって、補完的ハイパスフィルタリングによって第2のサブ信号xrec,ss2(n)が得られ、[−c(n),2c(n),−c(n)]は、ハイパスフィルタの係数であり、このフィルタは、以下の異なる式で実行される。
rec,ss2(n)=−c(n)xrec(n−1)+2c(n)xrec(n)−c(n)x(n+1)
c(n)=0.05、0.1、0.15、0.2、および0.25の場合に、係数[−c(n),2c(n),−c(n)]に応じた、このフィルタの周波数応答が図7bに示される。したがって、このフィルタリングから生じるサブ信号xrec,ss2(n)が、復号化された信号のさらなる高周波数成分を含む。
これらのフィルタを使用することの動機は、ゼロ位相および低関連遅延(1サンプル)の実装(サンプルごとの算出数の点で)の複雑度を非常に低減させることにある。未来の(先の(look ahead))信号が1つのサンプルに減少し、かつそれは復号化された信号から予測されるので(この予測は以下で説明する)、これらのフィルタは実際には、遅延なしで使用されることに留意すべきである。周波数応答は、ローパスフィルタおよびハイパスフィルタの特性に的確に対応しており、かつ周波数応答によって、周波数の中身によって信号を2つのサブ信号に分割することが可能になる。xrec,ss1(n)+xrec,ss2(n)=xrec(n)となることに留意すべきである。
したがって、xrec(n)からxrec,ss1(n)を減算することによって、xrec,ss2(n)を得ることも可能であり、それは
rec,ss2(n)=xrec(n)−xrec,ss1(n)
の算出の複雑度を低減する。
両ケースでは、下記で説明されるステップE606において、減衰されたサブ信号を単に足し合わせることによって、減衰された信号を得るのに減衰されたサブ信号の組み合わせが行われる。
これらのフィルタリングに対して未来の信号を使用しないように、例えば、ブロックの終わりで、0サンプルの復号化された信号を補完することが可能である。未来の信号を補完(推定)するのに他の値が可能である。例えば、最後のサンプル(ブロックの最後の値)を繰り返すこと、または例えば、単純な直線外挿法によって未来のサンプルを予測することが可能となるであろう。n=L−1に対するブロックの終わりにおいて、0サンプルによって補完された復号化された信号のケースでは、サブ信号xrec,ss1
rec,ss1(L−1)=c(L−1)xrec(L−2)+(1−2c(L−1))xrec(L−1)
によって得られ、
rec,ss2(n)はさらに、xrec,ss2(n)=xrec(n)−xrec,ss1(n)として算出される。
ここで、2つのサブ信号は、同一のサンプリング周波数において、復号化された信号としてのままでいることが分かる。実施形態の変形形態では、例えば、(次数2の代わりに)次数4に変更するとともにゼロ位相特性を維持することによって、ローパスフィルタおよびハイパスフィルタの次数を拡張することが可能である。
プリエコー減衰係数を算出するステップE604は、算出モジュール604で実行される。この算出は、2つのサブ信号に対して別個に行われる。
これらの減衰係数は、立ち上がりが検出されたフレーム、および先行するフレームに応じて判定されたプリエコー帯のサンプルごとに得られる。
そして、係数gpre,ss1’(n)およびgpre,ss2’(n)が得られ、nは、対応するサンプルのインデックスである。これらの係数は、必要であれば、係数gpre,ss1(n)およびgpre,ss2(n)をそれぞれ得るのに平滑化される。この平滑化はとりわけ、低周波数成分を含むサブ信号に対して(したがって、この例ではgpre,ss1’(n)に対して)重要である。
単純化を目的として、本明細書では、3つの係数を有するFIRフィルタリングによって復号化された信号を2つのサブ信号に分割する例を詳述する。これらの2つのサブ信号はそれぞれ、復号化された信号の低周波数成分および高周波数成分を主に含む。
よって、減衰係数をサブ信号に対して全体として独立して選択することができ、過去および未来の各サブ信号に基づいて、減衰レベルを正確に設定することができる。
減衰算出の性能の例が、仏国特許出願第0856248号(特許文献1)で説明される。減衰係数はサブブロックごとに算出される。本明細書で説明される方法では、それらはさらに、各サブ信号に対して別個に算出される。したがって、検出された立ち上がりよりも前のサンプルに対して、減衰係数gpre,ss1’(n)およびgpre,ss2’(n)が算出される。次に、これらの減衰係数は、必要であるならば、サンプルごとに減衰値を得るのに平滑化される。
サブ信号(例えば、gpre,ss2’(n))の減衰係数の算出は、仏国特許出願第0856248号(特許文献1)で説明された、最も強いエネルギーのサブブロックのエネルギーと、復号化された信号のk番目のサブブロックのエネルギーとの間の比率R(k)(立ち上がりの検出にも使用される)に応じて復号化された信号に対する算出と同様である。gpre,ss2’(n)は、
pre,ss2’(n)=g(k)=f(R(k)),n=kL’,...,(k+1)L’−1;k=0,...,K−1
として初期化され、ここで、fは、0から1の間の値を有する減少関数である。係数g(k)の他の定義が、例えば、En(k)およびEn(k−1)に応じて可能である。
最大エネルギーに対するエネルギーの変動が低い場合、減衰は必要ではない。そして、係数は、減衰を抑止する減衰値、すなわち1に設定される。そうでない場合、減衰係数は0から1の間にある。この初期化を全てのサブ信号に対して共通にすることができる。
変形実施形態では、サブ信号に対して初期化を異なるものにすることができる。
別の変形実施形態では、立ち上がりの検出、および復号化された信号の領域における処理に対して同一の比率R(k)を使用する代わりに、該当のサブ信号に関する同一のタイプの比率を再算出することが可能である。
さらに別の変形実施形態では、f(R(k))を、全てのプリエコー帯に対して一定とすることができ、例えば、f(R(k))=0.01とすることができる。
そして、復号化された信号の特性に応じて、サブ信号ごとに最適な減衰レベルを設定することが可能とするのに、減衰値がサブ信号ごとに改善(refine)される。例えば、プリエコー減衰処理の後に、信号のエネルギーが、処理帯よりも前の信号(主として、先行するフレームの、または先行するフレームの後ろ半分の)のサブブロックごとの平均エネルギーよりも低くなることが望ましくないので、先行するフレームのサブ信号の平均エネルギーに応じて、減衰を制限することができる。
この制限を、仏国特許出願第0856248号(特許文献1)で説明されたものと同一の方法で行うことができる。例えば、第2のサブ信号xrec,ss2(n)に対して、現在のフレームのKのサブブロックにおけるエネルギーが以下のように最初に算出される。
Figure 2016506543
また、メモリから、先行するフレームの平均エネルギー
Figure 2016506543
および先行するフレームの後ろ半分の平均エネルギー
Figure 2016506543
を、(先行するフレームにおいて)以下のように算出することができることが知られており、
Figure 2016506543
および
Figure 2016506543
であり、0からKのサブブロックインデックスは、現在のフレームに対応する。
処理されるサブブロックkに対し、処理されるサブブロックに先行するセグメントのサブブロックごとの平均エネルギーと同一のエネルギーを正確に得るために、係数の制限値limg,ss2(k)を算出することができる。この値はもちろん、ここでは対象の減衰値であるので、最大1に制限される。特に、
Figure 2016506543
であり、先行するセグメントの平均エネルギーは、
Figure 2016506543
によって近似される。
よって、得られた値limg,ss2(k)は、サブブロックの減衰係数の最終的な算出
pre,ss2’(n)=max(gpre,ss2’(n),limg,ss2(k)),n=kL’,...,(k+1)L’−1;k=0,...,K−1
における下限としての役目を果たす。
第1の変形実施形態では、プリエコー帯は、
Figure 2016506543
であるインデックスposである限り、現在のフレームの開始から、立ち上がりが検出されたサブブロックの開始まで減衰が延長する。立ち上がりのサブブロックのサンプルに関連付けられた減衰は、立ち上がりがこのサブブロックの終わりに向かって位置する場合でさえ、全てが1に設定される。
別の変形実施形態では、立ち上がりの開始位置posは、例えば、サブブロックをサブサブブロックに細分化することによって、およびこれらのサブサブブロックにおけるエネルギーの傾向を観察することによって、立ち上がりのサブブロックにおいて改善される。立ち上がりの開始の位置が、サブブロックkにおいて検出されると仮定される場合、k>0であり、改善された立ち上がりposの開始は、このサブブロックに位置し、インデックスposよりも前に位置するこのサブブロックのサンプルに対する減衰値を、先行するサブブロックの最後のサンプルに対応する減衰値に応じて以下のように初期化することができる。
pre,ss2’(n)=gpre,ss2’(kL’−1),n=kL’,...,pos−1
インデックスposからの全ての減衰は1に設定される。
復号化された信号の低周波数成分を含む第1のサブ信号に対し、サブ信号xrec,ss1(n)に基づいた減衰値の算出を、復号化された信号xrec(n)に基づいた減衰値の算出と同様にすることができる。よって、変形実施形態では、対象となる算出の複雑度を低減させることにおいて、復号化された信号xrec(n)に基づいて、減衰値を判定することができる。したがって、立ち上がりの検出が復号化された信号に関してなされるケースでは、この信号に対して、立ち上がりを検出するのにサブブロックごとのエネルギー値は既に算出されているので、サブブロックのエネルギーを再算出する必要はもはやない。信号の大部分に対し低周波数が高周波数よりもさらに大きなエネルギーを有しているので、復号化された信号xrec(n)およびサブ信号xrec,ss1(n)のサブブロックごとのエネルギーは非常に近似しており、この近似は、非常に満足な結果を与える。これを図10および11で観察することができ、そこでは、a)における復号化された信号の振幅、およびb)における主に低周波数成分を含むサブ信号の振幅は、c)におけるエネルギーがより小さい主に高周波数成分を含むサブ信号の振幅とは反対に、非常に近似している。よって、この変形形態では、少なくとも1つのサブ信号に対して、復号化された信号において立ち上がりの位置を検出するステップからの少なくとも1つのパラメータを使用することによって、減衰係数の算出が実行され、複雑度をさらに低減させる。
サブブロックごとに判定された減衰係数gpre,ss1(n)およびgpre,ss2(n)を、サンプルごとに適用される平滑化関数によって平滑化して、ブロックの境界における減衰係数の急激な変動を回避することができる。このことは、サブ信号xrec,ss1(n)のような低周波数成分を含むサブ信号に対して特に重要であるが、サブ信号xrec,ss2(n)のような高周波数成分のみを含むサブ信号に対しては必要でない。
図9は、矢印Lによって表される平滑化関数での減衰利得の適用の例を示す。
この図は、a)では、元の信号の例を示し、b)では、プリエコー減衰なしで復号化された信号の例を示し、c)では、分割するステップにおいて本発明の方法によって得られた2つのサブ信号に対する減衰利得の例を示し、d)では、本発明によるエコー減衰(すなわち、2つの減衰されたサブ信号を組み合わせた後)で復号化された信号の例を示す。
この図では、破線で表され、かつ低周波数成分を含む第1のサブ信号に対して算出された利得に対応する減衰利得が、上記説明した平滑化関数を含んでいることが分かる。実線によって表され、かつ高周波数成分を含む第2のサブ信号に対して算出された減衰利得は、いかなる平滑化利得も含まない。
d)に表される信号は、本発明による方法によってプリエコーが効率的に減衰されていることを明確に示している。
平滑化関数は、例えば、好ましくは以下の式によって定義される。
Figure 2016506543
上記式では、gpre,ss1’(n)n=−(u−1),・・・,−1は、サブ信号xrec,ss1(n)に先行するサブブロックの最後のサンプルに対して得られた最後のu−1の減衰係数であるという規則を有する。主として、u=5であるが、別の値を使用することができる。したがって、立ち上がりの検出が、復号化された信号に基づいて共通してなされた場合でさえ、使用される平滑化に応じて、別個に処理される2つのサブ信号に対して、プリエコー帯(減衰されたサンプルの数)を異なるものにすることができる。
平滑化された減衰係数は、立ち上がり時に1には戻らず、これは、立ち上がりの振幅が減少していることを暗に示している。この減少の知覚可能な影響は非常に小さいが、回避する必要がある。この問題を軽減するために、立ち上がりの開始が位置するインデックスposよりも前のu−1のサンプルに対して減衰係数値を1にさせることができる。これは、平滑化が適用されるサブ信号に対するu−1のサンプルによって、マーカposを進めることに相当する。よって、平滑化関数は、立ち上がり時に1を有するように係数を次第に増大させる。そして、立ち上がりの振幅は維持される。
他の平滑化が可能であり、例えば、
pre,ss1(n)=αgpre,ss1(n−1)+(1−α)gpre,ss1’(n)
であり、主としてα=0.85である。
平滑化が適用されない場合、
pre,ss2(n)=gpre,ss2’(n)
である。
図6のデバイス600のモジュール605は、正規に(duly)算出された減衰係数をサブ信号に適用することによって、サブ信号の各々のプリエコー帯においてプリエコーを減衰させるステップE605を実行する。
したがって、プリエコー減衰は、サブ信号において独立して行われる。よって、異なる周波数帯域を表しているサブ信号において、プリエコーのスペクトル拡散に応じて減衰を選択することができる。
最後に、取得モジュール606のステップE606によって、式
rec、f(n)=gpre,ss1(n)xrec,ss1(n)+gpre,ss2(n)xrec,ss2(n),n=0,・・・,L−1
によって、減衰されたサブ信号を組み合わせることによって(この例では、単純に足し合わせることによって)、減衰された出力信号(プリエコー減衰の後に復号化された信号)を得ることが可能になる。
従来のサブ帯域分割とは異なり、使用されるフィルタリングはサブ信号のデシメーション(decimation)の動作に関連付けられず、複雑度および遅延(先の、または未来のフレーム)が最小限に低減されることがここで分かる。
復号化された信号の分割の他の例を、本発明との関連において非常に明確に適用することができる。
例えば、重大なデシメーションフィルタのバンク(例えば、QMF(直交ミラーフィルタ)、PQMF(疑似直交ミラーフィルタ)型のバンク)を使用することによって、復号化された信号の分割を実行して、サブ帯域における信号を得ることができ、これらのサブ帯域における信号は、復号化された信号よりも低いサンプリング周波数を有している。
サブ帯域においてプリエコー減衰が行われると、合成QMFフィルタリングによって出力信号が得られる。
処理される復号化された信号を、例えば、4つのサブ帯域を有するQMFまたはPQMFフィルタを使用することによって、数個のサブ信号に分割することができる。しかしながら、このアプローチは、より複雑度が増し、かつ数個のサンプルの遅延を引き起こす欠点を有している。
よって、より全体的に、分割によって2つ以上のサブ信号を得ることが可能になる。
さらに、周波数基準とは異なる基準によって、分割を実行することができる。
例えば、信号周期性型の基準を使用することができる。よって、この基準の例では、復号化された信号の分割は、信号モデルが正弦雑音型であるとき、正弦曲線成分を有する第1のサブ信号、および雑音型の成分を有する第2のサブ信号を与える。ここで再度、この分割は、より複雑度が増す欠点を有している。
本発明との関連においては、使用される分割基準が何であろうとも、サブ信号への分割は、元々復号器に利用可能となることなく、プリエコーの処理に対して特に適用される。
よって、算出された減衰係数は、分割基準によって得られたサブ信号の成分に特に適合される。これによって、プリエコー減衰が、より正確かつ的確に信号と一致することが可能になる。
周波数基準の使用によって、異なる周波数帯に適用される減衰の量を正確に制御することが可能になり、よってより効率的にプリエコーを減退させる。
この結果は、上記説明された図9〜11で特に視認可能であり、そこでは、信号のプリエコーの減衰(特に、第2のサブ信号の)(d)で表される)が正確に実行されることが分かる。
図12a〜12cはまた、この結果を示している。実際には、図12aは、立ち上がりを明確に見ることができる元の信号のスペクトル図を示す。図12bは、プリエコー減衰処理なしで復号化された信号を示す。そして、立ち上がりがさらに視認可能である。図12cは、本発明によるプリエコー減衰処理で復号化された信号のスペクトル図を示す。再度、立ち上がり(attack)が高周波数部分、または低周波数部分にあるかを正確に区別することが可能である。
本発明による減衰処理デバイスの例示的な実施形態が、図13を参照して説明される。
物理的に、本発明の目的内のこのデバイス100は主として、メモリブロックBMと協働するプロセッサμPを備え、メモリブロックBMは、記憶装置および/もしくはワーキングメモリ、ならびに図6を参照して説明した減衰処理方法の実行に必要な全てのデータを記憶する手段としての上述したバッファメモリMEMを含む。このデバイスは、入力として、デジタル信号Seの連続したフレームを受信し、ならびにサブ信号の各々においてプリエコーの減衰で再構築された信号Sa、および減衰されたサブ信号を組み合わせることによって減衰された信号の再構築を配信する。
メモリブロックBMは、コード命令を備えるコンピュータプログラムを含むことができ、それらの命令がデバイスのプロセッサμPによって実行されると、本発明による方法のステップ、特に、所定の分割基準によって復号化された信号を少なくとも2つのサブ信号に分割するステップ、サブ信号ごと、かつ以前に判定されたプリエコー帯のサンプルごとに、減衰係数を算出するステップ、減衰係数をサブ信号に適用することによって、サブ信号の各々のプリエコー帯においてプリエコーを減衰させるステップ、ならびに減衰されたサブ信号を組み合わせることによって、減衰された信号を得るステップを実行する。
図6は、そのようなコンピュータプログラムのアルゴリズムを示す。
本発明によるこの減衰デバイスを独立させることができ、またはデジタル信号復号器に組み込むことができる。そのような復号器を、デジタルオーディオ信号記憶装置、または通信ゲートウェイ、通信端末、もしくは通信ネットワークのサーバなどの、伝送装置に組み込むことができる。
600 プリエコー減衰処理デバイス
601 検出モジュール
602 判定モジュール
603 信号分割モジュール
604 算出モジュール
605 減衰モジュール
606 取得モジュール
610 逆量子化モジュール
620 逆変換モジュール
630 再構築モジュール

Claims (15)

  1. 変換復号化によって復号化されたデジタルオーディオ信号においてプリエコーの減衰を処理する方法であって、
    所定の分割基準に従って、前記復号化された信号を少なくとも2つのサブ信号に分割するステップ(E603)と、
    サブ信号ごとに、かつ以前に判定されたプリエコー帯のサンプルごとに、減衰係数を算出するステップ(E604)と、
    前記減衰係数を前記少なくとも2つのサブ信号に適用することによって、前記少なくとも2つのサブ信号の各々の前記プリエコー帯においてプリエコーを減衰させるステップ(E605)と、
    減衰された前記少なくとも2つのサブ信号を組み合わせることによって、減衰された信号を得るステップ(E606)と
    を有することを特徴とする方法。
  2. 前記所定の分割基準は、周波数基準であることを特徴とする請求項1に記載の方法。
  3. 前記復号化された信号の分割は、第1のローパスまたはハイパスフィルタリングによって実行されて、第1のサブ信号が得られることを特徴とする請求項2に記載の方法。
  4. 前記復号化された信号の分割は、さらに、前記第1のフィルタリングを補完する第2のハイパスまたはローパスフィルタリングによって実行されて、第2のサブ信号が得られることを特徴とする請求項3に記載の方法。
  5. 第2のサブ信号は、前記復号化された信号から前記第1のサブ信号を減算することによって得られることを特徴とする請求項3に記載の方法。
  6. 前記復号化された信号の分割は、QMFフィルタリングおよびPQMFフィルタリングによって実行されて、サブ帯域におけるサブ信号が得られることを特徴とする請求項1に記載の方法。
  7. 前記所定の分割基準は、前記信号の周期性の基準であることを特徴とする請求項1に記載の方法。
  8. 前記プリエコー帯は、
    前記分割するステップよりも前に、前記復号化された信号において立ち上がり位置を検出するステップと、
    前記分割するステップよりも前の前記復号化された信号において、または前記分割するステップよりも後の前記少なくとも2つのサブ信号において、検出された前記立ち上がり位置に先行するプリエコー帯を判定するステップと
    によって判定されることを特徴とする請求項1に記載の方法。
  9. 前記プリエコー帯は、
    前記分割するステップよりも後に得られた前記少なくとも2つのサブ信号の各々において立ち上がり位置を検出するステップと、
    前記少なくとも2つのサブ信号の各々において、検出された前記立ち上がり位置に先行するプリエコー帯を判定するステップと
    によって判定されることを特徴とする請求項1に記載の方法。
  10. 少なくとも1つのサブ信号に対し、前記復号化された信号において立ち上がり位置を検出するステップに基づく少なくとも1つのパラメータを使用することによって、前記減衰係数の算出が実行されることを特徴とする請求項8に記載の方法。
  11. 前記減衰係数を平滑化するステップが少なくとも1つのサブ信号に対して適用されること特徴とする請求項1に記載の方法。
  12. 前記減衰係数は、立ち上がりの開始よりも前の所定の数のサンプルに対して、1とされることを特徴とする請求項1に記載の方法。
  13. 変換復号器によって復号化されたデジタルオーディオ信号においてプリエコーの減衰を処理するデバイスであって、
    所定の分割基準に従って、前記復号化された信号を少なくとも2つのサブ信号に分割する分割モジュール(603)と、
    サブ信号ごとに、かつ以前に判定されたプリエコー帯のサンプルごとに、減衰係数を算出する算出モジュール(604)と、
    前記減衰係数を前記少なくとも2つのサブ信号に適用することによって、前記少なくとも2つのサブ信号の各々の前記プリエコー帯においてプリエコーを減衰させる減衰モジュール(605)と、
    減衰された前記少なくとも2つのサブ信号を足し合わせることによって、減衰された信号を得る取得モジュール(606)と
    を具備することを特徴とするデバイス。
  14. 請求項13に記載のデバイスを具備する、デジタルオーディオ信号の復号器。
  15. プロセッサによって実行されると、請求項1ないし12のいずれか一項に記載の方法の各ステップを実行するコード命令を含む、コンピュータプログラム。
JP2015548736A 2012-12-21 2013-12-20 デジタルオーディオ信号におけるプリエコーの効率的な減衰 Active JP6373865B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1262598 2012-12-21
FR1262598A FR3000328A1 (fr) 2012-12-21 2012-12-21 Attenuation efficace de pre-echos dans un signal audionumerique
PCT/FR2013/053216 WO2014096733A1 (fr) 2012-12-21 2013-12-20 Atténuation efficace de pré-échos dans un signal audionumérique

Publications (2)

Publication Number Publication Date
JP2016506543A true JP2016506543A (ja) 2016-03-03
JP6373865B2 JP6373865B2 (ja) 2018-08-15

Family

ID=48289242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015548736A Active JP6373865B2 (ja) 2012-12-21 2013-12-20 デジタルオーディオ信号におけるプリエコーの効率的な減衰

Country Status (12)

Country Link
US (1) US10170126B2 (ja)
EP (1) EP2936488B1 (ja)
JP (1) JP6373865B2 (ja)
KR (1) KR102156846B1 (ja)
CN (1) CN104981981B (ja)
BR (1) BR112015014643B1 (ja)
CA (1) CA2894743C (ja)
ES (1) ES2612385T3 (ja)
FR (1) FR3000328A1 (ja)
MX (1) MX344035B (ja)
RU (1) RU2622863C2 (ja)
WO (1) WO2014096733A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832581A (zh) * 2017-03-31 2020-02-21 弗劳恩霍夫应用研究促进协会 用于使用瞬态位置检测后处理音频信号的装置
US11089472B2 (en) 2017-03-14 2021-08-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transmitter for emitting signals and receiver for receiving signals
US11562756B2 (en) 2017-03-31 2023-01-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using prediction based shaping

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2992766A1 (fr) * 2012-06-29 2014-01-03 France Telecom Attenuation efficace de pre-echos dans un signal audionumerique
FR3025923A1 (fr) * 2014-09-12 2016-03-18 Orange Discrimination et attenuation de pre-echos dans un signal audionumerique
US10354667B2 (en) 2017-03-22 2019-07-16 Immersion Networks, Inc. System and method for processing audio data
CN110838299B (zh) * 2019-11-13 2022-03-25 腾讯音乐娱乐科技(深圳)有限公司 一种瞬态噪声的检测方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005528647A (ja) * 2002-05-31 2005-09-22 ヴォイスエイジ・コーポレーション 合成発話の周波数選択的ピッチ強調方法およびデバイス
JP2012503214A (ja) * 2008-09-17 2012-02-02 フランス・テレコム デジタルオーディオ信号におけるプリエコーの減衰

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2036078C (en) * 1990-02-21 1994-07-26 Fumio Amano Sub-band acoustic echo canceller
DE19736669C1 (de) * 1997-08-22 1998-10-22 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erfassen eines Anschlags in einem zeitdiskreten Audiosignal sowie Vorrichtung und Verfahren zum Codieren eines Audiosignals
GB2379369B (en) * 2001-08-29 2005-06-29 Zarlink Semiconductor Inc Subband echo location and double-talk detection in communication systems
JP4290917B2 (ja) * 2002-02-08 2009-07-08 株式会社エヌ・ティ・ティ・ドコモ 復号装置、符号化装置、復号方法、及び、符号化方法
US20070067166A1 (en) * 2003-09-17 2007-03-22 Xingde Pan Method and device of multi-resolution vector quantilization for audio encoding and decoding
RU2351024C2 (ru) * 2005-04-28 2009-03-27 Сименс Акциенгезелльшафт Способ и устройство для подавления шумов
FR2888704A1 (ja) 2005-07-12 2007-01-19 France Telecom
FR2897733A1 (fr) * 2006-02-20 2007-08-24 France Telecom Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant
EP1850573A1 (fr) * 2006-04-28 2007-10-31 France Télécom Procede de reduction d'echo d'un signal audio large bande

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005528647A (ja) * 2002-05-31 2005-09-22 ヴォイスエイジ・コーポレーション 合成発話の周波数選択的ピッチ強調方法およびデバイス
JP2012503214A (ja) * 2008-09-17 2012-02-02 フランス・テレコム デジタルオーディオ信号におけるプリエコーの減衰

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11089472B2 (en) 2017-03-14 2021-08-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transmitter for emitting signals and receiver for receiving signals
CN110832581A (zh) * 2017-03-31 2020-02-21 弗劳恩霍夫应用研究促进协会 用于使用瞬态位置检测后处理音频信号的装置
JP2020512598A (ja) * 2017-03-31 2020-04-23 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ トランジェント位置検出を使用したオーディオ信号の後処理のための装置
JP7055542B2 (ja) 2017-03-31 2022-04-18 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ トランジェント位置検出を使用したオーディオ信号の後処理のための装置
US11373666B2 (en) 2017-03-31 2022-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for post-processing an audio signal using a transient location detection
US11562756B2 (en) 2017-03-31 2023-01-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using prediction based shaping
CN110832581B (zh) * 2017-03-31 2023-12-29 弗劳恩霍夫应用研究促进协会 用于使用瞬态位置检测后处理音频信号的装置

Also Published As

Publication number Publication date
FR3000328A1 (fr) 2014-06-27
MX2015007894A (es) 2015-10-05
US10170126B2 (en) 2019-01-01
CA2894743C (en) 2020-11-17
ES2612385T3 (es) 2017-05-16
BR112015014643A2 (pt) 2021-07-13
JP6373865B2 (ja) 2018-08-15
CA2894743A1 (en) 2014-06-26
CN104981981B (zh) 2018-03-27
CN104981981A (zh) 2015-10-14
RU2015129858A (ru) 2017-01-27
US20150348561A1 (en) 2015-12-03
KR20150096483A (ko) 2015-08-24
EP2936488B1 (fr) 2016-11-09
KR102156846B1 (ko) 2020-09-16
EP2936488A1 (fr) 2015-10-28
RU2622863C2 (ru) 2017-06-20
MX344035B (es) 2016-12-01
BR112015014643B1 (pt) 2022-03-22
WO2014096733A1 (fr) 2014-06-26

Similar Documents

Publication Publication Date Title
JP6373865B2 (ja) デジタルオーディオ信号におけるプリエコーの効率的な減衰
JP6271531B2 (ja) デジタル音声信号における効果的なプレエコー減衰
JP7008756B2 (ja) デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置
KR101248535B1 (ko) 배경 노이즈 생성 방법 및 노이즈 처리 장치
JP5295372B2 (ja) デジタルオーディオ信号におけるプリエコーの減衰
JP2019133169A (ja) バーストフレーム誤り処理
BR112019020491A2 (pt) aparelho e método para pós-processamento de um sinal de áudio usando formato com base em previsão

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180718

R150 Certificate of patent or registration of utility model

Ref document number: 6373865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250