JP2020170187A - デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置 - Google Patents

デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置 Download PDF

Info

Publication number
JP2020170187A
JP2020170187A JP2020112837A JP2020112837A JP2020170187A JP 2020170187 A JP2020170187 A JP 2020170187A JP 2020112837 A JP2020112837 A JP 2020112837A JP 2020112837 A JP2020112837 A JP 2020112837A JP 2020170187 A JP2020170187 A JP 2020170187A
Authority
JP
Japan
Prior art keywords
echo
sub
subblock
expression
attenuation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020112837A
Other languages
English (en)
Other versions
JP7008756B2 (ja
Inventor
バラーツ・コヴシー
Balazs Kovesi
ステファーヌ・ラゴ
Ragot Stephane
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of JP2020170187A publication Critical patent/JP2020170187A/ja
Application granted granted Critical
Publication of JP7008756B2 publication Critical patent/JP7008756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

【課題】復号におけるプレエコーを識別し、且つ、減衰させる方法および装置を提供する。【解決手段】方法は、復号時に、サブブロックに分解された現在のフレームについて、プレエコーに関する発現が検出されE601、サブブロックに先行する低エネルギーサブブロックは、プレエコー減衰処理が行われE607、プレエコー領域を決定するE602。発現が現在のフレームの第3のサブブロックから検出される場合に、発現が検出されるサブブロックに先行する現在のフレームの少なくとも2つのサブブロックについてエネルギーの首位係数を計算しE603、首位係数を所定の閾値と比較しE604、計算された首位係数が所定の閾値を下回る場合に、プレエコー領域におけるプレエコー減衰処理を抑止するE602。【選択図】図5

Description

本発明は、デジタルオーディオ信号の復号におけるプレエコーの識別及び減衰処理のための方法及び装置に関する。
たとえば固定又は移動の電気通信ネットワーク経由でデジタルオーディオ信号を伝送する場合、又は信号を記憶する場合、一般的に線形予測時間符号化又は変換周波数符号化式の符号化システムを実現する圧縮(情報源符号化)処理が使用される。
本発明の主題であるこの方法及び装置の適用分野は、したがって音響信号、特に周波数変換により符号化されるデジタルオーディオ信号の圧縮である。
図1は、例として、先行技術によるオーバーラップ/追加分析−合成を含む変換によるデジタルオーディオ信号の符号化及び復号化の理論的ブロックダイアグラムを示す。
パーカッションのようなある種の音楽シーケンス及び破裂音(/k/、/t/、...)のような一定の音声セグメントは、いくつかのサンプリング音の間における信号のダイナミックレンジの非常に急速な遷移及び非常に強力な変化により反映される極めて急激な発現により特徴付けられる。サンプル410に基づく遷移の1つの例を図1に示す。
符号化/復号処理の場合、入力信号は、長さLのサンプルのブロックに分解される。これらの境界は、図1において垂直の点線により示されている。入力信号は、x(n)により示される。ここでnはサンプルの添え字である。連続するブロック(又はフレーム)に分解して、ブロックの定義、X(n)=[x(N.L)...x(N.L+L−1)]=[x(0)...x(L−1)]を得る。ここでNはブロック(又はフレーム)の添え字であり、Lはフレームの長さである。図1に、L=160のサンプルが存在する。修正離散コサイン変換MDCTの場合、2つのブロックX(n)及びXN+1(n)が一緒に分析されて添え字Nのフレームに関する変換係数のブロックが与えられ、また、分析窓は正弦関数である。
変換符号化により適用されるブロック(フレームとも呼ばれる)への分割は音響信号から全面的に独立しており、遷移は、したがって、分析窓の任意の点に出現し得る。ここで、変換復号化後、再構築された信号は、量子化(Q)−逆量子化(Q−1)動作により生成された「雑音」(又は歪み)の影響を受ける。この符号化雑音は、変換されたブロックのすべてのテンポラルサポートにわたり、すなわち、サンプルの長さ2Lの窓の全長にわたり比較的一様に時間的に分布している(Lサンプルのオーバーラップを伴って)。符号化雑音のエネルギーは、一般的にブロックのエネルギーに比例しており、且つ符号化/復号ビットレートの関数である。
発現を含むブロックの場合(図1のブロック320〜480のような)、信号のエネルギーは高く、したがって雑音も高レベルである。
変換符号化では、符号化雑音のレベルは、遷移直後の高いエネルギーセグメントの場合には一般的に信号のレベルより低いが、このレベルは、低いエネルギーセグメントについて、特に遷移に先行する部分にかけて(図1のサンプル160〜410)、信号のレベルより高い。上述の部分では、信号対雑音比は負であり、その結果による劣化が非常に耳障りとなって現れることがある。遷移に先立つ符号化雑音はプレエコーと呼ばれ、また、遷移に続く雑音はポストエコーと呼ばれる。
図1から、プレエコーが遷移に先立つフレーム及び遷移の起きているフレームに影響を及ぼしていることが分かる。
心理音響実験により、人間の耳は音響の一時的プレマスキングを行うことが示されている。それは、極めて限られており、数ミリセカンドのオーダーである。発現に先立つ雑音、すなわちプレエコーは、プレエコーの継続時間がプレマスキング継続時間より長い場合に聞こえる。
人間の耳は、高いエネルギーのシーケンスから低いエネルギーのシーケンスへの遷移時に、より長い時間、5〜60ミリセカンドのポストマスキングも行う。ポストエコーの場合に受け入れることができる擾乱の比率又はレベルは、したがってプレエコーの場合より高い。
より重大なプレエコー現象は、サンプルの個数を単位とするブロックの長さが大である場合、一層擾乱的である。さて、変換符号化では、定常信号の場合に、変換長さが増大するほど、変換利得が大きくなることがよく知られている。固定サンプリング周波数において且つ固定ビットレートにおいて、窓の点の個数(したがって変換の長さ)を増大すると、心理音響モデルにより有益と考えられる周波数線を符号化するフレームあたりのビットが多くなる。長大なブロックを使用する利点はここから生じる。MPEG AAC(アドバンストオーディオコーディング)符号化は、たとえば、固定長のサンプル、2048個を含む長大な窓、すなわち、サンプリング周波数が32kHzの場合に64msの継続時間にわたる窓を使用する。それにおけるプレエコーの問題は、中間窓により(遷移窓と呼ばれる)これらの長い窓を8つの短い窓に切り換えることを可能にすることにより処理される。この方法は、遷移の存在を検出し、且つ窓を適合させるために符号化において一定の遅延を必要とする。これらの短い窓の長さは、したがって256個のサンプルである(32kHzにおいて8ms)。低いビットレートにおいて、数msの可聴プレエコーを有することも依然可能である。窓の切替は、プレエコーを減衰させることを可能にするが、それを除くことはできない。ITU−T G.722.1、G.722.1C又はG.719などの会話応用に使用される変換符号化器は、しばしば、20msのフレーム長さ及び16、32又は48kHz(それぞれ)の40msの窓を使用した。ここで指摘できるように、ITU−T G.719符号化器は遷移検出式窓切り換え機構を組み込んでいるが、プレエコーは、低ビットレート(一般的に32Kbit/s)において完全には低減されない。
プレエコー現象の上述の擾乱効果を低減するために、符号化器及び/又は復号器における種々の解決策が提案されてきた。
窓切り換えは、すでに引用した。それは、現在のフレームで使用されている窓の種類を識別する補助情報項目の送信を必要とする。別の解決策は、適応フィルタリングを適用することからなる。発現に先行する領域において、再構築された信号は、原信号と量子化雑音の和と考えられる。
対応するフィルタリング技術は、(非特許文献1)という名称の論文において記述されている。
かかるフィルタリングの実現は、予測係数及びプレエコーにより劣化した信号の変化のような、復号器において雑音の多いサンプルから推定されるパラメータの知識を必要とする。しかし、原信号のエネルギーのような情報は、符号化器のみに知られ得るが、これはその結果として送出されなければならない。これは、追加情報の送信を必要とするが、それは、ビットレートが制約されている状態において、変換符号化に割り当てられる相対的割当量を低減する。受け取ったブロックがダイナミックレンジの急激な変化を含んでいる場合、フィルタリング処理がそれに適用される。
上述のフィルタープロセスは、原信号の復元を可能としないが、プレエコーの強力な低減をもたらす。しかし、それは、追加パラメータの復号器への送信を必要とする。
上述の解決方法と異なり情報の特有の送信を伴わない種々のプレエコー低減技術が提案されている。たとえば、階層符号化によるプレエコーの低減の再検討が(非特許文献2)による論文において提示されている。
補助情報を伴わないプレエコー減衰処理方法の典型的な例が(特許文献1)において記述されている。この例では、遷移又は発現の検出されたサブブロックに先行する低エネルギーサブブロックにおける各サブブロックについて減衰係数が決定される。
k番目のサブブロックにおける減衰係数g(k)は、たとえば、最高エネルギーサブブロックのエネルギーと関連k番目のサブブロックのエネルギーとの間の比R(k)の関数として計算される。
g(k)=f(R(k))
ここでfは0〜1の値を有する減少関数であり、また、kはサブブロックの番号である。係数g(k)の他の定義も可能である。たとえば、現在のサブブロック中のエネルギーEn(k)の関数及び先行サブブロック中のエネルギーEn(k−1)の関数とすることができる。
サブブロックのエネルギーが現在のフレーム中の考慮されているサブブロックの最大エネルギーとの関係において殆ど変化しない場合、減衰は不要である。係数g(k)は、減衰を抑止する減衰値、すなわち1に設定される。その他の場合、減衰係数は0〜1の値となる。
殆どの場合、とりわけ、プレエコーが擾乱的である場合、プレエコーフレームに先行するフレームは、低エネルギーセグメント(一般的に背景雑音)のエネルギーに対応する一様なエネルギーを有している。実験の結果、プレエコー減衰処理後に、信号のエネルギーが処理領域に先立つ信号の平均エネルギー(サブブロックあたり)− 一般的に、
として示される先行フレームのエネルギー、又は
として示される先行フレルームの後半のエネルギーより低くなることは有益でもなく、望ましくもない。
処理されるサブブロックに先立つセグメントのサブブロックあたりの平均エネルギーと正確に同じエネルギーを得るために、処理される添え字kのサブブロックについて、lim(k)として示される減衰係数の制限値を計算することができる。この値は、当然のことながら、1の最大数に制限される。ここで対象とするものは減衰値であるからである。より詳しくは、次式がここで定義される。
ここで先行セグメントの平均エネルギーは、値
により近似される。
このようにして得られたlim(k)値は、サブブロックの減衰係数の最終計算における低い方の限界となる。したがって、それは、次のように使用される。
g(k)=max(g(k),lim(k))
サブブロックについて決定された減衰係数(又は利得)g(k)は、次に、ブロックの境界における減衰係数の急激な変化を回避するために、サンプルごとに適用される平滑化関数により平滑化することができる。
たとえば、サンプルごとの利得は、第1に区分ごとに一定の関数として定義することができる。
pre(n)=g(k),n=kL’,...,(k+1)L’−1
ここでL’は、サブブロックの長さを表す。
次にこの関数を以下の式に従って平滑化する。
pre(n):=αgpre(n−1)+(1−α)gpre(n),n=0,...,L−1
ただし、gpre(−1)は先行サブブロックの最終サンプルについて得られた最終減衰係数であり、αは平滑係数であり、一般的にα=0.85である。
たとえば、次のようなu個のサンプルに関する線形クロスフェードなど他の平滑化関数も可能である。
ここでgpre’(n)非平滑減衰であり、gpre(n)は、平滑化減衰であり、gpre’(n)− ただしn=−(u−1),...,−1−は先行サブブロックの最終サンプルについて得られた最終u−1減衰係数である。たとえばu=5とすることができる。
このようにして係数gpre(n)が計算された後、プレエコーの減衰を現在のフレーム中において再構築された信号、xrec(n)について各サンプルに対応する係数を乗じることにより行う。
rec,g(n)=gpre(n)xrec(n),n=0,...,L−1
ここでxrec,g(n)は、復号され、且つプレエコー低減によりポスト処理された信号である。
図2及び3は、先行技術特許出願において記述されており、上記において要約した減衰方法の実現を示す。
これらの例では、信号は32kHzでサンプルされ、フレームの長さはL=640サンプルであり、且つ各フレームはK=80サンプルの8サブブロックに分割される。
図2のa)部分において、32kHzでサンプルされた原信号のフレームが示されている。信号中の発現(又は遷移)は、添え字320で始まるサブブロック中に位置している。この信号は、低いビットレート(24Kbit/s)のMDCT型の変換符号化器により符号化されている。
図2のb)部分において、プレエコー処理なしの復号の結果が示されている。発現を含むサブブロックに先行するサブブロック中にサンプル160からのプレエコーが観察できる。
c)部分は、上述の先行技術特許出願において記述されている方法により得られたプレエコー減衰係数の傾向(実線)を示している。点線は、平滑化前の係数を示している。ここで、発現の位置がサンプル380付近(サンプル320及び400により区切られるブロック中)と推定されていることに留意されたい。
d)部分は、プレエコー処理(信号b)と信号c)との乗算)の適用後の復号の結果を示している。プレエコーが実際に減衰されていることが分かる。図2は、平滑化係数が発現の瞬間に1に戻らないことも示しており、これは、発現の振幅の低減を意味している。この低減の知覚できる影響は非常に低いが、それでも回避することができる。図3は、図2と同じ例を示しているが、この図では、平滑化前において、発現の位置するサブブロックに先行するいくつかのサンプルについて減衰係数値は強制的に1にされている。図3のc)部分は、このような補正の例を示している。
この例では、係数値1は、発現に先行するサブブロックの最後の16個(添え字364から)のサンプルに割り当てられている。したがって、平滑化関数は、発現の瞬間に1に近い値を有するように係数を段階的に増大している。その結果、発現の振幅は、図3のd)に示されているように保存されるが、数個のプレエコーサンプルは減衰されない。
図3の例において、減衰によるプレエコーの低減は、プレエコーを発現のレベルに低減することはできない。これは利得の平滑化のためである。
しかし、このプレエコー低減技術は、たとえば現代の音楽信号のようなある種の信号については完全なものにすることができる。事実、場合によっては、誤ったプレエコー検出が起こり得る。図4は、このような原始信号の例を示している。これは、符号化されておらず、従ってプレエコーを伴っていない。それは、電子/シンセティックパーカッション楽器の鼓動である。ここで、添え字1600付近の明確な発現前に、添え字1250付近で始まるシンセティック騒音が存在することが分かる。したがって信号の一部を形成するこのシンセティック騒音は、信号の完全な符号化及び復号を仮定すると、プレエコーとして前述のプレエコー検出アルゴリズムにより検出される。プレエコー減衰処理は、したがって信号のこの構成要素を除去する。これは、復号された信号を歪ませるため、(符号化/復号が完全である場合に)望ましくない。
フランス特許第08 56248号明細書
High Quality Audio Transform Coding at 64 Kbit/s,IEEE Trans.on Communications Vol 42,No.11,November 1994,published by Y.Mahieux and J.P.Petit B.Koevesi,S.Ragot,M.Gartner,H.Taddei,entitled"Pre−echo reduction in the ITU−T G.729.1 embedded coder,"EUSIPCO,Lausanne,Switzerland,August 2008
したがって、符号化器による補助情報の送出を必要とせずに、プレエコーの信頼できる検出を可能とし、且つ誤った検出を回避するために、復号におけるプレエコーを識別し且つ減衰させる高度な技術を開発する必要がある。
本発明は、先行技術のこの状況を改善する。
この目的のために、本発明は、変換符号化から生成されるデジタルオーディオ信号におけるプレエコーを識別し且つ減衰させる方法に関する。この方法では、サブブロックに分解された現在のフレームについて、遷移又は発現が検出されるサブブロックに先行する低エネルギーサブブロックは、プレエコー減衰処理が行われるプレエコー領域を決定する。この方法は、発現が現在のフレームの第3のサブブロックから検出される場合に、以下:
− 発現が識別されるサブブロックに先行する現在のフレームの少なくとも2つのサブブロックについてエネルギーの首位係数を計算するステップと、
− 首位係数を所定の閾値と比較するステップと、
− 計算された首位係数が所定の閾値を下回る場合に、プレエコー領域におけるプレエコー減衰処理を抑止するステップと
を含む。
発現の位置に先行するサブブロックについて計算されたエネルギーの首位係数は、プレエコー領域における信号のエネルギーの上昇傾向の検証を可能にする。これは、誤ったプレエコー検出を回避することにより信頼できるプレエコーの検出を可能にする。事実、図1を参照すると、プレエコーが典型的な特徴を有していることが分かる。そのエネルギーは、プレエコーを生じさせる発現に近付いて行く増加傾向を有している。オーバーラップ追加重み付け窓の形状がそれを説明する。プレエコーは、追加オーバーラップの前には殆ど一定のエネルギーを有しているが、オーバーラップ追加モジュールの入力における信号は、過去に向かって重みの減少する重み付け窓により増倍される。図4の例示信号の場合、発現前の信号のエネルギーは、ほぼ一定であり、それはプレエコーを区別することを可能にする。したがって、プレエコー領域における信号の増大エネルギーの検証は、プレエコー検出の信頼性を高めることを可能にする。
特定の実施形態においては、この方法は、周波数基準に応じてデジタルオーディオ信号を少なくとも2つのサブ信号に分解するステップをさらに含み、且つこの方法の比較、計算ステップは、これらのサブ信号の少なくとも1つについて行われる。
発現の位置が現在のフレームの第3のサブブロックにおいて検出された場合、2つのサブブロックのエネルギーをプレエコー領域において使用して首位係数を計算し、それを閾値と比較する。2つの点のみの場合、2つのサブ信号に分解した場合における高い周波数のサブ信号に関する検証のみで、誤ったプレエコーを検出するために十分である。
発現位置が検出されたサブブロックに先行するサブブロックの個数が十分である場合、この方法は、周波数基準に応じてデジタルオーディオ信号を少なくとも2つのサブ信号に分解するステップをさらに含み、且つこの方法では、計算及び比較ステップがサブ信号のそれぞれについて行われ、計算された首位係数が少なくとも1つのサブ信号について所定の閾値を下回る場合に、すべてのサブ信号のプレエコー領域におけるプレエコー減衰処理の抑止が行われる。
サブ信号への分割は、したがってプレエコー減衰を独立に、且つそのサブ信号に適する方法により行うことを可能にする。プレエコー領域検出信頼性は、サブ信号のそれぞれについて、それぞれの首位係数の値の検証により高められる。
特定の実施形態によると、各サブ信号について異なる閾値が定義される。
これは、検証をサブ信号のスペクトル特性に適合させることを可能にする。
1つの実施形態では、首位係数は、最小二乗推定法に従って計算される。
この計算方法は、複雑性が低い。
1つの可能な実施形態では、首位係数は正規化される。
したがって、首位係数は、閾値が0でない場合に、より容易に閾値と比較することができる。
1つの可能な実施形態では、発現が現在のフレームの第1又は第2のサブブロックにおいて検出される場合に、先行フレームについて計算された首位係数が比較ステップに使用される。
本発明は、変換符号化により生成されたデジタルオーディオ信号中のプレエコーを識別し且つ減衰させる装置にも関係する。この装置は、遷移又は発現検出モジュールと、プレエコー領域識別モジュールと、プレエコー減衰処理モジュールとを含み、遷移又は発現が検出されるサブブロックに先行する低エネルギーサブブロックがプレエコー領域を決定すると、サブブロックに分解された現在のフレームについてプレエコー減衰処理が行われる。この装置は、発現が現在のフレームの第3のサブブロックから検出される場合に、装置が、以下:
− 発現が識別されるサブブロックに先行する現在のフレームの少なくとも2つのサブブロックについてエネルギーの首位係数を計算する計算モジュールと、
− 首位係数と所定の閾値との比較を行うことができる比較器と、
− 計算された首位係数が所定の閾値を下回る場合に、プレエコー領域におけるプレエコー減衰処理を抑止することができる識別モジュールと
をさらに含むようなものである。
この装置の利点は、それが実施する減衰、識別、及び処理方法について記述した利点と同じである。
本発明は、前述した装置を含むデジタルオーディオ信号復号器を対象とする。
本発明は、コード命令であって、これらの命令が処理装置により実行されると、前述した方法のステップを実施するコード命令を含む、コンピュータプログラムも対象とする。
最後に、本発明は、処理装置により読み取られ得る記憶媒体に関する。この記憶媒体は、処理装置に組み込まれるか又は組み込まれず、場合により取り外し可能であり、前述した処理方法を実施するコンピュータプログラムを格納する。
本発明のその他の特徴及び利点は、純粋に非限定的例示として、且つ添付図面を参照して以下の記述を読むことにより、さらに明瞭に明かとなるであろう。
前述されており、先行技術による変換符号化−復号システムを示す。 前述されており、先行技術による減衰方法が行われるデジタルオーディオ信号の例を示す。 先行技術による減衰方法が行われるデジタルオーディオ信号の別の例を示す。 前述されており、先行技術がプレエコーを誤って検出するであろう信号の例を示す。 本発明に従って復号器に含まれるプレエコーの識別及び減衰処理装置の実施形態を示す。 変換符号化及び復号に伴って発生し、プレエコー現象を生成する可能性をもたらす遅延の少ない分析窓及び合成窓の例を示す。 本発明の実施形態によるプレエコー減衰方法が行われるデジタルオーディオ信号の例を示す。 本発明による識別及び減衰処理装置のハードウェア例を示す。
図5を参照しつつ、プレエコーの識別及び減衰処理装置600について説明する。以下において記述される減衰処置装置600は、信号Sを受け取る逆量子化モジュール610(Q−1)、逆変換モジュール620(MDCT−1)、図1を参照して記述され、本発明に従って再構築信号xrec(n)を識別及び減衰処理装置に与える追加オーバーラップ信号再構築モジュール630(add/rec)を含む復号器に包含される。会話及びオーディオの符号化において最も一般的に使用されるMDCT変換の例がここで行われるが、装置600は、他の種類の変換(FFT、DCT等)にも同様に適用される。
装置600の出力において、処理された信号Saが供給され、ここではすでにプレエコー減衰が行われている。
装置600は、復号された信号odxrec(n)についてプレエコー識別及び減衰処理方法を実行する。
本発明の1つの実施形態では、識別及び減衰処理方法は、復号された信号xrec(n)中にプレエコーを生じ得る発現を検出するステップ(E601)を含んでいる。
したがって、装置600は、復号されたオーディオ信号中の発現の位置の検出のステップ(E601)を実行することができる検出モジュール601を含んでいる。
発現は、信号のダイナミックレンジ(又は振幅)の急速な遷移及び急激な変化である。この種類の信号は、より一般的な用語「遷移」により示すことができる。以下において一般性を失うことなく、用語、発現又は遷移のみを使用して遷移も示す。
復号された信号xrec(n)のLサンプルの現在の各フレームを長さL’のK個のサブブロックに分割する。ここでは、たとえば、32kHzにおいてL=640個のサンプル(20ms)、L’=80個のサンプル(2.5ms)、且つK=8とする。これらのサブブロックの大きさは、したがって同じとすることが望ましいが、本発明は、サブブロックが異なる大きさであっても、有効であり、且つ容易に一般化可能である。それは、たとえば、フレームの長さLがサブブロックの個数Kで割り切れないか、又はフレームの長さが可変である場合である。
ITU−T G.718規格において記述されている窓に類似する低遅延を有する特別な分析−合成窓がMDCT変換の分析部分及び合成部分のために使用される。このような窓の例が図6を参照して示されている。変換により生成される遅延は、従来の正弦波窓を使用する場合の640個のサンプルの遅延と異なり、わずか280個のサンプルある。したがって、低遅延の特別分析−合成窓を有するMDCTメモリは、従来の正弦波窓を使用する場合の320個のサンプルの遅延と異なり、わずか140個の独立サンプル(現在のフレームに包含されない)を含む。
分析窓(Ana.)を示している図6において実際に分かることであるが、折り返し領域は、サンプル820及び1100間の点線により限定されている。折り返し線は、サンプル960における鎖線により示されている。
合成(Synth.)の場合、対称性を利用することにより、間隔Mにより表されるサンプル(140個のサンプル)のみが分析の折り返し領域に関する情報を得るために必要である。メモリに含まれるこれらのサンプルは、次に、やはり次のフレームの窓の折り返されたサンプルを使用することにより、この折り返し領域を復号するために役立つ。サンプル820及び1100間のこの領域中に発現が存在する場合、間隔Mにより表されるサンプルの平均エネルギーは、サンプル820に先立つサブフレームのエネルギーより明らかに大きい。MDCTメモリに含まれる間隔Mのエネルギーの急激な増加は、したがって現在のフレームにおいてプレエコーを生じ得る次のフレーム中の発現を示すことができる。
MDCTメモリxMDCT(n)が使用され、これは、未来の信号の時間的折り返しを有するバージョン(折り返し)を与える。図6に示した低遅延の特別分析−合成窓の場合、長さL(0)=140の1つの(K’=1)ブロックのみが保持され、これはMDCTメモリのすべての独立サンプルを含んでいる。このサブブロックにおけるサンプルのより多い個数にも関わらず、そのエネルギーは、現在のフレームのサブブロックのそれに匹敵するままである(信号が安定したままである場合)。その理由は、このメモリ部分がすでに分析窓によりウィンドウ化されている(したがって減衰されている)からである。
実際に、図1は、プレエコーが、発現が位置しているフレームに先行するフレームに影響を及ぼすこと、及びMDCTメモリ中に部分的に含まれている未来のフレーム中の発現を検出することが望ましいことを示している。
現在のフレーム及びMDCTメモリは、(K+K’)個の連続サブブロックにさらに分割される信号を形成する連結された信号と見ることができる。この状態において、k番目のサブブロックにおけるエネルギーは、k番目のサブブロックが現在のフレームに位置している場合には、
のように定義され、サブブロックがMDCTメモリ中にあり(それは、未来のフレームにとって利用できる信号を表す)、且つLmemがメモリ部分のサブブロックの長さである場合には、
のように定義される。
現在フレーム中のサブブロックの平均エネルギーは、したがって次式により得られる。
現在のフレームの第2の部分におけるサブブロックの平均エネルギーも次式により定義される(Kは偶数と仮定する)。
考慮されているサブブロックの1つにおいて、比
が所定の閾値を超える場合、プレエコーに関する発現が検出される。その他のプレエコー検出基準も、本発明の性質を変えることなく、可能である。さらに、発現の位置は、次のように定義されると考えられる。
この式において、Lに対する限定は、MDCTメモリが決して修正されないことを保証する。発現の位置を推定するその他のより正確な方法も可能である。
装置600は、検出された発現位置に先行するプレエコー領域(ZPE)の決定のステップ(E602)を実行するプレエコー領域識別モジュール602も含んでいる。ここで、用語、プレエコー領域は、発現の推定された位置の前のサンプル(これらのサンプルは、その発現により生成されるプレエコーにより擾乱される)を含む領域(このプレエコーの減衰が望ましい領域)を表すために使用されている。提示する実施形態では、プレエコー領域は、復号された信号について決定され得る。
プレエコー領域を得る1つの実施形態では、エネルギーEn(k)は、発生順に連結される。その最初は、復号された信号の時間包絡であり、次はMDCT変換メモリから推定される次のフレームの信号の包絡である。この連結された時間包絡及び先行フレームの平均エネルギー
に基づいて、たとえば比R(k)が閾値(一般的にこの閾値は16である)を超える場合にプレエコーの存在が検出される。
プレエコーの検出されたサブブロックがこのようにプレエコー領域を構成し、それは、一般的にサンプルn=0,...,pos−1、すなわち現在のフレームの始点からその発現の位置(pos)までを含む。発現が未来のフレーム中で検出されている場合にはプレエコー領域が現在のフレーム全体にわたって非常に良好に伸び得ることも分かる。
装置600は、発現の検出されたサブブロックに先行するサブブロックのエネルギーの首位係数(又は変動傾向指示子)の計算のステップを実行することができる計算モジュール603を含んでいる。
n個の実現(t,e),0≦i<nの集合(ここで、tはサブブロックの時間添え字であり、eはそれらのエネルギーである)を表す線型モデルが次式により定義される。
e=b+bt(1)
ここでbは時点t=0における値であり、また、bは首位係数である。首位係数は、エネルギーの変化の傾向(平均)に関する情報を与える。正の首位係数は、エネルギーの増加を示す。ゼロに近い値は、一定のエネルギーを示す。
の値は、線形最小二乗回帰により決定することができる。
この場合、求和は、所定の添え字iについて行う。
の値もエネルギーの数値(絶対値として)に依存する。それは、事実上、時間的にエネルギーに関して一様である。bの値を閾値(たとえば固定)とよりよく比較できるようにするために、この依存性を除去することができる。たとえば、bの値をエネルギーの平均値により除することにより正規化された首位係数を得ることができる。
別法として、相関係数を採用することもできる。
この別解は、平方根の計算を含んでいるため、計算がかなり複雑である。
たとえば、テューキーのメディアン−メディアン法のような首位係数を推定する他の方法も可能である。
首位係数をゼロ値の閾値と比較する必要がある場合(それは、この係数の符号を検証することを意味する)、この係数を正規化する必要がないことも分かる。
さらに、首位係数を正規化する代わりに、次の関係が等価であるため、閾値を変数化することも可能である。
第1又は第2のサブブロックにおいて発現が検出された場合、本発明による検証は不可能である。発現が第3のサブブロックにおいて検出された場合、プレエコー領域中の2つのサブブロックのエネルギー、e及びeを利用してこの検証を行うことができる(eが発現に最も近い)。2点の場合、式(3)は、次のように単純化される。
第4のサブブロックにおいて発現が検出された場合、プレエコー領域中に3つのサブブロックのエネルギーe、e及びeが存在し、これらはこの検証を行うために利用することができる(eが発現に最も近い)。3点の場合、式(3)は、次のように単純化される。
4つ以上のサブブロックが存在する場合、首位係数は、4つ以上のサブブロックについて計算することができる。実験により、発現の検出されたサブブロックに先行する3つのサブブロックについて計算された首位係数の検証で誤ったプレエコー検出を回避するために十分であることが示されている。この結論は、各20msフレーム上の8つのサブブロックの場合に適用でき、且つサブブロック及びフレームのサイズに応じて適合させることができる。
このように、好ましい実施形態では、首位係数は、最大で3サブブロックについて計算される。これは、首位係数の計算の最大複雑さを限定することを可能にする。
本発明によると、このようにして得られた正規化首位係数b1nがステップE604において比較器モジュール604により所定の閾値と比較される。この閾値は、固定値としてあらかじめ定めること、又はたとえば会話若しくは音楽基準による信号の分類に応じて変数とすることもできる。一般的に、この閾値は、エネルギーのわずかな増加がプレエコー領域に課される場合にエネルギーが減少しないか又は0.2に等しいことのみが検証された場合には、0に等しい。正規化首位係数b1nがこの閾値を下回る場合に、プレエコー領域の信号が典型的なプレエコーに対応しないことが結論付けられ、且つこの領域のプレエコーの減衰はステップE602において抑止される。したがって、復号された信号の当初の入力信号が発現前に低エネルギー構成要素を含んでいた場合、プレエコー減衰モジュールがこの構成要素をプレエコーとして検出することにより、復号された信号が誤って修正/警告される状態は回避される。
プレエコー減衰は、識別されたプレエコー領域について、ステップE607において減衰モジュール607により実行される。減衰係数は、たとえば、出願フランス特許第08 56248号明細書において示されているように計算される。モジュール604が誤ったプレエコーを検出した場合、減衰係数を強制的に1に設定することができ、それにより減衰を抑止するか、又は識別モジュール602がこの領域をプレエコー領域として識別せず、したがって減衰モジュールは呼び出されない。
特定の実施形態において、装置600は、復号された信号を所定の基準に従って少なくとも2つのサブブロックに分解するステップE605を行うことができる信号分解モジュール605をさらに含んでいる。この方法は、出願フランス特許第12 62598号明細書において特に記述されており、そのうちのいくつかの要素についてここで取り上げる。
本発明の特定の実施形態では、復号された信号xrec(n)は、ステップE605において次のとおり2つのサブ信号に分解される。
− 第1のサブ信号xrec,ss1(n)は、低域通過フィルタリングにより3つの係数及びゼロフェーズの伝達関数c(n)z−1+(1−2c(n))+c(n)z(ここでc(n)は、0〜0.25の数値である)を有するFIRフィルター(有限インパルス応答フィルター)を使用することにより得られる。上式において、[c(n),1−2c(n),c(n)]は低域通過フィルターの係数である。このフィルターは、次の差分方程式により実現される。
rec,ss1(n)=c(n)rec(n−1)+(1−2c(n))xrec(n)+c(n)x(x+1)
特定の実施形態では、定数値c(n)=0.25が使用される。このフィルタリングからもたらされるサブ信号xrec,ss1(n)は、したがって復号された信号の低周波成分を圧倒的に含んでいることが分かる。
− 第2のサブ信号xrec,ss2(n)は、補助高域通過フィルタリングにより3つの係数及びゼロフェーズの伝達関数−c(n)z−1+2c(n)−c(n)zを有するFIRフィルターを使用することにより得られる。ここで、[−c(n),2c(n),−c(n)]は、高域通過フィルターの係数である。このフィルターは、次の差分方程式により実現される。
rec,ss2(n)=c(n)rec(n−1)+2c(n)xrec(n)−c(n)x(n+1)
このフィルタリングからもたらされるサブ信号xrec,ss2(n)は、したがって復号された信号の高周波成分を圧倒的に含んでいることが分かる。
rec,ss1(n)+xrec,ss2(n)=xrec(n)であることに留意されたい。
したがって、xrec(n)からxrec,ss1(n)を引くことによりxrec,ss2(n)を得ることも可能である。この方法は、次の計算の複雑さを低減する:xrec,ss2(n)=xrec(n)−xrec,ss1(n)。
減衰されたサブ信号Saを得るための減衰された信号の組み合わせは、以下において記述されるステップE608において減衰されたサブ信号の単純な加法により行われる。
これらのフィルタリングにおいて未来の信号を使用しないようにするために、たとえば、復号された信号をブロックの終端において0サンプルで補完することができる。n=L−1のブロックの終端において0サンプルで補完された復号された信号の場合、次式によりサブ信号xrec,ss1(n)が得られる。
rec,ss1(L−1)=c(L−1)xrec(L−2)+(1−2c(L−1))xrec(L−1)
rec,ss2(n)は、常にxrec,ss2(n)=xrec(n)−xrec,ss1(n)として計算される。
2つのサブ信号がここでもやはり復号された信号と同じサンプリング周波数を有していることが分かる。
プレエコー減衰係数の計算のステップE606は、計算モジュール606において行われる。この計算は、2つのサブ信号について別々に行われる。
これらの減衰係数は、発現の検出されたフレーム及び先行フレームの関数としてE602において決定されたプレエコー領域の各サンプルについて得られる。
次に係数gpre,ss1’(n)及びgpre,ss2’(n)が得られる。ここでnは、対応するサンプルの添え字である。これらの係数は、必要に応じてそれぞれ係数gpre,ss1(n)及びgpre,ss2(n)を得るために平滑化される。この平滑化は、とりわけ、低周波成分を含むサブ信号(したがって、この例の場合、gpre,ss1’(n))にとって重要である。
減衰計算の実行の例は、特許出願フランス特許第08 56248号明細書において記述されている。減衰係数は、各サブブロックについて計算される。本出願において記述される方法では、これらの係数は、また、各サブ信号について別々に計算される。検出された発現に先行するサンプルの場合、したがって減衰係数gpre,ss1’(n)及びgpre,ss2’(n)が計算される。次に、これらの減衰値を必要に応じて平滑化して各サンプルの減衰値を得る。
サブ信号の減衰係数(たとえばgpre,ss2’(n))の計算は、復号された信号の最高エネルギーサブブロックのエネルギーとk番目のブロックのエネルギーとの間の比率R(k)(発現の検出のためにも使用される)の関数として復号された信号について特許出願フランス特許第08 56248号明細書において記述されている計算と同様とすることができる。gpre,ss2’(n)は、次のとおり初期設定される。
pre,ss2’(n)=g(k)=f(R(k)),n=kL’,...,(k+1)L’−1;k=0,...,K−1
ここでfは、0〜1の値を有する減少関数である。たとえば、R(k)<=16のとき、f=0であり、16>R(k)≧32のとき、f=0.1であり、且つr(k)>32のとき、f=0.01である。
最大エネルギーと比べてエネルギーの変化が小さい場合、減衰は不要である。この場合、係数は、減衰を抑制する減衰値、すなわち1に設定される。その他の場合、減衰係数は0〜1である。この初期設定は、すべてのサブ信号について共通とすることができる。
次に減衰値を各サブ信号について精緻化して復号された信号の特性の関数としてサブ信号ごとに最適減衰レベルに設定することができるようにする。たとえば、減衰は、先行フレームのサブ信号の平均エネルギーの関数として限定することができる。なぜなら、プレエコー減衰処理後、信号のエネルギーが処理領域に先立つ信号のサブブロックあたりの平均電力(一般的に先行フレームの平均電力又は先行フレームの後半の平均電力)より低くなることは好ましくないからである。
この制限は、特許出願フランス特許第08 56248号明細書において記述されている方法と同様の方法で行うことができる。たとえば、第2のサブ信号xrec,ss2(x)について、現在のフレームのKサブブロックにおけるエネルギーは、第1に次のように計算される。
先行フレームの平均エネルギー
及び先行フレームの後半の平均エネルギー
もメモリから分かる。これらは、次のように計算することができる(先行フレームについて)。
この場合、0〜Kのサブブロックの添え字は、現在のフレームに対応する。
処理されるサブブロックkについて、係数の限定値limss2(k)を計算して処理されるサブブロックに先行するセグメントのサブブロックあたりの平均エネルギーと正確に同じエネルギーを得ることができる。この値は、ここの対象が減衰値であるため、当然のことながら最大値の1に制限される。より具体的には、
であり、ここで先行セグメントの平均エネルギーは、
により近似される。
このようにして得られた値limss2(k)は、サブブロックの減衰係数の最終計算における下側限界としての役割を果たす。
pre,ss2’(n)=max(gpre,ss2’(n),limss2(k)),n=kL’,...,(k+1)L’−1;k=0,...k−1
第1の変形形態では、減衰が現在のフレームの始点から発現の検出されたサブブロックの始点まで − すなわち、
である添え字posに到るまで伸びるプレエコー領域である。発現のサブブロックのサンプルに関する減衰は、その発現がこのサブブロックの終端付近に位置しているとしても、すべて1に設定される。
別の変形形態では、発現の開始位置posは、その発現のサブブロックにおいて、たとえばそのサブブロックをサブサブブロックに再分割することにより(これらのサブサブブロックのエネルギーの傾向を維持することにより)精緻化される。発現開始位置がサブブロックk、k>0において検出され、且つ精緻化された発現の開始位置posがこのサブブロックに位置していると仮定すると、このpos添え字により前に位置するこのサブブロックのサンプルの減衰値は、先行サブブロックの最終サンプルに対応する減衰値の関数として初期設定することができる。
pre,ss2’(n)=gpre,ss2’(kL’−1),n=kL’,...,pos−1
このpos添え字からすべての減衰は1に設定される。
復号された信号の低周波数成分を含む第1のサブ信号について、サブ信号xrec,ss1(n)に基づく減衰値の計算は、復号された信号xrec(n)に基づく減衰値の計算と同様とすることができる。したがって、ある変形形態では、計算の複雑度を低減するために、減衰値は、復号された信号xrec(n)に基づいて決定することができる。発現の検出が復号された信号について行われる場合、したがってサブブロックのエネルギーを再計算する必要はもはやない。なぜなら、この信号について、サブブロックあたりのエネルギー値は、発現を検出するためにすでに計算されているからである。信号の大部分について、低周波数は高周波数より遙かにエネルギー集約的であるため、復号された信号xrec(n)及びサブ信号xrec,ss1(n)のサブブロックあたりのエネルギーは非常に接近しており、この近似は非常に満足できる結果を与える。
各サブブロックについて決定された減衰係数gpre,ss1(n)及びgpre,ss2(n)は、次に、ブロックの境界における減衰係数の急激な変化を回避するために、サンプルごとに適用される平滑化関数により平滑化することができる。これは、サブ信号xrec,ss1(n)のように低周波数成分を含むサブ信号にとっては特に重要であるが、サブ信号xrec,ss2(n)のように高周波数成分のみを含むサブ信号にとっては不要である。
図7は、矢印Lにより表される平滑化関数を利用する減衰利得の適用の例を示している。
この図は、a)において原信号の例、b)においてプレエコー減衰なしの復号された信号、c)において分解ステップE605に従って2つのサブ信号について得られた減衰利得、及びd)においてステップE607及びE608のプレエコー減衰を伴って復号された信号(すなわち2つの減衰されたサブ信号の組み合わせ後)を示す。
この図から分かるように、点線により示されており、低周波数成分を含む第1のサブ信号について計算された利得に対応する減衰利得は、上述したように平滑化機能を含んでいる。実線により表されており、高周波数成分を含む第2のサブ信号について計算された減衰利得は、平滑化利得を含んでいない。
d)において示されている信号は、実現された減衰処理によりプレエコーが効果的に減衰されたことを明確に示している。平滑化関数は、たとえば次の式により定義されることが好ましい。
ただし、サブ信号xrec,ss1(n)に先行するサブブロックの最終サンプルについて得られた最後のu−1減衰係数は、gpre,ss1’(n)n=−(u−1),...,−1とする。一般的にu=5であるが、別の値も使用できる。したがって、使用される平滑化に応じて、プレエコー領域(減衰されるサンプルの個数)は、発現の検出が復号された信号に基づいて共通に行われたとしても、別々に処理される2つのサブ信号について異なる値をとることができる。
平滑化された減衰係数は、発現の時点において1に戻らないが、これは発現の振幅の低減を示している。この低減の知覚可能な影響は非常に小さいが、それにも関わらず回避されるべきである。この問題を軽減するために、発現の始点が位置するpos添え字に先行するu−1サンプルについて減衰係数の値を強制的に1に設定することができる。これは、平滑化が適用されるサブ信号についてu−1サンプルだけposマーカーを進めることに等しい。したがって、平滑化関数は、係数を徐々に増加して発現の時点においてそれが値1を有するようにする。このようにして発現の振幅が維持される。
信号の分解を行うこの実施形態では、本発明によるプレエコー領域のエネルギーの増加の検証は、少なくとも1つのサブ信号又はこれらのサブ信号のそれぞれについて行われる。
使用される比較閾値は、サブ信号に応じて、及び発現前の利用できるサブブロックの個数に応じて異なる値とすることができる。
少なくとも1つのサブ信号において、正規化首位係数b1nがこのサブ信号の閾値を下回る場合に、プレエコーの減衰は、すべてのサブ信号について抑止される。
逆MDCT変換から導かれた信号におけるプレエコーの場合、プレエコー成分のエネルギーは増加するか、又は少なくともすべてのサブ信号において安定している。プレエコー処理の抑止は、たとえば減衰係数を1に設定することにより、又はその領域をプレエコー領域として識別せず、次に、図5の実施形態において例として示されているようにブロック604及び602間のリンクによりプレエコー減衰処理モジュールが起動されないようにすることにより実行し得る。
変形形態においては、減衰は、各サブ信号について、正規化首位係数b1nがこのサブ信号の閾値を下回ると直ちに、別々に抑止される。この抑止は、たとえば減衰係数を1に設定することにより、又は考慮対象のサブ信号についてプレエコーモジュールを起動しないことにより実現することができる。
したがって、2つのサブ信号に分解する上述の特定の実施形態では、発現前のサブブロックの個数がこの検証の実行を可能にする場合、発現の検出されたサブブロックに先行するサブブロックのエネルギーの傾向が、2つのサブ信号において、線形回帰により検証される。この検証は、ステップE603及びE604に従って、復号された信号のサブ信号への分割後(E605)及びプレエコーの減衰係数の適用前(E607)の任意の時点において実行することができる。この検証は、少なくとも2のサブブロックが発現の検出されたサブブロックに先行する場合に可能である。発現が第1又は第2のサブブロックにおいて検出された場合、本発明による検証は不可能である。
変形形態において、発現が現在のフレームの第1又は第2のサブブロックにおいて検出された場合、場合によっては先行フレームにおいて計算された首位係数を再使用することが可能である。
発現が第3のサブブロックにおいて検出された場合、プレエコー領域における2つのサブブロックのエネルギーがこの検証を行うために利用できる。実験の結果、2点の場合に、検証は、低周波数サブ信号xrec,ss1(n)において十分に信頼できない。この場合、高周波数サブ信号xrec,ss2(n)のみが検証され、且つそのエネルギーが減少しないことのみが検証される。高周波数サブ信号xrec,ss2(n)の首位係数が0値の閾値と比較される。ここではその符号のみが重要であり、正規化は不要である。したがって、ステップE603において単一首位係数を次のように計算する(正規化なしに)のみで十分である。
1ss2=Enss2(1)−Enss2(0)
1ss2が0より小さい場合、このプレエコー領域のプレエコーの減衰は、すべてのサブ信号について抑止される。
発現が第4のサブブロック又は4を超える添え字のサブブロックにおいて検出された場合、発現の検出されたサブブロックに先行するプレエコー領域における最後の3つのサブブロックのエネルギーの傾向が検証される。低周波数サブ信号xrec,ss1(n)の首位係数が0と比較される。この場合、その符号のみが重要であり、この係数の正規化は不要である。したがって単一の首位係数を計算するのみで十分である。発現がid≧3である添え字idのサブブロックにおいて検出された場合、この係数は、次のように決定される。
1ss1=En(id−1)−Enss2(id−3)
1ss1が0より小さい場合、プレエコーの減衰は、このプレエコー領域について、及びすべてのサブ信号について抑止される。
高周波数サブ信号xrec,ss2(n)の首位係数が値0.2の閾値と比較される。正規化首位係数が計算される。発現がid≧3である添え字idのサブブロックにおいて検出された場合、この係数は、次のように決定される。
1nss2が0.2より小さい場合、プレエコーの減衰は、このプレエコー領域について、及びすべてのサブ信号について抑止される。
次の上の式の状態は、下の式の状態に等しいことに留意されたい。
このようにして除算演算を回避して複雑さを低減し、且つ固定小数点数演算DSP処理装置(デジタル信号処理装置)に関する実現を容易にする。
図5の装置600のモジュール607は、このように計算された減衰係数のそのサブ信号に対する適用によりサブ信号のそれぞれのプレエコー領域におけるプレエコー減衰のステップE607を実行する。
したがって、プレエコー減衰は、サブ信号において独立に行われる。このようにして、種々の周波数帯域を表すサブ信号において、減衰は、プレエコーのスペクトル分布の関数として選択され得る。
最後に、取得モジュール608のステップE608は、次の式に従って減衰されたサブ信号を組み合わせることにより(この例の場合、単純な加算により)減衰された出力信号(プレエコー減衰後の復号された信号)を取得することを可能にする。
rec,f(n)=gpre,ss1(n)xrec,ss1(n)xrec,ss2(n),n=,...,L−1
サブ帯域への従来の分解と異なり、ここでは、使用されるフィルタリングがサブ信号デシメーション演算と関連せず、且つ複雑さ及び遅延(「先読み」又は未来フレーム)が最小に低減されていることが分かる。
ここで、本発明による減衰識別及び処理装置の例示実施形態について図8を参照しつつ説明する。
物理的に、この装置100は、本発明の意義の範囲内において、記憶メモリ及び/又は作業メモリ並びにバッファメモリMEMを含む前述のメモリブロックBMと協働する処理装置μPを一般的に含んでいる。メモリブロックBMは、図5を参照して説明した識別及び減衰処理方法の実現のために必要なすべてのデータを記憶する。この装置は、入力としてデジタル信号Saの連続フレームを受け取り、且つ識別されたプレエコー領域においてプレエコー減衰を伴って再構築された信号Saを出力し、適切な場合、減衰されたサブ信号の組み合わせによる減衰された信号の再構築を行う。
メモリブロックBMは、本発明による方法のステップを実現するためのコード命令を含むコンピュータプログラムを含むことができ、この実現は、これらの命令がこの装置処理装置μPにより実行されたとき、特に発現の検出されたサブブロックに先行する少なくとも2つのサブブロックのエネルギーの首位係数の計算のステップ、首位係数の所定の閾値との比較のステップ、及び計算された首位係数が所定の閾値を下回る場合におけるプレエコー領域におけるプレエコー減衰処理の抑制のステップにおいて行われる。図5は、かかるコンピュータプログラムのアルゴリズムを示し得る。
本発明によるこの識別及び減衰装置は、デジタル信号復号器から独立とするか、又はそれに組み込むことができる。かかる復号器は、通信ゲートウェイ、通信端末又は通信ネットワークのサーバーなどのデジタルオーディオ信号格納装置又は伝送装置に組み込むことができる。

Claims (11)

  1. 変換符号化から生成されるデジタルオーディオ信号におけるプレエコーを識別し且つ減衰させる方法であって、復号時に、サブブロックに分解された現在のフレームについて、遷移又は発現が検出される(E601)サブブロックに先行する低エネルギーサブブロックは、プレエコー減衰処理が行われる(E607)プレエコー領域を決定する(E602)、方法において、発現が前記現在のフレームの第3のサブブロックから検出される場合に、以下:
    − 発現が検出される前記サブブロックに先行する前記現在のフレームの少なくとも2つのサブブロックについてエネルギーの首位係数を計算するステップ(E603)と、
    − 前記首位係数を所定の閾値と比較するステップ(E604)と、
    − 前記計算された首位係数が前記所定の閾値を下回る場合に、前記プレエコー領域における前記プレエコー減衰処理を抑止するステップ(E602)と
    を含むことを特徴とする、方法。
  2. 周波数基準に応じて前記デジタルオーディオ信号を少なくとも2つのサブ信号に分解するステップをさらに含むことと、前記計算、比較ステップが前記サブ信号の少なくとも1つについて行われることとを特徴とする、請求項1に記載の方法。
  3. 周波数基準に応じて前記デジタルオーディオ信号を少なくとも2つのサブ信号に分解するステップをさらに含むことと、前記計算及び比較ステップが前記サブ信号のそれぞれについて行われ、計算された首位係数が少なくとも1つのサブ信号について前記所定の閾値を下回る場合に、すべての前記サブ信号の前記プレエコー領域における前記プレエコー減衰処理の抑止が行われることとを特徴とする、請求項1に記載の方法。
  4. 各サブ信号について異なる閾値が定義されることを特徴とする、請求項3に記載の方法。
  5. 前記首位係数が最小二乗推定方法に従って計算されることを特徴とする、請求項1〜4のいずれか一項に記載の方法。
  6. 前記首位係数が正規化されることを特徴とする、請求項1〜5のいずれか一項に記載の方法。
  7. 発現が前記現在のフレームの前記第1又は第2のサブブロックにおいて検出される場合に、前記先行フレームについて計算された首位係数が前記比較ステップに使用されることを特徴とする、請求項1に記載の方法。
  8. 変換符号化器により生成されるデジタルオーディオ信号におけるプレエコーを識別し且つ減衰させる装置であって、復号器に関連付けられ、且つ遷移又は発現検出モジュール(601)と、プレエコー領域識別モジュール(602)と、プレエコー減衰処理モジュール(607)とを含み、遷移又は発現が検出されるサブブロックに先行する低エネルギーサブブロックがプレエコー領域を決定すると、サブブロックに分解された現在のフレームについてエコー減衰処理が行われる、装置において、以下:
    − 発現が前記現在のフレームの第3サブブロックから検出される場合に、発現が検出される前記サブブロックに先行する前記現在のフレームの少なくとも2つのサブブロックについてエネルギーの首位係数を計算する計算モジュール(603)と、
    − 前記首位係数と所定の閾値との比較を行うことができる比較器(604)と、
    − 前記計算された首位係数が前記所定の閾値を下回る場合に、前記プレエコー領域における前記プレエコー減衰処理を抑止することができる識別モジュール(602)と
    をさらに含むことを特徴とする、装置。
  9. 請求項8に記載のプレエコー識別及び減衰装置を含む、デジタルオーディオ信号復号器。
  10. コード命令であって、前記命令が処理装置により実行されると、請求項1〜7のいずれか一項に記載の方法のステップを実施するコード命令を含む、コンピュータプログラム。
  11. プレエコー識別及び減衰処理装置により読み取られ得る記憶媒体であって、請求項1〜7のいずれか一項に記載のプレエコー識別及び減衰処理方法のステップを実行するコード命令を含むコンピュータプログラムが格納される、記憶媒体。
JP2020112837A 2014-09-12 2020-06-30 デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置 Active JP7008756B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1458608 2014-09-12
FR1458608A FR3025923A1 (fr) 2014-09-12 2014-09-12 Discrimination et attenuation de pre-echos dans un signal audionumerique

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017513524A Division JP6728142B2 (ja) 2014-09-12 2015-09-11 デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置

Publications (2)

Publication Number Publication Date
JP2020170187A true JP2020170187A (ja) 2020-10-15
JP7008756B2 JP7008756B2 (ja) 2022-01-25

Family

ID=51842602

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017513524A Active JP6728142B2 (ja) 2014-09-12 2015-09-11 デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置
JP2020112837A Active JP7008756B2 (ja) 2014-09-12 2020-06-30 デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017513524A Active JP6728142B2 (ja) 2014-09-12 2015-09-11 デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置

Country Status (8)

Country Link
US (1) US10083705B2 (ja)
EP (1) EP3192073B1 (ja)
JP (2) JP6728142B2 (ja)
KR (1) KR102000227B1 (ja)
CN (2) CN106716529B (ja)
ES (1) ES2692831T3 (ja)
FR (1) FR3025923A1 (ja)
WO (1) WO2016038316A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3025923A1 (fr) * 2014-09-12 2016-03-18 Orange Discrimination et attenuation de pre-echos dans un signal audionumerique
EP3382700A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using a transient location detection
EP3652867B1 (en) * 2017-07-14 2021-05-26 Dolby Laboratories Licensing Corporation Mitigation of inaccurate echo prediction
JP7172030B2 (ja) * 2017-12-06 2022-11-16 富士フイルムビジネスイノベーション株式会社 表示装置及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268657A (ja) * 2001-03-09 2002-09-20 Nippon Telegr & Teleph Corp <Ntt> 音響信号の立ち上がり・立ち下がり検出方法及び装置並びにプログラム及び記録媒体
JP2009527773A (ja) * 2006-02-20 2009-07-30 フランス テレコム デコーダおよび対応するデバイス中のディジタル信号のエコーの訓練された弁別および減衰のための方法
JP2012503214A (ja) * 2008-09-17 2012-02-02 フランス・テレコム デジタルオーディオ信号におけるプリエコーの減衰
WO2014001730A1 (fr) * 2012-06-29 2014-01-03 Orange Atténuation efficace de pré-échos dans un signal audionumérique
WO2014096733A1 (fr) * 2012-12-21 2014-06-26 Orange Atténuation efficace de pré-échos dans un signal audionumérique

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL249503A (ja) 1959-03-19
JP3104400B2 (ja) * 1992-04-27 2000-10-30 ソニー株式会社 オーディオ信号符号化装置及び方法
FR2739736B1 (fr) * 1995-10-05 1997-12-05 Jean Laroche Procede de reduction des pre-echos ou post-echos affectant des enregistrements audio
WO2005057801A2 (en) * 2003-12-05 2005-06-23 Plexus Networks, Inc. Low-power mixed-mode echo/crosstalk cancellation in wireline communications
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
TWI275074B (en) * 2004-04-12 2007-03-01 Vivotek Inc Method for analyzing energy consistency to process data
KR20110001130A (ko) * 2009-06-29 2011-01-06 삼성전자주식회사 가중 선형 예측 변환을 이용한 오디오 신호 부호화 및 복호화 장치 및 그 방법
KR101405022B1 (ko) * 2009-09-18 2014-06-10 돌비 인터네셔널 에이비 입력 신호를 전위시키기 위한 시스템 및 방법, 상기 방법을 수행하는 소프트웨어 프로그램 및 컴퓨터 프로그램 제품을 포함하는 저장 매체
US8582443B1 (en) * 2009-11-23 2013-11-12 Marvell International Ltd. Method and apparatus for virtual cable test using echo canceller coefficients
CN103325379A (zh) * 2012-03-23 2013-09-25 杜比实验室特许公司 用于声学回声控制的方法与装置
CN103391381B (zh) * 2012-05-10 2015-05-20 中兴通讯股份有限公司 回声消除方法及装置
CN103730125B (zh) * 2012-10-12 2016-12-21 华为技术有限公司 一种回声抵消方法和设备
FR3011408A1 (fr) * 2013-09-30 2015-04-03 Orange Re-echantillonnage d'un signal audio pour un codage/decodage a bas retard
FR3015754A1 (fr) * 2013-12-20 2015-06-26 Orange Re-echantillonnage d'un signal audio cadence a une frequence d'echantillonnage variable selon la trame
FR3023036A1 (fr) * 2014-06-27 2016-01-01 Orange Re-echantillonnage par interpolation d'un signal audio pour un codage / decodage a bas retard
FR3025923A1 (fr) * 2014-09-12 2016-03-18 Orange Discrimination et attenuation de pre-echos dans un signal audionumerique

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268657A (ja) * 2001-03-09 2002-09-20 Nippon Telegr & Teleph Corp <Ntt> 音響信号の立ち上がり・立ち下がり検出方法及び装置並びにプログラム及び記録媒体
JP2009527773A (ja) * 2006-02-20 2009-07-30 フランス テレコム デコーダおよび対応するデバイス中のディジタル信号のエコーの訓練された弁別および減衰のための方法
JP2012503214A (ja) * 2008-09-17 2012-02-02 フランス・テレコム デジタルオーディオ信号におけるプリエコーの減衰
WO2014001730A1 (fr) * 2012-06-29 2014-01-03 Orange Atténuation efficace de pré-échos dans un signal audionumérique
WO2014096733A1 (fr) * 2012-12-21 2014-06-26 Orange Atténuation efficace de pré-échos dans un signal audionumérique

Also Published As

Publication number Publication date
JP7008756B2 (ja) 2022-01-25
FR3025923A1 (fr) 2016-03-18
CN106716529B (zh) 2020-09-22
JP2017532595A (ja) 2017-11-02
US20170263263A1 (en) 2017-09-14
KR20170055515A (ko) 2017-05-19
JP6728142B2 (ja) 2020-07-22
WO2016038316A1 (fr) 2016-03-17
ES2692831T3 (es) 2018-12-05
EP3192073A1 (fr) 2017-07-19
US10083705B2 (en) 2018-09-25
CN106716529A (zh) 2017-05-24
CN112086107B (zh) 2024-04-02
EP3192073B1 (fr) 2018-08-01
CN112086107A (zh) 2020-12-15
KR102000227B1 (ko) 2019-07-15

Similar Documents

Publication Publication Date Title
JP7008756B2 (ja) デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置
JP4512574B2 (ja) 音声活動に基づくゲイン制限による音声強化についての方法、記録媒体、及び装置
JP6271531B2 (ja) デジタル音声信号における効果的なプレエコー減衰
JP6076247B2 (ja) ディジタルオーディオ信号エンコーダでのノイズシェーピングフィードバックループの制御
RU2622863C2 (ru) Эффективное ослабление опережающего эха в цифровом звуковом сигнале
KR20080103088A (ko) 디코더 및 대응 디바이스에서 디지털 신호의 반향들의 안전한 구별과 감쇠를 위한 방법
JP5295372B2 (ja) デジタルオーディオ信号におけるプリエコーの減衰
CN106463122B (zh) 突发帧错误处理
KR20170132854A (ko) 오디오 인코더 및 오디오 신호를 인코딩하는 방법
EP1442455A2 (en) Enhancement of a coded speech signal
WO2004097795A2 (en) Adaptive voice enhancement for low bit rate audio coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220111

R150 Certificate of patent or registration of utility model

Ref document number: 7008756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150