JP2004520616A - 雑音低減法および装置 - Google Patents
雑音低減法および装置 Download PDFInfo
- Publication number
- JP2004520616A JP2004520616A JP2002561819A JP2002561819A JP2004520616A JP 2004520616 A JP2004520616 A JP 2004520616A JP 2002561819 A JP2002561819 A JP 2002561819A JP 2002561819 A JP2002561819 A JP 2002561819A JP 2004520616 A JP2004520616 A JP 2004520616A
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- frame
- impulse response
- reduction filter
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims description 51
- 238000012546 transfer Methods 0.000 claims abstract description 41
- 238000001228 spectrum Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims description 62
- 238000001914 filtration Methods 0.000 claims description 28
- 230000001419 dependent effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 description 50
- 238000012545 processing Methods 0.000 description 24
- 238000011156 evaluation Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 230000001629 suppression Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000010183 spectrum analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 2
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 2
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 2
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005534 acoustic noise Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
- G01L21/00—Vacuum gauges
- G01L21/02—Vacuum gauges having a compression chamber in which gas, whose pressure is to be measured, is compressed
Abstract
本発明は、周波数領域内で入力信号を解析する際に、入力信号フレーム中の雑音レベル評価子と有用な信号レベル評価子を決定することにより、第１の雑音低減フィルタの伝達関数を計算可能にすること、信号スペクトラムと第１の伝達関数を組合わせることにより有用な信号を微調整するため、その後で、微調整された有用な信号レベル評価子および雑音レベル評価子を基にして第２の雑音低減フィルタの伝達関数を計算するために第２の操作を行うこととにある方法に関するものである。その後で前記第２の雑音低減フィルタを用いてフレーム中の雑音レベルを低減する。
Description
【技術分野】
【０００１】
本発明は入力信号中に存在する雑音レベルを低減するために用いられる信号処理技術に関するものである。
【０００２】
重要な応用分野は、
・雑音の多い環境における電話会議またはテレビ会議（専用室内またはマルチメディア・コンピュータからでさえ、等）；
・電話：固定電話または携帯電話等の端末器と、伝送ネットワークとの少なくとも一方における処理；
・特に事務所、車両または携帯端末機におけるハンドフリー端末機；
・公共の場所（駅、空港、等）における音を拾うこと；
・車両内で両手を使用せずに音を拾うこと；
・騒がしい環境内で音声を確実に認識すること；
・映画およびメディア（たとえば、スポーツ報道または演奏会のための、ラジオ、テレビジョン、等）のために音響を拾うこと；
を非限定的に含めた、オーディオ信号（音声または音楽）処理の分野である。
【０００３】
本発明は、雑音を含んでいる観察から有用な情報を取り出す必要がある分野であればどのような分野にも応用できる。特に、次の分野を引用できる：水中画像観測、水中リモートセンシング、バイオメディカル信号処理（ＥＥＧ、ＥＣＧ、バイオメディカル画像形成、等）。
【背景技術】
【０００４】
集音の特徴的な問題は、集音マイクロホンが設置される音響環境に関連し、更に詳しくいえばその環境を完全に管理統制することは不可能であるので、観測信号中には妨害信号（雑音と呼ばれる）も存在する。
【０００５】
信号の質を高めるために、雑音が含まれている観測信号を処理することにより有用な情報を取り出す目的で雑音低減装置が開発されている。オーディオ信号が遠く離れた所から送られてきた音声信号である場合は、それらの装置を用いてそれの了解度を高め、通信相手に及ぼす負担を軽減するためにそれらの装置を使用できる。会話通信のそれらの応用に加えて、音声信号の質を高めることによって音声認識に有用なことが判明もした。使用者が騒がしい環境に居ると音声認識性が大きく損なわれる。
【０００６】
雑音低減操作を実行するための信号処理技術の選択は、まず、処理の入力側において利用できる観測数に依存する。ここでの説明では、ただ１つの観測信号を利用できる場合について考えることにする。この単一獲得問題に適用される雑音低減法は、時間進み／時間遅れを伴う適応濾波、パラメトリック・カルマン濾波、または短時間スペクトル変更による濾波までも、などの信号処理技術に主として依存する。
【０００７】
後者の集り（短時間スペクトル変更による濾波）は、包含されている概念が簡単で、それらをプログラムするために要する基本的なツール（たとえば、離散フーリェ変換）の有用性が広いために、産業機器に使用されているほぼ全ての解決技術を組合わせている。しかし、それらの雑音低減技術の急速な進歩は、処理操作の出力側で使用できる信号を大きく歪ませることなしに、信号処理プロセッサでそれらの処理操作を実時間で容易に実行する可能性に大きく依存している。この集まりの方法では、処理は、雑音低減フィルタの伝達関数を評価することと、その後でブロックごとの処理でスペクトル領域内での乗算を基にして濾波を行うことにのみ最もしばしばある。スペクトル領域内での乗算によって短時間スペクトル減衰による雑音低減が可能にされる。
【０００８】
所望の信号ｓ（ｎ）と妨害信号ｂ（ｎ）との混合から生ずる、雑音を含んでいる観測信号はｘ（ｎ）と記される。ここにｎは離散時間内での時間指標を示す。離散時間における表現の選択は、信号のデジタル処理へ向けられる手法に関連させられるが、上記方法は連続時間信号にも適用されることに気が付くであろう。信号は一定長さの指標ｋの連続する区画すなわちフレームで解析される。離散時間領域および離散周波数領域での表現のために現在使用されている記法は：
・Ｘ（ｋ，ｆ）：解析される信号ｘ（ｎ）のｋ番目のフレーム（ｋはフレーム指標）のフーリェ変換（ｆは周波数指標）；
・Ｓ（ｋ，ｆ）：所望の信号ｓ（ｎ）のｋ番目のフレームのフーリェ変換；
・
【０００９】
【数１】
【００１０】
：量（時間領域内または周波数領域内の）ｖの評価；たとえば、
【００１１】
【数２】
【００１２】
は所望の信号のフーリェ変換の評価である；
・γｕｕ（ｆ）：信号ｕ（ｎ）のパワースペクトル密度（ＰＳＤ）である。
【００１３】
ほとんどの雑音低減技術では、雑音を含んでいる信号ｘ（ｎ）は周波数領域内で濾波を受けて、いかなる妨害も受けていない元の信号ｓ（ｎ）にできるだけ近い有用な評価された信号
【００１４】
【数３】
【００１５】
を生ずる。前に示したように、この濾波操作は、雑音を含んでいる信号の各周波数成分ｆを減少することにあり、その信号にはその周波数成分中の評価された信号対雑音比（ＳＮＲ）を与えられている。周波数ｆに依存する、このＳＮＲをここではフレームｋに対してη（ｋ，ｆ）と記すことにする。
【００１６】
各フレームに対して、雑音低減フィルタを計算するために求められるスペクトル量の後での評価を改善するために、信号に重み付けウィンドウをまず乗ずる。そのようにしてウィンドウ化された各フレームをその後でスペクトル領域内で解析する（それの最初の実行では離散フーリェ変換を一般に用いる）。この操作は短時間フーリェ変換（ＳＴＦＴ）と呼ばれている。観測された信号のこの周波数領域表現Ｘ（ｋ，ｆ）は、雑音低減フィルタの伝達関数Ｈ（ｋ，ｆ）を同時に評価するため、およびこのフィルタを、この伝達関数に雑音を含んでいる信号の短時間スペクトルを単に乗ずることにより、スペクトル領域に適用するために、使用できる。すなわち、
【００１７】
【数４】
【００１８】
である。
【００１９】
このようにして得られた信号はその後で簡単な逆スペクトル変換により時間領域へ戻される。雑音を除去された信号はブロックの重ね合わせおよび加え合わせの技術（ＯＬＡ、「重ね合わせ−加え合わせ」）またはブロックをセーブする技術（ＯＬＳ、「重ね合わせ−セーブ」）により一般に合成される。時間領域内の信号を再構成するこの操作は逆短時間フーリェ変換（ＩＳＴＦＴ）と呼ばれる。
【００２０】
短時間スペクトル減衰法についての詳細な説明が次の文献に見出される：Ｊ．Ｓ．Ｌｉｍ、Ａ．Ｖ．Ｏｐｐｅｎｈｅｉｍ、「雑音を含む音声の強調および帯域幅圧縮（Ｅｎｈａｎｃｅｍｅｎｔ ａｎｄ ｂａｎｄｗｉｔｈ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｎｏｉｓｙ ｓｐｅｅｃｈ）」Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ＩＥＥＥ、６７巻、１５８６〜１６０４ページ、１９７９；Ｒ．Ｅ．Ｃｒｏｃｈｉｅｒｅ、Ｌ．Ｒ．Ｒａｂｉｎｅｒ、「マルチレート・デジタル信号処理（Ｍｕｌｔｉｒａｔｅ ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）」Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９８３。
【００２１】
そのような雑音低減装置により実行される主な作業は：
・有声検出（ＶＡＤ）；
・無声期間中の雑音のパワースペクトル密度（ＰＳＤ）の評価；
・雑音のスペクトル成分を抑制するための規則を基にして評価された短時間スペクトル減衰の適用；
・処理された信号のＯＬＳ型またはＯＬＡ型技術を基にした合成。
【００２２】
雑音成分を抑制する規則は伝送される信号の質を決定するので、その規則の選択は重要である。それらの抑制技術は雑音を含んでいる信号のスペクトル成分の位相ではなくて振幅｜Ｘ（ｋ，ｆ）｜のみを一般に変更する。一般に、下記の仮定が行われる：
・雑音と有用な信号とは統計的に相関していない；
・有用な雑音は断続的である（雑音を評価できる期間であるような沈黙期間の存在）；
・人の耳は信号の位相を感知しない（Ｄ．Ｌ．Ｗａｎｇ、Ｊ．Ｓ．Ｌｉｍ、「音声強調における位相の非重要性（Ｔｈｅ ｕｎｉｍｐｏｒｔａｎｃｅ ｏｆ ｐｈａｓｅ ｉｎ ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ）」、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＡＳＳＰ、３０巻、４号、６７９〜６８１、１９８２、参照）。
【００２３】
周波数領域成分ｆにおけるインデックスｋのフレーム上の観測信号Ｘ（ｋ，ｆ）に適用される短時間スペクトル減衰Ｈ（ｋ，ｆ）は、局部的な信号対雑音比η（ｋ，ｆ）の評価を基にして一般に決定される。全ての抑制規則に共通の特徴は、
【００２４】
【数５】
【００２５】
により与えられるそれらの規則の漸近的な挙動である。
【００２６】
現在採用されている抑制規則は：
・パワースペクトル差し引き（Ｊ．Ｓ．Ｌｉｍ、Ａ．Ｖ．Ｏｐｐｅｎｈｅｉｍによる上記文献参照）。これに対しては雑音低減フィルタの伝達関数Ｈ（ｋ，ｆ）は
【００２７】
【数６】
【００２８】
として表される。
・振幅スペクトル差し引き（Ｓ．Ｆ．Ｂｏｌｌ、「スペクトル差し引きを用いる音声の雑音抑制（Ｓｕｐｐｒｅｓｓｉｏｎ ｏｆ ａｃｏｕｓｔｉｃ ｎｏｉｓｅ ｉｎ ｓｐｅｅｃｈ ｕｓｉｎｇ ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ）」、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、２７巻、２号、１１３〜１２０ページ、１９７９年４月、参照）。それに対しては伝達関数Ｈ（ｋ，ｆ）は
【００２９】
【数７】
【００３０】
として表される。
・ウィーナーフィルタの直接適用（Ｊ．Ｓ．Ｌｉｍ、Ａ．Ｖ．Ｏｐｐｅｎｈｅｉｍにより上記文献参照）。これに対しては雑音低減フィルタの伝達関数Ｈ（ｋ， ｆ）は
【００３１】
【数８】
【００３２】
として表される。
【００３３】
それらの表現では、γｓｓ（ｋ，ｆ）とγｂｂ（ｋ，ｆ）は有用な信号と、インデックスｋのフレーム上の観察信号Ｘ（ｋ，ｆ）の周波数領域成分ｆ内に存在する雑音とのパワースペクトル密度をそれぞれ表す。
【００３４】
式（３）〜（５）から、与えられた周波数領域成分ｆについて測定された局部的な信号対雑音比に従って、雑音を含む信号に加えられるスペクトル減衰の挙動を研究することが可能である。局部的な信号対雑音比が高い時に、あらゆる規則が同一の減衰を生ずることが注目される。パワー差し引き規則はガウスモデルに対して最大限起きやすいという意味で最適である（Ｏ．Ｃａｐｐｅ、「ＥｐｈｒａｉｍおよびＭａｌａｈ雑音抑制器による楽音ノイズ音（ｍｕｓｉｃａｌ ｎｏｉｓｅ）現象除去（Ｅｌｉｍｉｎａｔｉｏｎ ｏｆ ｔｈｅ ｍｕｓｉｃａｌｎｏｉｓｅ ｐｈｅｎｏｍｅｎｏｎ ｗｉｔｈ ｔｈｅ Ｅｐｈｒａｉｍ ａｎｄ Ｍａｌａｈ ｎｏｉｓｅ ｓｕｐｐｒｅｓｓｏｒ）」、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ、２巻、３号、３４５〜３４９ページ、１９９４年４月、参照）。しかし、それは処理の出力側において雑音パワーが最大のままであるという規則である。全ての抑制規則に対して、遮断値付近の局部的な信号対雑音比の小さい変化が、完全な減衰
【００３５】
【数９】
【００３６】
の場合から無視できるスペクトル変更
【００３７】
【数１０】
【００３８】
の場合まで変更させるのに十分である。
【００３９】
後者の特性は「楽音ノイズ」として知られている現象の原因の１つを構成する。実際に、決定論的な成分およびランダムな成分により特徴付けられる、周囲の雑音は無音期間中にのみ特徴付けることができる。それらのランダムな成分が存在するために、有声期間中の雑音の周波数領域成分ｆの寄与と、無声期間中のいくつかのフレームにわたって行われるそれの平均評価との間に非常に著しい変動がある。この違いのために、局部的な信号対雑音比の評価が遮断レベルを中心として変動することがある、すなわち、したがって、それは、出現し、その後で消失するスペクトル成分を、処理の出力側に、生ずることができ、それらの成分の平均寿命は考察している解析ウィンドウの大きさ程度を統計的に超えない。この挙動を全通過帯域にわたって一般化すると、「楽音ノイズ」として知られている、いらいらさせる可聴残留雑音が導入される。
【００４０】
この雑音の影響を減少するために多くの研究が行われている。推奨されている解決策は種々の線に沿って開発されている。それらは、：
・短時間評価の平均化（Ｓ．Ｆ．Ｂｏｌｌによる前記論文参照）；
・雑音電力スペクトルの過大評価（Ｍ．Ｂｅｒｏｕｔｉ他、「雑音に埋もれている音声の増強（Ｅｎｈａｎｎｃｅｍｅｎｔ ｏｆ ｓｐｅｅｃｈ ｃｏｒｒｕｐｔｅｄ ｂｙ ａｃｏｕｓｔｉｃ ｎｏｉｓｅ）」、Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、２０８〜２１１ページ、１９７９、およびＰ．Ｌｏｃｋｗｏｏｄ、Ｊ．Ｂｏｕｄｙ、「非直線スペクトル除去器による実験、隠されたマルコフモデルおよび車両における強固な音声認識（Ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ａ ｎｏｎ‐ｌｉｎｅａｒ ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｏｒ，ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌｓ ａｎｄ ｔｈｅ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｒｏｂｕｓｔ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｃａｒｓ）」、Ｐｒｏｃ． ｏｆ ＥＵＳＩＰＣＯ’９１、７９〜８２ページ、１９９１、参照）；
・最低雑音スペクトル密度のトラッキング（Ｒ．Ｍａｒｔｉｎ、「最小統計を基にしたスペクトル除去（Ｓｐｅｃｔａｒａｌ ｓｕｂｔｒａｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｉｎｉｍｕｍ ｓｔａｔｉｓｔｉｃｓ）」、ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ＶＩＩ：Ｔｈｅｏｒｉｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ＥＵＳＩＰＣＯ’９４、１１８２〜１１８５ページ、１９９４、９月、参照）；
音声信号と付加雑音との統計モデルを基にした新規な抑制規則についての多くの研究も行われてきた。それらの研究によって新規な「ソフト決定」アルゴリズムが導入されるようになった。その理由は、従来の方法と比較してそれらのアルゴリズムが自由度を余分に有しているからである（Ｒ．Ｊ．ＭａｃＡｕｌａｙ、Ｍ．Ｌ．Ｍａｌｐａｓｓ、「ソフト決定雑音抑制フィルタを用いる音声強調（Ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ ｕｓｉｎｇ ａ ｓｏｆｔ‐ｄｅｃｉｓｉｏｎ ｎｏｉｓｅ ｓｕｐｐｒｅｓｓｉｏｎ ｆｉｌｔｅｒ）」、ＩＥＥＥ ｔｒａｎｓ． ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、２８巻、２号、１３８〜１４５ページ、１９８０、４月、Ｙ．Ｅｐｈｒａｉｍ、Ｄ．Ｍａｌａｈ、「最適非直線スペクトル振幅評価を用いる音声強調（Ｓｐｅｅｃｈ ｅｎｈａｎｄｅｍｅｎｔ ｕｓｉｎｇ ｏｐｔｉｍａｌ ｎｏｎ‐ｌｉｎｅａｒ ｓｐｅｃｔｒａｌ ａｍｐｌｉｔｕｄｅ ｅｓｔｉｍａｔｉｏｎ）、Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、１１１８〜１１２１ページ、１９８３、Ｙ．Ｅｐｈｒａｉｍ、Ｄ．Ｍａｌａｈ、「最小平均二乗誤差短時間スペクトル振幅評価子を用いる音声強調（Ｓｐｅｅｃｈ ｅｎｈａｎｄｅｍｅｎｔ ｕｓｉｎｇ ａ ｍｉｎｉｍｕｍ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ ｓｈｏｒｔ‐ｔｉｍｅ ｓｐｅｃｔｒａｌ ａｍｐｌｉｔｕｄｅ ｅｓｔｉｍａｔｏｒ）、ＩＥＥＥ ｔｒａｎｓ． ｏｎ ＡＳＳＰ、３２巻、６号、１１０９〜１１２１ページ、１９８４、参照）。
【００４１】
上記短時間スペクトル変更規則は次の特徴を有する：
・短時間スペクトル減衰の計算は各スペクトル成分における雑音レベルの評価に依存し、各等式は量
【００４２】
【数１１】
【００４３】
を含んでいる。したがって、この雑音低減技術（歪み、雑音レベルの効果的な低減）の性能は信号対雑音比のこの評価子の適切さにより支配される。
・それらの技術はブロックごとの処理を基にしており（連続するブロックの間で重なり合う可能性がある）、その処理は、雑音低減装置の入力端子に存在する、所与のフレームの全ての標本を単一のスペクトル減衰で濾波することにある。この特性は、フィルタがスペクトル領域内で乗算を適用されるという事実にある。これは、たとえば、ある語の始まりまたは終わりの場合、あるいは有声／無声が混じったフレームの場合でさえ、現在のフレームに存在する信号が第２種の静止仮定を満たさない場合に特に制限する。
・スペクトル領域内で行われる乗算は実際には周期的なくりこみ演算に相当する。実際には、歪みを避けるために、試みられる操作は線形くりこみである。それはある数の零標本を各入力フレームに加えること（零パッディングと呼ばれる技術）と、雑音低減フィルタのインパルス応答の時間領域サポートを制限することを目的とした付加処理を実行することとを要する。そのために、時間領域くりこみ制約はスペクトル変換の次数を、したがって、雑音低減処理の数学的な複雑さを、必然的に増加する。雑音低減フィルタのインパルス応答の時間領域サポートを制限するために最も用いられる技術は時間領域内に制約を導入することにある。それは（ｉ）フィルタの伝達関数Ｈ（ｋ，ｆ）についての知識を基にしてインパルス応答ｈ（ｋ，ｎ）を得るために第１の「逆」スペクトル変換と、（ｉｉ）このインパルス応答の点の数を制限すること、これによって切り詰められた時間領域フィルタｈ′（ｋ，ｆ）になる、その後で、（ｉｉｉ）変更された伝達関数Ｈ′（ｋ，ｆ）を得るために切り詰められたインパルス応答ｈ′（ｋ，ｎ）を基にして第２の「直接」スペクトル変換とを要する。
・実際には、スペクトル変換演算を行う前に、各解析フレームには解析ウィンドウｗ（ｎ）が乗ぜられる。雑音低減フィルタが全通過型（すなわち、
【００４４】
【数１２】
【００４５】
であると、完全な再構成の条件が満たされることを希望するならば、解析ウィンドウは次の条件
【００４６】
【数１３】
【００４７】
を満たさねばならない。この式では、パラメータＤは連続する２つの解析フレームの間の移動（標本の数で）を表す。他方、重み付けウィンドウｗ（ｎ）の選択（典型的にはＨａｎｎｉｎｇ型、Ｈａｍｍｉｎｇ型、Ｂｌａｃｋｍａｎ型等の）がＷ（ｆ）の主ローブの幅と第２のローブの振幅（第１のローブの振幅に対する）を決定する。主ローブが広いとすると、元の信号の変換の速い遷移が非常に悪く近似される。第２のローブの相対的な振幅が大きいとすると、得られる近似は、特に不連続部を中心として、いらいらさせる発振を行うものである。したがって、関連するスペクトル解析要求（主ローブの幅の選択と、副ローブの振幅の選択）と、雑音低減濾波過程により導入される小さい遅延（処理の入力端子と出力端子とにおける信号の間の時間のずれ）の要求とを満たすことは困難である。第２の要求を満たすと、なんら重なり合うことのない連続するフレーム、したがって、長方形型解析ウィンドウを使用することになる。それによって関連するスペクトル解析を実行する結果となることはない。それらの要求を同時に満たす唯一のやり方は、適切な解析ウィンドウにより重み付けられているフレームに対して行われる第１のスペクトル変換を基にしてスペクトル解析を行い、かつウィンドウ化されていないデータに対して第２のスペクトル変換を並行に行う（スペクトル乗算によりくりこみ操作を行うために）ことである。実際には、そのような技術は数学的な複雑さの面で費用がかかり過ぎることが判明している。
【００４８】
ＥＰ‐Ａ‐０ ７１０ ９４７がエコー打ち消し器に結合されている雑音低減装置を開示している。雑音低減は、スペクトル解析中に信号対雑音比に従って評価される伝達関数Ｈ（ｋ，ｆ）の逆フーリェ変換により得られるインパルス応答によって、時間領域内でのブロックごとの濾波により実行される。
【発明の開示】
【課題を解決するための手段】
【００４９】
本発明の主な目的は雑音低減法の性能を向上することである。
【００５０】
したがって、本発明は、入力信号の引き続くフレーム中の雑音を低減する方法であって、下記のステップ、
‐周波数領域へ変換することにより入力信号のスペクトラムを計算することと、
‐周波数依存雑音レベル評価子を得ることと、
‐そのフレームに対する第１の有用な周波数依存信号レベル評価子を計算することと、
‐第１の雑音低減フィルタの伝達関数を、第１の有用な信号レベル評価子および雑音レベル評価子を基にして計算することと、
‐入力信号のスペクトラムと第１の雑音低減フィルタの伝達関数を組合わせることにより、そのフレームに対する第２の有用な周波数依存信号レベル評価子を計算することと、
‐第２の雑音低減フィルタの伝達関数を、第２の有用な信号レベル評価子および雑音レベル評価子を基にして計算することと、
‐雑音が低減された信号を生ずるために、フレーム濾波操作で第２の雑音低減フィルタの伝達関数を使用することと、
をフレームの少なくともいくつかに対して備える、入力信号の引き続くフレーム中の雑音を低減する方法を提供するものである。
【００５１】
評価される雑音のレベルと有用な信号のレベルは通常はＰＳＤｓであり、またはより一般的にはそれらのＰＳＤｓに相関させられている量である。
【００５２】
２つの操作における計算、それの特定の面が有用な信号のＰＳＤ γｓｓ（ｋ，ｆ）のより速い更新にある、によって従来の方法よりも大きな２つの利点を得る第２の雑音低減フィルタをもたらす結果となる。第１に、特に有用な信号の時間的な包絡線のより速い変化中に、有用な信号の非静止性のより速いトラッキングがある（たとえば、無声／音声遷移中にある音声信号を冒すすなわち消去する）。第２に、雑音低減フィルタはより良く評価される。これによってこの方法の性能が向上する結果となる（雑音が一層著しく低減しかつ有用な信号の劣化が減少する）。
【００５３】
この方法は、３つ以上の操作が実行される場合に一般化できる。得られたｐ番目（ｐ≧２）の伝達関数を基にして、有用な信号レベル評価子がその後で再計算され、（ｐ＋１）番目の伝達関数がその雑音低減のために再評価される。この方法の上記定義は、Ｐ＞２の操作が行われる場合にも適用される。すなわち、この定義に従って「第１の有用な信号レベル評価子」を（ｐ−１）番目の操作中に得られたものとして単に考察する必要がある。実際には、この方法の満足できる性能はＰ＝２で観察される。
【００５４】
この方法の１つの有利な実施形態では、スペクトラムの計算が、入力信号フレームをウィンドウ化関数により重み付けすることと、重み付けられたフレームを周波数領域へ変換することとで構成され、フレームのより近い半分に対してフレームのより近くない半分よりも強い重み付けを行うように、ウィンドウ化関数は非対称である。
【００５５】
そのようなウィンドウ化関数の選択は、スペクトル評価の重みを最も近い標本へ向かって集中でき、一方では良いスペクトル特性を持つウィンドウを提供する（第２のローブの制御されている増加）ことを意味する。これによって信号の変化に迅速に追従できるようにされる。周波数を基にした解析のためのスペクトルのこの計算モードは、雑音低減フィルタの伝達関数の評価がただ１つの操作で行われる場合に適用することもできることに注目すべきである。
【００５６】
この方法は、上記短時間スペクトル減衰法により、周波数領域内で入力信号がブロックごとに濾波される場合に使用できる。その後で、雑音を除去された信号がそれのスペクトル成分
【００５７】
【数１４】
【００５８】
の形で発生される。それは直接利用でき（たとえば、符号化応用または音声認識応用において）、または信号
【００５９】
【数１５】
【００６０】
を明確に得るために時間領域へ変換できる。
【００６１】
しかし、この方法の１つの好適な実施形態では、雑音低減フィルタ・インパルス応答が、第２の雑音低減フィルタの伝達関数の時間領域への変換を基にして、現在のフレームに対して決定され、その時間領域内のフレームに対する濾波操作が前記フレームに対して決定されたインパルス応答により実行され、時間領域内のフレームに対する濾波操作は前記フレームに対して決定されたインパルス応答により実行される。
【００６２】
有利なことに、そうすると、現在のフレームに対する雑音低減フィルタ・インパルス応答の決定は：
‐第２の雑音低減フィルタの伝達関数を時間領域へ変換して第１のインパルス応答を得るステップと、
‐第１のインパルス応答を、時間領域への変換の点の数より十分少ない（通常は少なくとも５分の１）標本数に対応する打ち切り長さに打ち切るステップと、
を備えている。
【００６３】
雑音低減フィルタの時間領域サポートにおけるこの制限は２倍の利点をもたらす。まず、それは時間領域エイリアシング問題が避けられることを意味する（線形くりこみに従う）。第２に、有用な信号を劣化させることがある、強すぎるフィルタの作用を避けることを可能にする滑らかな作用を提供することである。それには、ウィンドウ化機能により切り詰められたインパルス応答が切り詰め長さに対応する標本の数に及ぼす重み付けが付随することがある。フィルタの時間領域サポートにおけるこの制限は、伝達関数の評価が単一の操作で行われる時に適用することもできる。
【００６４】
濾波が時間領域において行われる時は、現在のフレームをいくつかのサブフレームに細分し、補間されたインパルス応答を各サブフレームに対して、現在のフレームに対して決定された雑音低減フィルタ・インパルス応答と、少なくとも１つの以前のフレームに対して決定された雑音低減フィルタ・インパルス応答とを基にして計算すると有利である。そうするとフレームの濾波操作は、前記サブフレームに対して計算された補間されたインパルス応答に従って、時間領域内の各サブフレームの信号の濾波を含む。
【００６５】
サブフレームへのこの処理によって、同じフレーム内で変化する雑音低減フィルタを適用することが可能になり、したがって、処理された信号の非静止性に良く適する。ボイス信号を処理する場合には、この状況には混合されているフレーム（すなわち、有声音と無声音を有するフレーム）で特に遭遇させられる。サブフレームへのこの処理は、フィルタの伝達関数の評価が単一の操作で行われる時にも適用できることが注目される。
【００６６】
本発明の他の面は上記方法を実現するために構成された雑音低減装置に関する。
【００６７】
本発明のその他の特徴およびその他の利点は、添付図面を参照しての、非限定的実施形態についての以下の説明で明らかになるであろう。
【発明を実施するための最良の形態】
【００６８】
図１ないし図３は本発明の装置を別々のユニットの形で表したものである。この方法の１つの典型的な実現では、信号処理操作は、上記ユニットに対応する種々の機能モジュールを有するデジタル信号プロセッサ実行プログラムにより、通常のものとして、実行される。
【００６９】
図１を参照して、本発明の雑音低減装置は、デジタル・オーディオ信号などの、入力信号ｘ（ｎ）を長さＬの標本（整数ｋにより示されている）の引き続くフレームに分配するユニット１を有する。指標ｋの各フレームにウィンドウ化関数ｗ（ｎ）を乗ずることにより、それは重み付けられ（乗数２）て信号ｘｗ（ｋ，ｎ）＝ｗ（ｎ）．ｘ（ｋ，ｎ）（０≦ｎ＜Ｌに対して）を生ずる。
【００７０】
周波数領域への移行は、離散フーリェ変換（ＤＦＴ）を、現在のフレームのフーリェ変換Ｘ（ｋ，ｆ）を行うユニット３により、重み付けられているフレームｘｗ（ｋ，ｎ）に施すことによって行われる。
【００７１】
本発明に含まれている、時間‐周波数領域遷移、およびその逆、のために、必要があれば下流側（ユニット７）で用いられるＤＦＴおよび時間領域への逆変換（ＩＤＦＴ）は、有利なことに高速フーリェ変換（ＦＦＴ）および逆高速フーリェ変換（ＩＦＦＴ）である。ウェーブレット（ｗａｖｅｌｅｔ）変換などの、その他の時間‐周波数変換も使用できる。
【００７２】
雑音のみのフレームを音声フレームから弁別し、現在のフレームに２進発声活動指示δを与えるために、ボイス活動検出（ＶＡＤ）ユニット４が用いられる。信号ｘ（ｋ，ｎ）を基にして時間領域において動作しるか、破線で示すように、信号Ｘ（ｋ，ｆ）を基にして周波数領域において動作するかによらず、いかなる既知のＶＡＤ法でも使用できる。
【００７３】
ＶＡＤはユニット５による雑音のＰＳＤの評価を制御する。したがって、ユニット４により検出された各「雑音のみ」フレームｋｂに対して（δ＝０）、雑音パワースペクトル密度
【００７４】
【数１６】
【００７５】
は次の回帰式により計算される。
【００７６】
【数１７】
【００７７】
ここにｋｂは、δ＝０であれば現在の雑音フレーム、δ＝１であれば最後の雑音フレームであり（ｋは有用な信号のフレームとして検出される）、α（ｋｂ）は時間的に変化できる平滑化パラメータである。
【００７８】
【数１８】
【００７９】
の計算法は指数平滑化を行うこの評価子に限定されるものではなく、ユニット５で判定状態のいかなるＰＳＤ評価子も使用できることに気が付くであろう。
【００８０】
現在のフレームのスペクトラムＸ（ｋ，ｆ）および雑音レベル評価
【００８１】
【数１９】
【００８２】
を用いて、他のユニット６が雑音低減フィルタ
【００８３】
【数２０】
【００８４】
の伝達関数（ＴＦ）を評価する。ユニット７はこのＴＦにＩＤＦＴを施して対応するインパルス応答
【００８５】
【数２１】
【００８６】
を得る。
【００８７】
ウィンドウ化関数ｗｆｉｌｔ（ｎ）が乗算器８によりこのインパルス応答
【００８８】
【数２２】
【００８９】
に乗ぜられて、雑音低減装置の時間領域フィルタのインパルス応答
【００９０】
【数２３】
【００９１】
を得る。雑音を除去された時間領域信号
【００９２】
【数２４】
【００９３】
を生ずるために濾波ユニット９により行われる操作は、それの原理として、現在のフレームに対して決定されたインパルス応答
【００９４】
【数２５】
【００９５】
による入力信号のくりこみである。
【００９６】
ウィンドウ化関数ｗｆｉｌｔ（ｎ）はフレームの長さより著しく短いサポートを有する。いいかえると、ＩＤＦＴの結果としてのインパルス応答
【００９７】
【数２６】
【００９８】
が、関数ｗｆｉｌｔ（ｎ）による重み付けがそれに適用される前に、切り詰められる。好ましいのは、標本の数として表される、切り詰め長さＬｆｉｌｔはフレームの長さの少なくとも５分の１である。それは通常はこのフレーム長さの１０分の１の長さ程度である。
【００９９】
インパルス応答の最上位のＬｆｉｌｔ係数は、ウィンドウｗｆｉｌｔ（ｎ）による重み付けの主体であり、それはたとえば長さＬｆｉｌｔのＨａｍｍｉｎｇまたはＨａｎｎｉｎｇウィンドウである。
【０１００】
【数２７】
【０１０１】
雑音低減フィルタの時間領域サポートにおける制限は、線形くりこみを満たすために、時間領域エイリアシング問題を避けることを可能にする。更に、それは平滑化を行って、有用な信号を劣化させることがある、フィルタのあまりにも強過ぎる作用を避けることを可能する。
【０１０２】
図２は雑音低減フィルタの伝達関数
【０１０３】
【数２８】
【０１０４】
を評価するユニット６の好適な構成を示す。その伝達関数は雑音ｂ（ｎ）のＰＳＤと有用な信号ｓ（ｎ）のＰＳＤに依存する。
【０１０５】
ユニット５が雑音のＰＳＤ
【０１０６】
【数２９】
【０１０７】
をどのようにして評価できるかについて説明してきた。しかし、発声活動期間中は信号と雑音が混合されているので有用な信号のＰＳＤ γｓｓ（ｋ，ｆ）は直接得ることができない。それを予め評価するために、図２のユニット６のモジュール１１は、下記の式に従って、たとえば、指令された決定評価子を使用する（Ｙ．Ｅｐｈｒａｉｍ、Ｄ．Ｍａｌａｈ、「最小平均二乗誤差短時間スペクトル振幅評価子を用いる音声強調（Ｓｐｅｅｃｈ ｅｎｈａｎｄｅｍｅｎｔ ｕｓｉｎｇ ａ ｍｉｎｉｍｕｍｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ ｓｈｏｒｔ‐ｔｉｍｅ ｓｐｅｃｔｒａｌ ａｍｐｌｉｔｕｄｅ ｅｓｔｉｍａｔｏｒ）、ＩＥＥＥ ｔｒａｎｓ． ｏｎ ＡＳＳＰ、３２巻、６号、１１０９〜１１２１ページ、１９８４、参照」。
【０１０８】
【数３０】
【０１０９】
ここにβ（ｋ）は時間的に変化できる重心パラメータ、
【０１１０】
【数３１】
【０１１１】
は指標ｋ−１の先行フレームに対して評価された有用な信号のスペクトラムである（たとえば、図２の乗算器１２により得られた、
【０１１２】
【数３２】
【０１１３】
）。関数Ｐは、評価の誤りの場合に負となる危険を招く量
【０１１４】
【数３３】
【０１１５】
のしきい値化を行う。それは、
【０１１６】
【数３４】
【０１１７】
により与えられる。
【０１１８】
【数３５】
【０１１９】
の計算はこの指定された決定評価子に限定されないことに注意すべきである。実際に、指数平滑化評価子または他の任意のパワースペクトル密度評価子を使用できる。
【０１２０】
現在のフレームに対する雑音低減フィルタのＴＦの予評価がモジュール１３によって、評価されたＰＳＤｓ
【０１２１】
【数３６】
【０１２２】
の関数として計算される：
【０１２３】
【数３７】
【０１２４】
このモジュール１３は、振幅スペクトル差し引き（（４）に従って
【０１２５】
【数３８】
【０１２６】
）のパワースペクトル差し引き（（３）に従って
【０１２７】
【数３９】
【０１２８】
）の規則、または開ループ・ウィーナーフィルタ（（５）に従ってＦ（ｙ，ｚ）＝ｙ／（ｙ＋ｚ）の規則を特に実現できる。
【０１２９】
通常は、雑音低減フィルタの最後の伝達関数は式（４）を用いて得られる。このフィルタの性能を向上するために、２回の操作に反復手順を用いてそれを評価することが提案されている。最初の操作はモジュール１１ないし１３により行われる動作で構成されている。
【０１３０】
そのようにして得られた伝達関数
【０１３１】
【数４０】
【０１３２】
を再び用いて有用な信号のＰＳＤの評価を改善する。ユニット６（乗算器１４とモジュール１５）は、このために、
【０１３３】
【数４１】
【０１３４】
により与えられる量
【０１３５】
【数４２】
【０１３６】
を計算する。そうすると第２の操作は、モジュール１６に対しては、雑音低減フィルタの伝達関数の最後の評価子
【０１３７】
【数４３】
【０１３８】
を、有用な信号のＰＳＤの改善された評価を基にして計算することにある。
【０１３９】
【数４４】
【０１４０】
関数Ｆはモジュール１３により使用されたものと同じにできる。
【０１４１】
２回の操作におけるこの計算によって有用な信号のＰＳＤ
【０１４２】
【数４５】
【０１４３】
のより速い更新とフィルタのより良い評価が可能にされる。
【０１４４】
図３はＮ個のサブフレームへの細分を基にした、したがって、同じ信号フレーム内で展開できる雑音低減機能の応用を可能にする時間領域濾波ユニット９の好適な構成を示す。
【０１４５】
モジュール２１が、サブフレーム
【０１４６】
【数４６】
【０１４７】
（ｉは１からＮまで増大する）のフィルタのＮ≧２のセットのインパルス応答を得るために、切り詰められ、かつ重みづけられインパルス応答
【０１４８】
【数４７】
【０１４９】
の補間を行う。
【０１５０】
サブフレームを基にした濾波は長さＬｆｉｌｔの横型フィルタ（ｔｒａｎｓｖｅｒｓｅ ｆｉｌｔｅｒ）２３を用いて実現できる。それの係数
【０１５１】
【数４８】
【０１５２】
（０≦ｎ≦Ｌｆｉｌｔ、１≦ｉ≦Ｎ）は、現在のフレームの指標ｉを基にしてセレクタ２２により縦続して提供される。濾波すべき信号のサブフレームは入力フレームｘ（ｋ，ｎ）の細分により得られる。横型フィルタ２３は、現在のサブフレームに関連させられている係数
【０１５３】
【数４９】
【０１５４】
を持つ入力信号ｘ（ｎ）のくりこみにより雑音が低減された信号
【０１５５】
【数５０】
【０１５６】
をこのようにして計算する。
【０１５７】
サブフレーム・フィルタの応答
【０１５８】
【数５１】
【０１５９】
はモジュール２１により、現在のフレームに対して決定されたインパルス応答
【０１６０】
【数５２】
【０１６１】
の重み付けられた和と、以前のフレームに対して決定されたインパルス応答
【０１６２】
【数５３】
【０１６３】
の重み付けられた和として計算できる。サブフレームがフレーム内で規則的に分割されると、重み付けられた混合関数を特に
【０１６４】
【数５４】
【０１６５】
とすることができる。フィルタ
【０１６６】
【数５５】
【０１６７】
が直接適用される場合がＮ＝１（サブフレーム無し）に対応することが観察される。
【０１６８】
実施例 １
この実施例は会話による通信、特に低ビット速度の音声符号器の前処理に、適用するのに適する。
【０１６９】
処理により導入される遅延を理論的な最大まで短縮し、しかも適用に適切なウィンドウを選択する可能性を利用者に提供するために、重なり合わないウィンドウが使用される。これは、装置の入力信号のウィンドウ化が完全な再構成制約を受けないので、可能である。
【０１７０】
そのような応用では、あまり近くない半分よりも一層近い半分に対してより大きな重み付けを行うために、乗算器２により適用されるウィンドウ化関数ｗ（ｎ）は非対称であることが有利である。
【０１７１】
図４に示されているように、異なるサイズＬ１とＬ２の２つのＨａｎｎｉｎｇ半ウィンドウを用いて非対称解析ウィンドウｗ（ｎ）を構成できる。
【０１７２】
【数５６】
【０１７３】
移動用の多数の音声符号器は長さが２０ｍｓのフレームを使用し、Ｆｅ＝８ｋＨｚの標本化周波数（すなわち、フレーム当り１６０お標本）で動作する。図４に示されている実施例では、次の値が選択されている。Ｌ＝１６０、Ｌ１＝１２０およびＬ２＝４０。
【０１７４】
そのようなウィンドウの選択は、スペクトル評価の重みを最も近い標本へ向かって集中して、良いスペクトル・ウィンドウを確保できることを意味する。提案されている方法によってそのような選択が可能にされる。その理由は、合成における信号の完全な再構成の制約がないからである（時間領域濾波による出力端子における信号再構成）。
【０１７５】
周波数分解を一層良くするために、ユニット３と７は長さＬＦＦＴ＝２５６のＦＦＴを使用する。この選択の背後にはある理由も存在する。その理由は、長さが２のべきであるフレームにＦＦＴが適用される時に、ＦＦＴが数値的に最適であるからである。したがって、ウィンドウ・ブロックｘｗ（ｋ，ｎ）をＬＦＦＴ−Ｌ＝９６零標本（零パッディング）だけ前もって拡張する必要がある。
ｘｗ（ｋ，ｎ）＝０ Ｌ≦ｎ＜ＬＦＦＴに対して （１９）
この実施例で用いられるボイス活動は、信号における短期間／長期間エネルギー比較を基にする従来の方法である。雑音パワースペクトル密度γｂｂ（ｋ，ｆ）の評価は、信頼できる評価と雑音統計量の時間領域変動のトラッキングとの間の妥協を確保するために十分であるとみなされる、１２８ｍｓの時定数に対応する、α（ｋｂ）＝０．８５５３である式（１０）に従って、指数的平滑化により更新される。
【０１７６】
雑音低減フィルタ
【０１７７】
【数５７】
【０１７８】
のＴＦは、β（ｋ）＝０．９８である（１２）で定められている指定された決定評価子に従って有用な信号のＰＳＤを前に評価した後で、式（５）（開ループ・ウィーナーフィルタ）に従って予め評価される。ＴＦの最後の評価
【０１７９】
【数５８】
【０１８０】
を生ずるために同じ関数Ｆがモジュール１６により再び使用される。
【０１８１】
【数５９】
【０１８２】
は実数値にされたＴＦであるので、時間領域フィルタは、
【０１８３】
【数６０】
【０１８４】
により原因にされる。
【０１８５】
その後でこのフィルタのＬｆｉｌｔ＝２１係数を選択する。それは長さＬｆｉｌｔ、この応用のための重要な標本に対応する値である、のＨａｎｎｉｎｇウィンドウｗｆｉｌｔ（ｎ）により重み付けられている。
【０１８６】
【数６１】
【０１８７】
ここに
【０１８８】
【数６２】
【０１８９】
時間領域濾波は、（１７）により得られたサブフレーム
【０１９０】
【数６３】
【０１９１】
のＮ＝４個のフィルタにより行われる。それら４個のフィルタはその後で長さＬｆｉｌｔ＝２１の横濾波（ｔｒａｎｓｖｅｒｓｅ ｆｉｌｔｅｒｉｎｇ）を用いて入力信号ｘ（ｉ）（ｋ，ｎ）に適用される。それらのサブフレームは観察信号ｘ（ｋ，ｎ）
のサイズＬ／４＝４０個の標本の連続抽出により得られている。
【０１９２】
実施例 ２
この実施例の装置は高性能の音声認識（騒がしい環境内での）への応用に適している。
【０１９３】
この実施例では、連続する２つのフレームの間のＬ／２個の標本の相互に重なり合っている長さＬの解析フレームが用いられ、用いられるウィンドウはＨａｎｎｉｎｎｇ型のものである。
【０１９４】
【数６４】
【０１９５】
フレーム長さは２０ｍｓに固定される、すなわち、標本化周波数Ｆｅ＝８ｋＨｚにおいてＬ＝１６０であり、フレームはＦＦＴのために９６の零標本が補充される（「零パッディング」。
【０１９６】
この実施例では、雑音低減フィルタのＴＦの計算は、雑音
【０１９７】
【数６５】
【０１９８】
のパワースペクトル密度の平方根と有用な信号
【０１９９】
【数６６】
【０２００】
のパワースペクトル密度の平方根との比を基にしており、したがって、雑音
【０２０１】
【数６７】
【０２０２】
の評価の係数と有用な信号
【０２０３】
【数６８】
【０２０４】
の評価の係数との比を基にしている。
【０２０５】
この実施例で使用されるボイス活動検出は、信号における短期間／長期間エネルギー比較を基にしている既存の従来方法である。雑音信号
【０２０６】
【数６９】
【０２０７】
【数７０】
【０２０８】
により更新される。ここにｋｂは現在の雑音フレームまたは最後の雑音フレームである（ｋが有用な信号フレームとして検出されるならば）。平滑化量αは定数として選択され、０．９９に等しい。これは１．６ｓの時定数である。
【０２０９】
雑音低減フィルタ
【０２１０】
【数７１】
【０２１１】
のＴＦは、
【０２１２】
【数７２】
【０２１３】
に従ってモジュール１３により予め評価される。ここに、
Ｆ（ｙ，ｚ）＝ｙ／（ｙ＋ｚ） （２６）
である。
【０２１４】
平方根を計算するとその係数に対して評価を行うことが可能にされる。それは、
【０２１５】
【数７３】
【０２１６】
によりＳＮＲ η（ｋ，ｆ）に関連させられている。
【０２１７】
係数
【０２１８】
【数７４】
【０２１９】
としての有用な信号の評価子は、
【０２２０】
【数７５】
【０２２１】
により得られる。ここにβ（ｋ）＝０．９８である。
【０２２２】
乗算器１４は予め評価されたＴＦ
【０２２３】
【数７６】
【０２２４】
とスペクトラムＸ（ｋ，ｆ）の乗算を行い、その結果の係数（そしてそれの二乗ではない）は１５で得られて、
【０２２５】
【数７７】
【０２２６】
の改善された評価を提供し、それを基にして係数１６は（２５）におけるのと同じ関数Ｆを用いてＴＦの最後の評価
【０２２７】
【数７８】
【０２２８】
を生ずる。
【０２２９】
その後で時間領域応答
【０２３０】
【数７９】
【０２３１】
が実施例１と全く同じやり方で得られる（時間領域への遷移、因果関係の復帰、重要な標本の選択およびウィンドウ化）。唯一の違いは、係数Ｌｆｉｌｔの選択された数の選択にある。それはこの実施例ではＬｆｉｌｔ＝１７に固定される。
【０２３２】
入力フレームｘ（ｋ，ｎ）は、得られた雑音低減フィルタ時間領域応答
【０２３３】
【数８０】
【０２３４】
に直接加えることにより、濾波される。サブフレームで濾波を行わないと式（１７）でＮ＝１を取ることになる。
【図面の簡単な説明】
【０２３５】
【図１】本発明の方法を実施するために構成された雑音低減装置のブロック図である。
【図２】図１の装置で使用できる雑音低減フィルタの伝達関数を評価するユニットのブロック図である。
【図３】図１の装置で使用できる時間領域濾波ユニットのブロック図である。
【図４】この方法の特定の実施形態で使用できるウィンドウ化関数のグラフである。
【０００１】
本発明は入力信号中に存在する雑音レベルを低減するために用いられる信号処理技術に関するものである。
【０００２】
重要な応用分野は、
・雑音の多い環境における電話会議またはテレビ会議（専用室内またはマルチメディア・コンピュータからでさえ、等）；
・電話：固定電話または携帯電話等の端末器と、伝送ネットワークとの少なくとも一方における処理；
・特に事務所、車両または携帯端末機におけるハンドフリー端末機；
・公共の場所（駅、空港、等）における音を拾うこと；
・車両内で両手を使用せずに音を拾うこと；
・騒がしい環境内で音声を確実に認識すること；
・映画およびメディア（たとえば、スポーツ報道または演奏会のための、ラジオ、テレビジョン、等）のために音響を拾うこと；
を非限定的に含めた、オーディオ信号（音声または音楽）処理の分野である。
【０００３】
本発明は、雑音を含んでいる観察から有用な情報を取り出す必要がある分野であればどのような分野にも応用できる。特に、次の分野を引用できる：水中画像観測、水中リモートセンシング、バイオメディカル信号処理（ＥＥＧ、ＥＣＧ、バイオメディカル画像形成、等）。
【背景技術】
【０００４】
集音の特徴的な問題は、集音マイクロホンが設置される音響環境に関連し、更に詳しくいえばその環境を完全に管理統制することは不可能であるので、観測信号中には妨害信号（雑音と呼ばれる）も存在する。
【０００５】
信号の質を高めるために、雑音が含まれている観測信号を処理することにより有用な情報を取り出す目的で雑音低減装置が開発されている。オーディオ信号が遠く離れた所から送られてきた音声信号である場合は、それらの装置を用いてそれの了解度を高め、通信相手に及ぼす負担を軽減するためにそれらの装置を使用できる。会話通信のそれらの応用に加えて、音声信号の質を高めることによって音声認識に有用なことが判明もした。使用者が騒がしい環境に居ると音声認識性が大きく損なわれる。
【０００６】
雑音低減操作を実行するための信号処理技術の選択は、まず、処理の入力側において利用できる観測数に依存する。ここでの説明では、ただ１つの観測信号を利用できる場合について考えることにする。この単一獲得問題に適用される雑音低減法は、時間進み／時間遅れを伴う適応濾波、パラメトリック・カルマン濾波、または短時間スペクトル変更による濾波までも、などの信号処理技術に主として依存する。
【０００７】
後者の集り（短時間スペクトル変更による濾波）は、包含されている概念が簡単で、それらをプログラムするために要する基本的なツール（たとえば、離散フーリェ変換）の有用性が広いために、産業機器に使用されているほぼ全ての解決技術を組合わせている。しかし、それらの雑音低減技術の急速な進歩は、処理操作の出力側で使用できる信号を大きく歪ませることなしに、信号処理プロセッサでそれらの処理操作を実時間で容易に実行する可能性に大きく依存している。この集まりの方法では、処理は、雑音低減フィルタの伝達関数を評価することと、その後でブロックごとの処理でスペクトル領域内での乗算を基にして濾波を行うことにのみ最もしばしばある。スペクトル領域内での乗算によって短時間スペクトル減衰による雑音低減が可能にされる。
【０００８】
所望の信号ｓ（ｎ）と妨害信号ｂ（ｎ）との混合から生ずる、雑音を含んでいる観測信号はｘ（ｎ）と記される。ここにｎは離散時間内での時間指標を示す。離散時間における表現の選択は、信号のデジタル処理へ向けられる手法に関連させられるが、上記方法は連続時間信号にも適用されることに気が付くであろう。信号は一定長さの指標ｋの連続する区画すなわちフレームで解析される。離散時間領域および離散周波数領域での表現のために現在使用されている記法は：
・Ｘ（ｋ，ｆ）：解析される信号ｘ（ｎ）のｋ番目のフレーム（ｋはフレーム指標）のフーリェ変換（ｆは周波数指標）；
・Ｓ（ｋ，ｆ）：所望の信号ｓ（ｎ）のｋ番目のフレームのフーリェ変換；
・
【０００９】
【数１】
：量（時間領域内または周波数領域内の）ｖの評価；たとえば、
【００１１】
【数２】
は所望の信号のフーリェ変換の評価である；
・γｕｕ（ｆ）：信号ｕ（ｎ）のパワースペクトル密度（ＰＳＤ）である。
【００１３】
ほとんどの雑音低減技術では、雑音を含んでいる信号ｘ（ｎ）は周波数領域内で濾波を受けて、いかなる妨害も受けていない元の信号ｓ（ｎ）にできるだけ近い有用な評価された信号
【００１４】
【数３】
を生ずる。前に示したように、この濾波操作は、雑音を含んでいる信号の各周波数成分ｆを減少することにあり、その信号にはその周波数成分中の評価された信号対雑音比（ＳＮＲ）を与えられている。周波数ｆに依存する、このＳＮＲをここではフレームｋに対してη（ｋ，ｆ）と記すことにする。
【００１６】
各フレームに対して、雑音低減フィルタを計算するために求められるスペクトル量の後での評価を改善するために、信号に重み付けウィンドウをまず乗ずる。そのようにしてウィンドウ化された各フレームをその後でスペクトル領域内で解析する（それの最初の実行では離散フーリェ変換を一般に用いる）。この操作は短時間フーリェ変換（ＳＴＦＴ）と呼ばれている。観測された信号のこの周波数領域表現Ｘ（ｋ，ｆ）は、雑音低減フィルタの伝達関数Ｈ（ｋ，ｆ）を同時に評価するため、およびこのフィルタを、この伝達関数に雑音を含んでいる信号の短時間スペクトルを単に乗ずることにより、スペクトル領域に適用するために、使用できる。すなわち、
【００１７】
【数４】
である。
【００１９】
このようにして得られた信号はその後で簡単な逆スペクトル変換により時間領域へ戻される。雑音を除去された信号はブロックの重ね合わせおよび加え合わせの技術（ＯＬＡ、「重ね合わせ−加え合わせ」）またはブロックをセーブする技術（ＯＬＳ、「重ね合わせ−セーブ」）により一般に合成される。時間領域内の信号を再構成するこの操作は逆短時間フーリェ変換（ＩＳＴＦＴ）と呼ばれる。
【００２０】
短時間スペクトル減衰法についての詳細な説明が次の文献に見出される：Ｊ．Ｓ．Ｌｉｍ、Ａ．Ｖ．Ｏｐｐｅｎｈｅｉｍ、「雑音を含む音声の強調および帯域幅圧縮（Ｅｎｈａｎｃｅｍｅｎｔ ａｎｄ ｂａｎｄｗｉｔｈ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｎｏｉｓｙ ｓｐｅｅｃｈ）」Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ＩＥＥＥ、６７巻、１５８６〜１６０４ページ、１９７９；Ｒ．Ｅ．Ｃｒｏｃｈｉｅｒｅ、Ｌ．Ｒ．Ｒａｂｉｎｅｒ、「マルチレート・デジタル信号処理（Ｍｕｌｔｉｒａｔｅ ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）」Ｐｒｅｎｔｉｃｅ Ｈａｌｌ、１９８３。
【００２１】
そのような雑音低減装置により実行される主な作業は：
・有声検出（ＶＡＤ）；
・無声期間中の雑音のパワースペクトル密度（ＰＳＤ）の評価；
・雑音のスペクトル成分を抑制するための規則を基にして評価された短時間スペクトル減衰の適用；
・処理された信号のＯＬＳ型またはＯＬＡ型技術を基にした合成。
【００２２】
雑音成分を抑制する規則は伝送される信号の質を決定するので、その規則の選択は重要である。それらの抑制技術は雑音を含んでいる信号のスペクトル成分の位相ではなくて振幅｜Ｘ（ｋ，ｆ）｜のみを一般に変更する。一般に、下記の仮定が行われる：
・雑音と有用な信号とは統計的に相関していない；
・有用な雑音は断続的である（雑音を評価できる期間であるような沈黙期間の存在）；
・人の耳は信号の位相を感知しない（Ｄ．Ｌ．Ｗａｎｇ、Ｊ．Ｓ．Ｌｉｍ、「音声強調における位相の非重要性（Ｔｈｅ ｕｎｉｍｐｏｒｔａｎｃｅ ｏｆ ｐｈａｓｅ ｉｎ ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ）」、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＡＳＳＰ、３０巻、４号、６７９〜６８１、１９８２、参照）。
【００２３】
周波数領域成分ｆにおけるインデックスｋのフレーム上の観測信号Ｘ（ｋ，ｆ）に適用される短時間スペクトル減衰Ｈ（ｋ，ｆ）は、局部的な信号対雑音比η（ｋ，ｆ）の評価を基にして一般に決定される。全ての抑制規則に共通の特徴は、
【００２４】
【数５】
により与えられるそれらの規則の漸近的な挙動である。
【００２６】
現在採用されている抑制規則は：
・パワースペクトル差し引き（Ｊ．Ｓ．Ｌｉｍ、Ａ．Ｖ．Ｏｐｐｅｎｈｅｉｍによる上記文献参照）。これに対しては雑音低減フィルタの伝達関数Ｈ（ｋ，ｆ）は
【００２７】
【数６】
として表される。
・振幅スペクトル差し引き（Ｓ．Ｆ．Ｂｏｌｌ、「スペクトル差し引きを用いる音声の雑音抑制（Ｓｕｐｐｒｅｓｓｉｏｎ ｏｆ ａｃｏｕｓｔｉｃ ｎｏｉｓｅ ｉｎ ｓｐｅｅｃｈ ｕｓｉｎｇ ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ）」、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、２７巻、２号、１１３〜１２０ページ、１９７９年４月、参照）。それに対しては伝達関数Ｈ（ｋ，ｆ）は
【００２９】
【数７】
として表される。
・ウィーナーフィルタの直接適用（Ｊ．Ｓ．Ｌｉｍ、Ａ．Ｖ．Ｏｐｐｅｎｈｅｉｍにより上記文献参照）。これに対しては雑音低減フィルタの伝達関数Ｈ（ｋ， ｆ）は
【００３１】
【数８】
として表される。
【００３３】
それらの表現では、γｓｓ（ｋ，ｆ）とγｂｂ（ｋ，ｆ）は有用な信号と、インデックスｋのフレーム上の観察信号Ｘ（ｋ，ｆ）の周波数領域成分ｆ内に存在する雑音とのパワースペクトル密度をそれぞれ表す。
【００３４】
式（３）〜（５）から、与えられた周波数領域成分ｆについて測定された局部的な信号対雑音比に従って、雑音を含む信号に加えられるスペクトル減衰の挙動を研究することが可能である。局部的な信号対雑音比が高い時に、あらゆる規則が同一の減衰を生ずることが注目される。パワー差し引き規則はガウスモデルに対して最大限起きやすいという意味で最適である（Ｏ．Ｃａｐｐｅ、「ＥｐｈｒａｉｍおよびＭａｌａｈ雑音抑制器による楽音ノイズ音（ｍｕｓｉｃａｌ ｎｏｉｓｅ）現象除去（Ｅｌｉｍｉｎａｔｉｏｎ ｏｆ ｔｈｅ ｍｕｓｉｃａｌｎｏｉｓｅ ｐｈｅｎｏｍｅｎｏｎ ｗｉｔｈ ｔｈｅ Ｅｐｈｒａｉｍ ａｎｄ Ｍａｌａｈ ｎｏｉｓｅ ｓｕｐｐｒｅｓｓｏｒ）」、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ、２巻、３号、３４５〜３４９ページ、１９９４年４月、参照）。しかし、それは処理の出力側において雑音パワーが最大のままであるという規則である。全ての抑制規則に対して、遮断値付近の局部的な信号対雑音比の小さい変化が、完全な減衰
【００３５】
【数９】
の場合から無視できるスペクトル変更
【００３７】
【数１０】
の場合まで変更させるのに十分である。
【００３９】
後者の特性は「楽音ノイズ」として知られている現象の原因の１つを構成する。実際に、決定論的な成分およびランダムな成分により特徴付けられる、周囲の雑音は無音期間中にのみ特徴付けることができる。それらのランダムな成分が存在するために、有声期間中の雑音の周波数領域成分ｆの寄与と、無声期間中のいくつかのフレームにわたって行われるそれの平均評価との間に非常に著しい変動がある。この違いのために、局部的な信号対雑音比の評価が遮断レベルを中心として変動することがある、すなわち、したがって、それは、出現し、その後で消失するスペクトル成分を、処理の出力側に、生ずることができ、それらの成分の平均寿命は考察している解析ウィンドウの大きさ程度を統計的に超えない。この挙動を全通過帯域にわたって一般化すると、「楽音ノイズ」として知られている、いらいらさせる可聴残留雑音が導入される。
【００４０】
この雑音の影響を減少するために多くの研究が行われている。推奨されている解決策は種々の線に沿って開発されている。それらは、：
・短時間評価の平均化（Ｓ．Ｆ．Ｂｏｌｌによる前記論文参照）；
・雑音電力スペクトルの過大評価（Ｍ．Ｂｅｒｏｕｔｉ他、「雑音に埋もれている音声の増強（Ｅｎｈａｎｎｃｅｍｅｎｔ ｏｆ ｓｐｅｅｃｈ ｃｏｒｒｕｐｔｅｄ ｂｙ ａｃｏｕｓｔｉｃ ｎｏｉｓｅ）」、Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、２０８〜２１１ページ、１９７９、およびＰ．Ｌｏｃｋｗｏｏｄ、Ｊ．Ｂｏｕｄｙ、「非直線スペクトル除去器による実験、隠されたマルコフモデルおよび車両における強固な音声認識（Ｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ａ ｎｏｎ‐ｌｉｎｅａｒ ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｏｒ，ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌｓ ａｎｄ ｔｈｅ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｒｏｂｕｓｔ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｃａｒｓ）」、Ｐｒｏｃ． ｏｆ ＥＵＳＩＰＣＯ’９１、７９〜８２ページ、１９９１、参照）；
・最低雑音スペクトル密度のトラッキング（Ｒ．Ｍａｒｔｉｎ、「最小統計を基にしたスペクトル除去（Ｓｐｅｃｔａｒａｌ ｓｕｂｔｒａｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｍｉｎｉｍｕｍ ｓｔａｔｉｓｔｉｃｓ）」、ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ＶＩＩ：Ｔｈｅｏｒｉｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，ＥＵＳＩＰＣＯ’９４、１１８２〜１１８５ページ、１９９４、９月、参照）；
音声信号と付加雑音との統計モデルを基にした新規な抑制規則についての多くの研究も行われてきた。それらの研究によって新規な「ソフト決定」アルゴリズムが導入されるようになった。その理由は、従来の方法と比較してそれらのアルゴリズムが自由度を余分に有しているからである（Ｒ．Ｊ．ＭａｃＡｕｌａｙ、Ｍ．Ｌ．Ｍａｌｐａｓｓ、「ソフト決定雑音抑制フィルタを用いる音声強調（Ｓｐｅｅｃｈ ｅｎｈａｎｃｅｍｅｎｔ ｕｓｉｎｇ ａ ｓｏｆｔ‐ｄｅｃｉｓｉｏｎ ｎｏｉｓｅ ｓｕｐｐｒｅｓｓｉｏｎ ｆｉｌｔｅｒ）」、ＩＥＥＥ ｔｒａｎｓ． ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、２８巻、２号、１３８〜１４５ページ、１９８０、４月、Ｙ．Ｅｐｈｒａｉｍ、Ｄ．Ｍａｌａｈ、「最適非直線スペクトル振幅評価を用いる音声強調（Ｓｐｅｅｃｈ ｅｎｈａｎｄｅｍｅｎｔ ｕｓｉｎｇ ｏｐｔｉｍａｌ ｎｏｎ‐ｌｉｎｅａｒ ｓｐｅｃｔｒａｌ ａｍｐｌｉｔｕｄｅ ｅｓｔｉｍａｔｉｏｎ）、Ｉｎｔ．Ｃｏｎｆ．ｏｎ Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、１１１８〜１１２１ページ、１９８３、Ｙ．Ｅｐｈｒａｉｍ、Ｄ．Ｍａｌａｈ、「最小平均二乗誤差短時間スペクトル振幅評価子を用いる音声強調（Ｓｐｅｅｃｈ ｅｎｈａｎｄｅｍｅｎｔ ｕｓｉｎｇ ａ ｍｉｎｉｍｕｍ ｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ ｓｈｏｒｔ‐ｔｉｍｅ ｓｐｅｃｔｒａｌ ａｍｐｌｉｔｕｄｅ ｅｓｔｉｍａｔｏｒ）、ＩＥＥＥ ｔｒａｎｓ． ｏｎ ＡＳＳＰ、３２巻、６号、１１０９〜１１２１ページ、１９８４、参照）。
【００４１】
上記短時間スペクトル変更規則は次の特徴を有する：
・短時間スペクトル減衰の計算は各スペクトル成分における雑音レベルの評価に依存し、各等式は量
【００４２】
【数１１】
を含んでいる。したがって、この雑音低減技術（歪み、雑音レベルの効果的な低減）の性能は信号対雑音比のこの評価子の適切さにより支配される。
・それらの技術はブロックごとの処理を基にしており（連続するブロックの間で重なり合う可能性がある）、その処理は、雑音低減装置の入力端子に存在する、所与のフレームの全ての標本を単一のスペクトル減衰で濾波することにある。この特性は、フィルタがスペクトル領域内で乗算を適用されるという事実にある。これは、たとえば、ある語の始まりまたは終わりの場合、あるいは有声／無声が混じったフレームの場合でさえ、現在のフレームに存在する信号が第２種の静止仮定を満たさない場合に特に制限する。
・スペクトル領域内で行われる乗算は実際には周期的なくりこみ演算に相当する。実際には、歪みを避けるために、試みられる操作は線形くりこみである。それはある数の零標本を各入力フレームに加えること（零パッディングと呼ばれる技術）と、雑音低減フィルタのインパルス応答の時間領域サポートを制限することを目的とした付加処理を実行することとを要する。そのために、時間領域くりこみ制約はスペクトル変換の次数を、したがって、雑音低減処理の数学的な複雑さを、必然的に増加する。雑音低減フィルタのインパルス応答の時間領域サポートを制限するために最も用いられる技術は時間領域内に制約を導入することにある。それは（ｉ）フィルタの伝達関数Ｈ（ｋ，ｆ）についての知識を基にしてインパルス応答ｈ（ｋ，ｎ）を得るために第１の「逆」スペクトル変換と、（ｉｉ）このインパルス応答の点の数を制限すること、これによって切り詰められた時間領域フィルタｈ′（ｋ，ｆ）になる、その後で、（ｉｉｉ）変更された伝達関数Ｈ′（ｋ，ｆ）を得るために切り詰められたインパルス応答ｈ′（ｋ，ｎ）を基にして第２の「直接」スペクトル変換とを要する。
・実際には、スペクトル変換演算を行う前に、各解析フレームには解析ウィンドウｗ（ｎ）が乗ぜられる。雑音低減フィルタが全通過型（すなわち、
【００４４】
【数１２】
であると、完全な再構成の条件が満たされることを希望するならば、解析ウィンドウは次の条件
【００４６】
【数１３】
を満たさねばならない。この式では、パラメータＤは連続する２つの解析フレームの間の移動（標本の数で）を表す。他方、重み付けウィンドウｗ（ｎ）の選択（典型的にはＨａｎｎｉｎｇ型、Ｈａｍｍｉｎｇ型、Ｂｌａｃｋｍａｎ型等の）がＷ（ｆ）の主ローブの幅と第２のローブの振幅（第１のローブの振幅に対する）を決定する。主ローブが広いとすると、元の信号の変換の速い遷移が非常に悪く近似される。第２のローブの相対的な振幅が大きいとすると、得られる近似は、特に不連続部を中心として、いらいらさせる発振を行うものである。したがって、関連するスペクトル解析要求（主ローブの幅の選択と、副ローブの振幅の選択）と、雑音低減濾波過程により導入される小さい遅延（処理の入力端子と出力端子とにおける信号の間の時間のずれ）の要求とを満たすことは困難である。第２の要求を満たすと、なんら重なり合うことのない連続するフレーム、したがって、長方形型解析ウィンドウを使用することになる。それによって関連するスペクトル解析を実行する結果となることはない。それらの要求を同時に満たす唯一のやり方は、適切な解析ウィンドウにより重み付けられているフレームに対して行われる第１のスペクトル変換を基にしてスペクトル解析を行い、かつウィンドウ化されていないデータに対して第２のスペクトル変換を並行に行う（スペクトル乗算によりくりこみ操作を行うために）ことである。実際には、そのような技術は数学的な複雑さの面で費用がかかり過ぎることが判明している。
【００４８】
ＥＰ‐Ａ‐０ ７１０ ９４７がエコー打ち消し器に結合されている雑音低減装置を開示している。雑音低減は、スペクトル解析中に信号対雑音比に従って評価される伝達関数Ｈ（ｋ，ｆ）の逆フーリェ変換により得られるインパルス応答によって、時間領域内でのブロックごとの濾波により実行される。
【発明の開示】
【課題を解決するための手段】
【００４９】
本発明の主な目的は雑音低減法の性能を向上することである。
【００５０】
したがって、本発明は、入力信号の引き続くフレーム中の雑音を低減する方法であって、下記のステップ、
‐周波数領域へ変換することにより入力信号のスペクトラムを計算することと、
‐周波数依存雑音レベル評価子を得ることと、
‐そのフレームに対する第１の有用な周波数依存信号レベル評価子を計算することと、
‐第１の雑音低減フィルタの伝達関数を、第１の有用な信号レベル評価子および雑音レベル評価子を基にして計算することと、
‐入力信号のスペクトラムと第１の雑音低減フィルタの伝達関数を組合わせることにより、そのフレームに対する第２の有用な周波数依存信号レベル評価子を計算することと、
‐第２の雑音低減フィルタの伝達関数を、第２の有用な信号レベル評価子および雑音レベル評価子を基にして計算することと、
‐雑音が低減された信号を生ずるために、フレーム濾波操作で第２の雑音低減フィルタの伝達関数を使用することと、
をフレームの少なくともいくつかに対して備える、入力信号の引き続くフレーム中の雑音を低減する方法を提供するものである。
【００５１】
評価される雑音のレベルと有用な信号のレベルは通常はＰＳＤｓであり、またはより一般的にはそれらのＰＳＤｓに相関させられている量である。
【００５２】
２つの操作における計算、それの特定の面が有用な信号のＰＳＤ γｓｓ（ｋ，ｆ）のより速い更新にある、によって従来の方法よりも大きな２つの利点を得る第２の雑音低減フィルタをもたらす結果となる。第１に、特に有用な信号の時間的な包絡線のより速い変化中に、有用な信号の非静止性のより速いトラッキングがある（たとえば、無声／音声遷移中にある音声信号を冒すすなわち消去する）。第２に、雑音低減フィルタはより良く評価される。これによってこの方法の性能が向上する結果となる（雑音が一層著しく低減しかつ有用な信号の劣化が減少する）。
【００５３】
この方法は、３つ以上の操作が実行される場合に一般化できる。得られたｐ番目（ｐ≧２）の伝達関数を基にして、有用な信号レベル評価子がその後で再計算され、（ｐ＋１）番目の伝達関数がその雑音低減のために再評価される。この方法の上記定義は、Ｐ＞２の操作が行われる場合にも適用される。すなわち、この定義に従って「第１の有用な信号レベル評価子」を（ｐ−１）番目の操作中に得られたものとして単に考察する必要がある。実際には、この方法の満足できる性能はＰ＝２で観察される。
【００５４】
この方法の１つの有利な実施形態では、スペクトラムの計算が、入力信号フレームをウィンドウ化関数により重み付けすることと、重み付けられたフレームを周波数領域へ変換することとで構成され、フレームのより近い半分に対してフレームのより近くない半分よりも強い重み付けを行うように、ウィンドウ化関数は非対称である。
【００５５】
そのようなウィンドウ化関数の選択は、スペクトル評価の重みを最も近い標本へ向かって集中でき、一方では良いスペクトル特性を持つウィンドウを提供する（第２のローブの制御されている増加）ことを意味する。これによって信号の変化に迅速に追従できるようにされる。周波数を基にした解析のためのスペクトルのこの計算モードは、雑音低減フィルタの伝達関数の評価がただ１つの操作で行われる場合に適用することもできることに注目すべきである。
【００５６】
この方法は、上記短時間スペクトル減衰法により、周波数領域内で入力信号がブロックごとに濾波される場合に使用できる。その後で、雑音を除去された信号がそれのスペクトル成分
【００５７】
【数１４】
の形で発生される。それは直接利用でき（たとえば、符号化応用または音声認識応用において）、または信号
【００５９】
【数１５】
を明確に得るために時間領域へ変換できる。
【００６１】
しかし、この方法の１つの好適な実施形態では、雑音低減フィルタ・インパルス応答が、第２の雑音低減フィルタの伝達関数の時間領域への変換を基にして、現在のフレームに対して決定され、その時間領域内のフレームに対する濾波操作が前記フレームに対して決定されたインパルス応答により実行され、時間領域内のフレームに対する濾波操作は前記フレームに対して決定されたインパルス応答により実行される。
【００６２】
有利なことに、そうすると、現在のフレームに対する雑音低減フィルタ・インパルス応答の決定は：
‐第２の雑音低減フィルタの伝達関数を時間領域へ変換して第１のインパルス応答を得るステップと、
‐第１のインパルス応答を、時間領域への変換の点の数より十分少ない（通常は少なくとも５分の１）標本数に対応する打ち切り長さに打ち切るステップと、
を備えている。
【００６３】
雑音低減フィルタの時間領域サポートにおけるこの制限は２倍の利点をもたらす。まず、それは時間領域エイリアシング問題が避けられることを意味する（線形くりこみに従う）。第２に、有用な信号を劣化させることがある、強すぎるフィルタの作用を避けることを可能にする滑らかな作用を提供することである。それには、ウィンドウ化機能により切り詰められたインパルス応答が切り詰め長さに対応する標本の数に及ぼす重み付けが付随することがある。フィルタの時間領域サポートにおけるこの制限は、伝達関数の評価が単一の操作で行われる時に適用することもできる。
【００６４】
濾波が時間領域において行われる時は、現在のフレームをいくつかのサブフレームに細分し、補間されたインパルス応答を各サブフレームに対して、現在のフレームに対して決定された雑音低減フィルタ・インパルス応答と、少なくとも１つの以前のフレームに対して決定された雑音低減フィルタ・インパルス応答とを基にして計算すると有利である。そうするとフレームの濾波操作は、前記サブフレームに対して計算された補間されたインパルス応答に従って、時間領域内の各サブフレームの信号の濾波を含む。
【００６５】
サブフレームへのこの処理によって、同じフレーム内で変化する雑音低減フィルタを適用することが可能になり、したがって、処理された信号の非静止性に良く適する。ボイス信号を処理する場合には、この状況には混合されているフレーム（すなわち、有声音と無声音を有するフレーム）で特に遭遇させられる。サブフレームへのこの処理は、フィルタの伝達関数の評価が単一の操作で行われる時にも適用できることが注目される。
【００６６】
本発明の他の面は上記方法を実現するために構成された雑音低減装置に関する。
【００６７】
本発明のその他の特徴およびその他の利点は、添付図面を参照しての、非限定的実施形態についての以下の説明で明らかになるであろう。
【発明を実施するための最良の形態】
【００６８】
図１ないし図３は本発明の装置を別々のユニットの形で表したものである。この方法の１つの典型的な実現では、信号処理操作は、上記ユニットに対応する種々の機能モジュールを有するデジタル信号プロセッサ実行プログラムにより、通常のものとして、実行される。
【００６９】
図１を参照して、本発明の雑音低減装置は、デジタル・オーディオ信号などの、入力信号ｘ（ｎ）を長さＬの標本（整数ｋにより示されている）の引き続くフレームに分配するユニット１を有する。指標ｋの各フレームにウィンドウ化関数ｗ（ｎ）を乗ずることにより、それは重み付けられ（乗数２）て信号ｘｗ（ｋ，ｎ）＝ｗ（ｎ）．ｘ（ｋ，ｎ）（０≦ｎ＜Ｌに対して）を生ずる。
【００７０】
周波数領域への移行は、離散フーリェ変換（ＤＦＴ）を、現在のフレームのフーリェ変換Ｘ（ｋ，ｆ）を行うユニット３により、重み付けられているフレームｘｗ（ｋ，ｎ）に施すことによって行われる。
【００７１】
本発明に含まれている、時間‐周波数領域遷移、およびその逆、のために、必要があれば下流側（ユニット７）で用いられるＤＦＴおよび時間領域への逆変換（ＩＤＦＴ）は、有利なことに高速フーリェ変換（ＦＦＴ）および逆高速フーリェ変換（ＩＦＦＴ）である。ウェーブレット（ｗａｖｅｌｅｔ）変換などの、その他の時間‐周波数変換も使用できる。
【００７２】
雑音のみのフレームを音声フレームから弁別し、現在のフレームに２進発声活動指示δを与えるために、ボイス活動検出（ＶＡＤ）ユニット４が用いられる。信号ｘ（ｋ，ｎ）を基にして時間領域において動作しるか、破線で示すように、信号Ｘ（ｋ，ｆ）を基にして周波数領域において動作するかによらず、いかなる既知のＶＡＤ法でも使用できる。
【００７３】
ＶＡＤはユニット５による雑音のＰＳＤの評価を制御する。したがって、ユニット４により検出された各「雑音のみ」フレームｋｂに対して（δ＝０）、雑音パワースペクトル密度
【００７４】
【数１６】
は次の回帰式により計算される。
【００７６】
【数１７】
ここにｋｂは、δ＝０であれば現在の雑音フレーム、δ＝１であれば最後の雑音フレームであり（ｋは有用な信号のフレームとして検出される）、α（ｋｂ）は時間的に変化できる平滑化パラメータである。
【００７８】
【数１８】
の計算法は指数平滑化を行うこの評価子に限定されるものではなく、ユニット５で判定状態のいかなるＰＳＤ評価子も使用できることに気が付くであろう。
【００８０】
現在のフレームのスペクトラムＸ（ｋ，ｆ）および雑音レベル評価
【００８１】
【数１９】
を用いて、他のユニット６が雑音低減フィルタ
【００８３】
【数２０】
の伝達関数（ＴＦ）を評価する。ユニット７はこのＴＦにＩＤＦＴを施して対応するインパルス応答
【００８５】
【数２１】
を得る。
【００８７】
ウィンドウ化関数ｗｆｉｌｔ（ｎ）が乗算器８によりこのインパルス応答
【００８８】
【数２２】
に乗ぜられて、雑音低減装置の時間領域フィルタのインパルス応答
【００９０】
【数２３】
を得る。雑音を除去された時間領域信号
【００９２】
【数２４】
を生ずるために濾波ユニット９により行われる操作は、それの原理として、現在のフレームに対して決定されたインパルス応答
【００９４】
【数２５】
による入力信号のくりこみである。
【００９６】
ウィンドウ化関数ｗｆｉｌｔ（ｎ）はフレームの長さより著しく短いサポートを有する。いいかえると、ＩＤＦＴの結果としてのインパルス応答
【００９７】
【数２６】
が、関数ｗｆｉｌｔ（ｎ）による重み付けがそれに適用される前に、切り詰められる。好ましいのは、標本の数として表される、切り詰め長さＬｆｉｌｔはフレームの長さの少なくとも５分の１である。それは通常はこのフレーム長さの１０分の１の長さ程度である。
【００９９】
インパルス応答の最上位のＬｆｉｌｔ係数は、ウィンドウｗｆｉｌｔ（ｎ）による重み付けの主体であり、それはたとえば長さＬｆｉｌｔのＨａｍｍｉｎｇまたはＨａｎｎｉｎｇウィンドウである。
【０１００】
【数２７】
雑音低減フィルタの時間領域サポートにおける制限は、線形くりこみを満たすために、時間領域エイリアシング問題を避けることを可能にする。更に、それは平滑化を行って、有用な信号を劣化させることがある、フィルタのあまりにも強過ぎる作用を避けることを可能する。
【０１０２】
図２は雑音低減フィルタの伝達関数
【０１０３】
【数２８】
を評価するユニット６の好適な構成を示す。その伝達関数は雑音ｂ（ｎ）のＰＳＤと有用な信号ｓ（ｎ）のＰＳＤに依存する。
【０１０５】
ユニット５が雑音のＰＳＤ
【０１０６】
【数２９】
をどのようにして評価できるかについて説明してきた。しかし、発声活動期間中は信号と雑音が混合されているので有用な信号のＰＳＤ γｓｓ（ｋ，ｆ）は直接得ることができない。それを予め評価するために、図２のユニット６のモジュール１１は、下記の式に従って、たとえば、指令された決定評価子を使用する（Ｙ．Ｅｐｈｒａｉｍ、Ｄ．Ｍａｌａｈ、「最小平均二乗誤差短時間スペクトル振幅評価子を用いる音声強調（Ｓｐｅｅｃｈ ｅｎｈａｎｄｅｍｅｎｔ ｕｓｉｎｇ ａ ｍｉｎｉｍｕｍｍｅａｎ ｓｑｕａｒｅ ｅｒｒｏｒ ｓｈｏｒｔ‐ｔｉｍｅ ｓｐｅｃｔｒａｌ ａｍｐｌｉｔｕｄｅ ｅｓｔｉｍａｔｏｒ）、ＩＥＥＥ ｔｒａｎｓ． ｏｎ ＡＳＳＰ、３２巻、６号、１１０９〜１１２１ページ、１９８４、参照」。
【０１０８】
【数３０】
ここにβ（ｋ）は時間的に変化できる重心パラメータ、
【０１１０】
【数３１】
は指標ｋ−１の先行フレームに対して評価された有用な信号のスペクトラムである（たとえば、図２の乗算器１２により得られた、
【０１１２】
【数３２】
）。関数Ｐは、評価の誤りの場合に負となる危険を招く量
【０１１４】
【数３３】
のしきい値化を行う。それは、
【０１１６】
【数３４】
により与えられる。
【０１１８】
【数３５】
の計算はこの指定された決定評価子に限定されないことに注意すべきである。実際に、指数平滑化評価子または他の任意のパワースペクトル密度評価子を使用できる。
【０１２０】
現在のフレームに対する雑音低減フィルタのＴＦの予評価がモジュール１３によって、評価されたＰＳＤｓ
【０１２１】
【数３６】
の関数として計算される：
【０１２３】
【数３７】
このモジュール１３は、振幅スペクトル差し引き（（４）に従って
【０１２５】
【数３８】
）のパワースペクトル差し引き（（３）に従って
【０１２７】
【数３９】
）の規則、または開ループ・ウィーナーフィルタ（（５）に従ってＦ（ｙ，ｚ）＝ｙ／（ｙ＋ｚ）の規則を特に実現できる。
【０１２９】
通常は、雑音低減フィルタの最後の伝達関数は式（４）を用いて得られる。このフィルタの性能を向上するために、２回の操作に反復手順を用いてそれを評価することが提案されている。最初の操作はモジュール１１ないし１３により行われる動作で構成されている。
【０１３０】
そのようにして得られた伝達関数
【０１３１】
【数４０】
を再び用いて有用な信号のＰＳＤの評価を改善する。ユニット６（乗算器１４とモジュール１５）は、このために、
【０１３３】
【数４１】
により与えられる量
【０１３５】
【数４２】
を計算する。そうすると第２の操作は、モジュール１６に対しては、雑音低減フィルタの伝達関数の最後の評価子
【０１３７】
【数４３】
を、有用な信号のＰＳＤの改善された評価を基にして計算することにある。
【０１３９】
【数４４】
関数Ｆはモジュール１３により使用されたものと同じにできる。
【０１４１】
２回の操作におけるこの計算によって有用な信号のＰＳＤ
【０１４２】
【数４５】
のより速い更新とフィルタのより良い評価が可能にされる。
【０１４４】
図３はＮ個のサブフレームへの細分を基にした、したがって、同じ信号フレーム内で展開できる雑音低減機能の応用を可能にする時間領域濾波ユニット９の好適な構成を示す。
【０１４５】
モジュール２１が、サブフレーム
【０１４６】
【数４６】
（ｉは１からＮまで増大する）のフィルタのＮ≧２のセットのインパルス応答を得るために、切り詰められ、かつ重みづけられインパルス応答
【０１４８】
【数４７】
の補間を行う。
【０１５０】
サブフレームを基にした濾波は長さＬｆｉｌｔの横型フィルタ（ｔｒａｎｓｖｅｒｓｅ ｆｉｌｔｅｒ）２３を用いて実現できる。それの係数
【０１５１】
【数４８】
（０≦ｎ≦Ｌｆｉｌｔ、１≦ｉ≦Ｎ）は、現在のフレームの指標ｉを基にしてセレクタ２２により縦続して提供される。濾波すべき信号のサブフレームは入力フレームｘ（ｋ，ｎ）の細分により得られる。横型フィルタ２３は、現在のサブフレームに関連させられている係数
【０１５３】
【数４９】
を持つ入力信号ｘ（ｎ）のくりこみにより雑音が低減された信号
【０１５５】
【数５０】
をこのようにして計算する。
【０１５７】
サブフレーム・フィルタの応答
【０１５８】
【数５１】
はモジュール２１により、現在のフレームに対して決定されたインパルス応答
【０１６０】
【数５２】
の重み付けられた和と、以前のフレームに対して決定されたインパルス応答
【０１６２】
【数５３】
の重み付けられた和として計算できる。サブフレームがフレーム内で規則的に分割されると、重み付けられた混合関数を特に
【０１６４】
【数５４】
とすることができる。フィルタ
【０１６６】
【数５５】
が直接適用される場合がＮ＝１（サブフレーム無し）に対応することが観察される。
【０１６８】
実施例 １
この実施例は会話による通信、特に低ビット速度の音声符号器の前処理に、適用するのに適する。
【０１６９】
処理により導入される遅延を理論的な最大まで短縮し、しかも適用に適切なウィンドウを選択する可能性を利用者に提供するために、重なり合わないウィンドウが使用される。これは、装置の入力信号のウィンドウ化が完全な再構成制約を受けないので、可能である。
【０１７０】
そのような応用では、あまり近くない半分よりも一層近い半分に対してより大きな重み付けを行うために、乗算器２により適用されるウィンドウ化関数ｗ（ｎ）は非対称であることが有利である。
【０１７１】
図４に示されているように、異なるサイズＬ１とＬ２の２つのＨａｎｎｉｎｇ半ウィンドウを用いて非対称解析ウィンドウｗ（ｎ）を構成できる。
【０１７２】
【数５６】
移動用の多数の音声符号器は長さが２０ｍｓのフレームを使用し、Ｆｅ＝８ｋＨｚの標本化周波数（すなわち、フレーム当り１６０お標本）で動作する。図４に示されている実施例では、次の値が選択されている。Ｌ＝１６０、Ｌ１＝１２０およびＬ２＝４０。
【０１７４】
そのようなウィンドウの選択は、スペクトル評価の重みを最も近い標本へ向かって集中して、良いスペクトル・ウィンドウを確保できることを意味する。提案されている方法によってそのような選択が可能にされる。その理由は、合成における信号の完全な再構成の制約がないからである（時間領域濾波による出力端子における信号再構成）。
【０１７５】
周波数分解を一層良くするために、ユニット３と７は長さＬＦＦＴ＝２５６のＦＦＴを使用する。この選択の背後にはある理由も存在する。その理由は、長さが２のべきであるフレームにＦＦＴが適用される時に、ＦＦＴが数値的に最適であるからである。したがって、ウィンドウ・ブロックｘｗ（ｋ，ｎ）をＬＦＦＴ−Ｌ＝９６零標本（零パッディング）だけ前もって拡張する必要がある。
ｘｗ（ｋ，ｎ）＝０ Ｌ≦ｎ＜ＬＦＦＴに対して （１９）
この実施例で用いられるボイス活動は、信号における短期間／長期間エネルギー比較を基にする従来の方法である。雑音パワースペクトル密度γｂｂ（ｋ，ｆ）の評価は、信頼できる評価と雑音統計量の時間領域変動のトラッキングとの間の妥協を確保するために十分であるとみなされる、１２８ｍｓの時定数に対応する、α（ｋｂ）＝０．８５５３である式（１０）に従って、指数的平滑化により更新される。
【０１７６】
雑音低減フィルタ
【０１７７】
【数５７】
のＴＦは、β（ｋ）＝０．９８である（１２）で定められている指定された決定評価子に従って有用な信号のＰＳＤを前に評価した後で、式（５）（開ループ・ウィーナーフィルタ）に従って予め評価される。ＴＦの最後の評価
【０１７９】
【数５８】
を生ずるために同じ関数Ｆがモジュール１６により再び使用される。
【０１８１】
【数５９】
は実数値にされたＴＦであるので、時間領域フィルタは、
【０１８３】
【数６０】
により原因にされる。
【０１８５】
その後でこのフィルタのＬｆｉｌｔ＝２１係数を選択する。それは長さＬｆｉｌｔ、この応用のための重要な標本に対応する値である、のＨａｎｎｉｎｇウィンドウｗｆｉｌｔ（ｎ）により重み付けられている。
【０１８６】
【数６１】
ここに
【０１８８】
【数６２】
時間領域濾波は、（１７）により得られたサブフレーム
【０１９０】
【数６３】
のＮ＝４個のフィルタにより行われる。それら４個のフィルタはその後で長さＬｆｉｌｔ＝２１の横濾波（ｔｒａｎｓｖｅｒｓｅ ｆｉｌｔｅｒｉｎｇ）を用いて入力信号ｘ（ｉ）（ｋ，ｎ）に適用される。それらのサブフレームは観察信号ｘ（ｋ，ｎ）
【０１９２】
実施例 ２
この実施例の装置は高性能の音声認識（騒がしい環境内での）への応用に適している。
【０１９３】
この実施例では、連続する２つのフレームの間のＬ／２個の標本の相互に重なり合っている長さＬの解析フレームが用いられ、用いられるウィンドウはＨａｎｎｉｎｎｇ型のものである。
【０１９４】
【数６４】
フレーム長さは２０ｍｓに固定される、すなわち、標本化周波数Ｆｅ＝８ｋＨｚにおいてＬ＝１６０であり、フレームはＦＦＴのために９６の零標本が補充される（「零パッディング」。
【０１９６】
この実施例では、雑音低減フィルタのＴＦの計算は、雑音
【０１９７】
【数６５】
のパワースペクトル密度の平方根と有用な信号
【０１９９】
【数６６】
のパワースペクトル密度の平方根との比を基にしており、したがって、雑音
【０２０１】
【数６７】
の評価の係数と有用な信号
【０２０３】
【数６８】
の評価の係数との比を基にしている。
【０２０５】
この実施例で使用されるボイス活動検出は、信号における短期間／長期間エネルギー比較を基にしている既存の従来方法である。雑音信号
【０２０６】
【数６９】
【数７０】
により更新される。ここにｋｂは現在の雑音フレームまたは最後の雑音フレームである（ｋが有用な信号フレームとして検出されるならば）。平滑化量αは定数として選択され、０．９９に等しい。これは１．６ｓの時定数である。
【０２０９】
雑音低減フィルタ
【０２１０】
【数７１】
のＴＦは、
【０２１２】
【数７２】
に従ってモジュール１３により予め評価される。ここに、
Ｆ（ｙ，ｚ）＝ｙ／（ｙ＋ｚ） （２６）
である。
【０２１４】
平方根を計算するとその係数に対して評価を行うことが可能にされる。それは、
【０２１５】
【数７３】
によりＳＮＲ η（ｋ，ｆ）に関連させられている。
【０２１７】
係数
【０２１８】
【数７４】
としての有用な信号の評価子は、
【０２２０】
【数７５】
により得られる。ここにβ（ｋ）＝０．９８である。
【０２２２】
乗算器１４は予め評価されたＴＦ
【０２２３】
【数７６】
とスペクトラムＸ（ｋ，ｆ）の乗算を行い、その結果の係数（そしてそれの二乗ではない）は１５で得られて、
【０２２５】
【数７７】
の改善された評価を提供し、それを基にして係数１６は（２５）におけるのと同じ関数Ｆを用いてＴＦの最後の評価
【０２２７】
【数７８】
を生ずる。
【０２２９】
その後で時間領域応答
【０２３０】
【数７９】
が実施例１と全く同じやり方で得られる（時間領域への遷移、因果関係の復帰、重要な標本の選択およびウィンドウ化）。唯一の違いは、係数Ｌｆｉｌｔの選択された数の選択にある。それはこの実施例ではＬｆｉｌｔ＝１７に固定される。
【０２３２】
入力フレームｘ（ｋ，ｎ）は、得られた雑音低減フィルタ時間領域応答
【０２３３】
【数８０】
に直接加えることにより、濾波される。サブフレームで濾波を行わないと式（１７）でＮ＝１を取ることになる。
【図面の簡単な説明】
【０２３５】
【図１】本発明の方法を実施するために構成された雑音低減装置のブロック図である。
【図２】図１の装置で使用できる雑音低減フィルタの伝達関数を評価するユニットのブロック図である。
【図３】図１の装置で使用できる時間領域濾波ユニットのブロック図である。
【図４】この方法の特定の実施形態で使用できるウィンドウ化関数のグラフである。
Claims (18)
- 入力信号（ｘ（ｎ））の引き続くフレーム中の雑音を低減する方法であって、下記のステップ、
‐周波数領域へ変換することにより入力信号（ｘ（ｎ））のスペクトラム（Ｘ（ｋ，ｆ））を計算することと、
‐周波数依存雑音レベル評価子を得ることと、
‐そのフレームに対する第１の有用な周波数依存信号レベル評価子を計算することと、
‐第１の雑音低減フィルタの伝達関数
‐入力信号のスペクトラムと第１の雑音低減フィルタの伝達関数を組合わせることにより、そのフレームに対する第２の有用な周波数依存信号レベル評価子を計算することと、
‐第２の雑音低減フィルタの伝達関数
‐雑音が低減された信号を生ずるために、フレーム濾波操作で第２の雑音低減フィルタの伝達関数を使用することと、
をフレームの少なくともいくつかに対して備える、入力信号（ｘ（ｎ））の引き続くフレーム中の雑音を低減する方法。 - スペクトラム（Ｘ（ｋ，ｆ））の計算が、入力信号フレームをウィンドウ化関数（ｗ（ｎ））により重み付けすることと、重み付けられたフレームを周波数領域へ変換することとを備え、フレームのより近い半分に対してフレームのより近くない半分よりも強い重み付けを行うように、ウィンドウ化関数は非対称である請求項１に記載の方法。
- 雑音低減フィルタ・インパルス応答
- 現在のフレームに対する雑音低減フィルタ・インパルス応答
‐第２の雑音低減フィルタの伝達関数
‐第１のインパルス応答を、時間領域への変換の点の数より十分少ない標本数に対応する打ち切り長さに打ち切るステップと、
を備えている請求項３に記載の方法。 - 現在のフレームに対する雑音低減フィルタ・インパルス応答
‐打ち切られているインパルス応答に、前記打ち切り長さに対応する標本の数で、ウィンドウ化関数（ｗｆｉｌｔ（ｎ））により重み付けするステップ、
を更に備えている請求項４に記載の方法。 - 現在のフレームが複数のサブフレームに細分され、各サブフレームに対して補間されたインパルス応答
- 補間されたインパルス応答
- 現在のフレームのｉ番目（１≦ｉ≦Ｎ）のサブフレームに対して計算された補間されたインパルス応答
- 入力信号（ｘ（ｎ））がオーディオ信号である請求項１から請求項８のいずれか１項に記載の方法。
- ‐周波数領域への変換により入力信号のフレームのスペクトラム（Ｘ（ｋ，ｆ））を計算する手段（１〜３）と、
‐周波数依存雑音レベル評価子を得る手段（５）と、
‐そのフレームに対する第１の有用な周波数依存信号レベル評価子を計算する手段（１１）と、
‐第１の雑音低減フィルタの伝達関数
‐入力信号のスペクトラムと第１の雑音低減フィルタの伝達関数を組合わせることにより、フレームに対する第２の有用な周波数依存信号レベル評価子を計算する手段（１４〜１５）と、
‐第２の雑音低減フィルタの伝達関数
‐雑音が低減されている信号を生ずるためにフレームを第２の雑音低減フィルタの伝達関数により濾波する手段（７〜９）と、
を備える入力信号（ｘ（ｎ））中の雑音を低減する装置。 - スペクトラム計算手段が、入力信号フレームをウィンドウ化関数（ｗ（ｎ））により重み付けする手段（２）と、重み付けられたフレームを周波数領域へ変換する手段（３）とを備え、フレームのより近い半分に対してフレームのより近くない半分よりも強い重み付けを行うように、ウィンドウ化関数は非対称である請求項１０に記載の装置。
- 現在のフレームに対して雑音低減フィルタ・インパルス応答
- 雑音低減フィルタ・インパルス応答
- 雑音低減フィルタ・インパルス応答を決定する手段（８）が、打ち切られているインパルス応答に、前記打ち切り長さに対応する標本の数で、ウィンドウ化関数（ｗｆｉｌｔ（ｎ））により重み付けする手段（８）を備えている請求項１３に記載の装置。
- 現在のフレームを複数のサブフレームに細分する手段と、各サブフレームに対して補間されたインパルス応答
- 補間されたインパルス応答
- 現在のフレームのｉ番目（１≦ｉ≦Ｎ）のサブフレームに対して計算された補間されたインパルス応答
- 入力信号（ｘ（ｎ））がオーディオ信号である請求項１０から請求項１７のいずれか１項に記載の装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0101220A FR2820227B1 (fr) | 2001-01-30 | 2001-01-30 | Procede et dispositif de reduction de bruit |
| PCT/FR2001/003624 WO2002061731A1 (fr) | 2001-01-30 | 2001-11-19 | Procede et dispositif de reduction de bruit |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004520616A true JP2004520616A (ja) | 2004-07-08 |
| JP2004520616A5 JP2004520616A5 (ja) | 2005-11-17 |
| JP4210521B2 JP4210521B2 (ja) | 2009-01-21 |
Family
ID=8859390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002561819A Expired - Fee Related JP4210521B2 (ja) | 2001-01-30 | 2001-11-19 | 雑音低減法および装置 |
Country Status (14)
| Country | Link |
|---|---|
| US (1) | US7313518B2 (ja) |
| EP (1) | EP1356461B1 (ja) |
| JP (1) | JP4210521B2 (ja) |
| KR (1) | KR100549133B1 (ja) |
| CN (1) | CN1284139C (ja) |
| AT (1) | ATE472794T1 (ja) |
| BR (1) | BRPI0116844B1 (ja) |
| CA (1) | CA2436318C (ja) |
| DE (1) | DE60142490D1 (ja) |
| ES (1) | ES2347760T3 (ja) |
| FR (1) | FR2820227B1 (ja) |
| HK (1) | HK1057639A1 (ja) |
| MX (1) | MXPA03006667A (ja) |
| WO (1) | WO2002061731A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9613631B2 (en) | 2005-07-27 | 2017-04-04 | Nec Corporation | Noise suppression system, method and program |
| JP2021149084A (ja) * | 2020-03-13 | 2021-09-27 | ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド | オーディオ信号処理方法および装置、記憶媒体 |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8073689B2 (en) * | 2003-02-21 | 2011-12-06 | Qnx Software Systems Co. | Repetitive transient noise removal |
| US7885420B2 (en) | 2003-02-21 | 2011-02-08 | Qnx Software Systems Co. | Wind noise suppression system |
| US7949522B2 (en) | 2003-02-21 | 2011-05-24 | Qnx Software Systems Co. | System for suppressing rain noise |
| US7895036B2 (en) | 2003-02-21 | 2011-02-22 | Qnx Software Systems Co. | System for suppressing wind noise |
| US7725315B2 (en) | 2003-02-21 | 2010-05-25 | Qnx Software Systems (Wavemakers), Inc. | Minimization of transient noises in a voice signal |
| US8271279B2 (en) | 2003-02-21 | 2012-09-18 | Qnx Software Systems Limited | Signature noise removal |
| US8326621B2 (en) | 2003-02-21 | 2012-12-04 | Qnx Software Systems Limited | Repetitive transient noise removal |
| US7778425B2 (en) * | 2003-12-24 | 2010-08-17 | Nokia Corporation | Method for generating noise references for generalized sidelobe canceling |
| US7516069B2 (en) * | 2004-04-13 | 2009-04-07 | Texas Instruments Incorporated | Middle-end solution to robust speech recognition |
| EP1591995B1 (en) * | 2004-04-29 | 2019-06-19 | Harman Becker Automotive Systems GmbH | Indoor communication system for a vehicular cabin |
| ES2349718T3 (es) * | 2004-09-16 | 2011-01-10 | France Telecom | Procedimiento de tratamiento de señales acústicas ruidosas y dispositivo para la realización del procedimiento. |
| US7383179B2 (en) * | 2004-09-28 | 2008-06-03 | Clarity Technologies, Inc. | Method of cascading noise reduction algorithms to avoid speech distortion |
| KR100565086B1 (ko) * | 2004-10-13 | 2006-03-30 | 삼성전자주식회사 | 뮤지컬 잡음을 감쇄하는 스펙트럼 잡음 제거 방법 및 그장치 |
| US9047860B2 (en) | 2005-01-31 | 2015-06-02 | Skype | Method for concatenating frames in communication system |
| FR2888458A1 (fr) * | 2005-07-11 | 2007-01-12 | France Telecom | Procede et dispositif de prise de son, notamment dans des terminaux telephoniques en "mains libres" |
| CA2640683C (en) * | 2006-01-31 | 2014-10-21 | Canadian Space Agency | Method and system for increasing signal-to-noise ratio |
| JP4827661B2 (ja) * | 2006-08-30 | 2011-11-30 | 富士通株式会社 | 信号処理方法及び装置 |
| JP4653059B2 (ja) * | 2006-11-10 | 2011-03-16 | オリンパス株式会社 | 撮像システム、画像処理プログラム |
| DE602007004217D1 (de) * | 2007-08-31 | 2010-02-25 | Harman Becker Automotive Sys | Schnelle Schätzung der Spektraldichte der Rauschleistung zur Sprachsignalverbesserung |
| EP2058803B1 (en) * | 2007-10-29 | 2010-01-20 | Harman/Becker Automotive Systems GmbH | Partial speech reconstruction |
| US20100151118A1 (en) * | 2008-12-17 | 2010-06-17 | Eastman Chemical Company | Carrier solvent compositions, coatings compositions, and methods to produce thick polymer coatings |
| US9449611B2 (en) * | 2011-09-30 | 2016-09-20 | Audionamix | System and method for extraction of single-channel time domain component from mixture of coherent information |
| US8712076B2 (en) | 2012-02-08 | 2014-04-29 | Dolby Laboratories Licensing Corporation | Post-processing including median filtering of noise suppression gains |
| US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
| CN102783043B (zh) * | 2012-05-04 | 2014-07-30 | 华为技术有限公司 | 一种信号发送方法、通信设备及系统 |
| CN103916730B (zh) * | 2013-01-05 | 2017-03-08 | 中国科学院声学研究所 | 一种能够改善音质的声场聚焦方法及系统 |
| CN103916733B (zh) * | 2013-01-05 | 2017-09-26 | 中国科学院声学研究所 | 基于均方误差最小准则的声能量对比控制方法及系统 |
| US9318125B2 (en) * | 2013-01-15 | 2016-04-19 | Intel Deutschland Gmbh | Noise reduction devices and noise reduction methods |
| EP3011561B1 (en) | 2013-06-21 | 2017-05-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for improved signal fade out in different domains during error concealment |
| US10149047B2 (en) * | 2014-06-18 | 2018-12-04 | Cirrus Logic Inc. | Multi-aural MMSE analysis techniques for clarifying audio signals |
| WO2017193264A1 (en) * | 2016-05-09 | 2017-11-16 | Harman International Industries, Incorporated | Noise detection and noise reduction |
| CN108848435B (zh) * | 2018-09-28 | 2021-03-09 | 广州方硅信息技术有限公司 | 一种音频信号的处理方法和相关装置 |
| CN110010144A (zh) * | 2019-04-24 | 2019-07-12 | 厦门亿联网络技术股份有限公司 | 语音信号增强方法及装置 |
| CN111968615A (zh) * | 2020-08-31 | 2020-11-20 | Oppo广东移动通信有限公司 | 降噪处理方法及装置、终端设备和可读存储介质 |
| CN112489615A (zh) * | 2020-10-29 | 2021-03-12 | 宁波方太厨具有限公司 | 降噪方法、降噪系统、降噪装置及吸油烟机 |
| CN112960012B (zh) * | 2021-02-03 | 2022-05-31 | 中国铁道科学研究院集团有限公司节能环保劳卫研究所 | 基于阈值归一化短时功率谱密度的高速铁路钢轨波磨声学诊断方法 |
| KR20240048109A (ko) | 2022-10-06 | 2024-04-15 | 주식회사 쿱와 | 센싱신호로부터 노이즈를 제거하기 위한 장치 및 노이즈 제거하기 위한 방법 |
| CN116952356A (zh) * | 2023-07-24 | 2023-10-27 | 中国人民解放军海军工程大学 | 基于浅海环境水下声全息技术的近场辐射噪声测量方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0608833B1 (en) * | 1993-01-25 | 2001-10-17 | Matsushita Electric Industrial Co., Ltd. | Method of and apparatus for performing time-scale modification of speech signals |
| FR2726392B1 (fr) * | 1994-10-28 | 1997-01-10 | Alcatel Mobile Comm France | Procede et dispositif de suppression de bruit dans un signal de parole, et systeme avec annulation d'echo correspondant |
| FR2729247A1 (fr) * | 1995-01-06 | 1996-07-12 | Matra Communication | Procede de codage de parole a analyse par synthese |
| JP2760373B2 (ja) * | 1995-03-03 | 1998-05-28 | 日本電気株式会社 | 雑音消去装置 |
| JP2874679B2 (ja) * | 1997-01-29 | 1999-03-24 | 日本電気株式会社 | 雑音消去方法及びその装置 |
| US5999561A (en) * | 1997-05-20 | 1999-12-07 | Sanconix, Inc. | Direct sequence spread spectrum method, computer-based product, apparatus and system tolerant to frequency reference offset |
| FR2771542B1 (fr) * | 1997-11-21 | 2000-02-11 | Sextant Avionique | Procede de filtrage frequentiel applique au debruitage de signaux sonores mettant en oeuvre un filtre de wiener |
| US6549586B2 (en) * | 1999-04-12 | 2003-04-15 | Telefonaktiebolaget L M Ericsson | System and method for dual microphone signal noise reduction using spectral subtraction |
| US6792405B2 (en) * | 1999-12-10 | 2004-09-14 | At&T Corp. | Bitstream-based feature extraction method for a front-end speech recognizer |
-
2001
- 2001-01-30 FR FR0101220A patent/FR2820227B1/fr not_active Expired - Fee Related
- 2001-11-19 US US10/466,816 patent/US7313518B2/en not_active Expired - Lifetime
- 2001-11-19 DE DE60142490T patent/DE60142490D1/de not_active Expired - Lifetime
- 2001-11-19 ES ES01273554T patent/ES2347760T3/es not_active Expired - Lifetime
- 2001-11-19 EP EP01273554A patent/EP1356461B1/fr not_active Expired - Lifetime
- 2001-11-19 CN CNB018223583A patent/CN1284139C/zh not_active Expired - Lifetime
- 2001-11-19 KR KR1020037010104A patent/KR100549133B1/ko active IP Right Grant
- 2001-11-19 WO PCT/FR2001/003624 patent/WO2002061731A1/fr active IP Right Grant
- 2001-11-19 CA CA002436318A patent/CA2436318C/fr not_active Expired - Lifetime
- 2001-11-19 JP JP2002561819A patent/JP4210521B2/ja not_active Expired - Fee Related
- 2001-11-19 MX MXPA03006667A patent/MXPA03006667A/es active IP Right Grant
- 2001-11-19 BR BRPI0116844-4A patent/BRPI0116844B1/pt active IP Right Grant
- 2001-11-19 AT AT01273554T patent/ATE472794T1/de not_active IP Right Cessation
-
2003
- 2003-12-11 HK HK03109037.3A patent/HK1057639A1/xx not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9613631B2 (en) | 2005-07-27 | 2017-04-04 | Nec Corporation | Noise suppression system, method and program |
| JP2021149084A (ja) * | 2020-03-13 | 2021-09-27 | ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド | オーディオ信号処理方法および装置、記憶媒体 |
| JP7062727B2 (ja) | 2020-03-13 | 2022-05-06 | ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド | オーディオ信号処理方法および装置、記憶媒体 |
| US11490200B2 (en) | 2020-03-13 | 2022-11-01 | Beijing Xiaomi Pinecone Electronics Co., Ltd. | Audio signal processing method and device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2436318C (fr) | 2007-09-04 |
| BR0116844A (pt) | 2003-12-16 |
| MXPA03006667A (es) | 2003-10-24 |
| HK1057639A1 (en) | 2004-04-08 |
| US20040064307A1 (en) | 2004-04-01 |
| FR2820227B1 (fr) | 2003-04-18 |
| JP4210521B2 (ja) | 2009-01-21 |
| KR100549133B1 (ko) | 2006-02-03 |
| EP1356461A1 (fr) | 2003-10-29 |
| EP1356461B1 (fr) | 2010-06-30 |
| CN1488136A (zh) | 2004-04-07 |
| CN1284139C (zh) | 2006-11-08 |
| FR2820227A1 (fr) | 2002-08-02 |
| US7313518B2 (en) | 2007-12-25 |
| KR20030074762A (ko) | 2003-09-19 |
| DE60142490D1 (de) | 2010-08-12 |
| ATE472794T1 (de) | 2010-07-15 |
| ES2347760T3 (es) | 2010-11-04 |
| WO2002061731A1 (fr) | 2002-08-08 |
| BRPI0116844B1 (pt) | 2015-07-28 |
| CA2436318A1 (fr) | 2002-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4210521B2 (ja) | 雑音低減法および装置 | |
| JP5068653B2 (ja) | 雑音のある音声信号を処理する方法および該方法を実行する装置 | |
| US8010355B2 (en) | Low complexity noise reduction method | |
| EP1169883B1 (en) | System and method for dual microphone signal noise reduction using spectral subtraction | |
| KR100594563B1 (ko) | 선형 컨벌루션 및 인과 필터링을 사용하는 스펙트럼 감산에 의한 신호 잡음 감소 | |
| US6487257B1 (en) | Signal noise reduction by time-domain spectral subtraction using fixed filters | |
| CN111554315B (zh) | 单通道语音增强方法及装置、存储介质、终端 | |
| RU2768514C2 (ru) | Процессор сигналов и способ обеспечения обработанного аудиосигнала с подавленным шумом и подавленной реверберацией | |
| US8218780B2 (en) | Methods and systems for blind dereverberation | |
| CN102347028A (zh) | 双麦克风语音增强装置及方法 | |
| CN108172231A (zh) | 一种基于卡尔曼滤波的去混响方法及系统 | |
| JP2004502977A (ja) | サブバンド指数平滑雑音消去システム | |
| AT509570B1 (de) | Methode und apparat zur einkanal-sprachverbesserung basierend auf einem latenzzeitreduzierten gehörmodell | |
| Ghribi et al. | A wavelet-based forward BSS algorithm for acoustic noise reduction and speech enhancement | |
| EP1995722B1 (en) | Method for processing an acoustic input signal to provide an output signal with reduced noise | |
| Li et al. | A block-based linear MMSE noise reduction with a high temporal resolution modeling of the speech excitation | |
| Upadhyay et al. | A perceptually motivated stationary wavelet packet filterbank using improved spectral over-subtraction for enhancement of speech in various noise environments | |
| Buragohain et al. | Single Channel Speech Enhancement System using Convolutional Neural Network based Autoencoder for Noisy Environments | |
| Djendi | A new efficient wavelet-based adaptive algorithm for automatic speech quality enhancement | |
| Arslan et al. | Speech enhancement for crosstalk interference | |
| Krishnamoorthy et al. | Processing noisy speech for enhancement | |
| Tsukamoto et al. | Speech enhancement based on MAP estimation with a variable speech distribution | |
| Nakatani et al. | Real-time speech enhancement in noisy reverberant multi-talker environments based on a location-independent room acoustics model | |
| Leibrich et al. | A TF distribution for disturbed and undisturbed speech signals and its application to noise reduction | |
| Nitnaware | Spectral Subtraction based Speech De-noising using Adapted Cascaded Median Filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040408 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061018 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081008 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4210521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |