JP2002536707A - 音声活動に基づくゲイン制限による音声強化 - Google Patents
音声活動に基づくゲイン制限による音声強化Info
- Publication number
- JP2002536707A JP2002536707A JP2000599013A JP2000599013A JP2002536707A JP 2002536707 A JP2002536707 A JP 2002536707A JP 2000599013 A JP2000599013 A JP 2000599013A JP 2000599013 A JP2000599013 A JP 2000599013A JP 2002536707 A JP2002536707 A JP 2002536707A
- Authority
- JP
- Japan
- Prior art keywords
- speech
- gain
- frame
- data
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000005236 sound signal Effects 0.000 claims description 25
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 abstract description 14
- 238000009499 grossing Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 31
- 230000015572 biosynthetic process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
- G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Control Of Amplification And Gain Control (AREA)
- Machine Translation (AREA)
- Telephone Function (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
(57)【要約】
音声データのスペクトルパラメータの推定を向上し、データ符号化動作におけるアルゴリズムの遅延を軽減するデータ処理装置および方法。スペクトルパラメータの推定を向上するために、該データが情報音声と雑音を含むか、あるいは雑音のみを含むかに基づいて、データを強化するために使用するゲイン関数を適応的に調整する。遅延を軽減するために、処理が不完全なデータを使って符号化パラメータを抽出する。
Description
【０００１】 本出願は、米国暫定出願第６０／１１９，２７９号（１９９９年２月９日出願
）の出願日の優先権を主張し、ここで言及して援用する。
）の出願日の優先権を主張し、ここで言及して援用する。
【０００２】 （技術分野） 本発明は、ＭＥＬＰ等の低ビットレート音声符号化システムを含む、音声符号
化（音声圧縮）システムのための強化（enhancement）処理に関する。
化（音声圧縮）システムのための強化（enhancement）処理に関する。
【０００３】 （背景技術） パラメータ音声符号化装置（コーダ）等の低ビットレート音声コーダは、昨今
、非常に改善された。しかし、低ビットレートコーダはまだ、粗悪な音響環境(h
arsh acoustic environment)での強健性に欠ける問題がある。例えば、中／低度
の信号雑音比（ＳＮＲ）の状態で低ビットレートパラメータコーダによって混入
された人工産物（artifact）は、符号化された音声の分かり易さに影響する可能
性がある。
、非常に改善された。しかし、低ビットレートコーダはまだ、粗悪な音響環境(h
arsh acoustic environment)での強健性に欠ける問題がある。例えば、中／低度
の信号雑音比（ＳＮＲ）の状態で低ビットレートパラメータコーダによって混入
された人工産物（artifact）は、符号化された音声の分かり易さに影響する可能
性がある。
【０００４】 実験によると、低ビットレート音声コーダを音声強化プリプロセッサと合わせ
ると、符号化された音声に有意な改善がみられた。このような強化プリプロセッ
サは通常３個の主要な構成要素を有する。スペクトル解析／合成システム（通常
は窓を使用した(windowed)高速フーリエ変換／逆高速フーリエ変換（ＦＦＴ／Ｉ
ＦＦＴ）によって実現される）と、雑音推定処理と、スペクトルゲイン計算であ
る。雑音推定処理は通常、ある主の音声活動検出またはスペクトル最小追跡技術
を含む。算出されたスペクトルゲインを、音声信号の各データフレーム（セグメ
ント）のフーリエ係数の大きさ（Fourier magnitude）のみに適用する。音声強
化プリプロセッサの例は、Y.Ephraim等による「Speech Enhancement Using a Mi
nimum Mean-Square Error Log-Spectral Amplitude Estimator」（IEEE Trans.
Acoustics, Speech and Signal Processing, Vol.33, p443-445,１９８５年４月
）に紹介されている。この文献はここで言及して援用する。従来どおり、スペク
トルゲインは、ＦＦＴ処理によって出力される個々のサブバンドに適用する個々
のゲイン値を有する。
ると、符号化された音声に有意な改善がみられた。このような強化プリプロセッ
サは通常３個の主要な構成要素を有する。スペクトル解析／合成システム（通常
は窓を使用した(windowed)高速フーリエ変換／逆高速フーリエ変換（ＦＦＴ／Ｉ
ＦＦＴ）によって実現される）と、雑音推定処理と、スペクトルゲイン計算であ
る。雑音推定処理は通常、ある主の音声活動検出またはスペクトル最小追跡技術
を含む。算出されたスペクトルゲインを、音声信号の各データフレーム（セグメ
ント）のフーリエ係数の大きさ（Fourier magnitude）のみに適用する。音声強
化プリプロセッサの例は、Y.Ephraim等による「Speech Enhancement Using a Mi
nimum Mean-Square Error Log-Spectral Amplitude Estimator」（IEEE Trans.
Acoustics, Speech and Signal Processing, Vol.33, p443-445,１９８５年４月
）に紹介されている。この文献はここで言及して援用する。従来どおり、スペク
トルゲインは、ＦＦＴ処理によって出力される個々のサブバンドに適用する個々
のゲイン値を有する。
【０００５】 音声信号は、明瞭に発音された音声(articulated speech)（「音声活動」の期
間）と音声の間(pause)の期間とを示すと考えても良い。音声活動の期間、音声
信号は、明瞭に発音された音声と背景雑音の双方を表し、明瞭に発音された音声
中で間をおくと、その間の音声信号は背景雑音のみを表す。強化プリプロセッサ
は、音声の間の間には（雑音を減衰することが望ましいため）比較的低いゲイン
を適用し、音声が発せられている期間には（発音された音声の減衰を軽減するた
め）より高いゲインを適用するように機能する。しかし、例えば、間の後で音声
活動の開始を示すために低ゲイン値から高ゲイン値へ切り替えることは、あるい
はこの逆の状況で、構造的な（structured)「音楽的(musical)」（または「音色
的(tonal)」）雑音を作りだすことになり得る。これは聞き手にとって耳障りで
ある。さらに、強化プリプロセッサと共に用いた場合に音声コーダが音声の聞き
易さを損ねるように、強化プリプロセッサ自身もこれを損ねる可能性がある。
間）と音声の間(pause)の期間とを示すと考えても良い。音声活動の期間、音声
信号は、明瞭に発音された音声と背景雑音の双方を表し、明瞭に発音された音声
中で間をおくと、その間の音声信号は背景雑音のみを表す。強化プリプロセッサ
は、音声の間の間には（雑音を減衰することが望ましいため）比較的低いゲイン
を適用し、音声が発せられている期間には（発音された音声の減衰を軽減するた
め）より高いゲインを適用するように機能する。しかし、例えば、間の後で音声
活動の開始を示すために低ゲイン値から高ゲイン値へ切り替えることは、あるい
はこの逆の状況で、構造的な（structured)「音楽的(musical)」（または「音色
的(tonal)」）雑音を作りだすことになり得る。これは聞き手にとって耳障りで
ある。さらに、強化プリプロセッサと共に用いた場合に音声コーダが音声の聞き
易さを損ねるように、強化プリプロセッサ自身もこれを損ねる可能性がある。
【０００６】 構造的な音楽的雑音の問題に対処するために、ある強化プリプロセッサは、音
声信号の全てのデータフレームに適用されるゲイン値を一様に制限する。通常、
これは、ゲインの計算に入力される関数である先験的（a priori）信号雑音比を
制限して行う。このようにゲインを制限することで、（「間」に相当するデータ
フレーム等の）あるデータフレームに適用されるゲインが過度に低くなって、デ
ータフレーム間でゲインが大きく変化すること（つまり、構造的な音楽的雑音）
に寄与することを防止する。しかし、このようなゲインの制限では、強化プリプ
ロセッサまたは音声コーダによる分かり易さの問題を適切に改善できない。
声信号の全てのデータフレームに適用されるゲイン値を一様に制限する。通常、
これは、ゲインの計算に入力される関数である先験的（a priori）信号雑音比を
制限して行う。このようにゲインを制限することで、（「間」に相当するデータ
フレーム等の）あるデータフレームに適用されるゲインが過度に低くなって、デ
ータフレーム間でゲインが大きく変化すること（つまり、構造的な音楽的雑音）
に寄与することを防止する。しかし、このようなゲインの制限では、強化プリプ
ロセッサまたは音声コーダによる分かり易さの問題を適切に改善できない。
【０００７】 （発明の開示） 本発明は、従来例の問題を解決し、構造的な音楽的雑音を制限し、音声の分か
り易さを増す。強化プリプロセッサの場合、本発明のある実施形態では、処理対
象の音声信号が、明瞭に発音された音声（発音音声）を示すか、音声の「間」を
示すかを検出し、この音声信号に適用する独自のゲインを形成する。このゲイン
が想定する最低値（つまり、低い側の極限）は、音声信号が発音音声を示すか否
かに基づいて決定されるので、この状態のこのゲインは独自のものである。この
実施形態によると、「間」の間の音声の低い側の極限は、音声活動中のゲインの
低い側の極限よりも高くなる。
り易さを増す。強化プリプロセッサの場合、本発明のある実施形態では、処理対
象の音声信号が、明瞭に発音された音声（発音音声）を示すか、音声の「間」を
示すかを検出し、この音声信号に適用する独自のゲインを形成する。このゲイン
が想定する最低値（つまり、低い側の極限）は、音声信号が発音音声を示すか否
かに基づいて決定されるので、この状態のこのゲインは独自のものである。この
実施形態によると、「間」の間の音声の低い側の極限は、音声活動中のゲインの
低い側の極限よりも高くなる。
【０００８】 この実施形態では、音声信号のデータフレームに適用されるゲインは、制限さ
れた先験的ＳＮＲ値に基づいて適応的に制限される。これらの先験的ＳＮＲ値は
、（ａ）フレーム内に発音音声が検出されたか、および（ｂ）音声を示すフレー
ムの長期ＳＮＲに基づいて制限される。音声活動検出装置を用いて、発音音声を
含むフレームと、音声の「間」を含むフレームとを区別する。したがって、先験
的ＳＮＲ値の低い側の極値を算出して、発音音声を示すフレームの第１の値およ
び、「間」を示すフレームの、第１の値より大きい第２の値としても良い。一次
帰納的システムを用いて先験的ＳＮＲ値の低い側の極限をスムーズにして、信号
の音声活動セグメントと、間セグメントとの間の移行をスムーズにする。
れた先験的ＳＮＲ値に基づいて適応的に制限される。これらの先験的ＳＮＲ値は
、（ａ）フレーム内に発音音声が検出されたか、および（ｂ）音声を示すフレー
ムの長期ＳＮＲに基づいて制限される。音声活動検出装置を用いて、発音音声を
含むフレームと、音声の「間」を含むフレームとを区別する。したがって、先験
的ＳＮＲ値の低い側の極値を算出して、発音音声を示すフレームの第１の値およ
び、「間」を示すフレームの、第１の値より大きい第２の値としても良い。一次
帰納的システムを用いて先験的ＳＮＲ値の低い側の極限をスムーズにして、信号
の音声活動セグメントと、間セグメントとの間の移行をスムーズにする。
【０００９】 本発明の実施形態は、音声コーダと共に用いた場合に強化プリプロセッサによ
って生じ得る、符号化された音声データの遅延を軽減する。強化プリプロセッサ
およびコーダの遅延は、コーダを、少なくとも部分的に、不完全なデータサンプ
ルに対して作用させて、少なくとも幾つかの符号化パラメータを抽出することで
軽減できる。プリプロセッサおよびコーダによる全体の遅延は通常、コーダの遅
延と、強化プリプロセッサ内のフレームの重複部分の長さとの合計に等しい。し
かし、本発明は、いくつかのコーダは、「先見(look-ahead)」データサンプルを
入力バッファ内に保管しており、これらのサンプルを使って符号化パラメータを
抽出することを利用する。先見サンプルは通常、入力バッファ内の他のサンプル
程、符号化された音声の質に影響しない。したがって、コーダは、プリプロセッ
サから十分に処理された（完全な）データが出力されるのを待つ必要はなく、入
力バッファ内の不完全なデータサンプルから符号化パラメータを抽出できる場合
がある。不完全なデータサンプルに作用することで、強化プリプロセッサおよび
コーダの遅延は、符号化されたデータの質に大きく影響することなく、軽減でき
る。
って生じ得る、符号化された音声データの遅延を軽減する。強化プリプロセッサ
およびコーダの遅延は、コーダを、少なくとも部分的に、不完全なデータサンプ
ルに対して作用させて、少なくとも幾つかの符号化パラメータを抽出することで
軽減できる。プリプロセッサおよびコーダによる全体の遅延は通常、コーダの遅
延と、強化プリプロセッサ内のフレームの重複部分の長さとの合計に等しい。し
かし、本発明は、いくつかのコーダは、「先見(look-ahead)」データサンプルを
入力バッファ内に保管しており、これらのサンプルを使って符号化パラメータを
抽出することを利用する。先見サンプルは通常、入力バッファ内の他のサンプル
程、符号化された音声の質に影響しない。したがって、コーダは、プリプロセッ
サから十分に処理された（完全な）データが出力されるのを待つ必要はなく、入
力バッファ内の不完全なデータサンプルから符号化パラメータを抽出できる場合
がある。不完全なデータサンプルに作用することで、強化プリプロセッサおよび
コーダの遅延は、符号化されたデータの質に大きく影響することなく、軽減でき
る。
【００１０】 例えば、音声プリプロセッサおよび音声コーダをあわせた遅延は、解析ウィン
ドウを入力フレームに乗じ（multiply）、強化プリプロセッサ内のフレームを強
化することで、軽減できる。フレームの強化後、合成ウィンドウをフレームの左
半分に乗じ、逆解析（inverse analysis）ウィンドウを右半分に乗じる。合成ウ
ィンドウは解析ウィンドウと異なるウィンドウでもよいが、同じであることが好
適である。次にフレームを音声符号化入力バッファに加え、このフレームを使っ
て符号化パラメータを抽出する。符号化パラメータの抽出後、音声符号化入力バ
ッファ内のフレームの右半分を、分析および合成ウィンドウによって乗算し、次
のフレームが入力される前にこのフレームを入力バッファ内で移動する。符号化
入力バッファ内のフレームを処理するために使用する解析ウィンドウおよび合成
ウィンドウは、強化プリプロセッサ内の分析および合成ウィンドウと同じでもよ
く、または、プリプロセッサ内で使用される解析ウィンドウの平方根等、僅かに
異なってもよい。したがって、プリプロセッサによる遅延は、例えば、１〜２ミ
リ秒程度の非常に小さいレベルに軽減できる。
ドウを入力フレームに乗じ（multiply）、強化プリプロセッサ内のフレームを強
化することで、軽減できる。フレームの強化後、合成ウィンドウをフレームの左
半分に乗じ、逆解析（inverse analysis）ウィンドウを右半分に乗じる。合成ウ
ィンドウは解析ウィンドウと異なるウィンドウでもよいが、同じであることが好
適である。次にフレームを音声符号化入力バッファに加え、このフレームを使っ
て符号化パラメータを抽出する。符号化パラメータの抽出後、音声符号化入力バ
ッファ内のフレームの右半分を、分析および合成ウィンドウによって乗算し、次
のフレームが入力される前にこのフレームを入力バッファ内で移動する。符号化
入力バッファ内のフレームを処理するために使用する解析ウィンドウおよび合成
ウィンドウは、強化プリプロセッサ内の分析および合成ウィンドウと同じでもよ
く、または、プリプロセッサ内で使用される解析ウィンドウの平方根等、僅かに
異なってもよい。したがって、プリプロセッサによる遅延は、例えば、１〜２ミ
リ秒程度の非常に小さいレベルに軽減できる。
【００１１】 本発明の上記およびこれ以外の態様は、後述の説明により明らかになるであろ
う。
う。
【００１２】 （発明を実施するための最良の形態） Ａ．発明を実施するための最良の形態について 音声コーディング技術における通例に従って、本発明の実施形態を個々の機能
ブロック（すなわち「モジュール」）の集まりとして示す。このような機能ブロ
ックが表わす機能は、ソフトウェアを実行可能なハードウェアを含む（これに限
定されない）共用ハードウェアまたは専用ハードウェアのいずれかを使用して提
供される。例えば、図１に示すブロック１〜５の機能は単一の共用プロセッサを
使って提供される（「プロセッサ」という用語は、ソフトウェアを実行可能なハ
ードウェアのみを指すと解釈すべきでない）。
ブロック（すなわち「モジュール」）の集まりとして示す。このような機能ブロ
ックが表わす機能は、ソフトウェアを実行可能なハードウェアを含む（これに限
定されない）共用ハードウェアまたは専用ハードウェアのいずれかを使用して提
供される。例えば、図１に示すブロック１〜５の機能は単一の共用プロセッサを
使って提供される（「プロセッサ」という用語は、ソフトウェアを実行可能なハ
ードウェアのみを指すと解釈すべきでない）。
【００１３】 各実施形態は、任意のメーカのデジタル信号プロセッサ（ＤＳＰ）または汎用
パーソナルコンピュータ（ＰＣ）ハードウェア、後述する演算を実行するソフト
ウェアを格納する読み取り専用メモリ（ＲＯＭ）、ＤＳＰ／ＰＣの結果を格納す
るランダムアクセスメモリ（ＲＡＭ）で実現可能である。超大規模集積回路（Ｖ
ＬＳＩ）ハードウェアや、汎用ＤＳＰ／ＰＣ回路と組み合わせたカスタムＶＬＳ
Ｉ回路構成の実施形態も可能である。
パーソナルコンピュータ（ＰＣ）ハードウェア、後述する演算を実行するソフト
ウェアを格納する読み取り専用メモリ（ＲＯＭ）、ＤＳＰ／ＰＣの結果を格納す
るランダムアクセスメモリ（ＲＡＭ）で実現可能である。超大規模集積回路（Ｖ
ＬＳＩ）ハードウェアや、汎用ＤＳＰ／ＰＣ回路と組み合わせたカスタムＶＬＳ
Ｉ回路構成の実施形態も可能である。
【００１４】 図１に示す機能を実行するコードを本発明に添付する「ソフトウエア集」に示
す。
す。
【００１５】 Ｂ．発明を実施するための最良の形態 図１は、本発明のある実施形態の略ブロック図である。図１に示すように、こ
の実施形態は、音声情報を表す各種信号を処理する。これらの信号には、音声信
号（純粋な音声成分ｓ（ｋ）と背景雑音成分ｎ（ｋ）を含む）、音声信号のデー
タフレーム、スペクトルの大きさ、スペクトル位相、コーディングされた音声な
どを含む。この例では、音声信号は音声強化プリプロセッサ８によって強化され
てから、コーダ７によってコーディングされる。この実施形態のコーダ７は、本
願に引用して援用する、ＩＥＥＥ国際会議紀要、音響、音声、信号処理（ＩＣＡ
ＳＳＰ）（１９９６年、A. McCree他）２００〜２０３ページに掲載の「新規合
衆国連邦基準のための２．４ＫＢＩＴ／Ｓ ＭＥＬＰコーダ候補：A 2.4 KBIT/S
MELP Coder Candidate for the New U.S. Federal Standard」に記載されてい
るような２４００ｂｐｓのＭＩＬ標準ＭＥＬＰコーダである。図２，３，４，及
び５は、図１に示すモジュールによって実施されるプロセスのフローチャートで
ある。
の実施形態は、音声情報を表す各種信号を処理する。これらの信号には、音声信
号（純粋な音声成分ｓ（ｋ）と背景雑音成分ｎ（ｋ）を含む）、音声信号のデー
タフレーム、スペクトルの大きさ、スペクトル位相、コーディングされた音声な
どを含む。この例では、音声信号は音声強化プリプロセッサ８によって強化され
てから、コーダ７によってコーディングされる。この実施形態のコーダ７は、本
願に引用して援用する、ＩＥＥＥ国際会議紀要、音響、音声、信号処理（ＩＣＡ
ＳＳＰ）（１９９６年、A. McCree他）２００〜２０３ページに掲載の「新規合
衆国連邦基準のための２．４ＫＢＩＴ／Ｓ ＭＥＬＰコーダ候補：A 2.4 KBIT/S
MELP Coder Candidate for the New U.S. Federal Standard」に記載されてい
るような２４００ｂｐｓのＭＩＬ標準ＭＥＬＰコーダである。図２，３，４，及
び５は、図１に示すモジュールによって実施されるプロセスのフローチャートで
ある。
【００１６】 １．セグメント化モジュール 音声信号s(k)+n(k)をセグメント化モジュール１に入力する。セグメント化モ
ジュール１は、音声信号を２５６サンプルの音声および雑音データから成るフレ
ームにセグメント化し（図２のステップ１００を参照）、フレームを周波数ドメ
インに変換する前にフレームに解析ウィンドウを適用する（図２のステップ２０
０を参照）。データフレームのサイズは、この実施形態の２５６サンプルのよう
に、任意の所要のサイズにできる。既知のように、フレームに解析ウィンドウを
適用すると、音声信号のスペクトル表現に影響が出る。
ジュール１は、音声信号を２５６サンプルの音声および雑音データから成るフレ
ームにセグメント化し（図２のステップ１００を参照）、フレームを周波数ドメ
インに変換する前にフレームに解析ウィンドウを適用する（図２のステップ２０
０を参照）。データフレームのサイズは、この実施形態の２５６サンプルのよう
に、任意の所要のサイズにできる。既知のように、フレームに解析ウィンドウを
適用すると、音声信号のスペクトル表現に影響が出る。
【００１７】 解析ウィンドウには両端にテーパを付け、フレーム内のサブバンド間のクロス
トークを削減する。解析ウィンドウのテーパを長くすると、クローストークは大
幅に削減するが、プリプロセッサおよびコーダの組み合わせ１０の遅延が増大す
ることがある。前処理およびコーディング操作に固有の遅延は、音声強化プリプ
ロセッサ８のフレーム進行（すなわちフレームの集まり（multiple））とコーダ
７のフレーム進行が一致するときに最小になる。ただし、音声強化プリプロセッ
サ８で後に合成されるフレーム間のシフトが典型的なハーフオーバラップ（例え
ば、１２８サンプル）からコーダ７の典型的なフレームシフト（例えば、１８０
サンプル）に増大するとともに、強化音声信号ｓ（ｋ）の隣接フレーム間の遷移
が滑らかでなくなる。このような不連続が生じるのは、解析ウィンドウが入力信
号を各フレームの端部で最も減衰させ、各フレーム内の推定エラーがフレーム全
体に均等に広がる傾向があるためである。このため、フレーム境界で相対エラー
が増大し、その結果不連続がＳＮＲ条件が低い場合に顕著となって、例えば、ピ
ッチ推定エラーが発生することがある。
トークを削減する。解析ウィンドウのテーパを長くすると、クローストークは大
幅に削減するが、プリプロセッサおよびコーダの組み合わせ１０の遅延が増大す
ることがある。前処理およびコーディング操作に固有の遅延は、音声強化プリプ
ロセッサ８のフレーム進行（すなわちフレームの集まり（multiple））とコーダ
７のフレーム進行が一致するときに最小になる。ただし、音声強化プリプロセッ
サ８で後に合成されるフレーム間のシフトが典型的なハーフオーバラップ（例え
ば、１２８サンプル）からコーダ７の典型的なフレームシフト（例えば、１８０
サンプル）に増大するとともに、強化音声信号ｓ（ｋ）の隣接フレーム間の遷移
が滑らかでなくなる。このような不連続が生じるのは、解析ウィンドウが入力信
号を各フレームの端部で最も減衰させ、各フレーム内の推定エラーがフレーム全
体に均等に広がる傾向があるためである。このため、フレーム境界で相対エラー
が増大し、その結果不連続がＳＮＲ条件が低い場合に顕著となって、例えば、ピ
ッチ推定エラーが発生することがある。
【００１８】 音声強化プリプロセッサ８で解析ウィンドウと合成ウィンドウの両方を使用す
ると、不連続を大幅に減少できる。例えば、テューキー（Tukey）ウィンドウの
平方根
ると、不連続を大幅に減少できる。例えば、テューキー（Tukey）ウィンドウの
平方根
【数１】 は、このウィンドウを解析ウィンドウと合成ウィンドウの両方として使用したと
きに優れた性能を発揮する。ここで、Ｍはサンプル内のフレームサイズ、Ｍ0は
隣接する合成フレームのオーバーラップする部分の長さである。
きに優れた性能を発揮する。ここで、Ｍはサンプル内のフレームサイズ、Ｍ0は
隣接する合成フレームのオーバーラップする部分の長さである。
【００１９】 次に、ウィンドウが使用された音声データのフレームを強化する。この強化ス
テップは普通は図２のステップ３００に対応するが、詳しくは図３〜５の一連の
ステップを参照されたい。
テップは普通は図２のステップ３００に対応するが、詳しくは図３〜５の一連の
ステップを参照されたい。
【００２０】 ２．変換モジュール ウィンドウが使用された音声信号のフレームを変換モジュール２に出力する。
変換モジュールは、従来の高速フーリエ変換（ＦＦＴ）をフレームに適用する（
図３のステップ３１０）。変換モジュール２によって出力されるスペクトルの大
きさは、雑音推定モジュール３でフレーム内の雑音レベルを推定するのに使用さ
れる。
変換モジュールは、従来の高速フーリエ変換（ＦＦＴ）をフレームに適用する（
図３のステップ３１０）。変換モジュール２によって出力されるスペクトルの大
きさは、雑音推定モジュール３でフレーム内の雑音レベルを推定するのに使用さ
れる。
【００２１】 ３．雑音推定モジュール 雑音推定モジュール３は、変換モジュール２によって出力されるスペクトルの
大きさを入力として受け取り、雑音推定を生成してゲイン関数モジュール４に出
力する（図３のステップ３２０を参照）。雑音推定には、従来の方法で計算され
た先験的ＳＮＲと経験的ＳＮＲが含まれる。雑音推定モジュール３は任意の従来
の雑音推定手法で実現可能であり、例えば、前に引用した米国暫定特許出願第６
０／１１９，２７９号（１９９９年２月９日）に示される雑音推定手法に従って
実現できる。
大きさを入力として受け取り、雑音推定を生成してゲイン関数モジュール４に出
力する（図３のステップ３２０を参照）。雑音推定には、従来の方法で計算され
た先験的ＳＮＲと経験的ＳＮＲが含まれる。雑音推定モジュール３は任意の従来
の雑音推定手法で実現可能であり、例えば、前に引用した米国暫定特許出願第６
０／１１９，２７９号（１９９９年２月９日）に示される雑音推定手法に従って
実現できる。
【００２２】 ４．ゲイン関数モジュール 音楽的（musical）ひずみを防止し、音声の全体的なスペクトル形状にひずみ
が生じないようにするため（かつ、スペクトルパラメータの推定が妨害されない
ようにするため）、ゲインＧの下限値は、背景雑音のみを表わすフレーム（音声
の間）の場合には最初の値に、アクティブ音声を表わすフレームの場合は次に小
さい値に設定しなければならない。このような下限値とゲインは次のようにして
決定する。
が生じないようにするため（かつ、スペクトルパラメータの推定が妨害されない
ようにするため）、ゲインＧの下限値は、背景雑音のみを表わすフレーム（音声
の間）の場合には最初の値に、アクティブ音声を表わすフレームの場合は次に小
さい値に設定しなければならない。このような下限値とゲインは次のようにして
決定する。
【００２３】 ４．１ 先験的ＳＮＲの制限 モジュール４によって決定されるゲイン関数Ｇは、先験的ＳＮＲ値ξkと経験
的ＳＮＲ値γk（前述）の関数である。先験的ＳＮＲ値ξkは、現在のフレームに
音声と雑音が含まれているか、雑音のみが含まれているかと、音声データの推定
長期ＳＮＲに基づいて、ゲイン関数モジュール４によって適応的に制限される。
現在のフレームに雑音のみが含まれる場合には（図４のステップ３３１を参照）
、先験的ＳＮＲ値ξkに対して暫定下限値ξmin1(λ) = 0.12を設定するのが好適
である（図４のステップ３３２を参照）。現在のフレームに音声と雑音が含まれ
る場合（アクティブ音声）には、暫定下限値ξmin1(λ)を次のように設定する。
的ＳＮＲ値γk（前述）の関数である。先験的ＳＮＲ値ξkは、現在のフレームに
音声と雑音が含まれているか、雑音のみが含まれているかと、音声データの推定
長期ＳＮＲに基づいて、ゲイン関数モジュール４によって適応的に制限される。
現在のフレームに雑音のみが含まれる場合には（図４のステップ３３１を参照）
、先験的ＳＮＲ値ξkに対して暫定下限値ξmin1(λ) = 0.12を設定するのが好適
である（図４のステップ３３２を参照）。現在のフレームに音声と雑音が含まれ
る場合（アクティブ音声）には、暫定下限値ξmin1(λ)を次のように設定する。
【数２】 ここで、SNRLTは音声データの長期ＳＮＲ、λは現在のフレームのフレームイン
デックスである（図４のステップ３３３を参照）。ただし、ξmin1は０．２５以
下に制限される（図４のステップ３３４および３３５を参照）。長期SNRLTは、
音声信号の平均電力と複数のフレームでの雑音の平均電力の比を算出し、その値
から１を減算することによって決定する。音声信号と雑音は、１〜２秒の信号を
表わす多数のフレームについて平均をとることが好適である。SNRLTが０未満の
場合は、SNRLTは０に等しく設定する。
デックスである（図４のステップ３３３を参照）。ただし、ξmin1は０．２５以
下に制限される（図４のステップ３３４および３３５を参照）。長期SNRLTは、
音声信号の平均電力と複数のフレームでの雑音の平均電力の比を算出し、その値
から１を減算することによって決定する。音声信号と雑音は、１〜２秒の信号を
表わす多数のフレームについて平均をとることが好適である。SNRLTが０未満の
場合は、SNRLTは０に等しく設定する。
【００２４】 先験的ＳＮＲの実際の下限値は、１次再帰フィルタ（first order recursive
filter）によって決定する。
filter）によって決定する。
【数３】 このフィルタによって、音声フレームと雑音のみのフレームの暫定値の間で滑ら
かな遷移が行われる（図４のステップ３３６を参照）。このとき、滑らかに遷移
した下限値ξmin(λ)は、後述するゲイン計算の中で先験的ＳＮＲ値ξk(λ)の下
限値として使用される。
かな遷移が行われる（図４のステップ３３６を参照）。このとき、滑らかに遷移
した下限値ξmin(λ)は、後述するゲイン計算の中で先験的ＳＮＲ値ξk(λ)の下
限値として使用される。
【００２５】 ４．２ 制限された先験的ＳＮＲによるゲインの決定 既知のように、音声強化プリプロセッサで使用されるゲインＧは、先験的信号
と雑音比ξおよび経験的ＳＮＲ値γとの関数である。すなわち、Gk(λ) = f(ξk (λ),γk(λ))である。ここで、λはフレームインデックス、ｋはサブバンドイ
ンデックスである。本発明の実施形態に従って、先験的ＳＮＲの下限値ξmin(λ
)は、次のように先験的ＳＮＲ（雑音推定モジュール３によって決定される）に
適用される。
と雑音比ξおよび経験的ＳＮＲ値γとの関数である。すなわち、Gk(λ) = f(ξk (λ),γk(λ))である。ここで、λはフレームインデックス、ｋはサブバンドイ
ンデックスである。本発明の実施形態に従って、先験的ＳＮＲの下限値ξmin(λ
)は、次のように先験的ＳＮＲ（雑音推定モジュール３によって決定される）に
適用される。
【数４】 （図５のステップ５１０および５２０を参照。）
【００２６】 雑音推定モジュール３によって生成される経験的ＳＮＲ推定値と前述の制限さ
れた先験的ＳＮＲ値に基づいて、ゲイン関数モジュール４がゲイン関数Ｇを決定
する（図５のステップ５３０を参照）。この実施形態を実現するのに適したゲイ
ン関数は、本願に引用して援用するＩＥＥＥ会報、音響、音声、信号処理第３３
巻（１９８５年４月、Y. Ephraim他）４４３〜４４５ページに掲載の「ＭＭＳＥ
ＬＳＡエスティメータを使用した音声強化：Speech Enhancement Using a Min
imum Mean-Square Error Log-Spectral Amplitude Estimator」に記載されてい
るような従来のＭｉｎｉｍｕｍ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ Ｌｏｇ
Ｓｐｅｃｔｒａｌ Ａｍｐｌｉｔｕｄｅエスティメータ（ＭＭＳＥ ＬＳＡ）
である。ＩＣＡＳＳＰ国際会議紀要（１９９９年、D. Malah他）に掲載の「非定
常雑音環境での音声強化の改良のための音声存在の不確実性の追跡：Tracking S
peech Presence Uncertainty to Improve Speech Enhancement in Non-Stationa
ry Noise Environments」に記載されているような大幅に改良されたＭＭＳＥ
ＬＳＡエスティメータを使用して、音声が存在するかどうかの確率を考慮すれば
、さらに改良が可能である。この参考資料は本願に引用して援用する。
れた先験的ＳＮＲ値に基づいて、ゲイン関数モジュール４がゲイン関数Ｇを決定
する（図５のステップ５３０を参照）。この実施形態を実現するのに適したゲイ
ン関数は、本願に引用して援用するＩＥＥＥ会報、音響、音声、信号処理第３３
巻（１９８５年４月、Y. Ephraim他）４４３〜４４５ページに掲載の「ＭＭＳＥ
ＬＳＡエスティメータを使用した音声強化：Speech Enhancement Using a Min
imum Mean-Square Error Log-Spectral Amplitude Estimator」に記載されてい
るような従来のＭｉｎｉｍｕｍ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ Ｌｏｇ
Ｓｐｅｃｔｒａｌ Ａｍｐｌｉｔｕｄｅエスティメータ（ＭＭＳＥ ＬＳＡ）
である。ＩＣＡＳＳＰ国際会議紀要（１９９９年、D. Malah他）に掲載の「非定
常雑音環境での音声強化の改良のための音声存在の不確実性の追跡：Tracking S
peech Presence Uncertainty to Improve Speech Enhancement in Non-Stationa
ry Noise Environments」に記載されているような大幅に改良されたＭＭＳＥ
ＬＳＡエスティメータを使用して、音声が存在するかどうかの確率を考慮すれば
、さらに改良が可能である。この参考資料は本願に引用して援用する。
【００２７】 ５．ゲイン関数の適用 ゲインＧを、変換モジュール２によって出力されるデータフレームの雑音のあ
るスペクトルの大きさに適用する。これは、図１に示すように、雑音のあるスペ
クトルの大きさにゲインを乗算する従来の方式で実行される（図３のステップ３
４０を参照）。
るスペクトルの大きさに適用する。これは、図１に示すように、雑音のあるスペ
クトルの大きさにゲインを乗算する従来の方式で実行される（図３のステップ３
４０を参照）。
【００２８】 ６．逆変換モジュール 従来の逆ＦＦＴを逆変換モジュール５によって強化スペクトルの振幅に適用す
る。逆変換モジュールは強化された音声のフレームをオーバーラップ／加算モジ
ュール６に出力する（図３のステップ３５０を参照）。
る。逆変換モジュールは強化された音声のフレームをオーバーラップ／加算モジ
ュール６に出力する（図３のステップ３５０を参照）。
【００２９】 ７．オーバーラップ加算モジュール：遅延低減 オーバーラップ／加算モジュール６は、逆変換モジュール５の出力を合成して
、強化音声信号ｓ（ｋ）をコーダ７に出力する。オーバーラップ／加算モジュー
ル６は、フレームの左半分（例えば、古い方の１８０サンプル）を合成ウィンド
ウで、フレームの右半分（例えば、新しい方の７６サンプル）を逆解析ウィンド
ウで乗算することによって、音声強化プリプロセッサ８によって生じる遅延を削
減するのが好適である（図２のステップ４００を参照）。合成ウィンドウは解析
ウィンドウと異なってもよいが、解析ウィンドウと同一であることが好適である
（さらに、この合成ウィンドウと解析ウィンドウは図２のステップ２００に示す
解析ウィンドウと同一であることが好適である）。フレームの左半分と右半分の
サンプルサイズは、後述するコーダ７の入力バッファで発生するデータシフトの
量に基づいて変化する（後述のステップ８００に関する記述を参照）。この場合
、コーダ７の入力バッファのデータは１８０サンプルだけシフトするので、フレ
ームの左半分に１８０サンプルが含まれるようになる。合成／解析ウィンドウは
フレームの端部で減衰が大きくなるので、フレームに逆解析フィルタを乗算する
と、フレーム境界で推定エラーが大幅に増幅される。したがって、逆解析フィル
タにフレームの最後の１６〜２４サンプルが乗算されないように、２〜３ｍｓの
小さい遅延にするのが好適である。
、強化音声信号ｓ（ｋ）をコーダ７に出力する。オーバーラップ／加算モジュー
ル６は、フレームの左半分（例えば、古い方の１８０サンプル）を合成ウィンド
ウで、フレームの右半分（例えば、新しい方の７６サンプル）を逆解析ウィンド
ウで乗算することによって、音声強化プリプロセッサ８によって生じる遅延を削
減するのが好適である（図２のステップ４００を参照）。合成ウィンドウは解析
ウィンドウと異なってもよいが、解析ウィンドウと同一であることが好適である
（さらに、この合成ウィンドウと解析ウィンドウは図２のステップ２００に示す
解析ウィンドウと同一であることが好適である）。フレームの左半分と右半分の
サンプルサイズは、後述するコーダ７の入力バッファで発生するデータシフトの
量に基づいて変化する（後述のステップ８００に関する記述を参照）。この場合
、コーダ７の入力バッファのデータは１８０サンプルだけシフトするので、フレ
ームの左半分に１８０サンプルが含まれるようになる。合成／解析ウィンドウは
フレームの端部で減衰が大きくなるので、フレームに逆解析フィルタを乗算する
と、フレーム境界で推定エラーが大幅に増幅される。したがって、逆解析フィル
タにフレームの最後の１６〜２４サンプルが乗算されないように、２〜３ｍｓの
小さい遅延にするのが好適である。
【００３０】 フレームは、合成ウィンドウと逆解析ウィンドウによって調整（adjust）され
ると、コーダ７の入力バッファ（図示せず）に送られる（図２のステップ５００
を参照）。現在のフレームの左半分は、すでに入力バッファに読み込まれている
前のフレームの右半分でオーバーラップされる。ただし、現在のフレームの右半
分は入力バッファにあるフレームまたはフレームの一部でオーバーラップされな
い。このとき、コーダ７は、新たに入力されたフレームや不完全な右半分のデー
タを含めて、入力バッファ内のデータを使用して、コーディングパラメータを抽
出する（図２のステップ６００を参照）。例えば、従来のＭＥＬＰコーダは、入
力バッファ内のデータから１０の線形予測係数、２つのゲイン係数、１つのピッ
チ値、５つの帯域音声強度値、１０のフーリエ係数の大きさ（Fourier magnitud
e）、１つの非周期的フラグを抽出する。もっとも、フレームからは任意の所要
の情報を抽出可能である。ＭＥＬＰコーダ７は線形予測係数（ＬＰＣ）解析や最
初のゲイン係数の計算に入力バッファ内の最新の６０サンプルを使用しないので
、これらのサンプル内に強化エラーがあってもコーダ７の全体的な性能への影響
は小さい。
ると、コーダ７の入力バッファ（図示せず）に送られる（図２のステップ５００
を参照）。現在のフレームの左半分は、すでに入力バッファに読み込まれている
前のフレームの右半分でオーバーラップされる。ただし、現在のフレームの右半
分は入力バッファにあるフレームまたはフレームの一部でオーバーラップされな
い。このとき、コーダ７は、新たに入力されたフレームや不完全な右半分のデー
タを含めて、入力バッファ内のデータを使用して、コーディングパラメータを抽
出する（図２のステップ６００を参照）。例えば、従来のＭＥＬＰコーダは、入
力バッファ内のデータから１０の線形予測係数、２つのゲイン係数、１つのピッ
チ値、５つの帯域音声強度値、１０のフーリエ係数の大きさ（Fourier magnitud
e）、１つの非周期的フラグを抽出する。もっとも、フレームからは任意の所要
の情報を抽出可能である。ＭＥＬＰコーダ７は線形予測係数（ＬＰＣ）解析や最
初のゲイン係数の計算に入力バッファ内の最新の６０サンプルを使用しないので
、これらのサンプル内に強化エラーがあってもコーダ７の全体的な性能への影響
は小さい。
【００３１】 コーダ７がコーディングパラメータを抽出した後、最後の入力フレームの右半
分（例えば、最新の７６サンプル）を解析および合成ウィンドウで乗算する（図
２のステップ７００を参照）。これらの合成および解析ウィンドウはステップ２
００で引用したものと同一であることが好適である（ただし、ステップ２００の
解析ウィンドウの平方根のように、異なっていてもよい）。
分（例えば、最新の７６サンプル）を解析および合成ウィンドウで乗算する（図
２のステップ７００を参照）。これらの合成および解析ウィンドウはステップ２
００で引用したものと同一であることが好適である（ただし、ステップ２００の
解析ウィンドウの平方根のように、異なっていてもよい）。
【００３２】 次に、次のフレームの入力に備えて入力バッファのデータを、例えば１８０サ
ンプルだけシフトする（図２のステップ８００を参照）。前述したように、合成
および解析ウィンドウは音声強化プリプロセッサ８で使用した解析ウィンドウと
同じでもよいし、例えば、解析ウィンドウの平方根のように、音声強化プリプロ
セッサ８で使用した解析ウィンドウと異なっていてもよい。オーバーラップ／加
算演算の最終部分をコーダ７の入力バッファにシフトすることによって、音声強
化プリプロセッサ８のスペクトル解像度やクロストーク削減を犠牲にすることな
く、音声強化プリプロセッサ８／コーダ７の組み合わせの遅延を２〜３ミリ秒ま
で削減できる。
ンプルだけシフトする（図２のステップ８００を参照）。前述したように、合成
および解析ウィンドウは音声強化プリプロセッサ８で使用した解析ウィンドウと
同じでもよいし、例えば、解析ウィンドウの平方根のように、音声強化プリプロ
セッサ８で使用した解析ウィンドウと異なっていてもよい。オーバーラップ／加
算演算の最終部分をコーダ７の入力バッファにシフトすることによって、音声強
化プリプロセッサ８のスペクトル解像度やクロストーク削減を犠牲にすることな
く、音声強化プリプロセッサ８／コーダ７の組み合わせの遅延を２〜３ミリ秒ま
で削減できる。
【００３３】 Ｃ．議論 本発明について特定の実施形態と関連付けて説明したが、当業者が多数の代替
実施形態、変形、変化を容易に導けることは明らかである。よって、ここで説明
した本発明の最良の実施形態は、本発明を制限するものではなく、本発明を例証
する意図で記載されており、本発明の概念および範囲を外れることなく、様々な
変更が可能である。
実施形態、変形、変化を容易に導けることは明らかである。よって、ここで説明
した本発明の最良の実施形態は、本発明を制限するものではなく、本発明を例証
する意図で記載されており、本発明の概念および範囲を外れることなく、様々な
変更が可能である。
【００３４】 例えば、本発明の実施形態は、従来のＭＥＬＰ音声コーダと関連して動作する
と説明されているが、本発明と関連して他の音声コーダも使用可能である。
と説明されているが、本発明と関連して他の音声コーダも使用可能である。
【００３５】 本発明の実施形態はＦＦＴおよびＩＦＦＴを採用しているが、離散フーリエ変
換（ＤＦＴ）や逆ＤＦＴなどの他の変換を使用しても本発明を実現できる。
換（ＤＦＴ）や逆ＤＦＴなどの他の変換を使用しても本発明を実現できる。
【００３６】 引用した暫定特許出願の雑音推定手法は雑音推定モジュール３に適しているが
、本願に引用して援用する、ＩＥＥＥ国際会議紀要、音響、音声、信号処理（Ｉ
ＣＡＳＳＰ）（１９９９年、D. Malah他）に記載の「非定常雑音環境での音声強
化の改良のための音声存在の不確実性の追跡：Tracking Speech Presence Uncer
tainty to Improve Speech Enhancement in Non-Stationary Noise Environment
s」や欧州信号処理会議紀要第１巻（１９９４年、R. Martin）に記載の「最小統
計に基づくスペクトル減算：Spectral Subtraction Based on Minimum Statisti
cs」に記載されているような音声活動検出またはスペクトル最小追跡アプローチ
に基づいた他のアルゴリズムも使用できる。
、本願に引用して援用する、ＩＥＥＥ国際会議紀要、音響、音声、信号処理（Ｉ
ＣＡＳＳＰ）（１９９９年、D. Malah他）に記載の「非定常雑音環境での音声強
化の改良のための音声存在の不確実性の追跡：Tracking Speech Presence Uncer
tainty to Improve Speech Enhancement in Non-Stationary Noise Environment
s」や欧州信号処理会議紀要第１巻（１９９４年、R. Martin）に記載の「最小統
計に基づくスペクトル減算：Spectral Subtraction Based on Minimum Statisti
cs」に記載されているような音声活動検出またはスペクトル最小追跡アプローチ
に基づいた他のアルゴリズムも使用できる。
【００３７】 フレームが音声の間（背景雑音のみ）を表わすときには、先験的ＳＮＲ値ξk
に暫定下限値ξmin1(λ) = 0.12を設定するのが好適であるが、この暫定下限値
ξmin1ニは他の値に設定してもよい。
に暫定下限値ξmin1(λ) = 0.12を設定するのが好適であるが、この暫定下限値
ξmin1ニは他の値に設定してもよい。
【００３８】 先験的ＳＮＲを制限するプロセスは、雑音のあるスペクトルの大きさに適用さ
れるゲイン値を制限するために可能なメカニズムの１つに過ぎず、他の方法でゲ
イン値を制限することもできる。音声活動を表わすフレームのゲインの下限値は
、背景雑音のみを表わすフレームのゲインの下限値より小さくすると便利である
。ただし、例えば、（先験的ＳＮＲのように、ゲインの前提関数（functional a
ntecedent）を制限するのではなく）ゲイン値を直接に制限するなどの他の方法
も可能である。
れるゲイン値を制限するために可能なメカニズムの１つに過ぎず、他の方法でゲ
イン値を制限することもできる。音声活動を表わすフレームのゲインの下限値は
、背景雑音のみを表わすフレームのゲインの下限値より小さくすると便利である
。ただし、例えば、（先験的ＳＮＲのように、ゲインの前提関数（functional a
ntecedent）を制限するのではなく）ゲイン値を直接に制限するなどの他の方法
も可能である。
【００３９】 音声強化プリプロセッサ８の逆変換モジュール５から出力されるフレームは、
音声強化プリプロセッサ８によって引き起こされる遅延を削減するように前述の
ように処理するのが好適であるが、この遅延削減処理は音声強化のためには必要
ない。したがって、音声強化プリプロセッサ８は、前述したように、（例えば、
先験的ＳＮＲ値ξkを適切に制限して）ゲイン制限によって音声信号を強化する
ように動作させることもできる。同様に、前述した遅延低減ではゲイン制限プロ
セスを使用する必要がない。
音声強化プリプロセッサ８によって引き起こされる遅延を削減するように前述の
ように処理するのが好適であるが、この遅延削減処理は音声強化のためには必要
ない。したがって、音声強化プリプロセッサ８は、前述したように、（例えば、
先験的ＳＮＲ値ξkを適切に制限して）ゲイン制限によって音声信号を強化する
ように動作させることもできる。同様に、前述した遅延低減ではゲイン制限プロ
セスを使用する必要がない。
【００４０】 他のタイプのデータ処理演算の遅延は、データフレームの最初の部分、すなわ
ちデータの任意のグループに最初のプロセスを適用し、データフレームの２番目
の部分に２番目のプロセスを適用すれば削減できる。最初のプロセスと２番目の
プロセスは音声強化処理も含めた任意の所要の処理で実行できる。次に、フレー
ムの最初の部分が他のデータに結合されるようにフレームを他のデータと結合す
る。コーディングパラメータなどの情報は、結合されたデータを含むフレームか
ら抽出される。情報の抽出後、別のフレームのデータとの結合に備えて、フレー
ムの２番目の部分に３番目のプロセスを適用する。
ちデータの任意のグループに最初のプロセスを適用し、データフレームの２番目
の部分に２番目のプロセスを適用すれば削減できる。最初のプロセスと２番目の
プロセスは音声強化処理も含めた任意の所要の処理で実行できる。次に、フレー
ムの最初の部分が他のデータに結合されるようにフレームを他のデータと結合す
る。コーディングパラメータなどの情報は、結合されたデータを含むフレームか
ら抽出される。情報の抽出後、別のフレームのデータとの結合に備えて、フレー
ムの２番目の部分に３番目のプロセスを適用する。
【００４１】 （添付書類）
【図面の簡単な説明】
【図１】 本発明の実施形態を示す概略ブロック図である。
【図２】 図１の実施形態における音声信号およびその他の信号の処理方法
のステップを示すフローチャートである。
のステップを示すフローチャートである。
【図３】 図１の実施形態における音声信号の強化方法のステップを示すフ
ローチャートである。
ローチャートである。
【図４】 図１の実施形態における先験的ＳＮＲ値を適応的に調整する方法
のステップを示すフローチャートである。
のステップを示すフローチャートである。
【図５】 ゲイン計算に使用するために、先験的信号雑音比に制限を適用す
る方法のステップを示すフローチャートである。
る方法のステップを示すフローチャートである。
【手続補正書】
【提出日】平成１３年８月１０日（２００１．８．１０）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＢＲ，ＣＡ，Ｊ Ｐ，ＫＲ (72)発明者 マーティン レイナー ドイツ アーヘン ファルツグラフェンシ ュトラーセ 71 Ｆターム(参考） 5D045 DA20 5J064 AA03 BA16 BB07 BB12 BC01 BC02 BC09 BC24 BD01
Claims (4)
- 【請求項１】 音声符号化に使用するために、背景雑音と発音音声の期間と
を表し、複数のデータフレームに分割される音声信号、を強化する方法であって
、 前記データフレームの音声信号を変換して、複数のサブバンド音声信号を生成
するステップと、 前記データフレームに対応する前記音声信号が、発音音声を表すか否かを検出
するステップと、 個々のゲイン値を個々のサブバンド音声信号に適用するステップであって、発
音音声を表すことが検出されたフレームに対する許容最低ゲイン値は、背景雑音
のみを表すことが検出されたフレームに対する許容最低ゲイン値よりも低くした
ステップと、 前記複数のサブバンド音声信号を逆変換するステップと を有することを特徴とする、音声信号を強化する方法。 - 【請求項２】 請求項１の方法において、個々のゲイン値を決定するステッ
プを更に有し、 前記許容最低ゲイン値は、許容最低の先験的信号雑音比の関数であることを特
徴とする、請求項１の方法。 - 【請求項３】 音声符号化に使用するために、データフレームに分割され、
背景雑音情報と発音音声の期間情報とを表す音声信号、を強化する方法であって
、 データフレームの信号が、発音音声情報を表すか否かを検出するステップと、 ゲイン値を前記信号に適用するステップと、 を有し、 発音音声を表すことが検出されたフレームに対する許容最低ゲイン値は、背景
雑音のみを表すとことが検出されたフレームに対する許容最低ゲイン値よりも低
いことを特徴とする、音声信号を強化する方法。 - 【請求項４】 請求項３の方法において、ゲイン値を決定するステップを更
に有し、 前記許容最低ゲイン値は、許容最低の先験的信号雑音比の関数であることを特
徴とする、請求項３の方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11927999P | 1999-02-09 | 1999-02-09 | |
| US60/119,279 | 1999-02-09 | ||
| US09/499,985 US6604071B1 (en) | 1999-02-09 | 2000-02-08 | Speech enhancement with gain limitations based on speech activity |
| US09/499,985 | 2000-02-08 | ||
| PCT/US2000/003372 WO2000048171A1 (en) | 1999-02-09 | 2000-02-09 | Speech enhancement with gain limitations based on speech activity |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006249135A Division JP4512574B2 (ja) | 1999-02-09 | 2006-09-14 | 音声活動に基づくゲイン制限による音声強化についての方法、記録媒体、及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002536707A true JP2002536707A (ja) | 2002-10-29 |
| JP4173641B2 JP4173641B2 (ja) | 2008-10-29 |
Family
ID=26817182
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000599013A Expired - Fee Related JP4173641B2 (ja) | 1999-02-09 | 2000-02-09 | 音声活動に基づくゲイン制限による音声強化 |
| JP2006249135A Expired - Lifetime JP4512574B2 (ja) | 1999-02-09 | 2006-09-14 | 音声活動に基づくゲイン制限による音声強化についての方法、記録媒体、及び装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006249135A Expired - Lifetime JP4512574B2 (ja) | 1999-02-09 | 2006-09-14 | 音声活動に基づくゲイン制限による音声強化についての方法、記録媒体、及び装置 |
Country Status (12)
| Country | Link |
|---|---|
| US (2) | US6604071B1 (ja) |
| EP (2) | EP1157377B1 (ja) |
| JP (2) | JP4173641B2 (ja) |
| KR (2) | KR100828962B1 (ja) |
| AT (1) | ATE357724T1 (ja) |
| BR (1) | BR0008033A (ja) |
| CA (2) | CA2476248C (ja) |
| DE (1) | DE60034026T2 (ja) |
| DK (1) | DK1157377T3 (ja) |
| ES (1) | ES2282096T3 (ja) |
| HK (1) | HK1098241A1 (ja) |
| WO (1) | WO2000048171A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006503330A (ja) * | 2002-10-17 | 2006-01-26 | クラリティー テクノロジーズ インコーポレイテッド | サブバンド音声信号のノイズ削減 |
| JP2008065090A (ja) * | 2006-09-07 | 2008-03-21 | Toshiba Corp | ノイズサプレス装置 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1143229A1 (en) * | 1998-12-07 | 2001-10-10 | Mitsubishi Denki Kabushiki Kaisha | Sound decoding device and sound decoding method |
| GB2349259B (en) * | 1999-04-23 | 2003-11-12 | Canon Kk | Speech processing apparatus and method |
| FR2797343B1 (fr) * | 1999-08-04 | 2001-10-05 | Matra Nortel Communications | Procede et dispositif de detection d'activite vocale |
| KR100304666B1 (ko) * | 1999-08-28 | 2001-11-01 | 윤종용 | 음성 향상 방법 |
| JP3566197B2 (ja) | 2000-08-31 | 2004-09-15 | 松下電器産業株式会社 | 雑音抑圧装置及び雑音抑圧方法 |
| JP4282227B2 (ja) * | 2000-12-28 | 2009-06-17 | 日本電気株式会社 | ノイズ除去の方法及び装置 |
| KR20030009516A (ko) * | 2001-04-09 | 2003-01-29 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | 스피치 향상 장치 |
| DE10150519B4 (de) * | 2001-10-12 | 2014-01-09 | Hewlett-Packard Development Co., L.P. | Verfahren und Anordnung zur Sprachverarbeitung |
| US7155385B2 (en) * | 2002-05-16 | 2006-12-26 | Comerica Bank, As Administrative Agent | Automatic gain control for adjusting gain during non-speech portions |
| JP4336759B2 (ja) | 2002-12-17 | 2009-09-30 | 日本電気株式会社 | 光分散フィルタ |
| JP4583781B2 (ja) * | 2003-06-12 | 2010-11-17 | アルパイン株式会社 | 音声補正装置 |
| DE60303278T2 (de) * | 2003-11-27 | 2006-07-20 | Alcatel | Vorrichtung zur Verbesserung der Spracherkennung |
| ES2294506T3 (es) * | 2004-05-14 | 2008-04-01 | Loquendo S.P.A. | Reduccion de ruido para el reconocimiento automatico del habla. |
| US7649988B2 (en) * | 2004-06-15 | 2010-01-19 | Acoustic Technologies, Inc. | Comfort noise generator using modified Doblinger noise estimate |
| KR100677126B1 (ko) * | 2004-07-27 | 2007-02-02 | 삼성전자주식회사 | 레코더 기기의 잡음 제거 장치 및 그 방법 |
| GB2429139B (en) * | 2005-08-10 | 2010-06-16 | Zarlink Semiconductor Inc | A low complexity noise reduction method |
| KR100751927B1 (ko) * | 2005-11-11 | 2007-08-24 | 고려대학교 산학협력단 | 멀티음성채널 음성신호의 적응적 잡음제거를 위한 전처리 방법 및 장치 |
| US7778828B2 (en) | 2006-03-15 | 2010-08-17 | Sasken Communication Technologies Ltd. | Method and system for automatic gain control of a speech signal |
| US20080208575A1 (en) * | 2007-02-27 | 2008-08-28 | Nokia Corporation | Split-band encoding and decoding of an audio signal |
| US7885810B1 (en) | 2007-05-10 | 2011-02-08 | Mediatek Inc. | Acoustic signal enhancement method and apparatus |
| US20090010453A1 (en) * | 2007-07-02 | 2009-01-08 | Motorola, Inc. | Intelligent gradient noise reduction system |
| BRPI0816792B1 (pt) * | 2007-09-12 | 2020-01-28 | Dolby Laboratories Licensing Corp | método para melhorar componentes de fala de um sinal de áudio composto de componentes de fala e ruído e aparelho para realizar o mesmo |
| CN100550133C (zh) | 2008-03-20 | 2009-10-14 | 华为技术有限公司 | 一种语音信号处理方法及装置 |
| US8645129B2 (en) * | 2008-05-12 | 2014-02-04 | Broadcom Corporation | Integrated speech intelligibility enhancement system and acoustic echo canceller |
| US9197181B2 (en) * | 2008-05-12 | 2015-11-24 | Broadcom Corporation | Loudness enhancement system and method |
| KR20090122143A (ko) * | 2008-05-23 | 2009-11-26 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
| US8914282B2 (en) * | 2008-09-30 | 2014-12-16 | Alon Konchitsky | Wind noise reduction |
| US20100082339A1 (en) * | 2008-09-30 | 2010-04-01 | Alon Konchitsky | Wind Noise Reduction |
| KR101622950B1 (ko) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 |
| KR101211059B1 (ko) | 2010-12-21 | 2012-12-11 | 전자부품연구원 | 보컬 멜로디 강화 장치 및 방법 |
| US9210506B1 (en) * | 2011-09-12 | 2015-12-08 | Audyssey Laboratories, Inc. | FFT bin based signal limiting |
| GB2523984B (en) | 2013-12-18 | 2017-07-26 | Cirrus Logic Int Semiconductor Ltd | Processing received speech data |
| JP6361156B2 (ja) * | 2014-02-10 | 2018-07-25 | 沖電気工業株式会社 | 雑音推定装置、方法及びプログラム |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3118473A1 (de) | 1981-05-09 | 1982-11-25 | TE KA DE Felten & Guilleaume Fernmeldeanlagen GmbH, 8500 Nürnberg | Verfahren zur aufbereitung elektrischer signale mit einer digitalen filteranordnung |
| US4956808A (en) * | 1985-01-07 | 1990-09-11 | International Business Machines Corporation | Real time data transformation and transmission overlapping device |
| JP2884163B2 (ja) * | 1987-02-20 | 1999-04-19 | 富士通株式会社 | 符号化伝送装置 |
| US4811404A (en) * | 1987-10-01 | 1989-03-07 | Motorola, Inc. | Noise suppression system |
| IL84948A0 (en) | 1987-12-25 | 1988-06-30 | D S P Group Israel Ltd | Noise reduction system |
| GB8801014D0 (en) * | 1988-01-18 | 1988-02-17 | British Telecomm | Noise reduction |
| US5479562A (en) * | 1989-01-27 | 1995-12-26 | Dolby Laboratories Licensing Corporation | Method and apparatus for encoding and decoding audio information |
| US5297236A (en) * | 1989-01-27 | 1994-03-22 | Dolby Laboratories Licensing Corporation | Low computational-complexity digital filter bank for encoder, decoder, and encoder/decoder |
| KR100220862B1 (ko) * | 1989-01-27 | 1999-09-15 | 쥬더 에드 에이. | 고품질 오디오용 저속 비트 변환 코더, 디코더 및 인코더/디코더 |
| DE3902948A1 (de) * | 1989-02-01 | 1990-08-09 | Telefunken Fernseh & Rundfunk | Verfahren zur uebertragung eines signals |
| CN1062963C (zh) * | 1990-04-12 | 2001-03-07 | 多尔拜实验特许公司 | 用于产生高质量声音信号的解码器和编码器 |
| JPH08506427A (ja) * | 1993-02-12 | 1996-07-09 | ブリテイッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | 雑音減少 |
| US5572621A (en) * | 1993-09-21 | 1996-11-05 | U.S. Philips Corporation | Speech signal processing device with continuous monitoring of signal-to-noise ratio |
| US5485515A (en) | 1993-12-29 | 1996-01-16 | At&T Corp. | Background noise compensation in a telephone network |
| US5715365A (en) * | 1994-04-04 | 1998-02-03 | Digital Voice Systems, Inc. | Estimation of excitation parameters |
| JPH08237130A (ja) * | 1995-02-23 | 1996-09-13 | Sony Corp | 信号符号化方法及び装置、並びに記録媒体 |
| US5706395A (en) * | 1995-04-19 | 1998-01-06 | Texas Instruments Incorporated | Adaptive weiner filtering using a dynamic suppression factor |
| FI100840B (fi) | 1995-12-12 | 1998-02-27 | Nokia Mobile Phones Ltd | Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin |
| WO1998006090A1 (en) * | 1996-08-02 | 1998-02-12 | Universite De Sherbrooke | Speech/audio coding with non-linear spectral-amplitude transformation |
| US5903866A (en) * | 1997-03-10 | 1999-05-11 | Lucent Technologies Inc. | Waveform interpolation speech coding using splines |
| US6351731B1 (en) * | 1998-08-21 | 2002-02-26 | Polycom, Inc. | Adaptive filter featuring spectral gain smoothing and variable noise multiplier for noise reduction, and method therefor |
-
2000
- 2000-02-08 US US09/499,985 patent/US6604071B1/en not_active Expired - Lifetime
- 2000-02-09 KR KR1020067019836A patent/KR100828962B1/ko active IP Right Grant
- 2000-02-09 AT AT00913413T patent/ATE357724T1/de not_active IP Right Cessation
- 2000-02-09 DE DE60034026T patent/DE60034026T2/de not_active Expired - Lifetime
- 2000-02-09 KR KR1020017010082A patent/KR100752529B1/ko active IP Right Grant
- 2000-02-09 CA CA002476248A patent/CA2476248C/en not_active Expired - Lifetime
- 2000-02-09 ES ES00913413T patent/ES2282096T3/es not_active Expired - Lifetime
- 2000-02-09 EP EP00913413A patent/EP1157377B1/en not_active Expired - Lifetime
- 2000-02-09 JP JP2000599013A patent/JP4173641B2/ja not_active Expired - Fee Related
- 2000-02-09 CA CA002362584A patent/CA2362584C/en not_active Expired - Lifetime
- 2000-02-09 DK DK00913413T patent/DK1157377T3/da active
- 2000-02-09 WO PCT/US2000/003372 patent/WO2000048171A1/en active IP Right Grant
- 2000-02-09 BR BR0008033-0A patent/BR0008033A/pt not_active Application Discontinuation
- 2000-02-09 EP EP06118327.3A patent/EP1724758B1/en not_active Expired - Lifetime
-
2001
- 2001-10-02 US US09/969,405 patent/US6542864B2/en not_active Expired - Lifetime
-
2006
- 2006-09-14 JP JP2006249135A patent/JP4512574B2/ja not_active Expired - Lifetime
-
2007
- 2007-04-24 HK HK07104366.1A patent/HK1098241A1/zh not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006503330A (ja) * | 2002-10-17 | 2006-01-26 | クラリティー テクノロジーズ インコーポレイテッド | サブバンド音声信号のノイズ削減 |
| JP2008065090A (ja) * | 2006-09-07 | 2008-03-21 | Toshiba Corp | ノイズサプレス装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2362584A1 (en) | 2000-08-17 |
| HK1098241A1 (zh) | 2007-07-13 |
| US20020029141A1 (en) | 2002-03-07 |
| ATE357724T1 (de) | 2007-04-15 |
| DE60034026T2 (de) | 2007-12-13 |
| DK1157377T3 (da) | 2007-04-10 |
| JP2007004202A (ja) | 2007-01-11 |
| EP1157377B1 (en) | 2007-03-21 |
| JP4512574B2 (ja) | 2010-07-28 |
| CA2476248C (en) | 2009-10-06 |
| US6542864B2 (en) | 2003-04-01 |
| CA2362584C (en) | 2008-01-08 |
| KR100828962B1 (ko) | 2008-05-14 |
| JP4173641B2 (ja) | 2008-10-29 |
| KR100752529B1 (ko) | 2007-08-29 |
| DE60034026D1 (de) | 2007-05-03 |
| ES2282096T3 (es) | 2007-10-16 |
| EP1724758A3 (en) | 2007-08-01 |
| BR0008033A (pt) | 2002-01-22 |
| EP1724758A2 (en) | 2006-11-22 |
| EP1157377A1 (en) | 2001-11-28 |
| WO2000048171A8 (en) | 2001-04-05 |
| US6604071B1 (en) | 2003-08-05 |
| KR20010102017A (ko) | 2001-11-15 |
| WO2000048171A1 (en) | 2000-08-17 |
| CA2476248A1 (en) | 2000-08-17 |
| KR20060110377A (ko) | 2006-10-24 |
| EP1724758B1 (en) | 2016-04-27 |
| WO2000048171A9 (en) | 2001-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4512574B2 (ja) | 音声活動に基づくゲイン制限による音声強化についての方法、記録媒体、及び装置 | |
| McAulay et al. | Sinusoidal coding | |
| KR100956624B1 (ko) | 고대역 버스트 억제를 위한 시스템, 방법, 및 장치 | |
| JP5405456B2 (ja) | ピッチ調整コーディング及び非ピッチ調整コーディングを使用する信号符号化 | |
| JP4166673B2 (ja) | 相互使用可能なボコーダ | |
| Martin et al. | New speech enhancement techniques for low bit rate speech coding | |
| JP2004502977A (ja) | サブバンド指数平滑雑音消去システム | |
| WO2000017855A1 (en) | Noise suppression for low bitrate speech coder | |
| EP1386313B1 (en) | Speech enhancement device | |
| RU2719543C1 (ru) | Устройство и способ для определения предварительно определенной характеристики, относящейся к обработке искусственного ограничения частотной полосы аудиосигнала | |
| JP7008756B2 (ja) | デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置 | |
| JP5295372B2 (ja) | デジタルオーディオ信号におけるプリエコーの減衰 | |
| JPH07199997A (ja) | 音声信号の処理システムにおける音声信号の処理方法およびその処理における処理時間の短縮方法 | |
| JPH113094A (ja) | ノイズ除去装置 | |
| KR20180010115A (ko) | 스피치를 향상하는 장치 | |
| Virette et al. | Analysis of background noise reduction techniques for robust speech coding | |
| Krishnamoorthy et al. | Processing noisy speech for enhancement | |
| Un et al. | Piecewise linear quantization of linear prediction coefficients | |
| JP2002175100A (ja) | 適応型雑音抑圧音声符号化装置 | |
| JP2002366172A (ja) | ピッチ成分を抑圧した線形予測分析方法及び線形予測分析回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060612 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060803 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080814 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4173641 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |