JP2002023790A - 音声特徴量抽出装置 - Google Patents
音声特徴量抽出装置Info
- Publication number
- JP2002023790A JP2002023790A JP2000212067A JP2000212067A JP2002023790A JP 2002023790 A JP2002023790 A JP 2002023790A JP 2000212067 A JP2000212067 A JP 2000212067A JP 2000212067 A JP2000212067 A JP 2000212067A JP 2002023790 A JP2002023790 A JP 2002023790A
- Authority
- JP
- Japan
- Prior art keywords
- noise reduction
- reduction system
- coefficient
- processing
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 22
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 230000005236 sound signal Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
に音声特徴量を抽出するための装置においては、入力音
声信号に対して最初タップ長Nのノイズリダクションシ
ステムで処理し、これをL点についてFFT処理してパ
ワースペクトル計算を行うと、N×L回の乗算と、(N
−1)×L回の和算を行う必要がある。 【解決手段】 ノイズを含んだ音声をマイク1から入力
し、窓関数処理部2で処理した後FFT処理部3でL点
についてFFT処理を行う。これをパワー算出部4にお
いて入力した音声のパワースペクトルを演算する。一
方、ノイズリダクションシステム5においては、予めこ
のシステムのフィルタ係数を求め、それを処理してノイ
ズリダクション係数を計算しておき、このノイズリダク
ションシステムにより前記パワースペクトルを処理する
ことによって、従来の装置の1/(4N−2)の処理量
となり、演算装置の処理負担が減少し、処理も速くな
る。
Description
識、ラウドネス補償システム等において、周囲のノイズ
を減少しつつ、パワースペクトラムを用いて音声の特徴
量を抽出する音声特徴量抽出装置に関する。
識装置、複数の人が話した中から特定の人の音声を識別
する話者認識装置、あるいは周囲のノイズを除去するラ
ウドネス補償システム等においては、対象とする特定の
音声を抽出するため、マイクから入力した音声のパワー
スペクトラムを求め、特定の音声を抽出する処理が行わ
れている。
ステムを採用する一分野としての音声認識装置におけ
る、例えば車両用ナビゲーション装置における目的地設
定などを音声によって入力する音声認識装置にこれを用
いる際には、車室内にはエンジン音、タイヤの摩擦音、
風切り音、更にはオーディオ音等種々のノイズが存在す
る。そのような中でマイクに入力される利用者の音声
は、ノイズによりSN比が低下して不明瞭な音声となっ
てしまい、このような状態では精度良く音声の特徴量を
とらえて正確な音声認識を行うことができなくなる。し
たがって、周囲に大きな雑音が存在する環境下で音声認
識装置を使用する際には、利用者の音声を周囲の雑音と
分離して処理することが、音声認識率を高める上で重要
な要件となっている。このようなことは車両用音声認識
装置に限らず、種々の分野で用いられている音声認識装
置において問題となるところであり、更に音声認識装置
に限らず、上記のような種々の音響技術分野で問題とな
る。
えば図3のブロック図に示すように、マイク30から入
力した周囲の雑音も含めた音声X(n)を、タップ長が
NのFIRフィルタを備えたノイズリダクションシステ
ム(NRシステム)31に入力する。このノイズリダク
ションシステムでは、サンプリング周波数をfs(H
z)としたとき、1/fs(秒)毎に動作を行う。
の信号を、ハニング窓やハミング窓32の窓関数部を通
し、サンプリングした1フレーム毎の間のデータ飛躍に
よる高周波成分の発生を防止し、これをL点について処
理するFFT演算部33に入力する。このFFT演算部
33では、1フレーム毎に高速フーリエ変換を行い、時
間軸信号を周波数成分に変換する。ここで得られたスペ
クトル信号X(n)・W(n)をパワー算出部34に入
力し、パワースペクトルの計算を行い、信号[X
(w)]2・[W(w)]2を得ている。
声特徴量抽出装置においては、このノイズリダクション
システム31でのサンプリング周波数をfs(Hz)と
し、FIRフィルタのタップ長をNとしたとき、1回の
処理を行うのにN回の乗算と(N−1)回の和算を行う
必要がある。その後、この特徴量を求めるためにFFT
演算部33に入力して処理を行うので、このときのFF
T演算部33の処理点数をL点とすると、L/2次の特
徴量ベクトルを出力するためには、ノイズリダクション
の出力がL点必要になる。そのため、結局このノイズリ
ダクションシステムではN×L回の乗算と、(N−1)
×L回の和算を行う必要がある。
声特徴量を抽出しようとして前記NやLの値を大きく設
定するとその演算処理量が莫大となり、この装置におけ
るプロセッサへの負担が大きくなる。そのため、処理速
度も遅くならざるを得ず、時には他の処理にも影響を与
え、システムの円滑な処理を行うことができなくなる。
また、前記NやLの値を小さくとると、当然正確な音声
特徴量の抽出は行うことができない。
際して従来と同様の正確な抽出性能を維持しつつ演算処
理量を削減し、プロセッサへの負担を軽くし、その処理
速度を上昇させることができるようにした音声特徴量抽
出装置を提供することを目的とする。
するため、予め使用するノイズリダクションシステムの
ノイズリダクションシステム係数を演算するノイズリダ
クションシステム係数演算手段と、被処理入力音声のパ
ワースペクトルベクトルを演算する入力音声パワースペ
クトル演算手段と、前記入力音声パワースペクトル演算
手段で得られたパワースペクトルベクトルを、前記ノイ
ズリダクションシステム係数演算部で得られた係数に設
定したノイズリダクションシステムにより演算処理する
ことを特徴とする音声特徴量抽出装置としたものであ
る。
数演算部は、使用するノイズリダクションシステムのフ
ィルタ係数を確定するフィルタ係数算出手段と、前記フ
ィルタ係数算出手段で得られたフィルタ係数をパワース
ペクトルベクトルに変換するパワー算出手段とからなる
ことを特徴とする前記音声特徴量抽出装置としたもので
ある。
音声と模擬音声の各信号を加算した信号に対して適応制
御を行い、タップ係数を得ることによりフィルタ係数を
算出するものであることを特徴とする前記音声特徴量抽
出装置としたものである。
イン調整処理を行うことを特徴とする前記音声特徴量抽
出装置としたものである。
ナビゲーション装置の音声認識装置に適用したものであ
る。
明する。図1は本発明による音声特徴量抽出装置の基本
的な機能ブロック図であり、前記従来の装置と同様の機
能ブロック部分は同様に示している。同図において、例
えば本発明による音声特徴量抽出装置が車両用ナビゲー
ション装置に適用される場合には、マイク1から目的地
設定等の種々の操作用、指示用の音声や、それに伴って
入力される周囲のエンジン音、タイヤの摩擦音、風切り
音等の周囲の騒音が、信号x(n)として窓関数部2に
入力される。
音声」は、この実施例においては利用者の音声と周囲の
ノイズを含んだ信号x(n)となる。この被処理入力音
声は窓関数部2において、前記従来例と同様にハニング
窓やハミング窓の窓関数を通すことにより、サンプリン
グした1フレーム毎の間のデータ飛躍による高周波成分
の発生防止等の処理がなされる。
3に入力する。このFFT演算部3では、1フレーム毎
に高速フーリエ変換を行い、時間軸信号を周波数成分に
変換する。ここで得られたスペクトル信号X(w)をパ
ワー算出部4に入力し、L/2次のパワースペクトルを
算出し出力信号[X(w)]2を得る。本発明において
は、このようにして得られた入力音声の特徴量であるL
/2次のパワースペクトルベクトルに対して、ノイズリ
ダクションシステム5によって従来と同様のノイズリダ
クション処理を行うこととなる。
ては、前記のように処理されて入力されるパワースペク
トル信号はL/2次であるので、このシステムにおいて
使用される係数値はL/2個となり、したがってここで
計算されるWmにおけるmの値は0からL/2まで行え
ば良いこととなる。
において、前記のようにL/2次の特徴量ベクトルを出
力する場合は、入力される音声のパワースペクトルを
ムの係数を、
演算量は、L/2回の乗算となるため、前記図3に示す
従来の音声特徴量抽出装置における、NタップのFIR
フィルタによる時間領域のノイズリダクション処理と比
較して、1/(4N−2)の演算量で済むこととなる。
を決定する係数については、例えば図2に示すようなノ
イズリダクション係数算出システムによって予め得てお
くことができる。ここで用いられるCNR係数を求める
システムのブロック図においては、従来から用いられて
いる1chの音声強調システムを応用した例を示してお
り、それにより比較的簡単なシステムにより前記係数算
出を行うことができる。
0で周囲の音声を入力する一方、所定の模擬音声信号を
発声する模擬音声発声部11からの信号を入力してこれ
にゲイン調整部12でゲイン調整を行い、これを加算器
13でマイク10の信号と加算し、一方、ゲイン調整後
の信号を遅延処理部14でm段(L/2段)の遅延を行
い信号d(n)を得る。前記加算器13で加算された信
号をタップ係数Wの適応フィルタ15で処理し信号y
(n)を得る。この信号と前記遅延処理部14からの信
号d(n)とを減算器16にかけ、その誤差信号e
(n)によりタップ係数Wを調整している。このような
制御により得られたタップ係数の値を、この適応フィル
タの係数、即ちこのノイズリダクションシステムのフィ
ルタ係数WCN Rとして求める。上記処理部分が、本発
明におけるフィルタ係数算出手段に相当する。
は、特徴量を求める際の前記FFTの処理点数と同じに
設定し、このようにして得られたこのノイズリダクショ
ンシステムの特性を示す適応フィルタ係数WCNRに対
してFFT演算部17でFFT処理する。これをパワー
算出部18に入力し、前記ノイズリダクションシステム
の係数を得る。上記処理部分が本発明におけるフィルタ
係数をパワースペクトルベクトルに変換するパワー算出
手段に相当し、前記フィルタ係数算出手段とこのパワー
算出手段によって、本発明のノイズリダクションシステ
ム係数演算手段が形成されている。
ン調整部12のゲインは、適応フィルタの出力y(n)
の歪みとSN比改善量とのトレードオフによって決めら
れる。即ち、ゲインを大きくすると、歪みは小さくなる
反面、SN比の改善量は小さくなり、逆にゲインを大き
くすると、歪みは大きくなるがSN比の改善量が大きく
なる。したがって使用するシステムの特性に合わせて、
前記ゲイン調整部12のゲインを調整する。
ダクションシステムの特性を求め、それにより予め確定
してたフィルタ係数WCNRをFFT処理し、パワーを
算出することによりパワードメインでのノイズリダクシ
ョン係数ベクトルが求まり、それにより予め前記式
(2)に示すようなL/2次のノイズリダクションシス
テムの係数が求められることとなる。
においては、パワー算出部4で得られた前記式(1)に
示すような音声のパワースペクトルベクトルに対して、
前記のように求められた式(2)のノイズリダクション
システム係数を用いたノイズリダクションシステム5に
より、式(4)の演算処理を行うことによって特徴量ベ
クトルを得ることができる。
出装置においては、予めノイズリダクションシステムの
特性を表すノイズリダクション係数を求めておき、音声
処理の最初にFFT処理してパワースペクトルを得て、
これに対して前記ノイズリダクションシステムで処理す
るため、従来の装置のように最初にノイズリダクション
システムで処理し、これをFFT処理するもののように
入力音声処理時の位相部分の処理が不要となり、その処
理負担は従来の装置の1/(4N−2)の処理量とな
り、しかも精度は従来のものとほとんど変わることがな
い高精度の音声特徴量抽出を行うことができるようにな
る。
ような車両用ナビゲーション装置の音声認識装置に限ら
ず、各種音声認識装置、更には話者認識装置、ラウドネ
ス補償システム等に広く用いることができる。
声特徴量の抽出に際して従来と同様の正確な抽出性能を
維持しつつ演算処理量を削減し、プロセッサへの負担を
軽くし処理速度を上げることができる。
算部が、使用するノイズリダクションシステムのフィル
タ係数を確定するフィルタ係数算出手段と、前記フィル
タ係数算出手段で得られたフィルタ係数をパワースペク
トルベクトルに変換するパワー算出手段とからなるもの
においては、予め使用するノイズリダクションシステム
のノイズリダクションシステム係数を簡単な手法により
容易に、且つ正確に求めることができる。
と模擬音声の各信号を加算した信号に対して適応制御を
行い、タップ係数を得ることによりフィルタ係数を算出
するようにしたものにおいては、予め使用するノイズリ
ダクションシステムのノイズリダクションシステム係数
を、従来から既に1chの音声強調システム等で用いら
れている方式を用いて容易に、且つ正確に求めることが
できる。
整処理を行うものにおいては、そのゲインを大きくする
と、歪みは小さくなる反面、SN比の改善量は小さくな
り、逆にゲインを大きくすると、歪みは大きくなるがS
N比の改善量が大きくなるので、使用するシステムの特
性に合わせてこれを調整することにより、所望の特性の
音声特徴量抽出装置を得ることができる。
ビゲーション装置の音声認識装置に適用したものにおい
ては、エンジン音やタイヤの摩擦音、更には風切り音
等、極めてノイズの多い音響上悪い環境条件下におい
て、しかも大型の高価な演算処理装置を採用することが
困難であり、且つ例えばナビゲーション装置の経路案内
処理等にもその演算処理装置を併用しなければならない
ような環境下において、本発明を有効に利用することが
できる。
る、主要処理部分を示す回路構成図である。
ムにおいて、予めそのノイズリダクションシステム係数
を求める例を示す回路構成図である。
処理部分を示す回路構成図である。
Claims (5)
- 【請求項1】 予め使用するノイズリダクションシステ
ムのノイズリダクションシステム係数を演算するノイズ
リダクションシステム係数演算手段と、 被処理入力音声のパワースペクトルベクトルを演算する
入力音声パワースペクトル演算手段と、 前記入力音声パワースペクトル演算手段で得られたパワ
ースペクトルベクトルを、前記ノイズリダクションシス
テム係数演算部で得られた係数に設定したノイズリダク
ションシステムにより演算処理することを特徴とする音
声特徴量抽出装置。 - 【請求項2】 前記ノイズリダクションシステム係数演
算部は、使用するノイズリダクションシステムのフィル
タ係数を確定するフィルタ係数算出手段と、前記フィル
タ係数算出手段で得られたフィルタ係数をパワースペク
トルベクトルに変換するパワー算出手段とからなること
を特徴とする請求項1記載の音声特徴量抽出装置。 - 【請求項3】 前記フィルタ係数算出手段は、入力音声
と模擬音声の各信号を加算した信号に対して適応制御を
行い、タップ係数を得ることによりフィルタ係数を算出
するものであることを特徴とする請求項2記載の音声特
徴量抽出装置。 - 【請求項4】 前記模擬音声信号に対して所定のゲイン
調整処理を行うことを特徴とする請求項3記載の音声特
徴量抽出装置。 - 【請求項5】 前記音声特徴量抽出装置を、車両用ナビ
ゲーション装置の音声認識装置に適用したことを特徴と
する請求項1記載の音声特徴量抽出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000212067A JP3877270B2 (ja) | 2000-07-12 | 2000-07-12 | 音声特徴量抽出装置 |
US09/891,876 US6959277B2 (en) | 2000-07-12 | 2001-06-26 | Voice feature extraction device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000212067A JP3877270B2 (ja) | 2000-07-12 | 2000-07-12 | 音声特徴量抽出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002023790A true JP2002023790A (ja) | 2002-01-25 |
JP3877270B2 JP3877270B2 (ja) | 2007-02-07 |
Family
ID=18708035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000212067A Expired - Fee Related JP3877270B2 (ja) | 2000-07-12 | 2000-07-12 | 音声特徴量抽出装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6959277B2 (ja) |
JP (1) | JP3877270B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7596709B2 (en) * | 2000-12-30 | 2009-09-29 | Intel Corporation | CPU power management based on utilization with lowest performance mode at the mid-utilization range |
US7716712B2 (en) * | 2003-06-18 | 2010-05-11 | General Instrument Corporation | Narrowband interference and identification and digital processing for cable television return path performance enhancement |
DE102004008225B4 (de) * | 2004-02-19 | 2006-02-16 | Infineon Technologies Ag | Verfahren und Einrichtung zum Ermitteln von Merkmalsvektoren aus einem Signal zur Mustererkennung, Verfahren und Einrichtung zur Mustererkennung sowie computerlesbare Speichermedien |
JP4235128B2 (ja) * | 2004-03-08 | 2009-03-11 | アルパイン株式会社 | 入力音処理装置 |
GB0427968D0 (en) * | 2004-12-21 | 2005-01-26 | Davy Process Technology Switze | Process |
GB2437559B (en) * | 2006-04-26 | 2010-12-22 | Zarlink Semiconductor Inc | Low complexity noise reduction method |
US9401058B2 (en) | 2012-01-30 | 2016-07-26 | International Business Machines Corporation | Zone based presence determination via voiceprint location awareness |
US20140025374A1 (en) * | 2012-07-22 | 2014-01-23 | Xia Lou | Speech enhancement to improve speech intelligibility and automatic speech recognition |
US9530407B2 (en) * | 2014-06-11 | 2016-12-27 | Honeywell International Inc. | Spatial audio database based noise discrimination |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1310709C (en) * | 1989-06-26 | 1992-11-24 | Simon Haykin | Adaptive interference canceller |
US5274560A (en) * | 1990-12-03 | 1993-12-28 | Audio Navigation Systems, Inc. | Sensor free vehicle navigation system utilizing a voice input/output interface for routing a driver from his source point to his destination point |
JP2797949B2 (ja) * | 1994-01-31 | 1998-09-17 | 日本電気株式会社 | 音声認識装置 |
FR2722631B1 (fr) * | 1994-07-13 | 1996-09-20 | France Telecom Etablissement P | Procede et systeme de filtrage adaptatif par egalisation aveugle d'un signal telephonique numerique et leurs applications |
US6263307B1 (en) * | 1995-04-19 | 2001-07-17 | Texas Instruments Incorporated | Adaptive weiner filtering using line spectral frequencies |
US5805696A (en) * | 1996-12-09 | 1998-09-08 | Lucent Technologies, Inc. | Echo canceller adaptation technique |
US6182036B1 (en) * | 1999-02-23 | 2001-01-30 | Motorola, Inc. | Method of extracting features in a voice recognition system |
-
2000
- 2000-07-12 JP JP2000212067A patent/JP3877270B2/ja not_active Expired - Fee Related
-
2001
- 2001-06-26 US US09/891,876 patent/US6959277B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US6959277B2 (en) | 2005-10-25 |
US20020022957A1 (en) | 2002-02-21 |
JP3877270B2 (ja) | 2007-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6173258B1 (en) | Method for reducing noise distortions in a speech recognition system | |
JP4283212B2 (ja) | 雑音除去装置、雑音除去プログラム、及び雑音除去方法 | |
JP4753821B2 (ja) | 音信号補正方法、音信号補正装置及びコンピュータプログラム | |
US9113241B2 (en) | Noise removing apparatus and noise removing method | |
WO2006123721A1 (ja) | 雑音抑圧方法およびその装置 | |
JP2003534570A (ja) | 適応ビームフォーマーにおいてノイズを抑制する方法 | |
EP3276621B1 (en) | Noise suppression device and noise suppressing method | |
CN110706719B (zh) | 一种语音提取方法、装置、电子设备及存储介质 | |
WO2006011104A1 (en) | Audio signal dereverberation | |
US7917359B2 (en) | Noise suppressor for removing irregular noise | |
JP3877270B2 (ja) | 音声特徴量抽出装置 | |
JP2836271B2 (ja) | 雑音除去装置 | |
JP4434813B2 (ja) | 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 | |
US7542577B2 (en) | Input sound processor | |
US20030033139A1 (en) | Method and circuit arrangement for reducing noise during voice communication in communications systems | |
JPH11265199A (ja) | 送話器 | |
JP2962572B2 (ja) | 雑音除去装置 | |
JP3270866B2 (ja) | 雑音除去方法および雑音除去装置 | |
JP3110201B2 (ja) | ノイズ除去装置 | |
WO2020110228A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP3279254B2 (ja) | スペクトル雑音除去装置 | |
US20160372132A1 (en) | Voice enhancement device and voice enhancement method | |
JP2005157086A (ja) | 音声認識装置 | |
US7155387B2 (en) | Noise spectrum subtraction method and system | |
US20160005418A1 (en) | Signal processor and method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061030 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091110 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |