JP2002502993A - ノイズ補償されたスピーチ認識システムおよび方法 - Google Patents

ノイズ補償されたスピーチ認識システムおよび方法

Info

Publication number
JP2002502993A
JP2002502993A JP2000530903A JP2000530903A JP2002502993A JP 2002502993 A JP2002502993 A JP 2002502993A JP 2000530903 A JP2000530903 A JP 2000530903A JP 2000530903 A JP2000530903 A JP 2000530903A JP 2002502993 A JP2002502993 A JP 2002502993A
Authority
JP
Japan
Prior art keywords
noise
speech
speech recognition
input signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000530903A
Other languages
English (en)
Other versions
JP4750271B2 (ja
JP2002502993A5 (ja
Inventor
サイ、ギルバート・シー
ビー、ニン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2002502993A publication Critical patent/JP2002502993A/ja
Publication of JP2002502993A5 publication Critical patent/JP2002502993A5/ja
Application granted granted Critical
Publication of JP4750271B2 publication Critical patent/JP4750271B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)

Abstract

(57)【要約】 ノイズの存在においてスピーチ認識精度を改善するためのシステムおよび方法が提供される。スピーチ認識訓練ユニットは認識時にアクセスされ得るスピーチデータベースにデジタル化されたスピーチサンプルを記憶するため修正される。改良された認識ユニットは、可聴周波環境に存在するノイズ特徴を連続的に分析し、似た特徴の算定ノイズ信号を作るノイズ分析、モデルおよび合成ユニットを含む。認識ユニットはそのとき、スピーチデータベースの各スピーチサンプルに算定されたノイズ信号を加算し、結果としての合計でパラメタ決定を実行することにより、ノイズ補償テンプレートデータベースを構成する。この手順は、認識されるべき語を悪化させる実際のノイズ信号と似た特徴を有する算定ノイズ信号を使用している全てのテンプレートを再訓練することにより、認識フェイズにおいてノイズの存在を計算に入れる。この方法は認識精度を向上する良いテンプレート相手の可能性を改善する。

Description

【発明の詳細な説明】
【０００１】 発明の背景 I．発明の分野 本発明はスピーチ処理に関する。なお特に、本発明は話された語または句の自
動認識のシステムおよび方法に関する。 II．関連技術の記述 スピーチ信号のデジタル処理は、特にセルラー電話およびPCS応用において広 範囲にわたる使用を見出された。１つのデジタルスピーチ処理技術がスピーチ認
識の技術である。スピーチ認識の使用は安全性の理由による重要性を得ている。
例えば、スピーチ認識はセルラー電話キーパッドの押しボタンの手動作業に置き
換って使用されるかもしれない。これはユーザが自動車を運転している間に電話
コールを開始するとき特に重要である。スピーチ認識なしに電話を使用するとき
、運転者はハンドルから片手を離し、コールをダイヤルするボタンを押す間電話
キーパッドを見なくてはならない。これらの行為は自動車事故の可能性を増大す
る。スピーチ認識は、運転者が道路を連続的に見守りハンドルに両手を維持しな
がら電話コールをかけることを可能にする。スピーチ認識を含んでいるハンドフ
リーカーキットは安全理由のため将来システムにおいて多分法律によって要求さ
れるであろう。
【０００２】 今日使用にある最も普通の型の話者依存スピーチ認識は２つのフェイズ、訓練
フェイズおよび認識フェイズで作動する。訓練フェイズにおいて、スピーチ認識
システムは、ユーザが一度または二度語彙の各語を話すことをうながし、それに
よってシステムはこれら特定の語または句に対するユーザスピーチの特徴を学ぶ
ことができる。認識語彙サイズは典型的に小さく（50語以下）、スピーチ認識シ
ステムは、それを訓練させたユーザにのみ高い認識精度を達成するであろう。ハ
ンドフリーカーキットシステムの例示的語彙は、普通電話をかける同僚、友達あ
るいは家族メンバーの20名と同様に、キーパッドに数字、キーワード“コール”
、“センド”、“ダイヤル”、“キャンセル”、“クリア”、“アッド”、“デ
リート”、“ヒストリー”、“プログラム”、“イエス”、および“ノー”を含
む。一度訓練が完了すると、ユーザは訓練されたキーワードを話すことによりコ
ールを認識フェイズに開始できる。例えば、もし名前“ジョン”が訓練された名
前の１つであったなら、ユーザは句“コールジョン”と言うことによりジョンに
コールを開始できる。スピーチ認識システムは“コール”と“ジョン”の語を認
識し、ユーザがジョンの電話番号として既に入力した番号をダイヤルする。
【０００３】 話者依存スピーチ認識システムの訓練ユニット６のブロック図が図１に示され
る。訓練ユニット６は入力s(n)として、訓練されるべき語または句の一組のデジ
タル化されたスピーチサンプルを受ける。スピーチ信号s(n)はパラメタ決定ブロ
ック７を通され、特定の語または句のユーザの発音の特徴をとらえているＮパラ
メタ{ p(n) ｎ＝1…N}のテンプレートを発生する。パラメタ決定ユニット７は多
くのスピーチパラメタ決定技術の何れかを実行してもよく、その多くは技術にお
いてよく知られている。パラメタ決定技術の例示的実施例は、本発明の譲受け人
に譲渡され、ここに引用文献として組込まれた“可変レートボコーダ”と題する
U.S．特許No．5,414,796に記述されたボコーダエンコーダである。パラメタ決定
技術の代わりの実施例は高速フーリエ変換(FFT)であり、ここにNパラメタはN FF
T係数である。他の実施例はFFT係数に基づいたパラメタを引き出す。各話された
語または句はテンプレートデータベース８に記憶されたNパラメタの1つのテンプ
レートを発生する。訓練がM語彙語について完成された後、テンプレートデータ ベース８はMテンプレートを含み、各々Nパラメタを含んでいる。テンプレートデ
ータベース８は不揮発性メモリのある型に記憶され、そのためパワーがターンオ
フされたときテンプレートは常駐する。
【０００４】 図２は話者依存スピーチ認識システムの認識フェイズ中作動するスピーチ認識
ユニット10のブロック図である。スピーチ認識ユニット10は全般的に訓練ユニッ
ト６からのテンプレートデータベース８であるテンプレートデータベース14を含
む。スピーチ認識ユニット10への入力は、認識されるべきスピーチであるデジタ
ル化された入力スピーチｘ(n)である。入力スピーチｘ(n)がパラメタ決定ブロッ
ク12に通され、訓練ユニット６のパラメタ決定ユニット７と同じパラメタ決定技
術を実行する。パラメタ決定ブロック12は入力スピーチｘ(n)の特徴をモデルに するNパラメタ｛t(n) n=1…N｝の認識テンプレートを発生する。認識テンプレー
トt(n)はそれからパターン比較ブロック16へ通され、テンプレートt(n)およびテ
ンプレートデータベース14に記憶された全てのテンプレート間でパターン比較を
実行する。テンプレートt(n)およびテンプレートデータベース14の各テンプレー
ト間の隔たりが決定ブロック18に転送され、認識テンプレートt(n)に最も近い相
手となるテンプレートをテンプレートデータベース14から選択する。決定ブロッ
ク18の出力は語彙の語が話されたときの決定である。
【０００５】 認識システムがいかに良く語彙の話された語または句を正確に認識するかで認
識精度が測定される。例えば、95%の認識精度は認識ユニットが語彙の語を100の
内95回正確に認識することを示す。伝統的なスピーチ認識システムにおいて、認
識精度はノイズの存在でひどく低下される。精度損失の主な理由は、訓練フェイ
ズが典型的に静かな環境で起るが、認識は典型的にノイズ環境で起ることである
。例えば、ハンドフリーカーキットスピーチ認識システムは自動車がガレージに
位置するか車道に駐車される間に通常訓練され、それ故エンジンおよびエアコン
は運転しておらず、窓は通常閉められる。しかし、認識は通常自動車が動いてい
る間に使用され、それ故エンジンは運転しており、道路や風のノイズが存在し、
窓は開いているかもしれない。訓練および認識フェイズ間のノイズレベルの不均
衡のため、認識テンプレートは訓練中に得られた何れのテンプレートとも良好な
相手を形成しない。これは認識間違いまたは失敗の可能性を増大する。
【０００６】 図３はノイズの存在でスピーチ認識を実行しなくてはならないスピーチ認識ユ
ニット20を示す。図３に示されるように、合計器22がノイズ悪化されたスピーチ
信号ｒ(n)を発生するようにスピーチ信号ｘ(n)とノイズ信号ｗ(n)を加算する。 合計器22はシステムの物理的な要素ではなく、ノイズ環境の人工物であることが
理解されるであろう。ノイズ悪化されたスピーチ信号ｒ(n)はパラメタ決定ブロ ック24に入力され、それはノイズ悪化テンプレートt1(n)を発生する。パターン 比較ブロック28はテンプレートt1(n)を静かな環境で構成されたテンプレートデ ータベース26の全てのテンプレートと比較する。ノイズ悪化テンプレートt1(n) が訓練テンプレートの何れとも正確に相手とならないので、決定ブロック30によ
り発生された決定は認識間違いまたは失敗である高い可能性がある。
【０００７】 発明の概要 本発明はノイズの存在で話された語または句の自動認識のシステムおよび方法
である。話者依存スピーチ認識システムは２つのフェイズ、訓練フェイズおよび
認識フェイズで作動する。伝統的スピーチ認識システムの訓練フェイズにおいて
、ユーザが特定語彙の全ての語または句を話すことをうながす。各語または句の
デジタルスピーチサンプルが話された語を特徴付けるパラメタのテンプレートを
発生するように処理される。訓練フェイズの出力はかかるテンプレートのライブ
ラリである。認識フェイズにおいて、ユーザは所望の動作を開始するため特定の
語または句を話す。話された語または句はデジタル化されテンプレートを発生す
るために処理され、それは訓練中に発生された全てのテンプレートと比較される
。最も近い相手が実行されるであろう動作を決定する。スピーチ認識システムの
精度を制限する主たる害はノイズの存在である。このノイズはテンプレートデー
タベースが作られた訓練中に存在しなかったので、認識中のノイズの付加は認識
精度をひどく低下させる。発明は認識精度を改善するため認識のときに存在する
特定のノイズ状態を勘案する必要を認識する。
【０００８】 パラメタのテンプレートを記憶する代わりに、改良されたスピーチ処理システ
ムおよび方法は、訓練フェイズにおいて各話された語または句のデジタル化され
たスピーチサンプルを記憶する。訓練フェイズ出力はそれ故デジタル化されたス
ピーチデータベースである。認識フェイズにおいて、可聴周波環境のノイズ特徴
が連続的に監視される。認識を開始するためユーザが語または句を話すとき、ス
ピーチデータベースの各信号にノイズ信号を加算し、各スピーチプラスノイズ信
号のパラメタ決定を実行することにより、ノイズ補償テンプレートデータベース
が構成される。この加算されたノイズ信号の一実施例は、実際のノイズの特徴に
似た特徴を有する人為的に合成されたノイズ信号である。代わりの実施例はユー
ザが認識を開始するため語または句を話す直前に起ったノイズのタイムウインド
ウの記憶である。テンプレートデータベースが認識されるべき話された語または
句に存在するノイズと同じ型を使用して構成されるので、スピーチ認識ユニット
はテンプレート間で良好な相手を見出し得、認識精度を改善する。
【０００９】 本発明の特長、目的および利点は、同じ参照符号が対応している同一物を示す
図面と共に理解されるとき以下に示す詳細な記述からより明らかになるであろう
。
【００１０】 好ましい実施例の詳細な記述 この発明はノイズが存在するときスピーチ認識精度を改善するシステムおよび
方法を提供する。計算機パワーおよびメモリ集積度における最近の進歩を利用し
、認識中のノイズの存在を計算に入れるように訓練および認識フェイズを修正す
る。スピーチ認識ユニットの機能は、ノイズ悪化されたスピーチに計算された認
識テンプレートに最も近い相手を見出すことである。ノイズの特徴が時間および
位置とともに変わるので、発明はテンプレートデータベースを構成する最良時間
が認識フェイズ中であることを認識する。
【００１１】 図４はスピーチ認識システムの改良された訓練ユニット40のブロック図を示す
。図１に示された伝統的な訓練方法に対立するものとして、訓練ユニット40はパ
ラメタ決定ステップを除去するために修正される。パラメタのテンプレートを記
憶する代わりに、実際の語または句のデジタル化されたスピーチサンプルが記憶
される。かくして、訓練ユニット40は入力スピーチサンプルｓ(n)として受け、 スピーチデータベース42にデジタル化されたスピーチサンプルｓ(n)を記憶する 。訓練後スピーチデータベース42はMスピーチ信号を含み、ここにMは語彙の語の
数である。パラメタ決定を実行する従来のシステムおよび方法がスピーチパラメ
タのみを記憶することによりスピーチの特徴についての情報を失うのに対し、こ
のシステムおよび方法は認識フェイズで使用の全てのスピーチ情報を保存しても
よい。
【００１２】 図５は訓練ユニット40と組合せて使用する改良されたスピーチ認識ユニット50
のブロック図を示す。スピーチ認識ユニット50への入力はノイズ悪化されたスピ
ーチ信号r(n)である。ノイズ悪化されたスピーチ信号r(n)はスピーチ信号x(n)を
ノイズ信号w(n)と加算している合計器52により発生される。前述のように合計器
52はシステムの物理的要素ではなく、ノイズ環境の人工物である。
【００１３】 スピーチ認識ユニット50はスピーチデータベース60を含み、それは訓練フェイ
ズ中に記憶されたデジタル化されたスピーチサンプルを含む。スピーチ認識ユニ
ット50はまたパラメタ決定ブロック54を含み、ノイズ悪化されたスピーチ信号r(
n)がノイズ悪化されたテンプレートt1(n)を作るためにそれを通過される。伝統 的な音声認識システムとしてパラメタ決定ブロック54は多くのスピーチパラメタ
決定技術の何れかを実行してもよい。
【００１４】 例示的パラメタ決定技術は線形予測コーディング（LPC）分析技術を使用する 。LPC分析技術はデジタルフィルタとして声道をモデルにする。LPC分析の使用で
、LPCケプストル係数c(m)がスピーチ信号を表わすためのパラメタであるように 計算され得る。係数c(m)は以下のステップを使用して計算される。第1に、ノイ ズ悪化されたスピーチ信号r(n)がウインドウ関数v(n)を適用することによりスピ
ーチサンプルのフレームに窓をかけられる：
【数１】 例示的実施において、ウインドウ関数v(n)はハミングウインドウであり、フレー
ムサイズNは160に等しい。次に、自己相関係数が等式を使用して窓をかけられた
サンプルについて計算される：
【数２】 例示的実施例において、P、計算されるべき自己相関係数の数はLPC予測器のオ
ーダーに等しく、それは10である。LPC係数はそのときダービン（Dnrbin）の再 帰アルゴリズムを使用して自己相関値から直接計算される。アルゴリズムは以下
のように開始され得る：
【数３】
【数４】
【数５】
【数６】
【数７】
【数８】 ６．もしｉ<Pならｉ＝ｉ＋１で［数４］へ行く （８
）
【数９】 ７．LPC係数の最終解が以下として与えられる LPC係数はそれから以下の等式を使用してLPCケプストル係数に変換される：
【数１０】
【数１１】
【数１２】 LPCケプストル係数の代わりに他の技術がパラメタ決定のために使用され得るこ とが理解されるであろう。
【００１５】 加えて、信号r(n)はスピーチの存在または不存在を決定するスピーチ検出ブロ
ック56へ通される。スピーチ検出ブロック56は多くの技術の何れかを使用してス
ピーチの存在または不存在を決定する。かかる方法の１つは“可変レートボコー
ダ”と題する前述のU.S.特許No．5,414,796に記述される。この技術はスピーチ の存在または不存在に関して決定をするためにスピーチ活動のレベルを分析する
。スピーチ活動のレベルは背景ノイズエネルギー見積もりとの比較において信号
のエネルギーに基礎を置かれる。第1に、エネルギーE(n)が各フレームについて 計算され、それは好ましい実施例において160サンプルで構成される。背景ノイ ズエネルギー見積もりB(n)はそれから等式を使用して計算され得る：
【数１３】 もしB(n) <160000なら、閾値は以下のようにB(n)を使用して計算される：
【数１４】
【数１５】
【数１６】 もしB(n) >160000なら、３つの閾値が以下のように計算される：
【数１７】
【数１８】
【数１９】 このスピーチ検出方法は、エネルギーE(n)が閾値Ｔ2(B(n)）より大きいときにス
ピーチの存在を示し、エネルギーE(n)が閾値Ｔ2(B(n)）より小さいときスピーチ
の不存在を示す。代わりの実施例において、この方法は背景ノイズエネルギー見
積もりおよび２つまたはそれ以上の周波数帯域における閾値を計算するために拡
張され得る。加えて、数式［数１３］−［数１９］により提供された値は実験的
に決定され、環境に依存して修正されてもよい。
【００１６】 スピーチ検出ブロック56がスピーチが存在しないと決定したとき、それはノイ
ズ分析、モデルおよび合成ブロック58を可能にさせる制御信号を送る。スピーチ
の不存在において、受けられた信号ｒ(n)はノイズ信号w(n)と同じであることが 注目されるであろう。
【００１７】 ノイズ分析、モデルおよび合成ブロック58が可能にされるとき、それはノイズ
信号ｒ(n)の特徴を分析し、それをモデルにし、かつ実際のノイズw(n)に似た特 徴を有するノイズ信号w1(n)を合成する。ノイズ分析、モデルおよび合成を行な う例示的実施例は本発明の譲受け人に譲渡され、ここに引用文献として組込まれ
た“エコーキャンセラーにおけるノイズ置換システムおよび方法”と題するU.S ．特許No．5,646,991に開示される。この方法はノイズ信号ｒ(n)を以下により与
えられる予測誤差フィルタを通すことによりノイズ分析を実行する：
【数２０】 ここにP、予測器のオーダは例示的実施例において５である。LPC係数ａiは式［ 数１］から［数９］を使用して前に説明されたように計算される。一度LPC係数 が得られたなら、合成されたノイズサンプルはホワイトノイズが以下により与え
られるノイズ合成フィルタを通すことにより同じスペクトル特性で発生され得る
：
【数２１】 それはノイズ分析のために使用されたフィルタのちょうど逆である。合成された
ノイズエネルギーを実際のノイズエネルギーに等しくするため、各合成されたノ
イズサンプルにスケール係数を適用した後出力は合成されたノイズw1(n)である 。
【００１８】 合成されたノイズw1(n)は、合成されたノイズ悪化スピーチサンプルの組を発 生するため合計器62によりスピーチデータベース60にあるデジタルスピーチサン
プルの各組に加算される。それから、合成されたノイズ悪化スピーチサンプルの
各組はパラメタ決定ブロック64を通され、それはパラメタ決定ブロック54で使用
されたような同じパラメタ決定技術を使用している合成されたノイズ悪化スピー
チサンプルの各組のパラメタの組を発生する。パラメタ決定ブロック64は各組の
スピーチサンプルのパラメタのテンプレートを生成し、そのテンプレートはノイ
ズ補償されたテンプレートデータベース66に記憶される。ノイズ補償されたテン
プレートデータベース66は、もし伝統的な訓練が認識中に存在するのと同じ型の
ノイズで起ったなら構成される一組のテンプレートである。U.S.特許Ｎo．5,646
,991に開示された方法に加えて、見積もられたノイズw1(n)を生成する多くの可 能な方法があることを注目せよ。代わりの実施例は、ユーザが黙っているときに
存在する実際のノイズのタイムウインドウを単純に記憶し、このノイズ信号を見
積もられたノイズw1(n)として使用することである。認識されるべき語または句 が話される前に適切に記憶されたノイズのタイムウインドウがこの方法の例示的
実施例である。また他の方法は特定の期間中得られたノイズの種々のウインドウ
を平均することである。
【００１９】 図５を参照すると、パターン比較ブロック68がノイズ悪化テンプレートt1(n) をノイズ補償テンプレートデータベース66の全てのテンプレートと比較する。ノ
イズの影響がノイズ補償テンプレートデータベース66のテンプレートに含まれる
ので、決定ブロック70はt1(n)の良好な相手を見出し得る。この方法でノイズの 影響を計算に入れることにより、スピーチ認識システムの精度が改善される。
【００２０】 前述された好ましい実施例は技術に熟練した者なら誰でも本発明を作りまたは
使用することが可能なように提供された。これらの実施例に対する種々の修正が
技術に熟練した者に既に明らかであり、ここに定義された基本的原理は発明の才
能の使用なく他の実施例に適用されるかもしれない。かくして本発明はここに示
された実施例に限定されることを意図されず、ここに開示された原理および新規
な特徴を構成する最も広い範囲に従うべきである。
【図面の簡単な説明】
【図１】 スピーチ認識システムの訓練ユニットのブロック図である。
【図２】 スピーチ認識ユニットのブロック図である。
【図３】 ノイズにより悪化されたスピーチ入力のスピーチ認識を実行するスピーチ認識
ユニットのブロック図である。
【図４】 スピーチ認識システムの改良された訓練ユニットのブロック図である。
【図５】 例示的に改良されたスピーチ認識ユニットのブロック図である。
【符号の説明】
６、40…訓練ユニット、 ７…パラメタ決定ユニット、 ８、14、26、66…テ
ンプレートデータベース、 10、20、50…スピーチ認識ユニット、 12、24、54
、64…パラメタ決定ブロック、 16、28、68…パターン比較ブロック、 18、30
、70…決定ブロック、 22、52、62…合計器、 42、60…スピーチデータベース
、 56…スピーチ検出ブロック、 58…合成ブロック
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ， ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，Ｌ Ｔ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ， ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，Ｕ Ａ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 ビー、ニン アメリカ合衆国 カリフォルニア州 92126 サン・ディエゴ、カプリコーン・ ウエイ・ナンバー１ 8370 Ｆターム(参考） 5D015 CC07 GG01 GG04 HH06

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】 訓練されるべき語または句の信号を受け、前記各語または句
    のデジタル化されたサンプルを発生し、かつ前記デジタル化されたサンプルをス
    ピーチデータベースに記憶する訓練ユニットと、 認識されるべきノイズ悪化入力信号を受け、前記スピーチデータベースの前記
    デジタル化されたサンプルにノイズの影響を適用することによりノイズ補償され
    たテンプレートデータベースを発生し、かつ前記ノイズ補償されたテンプレート
    データベースに基づいて前記ノイズ悪化入力信号のスピーチ認識結果を提供する
    スピーチ認識ユニットとを含むスピーチ認識システム。
  2. 【請求項２】 前記スピーチ認識ユニットが、 前記ノイズ悪化入力信号を受け、予め決定されたパラメタ決定技術に従って前
    記入力信号を表わすパラメタのテンプレートを発生する第1のパラメタ決定ユニ ットと、 前記デジタル化されたサンプルに適用されたノイズの影響とともに前記スピー
    チデータベースを受け、前記予め決定されたパラメタ決定技術に従って前記ノイ
    ズ補償されたテンプレートデータベースを発生する第2のパラメタ決定ユニット と、 最良の相手を決定するため前記入力信号を表わすパラメタの前記テンプレート
    を前記ノイズ補償されたテンプレートデータベースのテンプレートと比較し、そ
    れにより前記スピーチ認識結果を確認するパターン比較ユニットとを含む請求項
    １のスピーチ認識システム。
  3. 【請求項３】 前記スピーチ認識ユニットが、 前記ノイズ悪化入力信号を受け、前記入力信号にスピーチが存在するか否かを
    決定し、前記入力信号にスピーチが存在しないと決定されたとき前記入力信号が
    ノイズ信号と指定されるスピーチ検出ユニットと、 スピーチが前記入力信号に存在しないことの決定により活動的にされるノイズ
    ユニットとを含み、前記ノイズユニットは前記ノイズ信号を分析し、前記ノイズ
    信号の特徴を有する合成されたノイズ信号に合成し、前記合成されたノイズ信号
    は前記スピーチデータベースの前記デジタル化されたサンプルにノイズの影響を
    適用する請求項１のスピーチ認識システム。
  4. 【請求項４】 前記スピーチ認識ユニットがさらに、 前記ノイズ悪化入力信号を受け、前記入力信号にスピーチが存在するか否かを
    決定し、前記入力信号にスピーチが存在しないと決定されたとき前記入力信号が
    ノイズ信号と指定されるスピーチ検出ユニットと、 スピーチが前記入力信号に存在しないことの決定により活動的にされるノイズ
    ユニットとを含み、前記ノイズユニットは前記ノイズ信号を分析し、前記ノイズ
    信号の特徴を有する合成されたノイズ信号に合成し、前記合成されたノイズ信号
    は前記スピーチデータベースの前記デジタル化されたサンプルにノイズの影響を
    適用する請求項２のスピーチ認識システム。
  5. 【請求項５】 前記パラメタ決定技術が線形予測コーディング（LPC）分析 技術である請求項２のスピーチ認識システム。
  6. 【請求項６】 前記パラメタ決定技術が線形予測コーディング（LPC）分析 技術である請求項４のスピーチ認識システム。
  7. 【請求項７】 前記スピーチ決定ユニットが前記入力信号のスピーチ活性化
    のレベルを分析することによりスピーチの存在を決定する請求項３のスピーチ認
    識システム。
  8. 【請求項８】 前記スピーチ決定ユニットが前記入力信号のスピーチ活性化
    のレベルを分析することによりスピーチの存在を決定する請求項４のスピーチ認
    識システム。
  9. 【請求項９】 前記ノイズユニットが線形予測コーディング（LPC）技術を 使用して分析し、前記合成されたノイズ信号に合成する請求項３のスピーチ認識
    システム。
  10. 【請求項１０】 前記合成されたノイズ信号が認識されるべき前記入力信号
    の前に適切に記憶された前記ノイズ信号のウインドウに対応する請求項３のスピ
    ーチ認識システム。
  11. 【請求項１１】 前記合成されたノイズ信号が時間の予定の期間に記憶され
    た前記ノイズ信号の種々のウインドウの平均に対応する請求項３のスピーチ認識
    システム。
  12. 【請求項１２】 前記ノイズユニットが線形予測コーディング（LPC）技術 を使用して分析し、前記合成されたノイズ信号に合成する請求項４のスピーチ認
    識システム。
  13. 【請求項１３】 前記合成されたノイズ信号が認識されるべき前記入力信号
    の前に適切に記憶された前記ノイズ信号のウインドウに対応する請求項４のスピ
    ーチ認識システム。
  14. 【請求項１４】 前記合成されたノイズ信号が時間の予定の期間に記憶され
    た前記ノイズ信号の種々のウインドウの平均に対応する請求項４のスピーチ認識
    システム。
  15. 【請求項１５】 訓練されるべき語または句の信号を受ける手段と、 前記各語または句のデジタル化されたサンプルを発生する手段と、 前記デジタル化されたサンプルをスピーチデータベースに記憶する手段とを含
    み、ノイズ環境の影響を計算に入れるスピーチ認識システムの訓練ユニット。
  16. 【請求項１６】 ノイズ環境の影響を計算に入れるスピーチ認識ユニットが
    、 語彙の語または句のデジタル化されたサンプルをスピーチデータベースに記憶
    する手段と、 前記語彙のノイズ悪化されたデジタルサンプルを発生するため、前記語彙の前
    記デジタルサンプルにノイズの影響を適用する手段と、 前記ノイズ悪化されたデジタルサンプルに基づいてノイズ補償されたテンプレ
    ートデータベースを発生する手段と、 前記ノイズ補償されたテンプレートデータベースに基づいて前記入力信号のス
    ピーチ認識結果を決定する手段とを含む入力信号を認識するスピーチ認識システ
    ムのスピーチ認識ユニット。
  17. 【請求項１７】 前記入力信号を受け、予め決定されたパラメタ決定技術に
    従って前記入力信号を表わすパラメタのテンプレートを発生する第1のパラメタ 決定手段と、 前記語彙の前記ノイズ悪化されたデジタルサンプルを受け、前記予め決定され
    たパラメタ決定技術に従って前記ノイズ補償されたテンプレートデータベースの
    ためのテンプレートを発生する第2のパラメタ決定手段とをさらに含み、 前記スピーチ認識結果を決定する手段が、最良の相手を決定するため前記入力
    信号を表わすパラメタの前記テンプレートを前記ノイズ補償されたテンプレート
    データベースのテンプレートと比較し、それにより前記スピーチ認識結果を確認
    する請求項16のスピーチ認識ユニット。
  18. 【請求項１８】 前記ノイズの影響を適用する手段が、 前記入力信号にスピーチが存在するか否かを決定し、前記入力信号にスピーチ
    が存在しないと決定されたとき前記入力信号がノイズ信号と指定される手段と、 前記ノイズ信号を分析し、合成されたノイズ信号に合成し、前記合成されたノ
    イズ信号は前記語彙の前記サンプルに加算される請求項16のスピーチ認識ユニッ
    ト。
  19. 【請求項１９】 前記ノイズの影響を適用する手段が、 前記入力信号にスピーチが存在するか否かを決定し、前記入力信号にスピーチ
    が存在しないと決定されたとき前記入力信号がノイズ信号と指定される手段と、 前記ノイズ信号を分析し、合成されたノイズ信号に合成し、前記合成されたノ
    イズ信号は前記語彙の前記サンプルに加算される請求項17のスピーチ認識ユニッ
    ト。
  20. 【請求項２０】 語彙に属している、訓練される各語または句のデジタル化
    されたサンプルを発生し、 前記デジタル化されたサンプルをスピーチデータベースに記憶し、 認識されるべき入力信号を受け、 前記語彙のノイズ悪化されたデジタルサンプルを発生するため、前記語彙の前
    記デジタルサンプルにノイズの影響を適用し、 前記ノイズ悪化されたデジタルサンプルに基づいてノイズ補償されたテンプレ
    ートデータベースを発生し、 前記ノイズ補償されたテンプレートデータベースに基づいて前記ノイズ悪化入
    力信号のスピーチ認識結果を提供するステップを含み、ノイズ環境の影響を計算
    に入れるスピーチ認識方法。
  21. 【請求項２１】 予定のパラメタ決定技術に従って前記入力信号を表わすパ
    ラメタのテンプレートを発生し、 前記予定のパラメタ決定技術に従って前記ノイズ補償されたテンプレートデー
    タベースのためのテンプレートを発生するステップをさらに含み、 前記スピーチ認識結果を提供するステップが最良の相手を決定するため前記入
    力信号を表わすパラメタの前記テンプレートを前記ノイズ補償されたテンプレー
    トデータベースの前記テンプレートと比較し、それにより前記スピーチ認識結果
    を確認する請求項20のスピーチ認識方法。
  22. 【請求項２２】 ノイズの影響を適用する前記ステップが、 前記入力信号にスピーチが存在するか否かを決定し、前記入力信号にスピーチ
    が存在しないと決定されたとき前記入力信号がノイズ信号と指定され、 前記ノイズ信号を分析し、合成されたノイズ信号に合成し、前記合成されたノ
    イズ信号は前記ノイズ悪化されたデジタルサンプルを発生するため前記語彙の前
    記デジタルサンプルに加算されるステップを含む請求項20のスピーチ認識方法。
  23. 【請求項２３】 ノイズの影響を適用する前記ステップが、 前記入力信号にスピーチが存在するか否かを決定し、前記入力信号にスピーチ
    が存在しないと決定されたとき前記入力信号がノイズ信号と指定され、 前記ノイズ信号を分析し、合成されたノイズ信号に合成し、前記合成されたノ
    イズ信号は前記ノイズ悪化されたデジタルサンプルを発生するため前記語彙の前
    記デジタルサンプルに加算されるステップを含む請求項21のスピーチ認識方法。
JP2000530903A 1998-02-04 1999-02-03 ノイズ補償されたスピーチ認識システムおよび方法 Expired - Lifetime JP4750271B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/018,257 US6381569B1 (en) 1998-02-04 1998-02-04 Noise-compensated speech recognition templates
US09/018,257 1998-02-04
PCT/US1999/002280 WO1999040571A1 (en) 1998-02-04 1999-02-03 System and method for noise-compensated speech recognition

Publications (3)

Publication Number Publication Date
JP2002502993A true JP2002502993A (ja) 2002-01-29
JP2002502993A5 JP2002502993A5 (ja) 2006-03-30
JP4750271B2 JP4750271B2 (ja) 2011-08-17

Family

ID=21787025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000530903A Expired - Lifetime JP4750271B2 (ja) 1998-02-04 1999-02-03 ノイズ補償されたスピーチ認識システムおよび方法

Country Status (9)

Country Link
US (2) US6381569B1 (ja)
EP (1) EP1058925B1 (ja)
JP (1) JP4750271B2 (ja)
KR (1) KR100574594B1 (ja)
CN (1) CN1228761C (ja)
AU (1) AU2577499A (ja)
DE (1) DE69916255T2 (ja)
HK (1) HK1035600A1 (ja)
WO (1) WO1999040571A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744887B1 (en) * 1999-10-05 2004-06-01 Zhone Technologies, Inc. Acoustic echo processing system
JP4590692B2 (ja) * 2000-06-28 2010-12-01 パナソニック株式会社 音響モデル作成装置及びその方法
US6631348B1 (en) * 2000-08-08 2003-10-07 Intel Corporation Dynamic speech recognition pattern switching for enhanced speech recognition accuracy
JP4244514B2 (ja) * 2000-10-23 2009-03-25 セイコーエプソン株式会社 音声認識方法および音声認識装置
US6999926B2 (en) * 2000-11-16 2006-02-14 International Business Machines Corporation Unsupervised incremental adaptation using maximum likelihood spectral transformation
US7236929B2 (en) * 2001-05-09 2007-06-26 Plantronics, Inc. Echo suppression and speech detection techniques for telephony applications
JP4240878B2 (ja) * 2001-12-13 2009-03-18 四一 安藤 音声認識方法及び音声認識装置
JP3885002B2 (ja) * 2002-06-28 2007-02-21 キヤノン株式会社 情報処理装置およびその方法
US7340397B2 (en) * 2003-03-03 2008-03-04 International Business Machines Corporation Speech recognition optimization tool
US20050228673A1 (en) * 2004-03-30 2005-10-13 Nefian Ara V Techniques for separating and evaluating audio and video source data
DE102004049347A1 (de) * 2004-10-08 2006-04-20 Micronas Gmbh Schaltungsanordnung bzw. Verfahren für Sprache enthaltende Audiosignale
US7797156B2 (en) * 2005-02-15 2010-09-14 Raytheon Bbn Technologies Corp. Speech analyzing system with adaptive noise codebook
US8219391B2 (en) * 2005-02-15 2012-07-10 Raytheon Bbn Technologies Corp. Speech analyzing system with speech codebook
CN1936829B (zh) * 2005-09-23 2010-05-26 鸿富锦精密工业（深圳）有限公司 声音输出系统及方法
US7729911B2 (en) * 2005-09-27 2010-06-01 General Motors Llc Speech recognition method and system
KR100751923B1 (ko) * 2005-11-11 2007-08-24 고려대학교 산학협력단 잡음환경에 강인한 음성인식을 위한 에너지 특징 보상 방법및 장치
US20070118372A1 (en) * 2005-11-23 2007-05-24 General Electric Company System and method for generating closed captions
CN100389421C (zh) * 2006-04-20 2008-05-21 北京理工大学 一种快速构造用于关键词检出任务的语音数据库的方法
WO2008126347A1 (ja) * 2007-03-16 2008-10-23 Panasonic Corporation 音声分析装置、音声分析方法、音声分析プログラム、及びシステム集積回路
US8868417B2 (en) * 2007-06-15 2014-10-21 Alon Konchitsky Handset intelligibility enhancement system using adaptive filters and signal buffers
US9343079B2 (en) 2007-06-15 2016-05-17 Alon Konchitsky Receiver intelligibility enhancement system
US8190440B2 (en) * 2008-02-29 2012-05-29 Broadcom Corporation Sub-band codec with native voice activity detection
US8615397B2 (en) * 2008-04-04 2013-12-24 Intuit Inc. Identifying audio content using distorted target patterns
US8433564B2 (en) * 2009-07-02 2013-04-30 Alon Konchitsky Method for wind noise reduction
DE102009059138A1 (de) 2009-12-19 2010-07-29 Daimler Ag Verfahren und Testsystem zum Testen eines Spracherkennungssystems
US20120143604A1 (en) * 2010-12-07 2012-06-07 Rita Singh Method for Restoring Spectral Components in Denoised Speech Signals
US9143571B2 (en) * 2011-03-04 2015-09-22 Qualcomm Incorporated Method and apparatus for identifying mobile devices in similar sound environment
EP2798534B1 (en) * 2011-12-31 2019-02-06 InterDigital Madison Patent Holdings Method and device for presenting content
CN103514878A (zh) * 2012-06-27 2014-01-15 北京百度网讯科技有限公司 声学建模方法及装置和语音识别方法及装置
US9293148B2 (en) 2012-10-11 2016-03-22 International Business Machines Corporation Reducing noise in a shared media session
CN103903616B (zh) * 2012-12-25 2017-12-29 联想(北京)有限公司 一种信息处理的方法及电子设备
CN103544953B (zh) * 2013-10-24 2016-01-20 哈尔滨师范大学 一种基于背景噪声最小统计量特征的声音环境识别方法
US9466310B2 (en) * 2013-12-20 2016-10-11 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Compensating for identifiable background content in a speech recognition device
US9858922B2 (en) 2014-06-23 2018-01-02 Google Inc. Caching speech recognition scores
US9299347B1 (en) * 2014-10-22 2016-03-29 Google Inc. Speech recognition using associative mapping
KR102137537B1 (ko) 2015-06-30 2020-07-27 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 잡음을 연관시키기 위한 그리고 분석하기 위한 방법 및 장치
US9786270B2 (en) 2015-07-09 2017-10-10 Google Inc. Generating acoustic models
CN105405447B (zh) * 2015-10-27 2019-05-24 航宇救生装备有限公司 一种送话呼吸噪声屏蔽方法
US10229672B1 (en) 2015-12-31 2019-03-12 Google Llc Training acoustic models using connectionist temporal classification
US20180018973A1 (en) 2016-07-15 2018-01-18 Google Inc. Speaker verification
CN106816154A (zh) * 2016-12-15 2017-06-09 北京青笋科技有限公司 一种具有智能降噪功能的灯具语音识别控制方法
KR102410820B1 (ko) * 2017-08-14 2022-06-20 삼성전자주식회사 뉴럴 네트워크를 이용한 인식 방법 및 장치 및 상기 뉴럴 네트워크를 트레이닝하는 방법 및 장치
US10706840B2 (en) 2017-08-18 2020-07-07 Google Llc Encoder-decoder models for sequence to sequence mapping
US10762905B2 (en) * 2018-07-31 2020-09-01 Cirrus Logic, Inc. Speaker verification
CN109256144B (zh) * 2018-11-20 2022-09-06 中国科学技术大学 基于集成学习与噪声感知训练的语音增强方法
CN109841227B (zh) * 2019-03-11 2020-10-02 南京邮电大学 一种基于学习补偿的背景噪声去除方法
CN110808030B (zh) * 2019-11-22 2021-01-22 珠海格力电器股份有限公司 语音唤醒方法、系统、存储介质及电子设备
EP3862782A1 (en) * 2020-02-04 2021-08-11 Infineon Technologies AG Apparatus and method for correcting an input signal

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4933973A (en) 1988-02-29 1990-06-12 Itt Corporation Apparatus and methods for the selective addition of noise to templates employed in automatic speech recognition systems
US5095503A (en) 1989-12-20 1992-03-10 Motorola, Inc. Cellular telephone controller with synthesized voice feedback for directory number confirmation and call status
ES2240252T3 (es) 1991-06-11 2005-10-16 Qualcomm Incorporated Vocodificador de velocidad variable.
US5307405A (en) 1992-09-25 1994-04-26 Qualcomm Incorporated Network echo canceller
DE4340679A1 (de) 1993-11-30 1995-06-01 Detecon Gmbh Sprachmodul für die akustische Wiedergabe von SAPI 3 Messages (Short Message Service) in einer Mobilstation (MS)
US5845246A (en) * 1995-02-28 1998-12-01 Voice Control Systems, Inc. Method for reducing database requirements for speech recognition systems
IL116103A0 (en) 1995-11-23 1996-01-31 Wireless Links International L Mobile data terminals with text to speech capability
US5778342A (en) * 1996-02-01 1998-07-07 Dspc Israel Ltd. Pattern recognition system and method
US5950123A (en) 1996-08-26 1999-09-07 Telefonaktiebolaget L M Cellular telephone network support of audible information delivery to visually impaired subscribers

Also Published As

Publication number Publication date
US20010001141A1 (en) 2001-05-10
CN1228761C (zh) 2005-11-23
AU2577499A (en) 1999-08-23
WO1999040571A1 (en) 1999-08-12
HK1035600A1 (en) 2001-11-30
KR20010040669A (ko) 2001-05-15
JP4750271B2 (ja) 2011-08-17
EP1058925B1 (en) 2004-04-07
KR100574594B1 (ko) 2006-04-28
DE69916255D1 (de) 2004-05-13
CN1296607A (zh) 2001-05-23
US6381569B1 (en) 2002-04-30
DE69916255T2 (de) 2005-04-14
EP1058925A1 (en) 2000-12-13

Similar Documents

Publication Publication Date Title
JP2002502993A (ja) ノイズ補償されたスピーチ認識システムおよび方法
EP1301922B1 (en) System and method for voice recognition with a plurality of voice recognition engines
EP2151821B1 (en) Noise-reduction processing of speech signals
EP2058803B1 (en) Partial speech reconstruction
US8639508B2 (en) User-specific confidence thresholds for speech recognition
JP2003524794A (ja) 雑音のある信号におけるスピーチのエンドポイント決定
JP2001510595A (ja) ボコーダに基づく音声認識装置
US6182036B1 (en) Method of extracting features in a voice recognition system
US20090210224A1 (en) System, method and program for speech processing
JP2000507714A (ja) 言語処理
JP2002536692A (ja) 分散された音声認識システム
JP2004536329A (ja) 分散型音声認識システムにおける音声認識のためのシステム及び方法
US20060165202A1 (en) Signal processor for robust pattern recognition
JPH075892A (ja) 音声認識方法
JP2002536691A (ja) 音声認識除去方式
CN112750445A (zh) 语音转换方法、装置和系统及存储介质
US20040107098A1 (en) Audio-visual codebook dependent cepstral normalization
JP2003330484A (ja) 音声認識装置及び音声認識方法
Sorin et al. The ETSI extended distributed speech recognition (DSR) standards: client side processing and tonal language recognition evaluation
Kim et al. Performance improvement of a bitstream-based front-end for wireless speech recognition in adverse environments
JPH07121197A (ja) 学習式音声認識方法
WO2008001991A1 (en) Apparatus and method for extracting noise-robust speech recognition vector by sharing preprocessing step used in speech coding
Genoud et al. Deliberate Imposture: A Challenge for Automatic Speaker Verification Systems.
JP3406672B2 (ja) 話者適応化装置
Hernando On the use of filter-bank energies driven from the autocorrelation sequence for noisy speech recognition.

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091203

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091214

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110519

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term