JP2003150192A - 音声認識装置 - Google Patents

音声認識装置

Info

Publication number
JP2003150192A
JP2003150192A JP2001343091A JP2001343091A JP2003150192A JP 2003150192 A JP2003150192 A JP 2003150192A JP 2001343091 A JP2001343091 A JP 2001343091A JP 2001343091 A JP2001343091 A JP 2001343091A JP 2003150192 A JP2003150192 A JP 2003150192A
Authority
JP
Japan
Prior art keywords
voice
user
voice recognition
patterns
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001343091A
Other languages
English (en)
Other versions
JP4093394B2 (ja
Inventor
Hidehiko Kawakami
英彦 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2001343091A priority Critical patent/JP4093394B2/ja
Publication of JP2003150192A publication Critical patent/JP2003150192A/ja
Application granted granted Critical
Publication of JP4093394B2 publication Critical patent/JP4093394B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【課題】 認識率が高くなる発声パターンを比較的容易
に探し出すことが可能なようにする。 【解決手段】 本発明の音声認識装置は、入力した音声
と、記憶されている複数の比較対象パターン候補とを比
較して一致度が高いものを認識結果とするように構成さ
れたものにおいて、音声認識させたい1つの語彙につい
て、ユーザーが複数の発声パターンで発声したときに、
これら複数の発声パターンの音声を入力すると共に音声
認識し、これら複数の音声認識結果をユーザーに報知す
る報知手段を有する発声パターン確認メニューを備える
ように構成したものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えばナビゲーシ
ョンシステムに組み込むのに好適する装置であって、ナ
ビゲーションシステムにコマンドや目的地等を入力する
場合に音声による入力を可能にする音声認識装置に関す
る。
【0002】
【従来の技術】この種の音声認識装置においては、ユー
ザーが発声した音声を入力し、この入力した音声と、認
識辞書に記憶されている複数の比較対象パターン候補と
を比較(照合)して、一致度が高いものを認識結果とし
て出力するように構成されている。このような構成の音
声認識装置をナビゲーションシステムに組み込むと、ナ
ビゲーションシステムにコマンドや目的地等を入力する
場合に、音声による入力が可能となる。これにより、ナ
ビゲーションシステムを音声によって操作可能となるの
で、運転中のユーザーにとっても利用し易い装置とな
る。
【0003】
【発明が解決しようとする課題】ところで、上記した構
成の音声認識装置の場合、ユーザーがある1つの言葉を
発声する場合に、発声の仕方(即ち、発声パターン)を
変えると、認識率が変動する場合がある。
【0004】このため、ユーザーは、音声認識装置を実
際に使用するときに、試行錯誤的に発声パターンをいろ
いろ変えて、例えば、高い声にしたり、低い声にした
り、早口で発声したり、ゆっくり発声したりして、認識
率が高くなる発声パターンを探ることがある。しかし、
このような試行錯誤的な方法では、認識率が高くなる発
声パターンを探り出すのに効率が悪かった。
【0005】そこで、本発明の目的は、認識率が高くな
る発声パターンを比較的容易に探し出すことができる音
声認識装置を提供することにある。
【0006】
【課題を解決するための手段】請求項1の発明によれ
ば、音声認識させたい1つの語彙について、ユーザーが
複数の発声パターンで発声したときに、これら複数の発
声パターンの音声を入力すると共に音声認識して、これ
ら複数の音声認識結果を前記ユーザーに報知する報知手
段を有する発声パターン確認メニューを備えたので、こ
のメニューを実行することにより、ユーザーは、認識率
が高くなる発声パターンを比較的容易に探し出すことが
できる。
【0007】請求項2の発明によれば、ユーザーが複数
の発声パターンで発声する場合、連呼させると共に、無
音部を前記複数の発声パターンの区切りとするように構
成したので、複数の発声パターンの音声を連続的に入力
して音声認識させることができ、使い勝手が良くなる。
【0008】また、請求項3の発明のように、ユーザー
が複数の発声パターンで発声する場合に、操作スイッチ
を押すことにより、前記複数の発声パターンの区切りと
するように構成することが好ましい。
【0009】請求項4の発明によれば、前記報知手段
を、前記複数の音声認識結果を表示するディスプレイで
構成したので、ユーザーは、ディスプレイに表示された
複数の音声認識結果を視認することにより、認識率が高
くなる発声パターンを探し出すことができる。
【0010】
【発明の実施の形態】以下、本発明をカーナビゲーショ
ンシステムに適用した一実施例について図面を参照しな
がら説明する。まず、図1はカーナビゲーションシステ
ム1の全体構成を概略的に示すブロック図である。この
図1に示すように、カーナビゲーションシステム1は、
音声認識装置2とナビゲーション装置3とを備えて構成
されている。上記音声認識装置2には、マイク4とPT
T(Push-To-Talk)スイッチ5とスピーカ6とが接続さ
れている。
【0011】また、ナビゲーション装置3の具体的構成
を、図2に示す。この図2において、ナビゲーション装
置3の制御回路7は、マイクロコンピュータを含んで構
成されており、ナビゲーション装置3の運転全般を制御
する機能を有している。この制御回路7には、位置検出
器8、地図データ入力器9、操作スイッチ群10、外部
メモリ11、表示装置(ディスプレイ)12、リモコン
センサ13、送受信機14が接続されている。更に、制
御回路7には、上記音声入力装置2(の制御部15(図
4参照))が接続されている。
【0012】ここで、位置検出器8は、地磁気センサ1
6、ジャイロスコープ17、距離センサ18、GPS受
信機19を組み合わせたもので構成されている。尚、位
置検出器8を、地磁気センサ16、ジャイロスコープ1
7、距離センサ18、GPS受信機19の一部で構成し
ても良い。また、ステアリングの回転センサや転動輪の
回転センサ(いずれも図示しない)等を組み合せるよう
に構成しても良い。上記位置検出器8は、本実施例のカ
ーナビゲーションシステム1を搭載した車両の現在位置
を検出して現在位置検出信号を出力するように構成され
ている。
【0013】また、地図データ入力器9は、地図データ
やマップマッチングデータ等を入力するための装置であ
る。上記地図データ等のデータは、例えばCD−ROM
やDVD−ROMなどからなる記録媒体に記録されてい
る。尚、ハードディスクやメモリカード等に記録するよ
うに構成しても良い。
【0014】表示装置(報知手段)12は、例えば液晶
ディスプレイ等で構成されており、カラー表示が可能で
地図等を明確に表示できると共に、現在位置マークや誘
導経路付加データ等を地図上に重ねて表示できるもので
ある。操作スイッチ群10は、上記表示装置12の画面
の上面に設けられたタッチスイッチ(タッチパネル)
と、上記画面の周辺部に設けられたメカニカルなプッシ
ュスイッチ等から構成されている。
【0015】また、リモコンセンサ13は、ユーザーに
より操作されるリモコン13aから送信された送信信号
を受信する受信機である。送受信機14は、道路に設置
されたVICSセンサ20との間でデータを送受信する
機能を有していると共に、自動車電話網や携帯電話網等
を介してインターネットにアクセスする機能等も有して
いる。
【0016】そして、制御回路7は、ユーザーが操作ス
イッチ群10やリモコン13aを操作することにより目
的地を設定したときに、現在位置からその目的地までの
最適経路を自動的に選択設定する機能や、現在位置を地
図上に位置付けるマップマッチング処理を実行する機能
等を有している。
【0017】また、上記目的地等を設定する場合に、ユ
ーザーは、操作スイッチ群10やリモコン13aを操作
する代わりに、音声認識装置2を用いて音声で入力する
ことが可能なように構成されている。以下、上記音声認
識装置2について、図3を参照して説明する。
【0018】図3に示すように、音声認識装置2は、制
御部15、音声入力部21、音声認識部22及び音声合
成部23から構成されている。ここで、制御部15は、
音声認識装置2の動作全般を制御する機能を有してい
る。上記制御部15は、上記ナビゲーション装置3の制
御回路7に接続されており、これにより、制御回路7と
の間でデータの授受を行うように構成されている。
【0019】また、音声入力部21は、ユーザーが発し
た音声をマイク4を介して入力し、音声データ(例えば
デジタルデータ)を音声認識部22へ出力するように構
成されている。この場合、音声入力部21は、ユーザー
が例えばPTTスイッチ5を押し下げ操作すると、音声
データを音声認識部22へ出力するように構成されてい
る。これにより、ユーザーが発した音声の音声認識処理
が実行されるように構成されている。
【0020】音声認識部22は、上記音声入力部21か
ら与えられた音声データ(入力した音声)を制御部15
からの指示に従って音声認識処理を行い、その音声認識
結果を制御部15へ出力するように構成されている。上
記音声認識部22は、具体的には、図4に示すように、
照合部24及び辞書部25から構成されている。上記辞
書部25には、認識対象語彙(即ち、比較対象パターン
候補のデータ)及びこの認識対象語彙のツリー構造(周
知のデータ構造)から構成された辞書データが記憶され
ている。
【0021】また、照合部24は、音声入力部21から
与えられた音声データに対して、上記辞書部25に記憶
されている辞書データを用いて照合(認識)を行うよう
に構成されている。この場合、まず、音声データと辞書
データ内の複数の比較対象パターン候補とを比較して類
似度(即ち、両者の一致度合いを計算した値)を計算す
る。尚、この類似度を計算する処理は、既に知られてい
る照合処理用の制御プログラム(アルゴリズム)を使用
して実行されるようになっている。そして、照合部24
は、類似度が最も高い比較対象パターン候補(認識対象
語彙)を、認識結果として制御部15へ出力するように
構成されている。尚、類似度の値を、優先認識情報例え
ば現在位置(前記位置検出器8により検出された現在位
置)の情報や、制御部15内に設けられた記憶部26
(図4参照)に記憶されている所定の調整ルールに基づ
いて適宜増減するように構成しても良い。
【0022】また、音声合成部23は、発声させたい音
声を表わすデータ(例えば仮名文字等から構成されたテ
キストデータ)を制御部15から受けると、この音声デ
ータから音声を合成するように構成されている。そし
て、音声合成部23は、上記合成した音声をスピーカ6
から出力して発声させるように構成されている。
【0023】次に、上記構成の作用、具体的には、認識
率が高くなる発声パターンをユーザーが探し出す場合の
動作(即ち、発声パターン確認メニューの動作)につい
て、図5及び図6も参照して説明する。図5のフローチ
ャートは、音声認識装置2を動作させる制御プログラム
のうちの、発声パターン確認メニュー(発声パターン確
認モードと呼んでも良い)の音声認識処理を実行する制
御部分の内容を示している。
【0024】まず、ユーザーは、表示装置12にメニュ
ー選択画面(図示しない)を表示させると共に、このメ
ニュー選択画面において上記発声パターン確認メニュー
を選択する。そして、この発声パターン確認メニューが
選択されて実行された状態で、ユーザーがPTTスイッ
チ5を押すと、図5のステップS1にて「YES」へ進
み、音声認識装置2は、ユーザーが発声する音声を受け
付け可能な状態となり、例えば「ピッ」というようなb
eep音を発生してユーザーに報知する。これにより、
ユーザーは、音声入力可能な状態になったことがわか
る。
【0025】そこで、ユーザーは、マイク4に向かっ
て、音声認識させたい1つの語彙(言葉)について、複
数の発声パターンで発声する。このとき、ユーザーは、
複数の発声パターンの各間に若干の長さの時間の無音部
(例えばブレスまたは息継ぎ等)をおいて連呼する。即
ち、無音部が複数の発声パターンの区切りとなってい
る。この場合、例えば、図6に示すように、「とうきょ
うとちょう」という1つの語彙を、複数の発声パター
ン、例えば、「普通の声で」、「ややゆっくり」、「低
く太い声」、「高い声」、「早口」、「やさしい声」で
発声する。尚、発声パターンとしては、上記各例に限ら
れるものではなく、例えば、「男性っぽく」、「女性っ
ぽく」、「柔らかく」、「堅く」、「太く」、「細
く」、「だみ声」、「泣き声」、「しゃがれ声」、「す
んだ声」などでも良く、更に他の発声パターンでも良
い。
【0026】そして、ユーザーが発したこれら複数の音
声パターンの音声は、マイク4を介して入力され、音声
データが音声認識部22へ出力される。これにより、音
声認識装置2内に音声入力が取得されていく。そして、
予め決められた所定時間以上の無音部(上記区切りの無
音部よりも長い時間の無音部)を検出すると、音声認識
装置2は、ユーザーからの入力が完了したものと判定
し、音声認識処理を実行する。
【0027】具体的には、まず、図5のステップS2に
おいて、音声データを入力(入力語を獲得)すると共
に、この音声データを無音部を区切りとして複数の音声
データ(即ち、複数の発声パターン)に切り出す。続い
て、ステップS3へ進み、この切り出された複数の音声
データに対して、1つずつ順に、音声認識処理を実行す
る。そして、ステップS4へ進み、音声認識結果を表示
装置12に表示する。
【0028】次に、ステップS5へ進み、切り出された
音声データ(入力された音声データ)の中で音声認識さ
れていないものが残っているか否かを判断する。ここ
で、残っている場合には、「YES」へ進み、ステップ
S3へ進み、音声認識処理を繰り返し実行する。これに
より、切り出された音声データが全て音声認識されて、
音声認識結果が表示されるまで、音声認識処理が繰り返
し実行されるように構成されている。
【0029】この結果、図6の右側部分に示すように、
ユーザーが発声した複数の発声パターンの音声認識結果
の一覧表が、表示装置12に表示される。この場合、音
声認識結果の表示順序(左端の数字)が、ユーザーの発
声パターンの発声順序に対応している。尚、発声パター
ン(音声認識結果)の個数が多くて、表示装置12に1
度に全て表示できないときには、画面スクロール操作等
を行うことにより、表示できるように構成されている。
【0030】このような構成の本実施例によれば、ユー
ザーは、表示装置12に表示された複数の発声パターン
の音声認識結果を見ることにより、認識率が高くなる発
声パターンを容易に探し出すことができる。
【0031】尚、上記実施例では、複数の発声パターン
の音声認識結果を表示装置12に表示するように構成し
たが、これに代えて、音声認識結果をトークバック(合
成音声)でユーザーに報知するように構成しても良い。
この場合、音声出力手段が報知手段を構成している。ま
た、上記実施例では、1つの発声パターンに対して1つ
の音声認識結果を出力して報知するように構成したが、
1つの発声パターンに対して複数の音声認識結果を出力
して報知するように構成しても良い。
【0032】一方、上記実施例においては、ユーザーが
複数の発声パターンを発声する場合に、複数の発声パタ
ーンの区切りを無音部で指定するように構成したが、こ
れに限られるものではなく、PTTスイッチを押すこと
により、複数の発声パターンの区切りを指定するように
構成しても良い。即ち、この構成の場合、複数の発声パ
ターンの区切りの部分で、ユーザーは、PTTスイッチ
を押すように操作すれば良い。尚、PTTスイッチの代
わりに、他の操作スイッチ(専用スイッチでも良い)を
押すことにより、複数の発声パターンの区切りを指定す
るように構成しても良い。
【0033】また、上記実施例では、ユーザーが発声し
た複数の発声パターンを、全て音声認識した後、全ての
音声認識結果を表示装置12に表示するように構成した
が、これに代えて、ユーザーが発声した複数の発声パタ
ーンについて、切り出した音声データを1つずつ音声認
識するたびに、その音声認識結果を表示装置12に表示
する、即ち、音声データを切り出すたびに、その都度、
音声認識を実行すると共にその音声認識結果を表示装置
12に表示するように構成しても良い。
【0034】更に、上記実施例においては、ユーザーか
らの音声入力を受け付け開始してから、所定時間以上の
無音部(区切りの無音部よりも長い時間の無音部)を検
出したときに、ユーザーからの音声入力が完了したと判
断するように構成したが、これに限られるものではな
く、例えば、ユーザーがPTTスイッチ5を押して、ユ
ーザーからの音声入力を受け付け開始した後、ユーザー
がPTTスイッチ5を再び押したときに、ユーザーから
の音声入力が完了したと判断するように構成しても良
い。
【0035】また、ユーザーがPTTスイッチ5を押し
続けた状態のときだけ、ユーザーからの音声入力を受け
付けるように構成し、ユーザーがPTTスイッチ5を押
すことを止めたら、ユーザーからの音声入力が完了した
と判断するように構成しても良い。この構成の場合、複
数の発声パターンの区切りは、上記実施例と同様にし
て、無音部で実現するように構成することが好ましい。
【0036】更に、上記実施例では、カーナビゲーショ
ンシステム1に組み込まれた音声認識装置2に適用した
が、これに限られるものではなく、携帯型ナビゲーショ
ンシステムやその他の電気機器等に組み込まれた音声認
識装置に適用しても良い。
【図面の簡単な説明】
【図1】本発明の一実施例を示すカーナビゲーションシ
ステムのブロック図
【図2】ナビゲーション装置のブロック図
【図3】音声認識装置のブロック図
【図4】音声認識部及び制御部のブロック図
【図5】フローチャート
【図6】ユーザーが複数の発声パターンで発声する様子
と、音声認識結果を表示装置に表示した様子とを示す図
【符号の説明】
1はカーナビゲーションシステム、2は音声認識装置、
3はナビゲーション装置、4はマイク、5はPTTスイ
ッチ、7は制御回路、12は表示装置(報知手段)、1
5は制御部、21は音声入力部、22は音声認識部、2
3は音声合成部、24は照合部、25は辞書部を示す。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 15/04 G10L 3/00 551Q 15/28 513A // G01C 21/00 571K G08G 1/0969 Fターム(参考) 2C032 HB22 HC08 HC14 HC15 HC16 HC31 HD03 HD16 HD30 2F029 AA02 AA07 AB01 AB07 AB09 AB13 AC02 AC09 AC14 AC18 AD01 5D015 DD00 GG03 KK02 LL05 LL10 5H180 AA01 AA21 BB12 BB13 CC12 FF04 FF05 FF07 FF22 FF25 FF27 FF33 FF35

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 ユーザーが発声した音声を入力し、この
    入力した音声と、記憶されている複数の比較対象パター
    ン候補とを比較して一致度が高いものを認識結果とする
    ように構成された音声認識装置において、 音声認識させたい1つの語彙について、ユーザーが複数
    の発声パターンで発声したときに、これら複数の発声パ
    ターンの音声を入力すると共に音声認識し、これら複数
    の音声認識結果を前記ユーザーに報知する報知手段を有
    する発声パターン確認メニューを備えたことを特徴とす
    る音声認識装置。
  2. 【請求項2】 前記ユーザーが複数の発声パターンで発
    声する場合、連呼させると共に、無音部を前記複数の発
    声パターンの区切りとするように構成したことを特徴と
    する請求項1記載の音声認識装置。
  3. 【請求項3】 前記ユーザーが複数の発声パターンで発
    声する場合、操作スイッチを押すことにより、前記複数
    の発声パターンの区切りとするように構成したことを特
    徴とする請求項1記載の音声認識装置。
  4. 【請求項4】 前記報知手段は、前記複数の音声認識結
    果を表示するディスプレイであることを特徴とする請求
    項1ないし3のいずれかに記載の音声認識装置。
JP2001343091A 2001-11-08 2001-11-08 音声認識装置 Expired - Fee Related JP4093394B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001343091A JP4093394B2 (ja) 2001-11-08 2001-11-08 音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001343091A JP4093394B2 (ja) 2001-11-08 2001-11-08 音声認識装置

Publications (2)

Publication Number Publication Date
JP2003150192A true JP2003150192A (ja) 2003-05-23
JP4093394B2 JP4093394B2 (ja) 2008-06-04

Family

ID=19156841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001343091A Expired - Fee Related JP4093394B2 (ja) 2001-11-08 2001-11-08 音声認識装置

Country Status (1)

Country Link
JP (1) JP4093394B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008203296A (ja) * 2007-02-16 2008-09-04 Denso Corp 音声認識装置及びナビゲーション装置
JP2009169139A (ja) * 2008-01-17 2009-07-30 Alpine Electronics Inc 音声認識装置
JP2013019958A (ja) * 2011-07-07 2013-01-31 Denso Corp 音声認識装置
JP2021529938A (ja) * 2018-06-26 2021-11-04 グーグル エルエルシーGoogle LLC デジタルアシスタントアプリケーションとナビゲーションアプリケーションとの間のインターフェーシング

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008203296A (ja) * 2007-02-16 2008-09-04 Denso Corp 音声認識装置及びナビゲーション装置
JP4672686B2 (ja) * 2007-02-16 2011-04-20 株式会社デンソー 音声認識装置及びナビゲーション装置
JP2009169139A (ja) * 2008-01-17 2009-07-30 Alpine Electronics Inc 音声認識装置
JP2013019958A (ja) * 2011-07-07 2013-01-31 Denso Corp 音声認識装置
JP2021529938A (ja) * 2018-06-26 2021-11-04 グーグル エルエルシーGoogle LLC デジタルアシスタントアプリケーションとナビゲーションアプリケーションとの間のインターフェーシング
JP7176011B2 (ja) 2018-06-26 2022-11-21 グーグル エルエルシー デジタルアシスタントアプリケーションとナビゲーションアプリケーションとの間のインターフェーシング

Also Published As

Publication number Publication date
JP4093394B2 (ja) 2008-06-04

Similar Documents

Publication Publication Date Title
US10706853B2 (en) Speech dialogue device and speech dialogue method
KR100556050B1 (ko) 적어도위치및/또는거리이름들을위한입력시스템
EP1450349B1 (en) Vehicle-mounted control apparatus and program that causes computer to execute method of providing guidance on the operation of the vehicle-mounted control apparatus
JP5637131B2 (ja) 音声認識装置
US20020010579A1 (en) Speech recognition apparatus and method using two opposite words
JP2009139544A (ja) 入力装置
JP2008014818A (ja) 作動制御装置、プログラム
WO2007145003A1 (ja) 車載情報装置
JP2006195576A (ja) 車載音声認識装置
JP2009230068A (ja) 音声認識装置及びナビゲーションシステム
JP2001117584A (ja) 音声処理装置
JP2000338993A (ja) 音声認識装置、その装置を用いたナビゲーションシステム
JP4093394B2 (ja) 音声認識装置
JPH11142178A (ja) ナビゲーション装置
JP2002281145A (ja) 電話番号入力装置
JP3500948B2 (ja) 音声認識装置
JPH07319383A (ja) 地図表示装置
JP2007057805A (ja) 車両用情報処理装置
JP3296783B2 (ja) 車載用ナビゲーション装置および音声認識方法
JP2000122685A (ja) ナビゲーションシステム
JP2005227369A (ja) 音声認識装置および方法と車載ナビゲーション装置
KR100749088B1 (ko) 대화형 네비게이션 시스템 및 그 제어방법
JP2011180416A (ja) 音声合成装置、音声合成方法およびカーナビゲーションシステム
JP2003029778A (ja) ナビゲーションシステムにおける音声対話インターフェース処理方法
JP2002062893A (ja) 車載ナビゲーション装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060111

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060209

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080228

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140314

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees