JP2002278588A - 音声認識装置 - Google Patents

音声認識装置

Info

Publication number
JP2002278588A
JP2002278588A JP2001077910A JP2001077910A JP2002278588A JP 2002278588 A JP2002278588 A JP 2002278588A JP 2001077910 A JP2001077910 A JP 2001077910A JP 2001077910 A JP2001077910 A JP 2001077910A JP 2002278588 A JP2002278588 A JP 2002278588A
Authority
JP
Japan
Prior art keywords
recognition target
display range
recognition
words
target word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001077910A
Other languages
English (en)
Other versions
JP4056711B2 (ja
Inventor
Takeshi Ono
健 大野
Okihiko Nakayama
沖彦 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2001077910A priority Critical patent/JP4056711B2/ja
Priority to US10/087,980 priority patent/US7076425B2/en
Publication of JP2002278588A publication Critical patent/JP2002278588A/ja
Application granted granted Critical
Publication of JP4056711B2 publication Critical patent/JP4056711B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

(57)【要約】 【課題】 モニターに表示されいる認識対象語に対する
認識率を向上させる。 【解決手段】 音声を入力する音声入力手段5と、複数
の認識対象語を記憶する記憶手段と、記憶手段に記憶さ
れている複数の認識対象語の内の、所定個数の認識対象
語を表示する表示手段1aと、表示手段1aに表示され
る認識対象語に対して表示手段1aに表示されない認識
対象語よりも高い重み付けを行う重み付け手段2と、重
み付け手段2による重み付け後の認識対象語と入力手段
5により入力された音声との一致度を演算する演算手段
2とを備え、一致度の演算結果に基づいて入力した音声
を認識する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、利用者が発話した
音声を言葉として認識する装置に関する。
【0002】
【従来の技術】利用者の発話する音声を認識してナビゲ
ーション装置などの各種電子機器の入力操作を行う音声
認識装置が知られている(例えば、特開2000−19
3479号公報、特開2000−203357号公報な
ど参照)。
【0003】この種の音声認識装置は、各種電子機器の
入力操作に必要な言葉を予め記憶しておき(以下、これ
らを認識対象語と呼ぶ)、これらの認識対象語と利用者
が発話した言葉とを照合し、利用者が発話した言葉と認
識対象語との一致度を判定することによって、一致度が
最も高い認識対象語を利用者が発話した言葉として認識
している。つまり、利用者が各種電子機器の音声による
入力操作に用いることができる言葉は認識対象語に限ら
れているため、利用者は認識対象語を記憶したり、操作
マニュアルを確認して発話する必要がある。
【0004】そこで、上述した従来の音声認識装置で
は、利用者が音声入力操作に用いることができる認識対
象語、あるいは利用者の入力が予想される認識対象語を
予めモニターに表示することによって、めんどうな認識
対象語を覚えたり、いちいち操作マニュアルを確認する
手間を省き、利用者の使い勝手を向上させるとともに、
記憶されている認識対象語の中から利用者の発話した言
葉と照合する認識対象語をモニターに表示されている認
識対象語に限定することによって、認識率を向上させる
という、改善がなされている。
【0005】
【発明が解決しようとする課題】ところが、音声認識装
置を例えばナビゲーション装置の音声入力操作に用いる
場合には、地域名や駅名などの目的地を音声入力するた
めの認識対象語はその数が多いので、すべてをモニター
に表示することができず、一部のみを表示することにな
るが、利用者の発話した言葉と照合する認識対象語をモ
ニターに表示されている認識対象語のみに限定すること
はできない。したがって、目的地などの数の多い認識対
象語との照合により一致度を判定する場合には、認識率
が低下したり、一致度の演算処理に時間がかかることに
なる。
【0006】また、利用者の声の質や話し方などの個人
差、雑音の有無などの周囲環境の差によって、正しい認
識対象語との一致を判定することができず、誤認するこ
とがある。
【0007】数多くの認識対象語の中から利用者の発し
た言葉を一致検索するときには、モニターに表示されて
いる認識対象語も、表示されていない認識対象語も照合
対象となるが、モニターに表示されている認識対象語の
中から誤認が発生する場合と、表示されていない認識対
象語の中から誤認が発生する場合とでは、利用者に与え
る影響が異なるという問題がある。利用者が発した言葉
に一致する認識対象語がモニターに表示されているとき
に、上述した利用者の個人差や周囲環境の差などによっ
て誤認が発生し、利用者の発した言葉を認識できないこ
とがあると、モニターに表示されていない認識対象語に
対する誤認よりも利用者により強い違和感を与えるおそ
れがある。
【0008】本発明の目的は、モニターに表示されいる
認識対象語に対する認識率を向上させることにある。
【0009】
【課題を解決するための手段】(1) 請求項1の発明
は、音声を入力する音声入力手段と、複数の認識対象語
を記憶する記憶手段と、前記記憶手段に記憶されている
複数の認識対象語の内の、所定個数の認識対象語を表示
する表示手段と、前記表示手段に表示される認識対象語
に対して前記表示手段に表示されない認識対象語よりも
高い重み付けを行う重み付け手段と、前記重み付け手段
による重み付け後の認識対象語と前記入力手段により入
力された音声との一致度を演算する演算手段とを備え、
一致度の演算結果に基づいて入力した音声を認識する。 (2) 請求項2の音声認識装置は、前記記憶手段が複
数の認識対象語を所定の順に記憶しており、前記表示手
段は、前記記憶手段に前記所定の順に記憶されている複
数の認識対象語の中から、前記所定個数の認識対象語を
含む範囲(表示範囲)の認識対象語を前記所定の順に表
示する。 (3) 請求項3の音声認識装置は、前記重み付け手段
によって、前記表示範囲外の認識対象語に対して、前記
表示範囲から遠ざかるにしたがって前記表示範囲の認識
対象語に対する重みから徐々に重みを低減する。 (4) 請求項4の音声認識装置は、前記表示範囲を変
更する変更手段を備え、前記重み付け手段によって、前
記変更手段により前記表示範囲の変更が行われた場合の
み、前記表示範囲の認識対象語に対して前記表示範囲外
の認識対象語よりも高い重み付けを行うようにしたもの
である。 (5) 請求項5の音声認識装置は、前記表示範囲を変
更する変更手段を備え、前記重み付け手段によって、前
記変更手段により前記表示範囲の大幅な変更が行われた
後に前記表示範囲の小幅な変更が行われた場合のみ、前
記表示範囲の認識対象語に対して前記表示範囲外の認識
対象語よりも高い重み付けを行うようにしたものであ
る。 (6) 請求項6の音声認識装置は、前記表示範囲を変
更する変更手段を備え、前記重み付け手段によって、前
記変更手段による前記表示範囲の変更にともなって前記
表示範囲に現れた認識対象語の順に応じて重み付けを行
い、前記表示範囲に最後に現れた認識対象語に最も高い
重み付けを行うようにしたものである。 (7) 請求項7の音声認識装置は、前記表示範囲を変
更する変更手段を備え、前記重み付け手段によって、前
記表示範囲の認識対象語に対して前記表示範囲外の認識
対象語よりも高い重み付けを行うとともに、前記表示範
囲の変更方向に存在する表示範囲外の認識対象語に対し
ては、前記表示範囲から遠ざかるにしたがって前記表示
範囲の認識対象語に対する重みから徐々に重みを低減す
るようにしたものである。 (8) 請求項8の音声認識装置は、前記演算手段によ
り演算された一致度が高い順に所定個数の認識対象語を
抽出する抽出手段を備え、前記抽出手段により抽出され
た認識対象語を前記表示手段に表示して最終的な認識対
象語を選択可能にしたものである。 (9) 請求項9の音声認識装置は、前記抽出手段によ
り抽出された認識対象語の中に前記表示範囲外の認識対
象語が含まれていない場合は、前記抽出された認識対象
語の内の最も一致度の低い認識対象語と前記表示範囲外
の最も一致度の高い認識対象語とを入れ替える入れ替え
手段を備える。
【0010】
【発明の効果】(1) 請求項1の発明によれば、表示
手段に表示されている認識対象語に対する認識率を向上
させることができ、利用者が発話した言葉に一致する認
識対象語が表示手段に表示されているにも拘わらず、認
識されないために利用者に強い違和感を与えることを避
けることができる。 (2) 請求項2の発明によれば、例えば五十音順など
の所定の順に表示することができ、表示手段の認識対象
語の表示画面をスクロールして表示範囲を変更するとき
に、どちらの方向へどの程度変更すればよいかを直感で
き、操作性がよくなる。 (3) 請求項3の発明によれば、利用者が表示範囲を
正確に把握している必要がなく、表示範囲を変更すると
きに所望の認識対象語を概ね表示範囲に近づけるだけ
で、表示範囲に入っていなくても認識される確立が高く
なり、表示範囲の設定操作に対する利用者の負担を軽減
することができる。 (4) 請求項4の発明によれば、所望の認識対象語を
表示手段に表示してから発話することにより高い認識率
が得られるので、面倒な操作を敢えて行う利用者を充分
に満足させることができる。 (5) 請求項5の発明によれば、所望の認識対象語を
確実に表示手段に表示してから発話することにより高い
認識率が得られるので、面倒な操作を敢えて行う利用者
を充分に満足させることができる。 (6) 利用者が表示手段の認識対象語の表示画面をス
クロールして表示範囲の変更を行う場合、通常は所望の
認識対象語が表示されたら変更操作を止めるので、最後
に表示された認識対象語またはその近くに所望の認識対
象語がある場合が多い。請求項6の発明によれば、表示
範囲に現れた順に応じて重み付けを行い、表示範囲に最
後に現れた語に最も高い重みを付けることによって、高
い認識率が得られる。 (7) 地域名や駅名などの目的地のように認識対象語
が多い場合は例えば50音順などの所定の順序に並べら
れていることが多く、利用者は意図する認識対象語があ
る方向へ認識対象語の表示画面をスクロールして表示範
囲を変更する。このとき、利用者の意図する認識対象語
がスクロール方向すなわち表示範囲の変更方向に存在す
る確立は高く、反対方向に存在する確立は低い。したが
って、請求項7の発明によれば、所望の認識対象語が認
識される確立を向上させることができる。 (8) 請求項8の発明によれば、表示手段に表示され
ている認識対象語に対する認識率をさらに向上させるこ
とができる。 (9) 請求項9の発明によれば、利用者の発話が不明
瞭なために、表示範囲外に利用者の発話言葉と一致する
認識対象語があるにも拘わらず、その認識対象語が重み
付け後の一致度上位の認識対象語の中に含まれないとい
う事態を避けることができ、利用者の発話が不明瞭な場
合でも、最終的に選別される認識対象語の中に利用者の
発話言葉に対応する認識対象語が含まれる確立が高くな
り、認識率を向上させることができる。
【0011】
【発明の実施の形態】本願発明の音声認識装置をナビゲ
ーション装置に応用した一実施の形態を説明する。な
お、本願発明はナビゲーション装置以外の多くの装置に
応用することができる。
【0012】《発明の第1の実施の形態》図1に第1の
実施の形態の構成を示す。ナビゲーションユニット1
は、音声により入力操作を行うための音声認識ユニット
2を備えており、現在地を検出するとともに目的地まで
の誘導経路を探索し、それらを現在地周辺の道路地図上
に重畳してモニター1aに表示する。ナビゲーションユ
ニット1には、衛星航法により現在位置を検出するGP
Sアンテナ3と、ナビゲーションユニット1を手動操作
するためのナビリモコン4が接続される。ナビリモコン
4には、モニター1aの表示内容を操作するためのジョ
イスティック4aと、利用者が発話の開始と終了、およ
び発話の取り消しを指示するための発話/取り消しスイ
ッチ4bが設けられる。また、音声認識ユニット2に
は、利用者が発した音声を入力するためのマイク5と、
利用者に音声で応答するためのスピーカー6が接続され
る。
【0013】図2は、図1に示す音声認識ユニット2の
詳細を示す。音声認識ユニット2は、CPU2aやメモ
リ2bなどから構成される信号処理装置2cの他に、マ
イク5からのアナログ音声入力信号をデジタル信号に変
換するA/Dコンバーター2d、デジタル音声出力信号
をアナログ信号に変換するD/Aコンバーター2e、ア
ナログ音声出力信号を増幅する出力アンプ2f、ナビゲ
ーションユニット1とデータ通信を行うための入出力デ
バイス2g、認識対象語を記憶する外部記憶装置2hな
どを備えている。
【0014】図3は、第1の実施の形態の音声認識処理
プログラムを示すフローチャートである。この処理プロ
グラムは音声認識ユニット2のメモリ2bに格納され
る。利用者がナビリモコン4の発話/取り消しスイッチ
4bを長押しすると、ナビゲーションユニット1は入力
デバイス2gを介して音声認識ユニット2の信号処理装
置2cへ発話開始信号を送信する。信号処理装置2cの
CPU2aは、発話開始信号を受信すると図3に示す処
理プログラムの実行を開始する。
【0015】なお、この第1の実施の形態では、利用者
との対話によりJRの「板橋」駅を目的地に設定する音
声認識処理を例に上げて説明する。また、この例では、
図4に示すような目的地として用いられる地域名や駅名
などの認識対象語がナビゲーションユニット1に記憶さ
れており、それらの認識対象語の中から利用者がナビリ
モコン4のジョイスティック4aを操作して、図5に示
すような所定個数の認識対象語を含む任意の範囲(以
下、表示範囲と呼ぶ)をモニター1aに表示する場合を
説明する。
【0016】なお、音声認識対象語は、通常、上述した
目的地などの種類ごとに五十音順に記憶されており、表
示範囲の認識対象語は五十音順にモニター1aに表示さ
れる。ジョイスティック4aによりモニター1aの認識
対象語の表示画面をスクロールして表示範囲を変更した
ときは、変更後の表示範囲がナビゲーションユニット1
のメモリに記憶され、次回にその種類の認識対象語を表
示する場合には記憶範囲が読み出され、最初にその範囲
の認識対象語がモニター1aに表示される。
【0017】ステップ1において、現在の入力モードで
用いられる認識対象語と、それらの認識対象語の内のど
れがモニター1aに表示されているかをナビゲーション
ユニット1から入力し、認識対象語として確定する。こ
の例では現在、目的地の入力モードが設定されているの
で、図4に示すような目的地として用いられる地域名や
駅名などのすべての認識対象語をナビゲーションユニッ
ト1から入力するとともに、それらの認識対象語の内の
モニター1aに表示されている認識対象語を入力し、認
識対象語として確定する。確定した認識対象語は外部記
憶装置2hに記憶する。ステップ2で、音声認識処理を
開始した旨を利用者に知らせるために、外部記憶装置2
hに記憶してある告知音信号をD/Aコンバーター2e
および出力アンプ2fを介してスピーカー6へ出力し、
放送する。
【0018】ステップ3では、利用者が発話した音声の
取り込みを開始する。すなわち、マイク5で入力した利
用者の音声をA/Dコンバーター2dを介して信号処理
装置2cへ入力し、外部記憶装置2hに収録する。信号
処理装置2cは、発話/取り消しスイッチ4bが操作さ
れるまでは、常にマイク5で入力しA/Dコンバーター
2dでデジタル信号に変換した雑音の平均パワーを演算
している。発話/取り消しスイッチ4bが操作される
と、それまでの平均パワーと現在の瞬間パワーとを比較
し、現在の瞬間パワーが平均パワーに比べて所定値以上
増加したら、利用者が発話したと判断し、音声の取り込
みを開始する。
【0019】ステップ4で、取り込んだ音声区間部分と
外部記憶装置2hのすべての認識対象語とを照合し、一
致度の演算を開始する。一致度は、取り込んだ音声区間
部分と認識対象語とがどの程度似ているかを示す値で、
スコアとして得られる。この実施の形態では、スコアの
値が大きいほど一致度が高いものとする。なお、ステッ
プ4で一致度の演算を行っている間も、並列処理により
音声の取り込みを継続する。ステップ5において、音声
信号の瞬間パワーが所定値以下となり、その状態が所定
時間続いたら利用者の発話が終了したと判断し、音声の
取り込みを終了する。
【0020】ステップ6で一致度(スコア)の演算の終
了を待って各認識対象語の一致度に重み付けを行い、一
致度の高い認識対象語を抽出する。具体的には、図4に
示すように、モニター1aに表示されているすべての認
識対象語(表示範囲の認識対象語)に対しては、モニタ
ー1aに表示されていないすべての認識対象語(以下、
表示範囲外の認識対象語と呼ぶ)よりも高い重みを付け
る。この例では、表示範囲外の認識対象語に対しては
1.0の重みを付け、表示範囲の認識対象語に対しては
1.0よりも高い重みを付ける。そして、各認識対象語
の一致度(スコア)に重みを乗じ、重み付け後の認識対
象語の中から一致度(スコア)の高い上位3個を選別
し、ナビゲーションユニット1へ出力する。
【0021】なお、表示範囲の認識対象語に対する重み
と、表示範囲外の認識対象語に対する重みは、この実施
の形態の値に限定されないが、少なくとも表示範囲の認
識対象語に対する重みは、表示範囲外の認識対象語に対
する重みよりも大きな値とする。これらの重みは実験に
より最適な値を設定するのが望ましい。
【0022】ナビゲーションユニット1は、図6に示す
ように、音声認識ユニット2から受信した一致度の高い
3個の認識対象語をモニター1aに表示する。これらの
認識対象語の内の「板橋」は当初、図5に示すようにモ
ニター1aに表示されていた表示範囲の認識対象語であ
り、演算結果の一致度(スコア)はそれほど高くなかっ
たが、表示範囲の認識対象語として高い重み付けをされ
た結果、一致度(スコア)の上位3個の中に入ったもの
である。
【0023】図7は、モニター1aに表示された一致度
の高い3個の認識対象語の中から、利用者が音声認識装
置1との対話によって目的地を選択する手順を示す。音
声認識装置1の信号処理装置2cは、一致度の最も高い
認識対象語「田端(たばた)」を音声信号に変換し、D
/Aコンバーター2eおよび出力アンプ2fを介してス
ピーカー6から放送する。この放送を聞いた利用者は、
「田端」は目的地に設定しようとしている駅名ではない
ので、ナビリモコン4の発話/取り消しスイッチ4bの
短押しを行う。ナビゲーションユニット1は発話/取り
消しスイッチ4bの短押し操作を検出し、音声認識ユニ
ット2へ取り消し信号を送信する。
【0024】取り消し信号を受信した音声認識ユニット
2の信号処理装置2cは、一致度(スコア)が第2順位
の「板橋(いたばし)」を音声信号に変換し、D/Aコ
ンバーター2eおよび出力アンプ2fを介してスピーカ
ー6から放送する。この放送を聞いた利用者は、「板
橋」は目的地に設定しようとしている駅名であり、「目
的地設定」という発話を行い、目的地を確定する。音声
認識ユニット2の信号処理装置2cは利用者からの「目
的地設定」の音声入力を認識し、「板橋」を利用者が確
定した目的地としてナビゲーションユニット1へ送信す
る。ナビゲーションユニット1は「板橋」を目的地とし
て設定する。
【0025】このように、利用者によってモニター1a
に表示された認識対象語、すなわち表示範囲の認識対象
語に含まれる言葉「板橋」を発話したときに、この「板
橋」が一致度(スコア)の高い上位3個の認識対象語に
含まれる確立が高くなり、発話した言葉が表示範囲の認
識対象語の一つとしてモニター1aに表示されているに
も拘わらず、発話した言葉が認識されずに利用者に違和
感を与えることが避けられる。
【0026】《発明の第2の実施の形態》各認識対象語
の一致度に対する他の重み付け方向を説明する。なお、
この第2の実施の形態の構成は図1および図2に示す第
1の実施の形態の構成と同様であり、説明を省略する。
また、この第2の実施の形態の動作についても、重み付
け方法以外は図3に示す第1の実施の形態の動作を同様
であり、説明を省略する。
【0027】上述した第1の実施の形態では、図4に示
すように、表示範囲のすべての認識対象語「軍畑」〜
「稲城長沼」に対しては1.0よりも高い所定の重みを
付け、表示範囲外のすべての認識対象語に対しては1.
0の重みを付ける方法を説明した。この第2の実施の形
態では、図8に示すように、表示範囲のすべての認識対
象語に対しては1.0よりも高い所定の重みを付ける。
一方、表示範囲外の認識対象語に対しては、図8に示す
ように、表示範囲から遠ざかるにしたがって表示範囲の
認識対象語の重みから徐々に重みを低減し、最終的に
1.0の重みとする。
【0028】これにより、利用者が表示範囲を正確に把
握している必要がなく、例えば図5に示すような目的地
選択画面において利用者がジョイスティック4aにより
表示範囲を変更できる場合に、所望の認識対象語を概ね
表示範囲に近づけるだけで、表示範囲に入っていなくて
も認識される確立が高くなり、所望の認識対象語を確実
にモニター1aに表示しなければ認識確立を上げること
ができない上述した第1の実施の形態に比べ、表示範囲
の設定操作に対する利用者の負担を軽減することができ
る。
【0029】《発明の第3の実施の形態》上述した第1
の実施の形態では、表示範囲の認識対象語に対して表示
範囲外の認識対象語に対する重みよりも高い重みを付
け、各認識対象語の一致度(スコア)に重みを乗じ、重
み付け後の認識対象語の中から一致度(スコア)の高い
上位3個を選別して表示する例を示した。この第3の実
施の形態では、最終的に選別された一致度上位3個の認
識対象語の中に、表示範囲外の認識対象語が含まれてい
ない場合は、重み付け後の表示範囲外の認識対象語の中
から最も一致度(スコア)が高い語を抽出し、表示範囲
の一致度上位3個の認識対象語の内の最も一致度(スコ
ア)の低い語と入れ替える。
【0030】これにより、利用者の発話が不明瞭なため
に、表示範囲外に利用者の発話言葉と一致する認識対象
語があるにも拘わらず、その認識対象語が重み付け後の
一致度上位3個の認識対象語の中に含まれないという事
態を避けることができ、利用者の発話が不明瞭な場合で
も、最終的に選別される認識対象語の中に利用者の発話
言葉に対応する認識対象語が含まれる確立が高くなり、
認識率を向上させることができる。
【0031】さらに具体的には、図5に示す目的地選択
画面において、利用者が「あっ、亀有」というような不
要語を含む言葉を発話した場合に、発話語が「あ」から
始まっているために最終的な選別結果に「亀有」が含ま
れないことがあるが、この第3の実施の形態の選別方法
によれば、最終的な選別結果に「亀有」が含まれる確立
が高くなる。
【0032】なお、この第3の実施の形態の構成は図1
および図2に示す第1の実施の形態の構成と同様であ
り、説明を省略する。また、この第3の実施の形態の動
作は、重み付け後の一致度上位3個の選別方法を除き、
図3に示す第1の実施の形態の動作と同様であり、説明
を省略する。
【0033】《発明の第4の実施の形態》上述した第1
の実施の形態では、表示範囲に含まれるか否かによって
認識対象語に異なる重み付けを行う例を示したが、この
第4の実施の形態では、認識対象語に対する重み付けを
行わない。
【0034】この第4の実施の形態では、認識対象語に
重み付けを行わず、利用者の発話言葉と照合して演算し
た一致度(スコア)が上位3個の認識対象語を選別し、
その選別した認識対象語の中に表示範囲の内と外の両方
の認識対象語が含まれているかどうかを確認する。一致
度上位3個の認識対象語の中に表示範囲と表示範囲外の
両方の認識対象語が混在しておらず、表示範囲内または
表示範囲外のいずれか一方の認識対象語のみが含まれて
いる場合は、選別結果に含まれていない方の認識対象語
の中から一致度(スコア)が最も高い語を抽出し、選別
結果の認識対象語の中の最も一致度(スコア)の低い語
と入れ替える。
【0035】これにより、利用者が発話した言葉に対応
する認識対象語が表示されているにも拘わらず、その認
識対象語が最終的に選別されず、利用者に強い違和感を
与えるような事態を避けることができ、利用者の発話が
不明瞭な場合でも、最終的に選別される認識対象語の中
に利用者の発話言葉に対応する認識対象語が含まれる確
立が高くなり、認識率を向上させることができる。
【0036】なお、この第4の実施の形態の構成は図1
および図2に示す第1の実施の形態の構成と同様であ
り、説明を省略する。また、この第3の実施の形態の動
作は、一致度上位3個の認識対象語の選別方法を除き、
図3に示す第1の実施の形態の動作と同様であり、説明
を省略する。
【0037】《発明の第5の実施の形態》利用者が音声
認識による操作を行う前に表示範囲の変更を行った場合
のみ、表示範囲の認識対象語に対して表示範囲外の認識
対象語に対する重みよりも高い重みを設定する、第5の
実施の形態を説明する。なお、この第5の実施の形態の
構成は図1および図2に示す第1の実施の形態の構成と
同様であり、説明を省略する。
【0038】図9は、第5の実施の形態の音声認識処理
プログラムを示すフローチャートである。なお、図3に
示す第1の実施の形態の音声認識処理と同様な処理を行
うステップに対しては同一のステップ番号を付して相違
点を中心に説明する。
【0039】音声認識処理開始後のステップ11におい
て、ナビゲーションユニット1の操作履歴を取得する。
このとき、発話/取り消しスイッチ4bの操作から遡っ
て所定数の操作の履歴を取得する。ジョイスティック4
aにより認識対象語の表示範囲が変更されていた場合に
は、操作(ジョイスティック操作)とその結果(表示範
囲変更)の両方が履歴として残されている。信号処理装
置2cはそれらの操作履歴をメモリ2bに記憶する。
【0040】一致度演算終了後のステップ6Aにおい
て、まずメモリ2bに記憶されている操作履歴から発話
/取り消しスイッチ4bを操作する前の操作内容を確認
する。発話/取り消しスイッチ4bの操作前に表示範囲
の変更操作が行われた記録がある場合は、第1の実施の
形態で上述したように、表示範囲の認識対象語に対して
は1.0よりも高い所定の重みを付け、表示範囲外の認
識対象語に対しては1.0の重みを付ける。そして、各
認識対象語の一致度(スコア)に重みを乗じ、重み付け
後の認識対象語の中から一致度(スコア)の高い上位3
個を選別する。一方、発話/取り消しスイッチ4bの操
作前に表示範囲の変更操作が行われていない場合は、認
識対象語に対する重み付けを行わず、表示範囲と表示範
囲外のすべての認識対象語の中から一致度が高い上位3
個の認識対象語を選別する。
【0041】この第5の実施の形態によれば、利用者が
所望の認識対象語をモニター1aに表示してから発話し
た場合のみ、表示範囲の認識対象語に表示範囲外の認識
対象語よりも高い重みを付け、表示範囲の認識対象語に
対する認識率を向上させる。しかし、利用者が所望の認
識対象語をモニター1aに表示する操作を行わずに発話
した場合は、表示範囲の認識対象語に対する重み付けを
行わず、表示範囲と表示範囲外のすべての認識対象語を
平等に取り扱う。これにより、所望の認識対象語をモニ
ター1aに表示してから発話するので高い認識率が得ら
れ、面倒な操作を敢えて行う利用者を充分に満足させる
ことができる。
【0042】《発明の第6の実施の形態》表示範囲の大
幅な変更を行った後に表示範囲の小幅な変更を行い、そ
の後に音声認識による操作を行う場合のみ、表示範囲の
認識対象語に対して表示範囲外の認識対象語に対する重
みよりも高い重みを設定する、第6の実施の形態を説明
する。なお、この第6の実施の形態の構成は図1および
図2に示す第1の実施の形態の構成と同様であり、説明
を省略する。
【0043】この第6の実施の形態の動作は、図9に示
す第5の実施の形態の動作の内のステップ6Aの一部が
異なるのみであり、図示を省略する。一致度演算終了後
のステップ6Aにおいて、まずメモリ2bに記憶されて
いる操作履歴から発話/取り消しスイッチ4bを操作す
る前の操作内容を確認する。発話/取り消しスイッチ4
bの操作前に、表示範囲の大幅な変更操作が行われ、そ
の後に表示範囲の小幅な変更操作が行われた記録がある
場合は、第1の実施の形態で上述したように、表示範囲
の認識対象語に対しては1.0よりも高い所定の重みを
付け、表示範囲外の認識対象語に対しては1.0の重み
を付ける。そして、各認識対象語の一致度(スコア)に
重みを乗じ、重み付け後の認識対象語の中から一致度
(スコア)の高い上位3個を選別する。一方、発話/取
り消しスイッチ4bの操作前に表示範囲の変更操作が行
われていない場合は、認識対象語に対する重み付けを行
わず、表示範囲と表示範囲外のすべての認識対象語の中
から一致度が高い上位3個の認識対象語を選別する。
【0044】この第6の実施の形態では、1回の表示範
囲の変更操作において、例えば、表示範囲の認識対象語
がすべて入れ替わる変更を表示範囲の大幅な変更とし、
表示範囲の一部の認識対象語が入れ替わる変更を表示範
囲の小幅な変更とする。
【0045】この第6の実施の形態によれば、所望の認
識対象語をモニター1aに確実に表示してから発話する
という、面倒な操作を敢えて行う利用者に報いるだけの
充分に高い認識率が得られる。
【0046】《発明の第7の実施の形態》利用者が音声
認識による操作を行う前に、表示範囲の変更を行った場
合のみ、表示範囲の認識対象語に対して表示範囲外の認
識対象語に対する重みよりも高い重みを、表示範囲の変
更方向に応じて設定するようにした第7の実施の形態を
説明する。なお、この第7の実施の形態の構成は図1お
よび図2に示す第1の実施の形態の構成と同様であり、
説明を省略する。
【0047】この第7の実施の形態の動作は、図9に示
す第5の実施の形態の動作の内のステップ6Aの一部が
異なるのみであり、図示を省略する。一致度演算終了後
のステップ6Aにおいて、まずメモリ2bに記憶されて
いる操作履歴から発話/取り消しスイッチ4bを操作す
る前の操作内容を確認する。発話/取り消しスイッチ4
bの操作前に表示範囲の変更操作が行われた記録がある
場合は、図10に示すように、表示範囲の認識対象語に
対して1.0よりも高い重みを、ジョイスティック4a
による表示範囲のスクロール方向、すなわち表示範囲の
変更方向にある認識対象語ほど高い重みを付け、表示範
囲外の認識対象語に対しては1.0の重みを付ける。そ
して、各認識対象語の一致度(スコア)に重みを乗じ、
重み付け後の認識対象語の中から一致度(スコア)の高
い上位3個を選別する。一方、発話/取り消しスイッチ
4bの操作前に表示範囲の変更操作が行われていない場
合は、認識対象語に対する重み付けを行わず、表示範囲
と表示範囲外のすべての認識対象語の中から一致度が高
い上位3個の認識対象語を選別する。
【0048】例えば図11に示すような地域名や駅名な
どの目的地の表示画面において、ジョイスティック4a
により目的地の表示範囲をスクロールする場合、所望の
認識対象語が現れたらスクロールを止めることから、最
後に現れた目的地、つまり認識対象語か、もしくはその
近傍の認識対象語が利用者の所望の認識対象語である。
この第7の実施の形態では、表示範囲のすべての認識対
象語の重みを一律に設定せず、スクロール方向すなわち
表示範囲の変更方向にある認識対象語ほど高い重みを設
定する。換言すれば、表示範囲に現れた順に応じて重み
付けを行い、最後に表示範囲に現れた認識対象語に対し
て最も高い重みを設定する。図11に示す表示範囲の例
では、利用者の所望の目的地(認識対象語)「市ヶ谷」
は、スクロールを止めたときに最後に現れた目的地の近
くにあり、高い重みが設定されるため、認識結果として
現れる確立を高くすることができる。
【0049】《発明の第8の実施の形態》利用者が音声
認識による操作を行う前に、表示範囲の変更を行った場
合のみ、表示範囲の認識対象語に対して表示範囲外の認
識対象語に対する重みよりも高い重みを設定するととも
に、表示範囲外の認識対象語の内の表示範囲の変更方向
にある認識対象語に対しては、表示範囲から遠ざかるに
したがって表示範囲の認識対象語の重みから徐々に重み
を低減するようにした第8の実施の形態を説明する。な
お、この第8の実施の形態の構成は図1および図2に示
す第1の実施の形態の構成と同様であり、説明を省略す
る。
【0050】この第8の実施の形態の動作は、図9に示
す第5の実施の形態の動作の内のステップ6Aの一部が
異なるのみであり、図示を省略する。一致度演算終了後
のステップ6Aにおいて、まずメモリ2bに記憶されて
いる操作履歴から発話/取り消しスイッチ4bを操作す
る前の操作内容を確認する。発話/取り消しスイッチ4
bの操作前に表示範囲の変更操作が行われた記録がある
場合は、図12に示すように、表示範囲の目的地(認識
対象語)に対して1.0よりも高い所定の重みを設定す
るとともに、表示範囲外の目的地(認識対象語)の内の
ジョイスティック4aによる表示範囲のスクロール方
向、すなわち表示範囲の変更方向にある目的地(認識対
象語)に対しては、表示範囲から遠ざかるにしたがって
表示範囲の目的地(認識対象語)の重みから徐々に重み
を低減し、最終的に1.0の重みに収束させる。そし
て、各認識対象語の一致度(スコア)に重みを乗じ、重
み付け後の認識対象語の中から一致度(スコア)の高い
上位3個を選別する。一方、発話/取り消しスイッチ4
bの操作前に表示範囲の変更操作が行われていない場合
は、認識対象語に対する重み付けを行わず、表示範囲と
表示範囲外のすべての認識対象語の中から一致度が高い
上位3個の認識対象語を選別する。
【0051】地域名や駅名などの目的地のように認識対
象語が多い場合は50音順に並べられていることが多
く、利用者はジョイスティックや方向キーにより利用者
の意図する認識対象語がある方向へ画面をスクロールす
る。このとき、利用者の意図する認識対象語がスクロー
ル方向に存在する確立は高く、反対方向に存在する確立
は低い。そこで、この第8の実施の形態では、表示範囲
のスクロール方向、つまり表示範囲の変更方向にある表
示範囲外の認識対象語に対しては、表示範囲から遠ざか
るにしたがって表示範囲の認識対象語の重みから徐々に
重みを低減し、最終的に1.0の重みに収束させる。一
方、スクロール操作により表示範囲を通り過ぎてしまっ
た認識対象語、つまり表示範囲の変更方向と反対の方向
の表示範囲外の認識対象語に対しては、利用者の意図す
る認識対象語である可能性が低い語と見なし、1.0の
重みを付ける。これにより、所望の認識対象語が認識さ
れる確立を向上させることができる。
【0052】以上の実施の形態の構成において、マイク
5が音声入力手段を、外部記憶装置2hが記憶手段を、
モニター1aが表示手段を、音声入力ユニット2のCP
U2aが重み付け手段、演算手段、変更手段、抽出手段
および入れ替え手段をそれぞれ構成する。
【図面の簡単な説明】
【図1】 第1の実施の形態の構成を示す図である。
【図2】 図1に示す音声認識ユニットの詳細を示す図
である。
【図3】 第1の実施の形態の音声認識処理プログラム
を示すフローチャートである。
【図4】 第1の実施の形態の認識対象語の重み付け方
法を示す図である。
【図5】 表示範囲の認識対象語の表示例を示す図であ
る。
【図6】 重み付け後の一致度上位3個の認識対象語の
表示例を示す図である。
【図7】 一致度の高い認識対象語からいずれかを選択
する手順を示す図である。
【図8】 第2の実施の形態の認識対象語の重み付け方
法を示す図である。
【図9】 第5の実施の形態の音声認識処理プログラム
を示すフローチャートである。
【図10】 第7の実施の形態の認識対象語の重み付け
方法を示す図である。
【図11】 目的地表示画面のスクロール時の様子を説
明するための図である。
【図12】 第8の実施の形態の認識対象語の重み付け
方法を示す図である。
【符号の説明】
1 ナビゲーションユニット 1a モニター 2 音声認識ユニット 2a CPU 2b メモリ 2c 信号処理装置 2d A/Dコンバーター 2e D/Aコンバーター 2f 出力アンプ 2g 入力デバイス 2h 外部記憶装置 3 GPSアンテナ 4 ナビリモコン 4a ジョイスティック 4b 発話/取り消しスイッチ 5 マイク 6 スピーカー

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】音声を入力する音声入力手段と、 複数の認識対象語を記憶する記憶手段と、 前記記憶手段に記憶されている複数の認識対象語の内
    の、所定個数の認識対象語を表示する表示手段と、 前記表示手段に表示される認識対象語に対して前記表示
    手段に表示されない認識対象語よりも高い重み付けを行
    う重み付け手段と、 前記重み付け手段による重み付け後の認識対象語と前記
    入力手段により入力された音声との一致度を演算する演
    算手段とを備え、 一致度の演算結果に基づいて入力した音声を認識するこ
    とを特徴とする音声認識装置。
  2. 【請求項2】請求項1に記載の音声認識装置において、 前記記憶手段は複数の認識対象語を所定の順に記憶して
    おり、 前記表示手段は、前記記憶手段に前記所定の順に記憶さ
    れている複数の認識対象語の中から、前記所定個数の認
    識対象語を含む範囲(以下、表示範囲と呼ぶ)の認識対
    象語を前記所定の順に表示することを特徴とする音声認
    識装置。
  3. 【請求項3】請求項2に記載の音声認識装置において、 前記重み付け手段は、前記表示範囲外の認識対象語に対
    して、前記表示範囲から遠ざかるにしたがって前記表示
    範囲の認識対象語に対する重みから徐々に重みを低減す
    ることを特徴とする音声認識装置。
  4. 【請求項4】請求項2に記載の音声認識装置において、 前記表示範囲を変更する変更手段を備え、 前記重み付け手段は、前記変更手段により前記表示範囲
    の変更が行われた場合のみ、前記表示範囲の認識対象語
    に対して前記表示範囲外の認識対象語よりも高い重み付
    けを行うことを特徴とする音声認識装置。
  5. 【請求項5】請求項2に記載の音声認識装置において、 前記表示範囲を変更する変更手段を備え、 前記重み付け手段は、前記変更手段により前記表示範囲
    の大幅な変更が行われた後に前記表示範囲の小幅な変更
    が行われた場合のみ、前記表示範囲の認識対象語に対し
    て前記表示範囲外の認識対象語よりも高い重み付けを行
    うことを特徴とする音声認識装置。
  6. 【請求項6】請求項2に記載の音声認識装置において、 前記表示範囲を変更する変更手段を備え、 前記重み付け手段は、前記変更手段による前記表示範囲
    の変更にともなって前記表示範囲に現れた認識対象語の
    順に応じて重み付けを行い、前記表示範囲に最後に現れ
    た認識対象語に最も高い重み付けを行うことを特徴とす
    る音声認識装置。
  7. 【請求項7】請求項2に記載の音声認識装置において、 前記表示範囲を変更する変更手段を備え、 前記重み付け手段は、前記表示範囲の認識対象語に対し
    て前記表示範囲外の認識対象語よりも高い重み付けを行
    うとともに、前記表示範囲の変更方向に存在する表示範
    囲外の認識対象語に対しては、前記表示範囲から遠ざか
    るにしたがって前記表示範囲の認識対象語に対する重み
    から徐々に重みを低減することを特徴とする音声認識装
    置。
  8. 【請求項8】請求項1〜7のいずれかの項に記載の音声
    認識装置において、 前記演算手段により演算された一致度が高い順に所定個
    数の認識対象語を抽出する抽出手段を備え、 前記抽出手段により抽出された認識対象語を前記表示手
    段に表示して最終的な認識対象語を選択可能にしたこと
    を特徴とする音声認識装置。
  9. 【請求項9】請求項8に記載の音声認識装置において、 前記抽出手段により抽出された認識対象語の中に前記表
    示範囲外の認識対象語が含まれていない場合は、前記抽
    出された認識対象語の内の最も一致度の低い認識対象語
    と前記表示範囲外の最も一致度の高い認識対象語とを入
    れ替える入れ替え手段を備えることを特徴とする音声認
    識装置。
JP2001077910A 2001-03-19 2001-03-19 音声認識装置 Expired - Fee Related JP4056711B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001077910A JP4056711B2 (ja) 2001-03-19 2001-03-19 音声認識装置
US10/087,980 US7076425B2 (en) 2001-03-19 2002-03-05 Voice recognition device with larger weights assigned to displayed words of recognition vocabulary

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001077910A JP4056711B2 (ja) 2001-03-19 2001-03-19 音声認識装置

Publications (2)

Publication Number Publication Date
JP2002278588A true JP2002278588A (ja) 2002-09-27
JP4056711B2 JP4056711B2 (ja) 2008-03-05

Family

ID=18934592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001077910A Expired - Fee Related JP4056711B2 (ja) 2001-03-19 2001-03-19 音声認識装置

Country Status (2)

Country Link
US (1) US7076425B2 (ja)
JP (1) JP4056711B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017731A (ja) * 2005-07-08 2007-01-25 Alpine Electronics Inc 音声認識装置、音声認識装置を備えたナビゲーション装置及び音声認識装置の音声認識方法
KR20170139644A (ko) * 2015-05-27 2017-12-19 애플 인크. 디바이스 음성 제어
JP2019086599A (ja) * 2017-11-03 2019-06-06 アルパイン株式会社 音声認識装置
JP2019135529A (ja) * 2018-02-05 2019-08-15 株式会社東芝 編集支援装置、編集支援方法及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679042B1 (ko) * 2004-10-27 2007-02-06 삼성전자주식회사 음성인식 방법 및 장치, 이를 이용한 네비게이션 시스템
JP4667138B2 (ja) * 2005-06-30 2011-04-06 キヤノン株式会社 音声認識方法及び音声認識装置
US7822608B2 (en) * 2007-02-27 2010-10-26 Nuance Communications, Inc. Disambiguating a speech recognition grammar in a multimodal application
CN102105929B (zh) 2008-07-30 2015-08-19 三菱电机株式会社 声音识别装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5329609A (en) * 1990-07-31 1994-07-12 Fujitsu Limited Recognition apparatus with function of displaying plural recognition candidates
JPH06337695A (ja) 1993-05-27 1994-12-06 Toshiba Corp 音声認識装置
US5950160A (en) * 1996-10-31 1999-09-07 Microsoft Corporation Method and system for displaying a variable number of alternative words during speech recognition
JP4279909B2 (ja) * 1997-08-08 2009-06-17 ドーサ アドバンスズ エルエルシー 音声認識装置における認識対象表示方式
US6192343B1 (en) * 1998-12-17 2001-02-20 International Business Machines Corporation Speech command input recognition system for interactive computer display with term weighting means used in interpreting potential commands from relevant speech terms
JP3818352B2 (ja) 1998-12-25 2006-09-06 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及び記憶媒体
JP3670150B2 (ja) 1999-01-14 2005-07-13 日産車体株式会社 音声操作装置
JP3899719B2 (ja) 1999-01-29 2007-03-28 株式会社豊田自動織機 容量可変型圧縮機の制御弁
JP3563018B2 (ja) * 2000-07-21 2004-09-08 シャープ株式会社 音声認識装置および音声認識方法、並びに、プログラム記録媒体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017731A (ja) * 2005-07-08 2007-01-25 Alpine Electronics Inc 音声認識装置、音声認識装置を備えたナビゲーション装置及び音声認識装置の音声認識方法
US8428951B2 (en) 2005-07-08 2013-04-23 Alpine Electronics, Inc. Speech recognition apparatus, navigation apparatus including a speech recognition apparatus, and a control screen aided speech recognition method
KR20170139644A (ko) * 2015-05-27 2017-12-19 애플 인크. 디바이스 음성 제어
JP2018525653A (ja) * 2015-05-27 2018-09-06 アップル インコーポレイテッド デバイスの音声制御
KR102086898B1 (ko) * 2015-05-27 2020-03-09 애플 인크. 디바이스 음성 제어
US11127397B2 (en) 2015-05-27 2021-09-21 Apple Inc. Device voice control
JP2019086599A (ja) * 2017-11-03 2019-06-06 アルパイン株式会社 音声認識装置
JP2019135529A (ja) * 2018-02-05 2019-08-15 株式会社東芝 編集支援装置、編集支援方法及びプログラム

Also Published As

Publication number Publication date
US20020133338A1 (en) 2002-09-19
US7076425B2 (en) 2006-07-11
JP4056711B2 (ja) 2008-03-05

Similar Documents

Publication Publication Date Title
JP5158174B2 (ja) 音声認識装置
JP3943492B2 (ja) ディクテーションとコマンドの区別を向上させる方法
JP2004061576A (ja) 音声制御装置
US9123327B2 (en) Voice recognition apparatus for recognizing a command portion and a data portion of a voice input
US7840406B2 (en) Method for providing an electronic dictionary in wireless terminal and wireless terminal implementing the same
EP2747077A1 (en) Voice recognition system, recognition dictionary logging system, and audio model identifier series generation device
KR20050071334A (ko) 텍스트 입력 방법
JP6897677B2 (ja) 情報処理装置及び情報処理方法
JP2005148151A (ja) 音声操作装置
JP2002116793A (ja) データ入力システム及びその方法
CN112805734A (zh) 用于唤起对发言禁止用语的注意的演讲辅助装置
JP2002278588A (ja) 音声認識装置
JP2009265307A (ja) 音声認識装置及びこれを用いる車両システム
US7177806B2 (en) Sound signal recognition system and sound signal recognition method, and dialog control system and dialog control method using sound signal recognition system
JP2018116206A (ja) 音声認識装置、音声認識方法及び音声認識システム
JP5510069B2 (ja) 翻訳装置
JP3726783B2 (ja) 音声認識装置
JP5343744B2 (ja) 音声翻訳装置及び音声翻訳方法
US20150192425A1 (en) Facility search apparatus and facility search method
CN111199738B (zh) 语音识别装置、语音识别方法以及语音识别程序
JP2000338991A (ja) 認識率信頼性表示機能付き音声操作電話装置及びその音声認識方法
JP4624825B2 (ja) 音声対話装置および音声対話方法
JP2007256643A (ja) 音声認識装置及びナビゲーションシステム
JP2003177788A (ja) 音声対話システムおよびその方法
JP2011180416A (ja) 音声合成装置、音声合成方法およびカーナビゲーションシステム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees