JP2002073075A - 音声認識装置ならびにその方法 - Google Patents
音声認識装置ならびにその方法Info
- Publication number
- JP2002073075A JP2002073075A JP2000267954A JP2000267954A JP2002073075A JP 2002073075 A JP2002073075 A JP 2002073075A JP 2000267954 A JP2000267954 A JP 2000267954A JP 2000267954 A JP2000267954 A JP 2000267954A JP 2002073075 A JP2002073075 A JP 2002073075A
- Authority
- JP
- Japan
- Prior art keywords
- dictionary
- recognition
- speech recognition
- voice
- standby
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims 1
- 230000004043 responsiveness Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 15
- 230000004308 accommodation Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Document Processing Apparatus (AREA)
Abstract
つ音声認識辞書の階層構造を順に辿って全ての絞り込み
条件を決定するという煩わしい手順の実行を回避し、操
作性と応答性の向上をはかる。 【解決手段】 本発明の音声認識装置は、階層構造を持
つ複数の音声認識辞書(認識辞書記憶部105)と、音
声認識辞書のうち所望の辞書を待ち受けワード一覧とし
て抽出する抽出手段(制御部107)と、音声認識辞書
のうち、所望の辞書の選択操作を行う選択手段(認識辞
書選択部104)と、前記選択手段で選択された辞書を
最上位階層の待ち受けワード一覧とし、前記抽出手段で
抽出された通常の辞書と併せて記憶する記憶手段(RA
M103)と、入力された音声と記憶手段に記憶された
待ち受けワード一覧とを比較することによって入力され
た音声を認識する認識手段(認識部102)で構成され
る。
Description
答性の向上をはかった音声認識装置ならびにその方法に
関する。
を検索する場合、認識率の確保や使用可能なメモリサイ
ズ等の制約から、図13に絞込みの手順を示すように、
ジャンルや地名によって待受け単語を絞り込んだ上で最
終的に名称を発話している。ここでいう音声認識とは、
例えば、カーナビゲーションにおいて、ユーザがマイク
から入力した音声を認識し、認識した音声を用いて操作
処理を行なう音声操作のための音声認識であり、特に、
膨大な施設候補のうちから所望の施設を選択する操作を
音声で行う音声認識をいう。初期の段階では、システム
側では、カーナビゲーションを操作するための制御コマ
ンド辞書が設定されており、ユーザが「目的地設定」とコ
マンドを発話することでシステムに目的地までの経路設
定行う意思を伝える。
を検索する必要があるが、施設数が膨大であるため、一
度の音声認識で特定することは不可能である。そこで、
検索対象となる施設数を減少させるため、ジャンル名で
の絞込みを行う。はじめにジャンルでの絞込みを行うた
め、認識辞書をジャンル名辞書に入れ替えた後、「ジ
ャンル名をどうぞ」と発話し、ユーザに対してジャンル
名の発話を促す。これに対してユーザが「教育施設」と
発話すると音声認識装置が発話を認識する。教育施設で
はさらに詳細なサブジャンルを指定するように、システ
ム側で決められており認識辞書をサブジャンル名辞書に
入れ替えた後、「次のジャンル名をどうぞ」と発話し、
ユーザに対してサブジャンル名の発話を促す。これに対
してユーザが「高校」と発話すると音声認識装置が発話
を認識する。
絞込みを行うため、認識辞書を都道府県名辞書に入れ替
えた後、「都道府県名をどうぞ」と発話し、ユーザに対
して都道府県名単位での地域絞込みを促す。これに対し
てユーザが、「東京都」と発話すると音声認識装置が発
話を「東京都」と認識する。サブジャンルが「高校」でかつ
都道府県名が「東京都」だった場合、市区町村名を指定す
るように、あらかじめシステム側で決められており、認
識辞書を市区町村名辞書に入れ替えた後、「市区町村
名をどうぞ」と発話し、ユーザに対して市区町村名の発
話を促す。これに対してユーザが「渋谷区」と発話する
と音声認識装置が発話を認識する。ここまで指定すれば
施設数が十分絞り込まれているため、施設名称の検索を
開始する。
校辞書に入れ替えた後、「名称をどうぞ」と発話し、施
設名称の発話を促す。ここで、ユーザが「○○学園」と発
話すると音声認識装置が発話を認識し○○学園を目的地
に設定する。
書の階層構造を順に辿り、全ての絞り込み条件を決定す
るという煩わしい手順を実行することが必要となる。上
述した煩わしい手順の実行を回避するために、最終的に
検索したい施設名称等を全て最上位階層で待ち受けると
いう手法が存在する。
つメモリが必要となり、また、認識率が低下してレスポ
ンス性能が悪いといった問題もあった。例えば、あるユ
ーザはゴルフをしないため、ゴルフ場を検索することは
ないが、ユーザにとって興味のないジャンル(この場
合、ゴルフ場)も含めた全ての施設名称を待ち受けてい
る場合には、ゴルフ場の名称として誤認識されることが
ありえる。これはユーザにとって大きなストレスとな
る。
あり、最上位階層において絞り込み条件の辞書の他に、
あらかじめユーザにより設定される少なくとも一つの絞
込み条件によって区分された辞書を認識の対象として認
識処理を行うことにより操作性の改善をはかると共に、
レスポンスの向上をはかった音声認識装置ならびにその
方法を提供することを目的とする。
件(ジャンルや地域名等)をあらかじめ設定しておくこ
とにより、この絞り込み条件に合致する施設名称に関し
ては、階層構造を順に辿り絞り込み条件を決定するとい
う煩わしい処理を行うことなく、1回の発声で目的とす
る施設名称を検索することができ、更に、同時に絞り込
み条件辞書も認識対象とするため、あらかじめ設定して
ある絞り込み条件に合致しない施設名称を検索する必要
が生じた場合でも、従来の階層構造を順に辿り絞り込み
条件を決定していく手順により検索可能とする音声認識
装置ならびにその方法を提供することも目的とする。
ために、請求項1に記載の発明は、階層的に互いに関連
づけられた複数の音声認識辞書と、音声認識辞書のうち
所望の辞書を待ち受けワード一覧として抽出する抽出手
段と、音声認識辞書のうち、所望の辞書の選択操作を行
う選択手段と、選択手段で選択された辞書をあらかじめ
設定されている階層より上位階層の待ち受けワード一覧
とし、抽出手段で抽出された通常の辞書と併せて記憶す
る記憶手段と、入力された音声と記憶手段に記憶された
待ち受けワード一覧とを比較することによって入力され
た音声を認識する認識手段とを備えることとした。
に記載の音声認識装置において、音声認識辞書として、
施設の種別名を記憶した種別辞書と、施設の種別に属す
る施設の施設名を種別毎に記憶した施設辞書とを備える
こととした。更に、請求項3に記載の発明は、請求項1
または2に記載の音声認識装置において、音声認識辞書
として、地域名を記憶した地域辞書と、いずれかの地域
に存在する施設の施設名を地域毎に記憶した施設辞書と
を備えることとした。
または3に記載の音声認識装置において、選択手段は、
前記施設辞書を所望の辞書として選択することとした。
更に、請求項5に記載の発明は、請求項4に記載の音声
認識装置において、抽出手段は、認識された音声の下位
階層の辞書を待ち受けワードとして抽出するとともに、
選択手段で選択された辞書に属する辞書で、且つ認識さ
れた音声の下位階層の辞書を待ち受けワードとして抽出
することとした。
辞書の検索時、最上位階層における絞り込み条件辞書と
共に、あらかじめユーザが設定した少なくとも一つの絞
り込み条件によって区分された辞書も認識対象として認
識処理が行なわれる。すなわち、ジャンルや地域名等ユ
ーザが頻繁に使用する絞り込み条件をあらかじめ設定し
ておけば、この絞り込み条件に合致する施設名称に関し
ては、階層構造を順に辿り絞り込み条件を決定するとい
う煩わしい処理を行うことなく、1回の発声で目的とす
る施設名称を検索可能な音声認識装置を提供できる。ま
た、同時に絞り込み条件辞書も認識対象としているの
で、あらかじめ設定絞り込み条件に合致しない施設名称
を検索する必要が生じた場合でも、従来の階層構造を順
に辿り絞り込み条件を決定していく手順により検索可能
とする音声認識装置も提供できる。
に互いに関連づけられた音声認識辞書を複数持つ音声認
識装置に用いられ、最上位階層において絞り込み条件の
辞書と共に、あらかじめユーザにより設定される少なく
とも一つの絞込み条件によって区分された辞書を認識の
対象として入力された音声の認識処理を行うこととし
た。また、請求項7に記載の発明は、請求項6に記載の
音声認識方法において、あらかじめユーザにより設定さ
れる少なくとも一つの絞込み条件によって区分された辞
書は、使用頻度の高い辞書であることとした。
込み条件の辞書と共に、あらかじめユーザにより設定さ
れる少なくとも一つの絞込み条件によって区分された辞
書を認識の対象として認識処理を行うことによって操作
性の改善がはかれ、ジャンルや地域名等ユーザが頻繁に
使用する絞り込み条件をあらかじめ設定しておくことに
より、この絞り込み条件に合致する施設名称に関して
は、階層構造を順に辿り絞り込み条件を決定するという
煩わしい処理を行うことなく、1回の発声で目的とする
施設名称を検索でき、操作性ならびに応答性の向上がは
かれる。
関連付けられた複数の音声認識辞書と、前記音声認識辞
書のうち所望の辞書輪待ち受けワード一覧として抽出す
る抽出手段と、前記抽出手段で抽出された辞書の待ち受
けワード一覧を記憶する記憶手段と、入力された音声と
前記記憶手段に記憶された待ち受けワード一覧とを比較
することにより入力された音声を認識する認識手段とを
備え、前記認識手段によって音声が認識された際に、前
記抽出手段が認識された音声の下位階層の辞書の待ち受
けワードとして抽出し前記記憶手段が記憶するととも
に、認識される際に前記記憶手段に記憶されていた待ち
受けワードのうち認識された音声に関連する待ち受けワ
ードを引き続き比較対象として記憶しておくこととし
た。
関連付けられた複数の音声認識辞書から、所望の辞書を
待ち受けワード一覧として抽出し、抽出された辞書の待
ち受けワード一覧を記憶し、入力された音声と記憶され
た待ち受けワード一覧とを比較することにより入力され
た音声を認識する音声認識方法であって、音声が認識さ
れた際に、認識された音声の下位階層の辞書を待ち受け
ワードとして抽出し記憶するとともに、認識される際に
記憶されていた待ち受けワードのうち認識された音声に
関連する待ち受けワードを引き続き比較対象として記憶
しておくこととした。
一実施形態を示すブロック図である。図1において、マ
イク100は、ユーザの発生を集音し、電気信号に変換
し、特徴量計算部101へ供給する。特徴量計算部10
1は、PCM(PulsenCodenModulation)データを音
声認識に適した特徴量に変換し、認識部102へ供給す
る。認識部102は、特徴量に変換された入力音声とR
AM103にロードされた認識辞書中の待ち受けワード
との類似度を計算し、類似度の高いものからN個の待ち
受けワード、及びそれぞれの類似度(スコア)を結果と
して制御部107に出力する。
用の辞書を記憶しているものである。辞書の種類とし
て、複数の絞り込み条件毎に設けられた絞り込み条件辞
書と、絞り込み条件の組み合わせによって分類される最
終的な地名名称、例えば、具体的な施設名称等を記憶し
た施設名辞書とがある。更に、絞り込み条件辞書として
は、地点検索を行うための都道府県名等広い地域を示す
地域名称を記憶した広地域辞書、それぞれの都道府県毎
に設けられ、各都道府県に属する市町村名等狭い地域を
示す地域名称を記憶した狭地域辞書、施設の種類等検索
地点の大分類ジャンル名称を記憶したジャンル辞書、及
び、それぞれの大分類ジャンル毎に設けられ、各大分類
ジャンルに属するサブジャンル名称を記憶したサブジャ
ンル辞書等がある。
らの指令により、認識辞書記憶部105から所望の辞書
を選択し、待ち受けワードとしてRAM103にロード
する。初期設定部108は、絞り込み条件の組み合わせ
に属する施設名称辞書のうち所望の辞書を最上位階層の
辞書として設定するために、ユーザが選択操作を行うリ
モコンキーもしくは音声操作手段とからなる。この初期
設定部108にて、設定された施設名称辞書がユーザに
よる初期設定辞書となる。なお、設定方法については後
述する。初期設定記憶部106は、初期設定部108に
よってユーザが初期設定として設定した絞り込み条件も
しくはユーザがいずれの施設名称辞書を初期設定辞書と
して設定したかを記憶しておくものである。
ジやエコーバック用の合成音声を作成し、スピーカ11
2に出力する。検索部111は、図示せぬ地図データ等
のデータベースを備えており、音声認識によって最終的
に検索された施設の、所在地図や住所や電話番号やサー
ビス内容等の詳細情報データベースから検索する。結果
表示部110は、音声操作を行う際の認識結果、待ち受
けワード、ガイダンスメッセージ、エコーバック等とと
もに、検索部111によって検索された詳細情報を表示
するディスプレイである。
される出力結果に応じて各構成を制御するものである。
即ち、制御部107は、音声認識による施設検索がなさ
れる際に、まず、ジャンル辞書を認識辞書選択部104
が認識辞書記憶部105から取り出し、RAM103に
待ち受けワードとして設定するように制御する。このと
き、あらかじめユーザにより設定されている絞り込み条
件もしくは施設名称辞書を、初期設定記憶部106を参
照することにより認識し、該当する絞り込み条件もしく
は施設名称辞書を、同様に認識辞書選択部104が認識
辞書記憶部105から抽出し、RAM103に待ち受け
ワードとして設定するように制御する。
「ジャンル名をどうぞ」とのガイダンスメッセージを作
成させ、スピーカ112から出力させる。
されているジャンルの辞書内の待ち受けワードを音声入
力すると、入力された音声が示すジャンルに属するサブ
ジャンルの辞書が認識辞書記憶部105の中から読み出
され、RAM103にロードされ、次の待ち受けワード
となる。そして、RAM103に待ち受けワードとして
記憶されているサブジャンルの辞書内の待ち受けワード
を音声入力すると、入力された音声が示すサブジャンル
を記憶しておくとともに、そのサブジャンルに関連付け
られた広地域の辞書が、認識辞書記憶部105の中から
読み出され、RAM103にロードされ、次の待ち受け
ワードになる。
して記憶されている広地域の辞書内の待ち受けワードを
音声入力すると、入力された広地域に属する狭地域の辞
書が認識辞書記憶部105の中から読み出され、RAM
103にロードされ、次の待ち受けワードとなる。そし
て、RAM103に待ち受けワードとして記憶されてい
る狭地域の辞書内の待ち受けワードを音声入力すると、
入力された音声が示す狭地域を記憶しておくとともに、
その狭地域に関連付けられた具体的な1の地点を示す辞
書が認識辞書記憶部105の中から読み出され、RAM
103にロードされ、次の待ち受けワードになる。この
ように、順次待ち受けワードを構成する辞書が変更して
階層的に用いられるように、階層構造をなして認識辞書
記憶部105に記憶されている。すなわち、後述する図
2乃至図5に階層辞書ツリーとして示すように、ジャン
ルの辞書の下にサブジャンルの辞書があり、広地域の辞
書の下に狭地域の辞書があり、一番下の階層に具体的な
1の地点を示す複数の辞書が存在する。
態の動作を説明するために引用した図であり、うち、図
2乃至図5は、階層構造を持つ音声認識辞書の階層辞書
ツリー、図6乃至図8は、動作を示すフローチャート、
図9乃至図12は絞込み条件の初期設定のための画面構
成を示す。
辞書の検索時、第1階層において第1絞り込み条件辞書
(図3に示す階層辞書ツリーではジャンル名辞書)と共
に、あらかじめユーザが設定した1つあるいは複数の施
設名称辞書(絞り込み条件によって区分された辞書であ
って、図3に示す階層辞書ツリーでは病院の辞書と宿泊
施設の辞書)も認識対象として認識処理を行うことにあ
る。
ルや地域名等絞り込み条件をあらかじめ設定しておけ
ば、この絞り込み条件に合致する施設名称に関しては、
階層構造を順に辿り絞り込み条件を決定するという煩わ
しい処理を行うことなく、1回の発声で目的とする施設
名称を検索することができる。また、同時に絞り込み条
件辞書も認識対象としているので、あらかじめ設定して
ある絞り込み条件に合致しない施設名称を検索する必要
が生じた場合でも、従来の階層構造を順に辿り絞り込み
条件を決定していく手順により検索可能である。
(絞り込み条件によって区分された辞書)の数あるいは
サイズは、認識率の観点からや使用可能なメモリ容量の
制限などからシステム設計者があらかじめ設定しておけ
ばよい。
辞書中の単語が認識された場合でも、図5に示す階層辞
書ツリーのように、サブジャンル名辞書と共にユーザが
あらかじめ設定した施設名称辞書(絞り込み条件によっ
て区分された辞書であって、図5に示す階層辞書ツリー
では病院の辞書と宿泊施設の辞書)等、認識される際に
認識対象の辞書の待ち受けワードとして記憶されていた
待ち受けワードのうち、認識された音声に関連する待ち
受けワード等、この絞り込み条件に合致する辞書(図5
に示す階層辞書ツリーでは宿泊施設の辞書)も認識対象
としてもよい。第3階層以降についても同様である。
る。まず、図2に示した階層辞書ツリーに従えば、シス
テムとユーザとのやりとりは以下に示すようになる。 (1)システム「コマンドをどうぞ」 (2)ユーザ 「病院」 (3)システム「次のジャンルをどうぞ」 (4)ユーザ 「診療所」 (5)システム「都道府県名をどうぞ」 (6)ユーザ 「埼玉県」 (7)システム「市区町村名をどうぞ」 (8)ユーザ 「川越市」 (9)システム「名称をどうぞ」 (10)ユーザ 「栗田医院」 すなわち、ここでは、入力音声「栗田医院」に対して、
「埼玉県川越市の病院(診療所)の辞書」204を認識対
象として音声認識を行う。
ように、本発明の特徴である、ユーザがあらかじめ「病
院」302、「宿泊施設」303を設定していた場合で
あって、設定した絞り込み条件に合致した施設名称を検
索する場合のシステムとユーザのやりとりは以下のよう
になる。 (1)システム「ジャンル名または施設名称をどうぞ」 (2)ユーザ「斎藤医院」
「ジャンル名辞書」301、「病院の辞書」302、「宿泊
施設の辞書」303を認識対象として音声認識が行なわ
れる。ここでは、目的語(斎藤医院)が、「病院の辞書」
302に含まれるため、1回の発話で検索処理が終了す
る。「病院の辞書」302は、「全ての都道府県」の「全て
の市区町村」の「病院」の全てのサブジャンルに属する名
称の辞書(307、308、…313…)の集合であ
り、「宿泊施設の辞書」303も同様である。
に、設定した絞り込み条件に合致しない施設名称を検索
する場合で、第2階層以降では絞り込み条件辞書のみを
認識対象とする場合のシステムとユーザのやりとりは以
下のようになる。 (1)システム「ジャンル名または施設名称をどうぞ」 (2)ユーザ 「駅名」 (3)システム「サブジャンル名をどうぞ」 (4)ユーザ 「私鉄」 (5)システム「都道府県名をどうぞ」 (6)ユーザ 「埼玉県」 (7)システム「市区町村名をどうぞ」 (8)ユーザ 「熊谷市」 (9)システム「駅名をどうぞ」 (10)ユーザ 「石原駅」
「埼玉県熊谷市の駅名(私鉄)の辞書」408を認識対象
として音声認識を行う。目的語(石原駅)は、第一階層
待ち受け辞書400に含まれないため、ユーザは第1階
層においてジャンル名辞書401に含まれるジャンル名
を発話し、以後、従来手法に従い検索処理を行う。
設名称を検索する場合で、第2階層以降では絞り込み条
件辞書とともにあらかじめ設定した絞り込み条件、およ
び検索の過程で決定した絞り込み条件に合致する施設名
称辞書を認識対象とする場合について図5を参照しなが
ら説明する。ここではシステムとユーザのやりとりは以
下のようになる。 (1)システム「ジャンル名または施設名称をどうぞ」 (2)ユーザ 「宿泊施設」 (3)システム「サブジャンル名または施設名称をどう
ぞ」 (4)ユーザ 「小林旅館」
「宿泊施設のサブジャンル名辞書」505、「宿泊施設の
辞書」503を認識対象として音声認識を行う。目的語
(小林旅館)が、「宿泊施設の辞書」503に含まれるの
で、この時点で検索処理は終了する。
にあらかじめ設定した絞り込み条件および検索の過程で
決定した絞り込み条件に合致する施設名称辞書を認識対
象とする。例えば、 (1)システム「ジャンル名または施設名称をどうぞ」 (2)ユーザ 「宿泊施設」 (3)システム「サブジャンル名または施設名称をどう
ぞ」 (4)ユーザ 「旅館」 (5)システム「都道府県名または施設名称をどうぞ」 (6)ユーザ「小林旅館」 となる。
合致しない施設名称を検索する場合のシステムとユーザ
のやりとりは以下のようになる。 (1)システム「ジャンル名または施設名称をどうぞ」 (2)ユーザ 「駅名」 (3)システム「サブジャンル名をどうぞ」(*) (4)ユーザ 「JR」 (5)システム「都道府県名をどうぞ」(*) (6)ユーザ 「埼玉県」 (7)システム「市区町村名をどうぞ」(*) (8)ユーザ 「熊谷市」 (9)システム「駅名をどうぞ」 (10)ユーザ 「熊谷駅」
「埼玉県熊谷市の駅名(JR)の辞書」を認識対象として
音声認識を行う。なお、上述したシステムとユーザのや
りとりにおいて、*印が付加されたものは、あらかじめ
設定した絞り込み条件と検索の過程で決定した絞り込み
条件全てに合致する施設名称はないのでシステム側のガ
イダンスに「施設名称」は含まれない。
展開の手順をフローチャートで示した図である。以下、
図3に示す階層辞書ツリーおよび図6に示すフローチャ
ートを参照しながら図1に示す本発明実施形態の動作に
ついて説明する。
定部108により絞り込み条件を設定する。初期設定値
は、初期設定記憶部106に記憶されるので、この処理
は初期時に一度行えば良く、検索のたびに行う必要はな
い。ステップS601で発話ボタン等により検索開始の
トリガがかかったか否かを判断し、トリガがかかってい
なければステップS601の処理へ戻る。
2の処理へ進み、ジャンル名辞書301と初期設定記憶
部106に記憶された、ユーザがあらかじめ設定した条
件に合致する1つあるいは複数の施設名称辞書をRAM
103にロードする。ステップS603でRAM103
にロードされた辞書を認識対象として認識処理を行う。
この際、ユーザは、ジャンル名またはあらかじめ設定し
た条件に合致する施設名称を発声する。
認識結果が施設名称であればステップS613の処理へ
進み、結果表示部110で結果表示を行い、TTS(Te
xtTo Speech)出力、検索部111による検索処理等を
行う。ステップS604で認識結果が施設名称でなけれ
ばステップS605の処理へ進み、認識結果のジャンル
のサブジヤンル名辞書をRAM103にロードする。ス
テップS606でユーザが発声したサブジャンル名に対
してRAM103にロードされた辞書を認識対象として
認識処理を行う。
RAM103にロードし、ステップS608でユーザが
発声した都道府県名に対してRAM103にロードされ
た辞書を認識対象として認識処理を行う。ステップS6
09では、ステップS608における認識結果の都道府
県の市区町村名辞書をRAM103にロードし、ステッ
プS610でユーザが発声した市区町村名に対してRA
M103にロードされた辞書を認識対象として認識処理
を行う。
3、ステップS606、ステップS608、ステップS
610の認識結果として得られた条件に合致する施設名
称辞書をRAM103にロードし、ステップS612で
ユーザが発声した施設名称に対してRAM103にロー
ドされた辞書を認識対象として認識処理を行う。最後に
ステップS613で結果表示部110による結果表示、
TTS出力、検索部111による検索処理等を行う。
展開の手順をフローチャートで示した図である。以下、
図5に示す階層辞書ツリーおよび図7に示すフローチャ
ートを参照しながら、図1に示す本発明実施形態の動作
について説明する。
定部108を介して絞り込み条件を設定する。初期設定
値は初期設定記憶部106に記憶されるので、この処理
は初期設定時に一度行えば良く、検索のたびに行う必要
はない。ステップS701で発話ボタン等により検索開
始のトリガがかかったか否かを判断し、トリガがかかっ
ていなければステップS701の処理へ戻る。トリガが
かかったらステップS702の処理へ進み、ジャンル名
辞書と初期設定記憶部106に記憶されたユーザがあら
かじめ設定した条件に合致する1つあるいは複数の施設
名称辞書をRAM103にロードする。ステップS70
3でRAM103にロードされた辞書を認識対象として
認識処理を行う。この際、ユーザはジャンル名またはあ
らかじめ設定した条件に合致する施設名称を発声する。
識結果が施設名称であればステップS716の処理へ進
む。認識結果が施設名称でなければステップS705の
処理へ進み、認識結果のジャンルのサブジャンル名辞書
とあらかじめ設定した条件及びステップS703の認識
結果として得られた条件の両方に合致する施設名称辞書
をRAM103にロードし、ステップS706でユーザ
が発声したサブジャンル名または施設名称に対してRA
M103にロードされた辞書を認識対象として認識処理
を行う。
識結果が施設名称であればステップS716の処理へ進
む。認識結果が施設名称でなければステップS708の
処理へ進み、都道府県名辞書とあらかじめ設定した条
件、及びステップS703、ステップS706の認識結
果として得られた条件の全てに合致する施設名称に対し
てRAM103にロードし、ステップS709でユーザ
が発声した都道府県名または施設名称に対してRAM1
03にロードされた辞書を認識対象として認識処理を行
う。
認識結果が施設名称であればステップS716の処理へ
進む。認識結果が施設名称でなければステップS711
の処理へ進み、ステップS709の認識結果の都道府県
の市区町村名辞書とあらかじめ設定した条件及びステッ
プS703、ステップS706、ステップS709の認
識結果として得られた条件の全てに合致する施設名称辞
書をRAM103にロードし、ステップS712でユー
ザが発声した市区町村名または施設名称に対してRAM
103にロードされた辞書を認識対象として認識処理を
行う。
識結果が施設名称であればステップS716の処理へ進
む。認識結果が施設名称でなければステップS714の
処理へ進む。認識結果が施設名称でなければステップS
714の処理へ進み、ステップS703、ステップS7
06、ステップS709、ステップS712の認識結果
として得られた条件の全てに合致する施設名称辞書をR
AM103にロードし、ステップS715でユーザが発
声した施設名称に対してRAM103にロードされた辞
書を認識対象として認識処理を行う。最後に、ステップ
S716で結果表示、TTS出力、検索処理等を行う。
(ステップS603、ステップS606、ステップSS
608、ステップS610、ステップS612、ステッ
プS703、ステップS706、ステップS709、ス
テップS712、ステップS715)の詳細手順をフロ
ーチャートで示した図である。
ながら上記各ステップで実行される認識処理について説
明する。まず、ステップS800で、マイク100から
の入力に音声が含まれているかを検出する。検出方法と
して、パワーがある閾値を越えた場合に音声とみなす等
の方法がある。音声が検出されれば音声開始と判断し、
ステップS801で特徴量計算部101による特徴量の
計算が行なわれ、ステップS802でRAM103にロ
ードされた認識辞書に含まれる各単語と入力音声から計
算された特徴量との類似度を計算する。ステップS80
3で音声が終了していなければステップS801の処理
へ戻る。音声が終了していたら、ステップS804で類
似度が一番高い単語を認識結果として出力する。
いて、リモコンを用いて行う場合と、音声認識により行
う2例を説明する。
ニューボタンを押すことによって表示されるメニュー画
面から「絞り込み条件設定変更」の項目を選択する。この
ことにより、図9に示す絞り込み条件設定変更画面とな
る。絞り込み条件設定変更画面は、絞込み条件(都道府
県名、ジャンル名)によって区分された施設名辞書群が
マトリクス状に割り付けられ配置されている。ここで
は、リモコンのジョイスティックによりカーソルを移動
し、設定変更を行いたい条件名に移動する。
すことで、図10に示すように、都道府県一覧の中の所
望の県を選択する。ここで、例えば埼玉県を選択してい
る時にリモコンの決定ボタンを押すことによりカーソル
位置の条件(埼玉県に存在する全てのジャンルの施設名
称辞書)を絞り込み条件とする。
動かすことにより、図11に示すようにジャンル名一覧
中の所望のジャンルを選択する。ここで、例えば病院を
選択している時に決定ボタンを押すことによりカーソル
位置の条件(全国の病院の名称辞書)を絞り込み条件と
する。 更に、図10に示す表示画面を用いて埼玉県を
選択した後に、図11に示すように病院を選択すると、
図12に示すように埼玉県にある病院の名称辞書を絞り
込み条件とする。
玉県」と「病院」が設定された場合に選択される名称辞
書が示されているが、都道府県名と病院名が共に設定さ
れることは必須でなく、それぞれ単独に設定されてもよ
い。また、予め決定ボタンを押された位置の条件が絞り
込み条件となっている場合は、絞り込み条件であること
を解除するものとする。即ち、予め絞込条件となってい
る場合はその条件を解除し、条件となっていない場合は
絞込条件に設定を変更する。更に、上記はジョイスティ
ックで絞込みの条件を選択する例を示したが、ジョイス
ティックの代わりにタッチパネルで行ってもよい。
について説明する。音声認識の第1階層待ち受け辞書に
「設定変更」等の絞り込み条件変更処理を意味する単語も
含めておき、この単語が認識された場合には絞り込み条
件設定変更処理を開始する。まず、設定変更処理におい
て、絞り込み条件名を待ち受け単語とした辞書を用いて
音声認識処理を行い、認識された条件がオンの場合はそ
の条件をオフに、オフの場合はオンに設定を変更する。
条件名の後ろに「をオンにする」「をオフにする」等を付加
したものを待ち受け単語とした辞書を用いて音声認識処
理を行い、認識された単語が「(条件名)をオンにする」
の場合はその条件をオンに、「(条件名)をオフにす
る」の場合はオフに設定する。なお、先の設定変更処理
において、「(条件名)」+「(オン、オフを指定する単
語)」という文法を用いた連続認識としてもよい。
おいて絞り込み条件の辞書の他に、あらかじめユーザに
より設定される少なくとも一つの絞込み条件によって区
分された辞書を認識の対象として認識処理を行うことに
より操作性の改善がはかれると共に、応答性の向上もは
かれるものである。
構造を持つ音声認識辞書を複数持つ音声認識装置に用い
られ、最上位階層において絞り込み条件の辞書と共に、
あらかじめユーザにより設定される少なくとも一つの絞
込み条件によって区分された辞書を認識の対象として認
識処理を行うことにより操作性の改善ならびにレスポン
スの向上がはかれ、また、ユーザが頻繁に使用する絞り
込み条件(ジャンルや地域名等)をあらかじめ設定して
おくことにより、この絞り込み条件に合致する施設名称
に関しては、階層構造を順に辿り絞り込み条件を決定す
るという煩わしい処理を行うことなく、1回の発声で目
的とする施設名称を検索することができる。
れた絞り込み条件に合致しない施設名称を検索する場合
には、絞り込み条件を順に決定していくという従来の手
順を踏むことができる。更に、あらかじめ設定された絞
り込み条件に合致する施設名称を検索する場合でも、従
来の手順で絞り込み条件を順に決定した上で最終的に絞
り込み条件に合致する1つの辞書セットを用いて施設名
称の認識処理を行うことも可能である。
すブロック図である。
た図であり、階層辞書ツリーの一例を示す図である。
た図であり、階層辞書ツリーの一例を示す図である。
た図であり、階層辞書ツリーの一例を示す図である。
た図であり、階層辞書ツリーの一例を示す図である。
フローチャートで示した図である。
フローチャートで示した図である。
をフローチャートで示した図である。
た図である。
した図である。
した図である。
した図である。
引用した図である。
部、103…RAM、104…認識辞書選択部、105
…認識辞書記憶部、106…初期設定記憶部、107…
制御部、108…初期設定部、109…音声合成部、1
10…結果表示部、111…検索部、112…スピーカ
Claims (9)
- 【請求項1】 階層的に互いに関連づけられた複数の音
声認識辞書と、 前記音声認識辞書のうち所望の辞書を待ち受けワード一
覧として抽出する抽出手段と、 前記音声認識辞書のうち、所望の辞書の選択操作を行う
選択手段と、 前記選択手段で選択された辞書をあらかじめ設定されて
いる階層より上位階層の待ち受けワード一覧とし、前記
抽出手段で抽出された通常の辞書と併せて記憶する記憶
手段と、 入力された音声と前記記憶手段に記憶された待ち受けワ
ード一覧とを比較することによって入力された音声を認
識する認識手段とを備えたことを特徴とする音声認識装
置。 - 【請求項2】 前記音声認識辞書として、施設の種別名
を記憶した種別辞書と、施設の種別に属する施設の施設
名を種別毎に記憶した施設辞書とを備えることを特徴と
する請求項1に記載の音声認識装置。 - 【請求項3】 前記音声認識辞書として、地域名を記憶
した地域辞書と、いずれかの地域に存在する施設の施設
名を地域毎に記憶した施設辞書とを備えることを特徴と
する請求項1または2に記載の音声認識装置。 - 【請求項4】 前記選択手段は、前記施設辞書を所望の
辞書として選択することを特徴とする請求項2または3
に記載の音声認識装置。 - 【請求項5】 前記抽出手段は、認識された音声の下位
階層の辞書を待ち受けワードとして抽出するとともに、
前記選択手段で選択された辞書に属する辞書で、且つ認
識された音声の下位階層の辞書を待ち受けワードとして
抽出することを特徴とする請求項4に記載の音声認識装
置。 - 【請求項6】 階層的に互いに関連付けられた音声認識
辞書を複数持つ音声認識装置に用いられ、 上位階層において絞り込み条件の辞書と共に、あらかじ
めユーザにより設定される少なくとも一つの絞込み条件
によって区分された辞書を認識の対象として入力された
音声の認識処理を行うことを特徴とする音声認識方法。 - 【請求項7】 前記あらかじめユーザにより設定される
少なくとも一つの絞込み条件によって区分された辞書
は、使用頻度の高い辞書であることを特徴とする請求項
6に記載の音声認識方法。 - 【請求項8】 階層的に互いに関連付けられた複数の音
声認識辞書と、 前記音声認識辞書のうち所望の辞書を待ち受けワード一
覧として抽出する抽出手段と、 前記抽出手段で抽出された辞書の待ち受けワード一覧を
記憶する記憶手段と、 入力された音声と前記記憶手段に記憶された待ち受けワ
ード一覧とを比較することにより入力された音声を認識
する認識手段とを備え、 前記認識手段によって音声が認識された際に、前記抽出
手段が認識された音声の下位階層の辞書の待ち受けワー
ドとして抽出し前記記憶手段が記憶するとともに、認識
される際に前記記憶手段に記憶されていた待ち受けワー
ドのうち認識された音声に関連する待ち受けワードを引
き続き比較対象として記憶しておくことを特徴とする音
声認識装置。 - 【請求項9】 階層的に互いに関連付けられた複数の音
声認識辞書から、所望の辞書を待ち受けワード一覧とし
て抽出し、抽出された辞書の待ち受けワード一覧を記憶
し、入力された音声と記憶された待ち受けワード一覧と
を比較することにより入力された音声を認識する音声認
識方法であって、 音声が認識された際に、認識された音声の下位階層の辞
書を待ち受けワードとして抽出し記憶するとともに、認
識される際に記憶されていた待ち受けワードのうち認識
された音声に関連する待ち受けワードを引き続き比較対
象として記憶しておくことを特徴とする音声認識方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000267954A JP4116233B2 (ja) | 2000-09-05 | 2000-09-05 | 音声認識装置ならびにその方法 |
DE60126882T DE60126882T2 (de) | 2000-09-05 | 2001-09-03 | Hierarchisierte Wörterbücher für die Spracherkennung |
EP01307482A EP1193959B1 (en) | 2000-09-05 | 2001-09-03 | Hierarchized dictionaries for speech recognition |
US09/944,101 US20020032568A1 (en) | 2000-09-05 | 2001-09-04 | Voice recognition unit and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000267954A JP4116233B2 (ja) | 2000-09-05 | 2000-09-05 | 音声認識装置ならびにその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002073075A true JP2002073075A (ja) | 2002-03-12 |
JP4116233B2 JP4116233B2 (ja) | 2008-07-09 |
Family
ID=18754785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000267954A Expired - Fee Related JP4116233B2 (ja) | 2000-09-05 | 2000-09-05 | 音声認識装置ならびにその方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20020032568A1 (ja) |
EP (1) | EP1193959B1 (ja) |
JP (1) | JP4116233B2 (ja) |
DE (1) | DE60126882T2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004020883A (ja) * | 2002-06-17 | 2004-01-22 | Fujitsu Ten Ltd | 音声認識装置及びナビゲーション装置 |
JP2004226698A (ja) * | 2003-01-23 | 2004-08-12 | Yaskawa Electric Corp | 音声認識装置 |
JP2005148724A (ja) * | 2003-10-21 | 2005-06-09 | Zenrin Datacom Co Ltd | 音声認識を用いた情報入力を伴う情報処理装置 |
JP2006162782A (ja) * | 2004-12-03 | 2006-06-22 | Mitsubishi Electric Corp | 音声認識装置 |
JP2007199315A (ja) * | 2006-01-25 | 2007-08-09 | Ntt Software Corp | コンテンツ提供装置 |
JP2008197338A (ja) * | 2007-02-13 | 2008-08-28 | Denso Corp | 音声認識装置 |
JP4855421B2 (ja) * | 2005-12-14 | 2012-01-18 | 三菱電機株式会社 | 音声認識装置 |
JPWO2013015364A1 (ja) * | 2011-07-27 | 2015-02-23 | 三菱電機株式会社 | ユーザインタフェース装置、情報処理方法および情報処理プログラム |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7487091B2 (en) | 2002-05-10 | 2009-02-03 | Asahi Kasei Kabushiki Kaisha | Speech recognition device for recognizing a word sequence using a switching speech model network |
EP1411497A1 (en) * | 2002-10-18 | 2004-04-21 | Koninklijke KPN N.V. | System and method for hierarchical voice activated dialling and service selection |
DE10329546A1 (de) * | 2003-06-30 | 2005-01-20 | Daimlerchrysler Ag | Lexikon gesteuerter Teilsprachmodell-Mechanismus für die automatische Spracherkennung |
EP1751916A1 (en) * | 2004-05-21 | 2007-02-14 | Cablesedge Software Inc. | Remote access system and method and intelligent agent therefor |
US7925506B2 (en) * | 2004-10-05 | 2011-04-12 | Inago Corporation | Speech recognition accuracy via concept to keyword mapping |
US8364467B1 (en) * | 2006-03-31 | 2013-01-29 | Google Inc. | Content-based classification |
JP4767754B2 (ja) | 2006-05-18 | 2011-09-07 | 富士通株式会社 | 音声認識装置および音声認識プログラム |
JP2008058409A (ja) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | 音声認識方法及び音声認識装置 |
US7831431B2 (en) * | 2006-10-31 | 2010-11-09 | Honda Motor Co., Ltd. | Voice recognition updates via remote broadcast signal |
DE112007002665B4 (de) * | 2006-12-15 | 2017-12-28 | Mitsubishi Electric Corp. | Spracherkennungssystem |
ATE527652T1 (de) * | 2006-12-21 | 2011-10-15 | Harman Becker Automotive Sys | Mehrstufige spracherkennung |
US8219399B2 (en) * | 2007-07-11 | 2012-07-10 | Garmin Switzerland Gmbh | Automated speech recognition (ASR) tiling |
DE102008027958A1 (de) * | 2008-03-03 | 2009-10-08 | Navigon Ag | Verfahren zum Betrieb eines Navigationssystems |
JP2009251934A (ja) * | 2008-04-07 | 2009-10-29 | Just Syst Corp | 検索装置、検索方法および検索プログラム |
US20110099507A1 (en) | 2009-10-28 | 2011-04-28 | Google Inc. | Displaying a collection of interactive elements that trigger actions directed to an item |
US20110131040A1 (en) * | 2009-12-01 | 2011-06-02 | Honda Motor Co., Ltd | Multi-mode speech recognition |
US20110184736A1 (en) * | 2010-01-26 | 2011-07-28 | Benjamin Slotznick | Automated method of recognizing inputted information items and selecting information items |
CN103842773B (zh) * | 2011-09-13 | 2017-05-17 | 三菱电机株式会社 | 导航装置 |
CN110926493A (zh) * | 2019-12-10 | 2020-03-27 | 广州小鹏汽车科技有限公司 | 一种导航方法、装置、车辆及计算机可读存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5497319A (en) * | 1990-12-31 | 1996-03-05 | Trans-Link International Corp. | Machine translation and telecommunications system |
JPH10143191A (ja) * | 1996-11-13 | 1998-05-29 | Hitachi Ltd | 音声認識システム |
JP3556425B2 (ja) * | 1997-03-18 | 2004-08-18 | 株式会社東芝 | 共有辞書更新方法および辞書サーバ |
DE19742054A1 (de) * | 1997-09-24 | 1999-04-01 | Philips Patentverwaltung | Eingabesystem wenigstens für Orts- und/oder Straßennamen |
JPH11224265A (ja) * | 1998-02-06 | 1999-08-17 | Pioneer Electron Corp | 情報検索装置及び情報検索方法並びに情報検索プログラムを記録した記録媒体 |
JP3930138B2 (ja) * | 1998-02-27 | 2007-06-13 | 株式会社東芝 | 情報解析方法および情報解析プログラムを記憶した媒体 |
US6363342B2 (en) * | 1998-12-18 | 2002-03-26 | Matsushita Electric Industrial Co., Ltd. | System for developing word-pronunciation pairs |
JP3980791B2 (ja) * | 1999-05-03 | 2007-09-26 | パイオニア株式会社 | 音声認識装置を備えたマンマシンシステム |
JP4642953B2 (ja) * | 1999-09-09 | 2011-03-02 | クラリオン株式会社 | 音声検索装置、および、音声認識ナビゲーション装置 |
-
2000
- 2000-09-05 JP JP2000267954A patent/JP4116233B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-03 EP EP01307482A patent/EP1193959B1/en not_active Expired - Lifetime
- 2001-09-03 DE DE60126882T patent/DE60126882T2/de not_active Expired - Fee Related
- 2001-09-04 US US09/944,101 patent/US20020032568A1/en not_active Abandoned
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004020883A (ja) * | 2002-06-17 | 2004-01-22 | Fujitsu Ten Ltd | 音声認識装置及びナビゲーション装置 |
JP2004226698A (ja) * | 2003-01-23 | 2004-08-12 | Yaskawa Electric Corp | 音声認識装置 |
JP2005148724A (ja) * | 2003-10-21 | 2005-06-09 | Zenrin Datacom Co Ltd | 音声認識を用いた情報入力を伴う情報処理装置 |
JP2006162782A (ja) * | 2004-12-03 | 2006-06-22 | Mitsubishi Electric Corp | 音声認識装置 |
JP4498906B2 (ja) * | 2004-12-03 | 2010-07-07 | 三菱電機株式会社 | 音声認識装置 |
JP4855421B2 (ja) * | 2005-12-14 | 2012-01-18 | 三菱電機株式会社 | 音声認識装置 |
JP2007199315A (ja) * | 2006-01-25 | 2007-08-09 | Ntt Software Corp | コンテンツ提供装置 |
JP2008197338A (ja) * | 2007-02-13 | 2008-08-28 | Denso Corp | 音声認識装置 |
JPWO2013015364A1 (ja) * | 2011-07-27 | 2015-02-23 | 三菱電機株式会社 | ユーザインタフェース装置、情報処理方法および情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20020032568A1 (en) | 2002-03-14 |
DE60126882D1 (de) | 2007-04-12 |
DE60126882T2 (de) | 2007-12-20 |
EP1193959B1 (en) | 2007-02-28 |
EP1193959A2 (en) | 2002-04-03 |
EP1193959A3 (en) | 2002-12-18 |
JP4116233B2 (ja) | 2008-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4116233B2 (ja) | 音声認識装置ならびにその方法 | |
US8527271B2 (en) | Method for speech recognition | |
US6961706B2 (en) | Speech recognition method and apparatus | |
JP5334178B2 (ja) | 音声認識装置およびデータ更新方法 | |
US6385582B1 (en) | Man-machine system equipped with speech recognition device | |
JP3990075B2 (ja) | 音声認識支援方法及び音声認識システム | |
US20080162137A1 (en) | Speech recognition apparatus and method | |
JP5637131B2 (ja) | 音声認識装置 | |
JPH11175568A (ja) | 入力システム | |
CN102549652A (zh) | 信息检索装置、信息检索方法及导航系统 | |
KR20060037086A (ko) | 음성인식 방법 및 장치, 이를 이용한 네비게이션 시스템 | |
US8306820B2 (en) | Method for speech recognition using partitioned vocabulary | |
JP2002123290A (ja) | 音声認識装置ならびに音声認識方法 | |
JP5455355B2 (ja) | 音声認識装置及びプログラム | |
JP3645104B2 (ja) | 辞書検索装置及び辞書検索プログラムを記録した記録媒体 | |
JP3296783B2 (ja) | 車載用ナビゲーション装置および音声認識方法 | |
KR101063159B1 (ko) | 명령횟수를 줄일 수 있는 음성 인식을 이용한 주소 검색 방법 | |
JPH0926799A (ja) | 音声認識装置 | |
JP2000089782A (ja) | 音声認識装置と方法、ナビゲーションシステム、及び記録媒体 | |
JP2009282835A (ja) | 音声検索装置及びその方法 | |
JPH11325946A (ja) | 車載用ナビゲーション装置 | |
JP2001306088A (ja) | 音声認識装置及び処理システム | |
JP3663012B2 (ja) | 音声による入力装置 | |
JP2008191581A (ja) | 音声入力支援方法および装置、ならびにナビゲーションシステム | |
JPH07311591A (ja) | 音声認識装置およびナビゲーションシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080417 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140425 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |