JP2003131691A - 音声対話システム - Google Patents
音声対話システムInfo
- Publication number
- JP2003131691A JP2003131691A JP2001325122A JP2001325122A JP2003131691A JP 2003131691 A JP2003131691 A JP 2003131691A JP 2001325122 A JP2001325122 A JP 2001325122A JP 2001325122 A JP2001325122 A JP 2001325122A JP 2003131691 A JP2003131691 A JP 2003131691A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- sensor
- user
- dialogue
- outputs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Navigation (AREA)
Abstract
(57)【要約】
【課題】 ユーザ側から音声対話のきっかけのタイミン
グを作る必要がない、音声対話システムを得る。 【解決手段】 車両電装品の制御を行うための音声対話
システムにおいて、車両の各部の状態を検出するセンサ
からの出力によって音声認識装置を起動すると共に、音
声出力装置からセンサ出力に対応して予め決められた言
葉を出力し、ユーザに対して音声対話のきっかけを与え
る。これにより、ユーザ側から音声認識のためのタイミ
ングを作ることなく、対話を開始することができる。
グを作る必要がない、音声対話システムを得る。 【解決手段】 車両電装品の制御を行うための音声対話
システムにおいて、車両の各部の状態を検出するセンサ
からの出力によって音声認識装置を起動すると共に、音
声出力装置からセンサ出力に対応して予め決められた言
葉を出力し、ユーザに対して音声対話のきっかけを与え
る。これにより、ユーザ側から音声認識のためのタイミ
ングを作ることなく、対話を開始することができる。
Description
【０００１】
【発明の属する技術分野】本発明は、車両電装品、例え
ばエアコン、パワーウインド、さらにはカーナビゲーシ
ョンシステム、オーディオ機器、ＰＤＡなどの車載機器
の制御を、ユーザとの対話に基づいて自動的に遂行する
音声対話システムに関する。
ばエアコン、パワーウインド、さらにはカーナビゲーシ
ョンシステム、オーディオ機器、ＰＤＡなどの車載機器
の制御を、ユーザとの対話に基づいて自動的に遂行する
音声対話システムに関する。
【０００２】
【従来の技術】カーナビゲーションシステム、オーディ
オ機器など操作が複雑な機器では、音声対話システムを
利用することによって機器の操作を簡単化している。こ
の音声対話システムでは、予め決められたステップに基
づいて作成される質問をシステムが発話し、それに対す
るユーザの回答を音声認識し、認識結果に基づいて新た
な発話を作成すると言う手順によって、機器の操作に必
要な情報をユーザより得るものである。
オ機器など操作が複雑な機器では、音声対話システムを
利用することによって機器の操作を簡単化している。こ
の音声対話システムでは、予め決められたステップに基
づいて作成される質問をシステムが発話し、それに対す
るユーザの回答を音声認識し、認識結果に基づいて新た
な発話を作成すると言う手順によって、機器の操作に必
要な情報をユーザより得るものである。
【０００３】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の音声対話システムでは、音声認識装置を起動
させるためにユーザ側で音声認識のタイミングを取る必
要があった。実際、従来の装置では、ユーザが「認識開
始」あるいは「発声中」を示すスイッチあるいはボタン
をあらかじめ押す、もしくは、押しつづけて、音声認識
装置を起動する構成である。このような構成は、操作が
煩雑であるばかりではなく、運転動作以外にもユーザに
負担を与えることとなり、運転ミスを誘発する危険があ
る。
うな従来の音声対話システムでは、音声認識装置を起動
させるためにユーザ側で音声認識のタイミングを取る必
要があった。実際、従来の装置では、ユーザが「認識開
始」あるいは「発声中」を示すスイッチあるいはボタン
をあらかじめ押す、もしくは、押しつづけて、音声認識
装置を起動する構成である。このような構成は、操作が
煩雑であるばかりではなく、運転動作以外にもユーザに
負担を与えることとなり、運転ミスを誘発する危険があ
る。
【０００４】本発明は、従来装置の上記ような欠点を解
決する目的でなされたもので、ユーザ側から対話システ
ムに認識開始のための働きかけをするのではなく、機器
が対話システムの開始を自動的に認識することが可能な
音声対話システムを提供することを課題とする。
決する目的でなされたもので、ユーザ側から対話システ
ムに認識開始のための働きかけをするのではなく、機器
が対話システムの開始を自動的に認識することが可能な
音声対話システムを提供することを課題とする。
【０００５】
【課題を解決するための手段】本発明の音声対話システ
ムは、上記課題を解決するために、車両の各部の状態を
検出するセンサと、前記センサからの出力信号によって
起動される音声認識装置と、前記センサからの前記出力
信号を受信することによって予め決められた言葉を出力
する音声出力装置、を備えている。
ムは、上記課題を解決するために、車両の各部の状態を
検出するセンサと、前記センサからの出力信号によって
起動される音声認識装置と、前記センサからの前記出力
信号を受信することによって予め決められた言葉を出力
する音声出力装置、を備えている。
【０００６】前記センサは、エンジンがオンとなったこ
とを検出するセンサ、エンジンがオンとなりかつ運転者
が乗車したことを検出するセンサ、燃料が一定量以下と
なったことを検出するセンサ、ＶＩＣＳの渋滞情報を検
出するセンサ、メールの着信を検出するセンサ、パーキ
ングブレーキがオンとなったことを検出するセンサなど
である。
とを検出するセンサ、エンジンがオンとなりかつ運転者
が乗車したことを検出するセンサ、燃料が一定量以下と
なったことを検出するセンサ、ＶＩＣＳの渋滞情報を検
出するセンサ、メールの着信を検出するセンサ、パーキ
ングブレーキがオンとなったことを検出するセンサなど
である。
【０００７】これらのセンサからの出力信号が本システ
ムに入力されると、音声認識装置が自動的に起動され、
さらに入力された信号に対応して予め決められた言葉が
音声出力装置より出力される。この言葉は、ユーザに対
してシステム側から音声対話のきっかけを与える言葉で
あり、例えば、センサがエンジンのオン状態を検出する
ものである場合、「何をしますか」と言うような言葉で
ある。したがってユーザがこの言葉に対して、例えば
「エアコンをつけたい。」と答えると、音声認識装置が
この発声を認識し、音声出力装置はこの認識に基づいて
所定の対話ルーチンを開始することができる。
ムに入力されると、音声認識装置が自動的に起動され、
さらに入力された信号に対応して予め決められた言葉が
音声出力装置より出力される。この言葉は、ユーザに対
してシステム側から音声対話のきっかけを与える言葉で
あり、例えば、センサがエンジンのオン状態を検出する
ものである場合、「何をしますか」と言うような言葉で
ある。したがってユーザがこの言葉に対して、例えば
「エアコンをつけたい。」と答えると、音声認識装置が
この発声を認識し、音声出力装置はこの認識に基づいて
所定の対話ルーチンを開始することができる。
【０００８】また、センサがエンジンのオン状態を検出
し、さらに運転者が乗車したことを検出すると、音声認
識装置が起動され、さらに音声出力装置は「何処へ行き
ますか」と言うような対話のきっかけとなる言葉を出力
する。この問いかけにユーザが例えば、「＊＊＊に行き
たい」と答えると、音声認識装置がこれを認識し、音声
出力装置はこの認識に基づいて所定の対話ルーチンを開
始することができる。
し、さらに運転者が乗車したことを検出すると、音声認
識装置が起動され、さらに音声出力装置は「何処へ行き
ますか」と言うような対話のきっかけとなる言葉を出力
する。この問いかけにユーザが例えば、「＊＊＊に行き
たい」と答えると、音声認識装置がこれを認識し、音声
出力装置はこの認識に基づいて所定の対話ルーチンを開
始することができる。
【０００９】このように、本発明では、車両に設けた種
々のセンサからの出力信号によって音声認識装置を起動
すると共に、対話システム側から対話のきっかけとなる
言葉を自動的に出力するようにしている。したがって、
ユーザはスタートボタン等を操作して自ら音声認識装置
を起動する必要はない。そのため、音声対話をスムース
に開始する事ができる。
々のセンサからの出力信号によって音声認識装置を起動
すると共に、対話システム側から対話のきっかけとなる
言葉を自動的に出力するようにしている。したがって、
ユーザはスタートボタン等を操作して自ら音声認識装置
を起動する必要はない。そのため、音声対話をスムース
に開始する事ができる。
【００１０】また、音声出力装置から出力する言葉の先
頭に、「○×さん」、「もしもし」等の特に意味をなさ
ない言葉を付加する事によって、ユーザはシステムから
の質問をより聞き取りやすくなる。
頭に、「○×さん」、「もしもし」等の特に意味をなさ
ない言葉を付加する事によって、ユーザはシステムから
の質問をより聞き取りやすくなる。
【００１１】
【発明の実施の形態】以下に、図面を参照して本発明の
実施形態を説明する。図１は、本発明の一実施形態にか
かる音声対話システムの構造を示すブロック図である。
図において１は音声認識装置、２は音声出力装置、３は
車両の各部に設けたセンサ、４は本対話システムによっ
て制御すべき車両電装品を示す。音声認識装置１は、ユ
ーザの発声を言葉として認識するための装置であって、
一般に音声認識エンジンと認識辞書で構成されている。
音声出力装置２は音声認識エンジンと、対話用データベ
ースおよび音声合成エンジンを備えており、音声認識装
置１で言葉として認識されたユーザの発声に基づいて予
め決められたプログラムにしたがってユーザへの質問を
作成し、これを合成音声として出力することで、所定の
対話ルーチンを実行する。
実施形態を説明する。図１は、本発明の一実施形態にか
かる音声対話システムの構造を示すブロック図である。
図において１は音声認識装置、２は音声出力装置、３は
車両の各部に設けたセンサ、４は本対話システムによっ
て制御すべき車両電装品を示す。音声認識装置１は、ユ
ーザの発声を言葉として認識するための装置であって、
一般に音声認識エンジンと認識辞書で構成されている。
音声出力装置２は音声認識エンジンと、対話用データベ
ースおよび音声合成エンジンを備えており、音声認識装
置１で言葉として認識されたユーザの発声に基づいて予
め決められたプログラムにしたがってユーザへの質問を
作成し、これを合成音声として出力することで、所定の
対話ルーチンを実行する。
【００１２】音声認識装置１によって以上のようにして
獲得された情報は、車両電装品４に送られ、該機器をユ
ーザの意向に沿うように操作する。車両電装品４は、例
えば、エアコン、パワーウインドウ、ナビゲーションシ
ステム、オーディオ・ビデオ機器、情報端末機器などで
ある。
獲得された情報は、車両電装品４に送られ、該機器をユ
ーザの意向に沿うように操作する。車両電装品４は、例
えば、エアコン、パワーウインドウ、ナビゲーションシ
ステム、オーディオ・ビデオ機器、情報端末機器などで
ある。
【００１３】本装置では、車両の各部に設けたセンサ３
から、車両の種々の状態を示す信号が音声認識装置１お
よび音声出力装置２に対して出力される。このセンサ３
は、例えば、エンジンがオンとなったことを検出するセ
ンサ、エンジンがオンとなりかつ運転者が乗車したこと
を検出するセンサ、燃料が一定量以下となったことを検
出するセンサ、ＶＩＣＳの渋滞情報を検出するセンサ、
メールの着信を検出するセンサ、パーキングブレーキが
オンとなったことを検出するセンサなどである。
から、車両の種々の状態を示す信号が音声認識装置１お
よび音声出力装置２に対して出力される。このセンサ３
は、例えば、エンジンがオンとなったことを検出するセ
ンサ、エンジンがオンとなりかつ運転者が乗車したこと
を検出するセンサ、燃料が一定量以下となったことを検
出するセンサ、ＶＩＣＳの渋滞情報を検出するセンサ、
メールの着信を検出するセンサ、パーキングブレーキが
オンとなったことを検出するセンサなどである。
【００１４】センサ３からの出力信号は、同時に音声出
力装置２に入力される。この入力によって音声出力装置
２は、入力信号に対応して予め決められた言葉を合成音
声として出力する。
力装置２に入力される。この入力によって音声出力装置
２は、入力信号に対応して予め決められた言葉を合成音
声として出力する。
【００１５】図２は、センサ３から出力される情報の種
類と、それに対応して予め決められている音声出力との
関係を示している。図２の（ａ）では、センサ３からエ
ンジンがオン状態となったことを示す信号が出力される
と、音声出力装置２から「何をしますか？」と言う質問
が出力されることを示している。これに対してユーザ
が、例えば「エアコンをつけたい」と答えると、この発
声を音声認識装置１が認識して、音声出力装置２におい
てエアコンの制御のための対話ルーチンを起動する。
類と、それに対応して予め決められている音声出力との
関係を示している。図２の（ａ）では、センサ３からエ
ンジンがオン状態となったことを示す信号が出力される
と、音声出力装置２から「何をしますか？」と言う質問
が出力されることを示している。これに対してユーザ
が、例えば「エアコンをつけたい」と答えると、この発
声を音声認識装置１が認識して、音声出力装置２におい
てエアコンの制御のための対話ルーチンを起動する。
【００１６】もし、ユーザが「必要ない」等の言葉を発
声すると音声認識装置１がこれを認識して対話を自動的
に終了する。あるいは、音声認識装置１で一定時間音声
の入力が無いことを検出すると、対話を自動終了するよ
うにしておいても良い。また、音声出力装置２で「必要
ありませんね」、「案内を終了します」等の言葉を発声
して対話を自動終了するようにしておいても良い。
声すると音声認識装置１がこれを認識して対話を自動的
に終了する。あるいは、音声認識装置１で一定時間音声
の入力が無いことを検出すると、対話を自動終了するよ
うにしておいても良い。また、音声出力装置２で「必要
ありませんね」、「案内を終了します」等の言葉を発声
して対話を自動終了するようにしておいても良い。
【００１７】図２の（ｂ）に示す例では、車載機器とし
てカーナビゲーションシステムが組み込まれており、セ
ンサ３からエンジンがオン状態となったことおよび運転
者が乗車したことを示す情報が出力される例を示してい
る。この場合は、運転者がどこかへ移動する確率が非常
に高いので、音声出力装置２から「どちらまで案内しま
しょうか？」等の問いかけを行う。ユーザがこれに対し
て、「＊＊＊まで行きたい」などと答えると、音声認識
装置１がこれを認識して、自動的にナビゲーションシス
テムの目的地設定の対話を開始する。
てカーナビゲーションシステムが組み込まれており、セ
ンサ３からエンジンがオン状態となったことおよび運転
者が乗車したことを示す情報が出力される例を示してい
る。この場合は、運転者がどこかへ移動する確率が非常
に高いので、音声出力装置２から「どちらまで案内しま
しょうか？」等の問いかけを行う。ユーザがこれに対し
て、「＊＊＊まで行きたい」などと答えると、音声認識
装置１がこれを認識して、自動的にナビゲーションシス
テムの目的地設定の対話を開始する。
【００１８】なお、音声案内の必要が無い場合は、
（ａ）の事例と同様に、ユーザの音声が一定時間入力さ
れないこと、あるいはユーザの「必要ない」と言うよう
な発声によって、対話を自動的に終了する。
（ａ）の事例と同様に、ユーザの音声が一定時間入力さ
れないこと、あるいはユーザの「必要ない」と言うよう
な発声によって、対話を自動的に終了する。
【００１９】これによって、ユーザが乗車時にルーチン
ワーク的に目的地を設定できる様になり、ユーザが目的
地設定のコマンドを覚える必要は無くなる。
ワーク的に目的地を設定できる様になり、ユーザが目的
地設定のコマンドを覚える必要は無くなる。
【００２０】図２の（ｃ）に示す例では、図（ｂ）と同
様に車載機器としてカーナビゲーションシステムが組み
込まれており、センサ３でガソリンの残量を検出してい
る。この場合、ガソリン残量が一定値以下となると、音
声出力装置２から「ガソリンが少なくなっています。近
くのガソリンスタンドまで案内しましょうか」と言うよ
うな問いかけを行うことで、ナビゲーションシステムの
ための対話を開始する。これにより、ユーザは、燃料の
残量を気にしながら運転する必要が無くなる。
様に車載機器としてカーナビゲーションシステムが組み
込まれており、センサ３でガソリンの残量を検出してい
る。この場合、ガソリン残量が一定値以下となると、音
声出力装置２から「ガソリンが少なくなっています。近
くのガソリンスタンドまで案内しましょうか」と言うよ
うな問いかけを行うことで、ナビゲーションシステムの
ための対話を開始する。これにより、ユーザは、燃料の
残量を気にしながら運転する必要が無くなる。
【００２１】図２の（ｄ）に示す例は、（ｃ）の変形で
あって、センサ３でガソリン残量を検出すると共に、目
的地までの距離と燃費を考慮して目的地までの距離＋数
十ｋｍ以内になった時に、「現在の燃料では目的地にた
どり着けません。次のスタンドで必ず給油して下さ
い。」等の警告を発し、さらに「スタンドまで案内しま
しょうか？」と言うような問いかけを行うことで、ナビ
ゲーションのための対話を開始する。
あって、センサ３でガソリン残量を検出すると共に、目
的地までの距離と燃費を考慮して目的地までの距離＋数
十ｋｍ以内になった時に、「現在の燃料では目的地にた
どり着けません。次のスタンドで必ず給油して下さ
い。」等の警告を発し、さらに「スタンドまで案内しま
しょうか？」と言うような問いかけを行うことで、ナビ
ゲーションのための対話を開始する。
【００２２】これにより、ユーザは長距離ドライブであ
っても燃料および燃料の補給先を気にしながら運転する
必要がなくなる。
っても燃料および燃料の補給先を気にしながら運転する
必要がなくなる。
【００２３】図２の（ｅ）に示す例では、ＶＩＣＳ（道
路交通情報通信システム）の情報を入手可能なナビゲー
ションシステムを搭載している車両において、ＶＩＣＳ
からの渋滞情報を対話のきっかけとする。即ち、ＶＩＣ
Ｓから渋滞情報が入力されると、渋滞が発生している道
に差し掛かる前にシステム側で「この先渋滞が発生して
います。迂回しますか？」と言うような問いかけを行っ
て、ナビゲーションのための対話を開始する。
路交通情報通信システム）の情報を入手可能なナビゲー
ションシステムを搭載している車両において、ＶＩＣＳ
からの渋滞情報を対話のきっかけとする。即ち、ＶＩＣ
Ｓから渋滞情報が入力されると、渋滞が発生している道
に差し掛かる前にシステム側で「この先渋滞が発生して
います。迂回しますか？」と言うような問いかけを行っ
て、ナビゲーションのための対話を開始する。
【００２４】これにより、ユーザは一々渋滞の状況を確
認しながら運転する必要がなくなるので、運転に専念す
ることができる。
認しながら運転する必要がなくなるので、運転に専念す
ることができる。
【００２５】図２の（ｆ）に示す例では、例えばメール
の受信を検出する機能を有する情報端末を搭載している
車両において、メールを受信するとシステム側から「メ
ールが到着しています。読み上げますか？」と言うよう
な問いかけを行うことで、メールの読み上げのための対
話システムを開始する。
の受信を検出する機能を有する情報端末を搭載している
車両において、メールを受信するとシステム側から「メ
ールが到着しています。読み上げますか？」と言うよう
な問いかけを行うことで、メールの読み上げのための対
話システムを開始する。
【００２６】図３は、電子メールの着信を対話のきっか
けとし、対話を進める場合のフローを示す図面である。
まず、センサがメールの着信情報を受信すると、対話シ
ステム側から「メールが△件届いています。読み上げま
すか？」と言うような問いかけを行い、メール読み上げ
の対話の開始タイミングを形成する（ステップＳ１
０）。
けとし、対話を進める場合のフローを示す図面である。
まず、センサがメールの着信情報を受信すると、対話シ
ステム側から「メールが△件届いています。読み上げま
すか？」と言うような問いかけを行い、メール読み上げ
の対話の開始タイミングを形成する（ステップＳ１
０）。
【００２７】この場合、例えばユーザの反応「はい」、
「あとで」、「題名は」、「誰から？」に応じて図示す
るようなメールの読み上げ機能が実行される。例えば、
ユーザが「はい」と返事すれば、メール処理のための対
話ルーチンに入り、合成された音声によってメールの内
容を読み上げる（ステップＳ１１）。ユーザが「あと
で」と返事をすれば、システム側では音声対話を一旦終
了する（ステップＳ１２）。ユーザが「題名は？」と返
事をすれば、合成された音声によってメールの題名を読
み上げる（ステップＳ１３）。ユーザが「誰から？」と
返事をすれば、合成された音声によって差出人の名前を
読み上げる（ステップＳ１４）。なお、メールの差出人
に対し、予めニックネーム等が登録できるようにされて
いることが好ましい。
「あとで」、「題名は」、「誰から？」に応じて図示す
るようなメールの読み上げ機能が実行される。例えば、
ユーザが「はい」と返事すれば、メール処理のための対
話ルーチンに入り、合成された音声によってメールの内
容を読み上げる（ステップＳ１１）。ユーザが「あと
で」と返事をすれば、システム側では音声対話を一旦終
了する（ステップＳ１２）。ユーザが「題名は？」と返
事をすれば、合成された音声によってメールの題名を読
み上げる（ステップＳ１３）。ユーザが「誰から？」と
返事をすれば、合成された音声によって差出人の名前を
読み上げる（ステップＳ１４）。なお、メールの差出人
に対し、予めニックネーム等が登録できるようにされて
いることが好ましい。
【００２８】ステップＳ１３において、システムがメー
ルの題名を読み上げた場合、ユーザがさらに「読んで」
と答えれば、システムは合成された音声によりメールの
内容を読み上げる（ステップＳ１５）。ステップＳ１３
に対するユーザの応答が、「次のは？」である場合、ス
テップＳ１６で次の題名を合成された音声によって読み
上げる。ステップＳ１３に対するユーザの応答が、「あ
とでいいや」であると、ステップＳ１７において一旦、
対話システムを終了する。
ルの題名を読み上げた場合、ユーザがさらに「読んで」
と答えれば、システムは合成された音声によりメールの
内容を読み上げる（ステップＳ１５）。ステップＳ１３
に対するユーザの応答が、「次のは？」である場合、ス
テップＳ１６で次の題名を合成された音声によって読み
上げる。ステップＳ１３に対するユーザの応答が、「あ
とでいいや」であると、ステップＳ１７において一旦、
対話システムを終了する。
【００２９】ステップＳ１４においてメールの差出人が
読み上げられ、ユーザがそれに対して「読んで」と応答
すると、ステップＳ１８でシステムはそのメールの内容
を合成された音声にて読み上げる。ユーザの応答が、
「次は？」である場合は、ステップＳ１９において、シ
ステムは次の差出人の名前を合成された音声にて読み上
げる。ユーザの応答が、「あとでいいや」である場合に
は、ステップＳ２０においてシステムは音声対話を一旦
終了する。
読み上げられ、ユーザがそれに対して「読んで」と応答
すると、ステップＳ１８でシステムはそのメールの内容
を合成された音声にて読み上げる。ユーザの応答が、
「次は？」である場合は、ステップＳ１９において、シ
ステムは次の差出人の名前を合成された音声にて読み上
げる。ユーザの応答が、「あとでいいや」である場合に
は、ステップＳ２０においてシステムは音声対話を一旦
終了する。
【００３０】以上によって、ユーザはメールの着信を自
動的に知ることが出来るだけではなく、題名や送信者な
どで読み上げるべきメールを選択できるので、非常に便
利である。
動的に知ることが出来るだけではなく、題名や送信者な
どで読み上げるべきメールを選択できるので、非常に便
利である。
【００３１】図４は、本発明のさらに他の実施形態を示
す図であって、駐車場の課金情報の登録が可能な機能と
ナビゲーション機能を備えた車両のための音声対話のフ
ローを示す。課金情報を登録する機能としては、予め課
金情報を登録しておくことも出来るが、図示する実施形
態では、車両が入庫しパーキングブレーキが設定された
ことを検出すると、課金情報の登録を促す問いかけをシ
ステム側から発する構成を有している。
す図であって、駐車場の課金情報の登録が可能な機能と
ナビゲーション機能を備えた車両のための音声対話のフ
ローを示す。課金情報を登録する機能としては、予め課
金情報を登録しておくことも出来るが、図示する実施形
態では、車両が入庫しパーキングブレーキが設定された
ことを検出すると、課金情報の登録を促す問いかけをシ
ステム側から発する構成を有している。
【００３２】まず、ステップＳ３０で車両が駐車場に入
庫したことをナビゲーションシステムが認識すると、そ
のときの時間、即ち入庫時間がシステムにおいて保存さ
れる。次にステップＳ３１でパーキングブレーキがオン
とされると、システム側から「駐車場の料金システムを
登録しますか？」と言うような問いかけを行って、課金
情報登録案内のための対話をユーザに促す。
庫したことをナビゲーションシステムが認識すると、そ
のときの時間、即ち入庫時間がシステムにおいて保存さ
れる。次にステップＳ３１でパーキングブレーキがオン
とされると、システム側から「駐車場の料金システムを
登録しますか？」と言うような問いかけを行って、課金
情報登録案内のための対話をユーザに促す。
【００３３】音声対話システムの案内に従って駐車場の
料金システムを登録し、エンジンをオフし（ステップＳ
３２）、その後エンジンを再びオンとする（ステップＳ
３３）と、システムはこの状態を出庫であると判断し、
その時間を基に計算された駐車時間と料金案内を出力す
る。この出力は、例えば、「駐車時間は＊＊＊分ですの
で、○○○円になります。」等の合成音声による案内で
ある。
料金システムを登録し、エンジンをオフし（ステップＳ
３２）、その後エンジンを再びオンとする（ステップＳ
３３）と、システムはこの状態を出庫であると判断し、
その時間を基に計算された駐車時間と料金案内を出力す
る。この出力は、例えば、「駐車時間は＊＊＊分ですの
で、○○○円になります。」等の合成音声による案内で
ある。
【００３４】これによってユーザは、駐車料金を出庫前
に予め知ることが出来るので、非常に便利である。
に予め知ることが出来るので、非常に便利である。
【００３５】図５は、本発明のさらに他の実施形態を示
す図であって、有料道路の料金情報を備えるナビゲーシ
ョンシステム、あるいは有料道路の料金情報を登録可能
なナビゲーションシステムに本発明の音声対話システム
を適用した場合の実施形態を示す。
す図であって、有料道路の料金情報を備えるナビゲーシ
ョンシステム、あるいは有料道路の料金情報を登録可能
なナビゲーションシステムに本発明の音声対話システム
を適用した場合の実施形態を示す。
【００３６】本システムでは、走行中の車両が有料道路
の入り口を通過した場合、ステップＳ４０に示す様にそ
の入り口情報を保存しておき、ステップＳ４１に示す様
に料金所が近づいてくるとシステム側から「＊＊＊円に
なります。」等の案内の言葉を出力し、これを音声認識
開始のタイミングとする。これによってユーザは、音声
認識開始のボタンを押すことなく「次の料金所は？」、
「次はいくら？」と言うような質問をシステムに対して
行う事ができる。
の入り口を通過した場合、ステップＳ４０に示す様にそ
の入り口情報を保存しておき、ステップＳ４１に示す様
に料金所が近づいてくるとシステム側から「＊＊＊円に
なります。」等の案内の言葉を出力し、これを音声認識
開始のタイミングとする。これによってユーザは、音声
認識開始のボタンを押すことなく「次の料金所は？」、
「次はいくら？」と言うような質問をシステムに対して
行う事ができる。
【００３７】車両の走行スピードが０となった時点でシ
ステムは料金が支払われたことを認識し（ステップＳ４
２）、音声認識を停止する。車両が走行を再開すると、
システムは料金支払いが終了したことを認識し（ステッ
プＳ４３）、音声認識を開始する。
ステムは料金が支払われたことを認識し（ステップＳ４
２）、音声認識を停止する。車両が走行を再開すると、
システムは料金支払いが終了したことを認識し（ステッ
プＳ４３）、音声認識を開始する。
【００３８】これによって、ユーザは、有料道路の料金
所手前で予め通行料金を知ることが出来るので、支払い
の準備がスムースに行え、料金所を通過する時間が短縮
できる。
所手前で予め通行料金を知ることが出来るので、支払い
の準備がスムースに行え、料金所を通過する時間が短縮
できる。
【００３９】以上、図１から図５を参照して本発明の種
々の実施形態を説明したが、上記各実施形態は種々の変
更が可能である。例えば、上記全ての機能を備えている
音声対話システムにおいて、複数の条件が重なった場合
の優先度や、要、不要を任意に設定できるようにしても
良い。例えば、メールの着信と料金案内が同時に発生す
る場合には、料金案内を優先し、一連の対話が終了した
時点で、メールの案内を行うように設定したり、料金案
内は行わずにメールだけを読ませるように設定したりす
ることも可能である。
々の実施形態を説明したが、上記各実施形態は種々の変
更が可能である。例えば、上記全ての機能を備えている
音声対話システムにおいて、複数の条件が重なった場合
の優先度や、要、不要を任意に設定できるようにしても
良い。例えば、メールの着信と料金案内が同時に発生す
る場合には、料金案内を優先し、一連の対話が終了した
時点で、メールの案内を行うように設定したり、料金案
内は行わずにメールだけを読ませるように設定したりす
ることも可能である。
【００４０】さらに、上記全ての機能を備えている音声
対話システムおいて、案内や問いかけを行う機能を選択
できるようにすることもできる。例えば料金案内の要否
や、燃料警告の要否などを選択できるようにする。
対話システムおいて、案内や問いかけを行う機能を選択
できるようにすることもできる。例えば料金案内の要否
や、燃料警告の要否などを選択できるようにする。
【００４１】また、音声対話システムの欠点として、ユ
ーザがシステム側からの案内のはじめの部分を聞き逃す
確率が高いことがある。そこで、対話のきっかけとし
て、「○○さん」、「もしもし」、「ちょっと失礼しま
す」等の、対話の中身とは無意味な言葉を文頭に発する
ようにしても良い。発する無意味語は、毎回同じ言葉で
も良いし、複数のバリエーションを設けておいても良
い。
ーザがシステム側からの案内のはじめの部分を聞き逃す
確率が高いことがある。そこで、対話のきっかけとし
て、「○○さん」、「もしもし」、「ちょっと失礼しま
す」等の、対話の中身とは無意味な言葉を文頭に発する
ようにしても良い。発する無意味語は、毎回同じ言葉で
も良いし、複数のバリエーションを設けておいても良
い。
【００４２】さらに、案内する情報に応じて、対話のき
っかけとなる言葉を変化させることも可能である。例え
ば、ＶＩＣＳ渋滞情報などで渋滞状況が変化したとき
に、「速報です」等の言葉を文頭につけることも可能で
ある。
っかけとなる言葉を変化させることも可能である。例え
ば、ＶＩＣＳ渋滞情報などで渋滞状況が変化したとき
に、「速報です」等の言葉を文頭につけることも可能で
ある。
【００４３】さらに、情報の緊急度に応じて、対話のき
っかけとなる文章を変化させても良い。例えば、有料道
路の料金案内において、ゆっくり走っている時には、走
行区間や料金の案内を詳細に行い、高速で走っている場
合には、料金の案内のみで済ますこともできる。一例と
して、渋滞や低速走行時には、システム側から「まもな
く料金所です。○○インターチェンジから××インター
チェンジまでの料金は△△円です」と発話し、高速走行
時には「料金所です。料金は△△円です」と発話する。
っかけとなる文章を変化させても良い。例えば、有料道
路の料金案内において、ゆっくり走っている時には、走
行区間や料金の案内を詳細に行い、高速で走っている場
合には、料金の案内のみで済ますこともできる。一例と
して、渋滞や低速走行時には、システム側から「まもな
く料金所です。○○インターチェンジから××インター
チェンジまでの料金は△△円です」と発話し、高速走行
時には「料金所です。料金は△△円です」と発話する。
【００４４】さらに、上記無意味な呼びかけの直後に、
ユーザが「ちょっと待って」、「待って」などと応答す
ると、これをシステム側で認識し、認識状態を維持した
ままシステムを待機状態へ移行させ、対話を保留するこ
とも可能である。この場合、ユーザの次の発声、「は
い」、「何？」を認識して対話を継続する。あるいは、
対話を保留した状態で一定時間経過した後、例えば「案
内してよろしいでしょうか」、「まだでしょうか」など
の言葉を再度問いかけることも有効である。また、一定
時間経過後に、例えば「案内を終了します。○○情報で
した」などと、何の情報を提供しようとしたかを示すこ
とも有効である。またさらに、対話の保留中に情報が不
要となったと判断した場合に、対話の保留状態を解除す
ることも可能である。例えば、駐車料金案内を保留した
まま駐車場を出てしまった場合などでは、料金案内は不
要であるため、「保留された料金案内を解除します」な
どの通知を行ってその場の案内を中止するようにしても
良い。
ユーザが「ちょっと待って」、「待って」などと応答す
ると、これをシステム側で認識し、認識状態を維持した
ままシステムを待機状態へ移行させ、対話を保留するこ
とも可能である。この場合、ユーザの次の発声、「は
い」、「何？」を認識して対話を継続する。あるいは、
対話を保留した状態で一定時間経過した後、例えば「案
内してよろしいでしょうか」、「まだでしょうか」など
の言葉を再度問いかけることも有効である。また、一定
時間経過後に、例えば「案内を終了します。○○情報で
した」などと、何の情報を提供しようとしたかを示すこ
とも有効である。またさらに、対話の保留中に情報が不
要となったと判断した場合に、対話の保留状態を解除す
ることも可能である。例えば、駐車料金案内を保留した
まま駐車場を出てしまった場合などでは、料金案内は不
要であるため、「保留された料金案内を解除します」な
どの通知を行ってその場の案内を中止するようにしても
良い。
【００４５】
【発明の効果】以上、種々の実施形態を示して説明した
ように、本発明の音声対話システムでは、車両の各部に
設けたセンサからの出力信号に応じて、音声出力装置に
よって対話のきっかけの言葉を出力することが出来る。
したがって、ユーザは音声対話システムに対して対話の
きっかけを自身から作る必要がないため、運転に専念す
ることができる。また、必要な音声案内のタイミングを
逃すことがない。
ように、本発明の音声対話システムでは、車両の各部に
設けたセンサからの出力信号に応じて、音声出力装置に
よって対話のきっかけの言葉を出力することが出来る。
したがって、ユーザは音声対話システムに対して対話の
きっかけを自身から作る必要がないため、運転に専念す
ることができる。また、必要な音声案内のタイミングを
逃すことがない。
【図１】本発明の一実施形態にかかる音声対話システム
を示すブロック図。
を示すブロック図。
【図２】図１に示すシステムの動作説明に供する図。
【図３】本発明の一実施形態のシステムによってメール
読み上げの機能を実行する場合のフローを示す図。
読み上げの機能を実行する場合のフローを示す図。
【図４】本発明の一実施形態のシステムによって駐車場
の料金案内の機能を実行する場合のフローを示す図。
の料金案内の機能を実行する場合のフローを示す図。
【図５】本発明の一実施形態のシステムによって有料道
路の料金案内を実行する場合のフローを示す図。
路の料金案内を実行する場合のフローを示す図。
１…音声対話システム
２…車載機器
１１…音声認識装置
１２…音声出力装置
１３…車両各部のセンサ
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ１０Ｌ 3/00 Ｒ
５７１Ｋ
５５１Ｊ
(72)発明者 荒井 一義
兵庫県神戸市兵庫区御所通１丁目２番28号
富士通テン株式会社内
(72)発明者 武田 佳子
兵庫県神戸市兵庫区御所通１丁目２番28号
富士通テン株式会社内
Ｆターム(参考） 5D015 KK01 KK04 LL06 LL10 LL11
5D045 AB17 AB30
Claims (9)
- 【請求項１】 車両電装品の制御を行うための音声対話
システムにおいて、 車両の各部の状態を検出するセンサと、 前記センサからの出力信号によって起動される音声認識
装置と、 前記センサからの前記出力信号を受信することによって
予め決められた言葉を出力する音声出力装置、を備える
音声対話システム。 - 【請求項２】 請求項１に記載の音声対話システムにお
いて、前記音声出力装置は、前記音声認識装置によって
認識されたユーザ発声に対応して所定の対話ルーチンを
起動するものである、音声対話システム。 - 【請求項３】 請求項１に記載の音声対話システムにお
いて、前記音声出力装置は前記センサから出力信号を受
信すると、ユーザが何をしたいかを質問する言葉を出力
するものである、音声対話システム。 - 【請求項４】 請求項１に記載の音声対話システムにお
いて、前記音声出力装置は前記センサから出力信号を受
信すると、ユーザがどこへ行きたいかを質問する言葉を
出力するものである、音声対話システム。 - 【請求項５】 請求項１に記載の音声対話システムにお
いて、前記センサは、燃料が一定量以下となった事を検
出するセンサである、音声対話システム。 - 【請求項６】 請求項１に記載の音声対話システムにお
いて、前記センサは渋滞情報を検出するセンサである、
音声対話システム。 - 【請求項７】 請求項１に記載の音声対話システムにお
いて、前記センサはメールの着信を検出するセンサであ
る、音声対話システム。 - 【請求項８】 請求項１に記載の音声対話システムにお
いて、前記センサは、パーキングブレーキがオンとなっ
たことを検出するセンサである、音声対話システム。 - 【請求項９】 請求項１乃至８の何れか１項に記載の音
声対話システムにおいて、前記音声出力装置は、前記セ
ンサからの出力信号を受信すると、意味を持たない呼び
かけの言葉を出力しその後受信信号に対応して予め決め
られた言葉を出力するものである、音声対話システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001325122A JP3963698B2 (ja) | 2001-10-23 | 2001-10-23 | 音声対話システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001325122A JP3963698B2 (ja) | 2001-10-23 | 2001-10-23 | 音声対話システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003131691A true JP2003131691A (ja) | 2003-05-09 |
| JP3963698B2 JP3963698B2 (ja) | 2007-08-22 |
Family
ID=19141741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001325122A Expired - Fee Related JP3963698B2 (ja) | 2001-10-23 | 2001-10-23 | 音声対話システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3963698B2 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100382A (ja) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | 対話装置及び対話方法 |
| JP2005215694A (ja) * | 2004-01-29 | 2005-08-11 | Harman Becker Automotive Systems Gmbh | 対話を実行する方法および対話システム |
| JP2005268975A (ja) * | 2004-03-17 | 2005-09-29 | Nec Corp | 携帯電話機及びそれに用いるメール自動読み上げ方法並びにそのプログラム |
| JP2006038545A (ja) * | 2004-07-26 | 2006-02-09 | Mazda Motor Corp | 車両用情報表示装置 |
| JP2006251298A (ja) * | 2005-03-10 | 2006-09-21 | Nissan Motor Co Ltd | 音声入力装置および音声入力方法 |
| JP2007322309A (ja) * | 2006-06-02 | 2007-12-13 | Xanavi Informatics Corp | 車載情報装置 |
| KR100849672B1 (ko) * | 2007-12-04 | 2008-08-01 | 주식회사 아이파워 | 유기성 폐기물 처리장치 |
| CN102609091A (zh) * | 2012-02-10 | 2012-07-25 | 北京百纳信息技术有限公司 | 一种移动终端以及启动移动终端语音操作的方法 |
| US8965697B2 (en) | 2011-11-10 | 2015-02-24 | Mitsubishi Electric Corporation | Navigation device and method |
| EP2854131A1 (en) | 2013-09-27 | 2015-04-01 | Clarion Co., Ltd. | Vehicular device, server, and information processing method |
| JP2015152948A (ja) * | 2014-02-10 | 2015-08-24 | 日本電信電話株式会社 | ライフログ記録システム及びそのプログラム |
| WO2016006385A1 (ja) * | 2014-07-08 | 2016-01-14 | トヨタ自動車 株式会社 | 音声認識装置及び音声認識システム |
| WO2016129276A1 (ja) * | 2015-02-12 | 2016-08-18 | パナソニックＩｐマネジメント株式会社 | 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム |
| JP2017204252A (ja) * | 2016-05-14 | 2017-11-16 | 株式会社ユピテル | システム及びプログラム |
| JP2017535823A (ja) * | 2014-10-01 | 2017-11-30 | エクスブレイン・インコーポレーテッド | 音声および接続プラットフォーム |
| JP2019015837A (ja) * | 2017-07-06 | 2019-01-31 | 一般社団法人Ｉｔ＆診断支援センター・北九州 | 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム |
| WO2019182083A1 (ja) * | 2018-03-23 | 2019-09-26 | パイオニア株式会社 | データ構造、情報送信装置、制御方法、プログラム及び記憶媒体 |
| CN111089603A (zh) * | 2018-10-23 | 2020-05-01 | 上海博泰悦臻电子设备制造有限公司 | 基于社交应用沟通内容的导航信息提示方法及车辆 |
| CN112397062A (zh) * | 2019-08-15 | 2021-02-23 | 华为技术有限公司 | 语音交互方法、装置、终端及存储介质 |
| WO2023062817A1 (ja) * | 2021-10-15 | 2023-04-20 | パイオニア株式会社 | 音声認識装置、制御方法、プログラム及び記憶媒体 |
-
2001
- 2001-10-23 JP JP2001325122A patent/JP3963698B2/ja not_active Expired - Fee Related
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005100382A (ja) * | 2003-09-01 | 2005-04-14 | Matsushita Electric Ind Co Ltd | 対話装置及び対話方法 |
| JP4533705B2 (ja) * | 2003-09-01 | 2010-09-01 | パナソニック株式会社 | 車載対話装置 |
| JP2005215694A (ja) * | 2004-01-29 | 2005-08-11 | Harman Becker Automotive Systems Gmbh | 対話を実行する方法および対話システム |
| JP2005268975A (ja) * | 2004-03-17 | 2005-09-29 | Nec Corp | 携帯電話機及びそれに用いるメール自動読み上げ方法並びにそのプログラム |
| JP4556528B2 (ja) * | 2004-07-26 | 2010-10-06 | マツダ株式会社 | 車両用情報表示装置 |
| JP2006038545A (ja) * | 2004-07-26 | 2006-02-09 | Mazda Motor Corp | 車両用情報表示装置 |
| JP2006251298A (ja) * | 2005-03-10 | 2006-09-21 | Nissan Motor Co Ltd | 音声入力装置および音声入力方法 |
| JP2007322309A (ja) * | 2006-06-02 | 2007-12-13 | Xanavi Informatics Corp | 車載情報装置 |
| KR100849672B1 (ko) * | 2007-12-04 | 2008-08-01 | 주식회사 아이파워 | 유기성 폐기물 처리장치 |
| US8965697B2 (en) | 2011-11-10 | 2015-02-24 | Mitsubishi Electric Corporation | Navigation device and method |
| CN102609091A (zh) * | 2012-02-10 | 2012-07-25 | 北京百纳信息技术有限公司 | 一种移动终端以及启动移动终端语音操作的方法 |
| EP2854131A1 (en) | 2013-09-27 | 2015-04-01 | Clarion Co., Ltd. | Vehicular device, server, and information processing method |
| US9218812B2 (en) | 2013-09-27 | 2015-12-22 | Clarion Co., Ltd. | Vehicular device, server, and information processing method |
| JP2015152948A (ja) * | 2014-02-10 | 2015-08-24 | 日本電信電話株式会社 | ライフログ記録システム及びそのプログラム |
| WO2016006385A1 (ja) * | 2014-07-08 | 2016-01-14 | トヨタ自動車 株式会社 | 音声認識装置及び音声認識システム |
| US10789953B2 (en) | 2014-10-01 | 2020-09-29 | XBrain, Inc. | Voice and connection platform |
| JP2017535823A (ja) * | 2014-10-01 | 2017-11-30 | エクスブレイン・インコーポレーテッド | 音声および接続プラットフォーム |
| JPWO2016129276A1 (ja) * | 2015-02-12 | 2017-11-24 | パナソニックＩｐマネジメント株式会社 | 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム |
| WO2016129276A1 (ja) * | 2015-02-12 | 2016-08-18 | パナソニックＩｐマネジメント株式会社 | 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム |
| JP2017204252A (ja) * | 2016-05-14 | 2017-11-16 | 株式会社ユピテル | システム及びプログラム |
| JP2019015837A (ja) * | 2017-07-06 | 2019-01-31 | 一般社団法人Ｉｔ＆診断支援センター・北九州 | 猫の性格を持つ会話型ロボット及び猫の性格を発現させる対話管理プログラム |
| WO2019182083A1 (ja) * | 2018-03-23 | 2019-09-26 | パイオニア株式会社 | データ構造、情報送信装置、制御方法、プログラム及び記憶媒体 |
| CN111089603A (zh) * | 2018-10-23 | 2020-05-01 | 上海博泰悦臻电子设备制造有限公司 | 基于社交应用沟通内容的导航信息提示方法及车辆 |
| CN112397062A (zh) * | 2019-08-15 | 2021-02-23 | 华为技术有限公司 | 语音交互方法、装置、终端及存储介质 |
| JP2022534371A (ja) * | 2019-08-15 | 2022-07-29 | 華為技術有限公司 | 音声対話方法及び装置、端末、並びに記憶媒体 |
| JP7324313B2 (ja) | 2019-08-15 | 2023-08-09 | 華為技術有限公司 | 音声対話方法及び装置、端末、並びに記憶媒体 |
| US11922935B2 (en) | 2019-08-15 | 2024-03-05 | Huawei Technologies Co., Ltd. | Voice interaction method and apparatus, terminal, and storage medium |
| WO2023062817A1 (ja) * | 2021-10-15 | 2023-04-20 | パイオニア株式会社 | 音声認識装置、制御方法、プログラム及び記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3963698B2 (ja) | 2007-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003131691A (ja) | 音声対話システム | |
| JP4304952B2 (ja) | 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム | |
| US7392194B2 (en) | Voice-controlled navigation device requiring voice or manual user affirmation of recognized destination setting before execution | |
| JP2907079B2 (ja) | ナビゲーション装置，ナビゲート方法及び自動車 | |
| US20030055643A1 (en) | Method for controlling a voice input and output | |
| US20070219786A1 (en) | Method for providing external user automatic speech recognition dictation recording and playback | |
| JPWO2012131839A1 (ja) | エレベーターの呼び登録装置 | |
| JP2012230191A (ja) | 音声入力装置 | |
| JPH09292255A (ja) | ナビゲーション方法及び装置 | |
| JP5181533B2 (ja) | 音声対話装置 | |
| JP2000322078A (ja) | 車載型音声認識装置 | |
| JP4910563B2 (ja) | 音声認識装置 | |
| JP4900197B2 (ja) | 経路導出装置、車両制御装置、及びナビゲーション装置 | |
| JP3474089B2 (ja) | ナビゲーション装置 | |
| JP3505982B2 (ja) | 音声対話装置 | |
| JP3818352B2 (ja) | ナビゲーション装置及び記憶媒体 | |
| JP3677833B2 (ja) | ナビゲーション装置，ナビゲート方法及び自動車 | |
| JP2947143B2 (ja) | 音声認識装置及びナビゲーション装置 | |
| JP2004354722A (ja) | 音声認識装置 | |
| JP4300596B2 (ja) | 車載用ナビゲーションシステム | |
| CN110556091A (zh) | 信息提供装置 | |
| JP2005025100A (ja) | 車載機器制御装置 | |
| JP2003148987A (ja) | ナビゲーション装置 | |
| JP2877045B2 (ja) | 音声認識装置，音声認識方法，ナビゲーション装置，ナビゲート方法及び自動車 | |
| JP4412102B2 (ja) | ナビゲーション装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040902 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070522 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140601 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |