JP2003202897A - 車載機器用音声認識装置 - Google Patents
車載機器用音声認識装置Info
- Publication number
- JP2003202897A JP2003202897A JP2002001605A JP2002001605A JP2003202897A JP 2003202897 A JP2003202897 A JP 2003202897A JP 2002001605 A JP2002001605 A JP 2002001605A JP 2002001605 A JP2002001605 A JP 2002001605A JP 2003202897 A JP2003202897 A JP 2003202897A
- Authority
- JP
- Japan
- Prior art keywords
- command
- voice
- reliability threshold
- reliability
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 コマンドの重要度に応じて、認識確度を高め
たり、逆に認識率を高めるように設定可能にし、安全性
および利便性の両者を向上させる車載機器用音声認識装
置を得る。 【解決手段】 マイク２から入力された音声データと認
識単語辞書データテーブル５とを比較照合して、入力さ
れたコマンドを認識すると共に、そのスコア（信頼度）
を生成する音声認識処理部６と、各種コマンドにそれぞ
れ対応して、各コマンドに要求される認識確度に応じた
スコア閾値データテーブル７と、認識されたコマンドに
対応するスコア閾値をスコア閾値データテーブル７から
抽出し、コマンドのスコアがスコア閾値以上である場合
に、コマンドを許可する音声操作処理部８とを備えた。
たり、逆に認識率を高めるように設定可能にし、安全性
および利便性の両者を向上させる車載機器用音声認識装
置を得る。 【解決手段】 マイク２から入力された音声データと認
識単語辞書データテーブル５とを比較照合して、入力さ
れたコマンドを認識すると共に、そのスコア（信頼度）
を生成する音声認識処理部６と、各種コマンドにそれぞ
れ対応して、各コマンドに要求される認識確度に応じた
スコア閾値データテーブル７と、認識されたコマンドに
対応するスコア閾値をスコア閾値データテーブル７から
抽出し、コマンドのスコアがスコア閾値以上である場合
に、コマンドを許可する音声操作処理部８とを備えた。
Description
【０００１】
【発明の属する技術分野】この発明は、車載情報機器
（カーナビゲーション）または車両制御機器において、
利用者によって音声入力されたコマンドを認識する車載
機器用音声認識装置に関するものである。
（カーナビゲーション）または車両制御機器において、
利用者によって音声入力されたコマンドを認識する車載
機器用音声認識装置に関するものである。
【０００２】
【従来の技術】音声認識は、他のコマンドに誤認識した
り、認識できない可能性がある。特に、車載搭載環境で
は、走行騒音による影響から、より認識し難い環境であ
るため、特公平２−２１５８号公報では、走行／停車判
定を行い、走行状態での認識率向上策が記載されてい
る。
り、認識できない可能性がある。特に、車載搭載環境で
は、走行騒音による影響から、より認識し難い環境であ
るため、特公平２−２１５８号公報では、走行／停車判
定を行い、走行状態での認識率向上策が記載されてい
る。
【０００３】
【発明が解決しようとする課題】従来の車載機器用音声
認識装置は以上のように構成されているので、コマンド
の重要度に応じて、認識確度を高めたり、逆に認識率を
高めたりすることができなかった。すなわち、コマンド
によっては、誤認識した場合に、その操作を戻すことが
できない、戻すのに時間を要する、誤動作により利用者
が混乱する等、コマンドの誤認識により安全性や操作性
が著しく損なわれるため、認識確度を高めたい重要コマ
ンドがある。逆にコマンドによっては、使用頻度が高か
ったり、騒音に対して認識しづらくなってしまう短いコ
マンドがあり、コマンドの誤認率の低下により利便性が
損なわれるため、認識率を高めたい非重要コマンドがあ
る。しかしながら、従来の技術では、重要コマンドに対
して認識確度を高めたり、逆に、非重要コマンドに対し
て認識率を高めたりすることができないなどの課題があ
った。
認識装置は以上のように構成されているので、コマンド
の重要度に応じて、認識確度を高めたり、逆に認識率を
高めたりすることができなかった。すなわち、コマンド
によっては、誤認識した場合に、その操作を戻すことが
できない、戻すのに時間を要する、誤動作により利用者
が混乱する等、コマンドの誤認識により安全性や操作性
が著しく損なわれるため、認識確度を高めたい重要コマ
ンドがある。逆にコマンドによっては、使用頻度が高か
ったり、騒音に対して認識しづらくなってしまう短いコ
マンドがあり、コマンドの誤認率の低下により利便性が
損なわれるため、認識率を高めたい非重要コマンドがあ
る。しかしながら、従来の技術では、重要コマンドに対
して認識確度を高めたり、逆に、非重要コマンドに対し
て認識率を高めたりすることができないなどの課題があ
った。
【０００４】この発明は上記のような課題を解決するた
めになされたもので、コマンドの重要度に応じて、認識
確度を高めたり、逆に認識率を高めるように設定可能に
し、安全性および利便性の両者を向上させる車載機器用
音声認識装置を得るものである。
めになされたもので、コマンドの重要度に応じて、認識
確度を高めたり、逆に認識率を高めるように設定可能に
し、安全性および利便性の両者を向上させる車載機器用
音声認識装置を得るものである。
【０００５】
【課題を解決するための手段】この発明に係る車載機器
用音声認識装置は、各命令に要求される認識確度に応じ
た信頼度閾値を保持した信頼度閾値保持手段と、音声認
識処理手段によって認識された命令に対応する信頼度閾
値を信頼度閾値保持手段から抽出し、その命令の信頼度
が信頼度閾値以上である場合に、その命令を許可して実
行する命令実行処理手段とを備えたものである。
用音声認識装置は、各命令に要求される認識確度に応じ
た信頼度閾値を保持した信頼度閾値保持手段と、音声認
識処理手段によって認識された命令に対応する信頼度閾
値を信頼度閾値保持手段から抽出し、その命令の信頼度
が信頼度閾値以上である場合に、その命令を許可して実
行する命令実行処理手段とを備えたものである。
【０００６】この発明に係る車載機器用音声認識装置
は、命令実行処理手段において、音声認識処理手段によ
って認識された命令の信頼度が信頼度閾値以上である場
合に、その信頼度閾値が小さくなるように変更して信頼
度閾値保持手段に保持させるようにしたものである。
は、命令実行処理手段において、音声認識処理手段によ
って認識された命令の信頼度が信頼度閾値以上である場
合に、その信頼度閾値が小さくなるように変更して信頼
度閾値保持手段に保持させるようにしたものである。
【０００７】この発明に係る車載機器用音声認識装置
は、命令実行処理手段において、音声認識処理手段によ
って認識された命令の信頼度が信頼度閾値以上である場
合であっても、信頼度閾値保持手段にその命令に対応し
て重要命令が設定されている場合には、その信頼度閾値
を変更しないようにしたものである。
は、命令実行処理手段において、音声認識処理手段によ
って認識された命令の信頼度が信頼度閾値以上である場
合であっても、信頼度閾値保持手段にその命令に対応し
て重要命令が設定されている場合には、その信頼度閾値
を変更しないようにしたものである。
【０００８】この発明に係る車載機器用音声認識装置
は、命令実行処理手段において、音声認識処理手段によ
って認識された命令の信頼度が信頼度閾値以上である場
合であっても、重要命令設定手段によってその命令が重
要命令であると設定されている場合には、その信頼度閾
値を変更しないようにしたものである。
は、命令実行処理手段において、音声認識処理手段によ
って認識された命令の信頼度が信頼度閾値以上である場
合であっても、重要命令設定手段によってその命令が重
要命令であると設定されている場合には、その信頼度閾
値を変更しないようにしたものである。
【０００９】この発明に係る車載機器用音声認識装置
は、命令実行処理手段において、信頼度閾値変更機能設
定手段による設定に応じて、信頼度閾値を小さくなるよ
うに変更する機能を有効または無効にするようにしたも
のである。
は、命令実行処理手段において、信頼度閾値変更機能設
定手段による設定に応じて、信頼度閾値を小さくなるよ
うに変更する機能を有効または無効にするようにしたも
のである。
【００１０】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による車
載機器用音声認識装置を示す構成図であり、図におい
て、１はカーナビゲーション等の車載情報機器である。
２は利用者によってコマンド（命令）等が音声入力され
るマイク（音声入力手段）、３は利用者によって音声入
力のタイミングに応じて操作される発話スイッチであ
る。４はマイク２からの音声信号を信号処理する音声入
力回路（音声入力手段）、５は単語を基準音声データと
して記憶した認識単語辞書データテーブル（基準音声情
報記憶手段）、６は音声入力回路４によって信号処理さ
れた音声データと、認識単語辞書データテーブル５の基
準音声データとを比較照合して、両者が類似する基準音
声データに応じたコマンドを認識すると共に、その類似
性に応じたスコア（信頼度）を生成する音声認識処理部
（音声認識処理手段）である。７は各種コマンドにそれ
ぞれ対応して、各コマンドに要求される認識確度（認識
されるコマンドの確からしさ）に応じたスコア閾値を保
持したスコア閾値データテーブル（信頼度閾値保持手
段）、８は音声認識処理部６によって認識されたコマン
ドに対応するスコア閾値をスコア閾値データテーブル７
から抽出し、そのコマンドのスコアがそのスコア閾値以
上であるか否かを判定する音声操作処理部（命令実行処
理手段）、９は音声操作処理部８によってコマンドのス
コアがスコア閾値未満であると判定された場合に、音声
入力されたコマンドが認識できなかったことを表示し、
コマンドのスコアがスコア閾値以上であると判定された
場合に、音声入力されたコマンドが認識できたことを表
示する音声操作応答処理表示部、１０は音声操作処理部
８によってコマンドのスコアがスコア閾値以上であると
判定された場合に、そのコマンドに応じた処理を実行す
るアプリケーション処理部（命令実行処理手段）であ
る。図２はこの発明の実施の形態１による車載機器用音
声認識装置の動作を示すフローチャートである。
説明する。 実施の形態１．図１はこの発明の実施の形態１による車
載機器用音声認識装置を示す構成図であり、図におい
て、１はカーナビゲーション等の車載情報機器である。
２は利用者によってコマンド（命令）等が音声入力され
るマイク（音声入力手段）、３は利用者によって音声入
力のタイミングに応じて操作される発話スイッチであ
る。４はマイク２からの音声信号を信号処理する音声入
力回路（音声入力手段）、５は単語を基準音声データと
して記憶した認識単語辞書データテーブル（基準音声情
報記憶手段）、６は音声入力回路４によって信号処理さ
れた音声データと、認識単語辞書データテーブル５の基
準音声データとを比較照合して、両者が類似する基準音
声データに応じたコマンドを認識すると共に、その類似
性に応じたスコア（信頼度）を生成する音声認識処理部
（音声認識処理手段）である。７は各種コマンドにそれ
ぞれ対応して、各コマンドに要求される認識確度（認識
されるコマンドの確からしさ）に応じたスコア閾値を保
持したスコア閾値データテーブル（信頼度閾値保持手
段）、８は音声認識処理部６によって認識されたコマン
ドに対応するスコア閾値をスコア閾値データテーブル７
から抽出し、そのコマンドのスコアがそのスコア閾値以
上であるか否かを判定する音声操作処理部（命令実行処
理手段）、９は音声操作処理部８によってコマンドのス
コアがスコア閾値未満であると判定された場合に、音声
入力されたコマンドが認識できなかったことを表示し、
コマンドのスコアがスコア閾値以上であると判定された
場合に、音声入力されたコマンドが認識できたことを表
示する音声操作応答処理表示部、１０は音声操作処理部
８によってコマンドのスコアがスコア閾値以上であると
判定された場合に、そのコマンドに応じた処理を実行す
るアプリケーション処理部（命令実行処理手段）であ
る。図２はこの発明の実施の形態１による車載機器用音
声認識装置の動作を示すフローチャートである。
【００１１】次に動作について説明する。図において、
発話スイッチ３が利用者によって押下されると、音声認
識処理部６の認識処理が開始され、音声認識処理部６は
待ち状態となる（ステップＳＴ１）。マイク２から音声
入力された音声信号は、音声入力回路４により信号増
幅、帯域フィルタ処理、ＡＤ変換処理等を行い、最適な
音声データとなるように処理される（ステップＳＴ
２）。音声認識処理部６は、音声入力回路４によって信
号処理された音声データと、認識単語辞書データテーブ
ル５として記憶された基準音声データとを比較照合し
て、近いパターンのものを候補として選択し、入力され
た音声データに類似する１つ以上のコマンドを認識す
る。また、その類似性に応じたスコアを生成する（ステ
ップＳＴ３）。ここで、認識単語辞書データテーブル５
は、単語毎に基準音声データとして記憶し、音声認識処
理部６において、類似する単語から、または類似する単
語の組み合せから入力されるコマンドを認識する。ま
た、認識単語辞書データテーブル５は、コマンド毎に基
準音声データとして記憶し、音声認識処理部６におい
て、類似するコマンドから入力されるコマンドを認識す
るものであっても良い。
発話スイッチ３が利用者によって押下されると、音声認
識処理部６の認識処理が開始され、音声認識処理部６は
待ち状態となる（ステップＳＴ１）。マイク２から音声
入力された音声信号は、音声入力回路４により信号増
幅、帯域フィルタ処理、ＡＤ変換処理等を行い、最適な
音声データとなるように処理される（ステップＳＴ
２）。音声認識処理部６は、音声入力回路４によって信
号処理された音声データと、認識単語辞書データテーブ
ル５として記憶された基準音声データとを比較照合し
て、近いパターンのものを候補として選択し、入力され
た音声データに類似する１つ以上のコマンドを認識す
る。また、その類似性に応じたスコアを生成する（ステ
ップＳＴ３）。ここで、認識単語辞書データテーブル５
は、単語毎に基準音声データとして記憶し、音声認識処
理部６において、類似する単語から、または類似する単
語の組み合せから入力されるコマンドを認識する。ま
た、認識単語辞書データテーブル５は、コマンド毎に基
準音声データとして記憶し、音声認識処理部６におい
て、類似するコマンドから入力されるコマンドを認識す
るものであっても良い。
【００１２】音声操作処理部８は、音声認識処理部６か
らその認識結果であるコマンドと、そのコマンドに応じ
たスコアとを取得する（ステップＳＴ４）。音声操作処
理部８は、音声認識処理部６によって認識されたコマン
ドに対応するスコア閾値をスコア閾値データテーブル７
から抽出し、そのコマンドのスコアがそのスコア閾値以
上であるか否かを判定する（ステップＳＴ５）。音声操
作処理部８は、コマンドのスコアがスコア閾値未満であ
ると判定した場合に、音声入力されたコマンドが認識で
きなかったことを音声操作応答処理表示部９に表示し、
処理を終了する（ステップＳＴ６）。ここで、音声操作
応答処理表示部９にコマンドが認識できなかったことを
表示したが、コマンドが認識できなかったことを音声に
よって報知するようにしても良い。音声操作処理部８
は、コマンドのスコアがスコア閾値以上であると判定し
た場合に、音声入力されたコマンドが認識できたとみな
した場合は、その認識したコマンドを音声操作応答処理
表示部９に表示する。また、その認識したコマンドに応
じた所定の動作を行うようにカーナビゲーション等のア
プリケーション処理部１０に処理を依頼し、それを受け
たアプリケーション処理部１０は、そのコマンドに応じ
た処理を実行する（ステップＳＴ７）。ここで、アプリ
ケーション処理部１０は、１つ以上設けられ、処理の実
行は複数のアプリケーション処理部１０で行うようにし
ても良い。
らその認識結果であるコマンドと、そのコマンドに応じ
たスコアとを取得する（ステップＳＴ４）。音声操作処
理部８は、音声認識処理部６によって認識されたコマン
ドに対応するスコア閾値をスコア閾値データテーブル７
から抽出し、そのコマンドのスコアがそのスコア閾値以
上であるか否かを判定する（ステップＳＴ５）。音声操
作処理部８は、コマンドのスコアがスコア閾値未満であ
ると判定した場合に、音声入力されたコマンドが認識で
きなかったことを音声操作応答処理表示部９に表示し、
処理を終了する（ステップＳＴ６）。ここで、音声操作
応答処理表示部９にコマンドが認識できなかったことを
表示したが、コマンドが認識できなかったことを音声に
よって報知するようにしても良い。音声操作処理部８
は、コマンドのスコアがスコア閾値以上であると判定し
た場合に、音声入力されたコマンドが認識できたとみな
した場合は、その認識したコマンドを音声操作応答処理
表示部９に表示する。また、その認識したコマンドに応
じた所定の動作を行うようにカーナビゲーション等のア
プリケーション処理部１０に処理を依頼し、それを受け
たアプリケーション処理部１０は、そのコマンドに応じ
た処理を実行する（ステップＳＴ７）。ここで、アプリ
ケーション処理部１０は、１つ以上設けられ、処理の実
行は複数のアプリケーション処理部１０で行うようにし
ても良い。
【００１３】スコア閾値データテーブル７では、全コマ
ンド共通に一律のスコア閾値を保持したものではなく、
各種コマンドにそれぞれ対応して、各コマンドに要求さ
れる認識確度に応じたスコア閾値を保持したものであ
る。具体的には、コマンドの誤認識した場合に、その操
作を戻すことができない、戻すのに時間を要する、誤動
作により利用者が混乱する等、コマンドの誤認識により
安全性や操作性が著しく損なわれる重要コマンドについ
てはスコア閾値を予め大きく設定しておき、逆にコマン
ドによっては、使用頻度が高かったり、騒音に対して認
識しづらくなってしまう短いコマンドがあるが、コマン
ドの誤認率の低下により利便性が損なわれる非重要コマ
ンドについてはスコア閾値を予め小さく設定しておく。
このように、スコア閾値データテーブル７においてスコ
ア閾値を設定しておけば、音声操作処理部８において、
重要コマンドに対しては認識確度が向上し、非重要コマ
ンドに対しては認識率、すなわち、コマンドを許可する
率が向上し、トレードオフの関係にある認識確度と認識
率とを調整し、安全性および利便性の両者を向上させる
ことができる。
ンド共通に一律のスコア閾値を保持したものではなく、
各種コマンドにそれぞれ対応して、各コマンドに要求さ
れる認識確度に応じたスコア閾値を保持したものであ
る。具体的には、コマンドの誤認識した場合に、その操
作を戻すことができない、戻すのに時間を要する、誤動
作により利用者が混乱する等、コマンドの誤認識により
安全性や操作性が著しく損なわれる重要コマンドについ
てはスコア閾値を予め大きく設定しておき、逆にコマン
ドによっては、使用頻度が高かったり、騒音に対して認
識しづらくなってしまう短いコマンドがあるが、コマン
ドの誤認率の低下により利便性が損なわれる非重要コマ
ンドについてはスコア閾値を予め小さく設定しておく。
このように、スコア閾値データテーブル７においてスコ
ア閾値を設定しておけば、音声操作処理部８において、
重要コマンドに対しては認識確度が向上し、非重要コマ
ンドに対しては認識率、すなわち、コマンドを許可する
率が向上し、トレードオフの関係にある認識確度と認識
率とを調整し、安全性および利便性の両者を向上させる
ことができる。
【００１４】また、音声操作処理部８は、ステップＳＴ
７においてアプリケーション処理部１０に処理依頼した
後に、その認識したコマンドが重要コマンドであるか否
かを判定する（ステップＳＴ８）。ここで、コマンドに
対応して重要コマンドであるか否かの設定手法として
は、一例として、スコア閾値データテーブル７におい
て、各コマンド毎に重要コマンドであるか否かを予め設
定し保持しておき、音声操作処理部８において、スコア
閾値データテーブル７に保持された内容から、認識され
たコマンドに対応して重要コマンドが設定されているか
否かを判定する手法がある。また、別の例としては、マ
イク２からの音声入力時に、その音声入力が重要コマン
ドであるか否かが利用者の操作によって設定される操作
スイッチ、あるいは、マイク２からの音声入力により重
要コマンドであるか否かが判定される手段を設け、この
ような重要命令設定手段によって重要コマンドを設定し
て、音声操作処理部８において、認識されたコマンドに
対応して重要命令設定手段によって重要コマンドが設定
されているか否かを判定する手法がある。音声操作処理
部８は、ステップＳＴ８において、その認識したコマン
ドが重要コマンドでないと判定した場合には、処理を終
了する。一方、ステップＳＴ８において、その認識した
コマンドが重要コマンドであると判定した場合には、ス
コア閾値データテーブル７から抽出され、ステップＳＴ
５において判定に用いられたスコア閾値を、所定値ある
いは所定率だけ小さくなるように変更して、その変更し
たスコア閾値をスコア閾値データテーブル７に保持させ
る（ステップＳＴ９）。ここで、重要コマンドではない
同一のコマンドが認識される度に、スコア閾値は小さく
設定されていくが、スコア閾値があまりにも小さく設定
され、誤認識が増加してしまうことを防止するために、
スコア閾値には下限値を設け、スコア閾値は下限値より
も小さく変更されないようにする。このようにすること
によって、コマンドが音声入力され、そのコマンドが許
可される毎にスコア閾値が小さくなるように変更される
ので、そのコマンドの使用頻度が増す毎に、認識率が向
上し、利便性を向上させることができる。また、使用頻
度が多いコマンドであっても、認識確度が要求される重
要コマンドに対してはスコア閾値を変更しないようにす
ることによって、重要コマンドの誤認識を防止し、安全
性を維持することができる。
７においてアプリケーション処理部１０に処理依頼した
後に、その認識したコマンドが重要コマンドであるか否
かを判定する（ステップＳＴ８）。ここで、コマンドに
対応して重要コマンドであるか否かの設定手法として
は、一例として、スコア閾値データテーブル７におい
て、各コマンド毎に重要コマンドであるか否かを予め設
定し保持しておき、音声操作処理部８において、スコア
閾値データテーブル７に保持された内容から、認識され
たコマンドに対応して重要コマンドが設定されているか
否かを判定する手法がある。また、別の例としては、マ
イク２からの音声入力時に、その音声入力が重要コマン
ドであるか否かが利用者の操作によって設定される操作
スイッチ、あるいは、マイク２からの音声入力により重
要コマンドであるか否かが判定される手段を設け、この
ような重要命令設定手段によって重要コマンドを設定し
て、音声操作処理部８において、認識されたコマンドに
対応して重要命令設定手段によって重要コマンドが設定
されているか否かを判定する手法がある。音声操作処理
部８は、ステップＳＴ８において、その認識したコマン
ドが重要コマンドでないと判定した場合には、処理を終
了する。一方、ステップＳＴ８において、その認識した
コマンドが重要コマンドであると判定した場合には、ス
コア閾値データテーブル７から抽出され、ステップＳＴ
５において判定に用いられたスコア閾値を、所定値ある
いは所定率だけ小さくなるように変更して、その変更し
たスコア閾値をスコア閾値データテーブル７に保持させ
る（ステップＳＴ９）。ここで、重要コマンドではない
同一のコマンドが認識される度に、スコア閾値は小さく
設定されていくが、スコア閾値があまりにも小さく設定
され、誤認識が増加してしまうことを防止するために、
スコア閾値には下限値を設け、スコア閾値は下限値より
も小さく変更されないようにする。このようにすること
によって、コマンドが音声入力され、そのコマンドが許
可される毎にスコア閾値が小さくなるように変更される
ので、そのコマンドの使用頻度が増す毎に、認識率が向
上し、利便性を向上させることができる。また、使用頻
度が多いコマンドであっても、認識確度が要求される重
要コマンドに対してはスコア閾値を変更しないようにす
ることによって、重要コマンドの誤認識を防止し、安全
性を維持することができる。
【００１５】さらに、音声操作処理部８によるスコア閾
値を小さくなるように変更する機能を有効または無効に
設定する操作スイッチ（信頼度閾値変更機能設定手段）
を設け、音声操作処理部８では、その操作スイッチによ
る設定に応じて、スコア閾値を小さくなるように変更す
る機能を有効または無効にするようにしても良い。
値を小さくなるように変更する機能を有効または無効に
設定する操作スイッチ（信頼度閾値変更機能設定手段）
を設け、音声操作処理部８では、その操作スイッチによ
る設定に応じて、スコア閾値を小さくなるように変更す
る機能を有効または無効にするようにしても良い。
【００１６】
【発明の効果】以上のように、この発明によれば、各命
令に要求される認識確度に応じた信頼度閾値を保持した
信頼度閾値保持手段と、音声認識処理手段によって認識
された命令に対応する信頼度閾値を信頼度閾値保持手段
から抽出し、その命令の信頼度が信頼度閾値以上である
場合に、その命令を許可して実行する命令実行処理手段
とを備えるように構成したので、信頼度閾値保持手段に
予め設定される信頼度閾値を、命令の誤認識により安全
性や操作性が著しく損なわれる重要命令については大き
く設定し、逆に、使用頻度が高い命令や騒音に対して認
識しずらくなってしまう非重要命令については小さく設
定すれば、重要命令に対しては認識確度が向上し、非重
要命令に対しては認識率、すなわち、命令を許可する率
が向上し、安全性および利便性の両者を向上させること
ができる効果がある。
令に要求される認識確度に応じた信頼度閾値を保持した
信頼度閾値保持手段と、音声認識処理手段によって認識
された命令に対応する信頼度閾値を信頼度閾値保持手段
から抽出し、その命令の信頼度が信頼度閾値以上である
場合に、その命令を許可して実行する命令実行処理手段
とを備えるように構成したので、信頼度閾値保持手段に
予め設定される信頼度閾値を、命令の誤認識により安全
性や操作性が著しく損なわれる重要命令については大き
く設定し、逆に、使用頻度が高い命令や騒音に対して認
識しずらくなってしまう非重要命令については小さく設
定すれば、重要命令に対しては認識確度が向上し、非重
要命令に対しては認識率、すなわち、命令を許可する率
が向上し、安全性および利便性の両者を向上させること
ができる効果がある。
【００１７】この発明によれば、命令実行処理手段にお
いて、音声認識処理手段によって認識された命令の信頼
度が信頼度閾値以上である場合に、その信頼度閾値が小
さくなるように変更して信頼度閾値保持手段に保持させ
るように構成したので、命令が音声情報として入力さ
れ、その命令が許可される毎に信頼度閾値が小さくなる
ように変更されるので、その命令の使用頻度が増す毎
に、認識率が向上し、利便性を向上させることができる
効果がある。
いて、音声認識処理手段によって認識された命令の信頼
度が信頼度閾値以上である場合に、その信頼度閾値が小
さくなるように変更して信頼度閾値保持手段に保持させ
るように構成したので、命令が音声情報として入力さ
れ、その命令が許可される毎に信頼度閾値が小さくなる
ように変更されるので、その命令の使用頻度が増す毎
に、認識率が向上し、利便性を向上させることができる
効果がある。
【００１８】この発明によれば、命令実行処理手段にお
いて、音声認識処理手段によって認識された命令の信頼
度が信頼度閾値以上である場合であっても、信頼度閾値
保持手段にその命令に対応して重要命令が設定されてい
る場合には、その信頼度閾値を変更しないように構成し
たので、使用頻度が多い命令であっても、認識確度が要
求される重要命令に対しては信頼度閾値を変更しないよ
うにすることによって、重要命令の誤認識を防止し、安
全性を維持することができる効果がある。
いて、音声認識処理手段によって認識された命令の信頼
度が信頼度閾値以上である場合であっても、信頼度閾値
保持手段にその命令に対応して重要命令が設定されてい
る場合には、その信頼度閾値を変更しないように構成し
たので、使用頻度が多い命令であっても、認識確度が要
求される重要命令に対しては信頼度閾値を変更しないよ
うにすることによって、重要命令の誤認識を防止し、安
全性を維持することができる効果がある。
【００１９】この発明によれば、命令実行処理手段にお
いて、音声認識処理手段によって認識された命令の信頼
度が信頼度閾値以上である場合であっても、重要命令設
定手段によってその命令が重要命令であると設定されて
いる場合には、その信頼度閾値を変更しないように構成
したので、使用頻度が多い命令であっても、認識確度が
要求される重要命令に対しては信頼度閾値を変更しない
ようにすることによって、重要命令の誤認識を防止し、
安全性を維持することができる。また、利用者が音声情
報の入力時に任意に重要命令であるか否かを設定するこ
とができ、利便性良くすることができる効果がある。
いて、音声認識処理手段によって認識された命令の信頼
度が信頼度閾値以上である場合であっても、重要命令設
定手段によってその命令が重要命令であると設定されて
いる場合には、その信頼度閾値を変更しないように構成
したので、使用頻度が多い命令であっても、認識確度が
要求される重要命令に対しては信頼度閾値を変更しない
ようにすることによって、重要命令の誤認識を防止し、
安全性を維持することができる。また、利用者が音声情
報の入力時に任意に重要命令であるか否かを設定するこ
とができ、利便性良くすることができる効果がある。
【００２０】この発明によれば、命令実行処理手段にお
いて、信頼度閾値変更機能設定手段による設定に応じ
て、信頼度閾値を小さくなるように変更する機能を有効
または無効にするように構成したので、命令の使用頻度
が増す毎に認識率を向上させる機能を有効にするか、予
め設定された信頼度閾値を固定にして認識確度および認
識率を保持する機能を有効にするか、利用者が選択する
ことができる効果がある。
いて、信頼度閾値変更機能設定手段による設定に応じ
て、信頼度閾値を小さくなるように変更する機能を有効
または無効にするように構成したので、命令の使用頻度
が増す毎に認識率を向上させる機能を有効にするか、予
め設定された信頼度閾値を固定にして認識確度および認
識率を保持する機能を有効にするか、利用者が選択する
ことができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による車載機器用音
声認識装置を示す構成図である。
声認識装置を示す構成図である。
【図２】 この発明の実施の形態１による車載機器用音
声認識装置の動作を示すフローチャートである。
声認識装置の動作を示すフローチャートである。
１ 車載情報機器、２ マイク（音声入力手段）、３
発話スイッチ、４ 音声入力回路（音声入力手段）、５
認識単語辞書データテーブル（基準音声情報記憶手
段）、６ 音声認識処理部（音声認識処理手段）、７
スコア閾値データテーブル（信頼度閾値保持手段）、８
音声操作処理部（命令実行処理手段）、９ 音声操作
応答処理表示部、１０ アプリケーション処理部（命令
実行処理手段）。
発話スイッチ、４ 音声入力回路（音声入力手段）、５
認識単語辞書データテーブル（基準音声情報記憶手
段）、６ 音声認識処理部（音声認識処理手段）、７
スコア閾値データテーブル（信頼度閾値保持手段）、８
音声操作処理部（命令実行処理手段）、９ 音声操作
応答処理表示部、１０ アプリケーション処理部（命令
実行処理手段）。
Claims (5)
- 【請求項１】 単語あるいは命令単位の基準音声情報を
記憶した基準音声情報記憶手段と、 音声入力手段から入力された音声情報と上記基準音声情
報記憶手段に記憶された基準音声情報とを比較照合し
て、両者が類似する基準音声情報に応じた命令を認識す
ると共に、その類似性に応じた信頼度を生成する音声認
識処理手段と、 各種命令にそれぞれ対応して、各命令に要求される認識
確度に応じた信頼度閾値を保持した信頼度閾値保持手段
と、 上記音声認識処理手段によって認識された命令に対応す
る信頼度閾値を上記信頼度閾値保持手段から抽出し、そ
の命令の信頼度がその信頼度閾値以上である場合に、そ
の命令を許可して実行する命令実行処理手段とを備えた
車載機器用音声認識装置。 - 【請求項２】 命令実行処理手段は、音声認識処理手段
によって認識された命令の信頼度が信頼度閾値以上であ
る場合に、その信頼度閾値が小さくなるように変更して
信頼度閾値保持手段に保持させることを特徴とする請求
項１記載の車載機器用音声認識装置。 - 【請求項３】 信頼度閾値保持手段は、各命令毎に重要
命令であるか否かが保持され、 命令実行処理手段は、音声認識処理手段によって認識さ
れた命令の信頼度が信頼度閾値以上である場合であって
も、上記信頼度閾値保持手段にその命令に対応して重要
命令が設定されている場合には、その信頼度閾値を変更
しないことを特徴とする請求項２記載の車載機器用音声
認識装置。 - 【請求項４】 音声入力手段からの音声情報の入力時
に、その音声情報が重要命令であるか否かが設定される
重要命令設定手段を備え、 命令実行処理手段は、音声認識処理手段によって認識さ
れた命令の信頼度が信頼度閾値以上である場合であって
も、上記重要命令設定手段によってその命令が重要命令
であると設定されている場合には、その信頼度閾値を変
更しないことを特徴とする請求項２記載の車載機器用音
声認識装置。 - 【請求項５】 命令実行処理手段による信頼度閾値を小
さくなるように変更する機能を有効または無効に設定す
る信頼度閾値変更機能設定手段とを備え、 上記命令実行処理手段は、上記信頼度閾値変更機能設定
手段による設定に応じて、信頼度閾値を小さくなるよう
に変更する機能を有効または無効にすることを特徴とす
る請求項２記載の車載機器用音声認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002001605A JP3920097B2 (ja) | 2002-01-08 | 2002-01-08 | 車載機器用音声認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002001605A JP3920097B2 (ja) | 2002-01-08 | 2002-01-08 | 車載機器用音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003202897A true JP2003202897A (ja) | 2003-07-18 |
| JP3920097B2 JP3920097B2 (ja) | 2007-05-30 |
Family
ID=27641685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002001605A Expired - Fee Related JP3920097B2 (ja) | 2002-01-08 | 2002-01-08 | 車載機器用音声認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3920097B2 (ja) |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005181386A (ja) * | 2003-12-16 | 2005-07-07 | Mitsubishi Electric Corp | 音声対話処理装置及び音声対話処理方法並びにプログラム |
| JP2009251019A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 音声認識装置 |
| JP2014081441A (ja) * | 2012-10-15 | 2014-05-08 | Sharp Corp | コマンド判定装置およびその制御方法、コマンド判定プログラム |
| EP2942708A1 (en) * | 2014-05-07 | 2015-11-11 | Giga-Byte Technology Co., Ltd. | Data input system for macro activation |
| JP2016004270A (ja) * | 2014-05-30 | 2016-01-12 | アップル インコーポレイテッド | 手動始点／終点指定及びトリガフレーズの必要性の低減 |
| JP2016119615A (ja) * | 2014-12-22 | 2016-06-30 | キヤノン株式会社 | 撮像装置、音声コマンド機能の設定方法、コンピュータプログラム、及び記憶媒体 |
| JP2017173530A (ja) * | 2016-03-23 | 2017-09-28 | 富士通株式会社 | 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置 |
| US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
| US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| JP2019512105A (ja) * | 2016-03-14 | 2019-05-09 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | クレデンシャルを提供する音声入力の識別 |
| JP2019078463A (ja) * | 2017-10-25 | 2019-05-23 | 株式会社パロマ | 加熱調理器 |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
| US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
| US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
| US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
-
2002
- 2002-01-08 JP JP2002001605A patent/JP3920097B2/ja not_active Expired - Fee Related
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005181386A (ja) * | 2003-12-16 | 2005-07-07 | Mitsubishi Electric Corp | 音声対話処理装置及び音声対話処理方法並びにプログラム |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| JP2009251019A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 音声認識装置 |
| US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
| US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
| US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
| US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| JP2014081441A (ja) * | 2012-10-15 | 2014-05-08 | Sharp Corp | コマンド判定装置およびその制御方法、コマンド判定プログラム |
| US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| EP2942708A1 (en) * | 2014-05-07 | 2015-11-11 | Giga-Byte Technology Co., Ltd. | Data input system for macro activation |
| US11810562B2 (en) | 2014-05-30 | 2023-11-07 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| JP2018136568A (ja) * | 2014-05-30 | 2018-08-30 | アップル インコーポレイテッド | 手動始点／終点指定及びトリガフレーズの必要性の低減 |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| JP2016004270A (ja) * | 2014-05-30 | 2016-01-12 | アップル インコーポレイテッド | 手動始点／終点指定及びトリガフレーズの必要性の低減 |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
| JP2016119615A (ja) * | 2014-12-22 | 2016-06-30 | キヤノン株式会社 | 撮像装置、音声コマンド機能の設定方法、コンピュータプログラム、及び記憶媒体 |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| JP2019512105A (ja) * | 2016-03-14 | 2019-05-09 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | クレデンシャルを提供する音声入力の識別 |
| JP2017173530A (ja) * | 2016-03-23 | 2017-09-28 | 富士通株式会社 | 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置 |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
| US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
| JP2019078463A (ja) * | 2017-10-25 | 2019-05-23 | 株式会社パロマ | 加熱調理器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3920097B2 (ja) | 2007-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003202897A (ja) | 車載機器用音声認識装置 | |
| US7437297B2 (en) | Systems and methods for predicting consequences of misinterpretation of user commands in automated systems | |
| US10604111B2 (en) | Vehicle control apparatus, vehicle control method, and recording medium storing program | |
| CN110047467B (zh) | 语音识别方法、装置、存储介质及控制终端 | |
| JPWO2012137263A1 (ja) | 音声認識装置およびナビゲーション装置 | |
| CN106537492A (zh) | 具有用于语音识别的校正策略的机动车操作装置 | |
| EP3654329B1 (en) | In-vehicle device and speech recognition method | |
| JP6350903B2 (ja) | 操作補助装置および操作補助方法 | |
| CN105609105B (zh) | 语音识别系统和语音识别方法 | |
| JP2010015027A (ja) | 車両用飲酒検知装置及び車両用飲酒検知方法 | |
| JP2016061888A (ja) | 音声認識装置、音声認識対象区間設定方法、及び音声認識区間設定プログラム | |
| JPH11231896A (ja) | 音声起動システム | |
| US10468017B2 (en) | System and method for understanding standard language and dialects | |
| JP2006208486A (ja) | 音声入力装置 | |
| JP2018116206A (ja) | 音声認識装置、音声認識方法及び音声認識システム | |
| JP2005003997A (ja) | 音声認識装置および音声認識方法ならびに車両 | |
| JP2003509705A (ja) | 音声認識方法および音声認識装置 | |
| JP4770374B2 (ja) | 音声認識装置 | |
| US11164578B2 (en) | Voice recognition apparatus, voice recognition method, and non-transitory computer-readable storage medium storing program | |
| JP5074759B2 (ja) | 対話制御装置、対話制御方法及び対話制御プログラム | |
| US20070005360A1 (en) | Expanding the dynamic vocabulary of a speech recognition system by further voice enrollments | |
| KR101529918B1 (ko) | 다중 스레드를 이용한 음성 인식 장치 및 그 방법 | |
| JP6966374B2 (ja) | 音声認識システム及びコンピュータプログラム | |
| US9858918B2 (en) | Root cause analysis and recovery systems and methods | |
| US20150039312A1 (en) | Controlling speech dialog using an additional sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040819 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061012 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3920097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |