JP2000181488A - 音声認識装置及びナビゲーションシステム - Google Patents

音声認識装置及びナビゲーションシステム

Info

Publication number
JP2000181488A
JP2000181488A JP10359211A JP35921198A JP2000181488A JP 2000181488 A JP2000181488 A JP 2000181488A JP 10359211 A JP10359211 A JP 10359211A JP 35921198 A JP35921198 A JP 35921198A JP 2000181488 A JP2000181488 A JP 2000181488A
Authority
JP
Japan
Prior art keywords
voice
guide
input
predetermined
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10359211A
Other languages
English (en)
Other versions
JP4201411B2 (ja
Inventor
Hideo Miyauchi
英夫 宮内
Ichiro Akahori
一郎 赤堀
Norihide Kitaoka
教英 北岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP35921198A priority Critical patent/JP4201411B2/ja
Publication of JP2000181488A publication Critical patent/JP2000181488A/ja
Application granted granted Critical
Publication of JP4201411B2 publication Critical patent/JP4201411B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】音声認識装置の利用方法に対する熟知度合が異
なる各利用者のいずれにとっても使い勝手を良くする。 【解決手段】クリック操作がされた場合には(S120:YES,
S130:NO)、指示対象であるナビシステムに対して自分が
音声で何を入力することができるのか自体を知らない初
心者用のガイド内容を報知し(S140)、ダブルクリック操
作がされた場合には(S120:YES,S130:YES )、中級者用の
ガイド内容を報知する(S150)。初心者用のガイドとして
は、「目的地の設定が行えます」のように、音声入力に
て指示可能な設定項目自体を案内したり、「目的地を設
定するときは都道府県名から入力して下さい」というよ
うに、入力方法の説明をガイド内容として報知したり、
入力方法を完全には理解できない利用者のために「例え
ば愛知県刈谷市昭和町と入力して下さい」というよう
に、具体的な入力例をガイド内容として報知する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えばナビゲーシ
ョンシステムにおける目的地の設定などを音声入力でき
るようにする場合などに有効な音声認識装置及びその音
声認識装置を備えたナビゲーションシステムに関する。
【0002】
【従来の技術】従来より、入力された音声を予め記憶さ
れている複数の比較対象パターン候補と比較し、一致度
合の高いものを認識結果とする音声認識装置が既に実用
化されており、例えばナビゲーションシステムにおいて
設定すべき目的地を利用者が地名を音声で入力するため
などに用いられている。特に車載ナビゲーションシステ
ムを運転手自身が利用する場合、音声入力であればボタ
ン操作や画面注視が伴わないため、車両の走行中に行っ
ても安全性が高いため有効である。
【0003】また、音声認識装置側が常に音声入力に備
えるように準備しておくのは負担が大きいため、認識対
象となる音声を入力させる期間の開始及び終了タイミン
グについては利用者自身が指定するような構成が採用さ
れることが多い。この入力期間を指定するための手段と
しては、例えばPTT(Push-To-Talk)スイッチなどが
利用される。つまり、PTTスイッチが押されている場
合にだけ入力音声に対する認識処理を実行するようにし
て、実際上必要がない入力音声については処理をしない
ようにしている。
【0004】このように利用価値の高い音声入力の手法
であるが、利用者が音声認識のシステム自体に慣れてい
ない初心者であると、次のような問題点が生じる。例え
ば、利用方法が判らないことに起因して、装置にとって
は不適切な音声を適当に入力してしまい実効性が上がら
ないという問題や、あるいは、極端な場合には装置自体
を使わないという問題がある。また、利用方法自体をあ
る程度は理解しているが具体的な利用方法に慣れていな
いため、例えば入力すべき言葉がすぐに出てこなくて沈
黙してしまうという問題もある。
【0005】このような初心者のための対策として、例
えば所定のガイド内容を報知することも考えられる。例
えば入力できるコマンドとしてどのようなものがあるの
かをガイドすることが考えられる。具体的には、「目的
地の設定、地図拡大・縮小が行えます」というようなガ
イド内容を報知する。あるいは、コマンドの具体的な入
力方法を知らない場合に「目的地を設定するときは都道
府県名から入力して下さい」という入力方法の説明をガ
イド内容として報知することも考えられる。
【0006】
【発明が解決しようとする課題】しかしながら、このよ
うに初心者向けの対策を講じた場合、初心者にとっては
有益なガイド内容も、熟練者にとっては不要なものとな
る。つまり、そのようなガイド内容を聞かなくても入力
できるコマンドや入力方法自体を熟知している場合に
は、そのガイド内容が出力されている間は音声入力がで
きなくなるなどの不都合が生じてくる。
【0007】また、全くガイド内容を聞かなくてよい熟
練者のレベルまではいかないが、概略的なガイドだけし
てもらえば後は自分で対処できる「中級者」レベルの場
合には、初心者と同じ内容のガイドは不要である。そし
て、これら初心者、中級者、熟練者は必ずしも別人では
なく、同じ人が、最初は初心者であり、その後、中級
者、熟練者とステップアップしていく。したがって、装
置側としても、初心者用、中級者用、熟練者用というよ
うに使用者のレベルに合わせて固定的にシステム設定す
ることは好ましくなく、使用時の状況に応じて、初心者
には初心者用の入力方法、中級者には中級者用の入力方
法、熟練者には熟練者用の入力方法を任意に選択できる
ようなシステム設定とすることが期待される。
【0008】本発明は、このような問題を解決し、音声
認識装置の利用方法に対する熟知度合が異なる各利用者
のいずれにとっても使い勝手の良い音声認識装置及びそ
の音声認識装置を備えたナビゲーションシステムを提供
することを目的とする。
【0009】
【課題を解決するための手段及び発明の効果】上記目的
を達成するためになされた請求項1に記載の音声認識装
置によれば、利用者は例えばマイクロフォンなどの音声
入力手段を介して音声を入力するのであるが、認識対象
の音声を入力させる期間の開始及び終了を利用者自身が
指定するために入力期間指定手段が設けられており、こ
の入力期間指定手段によって指定された入力期間内に入
力された音声が認識対象となる。そして、認識手段が、
その入力された音声を予め辞書手段に記憶されている複
数の比較対象パターン候補と比較して一致度合の高いも
のを認識結果とし、報知手段によって認識結果を報知す
る。そして、認識結果が報知された後に所定の確定指示
がなされた場合には、確定後処理手段が、その認識結果
を確定したものとして所定の確定後処理を実行する。
【0010】そして、本発明の音声認識装置において
は、1つ以上のガイド要求操作が設定されている。この
ガイド要求操作は、入力期間指定手段による音声入力期
間の開始及び終了の指定操作とは異なる操作であり、2
つ以上のガイド要求操作が設定されている場合には、そ
れぞれ熟知度合に応じたガイド要求レベルが設定されて
いる。そして、ガイド手段は、入力期間指定手段による
ガイド要求操作がされた場合には、対応するガイド要求
レベルに応じた所定のガイド内容を報知する。
【0011】ここで、「入力期間指定手段による音声入
力期間の開始及び終了の指定操作とは異なる操作」と
は、例えば次のような場合を言う。例えば、入力期間指
定手段による音声入力期間の開始及び終了の指定操作
を、スイッチの操作開始から終了までが所定時間以上と
なる場合の、その操作開始及び終了にそれぞれ対応させ
た場合を想定する。この場合、スイッチ操作開始後に音
声入力を行い、その後に操作終了となるため、スイッチ
操作が継続している時間が例えば1秒以下となるような
ことは想定しにくい。したがって、例えばスイッチ操作
の開始から終了までの時間が例えば0.5秒以下という
ような比較的短いクリック時間となる、いわゆる「クリ
ック操作」を上述の「入力期間指定手段による音声入力
期間の開始及び終了の指定操作とは異なる操作」として
おけばよい。もちろん、装置側において通常の音声入力
期間の開始及び終了の指定ではありえない様な特別の操
作であれば、これ以外の操作もガイド要求のための操作
であるとしてよい。例えば、クリック操作が所定間隔以
内に2回連続して行われる「ダブルクリック操作」であ
ってもよい。
【0012】このようにすれば、ガイドが必要な利用者
は、自分の熟知度合に応じたガイドガイド要求レベルで
のガイド内容となるよう、対応するガイド要求操作をす
ればよく、一方、ガイドが必要ない利用者は、ガイド要
求操作をせずに通常通り、入力期間指定手段による音声
入力期間の開始及び終了の指定操作をしながら所定の音
声入力をすればよい。
【0013】この場合の所定のガイド内容としては種々
考えられるので、理解を容易にするため、ここでは、ナ
ビゲーションシステムにおける目的地などを音声入力す
るために音声認識装置を適用した場合を想定していくつ
か説明する。 まず、ナビゲーションシステムに対して自分が音声で
何を入力することができるのか自体を知らない利用者が
想定される。この場合にはクリック操作をすることで、
例えば「目的地の設定が行えます」というように、音声
入力によって指示が可能な設定項目自体を案内するもの
が考えられる。なお、音声入力によって指示する対象の
システム(この場合にはナビゲーションシステム)にお
ける一連の処理のどの段階にあるかで内容を変更しても
よい。例えば、目的地までの経路設定を一連の処理と考
えると、上述した目的地の設定がされた後、例えば経由
地の指定はするのか、というような経路を設定する上で
の条件をさらに指定する場合がある。したがって、目的
地の設定が済んでいる状況で、上述した音声入力期間の
開始が指定された時点から所定時間経過しても音声入力
がない場合には、今度は「経由地の指定が行えます」と
いうようなガイド内容を報知すればよい。
【0014】また、ナビゲーションシステムに対して
自分が音声で何を入力することができるのか自体は知っ
ているが、具体的な入力方法を熟知していない利用者も
想定される。この場合には、「目的地を設定するときは
都道府県名から入力して下さい」というように、入力方
法の説明をガイド内容として報知することが考えられ
る。また、これでも利用者がどのように入力するかを完
全には理解できず、入力できずにいる場合には、「例え
ば愛知県刈谷市昭和町と入力して下さい」というよう
に、具体的な入力例をガイド内容として報知することが
考えられる。これによって利用者は具体的な入力方法が
判り、また、具体例まで報知してもらえばそれに倣って
自分が希望する目的地を容易に入力することができる。
【0015】もちろん、上記及びで説明したガイド
内容は一例であり、適用するナビゲーションシステムの
処理に適合した適切なガイド内容を出せばよいし、また
ナビゲーションシステム以外に適用するのであれば、そ
のシステムの処理に適合するように工夫すればよい。
【0016】また、ガイドが必要な対象者として、初心
者レベル及び中級者レベルの2つを持つようにした場合
に、初心者レベルの場合にどのようなガイド内容にし、
中級者の場合にどのようなガイド内容とするか、などに
ついても、当該システムの使用方法の難易性に応じて適
宜設定すればよい。例えば、初心者レベルではガイド要
求操作がある度に、A→B→Cという順番でガイド内容
を報知するようにされている場合に、中級者レベルでは
A,B,Cのガイド内容をまとめて報知してしまうこと
も考えられる。もちろん、適用するシステムによって
は、ガイドが必要な対象者を3つ以上のレベルに分類し
てもよい。
【0017】一方、ガイド要求操作をしない限りガイド
内容が勝手に報知されてしまうことはないため、ガイド
が必要でない利用者にとっては、入力期間指定手段によ
る音声入力期間の開始及び終了の指定操作をしながら所
定の音声入力をすれば、相対的に(つまりガイド内容を
報知させている状態よりも)短時間で所望の音声入力を
行うことができる。
【0018】このように、本発明の音声認識装置によれ
ば、音声認識装置の利用方法に対する熟知度合が異なる
各利用者のいずれにとっても使い勝手が良くなる。その
上、ガイド要求操作を受け付けるために特別な構成を必
要とするのではなく、音声入力のための基本的な処理に
必要な入力期間指定手段をガイド要求操作にも利用でき
るため、構成の簡略化にも寄与する。
【0019】なお、ガイドが必要な対象者として、初心
者レベル及び中級者レベルの2つを持つようにした場合
のそれぞれのガイド要求操作としては、請求項2に示す
ようにすることが考えられる。すなわち、入力期間指定
手段による音声入力期間の開始及び終了の指定操作を、
スイッチの操作開始から終了までが所定時間以上となる
場合の、その操作開始及び終了にそれぞれ対応させるこ
とを前提とし、初心者レベル及び中級者レベルに対する
ガイド要求操作として、クリック操作とダブルクリック
操作を、各々いずれかのレベルの操作に対応させて設定
するのである。
【0020】また、請求項3に示すように、入力期間指
定手段による音声入力期間の開始及び終了の指定操作に
クリック操作又はダブルクリック操作を採用してもよ
い。その場合には、ガイド要求操作として、スイッチの
操作開始から終了までが所定時間以上となる操作を採用
する。その場合、ガイド手段は、スイッチ操作が所定時
間継続した時点からガイド内容を報知し始め、スイッチ
操作が終了した時点でそのガイド内容の報知も終了する
ようにすればよい。そして、そのガイド内容の報知後に
入力された利用者の音声を認識すればよい。
【0021】もちろん、これら請求項2,3で示したも
のは一例であり、操作内容の違いが装置側で区別できれ
ばよい。なお、報知手段による認識結果の報知形態、あ
るいはガイド手段によるガイド内容の報知形態について
は、利用者に対して報知が可能であればどのような形態
でもよいが、請求項4に示すように、少なくとも音声に
よる報知を行なうことが好ましいと考えられる。これ
は、例えばカーナビゲーションシステムなどの車載機器
用として用いる場合には、音声で出力されればドライバ
ーは視点を表示装置にずらしたりする必要がないので、
安全運転のより一層の確保の点では有利であることなど
の理由からである。また、認識結果の報知を音声で行な
い、かつガイド内容の報知も音声で行なえば、それらの
ためのハード構成を共通化することができる。但し、音
声に加え例えば画像で報知するようにしてもよい。車載
機器として適用する場合に音声出力が有利であることを
述べたが、もちろん車両が走行中でない状況もあるの
で、音声及び画像の両方で報知すれば、ドライバーは表
示による確認と音声による確認との両方が可能となる。
【0022】また、請求項1〜6のいずれかに記載の音
声認識装置をナビゲーションシステム用として用いる場
合には、請求項7に示すように構成することが考えられ
る。すなわち、請求項1〜6のいずれかに記載の音声認
識装置と、ナビゲーション装置とを備え、音声認識装置
の音声入力手段は、少なくともナビゲーション装置がナ
ビゲート処理をする上で指定される必要のある所定のナ
ビゲート処理関連データの指示を利用者が音声にて入力
するために用いられるものであり、確定後処理手段は、
認識手段による認識結果をナビゲーション装置に出力す
るよう構成されているのである。この場合の「所定のナ
ビゲート処理関連データ」としては、目的地が代表的な
ものとして挙げられるが、それ以外にもルート探索に関
する条件選択など、ナビゲート処理をする上で指定の必
要のある指示が含まれる。
【0023】なお、音声認識装置の適用先としては、上
述したナビゲーションシステムには限定されない。例え
ば音声認識装置を空調システム用として用いる場合に
は、設定温度の調整、空調モード(冷房・暖房・ドラ
イ)の選択、あるいは風向モードの選択を音声入力によ
って行うようにすることが考えられる。そして、この場
合には、その設定項目(温度・空調モード・風向モード
など)自体をガイド内容として報知したり、あるいは、
「設定温度を25度にする」と言えばよいのか「設定温
度を5度下げる」というように言えばよいのか、などを
さらにガイド内容として報知することが考えられる。空
調モードや風向モードなどについても同様である。
【0024】なお、上述のナビゲーションシステム及び
空調システムは、車載機器として用いられる場合だけで
はなく、例えば携帯型ナビゲーション装置や屋内用空調
装置などでもよい。但し、これまで説明したように車載
機器用として用いる場合には利用者がドライバーである
ことが考えられ、その場合には運転自体が最重要であ
り、それ以外の車載機器については、なるべく運転に支
障がないことが好ましい。したがって、車載機器として
のナビゲーションシステムや空調システムを前提とした
音声認識装置の場合には、より一層の利点がある。もち
ろん、このような視点で考えるならば、ナビゲーション
システムや空調システム以外の車載機器に対しても同様
に利用することができる。例えば、カーオーディオ機器
などは有効である。また、いわゆるパワーウインドウの
開閉やミラー角度の調整などを音声によって指示するよ
うな構成を考えれば、そのような状況でも有効である。
【0025】また、車載機器用とした場合にはそれ特有
の利点があることは述べたが、本発明の音声認識装置の
適用先としては、利用者による音声入力指示にしたがっ
て所定の処理を実行するものであれば同様に考えられ
る。例えば、携帯用の情報端末装置、あるいは街頭やパ
ーキングエリアなどに設定される情報端末装置などにも
同様に適用できる。
【0026】
【発明の実施の形態】図1は本発明の実施形態の音声認
識装置30を適用したカーナビゲーションシステム2の
概略構成を示すブロック図である。本カーナビゲーショ
ンシステム2は、位置検出器4、地図データ入力器6、
操作スイッチ群8、これらに接続された制御回路10、
制御回路10に接続された外部メモリ12、表示装置1
4及びリモコンセンサ15及び音声認識装置30を備え
ている。なお制御回路10は通常のコンピュータとして
構成されており、内部には、周知のCPU、ROM、R
AM、I/O及びこれらの構成を接続するバスラインが
備えられている。
【0027】位置検出器4は、周知の地磁気センサ1
6、ジャイロスコープ18、距離センサ20、及び衛星
からの電波に基づいて車両の位置を検出するGPS(Gl
obal Positioning System )のためのGPS受信機22
を有している。これらのセンサ等16,18,20,2
2は各々が性質の異なる誤差を持っているため、複数の
センサにより、各々補間しながら使用するように構成さ
れている。なお、精度によっては上述した内の一部で構
成してもよく、更に、ステアリングの回転センサ、各転
動輪の車輪センサ等を用いてもよい。
【0028】地図データ入力器6は、位置検出の精度向
上のためのいわゆるマップマッチング用データ、地図デ
ータ及び目印データを含む各種データを入力するための
装置である。媒体としては、そのデータ量からCD−R
OMを用いるのが一般的であるが、メモリカード等の他
の媒体を用いても良い。
【0029】表示装置14はカラー表示装置であり、表
示装置14の画面には、位置検出器4から入力された車
両現在位置マークと、地図データ入力器6より入力され
た地図データと、更に地図上に表示する誘導経路や後述
する設定地点の目印等の付加データとを重ねて表示する
ことができる。
【0030】また、本カーナビゲーションシステム2
は、リモートコントロール端末(以下、リモコンと称す
る。)15aを介してリモコンセンサ15から、あるい
は操作スイッチ群8により目的地の位置を入力すると、
現在位置からその目的地までの最適な経路を自動的に選
択して誘導経路を形成し表示する、いわゆる経路案内機
能も備えている。このような自動的に最適な経路を設定
する手法は、ダイクストラ法等の手法が知られている。
操作スイッチ群8は、例えば、表示装置14と一体にな
ったタッチスイッチもしくはメカニカルなスイッチ等が
用いられ、各種入力に使用される。
【0031】そして、音声認識装置30は、上記操作ス
イッチ群8あるいはリモコン15aが手動操作により目
的地などを指示するために用いられるのに対して、利用
者が音声で入力することによっても同様に目的地などを
指示することができるようにするための装置である。
【0032】この音声認識装置30は、「認識手段」と
しての音声認識部31と、「確定後処理手段」としての
対話制御部32と、音声合成部33と、音声抽出部34
と、「音声入力手段」としてのマイク35と、「入力期
間指定手段」としてのPTT(Push-To-Talk)スイッチ
36と、スピーカ37と、制御部38と、表示制御部3
9と、表示部40とを備えている。
【0033】音声認識部31は、音声抽出部34から入
力された音声データを、対話制御部32からの指示によ
り入力音声の認識処理を行い、その認識結果を対話制御
部32に返す。すなわち、音声抽出部34から取得した
音声データに対し、記憶している辞書データを用いて照
合を行ない、複数の比較対象パターン候補と比較して一
致度の高い上位比較対象パターンを対話制御部32へ出
力する。入力音声中の単語系列の認識は、音声抽出部3
4から入力された音声データを順次音響分析して音響的
特徴量(例えばケプストラム)を抽出し、この音響分析
によって得られた音響的特徴量時系列データを得る。そ
して、周知のDPマッチング法、HMM(隠れマルコフ
モデル)あるいはニューラルネットなどによって、この
時系列データをいくつかの区間に分け、各区間が辞書デ
ータとして格納されたどの単語に対応しているかを求め
る。
【0034】対話制御部32は、音声認識部31におけ
る認識結果や制御部38からの指示に基づき、音声合成
部33への応答音声の出力指示や表示制御部39への応
答表示の出力指示、あるいは、システム自体の処理を実
行する制御回路10に対して例えばナビゲート処理のた
めに必要な目的地を通知して設定処理を実行させるよう
指示する処理を実行する。このような処理が確定後処理
であり、結果として、この音声認識装置30を利用すれ
ば、上記操作スイッチ群8あるいはリモコン15aを手
動しなくても、音声入力によりナビゲーションシステム
に対する目的地の指示などが可能となるのである。
【0035】なお、音声合成部33は、波形データベー
ス内に格納されている音声波形を用い、対話制御部32
からの応答音声の出力指示に基づく音声を合成する。こ
の合成音声がスピーカ37から出力されることとなる。
また、表示制御部39が、対話制御部32からの応答表
示の出力指示に基づく表示画像を生成する。この生成画
像が表示部40に出力されることとなる。
【0036】音声抽出部34は、マイク35にて取り込
んだ周囲の音声をデジタルデータに変換して音声認識部
31に出力するものである。詳しくは、入力した音声の
特徴量を分析するため、例えば数10ms程度の区間の
フレーム信号を一定間隔で切り出し、その入力信号が、
音声の含まれている音声区間であるのか音声の含まれて
いない雑音区間であるのか判定する。マイク35から入
力される信号は、認識対象の音声だけでなく雑音も混在
したものであるため、音声区間と雑音区間の判定を行な
う。この判定方法としては従来より多くの手法が提案さ
れており、例えば入力信号の短時間パワーを一定時間毎
に抽出していき、所定の閾値以上の短時間パワーが一定
以上継続したか否かによって音声区間であるか雑音区間
であるかを判定する手法がよく採用されている。そし
て、音声区間であると判定された場合には、その入力信
号が音声認識部31に出力されることとなる。
【0037】また、本実施形態においては、利用者がP
TTスイッチ36を押しながらマイク35を介して音声
を入力するという使用方法である。具体的には、制御部
38がPTTスイッチ36が押されたタイミングや戻さ
れたタイミング及び押された状態が継続した時間を監視
しており、PTTスイッチ36が押された場合には音声
抽出部34及び音声人式部31に対して処理の実行を指
示する。一方、PTTスイッチ36が押されていない場
合にはその処理を実行させないようにしている。したが
って、PTTスイッチ36が押されている間にマイク3
5を介して入力された音声データが音声認識部31へ出
力されることとなる。
【0038】また、制御部38は、PTTスイッチ36
がクリック操作されたこと、及びダブルクリック操作さ
れたことも判断できるようにされている。具体的には、
PTTスイッチ36がオンされた後の比較的短い時間
(例えば0.5秒以内)にオフされた場合にはそれをク
リック操作とみなす。そして、そのクリック操作が所定
間隔以内(例えば0.5秒以内)に2回連続して行われ
た場合にクリック操作とみなす。
【0039】次に、本実施形態1のカーナビゲーション
システム2の動作について説明する。なお、音声認識装
置30に関係する部分が特徴であるので、カーナビゲー
ションシステム2としての一般的な動作を簡単に説明し
た後、音声認識装置30に関係する部分の動作について
詳しく説明することとする。
【0040】カーナビゲーションシステム2の電源オン
後に、表示装置14上に表示されるメニューから、ドラ
イバーがリモコン15a(操作スイッチ群8でも同様に
操作できる。以後の説明においても同じ)により、案内
経路を表示装置14に表示させるために経路情報表示処
理を選択した場合、あるいは、音声認識装置30を介し
て希望するメニューをマイク35を介して音声入力する
ことで、対話制御部32から制御回路10へ、リモコン
15aを介して選択されるのを同様の指示がなされた場
合、次のような処理を実施する。
【0041】すなわち、ドライバーが表示装置14上の
地図に基づいて、音声あるいはリモコンなどの操作によ
って目的地を入力すると、GPS受信機22から得られ
る衛星のデータに基づき車両の現在地が求められ、目的
地と現在地との間に、ダイクストラ法によりコスト計算
して、現在地から目的地までの最も短距離の経路を誘導
経路として求める処理が行われる。そして、表示装置1
4上の道路地図に重ねて誘導経路を表示して、ドライバ
ーに適切なルートを案内する。このような誘導経路を求
める計算処理や案内処理は一般的に良く知られた処理で
あるので説明は省略する。
【0042】次に、音声認識装置30における動作につ
いて、上述の経路案内のための目的地を音声入力する場
合を例にとって説明する。まず、最初のステップS11
0では、PTTスイッチ36がオンされたか(押下され
たか)否かを判断する。この判断は制御部38で行われ
る。そして、PTTスイッチ36がオンされた場合には
(S110:YES)、続くS120でクリック操作か
どうかを判断する。この判断も制御部38にて行われる
が、具体的には、PTTスイッチ36がオンされた後の
比較的短い時間(例えば0.5秒以内)にオフされた場
合にはそれをクリック操作とみなす。クリック操作がさ
れた場合には(S120:YES)、続くS130でダ
ブルクリック操作かどうかを判断する。この判断も制御
部38にて行われるが、具体的には、クリック操作が所
定間隔以内(例えば0.5秒以内)に2回連続して行わ
れた場合にはそれをダブルクリック操作とみなす。
【0043】S130にて否定判断であればクリック操
作がなされたと判断し、S140へ移行して、初心者用
のガイド内容を報知する。一方、S130にて肯定判断
であればダブルクリック操作がなされたと判断し、S1
50へ移行して、中級者用のガイド内容を報知する。
【0044】これら初心者用及び中級者用のガイド内容
については、後述することとして、図2のフローチャー
トの説明を続ける。S120にて否定判断、つまりクリ
ック操作でない場合には、PTTスイッチ36が所定時
間以上押し続けられている状態であるため、S160へ
移行して音声抽出及び認識の処理を実行する。音声抽出
部34はマイク35を介して入力された音声データに基
づき音声区間であるか雑音区間であるかを判定し、音声
区間のデータを音声認識部へ出力する。音声認識部31
では、音声抽出部34から取得した音声データに対し、
記憶されている辞書データを用いて照合を行なう。そし
て、その照合結果によって定まった上位比較対象パター
ンを認識結果として対話制御部32に出力することとな
る。
【0045】PTTスイッチ36のオン状態が継続して
いる間は(S170:YES)、このような音声抽出・
認識(S160)を実行し、PTTスイッチ36がオフ
された場合には(S170:NO)、続くS180に
て、その認識結果をトークバック及び表示する。つま
り、対話制御部32が音声合成部33及び表示制御部3
9を制御し、認識した結果を音声によりスピーカ37か
ら出力させると共に、表示部40に認識結果を示す文章
を表示させる。
【0046】その後、S190にて正しい認識であるか
どうかを判断する。これは、利用者からの指示に応じて
判断することとなるが、例えば正しい認識であればマイ
ク35から「はい」を音声入力し、間違った認識であれ
ば「いいえ」を音声入力するようにしておくことが考え
られる。もちろん、操作スイッチ群8を介してこれらの
指示を入力するようにしてもよい。
【0047】そして、誤った認識であれば(S190:
NO)、S110へ戻るが、正しい認識である場合には
(S190:YES)、S200へ移行して認識結果を
確定する。そして続くS210にて、所定の確定後処理
を実行する。この場合の確定後処理とは、認識結果とし
ての「経路案内のための目的地」に関するデータを、制
御回路10(図1参照)へ出力する処理などである。
【0048】このような確定後処理(S210)が終了
した後は、S110へ移行して、PTTスイッチ36が
オンされたか(押下されたか)否かの判断処理へ戻る。
なお、本実施形態の場合には、対話制御部32、音声合
成部33、制御部38、表示制御部39及び表示部40
が「ガイド手段」に相当する。
【0049】ここで、S140及びS150にて報知す
る初心者用及び中級者用のガイド内容について説明す
る。まず、初心者用のガイドについて説明する。 このガイドは、ナビゲーションシステムに対して自分
が音声で何を入力することができるのか自体を知らない
利用者を対象とした内容とされている。そのため、例え
ば「目的地の設定が行えます」というように、音声入力
によって指示が可能な設定項目自体を案内するものが考
えられる。
【0050】なお、音声入力によって指示する対象のシ
ステム(この場合にはナビゲーション装置)における一
連の処理のどの段階にあるかで内容を変更してもよい。
例えば、目的地までの経路設定を一連の処理と考える
と、上述した目的地の設定がされた後、例えば経由地の
指定はするのか、というような経路を設定する上での条
件をさらに指定する場合がある。したがって、目的地の
設定が済んでいる状況でクリック操作がされた場合、今
度は「経由地の指定が行えます」というようなガイド内
容を報知すればよい。
【0051】また、上述したガイドがされて、ナビゲ
ーションシステムに対して何を入力すればよいかが判っ
た利用者であっても、具体的な入力方法を知らない場合
も想定される。したがって、上述の「目的地の設定が行
えます」というガイドをした後に、音声入力がされるこ
となくさらにクリック操作がされた場合には、「目的地
を設定するときは都道府県名から入力して下さい」とい
うように、入力方法の説明をガイド内容として報知する
ことが考えられる。
【0052】なお、これでも利用者がどのように入力す
るかを完全には理解できず、入力できずにいる場合も想
定されるので、上述の「目的地を設定するときは都道府
県名から入力して下さい」というガイドをした後に、音
声入力がされることなくさらにクリック操作がされた場
合には、「例えば愛知県刈谷市昭和町と入力して下さ
い」というように、具体的な入力例をガイド内容として
報知することが考えられる。これによって利用者は具体
的な入力方法が判り、また、具体例まで報知してもらえ
ばそれに倣って自分が希望する目的地を容易に入力する
ことができる。
【0053】次に、中級者用のガイドについて説明す
る。上述の初心者用ガイドでは、目的地設定に際して、
1回クリック操作をする毎に、「目的地の設定が行えま
す」→「経由地の指定が行えます」→その他、というよ
うに段階的にガイドした。これに対して、中級者用ガイ
ドとしては、それらをまとめて報知してしまうことも考
えられる。また、目的地設定を行えるという基本的なガ
イドはせずに、その設定の際の指定可能条件(つまり経
由地の指定や道路種類の指定など)のみをガイドしても
よい。
【0054】また、上述したの内容のような初心者用
ガイドは、中級者用としては報知する必要はない。この
ように、本実施形態の音声認識装置30を用いれば、何
を音声入力してよいのかまで判っていない初心者にとっ
ては、クリック操作をすれば、その場面場面で「初心
者」にとって必要なガイドがなされるため、非常に使い
勝手が良くなる。また、基本的なことは判っているが、
細かい点については判っていない中級者にとっては、ダ
ブルクリック操作をすれば、その場面場面で「中級者」
に必要なガイドがなされるため、やはり非常に使い勝手
が良くなる。また、初心者用のガイドのような逐次的な
ものでもないため、まどろっこしいこともない。
【0055】一方、クリックあるいはダブルクリック操
作というガイドを要求する操作をしない限りガイド内容
が勝手に報知されてしまうことはないため、ガイドが必
要でない利用者にとっては、通常通り、PTTスイッチ
36を押している間に所定の音声入力をすれば、相対的
に(つまりガイド内容を報知させている状態よりも)短
時間で所望の音声入力を行うことができる。
【0056】このように、本実施形態の音声認識装置3
0によれば、音声認識装置30の利用方法に対する熟知
度合が異なる各利用者のいずれにとっても使い勝手が良
くなる。その上、ガイド要求操作を受け付けるために特
別な構成を必要とするのではなく、音声入力のための基
本的な処理に必要なPTTスイッチ36及び制御部38
をガイド要求操作にも利用できるため、構成の簡略化に
も寄与する。
【0057】以上、本発明はこのような実施形態に何等
限定されるものではなく、本発明の主旨を逸脱しない範
囲において種々なる形態で実施し得る。 (1)例えば、上記実施形態では、目的地設定に関する
ガイド内容を取り上げて説明したが、他にも地図の拡
大、縮小や向き指定(ノースアップ・ヘディングアップ
など)などについてのガイド内容、あるいはその他、カ
ーナビゲーションシステムにて音声入力が可能な項目で
あれば、同様にガイド内容を設定することができる。
【0058】(2)上記実施例では、PTTスイッチ3
6の長押しを音声入力の期間を指示する操作として採用
したが、その音声入力期間の開始及び終了の指定操作に
クリック操作又はダブルクリック操作を採用してもよ
い。その場合には、ガイド要求操作として、スイッチの
操作開始から終了までが所定時間以上となる操作を採用
する。そしてこの場合は、スイッチ操作が所定時間継続
した時点からガイド内容を報知し始め、スイッチ操作が
終了した時点でそのガイド内容の報知も終了するように
すればよい。そして、そのガイド内容の報知後に入力さ
れた利用者の音声を認識すればよい。
【0059】(3)また、上記実施形態では、ガイド対
象の利用者レベルとして初心者及び中級者という2種類
としたが、3種類以上設定しても構わない。 (4)また、上記実施形態では、認識結果の報知やガイ
ド内容の報知を音声と画像の2種類で行なうようにした
が、利用者に対して報知が可能であればどのような形態
でもよく、仮に1つだけ採用するならば、音声による報
知を行なうことが好ましい。これは、カーナビゲーショ
ンシステム2という車載機器として用いていることを考
慮したものであり、音声で出力されればドライバーは視
点を表示装置にずらしたりする必要がなく、安全運転の
より一層の確保の点では有利であることなどの理由から
である。もちろん上記実施形態のように、音声及び画像
の両方で報知すれば、ドライバーは表示による確認と音
声による確認との両方が可能となる。
【0060】(5)また、音声認識装置30の適用先と
しては、上述したナビゲーションシステムには限定され
ない。例えば音声認識装置を空調システム用として用い
る場合には、設定温度の調整、空調モード(冷房・暖房
・ドライ)の選択、あるいは風向モードの選択を音声入
力によって行うようにすることが考えられる。そして、
この場合には、その設定項目(温度・空調モード・風向
モードなど)自体をガイド内容として報知したり、ある
いは、「設定温度を25度にする」と言えばよいのか
「設定温度を5度下げる」というように言えばよいの
か、などをさらにガイド内容として報知することが考え
られる。空調モードや風向モードなどについても同様で
ある。さらに、ナビゲーションシステムや空調システム
を車載機器として用いる場合には限定されず、例えば携
帯型ナビゲーション装置や屋内用空調装置などのように
車載機器以外に用いてもよい。但し、これまで説明した
ように車載機器用として用いる場合には利用者がドライ
バーであることが考えられ、その場合には運転自体が最
重要であり、それ以外の車載機器に対する操作について
は、なるべく運転に支障がないことが好ましい。したが
って、車載機器としてのカーナビゲーションシステム2
や空調システムを前提とした音声認識装置30の場合に
は、より一層の利点がある。
【0061】もちろん、このような視点で考えるなら
ば、ナビゲーションシステムや空調システム以外の車載
機器に対しても同様に利用することができ、例えばカー
オーディオ機器などは有効である。また、それ以外に
も、いわゆるパワーウインドウの開閉やミラー角度の調
整などを音声によって指示するような構成を考えれば、
そのような制御対象についても同様に適用でき、やはり
有効である。
【0062】また、車載機器用とした場合にはそれ特有
の利点があることは述べたが、音声認識装置30の適用
先としては、利用者による音声入力指示にしたがって所
定の処理を実行するものであれば同様に考えられる。例
えば、携帯用の情報端末装置、あるいは街頭やパーキン
グエリアなどに設定される情報端末装置などにも同様に
適用できる。
【図面の簡単な説明】
【図1】 本発明の実施形態としてのカーナビゲーショ
ンシステムの概略構成を示すブロック図である。
【図2】 音声認識装置が実行する処理を示すフローチ
ャートである。
【符号の説明】
2…カーナビゲーションシステム 4…位置検出器 6…地図データ入力器 8…操作スイッチ
群 10…制御回路 12…外部メモリ 14…表示装置 15…リモコンセ
ンサ 15a…リモコン 16…地磁気セ
ンサ 18…ジャイロスコープ 20…距離センサ 22…GPS受信機 30…音声認識装
置 31…音声認識部 32…対話制御部 33…音声合成部 34…音声入力部 35…マイク 36…PTTスイ
ッチ 37…スピーカ 38…制御部 39…表示制御部 40…表示部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 北岡 教英 愛知県刈谷市昭和町1丁目1番地 株式会 社デンソー内 Fターム(参考) 2F029 AA02 AB09 AC02 AC08 AC14 AC18 AD04 5D015 KK01 LL10 5H180 BB13 BB15 BB20 FF04 FF05 FF22 FF25 9A001 BB06 HH06 HH15 HH17 HH18 HH23 JJ77 JJ78 KK56

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】音声を入力するための音声入力手段と、 該音声入力手段を用いて認識対象となる音声を入力させ
    る期間の開始及び終了を利用者自身が指定するための所
    定の操作を行うための入力期間指定手段と、 該入力期間指定手段によって指定された入力期間内の前
    記音声入力手段を介して入力された音声を、予め辞書手
    段に記憶されている複数の比較対象パターン候補と比較
    して一致度合の高いものを認識結果とする認識手段と、 該認識手段による認識結果を報知する報知手段と、 該報知手段によって認識結果が報知された後に所定の確
    定指示がなされた場合には、当該認識結果を確定したも
    のとして所定の確定後処理を実行する確定後処理手段
    と、 を備える音声認識装置であって、 前記入力期間指定手段による音声入力期間の開始及び終
    了の指定操作とは異なる1つ以上のガイド要求操作に対
    して、それぞれ熟知度合に応じたガイド要求レベルが設
    定されており、 前記入力期間指定手段によるガイド要求操作がされた場
    合には、対応するガイド要求レベルに応じた所定のガイ
    ド内容を報知するガイド手段を備えること、 を特徴とする音声認識装置。
  2. 【請求項2】請求項1に記載の音声認識装置において、 前記入力期間指定手段による音声入力期間の開始及び終
    了の指定操作は、スイッチの操作開始から終了までが所
    定時間以上となる場合の、その操作開始及び終了にそれ
    ぞれ対応しており、 一方、前記ガイド要求レベルとしては、初心者レベル及
    び中級者レベルの2つがあり、当該2つのレベルに対す
    るガイド要求操作は、スイッチの操作開始及び終了が所
    定のクリック時間内に行われるクリック操作と、前記ク
    リック操作が所定間隔以内に2回連続して行われるダブ
    ルクリック操作が、各々いずれかのレベルの操作に対応
    していること、 を特徴とする音声認識装置。
  3. 【請求項3】請求項1に記載の音声認識装置において、 前記入力期間指定手段による音声入力期間の開始及び終
    了の指定操作は、それぞれ、スイッチの操作開始及び終
    了が所定のクリック時間内に行われるクリック操作と、
    前記クリック操作が所定間隔以内に2回連続して行われ
    るダブルクリック操作であり、 一方、前記ガイド要求操作は、スイッチの操作開始から
    終了までが所定時間以上となる操作であり、 前記ガイド手段は、前記スイッチ操作が所定時間継続し
    た時点からガイド内容を報知し始め、スイッチ操作が終
    了した時点でそのガイド内容の報知も終了すること、 を特徴とする音声認識装置。
  4. 【請求項4】請求項1〜3のいずれかに記載の音声認識
    装置において、 前記報知手段が前記認識結果を少なくとも音声にて報知
    するよう構成されていると共に、前記ガイド手段が前記
    所定のガイド内容を少なくとも音声にて報知するよう構
    成されていることを特徴とする音声認識装置。
  5. 【請求項5】請求項1〜4のいずれかに記載の音声認識
    装置において、 前記ガイド手段が報知する前記所定のガイド内容は、本
    音声認識装置による音声認識結果が利用されるシステム
    での処理に関する内容であることを特徴とする音声認識
    装置。
  6. 【請求項6】請求項5に記載の音声認識装置において、 前記ガイド手段は、前記所定のガイド内容を報知する時
    点での前記システムでの処理実行段階に対応したガイド
    内容を報知するよう構成されていることを特徴とする音
    声認識装置。
  7. 【請求項7】請求項1〜6のいずれかに記載の音声認識
    装置と、ナビゲーション装置とを備え、 前記音声認識装置の前記音声入力手段は、少なくとも前
    記ナビゲーション装置がナビゲート処理をする上で指定
    される必要のある所定のナビゲート処理関連データの指
    示を利用者が音声にて入力するために用いられるもので
    あり、前記確定後処理手段は、前記認識手段による認識
    結果を前記ナビゲーション装置に出力するよう構成され
    ていることを特徴とするナビゲーションシステム。
JP35921198A 1998-12-17 1998-12-17 音声認識装置及びナビゲーションシステム Expired - Fee Related JP4201411B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35921198A JP4201411B2 (ja) 1998-12-17 1998-12-17 音声認識装置及びナビゲーションシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35921198A JP4201411B2 (ja) 1998-12-17 1998-12-17 音声認識装置及びナビゲーションシステム

Publications (2)

Publication Number Publication Date
JP2000181488A true JP2000181488A (ja) 2000-06-30
JP4201411B2 JP4201411B2 (ja) 2008-12-24

Family

ID=18463334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35921198A Expired - Fee Related JP4201411B2 (ja) 1998-12-17 1998-12-17 音声認識装置及びナビゲーションシステム

Country Status (1)

Country Link
JP (1) JP4201411B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003194564A (ja) * 2001-12-21 2003-07-09 Denso Corp 機能説明装置及びプログラム
WO2004070703A1 (ja) * 2003-02-03 2004-08-19 Mitsubishi Denki Kabushiki Kaisha 車載制御装置
JP2005148724A (ja) * 2003-10-21 2005-06-09 Zenrin Datacom Co Ltd 音声認識を用いた情報入力を伴う情報処理装置
JP2006178175A (ja) * 2004-12-22 2006-07-06 Nec Corp 音声対話装置、支援装置、生成装置、音声対話方法、支援方法、生成方法およびプログラム
US8000965B2 (en) 2007-02-20 2011-08-16 Canon Kabushiki Kaisha Information-processing device and method that attains speech-recognition to recognize data input via speech
JP2014057753A (ja) * 2012-09-18 2014-04-03 Ihi Shibaura Machinery Corp 内視鏡用予備洗浄装置
CN114913854A (zh) * 2022-07-11 2022-08-16 广州小鹏汽车科技有限公司 语音交互方法、服务器和存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003194564A (ja) * 2001-12-21 2003-07-09 Denso Corp 機能説明装置及びプログラム
WO2004070703A1 (ja) * 2003-02-03 2004-08-19 Mitsubishi Denki Kabushiki Kaisha 車載制御装置
US7617108B2 (en) 2003-02-03 2009-11-10 Mitsubishi Denki Kabushiki Kaisha Vehicle mounted control apparatus
JP2005148724A (ja) * 2003-10-21 2005-06-09 Zenrin Datacom Co Ltd 音声認識を用いた情報入力を伴う情報処理装置
JP2006178175A (ja) * 2004-12-22 2006-07-06 Nec Corp 音声対話装置、支援装置、生成装置、音声対話方法、支援方法、生成方法およびプログラム
JP4623278B2 (ja) * 2004-12-22 2011-02-02 日本電気株式会社 音声対話装置、支援装置、生成装置、音声対話方法、支援方法、生成方法およびプログラム
US8000965B2 (en) 2007-02-20 2011-08-16 Canon Kabushiki Kaisha Information-processing device and method that attains speech-recognition to recognize data input via speech
JP2014057753A (ja) * 2012-09-18 2014-04-03 Ihi Shibaura Machinery Corp 内視鏡用予備洗浄装置
CN114913854A (zh) * 2022-07-11 2022-08-16 广州小鹏汽车科技有限公司 语音交互方法、服务器和存储介质

Also Published As

Publication number Publication date
JP4201411B2 (ja) 2008-12-24

Similar Documents

Publication Publication Date Title
US7822613B2 (en) Vehicle-mounted control apparatus and program that causes computer to execute method of providing guidance on the operation of the vehicle-mounted control apparatus
US7617108B2 (en) Vehicle mounted control apparatus
JP2008058409A (ja) 音声認識方法及び音声認識装置
JP2010145262A (ja) ナビゲーション装置
JPH09292255A (ja) ナビゲーション方法及び装置
JP6199715B2 (ja) 精神負担評価装置、及びプログラム
JP2000181488A (ja) 音声認識装置及びナビゲーションシステム
JP2001216129A (ja) コマンド入力装置
JP4258890B2 (ja) 音声認識装置、その装置を用いたナビゲーションシステム
JP3580643B2 (ja) 音声認識方法及び音声認識装置
JPH1138995A (ja) 音声認識装置及びナビゲーションシステム
JP4320880B2 (ja) 音声認識装置及び車載ナビゲーションシステム
JP3890774B2 (ja) ナビゲーションシステム
JP3505982B2 (ja) 音声対話装置
JP2007057805A (ja) 車両用情報処理装置
JP4938719B2 (ja) 車載情報システム
JP3849283B2 (ja) 音声認識装置
JP3654262B2 (ja) 音声認識装置及びナビゲーションシステム
JP3000601B2 (ja) 走行案内装置
JP4093394B2 (ja) 音声認識装置
JP3358498B2 (ja) 音声認識装置及びナビゲーションシステム
JPH0844387A (ja) 音声認識装置
JP3911835B2 (ja) 音声認識装置及びナビゲーションシステム
JPWO2006028171A1 (ja) データ提示装置、データ提示方法、データ提示プログラムおよびそのプログラムを記録した記録媒体
JP2002267471A (ja) 車両用ナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070404

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070417

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081007

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111017

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131017

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees