JP2018141742A - ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム - Google Patents
ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム Download PDFInfo
- Publication number
- JP2018141742A JP2018141742A JP2017037261A JP2017037261A JP2018141742A JP 2018141742 A JP2018141742 A JP 2018141742A JP 2017037261 A JP2017037261 A JP 2017037261A JP 2017037261 A JP2017037261 A JP 2017037261A JP 2018141742 A JP2018141742 A JP 2018141742A
- Authority
- JP
- Japan
- Prior art keywords
- language
- passenger
- driver
- unit
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】移動体の運転者が理解することができない言語を使用する人物がその移動体に乗るような場合であっても、その人物が望む目的地を円滑に設定する。【解決手段】乗客の目的地の特定に用いられる情報を受け付けるための受付処理であって、運転手用の言語と異なる乗客用の言語に対応した受付処理を行い、運転手用の言語を用いて、受け付けられた目的地への経路を案内する。【選択図】図1
Description
本願は、移動体に乗るユーザからの入力に基づいて目的地を特定し、目的地までの経路を案内するナビゲーション装置及びナビゲーション方法の技術分野に属する。
従来、車両などの移動体に搭載されるナビゲーション装置が一般化している。このナビゲーション装置は、ユーザからの入力に基づいて目的地を特定する機能と、目的地までの経路を案内する機能とを有する。例えば、ナビゲーション装置は、目的地検索のための画面をディスプレイに表示させて、ディスプレイからユーザにより選択された条件又はユーザにより入力されたキーワード等に基づいて目的地を検索する。或いは、ナビゲーション装置は、ユーザにより入力された発話音声から目的地の名称等を認識し、この名称等に基づいて目的地を検索する。ナビゲーション装置は、目的地への経路を案内する情報をディスプレイに表示させたり、目的地への経路を案内する発話音声をスピーカから出力させたりする。情報の入力や経路の案内に利用される言語は予め定められていることが一般的である。
その一方で、移動体の運転者の使用可能な言語と異なる言語を話す人物をその移動体に乗せて、その人物が望む目的地まで運転者が移動体を運転する場合がある。例えば日本では近年外国人観光客が増加傾向にあり、タクシーなどの車両に外国人が乗客として乗る確率が次第に高まってきている。そのため、ナビゲーション装置が同時に複数言語に対応することが望まれる。
複数言語に対応したナビゲーション装置の例として、特許文献1には、経路案内のための地図表示用の言語と案内音声用の言語とを別々の言語にしたり、地図上に2つの言語のそれぞれで地名を表示したり、2つの画面のそれぞれに地図を表示させてそれぞれの地図に別々の言語で地名を表示したりすることが可能なナビゲーション装置が開示されている。
特許文献1に開示された技術によれば、例えば運転者の母国語で案内音声を出力するとともに、乗客の母国語で地図上に地名を表示することができるかもしれない。
しかしながら、特許文献1に開示された技術では、目的地の特定に用いられる情報の入力を受け付けるための言語については全く考慮されていない。移動体に乗ってきた人物が使用する言語を運転者が理解することができないと、運転者がその人物から目的地を聞き出すのに困難が生じる。
本願は、以上の点に鑑みてなされたものであり、その課題の一例は、移動体の運転者が理解することができない言語を使用する人物がその移動体に乗るような場合であっても、その人物が望む目的地を円滑に設定可能なナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラムを提供することにある。
上記課題を解決するために、請求項1に記載の発明は、移動体の運転者とともに該移動体に乗る同乗者の目的地を特定する為に用いられる情報を受け付けるための受付処理であって、前記運転者用の言語と異なる前記同乗者用の言語に対応した受付処理を行う受付部と、前記運転者用の言語を用いて、前記受付部により受け付けられた前記目的地への経路を案内する案内部と、を備えることを特徴とする。
請求項12に記載の発明は、移動体の運転者とともに該移動体に乗る同乗者の目的地を特定する為に用いられる情報を受け付けるための受付処理であって、前記運転者用の言語と異なる前記同乗者用の言語に対応した受付処理を行う受付工程と、前記運転者用の言語を用いて、前記受付工程により受け付けられた前記目的地への経路を案内する案内工程と、を含むことを特徴とする。
請求項13に記載の発明は、コンピュータを、請求項1乃至11の何れか1項に記載のナビゲーション装置として機能させることを特徴とする。
次に、本願を実施するための形態について、図1を用いて説明する。図1は、実施形態に係るナビゲーション装置の概要構成を示すブロック図である。
図1に示すように、実施形態に係るナビゲーション装置1は、受付部1aと、案内部1bとを備える。ナビゲーション装置1は、移動体に備えられる。移動体の例として、自動車等の車両、航空機、船舶等が挙げられる。この移動体は、運転者を含む複数のユーザを乗せることが可能である。運転者の例として、車両の運転手、航空機のパイロット、船舶の操縦士等が挙げられる。運転者とともに移動体に乗るユーザを、同乗者という。同乗者が移動体に乗る場合に運賃の支払いが必要であってもよいし必要ではなくてもよい。
受付部1aは、同乗者の目的地を特定する為に用いられる情報を受け付けるための受付処理を行う。目的地の特定に用いられる情報の例として、目的地の名称等のキーワード、カテゴリ、所在地域、住所等の検索条件、地図上の位置等が挙げられる。受付処理の例として、同乗者に対する指示等の音声をスピーカから出力する処理、同乗者に対する指示をディスプレイに表示させたり、メニュー、リスト、検索結果、地図等の情報をディスプレイに表示させたりする処理、同乗者の発話音声による目的地の名称の入力を受け付ける処理、同乗者による目的地等を示す文字の入力を受け付ける処理、ディスプレイに表示されたメニュー、リスト、検索結果、地図等からの同乗者による選択操作を受け付ける処理等が挙げられる。
ここで、受付部1aは、運転者用の言語と異なる同乗者用の言語に対応した受付処理を行う。同乗者用の言語に対応した受付処理の例として、同乗者の発話音声を同乗者用の言語で認識すること、同乗者用の言語による文字入力を受け付けること、指示等の音声を、同乗者用の言語を用いてスピーカから出力すること、指示、メニュー、リスト、検索結果、地図等の情報を、同乗者用の言語を用いてディスプレイに表示すること等が挙げられる。同乗者用の言語は、実際の同乗者に応じて複数の言語の中から選択されてもよいし、予め定められてもよい。
案内部1bは、運転者用の言語を用いて、受付部1aにより受け付けられた目的地への経路を案内する。
以上説明したように、実施形態に係るナビゲーション装置1の動作によれば、運転者用の言語を用いて経路案内が行われる一方で、目的地を受け付けるための、同乗者用の言語に対応した受付処理が行われる。従って、同乗者による目的地の指定が容易となるので、運転者が理解することができない言語を使用する人物が同乗者として移動体に乗るような場合であっても、その人物が望む目的地を円滑に設定することができる。
次に、上述した実施形態に対応する具体的な実施例について、図2乃至図9を用いて説明する。以下に説明する実施例は、乗客を乗せるタクシー等の車両に備えられるナビゲーション装置に実施形態を適用した場合の実施例である。
図2は、実施例に係るナビゲーション装置の概要構成の一例を示すブロック図である。図3(a)は、後席側から前方に向かって車内を見た場合の前席側装置及び後席側装置の配置の一例を示す図である。図3(b)は、車両の側面から車内を見た場合の前席側装置及び後席側装置の配置の一例を示す図である。図4は、多言語データベースの構成例の一例を示す図である。図5(a)は、発話音声で同乗者用の言語を指定する例を示す図である。図5(b)は、同乗者の母国を指定する例を示す図である。図6は、携帯端末を用いて同乗者用の言語を指定する例を示す図である。図7(a)は、発話音声で目的地を指定する例を示す図である。図7(b)は、目的地検索のためのメニュー画面の表示例を示す図である。図8は、目的地への経路案内の一例を示す図である。図9は、実施例に係る処理の一例を示すフローチャートである。
図2に示すように、実施例に係るナビゲーション装置Sは、前席側装置10と、後席側装置20とを備える。前席側装置10と後席側装置20とは有線又は無線により接続される。前席側装置10は、主に運転手により利用される。後席側装置20は、主に乗客によりにより利用される。
制御部11と、記憶部12と、センサ部13と、タッチパネル14と、マイク15と、スピーカ16と、乗車検出部17と、インターフェース部18との組み合わせは、前席側装置10の一例である。制御部11〜インターフェース部18はバス19を介して接続される。制御部11、記憶部12、センサ部13、タッチパネル14及びスピーカ16の組み合わせは、実施形態に係る案内部1bの一例である。
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備える。CPUが、ROMや記憶部12に記憶された各種プログラムを読み出して実行することにより、システム制御部11がナビゲーション装置Sを制御する。
記憶部12は、例えばハードディスク、フラッシュメモリ等の不揮発性メモリにより構成されている。記憶部12には、ナビゲーション装置Sを制御するための各種プログラムが記憶されている。各種プログラムは、例えば図示しないドライブ装置を介して記録媒体から読み込まれてもよいし、無線通信網等のネットワークを介して所定のサーバ装置からダウンロードされてもよい。
また記憶部12には、地図データベース、多言語データベース、言語識別用データ等が記憶されている。地図データベース、多言語データベース及び言語識別用データ等のうち少なくとも1つのデータベース又はデータは、記憶部12に記憶されているのではなく、所定のサーバ装置に記憶されてもよい。ナビゲーション装置Sは、サーバ装置と必要に応じて通信することにより、サーバ装置に記憶されたデータベース又はデータを利用可能であってもよい。
地図データベースは、地図の表示、目的地の検索、経路の探索等のために用いられる。地図データベースは、複数の地点データを含む。地点データは、地図上に表示されたり目的地として指定可能であったりする地点に関するデータである。地点データは、例えば地点の位置や範囲を示す位置情報(経度及び緯度)、地点のカテゴリを示すカテゴリ情報、住所等を含む。各地点データは、対応する地点の名称等を複数種類の言語でそれぞれ示す複数の文字データ及び複数の音声データと関連付けられている。
多言語データベースは、複数種類の言語にそれぞれ対応する複数の言語データを含む。各言語データは、対応する言語の文字データ、音声データ、及び音声認識用データを含む。文字データは、地点の名称、メニュー、リスト、運転手や乗客に対する指示や案内、その他の情報として、対応する言語で表示される文字を示すデータである。音声データは、地点の名称、運転手や乗客に対する指示や案内、その他の情報として、対応する言語で出力される音を示すデータである。音声認識用データは、音声認識によってユーザの発話音声からそのユーザが話した言葉を認識するためのデータである。音声認識用データ及びこれを用いた音声認識方法は、公知の如何なるデータ及び方法であってもよい。例えば音声認識用データは、音響モデル、単語辞書等を含んでもよい。音響モデルは、例えば対応する言語の各音素の周波数特性を隠れマルコフモデル等で表したデータである。単語辞書は、対応する言語の文字列で表した各単語とその単語に対応する音素列とを定義するデータである。多言語データベースによりサポートされる言語のうちの少なくとも1つは、車両5の運転手用の言語である。運転手用の言語は、車両5の運転手が使用すると想定される言語、または実際に車両5を運転するユーザが使用する言語である。運転手用の言語は、例えばナビゲーション装置Sの製造時又は出荷時に予め設定されてもよい。例えば、運転手用の言語は、ナビゲーション装置Sが販売される国の言語であってもよい。或いは、運転手用の言語は、ナビゲーション装置Sが車両5に搭載されるとき又は搭載された後で設定可能であってもよい。
言語識別用データは、ユーザの発話音声からそのユーザが話した言語を識別するためのデータである。言語識別用データ及びこれを用いた言語の識別方法は、公知の如何なるデータ及び方法であってもよい。例えば、言語識別用データは、言語識別用音響モデル、言語識別用単語辞書等を含んでもよい。言語識別用音響モデルは、多言語データベースが対応する複数種類の言語の音素の周波数特性を隠れマルコフモデル等で表したデータである。言語識別用単語辞書に登録されている単語に対応する音素のみの周波数特性が定義されていればよい。また、言語間で音の特徴が同一又は類似する音素についての周波数特性の定義は共通のものが使用されてもよい。言語識別用単語辞書は、言語識別用音響モデルを用いて識別された音素列に対応する言語を特定するためのデータである。言語識別用単語辞書は、例えば国ごとに、その国の言語と、その言語で所定の物や事柄を表す単語に対応する音素列とを定義するデータであってもよい。このような単語は、例えばその国の名称を表す語であってもよい。例えばアメリカ合衆国の場合、言語識別用単語辞書には「United States」に対応する音素列が登録され、イタリアの場合は「Italia」に対応する音素列が登録される。或いは、言語識別用単語辞書は、言語ごとに、その言語と、その言語で所定の物や事柄を表す単語に対応する音素列とを定義するデータであってもよい。このような単語は、例えばその言語の名称を表す語であってもよい。例えば英語の場合、言語識別用単語辞書には「English」に対応する音素列が登録され、イタリア語の場合は「Italiano」に対応する音素列が登録される。なお、運転手用の言語の単語は言語識別用単語辞書に登録されていてもよいし、登録されていなくてもよい。
センサ部13は、車両5に備え付けられたGPS(Global Positioning System)センサ、ジャイロセンサ、速度センサから、車両5の位置を示す位置情報、移動方向の変化の情報、速度情報等の情報を取得する。
タッチパネル14は、表示機能と位置入力機能を有する。表示機能の部分は、例えば、液晶表示素子又はEL(Electro Luminescence)素子等により構成されるディスプレイである。位置入力機能は、例えば、静電容量方式、抵抗膜方式等を実現する素子により構成される。タッチパネル14は、画面に対する接触及び接触位置を検出する。
マイク15は、運転手等の発話音声を音声信号に変換する。
スピーカ16は、運転手や乗客に対する指示や案内、その他の情報の音を出力する。
乗車検出部17は、車両5に乗客が乗ったときにこれを検出する。例えば車両5の後席のドアにドアセンサが備えられ、後席のドアの開閉に応じてドアセンサから送信される信号に基づいて、乗車検出部17は乗車を検出してもよい。或いは、車両5の後席に赤外線センサが備えられ、赤外線センサから送信される信号に基づいて、乗車検出部17は乗車を検出してもよい。
インターフェース部18は、前席側装置10と、後席側装置20が備える各部との間のインターフェース処理を行う。
タッチパネル21と、マイク22と、スピーカ23と、リーダ部24との組み合わせは、後席側装置20の一例である。
タッチパネル21は、表示機能と位置入力機能を有する。表示機能の部分は、例えば、液晶表示素子又はEL素子等により構成されるディスプレイである。位置入力機能は、例えば、静電容量方式、抵抗膜方式等を実現する素子により構成される。タッチパネル21は、画面に対する接触及び接触位置を検出する。
マイク22は、乗客等の発話音声を音声信号に変換する。
スピーカ23は、乗客に対する指示や案内、その他の情報の音を出力する。
リーダ部24は、通信可能な最大距離が数ミリメートル〜数十センチメートル程度の近距離無線通信機能を有する。近距離無線通の規格は、例えばNFC(Near field radio communication)、BLE(Bluetooth(登録商標)Low Energy)、ZigBee(登録商標)等であってもよい。リーダ部24は、主として乗客が所持する携帯端末から近距離無線で情報を受信する。携帯端末の例として、携帯電話機、スマートフォン、PDA(Personal Digital Assistant)等が挙げられる。
前席側装置10と後席側装置20とは別々の筐体に収納可能であり前席側装置10と後席側装置20とは有線又は無線で接続される。従って、後席側装置20は、車両5内で前席側装置10とは異なる位置に配置可能である。具体的には、前席側装置10は、運転席に座った運転手がタッチパネル14を見やすい位置、マイク15に運転手が音声を入力しやすい位置、またはスピーカ16から出力される音を運転手が聴きやすい位置に配置が可能である。その一方で、後席側装置20は、後席に座った乗客がタッチパネル21を見やすい位置、マイク22に乗客が音声を入力しやすい位置、またはスピーカ23から出力される音を乗客が聴きやすい位置に配置が可能である。なお、マイク15及びスピーカ16は、前席側装置10の本体とは独立して配置可能であってもよい。また、後席側装置20のタッチパネル21〜リーダ部24の一部又は全部がそれぞれ独立して配置可能になっていてもよい。また、マイク22及びスピーカ23は、後席側装置20の本体とは独立して配置可能であってもよい。また、前席側装置10と後席側装置20とは同一の筐体に収納されてもよい。
例えば、図3(a)及び図3(b)に示すように、前席側装置10は車両5の前席側に配置され、後席側装置20は車両5の後席側に配置されてもよい。例えば、運転手席41を横方向から見た場合の運転手席41の背もたれの略中央部分を通る境界線44よりも前方の空間が前席側であり、境界線44よりも後方の空間が後席側である。図3(a)及び図3(b)の例では、前席側装置10はインパネの中央部43に固定され、後席側装置20は運転手席41の背もたれの背面に固定されている。なお、前席側装置10は、例えばダッシュボードの上等に固定されてもよい。また、後席側装置20は、助手席42の背もたれの背面、後席のドア、または天井下等に固定されてもよい。或いは、後席側装置20は固定されていなくてもよい。例えば、後席側装置20は後席等に置かれてもよい。或いは、運転手が乗客に後席側装置20を手渡してもよい。
制御部11は、複数の言語の中から、運転手用の言語と異なる乗客用の言語を選択する。乗客用の言語は、車両5に乗った乗客が使用する言語である。制御部11は、図4に示すように、多言語データベースから、選択された乗客用の言語に対応する言語データを用いて、同乗者の目的地を特定する為に用いられる情報を受け付けるための受付処理を行う。なお、図4〜図8は、運転手用の言語が日本語である場合の例を示す。
制御部11は、乗客用の言語を指定するためのタッチパネル21又はマイク22を用いた入力に基づいて乗客用の言語を選択してもよい。例えば、制御部11は、マイク22を用いて入力された乗客の発話音声の音声認識結果に基づいて、乗客用の言語を選択する。例えば、制御部11は、言語識別用データを用いて、乗客が発話した言語を識別してもよい。制御部11は、発話音声の音声信号から所定時間間隔ごとに特徴量を生成し、言語識別用音響データを用いて、発話音声に対応する音素列を取得する。制御部11は、言語識別用単語辞書から、音素列に対応する単語を検索し、この単語に関連付けられた言語を、乗客用の言語として選択する。制御部11は、乗客が母国の名称又は乗客が使用する言語の名称を発話した場合に、その発話音声に基づいて、発話された名称に対応する言語を、客用の言語として選択してもよい。或いは、制御部11は、乗客の会話(例えば、乗客同士が話している等)の音声からその会話に用いられた言語を自動的に認識して、会話に用いられた言語を、乗客用の言語として選択してもよい。
例えば、図5(a)に示すように、制御部11は、乗客の母国を尋ねる音声を後席側装置20のスピーカ23から出力させる。この音声の言語は如何なる言語であってもよい。図5(a)に示す例では、母国を英語で尋ねる音声が出力される。或いは、制御部11は、母国を言うように指示するメッセージを後席側装置20のタッチパネル21に表示させてもよい。これに対して乗客100がイタリア語で「Italia」と答えたとする。この場合、制御部11は、イタリア語を乗客用の言語として選択する。或いは、制御部11は、乗客が使用する言語を尋ねる音声をスピーカ23から出力、または乗客が使用する言語を言うように指示するメッセージをタッチパネル21に表示させてもよい。これに対して乗客100がイタリア語で「Italiano」と答えたとする。この場合、制御部11は、イタリア語を乗客用の言語として選択する。なお、英語の問いかけに対して乗客が英語で「Italy」又は「Italian」と答える可能性がある。この場合、乗客が使用する言語としてイタリア語が選択されるように、言語識別用単語辞書に単語が登録されてもよい。
制御部11は、タッチパネル21を用いた乗客による操作に基づいて、乗客用の言語を選択してもよい。例えば、制御部11は、国又は言語のリストをタッチパネル21に表示させてもよい。乗客がタッチパネル21に接触して、リストの中から乗客の母国又は言語を選択する。制御部11は、乗客が選択した国で使用される言語又は乗客が選択した言語を、乗客用の言語として選択する。選択された国で複数の言語が使用される場合、制御部11は、その国の言語のリストをタッチパネル21に表示させて、乗客に何れかの言語を選択させる。
或いは、制御部11は、図5(b)に示すように、複数の国を含む地図をタッチパネル21に表示させてもよい。図5(b)に示す例では、世界地図が表示されているが、少なくとも2国を含む地図が表示されればよい。タッチパネル21に対する操作により、地図の拡大、縮小、スクロール等が可能であってもよい。乗客は地図から何れかの国を選択する。図5(b)に示す例では、乗客の指101でアメリカ合衆国が選択されている。この場合、制御部11は、英語を乗客用の言語として選択する。
後席側装置20のリーダ部24は、乗客が所持する携帯端末から、乗客が使用する言語を示す情報を受信してもよい。制御部11は、リーダ部24により受信された情報に基づいて、乗客用の言語を選択してもよい。例えば、乗客は、携帯端末に、乗客用の言語選択用のアプリケーションプログラムを予めインストールしておく。通常、携帯端末の環境設定において、ユーザが使用する言語が設定されており、携帯端末は、設定された言語を示す言語識別情報を記憶している。図6に示すように、乗客が携帯端末102をリーダ部24に近付けると、アプリケーションプログラムに従って、携帯端末102は、言語識別情報を近距離無線通信でリーダ部24に送信する。図6に示す例では、中国語を示す言語識別情報が送信される。この場合、制御部11は、乗客用の言語として中国語を選択する。
タッチパネル21、マイク22及びリーダ部24を用いた選択方法のうち、何れか1つのみを用いて乗客用の言語の選択が可能であってもよいし、乗客又は運転手が、乗客用の言語の選択方法を選択可能にナビゲーション装置Sが構成されてもよい。タッチパネル21、マイク22及びリーダ部24のうち乗客用の言語の選択に用いられることのない構成要素は、ナビゲーション装置Sに必須の構成要素ではない。
制御部11は、後席側装置20マイク22又はタッチパネル21を用いて乗客の目的地の特定に用いられる情報を受け付けるための受付処理を行う。このとき、制御部11は、選択された乗客用の言語に対応した受付処理を行う。受付処理の開始の際、制御部11は、乗客用の言語を用いて、乗客の目的地を尋ねる処理を行ってもよい。例えばスピーカ23から目的地を尋ねる音声が出力されてもよいし、タッチパネル21に目的地を尋ねるメッセージが表示されてもよい。
例えば、制御部11は、マイク22を用いて入力された乗客の発話音声の音声認識結果に基づいて、目的地を受け付けてもよい。制御部11は、多言語データベースの中から、乗客用の言語に対応する音声認識用データを用いて、発話音声を認識する。制御部11は発話音声の音声信号から所定時間間隔ごとに特徴量を生成し、乗客用の言語に対応する音響データを用いて、発話音声に対応する音素列を取得する。制御部11は、乗客用の言語に対応する単語辞書から、音素列に対応する単語を取得する。
例えば、乗客用の言語がイタリア語である場合、図7(a)に示すように、イタリア語で乗客の目的地を尋ねる音声がスピーカ23から出力させる。これに応じて、乗客100は、乗客用の言語で目的地の名称を言う。制御部11は、イタリア語に対応する音声認識用データを用いて、目的地の名称を認識する。
制御部11は、単語辞書から取得された単語で、地図データベースに記憶された地点データを検索する。地点データは、地点の名称等を複数種類の言語でそれぞれ示す複数の文字データと関連付けられているので、制御部11は、これらの文字データの中から、乗客用の言語の文字データと、単語辞書から取得された単語とを比較することにより、この単語に対応する地点データを検索する。制御部11は、検索された地点データに対応する地点に目的地を設定する。検索された地点データが複数存在する場合、制御部11は、例えばこれらの地点データのそれぞれに対応する乗客用の言語の音声データを用いて、候補となる地点と番号を読み上げる音声をスピーカ23に出力させる。乗客は、候補となる地点となる地点の中から目的地に対応する番号をマイク22に向かって言う。制御部11は、乗客が言った番号に対応する地点に目的地を設定する。
制御部11は、タッチパネル21を用いた乗客による操作に基づいて、目的地を受け付けてもよい。制御部11は、多言語データベースの中から乗客用の言語に対応する文字データを用いて、タッチパネル21に情報を表示させる。従って、乗客用の言語でメッセージ、メニュー、リスト、地点の名称、カテゴリ等が表示される。
例えば、乗客用の言語が英語である場合、図7(b)に示すように、タッチパネル21には英語で検索メニューが表示される。検索メニューにおいて、目的地を検索するための複数種類の検索方法から乗客の操作によって何れかの検索方法が選択可能であってもよいし、所定の1つの検索方法のみが利用可能であってもよい。検索方法の例として、キーワード検索、カテゴリ検索、住所検索等が挙げられる。
キーワード検索の場合、制御部11は、乗客用の言語で文字を入力するためのソフトウェアキーボードをタッチパネル21に表示させてもよい。乗客は、ソフトウェアキーボードを操作してキーワードを入力する。制御部11は、入力されたキーワードを用いて、地図データベースに記憶された地点データを検索する。キーワードを用いた検索方法は、音声認識用データの単語辞書から取得された単語を用いた検索方法と同様である。制御部11は、検索された地点データに対応する地点のリストを乗客用の言語でタッチパネル21に表示させる。乗客はタッチパネル21を操作して、リストの中から目的地を選択する。制御部11は、選択された地点に目的地を設定する。
カテゴリ検索の場合、制御部11は、地点に関するカテゴリのリストを、乗客用の言語でタッチパネル21に表示させる。乗客はタッチパネル21を操作して、リストの中から目的地に対応するカテゴリを選択する。カテゴリが階層的に定義されている場合、カテゴリの選択が複数回行われる。制御部11は、最終的に選択されたカテゴリに対応する地点データを検索する。制御部11は、検索された地点データに対応する地点のリストを乗客用の言語でタッチパネル21に表示させる。乗客はタッチパネル21を操作して、リストの中から目的地を選択する。制御部11は、選択された地点に目的地を設定する。
住所検索の場合、制御部11は、例えば都道府県のリスト、市区町村のリスト、及び町のリストを、乗客用の言語で順次タッチパネル21に表示させる。乗客は、各リストの中から行きたい場所を選択する。更に、乗客はタッチパネル21を操作して、例えば街区符号及び住居番号を入力する。制御部11は、このようにして乗客により指定された住所に対応する地点を、地図データベースから検索する。制御部11は、検索された地点を目的地に設定する。
車両5には、運転手用の言語と同じ言語を話す乗客が乗る場合がある。この場合において、制御部11は、乗客用の言語として、運転手用の言語と同一の言語を選択せず、且つ後席側装置20を用いた目的地を受け付けるための受付処理は行わなくてもよい。その理由は、乗客は運転手に直接目的地を伝えることができるからである。目的地が何処にあるかを運転手が知らない場合、運転手は前席側装置10を操作して目的地の検索を行えばよい。前席側装置10の操作に基づく目的地の検索方法は、前席側装置10及び運転手用の言語が用いられることを除き、後席側装置20を用いた目的地の検索方法と同様であってもよい。なお、制御部11は、乗客用の言語として、運転手用の言語と同じ言語を選択し、運転手用の言語と同じ乗客用の言語に対応して、後席側装置20を用いた受付処理を行ってもよい。
目的地を設定すると、制御部11は、地図データベースを用いて、目的地への経路を探索する。経路の探索方法は公知の如何なる方法が用いられてもよい。
制御部11は、運転手用の言語を用いて、目的地への経路を案内する。具体的に、制御部11は、タッチパネル14及びスピーカ16の少なくとも何れか一方により、運転手用の言語を用いて目的地への経路を案内する第1案内情報を出力させる。タッチパネル14により表示される第1案内情報の例として、車両5の現在位置と経路とを示した地図、進行すべき道路や車線等を案内する情報、移動方向や曲がる方向を案内する情報、今後通過する予定の地点の名称、経路上の混雑状況等が挙げられる。第1案内情報中の文字は運転手用の言語で表示される。スピーカ16により出力される第1案内情報の例として、進行すべき道路や車線等を案内する音声、移動方向や曲がる方向を案内する音声、経路上の混雑状況を知らせる音声等が挙げられる。これらの音声は運転手用の言語によるものである。
第1案内情報を出力させるとともに、制御部11は、乗客用の言語を用いて後席側装置20のタッチパネル21及びスピーカ23の少なくとも何れか一方から、目的地への経路を案内する第2案内情報を出力させてもよい。用いられる言語が乗客用の言語であることを除き、第2案内情報の内容は第1案内情報と同一であってもよいし、少なくとも一部が異なってもよい。第2案内情報を出力するか否かはオプショナルである。
例えば運転手用の言語が日本語であり、乗客用の言語が英語であるとする。この場合、図8に示すように、前席側装置10のタッチパネル14には、第1案内情報として交差点名、道路名等が日本語表記である地図が表示され、スピーカ16からは、車両5が曲がる地点及び曲がる方向を案内する音声が日本語で出力される。一方、後席側装置20のタッチパネル21には、第2案内情報として交差点名、道路名等が英語表記である地図が表示され、スピーカ23からは、車両5が曲がる地点及び曲がる方向を案内する音声が英語で出力される。制御部11は、スピーカ16とスピーカ23との間で音声の出力タイミングをずらしてもよい。前席側装置10ではスピーカ16による第1案内情報の出力のみが行われる一方で、後席側装置20ではタッチパネル21による第2案内情報の表示のみが行われてもよい。或いは、前席側装置10ではタッチパネル14による第1案内情報の表示のみが行われる一方で、後席側装置20ではスピーカ23による第2案内情報の出力のみが行われてもよい。
次に、制御部11により実行される処理例について、図9を用いて説明する。図9に示す処理は、例えば乗車検出部17により乗客が車両5に乗車したことが検出されたときに開始される。乗客が車両5に乗車することに応じて運転手が前席側装置10を操作することにより、または乗客が後席側装置20を操作することにより、図9に示す処理が開始されてもよい。この場合、乗車検出部17は不要である。
図9に示すように、制御部11は、乗客用の言語の指定を受け付ける処理を行う(ステップS1)。例えば、制御部11は、乗客の母国又は乗客が使用する言語を尋ねる音声をスピーカ23から出力させる。その後マイク22を用いて乗客の音声が入力されると、制御部11は、入力された音声に対応する音素列を、言語識別用音響データを用いて取得し、この音素列に対応する単語を言語識別用単語辞書から検索する。或いは、制御部11は、乗客の母国や言語を尋ねる処理を行わず、マイク22を用いて乗客が会話する音声が入力されると、言語識別用データを用いて、乗客が会話に用いた言語を認識してもよい。或いは、制御部11は、国若しくは言語のリスト、または地図をタッチパネル21に表示させる。乗客はタッチパネル21を操作して国又は言語を選択する。或いは、乗客が携帯端末をリーダ部24に近付けると、携帯端末に記憶された言語識別情報がリーダ部24に送信される。
次いで、制御部11は、言語識別用単語辞書から検索された単語に対応する言語に、乗客用の言語を設定し、または乗客により選択された国で使用される言語若しくは選択された言語に、乗客用の言語を設定し、或いはリーダ部24により受信された言語識別情報に、乗客用の言語を設定する(ステップS2)。
次いで、制御部11は、音声認識に基づいて目的地検索を行うか否かを判定する(ステップS3)。音声認識に基づいて目的地検索を行うか、または手動操作に基づいて目的地検索を行うかは、予め設定されていてもよいし、後席側装置20に対する乗客の選択操作に基づいて決定されてもよい。制御部11は、音声認識に基づいて目的地検索を行うと判定した場合には(ステップS3:YES)、処理をステップS4に勧める。一方、制御部11は、手動操作に基づいて目的地検索を行うと判定した場合には(ステップS3:NO)、処理をステップS5に勧める。
ステップS4において、制御部11は、設定された乗客用の言語に対応して、音声認識に基づき、目的地の検索に用いられる情報の受け付け及び検索のための処理を行う。具体的に、制御部11は、乗客用の言語に対応する音声データを用いて、目的地を尋ねる音声をスピーカ23に出力させる。その後マイク22を用いて乗客の音声が入力されると、制御部11は、入力された音声に対応する音素列を、乗客用の言語に対応する音響データを用いて取得し、この音素列に対応する単語を、乗客用の言語に対応する単語辞書から検索する。制御部11は、検索された単語に、関連付けられた文字データの全文字列又は一部の文字列が合致する目的地を地図データベースから目的地を検索する。このとき、制御部11は、各地点データに関連付けられた文字データのうち、乗客用の言語の文字データを単語と比較する。
ステップS5において、制御部11は、設定された乗客用の言語に対応して、手動操作に基づき、目的地の検索に用いられる情報の受け付け、及び検索のための処理を行う。具体的に、制御部11は、乗客用の言語に対応する文字データを用いて、目的地検索用の画面をタッチパネル21に表示させる。制御部11は、タッチパネル21に対する乗客の操作に応じて画面を切り替えたり、目的地を検索したりする。キーワード検索の場合、制御部11は、乗客用の言語に対応するタッチパネル21にソフトウェアキーボードを表示させることにより、乗客用の言語でのキーワード入力を可能とする。制御部11は、入力されたキーワードに、関連付けられた文字データの全文字列又は一部の文字列が合致する目的地を地図データベースから目的地を検索する。このとき、制御部11は、各地点データに関連付けられた文字データのうち、乗客用の言語の文字データをキーワードと比較する。
ステップS4又はS5を終えると、制御部11は、検索された目的地までの経路を、地図データベースを用いて探索する(ステップS6)。
次いで、制御部11は、目的地までの経路の案内を行う(ステップS7)。このとき、制御部11は、前席側装置10では運転手用の言語を用いて経路案内を行い、後席側装置20では乗客用の言語を用いて経路案内を行う。制御部11は、センサ部13から車両5の現在位置、移動方向、速度等の情報を取得する。制御部11は、取得された情報と、地図データベースに基づいて、車両5の現在位置周囲の地図であって、経路が強調された地図の画像を生成する。制御部11は、生成された地図の画像のコピーを生成する。制御部11は、運転手用の言語に対応する文字データを用いて、生成された地図の画像に、地名、施設名、交差点名等の地点の名称を示す文字列を重ね合わせる。そして、制御部11は、地図の画像をタッチパネル14に表示させる。制御部11は、乗客用の言語に対応する文字データを用いて、地図の画像のコピーに、地名、施設名、交差点名等の地点の名称を示す文字列を重ね合わせる。そして、制御部11は、地図の画像のコピーをタッチパネル21に表示させる。経路上において車両5が曲がる地点に近付いたときなど、音声で案内するタイミングになったとき、制御部11は、運転手用の言語に対応する音声データを用いてスピーカ16から音声を出力させるとともに、乗客用の言語に対応する音声データを用いてスピーカ23から音声を出力させる。制御部11は、こうした処理を、車両5が目的地に到着するまで繰り返す。車両5が目的地に到着すると、制御部11は図9に示す処理を終了させる。
以上説明したように、実施例に係るナビゲーション装置Sの動作によれば、乗客の目的地を特定する為に用いられる情報を受け付けるための受付処理であって、運転手用の言語と異なる乗客用の言語に対応した受付処理を行い、運転手用の言語を用いて、受け付けられた目的地への経路を案内する。従って、運転手が理解することができない言語を使用する乗客が車両5に乗るような場合であっても、乗客が望む目的地を円滑に設定可能となる。
また、複数の言語の中から乗客用の言語を選択する場合、乗客に応じて乗客用の言語を変えることができる。
また、タッチパネル21又はマイク22を用いた入力に基づいて乗客用の言語を選択し、タッチパネル14又はスピーカ16は、運転手用の言語を用いて経路を案内する第1案内情報を出力し、タッチパネル21及びマイク22は、車両5内でタッチパネル14及びスピーカ16とは異なる位置に配置可能とした場合、運転手が利用しやすい位置にタッチパネル14及びスピーカ16を配置可能であるとともに、乗客が利用しやすい位置にタッチパネル21及びマイク22を配置可能となる。
例えば、タッチパネル14及びスピーカ16が前席側に配置され、タッチパネル21及びマイク22が後席側に配置された場合、車両5において、タッチパネル14及びスピーカ16を運転手が利用しやすくなるとともに、タッチパネル21及びマイク22を乗客が利用しやすくなる。
また、マイク22を用いて入力された乗客の発話音声の音声認識結果に基づいて、乗客用の言語を選択する場合、乗客が発話に用いた言語等を、乗客用の言語に設定することができる。
また、タッチパネル21を用いた乗客による操作に基づいて、乗客用の言語を選択する場合、乗客が能動的に乗客用の言語を指定することができる。
例えば、複数の国を含む地図をタッチパネル21に表示させ、この地図から選択された国に基づいて、乗客用の言語を選択した場合、乗客は自分の母国を選択することで、乗客用の言語を容易に指定することができる。
また、乗客が使用する言語を示す言語識別情報を記憶する携帯端末からこの言語識別情報を受信し、受信された言語識別情報に基づいて、乗客用の言語を選択する場合、乗客が音声入力や手動操作を行わなくても、その乗客に対応した乗客用の言語を設定することができる。
また、選択された乗客用の言語を用いて目的地を尋ねる場合、乗客に目的地の指定をスムーズに促すことができる。
また、タッチパネル21又はスピーカ23は、乗客用の言語を用いて経路を案内する第2案内情報を出力し、タッチパネル21及びスピーカ23は、車両5内でタッチパネル14及びスピーカ16とは異なる位置に配置可能とした場合、車両5が経路に沿って進んでいるかを乗客が容易に理解することができる。また、運転手が第1案内情報を知覚しやすい位置にタッチパネル14及びスピーカ16を配置可能であるとともに、乗客が第2案内情報を知覚しやすい位置にタッチパネル21及びマイク22を配置可能となる。
[変形例]
制御部11は、複数の言語の中から運転手用の言語を選択してもよい。この場合、運転手に応じて運転手用の言語の設定が可能となる。例えば、運転手が車両5に乗車するごとに、または乗客が車両5に乗車するごとに、運転手用の言語の選択が可能であってもよい。運転手用の言語の選択方法は、前席側装置10のタッチパネル14、マイク15又はスピーカ16が用いられることを除き、実施例で説明された乗客用の言語の選択方法と基本的に同様であってもよい。
制御部11は、複数の言語の中から運転手用の言語を選択してもよい。この場合、運転手に応じて運転手用の言語の設定が可能となる。例えば、運転手が車両5に乗車するごとに、または乗客が車両5に乗車するごとに、運転手用の言語の選択が可能であってもよい。運転手用の言語の選択方法は、前席側装置10のタッチパネル14、マイク15又はスピーカ16が用いられることを除き、実施例で説明された乗客用の言語の選択方法と基本的に同様であってもよい。
1 ナビゲーション装置
1a 受付部
1b 案内部
10 前席側装置
11 制御部
14 タッチパネル
16 スピーカ
20 後席側装置
21 タッチパネル
22 マイク
23 スピーカ
24 リーダ部
S ナビゲーション装置
1a 受付部
1b 案内部
10 前席側装置
11 制御部
14 タッチパネル
16 スピーカ
20 後席側装置
21 タッチパネル
22 マイク
23 スピーカ
24 リーダ部
S ナビゲーション装置
Claims (13)
- 移動体の運転者とともに該移動体に乗る同乗者の目的地を特定する為に用いられる情報を受け付けるための受付処理であって、前記運転者用の言語と異なる前記同乗者用の言語に対応した受付処理を行う受付部と、
前記運転者用の言語を用いて、前記受付部により受け付けられた前記目的地への経路を案内する案内部と、
を備えることを特徴とするナビゲーション装置。 - 複数の言語の中から前記同乗者用の言語を選択する選択部を更に備えることを特徴とする請求項1に記載のナビゲーション装置。
- 前記同乗者用の言語を指定するための入力に用いられる入力部を更に備え、
前記選択部は、前記入力部を用いた入力に基づいて前記同乗者用の言語を選択し、
前記案内部は、前記運転者用の言語を用いて前記経路を案内する案内情報を出力する出力部を含み、
前記入力部は、前記移動体内で前記出力部とは異なる位置に配置可能であることを特徴とする請求項2に記載のナビゲーション装置。 - 前記出力部は、前記移動体としての車両の前席側に配置され、
前記入力部は、前記車両の後席側に配置されることを特徴とする請求項3に記載のナビゲーション装置。 - 前記選択部は、前記入力部を用いて入力された前記同乗者の発話音声の音声認識結果に基づいて、前記同乗者用の言語を選択することを特徴とする請求項3又は4に記載のナビゲーション装置。
- 前記選択部は、前記入力部を用いた前記同乗者による操作に基づいて、前記同乗者用の言語を選択することを特徴とする請求項3乃至5の何れか1項に記載のナビゲーション装置。
- 複数の国を含む地図を表示する表示部を更に備え、
前記選択部は、前記地図から選択された国に基づいて、前記同乗者用の言語を選択することを特徴とする請求項6に記載のナビゲーション装置。 - 前記同乗者が使用する言語を示す情報を記憶する携帯端末から該情報を受信する受信部を更に備え、
前記選択部は、前記受信部により受信された前記情報に基づいて、前記同乗者用の言語を選択することを特徴とする請求項2乃至7の何れか1項に記載のナビゲーション装置。 - 前記選択部により選択された前記同乗者用の言語を用いて、前記目的地を尋ねる尋ね部を更に備えることを特徴とする請求項2乃至8の何れか1項に記載のナビゲーション装置。
- 前記同乗者用の言語を用いて前記経路を案内する第2案内情報を出力する第2出力部を更に備え、
前記第2出力部は、前記移動体内で前記出力部とは異なる位置に配置可能であることを特徴とする請求項3乃至6の何れか1項に記載のナビゲーション装置。 - 複数の言語の中から前記運転者用の言語を選択する第2選択部を更に備えることを特徴とする請求項1乃至10の何れか1項に記載のナビゲーション装置。
- 移動体の運転者とともに該移動体に乗る同乗者の目的地を特定する為に用いられる情報を受け付けるための受付処理であって、前記運転者用の言語と異なる前記同乗者用の言語に対応した受付処理を行う受付工程と、
前記運転者用の言語を用いて、前記受付工程により受け付けられた前記目的地への経路を案内する案内工程と、
を含むことを特徴とするナビゲーション方法。 - コンピュータを、請求項1乃至11の何れか1項に記載のナビゲーション装置として機能させることを特徴とするナビゲーション用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037261A JP2018141742A (ja) | 2017-02-28 | 2017-02-28 | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037261A JP2018141742A (ja) | 2017-02-28 | 2017-02-28 | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018141742A true JP2018141742A (ja) | 2018-09-13 |
Family
ID=63527920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017037261A Pending JP2018141742A (ja) | 2017-02-28 | 2017-02-28 | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018141742A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020135710A (ja) * | 2019-02-25 | 2020-08-31 | Toto株式会社 | トイレ用音声案内装置 |
JP2021154755A (ja) * | 2020-03-25 | 2021-10-07 | 美智子 鈴木 | 翻訳システム |
JP2022070016A (ja) * | 2020-10-26 | 2022-05-12 | 日本電気株式会社 | 音声処理装置、音声処理方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1273887A2 (en) * | 2001-07-05 | 2003-01-08 | Alpine Electronics, Inc. | Navigation system |
JP2009251388A (ja) * | 2008-04-08 | 2009-10-29 | Denso Corp | 母国語発話装置 |
JP2016201033A (ja) * | 2015-04-13 | 2016-12-01 | 矢崎エナジーシステム株式会社 | タクシーメータシステム及び外部機器 |
JP2016224614A (ja) * | 2015-05-28 | 2016-12-28 | 凸版印刷株式会社 | 案内装置及び路線バス |
-
2017
- 2017-02-28 JP JP2017037261A patent/JP2018141742A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1273887A2 (en) * | 2001-07-05 | 2003-01-08 | Alpine Electronics, Inc. | Navigation system |
JP2003014485A (ja) * | 2001-07-05 | 2003-01-15 | Alpine Electronics Inc | ナビゲーション装置 |
JP2009251388A (ja) * | 2008-04-08 | 2009-10-29 | Denso Corp | 母国語発話装置 |
JP2016201033A (ja) * | 2015-04-13 | 2016-12-01 | 矢崎エナジーシステム株式会社 | タクシーメータシステム及び外部機器 |
JP2016224614A (ja) * | 2015-05-28 | 2016-12-28 | 凸版印刷株式会社 | 案内装置及び路線バス |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020135710A (ja) * | 2019-02-25 | 2020-08-31 | Toto株式会社 | トイレ用音声案内装置 |
JP7324398B2 (ja) | 2019-02-25 | 2023-08-10 | Toto株式会社 | トイレ用音声案内装置 |
JP2021154755A (ja) * | 2020-03-25 | 2021-10-07 | 美智子 鈴木 | 翻訳システム |
JP2022070016A (ja) * | 2020-10-26 | 2022-05-12 | 日本電気株式会社 | 音声処理装置、音声処理方法、およびプログラム |
JP7160077B2 (ja) | 2020-10-26 | 2022-10-25 | 日本電気株式会社 | 音声処理装置、音声処理方法、システム、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11211033B2 (en) | Agent device, method of controlling agent device, and storage medium for providing service based on vehicle occupant speech | |
JP4736982B2 (ja) | 作動制御装置、プログラム | |
KR20070113665A (ko) | 네비게이션 단말의 목적지 설정 방법 및 장치 | |
JP2008196998A (ja) | ナビゲーション装置 | |
JP2008282224A (ja) | 車載情報検索装置 | |
JP2009251388A (ja) | 母国語発話装置 | |
JP2018141742A (ja) | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム | |
JP4705444B2 (ja) | ナビゲーション装置、その制御方法及び制御用プログラム | |
KR20220055213A (ko) | 차량 및 그 제어 방법 | |
US10573308B2 (en) | Apparatus and method for determining operation based on context, vehicle for determining operation based on context, and method of controlling the vehicle | |
US20200286479A1 (en) | Agent device, method for controlling agent device, and storage medium | |
US11333518B2 (en) | Vehicle virtual assistant systems and methods for storing and utilizing data associated with vehicle stops | |
WO2014199428A1 (ja) | 候補告知装置、候補告知方法及び候補告知用プログラム | |
JP2015007595A (ja) | 車両用装置、通信システム、通信方法、及び、プログラム | |
JP2014065359A (ja) | 表示制御装置、表示システム及び表示制御方法 | |
JP5455355B2 (ja) | 音声認識装置及びプログラム | |
KR102487669B1 (ko) | 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 | |
JP3818352B2 (ja) | ナビゲーション装置及び記憶媒体 | |
JP2018081102A (ja) | 通信装置、通信方法、及び、プログラム | |
US20200319634A1 (en) | Agent device, method of controlling agent device, and storage medium | |
US20200320997A1 (en) | Agent apparatus, agent apparatus control method, and storage medium | |
JP3705220B2 (ja) | ナビゲーション装置、画像表示方法及び画像表示プログラム | |
US20150192425A1 (en) | Facility search apparatus and facility search method | |
KR20220094400A (ko) | 대화 시스템, 그를 가지는 차량 및 대화 시스템의 제어 방법 | |
WO2006028171A1 (ja) | データ提示装置、データ提示方法、データ提示プログラムおよびそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210420 |