JP2018018201A - ガイダンス装置およびガイダンス方法 - Google Patents

ガイダンス装置およびガイダンス方法 Download PDF

Info

Publication number
JP2018018201A
JP2018018201A JP2016146304A JP2016146304A JP2018018201A JP 2018018201 A JP2018018201 A JP 2018018201A JP 2016146304 A JP2016146304 A JP 2016146304A JP 2016146304 A JP2016146304 A JP 2016146304A JP 2018018201 A JP2018018201 A JP 2018018201A
Authority
JP
Japan
Prior art keywords
guidance
passenger
seat
display
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016146304A
Other languages
English (en)
Other versions
JP2018018201A5 (ja
Inventor
敦哉 古田
Atsuya Furuta
敦哉 古田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2016146304A priority Critical patent/JP2018018201A/ja
Publication of JP2018018201A publication Critical patent/JP2018018201A/ja
Publication of JP2018018201A5 publication Critical patent/JP2018018201A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】移動体内に配置された操作部品に対する認識性を高め、利便性を向上する。【解決手段】移動体内に設けられた操作機器の操作方法をガイダンスするガイダンス装置は、第1操作機器と第2操作機器を含み、第1操作機器の操作に伴って、第2操作機器についての操作が生ずるときには、第2操作機器の操作ガイダンスを出力する制御手段を、備えることを特徴とする。【選択図】図8

Description

本発明は、ガイダンス装置およびガイダンス方法に関する。
従来から、航空機、船舶、鉄道車両、バス、一般乗用車といった移動体においては、移動体の搭乗者の操作可能なスイッチやボタンといった操作部材が搭乗者の座席周辺に配置される。上記移動体の搭乗者は、上記操作部材を操作し、シートベルトの着脱や移動体内に設けられた空調の風向や風量、設定温度を調節することで上記移動体搭乗時の安全確保や着座する座席周辺の環境の適正化を図ることができる。
なお、本明細書で説明する技術に関連する技術が記載されている先行技術文献としては、以下の特許文献が存在している。
特開2006−134010号公報 特開2008−168786号公報
ところで、移動体内に配置された上記操作部品の位置は、該移動体に乗りなれていない搭乗者(以下、ユーザとも称す)にとっては不明な傾向にある。このため、例えば、空調の設定温度が低いと感じるユーザが、空調温度を調節しようとしても操作部品の配置位置が見つけられない場合があった。本発明は、移動体内に配置された操作部品に対する認識性を高め、利便性を向上することにある。
開示の技術の一側面は、移動体内に設けられた操作機器の操作方法をガイダンスするガイダンス装置によって例示される。すなわち、操作機器は、第1操作機器と第2操作機器とを含む。ガイダンス装置は第1操作機器の操作に伴って、第2操作機器についての操作が生ずるときには、第2操作機器の操作ガイダンスを出力する制御手段を、備えることを特徴とする。
本ガイダンス装置によれば、移動体内に配置された操作部品に対する認識性を高めることができ、利便性を向上できる。
操作ガイダンスシステムの構成の一例を示す図である。 操作ガイダンス装置の提供する操作ガイダンスを説明する図である。 操作ガイダンス装置のハードウェア構成の一例を示す図である。 外部ディスプレイに表示されるガイダンス画面の一例を示す図である。 画面表示部に表示されるガイダンス画面の一例を示す図である。 外部ディスプレイに表示されるガイダンス画面の他の一例を示す図である。 後席側ディスプレイに表示されたガイダンス画面が前席ディスプレイに表示された状態を示す図である。 本実施形態の操作ガイダンス装置における操作ガイダンス処理の一例を示すフローチャートである。
以下、図面を参照して、一実施形態に係るガイダンス装置について説明する。以下の実施形態の構成は例示であり、本ガイダンス装置は実施形態の構成には限定されない。
<1.システム構成>
図1は、本実施形態に係る操作ガイダンスシステムの構成の一例を示す図である。図1に例示の操作ガイダンスシステムは、セダン型やワゴン型といった一般乗用車内における適用形態の一例である。一般乗用車においては、操作ガイダンス装置は、例えば、車載用のオーディオ・ビジュアル・ナビゲーション一体機(以下、AVN機とも称す)の一部を構成する。但し、操作ガイダンス装置がAVN機の一部を構成することに限定されるわけではない。例えば、操作ガイダンス装置は、スマートフォン、PC(Personal Computer
)、PDA(Personal Digital Assistant)といった情報処理装置であってもよい。以下、図1に例示の操作ガイダンスシステムの形態を説明例として、本実施形態の操作ガイダンス装置の提供機能を説明する。
図1に例示の操作ガイダンスシステム1は、車載器100に接続する、外部ディスプレイ31、外部スピーカ32、操作部材33を構成に含む。車載器100は、例えば、操作ガイダンス装置10を構成に含むAVN機である。車載器100に接続する、外部ディスプレイ31、外部スピーカ32、操作部材33は、操作ガイダンス装置10と同様に、AVN機の一部を構成するとしてもよい。ここで、操作部材33は、「第2操作者が操作する第2操作機器」の一例である。
外部ディスプレイ31は、例えば、LCD(Liquid Crystal Display)等の表示デバイスであり、車載器100から提供された画像が表示画面として表示される。外部スピーカ32は、車載器100から提供された音声等を出力する出力デバイスであり、複数のスピーカが含まれ得る。操作部材33は、一般乗用車の搭乗者が操作可能なデバイスであり、該搭乗者が着座する座席周辺に配置されたスイッチ部品やボタン部品等である。一般乗用車の搭乗者は、操作部材33の操作を行うことで、該操作部材33に関連付けられた空調の温度や風量、風向の調節、照明の明度の調節、シートベルトの着脱や車窓ウィンドウの開閉等が可能になる。なお、操作部材33は、ハードウェア部品であってもよく、外部ディスプレイ31に表示される表示部品(グラフィカルユーザインターフェース(GUI)部品とも称す)であってもよい。外部ディスプレイ31は、例えば、表示デバイス上に表示されたGUI部品に重畳させて接触された接触位置を検出し、GUI部品に対する接触操作を特定するタッチパネル機能を有するとすればよい。以下の説明では、外部ディスプレイ31は、タッチパネル機能を有するものとして説明する。
図2は、本実施形態の操作ガイダンス装置が提供する操作ガイダンスを説明する図である。図2において、車両2は、操作ガイダンスシステム1が搭載される一般乗用車である。車両2内においては、車両2の運転者が着座する運転席3a、運転者を除く他の乗員が着座する助手席3b、運転席後部席3c、助手席後部席3dが配置される。運転席3aは、運転者の操舵するハンドル2aに対向する。ハンドル2aに近接して位置するセンターコンソールには、車載器100が配置される。車載器100やセンターコンソール等には、運転席3aや助手席3bに着座した搭乗者が操作可能なスイッチ部品やボタン部品等が配置される。なお、運転席3aや助手席3bに着座した搭乗者が操作可能なスイッチ部品やボタン部品等は、ハードウェア部品であってもよく、車載器100の画面表示部103に表示されるGUI部品であってもよい。また、上記操作部品は、例えば、運転席3aや助手席3bに着座した搭乗者の音声入力を入力インターフェースとして受け付けるとしてもよい。以下の説明では、車載器100の画面表示部103は、タッチパネル機能を有す
るものとして説明する。ここで、運転席3aに着座した搭乗者が操作可能なスイッチ部品やボタン部品等は、「第1操作者が操作する第1操作機器」の一例である。
また、運転席後部席3cと助手席後部席3dとの間には、外部ディスプレイ31が配置される。外部ディスプレイ31は、運転席3aおよび助手席3bの背後側に配置される。外部ディスプレイ31は、例えば、後部席3c−3dに着座する搭乗者の視聴可能なリアモニタとして機能する。
外部ディスプレイ31のLCD等の表示デバイスには、例えば、AVN機を介して提供されるナビゲーションやテレビジョン(TV)放送、DVD(Digital Versatile Disk)やBD(Blu-ray(登録商標) Disc)等で再生された再生画像といった各種コンテンツが表示される。運転席後部席3c、助手席後部席3dに着座する搭乗者は、外部ディスプレイ31に表示された、AVN機の提供する各種コンテンツを視聴することができる。なお、車両2の運転席3a右前側、助手席3b左前側、運転席後部席3c右後側、助手席後部席3d左後側の四方には、外部スピーカ32が配置される。
図2において、運転席後部席3cには搭乗者が着座し、運転席後部席3cの近傍には、例えば、空調の風量を調整する操作部材33が配置されていると想定する。本実施形態の操作ガイダンス装置10は、例えば、運転者等の空調操作を契機として、運転席後部席3cに着座する搭乗者を検出する。運転席後部席3cに着座する搭乗者は、例えば、着座センサ等の押圧信号の変化により検出される。操作ガイダンス装置10は、運転席後部席3cに着座する搭乗者を検出した場合には、運転席後部席3cの近傍に配置された操作部材33の配置位置を認識させるためのガイダンスを行う。
操作ガイダンス装置10は、例えば、操作部材33の配置位置を照明や音声、振動といった、運転席後部席3cに着座する搭乗者が視覚や聴覚を介して認識可能な手段を用いて通知する。また、操作ガイダンス装置10は、例えば、外部ディスプレイ31の表示画面上に、操作部材33の配置位置や操作方法が記載されたガイダンス画像を表示する。ガイダンス画像や照明、音声、振動等を用いて操作部材33の配置位置の通知を受けた搭乗者は、例えば、運転席後部席3c近傍に配置された空調の風量を調整する操作部材33を認識する。そして、搭乗者は、ガイダンス画像やガイダンス画像に伴う音声等によって通知された操作部材33の操作方法から、運転席後部席3c近傍の空調の風量を調整する操作部材33を操作することで、着座位置における空調環境を適正に調節することができる。本実施形態に係る操作ガイダンスシステム1が搭載される車両2においては、該車両2に乗りなれていない搭乗者であっても、自身の着座席近傍に配置された操作部材33を認識し、操作することが可能になる。
図1に戻り、操作部材33は、照明部品33a、鳴動部品33b、状態判断部33cを含む。但し、照明部品33a、鳴動部品33b、状態判断部33cは、操作部材33に一体的に組み込まれて構成されてもよく、操作部材33の外部に設けられるとしてもよい。照明部品33aは、照明を用いて操作部材33の配置位置を示すデバイスであり、例えば、操作部材33に一体的に組み込まれたLED(Light Emitting Diode)といった発光デバイスや操作部材33を外部から照らし出すライトといった照明デバイスである。操作部材33は、組合せられた照明部品33aの照明や発光により、着座席周辺に配置された操作部材33の配置位置を搭乗者の視覚を介して認識させることができる。
鳴動部品33bは、ブザーや音声、バイブレーション振動等で操作部材33の配置位置を搭乗者の聴覚を介して認識させるデバイスである。鳴動部品33bとして、例えば、操作部材33に一体的に組み込まれた振動用モータ、ブザーや電子音源等が例示できる。また、例えば、車内の運転席3a右前側、運転席後部席3c右後側、助手席3b左前側、助
手席後部席3d左後側の四方に配置された外部スピーカ32を鳴動部品33bとして用いるとしてもよい。四方に配置された外部スピーカ32の中の、着座席周辺に配置された操作部材33に近接する一つのスピーカを用いて、気付き音を発生することができる。
状態判断部33cは、車内に配置された操作部材33のステータス値(例えば、スイッチのオン状態、オフ状態等)や設定値(例えば、空調等の設定温度)を管理する機器である。操作部材33のステータスは、例えば、操作部材33の状態を検知するセンサ等により検出される。車内に配置された操作部材33の状態を一括して管理する状態判断部33cとして、例えば、電装ECU(Electronic Control Unit)が例示される。また、状態
判断部33cとして、操作部材33に一体的に組み込まれたマイコン等が例示される。状態判断部33cは、例えば、操作部材33への搭乗者の操作によるステータス値や設定値の変化、或いは、10msといった単位時間の一定周期で操作部材33の状態(ステータス値、設定値)を取得し、取得した状態を車載器100に通知する。
車載器100は、相互に接続する操作受付部101、外部機器通信部102、画面表示部103、操作ガイダンス装置10を含む。操作受付部101は、車載器100に対する操作者(搭乗者)等からの操作指示を受け付ける入力インターフェースである。入力インターフェースには音声入力も含まれる。車載器100に対する操作指示は、例えば、車載器100の備えるハードウェア部品(スイッチやボタン等)、画面表示部103に表示されたGUI部品に重畳させた指等の接触検知を介して行われる。また、操作受付部101は、例えば、マイクロフォン等を介して入力された搭乗者の発声指示を音声入力として受け付ける。操作受付部101を介して受け付けられた操作指示は、例えば、操作ガイダンス装置10に通知される。
外部機器通信部102は、車内に配置された外部ディスプレイ31、外部スピーカ32、操作部材33とのインターフェースである。外部機器通信部102を介して、操作ガイダンス装置10の提供する操作ガイダンスの制御指示が、外部ディスプレイ31、外部スピーカ32、操作部材33に対して通知される。また、外部機器通信部102を介して、状態判断部33cで管理する操作部材33の状態(ステータス値、設定値)が操作ガイダンス装置10に通知される。
画面表示部103は、AVN機が提供する各種コンテンツの表示画像を表示するLCD等の表示デバイスである。但し、画面表示部103は、タッチパネル機能を有し、表示デバイス上に表示されたGUI部品に重畳させて接触させた搭乗者の指等の接触位置を検出する。搭乗者の接触位置は、例えば、表示デバイスの左上角部を原点として、表示デバイスの左右方向をX軸、上下方向をY軸とした二次元座標(X,Y)として表すことができる。画面表示部103は、例えば、運転席3a、助手席3bに着座する搭乗者の接触操作が可能なように、表示デバイス面を露出するようにしてセンターコンソール等に配置される。
図3に、操作ガイダンス装置10のハードウェア構成の一例を例示する。操作ガイダンス装置10は、図3に例示のように、接続バス16によって相互に接続されたCPU(Central Processing Unit)11、主記憶部12、補助記憶部13、通信IF(Interface)14、入出力IF15を有する。CPU11は、操作ガイダンス装置10全体の制御を行う中央処理演算装置である。CPU11はプロセッサとも呼ばれる。ただし、CPU11は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のCPU11がマルチコア構成であってもよい。CPU11は、補助記憶部13に記憶されたプログラムを主記憶部12の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行うことで所定の目的に合致した機能を提供する。
主記憶部12は、CPU11がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶部12は、例えば、フラッシュメモリ、RAM(Random Access Memory)やROM(Read Only Memory)を含む。補助記憶部13は、CPU11により実行されるプログラムや、動作の設定情報などを記憶する記憶媒体である。補助記憶部13は、例えば、HDD(Hard-disk Drive)やSSD(Solid State Drive)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、USBメモリ、SD(Secure Digital)メモリカード等である。通信IF14は、操作ガイダンス装置10に接
続する車内ネットワーク等とのインターフェースである。入出力IF15は、操作ガイダンス装置10に接続するセンサや機器との間でデータの入出力を行うインターフェースである。なお、上記の構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。また、上記の構成要素は、AVN機の構成要素に含まれるとしてもよい。
操作ガイダンス装置10では、CPU11のプログラムの実行により、操作ガイダンス部21の処理が提供される。但し、上記処理部の少なくとも一部の処理がDigital Signal
Processor(DSP)、Application Specific Integrated Circuit(ASIC)等によって提供されてもよい。また、上記処理部の少なくとも一部が、Field-Programmable Gate Array(FPGA)等の専用large scale integration(LSI)、その他のデジタル回路であってもよい。
また、上記処理部の少なくとも一部にアナログ回路を含むとしてもよい。操作ガイダンス装置10は、上記処理部が参照し、或いは、管理するデータの格納先として補助記憶部13に操作ガイダンスDB201を備える。
操作ガイダンス部21は、車載器100の操作受付部101を介し、車載器100の備えるスイッチ部品やボタン部品、GUI部品への操作入力を取得する。また、操作ガイダンス部21は、入出力IF15を介し、センターコンソールや運転席3a近傍に配置された操作部品への操作入力を受け付ける。入出力IF15を介して受け付けられる操作入力には、例えば、空調温度の設定、風量の強弱設定、シートベルトの着脱、車窓ウィンドウの開閉、ドアロックのオープン・クローズ等が例示される。なお、操作ガイダンス部21は、例えば、各座席3a−3dに設けられた着座センサの検出値を入出力IF15を介して取得する。操作ガイダンス部21は、操作受付部101を介して取得した、或いは、入出力IF15を介して受け付けた上記操作部品の操作状態、着座センサの検出値を主記憶部12の所定の領域に記憶する。
操作ガイダンス部21は、補助記憶部13の操作ガイダンスDB201を参照し、操作入力が発生した操作部品を特定する。操作ガイダンスDB201には、例えば、操作入力が発生する操作部品のIDと共に、該操作部品に関連付けされた部品情報が格納される。部品情報には、例えば、操作部品の車内配置位置、操作部品の種別、操作部品の状態(設定値やステータス値)、操作ガイダンスのシナリオ等が含まれる。なお、部品情報には、GUI部品の表示位置、GUI部品に関連付けされたアプリケーションプログラム(以下、アプリとも称す)名、GUI部品の種別(例えば、スイッチ部品、ボタン部品等)、GUI部品の状態(設定値、ステータス値)、操作ガイダンスのシナリオ等が含まれる。
操作ガイダンス部21は、操作ガイダンスDB201から、特定した操作部品に関連付けされた操作ガイダンスのシナリオを取得する。操作ガイダンス部21は、取得した操作ガイダンスのシナリオに沿って、車内の各座席3b−3dの近傍に配置された操作部材33についてのガイダンスを行う。操作ガイダンス部21は、例えば、着座センサの検出値が搭乗者の着座を示す座席近傍に配置された操作部材33のガイダンスを行う。
操作ガイダンス部21は、例えば、操作ガイダンスのシナリオとして操作ガイダンスD
B201に予め登録されたガイダンス画像(描画データ)を、画面表示部103、外部ディスプレイ31に表示する。外部ディスプレイ31が表示するガイダンス画像は、外部機器通信部102を介して通知される。ここで、ガイダンス画像は、静止画像であってもよく、動画像であってもよい。また、操作部材33についての操作方法等が、文章としてガイダンス画像内に表示されてもよく、音声アナウンス等をガイダンス画像の表示に合わせて報知するとしてもよい。音声アナウンス等は、例えば、外部スピーカ32を介して報知される。なお、画面表示部103や外部ディスプレイ31に表示されたガイダンス画像に基づいて、搭乗者が操作部材33の配置位置を認識し、操作方法を理解するためには一定の経過時間を要するものと考えられる。このため、ガイダンス画像は、搭乗者に対して操作部材33の配置位置の認識の猶予、操作方法を理解するための猶予を与える動画像や時間経過に伴い表示内容が変化するアニメーション画像等が好ましい。
操作ガイダンス部21は、ガイダンス画像の表示と共に、操作部材33の配置位置を搭乗者に認識させるための制御を行う。上記制御は、外部機器通信部102を介して行われる。操作ガイダンス部21は、例えば、操作部材33の照明部品33aに対して照明指示を行う。操作部材33の照明部品33aは、操作ガイダンス部21からの照明指示により、自発光や操作部材33に対する照明光の照射を行い、操作部材33の配置位置を視覚を介して搭乗者に認識させる。なお、照明部品33aは、例えば、画面表示部103、外部ディスプレイ31に表示されたガイダンス画像の動き、ガイダンス画像に表示された操作メッセージや音声ガイダンスに連動して明滅するとしてもよい。
また、操作ガイダンス部21は、例えば、操作部材33の鳴動部品33bに対して鳴動指示を行う。操作部材33の鳴動部品33bは、操作ガイダンス部21からの鳴動指示により、振動用モータやブザーの駆動、電子音の発声等を行い、操作部材33の配置位置を聴覚を介して搭乗者に認識させる。なお、鳴動部品33bとして社内の四方に配置された外部スピーカ32を使用する場合には、例えば、操作ガイダンス部21は、搭乗者が着座する座席側に配置された外部スピーカ32を制御対象として気付き音を発生させる。図2の例では、運転席後部席3cの右後方に配置された外部スピーカ32を制御対象として、気付き音を発生させる。
操作ガイダンス部21は、運転者等の操作入力を契機として操作ガイダンスの対象となった操作部材33の状態を外部機器通信部102を介して取得する。操作部材33の状態は、状態判断部33cより通知される。操作ガイダンス部21は、例えば、取得した操作部材33の状態に基づいて、操作ガイダンスDB201を更新する。操作ガイダンスDB201に格納された操作部材33に対応する操作部品の各種状態値は、最新の状態に更新される。
<2.操作ガイダンス例>
(ケース1)
図4は、操作ガイダンス処理により、外部ディスプレイ31に表示されるガイダンス画面の一例である。図4のガイダンス画面Z1は、車両2のセンターコンソール等に配置された、空調操作に係る操作部品や車載器100の画面表示部103に表示されたGUI部品の、運転者等の操作を契機として表示されるガイダンス画面例である。ガイダンス画面の描画データは、上記空調操作に係る操作部品に関連付けされて操作ガイダンスDB201に予め格納される。なお、図4のガイダンス画面Z1は、動画像を構成するガイダンス画面の一部である。
図4のガイダンス画面Z1において、運転席3aの後部に位置する運転席後部席3dの、右側車窓2cの上部側には、運転席後部席3dに着座した搭乗者が操作可能な操作部材33が配置される。操作部材33は、例えば、空調の吹出し口33dから吹出される風量
を多段階に増減可能なツマミボタンやスライドボタンである。搭乗者は、例えば、ツマミボタンの回動操作やスライドボタンの左右方向のスライド操作で指定される操作位置に応じて、吹出し口33dから吹出される風量の増減を調整することができる。
外部ディスプレイ31にガイダンス画面Z1として表示される動画像は、操作ガイダンスのシナリオに沿って変化する。例えば、動画像は、運転席後部席3dに着座した搭乗者の、外部ディスプレイ31方向に視線を向けた際に視覚を介して認識される車内映像シーンから開始される。外部ディスプレイ31に表示された車内映像は、例えば、外部ディスプレイ31に向けられた搭乗者の視線方向が、運転席後部席3dの右側車窓2cの上部側に配置された操作部材33へ案内するように変化する。つまり、車内映像シーンは、運転席後部席3dに着座した搭乗者を中心として搭乗者の視線方向が、右90度方向に徐々に回転して移動するように変化する。そして、右90度方向に徐々に回転移動するように変化した車内映像は、例えば、運転席後部席3dに着座した搭乗者の視線方向が、右側車窓2cの上部側に配置された操作部材33方向に向けられた映像シーンで停止される。
操作ガイダンス装置10は、例えば、外部ディスプレイ31にガイダンス画面Z1として表示された車内映像に連動させて、操作部材33の照明部品33a、鳴動部品33bを制御する。例えば、操作ガイダンス装置10は、車内映像の映像シーンが、運転席後部席3dの右側車窓2cの上部側に配置された操作部材33方向で停止したタイミングで、照明部品33aを点灯させる。また、操作ガイダンス装置10は、同様のタイミングで、鳴動部品33bを鳴動させる。運転席後部席3dの搭乗者は、外部ディスプレイ31にガイダンス画面Z1として表示された車内映像、および、車内映像に連動して点灯する照明部品33a、鳴動する鳴動部品33bにより、右側車窓2cの上部側に配置された操作部材33を認識する。
操作ガイダンス装置10は、例えば、車内映像の映像シーンが停止したタイミングで、操作部材33の操作方法についての音声ガイダンスのアナウンス、或いは、操作方法についてのメッセージ表示を継続して行う。
上記操作ガイダンスの提供により、操作部材33の配置位置、操作方法を認識した搭乗者は、例えば、ツマミボタンの回動操作やスライドボタンの左右方向へのスライド操作を実行し、吹出し口33dから吹出される風量の増減を調整できる。搭乗者の操作により、風量の増減が調整された操作部材33は、例えば、状態判断部33cを介して該操作部材33の状態変化を操作ガイダンス装置10に通知する。状態変化の通知を受けた操作ガイダンス装置10は、例えば、通知された状態変化に対応するメッセージ表示、或いは、音声アナウンス等を行う。例えば、操作ガイダンス装置10は、「空調の風量強度が5から2に変更されました」といった音声アナウンスや、空調の風量強度の設定値を「5」から「2」に変更された旨のメッセージ表示を行う。
操作ガイダンス装置10が提供する操作ガイダンスは、操作部材33に対する搭乗者の操作実施後に終了する。なお、外部ディスプレイ31が搭乗者の操作完了を受け付けるボタン部品等を有する場合には、操作ガイダンス装置10は、該ボタン部品の押下操作の検知を契機として操作ガイダンスの提供を終了することができる。外部ディスプレイ31により受け付けられた操作完了の押下操作は、例えば、外部機器通信部102を介し、操作ガイダンス装置10に通知される。
(変形形態)
なお、操作ガイダンス装置10は、外部ディスプレイ31にガイダンス画面Z1を表示させる際に、車載器100の画面表示部103にも、同時にガイダンス画面Z1を表示させてもよい。外部ディスプレイ31にガイダンス画面Z1が表示されても、運転席後部席
3dに着座した搭乗者がガイダンスの意味を理解できずに操作に迷う可能性がある。たとえばガイダンスに連動して操作部材33を照明・鳴動させても、搭乗者はその操作部材33がどこにあるのか見つけられない場合がある。また、操作部材33を見つけられても、その操作部材を押したらいいのか回したらいいのかわからない場合もある。そのような場合でも、車載器100の画面表示部103に、同時にガイダンス画面Z1が表示されていれば、運転者等は、いま、搭乗者に対してどのようなガイダンスが表示されているかが把握できるため、たとえば、「画面に向かって右側にある、光っているボタンを回してください」などの具体的かつ的確なアドバイスを搭乗者に与えることができる。
(ケース2)
ケース1では、後部席3c、3dの搭乗者をガイダンス対象とするガイダンス画面を用いた操作ガイダンス処理について説明した。本実施形態の操作ガイダンス装置10は、例えば、運転者等の操作部品への操作を契機として、ガイダンス内容を選択するガイダンス選択面を車載器100の画面表示部103に表示することができる。
図5は、操作ガイダンス処理により、車載器100の画面表示部103に表示されるガイダンス選択画面の一例である。図5のガイダンス選択画面Z2は、車両2のセンターコンソール等に配置された、空調操作に係る操作部品や運転席3a近傍に配置されたシートベルト装着のための操作部品への、運転者等の操作を契機として表示されるガイダンス選択画面例である。ガイダンス選択画面Z2の描画データは、上記操作に係る操作部品に関連付けされて操作ガイダンスDB201に予め登録される。なお、画面表示部103に表示されたGUI部品について接触操作等が行われた場合においても、該GUI部品に関連付けされたガイダンス選択画面Z2が表示される。
図5に例示のように、ガイダンス選択画面Z2には、車内に配置された操作部材33を対象として、1以上の選択肢が表示される。ガイダンス選択画面Z2として表示される選択肢は、例えば、操作者が接触操作が可能なGUI部品として表示される。
例えば、領域Z3に表示された「操作位置案内機能」といった画面タイトルの下側の領域Z4には「エアコン吹出口」、領域Z5には「シートベルト」、領域Z6には「リクライニングレバー」といった搭乗者が操作可能な操作部材33の名称が、操作ガイダンスを提供する選択肢のGUI部品として表示される。また、ガイダンス選択画面Z2の領域Z7には、操作ガイダンスの開始を指示する「開始」ボタン、領域Z8には、操作ガイダンスの停止を指示する「停止」ボタンがGUI部品として表示される。なお、操作ガイダンス処理の起動の契機となる操作部品に関連付けらされたガイダンスのGUI部品については、例えば、ハイライト表示やブリンク表示等の処理を施すことができる。ハイライト表示やブリンク表示等の処理により、ガイダンス選択画面Z2を参照する運転者等においては、表示された複数のGUI部品の中からガイダンス対象となる操作部材33のGUI部品を識別し、選択することができる。
ガイダンス選択画面Z2を参照する運転者等は、例えば、ハイライト表示やブリンク表示等の処理が施されたGUI部品を選択し、該GUI部品が表示された領域に指等を重畳させて接触する。そして、運転者等は、領域Z7に表示されたGUI部品「開始」が表示された領域に接触する。車載器100の操作受付部101は、検出した接触操作から、選択されたガイダンス対象の操作部材33、および、ガイダンスの開始指示を特定する。特定されたガイダンス対象の操作部材33、および、ガイダンスの開始指示は、操作ガイダンス装置10に通知される。操作ガイダンス装置10は、操作受付部101からの通知を受け、例えば、図4を用いて説明した操作ガイダンス処理を開始する。
運転者等は、また、ハイライト表示やブリンク表示等の処理が施されていないGUI部
品、すなわち、運転者等による操作が行われた操作部品以外の操作部品に係るGUI部品を選択することにより、当該操作部品に係るガイダンスを行わせることもできる。運転者等は、また、GUI部品「停止」を選択することにより、ガイダンスを行わせることなくガイダンス選択画面Z2を終了させたり、一度開始されたガイダンスを途中で中止させることができる。
操作ガイダンス装置10は、(ケース1)についての変形形態と同じように、外部ディスプレイ31に表示される操作部材33のガイダンス画面を車載器100の画面表示部103に表示するとしてもよい。ガイダンス選択画面Z2を介してガイダンス対象を選択した運転者等は、シナリオに沿って変化するガイダンスの進行状況を把握することができる。例えば、搭乗者が操作部材33を見つけられない場合や、操作方法が判らない場合には、画面表示部103に表示されたガイダンスの進行状況に沿って適切なアドバイスを行うことができる。
(ケース3)
図6は、操作ガイダンス処理により、外部ディスプレイ31に表示されるガイダンス画面の他の一例である。図6においては、外部ディスプレイ31がハードウェア部品で構成される操作ボタンを有する場合のガイダンス画面例である。
例えば、AVN機として機能する車載器100においては、ナビゲーションアプリを機能させ、画面表示部103に目的地や現在位置から目的地に至る経路上の地図を表示することができる。車載器100の画面表示部103に表示された地図が外部ディスプレイ31にも表示される場合、地図を参照する後部席3c、3dの搭乗者が独自に、現在地を確認するケースが想定される。操作ガイダンス装置10は、ナビゲーションアプリが機能し、地図が外部ディスプレイ31に表示される場合には、地図上で現在地を確認するための現在地ボタンの配置位置を地図に重畳させて表示する。
図6(1)は、外部ディスプレイ31の地図等が表示される表示領域31aの外枠下側に現在地ボタン31bが配置される場合の説明例である。また、図6(2)は、同様にして、外部ディスプレイ31の地図等が表示される表示領域31aの外枠左側に現在地ボタン31bが配置される場合の説明例である。
操作ガイダンス装置10は、ナビゲーションアプリが機能する場合の操作ガイダンス処理として、外部ディスプレイ31の外枠に配置された現在地ボタン31bの位置を示す指示部品Z9、Z10を画面表示部103の表示デバイス上に表示する。図6(1)、(2)に示すように、指示部品Z9、Z10は、例えば、矢印画像として表示することができる。図6(1)に例示のように、現在地ボタン31bの配置位置が外枠下側の場合には、指示部品の矢印の向きは下向きになり、図6(2)に例示のように、現在地ボタン31bの配置位置が外枠左の場合には、指示部品の矢印の向きは左向きになる。操作ガイダンス装置10は、外部ディスプレイ31の種別や型番等に応じて、矢印画像の向きを変化させ、外枠に配置された現在地ボタン31bの配置位置を指示する。
(ケース3)においても、(ケース1)、(ケース2)と同様にして、画面表示部103にも、外部ディスプレイ31に表示されるガイダンス画面を表示してもよい。但し、前席(画面表示部10)と後席のディスプレイ(外部ディスプレイ31)ではボタンの配置が異なる。このため、後席側に表示されたガイダンス画面をそのまま前席側のディスプレイに表示した場合には、前席の搭乗者に矢印とボタン位置の関係について誤解を与える虞がある。(ケース3)においては、操作ガイダンス装置10は、外部ディスプレイ31に表示されるガイダンス画面を画面表示部103に表示する際に、後席側ディスプレイのボタンなども含めた意匠画像を含むガイダンス画像を表示する。
例えば、操作ガイダンス装置10は、後席側ディスプレイ(外部ディスプレイ31)の意匠画像を予めCG(Computer Graphics)などで作成する。そして、操作ガイダンス装
置10は、上記CGにガイダンス画像をハメコミ合成した表示画像を前席ディスプレイ(画面表示部103)に表示すればよい。
図7は、後席側ディスプレイに表示されたガイダンス画面が前席ディスプレイに表示された状態を示す図である。図7において、ハッチングされた箇所は、外部ディスプレイ31に表示されたガイダンス画面を表す。前席ディスプレイである画面表示部103の表示領域には、上記CG等で作成された表示画像が、前席の搭乗者の識別可能なように表示される。操作ガイダンス装置10は、前席ディスプレイに表示された、後席側用のガイダンス画面の矢印位置やボタン位置に対する誤認識を防止することができる。
<3.処理フロー>
以下、図8を参照し、本実施形態に係る操作ガイダンス処理を説明する。図8は、操作ガイダンス装置10で提供される操作ガイダンス処理の一例を示すフローチャートである。本実施形態の操作ガイダンス装置10は、例えば、CPU11等が補助記憶部13に記憶された各種プログラムや各種データを読み出して実行することで、図8に示す操作ガイダンス処理を提供する。なお、操作ガイダンス装置10のCPU11等は、操作ガイダンスDB201を参照し、図8に例示する操作ガイダンス処理を実行する。図8に例示の操作ガイダンス処理は、主に、操作ガイダンス部21により提供される。
図5のフローチャートにおいて、処理の開始は、車両の運転手が操作可能な操作部品への操作の受け付けのときが例示できる。操作ガイダンス装置10は、例えば、車載器100に配置されたハードウェア部品やGUI部品についての操作を、操作受付部101を介して受け付ける(S1)。なお、操作受付部101を介して受け付けられる操作には、音声入力による発声指示が含まれる。
また、操作ガイダンス装置10は、例えば、センターコンソールや運転席3a近傍に配置されたシートベルトの着脱操作や車窓ウィンドウの開閉操作、ドアスイッチのオープン・クローズ操作等を入出力IF15を介して受け付ける。操作ガイダンス装置10は、操作受付部101を介して取得した、或いは、入出力IF15を介して受け付けた上記操作部品の操作状態を主記憶部12の所定の領域に一時的に記憶する。なお、操作ガイダンス装置10は、例えば、運転席3a以外の他の座席3b−3dに設けられた着座センサの検出値を入出力IF15を介して取得するとしてもよい。取得された各座席3b−3dの着座センサの検出値は、主記憶部12の所定の領域に一時的に記憶される。
操作ガイダンス装置10は、例えば、操作ガイダンスDB201を参照し、S1の処理で受け付けた操作部品に関連付けられた操作部材33の各種情報を取得する(S2)。操作部材33の各種情報には、例えば、車種別の操作部材33に対する配置情報や操作方法が含まれる。同様にして、操作部材33の各種情報には、操作部材33に対する直近の操作で設定されたスイッチ状態や設定値等が含まれる。なお、操作部材33に対するスイッチ状態や設定値等は、例えば、外部機器通信部102を介して状態判断部3cから取得するとしてもよい。状態判断部3cから取得された操作部材についてのスイッチ状態や設定値等は、例えば、主記憶部12の所定の領域に一時的に記憶される。
操作ガイダンス装置10は、S2の処理で取得した各種情報に基づいて、操作部材33に対するガイダンスを開始する(S3)。操作ガイダンス装置10は、操作ガイダンスDB201に格納された操作部材33に関連付けされた操作ガイダンスのシナリオを取得する。操作ガイダンスのシナリオには、例えば、図4、5、6を用いて説明したように、外
部ディスプレイ31、車載器100の画面表示部103に表示可能なガイダンス画像(動画像を含む)が含まれる。同様にして、操作ガイダンスのシナリオには、該シナリオに沿って通知を行うための、操作部材33についての照明部品33a、鳴動部品33bの制御シーケンス等が含まれる。操作ガイダンス装置10は、操作ガイダンスDB201から取得したシナリオに沿って、ガイダンス画像の提示を行うと共に、操作部材33の照明部品33a、鳴動部品33bを連動させて操作ガイダンスを提供する。
なお、操作ガイダンス装置10は、S3の処理の実行の際に、S1の処理で取得した各座席3b−3dの着座センサの検出値に基づいて、操作部材33についてのガイダンスの提供の可否を決定するとしてもよい。例えば、後部席3c−3dに着座する搭乗者が存在しない場合には、該後部席3c−3dに関連付けられた操作部材33のガイダンスを停止することができる。操作ガイダンス装置10は、後部席3c−3dに着座する搭乗者の存在に応じた操作ガイダンスを提供することができる。
操作ガイダンス装置10は、例えば、操作ガイダンスDB201から取得した操作部材33についてのガイダンス画像を外部ディスプレイ31、車載器の画面表示部103に出力する(S4)。また、操作ガイダンス装置10は、例えば、操作部材33についての操作方法を通知するためのガイダンス音声を、ガイダンス画像の進行に応じて外部スピーカ32に出力する(S5)。そして、操作ガイダンス装置10は、例えば、外部ディスプレイ31、車載器の画面表示部103に表示されたガイダンス画面の進行状況に連動させて、操作部材33に関連付けされた照明部品33a、鳴動部品33bを制御する(S5)。操作ガイダンス装置10は、操作部材33に関連付けされた照明部品33aの点灯や発光により、搭乗者の着座席周辺に配置された操作部材33の配置位置を、搭乗者の視覚を介して認識させることができる。また、操作ガイダンス装置10は、操作部材33に関連付けされた鳴動部品33bのバイブレーション振動やブザー音、電子音といった気付き音の発生により、搭乗者の着座席周辺に配置された操作部材33の配置位置を、搭乗者の聴覚を介して認識させることができる。操作ガイダンス装置10は、例えば、図4、5、6を用いて説明した操作ガイダンスを車内の搭乗者に提供することができる。
操作ガイダンス装置10は、操作ガイダンスの提供受けて搭乗者からの操作が発生した操作部材33の状態判断部33cを介して、操作後の状態(ステータス値、設定値)の通知を受け付ける(S7)。また、操作ガイダンス装置10は、例えば、図5を用いて説明したように、画面表示部103に表示された操作ガイダンスの終了についてのGUI部品に対する接触操作を受け付ける(S8)。操作ガイダンス装置10は、S7の処理で通知された操作部材33の状態に変化が発生した場合、或いは、S8の処理で操作ガイダンスの終了についてのGUI部品に対する接触操作を受け付けた場合には、図8の処理を終了する。
以上の処理により、操作ガイダンス装置10は、運転者の車載器100やセンターコンソール、運転席3a近傍に配置された操作部品への操作を契機として、該操作部品に関連付けされた、搭乗者が着座する着座席周辺に配置された操作部材33についての操作ガイダンスを提供することができる。操作ガイダンス装置10の提供する操作ガイダンスでは、例えば、搭乗者が着座する着座席周辺に配置された操作部材33の配置位置、操作方法が案内される。
操作ガイダンス装置10は、例えば、操作部材33を探索すると想定される搭乗者の視線方向に沿ったガイダンス画像を外部ディスプレイ31に表示することができる。また、操作ガイダンス装置10は、外部ディスプレイ31に表示されたガイダンス画像と連動して、搭乗者が着座する着座席周辺に配置された操作部材33の配置位置を光や音を用いて通知することができる。この結果、操作ガイダンスの提供を受けた搭乗者は、着座席周辺
に配置された操作部材33の配置位置を視覚や聴覚を介して認識することができる。また、操作ガイダンスの提供を受けた搭乗者は、ガイダンス画像に伴う音声等によって通知された操作方法に基づいて、操作部材33を操作することができる。搭乗者は、例えば、空調の風量を調整する操作部材33を操作することで、着座位置における空調環境を適正に調節することが可能になる。本実施形態の操作ガイダンス装置10によれば、車両に乗りなれていない搭乗者であっても、自身の着座席近傍に配置された操作部材33を認識し、操作することが可能になる。
本実施形態によれば、運転者等の操作部品への操作を契機として、ガイダンス内容を選択するガイダンス選択面を車載器100の画面表示部103に表示するようにしたため、運転者等は、必要に応じてガイダンスを出力させるか否かを選択することができる。そのため、搭乗者が普段乗り慣れた車両においては、不要なガイダンスを出力させないことができ、搭乗者が煩わしさを感じずに済むいっぽう、搭乗者が普段使用しない車両では、ガイダンスを出力させることによって、搭乗者が目的とする操作部品を早期に見つけだすことが可能になる。さらに、ガイダンス選択面には、ガイダンス選択面の表示の契機となった運転者等による操作が行われた操作部品以外の操作部品に係るガイダンスも選択可能に表示されるため、運転者等は、必要に応じて操作を行った操作部品以外の操作部品に係るガイダンスも出力させることができ、あらかじめ搭乗者に車両に関する種々の操作方法をレクチャーしておくことも可能となる。
<4.変形例>
操作ガイダンス装置10が搭載される車両は、一般乗用車として説明したが、例えば、バスやタクシー、航空機、船舶、新幹線等の鉄道車両といった移動体に適用されるとしてもよい。例えば、上記移動体の運転者等が操作可能な表示画面上に、図5で説明したガイダンス選択画面が表示される場合には、着座席に着座する複数の搭乗者を対象として、搭乗者の着座席近傍に配置された操作部材についての操作ガイダンスを提供することができる。上記移動体の運転者等は、口頭による案内が不要になる。
1 操作ガイダンスシステム
2 車両
2a ハンドル
3a、運転席 3b、助手席 3c、運転席後部席 3d、助手席後部席
10 操作ガイダンス装置
11 CPU
12 主記憶部
13 補助記憶部
14 通信IF
15 入出力IF
16 接続バス
21 操作ガイダンス部
31 外部ディスプレイ(リアモニタ)
32 外部スピーカ
33 操作部材
33a、照明部品 33b、鳴動部品 33c、状態判断部
100 車載器
101 操作受付部
102 外部機器通信部
103 画面表示部
201 操作ガイダンスDB

Claims (7)

  1. 移動体内に設けられた操作機器の操作方法をガイダンスするガイダンス装置において、
    前記操作機器は、第1操作機器と第2操作機器と、を含み、
    前記第1操作機器の操作に伴って、前記第2操作機器についての操作が生ずるときには、前記第2操作機器の操作ガイダンスを出力する制御手段と、を備えることを特徴とするガイダンス装置。
  2. 前記第1操作機器は第1操作者により操作されるものであり、前記第2操作機器は前記第1操作者とは異なる第2操作者により操作されるものである、請求項1に記載のガイダンス装置。
  3. 前記移動体は、第2表示部を有し、
    前記制御手段は、前記第2操作機器の配置位置および操作方法を表すガイダンス画面を前記第2表示部に表示すると共に、前記ガイダンス画面のシナリオに連動させて前記第2操作機器の配置位置を視覚報知する、請求項1に記載のガイダンス装置。
  4. 前記制御手段は、前記第2操作機器の配置位置および操作方法を表すガイダンス画面を前記第2表示部に表示すると共に、前記ガイダンス画面のシナリオに連動させて前記第2操作機器の配置位置を聴覚報知する、請求項3に記載のガイダンス装置。
  5. 前記移動体は、第1表示部をさらに有し、
    前記制御手段は、前記第2表示部に表示するガイダンス画面を前記第1表示部に表示する、請求項3または4に記載のガイダンス装置。
  6. 前記第1表示部は第1操作者により閲覧されるものであり、前記第2表示部は前記第1操作者とは異なる第2操作者により閲覧されるものである、請求項5に記載のガイダンス装置。
  7. 移動体内に設けられた操作機器の操作方法をガイダンスするコンピュータが、
    前記操作機器の中の第1操作機器の操作に伴って、前記操作機器の中の第2操作機器について操作が生ずるときには、前記第2操作機器の操作ガイダンスを出力する制御ステップ、を実行することを特徴とするガイダンス方法。
JP2016146304A 2016-07-26 2016-07-26 ガイダンス装置およびガイダンス方法 Pending JP2018018201A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016146304A JP2018018201A (ja) 2016-07-26 2016-07-26 ガイダンス装置およびガイダンス方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016146304A JP2018018201A (ja) 2016-07-26 2016-07-26 ガイダンス装置およびガイダンス方法

Publications (2)

Publication Number Publication Date
JP2018018201A true JP2018018201A (ja) 2018-02-01
JP2018018201A5 JP2018018201A5 (ja) 2019-07-18

Family

ID=61081793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016146304A Pending JP2018018201A (ja) 2016-07-26 2016-07-26 ガイダンス装置およびガイダンス方法

Country Status (1)

Country Link
JP (1) JP2018018201A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043762A (ja) * 2019-09-12 2021-03-18 株式会社東海理化電機製作所 提示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190192A (ja) * 2003-12-25 2005-07-14 Equos Research Co Ltd 車載装置
JP2008195375A (ja) * 2007-01-19 2008-08-28 Denso Corp 車内情報表示装置およびそれに用いられる光照射装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190192A (ja) * 2003-12-25 2005-07-14 Equos Research Co Ltd 車載装置
JP2008195375A (ja) * 2007-01-19 2008-08-28 Denso Corp 車内情報表示装置およびそれに用いられる光照射装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043762A (ja) * 2019-09-12 2021-03-18 株式会社東海理化電機製作所 提示装置

Similar Documents

Publication Publication Date Title
US10324527B2 (en) Gaze driven interaction for a vehicle
US10821925B2 (en) Apparatus and method for assisting a user
JP6033804B2 (ja) 車載機器操作装置
JP5881596B2 (ja) 車載情報装置、通信端末、警告音出力制御装置、および警告音出力制御方法
CN111163974A (zh) 用于车辆的显示系统和方法
WO2019124158A1 (ja) 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体
CN106469556B (zh) 语音识别装置、具有语音识别装置的车辆、控制车辆方法
WO2015071961A1 (ja) 表示制御装置、情報表示方法および情報表示システム
JP2015213305A (ja) 携行可能な情報機器のための機器制御方法および機器制御システム
CN111409689B (zh) 车载装置操作系统
JP2012006552A (ja) 車載機器操作装置
JP2018103834A (ja) 車載システム
JP2008195141A (ja) 車載機器の操作支援装置、操作支援方法
JP2018018201A (ja) ガイダンス装置およびガイダンス方法
US20200278745A1 (en) Vehicle and control method thereof
JP2005313722A (ja) 車載機器の操作表示装置及びその操作表示方法
JP6720902B2 (ja) 車載機器の制御装置及び車載機器制御用のアプリケーションソフトウェア
JP2021146868A (ja) 車両用表示装置
JP7484756B2 (ja) 表示システム
JP5968277B2 (ja) 情報処理装置および情報処理方法
JP6460378B2 (ja) 車両用情報提供装置
KR20230039799A (ko) 차량 및 그 제어 방법
KR101607977B1 (ko) 차량 제어 장치 및 그 제어 방법
JP2009090811A (ja) 車載機器の操作システム
JP6369236B2 (ja) 車載装置用の入力制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190611

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200707