JP2015210580A - 表示システム及びウェアラブル機器 - Google Patents
表示システム及びウェアラブル機器 Download PDFInfo
- Publication number
- JP2015210580A JP2015210580A JP2014090315A JP2014090315A JP2015210580A JP 2015210580 A JP2015210580 A JP 2015210580A JP 2014090315 A JP2014090315 A JP 2014090315A JP 2014090315 A JP2014090315 A JP 2014090315A JP 2015210580 A JP2015210580 A JP 2015210580A
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- wearable device
- user
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】ウェアラブル機器、及び、ウェアラブル機器と共に用いられる電子機器からユーザへの情報表示に関する新規技術を提供する。
【解決手段】ウェアラブル機器1は、ユーザの乗車に伴って車載機器と共に利用される。ウェアラブル機器1は、眼鏡型のウェアラブル機器である。ウェアラブル機器1の制御ユニット30は、表示ユニット27を制御することにより、表示ユニット27からユーザの視界に情報を表示する。車載機器は、ウィンドシールドを表示面として利用して、ウィンドシールドに情報を表示するヘッドアップディスプレイを備える。制御ユニット30は、ユーザの視界において、ヘッドアップディスプレイと表示ユニット27とが同種の情報を重複表示しないように、表示ユニット27を制御する。
【選択図】図2
【解決手段】ウェアラブル機器1は、ユーザの乗車に伴って車載機器と共に利用される。ウェアラブル機器1は、眼鏡型のウェアラブル機器である。ウェアラブル機器1の制御ユニット30は、表示ユニット27を制御することにより、表示ユニット27からユーザの視界に情報を表示する。車載機器は、ウィンドシールドを表示面として利用して、ウィンドシールドに情報を表示するヘッドアップディスプレイを備える。制御ユニット30は、ユーザの視界において、ヘッドアップディスプレイと表示ユニット27とが同種の情報を重複表示しないように、表示ユニット27を制御する。
【選択図】図2
Description
本発明は、表示システム及びウェアラブル機器に関する。
従来、ウェアラブル機器としては、ヘッドマウントディスプレイが知られている。ウェアラブル機器を用いた表示システムとしては、透過型のヘッドマウントディスプレイにおいて、公演される舞台に対応した字幕情報を表示することにより、ユーザの視界において舞台と字幕情報とを融合させる表示システムが知られている(例えば、特許文献1参照)。この表示システムでは、ユーザの視界における明るさの低い領域に字幕情報を表示することにより、字幕情報をユーザに対して見やすく表示する。
透過型のヘッドマウントディスプレイのように、ユーザの前方視野を確保した状態で、ユーザの視界に情報を表示するウェアラブル機器は、ユーザが他の作業をしながらウェアラブル機器が表示する情報を確認することができる点で便利である。
しかしながら、この種のウェアラブル機器は、ユーザの前方視野に映る他の機器が表示する情報と、ウェアラブル機器が表示する情報とが、ユーザの視界に混在する状況を生む。例えば、ウィンドシールドに情報表示を行うヘッドアップディスプレイを備えた車両の車室内において、ウェアラブル機器が利用される場合には、車両がウィンドシールドに表示する情報とウェアラブル機器が表示する情報とが、ユーザの視界に混在する状況が発生する。
この状況は、ユーザにとって必ずしも好ましい状況とは言えない。例えば、ウェアラブル機器が表示する情報及び他の機器が表示する情報が、ユーザの視界において無秩序に存在する状況では、これら機器についてのユーザの利便性が損なわれる可能性がある。
本発明は、こうした問題に鑑みなされたものであり、ウェアラブル機器、及び、ウェアラブル機器と共に用いられる電子機器からユーザへの情報表示に関する新規技術を提供することを目的とする。
本発明の一局面の表示システムは、ウェアラブル機器と、当該ウェアラブル機器とは別の電子機器と、制限手段とを備える。ウェアラブル機器は、ユーザの身体に装着されてユーザの視界に情報を表示する。電子機器は、所定の表示面に情報を表示する。
制限手段は、上記表示面がユーザの視界に映る場合に、上記ウェアラブル機器及び電子機器の少なくとも一方による表示を制限する。ここで言う「表示面がユーザの視界に映る場合」は、現に表示面がユーザの視界に映っている場合の他、表示面がユーザの視界に映る可能性がある環境にウェアラブル機器及び電子機器が存在する場合を含む。制限手段は、例えば、上記ウェアラブル機器及び電子機器の少なくとも一方に設けられる。別例として、制限手段は、上記ウェアラブル機器及び電子機器とは別に設けられてもよい。
ウェアラブル機器及びそれとは別の電子機器の両機器がユーザに対して情報表示を行う空間では、両機器が互いの表示動作に対し無関係に情報表示を行うと、ユーザに対して整理されていない無秩序な情報表示がなされる可能性がある。
本発明の表示システムによれば、制限手段が上述のように動作するので、両機器の表示動作によって、ユーザの視界に無秩序な情報表示がなされるのを抑制することができる。従って、この表示システムによれば、例えば、ユーザに対して理解しやすい情報表示を、両機器を通じて行うことができる。
本発明の別の局面において、表示システムは、ウェアラブル機器と、当該ウェアラブル機器とは別の電子機器と、変更手段とを備えた構成にされ得る。変更手段は、電子機器の表示面がユーザの視界に映る場合に、上記ウェアラブル機器及び電子機器が表示する情報の種類、表示位置及び表示タイミングの少なくとも一つを変更する。変更手段は、例えば、上記ウェアラブル機器及び電子機器の少なくとも一方に設けられる。別例として、変更手段は、上記ウェアラブル機器及び電子機器とは別に設けられてもよい。
この表示システムによれば、変更手段が上述のように動作するので、先に説明した表示システムと同様、両機器の表示動作によって、ユーザの視界に無秩序な情報表示がなされるのを抑制することができる。
付言すると、上記電子機器としては、ユーザが携帯するスマートフォン等の電子機器、街中に設置される大型ディスプレイ及び電光掲示板等の電子機器、又は、ユーザが利用する室内に配置される電子機器を一例に挙げることができる。室内に配置される電子機器としては、四輪自動車等の車室内に配置されて、車室内の領域に情報を表示する車載機器を一例に挙げることができる。例えば、車載機器は、車両のウィンドシールドに情報を表示する機器で有り得る。
例えば、車載機器は、ヘッドアップディスプレイを備えた構成にされ得る。この他、ウェアラブル機器としては、透過型のヘッドマウントディスプレイ、又は、眼鏡型若しくはコンタクトレンズ型の表示デバイスを備えた構成にされ得る。
変更手段は、例えば、少なくとも一つの種類の情報に関して、同種の情報が上記ウェアラブル機器及び電子機器の両機器に表示されないように、ウェアラブル機器及び電子機器が表示する情報の種類を変更する構成にされ得る。
例えば、上記表示システムは、表示面がユーザの視界に映る場合には、特定種類の情報を、両機器の内、一方の機器のみに表示させるように動作し得る。両機器のいずれに情報を表示させるかは、情報の種類毎に、予め定めておくことができる。
例えば、電子機器の表示面が複数ユーザによって視認可能である場合、上記表示システムは、複数ユーザ間での共有が有益な情報(例えば、時刻/気象等の情報)についての情報表示を上記電子機器に担当させ、プライバシー性の高い情報(メッセージ受信/着信等の情報)についての情報表示をウェアラブル機器に担当させるように動作し得る。
別例として、変更手段は、ユーザの視界の少なくとも一部において、ウェアラブル機器が表示する情報及び電子機器が表示する情報が、同一位置に表示されないように、ウェアラブル機器及び電子機器が表示する情報の表示位置を変更する構成にされ得る。
更なる別例として、変更手段は、ウェアラブル機器が表示する情報及び電子機器が表示する情報が、ユーザの視界において重ねて表示されないように、ウェアラブル機器が表示する情報及び電子機器が表示する情報の表示タイミングを変更する構成にされ得る。この変更によって、ユーザに対して理解しやすい情報表示が、両機器を通じて行われ得る。
また、本発明の一局面において、ウェアラブル機器は、次の表示デバイスと、判別手段と、制御手段とを備えた構成にされ得る。このウェアラブル機器において、制御手段は、表示デバイスを制御する。表示デバイスは、制御手段に制御されて、当該ウェアラブル機器を装着するユーザの視界に情報を表示する。判別手段は、ウェアラブル機器とは異なる電子機器であって表示面に情報を表示する電子機器が当該表示面に表示する情報の種類、表示位置及び表示タイミングの少なくとも一つを判別する。
制御手段は、判別手段により判別された情報の種類、表示位置及び表示タイミングの少なくとも一つに基づき、表示デバイスを制御することによって、表示デバイスが表示する情報の種類、表示位置及び表示タイミングの少なくとも一つを、電子機器が表示面に表示する情報の種類、表示位置及び表示タイミングの少なくとも一つに応じて変更する。このウェアラブル機器によれば、上述の表示システムと同様に、両機器の表示動作によって、ユーザの視界に無秩序な情報表示がなされるのを抑制することができる。
このウェアラブル機器は、上記判別手段に代えて、上記電子機器の近く(又は上記電子機器が存在する所定空間内)に自ウェアラブル機器が位置するか否かを判定する判定手段を備えた構成にされ得る。
そして、制御手段は、上記電子機器の近く(又は上記所定空間内)に自ウェアラブル機器が位置するか否かによって、表示デバイスが表示する情報の種類、表示位置及び表示タイミングの少なくとも一つを変更するように、表示デバイスに対する表示制御を行う構成にされ得る。この表示制御によっても、両機器の表示動作によって、ユーザの視界に無秩序な情報表示がなされるのを抑制することができる。
別例として、ウェアラブル機器の制御手段は、上記電子機器の近く(又は上記所定空間内)に自ウェアラブル機器が位置する期間には、表示デバイスによる表示を禁止する、制限する、又は、目立たなくする構成にされてもよい。表示を禁止する方法としては、表示デバイスをオフにする方法を一例に挙げることができる。また、目立たなくする方法としては、表示物の輝度、明度若しくは彩度を下げる等により表示を薄くする、又は、表示物をぼかして表示する方法を一例に挙げることができる。
また、本発明の一局面において、ウェアラブル機器と共に利用される電子機器は、次の示デバイスと、判別手段と、制御手段とを備えた構成にされ得る。この電子機器において、制御手段は、表示デバイスを制御する。表示デバイスは、制御手段によって制御されて、所定の表示面に情報を表示する。判別手段は、ユーザの身体に装着されてユーザの視界に情報を表示するウェアラブル機器が表示する情報の種類、表示位置及び表示タイミングの少なくとも一つを判別する。
制御手段は、判別手段により判別された情報の種類、表示位置及び表示タイミングの少なくとも一つに基づき、表示デバイスを制御することによって、表示デバイスが表示する情報の種類、表示位置及び表示タイミングの少なくとも一つを、ウェアラブル機器が表示する情報の種類、表示位置及び表示タイミングの少なくとも一つに応じて変更する。この電子機器によれば、上記表示システムと同様に、両機器の表示動作によって、ユーザの視界に無秩序な情報表示がなされるのを抑制することができる。
別例として、この電子機器は、上記判別手段に代えて、自電子機器の近く(又は自電子機器が存在する所定空間内)にウェアラブル機器が位置するか否かを判定する判定手段を備えた構成にされ得る。
そして、制御手段は、自電子機器の近く(又は上記所定空間内)にウェアラブル機器が位置するか否かによって、表示デバイスが表示する情報の種類、表示位置及び表示タイミングの少なくとも一つを変更するように、表示デバイスに対する表示制御を行う構成にされ得る。この表示制御によっても、上述した効果と同様の効果を奏することができる。
別例として、電子機器の制御手段は、自電子機器の近く(又は上記所定空間内)にウェアラブル機器が位置する期間には、表示デバイスによる表示を禁止する、制限する、又は、目立たなくする構成にされてもよい。
この他、上述した各手段としての機能は、専用のハードウェア回路によって実現されてもよいし、ソフトウェアにより実現されてもよい。即ち、各手段としての機能は、コンピュータがプログラムに従う処理を実行することにより実現され得る。プログラムは、コンピュータ読取可能な記録媒体に記録することができる。記録媒体としては、半導体製メモリ、磁気ディスク、又は、光ディスクを一例に挙げることができる。
以下に本発明の実施例について、図面と共に説明する。
[第一実施例]
本実施例のウェアラブル機器1は、図1に示すように、眼鏡型のウェアラブル機器1である。このウェアラブル機器1は、左右のレンズ11L,11Rと、レンズ11L,11Rを繋ぐブリッジ13と、レンズ11L,11Rの夫々に回動可能に接続されたテンプル15L,15Rとを備える。このウェアラブル機器1は、図示しないノーズパッドを備える。
[第一実施例]
本実施例のウェアラブル機器1は、図1に示すように、眼鏡型のウェアラブル機器1である。このウェアラブル機器1は、左右のレンズ11L,11Rと、レンズ11L,11Rを繋ぐブリッジ13と、レンズ11L,11Rの夫々に回動可能に接続されたテンプル15L,15Rとを備える。このウェアラブル機器1は、図示しないノーズパッドを備える。
このウェアラブル機器1は、ブリッジ13に前方を撮影するカメラ21を備え、テンプル15Rの側面に、操作ユニット23を備える。操作ユニット23は、ウェアラブル機器1を装着するユーザからのウェアラブル機器1に対する操作を受付可能なユーザインタフェースであり、例えば、タッチ操作を受付可能なタッチパッドとして構成される。
更に、ウェアラブル機器1は、ユーザの耳の周辺に配置されるテンプル15R,15Lの一部に、スピーカ25が配置された構成にされる。ウェアラブル機器1は、ユーザの視界Fに情報を表示する表示ユニット27を更に備えた構成にされる。
表示ユニット27は、ユーザの目に直接、表示対象の情報に対応する描画を行うことによって、ユーザの視界Fに情報を表示するデバイスである。別例として、表示ユニット27は、レンズ11Rに描画を行うことによって、ユーザの視界Fに情報を表示するデバイスであってもよい。表示ユニット27は、ユーザの前方視野を確保した状態で(前方視野を遮らないように)、各種情報を表示する透過型のデバイスとして構成される。表示ユニット27は、左右のレンズ11R,11L、又は、両目に画像を形成する構成にされてもよい。
このウェアラブル機器1は、図2に示すように、カメラ21、操作ユニット23、スピーカ25、及び、表示ユニット27に加えて、マイクロフォン22、広域通信ユニット28、近距離通信ユニット29、及び、制御ユニット30を備える。
マイクロフォン22は、音声操作を受け付けるために、ウェアラブル機器1に設けられる。広域通信ユニット28は、セルラー通信可能な無線通信ユニットであり、広域ネットワークにアクセス可能に構成される。また、近距離通信ユニット29は、ブルートゥース(登録商標)規格やWiFi規格などの無線通信規格に従って、近距離の無線通信端末と無線通信可能な無線通信ユニットとして構成される。以下では、近距離通信ユニット29を用いた通信のことを「近距離通信」と表現する。
図1に図示されないマイクロフォン22、広域通信ユニット28、近距離通信ユニット29及び制御ユニット30は、ブリッジ13や、テンプル15L,15Rなどのウェアラブル機器1の任意の部位に設けられる。
別例として、マイクロフォン22、広域通信ユニット28、近距離通信ユニット29及び制御ユニット30は、ウェアラブル機器1の眼鏡部とは別の筐体に設けられてもよい。この場合、制御ユニット30は、有線又は無線により眼鏡部が備えるカメラ21、操作ユニット23、スピーカ25、及び、表示ユニット27と接続される。
制御ユニット30は、図2に示すように、ウェアラブル機器1の各部と接続され、ウェアラブル機器1の全体を統括制御する。この制御ユニット30は、CPU31、ROM33及びRAM35を備える。CPU31は、ROM33に記録されたプログラムに従う処理を実行する。RAM35は、CPU31による処理実行時に作業領域として使用される。以下では、CPU31が、ROM33に記憶されたプログラムに従って実行する処理を、制御ユニット30を動作主体として説明する。制御ユニット30は、ROM33として、又は、ROM33とは別に、電気的にデータ書換可能なフラッシュROMを備えた構成にされる。
制御ユニット30は、マイクロフォン22から入力される音声信号に従って、ユーザからの音声操作に対応した処理を実行したり、操作ユニット23からの入力信号に従って、ユーザからの操作に対応した処理を実行したりする。処理の実行時には、例えば、表示ユニット27を制御して、表示ユニット27が表示する情報を更新したり、表示ユニット27に新たな情報を表示させたりする。必要に応じて、制御ユニット30は、広域通信ユニット28を介して広域ネットワークから実行中の処理に必要な情報を取得する。又は、制御ユニット30は、必要に応じて近距離通信ユニット29を介して近くの無線通信端末から、実行中の処理に必要な情報を取得する。
また、制御ユニット30は、表示ユニット27を制御し、電子メールの受信や電話着信等のイベントの発生に応じた情報を表示ユニット27に表示させる。この他、制御ユニット30は、表示ユニット27を制御し、継続的に表示される種類の情報に関して、表示ユニット27が表示する情報を逐次更新する。
制御ユニット30は、時刻情報等の継続的に表示する対象の情報に関しては、これがユーザの視界Fの上端領域又は下端領域に表示されるように表示ユニット27を制御し、一時的に表示する対象の情報に関しては、これがユーザの視界Fの中央領域に表示されるように表示ユニット27を制御する。
制御ユニット30は、必要に応じて更に、ユーザに対する音声信号を生成し、この音声信号をスピーカ25に再生させることにより、音声メッセージをスピーカ25に出力させる。この他、制御ユニット30は、カメラ21から入力される撮影画像を解析することにより、ユーザの視界Fに映る物体の種類や位置を認識する構成にされる。
ところで、本実施例のウェアラブル機器1は、車両が備えるヘッドアップディスプレイ51と共に、車室内RIでユーザに利用されることを想定した機能を有する。ウェアラブル機器1の制御ユニット30は、ユーザの乗車に伴って車室内RIに移動すると、例えば、車載機器50との近距離通信により、ウェアラブル機器1が車室内RIに存在することを検知する。そして、制御ユニット30は、ウェアラブル機器1が車室内RIに存在するときには、ウェアラブル機器1が車室外に存在するときとは異なる手法で表示ユニット27を制御することにより、ユーザに対する情報の表示動作を切り替える。
ここで、車両に搭載される車載機器50は、例えば図3に示す構成にされる。図3に示す車載機器50は、ヘッドアップディスプレイ51と、スピーカ52と、操作ユニット53と、車外カメラ55と、車室内カメラ56と、車内通信ユニット58と、近距離通信ユニット59と、制御ユニット60とを備える。
ヘッドアップディスプレイ51は、制御ユニット60に制御されて、車両乗員向けの各種情報を表示する。ヘッドアップディスプレイ51は、車両のウィンドシールドWSを表示面として利用して、ウィンドシールドWSに各種情報を表示する構成にされる。
ヘッドアップディスプレイ51は、ウィンドシールドWSの下方に備えるモニタの画像をミラーを介してウィンドシールドWSに虚像として表示することにより、ウィンドシールドWSに情報を表示する構成にされ得る。別例として、ヘッドアップディスプレイ51は、ウィンドシールドWSに組み込まれた表示要素を用いて、ウィンドシールドWSに表示対象の情報に対応する実像を形成することにより、この情報を車両乗員に表示する構成にされ得る。
スピーカ52は、車両乗員に各種音声メッセージを出力するために設けられ、制御ユニット60からの音声信号を再生することにより、各種音声メッセージを出力する。操作ユニット53は、車両乗員からの車載機器50に対する操作を受付可能なユーザインタフェースであり、例えばキースイッチの一群から構成される。この操作ユニット53は、例えば、車両のセンターコンソールやステアリングホイール周辺に設けられる。車載機器50は、更に図示しないマイクロフォンを備え、ユーザからの音声操作を受付可能な構成にされてもよい。
車外カメラ55は、車外を撮影するカメラであり、具体的には、車両前方を撮影する。車外カメラ55は、車両前方の状況を車載機器50で把握するために用いられる。一方、車室内カメラ56は、車室内RIを撮影するカメラであり、車両乗員(特に運転者)の状況を車載機器50で把握するために用いられる。
また、車内通信ユニット58は、CAN等の車内ネットワークに接続されて、車両内の電子制御装置との間で通信するために用いられる。この他、近距離通信ユニット59は、ウェアラブル機器1と無線通信可能な無線通信ユニットであり、例えば、ブルートゥース(登録商標)規格又はWiFi規格に従って、ウェアラブル機器1と無線通信可能な無線通信ユニットとして構成される。
また、制御ユニット60は、CPU61、ROM63及びRAM65を備える。CPU61は、ROM63に記録されたプログラムに従う処理を実行する。この処理により、車載機器50の各種機能は実現される。RAM65は、CPU61による処理実行時に作業領域として使用される。以下では、CPU61が、ROM63に記憶されたプログラムに従って実行する処理を、制御ユニット60を動作主体として説明する。制御ユニット60は、ROM63として又はROM63とは別に、電気的にデータ書換可能なフラッシュROMを備えた構成にされる。
この制御ユニット60は、例えば、ヘッドアップディスプレイ51を制御することにより、時刻情報、気象情報、道路交通情報、経路案内情報、運転支援情報、及び、現在地周辺の施設又は店舗の案内情報等の車両乗員に有益な情報を、ヘッドアップディスプレイ51に表示させる構成にされる。
この車載機器50及びウェアラブル機器1は、図4に示すように、互いの近距離通信ユニット29,59からの無線信号に基づき互いの存在を検知し、近距離通信ユニット29,59を介した無線接続を確立する。これによって、ウェアラブル機器1が車載機器50と同一の車室内RIに存在するときには、車載機器50とウェアラブル機器1とが無線接続される。
この状態で、車載機器50及びウェアラブル機器1は、近距離通信により、互いの動作状況に関する情報交換を行うように動作する。具体的に、ウェアラブル機器1の制御ユニット30は、図5に示すように、車載機器50と同一の車室内RIに存在し、車載機器50と近距離通信可能な状態では(S110でYes)、車載機器50から近距離通信ユニット29を介して動作状況を表す情報を取得し、車載機器50の動作状況を判別する(S120)。制御ユニット30は、図5に示す処理を繰返し実行することにより、車載機器50と近距離通信可能な状態にあるときには、車載機器50の動作状況を逐次把握する。
例えば、制御ユニット30は、車載機器50がヘッドアップディスプレイ51に表示する情報の種類及び表示位置等の情報を、車載機器50の動作状況を表す情報として取得し、この情報に基づき、ヘッドアップディスプレイ51が表示する情報の種類及び表示位置等を判別する。
車載機器50の制御ユニット60も、ウェアラブル機器1の制御ユニット30と同様の処理を繰返し実行する。これにより、制御ユニット60は、ウェアラブル機器1との近距離通信が可能な状態では、ウェアラブル機器1から近距離通信ユニット59を介して動作状況を表す情報を取得し、ウェアラブル機器1の動作状況を判別する。具体的には、ウェアラブル機器1が表示ユニット27を用いて表示する情報の種類及び表示位置等を判別する。
続いて、ウェアラブル機器1の制御ユニット30が繰返し実行する第一表示制御処理を、図6を用いて説明する。第一表示制御処理では、表示ユニット27がユーザの視界Fの上端領域及び下端領域において継続的に表示する種類の情報の表示制御が行われる。この種類の情報には、時刻情報、気象情報(気温/湿度等の情報を含む)、及び、電子メール受信等のメッセージ受信の簡易通知情報が含まれる。
第一表示制御処理を開始すると、制御ユニット30は、ウェアラブル機器1が車室内RIに位置するか否かを判断する(S210)。具体的には、車載機器50との無線接続が確立されているかによってウェアラブル機器1が車室内RIに位置するか否かを判断することができる。そして、車室内RIに位置しないと判断すると(S210でNo)、S270に移行し、表示ユニット27にてユーザの視界Fに表示する対象の情報(表示対象の情報)の夫々が、ユーザの視界Fにおける予め定められた標準の表示位置に表示されるように、表示ユニット27を制御する。その後、第一表示制御処理を終了する。
一方、ウェアラブル機器1が車室内RIに位置すると判断すると(S210でYes)、制御ユニット30は、表示対象の情報群に、車載機器50がヘッドアップディスプレイ51に表示中の情報と同種の情報が含まれるか否かを判断する(S220)。そして、同種の情報が含まれないと判断すると(S220でNo)、S250に移行し、同種の情報が含まれると判断すると(S220でYes)、S230に移行する。
S230に移行すると、制御ユニット30は、ヘッドアップディスプレイ51が表示する情報であって、ウェアラブル機器1を装着するユーザの視界Fに映る情報群の中に、上記表示対象の情報と同種の情報が含まれるか否かを判断する。
S230では、例えば、上記「ユーザの視界」をレンズ11L,11Rを通してユーザから見える視界に定めて、この視界内に映るヘッドアップディスプレイ51の情報群をカメラ21の撮影画像から特定する。そして、特定した情報群の中に、表示ユニット27による上記表示対象の情報と同種の情報が含まれるか否かを判断する。
S230において同種の情報が含まれると判断すると(S230でYes)、制御ユニット30は、S230で肯定判断する原因となった情報と同種の情報を、表示ユニット27による表示対象から外すことにより、ユーザの視界Fにおいて同種の情報が重複表示されないように、表示対象を一部に制限する(S240)。その後、S250に移行する。
即ち、制御ユニット30は、表示ユニット27による表示対象の情報群の内、ヘッドアップディスプレイ51がユーザの視界F内に表示する情報と同種の情報を表示対象から外した後(S240)、S250に移行する。一方、S230において同種の情報が含まれないと判断すると(S230でNo)、制御ユニット30は、S240の処理を実行することなく、S250に移行する。
S250に移行すると、制御ユニット30は、表示ユニット27による表示対象の情報群の中に、ヘッドアップディスプレイ51が表示する情報と、ユーザの視界Fにおいて表示位置が同じになる情報が含まれるか否かを判断する。ここでは、標準の表示位置に配置すると、ユーザから見たときにヘッドアップディスプレイ51が表示する情報と重なる情報を、表示位置が同じ情報であるとみなす。
そして、表示位置が同じ情報がないと判断すると(S250でNo)、制御ユニット30は、S270に移行する。一方、表示位置が同じ情報があると判断すると(S250でYes)、S260に移行する。
S260において、制御ユニット30は、表示ユニット27による表示対象の情報群の内、ヘッドアップディスプレイ51と表示位置が同じである情報の表示位置を、標準の表示位置から変更する。具体的には、表示位置を、変更後の表示位置が、ヘッドアップディスプレイ51が表示する情報とユーザの視界Fにおいて重ならないように変更する。その後、S270に移行する。
S270に移行すると、制御ユニット30は、S220〜S260の処理を経て確定した表示対象の情報の夫々が、S260で表示位置が変更された情報については、その変更後の表示位置に表示され、表示位置が変更されていない情報については、標準の表示位置に表示されるように、表示ユニット27を制御する。その後、第一表示制御処理を終了する。
ここで、第一表示制御処理によって実現される表示制御の具体例を、図7を用いて説明する。例えば、図7第一段に示すように、ウェアラブル機器1が車室内RIに位置しないときには、ヘッドアップディスプレイ51によってウィンドシールドWSに時刻情報が表示され、ウェアラブル機器1の表示ユニット27によっては、ユーザの視界Fに時刻情報及びメッセージ受信の簡易通知情報が表示されるケースを想定する。図7において、メッセージ受信の簡易通知は、手紙のイラスト画像の表示により実現される。
このケースにおいて、ユーザの乗車に伴ってウェアラブル機器1が車室内RIに移動し、ユーザの視界FにウィンドシールドWSが映った場合を考える。この場合でも、ユーザの視界F内に、ヘッドアップディスプレイ51が表示する情報が含まれない場合、制御ユニット30は、第二段に示すように、S270において、ウェアラブル機器1が車室外に存在するときと同じ情報表示を行う。図7に示す二点鎖線は、ユーザの視界Fの範囲を示す。
一方、図7第三段に示すように、ユーザの視界F内に、ヘッドアップディスプレイ51が表示する情報であって表示ユニット27による表示対象の情報と同種の情報(時刻情報)が含まれる場合、制御ユニット30は、この同種の情報を表示対象から外すことにより、同種の情報が表示ユニット27によってユーザの視界Fに表示されないように、表示ユニット27を制御する。
また、図7第四段に示すように、ヘッドアップディスプレイ51が表示する情報(時刻情報)と、ウェアラブル機器1が表示する情報(メッセージ受信の簡易通知情報)とが、仮に標準の表示位置に配置すると重なる場合、制御ユニット30は、ウェアラブル機器1が表示する該当情報の表示位置を、標準位置から変更する。これにより、ヘッドアップディスプレイ51が表示する情報と、ウェアラブル機器1が表示する情報とがユーザの視界Fにおいて重ならないように、表示ユニット27を制御する。
このようにしてウェアラブル機器1は、ヘッドアップディスプレイ51がユーザの視界Fに映る場合、ヘッドアップディスプレイ51と同種の情報を表示しないように表示ユニット27による表示動作を制限する。更に、ウェアラブル機器1は、表示ユニット27による情報の表示位置がヘッドアップディスプレイ51による情報の表示位置とユーザの視界Fにおいて重ならないように、当該情報の表示位置を変更する。
尚、この第一表示制御処理に関しては、S230の処理を実行しない変形例が考えられる。即ち、表示ユニット27による表示対象の情報群に、ヘッドアップディスプレイ51が表示中の情報と同種の情報が含まれる場合(S220でYes)、制御ユニット30は、S240に移行し、同種の情報を表示対象から外した後、S250に移行する構成にされ得る。制御ユニット30は、S220で否定判断した場合には、S250に移行する。
この変形例によれば、図8に示すように車室内RIでヘッドアップディスプレイ51が時刻情報を表示している場合、同じく時刻情報を表示ユニット27により表示する車室外のウェアラブル機器1(図8上段)は、次のように動作する。
即ち、ウェアラブル機器1は、車室内RIに移動して、車載機器50との無線接続が確立した時点で(図8下段)、ヘッドアップディスプレイ51の時刻情報がユーザの視界Fに存在するか否かに関わらず、表示ユニット27による時刻情報の表示を禁止するように動作する。ウェアラブル機器1は、このようにして、ヘッドアップディスプレイ51がユーザの視界Fに映る可能性のある環境に移動した場合、又は、ヘッドアップディスプレイ51とウェアラブル機器1とが同一室内に位置する場合、表示ユニット27による表示動作を制限する。
続いて、ウェアラブル機器1の制御ユニット30が繰返し実行する第二表示制御処理を、図9を用いて説明する。第二表示制御処理では、表示ユニット27によりユーザの視界Fの中央領域において一時的に表示される種類の情報の表示制御が行われる。この種類の情報には、例えば、メッセージ受信や電話着信の通知情報、文字情報を含む各種案内情報、及び、ユーザからの音声による問い合わせに対する回答メッセージを含む情報が含まれる。
第二表示制御処理を開始すると、制御ユニット30は、中央領域に一時的に表示する対象の情報が存在するか否かを判断する(S310)。以下では、この対象を「一時表示対象」と表現する。一時表示対象の情報は、例えば、受信や着信等のイベントの発生により生じる。
一時表示対象の情報が存在しないと判断すると(S310でNo)、制御ユニット30は、当該第二表示制御処理を終了する。一方、一時表示対象の情報が存在する判断すると(S310でYes)、制御ユニット30は、S210と同様、ウェアラブル機器1が車室内RIに位置するか否かを判断する(S320)。そして、ウェアラブル機器1が車室内RIに位置しないと判断すると(S320でNo)、S390に移行し、一時表示対象の情報がユーザの視界Fの中央領域に表示されるように、表示ユニット27を制御する。その後、当該第二表示制御処理を終了する。
一方、制御ユニット30は、ウェアラブル機器1が車室内RIに位置すると判断すると(S320でYes)、一時表示対象の情報を仮に中央領域に表示した場合に、この情報の表示位置が、ヘッドアップディスプレイ51が表示する情報と重なるか否かを判断する(S330)。そして、表示位置が重ならないと判断すると(S330でNo)、S390に移行する。
これに対し、表示位置が重なると判断すると(S330でYes)、制御ユニット30は、ヘッドアップディスプレイ51が表示する該当情報(一時表示対象の情報と表示位置が重なる情報)の表示が所定時間内に終了するか否かを判断する(S340)。表示終了時刻の情報は、近距離通信ユニット29を介して車載機器50から取得することができる。所定時間は、例えば、数秒程度の短い時間に定められる。
そして、所定時間内に表示が終了すると判断すると(S340でYes)、制御ユニット30は、ヘッドアップディスプレイ51による該当情報の表示が終了するまで待機し(S380)、終了後、一時表示対象の情報が中央領域に表示されるように、表示ユニット27を制御する(S390)。その後、第二表示制御処理を終了する。
一方、所定時間内に表示が終了しないと判断すると(S340でNo)、制御ユニット30は、ヘッドアップディスプレイ51が表示する該当情報を一時非表示にするように近距離通信ユニット29を介して車載機器50に要求する(S350)。車載機器50の制御ユニット60は、この要求を近距離通信ユニット59を介して受信すると、当該要求に従って該当情報が非表示となるように、ヘッドアップディスプレイ51を制御する。
ウェアラブル機器1の制御ユニット30は、要求後、ヘッドアップディスプレイ51が表示する該当情報が非表示に切り替わるまで待機する(S355)。非表示に切り替わったか否かは、カメラ21の撮影画像から特定することができる。そして、非表示に切り替わると、一時表示対象の情報が上記中央領域に表示されるように、表示ユニット27を制御する(S360)。
そして、一時表示対象の情報表示を終了すると、制御ユニット30は、S350で要求した非表示動作を解除するように近距離通信ユニット29を介して車載機器50に要求する(S370)。その後、第二表示制御処理を終了する。車載機器50の制御ユニット60は、この要求を近距離通信ユニット59を介して受信すると、当該要求に従って非表示の該当情報を表示するように、ヘッドアップディスプレイ51を制御する。
ここで、第二表示制御処理によって実現される表示制御の具体例を図10(A)及び図10(B)を用いて説明する。図10(A)は、第一段に示すように、ヘッドアップディスプレイ51が時刻情報のみを表示している状態で、電子メールの受信イベントが発生して、一時表示対象の情報(「メールを受信しました。」との文字情報)が発生したときの表示ユニット27による情報表示の形態を、第二段に示す図である。
一方、図10(B)は、第一段に示すように、ヘッドアップディスプレイ51が時刻情報及び経路案内情報を表示している状態で、電子メールの受信イベントが発生して、一時表示対象の情報(「メールを受信しました。」との文字情報)が発生したときの表示ユニット27による情報表示の形態を、第二段から第四段に示す図である。図10(A)及び図10(B)には、説明を簡単にするため、表示ユニット27が初期状態で何も表示していない例を示す。
図10(A)に示すケースでは、一時表示対象の情報が発生した時点において、ユーザの視界Fにおける中央領域においてヘッドアップディスプレイ51が何も表示していない。このため、制御ユニット30は、S330で否定判断して、すぐさま、その中央領域に一時表示対象の情報が表示されるように、表示ユニット27を制御する(S390)。
これに対し、図10(B)に示すケースでは、一時表示対象の情報が発生した時点では、ユーザの視界Fにおける中央領域において、ヘッドアップディスプレイ51が経路案内情報を表示している。このため、制御ユニット30は、その経路案内情報の表示が終了するまで待機する(S380)。そして、図10(B)第三段に示すように経路案内情報の表示が終了すると、S390に移行して、図10(B)第四段に示すように、一時表示対象の情報が表示されるように表示ユニット27を制御する。
このようにしてウェアラブル機器1は、ヘッドアップディスプレイ51がユーザの視界Fに映る場合、ヘッドアップディスプレイ51と表示タイミングが重ならないように、表示ユニット27が表示する一時表示対象の情報の表示タイミングを変更する。
ところで、S340では、予め固定的に定められた所定時間内に、表示が終了するか否かを判断することができる。但し、第二表示制御処理は、状況に応じた待機時間を設定した後、ヘッドアップディスプレイ51の表示が当該待機時間内に終了するか否かを判断する処理に変形されてもよい。
図11には、変形例の第二表示制御処理の一部を抜粋して、当該第二表示制御処理の各ステップを示す。図11に示すように、変形例の第二表示制御処理では、S330において肯定判断すると、S335に移行し、一時表示対象の情報の種類及び車両の走行状態に応じた待機時間を設定する。
情報の種類によっては、その情報表示が有益である時間が短い時間に限られる場合がある。有益である時間が短い情報としては、事故発生の可能性を通知する情報、周辺施設の案内情報、及び、経路案内情報等を一例に挙げることができる。このような情報を表示する場合には、情報表示が有益である時間以上にS360で待機した後、該当情報を表示ユニット27に表示させてもユーザに不満を及ぼす結果となる。
そこで、周辺施設の案内情報に関しては、案内を契機にユーザが周辺施設に立寄ることが可能なタイミングで案内情報を表示できるように、ユーザ(車両)の移動速度、及び、案内施設とユーザ(車両)との位置関係に基づいて、待機時間を設定することができる。尚、このような周辺施設の案内情報を表示するウェアラブル機器1には、例えば、ユーザの位置や移動速度を特定するために、GPS受信機が設けられ得る。
一方、事故発生の危険性を通知する情報に関しては、ユーザの移動速度、事故の危険度、及び、事故の推定発生時期に基づいて、一時表示対象の情報が価値を有する時間よりも短い時間に、待機時間を設定することができる。S335での待機時間の設定に際しては、必要に応じて、車両の位置及び速度だけでなく、ブレーキペダルが踏まれた状態にあるか等の運転者による車両の運転状況を加味して、待機時間を設定することができる。運転状況に関する情報は、車載機器50から取得することができる。
S335で待機時間を設定すると、制御ユニット30は、S345に移行して、ヘッドアップディスプレイ51が表示する情報(一時表示対象の情報と表示位置が重なる情報)の表示がS335で設定した待機時間内に終了するか否かを判断する。そして、待機時間内に終了しないと判断すると(S345でNo)、S350に移行する。一方、待機時間内に終了すると判断すると(S345でYes)、S360に移行する。S350,S360の処理は上述した通りである。この変形例によれば、一層適切に表示ユニット27が表示する一時表示対象の情報の表示タイミングを変更することが可能である。
[第二実施例]
続いて、第二実施例を説明する。但し、第二実施例におけるウェアラブル機器1及び車載機器50の基本構成は、第一実施例と同じである。従って、以下では、第一実施例と同一構成についての説明を省略し、第二実施例のウェアラブル機器1及び車載機器50が実行する処理に関する第一実施例とは異なる部分の説明を選択的に行う。
続いて、第二実施例を説明する。但し、第二実施例におけるウェアラブル機器1及び車載機器50の基本構成は、第一実施例と同じである。従って、以下では、第一実施例と同一構成についての説明を省略し、第二実施例のウェアラブル機器1及び車載機器50が実行する処理に関する第一実施例とは異なる部分の説明を選択的に行う。
本実施例のウェアラブル機器1及び車載機器50は、両機器共に、時刻情報、気象情報、メッセージ受信の通知情報、電話着信の通知情報、周辺施設の案内情報、及び、経路案内情報等の共通する複数種の情報を表示可能な構成にされる。以下では、両機器が共に表示可能な種類の情報のことを「重複情報」と表現する。
本実施例のウェアラブル機器1及び車載機器50は、共有する設定データに従って、ウェアラブル機器1が車室内RIに存在するとき、これら重複情報の夫々の表示機能をオン/オフする。これによって、ウェアラブル機器1及び車載機器50は、これら重複情報が、表示ユニット27とヘッドアップディスプレイ51との間で二重に表示されないように動作する。
設定データは、図12に示すように重複情報の種類毎に、この種類の情報の表示先がウェアラブル機器1及び車載機器50のいずれであるかを表す設定値を有した構成にされる。設定データは、ウェアラブル機器1及び車載機器50の少なくとも一方が備えるフラッシュROM(ROM33,63)に記憶される。
車載機器50の制御ユニット60は、車載機器50とウェアラブル機器1との無線接続が確立されている状態で、設定画面の表示指示が操作ユニット53を通じて入力されると、図13に示す設定受付処理を開始する。
この設定受付処理において、制御ユニット60は、上記重複情報の夫々に関して、この情報をウェアラブル機器1及び車載機器50のいずれに表示させるかをユーザが操作ユニット53を通じて選択操作可能な設定画面を、ヘッドアップディスプレイ51に表示させる(S410)。その後、制御ユニット60は、設定画面を通じたユーザによる設定操作が終了するまで、当該設定操作を受け付ける(S420)。S420では、ユーザの操作に対応して、設定画面を更新する処理を行うことができる。
そして、設定操作が終了すると、制御ユニット60は、S430に移行し、フラッシュROMが記憶する設定データを更新することによって、設定画面を通じた設定操作の内容を、設定データに反映させる(S430)。その後、当該設定受付処理を終了する。尚、設定データを車載機器50及びウェアラブル機器1の両者に記憶させる場合には、S430において、車載機器50及びウェアラブル機器1の両者が記憶する設定データを更新することができる。
この他、制御ユニット60は、ヘッドアップディスプレイ51の表示制御処理として図14に示す処理を繰返し実行する構成にされる。この表示制御処理を開始すると、制御ユニット60は、ウェアラブル機器1が車室内RIに位置するかを判断する(S510)。ここでは、ウェアラブル機器1との無線接続が確立されているかによってウェアラブル機器1が車室内RIに位置するか否かを判断することができる。
そして、ウェアラブル機器1が車室内RIに位置しないと判断すると(S510でNo)、制御ユニット60は、ヘッドアップディスプレイ51に表示対象の情報の夫々が表示されるように、ヘッドアップディスプレイ51を制御する。その後、表示制御処理を終了する。
一方、ウェアラブル機器1が車室内RIに位置すると判断すると(S510でYes)、制御ユニット60は、フラッシュROMから設定データを読み出し、この設定データによって表示先がウェアラブル機器1に設定された種類の重複情報を、表示対象の情報から外す。この処理によって、制御ユニット60は、S520において、表示対象の情報を、ウェアラブル機器1が車室内RIに位置しない場合と比較して制限する。その後、制御ユニット60は、S530に移行し、制限後の表示対象の情報の夫々がヘッドアップディスプレイ51に表示されるように、ヘッドアップディスプレイ51を制御する。その後、表示制御処理を終了する。
一方、ウェアラブル機器1の制御ユニット30は、図15に示す第一表示制御処理を繰返し実行する。図15に示す第一表示制御処理を開始すると、制御ユニット30は、ウェアラブル機器1が車室内RIに位置するか否かを判断する(S610)。そして、車室内RIに位置しないと判断すると(S610でNo)、表示対象の情報の夫々がユーザの視界Fにおける予め定められた標準の表示位置に表示されるように、表示ユニット27を制御する(S650)。その後、第一表示制御処理を終了する。
一方、ウェアラブル機器1が車室内RIに位置すると判断すると(S610でYes)、制御ユニット30は、フラッシュROMから設定データを読み出し、この設定データによって表示先が車載機器50に設定された種類の重複情報を、表示対象の情報から外す。この処理によって、制御ユニット30は、S620において、表示対象の情報を、ウェアラブル機器1が車室内RIに位置しない場合と比較して制限する。その後、制御ユニット30は、S630に移行する。
S630に移行すると、制御ユニット30は、S250での処理と同様、表示ユニット27による表示対象の情報群の中に、ヘッドアップディスプレイ51が表示する情報と、ユーザの視界Fにおいて表示位置が同じになる情報が含まれるか否かを判断する。そして、表示位置が同じ情報がないと判断すると(S630でNo)、S650に移行する。一方、表示位置が同じ情報があると判断すると(S630でYes)、S640に移行する。
S640において、制御ユニット30は、S260での処理と同様に、表示ユニット27による表示対象の情報群の内、ヘッドアップディスプレイ51と表示位置が同じである情報の表示位置を、変更後の表示位置がヘッドアップディスプレイ51が表示する情報と重ならないように、標準の表示位置から変更する。その後、S650に移行する。
S650に移行すると、制御ユニット30は、S270での処理と同様に、表示対象の情報の一群の夫々が、変更後の表示位置又は標準の表示位置に表示されるように、表示ユニット27を制御する。その後、第一表示制御処理を終了する。
この他、制御ユニット30は、第一実施例と同様に図9に示す第二表示制御処理を実行する構成にされるが、上記設定データに基づき、表示先が車載機器50に設定された種類の重複情報については一時表示対象から外して、第二表示制御処理を実行する。
以上、第二実施例について説明したが、第二実施例によれば、重複情報に関して、これを車載機器50に表示させるかウェアラブル機器1に表示させるかを、ユーザが選ぶことができる。従って、利便性の高い表示システムを構築することができる。
但し、重複情報の夫々をウェアラブル機器1及び車載機器50のいずれに表示させるかは、予め設計段階で定めることも可能である。例えば、ヘッドアップディスプレイ51が表示する情報は、車両乗員の全員が認識可能な情報である。一方、ウェアラブル機器1が表示する情報は、ウェアラブル機器1の装着ユーザにしか認識できない情報である。
従って、車載機器50には、車両乗員間での共有が有益な情報についての情報表示を担当させ、プライバシー性の高い情報(メッセージ受信/電話着信の通知情報等)についての情報表示をウェアラブル機器1に担当させるように、重複情報の夫々の表示先を設計段階で定めておくことができる。
別例として、ウェアラブル機器1をタクシー業務に利用する場合には、タクシーの利用客にとって有益な情報を、ヘッドアップディスプレイ51に表示させ、タクシーの運転者にとって有益な情報又はタクシー利用者に見せるべきではない情報を、タクシーの運転者が装着するウェアラブル機器1に表示させるように、各種情報の夫々の表示先を、設計段階で定めることができる。この方法によれば、タクシー業務に利便性の高い情報表示を、ヘッドアップディスプレイ51及びウェアラブル機器1を通じて行うことができる。
[第三実施例]
続いて、第三実施例を説明する。但し、第三実施例におけるウェアラブル機器1及び車載機器50の基本構成は、第一実施例と同じである。従って、以下では、第一実施例と同一構成についての説明を省略し、第三実施例のウェアラブル機器1及び車載機器50が実行する処理に関する第一実施例とは異なる部分の説明を選択的に行う。
続いて、第三実施例を説明する。但し、第三実施例におけるウェアラブル機器1及び車載機器50の基本構成は、第一実施例と同じである。従って、以下では、第一実施例と同一構成についての説明を省略し、第三実施例のウェアラブル機器1及び車載機器50が実行する処理に関する第一実施例とは異なる部分の説明を選択的に行う。
本実施例の車載機器50は、ウェアラブル機器1を装着するユーザを識別することにより、ユーザに応じて、ウェアラブル機器1及びヘッドアップディスプレイ51による情報表示機能のオン/オフを切り替える構成にされる。
車載機器50は、ROM63として、フラッシュROMを備え、ウェアラブル機器1のユーザ毎の生体情報を表示モード情報と関連付けて有するユーザリストをフラッシュROMに記憶した構成にされる。図16には、ユーザリストの概略構成を表す。
表示モード情報は、対応するユーザがウェアラブル機器1を装着した状態で乗車したときに設定すべき表示モードを表す情報である。表示モードは、モード1,2,3を備える。モード1は、ウェアラブル機器1が車室内RIに位置するときに、ウェアラブル機器1による情報表示機能をオフに設定し、ヘッドアップディスプレイ51による情報表示機能をオンに設定して、表示ユニット27及びヘッドアップディスプレイ51の内、ヘッドアップディスプレイ51からの情報表示のみを行う表示モードである。
一方、モード2は、ウェアラブル機器1が車室内RIに位置するときに、ウェアラブル機器1による情報表示機能をオンに設定し、ヘッドアップディスプレイ51による情報表示機能をオフに設定して、表示ユニット27及びヘッドアップディスプレイ51の内、表示ユニット27からの情報表示のみを行う表示モードである。
この他、モード3は、ウェアラブル機器1による情報表示機能及びヘッドアップディスプレイ51による情報表示機能の両者をオンに設定して、表示ユニット27及びヘッドアップディスプレイ51の両者からの情報表示を行う表示モードである。
図16に示すユーザリストは、ユーザ毎の生体情報及び表示モード情報を互いに関連付けて記憶する他、生体情報の登録ユーザではないゲストユーザが乗車したときに設定すべき表示モードを標準モードとして記憶した構成にされる。
本実施例の制御ユニット60は、図17に示す切替処理を繰返し実行する。切替処理を開始すると、制御ユニット60は、ウェアラブル機器1が車室内RIに位置するか否かを判断する(S710)。そして、ウェアラブル機器1が車室内RIに位置しないと判断すると(S710でNo)、ヘッドアップディスプレイ51による情報表示機能をオンに設定して(S715)、当該切替処理を終了する。
一方、制御ユニット60は、ウェアラブル機器1が車室内RIに位置すると判断すると(S710でYes)、ウェアラブル機器1が有するカメラであってウェアラブル機器1を装着するユーザの目を撮影するカメラ(図示せず)から、ユーザの目の撮影画像を取得する(S720)。本実施例では、ウェアラブル機器1に、カメラ21とは別に上記ユーザの目を撮影するカメラが設けられているものとする。
その後、制御ユニット60は、上記目の撮影画像から、ユーザの目の生体情報を抽出して、この抽出情報と、ユーザリストが有する登録ユーザの生体情報とを照合することにより、ウェアラブル機器1を装着するユーザを識別する(S730)。ここで言う生体情報としては、虹彩の情報を一例に挙げることができる。
S730では、ウェアラブル機器1を装着するユーザが登録ユーザである場合、その登録ユーザを識別する。一方、ウェアラブル機器1を装着するユーザが登録ユーザではない場合、ウェアラブル機器1を装着するユーザをゲストユーザとして識別する。
S730でユーザ識別が完了すると、制御ユニット60は、ウェアラブル機器1のユーザが登録ユーザであるか否かを判断し(S740)、登録ユーザではなくゲストユーザであると判断した場合には(S740でNo)、ユーザリストが示す標準モードに従って、ウェアラブル機器1による情報表示機能、及び、ヘッドアップディスプレイ51による情報表示機能の夫々を、オン又はオフし(S745)、当該切替処理を終了する。
一方、制御ユニット60は、ウェアラブル機器1のユーザが登録ユーザであると判断すると(S740でYes)、S750に移行し、S750〜S790の処理にて登録ユーザの表示モード情報に従って、ウェアラブル機器1による情報表示機能、及び、ヘッドアップディスプレイ51による情報表示機能の夫々を、オン又はオフし(S760,S780,S790)、当該切替処理を終了する。
具体的に、制御ユニット60は、登録ユーザの表示モード情報がモード1を示す場合には、S750で肯定判断してS760に移行し、ウェアラブル機器1による情報表示機能を近距離通信ユニット59を介してオフに設定し、ヘッドアップディスプレイ51による情報表示機能をオンに設定する。その後、当該切替処理を終了する。S760での動作により、制御ユニット60は、ウェアラブル機器1が情報表示を行わないように設定する。
一方、登録ユーザの表示モード情報がモード2を示す場合、制御ユニット60は、S770で肯定判断してS780に移行し、ウェアラブル機器1による情報表示機能をオンに設定し、ヘッドアップディスプレイ51による情報表示機能をオフに設定する。その後、切替処理を終了する。このS780での動作により、制御ユニット60は、ヘッドアップディスプレイ51が情報表示を行わないように設定する。
この他、登録ユーザの表示モード情報がモード3を示す場合、制御ユニット60は、S770で否定判断してS790に移行し、ウェアラブル機器1による情報表示機能及びヘッドアップディスプレイ51による情報表示機能をオンに設定する。その後、切替処理を終了する。このケースにおいて、ウェアラブル機器1の制御ユニット30は、第一実施例に従う表示制御を行うことができる。
以上、第三実施例について説明したが、本実施例の制御ユニット30は、表示モードとしてモード1が選択されている場合には、車載機器50からの近距離通信ユニット59を介した情報表示機能のオフ指示により表示ユニット27による情報表示を禁止する。これにより、ウェアラブル機器1が車載機器50の近く(車室内RI)に位置する期間には、表示ユニット27による情報表示を禁止する。
また、車載機器50の制御ユニット60は、表示モードとしてモード2が選択されている場合に、ヘッドアップディスプレイ51による情報表示を禁止する。これにより、ウェアラブル機器1が車載機器50の近く(車室内RI)に位置する期間には、ヘッドアップディスプレイ51による表示を禁止する。
従って、本実施例によれば、ユーザの視界Fにおいてウェアラブル機器1による表示情報及びヘッドアップディスプレイ51による表示情報が混在することにより、無秩序な情報表示がユーザに対して行われるのを抑えることができる。
尚、上記実施例では、ウェアラブル機器1による情報表示機能又はヘッドアップディスプレイ51による情報表示機能をオフに設定することに代えて、ウェアラブル機器1又はヘッドアップディスプレイ51において表示する情報の輝度、明度及び彩度の少なくとも一つを下げることにより、当該情報表示をユーザに対して目立たなくする又は薄くすることもできる。
[第四実施例]
続いて、第四実施例を説明する。第四実施例は、上記いずれかの実施例における車載機器50の制御ユニット60が、更に、図18に示す位置調整処理を繰返し実行する構成にされたものである。従って、以下では、図18に示す位置調整処理を選択的に説明する。
続いて、第四実施例を説明する。第四実施例は、上記いずれかの実施例における車載機器50の制御ユニット60が、更に、図18に示す位置調整処理を繰返し実行する構成にされたものである。従って、以下では、図18に示す位置調整処理を選択的に説明する。
本実施例の制御ユニット60は、図18に示す位置調整処理を開始すると、ウェアラブル機器1が備えるカメラ21によるウィンドシールドWSの撮影画像を近距離通信ユニット59を介して取得し解析することにより、ユーザがウィンドシールドWSを介して見る車両前方の世界の各地点の位置座標を、ヘッドアップディスプレイ51の座標系で特定する(S810)。各地点の位置座標は、ウェアラブル機器1を装着するユーザの頭部の位置や視線によって変化する。
S810での処理を終えると、制御ユニット60は、車両前方の世界に存在する各地点の物体(例えば施設や店舗等の建造物)に関連付けて表示すべき情報(エアタグ情報等)についての、ヘッドアップディスプレイ51における表示位置を、S810で特定した各地点の位置座標に基づき調整する(S820)。その後、位置調整処理を終了する。
制御ユニット60は、この位置調整処理による表示位置の調整により、ユーザの視界Fにおいて現実世界の物体に関連付けて表示されるべき情報を、適切な位置に表示するように、ヘッドアップディスプレイ51を制御する。
以上、本実施例の車載機器50について説明したが、本実施例によれば、ウィンドシールドWSにおけるAR(拡張現実)表示を、ユーザの視線や頭部の位置に合わせて適切に行うことができる。
尚、変形例として、制御ユニット60は、車室内カメラ56による撮影画像から、車室内RIにおいてウェアラブル機器1を装着するユーザの視線や頭部の位置を検知し、この検知結果に基づいて、ヘッドアップディスプレイ51が表示する情報の表示位置を、ユーザの視界Fにおいて当該情報が適切にAR表示されるように、調整する構成にされ得る。
[第五実施例]
続いて、第五実施例を説明する。第五実施例は、上記いずれかの実施例におけるウェアラブル機器1の制御ユニット30が、更に図19に示す運転支援処理を繰返し実行する構成にされたものである。以下では、図19に示す運転支援処理を選択的に説明する。
続いて、第五実施例を説明する。第五実施例は、上記いずれかの実施例におけるウェアラブル機器1の制御ユニット30が、更に図19に示す運転支援処理を繰返し実行する構成にされたものである。以下では、図19に示す運転支援処理を選択的に説明する。
本実施例の制御ユニット30は、図19に示す運転支援処理を開始すると、ウェアラブル機器1が備えるカメラ21によるウィンドシールドWSの撮影画像を解析することにより、ユーザがウィンドシールドWSを介して見る前方道路の各地点の位置座標を、ウェアラブル機器1の座標系で特定する(S910)。
その後、制御ユニット30は、撮影画像の明暗から、ユーザにとって車両前方の視界が良好であるか否かを判断する(S920)。そして、視界が良好であると判断すると(S920でYes)、当該運転支援処理を終了する。
一方、視界が良好ではないと判断すると(S920でNo)、制御ユニット30は、車両が高速走行中であるか否かを判断する(S930)。例えば、制御ユニット30は、近距離通信ユニット29を介して車載機器50から車両の走行速度の情報を取得し、この走行速度と閾値との比較により、車両が高速走行中であるか否かを判断する。
そして、高速走行中ではないと判断すると(S930でNo)、制御ユニット30は、当該運転支援処理を終了する。一方、高速走行中であると判断すると(S930でYes)、制御ユニット30は、S940に移行する。S940において、制御ユニット30は、ユーザの視界Fにおいて前方道路が強調表示されるように、表示ユニット27を制御する。例えば、道路に沿って線が描画されるように、表示ユニット27を制御する。その後、制御ユニット30は、当該運転支援処理を終了する。
本実施例によれば、夜間等の視界が悪い環境において、車両乗員(特に運転者)に対し、ウェアラブル機器1を通じて、道路形状を分かり易く表示することができる。例えば、カーブに沿って強調線を描画することにより、車両乗員に適切に前方道路がカーブしていることを知らせることができる。従って、本実施例によれば、ウェアラブル機器1を車両の安全に有意義に役立てることができる。
[第六実施例]
続いて、第六実施例を説明する。第六実施例は、上記いずれかの実施例におけるウェアラブル機器1の制御ユニット30が、更に図20に示す眩惑対応処理を繰返し実行する構成にされたものである。以下では、図20に示す眩惑対応処理を選択的に説明する。
続いて、第六実施例を説明する。第六実施例は、上記いずれかの実施例におけるウェアラブル機器1の制御ユニット30が、更に図20に示す眩惑対応処理を繰返し実行する構成にされたものである。以下では、図20に示す眩惑対応処理を選択的に説明する。
本実施例の制御ユニット30は、図20に示す眩惑対応処理を開始すると、カメラ21によるウィンドシールドWSの撮影画像を解析する(S1010)。この解析結果に従って、ヘッドアップディスプレイ51がウィンドシールドWSに表示する情報群の中に、外光により眩しくてユーザが認識困難な情報が存在するか否かを判断する(S1020)。ここでは、輝度(明るさ)を基準に上記判断を行うことができる。
そして、上記ユーザが認識困難な情報は存在しないと判断すると(S1020でNo)、制御ユニット30は、眩惑対応処理を終了する。一方、上記ユーザが認識困難な情報が存在すると判断すると(S1020でYes)、制御ユニット30は、ヘッドアップディスプレイ51が表示する該当情報を、表示ユニット27に表示させるように、表示ユニット27を制御する(S1030)。
一方で、制御ユニット30は、ヘッドアップディスプレイ51に該当情報の表示を中止するように近距離通信ユニット29を介して命令する(S1030)。その後、眩惑対応処理を終了する。
本実施例によれば、外光により眩しくてユーザが認識困難な情報がウィンドシールドWSに表示される場合、この情報の表示先をヘッドアップディスプレイ51からウェアラブル機器1に変更する。ウェアラブル機器1により表示される情報は、ウィンドシールドWSに表示される情報よりも眩惑の影響を受けにくいと考えられる。従って、本実施例によれば、ウェアラブル機器1及びヘッドアップディスプレイ51を用いて、ユーザに対して好ましい情報表示を行うことができる。
[第七実施例]
続いて、第七実施例を説明する。第七実施例は、上記いずれかの実施例におけるウェアラブル機器1の制御ユニット30が、更に図21に示す衝突回避処理を繰返し実行する構成にされたものである。以下では、図21に示す衝突回避処理を選択的に説明する。
続いて、第七実施例を説明する。第七実施例は、上記いずれかの実施例におけるウェアラブル機器1の制御ユニット30が、更に図21に示す衝突回避処理を繰返し実行する構成にされたものである。以下では、図21に示す衝突回避処理を選択的に説明する。
制御ユニット30は、図21に示す衝突回避処理を開始すると、カメラ21の撮影画像を解析することにより、車室内RIから窓を通じてカメラ21に映る車外の人を検出する(S1110)。そして、人が検出されなかった場合には(S1120でNo)、衝突回避処理を終了する。
一方、人が検出された場合には(S1120でYes)、車両と人との衝突可能性を判定し(S1130)、衝突可能性が基準より高くない場合には(S1140でNo)、衝突回避処理を終了する。これに対し、衝突可能性が高い場合には(S1140でYes)、車載機器50に制動指示を近距離通信ユニット29を介して入力する(S1150)。その後、当該衝突回避処理を終了する。車載機器50は、制動指示を受けると、車内ネットワーク内の他の電子制御装置と連携して、車両の制動制御を行うように動作する。本実施例によれば、ウェアラブル機器1が備えるカメラ21を用いて車両の衝突回避行動を実現することができる。
[他の実施例]
以上に、複数の実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。例えば、図6及び図9に示す第一表示制御処理及び第二表示制御処理に対応する処理動作は、車載機器50にて実現されてもよい。
以上に、複数の実施例について説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。例えば、図6及び図9に示す第一表示制御処理及び第二表示制御処理に対応する処理動作は、車載機器50にて実現されてもよい。
即ち、車載機器50の制御ユニット60は、図6及び図9に示す第一表示制御処理及び第二表示制御処理と同種の処理を実行することにより、ウェアラブル機器1と同種の情報をヘッドアップディスプレイ51に表示させないように、ヘッドアップディスプレイ51を制御することができる。
また、制御ユニット60は、ウェアラブル機器1が表示する情報と、ヘッドアップディスプレイ51が表示する情報とが重ならないように、ヘッドアップディスプレイ51が表示する情報の表示位置を変更する構成にされ得る。また、制御ユニット60は、ユーザの視界Fにおいてウェアラブル機器1の表示と重ならないように、ヘッドアップディスプレイ51が表示する一時表示対象の情報の表示タイミングを変更する構成にされ得る。
この他、上記実施例は、ウェアラブル機器1がヘッドアップディスプレイ51と共に利用される環境を想定したものであるが、本発明は、その他の環境にも役立つ。例えば、ウェアラブル機器1がスマートフォン又はタブレット端末等の携帯型の表示機器と共に利用される環境にも役立つ。この他、ウェアラブル機器1がユーザの自宅や映画館等で、テレビジョン受信機又は映写機等の表示機器と共に利用される環境にも役立つ。このような環境において、上記表示機器とウェアラブル機器とが連携してユーザに対する表示動作を行うことが考えられる。
付言すると、映画鑑賞等では、表示機器によって字幕表示がなされることがある。しかしながら、このような環境では、鑑賞者にとって字幕表示が不要なケースが発生し得る。このケースでは、表示機器が表示する字幕を、ウェアラブル機器が隠すような表示動作を行うことが考えられる。例えば、ウェアラブル機器1が、字幕周辺の画素群から特定した中間色を、ユーザの視界における字幕に対応する位置に表示することが考えられる。
また、オペラ等の舞台においては舞台周辺に設置された表示機器が字幕を表示することがある。このような環境においても、ウェアラブル機器1は、同様の手法で表示機器が表示する字幕を隠す処理を実行し得る。別例として、ウェアラブル機器1は、字幕を隠しつつ、同位置に、映画や舞台に関する別の情報を表示する処理を実行する構成にされ得る。
この他、上記実施形態における1つの構成要素が有する機能は、複数の構成要素に分散して付与され得る。また、複数の構成要素が有する機能は、1つの構成要素に統合され得る。上記実施形態の構成の少なくとも一部は、同様の機能を有する公知の構成に置き換えられ得る。上記実施形態の構成の一部は、省略されてもよい。また、上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。
1…ウェアラブル機器、11L,11R…レンズ、13…ブリッジ、15L,15R…テンプル、21…カメラ、22…マイクロフォン、23…操作ユニット、25…スピーカ、27…表示ユニット、28…広域通信ユニット、29…近距離通信ユニット、30…制御ユニット、31…CPU、33…ROM、35…RAM、50…車載機器、51…ヘッドアップディスプレイ、52…スピーカ、53…操作ユニット、55…車外カメラ、56…車室内カメラ、58…車内通信ユニット、59…近距離通信ユニット、60…制御ユニット、61…CPU、63…ROM、65…RAM、WS…ウィンドシールド。
Claims (3)
- ユーザの身体に装着されて前記ユーザの視界に情報を表示するウェアラブル機器と、
前記ウェアラブル機器とは別の電子機器であって、所定の表示面に情報を表示する電子機器と、
前記表示面が前記ユーザの視界に映る場合に、前記ウェアラブル機器及び前記電子機器の少なくとも一方による表示を制限する制限手段と、
を備えることを特徴とする表示システム。 - ユーザの身体に装着されて前記ユーザの視界に情報を表示するウェアラブル機器と、
前記ウェアラブル機器とは別の電子機器であって、所定の表示面に情報を表示する電子機器と、
前記表示面が前記ユーザの視界に映る場合に、前記ウェアラブル機器及び前記電子機器が表示する前記情報の種類、表示位置及び表示タイミングの少なくとも一つを変更する変更手段と、
を備えることを特徴とする表示システム。 - ユーザの身体に装着されるウェアラブル機器であって、
前記ユーザの視界に情報を表示する表示デバイスと、
前記ウェアラブル機器とは別の電子機器であって、表示面に情報を表示する電子機器が前記表示面に表示する前記情報の種類、表示位置及び表示タイミングの少なくとも一つを判別する判別手段と、
前記表示デバイスを制御する制御手段と、
を備え、
前記制御手段は、前記表示面が前記ユーザの視界に映る場合に、前記判別手段により判別された前記情報の種類、表示位置及び表示タイミングの少なくとも一つに基づき、前記表示デバイスを制御することによって、前記電子機器が前記表示面に表示する前記情報の種類、表示位置及び表示タイミングの少なくとも一つに応じて前記表示デバイスが表示する前記情報の種類、表示位置及び表示タイミングの少なくとも一つを変更すること
を特徴とするウェアラブル機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014090315A JP2015210580A (ja) | 2014-04-24 | 2014-04-24 | 表示システム及びウェアラブル機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014090315A JP2015210580A (ja) | 2014-04-24 | 2014-04-24 | 表示システム及びウェアラブル機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015210580A true JP2015210580A (ja) | 2015-11-24 |
Family
ID=54612740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014090315A Pending JP2015210580A (ja) | 2014-04-24 | 2014-04-24 | 表示システム及びウェアラブル機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015210580A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019119357A (ja) * | 2018-01-09 | 2019-07-22 | アルパイン株式会社 | 表示システム |
JPWO2019003360A1 (ja) * | 2017-06-28 | 2020-04-16 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
JP6892960B1 (ja) * | 2020-09-29 | 2021-06-23 | Kddi株式会社 | 制御装置、情報処理システム、制御方法及びプログラム |
CN113178089A (zh) * | 2020-01-27 | 2021-07-27 | 丰田自动车株式会社 | 显示控制装置、显示控制方法以及计算机可读存储介质 |
CN113660539A (zh) * | 2017-04-11 | 2021-11-16 | 杜比实验室特许公司 | 分层的增强型娱乐体验 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8502780B1 (en) * | 2012-11-20 | 2013-08-06 | Lg Electronics Inc. | Head mount display and method for controlling the same |
JP2014071811A (ja) * | 2012-10-01 | 2014-04-21 | Sony Corp | 情報処理装置、表示制御方法及びプログラム |
JP2015176186A (ja) * | 2014-03-13 | 2015-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及び情報処理システム |
-
2014
- 2014-04-24 JP JP2014090315A patent/JP2015210580A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014071811A (ja) * | 2012-10-01 | 2014-04-21 | Sony Corp | 情報処理装置、表示制御方法及びプログラム |
US8502780B1 (en) * | 2012-11-20 | 2013-08-06 | Lg Electronics Inc. | Head mount display and method for controlling the same |
JP2016506530A (ja) * | 2012-11-20 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ヘッドマウントディスプレイ、およびこれを制御する方法 |
JP2015176186A (ja) * | 2014-03-13 | 2015-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及び情報処理システム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113660539A (zh) * | 2017-04-11 | 2021-11-16 | 杜比实验室特许公司 | 分层的增强型娱乐体验 |
CN113660539B (zh) * | 2017-04-11 | 2023-09-01 | 杜比实验室特许公司 | 用于渲染视觉对象的方法及装置 |
US11893700B2 (en) | 2017-04-11 | 2024-02-06 | Dolby Laboratories Licensing Corporation | Layered augmented entertainment experiences |
JPWO2019003360A1 (ja) * | 2017-06-28 | 2020-04-16 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
US11335044B2 (en) | 2017-06-28 | 2022-05-17 | Optim Corporation | Display system of a wearable terminal, display method of the wearable terminal, and program |
JP2019119357A (ja) * | 2018-01-09 | 2019-07-22 | アルパイン株式会社 | 表示システム |
JP6993068B2 (ja) | 2018-01-09 | 2022-01-13 | アルパイン株式会社 | 表示システム |
CN113178089A (zh) * | 2020-01-27 | 2021-07-27 | 丰田自动车株式会社 | 显示控制装置、显示控制方法以及计算机可读存储介质 |
JP2021117126A (ja) * | 2020-01-27 | 2021-08-10 | トヨタ自動車株式会社 | 表示制御装置、表示制御方法及びプログラム |
JP7298491B2 (ja) | 2020-01-27 | 2023-06-27 | トヨタ自動車株式会社 | 表示制御装置、表示制御方法及びプログラム |
JP6892960B1 (ja) * | 2020-09-29 | 2021-06-23 | Kddi株式会社 | 制御装置、情報処理システム、制御方法及びプログラム |
JP2022055697A (ja) * | 2020-09-29 | 2022-04-08 | Kddi株式会社 | 制御装置、情報処理システム、制御方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110099836B (zh) | 车辆及控制其中的显示器的方法 | |
JP6694112B2 (ja) | Ar表示装置及びar表示方法 | |
EP2857886B1 (en) | Display control apparatus, computer-implemented method, storage medium, and projection apparatus | |
US9513702B2 (en) | Mobile terminal for vehicular display system with gaze detection | |
KR101655818B1 (ko) | 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템 | |
JP5630518B2 (ja) | 運転支援装置 | |
JP6524422B2 (ja) | 表示制御装置、表示装置、表示制御プログラム、及び表示制御方法 | |
US8605009B2 (en) | In-vehicle display management system | |
US20150331238A1 (en) | System for a vehicle | |
JP2015210580A (ja) | 表示システム及びウェアラブル機器 | |
US20160334623A1 (en) | Display device, display method, and non-transitory computer readable medium storing display program | |
JP5668765B2 (ja) | 車載音響装置 | |
CN111252074B (zh) | 多模态控制方法、装置、计算机可读存储介质和车辆 | |
KR101736991B1 (ko) | 스마트 안경의 화면과 차량 디스플레이 장치의 화면 중첩을 회피하는 방법 및 장치 | |
US11537354B2 (en) | Head-up display system | |
WO2019244670A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6620977B2 (ja) | 表示制御装置、投影装置、および表示制御プログラム | |
US20200410264A1 (en) | Control system using in-vehicle gesture input | |
KR20140145332A (ko) | 차량용 hmd 시스템 및 그 작동 방법 | |
JP2015141161A (ja) | 車両用表示装置、及び、表示方法 | |
JP7298491B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
JP6825433B2 (ja) | 虚像表示装置及びコンピュータプログラム | |
JP2015200770A (ja) | ヘッドアップディスプレイ装置 | |
KR20170033699A (ko) | 이동 단말기 및 그 제어 방법 | |
JP2022119623A (ja) | 車載装置、車載装置の制御方法、および車載システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180731 |