JP2016048301A - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
JP2016048301A
JP2016048301A JP2014173065A JP2014173065A JP2016048301A JP 2016048301 A JP2016048301 A JP 2016048301A JP 2014173065 A JP2014173065 A JP 2014173065A JP 2014173065 A JP2014173065 A JP 2014173065A JP 2016048301 A JP2016048301 A JP 2016048301A
Authority
JP
Japan
Prior art keywords
user
control unit
unit
electronic device
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014173065A
Other languages
English (en)
Inventor
規和 横井
Norikazu Yokoi
規和 横井
隆文 豊田
Takafumi Toyoda
隆文 豊田
明日香 中村
Asuka Nakamura
明日香 中村
藤田 優
Masaru Fujita
優 藤田
政一 関口
Masaichi Sekiguchi
政一 関口
直樹 關口
Naoki Sekiguchi
直樹 關口
雄 村越
Yu MURAKOSHI
雄 村越
利一 石田
Riichi Ishida
利一 石田
康春 杉田
Yasuharu Sugita
康春 杉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014173065A priority Critical patent/JP2016048301A/ja
Publication of JP2016048301A publication Critical patent/JP2016048301A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザの利便性が向上する電子機器を提供する。【解決手段】電子機器は、ユーザの身体に装着される電子機器であって、ユーザが電子機器を装着した状態においてユーザが待ち状態にあるか否かを検出する検出部(118)と、検出部によって待ち状態にあることが検出された場合に、所定の情報をユーザが視認できるように表示する表示部(104)と、を備える。【選択図】図1

Description

本発明は、電子機器に関する。
ユーザの眼前に位置する表示部によってユーザに情報を視認できるようにさせる電子機器として、ヘッドマウントディスプレイが知られている。また、ユーザの特定の動作に起因して節電状態に移行するヘッドマウントディスプレイも知られている(例えば、特許文献1参照)。
特開2004−236242号公報
しかしながら、従来の電子機器では、例えば行列に並ぶなどで、待ち状態にあるユーザがいる状況下において効果的な利用法が提供されていなかった。
本発明は上記の課題に鑑みなされたものであり、ユーザの利便性が向上する電子機器を提供することを目的とする。
本発明の電子機器は、ユーザの身体に装着される電子機器であって、前記ユーザが前記電子機器を装着した状態において前記ユーザが待ち状態にあるか否かを検出する検出部(118)と、前記検出部によって待ち状態にあることが検出された場合に、所定の情報を前記ユーザが視認できるように表示する表示部(104)と、を備える。
また、本発明の電子機器では、位置情報を検出する位置検出部(112)を備え、前記検出部は、前記位置情報に基づいて、待ち状態にあるか否かを検出することとしてもよい。この場合において、前記検出部は、前記位置検出部によって検出された位置が所定時間変化しない場合に待ち状態にあることを検出することとしてもよい。
また、本発明の電子機器では、前記表示部は、位置検出部(112)によって検出された位置の変化に応じて前記所定の情報を変更して表示することとしてもよい。
また、本発明の電子機器では、撮像部(102)を備え、前記検出部は、前記撮像部によって撮影された画像情報に基づいて、待ち状態にあるか否かを検出することとしてもよい。
また、本発明の電子機器では、前記ユーザを撮影可能な撮像部(102)を備え、前記表示部は、前記撮像部により撮影された前記ユーザに応じた表示を行うこととしてもよい。この場合において、前記ユーザの操作内容を外部装置に送信する通信部(116)を備えていてもよい。
また、本発明の電子機器では、前記撮像部は、前記ユーザが前記電子機器を装着した状態において前記ユーザが向いている方向を撮影することとしてもよい。
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
本発明の電子機器は、ユーザの利便性を向上することができるという効果を奏する。
第1の実施形態に係る電子機器システムの構成を示すブロック図である。 装着装置の斜視図である。 コンテンツDBのデータ構造の一例を示す図である。 第1の実施形態に係る装着装置が実行する処理の一例を示すフローチャートである。 待ち状態判定処理の一例を示すフローチャートである。 図6(a)及び図6(b)は、表示部が表示する画像の一例を示す図である。 第2の実施形態に係る電子機器システムの構成を示すブロック図である。 第2の実施形態に係る装着装置が実行する処理の一例を示すフローチャートである。 装着装置と情報処理装置との通信の一例を示す図である。 図10(a)は、表示部により問診票が表示される前の表示領域の一例を示す図であり、図10(b)は、表示部により表示される問診票の一例を示す図である。 第3の実施形態に係る電子機器システムの構成を示すブロック図である。 第3の実施形態に係る第1装着装置が実行する処理の一例を示すフローチャートである。 第3の実施形態に係る第2装着装置が実行する処理の一例を示すフローチャートである。 第1装着装置の表示部が表示する画像の一例を示す図である。
《第1の実施形態》
以下、第1の実施形態に係る電子機器システム500について、図1〜図6(b)に基づいて、詳細に説明する。図1には、電子機器システム500の構成がブロック図にて示されている。電子機器システム500は、図1に示すように、装着装置10と、情報処理装置20と、を備える。装着装置10と情報処理装置20とは、ネットワーク30に接続されている。
(装着装置10)
装着装置10は、ユーザが身体(顔)に装着する眼鏡型の端末である。装着装置10は、図1に示すように、撮像部102、表示部104、操作部106、マイク108、スピーカー110、位置検出部112、記憶部114、通信部116、及び制御部118を備える。図2には、装着装置10が斜視図にて示されている。図2に示すように、装着装置10は、眼鏡型のフレーム130を備える。なお、図1において図示され、図2において図示されていない装着装置10の構成は、フレーム130の内部や、フレーム130の一部に設けられているものとする。
撮像部102は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮影するものである。撮像部102は、図2に示すように、フレーム130の端部近傍(例えばユーザの右目近傍)に設けられている。このため、ユーザが装着装置10を装着した状態では、ユーザが向いている(見ている)方向の画像を撮影することができる。
表示部104は、フレーム130内部又はフレーム130近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムと、を有する。表示部104は、制御部118の指示の下、各種情報を表示する。装着装置10を装着したユーザは、表示部104が投影した情報を視認できると共に、外界像をシースルーで視認することができるようになっている。なお、図2に示す表示部104は一例であって、大きさやデザインは適宜変更することができる。
操作部106は、フレーム130に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部118に送信する。すなわち、本実施の形態において、操作部106は接触式の操作部である。
マイク108は、フレーム130に設けられ、ユーザが発声した音声などを収集する。マイク108が収集した音声は、不図示の音声認識部により音声認識され、音声認識の結果は、制御部118に送信される。制御部118は、音声認識に基づく処理(例えばコマンドの実行処理など)を実行する。なお、制御部118が音声認識を行ってもよい。
スピーカー110は、例えばフレーム130に設けられ、制御部118の指示の下、音声を出力する。スピーカー110は、例えば表示部104が表示する動画に関連付けられている音声などを出力する。スピーカー110としては、イヤホンやヘッドホンのほか、指向性があって、主に装着装置10を装着したユーザの耳に向けて音声を提供することが可能なスピーカーなどを採用することができる。
位置検出部112は、例えばGPS(Global Positioning System)センサを有しており、装着装置10の位置を検出し、位置情報(例えば緯度、経度)を制御部118に送信する。
記憶部114は、例えばフラッシュメモリなどの不揮発性の半導体メモリであり、撮像部102が撮影した画像などを記憶する。
通信部116は、他の機器と無線通信(例えば携帯電話回線や無線LAN(Local Area Network)などを用いた通信)を行う。通信部116が行う通信は、例えばBluetooth(登録商標)、RFID(Radio Frequency Identification)、TransferJet(登録商標)、Wi−Fi(登録商標)などである。通信部116は、インターネットなどのネットワーク30に接続し、ネットワーク30に接続された他の機器(例えば情報処理装置20)との間で通信を行う。
制御部118は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)などを備え、プログラムを実行することにより、装着装置10全体を制御する。制御部118が実行する処理の詳細については後述する。
(情報処理装置20)
情報処理装置20は、サーバである。情報処理装置20は、図1に示すように、通信部202、記憶部204、及び制御部206を備える。
通信部202は、ネットワーク30を介して、他の機器(例えば装着装置10)と無線通信又は有線通信を行う。
記憶部204は、例えばフラッシュメモリなどの不揮発性の半導体メモリや、ハードディスクなどである。記憶部204は、装着装置10の表示部104が表示するコンテンツの情報を記憶する。ここで、図3に基づいて、記憶部204に記憶される情報(コンテンツDB40)の一例について説明する。
図3には、コンテンツDB40のデータ構造の一例が示されている。図3に示すように、コンテンツDB40は、位置情報、属性、コンテンツデータ、及びエア入力要否の各フィールドを有している。位置情報のフィールドには、どの位置(緯度と経度)に存在する装着装置10に対してコンテンツを送信するかの情報が格納される。属性のフィールドには、コンテンツがどのような人向け(例えば大人向け又は子供向け)のものであるかの情報が格納される。コンテンツデータのフィールドには、コンテンツのデータファイルが格納される。コンテンツは、動画であってもよいし、静止画であってもよい。エア入力要否のフィールドには、コンテンツがエア入力を使用するものか否かの情報が格納される。なお、エア入力とは、表示部104により表示される画像等に対してユーザが操作部106に触れることなく非接触で入力することであり、本実施の形態においては撮像部102によりユーザの指や手を撮像し、その撮像した位置から入力操作を受け付けるものである。より具体的には、制御部206が表示部104に複数の操作(例えばオンとオフの操作)の表示を行い、オンの表示に対応する位置(空間)に指があることを撮像部102で認識した場合にオンの操作が入力されたと認識することである。
このように、コンテンツDB40には、位置情報に応じたコンテンツが格納されている。つまり、例えば、ある遊園地のアトラクションの位置を示す位置情報に対応して、当該アトラクションのプロモーションビデオや、当該アトラクションに関連したキャラクターの塗り絵用画像等が格納されている。
制御部206は、CPUなどを備え、プログラムを実行することにより、情報処理装置20全体を制御する。
(連携処理)
次に、第1の実施形態に係る電子機器システム500において実行される、装着装置10と情報処理装置20との連携処理について説明する。図4は、装着装置10の制御部118が実行する処理の一例を示すフローチャートである。なお、図4の処理の前提として、ユーザは装着装置10を装着していて、表示部104が表示するコンテンツを情報処理装置20から受信するコンテンツ受信モードがユーザによって選択されているものとする。また、コンテンツ受信モードの選択に付随して、属性(大人又は子供)の選択がユーザによってされているものとする。このような選択は、ユーザが操作部106を介して、又はマイク108に所定の音声を入力することにより行うことができる。また、装着装置10を利用するユーザの属性が記憶部114に格納されている場合には、ユーザ認証を行った段階でユーザに対応する属性が自動的に選択される。
図4の処理では、まず、ステップS10において、制御部118は、装着装置10を装着したユーザが、例えば行列に並ぶなど、待ち状態にあるか判定する処理を実行する。ステップS10においては、具体的には、図5のフローチャートに沿った処理が実行される。
図5の処理では、まず、ステップS30において、制御部118は、一定の時間間隔(例えば30秒間隔)で、装着装置10を装着したユーザの位置を示す位置情報を位置検出部112から取得する。なお、制御部118は、地上に存在するWi−fi等の基地局からの電波を利用して、位置検出部112から取得した位置情報を補正してもよい。
次いで、ステップS32では、制御部118は、ユーザの位置を示す位置情報に基づいて、装着装置10を装着したユーザが動いているか否かを判断する。例えば、制御部118は、ユーザの位置が所定時間(例えば2分間)変化しない場合に、動いていないと判断する。なお、ユーザの位置が所定時間変化しないとは、位置が全く変化しない場合に限らず、所定時間で通常移動する距離に対して、位置があまり変化していない場合(移動距離が予め定められている閾値を超えない場合)を含むものである。ユーザが動いている場合、ステップS32の判断は肯定され、ステップS34に移行する。ステップS34に移行すると、制御部118は、ユーザは待ち状態にないと判断する。
一方、ユーザが動いていない場合(ステップS32/No)、制御部118は、ステップS36に移行する。ステップS36に移行すると、制御部118は、ユーザの周辺(例えばユーザの前方)を撮影した画像を撮像部102から取得する。
ステップS36の後は、ステップS38に移行し、制御部118は、ユーザの周辺の画像に基づいて、ユーザの周辺に行列があるか否かを判断する。例えば、ユーザの周辺の画像を画像認識し、ユーザの近傍において、多数の頭や顔が所定方向に列をなしていることを検出した場合には、ユーザの周辺に行列があると判断する。この場合、ユーザが行列の方向を見ていなければ、行列があるか否かを画像から判断することが難しい。したがって、ユーザの位置が変化していない間に撮影された複数の画像を用いて、ユーザの周辺に行列があるか否かを判断することとしてもよい。ユーザの周辺に行列がなければ、ステップS38の判断は否定され、制御部118は、ステップS34に移行する。ステップS34においては、制御部118は、ユーザが待ち状態にない(単に移動していないだけ)と判断する。
一方、ユーザの周辺に行列がある場合、ステップS38の判断が肯定され、制御部118は、ステップS40に移行する。ステップS40に移行すると、制御部118は、ユーザが待ち状態にあると判断する。
なお、図5の処理では、制御部118は、ユーザの位置情報とユーザの周辺の画像との両方に基づいて、ユーザが待ち状態にあるか否かを判断しているが、位置情報と画像とのいずれか一方のみに基づいて、待ち状態にあるか否かを判断してもよい。また、位置情報と画像の少なくとも一方と、他の要素(周辺の騒音(人の声)の大きさや、ユーザのイライラ度合い(例えば脈拍を検出するセンサから得られる脈拍の速さの情報))に基づいて、ユーザが待ち状態にあるか否かを判断してもよい。
図5のステップS34又はステップS40の後は、図4のステップS12に移行する。
図4に戻り、ステップS12では、制御部118は、待ち状態にあるか否かを判断する。ユーザが待ち状態にない場合(図5のS34を経た場合)、制御部118は、ステップS10に戻る。一方、ユーザが待ち状態にある場合(図5のS40を経た場合)、制御部118は、ステップS14に移行する。
ステップS14に移行すると、制御部118は、ユーザの属性(大人又は子供)の情報と位置検出部112から取得したユーザの現在位置を示す位置情報とを、情報処理装置20の制御部206に送信する。なお、ユーザが意図しない状態で情報処理装置20からコンテンツを受信して表示部104が表示することを抑制するために、ステップS14の処理の前に、制御部118は、情報処理装置20からコンテンツを受信するか否かを、表示部104又はスピーカー110を介して、ユーザに問い合わせるようにしてもよい。そして、ユーザは、当該問い合わせに対して、操作部106又はマイク108を介して、コンテンツを受信するか否かを選択してもよい。
なお、情報処理装置20の制御部206は、属性の情報と位置情報とを受信するまで待機しているので、ステップS14の処理が行われた段階で、記憶部204に記憶されたコンテンツDB40を参照して、受信したユーザの属性及び位置情報に対応するコンテンツデータとエア入力要否の情報とを、制御部118に送信する。
制御部118は、ステップS14の後は、ステップS16に移行し、情報処理装置20からコンテンツデータとエア入力要否に関する情報とを受信するまで待機する。なお、制御部118は、ステップS14の処理から所定時間(タイムアウトを示す時間であり、例えば5秒)が経過するまでに、情報処理装置20から情報を受信できない場合には、受信できない旨を表示部104に表示させたり、スピーカー110から音声出力させ、図4の処理を強制的に終了してもよい。
制御部118は、情報処理装置20からコンテンツデータとエア入力要否に関する情報を受信した段階で、ステップS18に移行する。ステップS18に移行すると、制御部118は、ステップS16で受信した情報に基づいて、エア入力を使用するか否かを判断する。エア入力を使用しない場合、ステップS18の判断は否定されて、ステップS20に移行する。ステップS20に移行すると、制御部118は、受信したコンテンツデータに基づくコンテンツを、表示部104により表示させる。制御部118は、表示部104によりコンテンツを表示させた場合には、コンテンツ(動画)が終了するか又はユーザによってコンテンツ表示を止める指示が操作部106又はマイク108を介して入力されるまでは、ユーザの位置が移動したとしても、コンテンツを表示させ続けるようにする。図6(a)には、表示部104が表示するコンテンツの一例として、遊園地のアトラクション(メリーゴーランド)のプロモーションビデオの画像を示している。
一方、エア入力を使用する場合(ステップS18/Yes)、制御部118は、ステップS22に移行する。ステップS22に移行すると、制御部118は、コンテンツをAR(Augmented Reality)表示するための表示領域が検出できるまで待機する。表示領域の検出は、例えばノート等の白い紙を撮像部102によって認識することで、その紙を表示領域として検出する。ただし、コンテンツによっては、エア入力が必要であっても表示領域の検出を必要としない場合がある。この場合には、ステップS22の判断を省略してもよく、表示部104の表示領域に対する指の位置を撮像部102により撮像すればいい。
ユーザが目の前に白い紙を用意するなどして、表示領域が制御部118によって検出された段階で、制御部118は、ステップS24に移行する。ステップS24に移行すると、制御部118は、検出した表示領域に対して、受信したコンテンツデータに基づくコンテンツを、表示部104によりAR表示させる。制御部118は、表示部104によりコンテンツをAR表示させた場合には、ユーザによってコンテンツ表示を止める指示が操作部106又はマイク108を介して入力されるまでは、ユーザの位置が移動したとしても、コンテンツを表示させ続けるようにする。図6(b)には、表示部104が表示するコンテンツの一例として、遊園地のアトラクションのキャラクターの塗り絵の画像を示している。制御部118は、白い紙に対して所定の大きさとなるようにキャラクターの塗り絵を表示するものとする。また、制御部118は、白い紙とは別の位置に、絵の具のパレットを模した入力デバイス50を表示部104により表示するものとする。
ステップS24の後は、ステップS26に移行し、制御部118は、撮像部102によって撮影された表示部104が表示するコンテンツに対するユーザのエア入力内容を、該コンテンツに重畳させて表示部104に表示させる。例えば、表示部104により塗り絵用画像が表示されている場合に、絵の具や色鉛筆などを用いることなく手軽に塗り絵を行うことができる。この場合、ユーザは、指やペンなどを動かすことで、入力デバイス50において選択された色を用いた塗り絵を行うことができる。
ステップS26の後は、ステップS28に移行し、制御部118は、ユーザがエア入力によって入力した内容を、ネットワーク30に接続された他の装置(情報処理装置20等)に送信する。この場合、例えば塗り絵への入力内容(完成した塗り絵の画像)が他の装置に送信されることで、他の装置では、例えば、完成した塗り絵を印刷したりすることができる。これにより、遊園地のアトラクション等では、サービスとして、他の装置で印刷した塗り絵をユーザに提供したり、塗り絵のコンテストを開催するなどすることができる。
以上詳細に説明したように、本第1の実施形態によれば、装着装置10の制御部118は、ユーザが装着装置10を装着した状態で待ち状態にあるか否かを判断し(S12)、待ち状態にある場合には、コンテンツ(所定の情報)をユーザが視認できるように表示部104に表示させる(S20、S24)。これにより、ユーザは待ち時間においてダウンロードなどの操作を行うことなくコンテンツを視認することができ、ユーザの利便性を向上させることができる。また、装着装置10はユーザの身体(顔)に装着されるため、ユーザは両手の自由が利いて移動時の安全性が良好になるとともに、手に持って利用する装置(タブレット端末等)よりも、装着装置10の落下可能性を低減することができる。
また、本第1の実施形態では、制御部118は、ユーザが待ち状態にあるか否かの判断に、ユーザの位置を示す位置情報を用いている(S32)。すなわち、制御部118は、例えばユーザの位置が所定時間変化しない場合(移動距離が閾値以下の場合)に、ユーザが待ち状態にあると判断している。これにより、簡易な方法によって、ユーザが待ち状態にあるか否かを判断することができる。
また、本第1の実施形態では、制御部118は、ユーザが待ち状態にあるか否かの判断に、撮像部102によって撮影された画像情報を用いている(S38)。例えば、制御部118は、ユーザの周りの画像からユーザの近傍に行列がある場合に、ユーザが待ち状態にあると判断している。このように、ユーザの周りの具体的な状況に基づいてユーザが待ち状態にあるか否かを判断することで、待ち状態にあるか否かの判断を適切に行うことができる。また、本第1の実施形態では、制御部118は、待ち状態にあるか否かをユーザの位置を示す位置情報とユーザの周辺の画像情報との両方に基づいて判断するので、待ち状態か否かの判断をより適切に行うことが可能である。
また、本第1の実施形態では、制御部118は、ユーザの現在位置を示す位置情報を情報処理装置20に送信し(S14)、該位置情報に応じたコンテンツを受信して(S16)、表示部104に表示させる(S20、S24)。すなわち、制御部118は、ユーザの位置の変化に応じて表示するコンテンツを決定する。これにより、ユーザは、例えば遊園地のアトラクションに並んでいる場合に、当該アトラクションのプロモーションビデオや当該アトラクションのキャラクターの塗り絵など、その場に適したコンテンツを得ることができる。
また、本第1の実施形態では、制御部118は、撮像部102によって撮影された表示部104が表示する画像に対するユーザの入力動作(エア入力)に応じた表示を表示部104に表示させている(S26)。これにより、ユーザは、他人に見られることなく、表示部104が表示するコンテンツへの入力内容を視認することができる。例えば、ユーザが目の近傍に装着する装着装置10の表示部104に塗り絵の画像を表示する場合、他人の目を気にすることなく、塗り絵を楽しむことができる。
なお、上記第1の実施形態においては、装着装置10を装着したユーザが例えば遊園地のアトラクションに並んでいる場合に、制御部118は、並んでいる位置に応じて(アトラクションまでの距離に応じて)、当該アトラクションに関するプロモーションビデオの内容を変えて表示部104により表示させるようにしてもよい。この場合、図3のコンテンツDB40において、位置情報の範囲を狭く設定するようにすればよい。
なお、上記第1の実施形態においては、ユーザが、遊園地のアトラクションに並ぶ際に装着装置10を装着する場合について説明したが、これに限らず、例えば、ユーザが飲食店などの行列に並ぶ際に、装着装置10を装着することとしてもよい。この場合、制御部118は、飲食店のメニュー票や該メニュー票に商品の残り数などを書き込んだ画像を情報処理装置20から受信して、表示部104により表示することとしてもよい。これにより、ユーザは、行列に並んでいる間、かつ適切なタイミングで注文するものを決めることが可能となる。なお、制御部118は、表示部104に、例えば注文するものやその個数を記載する注文票を表示させてもよい。制御部118は、ユーザによる注文票へのエア入力を受け付け、該受け付けた内容を情報処理装置20等へ送信することで、注文を確定するようにしてもよい。また、制御部118は、飲食店の会員登録のための登録票を情報処理装置20から受信して表示部104に表示させてもよい。この場合、制御部118は、ユーザによる登録票に対するエア入力を受け付け、受け付けた内容を情報処理装置20等に送信し、会員登録するようにしてもよい。このようにすることで、ユーザは他人に氏名や住所などを知られることなく登録票への入力ができ、プライバシーの保護が図れる。
なお、上記第1の実施形態において、例えば、記憶部204のコンテンツDB40に、同一位置に関して複数のコンテンツデータが記憶されている場合もある。このような場合には、制御部118は、ユーザに複数のコンテンツデータのうちの1つのコンテンツデータを選択させてもよい。例えば、制御部118は、複数のコンテンツデータそれぞれの内容を示す情報を情報処理装置20から受信し、当該情報を表示部104又はスピーカー110を介してユーザに報知してもよい。ユーザは、操作部106又はマイク108を利用して、表示するコンテンツを選択してもよい。なお、コンテンツの選択等においては、ユーザの視線を検出する視線検出部を装着装置10に設け、該視線検出部により検出したユーザの視線にあるコンテンツを選択するようにしてもよい。
なお、上記第1の実施形態では、ユーザの属性(図3参照)を大人と子供で分ける場合について説明したが、これに限らず、ユーザの属性を男女や年代等にで分けることとしてもよい。
なお、上記第1の実施形態では、制御部118は、情報処理装置20から装着装置10の位置に応じたコンテンツを受信したが、装着装置10の位置とは無関係のコンテンツを受信するようにしてもよい。この場合、例えばユーザが情報処理装置20の記憶部204に待ち状態になったときに受信するコンテンツを予め記憶させておき、当該コンテンツを受信するようにしてもよい。記憶部204に記憶させておくコンテンツは、例えば装着装置10の撮像部102や他の撮像装置(例えばカメラなど)で撮影した画像の場合でもよいし、撮影した画像を画像処理にて塗り絵に変換した画像の場合でもよい。あるいは、ユーザが録画したテレビ番組等のコンテンツであってもよい。
なお、上記第1の実施形態では、車を運転する運転者や助手席の者が装着装置10を装着し、渋滞などで待ち状態にある場合に、制御部118は、高速道路のパーキングエリアやサービスエリアの混雑情報や、臨時施設の設置情報などを受信して、表示部104に表示させてもよい。この場合、渋滞などで待ち状態にあるか否かの判断は、撮像部102で撮影された画像に列をなす複数台の自動車が含まれているか、ユーザの位置変化が小さいか等に基づいて判断することができる。
なお、上記第1の実施形態では、制御部118は、行列の前方に並んだ人物が装着する装着装置から、ユーザの現在位置から該人物の位置までの移動に要した時間を受信して、表示部104により表示させたり、スピーカー110から音声出力してもよい。これにより、ユーザは、行列にどの程度の時間並ぶことになるかの情報を得ることができる。
《第2の実施形態》
次に、第2の実施形態に係る電子機器システム600について、図7〜図10(b)に基づいて、詳細に説明する。図7には、電子機器システム600の構成がブロック図にて示されている。電子機器システム600は、図7に示すように、装着装置10と情報処理装置20とが、互いの通信部116、202を介して、近接通信又は無線通信を行う。装着装置10及び情報処理装置20のその他の構成は、第1の実施形態の図1に示す装着装置10及び情報処理装置20と同一又は同等であるため、ここでは説明を省略する。
(連携処理)
以下、第2の実施形態に係る電子機器システム600において実行される、装着装置10と情報処理装置20との連携処理について説明する。図8は、装着装置10の制御部118が実行する処理の一例を示すフローチャートである。なお、図8の処理の前提として、情報処理装置20は病院(例えば、診療科が少ない個人病院等)のサーバであるものとする。そして、当該病院では、来院した順に診察が行われるものとする。なお、情報処理装置20の記憶部204には、患者の情報を格納したデータベース(患者DB)が記憶されており、制御部206は、患者名を用いて患者DBを検索することで、来院した患者(装着装置10を装着したユーザ)が初診であるか再診であるかを判定できるものとする。
なお、図8の処理は、図9に示すように装着装置10を装着したユーザ(患者)が病院の入口を通過し、入口近傍に設けられた情報処理装置20の通信部202と装着装置10の通信部116とが近接通信又は無線通信を行った段階から開始される。
図8の処理では、まず、ステップS50において、制御部118は、診察の順番待ちの要求を、情報処理装置20の制御部206に送信する。この場合、制御部118は、ユーザの識別情報として、ユーザの氏名の情報を送信する。なお、病院の診察券の情報が装着装置10の記憶部114に格納されている場合には、診察券の情報(診察券番号等)を送信してもよい。この場合、情報処理装置20は、病院に来た患者が初診か再診かを判断するとともに、診察の順番を管理する。なお、ステップS50を実行した装着装置10のユーザは、診察の順番を待っている状態であり、制御部118は、ユーザが待ち状態であることを検出しているといえる。
次いで、ステップS52では、制御部118は、問診票の送信要求を、情報処理装置20の制御部206に送信する。この場合、情報処理装置20の制御部206では、ユーザ(患者)が初診であれば問診票のデータを送信し、再診であれば問診票のデータは送信しないものとする。
次いで、ステップS54では、制御部118は、情報処理装置20から問診票のデータを受信したか否かを判断する。このステップS54の判断が否定された場合、すなわち再診であり問診票の記入の必要がない場合には、図8の全処理を終了する。なお、図8の全処理を終了する前に、“問診票の記入の必要はありません。お呼びするまで少々お待ちください。”などのメッセージを表示することとしてもよい。
一方、ステップS54の判断が肯定された場合、すなわち、初診であり、問診票の記入の必要がある場合には、制御部118は、ステップS56に移行し、問診票をAR表示するための表示領域が検出できるまで待機する。
図10(a)のように、ユーザが白い紙を持つなどして、表示領域が検出できた段階で、制御部118は、ステップS58に移行する。ステップS58に移行すると、制御部118は、検出した表示領域に、表示部104により問診票のデータをAR表示させる。図10(b)には、表示部104により問診票のデータがAR表示された場合の、ユーザの実視界領域が示されている。
次いで、ステップS60では、制御部118は、撮像部102によって撮影された表示部104が表示する問診票に対するユーザのエア入力を、問診票に重畳させて表示部104に表示させる。これにより、ユーザは、他人に見られることなく問診票への記入を行うことができ、プライバシーの保護が図れる。
ユーザによる問診票に対する入力が終了すると、ステップS62に移行し、制御部118は、ユーザがエア入力によって入力した内容を情報処理装置20等に送信する。これにより、問診票の内容が、情報処理装置20において管理される(患者DBに格納される)ようになっている。
以上詳細に説明したように、本第2の実施形態によれば、装着装置10の制御部118は、ユーザが診察を待っている状態にある場合に、問診票のデータを受信し(S54)、当該問診票のデータをユーザが視認できるように表示部104にAR表示させている(S58)。これにより、ユーザは、診察待ちの際に記入する問診票を窓口に受け取りに行かずに済むため、利便性が向上する。また、問診票のデータを目の近傍に表示し、問診票に対する入力を、エア入力で行うことができるため、他人に見られることなく問診票への記入を行うことができ、プライバシーの保護を図ることができる。
なお、上記第2の実施形態では、装着装置10を装着したユーザが病院の入口を通過する際に、制御部118が情報処理装置20から問診票のデータを受信する場合を例に示したが、これに限らず、制御部118は、問診票のデータ以外の情報を受信することとしてもよい。また、装着装置10を装着したユーザが病院以外の施設で待ち状態にある場合に、制御部118が当該施設の情報処理装置20から所定の情報を受信するようにしてもよい。例えば、銀行などの金融機関において窓口の対応順を示す番号札をもらったタイミングで(待ち状態になったタイミングで)、制御部118が、表示部104に記入が必要な用紙(振込用紙など)のデータを表示するようにしてもよい。
《第3の実施形態》
以下、第3の実施形態に係る電子機器システム700について、図11〜図14に基づいて、詳細に説明する。図11には、電子機器システム700の構成がブロック図にて示されている。電子機器システム700は、図11に示すように、第1装着装置10Aと、第2装着装置10Bと、を備える。
第1装着装置10Aと第2装着装置10Bは、方位センサ120、120’を有する点以外、第1の実施形態の図1に示す装着装置10の構成と同一又は同等であるため、ここでは説明を省略する。なお、図11においては、説明の便宜上、第2装着装置10Bの各構成の符号に「’」を付して示している。なお、第1装着装置10Aと第2装着装置10Bとは、互いの通信部116、116’を介して無線通信を行うものとする。
(連携処理)
次に、第3の実施形態に係る電子機器システム700において実行される、第1装着装置10Aと第2装着装置10Bとの連携処理について説明する。なお、本第3の実施形態の連携処理は、第1装着装置10Aを装着したユーザA及び第2装着装置10Bを装着したユーザBがアトラクションなどの行列に並んだ状態から、ユーザAが行列から外れてトイレなどに行った後に再度行列に戻る場合に、ユーザAの第1装着装置10Aに対して行列に並び続けているユーザBの位置を示す処理である。ユーザAは、行列に戻る際に、第1装着装置10Aに対して所定の操作(行列に戻りたいという意思を入力する操作)を行うものとし、当該操作により第1装着装置10Aの制御部118は、図12の処理を開始するものとする。
図12は、第1装着装置10Aの制御部118が実行する処理の一例を示すフローチャートである。図13は、第2装着装置10Bの制御部118’が実行する処理の一例を示すフローチャートである。なお、図12及び図13の処理の前提として、第1装着装置10Aと第2装着装置10Bは、予めペアリングされているものとする。ペアリングは、一方の装置に他方の装置の識別情報を登録するなどして行う。なお、第1装着装置10Aと第2装着装置10Bが近距離無線通信(NFC:Near Field Communication)可能な通信部を有する場合には、当該通信部を利用して両装置をペアリングしてもよい。
図12の処理では、まず、ステップS70において、第1装着装置10Aの制御部118は、ペアリング相手である第2装着装置10Bの制御部118’に対して、第2装着装置10Bの現在位置を示す位置情報の送信要求を送信する。
一方、第2装着装置10Bの制御部118’は、図13のステップS80において、ペアリング相手である第1装着装置10Aからの位置情報の送信要求を受信するまで待機しているので、図12のステップS70の処理が行われた段階で、ステップS82に移行する。なお、制御部118’が第1装着装置10Aからの位置情報の送信要求を受信したということは、第2装着装置10Bを装着するユーザBが行列に並んでいる(待ち状態である)ことを制御部118’が検出したということを意味する。
ステップS82に移行すると、第2装着装置10Bの制御部118’は、第2装着装置10Bの現在位置を示す位置情報を位置検出部112’から取得する。次いで、ステップS84では、第2装着装置10Bの制御部118’は、位置情報を第1装着装置10Aの制御部118に送信する。なお、この際に、第2装着装置10Bの制御部118’は、地上に設置されているWi−Fi等の基地局からの電波を利用して位置検出部112’から取得した位置情報を補正し、補正後の位置情報を第1装着装置10Aの制御部118に送信してもよい。そして、次のステップS86では、制御部118’は、ユーザAがユーザBを探している旨を表示部104’に表示させる。これにより、ユーザBは、周囲を見回すことでユーザAを捜索し始めることが可能となる。
図12に戻り、第1装着装置10Aの制御部118は、ステップS70の後、ステップS72において、第2装着装置10Bから位置情報を受信するまで待機している。したがって、制御部118’において図13のステップS84の処理が実行されたタイミングで、制御部118は、ステップS74に移行する。ステップS74に移行すると、第1装着装置10Aの制御部118は、受信した第2装着装置10B(ユーザB)の位置情報を用いて、第2装着装置10Bの位置を示す画像を表示部104に表示させる。
例えば、制御部118は、受信した第2装着装置10Bの位置情報と、第1装着装置10Aの方位センサ120の検出値(ユーザAが向いている方向)と、第1装着装置10Aの現在位置情報とを用いて、ユーザAの視野内におけるユーザBの位置を特定する。そして、制御部118は、特定した位置を示す画像を表示部104に表示させる。図14は、表示部104が表示する画像の一例を示している。図14に示すように、制御部118は、当該位置を示す画像を、例えば三角印などのマークによって表示部104により表示させる。これにより、第1装着装置10Aを装着するユーザAは、表示部104により表示された画像を実視界に重畳して視認でき、第2装着装置Bを装着するユーザBを探すことができる。
なお、ユーザBが行列に戻る場合には、第2装着装置10Bの制御部118’が図12の処理を行い、第1装着装置10Aの制御部118が図13の処理を行う。
以上詳細に説明したように、本第3の実施形態によれば、第1装着装置10Aの制御部118は、行列に並んで待ち状態にあるユーザBが装着する第2装着装置10Bから第2装着装置10Bの現在位置を示す位置情報を受信し(S72)、受信した位置情報に基づく位置を示す画像を表示部104に表示させる(S74)。これにより、第1装着装置10Aを装着するユーザAは、第2装着装置10Bを装着するユーザBを探し出すことができるようになり、利便性が向上する。
また、本第3の実施形態によれば、第2装着装置10Bの制御部118’は、ユーザBが第2装着装置10Bを装着した状態においてユーザBが待ち状態にあるかことを検出すると(S80/YES)、表示部104’に、ユーザAがユーザBの位置を探している旨をユーザBが視認できるように表示させる(S86)。これにより、第2装着装置10Bを装着するユーザBは、行列に並びながら、第1装着装置10Aを装着するユーザAを探し始めることができるので、ユーザA,B間で声を掛け合うなどして、ユーザAが行列に戻りやすくなる。
なお、上記第3の実施形態において、第2装着装置10Bの記憶部114’にユーザBの顔情報や、服装、持ち物等の特徴的な情報が記憶されていて、第1装着装置10Aの制御部118は、第2装着装置10Bから該情報を受信して、表示部104に表示させてもよい。また、制御部118は、撮像部102が撮影した第2装着装置10Bの周辺の画像から該情報に適合する人物を検出して、該人物を指す目印を表示部104に表示させてもよい。これらにより、第1装着装置10Aを装着するユーザAは、ユーザBをより容易に探し出すことが可能となる。なお、第1装着装置10Aの記憶部114に、ユーザBの顔情報や、服装、持ち物等の特徴的な情報を予め記憶させておいてもよい。そして、制御部118は、該情報を表示部104に表示させたり、撮像部102が撮影した第2装着装置10Bの周辺の画像から該情報に適合する人物を検出して、該人物を指す目印を表示部104に表示させてもよい。
なお、上記第3の実施形態においては、ユーザBが利用する第2装着装置10Bが、眼鏡型の端末である場合について説明したが、これに限らず、第2装着装置10Bは、スマートフォンなどの携帯端末であってもよい。
なお、上記第3の実施形態では、ユーザBが行列に並んでいる場合について説明したが、これに限られるものではない。例えば、ユーザBがコンサート会場やサッカー場などの観客席、飛行機や新幹線の座席などに着席しており、ユーザAがトイレなどから座席に戻る場合に、上記第3の実施形態の処理が実行されることとしてもよい。
なお、上記第1〜第3の実施形態における処理機能は、コンピュータによって実現することができる。その場合、処理装置(CPU)が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
上述した各実施形態は本発明の好適な実施の例であり、適宜組み合わせることができる。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
10 装着装置
10A 第1装着装置
10B 第2装着装置
20 情報処理装置
30 ネットワーク
40 コンテンツDB
50 入力デバイス
102、102’ 撮像部
104、104’ 表示部
106、106’ 操作部
108、108’ マイク
110、110’ スピーカー
112、112’ 位置検出部
114、114’ 記憶部
116、116’ 通信部
118、118’ 制御部
120、120’ 方位センサ
202 通信部
204 記憶部
206 制御部

Claims (8)

  1. ユーザの身体に装着される電子機器であって、
    前記ユーザが前記電子機器を装着した状態において前記ユーザが待ち状態にあるか否かを検出する検出部と、
    前記検出部によって待ち状態にあることが検出された場合に、所定の情報を前記ユーザが視認できるように表示する表示部と、を備える電子機器。
  2. 位置情報を検出する位置検出部を備え、
    前記検出部は、前記位置情報に基づいて、待ち状態にあるか否かを検出する請求項1記載の電子機器。
  3. 前記検出部は、前記位置検出部によって検出された位置が所定時間変化しない場合に待ち状態にあることを検出する請求項2記載の電子機器。
  4. 前記表示部は、位置検出部によって検出された位置の変化に応じて前記所定の情報を変更して表示する請求項1から3のいずれか一項記載の電子機器。
  5. 撮像部を備え、
    前記検出部は、前記撮像部によって撮影された画像情報に基づいて、待ち状態にあるか否かを検出する請求項1から4のいずれか一項記載の電子機器。
  6. 前記ユーザを撮影可能な撮像部を備え、
    前記表示部は、前記撮像部により撮影された前記ユーザに応じた表示を行う請求項1から5のいずれか一項記載の電子機器。
  7. 前記ユーザの操作内容を外部装置に送信する通信部を備える請求項6記載の電子機器。
  8. 前記撮像部は、前記ユーザが前記電子機器を装着した状態において前記ユーザが向いている方向を撮影する請求項5から7のいずれか一項記載の電子機器。
JP2014173065A 2014-08-27 2014-08-27 電子機器 Pending JP2016048301A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014173065A JP2016048301A (ja) 2014-08-27 2014-08-27 電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014173065A JP2016048301A (ja) 2014-08-27 2014-08-27 電子機器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020052107A Division JP2020126657A (ja) 2020-03-24 2020-03-24 電子機器

Publications (1)

Publication Number Publication Date
JP2016048301A true JP2016048301A (ja) 2016-04-07

Family

ID=55649237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014173065A Pending JP2016048301A (ja) 2014-08-27 2014-08-27 電子機器

Country Status (1)

Country Link
JP (1) JP2016048301A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440418B2 (en) 2017-01-23 2019-10-08 Tyffon Inc. Display apparatus, display method, display program, and entertainment facility
US10499030B2 (en) 2017-01-23 2019-12-03 Tyffon Inc. Video providing system, video providing method, and video providing program
JP2021036422A (ja) * 2019-08-20 2021-03-04 ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行
JP2021047274A (ja) * 2019-09-18 2021-03-25 スカパーJsat株式会社 表示制御装置、表示装置、表示制御方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013206412A (ja) * 2012-03-29 2013-10-07 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
JP2014035642A (ja) * 2012-08-08 2014-02-24 Canon Inc 表示装置及びその制御方法、表示システム、プログラム
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013206412A (ja) * 2012-03-29 2013-10-07 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
JP2014035642A (ja) * 2012-08-08 2014-02-24 Canon Inc 表示装置及びその制御方法、表示システム、プログラム
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440418B2 (en) 2017-01-23 2019-10-08 Tyffon Inc. Display apparatus, display method, display program, and entertainment facility
US10499030B2 (en) 2017-01-23 2019-12-03 Tyffon Inc. Video providing system, video providing method, and video providing program
JP2021036422A (ja) * 2019-08-20 2021-03-04 ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行
US11481980B2 (en) 2019-08-20 2022-10-25 The Calany Holding S.Á´ R.L. Transitioning from public to personal digital reality experience
JP7217990B2 (ja) 2019-08-20 2023-02-06 ザ カラニー ホールディング エスエーアールエル パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行
JP2021047274A (ja) * 2019-09-18 2021-03-25 スカパーJsat株式会社 表示制御装置、表示装置、表示制御方法、プログラム

Similar Documents

Publication Publication Date Title
JP5690113B2 (ja) 自律移動サービス提供システム
US10950063B2 (en) Method and device for in-vehicle payment
JP2005037181A (ja) ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
JP2016048301A (ja) 電子機器
US20190279496A1 (en) Proximity assisted seamless service (pass)
US10430572B2 (en) Information processing system that recognizes a user, storage medium, and information processing method
WO2019184359A1 (zh) 服务器、增强现实装置、系统、共享方法及存储介质
Chatzopoulos et al. Hyperion: A wearable augmented reality system for text extraction and manipulation in the air
JP6600596B2 (ja) 音声ガイド支援システム及びそのプログラム
KR101763186B1 (ko) 실시간 차량정보 제공방법 및 프로그램
CN110659895A (zh) 支付方法、装置、电子设备及介质
JP2013041413A (ja) 記入支援システム、サーバ装置、記入支援装置、及びプログラム
CN111652624A (zh) 购票处理方法、检票处理方法、装置、设备及存储介质
JP6135224B2 (ja) 表示装置及び表示システム
CN112330380A (zh) 订单创建方法、装置、计算机设备及计算机可读存储介质
JP2013015649A (ja) 視野角制御装置、表示装置、視野角制御方法、プログラム
JP2020126657A (ja) 電子機器
CN114078582A (zh) 服务信息的关联方法、装置、终端及存储介质
JP5836670B2 (ja) 案内システム、撮影装置、および制御装置
CN111325083B (zh) 记录考勤信息的方法和装置
JP2017182416A (ja) 通知サーバ装置、通知方法、及びプログラム
WO2015105075A1 (ja) 情報処理装置及び電子機器
JP6448866B2 (ja) 画像取得システム、画像取得方法及びプログラム
CN113168678A (zh) 信息提供系统、信息提供控制设备、信息提供方法、信息提供控制方法和存储介质
JP2014228950A (ja) 情報管理装置、情報管理システム、通信端末および情報管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191224