以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
また、本発明は、以下に説明する眼鏡表示装置に限定されるものではなく、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタ等にも適用することができる。
(眼鏡表示装置の構成概略)
図1は、一実施の形態にかかる眼鏡表示装置100の基本構成の一例を示す模式的外観正面図であり、図2は、眼鏡表示装置100の一例を示す模式的外観斜視図である。
図1または図2に示すように、眼鏡表示装置100は、眼鏡型の表示装置である。当該眼鏡表示装置100は、後述するように、ユーザの顔に装着して使用される。
図1および図2に示すように、眼鏡表示装置100は、主に、眼鏡ユニット200、通信システム300および操作システム400からなる。
(眼鏡ユニット200)
図1および図2に示すように、眼鏡ユニット200は、眼鏡フレーム210、一対の半透過ディスプレイ220および一対の表示調整機構600からなる。眼鏡フレーム210は、主にリムユニット211、テンプルユニット212を含む。
眼鏡フレーム210のリムユニット211により一対の半透過ディスプレイ220が支持される。また、リムユニット211には、一対の表示調整機構600が設けられる。さらに、リムユニット211には、赤外線検知ユニット410およびユニット調整機構500が設けられる。ユニット調整機構500の詳細については後述する。
一対の表示調整機構600は、後述するように一対の半透過ディスプレイ220の角度および位置を調整することができる。一対の表示調整機構600の詳細については、後述する。
本実施の形態においては、眼鏡表示装置100には、リムユニット211の一対の表示調整機構600に一対の半透過ディスプレイ220を設けることとしているが、これに限定されず、眼鏡表示装置100のリムユニット211の一対の表示調整機構600に通常のサングラスレンズ、紫外線カットレンズ、または眼鏡レンズなどのレンズ類を設け、別に1個の半透過ディスプレイ220または一対の半透過ディスプレイ220を設けてもよい。
また、当該レンズ類の一部に、半透過ディスプレイ220を埋め込んで設けてもよい。
また、一対の表示調整機構600を半透過ディスプレイ220の側部に設けているが、これに限定されず、半透過ディスプレイ220の周囲または内部に設けてもよい。
さらに、本実施の形態は、眼鏡タイプに限定するものではなく、人体に装着し、装着者の視野に配設できるタイプであれば、帽子タイプその他任意のヘッドマウントディスプレイ装置に使用することができる。
なお、本発明のバイク用ヘッドマウントディスプレイ(眼鏡表示装置100)は、バイク用ヘルメットであってもよい。また、本発明のバイク用ヘッドマウントディスプレイは、バイク用のゴーグル、バイク用ヘルメットのシールド部であってもよい。
本発明にかかる「バイク」とは、エンジンを搭載したバイクだけでなく、電動バイク、電動アシスト自転車および自転車等を含む概念である。また、本発明にかかる「バイク」は2輪のバイクだけでなく、3輪のバイクおよび4輪のバイクも含む概念であり、タイヤの数に限定されない。その他、本発明に係る「バイク」は、サイドカーを備えるバイクであってもよい。
(通信システム300)
次に、通信システム300について説明を行なう。通信システム300は、バッテリーユニット301、アンテナモジュール302、カメラユニット303、スピーカユニット304、GPS(Global Positioning System)ユニット307、マイクユニット308、SIM(Subscriber Identity Module Card)ユニット309およびメインユニット310を含む。
なお、カメラユニット303にはCCD(Charge−Coupled Device)センサが備えられてもよい。スピーカユニット304は、ノーマルイヤホンであってもよいし、骨伝導イヤホンであってもよい。SIMユニット309には、NFC(Near Field Communication:近距離無線通信)ユニットおよび他の接触式ICカードユニット、ならびに非接触式ICカードユニットを含んでもよい。
以上のように、本実施の形態にかかる通信システム300は、少なくとも携帯電話、スマートフォンおよびタブレット端末のいずれかの機能を含むものである。具体的には、電話機能、インターネット機能、ブラウザ機能、メール機能、および撮像機能(録画機能を含む)等を含むものである。
したがって、ユーザは、眼鏡表示装置100を用いて、通信部、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡型であるので、両手を利用せず、通話を行なうことができる。本実施形態における詳細な内容は後述する。本実施形態における目的地情報D100(後述、図24参照)を取得する通信部は、通信システム300が該当する。
(操作システム400)
続いて、操作システム400は、赤外線検知ユニット410、ジャイロセンサユニット420、加速度検知ユニット430および制御ユニット450からなる。赤外線検知ユニット410は、主に赤外線照射素子411および赤外線検知カメラ412からなる。
(ユニット調整機構500)
図2に示すように、ユニット調整機構500は、赤外線検知ユニット410の角度を調整することができる。具体的には、ユニット調整機構500は、矢印V5の水平軸周り、および、矢印H5の垂直軸周り、に赤外線検知ユニット410の角度を調整可能な構造である。
ユニット調整機構500は、制御ユニット450からの指示により矢印V5および矢印H5の方向に移動調整する。
例えば、制御ユニット450により所定のジェスチャを認識した場合に、ユニット調整機構500を所定の角度で動作させてもよい。その場合、ユーザは、所定のジェスチャを行うことにより赤外線検知ユニット410の角度の調整を行うことができる。
なお、本実施の形態においては制御ユニット450によりユニット調整機構500が動作することとしているが、これに限定されず、手動により図1の調整部520を操作して、矢印V5の方向および矢印H5の方向に移動調整できることとしてもよい。
続いて、操作システム400の構成、処理の流れおよび概念について説明を行なう。図3は、操作システム400の制御ユニット450の構成の一例を示す模式図である。
図3に示すように、制御ユニット450は、イメージセンサ演算ユニット451、デプスマップ演算ユニット452、イメージ処理ユニット453、解剖学的認識ユニット454、ジェスチャデータ記録ユニット455、ジェスチャ識別ユニット456、キャリブレーションデータ記録ユニット457、合成演算ユニット458、アプリケーションソフトユニット459、イベントサービスユニット460、キャリブレーションサービスユニット461、表示サービスユニット462、グラフィック演算ユニット463、ディスプレイ演算ユニット464、および6軸駆動ドライバユニット465を含む。
なお、制御ユニット450は、上記の全てを含む必要はなく、適宜必要な1または複数のユニットを含んでもよい。たとえば、ジェスチャデータ記録ユニット455およびキャリブレーションデータ記録ユニット457は、クラウド上に配置してもよく、合成演算ユニット458を特に設けなくてもよい。
また、「クラウド」とは、クラウドコンピューティング(cloud computing)の略称である。本発明における「クラウド」とは、コンピューティング資源(ソフトウェア、ハードウェアなど)をインターネットなどのネットワークを介して共同利用するシステムである。
つまり、クラウドを用いることにより、インターネット上にデータを保存できる。また、クラウドを用いることにより、様々な場所から様々な端末でデータの閲覧、編集、アップロードをすることができる。本実施形態では、クラウドサーバとも表現する。
次に、図4は、操作システム400における処理の流れを示すフローチャートであり、図5は図4のフローチャートに応じた概念を示す模式図である。
まず、図4に示すように、赤外線検知ユニット410から対象のデータを取得し、デプスマップ演算ユニット452により深さ演算を行なう(ステップS1)。次に、イメージ処理ユニット453により外形イメージデータを処理する(ステップS2)。
次いで、解剖学的認識ユニット454により、標準的な人体の構造に基づき、ステップS2において処理された外形イメージデータから、解剖学的特徴を識別する。これにより、外形が認識される(ステップS3)。
さらに、ジェスチャ識別ユニット456により、ステップS3で得た解剖学的特徴に基づいてジェスチャを識別する(ステップS4)。
ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455に記録されたジェスチャデータを参照し、解剖学的特徴が識別された外形からジェスチャの識別を行なう。
なお、ジェスチャ識別ユニット456は、ジェスチャデータ記録ユニット455からのジェスチャデータを参照することとしているが、参照することに限定されず、他の任意のデータを参照してもよく、全く参照することなく処理してもよい。
以上により、図5(a)に示すように、手のジェスチャを認識する。
続いて、アプリケーションソフトユニット459およびイベントサービスユニット460は、ジェスチャ識別ユニット456により判定されたジェスチャに応じて所定のイベントを実施する(ステップS5)。
これによって、図5(b)に示すように、たとえば写真アプリによる画像が表示される。この際、当該画面には、カメラユニット303からの撮像データが表示されてよい。
最後に、表示サービスユニット462、キャリブレーションサービスユニット461、グラフィック演算ユニット463、ディスプレイ演算ユニット464および合成演算ユニット458により、半透過ディスプレイ220に、イメージの表示、またはイメージの仮想表示が行なわれる(ステップS6)。
これによって、図5(c)に示すようにジェスチャを示す手のスケルトンの表示が行われ、図5(d)に示すように、当該スケルトンの形状および大きさに写真の形状および大きさが合致するように合成されたイメージが表示される。
なお、6軸駆動ドライバユニット465は、常にジャイロセンサユニット420、加速度検知ユニット430からの信号を検知し、ディスプレイ演算ユニット464に姿勢状況を伝達する。
眼鏡表示装置100を装着したユーザが眼鏡表示装置100を傾斜させた場合には、6軸駆動ドライバユニット465は、常にジャイロセンサユニット420、加速度検知ユニット430からの信号を受信し、イメージの表示の制御を行なう。当該制御においては、イメージの表示を水平に維持させてもよいし、イメージの表示を傾斜にあわせて調整してもよい。
(検知領域と仮想表示領域との一例)
次に、操作システム400の赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域との関係について説明を行なう。
図6は、赤外線検知ユニット410の検知領域と、一対の半透過ディスプレイ220の仮想表示領域とを説明するための模式的斜視図であり、図7は図6の上面図であり、図8は、図6の側面図である。
以下において、説明の便宜上、図6に示すように、x軸、y軸およびz軸からなる三次元直交座標系が定義される。以下の図におけるx軸の矢印は、水平方向を指す。y軸の矢印は、鉛直方向またはユーザの体の長軸方向を指す。z軸の矢印は、深度方向を指す。z軸正方向は、より大きい深度の方向を指す。それぞれの矢印の向きは、他の図においても同じである。
図6から図8に示すように、眼鏡表示装置100は操作システム400の赤外線検知ユニット410により検知可能な三次元空間検知領域(3Dスペース)4103Dを有する。
三次元空間検知領域4103Dは、赤外線検知ユニット410からの円錐状または角錐状の三次元空間からなる。
すなわち、赤外線検知ユニット410は、赤外線照射素子411から、照射された赤外線を、赤外線検知カメラ412により検知できるので、三次元空間検知領域4103D内のジェスチャを認識することができる。
また、本実施の形態においては、赤外線検知ユニット410を1個設けることとしているが、これに限定されず、赤外線検知ユニット410を複数個設けてもよいし、赤外線照射素子411を1個、赤外線検知カメラ412を複数個設けてもよい。
続いて、図6から図8に示すように一対の半透過ディスプレイ220は、ユーザに、実際に設けられた眼鏡表示装置100の部分ではなく、眼鏡表示装置100から離れた場所となる仮想イメージ表示領域2203Dに、奥行きを持って仮想表示されたものとして視認させる。
当該奥行きは、仮想イメージ表示領域2203Dが有する仮想立体形状の深度方向(z軸方向)の厚みに対応する。したがって、当該仮想立体形状の深度方向(z軸方向)の厚みに応じて奥行きが設けられる。
すなわち、実際には眼鏡表示装置100の半透過ディスプレイ220に表示されるものの、ユーザは、右目のイメージは右目側の半透過ディスプレイ220を透過し三次元空間領域2203DRで認識し、左目のイメージは左目側の半透過ディスプレイ220を透過し三次元空間領域2203DLで認識する。
その結果、認識された両イメージがユーザの脳内で合成されることにより、仮想イメージ表示領域2203Dで仮想イメージとして認識することができる。
また、仮想イメージ表示領域2203Dは、フレーム・シーケンシャル方式、偏光方式、直線偏光方式、円偏光方式、トップ・アンド・ボトム方式、サイド・バイ・サイド方式、アナグリフ方式、レンチキュラ方式、パララックス・バリア方式、液晶パララックス・バリア方式、2視差方式および3視差以上を利用する多視差方式のいずれかを利用して表示されてもよい。
また、本実施の形態においては、仮想イメージ表示領域2203Dは、三次元空間検知領域4103Dと共有する空間領域を有する。特に、図6および図7に示すように、三次元空間検知領域4103Dの内部に、仮想イメージ表示領域2203Dが存在するため、仮想イメージ表示領域2203Dが共有領域となる。
なお、仮想イメージ表示領域2203Dの形状およびサイズについては、一対の半透過ディスプレイ220への表示方法により任意に調整することができる。
また、図8に示すように、一対の半透過ディスプレイ220よりも赤外線検知ユニット410が上方(y軸正方向)に配設されている場合について説明している。
なお、鉛直方向(y軸方向)に対して、赤外線検知ユニット410の配設位置が半透過ディスプレイ220よりも下方(y軸負方向)または半透過ディスプレイ220と同位置であっても、同様に、仮想イメージ表示領域2203Dは、三次元空間検知領域4103Dと共有する空間領域を有する。
(検知領域と仮想表示領域との他の例)
続いて、図9から図11は、図6から図8において示した検知領域と仮想表示領域との他の例を示す模式図である。
例えば、図9から図11に示すように、眼鏡表示装置100の半透過ディスプレイ220の代わりに、他の入出力装置、表示装置、テレビジョン、モニタ等を用いてもよい。以下、他の入出力装置、表示装置、テレビジョン、モニタ、プロジェクタを総称して入出力装置900と略記する。
図9に示すように、入出力装置900からz軸負方向に仮想イメージ表示領域2203Dが出力され、入出力装置900にz軸方向で対向する位置に配設された赤外線検知ユニット410からz軸正方向に三次元空間検知領域4103Dが形成されてもよい。
この場合、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
また、図10に示すように、入出力装置900から仮想イメージ表示領域2203Dが出力され、入出力装置900と同方向(xy平面を基準としていずれもz軸正側の方向)に赤外線検知ユニット410の三次元空間検知領域4103Dが形成されてもよい。
この場合でも、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
次に、図11に示すように、入出力装置900から鉛直上方向(y軸正方向)に仮想イメージ表示領域2203Dが出力されてもよい。図11においても、図9、図10と同様に、入出力装置900による仮想イメージ表示領域2203Dが、三次元空間検知領域4103Dと共有の空間領域として生じる。
また、図示していないが、入出力装置900を三次元空間検知領域4103Dより上方側(y軸正方向の側)に配置し、鉛直下方向(y軸負方向)に仮想イメージ表示領域2203Dが出力されてもよく、水平方向(x軸方向)から出力されてもよく、プロジェクタまたは映画館のように、後上方(z軸負方向かつy軸正方向)から出力されてもよい。
(操作領域とジェスチャ領域)
続いて、検知領域における操作領域とジェスチャ領域とについて説明する。図12および図13は、検知領域における操作領域と、ジェスチャ領域との一例を示す模式図である。
まず、図12に示すように、一般的に、ユーザは、右肩関節RPおよび左肩関節LPの両肩関節を回転中心として両手を水平移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Lおよび移動領域Rとなる。
また、図13に示すように、一般的に、ユーザは、右肩関節RPおよび左肩関節LPの両肩関節を回転中心として両手を鉛直移動させるため、両手の移動できる領域は、点線で囲まれた移動領域Lおよび移動領域Rとなる。
すなわち、図12および図13に示すように、ユーザは、両手を右肩関節RPおよび左肩関節LPをそれぞれ回転中心とした欠球状(深度方向に凸のアーチ状曲面を有する)の立体空間内で移動させることができる。
次に、赤外線検知ユニット410による三次元空間検知領域4103Dと、腕の移動領域Lおよび移動領域Rを合わせた領域とが重なる空間領域であって、仮想イメージ表示領域が存在しうる領域(図12では仮想イメージ表示領域2203Dを例示)を、操作領域410cとして設定する。
また、三次元空間検知領域4103D内における操作領域410c以外の部分で、かつ腕の移動領域Lおよび移動領域Rを合わせた領域と重なる部分をジェスチャ領域410gとして設定する。つまり、ジェスチャ領域410gは、操作領域410cに対してz方向マイナス側の領域である。
ここで、操作領域410cが、深度方向に最も遠い面が深度方向(z軸正方向)に凸のアーチ状に湾曲した曲面である立体形状を有することに対し、仮想イメージ表示領域2203Dは、深度方向に最も遠い面が平面である立体形状を有する。
このように両領域の間で当該面の形状が異なることに起因し、ユーザは、当該操作において体感的に違和感を覚える。当該違和感を取り除くためにキャリブレーション処理で調整を行なう。また、キャリブレーション処理の詳細については、後述する。
(キャリブレーションの説明)
次いで、キャリブレーション処理について説明を行なう。図14は、キャリブレーション処理の説明を行なうためのフローチャートである。
図12および図13に示したように、ユーザが仮想イメージ表示領域2203Dに沿って手を動かそうとすると、補助のない平面に沿って動作させる必要がある。したがって、後述する認識処理により仮想イメージ表示領域2203Dにおいて、操作をし易くするためにキャリブレーション処理を行なう。
また、キャリブレーション処理には、ユーザの個々で異なる指の長さ、手の長さ、腕の長さの調整も行なう。
以下、図14を用いて説明を行なう。まず、ユーザが、眼鏡表示装置100を装着し、両腕を最大限に伸張する。その結果、赤外線検知ユニット410が、操作領域410cの最大領域を認識する(ステップS11)。
すなわち、ユーザによりユーザの個々で異なる指の長さ、手の長さ、腕の長さが異なるので、操作領域410cの調整を行なうものである。
次に、眼鏡表示装置100においては、仮想イメージ表示領域2203Dの表示位置を決定する(ステップS12)。すなわち、仮想イメージ表示領域2203Dを操作領域410cの外側に配置するとユーザによる操作が不可能となるため、操作領域410cの内部に配置する。
続いて、眼鏡表示装置100の赤外線検知ユニット410の三次元空間検知領域4103D内で、かつ仮想イメージ表示領域2203Dの表示位置と重ならない位置に、ジェスチャ領域410gの最大領域を設定する(ステップS13)。
なお、ジェスチャ領域410gは、仮想イメージ表示領域2203Dと重ならないように配置しかつ深さ方向(z軸正方向)に厚みを持たせることが好ましい。
本実施の形態においては、以上の手法により、操作領域410c、仮想イメージ表示領域2203D、ジェスチャ領域410gが設定される。
続いて、操作領域410c内における仮想イメージ表示領域2203Dのキャリブレーションについて説明する。
操作領域410c内の仮想イメージ表示領域2203Dの外部周囲にユーザの指、手、または腕が存在すると判定された場合に、あたかも仮想イメージ表示領域2203Dの内部に存在するように、丸め込みを行なう(ステップS14)。
図12および図13に示すように、半透過ディスプレイ220により仮想表示されたイメージの中央部近辺では、両腕を最大限に伸ばした状態にすると、両手先が仮想イメージ表示領域2203D内に留まることなく深さ方向(z軸正方向)の外部へ外れてしまう。
また、仮想表示されたイメージの端部においては、両腕を最大限に伸ばさない限り、両手先が仮想イメージ表示領域2203D内に存在すると判定されない。
そのため、赤外線検知ユニット410からの信号を無処理のまま使用すると、ユーザは、手先が仮想イメージ表示領域2203Dから外れたとしても、そのような状態であることを体感しにくい。
したがって、本実施の形態におけるステップS14の処理においては、仮想イメージ表示領域2203Dから外部へ突き出た手先が、仮想イメージ表示領域2203D内にあるものとして補正すべく、赤外線検知ユニット410からの信号を処理する。
その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域2203D内の中央部から端部まで操作することができる。
なお、本実施の形態においては、仮想イメージ表示領域2203Dを、深度方向に最も遠い面が平面である三次元空間領域からなることとしているが、これに限定されず、深度方向に最も遠い面領域L,Rの深度方向に最も遠い面に沿った形状の曲面である三次元空間領域からなることとしてもよい。
その結果、ユーザは、両腕を最大限に伸ばした状態、または少し曲げた状態で、奥行きのある平面状の仮想イメージ表示領域2203D内の中央部から端部まで操作することができる。
さらに、半透過ディスプレイ220は、仮想イメージ表示領域2203Dに矩形状の像を表示させる。例えば、図5(b)に示したように、矩形状の像を表示させる(ステップS15)。
続いて、半透過ディスプレイ220に、例えば「像の周囲を指で囲んでください」と、表示を行なう(ステップS16)。ここで、像の近傍に指の形の像を薄く表示してもよいし、半透過ディスプレイ220に表示を行なう代わりにスピーカから音声により指示をユーザに伝えてもよい。
ユーザは、指示に従い図5(d)に示すように、指を像の見える部分にあわせる。そして、仮想イメージ表示領域2203Dの表示領域と、赤外線検知ユニット410との相関関係が自動調整される(ステップS17)。
なお、上記においては、指で矩形を形作り、そのように定められた矩形と、像の外縁の矩形にあわせる。このことによって、指により定められた矩形の視認サイズおよび位置と像の外縁の矩形の視認サイズ及び位置とを合わせることとした。
しかしながら、指によって形状を定める手法はこれに限定されない。表示された像の外縁を指でなぞる手法、表示された像の外縁上の複数の点を指で指し示す手法等、他の任意の手法であってもよい。また、これらの手法を複数のサイズの像について行ってもよい。
なお、上記のキャリブレーション処理の説明においては、眼鏡表示装置100の場合についてのみ説明を行ったが、入出力装置900の場合には、ステップS11の処理において、像を表示させ、ステップS17の処理の当該像と赤外線検知ユニット410との相関関係を調整してもよい。
(指、掌、腕認識)
次いで、指認識について説明を行い、その後掌認識、腕認識の順で説明を行なう。図15は、指認識の一例を示す模式図である。図15において、(A)は指の先端付近の拡大図であり、(B)は指の根元付近の拡大図である。図16は、指認識の処理の一例を示すフローチャートである。なお、これらの認識は、素手だけでなく、手にバイクに乗る際のグローブをはめた状態であっても同様である。
図16に示すように、本実施の形態においては、デバイスの初期化を行なう(ステップS21)。次に、赤外線照射素子411から照射され、手に反射した赤外線が、赤外線検知カメラ412により検出される(ステップS22)。
なお、赤外線検知カメラ412に換えて、または、それらと共に超音波照射素子(図示しない)および超音波検知カメラ(図示しない)を用いてもよい。以下、同様に赤外線に換えて超音波の場合も含む。なお、超音波以外にも深度を検知できるセンサであればどのようなものであってもよい。
次に、赤外線検知ユニット410により画像データをピクセル単位で距離に置き換える(ステップS23)。この場合、赤外線の明るさは、距離の三乗に反比例する。これを利用し、デプスマップ(Depth map)を作成する(ステップS24)。なお、デプスマップとは、奥行き距離情報のことであり、数値、指標、比率等で表される。
次いで、作成したデプスマップに適切な閾値を設ける。そして、画像データを二値化する(ステップS25)。すなわち、デプスマップのノイズを除去する。
続いて、二値化した画像データから約100個の頂点を持つポリゴン(多角形)を作成する(ステップS26)。そして、頂点が滑らかになるようにローパスフィルタ(LPF)により、より多くの頂点pnを有する新たなポリゴンを作成することによって、図15に示す手の外形OFを抽出する(ステップS27)。
なお、本実施の形態においては、ステップS26において二値化したデータからポリゴンを作成するために抽出する頂点の数を約100個としているが、これに限定されず、1000個、その他の任意の個数であってもよい。
ステップS27で作成した新たなポリゴンの頂点pnの集合から、Convex Hull algorithm(凸包アルゴリズム)を用いて、凸包を抽出する(ステップS28)。
その後、ステップS27で作成された新たなポリゴンと、ステップS28で作成された凸包との共有の頂点p0を抽出する(ステップS29)。このように抽出された共有の頂点p0自体を指の先端点として用いることができる。
さらに、頂点p0の位置に基づいて算出される他の点を指の先端点として用いてもよい。例えば、図15(A)に示すように頂点p0における外形OFの内接円の中心を先端点P0として算出することもできる。
そして、図15に示すように、頂点p0に隣接する左右一対の頂点p1を通る基準線分PP1のベクトルを算出する。その後、頂点p1と、隣接する頂点p2とを結ぶ辺pp2を選択し、そのベクトルを算出する。
同様に、外形OFを構成する頂点pnを用い、辺のベクトルを求める処理を外形OFの外周に沿って繰り返す。各辺の向きと基準線分PP1の向きとを調べ、基準線分PP1と平行に近くなる辺ppkが指の股の位置に存在すると判定する。
そして、辺ppkの位置に基づき、指の根元点P1を算出する(ステップS30)。指の先端点P0と指の根元点P1とを直線で結ぶことで、指のスケルトンが得られる(ステップS31)。指のスケルトンを得ることで、指の延在方向を認識することができる。
全ての指について同様の処理を行なうことで、全ての指のスケルトンを得る。これにより、手のポーズを認識することができる。すなわち、親指、人差し指、中指、薬指、小指のいずれの指が広げられ、いずれの指が握られているかを認識することができる。
続いて、直前に実施した数フレームの画像データと比較して、手のポーズの違いを検知する(ステップS32)。すなわち、直前の数フレームの画像データと比較することにより、手の動きを認識することができる。
次いで、認識した手の形状を、ジェスチャデータとしてイベントサービスユニット460へイベント配達する(ステップS33)。
次いで、アプリケーションソフトユニット459によりイベントに応じた振る舞いを実施する(ステップS34)。
続いて、表示サービスユニット462により、三次元空間に描画を要求する(ステップS35)。
グラフィック演算ユニット463は、キャリブレーションサービスユニット461を用いてキャリブレーションデータ記録ユニット457を参照し、表示の補正を行なう(ステップS36)。
最後に、ディスプレイ演算ユニット464により半透過ディスプレイ220に表示を行なう(ステップS37)。
なお、本実施の形態においては、ステップS30の処理およびステップS31の処理により指の根元点を検出したが、根元点の検出方法はこれに限定されない。
例えば、まず、頂点p0の一方の側と他方の側において隣接する一対の頂点p1を結ぶ基準線分PP1の長さを算出する。
次に、当該一方の側と他方の側における一対の頂点p2間を結ぶ線分の長さを算出する。同様に、当該一方の側と他方の側における一対の頂点間を結ぶ線分の長さを、頂点p0により近い位置にある頂点からより遠い位置にある頂点への順で算出していく。
このような線分は、外形OF内で交わることなく、互いにおおよそ平行となる。当該線分の両端の頂点が指の部分にある場合は、線分の長さは指の幅に相当するため、その変化量は小さい。
一方、線分の両端の頂点の少なくともいずれかが指の股の部分に達した場合は、当該長さの変化量が大きくなる。したがって、当該長さの変化量が所定量を超えず、かつ頂点p0から最も遠い線分を検知し、検知された線分上の1点を抽出することによって、根元点を決定することができる。
(掌認識)
次いで、図17は、掌認識の一例を示す模式図である。
図17に示すように、指認識を実施した後、画像データの外形OFに内接する最大内接円Cを抽出する。当該最大内接円Cの位置が、掌の位置として認識できる。
次いで、図18は、親指認識の一例を示す模式図である。 図18に示すように、親指は、人差し指、中指、薬指、および小指の他の4指とは異なる特徴を有する。例えば、掌の位置を示す最大内接円Cの中心と各指の根元点P1とを結ぶ直線が相互になす角度θ1,θ2,θ3,θ4のうち、親指が関与するθ1が最も大きい傾向にある。
また、各指の先端点P0と各指の根元点P1とを結んだ直線が相互になす角度θ11,θ12,θ13,θ14のうち、親指が関与するθ11が最も大きい傾向にある。このような傾向に基づき親指の判定を行なう。
右手および左手のいずれであるかは、最大内接円Cおよび指の位置、指の曲がり具合等に応じて、右手と左手の違いにより判定する。その結果、掌の表か裏かを判定することができる。
(腕認識)
次いで、腕認識について説明を行なう。本実施の形態において、腕認識は、指、掌および親指のいずれかを認識した後に実施する。なお、腕認識は、指、掌および親指のいずれかを認識する前、またはそれらの少なくともいずれかと同時に実施してもよい。
本実施の形態においては、画像データの手の形のポリゴンよりも大きな領域でポリゴンを抽出する。例えば、長さ5cm以上100cm以下の範囲、より好ましくは、10cm以上40cm以下の範囲で、ステップS21からS27の処理を実施し、外形を抽出する。
その後、抽出した外形に外接する四角枠を選定する。本実施の形態においては、当該四角枠は、平行四辺形または長方形からなる。この場合、平行四辺形または長方形は、対向する長辺を有するので、長辺の延在方向から腕の延在方向を認識することができ、長辺の向きから腕の向きを判定することが出来る。なお、ステップS32の処理と同様に、直前の数フレームの画像データと比較して、腕の動きを検知させてもよい。
また、上記の説明においては、2次元像から指、掌、親指、腕を検出することとしているが、上記に限定されず、赤外線検知ユニット410をさらに増設してもよく、赤外線検知カメラ412のみをさらに増設し、2次元像から、3次元像を認識させてもよい。その結果、さらに認識確度を高めることができる。
(半透過ディスプレイの表示例)
次に、図19は、眼鏡表示装置100の半透過ディスプレイ220の表示の一例を示す模式図である。
図19に示すように、眼鏡表示装置100の半透過ディスプレイ220には、一部には広告221が表示され、さらに一部には地図222が表示され、その他には、眼鏡表示装置100の半透過ディスプレイ220を透過して風景223が視認され、その他に天気予報224および時刻225が表示される。
(操作領域410cの詳細)
図20から図23は、図12から図14において説明した操作領域410cの他の例を示す模式図である。図20および図21は、ユーザを上方から視認した状態を示す模式図であり、図22および図23は、ユーザを側方から視認した状態を示す模式図である。
図20は、ユーザは、腕arm1、腕arm2および手H1を伸ばし切った場合を示し、この場合の手H1は、右肩関節RPを中心に移動軌跡RL1を通過する。この場合、移動軌跡RL1の曲率半径はrad1である。
一方、図21は、ユーザは、腕arm1および腕arm2を屈曲させた場合を示し、この場合の手H1は、移動軌跡RL2を通過する。
すなわち、図21においては、ユーザが水平方向に手H1を移動させようとしているが、直線に近い移動軌跡RL2を通ることとなる。この場合、移動軌跡RL2の曲率半径はrad2である。ここで、人間工学に基づいて、当然のことながら、曲率半径rad1は、曲率半径rad2よりも小さい値となる。
この場合、制御ユニット450は、赤外線ユニット410から移動軌跡RL1を検知した場合でも、直線移動であるとキャリブレーションする。同様に、制御ユニット450は、移動軌跡RL2を検知した場合でも、直線移動であるとキャリブレーションする。
次いで、図22は、ユーザは、腕arm1、腕arm2および手H1を伸ばし切った場合を示し、この場合の手H1は、右肩関節RPを中心に移動軌跡RL3を通過する。この場合、移動軌跡RL3の曲率半径はrad3である。
一方、図23に示すように、ユーザは、腕arm1および腕arm2を屈曲させた場合を示し、この場合の手H1は、移動軌跡RL4を通過する。
すなわち、図23においては、ユーザが鉛直方向に手H1を移動させようとしているが、直線に近い移動軌跡RL4を通ることとなる。この場合、移動軌跡RL4の曲率半径はrad4である。ここで、人間工学に基づいて、当然のことながら、曲率半径rad3は、曲率半径rad4よりも小さい値となる。
この場合、制御ユニット450は、赤外線ユニット410から移動軌跡RL3を検知した場合でも、直線移動であるとキャリブレーションする。同様に、制御ユニット450は、移動軌跡RL4を検知した場合でも、直線移動であるとキャリブレーションする。
(通信部)
本実施形態において、制御ユニット450は、通信システム300を介して目的地情報D100を半透過ディスプレイ220に表示させる。例えば、ユーザは、あらかじめクラウドサーバC100に目的地情報D100であるデータを記録させておく。そして、ユーザは、半透過ディスプレイ220に、目的地情報D100にアクセスするためのアイコン(アプリ)を表示させる。
なお、ユーザは、クラウドサーバC100からではなく、インターネット上から目的地情報D100を取得してもよい。目的地情報とは、目的地付近の情報、目的地へのルートを示す地図情報、天気等目的地に関する情報のことをいう。
また、本実施形態において、制御ユニット450は、通信システム300を介してクラウドサーバC100から取得し、半透過ディスプレイ220に目的地情報D100を表示している。しかし、制御ユニット450は、記録部700に記録されている目的地情報D100を半透過ディスプレイ220に
目的地付近の情報とは、例えば、目的地付近のグルメ情報、イベント情報、観光情報、宿泊情報等のことである。
図24に示すように、制御ユニット450は、目的地情報D100の目的地情報アイコンD101を半透過ディスプレイ220に表示する。具体的に述べると、制御ユニット450は、目的地情報アイコンD101を半透過ディスプレイ220の仮想イメージ表示領域2203Dに表示する。
以下、「半透過ディスプレイ220への表示」は、「半透過ディスプレイ220の仮想イメージ表示領域2203Dへの表示」である。
目的地情報アイコンD101は、拡張現実上のオブジェクトである。そのため、眼鏡表示装置100を装着しているユーザは、目的地情報アイコンD101をジェスチャにより選択できる。
具体的に述べると、手H1または指H11のジェスチャは、制御ユニット450に認識されている。そのため、ユーザは、拡張現実上のオブジェクトである目的地情報アイコンD101を選択できる。つまり、制御ユニット450は、手H1または指H11の動き(ジェスチャ)によりアイコンD101を選択したと認識することができる。
ユーザは、所定時間当該ジェスチャの動作をアイコンに重ねるように維持する。その結果、制御ユニット450は、当該アイコンが選択されたと認識する。なお、制御ユニット450は、手H1および指H11で当該アイコンをつかむようなジェスチャがされると、当該アイコンが選択されたと認識するものであってもよい。
ユーザは、目的地情報アイコンD101上に手H1または指H11を所定時間重ねる。その結果、制御ユニット450は、当該アイコン(目的地情報アイコンD101)が選択されたと認識する。
その他のアイコンに関しても同様に、ユーザが手H1または指H11を所定時間重ねるジェスチャをする。その結果、制御ユニット450は、当該アイコンが選択されたと認識する。
ユーザが必要な目的地情報アイコンD101を手H1または指H11のジェスチャにより選択した場合、アプリケーションユニット459、イベントサービスユニット460、表示サービスユニット462等が起動する。その結果、拡張現実上の目的地情報D100の内容が半透過ディスプレイ220に表示される。
具体的に述べると、目的地情報D100は、半透過ディスプレイ220の仮想イメージ表示領域2203Dに表示される。仮想イメージ表示領域2203Dは、図6から図13に示すように、眼鏡表示装置100からZ軸方向に離れた場所に、奥行きを持って仮想表示されたものとして視認させる。
ユーザは、手H1または指H11のジェスチャにより目的地情報D100を開くことができる。その結果、ユーザはバイク用のグローブを装着しながらであっても目的地情報D100を開くことができる。
例えばユーザは、バイク用のグローブを装着しながらであっても、行き先のグルメ情報、イベント情報、観光情報、地図情報または宿泊情報を入手することができる。ユーザは、このような情報を、インターネットを介して入手することができる。また、ユーザは、このような情報のアプリ(アプリケーション)をインストールすることにより目的地情報D100に追加することができる。
また、ユーザは、バイク用のグローブを装着しながらであっても、通信システム300を介してレストランの予約、ホテルの予約等を行うことができる。ユーザは、このような予約を、インターネットを介して行うことができる。
(目的地情報D100を半透過ディスプレイ220に表示する制御工程)
図25に示すように、目的地情報D100を半透過ディスプレイ220に表示する制御工程は以下の通りである。
制御ユニット450は、手H1、指H11および腕を認識し、その拡張空間上のオブジェクトを半透過ディスプレイ220に表示する(ステップS41)。具体的な方法は上述した通りである。
図24に示すように、ユーザは、半透過ディスプレイ220に表示されている目的地情報アイコンD101を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、目的地情報アイコンD101が選択されたと認識する。
つまり、制御ユニット450は、手H1または指H11のジェスチャにより目的地情報アイコンD101が選択されたと認識する(ステップS42)。
目的地情報アイコンD101が選択された場合、アプリケーションユニット459、イベントサービスユニット460、表示サービスユニット462等が起動する。つまり、制御ユニット450は、目的地情報D100を半透過ディスプレイ220に表示する(ステップS43)。
具体的に述べると、目的地情報D100は、半透過ディスプレイ220の仮想イメージ表示領域2203Dに表示される。つまり、制御ユニット450は、目的地情報D100を取得することができる。
次に、ユーザは、求める目的地の情報に係るアイコン(例えばナビゲーションアイコンN201)を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、当該アイコンが選択されたと認識する。
つまり、制御ユニット450は、手H1または指H11のジェスチャにより、求める目的地の情報に係るアイコンが選択されたと認識する(ステップS44)。
そして、制御ユニット450は、求める目的地の情報のアイコンに係る情報を半透過ディスプレイ220に表示する(ステップS45)。つまり、制御ユニット450は、目的地の情報を取得することができる。
また、目的地情報D100の中にユーザが求める情報がなかった場合、ユーザは、検索アイコンE201を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、検索アイコンE201が選択されたと認識する。
つまり、制御ユニット450は、手H1または指H11のジェスチャにより、検索アイコンE201が選択されたと認識する(ステップS46)。
そして、制御ユニット450は、半透過ディスプレイ220に検索サイトを表示する(ステップS47)。その結果、制御ユニット450は、この検索サイトを利用して必要な目的地の情報を半透過ディスプレイ220に表示することができる(ステップS48)。
つまり、制御ユニット450は、通信システム300を介してインターネット上から目的地の情報を取得することができる。なお、検索サイトはオリジナル検索サイトでもよいが、インターネット上の一般的に利用されている検索サイトでもよい。
なお、これらの行為は、制御ユニット450が、手H1または指H11のジェスチャの動作に応じて半透過ディスプレイ220に表示されている表示を制御していることを示す。
(ナビゲーションシステム)
次に、道の指図(ナビゲーション)について一例を説明する。ナビゲーションシステムとは、目的地までの経路、道順、移動方法の案内のことである。
本実施形態のナビゲーションシステムは、半透過ディスプレイ220に表示される。つまり、ナビゲーションシステムにおける表示は、拡張現実上の表示である。具体的に述べると、ナビゲーションシステムにおける表示は、半透過ディスプレイ220の仮想イメージ表示領域2203Dに表示される。
そして、ナビゲーションシステムの機能は、クラウドサーバC100に記録されている。なお、ナビゲーションシステムの機能は、クラウドサーバC100に記録されているものでなくてもよく、眼鏡表示装置100自体に記録されているものでもよい。また、ナビゲーションシステムの機能は、別途記録装置(図示しない)を備えるようなものであってもよい。
図26は、眼鏡表示装置100を用いたナビゲーションシステムのフローチャートである。
図24に示すように、ユーザが、目的地情報アイコンD101をジェスチャにより選択する。その結果、制御ユニット450は、目的地情報アイコンD101が選択されたと認識する。つまり、制御ユニット450は、手H1または指H11のジェスチャにより、目的地情報アイコンD101が選択されたと認識する(ステップS51)。
そして、制御ユニット450は、半透過ディスプレイ220に様々な目的地に関する情報を表示する(ステップS52)。それらの情報は、すべて拡張現実上のオブジェクトである。つまり、拡張現実上の目的地に関する情報が半透過ディスプレイ220の仮想イメージ表示領域2203Dに表示される。
そして、図27に示すように、表示される目的地に関する情報の中にナビゲーションアイコンN201がある。ユーザは、半透過ディスプレイ220に表示されたナビゲーションアイコンN201をジェスチャにより選択する。つまり、制御ユニット450は、手H1または指H11のジェスチャにより、ナビゲーションアイコンN201を選択したと認識する(ステップS53)。
その結果、アプリケーションユニット459、イベントサービスユニット、表示サービスユニット462等が起動する。つまり、ナビゲーション機能が作動する。
ナビゲーション機能が作動した場合、制御ユニット450は、通信システム300を介してクラウドサーバC100に保存されているナビゲーションユニットN200を起動させる(ステップS54)。
なお、本実施形態では、ナビゲーションユニットN200は、クラウドサーバC100に保存されているが、制御ユニット450の記録部700に保存されていてもよい。また、ナビゲーションユニットN200は、クラウドサーバC100と記録部700の双方に保存されていてもよい。
この場合、例えば制御ユニット450が通信システム300を介してクラウドサーバC100にアクセスできない場合であっても、制御ユニット450は、ナビゲーションユニットN200を起動できる。
ナビゲーションユニットN200が起動した場合、制御ユニット450は、目的地点を入力する拡張現実の画面(図示しない)を半透過ディスプレイ220に表示させる(ステップS55)。なお、本実施形態では、GPSユニット307のGPS機能により現在地が表示されるが、出発地点を入力するものであってもよい。
目的地点の入力は、緯度経度、地名、事業者名または建物名でもよく、後述する地図情報N210上に手H1または指H11のジェスチャで示してもよい。
図28に示すように、制御ユニット450は、半透過ディスプレイ220に地図情報N210を表示する(ステップS56)。地図情報N210は拡張現実上のオブジェクトである。なお、地図情報N210を半透過ディスプレイ220に表示させないことも可能である。また、地図情報N210は、手H1または指H11のジェスチャにより拡大または縮小される。つまり、ユーザは、地図自体を拡大または縮小できる。
なお、ユーザは、地図情報N210の表示の大きさを拡大または縮小もできる。つまり、制御ユニット450は、手H1または指H11のジェスチャにより、半透過ディスプレイ220に表示されている地図情報N210の表示を、拡大または縮小できる。
ナビゲーションユニットN200が起動した場合、クラウドサーバC100の経路探索機能、案内表示機能が作動する。その結果、制御ユニット450は、半透過ディスプレイ220に目的地までの方向(経路)を指し示す矢印N220を表示する(ステップS57)。
図29示すように、クラウドサーバC100は、少なくとも目的地情報D100と、ナビゲーションユニットN200とを含む。
ナビゲーションユニットN200は、地図情報N210、矢印N220、交通情報N230および駐車場情報N240を含むデータベースを記録するクラウドサーバ記録部C110と、当該データベースに基づき出発地点または現地点から目的地までの経路を検索する経路検索部C120と、経路検索部C120の検索結果に基づき経路情報を表示した地図および関連情報の拡張現実のオブジェクトを作成するオブジェクト作成部C130と、端末である眼鏡表示装置100に通信可能であるクラウドサーバ通信部C140と、を含む。
ユーザが矢印N220により指し示めされた道と異なる道に進んだ場合、眼鏡表示装置100のGPSユニット307に係るGPS機能、クラウドサーバC100の経路検索部C120の経路探索機能、オブジェクト作成部C130の案内表示機能が機能する。その結果、再度目的地までの方向(経路)を指し示す矢印N220が半透過ディスプレイ220に表示される。
ナビゲーションユニットN200には、交通情報N230、駐車場情報N240等も含まる。つまり、制御ユニット450は、交通渋滞情報N230、駐車場情報N240等を半透過ディスプレイ220に表示可能である。
(配達)
図30は、眼鏡表示装置100を用いた配達のフローチャートである。
図24に示すように、ユーザが、目的地情報アイコンD101を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、目的地情報アイコンD101が選択されたと認識する(ステップS61)。
そして、制御ユニット450は、配達情報アイコンD201を半透過ディスプレイ220に表示する(ステップS62)。ユーザは、配達情報を見る場合、配達情報アイコンD201を手H1または指H11のジェスチャで選択する。
配達情報アイコンD201が選択された場合、制御ユニット450は、半透過ディスプレイ220に配達情報D200を表示する(ステップS63)。配達情報D200は、拡張現実上のオブジェクトである。
図31に示すように、配達情報D200には配達先が表示されている。本実施形態では、配達先Aアイコン、配達先Bアイコンおよび配達先Cアイコン等の配達先アイコンD201が、配達情報D200に表示されている。配達先アイコンD201には、配達先の住所、配達荷物の内容、配達時間帯等の配達先に関する情報が含まれる。
図31に示すように、ユーザが、配達先アイコンD201を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、当該配達先アイコンD201が選択されたと認識する(ステップS64)。
具体的に述べると、ユーザは、配達先アイコンD201を、手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、当該配達先アイコンD201のチェック欄にチェックマークを表示する。
また、ユーザが、配達先アイコンD201と、手H1または指H11のジェスチャとを所定時間重ねる。その結果、制御ユニット450は、当該配達先アイコンD201の配達先情報D202を半透過ディスプレイ220に表示する。なお、手H1または指H11のジェスチャは、配達先アイコンD201をつかむようなジェスチャをしてもよい。
つまり、制御ユニット450は、選択した配達先アイコンD201(例えば配達先A)の配達先情報D202を半透過ディスプレイ220に表示する(ステップS65)。
図32に示すように、配達先情報D202は、点検または確認項目を含む。点検または確認項目は、例えば配達時間内に配達したかどうかの確認、配達先の住人が不在である場合の再配達の確認等が表示されている。なお、配達先情報D200は、配達先の情報であればどのような情報であってもよい。
ユーザが複数の配達先(例えば、配達先A、B、C)に配達する場合、クラウドサーバC100は、配達先の住所、配達荷物の内容、配達時間帯等から最適な配達順番を経路探索部C120の経路探索機能により最適なルートを計算する。
その結果、制御ユニット450は、ナビゲーションユニットN200を用いて、複数の配達先への配達ルートを指し示す矢印N220を、半透過ディスプレイ220に表示する。
(通信部、電話)
本実施形態における通信システム300は、マイクユニット308と、スピーカユニット304とを含む。
したがって、ユーザは、眼鏡表示装置100を用いて、スピーカおよびマイクにより、携帯電話と同様の通話機能を使用することができる。また、眼鏡表示装置100は、眼鏡型であるので、両手を利用せず、通話を行なうことができる。
まずユーザが電話をかける場合について説明する。ユーザが電話をかける場合、図24に示すように、ユーザは、半透過ディスプレイ220上の電話アイコンT101を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、電話アイコンT101が選択されたと認識する。
電話アイコンT101が選択された場合、制御ユニット450は、拡張現実上のオブジェクトであるアドレス帳(図示しない)を半透過ディスプレイ220に表示する。
そして、ユーザは、表示されたアドレス帳から電話をかける相手を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより当該アドレス帳から電話をかける相手を選択したと認識する。
そして、ユーザは、アドレス帳から選択した相手に電話をかけることができる。なお、手H1または指H11の所定のジェスチャ(例えば親指を立てるようなジェスチャ)で電話をかけられるようにしてもよい。
ユーザが通話中の電話を切る場合、ユーザは、手H1または指H11のジェスチャで電話アイコンT101を選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより電話アイコンT101を選択したと認定する。
この場合、ユーザは、電話を切ることができる。なお、制御ユニット450は、手H1または指H11の所定のジェスチャで電話を切れるようにしてもよい。また、ユーザは電話を切るための別のアイコンを設けてもよい。
次に電話の着信があった場合、制御ユニット450は、半透過ディスプレイ220に着信の知らせを表示する。制御ユニット450は、着信の表示方法について電話の相手によって変更可能である。
これにより、例えばユーザが重要な相手から電話がかかってくる場合、当該相手からの電話の着信表示の変更が可能である。これにより、ユーザがバイク等に乗っていてもユーザは電話に出る必要があるかどうかを選択することができる。つまり、制御ユニット450は、着信相手の重要度に応じて着信の表示も変更可能である。
具体的に述べると、ユーザはあらかじめ制御ユニット450に所定の着信相手からの着信表示を変更する登録をする。そして、制御ユニット450は、当該着信相手から電話の着信があった場合、電話番号等その他の情報から判断して、着信表示を変更する。
なお、電話の相手方が電話の重要度に応じてクラウドサーバC100に電話の重要度を登録してもよい。この場合、制御ユニット450は、通信システム300を介してクラウドサーバC100にアクセスし、電話の重要度を認識する。その結果、制御ユニット450は、半透過ディスプレイ220への電話の着信表示を変更する。
次に、電話の着信があった場合について説明する。電話の着信があった場合、制御ユニット450は、電話の相手方の情報を半透過ディスプレイ220に表示することができる。
具体的に述べると、制御ユニット450は、通信システム300からクラウドサーバC100にアクセスする。そして、制御ユニット450は、着信があった電話番号をもとに相手方の情報を読み込み、相手方の情報を半透過ディスプレイ220に表示する。
相手方の情報は、相手方の顔写真、社名、相手方との関係、以前に会ったときの情報等、相手方の情報であればどのような情報であってもよい。
図24に示すように、ユーザが電話に出る場合は、ユーザは手H1または指H11のジェスチャで電話アイコンT101を選択する。また、ユーザが電話を切る場合も同様に、ユーザは、手H1または指H11のジェスチャで電話アイコンT101を選択する。
その結果、制御ユニット450は、手H1または指H11のジェスチャにより電話アイコンT101が選択されたと認識する。
なお、電話着信の表示があった場合、ユーザは所定のジェスチャをすることで、電話に出られるようにしてもよい。ユーザが電話を切る場合も同様である。
なお、制御ユニット450は、半透過ディスプレイ220に表示されている着信の知らせを非表示にすることもできる。また、電話はテレビ電話も含む概念である。つまり、制御ユニット450は、電話と同時に動画を半透過ディスプレイ220に表示できる。
(眼鏡表示装置100の制御方法、電話)
図33は、眼鏡表示装置100を用いて電話をかける場合のフローチャートである。
まず、ユーザが電話をかける場合について説明する。制御ユニット450は、手H1、指H11および腕を認識し、その拡張空間上のオブジェクトを半透過ディスプレイ220に表示する(ステップS71)。具体的な方法は上述した通りである。
図24に示すように、ユーザは、半透過ディスプレイ220に表示されている電話アイコンT101を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより電話アイコンT101が選択されたと認識する(ステップS72)。
ユーザは、拡張現実のオブジェクトであるアドレス帳から電話をしたい相手方を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャによりアドレス帳から電話したい相手方が選択されたと認識する(ステップS73)。そして、ユーザは、当該相手方に電話をかけることができる。
ユーザは、マイクユニット308とスピーカユニット304とを用いて電話の相手方と会話をする(ステップS74)。
制御ユニット450は、ユーザが電話をしている間、電話中の表示(図示しない)を半透過ディスプレイ220に表示する(ステップS75)。つまり、制御ユニット450は、通信表示を半透過ディスプレイ220に表示する。
ユーザは、半透過ディスプレイ220に表示されている電話アイコンT101を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、電話アイコンT101が選択されたと認識する(ステップS76)。これにより、制御ユニット450は、電話の通話状態を遮断する(ステップS77)。
次に、電話の着信があった場合について説明する。図34は、眼鏡表示装置100を用いて電話の着信があった場合のフローチャートである。
ユーザが電話をかける場合と同様の内容は簡略する。まず、電話の着信があった場合、制御ユニット450は、半透過ディスプレイ220に着信の知らせを表示する(ステップS81)。つまり、制御ユニット450は、通信表示を半透過ディスプレイ220に表示する。
制御ユニット450は、着信があった電話番号をもとに、通信システム300を介して、クラウドサーバC100またはインターネット上から相手方の情報を読み込み、相手方の情報を半透過ディスプレイ220に表示する(ステップS82)。
ユーザは、電話に出る場合、手H1または指H11のジェスチャで電話アイコンT101を選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、電話アイコンT101が選択されたと認識する。(ステップS83)これにより電話は通話状態となる。
制御ユニット450は、ユーザが電話をしている間、電話中の表示(図示しない)を半透過ディスプレイ220に表示する(ステップS84)。つまり、制御ユニット450は、通話表示を半透過ディスプレイ220に表示する。
ユーザは、電話を切る場合、手H1または指H11のジェスチャで電話アイコンT101を選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、電話アイコンT101が選択されたと認識する(ステップS85)。
これにより、制御ユニット450は、電話の通話状態を遮断する(ステップS86)。
(通信部、電子メール)
図29に示すように、通信システム300は、外部のサーバC200と通信できる。そのため、電子メールの送受信も行うことができる。
電子メールの場合も電話の場合と同様に、メール受信があった場合、制御ユニット450は、半透過ディスプレイ220にメール受信の知らせを表示する。制御ユニット450は、メール受信の表示をメールの相手によって変更可能である。
これにより、例えば重要な相手からのメールの場合、ユーザはすぐにメールを開けるようにしておくことができる。なお、制御ユニット450は、重要度に応じてメール受信の表示も変更可能である。
図24に示すように、制御ユニット450は、電子メールのメールアイコンM101を、半透過ディスプレイ220に表示する。メールアイコンM101は、拡張現実のオブジェクトである。そのため、眼鏡表示装置100を装着しているユーザは、メールアイコンM101を手H1または指H11のジェスチャにより選択できる。
具体的に述べると、手H1または指H11のジェスチャが制御ユニット450に認識されているため、拡張現実上のオブジェクトであるメールアイコンM101を選択できる。
ユーザがメールアイコンM101をジェスチャにより選択すると、アプリケーションユニット459、イベントサービスユニット460、表示サービスユニット462等が起動する。その結果、制御ユニット450は、拡張現実上のメール表示部M100を半透過ディスプレイ220に表示する。
メール表示部M100は、メール作成部M110と、メール受信部M120と、を含む。
本実施形態において、制御ユニット450はメール作成機能を有する。ユーザは、メール表示部M100のメール作成アイコンM111を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、メール作成アイコンM111が選択されたと認識する。
そして、制御ユニット450は、メール作成部M110を半透過ディスプレイ220に表示する。
メール作成部M110は、手H1または指H11のジェスチャにより文字を表示できる。また、メール作成部M110は、キーボード(図示しない)を半透過ディスプレイに表示することもできる。ユーザは、キーボードの文字を手H1または指H11のジェスチャで選択することで、文字の入力を行うことができる。
具体的に述べると、ユーザは、キーボードアイコンM112を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、キーボードアイコンM112が選択されたと認識する。
そして、制御ユニット450は、半透過ディスプレイ220にキーボードを表示する。キーボードの表示を消す場合も同様である。制御ユニット450は、手H1または指H11のジェスチャにより、キーボードアイコンM112が選択されたと認識する。その結果、制御ユニット450は、キーボードを半透過ディスプレイ220から消すことができる。
ユーザは、キーボード上の文字を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、文字をメール作成部M110に表示する。
ユーザは、拡張現実上のキーボードを用いず、音声により文字をメール作成部M110に表示できる。音声で文字を入力する場合、制御ユニット450は、マイクユニット308を利用して音声を認識する。
電子メールの送信は、メール作成部M110に表示される送信アイコンM113を、手H1または指H11のジェスチャで選択することにより行う。なお、制御ユニット450は、手H1または指H11の所定のジェスチャにより、メールを送信できるようにしてもよい。
電子メールを送信した場合、制御ユニット450は、自動的にメール作成部M110は閉じる。
なお、ユーザは、閉じるアイコンM115を手H1または指H11のジェスチャで選択し、その結果、制御ユニット450が、メール作成部M110を閉じるとしてもよい。
電子メールには、写真、動画、目的地情報等のファイルを添付できる。また、制御ユニット450は、眼鏡表示装置100のカメラユニット303で撮影した画像、動画等のファイルも添付できる。
通信システム300における電話、電子メール等の通信手段は、クラウドサーバC100を利用しているが、クラウドサーバC100でなくてもよい。また、通信手段は、クラウドサーバC100および通常のサーバを利用せず、眼鏡表示装置100、携帯電話、タブレット等の端末同士が通信する近距離無線通信であってもよい。
電子メールの受信があった場合、制御ユニット450は、受信マークを半透過ディスプレイ220に表示する。そして、ユーザは、当該受信マークを手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、電子メールを開き、電子メールの内容を半透過ディスプレイ220に表示する。
また、ユーザが「閉じる」アイコン(図示しない)を、手H1または指H11のジェスチャで選択した場合、制御ユニット450は、電子メールを閉じる。
なお、ユーザが、手H1または指H11の所定のジェスチャをした場合、制御ユニット450は、「電子メールを閉じる」としてもよい。
電子メールには返信アイコン(図示しない)が表示されている。そして、ユーザが返信アイコンを手H1または指H11のジェスチャで選択することにより、返信メールを作成することができる。返信メールの作成は、メール作成部M110で行われる。
なお、電子メールが返信(送信)されることにより、制御ユニット450は、メール作成部M110を自動的に閉じるとしてもよい。
制御ユニット450は、電子メールの相手方の情報を半透過ディスプレイ220に表示できる。具体的に述べると、制御ユニット450は、通信システム300からクラウドサーバC100にアクセスする。そして、制御ユニット450は、受信したメールアドレスをもとに相手方の情報を読み込み、半透過ディスプレイ220に表示する。
(眼鏡表示装置100の制御方法、電子メール)
図35は、眼鏡表示装置100を用いた電子メールを送信するためのフローチャートである。
電子メールを作成し送信する場合について説明する。制御ユニット450は、手H1、指H11および腕を認識し、その拡張空間上のオブジェクトを半透過ディスプレイ220に表示する(ステップS91)。
次に、図24に示すように、ユーザは、半透過ディスプレイ220に表示されているメールアイコンM101を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、メールアイコンM101が選択されたと認識する(ステップS92)。
メールアイコンM101を選択した場合、制御ユニット450は、メール表示部M100を半透過ディスプレイ220に表示する(ステップS93)。
ユーザは、メール表示部M100に表示されているメール作成アイコンM111を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、メール作成アイコンM111が選択されたと認識する(ステップS94)。
そして、制御ユニット450は、メール作成部M110を半透過ディスプレイ220に表示する(ステップS95)。
ユーザは、メール作成部M110に表示されているキーボードアイコンM112を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、キーボードを半透過ディスプレイ220に表示する(ステップS96)。
ユーザは、拡張現実上のオブジェクトであるキーボードを使用して、メール作成部M110に文章を入力する。つまり、制御ユニット450は、手H1または指H11のジェスチャにより、キーボードの文字または数字を認識する(ステップS97)。
具体的に述べると、キーボードは文字キーまたはテンキーの配置が決まっている。そのため、ユーザは、入力したい文字または数字のキーを手H1または指H11のジェスチャで選択することにより、文字または数字を入力することができる。
つまり、制御ユニット450は、手H1または指H11のジェスチャにより、所定の文字または数字のキーが選択されたと認識する。
また、文字または数字の入力は、キーボードを使用しなくても手H1または指H11のジェスチャで直接入力することができる。また、図の入力も可能である。
この場合、制御ユニット450は、手H1または指H11のジェスチャを認識することにより、手書きのような文字や図を記載することができる。
ユーザは、メール作成部M110に表示されているアドレス帳アイコンM114を手H1または指H11のジェスチャで選択する。その結果、拡張現実上のアドレス帳が半透過ディスプレイ220に表示される。
ユーザは、そのアドレス帳から電子メールの送り先の相手方を手H1または指H11のジェスチャで選択する。
そして、ユーザは、メール作成部M110の送信アイコンM113を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、送信アイコンM113が選択されたと認識する(ステップS98)。そして、制御ユニット450は、選択された電子メールを送信する(ステップS99)。
制御ユニット450は、電子メールを送信すると、自動的にメール作成部M110を閉じる。なお、ユーザが、閉じるアイコンM115を手H1または指H11のジェスチャで選択して閉じてもよい。
次に、電子メールを受信する場合について説明する。図36は、眼鏡表示装置100を用いて電子メールを返信する場合のフローチャートである。
電子メールを作成する場合と同様の内容は簡略する。制御ユニット450は、電子メールを受信すると、半透過ディスプレイにメールの受信を知らせる受信マーク(図示しない)を表示する(ステップS101)。
ユーザは、当該受信マークを手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、受信マークが選択されたと認識する(ステップS102)。そして、制御ユニット450は、選択された電子メールを開く(ステップS103)。
ユーザは、受信した電子メールに対して返信する場合、返信アイコン(図示しない)を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、返信アイコンが選択されたと認識する(ステップS104)。
そして、制御ユニット450は、メール作成部M110を半透過ディスプレイ220に表示する(ステップS105)。
ユーザは、半透過ディスプレイ220に表示されているメール作成部M110で返信メールを作成する(ステップS106)。作成方法は上述の通りである。
ユーザは、メール作成部M110で作成された返信メールをするため、送信アイコンM113を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、送信アイコンM113が選択されたと認識する(ステップS107)。
そして、制御ユニット450は、選択された返信メールを送信する(ステップS108)。制御ユニット450は、返信メールを相手方に送信した場合、制御ユニット450は、自動的にメール作成部M110を閉じる。
なお、ユーザが受信したメールを閉じる場合、ユーザは、「閉じる」アイコン(図示しない)を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより「閉じる」アイコンが選択されたと認識する。
(意思決定等)
図24に示すように、制御ユニット450は、意思決定表示アイコンR101を、半透過ディスプレイ220に表示する。意思決定表示アイコンR101は、拡張現実のオブジェクトである。そのため、眼鏡表示装置100を装着しているユーザは、意思決定表示アイコンR101を手H1または指H11のジェスチャにより選択できる。
具体的に述べると、手H1または指H11のジェスチャが制御ユニット450に認識されているため、拡張現実上のオブジェクトである意思決定表示アイコンR101を選択できる。
ユーザは、意思決定表示アイコンR101を選択する前に、意思決定をするためのグループを、通信システム300を介してクラウドサーバC100に登録する。なお、インターネットを利用できない地域の場合等もあるため、制御ユニット450の記録部700が、意思決定するためのグループを登録してもよい。
ユーザが意思決定表示アイコンR101をジェスチャにより選択すると、アプリケーションユニット459、イベントサービスユニット460、表示サービスユニット462等が起動する。その結果、制御ユニット450は、拡張現実上の意思決定表示部R100を半透過ディスプレイ220に表示する。
制御ユニット450は、意思決定表示部R100に、上述したメール作成機能により文字、絵等の入力が可能である。また、音声による入力も可能である。
音声で文字を入力する場合、制御ユニット450は、マイクユニット308を利用して音声を認識する。
制御ユニット450は、意思決定表示部R100に、音声、写真、動画、目的地情報等のファイルを添付できる。また、制御ユニット450は、意思決定表示部R100に、眼鏡表示装置100のカメラユニット303で撮影した画像、動画等のファイルも添付できる。
本実施形態において、意思決定表示部R100は、通信システム300を利用する。通信システム300は、クラウドサーバC100にアクセスする。なお、通信システム300は、クラウドサーバC100および通常のサーバを利用せず、眼鏡表示装置100、携帯電話、タブレット等の端末同士が通信する近距離無線通信でもよい。
この場合、制御ユニット450は、通信システム300を介して、クラウドサーバC100にアクセスできなくても、他の眼鏡表示装置100を装着しているユーザ等と意思決定、多数決等を行うことができる。
図37に示すように、意思決定表示部R100には、「Yes」アイコンR110および「No」アイコンR120が表示されている。例えば「サービスエリアに行きますか?」という内容に関して、ユーザは「Yes」アイコンR110または「No」アイコンR120を選択することができる。
ユーザは、一人で利用する場合は、クラウドサーバC100の記録部C110に事前に登録されている質問内容が表示される。この場合、質問内容は、ナビゲーションユニットN200と連動するようにしてもよい。
ユーザは、手H1または指H11のジェスチャにより、Yes」アイコンR110または「No」アイコンR120を選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、いずれかのアイコンが選択されたと認識する。
そして、制御ユニット450は、その選択されたアイコンの情報(意思決定情報)をクラウドサーバC100の意思決定判定部C140に通信システム300を介して送信する。
なお、制御ユニット450が、クラウドサーバC100の意思決定判定部C140と同様の機能を備えるようなものであってもよい。この場合、インターネットが利用できないところであっても、グループ内の意思決定を行うことができる。また、グループを構成しなくても一人でも利用できる。
クラウドサーバC100の意思決定判定部C140は、「Yes」アイコンR110および「No」アイコンR120のうち、選択されたアイコンが多いほうに決定する。そして、例えば「Yesに決定しました。」という決定した内容をグループの各ユーザに通知する。
この結果、ユーザは、例えばバイクに乗っているときに、バイクを停めなくても、また、グローブを装着した状態でも他のユーザとの意思疎通を行うことができる。
(グループの意思決定等の制御方法)
制御ユニット450は、手H1、指H11および腕を認識、その拡張空間上のオブジェクトを半透過ディスプレイ220に表示する(ステップS111)。
次に、図24に示すように、ユーザは、半透過ディスプレイ220に表示されている意思決定表示アイコンR101を手H1または指H11のジェスチャで選択する。その結果、制御ユニット450は、手H1または指H11のジェスチャにより、意思決定表示アイコンR101が選択されたと認識する(ステップS112)。
次に、図37に示すように、制御ユニット450は、意思決定表示部R100を半透過ディスプレイ220に表示する(ステップS113)。
意思決定表示部R100には、「Yes」アイコンR110および「No」アイコンR120が表示されている。また、意思決定表示部R100には、図37に示すように、他のユーザの意思を確認するような文章、絵等が表示されている。なお、意思決定表示部R100に、文章、絵等が表示されていなくても、音声が流れるようなものであってもよい。
ユーザは、「Yes」アイコンR110を選択したい場合、ユーザは、「Yes」アイコンR110を手H1または指H11のジェスチャで選択する。また、ユーザは、「No」アイコンR110を選択したい場合、ユーザは、「Yes」アイコンR110を手H1または指H11のジェスチャで選択する。
この結果、制御ユニット450は、「Yes」アイコンR110または「No」アイコンR120が選択されたと認識する(ステップS114)。
次に、制御ユニット450は、「Yes」アイコンR110または「No」アイコンR120が選択された結果(意思決定情報)を、クラウドサーバC100に通信システム300を介して送信する(ステップS115)。
なお、クラウドサーバC100を利用せず、他のユーザに直接送信してもよい。この場合、制御ユニット450が、意思決定判定部C140に相当する機能を有する。
クラウドサーバC100の意思決定判定部C140は、グループの各ユーザのヘッドマウントディスプレイ100の制御ユニット450から通知された結果(意思決定情報)を集計する。つまり、意思決定判定部C140は、「Yes」と「No」とのいずれが多かったかを判定する(ステップS116)。
意思決定判定部C140は、判定結果を、事前に登録されている各ユーザのヘッドマウントディスプレイ100の制御ユニット450に送信する(ステップS117)。
このようなものであれば、複数人のユーザが複数台のバイク等の乗り物に乗って移動している場合、ユーザはサービスエリアに入るかどうか、休憩・食事を取るかどうか等、他人の意思を聞きたい場合がある。このような場合に非常に便利である。
以上のことから、本発明では、ユーザは、いつでも容易に目的地情報を表示装置に表示することができる。特に、ユーザは、バイク等の乗り物に乗っている場合であっても容易に目的地情報D100を確認することができる。また、ユーザは、手H1にグローブを装着している場合あっても容易に目的地情報D100を確認することができる。
また、本発明において、目的地情報D100は地図情報N210を含むことから、制御ユニット450は通信システム300を介して地図情報N210を取得することができる。また、制御ユニット450は、ナビゲーションユニットN200を起動することができる。そして、制御ユニット450は、通信システム300を介して現在地情報等を取得し、地図情報N210および現在地情報に基づいて目的地までの道を指図する。つまり、制御ユニット450は目的地までのナビゲーションを行う。
その結果、ユーザは、いつでも容易にナビゲーション機能を利用することができる。特に、ユーザは、バイク等の乗り物に乗っている場合であっても容易にナビゲーション機能を利用することができる。
また、本発明において、ユーザは、通信システム300を介して電話を行うことができる。そして、ユーザは、電話の際に半透過ディスプレイ220に表示された相手方の情報(例えば、相手方の氏名、会社名、写真、動画等)を確認することができる。
ユーザは、通信システム300を介してテレビ電話を行うこともできる。この場合、制御ユニット450は、相手方で撮影された動画を、通信システム300を介して、半透過ディスプレイ220に表示することができる。
ユーザは、バイク等の乗り物に乗っている場合であっても電話を行うことができる。また、ユーザは、手にグローブを装着していても容易に電話を行うことができる。
また、本発明において、ユーザは、通信システム300を介して、電子メールを行うことができる。つまり、制御ユニット450は、メール作成機能を有しており、通信システム300を介して電子メールの送受信を行うことができる。
制御ユニット450は、手またはグローブの動作(ジェスチャ)を認識することで、手書きの文字、絵等を認識することができる。この場合、制御ユニット450は、認識された手書きの文字、絵等を電子メールとすることができる。
そして、ユーザは、手にグローブを装着していても容易に電子メールの送受信を行うことができる。
ユーザは、あらかじめ制御ユニット450またはクラウドサーバC100に所定の相手から電話の着信があった場合に表示を変更する登録をする。制御ユニット450は、登録された相手から電話の着信があった場合、半透過ディスプレイ220に通常の着信表示とは異なる着信表示をする。
その結果、ユーザは、バイク等の乗り物に乗っているときであっても、電話にでるかどうかを着信表示で選択することができる。
なお、電話の相手方がクラウドサーバC100に電話の重要度を登録してもよい。この場合、制御ユニット450は、通信システム300を介してクラウドサーバC100から電話の重要度を認識する。
また、本発明において、ユーザと他のユーザとが近くにいる場合、インターネットを利用しなくても、近距離無線通信が可能であるため、電子メールの送受信、電話の通信を行うことができる。例えば、ユーザと他のユーザとが、バイク等の乗り物で並んで走行している場合、インターネットを利用せず、近距離無線通信で電子メールの送受信、電話の通信を行うことができる。
本発明において、ユーザはヘッドマウントディスプレイを配達に利用することができる。つまり、ユーザは、荷物の配達時間帯と配達先を制御ユニット450またはクラウドサーバC100に登録するだけで、複数の配達先に対して、どのようなルートで配達するか容易に判断することができる。
また、ユーザは、どの時間帯に再配達をするかの確認も容易にすることができる。そして、ユーザは、ナビゲーション機能を利用して配達先のルートを半透過ディスプレイ220により表示させることもできる。
具体的に述べると、制御ユニット450は、通信システム300を介して、クラウドサーバC100に登録された荷物の配達時間帯や配達先の配達情報D200を取得する。そして、制御ユニット450は、当該配達情報D200を半透過ディスプレイ220により表示する。また、制御ユニット450は、通信システム300を介して、現在地情報を取得し、ナビゲーション機能を用いて、配達先までのルートを半透過ディスプレイ220により表示する。制御ユニット450は、複数の配達先に配達するためのルートを半透過ディスプレイ220により表示することができる。
その結果、ユーザは、効率よく荷物を配達することこができる。また、ユーザは、手にグローブを装着していても容易に配達ルートを知ることができる。
本発明において、ユーザは、配達情報D200の点検または確認項目に選択印を入力した結果を、クラウドサーバC100等の外部の記録装置に送信することができる。特に、ユーザは、手H1にグローブを装着していても容易に配達情報D200の点検または確認項目に選択印を入力した結果をクラウドサーバC100へ送信することができる。
本発明においては、半透過ディスプレイ220が「表示装置」に相当し、赤外線検知ユニット410が「深度センサ」に相当し、通信システム300が「通信部」に相当し、制御ユニット450が「制御部」に相当し、眼鏡表示装置100が「ヘッドマウントディスプレイ」に相当し、クラウドサーバC100が「記録装置」に相当し、ナビゲーションシステムは、「ナゲーションユニットN200」に相当する。
本発明においては、表示工程および深度センサ工程が「ステップS41」、「ステップS71」、「ステップS91」に相当し、通信工程が「ステップS47およびステップS48」、「ステップS54からステップS57」、「ステップS74からステップS77」、「ステップS81からステップS86」、「ステップS99」、「ステップS101およびステップS108」に相当し、制御工程が「ステップS41からステップ47」、「ステップS51からステップS57」、「ステップS61からステップS65」、「ステップS71からステップS73、ステップS75からステップS77」、「ステップS81からステップS86」、「ステップS91からステップS99」、「ステップS101からステップS105、ステップS107およびステップS108」に相当する。
本発明の好ましい一実施の形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神の範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。