JP2018067160A - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

Abstract

【課題】操作性を向上する。【解決手段】画像を表示する表示部と、処理を実行する処理部と、を備える頭部装着型表示装置。前記処理部は、前記処理を指示するための命令が多面体の各面に割り当てられた多面体画像を、前記表示部に表示させる多面体画像表示部と、前記多面体画像に対する操作を受けて、前記多面体の表示される向きを切り替える多面体向き切替部と、前記多面体画像において予め定められた向きの面に割り当てられた前記命令を実行する命令実行部と、を備える。【選択図】図１１

Description

本発明は、頭部装着型表示装置と、頭部装着型表示装置の制御方法と、コンピュータープログラムと、に関する。

近年、使用者の眼前で画像を表示することのできる頭部装着型表示装置が普及しつつある。従来の頭部装着型表示装置は、頭部に装着するメガネ部分とは別に、タッチパッドを有するコントローラーを備え、このコントローラーを用いて、使用者からの命令（指示）を取得している。具体的には、メガネ部分にボタンとカーソルを表示し、タッチパッドによって、カーソルをボタン上に移動し、タップを行う操作を受け付けることによって、ボタンに設定された命令を入力することができる。

カーソルをボタン上に移動し、タップを行う操作は煩雑なものである。そこで、特許文献１には、シースルーの表示エリアに差し出された手によって、ボタンをタップできる構成が記載されている。

特開２０１５−５１９６７３号公報 特開２０１３−５４２５１４号公報

しかし、特許文献１に記載された頭部装着型表示装置では、たとえ手によってボタンをタップできる構成としても、ボタンの上に精度良く指先を当てる必要があり、また、多くのボタンの中から所望のボタンを選び出す必要があることから、操作性を十分に高めることができなかった。そのほか、従来の頭部装着型表示装置においては、検索精度の向上、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示する表示部と、処理を実行する処理部と、を備える。前記処理部は、前記処理を指示するための命令が多面体の各面に割り当てられた多面体画像を、前記表示部に表示させる多面体画像表示部と、前記多面体画像に対する操作を受けて、前記多面体の表示される向きを切り替える多面体向き切替部と、前記多面体画像において予め定められた向きの面に割り当てられた前記命令を実行する命令実行部と、を備える。この形態の頭部装着型表示装置によれば、多面体画像に対する操作を受けることで、多面体向き切替部によって多面体の向きが切り替えられ、多面体画像において予め定められた向きの面に割り当てられた命令が、命令実行部によって実行される。このため、頭部装着型表示装置の使用者は、多面体画像に対する操作を行うだけで、画像に関わる処理を実行することができる。したがって、この形態の頭部装着型表示装置は、使用者の操作性を向上することができる。

（２）前記形態の頭部装着型表示装置において、前記表示部は、外景を視認可能な構成であり、前記処理部は、視認される前記外景に関わりのある関連画像を前記表示部に表示させるとともに、前記関連画像に基づく処理を実行するようにしてもよい。この形態の頭部装着型表示装置によれば、使用者は、表示部によって視認可能な外景に関わる処理を実行させることができる。

（３）前記形態の頭部装着型表示装置において、前記関連画像は、視認される前記外景に含まれる複数の店舗を識別するための識別情報を含み、前記処理部によって実行される処理は、前記複数の店舗の中から一の店舗を指定する店舗入力処理であってもよい。この形態の頭部装着型表示装置によれば、視認される外景に含まれる複数の店舗の中から一の店舗を指定する処理を、操作性よく行うことができる。

（４）前記形態の頭部装着型表示装置において、前記関連画像は、視認される前記外景と関わりのある作業を支援するための支援画像を含み、前記処理部によって実行される処理は、前記支援画像を順次切り替える処理であってもよい。この形態の頭部装着型表示装置によれば、視認される外景とかかわりのある作業についての支援画像を順次切り替える処理を、操作性よく行うことができる。

（５）前記形態の頭部装着型表示装置において、前記多面体画像は、正六面体の３Ｄ画像であり、前記予め定められた向きの面は、使用者と向き合う面であってもよい。この形態の頭部装着型表示装置によれば、使用者は、正六面体を回転させるといった簡単かつ直感的な操作によって処理を行うことができる。したがって、操作性をより向上することができる。

（６）前記形態の頭部装着型表示装置において、前記多面体画像に対する操作は、指先でフリックする操作であってもよい。この形態の頭部装着型表示装置によれば、使用者はフリックといった簡単な操作を行うだけで処理を行うことができる。したがって、操作性をより向上することができる。

（７）前記形態の頭部装着型表示装置において、外側を形成する複数の面の内の第１の面に、使用者の入力操作を受け付ける入力部が備えられた操作部を備え、前記多面体向き切替部は、前記操作部において前記第１の面の向きを切り替える操作を検出し、前記検出した第１の面の向きを切り替える操作を、前記多面体画像に対する操作として受け付けてもよい。この形態の頭部装着型表示装置によれば、操作部の向きを切り替えるといった簡単な操作を行うだけで処理を行うことができる。したがって、操作性をより向上することができる。

（８）前記形態の頭部装着型表示装置において、前記多面体画像に対応した多面体形状を有する物体を備え、前記多面体向き切替部は、前記物体の向きを切り替える操作を検出し、 前記検出した物体の向きを切り替える操作を、前記多面体画像に対する操作として受け付けてもよい。この形態の頭部装着型表示装置によれば、多面体画像に対応した多面体形状を有する物体の向きを切り替えるといった簡単な操作を行うだけで処理を行うことができる。したがって、操作性をより向上することができる。

（９）前記形態の頭部装着型表示装置において、前記多面体画像に対する操作を受け付けたときに、振動する振動部を備えてもよい。この形態の頭部装着型表示装置によれば、前記多面体画像に対する操作が受け付けられたことを、振動によって使用者に伝えることができる。このため、多面体画像に対する操作が受け付けられたことを使用者が肌で感じることができ、操作性をより向上できる。

（１０）本発明の他の形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示する表示制御部と、処理を実行する処理部と、を備える。前記処理部は、前記処理を指示するための命令が立体の有する各面に割り当てられた立体画像を、前記表示部に表示させる立体画像表示部と、前記立体画像に対する操作を受けて、前記立体の表示される向きを切り替える立体向き切替部と、前記立体画像において予め定められた向きの面に割り当てられた前記命令を実行する命令実行部と、を備える。この形態の頭部装着型表示装置によれば、立体画像に対する操作を受けることで、立体向き切替部によって立体の向きが切り替えられ、立体画像において予め定められた向きの面に割り当てられた命令が、命令実行部によって実行される。このため、頭部装着型表示装置の使用者は、立体画像に対する操作を行うだけで、画像に関わる処理を実行することができる。したがって、この形態の頭部装着型表示装置は、使用者の操作性を向上することができる。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置の備える各構成要素の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等で実現できる。

本発明の第１実施形態における情報処理システムの概略構成を示す説明図である。 画像表示部が備える光学系の構成を示す要部平面図である。 使用者から見た画像表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 ＨＭＤの構成を機能的に示すブロック図である。 制御装置の構成を機能的に示すブロック図である。 ＨＭＤによる拡張現実感表示の一例を示す説明図である。 店舗サーバーの構成を機能的に示すブロック図である。 店舗入力処理ルーチンを示すフローチャートである。 店舗サーバーからＨＭＤに送信されるデータセットを示す説明図である。 ステップＳ１６０の処理が実行された後の使用者の視界の一例を示す説明図である。 キュービックスイッチを回転させる操作の一例を示す説明図である。 回転後のキュービックスイッチを示す説明図である。 第２実施形態の作業支援処理部によって生成されるシースルー表示エリアとインターフェースエリアとを示す説明図である。 スイッチの変形例を示す説明図である。 スイッチの変形例を示す説明図である。 キュービックスイッチの変形例を示す説明図である。 第３実施形態におけるコントローラーを示す説明図である。 コントローラーの表面を左側に向けたときの説明図である。 コントローラーの表面を右側に向けたときの説明図である。 コントローラーの表面を下側に向けたときの説明図である。 第４実施形態における第２のコントローラーを示す斜視図である。 第５実施形態におけるウオッチ型デバイスを示す説明図である。 変形例の画像表示部が備える光学系の構成を示す要部平面図である。

Ａ．第１実施形態：
Ａ−１．情報処理システムの全体構成：
図１は、本発明の第１実施形態における情報処理システムの概略構成を示す説明図である。情報処理システム１は、頭部装着型表示装置１００と、店舗サーバー３００と、を備えている。頭部装着型表示装置１００は、通信キャリアＢＳを介して無線通信でインターネットＩＮＴに接続されている。店舗サーバー３００は、有線通信でインターネットＩＮＴに接続されている。この結果、頭部装着型表示装置１００と店舗サーバー３００とは、互いにインターネットＩＮＴによって接続される。通信キャリアＢＳは、送受信アンテナや、無線基地局、交換局を含む。

頭部装着型表示装置１００は、店舗サーバー３００に蓄積された後述する店舗データベースを検索する。以下、頭部装着型表示装置１００および店舗サーバー３００について詳細に説明する。

Ａ−２．頭部装着型表示装置の構成：
頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。

ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって画像（拡張現実感（ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御機能部１５０（図５）の制御に従って撮像を実行し、得られた撮像データを制御機能部１５０へ出力する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーはカメラ６１と同様に、制御機能部１５０により制御され、検出結果を制御機能部１５０へ出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、制御機能部１５０（図５）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。

左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる画像（ＡＲ画像）が視認される。

なお、ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェース１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

制御装置１０は、ＨＭＤ１００を制御するための装置である。制御装置１０は、点灯部１２と、タッチパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。

タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をθで示す。なお、カメラ６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。

本実施形態のカメラ６１の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェース、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、タッチパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Global Positioning System）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳレシーバー１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

インターフェースには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェース１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェース１９６とが含まれている。これらは、外部とのインターフェースとして機能する。無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。

音声コーデック１８０は、音声インターフェース１８２に接続され、音声インターフェース１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェース１８２は、音声信号を入出力するインターフェースである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース１８２を介して出力する。また、音声コーデック１８０は、音声インターフェース１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線ＬＡＮインターフェース、Ｂｌｕｅｔｏｏｔｈインターフェース等の無線接続に対応したインターフェースを採用できる。

外部メモリーインターフェース１８６は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェース回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。バイブレーター１９は、制御装置１０に設ける構成に換えて、画像表示部２０側、例えば、画像表示部の右保持部２１（テンプルの右側部分）に設ける構成としてもよい。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェース（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェース１９６を介した伝送を実行する。インターフェース１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェース１９６に接続される。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５とが実装されている。受信部２１３は、インターフェース２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。

カメラ６１は、インターフェース２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェース２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。

温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。

記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４とが記憶されている。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。

コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。

制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、通信制御部１５３、店舗入力処理部１５５としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。

画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。

入出力制御部１５１は、タッチパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。通信制御部１５３は、無線通信部１１７を制御して、例えば店舗サーバー３００との間で無線通信を行う。

店舗入力処理部１５５は、ＯＳ１４３上で動作するアプリケーションプログラムに従って実現される機能である。店舗入力処理部１５５は、入出力制御部１５１や、画像処理部１４５、表示制御部１４７と協調して、使用者が望む店舗の識別情報を取得する。具体的には、店舗入力処理部１５５は、店舗サーバー３００から送られてくる複数の候補店舗を使用者に提示する機能と、複数の候補店舗から使用者によって選択された一の店舗の入力を受け付ける機能と、を有する。後者の機能である店舗の入力を受け付ける機能は、多面体画像表示部１５５ａ、多面体向き切替部１５５ｂ、および命令実行部１５５ｃによって実現される。各部１５５ａ〜１５５ｃの詳細は、後述する。なお、画像処理部１４５と表示制御部１４７、および画像表示部２０の構成が［発明の概要］の欄に記載した本発明の一形態における「表示部」に相当し、店舗入力処理部１５５が「処理部」に相当する。

図７は、ＨＭＤ１００による拡張現実感表示の一例を示す説明図である。図７では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は拡張現実感（ＡＲ）としての画像ＡＩを視認する。図７の例では、画像ＡＩは、ＨＭＤ１００のＯＳのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「店舗案内」の各アプリケーションプログラムを起動するためのアイコンが含まれる。また、右左の導光板２６，２８が外景ＳＣからの光を透過することで、使用者は外景ＳＣを視認する。このように、本実施形態のＨＭＤの使用者は、視界ＶＲのうち画像ＶＩが表示された部分については、外景ＳＣに重なるようにして画像ＡＩを見ることができる。また、視界ＶＲのうち画像ＡＩが表示されていない部分については、外景ＳＣだけを見ることができる。

Ａ−３．店舗サーバーの構成：
図８は、店舗サーバー３００の構成を機能的に示すブロック図である。図４に示すように、店舗サーバー３００は、ＣＰＵ３１０と、記憶部３２０と、ＲＯＭ３３０と、ＲＡＭ３４０と、通信インターフェース（Ｉ／Ｆ）３５０と、を備え、各部はバス３６０により相互に接続されている。

ＣＰＵ３１０は、記憶部３２０やＲＯＭ３３０に格納されているコンピュータープログラムをＲＡＭ３４０に展開して実行することにより、店舗サーバー３００の各部を制御する。そのほか、ＣＰＵ３１０は、周辺店舗情報提供部３１２および店舗案内部３１４としても機能する。周辺店舗情報提供部３１２は、使用者の視界ＶＲ１の範囲内に含まれる店舗を候補店舗として、ＨＭＤ１００に提供する。店舗案内部３１４は、ＨＭＤ１００から使用者が望む店舗の識別情報を受信し、使用者が望む店舗についての案内情報を店舗データベース３２２から取得し、取得された店舗情報をＨＭＤ１００に提供する。本実施形態では、案内情報として、店舗までの道順を示す情報、店舗の電話番号等、店舗を利用するに有用な情報を提供する。

記憶部３２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部３２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部３２０には、前述した店舗データベース３２２と、地図データベース３２４とが記憶されている。地図データベース３２４には、種々の店舗が記録されている。

Ａ−４．店舗入力処理について：
図９は、店舗入力処理ルーチンを示すフローチャートである。この店舗入力処理ルーチンは、店舗入力処理部１５５（図６）に対応している。店舗入力処理ルーチンは、不揮発性記憶部１２１（図５）に格納されている所定のコンピュータープログラム（アプリケーションプログラム）に従う処理ルーチンで、ＨＭＤ１００のメインプロセッサー１４０によって実行される。図７に例示したメニュー画面の「店舗案内」のアイコンが方向キー１６（図１）と決定キー１７（図１）によって指示されたことを受けて、店舗入力処理ルーチンは実行開始される。

処理が開始されると、ＨＭＤ１００のメインプロセッサー１４０は、まず、ＨＭＤ１００の現在位置を示す位置情報を、ＧＰＳレシーバー１１５から取得する（ステップＳ１１０）。次いで、メインプロセッサー１４０は、画像表示部２０を装着した使用者の視線方向を特定する情報（視線方向情報）を取得する（ステップＳ１２０）。具体的には、磁気センサー２３７によって検出された地磁気に基づいて画像表示部２０の向きを特定することによって、視線方向情報を取得する。続いて、メインプロセッサー１４０は、取得された位置情報と視線方向情報を店舗サーバー３００に送信する（ステップＳ１３０）。

ステップＳ１３０の処理がなされると、店舗サーバー３００側では次の処理が行われる。店舗サーバー３００は、まず、位置情報と視線情報とを取得し、これらの情報から、使用者の仮想的な仮想視野を設定する。具体的には、ＨＭＤ１００の現在位置において、使用者の視線方向を中心として予め設定される範囲（例えば、左右９０度、上下６０度）を、仮想視野として設定する。なお、ここで言う「仮想視野」は、使用者が右左の導光板２６、２８を通して実際に視認しうる視野（実視野）とは必ずしも一致する必要はないが、実視野を超えない範囲が望ましい。続いて、店舗サーバー３００は、地図データベース３２４を照合することで、仮想視野内に含まれる店舗を検索する。ここでは、ＨＭＤ１００からの距離を例えば数百メートルとし、仮想視野内に含まれる店舗を検索する。その後、店舗サーバー３００は、検索された店舗を候補店舗とし、各候補店舗についての情報を店舗データベース３２２から取得する。その後、店舗サーバー３００は、取得された各候補店舗についての情報を示すデータセットをＨＭＤ１００に送信する。

図１０は、店舗サーバー３００からＨＭＤ１００に送信されるデータセットＤＳを示す説明図である。データセットＤＳは、各候補店舗についての情報をレコードＲＣの形で記録する。各レコードＲＣには、「店舗名」、「ビュー位置」、「詳細説明」の各データが記録されている。「店舗名」のデータは候補店舗の名称であり、「ビュー位置」のデータは前述した仮想視野における候補店舗の位置を示す情報である。「詳細説明」のデータは、候補店舗の詳細な情報を示し、具体的には、店舗の種別（例えば、コンビニ、レストラン、居酒屋等）や、取り扱い商品などである。

図９のステップＳ１３０に続くステップＳ１４０では、メインプロセッサー１４０は、上述したデータセットを店舗サーバー３００から受信する。次いで、メインプロセッサー１４０は、受信したデータセットに基づいて画像処理部１４５（図６）を制御して、シースルー表示エリアを表示制御部１４７（図６）に表示させる表示処理を行う（ステップＳ１５０）。続いて、メインプロセッサー１４０は、受信したデータセットに基づいて画像処理部１４５（図６）を制御して、インフォメーション表示エリアを表示制御部１４７（図６）に表示させる表示処理を行う（ステップＳ１６０）。このステップＳ１６０の処理が多面体画像表示部１５５ａ（図６）に対応している。

図１１は、ステップＳ１６０の処理が実行された後の使用者の視界ＶＲ１の一例を示す説明図である。図示するように、視界ＶＲ１には、シースルー表示エリアＰ１とインターフェースエリアＰ２とが含まれる。

シースルー表示エリアＰ１には、外景ＳＣに重なるようにして、ＡＲ画像としての店舗名の吹き出しＡ１〜Ａ６が表示される。各吹き出しＡ１〜Ａ６に表される店舗名は、受信したデータセットＤＳの「店舗名」のデータに基づくものである。各吹き出しＡ１〜Ａ６の表示位置は、候補店舗の存在する位置に対応したもので、受信したデータセットＤＳの「ビュー位置」のデータに基づいて定められている。具体的には、視界ＶＲ１の中に店舗サーバー３００で設定した仮想視野と同じ仮想視野を設定した上で、その設定した仮想視野における位置を「ビュー位置」のデータから求めることで、視界ＶＲ１の中の各吹き出しＡ１〜Ａ６の表示位置が定められている。

インターフェースエリアＰ２は、使用者との間で情報のやり取りを行うためのエリアであり、シースルー表示エリアＰ１の片側（例えば右側）に連結されている。具体的には、インターフェースエリアＰ２では、シースルー表示エリアＰ１に表示された１または複数（図１１の例示では６つ）の店舗名を一覧表示するとともに、一覧表示の中から選択された使用者が望む店舗の店舗名を受け取る。なお、インターフェースエリアＰ２は、遠くの外景は透過せず、近くの外景（たとえば、指先）については透過して視認可能なように、外景の透過量が設定されている。

図１１に示すインターフェースエリアＰ２は、一覧表示欄ＬＴと、キュービックスイッチＳＷと、が含まれる。

一覧表示欄ＬＴは、シースルー表示エリアＰ１に表示された店舗名に対応した［店舗名］ボタンＢ１を縦方向に配列したもので、各［店舗名］ボタンの右隣りには［詳細］ボタンＢ２がそれぞれ設けられている。すなわち、店舗毎に、［店舗名］ボタンＢ１と［詳細］ボタンＢ２とが対になって設けられている。［店舗名］ボタンＢ１は、ＨＭＤ１０の制御機能部１５０（図６）に対して店舗名を指示するためのスイッチである。［詳細］ボタンＢ２は、店舗の詳細な情報の表示を指示するためのスイッチである。一覧表示欄ＬＴ内の全てのボタンＢ１，Ｂ２のうちの一つはアクティブ状態となっており、残余のボタンＢ１，Ｂ２は非アクティブ状態となっている。「アクティブ状態」とは、使用者による操作の対象となっている状態である。図示の例では、「○○店」の［店舗名］ボタンＢ１が白色の背景となっており、アクティブ状態となっており、残余のボタンＢ１，Ｂ２は非アクティブ状態となっている。図示の例では、「○○店」の［詳細］ボタンＢ２と、「○○店」以外の各店の［店舗名］ボタンＢ１および［詳細］ボタンＢ２とが、非アクティブ状態である。なお、一覧表示欄ＬＴが、［発明の概要］の欄に記載した本発明の一形態における「画像」に相当する。

キュービックスイッチＳＷは、アクティブ状態にあるボタンＢ１，Ｂ２を順次切り替え、入力したい店舗を決定するためのＧＵＩ（グラフィカルユーザーインターフェース）として機能する。本実施形態では、キュービックスイッチＳＷは、立方体（正六面体）形状の３Ｄ画像によって構成される。「３Ｄ画像」とは、３次元（立体）の画像である。本実施形態では、立方体の画像は、奥行きを有する３次元の形状データによって示されており、２次元の画面上で自由に角度(アングル)を変えたり遠近感を付けることが可能となっている。本実施形態のＨＭＤ１００はシースルー型であることから、特有な画像処理を施して、３Ｄ画像を立体的により鮮明に見えるようにしてもよい。特有な画像処理としては、影を付けたり、明度を変えたり、両眼表示の視差角を変えたり等がある。

立方体の各面ＳＦには、一つの命令がそれぞれ割り当てられている。６つの面ＳＦに割り当てられる命令は、本実施形態では、「ｕｐ」、「ｄｏｗｎ」、「ｒｉｇｈｔ」、「ｌｅｆｔ」、「決定」、「削除」である。「ｕｐ」は、アクティブ状態にあるボタンＢ１，Ｂ２を上側に切り替える命令である。「ｄｏｗｎ」は、アクティブ状態にあるボタンＢ１，Ｂ２を下側に切り替える命令である。「ｒｉｇｈｔ」は、アクティブ状態にあるボタンＢ１，Ｂ２を右側に切り替える命令である。「ｌｅｆｔ」は、アクティブ状態にあるボタンＢ１，Ｂ２を左側に切り替える命令である。各命令の配列は、本実施形態では、制御装置１０における決定キー１７と方向キー１６との配列に合わせたものとなっている。具体的には、「決定」の面の右側に「ｒｉｇｈｔ」の面が配置され、「決定」の面の左側に「ｌｅｆｔ」の面が配置され、「決定」の面の上側に「ｕｐ」の面が配置され、「決定」の面の下側に「ｄｏｗｎ」の面が配置される。「決定」の面の裏側に「削除」の面が配置される。

「決定」は、アクティブ状態にあるボタンＢ１，Ｂ２に対して設定された機能を実行させる命令である。すなわち、アクティブ状態にあるボタンが［店舗名］ボタンＢ１である場合には、店舗名の入力を受け付け、アクティブ状態にあるボタンが［詳細］ボタンＢ２である場合には、該当する店舗についての詳細情報を表示させる。「削除」は、アクティブ状態にあるボタンＢ１，Ｂ２に該当する店舗を候補店舗から削除する命令である。なお、キュービックスイッチＳＷは正六面体の３Ｄ画像であることから、６つの面の内の一部（例えば、３つ）が見え、他の面は裏側に隠れている。

インターフェースエリアＰ２は、先に説明したように、近くの外景は透過して視認可能であることから、使用者は、視界の中に手の指先を差し出すことによって、指先によってキュービックスイッチＳＷを操作することができる。

図１２は、キュービックスイッチＳＷを回転させる操作の一例を示す説明図である。ＨＭＤ１００の使用者は、図示するようにキュービックスイッチＳＷの一面ＳＦに手の指先ＦＧを当て（重ね）、矢印ＦＬに示すようにフリック（スライド）することによって、キュービックスイッチＳＷを回転させることができる。すなわち、キュービックスイッチＳＷとしての立方体の表示される向きを切り替えることができる。

図１３は、回転後のキュービックスイッチＳＷを示す説明図である。図１２に示すように操作された結果、キュービックスイッチＳＷは図１３の状態、すなわち、「ｕｐ」と記された面が表示される向きに切り替わる。図１３の状態は図１２の状態からフリック方向に面ＳＦを１つ分だけ切り替えたものとなっているが、キュービックスイッチＳＷは、フリックの距離を長くすることで、面ＳＦを２つ分、３つ分と切り替えることも可能である。

キュービックスイッチＳＷの前側の面ＳＦは、使用者によってタップ可能となっている。「前側の面」とは、使用者と向き合う面であり、図１３の例示では「ｕｐ」と記された面ＳＦが該当する。「タップ」とは、手の指先ＦＧを画像要素に当て（重ね）、押下するように指先ＦＧを前方（使用者から見た前側）に移動する操作である。キュービックスイッチＳＷの前側の面ＳＦをタップすることで、その前側の面ＳＦに割り当てられた命令をＨＭＤ１００に実行させることができる。なお、本実施形態では、前側の面ＳＦ以外の面はタップ不可能な構成となっている。前側の面ＳＦだけがタップ可能となっているのは、タップを受け付ける面が上側の面であると、アプリケーションプログラムで予め定められた構成であるためである。

例えば、図１１に示したインターフェースエリアＰ２の表示状態において、キュービックスイッチＳＷの前側の面ＳＦ、すなわち、「ｄｏｗｎ」と記された面ＳＦをタップした場合には、アクティブ状態にあるボタンは、「○○店」と記された［店舗名］ボタンＢ１から「△△店」と記された［店舗名］ボタンＢ１に切り替わる。

例えば、図１１に示したインターフェースエリアＰ２の表示状態において、キュービックスイッチＳＷを下側にフリックすることで、「決定」と記された面ＳＦを前側に切り替えた後、その前側の面ＳＦをタップした場合には、アクティブ状態にあるボタンである「○○店」と記された［店舗名］ボタンＢ１に対して「決定」が実行される。具体的には、ＨＭＤ１０の制御機能部１５０（図６）において、「○○店」という店舗名の入力が受け付けられる。

例えば、図１１に示したインターフェースエリアＰ２の表示状態において、キュービックスイッチＳＷを右側にフリックすることで、「ｒｉｇｈｔ」と記された面ＳＦを前側に切り替えた後、その前側の面ＳＦをタップした場合には、アクティブ状態にあるボタンは、「○○店」と記された［店舗名］ボタンＢ１から右隣の［詳細］ボタンＢ２に切り替わる。その後、キュービックスイッチＳＷを下側にフリックすることで、「決定」と記された面ＳＦを前側に切り替え、その前側の面ＳＦをタップした場合には、アクティブ状態にあるボタンである「○○店」の［詳細］ボタンＢ２に対して「決定」が実行される。この結果、該当する店舗、「○○店」についての詳細情報がインターフェースエリアＰ２に表示される。詳細情報は、ステップＳ１４０で顧客サーバーから受信したデータセットの「詳細説明」のデータ（図１０参照）に基づくものである。

図９のフローチャートの説明に戻る。上述したキュービックスイッチＳＷを用いた操作は、ステップＳ１７０からＳ１９６までの処理によって実現される。

ステップＳ１７０では、メインプロセッサー１４０は、カメラ６１を制御して撮像を実行させ、得られた撮像画像から使用者の指先ＦＧの動きを検出する。次いで、メインプロセッサー１４０は、検出した指先ＦＧの動きから、キュービックスイッチＳＷに対する上述したフリックやタップの操作がなされたか否かを判定し（ステップＳ１８０）、操作がなされていない場合には、ステップＳ１７０に処理を戻して、操作がなされるのを待つ。ステップＳ１８０で、キュービックスイッチＳＷに対して操作がなされたと判定されたときには、その操作がフリックとタップのいずれであるかを判定する（ステップＳ１９０）。

ステップＳ１９０でフリックであると判定された場合には、メインプロセッサー１４０は、キュービックスイッチＳＷの表示される向きをフリックの方向に基づいて切り替える（ステップＳ１９２）。すなわち、キュービックスイッチＳＷをフリックされた方向に回転した状態の画像に変更する。ステップＳ１７０〜Ｓ１９２の処理が多面体向き切替部１５５ｂ（図６）に対応している。ステップＳ１９２の実行後、ステップＳ１７０に処理を戻して、使用者の次の操作を待つ。

一方、ステップＳ１９０でタップであると判定された場合には、メインプロセッサー１４０は、タップされた面（本実施形態では、前側の面、すなわち使用者と向き合う面）ＳＦに割り当てられた命令を実行する（ステップＳ１９４）。すなわち、「ｕｐ」である場合には、アクティブ状態にあるボタンＢ１，Ｂ２を上側に切り替える。「ｄｏｗｎ」である場合には、アクティブ状態にあるボタンＢ１，Ｂ２を下側に切り替える。「ｒｉｇｈｔ」である場合には、アクティブ状態にあるボタンＢ１，Ｂ２を右側に切り替える。「ｌｅｆｔ」である場合には、アクティブ状態にあるボタンＢ１，Ｂ２を左側に切り替える。「削除」である場合には、アクティブ状態にあるボタンＢ１，Ｂ２に該当する店舗を候補店舗から削除する。

「決定」であると判定された場合には、２つの動作に別れる。アクティブ状態にあるボタンＢ１，Ｂ２が［店舗名］ボタンＢ１である場合には、該当する店舗の識別情報、すなわち、店舗名を入力する。具体的には、ＨＭＤ１０の制御機能部１５０（図６）の店舗入力処理部１５５において、「○○店」という店舗名の入力が受け付けられるアクティブ状態にあるボタンＢ１，Ｂ２が［詳細］ボタンＢ２である場合には、該当する店舗についての詳細情報を表示する。詳細情報は、ステップＳ１４０で顧客サーバーから受信したデータセットの「詳細説明」のデータ（図１０参照）に基づくものである。本実施形態では、インターフェースエリアＰ２に詳細情報を所定時間（例えば５秒）だけ表示し、５秒経過後はインターフェースエリアＰ２は元の表示に戻る。ステップＳ１７０〜Ｓ１９０、Ｓ１９４の処理が命令実行部１５５ｃ（図６）に対応している。

ステップＳ１９４の実行後、メインプロセッサー１４０は、アクティブ状態にあるボタンＢ１，Ｂ２が［店舗名］ボタンＢ１であり、かつ、タップされた面ＳＦに割り当てられた命令が「決定」であるか否かを判定する（ステップＳ１９６）。ここで、否定判定、すなわち、アクティブ状態にあるボタンＢ１，Ｂ２が［詳細］ボタンＢ２である場合、もしくはタップされた面ＳＦに割り当てられた命令が「決定」以外の命令である場合には、ステップＳ１７０に処理を戻して、使用者の次の操作を待つ。

一方、ステップＳ１９６で肯定判定、すなわち、［店舗名］ボタンＢ１で、かつ「決定」である場合には、「エンド」に処理を進めて、この店舗入力処理ルーチンを終了する。すなわち、肯定判定された場合、ステップＳ１９４の処理により店舗名の入力の受け付けが完了していることから、この店舗入力処理ルーチンを終了する。

メインプロセッサー１４０は、店舗入力処理ルーチンの終了後、別の処理を実行することによって、店舗入力処理ルーチンによって受け付けた店舗名を店舗サーバー３００に送り、店舗サーバー３００から送られてくる案内情報の表示を行う。

Ａ−５．実施形態の効果について：
以上のように構成された第１実施形態のＨＭＤ１００によれば、使用者は、右左の導光板２６、２８を通して視認しうる視界に含まれる複数の店舗の中から一の店舗を指定するに際し、キュービックスイッチＳＷをフリックして回転させ、前側の面ＳＦをタップするだけで、その指定を行なうことができる。したがって、このＨＭＤ１００によれば、使用者の操作性を向上することができる。特に、このＨＭＤ１００によれば、キュービックスイッチＳＷが正六面体の３Ｄ画像であることから、簡単かつ直感的な操作によって処理を行うことができる。したがって、操作性をより向上できる。

Ｂ．第２実施形態：
本発明の第２実施形態におけるＨＭＤは、第１実施形態におけるＨＭＤ１００と比べて、制御機能部１５０（図６）によって実現される一部の機能が相違する。具体的には、ＨＭＤ１００が備える制御機能部において、第１実施形態における店舗入力処理部１５５（図６）に替えて、作業支援処理部（図示せず）が設けられていることが相違する。第２実施形態におけるＨＭＤにおける残余の構成は、第１実施形態と同一であり、説明は省略する。

図１４は、第２実施形態の作業支援処理部によって生成されるシースルー表示エリアＰ１１とインターフェースエリアＰ１２とを示す説明図である。シースルー表示エリアＰ１１は、第１実施形態のシースルー表示エリアＰ１（図１１）と同様に、シースルーにて視認される外景ＳＣに重なるように、ＡＲ画像としての吹き出しＡ１１が表示される。外景ＳＣ１１には、ねじ止めを行うためのねじと板材とが含まれる。吹き出しＡ１１には、作業指示を行うためのＡＲナビ画面が含まれる。

インターフェースエリアＰ１２には、作業についての手順を示す作業標準書ＬＴ１１が表示される。作業者は、インターフェースエリアＰ１２に表示された作業標準書ＬＴ１１を読み、吹き出しＡ１１のＡＲナビ画面による指示に従って、ねじ止めの作業を行う。作業標準書ＬＴ１１が、［発明の概要］の欄に記載した本発明の一形態における「画像」に相当する。

インターフェースエリアＰ１２には、第１実施形態と同様に、キュービックスイッチＳＷ１１が含まれる。キュービックスイッチＳＷ１１は、作業標準書ＬＴ１１のページの表示を切り替えるためのＧＵＩとして機能する。キュービックスイッチＳＷ１１を構成する立方体（正六面体）の各面ＳＦには、「Ｐａｇｅ ｕｐ」、「Ｐａｇｅ ｄｏｗｎ」、「作業標準書拡大」、「作業標準書縮小」、「ＡＲナビ画面拡大」、「ＡＲナビ画面縮小」の各命令がそれぞれ割り当てられている。

「Ｐａｇｅ ｕｐ」は、作業標準書ＬＴ１１のページを１枚めくる（送る）命令である。「Ｐａｇｅ ｄｐｗｎ」は、作業標準書ＬＴ１１のページを１枚戻す命令である。「作業標準書拡大」は、作業標準書ＬＴ１１を拡大表示する命令である。「作業標準書縮小」は、作業標準書ＬＴ１１を縮小表示する命令である。「ＡＲナビ画面拡大」は、吹き出しＡ１１に表示されるＡＲナビ画面を拡大する命令である。「ＡＲナビ画面縮小」は、吹き出しＡ１１に表示されるＡＲナビ画面を縮小する命令である。

キュービックスイッチＳＷ１１は、第１実施形態のキュービックスイッチＳＷと同様に、キュービックスイッチＳＷ１１の一面に手の指先ＦＧを当て（重ね）、フリック（スライド）することによって、キュービックスイッチＳＷ１１を回転させることができる。また、キュービックスイッチＳＷの前側の面をタップすることによって、その前側の面に割り当てられた命令をＨＭＤ１００に実行させることができる。

以上のように構成された第２実施形態のＨＭＤによれば、インターフェースエリアＰ１２に表示される作業標準書ＬＴ１１のページ送り／ページ戻し／拡大／縮小を、キュービックスイッチＳＷ１１をフリックして回転させ、前側の面をタップするだけで行なうことができる。したがって、このＨＭＤによれば、使用者の操作性を向上することができる。特に、このＨＭＤによれば、キュービックスイッチＳＷ１１が正六面体の３Ｄ画像であることから、簡単かつ直感的な操作によって処理を行うことができる。したがって、操作性をより向上できる。

Ｃ．第３実施形態：
本発明の第３実施形態におけるＨＭＤは、第１実施形態におけるＨＭＤ１００と比べて、制御装置（コントローラー）の構成が相違し、残余の構成要素は、第１実施形態と同一である。なお、同一の構成要素については、第１実施形態と同一の符号を用いて以下の説明を行う。第１実施形態では、表示されたキュービックスイッチＳＷを指先でフリックすることによって、キュービックスイッチＳＷを回転させる構成であった。これに対して、第３実施形態では、制御装置（コントローラー）を用いて、表示されたキュービックスイッチＳＷを回転させることができる。

図１８は、第３実施形態における制御装置（以下、「コントローラー」と呼ぶ）４１０を示す説明図である。コントローラー４１０は、使用者によって操作される操作部であって、表面４１０ａと、裏面４１０ｂと、両側の側面４１０ｃとを備える板形状である。表面４１０ａに、方向キー４１６（図１９）や決定キー４１７（図１９）が設けられている。コントローラー４１０は、第１実施形態における制御装置１０に替わるもので、制御装置１０と同一の機能を有する。

図中において、「ＵＰ」は鉛直方向の上側であり、「ＤＷ」は鉛直方向の下側である。「ＬＦ」は左方向とする。図１８の状態では、表面４１０ａが鉛直方向の上側、すなわち上向きとなっている。コントローラー４１０は、通常、表面４１０ａを上向きとして使用される。

コントローラー４１０の内部には、第１実施形態における制御装置（コントローラー）１０と同様に、６軸センサー４１１と磁気センサー４１３が設けられている。６軸センサー４１１の検出信号と磁気センサー４１３の検出信号とを組み合わせることで、コントローラー４１０の向きを特定することができる。

図１９はコントローラー４１０の表面４１０ａを左側に向けたときの説明図であり、図２０はコントローラー４１０の表面４１０ａを右側に向けたときの説明図であり、図２１はコントローラー４１０の表面４１０ａを鉛直方向の下側に向けたときの説明図である。図１９〜図２１は、図１８と同様に、左から右方向に向かって見たときの平面視を示している。使用者は、コントローラー４１０の表面４１０ａを、図１８の状態である上向き、図１９の状態である左向き、図２０の状態である右向き、図２１の状態である下向きに、それぞれ切り替えることができる。コントローラー４１０は、６軸センサー４１１の検出信号と磁気センサー４１３の検出信号に基づいて特定したコントローラー４１０の向きから、上記のコントローラー４１０の表面４１０ａの向きが切り替わったことを検出することができる。

本実施形態では、コントローラー４１０の表面４１０ａを上向きとすることが、第１実施形態におけるキュービックスイッチＳＷ（図１１）を上側にフリックする操作に対応付けられている。コントローラー４１０の表面４１０ａを左向きとすることが、第１実施形態におけるキュービックスイッチＳＷを左側にフリックする操作に対応付けられている。コントローラー４１０の表面４１０ａを右向きとすることが、第１実施形態におけるキュービックスイッチＳＷを右側にフリックする操作に対応付けられている。コントローラー４１０の表面４１０ａを下向きとすることが、第１実施形態におけるキュービックスイッチＳＷを下側にフリックする操作に対応付けられている。この結果、使用者によって、コントローラー４１０の表面４１０ａが上向き、下向き、左向き、右向きの間で切り替えられることによって、インターフェースエリアＰ２に表示されたキュービックスイッチＳＷの向きが切り替えられる。

さらに、本実施形態では、コントローラー４１０が上下に２回振られることが、第１実施形態におけるキュービックスイッチＳＷの前側の面ＳＦをタップする操作に対応付けられている。この結果、コントローラー４１０が上下に２回振られたときに、キュービックスイッチＳＷの前側の面ＳＦに割り当てられた命令が実行される。コントローラー４１０が振られたことは、６軸センサー４１１と磁気センサー４１３とによって検出できる。

なお、コントローラー４１０の表面４１０ａの向きが切り替えられたときに、キュービックスイッチＳＷの向きがいずれの方向に切り替わるかは、アプリケーションプログラムによって上述したように定められているが、これに換えて、使用者が自由に変更可能な構成としてもよい。

以上のように構成された第３実施形態のＨＭＤによれば、使用者は、視界に含まれる複数の店舗の中から一の店舗を指定するに際し、コントローラー４１０の向きを切り替え、コントローラー４１０を上下に２回振るだけで、その指定を行なうことができる。したがって、このＨＭＤによれば、第１実施形態のＨＭＤと同様に、使用者は簡単かつ直感的な操作によって処理を行うことができる。なお、このコントローラー４１０を備えた構成は、第３実施形態では第１実施形態に適用する構成としたが、他の実施形態として第２実施形態に適用する構成としてもよい。

Ｄ．第４実施形態：
本発明の第４実施形態におけるＨＭＤは、第１実施形態におけるＨＭＤ１００と比べて、第２のコントローラーをさらに備えることが相違し、残余の構成要素は、第１実施形態と同一である。同一の構成要素については、第１実施形態と同一の符号を用いて以下の説明を行う。

図２２は、第２のコントローラー５１０を示す斜視図である。第２のコントローラー５１０は、図１１に示すインターフェースエリアＰ２に表示されたキュービックスイッチＳＷと同一の立方体（正六面体）形状を有する実際の物体である。立方体の各面５１０ａには、キュービックスイッチＳＷと同様に、「ｕｐ」、「ｄｏｗｎ」、「ｒｉｇｈｔ」、「ｌｅｆｔ」、「決定」、「削除」の各命令が割り当てられている。

第２のコントローラー５１０の内部には、６軸センサー５１１と磁気センサー５１３と無線通信部５１７とが設けられている。６軸センサー５１１は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。磁気センサー５１３は、例えば、３軸の地磁気センサーである。６軸センサー５１１の検出信号と磁気センサー５１３の検出信号に基づいて第２のコントローラー５１０の向きを特定することができる。無線通信部５１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部５１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を、制御装置（コントローラー）１０との間で行う。

使用者は、キュービックスイッチＳＷを指先でフリックすることに換えて、第２のコントローラー５１０を回転させる。第２のコントローラー５１０は、回転時における６軸センサー５１１と磁気センサー５１３の各検出信号を無線通信部５１７を介して、制御装置（コントローラー）１０に送信する。制御装置１０は、第２のコントローラー５１０から送られてきた６軸センサー５１１と磁気センサー５１３の各検出信号を組み合わせて、第２のコントローラー５１０の回転方向を特定し、画像表示部２０に設けられた６軸センサー２３５と磁気センサー２３７との各検出信号から画像表示部２０の向きを特定し、特定した第２のコントローラー５１０の回転方向と画像表示部２０の向きとによって、使用者の見た方向に対する第２のコントローラー５１０の回転方向を特定する。その後、インターフェースエリアＰ２に表示されたキュービックスイッチＳＷをその特定した回転方向に同期させて回転する。この結果、使用者によって、第２のコントローラー５１０の向きが切り替えられることによって、インターフェースエリアＰ２に表示されたキュービックスイッチＳＷの向きが切り替えられる。

さらに、第２のコントローラー５１０が上下に２回振られることが、第１実施形態におけるキュービックスイッチＳＷの前側の面ＳＦをタップする操作に対応付けられている。第２のコントローラー５１０が振られたことは、６軸センサー５１１と磁気センサー５１３とによって検出できる。この結果、第２のコントローラー５１０が上下に２回振られたときに、キュービックスイッチＳＷの前側の面ＳＦに割り当てられた命令が実行される。

以上のように構成された第４実施形態のＨＭＤによれば、使用者は、視界に含まれる複数の店舗の中から一の店舗を指定するに際し、実物体である第２のコントローラー５１０の向きを切り替え、コントローラー５１０を上下に２回振るだけで、その指定を行なうことができる。したがって、このＨＭＤによれば、第１実施形態のＨＭＤと同様に、使用者は簡単かつ直感的な操作によって処理を行うことができる。なお、第２のコントローラー５１０を備えた構成は、第４実施形態では第１実施形態に適用する構成としたが、他の実施形態として第２実施形態に適用する構成としてもよい。

Ｅ．第５実施形態：
キュービックスイッチＳＷ，ＳＷ１１を用いた操作を、第１および第２実施形態では指先でフリックする操作とし、第３実施形態ではコントローラー４１０の表面４１０ａの向きを切り替える操作とし、第４実施形態では実物体である第２のコントローラー５１０の向きを切り替える操作とした。これらに対して、第５実施形態では、ウェアラブルデバイスを用いてキュービックスイッチＳＷを操作する構成とした。

図２３は、第５実施形態のＨＭＤが具備するウオッチ型デバイスを示す説明図である。ウオッチ型デバイス６１０は、フェース部６１２と、フェース部６１２を固定するケース６１４とを備える。フェース部６１２は、時計針を内蔵するとともに、表面にタッチセンサー６１２ａを備える。ケース６１４は、４角形状であり、４つの側面のそれぞれにタッチセンサー６１４ａを備える。ウオッチ型デバイス６１０は、側面に設けられたタッチセンサー６１４ａによって、キュービックスイッチＳＷを回転する指示を受け付けることができ、表面に設けられたタッチセンサー６１２ａによって「決定」の指示を受け付ける。また、ウオッチ型デバイス６１０は、無線通信部６１７を備える。

こうした構成のウオッチ型デバイス６１０を第１実施形態や第２実施形態に適用することで、これら実施形態と同様に、操作性を向上することができる。なお、ウェアラブルデバイスは、ウオッチ型のものに限る必要はなく、リストバンド、指輪、衣服などの他のタイプのものでもよい。さらに、第５実施形態の変形例として、ウェアラブルデバイスに換えて、ＰＤＡ 携帯電話 スマートフォンとし、それらに備えられる４つの側面と表面にタッチセンサーを設ける等としてもよい。さらに、第５実施形態の他の変形例として、ウェアラブルデバイスの向きを特定し、キュービックスイッチＳＷをその特定したウェアラブルデバイスの向きに同期させて回転する構成としてもよい。

Ｆ．変形例：
なお、この発明は第１〜第５実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

・変形例１：
各実施形態および変形例では、各面に命令が割り当てられたキュービックスイッチＳＷ，ＳＷ１１は正六面体の３Ｄ画像であった。これに対して、図１５に示すように、各面に命令が割り当てられたスイッチＳＷ２１は正四面体の３Ｄ画像としてもよいし、図１６に示すように、各面に命令が割り当てられたスイッチＳＷ３１は正１２面体の３Ｄ画像としてもよい。すなわち、多面体の３Ｄ画像であれば、種々の数の等しい大きさの面を備える３Ｄ画像とすることができる。また、面の大きさは、必ずしも等しい必要はなく、異なる大きさの面とすることもできる。さらに、３Ｄ画像に替えて、複数の２Ｄ画像によって多面体を表す構成としてもよい。

・変形例２：
各実施形態および変形例では、キュービックスイッチＳＷ，ＳＷ１１の使用者と向き合う面（前側の面）をタップすることで、前側の面に割り当てられた命令をＨＭＤ１００に実行できる構成とした。これに対して、変形例として、キュービックスイッチＳＷ，ＳＷ１１の上側の面をタップすることで、上側の面に割り当てられた命令をＨＭＤ１００に実行できる構成としてもよい。上側の面とは、図１１の例示では「決定」と記された面である。要は、予め定められた向きの面であれば、いずれの向きの面に替えることができる。なお、予め定められた向きの面は、アプリケーションプログラムで予め定められた構成であるが、これに替えて、使用者によって設定された向きの面を予め定められた面とすることもできる。さらに、各実施形態および変形例では、「予め定められた向きの面」は一つであったが、これに替えて、複数の面（例えば、前側の面と最も上側の面）としてもよい。これら複数の面がタップ可能となっており、タップされた面に割り当てられたが命令が実行される。

・変形例３：
各実施形態および変形例では、キュービックスイッチＳＷ，ＳＷ１１の使用者と向き合う面（前側の面）をタップすることで、前側の面に割り当てられた命令をＨＭＤ１００に実行できる構成とした。これに対して、変形例として、制御装置１０に備えられた決定キー１７が押下されたときに、前側の面に割り当てられた命令をＨＭＤ１００に実行できる構成としてもよい。また、タップや、決定キー１７の操作に限る必要はなく、使用者による他の操作に替えることもできる。

・変形例４：
各実施形態および変形例では、キュービックスイッチＳＷ，ＳＷ１１の使用者と向き合う面（前側の面）をタップすることで、前側の面に割り当てられた命令をＨＭＤ１００に実行できる構成とした。これに対して、変形例として、キュービックスイッチＳＷ，ＳＷ１１の向きを切り替えたときに、タップすることなく直ちに、前側の面に割り当てられた命令をＨＭＤ１００に実行できる構成としてもよい。この構成によれば、より操作性を向上することができる。なお、変形例２と同様に、前側の面に替えて、上側の面、等の他の予め定められた向きの面に割り当てられた命令を直ちに実行する構成としてもよい。

・変形例５：
各実施形態および変形例では、キュービックスイッチＳＷ，ＳＷ１１を構成する正六面体の各面に一つの命令をそれぞれ割り当てる構成とした。これに対して、図１７に示すように、キュービックスイッチＳＷ４１を、正六面体の所定の面に対して複数（例えば、４つ）の命令を割り当てる構成としてもよい。また、図示の例では、正六面体の１つの面だけに４つの命令を割り当てた構成としたが、これに換えて、全ての面に複数の命令を割り当てるようにしてもよい。

・変形例６：
各実施形態および変形例では、多面体画像をスイッチとしていたが、必ずしも多面体の画像である必要はなく、立体の画像であってもよい。「多面体」とは、複数（４つ以上）の平面に囲まれた立体であり、曲面をもつ立体は含まれず、また、すべての面の境界が直線である場合に限られる。これに対して、変形例として、多面体以外の立体をスイッチとしてもよい。すなわち、立体は、曲面を含み、各面もしくは各面に含まれる各領域に命令が割り当てられた構成であり、こうした立体を、ＵＩのスイッチとしてもよい。多面体以外の立体としては、例えば、円柱、円錐、または球等が該当する。

・変形例７：
各実施形態および変形例では、シースルー表示エリアＰ１，Ｐ１１にＡＲ画像としての吹き出しを表示する構成としたが、これに換えて、シースルー表示エリアＰ１，Ｐ１１にＡＲ画像を表示しない構成としてもよい。また、各実施形態および変形例では、シースルー表示エリアＰ１，Ｐ１１とインターフェースエリアＰ２，Ｐ１２とを備える構成としたが、これに換えて、シースルー表示エリアＰ１，Ｐ１１だけを備え、シースルー表示エリアＰ１，Ｐ１１に一覧表示欄ＬＴもしくは作業標準書ＬＴ１１と、キュービックスイッチＳＷ，ＳＷ１１とが備えられる構成としてもよい。すなわち、右左の導光板２６、２８を通して視認しうる視界は、１つのエリアだけで構成してもよいし、複数のエリアに区分けしてもよく、いずれかのエリアに、ＡＲ画像と立体（多面体、もしくは多面体以外の立体）の画像とが表示されればよい。

・変形例８：
変形例６のシースルー表示エリアにキュービックスイッチを設けた構成において、キュービックスイッチ越しに外景を見易い構成としてもよい。具体的には、外景の明るさに基づいて、キュービックスイッチの輝度および／または大きさを変更することで、キュービックスイッチは勿論のこと、キュービックスイッチ越しの外景も見易くしてもよい。また、キュービックスイッチは、全体は薄い色で、エッジだけを協調した画像としてもよい。

・変形例９：
第１実施形態では、視界に含まれる複数の店舗の中から一の店舗を指定するに際し、キュービックスイッチＳＷを用いており、第２実施形態では、インターフェースエリアＰ１２に表示される作業標準書ＬＴ１１のページ送り／ページ戻し／拡大／縮小するに際し、キュービックスイッチＳＷ１１を用いていた。これに対して、複数の商品の中から一の商品を指定するに際し、キュービックスイッチを用いるようにしてもよいし、学習支援、スポーツ支援等の各種支援に用いられる書類のページ送り／ページ戻し／拡大／縮小するに際し、キュービックスイッチを用いるようにしてもよい。また、製造、メンテナンス等についての指示を支援画像としてもよい。要は、ＡＲ画像に関わる処理を実行させるために立体（多面体、もしくは多面体以外の立体）のスイッチを用いる構成であれば、ＡＲ画像はどのようなものであってもよい。

・変形例１０：
各実施形態および各変形例において、キュービックスイッチＳＷ，ＳＷ１１に対する操作を受け付けたとき、すなわち、キュービックスイッチＳＷ，ＳＷ１１を回転させる操作とキュービックスイッチＳＷ，ＳＷ１１の前側の面ＳＦをタップする操作とを受け付けたときに、所定の振動パターンでバイブレーター１９により振動を発生させる構成としてもよい。この変形例によれば、キュービックスイッチに対する操作が受け付けられたことを、振動によって使用者に伝えることができる。このため、キュービックスイッチに対する操作が受け付けられたことを使用者が肌で感じることができ、操作性をより向上できる。

・変形例１１：
各実施形態および変形例において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。

・変形例１２：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、右導光板２６および左導光板２８が外光を透過する、いわゆる透過型のＨＭＤ１００について説明した。しかし、本発明は、例えば、外景を透過しないで画像を表示する、いわゆる非透過型のＨＭＤ１００に適用することもできる。また、非透過型のＨＭＤ１００には、カメラで外景を撮像して、その撮像画像を表示部に表示すれば良い。これらのＨＭＤ１００では、上記実施形態で説明した実空間に重畳して画像を表示するＡＲ（Augmented Reality）表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するＭＲ（Mixed Reality）表示、あるいは、仮想空間を表示するＶＲ（Virtual Reality）表示を行うこともできる。

上記実施形態では、制御装置１０および画像表示部２０の機能部について説明したが、これらは任意に変更することができる。例えば、次のような態様を採用してもよい。制御装置１０に記憶機能部１２２および制御機能部１５０を搭載し、画像表示部２０には表示機能のみを搭載する態様。制御装置１０と画像表示部２０との両方に、記憶機能部１２２および制御機能部１５０を搭載する態様。制御装置１０と画像表示部２０とを一体化した態様。この場合、例えば、画像表示部２０に制御装置１０の構成要素が全て含まれ、眼鏡型のウェアラブルコンピューターとして構成される。制御装置１０の代わりにスマートフォンや携帯型ゲーム機器を使用する態様。制御装置１０と画像表示部２０とを無線通信により接続し、接続ケーブル４０を配した態様。この場合、例えば、制御装置１０や画像表示部２０に対する給電についても無線で実施してよい。

・変形例１３：
上記実施形態では、制御装置の構成について例示した。しかし、制御装置の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

上記実施形態では、制御装置１０が備える入力手段の一例について説明した。しかし、制御装置１０は、例示した一部の入力手段を省略して構成されてもよく、上述しない他の入力手段を備えていてもよい。例えば、制御装置１０は、操作スティック、キーボード、マウス等を備えていてもよい。例えば、制御装置１０は、使用者の身体の動き等に対応付けられたコマンドを解釈する入力手段を備えていてもよい。使用者の身体の動き等とは、例えば、視線を検出する視線検出、手の動きを検出するジェスチャー検出、足の動きを検出するフットスイッチ等により取得できる。なお、視線検出は、例えば、画像表示部２０の内側を撮像するカメラにより実現できる。ジェスチャー検出は、例えば、カメラ６１により経時的に撮影された画像を画像解析することにより実現できる。

上記実施形態では、制御機能部１５０は、メインプロセッサー１４０が記憶機能部１２２内のコンピュータープログラムを実行することにより動作するとした。しかし、制御機能部１５０は種々の構成を採用することができる。例えば、コンピュータープログラムは、記憶機能部１２２に代えて、または記憶機能部１２２と共に、不揮発性記憶部１２１、ＥＥＰＲＯＭ２１５、メモリー１１８、他の外部記憶装置（各種インターフェースに挿入されているＵＳＢメモリー等の記憶装置、ネットワークを介して接続されているサーバー等の外部装置を含む）に格納されていてもよい。また、制御機能部１５０の各機能は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて実現されてもよい。

・変形例１４：
上記実施形態では、画像表示部の構成について例示した。しかし、画像表示部の構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、構成要素の追加・削除・変換等を行うことができる。

図２４は、変形例の画像表示部が備える光学系の構成を示す要部平面図である。変形例の画像表示部では、使用者の右眼ＲＥに対応したＯＬＥＤユニット２２１ａと、左眼ＬＥに対応したＯＬＥＤユニット２４１ａと、が設けられている。右眼ＲＥに対応したＯＬＥＤユニット２２１ａは、白色で発色するＯＬＥＤパネル２２３ａと、ＯＬＥＤパネル２２３ａを駆動して発光させるＯＬＥＤ駆動回路２２５とを備えている。ＯＬＥＤパネル２２３ａと右光学系２５１との間には、変調素子２２７（変調装置）が配置されている。変調素子２２７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２２３ａが発する光を変調して画像光Ｌを生成する。変調素子２２７を透過して変調された画像光Ｌは、右導光板２６によって右眼ＲＥに導かれる。

左眼ＬＥに対応したＯＬＥＤユニット２４１ａは、白色で発光するＯＬＥＤパネル２４３ａと、ＯＬＥＤパネル２４３ａを駆動して発光させるＯＬＥＤ駆動回路２４５とを備えている。ＯＬＥＤパネル２４３ａと左光学系２５２との間には、変調素子２４７（変調装置）が配置されている。変調素子２４７は、例えば、透過型液晶パネルで構成され、ＯＬＥＤパネル２４３ａが発する光を変調して画像光Ｌを生成する。変調素子２４７を透過して変調された画像光Ｌは、左導光板２８によって左眼ＬＥに導かれる。変調素子２２７、２４７は、図示しない液晶ドライバー回路に接続される。この液晶ドライバー回路（変調装置駆動部）は、例えば変調素子２２７、２４７の近傍に配置される基板に実装される。

変形例の画像表示部によれば、右表示ユニット２２および左表示ユニット２４は、それぞれ、光源部としてのＯＬＥＤパネル２２３ａ、２４３ａと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子２２７、２４７と、を備える映像素子として構成される。なお、ＯＬＥＤパネル２２３ａ、２４３ａが発する光を変調する変調装置は、透過型液晶パネルが採用される構成に限定されない。例えば、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよいし、レーザー網膜投影型のＨＭＤ１００としてもよい。

上記実施形態では、眼鏡型の画像表示部２０について説明したが、画像表示部２０の態様は任意に変更することができる。例えば、画像表示部２０を帽子のように装着する態様としてもよく、ヘルメット等の身体防護具に内蔵された態様としてもよい。また、画像表示部２０を、自動車や飛行機等の車両、またはその他の交通手段に搭載されるＨＵＤ（Head Up Display）として構成してもよい。

上記実施形態では、画像光を使用者の眼に導く光学系として、右導光板２６および左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。しかし、この構成は任意に変更することができる。たとえば、右導光板２６および左導光板２８の全面（または大部分）を占める領域に虚像が形成されてもよい。この場合、画像の表示位置を変化させる動作によって画像を縮小してもよい。また、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６および左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品（例えば、回折格子、プリズム、ホログラフィー等）を用いる限り任意の態様を採用できる。

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１…情報処理システム、１０…制御装置、１２…点灯部、１４…タッチパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…頭部装着型表示装置（ＨＭＤ）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…通信制御部、１５５…店舗入力処理部、１５５ａ…多面体画像表示部、１５５ｂ…多面体向き切替部、１５５ｃ…命令実行部、１８０…音声コーデック、１８２…音声インターフェース、１８４…外部コネクター、１８６…外部メモリーインターフェース、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェース、２１０…表示ユニット基板、２１１…インターフェース、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１、２２１ａ…ＯＬＥＤユニット、２２３、２２３ａ…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２２７…変調素子、２３０…表示ユニット基板、２３１…インターフェース、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１、２４１ａ…ＯＬＥＤユニット、２４３、２４３ａ…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２４７…変調素子、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、３００…店舗サーバー、３１０…ＣＰＵ、３１２…周辺店舗情報提供部、３１４…店舗案内部、３２０…記憶部、３２２…店舗データベース、３２４…地図データベース、３３０…ＲＯＭ、３４０…ＲＡＭ、３６０…バス、 Ｂ１…［店舗名］ボタン、Ｂ２…［詳細］ボタン、ＢＳ…通信キャリア、ＦＧ…指先、ＩＮＴ…インターネット、ＬＴ…一覧表示欄、ＯＬ…外光、Ｐ１…シースルー表示エリア、 Ｐ１１…シースルー表示エリア、Ｐ１２…インターフェースエリア、ＳＷ…キュービックスイッチ、ＳＷ１１…キュービックスイッチ、ＳＷ２１…キュービックスイッチ、ＳＷ３１…キュービックスイッチ、ＳＷ４１…キュービックスイッチ

Claims (13)

1. 頭部装着型表示装置であって、
   画像を表示する表示部と、
   処理を実行する処理部と、
   を備え、
   前記処理部は、
   前記処理を指示するための命令が多面体の各面に割り当てられた多面体画像を、前記表示部に表示させる多面体画像表示部と、
   前記多面体画像に対する操作を受けて、前記多面体の表示される向きを切り替える多面体向き切替部と、
   前記多面体画像において予め定められた向きの面に割り当てられた前記命令を実行する命令実行部と、
   を備える頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記表示部は、外景を視認可能な構成であり、
   前記処理部は、視認される前記外景に関わりのある関連画像を前記表示部に表示させるとともに、前記関連画像に基づく処理を実行する、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記関連画像は、視認される前記外景に含まれる複数の店舗を識別するための識別情報を含み、
   前記処理部によって実行される処理は、前記複数の店舗の中から一の店舗を指定する店舗入力処理である、頭部装着型表示装置。
4. 請求項２に記載の頭部装着型表示装置であって、
   前記関連画像は、視認される前記外景と関わりのある作業を支援するための支援画像を含み、
   前記処理部によって実行される処理は、前記支援画像を順次切り替える処理である、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記多面体画像は、正六面体の３Ｄ画像であり、
   前記予め定められた向きの面は、使用者と向き合う面である、頭部装着型表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記多面体画像に対する操作は、指先でフリックする操作である、頭部装着型表示装置。
7. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   外側を形成する複数の面の内の第１の面に、使用者の入力操作を受け付ける入力部が備えられた操作部を備え、
   前記多面体向き切替部は、
   前記操作部において前記第１の面の向きを切り替える操作を検出し、
   前記検出した第１の面の向きを切り替える操作を、前記多面体画像に対する操作として受け付ける、
   頭部装着型表示装置。
8. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記多面体画像に対応した多面体形状を有する物体を備え、
   前記多面体向き切替部は、
   前記物体の向きを切り替える操作を検出し、
   前記検出した物体の向きを切り替える操作を、前記多面体画像に対する操作として受け付ける、
   頭部装着型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
   前記多面体画像に対する操作を受け付けたときに、振動する振動部を備える、頭部装着型表示装置。
10. 頭部装着型表示装置であって、
    画像を表示する表示部と、
    処理を実行する処理部と、
    を備え、
    前記処理部は、
    前記処理を指示するための命令が立体の有する各面に割り当てられた立体画像を、前記表示部に表示させる立体画像表示部と、
    前記立体画像に対する操作を受けて、前記立体の表示される向きを切り替える立体向き切替部と、
    前記立体画像において予め定められた向きの面に割り当てられた前記命令を実行する命令実行部と、
    を備える頭部装着型表示装置。
11. 画像を表示する表示部を備えた頭部装着型表示装置の制御方法であって、
    処理を実行する工程を備え、
    前記処理を実行する工程は、
    前記処理を指示するための命令が多面体の各面に割り当てられた多面体画像を、前記表示部に表示させる工程と、
    前記多面体画像に対する操作を受けて、前記多面体の表示される向きを切り替える工程と、
    前記多面体画像において予め定められた向きの面に割り当てられた前記命令を実行する工程と、
    を備える頭部装着型表示装置の制御方法。
12. 画像を表示する表示部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    処理を実行する機能をコンピューターに実現させ、
    前記処理を実行する機能は、
    前記処理を指示するための命令が多面体の各面に割り当てられた多面体画像を、前記表示部に表示させる機能と、
    前記多面体画像に対する操作を受けて、前記多面体の表示される向きを切り替える機能と、
    前記多面体画像において予め定められた向きの面に割り当てられた前記命令を実行する機能と、
    を備えるコンピュータープログラム。
13. 画像を表示する表示部を備えた頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    処理を実行する機能をコンピューターに実現させ、
    前記処理を実行する機能は、
    前記処理を指示するための命令が立体の各面に割り当てられた立体画像を、前記表示部に表示させる機能と、
    前記立体画像に対する操作を受けて、前記立体の表示される向きを切り替える機能と、
    前記立体画像において予め定められた向きの面に割り当てられた前記命令を実行する機能と、
    を備えるコンピュータープログラム。

Images