JP2021119431A - 表示システム、コントローラー、表示システムの制御方法およびプログラム - Google Patents

Abstract

【課題】表示システムにおいて、表示と入力との連携を容易とする。【解決手段】頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムを制御する方法を提供する。この表示システムを構成する表示装置に設けられた第１表示部は、外景を視認可能である。この第１表示部に、表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせる。このとき、第１表示部における表示の態様に応じて、複数の入力モードのうちの一つの入力モードを設定し、コントローラーに設けられた第２表示部における表示と組み合わせて、複数の入力モードのそれぞれに対応した入力を可能とし、この入力モードでの入力を受け付ける。【選択図】図５Ａ

Description

本開示は、表示装置とコントローラーを備えた表示システムを実現する技術に関する。

使用者の頭部に装着し、外景を透過して視認可能であり、更にこの外景に重ねて様々な表示を行なえる頭部装着型の表示装置が提案されている。こうした表示装置では、例えば特許文献１に示すように、コンピューターなどの情報処理装置の表示画像の一部を表示させる。こうした表示装置では、情報処理装置と表示装置との連係を図り、作業効率の向上などを図ることができる。

特開２０１９−０３６９１４号公報

しかしながら、こうした表示装置では、情報処理装置の画像の一部を視認することができるものの、表示された情報に対して、何らかの入力作業をしようとすると、結局情報処理端末を見て、これを操作する必要がある。

本開示は、以下の形態又は適用例として実現することが可能である。
（１）本開示の第１の実施形態は、頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムとしての形態である。この表示システムでは、前記表示装置は、外景を視認可能な第１表示部と、前記第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせる表示制御部と、を備え、前記コントローラーは、第２表示部と、前記第２表示部における表示と組み合わせて複数の入力モードによる入力を可能とする入力部と、前記第１表示部における前記表示の態様に応じて、前記入力部による入力モードを設定する入力制御部と、を備える。
（２）また、本開示の他の実施形態は、頭部装着型の表示装置に接続されたコントローラーとしての形態である。このコントローラーは、入力モードによって表示の態様が異なる入力用表示部と、前記入力用表示部における表示と組み合わせて複数の入力モードによる入力を可能とする入力部と、外景を視認可能な透過表示部であって、前記表示装置に設けられ透過表示部における表示の態様に応じて、前記入力部による入力モードを設定する入力制御部と、を備える。
（３）本開示の更に他の実施形態としては 更に頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムを制御する方法があり得る。この表示システムを制御する方法では、前記表示装置に設けられた第１表示部であって、外景を視認可能な第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせ、前記第１表示部における前記表示の態様に応じて、複数の入力モードのうちの一つの入力モードを設定し、前記コントローラーに設けられた第２表示部における表示と組み合わせて、前記複数の入力モードのそれぞれに対応した入力を可能とし、前記入力モードでの入力を受け付ける。
（４）本開示の更に他の実施形態としては、頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムを制御する、コンビューターにより実行可能なプログラムがあり得る。このプログラムは、外景を視認可能な第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせる機能と、前記コントローラーに設けられた第２表示部における表示と組み合わせて複数の入力モードによる入力を可能とする機能と、前記第１表示部における前記表示の態様に応じて、前記入力部による入力モードを設定する機能と、を実現する。

実施形態における表示システムとしてのＨＭＤの外観構成を示す説明図。 画像表示部が備える光学系の構成を示す要部平面図。 表示装置の信号処理回路の構成を示す概略構成図。 第１実施形態において、制御装置が実行する表示処理ルーチンを示すフローチャート。 頭部の動きと第１，第２表示部の表示との関係を示す説明図。 各条件での表示処理を示すフローチャート。 制御装置の第２表示部における表示の一例を示す説明図。 制御装置の第２表示部における表示の他の例を示す説明図。 制御装置の第２表示部における表示の他の例を示す説明図。 制御装置の第２表示部における表示の他の例を示す説明図。 制御装置の第２表示部における表示の他の例を示す説明図。 制御装置の第２表示部における表示の他の例を示す説明図。 第１，第２表示部における表示と入力モードとの関係を示す説明図。 ミラーモードでの表示の一例を示す説明図。 トラックモードでの表示の一例を示す説明図。 スイッチモードでの表示の一例を示す説明図。 アシストモードでの表示の一例を示す説明図。 デュアルモードでの表示の一例を示す説明図。 画像表示部における仮想的な表示を示す説明図。

Ａ．第１実施形態：
Ａ−１．ＨＭＤの全体構成：
図１は、第１実施形態における表示システムとしてのＨＭＤ（頭部装着型表示装置、Head Mounted Display）１００の外観構成を示す図である。ＨＭＤ１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる表示装置としての画像表示部２０と、画像表示部２０を制御するコントローラーとしての制御装置７０と、を備える表示システムである。画像表示部２０は、画像表示以外にも各種センサーなどを搭載しているので、画像表示部２０のうち、特に画像表示を行なっている部分を、第１表示部と呼ぶ。第１表示部については、後で説明する。他方、制御装置７０は、画像表示部２０と信号をやり取りして、センサーの値を読み込んだり、画像表示部２０に画像を表示させるために必要な処理を行なったりするコントローラーである。制御装置７０は、タッチパネル機能を有するディスプレイを備える。このディスプレイを、第２表示部７３と呼ぶ。第２表示部７３の構成については後で説明する。

この制御装置７０は、後述するように、入力部および入力制御部、設定部および表示制御部として働く。このＨＭＤ１００は、スマートフォンなどの携帯端末１１０から無線通信により送信された映像（音声を含む）を制御装置７０が受け取り、これを画像表示部２０に出力し、画像（動画を含む）の表示および音声の再生を行なわせる。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズムやホログラム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって虚像を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光と、外光とが入射する。このため、使用者における虚像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整することができる。典型的な例では、表示システムであるＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

画像表示部２０には、上述した画像表示に関する部材の他、ビデオカメラ６１Ｒ，６１Ｌ、内側カメラ６２、照度センサー６５、６軸センサー６６、インジケーター６７が設けられている。２台のビデオカメラ６１Ｒ，６１Ｌは、画像表示部２０の前部フレーム２７の上側に配置されている。２台のビデオカメラ６１Ｒ，６１Ｌは、使用者のほぼ両眼に対応する位置に設けられており、いわゆる両眼視による対象物までの距離の計測が可能となっている。距離の計測は、制御装置７０により行なわれる。なお、ビデオカメラ６１Ｒ，６１Ｌは、両眼視による距離の計測ができる位置であれば、どこに設けられていてもよく、前部フレーム２７の端部ＥＲ，ＥＬにそれぞれ配置されていてもよい。なお、対象物までの距離の計測は、単願カメラとその画像の解析により行なう構成や、ミリ波レーダーなどにより行なう構成などによっても実現可能である。

ビデオカメラ６１Ｒ，６１Ｌは、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。ビデオカメラ６１Ｒ，６１Ｌは、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。ビデオカメラ６１Ｒ，６１Ｌは、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。本実施形態では、ビデオカメラ６１Ｒ，６１Ｌの画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。ビデオカメラ６１Ｒ，６１Ｌの画角の広さを適宜設定可能な光学系を設けてもよい。

内側カメラ６２は、ビデオカメラ６１Ｒ，６１Ｌと同様に、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。内側カメラ６２は、ＨＭＤ１００の内側方向、換言すれば、画像表示部２０の装着状態における使用者と対向する方向を撮像する。本実施形態の内側カメラ６２は、使用者の右眼を撮像するための内側カメラと、左眼を撮像するための内側カメラと、を含んでいる。本実施形態では、内側カメラ６２の画角の広さは、使用者の右眼または左眼の全体を撮像可能な範囲に設定される。内側カメラ６２は、使用者の眼球、特に瞳孔の位置を検出し、両眼の瞳孔の位置から、使用者の視線の方向を算出するのに用いられる。もとより、内側カメラ６２は、画角の広さを適宜設定可能な光学系を設けてもよく、使用者の瞳孔のみならず、更に広い領域を撮像することで、使用者の表情などを読取るのに用いてもよい。

照度センサー６５は、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、前部フレーム２７の端部ＥＲに配置される。ＬＥＤインジケーター６７は、ビデオカメラ６１Ｒ，６１Ｌによる撮像を実行中に点灯して、撮像中であることを報知する。

６軸センサー６６は、加速度センサーであり、使用者の頭部のＸＹＺ方向（３軸）の移動量と、使用者頭部のＸＹＺ方向に対する傾き（３軸）を検出する。ＸＹＺ方向は、Ｚ方向が重力方向に沿った方向であり、Ｘ方向は、使用者の後から前に向かう方向、Ｙ方向が使用者の左から右に向かう方向である。また、頭部の傾きは、ＸＹＺ方向の各軸（Ｘ軸，Ｙ軸，Ｚ軸）の周りの角度である。６軸センサー６６からの信号を積分することで、初期位置からの使用者頭部の移動量と角度を知ることができる。

画像表示部２０は、接続ケーブル４０により、制御装置７０と接続されている。接続ケーブル４０は、左保持部２３の先端から引き出され、中継コネクター４６を介して、制御装置７０に設けられたコネクター７７に着脱可能に接続される。接続ケーブル４０には、ヘッドセット３０が含まれる。ヘッドセット３０は、マイク６３と使用者の左右の耳に装着される右イヤホン３２および左イヤホン３４が含まれる。ヘッドセット３０は、中継コネクター４６に接続されて、接続ケーブル４０に一体化される。

制御装置７０から画像を表示するための信号が、接続ケーブル４０を介して画像表示部２０に出力されると、画像表示部２０は、右表示ユニット２２および左表示ユニット２４を用いて画像を形成する。使用者に画像を認識させる光学的な構成について説明する。図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに虚像を視認させる構成として、右画像表示部としての右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル（以下、単にＯＬＥＤと略記する）２２３と、ＯＬＥＤ２２３を駆動するＯＬＥＤ駆動回路（以下、単にＲ−ＣＰＬＤと略記する）２２５とを有する。ＯＬＥＤ２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤ２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

Ｒ−ＣＰＬＤ２２５は、制御装置７０から送られる信号に従って、ＯＬＥＤ２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。Ｒ−ＣＰＬＤ２２５は、ＯＬＥＤ２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。Ｒ−ＣＰＬＤ２２５は、例えばＯＬＥＤ２２３を駆動する半導体デバイスで構成され、ＯＬＥＤ２２３の裏面に固定される基板に実装されてもよい。なお、ＯＬＥＤ２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤ２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤ２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に虚像を視認させる。

左眼ＬＥに虚像を視認させる構成として、左画像表示部としての左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤ２４３と、ＯＬＥＤ２４３を駆動するＬ−ＣＰＬＤ２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤ２２３、Ｒ−ＣＰＬＤ２２５と同じである。左光学系２５２の詳細は右光学系２５１と同じである。

以上、図２を用いて説明したように、画像表示部２０は、使用者の右左眼に画像光Ｌを導く光学系と、外光ＯＬを導く光学系とを備える。このため、使用者の右左眼に画像光Ｌを導いて虚像を視認させる光学系を、以下の説明では、第１表示部２００と呼ぶ。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる虚像が視認される。つまり、ＨＭＤ１００の画像表示部２０は、外景を透過することで使用者に対して虚像に加え外景を視認させる。

ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

Ａ−２．制御装置７０の構成：
次に、画像表示部２０に各種信号を出力する制御装置７０の構成について説明する。図３は、制御装置７０および画像表示部２０の内部構成を示すブロック図である。制御装置７０は、既述した第２表示部７３に加えて、通信部７５、ＣＰＵ８０、タッチパネルドライバー７６、ディスプレイドライバー７８、入出力インターフェース（以下、単に入出力Ｉ／Ｆと略記する）７９等を備える。なお、７０の駆動電力は図視しないバッテリーから各部に供給される。

第２表示部７３は、画像をフルカラーで表示する表示部７１と、表示部７１を使用者が指先等で触ったときに、その位置と強さを検出するタッチパネル７２とを備える。この表示部７１は、ＣＰＵ８０からの信号を受けたディスプレイドライバー７８により駆動される。また、タッチパネル７２は、タッチパネルドライバー７６に接続されており、タッチパネルドライバー７６による駆動信号を受けて、第２表示部７３におけるタッチ位置の検出をダイナミックに行ない、検出したタッチ位置と強さをタッチパネルドライバー７６を介してＣＰＵ８０に出力する。

通信部７５は、携帯端末１１０と通信して、画像や音声を含む映像信号を受け取る。通信方式としては、ＷｉＦｉ（登録商標）やBlueTooth（登録商標）などどのようなものでも差し支えない。また、有線により携帯端末１１０から映像信号を受け取るようにしてもよい。入出力Ｉ／Ｆ７９は、いわゆるＴｙｐｅ−Ｃの規格に準拠したコネクター形状およびシリアル通信によりデータの入出力が可能である。

これら各部を統御するＣＰＵ８０は、内部にメモリー８５を備え、このメモリー８５に記憶したプログラムを実行することにより、オペレーティングシステム（以下、単にＯＳと略記する）８１や、入力イベント検出部８２などの機能を実現する。本実施形態で用いるＯＳ８１は、携帯端末１１０などで用いられ汎用のＯＳと基本機能を同一としている。相違点は、ビデオカメラ６１Ｒ，６１Ｌを用いて外景を撮像する機能や、内側カメラ６２を用いて視線を検出する機能、第１表示部２００と共に第２表示部７３に画像を表示する機能などが拡張されていることである。従って、ＯＳ８１用に作られたアプリケーションプログラムを、そのまま、あるいは僅かな修正により、制御装置７０で実行することができる。こうしたアプリケーションプログラムとしては、ゲームや、各種の作業支援を行なうアプリケーションプログラム等が考えられる。これらを対象アプリ８３と呼ぶ。また、本実施形態では、対象アプリ８３とは別に、各種の入力方法を提供するユーザーインタフェース支援アプリケーションプログラム（以下、単にＵＩアプリと呼ぶ）８４を、対象アプリ８３と同時に実行可能である。

ＣＰＵ８０は、ＯＳ８１の管理の下で、通信部７５を介して携帯端末１１０から受け取った映像を入出力Ｉ／Ｆ７９を介して、画像表示部２０に出力する。こうした映像信号の入出力と共に、ＣＰＵ８０は、第２表示部７３を入力部として扱い、入力に必要なボタンやキー、あるいはフィールドなどの画像を、ディスプレイドライバー７８を介して表示部７１に表示させ、この表示に応じた使用者のタッチパネル７２へのタッチの位置と強さを、タッチパネルドライバー７６を介して入力する。タッチパネルドライバー７６が検出したタッチの位置と強さは、入力イベント検出部８２に入力され、ＵＩアプリ８４から受け取った入力用のユーザーインタフェースの状況と照合され、ＯＳ８１により解釈されて、対象アプリ８３に出力される。ＯＳ８１およびＵＩアプリ８４による入力用のユーザーインタフェースの形態や入力の手法については、後で詳しく説明する。

ＣＰＵ８０はＯＳ８１の管理の下で、通信部７５を介して入力した映像を、入出力Ｉ／Ｆ７９を介して、画像表示部２０に出力する。画像表示部２０は、図３下段に示した様に、大きくはベーシックボード３５、光学モジュールボード３６、カメラモジュールボード３７から構成されている。ベーシックボード３５は、制御装置７０の入出力Ｉ／Ｆ７９との間で映像信号のやり取りを行なうインターフェース部（以下、単にＩ／Ｆ部という）９１，Ｉ／Ｆ部９１との間で信号を分離し仲介するＨＵＢ９２、ＨＵＢ９２からの信号の一方を取り込んで動作するＭＣＵ９４、ＭＣＵ９４による処理により映像信号を処理し、光学モジュールボード３６に出力するディスプレイブリッジ９３を搭載している。

ＨＵＢ９２からのもう一つの信号線は、カメラモジュールボード３７に接続され、カメラモジュールボード３７に搭載されたビデオカメラ６１Ｒ，６１Ｌおよび内側カメラ６２からの映像信号を、ＨＵＢ９２およびＩ／Ｆ部９１を介して制御装置７０に出力するのに用いられている。ＣＰＵ８０は、ビデオカメラ６１Ｒ，６１Ｌからの映像を解析し、使用者の視野内に存在する製品などを認識し、製品に対して予め用意された情報を、画像表示部２０に表示させるといった処理も可能である。また、ＣＰＵ８０は、内側カメラ６２からの映像を解析して、使用者の視線の方向を特定し、ビデオカメラ６１Ｒ，６１Ｌが撮像した外景の中で、使用者が見ている対象物を特定するといった処理を行なうことも可能である。

光学モジュールボード３６は、ＦＰＧＡ９５と、既述したＲ−ＣＰＬＤ２２５，Ｌ−ＣＰＬＤ２４５と、６軸センサー６６とを搭載している。ＦＰＧＡ９５は、ベーシックボード３５のディスプレイブリッジ９３と接続され、ディスプレイブリッジ９３から受け取った映像信号を、右眼用と左眼用の映像信号に分離し、更にＲＧＢの信号に変換する。Ｒ−ＣＰＬＤ２２５，Ｌ−ＣＰＬＤ２４５は、このＦＰＧＡ９５からの信号に従って、ＯＬＥＤ２２３，２４３を駆動する。６軸センサー６６は、ベーシックボード３５上のディスプレイブリッジ９３に接続され、２０の姿勢（３軸）と各軸方向への加速度（３軸）を、出力する。

姿勢を示す３軸は、重力方向をＺ軸方向（上下方向）、Ｚ軸方向に直交し画像表示部２０を使用者が装着した状態（図１）での右眼から左眼方向をＹ軸方向（左右方向）、Ｚ軸およびＹ軸に直交する方向をＸ方向（前後方向）とする姿勢である。もとより、人の頭部は、骨格の構造上、頭部を、おおよそＺ軸を中心に右眼側（図１矢印ＲＴ側）に回転させる右側回転姿勢、同じく左眼側（図１矢印ＬＴ側）に回転させる左側回転姿勢、上方側（図１矢印ＵＰ側）に回転させる上方回転姿勢、下方側（図１矢印ＤＷ側）に回転させる下方回転姿勢、の４つを取りやすいことから、６軸センサー６６からの信号を画像表示部２０側で処理し、上記４つの姿勢として出力するように、画像表示部２０を構成しても良い。加速度は、Ｘ，Ｙ，Ｚの各軸方向の加速度である。

Ａ−３．表示および入力の態様：
以上説明したハードウェアを前提として、ＨＭＤ１００が行なう表示と入力の態様について説明する。図４は、制御装置７０が実行する表示処理ルーチンを示すフローチャートである。この処理は、制御装置７０に電源が投入され、特定のアプリケーションプログラム、つまり設定された対象アプリ８３が選択されて、その起動が指示されることで開始される。

第１実施形態のＨＭＤ１００では、制御装置７０は、処理が開始されると、接続ケーブル４０を介して画像表示部２０に電力を送り、ＨＭＤ１００全体を起動する（ステップＳ３００）。その後、制御装置７０は、対象アプリ８３を開始する前に、ＵＩアプリ８４を起動する（ステップＳ３０５）。ＵＩアプリ８４は、図３に示したように、ＯＳ８１の指示の下で、各種の対象アプリ８３に対するデータの入力をサポートするアプリケーションプログラムである。対象アプリ８３はＯＳ８１の管理の下で動作するから、ＵＩアプリ８４が起動していなければ、自らが管理している画面、つまり画像表示部２０に表示される画面に、入力のためのボタンやフィールドを表示し、ＯＳ８１が用意する入力手段を介して、ボタンの操作やフィールドへのテキストデータの入力などを行なう。入力手段としては、内側カメラ６２を用いた視線検出を利用して、画像表示部２０に表示された仮想的なボタンを選択し、まぶたの動きによる視線の遮蔽を検出して、選択したボタンを押す（決定する）といった手法や、マイク６３により入力した音声を音声認識して視線により選択されているフィールドに対してテキストデータを入力するといった手法である。

こうした手法は、ＯＳ８１が標準で用意するファンクションコールをアプリケーションプログラム側から呼び出すことにより実現される。ＯＳ８１は、ＨＭＤ１００専用の各種のファンクションコールを用意することで、ＵＩアプリ８４が起動していない状態では、アプリケーションプログラムが、特定のボタンやフィ・ールドを表示し、使用者からの入力を受付け可能とする。他方、ステップＳ１０５でＵＩアプリ８４が起動されると、制御装置７０上で動作しているＯＳ８１は、標準で用意したファンクションコールに対する呼び出しを、ＵＩアプリ８４に引き渡すように変更する。

次に、ＨＭＤ１００を装着した使用者の頭部の動きと、第１表示部２００および第２表示部７３における表示との関係を読み込む処理を行なう（ステップＳ３１５）。この関係の一例を、図５Ａに示した。本実施形態で起動される対象アプリ８３では、頭部の動きとしては、第１から第３の動きを判別する。第１の動きは、頭部が後述する標準姿勢を０度として、ここからから右側ＲＴに４０度以上頭部を向けたときというものであり、このときの表示および入力の関係は、第１表示部２００に動画を表示し、第２表示部７３に動画の再生を制御するリモコンを表示するというものである。この表示および入力態様を第１表示処理と呼ぶ。なお、判断の角度は、４０度に限らず、３０度など任意に設定可能である。

第２の動きは、頭部が後述する標準姿勢を０度として、ここから左側ＬＴに４０度以上頭部を向けたときというものであり、このときの表示および入力の関係は、第１表示部２００にゲーム１を表示し、第２表示部７３にゲームの進行を制御するゲーム用パッドを表示するというものである。もとより、判断の角度は、４０度に限らず、３０度など任意に設定可能である。この表示および入力態様を第２表示処理と呼ぶ。また、第３の動きは、頭部が後述する標準姿勢から下方ＤＷに１５度以上傾けたときというものであり、このときの表示および入力の関係は、第１表示部２００にアプリケーションプログラム選択画面を表示し、第２表示部７３に選択画面での選択が可能な複合入力パッドを表示するというものである。この表示および入力態様を第３表示処理と呼ぶ。なお、本実施形態では、標準姿勢からの頭部の動きにより第１から第３表示処理のいずれかを行なったとき、第１表示部２００での表示が変わるので、第２表示部７３による入力モードが切り替わった可能性があることを使用者は知ることができるが、仮に、標準姿勢での第１表示部２００の表示が、第１から第３表示処理での表示によって切り換わらない場合には、第２表示部７３での入力モードが切り換わったときには、右左イヤホン３２，３４に切換音や「入力モードが変更されました」といった案内を出力したりしてもよい。また、制御装置７０に圧電素子などを利用した振動子を組み込んでおき、これを振動させて報知するものとしてもよい。もとより、第１表示部２００に、７３による入力モードが切り換わったことを表示酢。ものとしてもよい。

以上の準備を済ませた後で、起動するよう指定された対象アプリ８３による処理が開始される。従って、以下に説明するステップＳ３５０以下の処理は、対象アプリ８３による処理中に生じる処理である。続いて、制御装置７０は、標準姿勢の設定を行なう（ステップＳ３５０）。標準姿勢とは、使用者がＨＭＤ１００を用いて作業を行なう際の初期姿勢である。通常は、ステップＳ１２０において対象を検出した際の姿勢を標準姿勢として登録する。標準姿勢は、６軸センサー６６からの取得した、使用者頭部のＸＹＺ軸方向の角度として設定される。後述する使用者の頭部の動きは、この標準姿勢からの動きとして検出される。

本実施形態では、標準姿勢を、対象を検出した際の姿勢として定めるものとしたが、標準姿勢は、作業等に応じて種々定めることができる。使用者の姿勢としては、正面を向いている場合に限らず、場合によっては、右側や左側、あるいは上方や下方を向いている姿勢が、標準姿勢となる場合も考えられる。また、座って作業している状態を標準姿勢としてもよく、立って作業している状態を標準姿勢としてもよい。標準姿勢の設定も種々の手法が可能である。一つは、制御装置７０のディスプレイ７３に「標準姿勢設定ボタン」を表示し、使用者がこのボタンを押した時の姿勢を「標準姿勢」として登録するようにしてもよい。ボタンに代えて音声認識などを用いて標準姿勢を登録してもよい。また、幾つかの姿勢を標準姿勢候補として予め登録しておき、これを選択して標準姿勢としてもよい。更に、使用者が作業している作業台、机、コンベアやラインで運ばれてくる台車やワーク、使用者が操作している工具や治具などに対して、標準姿勢を定めてもよい。

あるいは、使用者がＨＭＤ１００を利用している場所を移す外部のカメラ（図示省略）やＨＭＤ１００に設けられたビデオカメラ６１Ｒ，６１Ｌにより撮像した使用者周辺の多数の画像から、使用者がＨＭＤ１００を使用している環境の地図とその環境地図の中での使用者の自己位置の推定とを行なうＳＬＡＭの技術を利用し、使用環境の中での使用者の位置と姿勢を認識し、これに基づいて、標準姿勢を定めるものとしてもよい。ＳＬＡＭの技術を利用して認識した使用環境内での使用者の位置と姿勢とから、最も頻繁にまたは長時間、存在している位置と姿勢とを標準姿勢としてもよいし、作業の開始の際に取られている場所と姿勢とを標準姿勢としてもよい。もとより、その他の予め定めたタイミングでの位置と姿勢から、標準姿勢を定めるようにしてもよい。

標準姿勢の設定を終えると、次に初期表示処理を行なう（ステップＳ３６０）。初期表示処理は、使用者が画像表示部２０を介して見ている外景に、予め設定された初期表示を行なう処理である。初期表示としては、例えば予め用意したＨＭＤ１００の使用説明を表示したり、標準姿勢の使用者が見ている画面の外側に、他の表示があることを示す矢印を表示したりすることが考えられる。

次に、制御装置７０は、画像表示部２０に設けられた６軸センサー６６からの情報に基づいて、頭部の動きを取得する処理を行なう（ステップＳ３７０）。頭部の動きは、種々の形態を取り得るが、例えば、頭部が動いた方向が上下左右のいずれであるかという情報、頭部の角度、その動きの加速度の大きさ、などを任意に組み合わせた情報として取得することができる。ここで上下左右とは、既に図１を用いて説明したように、顔（頭部）を上げる上方ＵＰ、顔を下げる下方ＤＷ、顔を左方向に向ける左側ＬＴ、右方向に向ける右側ＲＴ、である。

頭部の動きを取得した後、その動きが予め定めた条件を満たすかを判断し（ステップＳ３７５）、条件を満たしていれば、各条件に応じた表示処理を行なう（ステップＳ４００）。この表示処理（ステップ４００）の詳細は、後で説明する。条件を満たしていない場合には（ステップＳ３７５：「ＮＯ」）、ステップＳ３６０に戻って上述した処理を繰り返す。他方、条件を満たしていて表示処理（ステップＳ４００）を行なった場合は、その後、作業を終了すべきか判断し（ステップＳ３８５）、制御装置７０で対象アプリ８３が終了されたり、制御装置７０の電源がオフとされたりしている場合には、「ＥＮＤ」に抜けて、本処理ルーチンを終了する。終了すべきと判断されなかった場合には、ステップＳ３６０に戻って、上記の処理を繰り返す。

次に、図４におけるステップＳ４００の処理、つまり各条件が満たされた場合の表示処理について、図５Ｂを用いて説明する。ステップＳ３７５において、頭部の動きが予め定めた条件を満たしている場合、条件毎に、制御装置７０、次の表示処理を行なう。図５Ｐに示した例では、頭部の動きを検出する条件およびその際の表示処理は以下の３つである。
［１］条件１：第１の動き（頭部が右側を向いた場合）
６軸センサー６６からの信号に基づいて、頭部が標準姿勢から所定角度（ここでは４０度）以上右側を向いたと判断した場合には、対象アプリ８３として動画を再生するアプリケーションプログラムを起動して、画像表示部２０の第１表示部２００に動画を表示し、他方、第２表示部７３に、リモコンを表示し、リモコンを用いた入力モードでの入力を可能とする（ステップＳ４１０）。
［２］条件２：第２の動き（頭部が左側を向いた場合）
６軸センサー６６からの信号に基づいて、頭部が標準姿勢から所定角度（ここでは４０度）以上左側を向いたと判断した場合には、対象アプリ８３としてゲーム１のプログラムを起動し、第１表示部２００にゲーム１の画面を表示し、他方、第２表示部７３に、ゲーム用パッドを表示し、ゲーム用パッドを用いた入力モードでの入力を可能とする（ステップＳ４１０）。
［３］条件３：第３の動き（頭部が下方を向いた場合）
６軸センサー６６からの信号に基づいて、頭部が標準姿勢から所定角度（ここでは１５度）以上下方を向いたと判断した場合には、対象アプリ８３としてアプリケーションプログラムを選択するためのプログラム起動し、第１表示部２００にアプリ選択画面を表示し、他方、第２表示部７３に、複合入力パッドを表示し、複合入力パッドを用いた入力モードでの入力を可能とする（ステップＳ４１０）。
上記判断と表示処理（ステップＳ４１０からＳ４３０）のいずれかを実行した後、「ＮＥＸＴ」に抜けて、本処理ルーチンを終了する。

上述した各表示処理（ステップＳ４１０からＳ４３０）における第２表示部７３の表示とその入力モードについて説明する。図６Ａは、条件１の場合に第２表示部７３に表示されるリモコンを示す模式図である。リモコンには、第１表示部２００に表示された動画の再生を指示する再生ボタンＰＬ、停止を指示する停止ボタンＳＴ、動画の早送りを指示する早送りボタンＦＦ、動画の巻き戻しを指示する巻き戻しボタンＦＢなどが表示される。使用者が、第２表示部７３のこのリモコンの表示を見て、いずれかのボタンをタッチすると、タッチパネル７２の操作をタッチパネルドライバー７６を介して入力イベント検出部８２が検出し、いずれのボタンを押したかを判別して、そのボタンに割り当てられたイベント、つまり動画の再生開始、停止、早送り、巻き戻しなどのイベントを、対象アプリ８３に出力する。この結果、第１表示部２００に表示された動画が再生され、停止され、早送りされ、あるいは巻き戻される。

また、図６Ｂは、条件２の場合に表示されるゲーム用パッドを示す模式図である。ゲーム用バッドには、十字キーＸＣと、４つの選択ボタンＢＧとが表示される。使用者が、第１表示部２００に表示されるゲームを見ながら、必要に応じて、第２表示部７３に表示されたゲーム用パッドの十字キーＸＣを操作したり、ボタンＢＧのいずれかをタップしたりすると、こうしたタッチパネル７２の操作をタッチパネルドライバー７６を介して入力イベント検出部８２が検出し、十字キーＸＣがどの方向に操作されたか、あるいはいずれのボタンＢＧが押されたかを判別して、そのボタンに割り当てられたイベント、対象となっているキャラクターや武器などの上下左右への移動を指示したり、武器の操作の指定などのイベントを、対象アプリ（ここでは、ゲーム）８３に出力する。この結果、第１表示部２００に表示されたキャラクターが移動したり、武器が操作されたりする。

また、図６Ｃは、条件３の場合に表示される複合入力パッドを示す模式図である。複合入力バッドには、十字キーＸＣと、トラックパッドＴＰとが表示される。使用者が、第１表示部２００に表示されるアプリケーションプログラムの選択画面を見ながら、必要に応じて、第２表示部７３に表示された複合入力パッドの十字キーＸＣを操作したり、トラックパッドＴＰをタッチあるいはドラッグしたりすると、こうしたタッチパネル７２の操作をタッチパネルドライバー７６を介して入力イベント検出部８２が検出し、十字キーＸＣがどの方向に操作されたか、あるいはトラックパッドＴＰ上での指の動きを判別して、選択画面でのカーソルの上下左右への移動を指示したり、所望のアプリケーションプログラムの選択などのイベントを、対象アプリ（ここでは、アプリケーションプログラムの選択用Ｕティティプログラム）８３に出力する。この結果、第１表示部２００に表示されたアプリケーションプログラムが選択され、場合によっては起動される。

Ａ−４．第１実施形態の作用・効果：
以上説明した第１実施形態によれば、ＨＭＤ１００を使用する使用者は、標準姿勢から頭部を所定方向に、所定の角度以上動かすだけで、第１表示部２００に所望の画像を表示させ、かつ第１表示部２００の表示に必要な入力モードのための画像を第２表示部７３に表示させ、入力作業を行なうことができる。

更に、第１実施形態では、入力処理をタッチパネル７２が一体化された第２表示部７３により行なうので、画像表示部２０を用いた入力処理、例えば視線の方向の検出とまぶたによる視線の遮蔽といった入力処理を採用する必要がない。入力処理を、タッチパネル７２を用いた通常の処理、例えば携帯端末１１０での入力処理などと近似の処理にしやすいので、入力操作を簡略で、直感的なものにすることができる。しかも、本実施形態では、第２表示部７３の表示部７１での表示を変化させることで、リモコンやゲーム用パッド、あるいは複合入力パッドなど、様々な入力モードを実現することができる。

しかも、こうした多様な入力モードを、ＯＳ８１が管理するＵＩアプリ８４と入力イベント検出部８２とにより、対象アプリ８３が動作する環境を用意するオペレーティングシステムのレベルで提供しているので、同様のオペレーティングシステムを搭載した携帯端末などで動作している対象アプリ８３の移植も容易である。

本実施形態では、各入力モードとして、リモコンやゲーム用パッド、あるいは複合入力パッドなど、様々な入力手段を制御装置７０の第２表示部７３に表示したが、入力モードに適した入力手段はこれらに限らないことはもちろんである。例えば図６Ｄに例示した様に、六角形状のボタンを配置した入力手段を、第２表示部７３に表示して、使用者に各ボタンを操作させてもよい。この例では、画像表示部２０の第１表示部２００に表示されたカーソルなどを上右左下の各方向に移動するボタンＢＴ１〜ＢＴ４の他、確定させるボタンＢＴ５、ゲーム等の進行を進める、あるいは戻すボタンＢＴ６、ＢＴ７などを表示し、それぞれ選択可能としている。更に、こうした六角形状のボタンを、ボタンＢＴ１〜７の外方に、配列しても良い。こうした平面を埋め尽くせる形状（三角形状、四角形状、六角形状、あるいは複数の形状の組み合わせ形状）のボタンを配列して、多数の選択肢を用意する入力モードも可能である。

あるいは、図６Ｅに示すように、携帯電話などで用いられるテンキーを利用した入力手段も採用可能である。この例では、第２表示部７３にテンキーが表示され、各キーに対応する場所をタッチするとそのキーが選択されたことを示す四角形状のカーソルＫＳが表示されて、数字やアルファベットが入力できる。もとより、各キーを左右上下にフリップして複数種類の文字を選択的に入力するようしてもよい。また、この例では、各キーをタッチして文字を入力できるだけでなく、表示領域全体がトラックパッドＴＰとしても機能するので、画像表示部２０に表示されたカーソルやキャラクターなどを、任意の方向に移動させるといった使い方も可能である。テンキーは、所定の時間内に複数回タッチすることで、予め対応づけられたアルファベットやカナ文字などを入力可能とすることもでき、更に仮名漢字変換と組み合わせて、仮名漢字混じりのテキストを入力可能とすることも容易である。

更に、図６Ｆに示すように、仮想的なマウスＭＳを、制御装置７０の第２表示部７３に表示し、マウスＭＳの操作により、第１表示部２００におけるカーソルの動きや、ボタン等の選択を実現するようにしてもよい。図示するマウスＭＳでは、左右のマウスボタンＬＢＴ，ＲＢＴや、スクロールホイールＳＲなど、現実のマウスと同様の装置が表示される。使用者が、第２表示部７３における各部の表示箇所をタッチすることで、左右のマウスボタンＬＢＴ，ＲＢＴを操作して、第１表示部２００に表示されている対象をクリックしたり、スクロールホイールＳＲを操作して、画面をスクロールしたり、操作対象を特定の方向に移動させたりすることができる。

以上幾つかの入力モードについて説明したが、これらの入力モードは組み合わせてもよく、また、同じ表示画面において、使用者の求めに応じて切り替えてもよい。使用者の頭部の動きを判断する角度は、任意に設定可能であることは説明した。この角度は、例えば、人がものを視認するときに注視するいわゆる弁別視野が約５度以内であることから、これを超えたら左または右方向を向いたと判断してもよい。あるいは、眼球運動だけで情報を受容できる有効視野が、左右方向で３０度程度、上下方向で２０度程度であることから、この角度を超えたら、使用者が頭部を動かして、標準姿勢とは異なる方向を見ようとしたと判断するものとしてもよい。更に、体幹を動かすことなく眼球の動きと頭部の運動で、無理なく注視できる安定注視視野が、左右方向で６０〜９０度（幅があるのは個人差による）、上下方向で４５〜７０度（幅があるのは個人差による）であることに鑑み、この範囲を超えたら、頭部の運動だけでなく、体全体を使って異なる方向を見たと判断して、表示の態様を変えるようにすることも可能である。使用者の頭部の動きは、角度のみならず、角速度や各種加速度や、これらの組合わせによって判断してもよいことは勿論である。

Ｂ．第２実施形態：
次に、第２実施形態について説明する。第２実施形態の表示システムであるＨＭＤ１００は、図１から図３に示した第１実施形態のシステム構成と同様の構成を備え、表示処理も図４に示したものと同様である。第２実施形態では、使用者の頭部の動きと、第１表示部２００，第２表示部７３との関係が異なる。第２実施形態における両者の関係を、図７に示した。

図示する様に、第２実施形態では、第１表示部２００および第２表示部７３の表示と入力の対応を予め５つに分類し、各対応にモード名を付与して、種々の対象アプリ８３から利用できるように標準化している。こうした標準化されたモードを、頭部の動きに対応づけるのは、各対象アプリ８３に任されている。図において、頭部の動きとモード名とが、線分によって結ばれているのは、各対象アプリ８３より両者が関連づけられることを示している。したがって、両者の関係は、各対象アプリ８３毎に決めることができる。

図７に示したように、本実施形態では、第１表示部２００および第２表示部７３への表示と入力との関係を示すモードとして５種類のモードが用意されている。
〈１〉ミラーモード：第２表示部７３に表示されている画像を第１表示部２００にも表示する。つまり、第１表示部２００，第２表示部７３に同じ画像を表示酢。モードである。
〈２〉トラックモード：第１表示部２００に主画像を表示し、第２表示部７３はトラックパッドとして扱うモードである。
〈３〉スイッチモード：第１表示部２００に主画像を表示し、第２表示部７３にソフトウェアキーボードを表示してテキスト等を入力するモードである。
〈４〉アシストモード：第１表示部２００に主画像を表示し、第２表示部７３に拡張ＵＩを表示して入力を行なうモードである。
〈５〉デュアルモード：第１表示部２００，第２表示部７３を独立に扱うモードである。

また、第２実施形態では、これらの各入力モードが、使用者の頭部の動きの第１〜第６の動きに、線分で示すように対応付けられている。ここで、第１から第６の動きとは、以下の通りである。
・第１の動き（頭部が右側を向く動き）
・第２の動き（頭部が左側を向く動き）
・第３の動き（頭部が下方を向く動き）
・第４の動き（頭部が上方を向く動き）
・第５の動き（頭部が素早く右を向く動き）
・第６の動き（頭部が素早く左を向く動き）
第１から第４動きは、６軸センサー６６が検出した頭部の角度が、右左については標準姿勢である正面を０度として、それぞれ４０度以上、上下については１５度以上となったときに、頭部が第１から第４の動きのいずれかに該当したと判断する。他方、第５、第６の動きは、角度４０度以下であって、６軸センサー６６が検出した左右方向の加速度が、予め定めた閾値以上となった時に、第５，第６の動きに該当したと判断する。なお、判断の角度は、４０度に限らず、３０度など任意に設定可能である。

第２実施形態においても、第１実施形態と同様、頭部の動きが第１から第６の動きのいずれの条件を満たしているかの判断（図４、ステップＳ３５７）と、各条件でのは表示処理（ステップＳ３と８０）とが行なわれる。それぞれの場合について、以下、図面を参照して説明する。

［１］ミラーモードでの表示と入力：
本実施形態では、図７に示したように、使用者の頭部の動きが、第３の動き場合には、第１表示部２００および第２表示部７３への表示と入力との関係はミラーモードに設定される。ミラーモードでの表示の一例を、図８に示した。図示するように、ミラーモードでは、同一の表示が、第１表示部２００には画像ＭＤ１として、他方、第２表示部７３には画像ＭＤ２として、それぞれ表示される。ミラーモードでは、第１表示部２００および第２表示部７３には、同一の表示がなされるので、使用者が現在、画像表示部２０を装着して見ている画像ＭＤ１を知ることが容易である。また、両者に同一の画像が表示されるので、画像表示部２０を装着して行なっていた作業を、画像表示部２０を外した後で、制御装置７０を用いて継続することも容易である。

［２］トラックモードでの表示と入力：
図７に示したように、使用者の頭部の動きが、第２の動きの場合には、第１表示部２００および第２表示部７３への表示と入力との関係はトラックモードに設定される。トラックモードの表示の一例を、図９に示した。図示するように、トラックモードでは、第１表示部２００には主画像ＴＤ１が表示され、第２表示部７３にはトラックパッドＴＤ２が表示される。第２表示部７３のトラックパッドＴＤ２は、タッチパネル７２の機能を利用して、表面にタッチされた使用者の指の動きを検出する。この指の動きは、例えば第１表示部２００に表示されたアイコンの選択などに利用される。トラックパッドＴＤ２を用いた入力をどのように扱うかは、そのとき実行されている対象アプリ８３の設定による。なお、図９では、第２表示部７３には、現在の時刻が表示されているが、この時刻の表示は、第１表示部２００の時刻の表示と同じものである。このように、特定の情報に関しては、第１表示部２００と第２表示部７３とに表示するようにしてもよい。もとより、第２表示部７３には、第１表示部と２００と共通の表示を行なわないものとしてもよい。

［３］スイッチモードでの表示と入力：
図７に示したように、使用者の頭部の動きが、第４または第５の動きの場合には、第１表示部２００および第２表示部７３への表示と入力との関係はスイッチモードに設定される。スイッチモードの表示の一例を、図１０に示した。図示するように、スイッチモードでは、第１表示部２００には主画像ＳＤ１が表示され、第２表示部７３にはキーボードＳＤ２ＴまたはキーボードＳＤ２Ｎが表示される。第２表示部７３のキーボードＳＤ２ＴまたはキーボードＳＤ２Ｎは、タッチパネル７２の機能を利用して、表面にタッチされた使用者の指の位置を検出する。この指の動きは、そのとき表示されているキーボードＳＤ２ＴまたはキーボードＳＤ２Ｎに合せて、特定の文字として認識され、例えば第１表示部２００に表示されたテキスト入力用のフィールドＦＦＤへのテキストの入力に利用される。キーボードＳＤ２ＴまたはキーボードＳＤ２Ｎを用いた入力をどのように扱うかは、そのとき実行されている対象アプリ８３の設定による。図１０に示したキーボードＳＤ２Ｔは、アルファベット配列のテキスト入力用のキーボードであり、キーボードＳＤ２Ｎは、数字や記号を配列した数字・記号入力用のキーボードである。こうした複数のキーボードのいずれを表示するか、といった指定は、そのとき実行されている対象アプリの設定による。もとより、キーボードは、ＵＩアプリ８４を介して切換えられるものとしてもよい。選択されたキーボードに応じて、入力イベント検出部８２が、第２表示部７３における使用者のタッチ位置を、そのとき表示されていたキーボードの各キーの文字に変換し、入力する。従って対象アプリ８３は、必要に応じて、各種テキスト、数字、記号などを入力することができる。なお、キーボードから入力した文字列を利用して、ＯＳ８１が用意したフロントエンドプロセッサＦＥＰにより更に仮名漢字変換などを行なって、仮名漢字混じりの文字列を変換して、対象アプリ８３に受け渡すようにしても良い。

［４］アシストモードでの表示と入力：
図７に示したように、使用者の頭部の動きが、第６の動きの場合には、第１表示部２００および第２表示部７３への表示と入力との関係はアシストモードに設定される。アシストモードの表示の一例を、図１１に示した。図示するように、アシストモードでは、第１表示部２００には主画像ＡＤ１が表示され、第２表示部７３には拡張ユーザーインタフェース（以下、単に拡張ＵＩという）の入力部ＡＤ２が表示され、入力が行なわれる。第１表示部２００には、主画面と共に、必要な入力要素、ここではアイコンを選択するための選択円ＰＩＮ１が表示される。この選択円ＰＩＮ１は常時表示してもよいが、使用者が第２表示部に触れた時に非常時するようにしてもよい。

第２表示部７３の入力部ＡＤ２は、２つのパートに分離されており、上半分には、確定キーＤＫと、その周りに配置されて上下左右への移動方向を指示する４つの矢印キーが表示される。矢印キーには、上方向への移動を指示する上方向キーＵＰ２、下方向への移動を指示する下方向キーＤＷ２、右方向への移動を指示する右方向キーＲＴ２、左方向への移動を指示するＬＴ２が含まれる。図１１に示した例では、第２表示部７３に表示されたこれらの矢印キーに対応して、第１表示部２００には、パットナビＰＪが表示される。パットナビＰＪは、矢印キーに対応した十字カーソルＸＧと、この十字カーソル上でのタッチ位置を示す接触円ＰＩＮ２とからなる。接触円ＰＩＮ２は、使用者が、第２表示部７３の矢印キーの周辺にタッチすると表示され、現時点で、使用者が、第２表示部７３に表示された矢印キーのどの辺りを触っているかを表示する。従って、使用者は、アシストモードでの表示の際には、制御装置７０に目線を移さなくても、外景に第１表示部２００による表示を重ねたまま、自分の指先の動きを、確認することができ、必要な方向に、選択円ＰＩＮ１を移動させるように、矢印キーを選択して、これを操作することができる。本実施形態の第２表示部７３は既述したようにタッチ位置とタッチの強さを検出できるので、使用者が特定の場所で強く第２表示部７３の表面を押せば、その場所に表示された矢印キーまたは決定キーが操作されたというイベントを入力イベント検出部８２が検出し、これをＯＳ８１を介して、対象アプリ８３に出力できる。

また、第２表示部７３の下半分は、トラックパッドＴＰ２が表示される。第２表示部７３のトラックパッドＴＰ２は、タッチパネル７２の機能を利用して、表面にタッチされた使用者の指の動きを検出する。この指の動きは、例えば第１表示部２００に表示されたアイコンの選択などに利用される。トラックパッドＴＰ２を用いた入力をどのように扱うかは、そのとき実行されている対象アプリ８３の設定による。図１１に示した例では、トラックパッドＴＰ２の動きに応じて、第１表示部２００では、カーソルに対応する選択円ＰＩＮ１が移動する。このとき、選択円ＰＩＮ１の動きは、第２表示部７３上の使用者の指の動き、つまりトラックパッドＴＰ１にタッチしている指先の軌跡の通りとしてもよいし、図示するように、直線的な動きを３Ｄ的な動き、例えば半径の大きな円弧状の動きとしてもよい。使用者が頭部に装着した画像表示部２０の第１表示部２００を透過して実空間を見ているので、後者のようにすることで、選択円ＰＩＮ１の動きが、あたかも実空間で、対象を選択しているように感じられ、使用者の現実への没入感を妨げることがない。また、第１表示部２００における選択円ＰＩＮの動きは、軌跡が一定期間残るように表示することも、透過型の第１表示部２００における表示として好ましい。

［５］デュアルモードでの表示と入力：
図７に示したように、使用者の頭部の動きが、第１の動き場合には、第１表示部２００および第２表示部７３への表示と入力との関係はデュアルモードに設定される。デュアルモードでの表示の一例を、図１２に示した。図示するように、デュアルモードでは、第１表示部２００に表示される画像ＤＤ１と、第２表示部７３には画像ＭＤ表示される画像ＤＤ２とは、独立である。この例では、第１表示部２００に表示された画像ＤＤ１は、対象アプリ８３の１つであるブラウザーが表示しているライブカメラの画像であり、第２表示部７３に表示された画像ＤＤ２は、同時に起動されているもう１つの対象アプリ８３である音楽プレーヤーが表示しているリモコンの画像である。画像ＤＤ２には、音楽プレーヤーに再生を指示する再生ボタンＲＣ１、再生の停止を指示する停止ボタンＲＣ２、時間軸方向の前後に早送りする早送りボタンＲＣ３，ＲＣ４、再生位置を示すインジケーターＩＮＤなどが含まれる。

デュアルモードでは、第１表示部２００と第２表示部７３とは、全く独立しており、２つの対象アプリが、それぞれの表示を司る。従って、音楽を聞きながらライブカメラの画像を確認するとか、ゲームをしながら電卓アプリを起動して計算を行なうといった使い方が可能となる。もとより、第１表示部２００と第２表示部７３の一部の領域に、現在の時刻など、共通の情報を表示するようにしてもよい。

以上説明した第２実施形態によれば、第１実施形態と同様の作用効果を奏する上、予め頭部の動きに対応する表示と入力との関係を整理し、これをＯＳ８１がサポートすることにより、実行されるアプリケーションから、種々の入力モードを自由に組み合わせて利用することができる。これは、頭部の動きに応じて、特定のアプリケーションプログラムを起動し、そのアプリケーションプログラム毎に特定の入力モードを設定するようにしてもよい、起動しているアプリケーションプログラムの中で、頭部の動きにより、特定の入力モードを切換えて利用するようにしてもよい。例えば、図１３は、１つのアプリケーションプログラムの中で、頭部の動きにより、様々な情報を表示し、かつ表示に合せて入力を用意する例を示す説明図である。

図示するように、使用者が標準姿勢をとっているときには、第１表示部２００には、初期表示としての矢印ＡＭが４方向に表示されている以外は、情報の表示はなく、使用者は画像表示部２０の第１表示部２００を介して外景を視認する。図１３の中心に示した画面ＳＧは、作業をしようとしている使用者が、机上の対象物ＯＢＪを見ている状態を示す。画面ＳＧでは、使用者の視野に、使用者の手ＨＤも見えているものとして描いてある。この状態が、標準姿勢での使用者の視野になる。このとき、初期表示として、画面ＳＧには、上下左右の４方向を示す矢印ＡＭが表示される。この矢印ＡＭは、制御装置７０が第１表示部２００に表示させている画像である。矢印ＡＭは、矢印の方向に何らか情報が存在していることを示す補助表示として機能する。この例では、４方向の全てに情報が用意されているため、上下左右方向に矢印ＡＭを表示したが、例えば左方向に情報がなければ、上下右方向の３方向のみに矢印ＡＭを表示する。もとより、初期表示は、なくてもよく、また矢印に代えて、用意された情報の一部が見えているなど、異なる表示態様であっても差し支えない。

この標準姿勢から、使用者が頭部を動かすと、制御装置７０は、画像表示部２０に設けられた６軸センサー６６からの情報に基づいて、頭部の動きを取得する。頭部の動きは、既に説明したように、種々の形態を取り得るが、例えば、頭部が動いた方向が上下左右のいずれであるか、という情報と、その動きの加速度の大きさなどを組み合わせた情報として取得することができる。ここで上下左右とは、既に図１を用いて説明したように、顔（頭部）を上げる上方ＵＰ、顔を下げる下方ＤＷ、顔を左方向に向ける左側ＬＴ、右方向に向ける右側ＲＴ、である。

ＨＭＤ１００の使用者が、標準姿勢で見ていた対象物ＯＢＪの右側を予め定めた閾値以上の加速度で見た場合、対象物ＯＢＪは視野の中心から外れ、予め用意したコンテンツの一つである情報ＤＣ１が、図１３の画面ＲＧに例示したように、第１表示部２００に表示される。したがって、使用者は、視野内に表示された情報ＤＣ１を参照することができる。本実施形態では、標準姿勢から見て右側を素早く見た場合、対象物ＯＢＪに対する操作方法や取り扱い方などを説明する情報ＤＣ１が表示される。この情報ＤＣ１は、画面内に補助表示として表示されたスクロールバーが示すように、スクロール可能である。スクロールバーの操作は、ＵＩアプリ８４および入力イベント検出部８２を用いて行なう。この処理に必要なインターフェースは、第２表示部７３に表示される。

ＨＭＤ１００の使用者が、標準姿勢で見ていた対象物ＯＢＪの左側を予め定めた閾値以上の加速度で見た場合、対象物ＯＢＪは視野の中心から外れ、予め用意したコンテンツの一つである情報ＤＣ２が、画面ＬＧに例示したように、第１表示部２００に表示される。したがって、使用者は、視野内に表示された情報ＤＣ２を参照することができる。本実施形態では、標準姿勢から見て左側を素早く見た場合、対象物ＯＢＪに関する様々な情報ＤＣ２が表示される。この情報ＤＣ２は、画面内に補助表示として表示されたページめくりのボタンを用いて、前後を参照可能である。ボタンの操作は、スクロールバーと同様、ＵＩアプリ８４および入力イベント検出部８２を用いて行なう。この処理に必要なインターフェースは、第２表示部７３に表示される。

ＨＭＤ１００の使用者が、標準姿勢で見ていた対象物ＯＢＪの上方を予め定めた閾値以上の加速度で見た場合、対象物ＯＢＪは視野の中心から外れ、予め用意した選択肢を表示する画面ＵＧが、第１表示部２００に表示される。この画面ＵＧには、補助表示として、頭部の方向と画面との関係を割り当てるための表示が含まれる。この画面ＵＧを利用して、使用者は、ＨＭＤ１００における表示の設定を行なうことができる。表示の設定とは、標準姿勢から見て、どの方向にどのような情報や画面表示を割り当ているか、というものである。この場合の処理も、ＵＩアプリ８４および入力イベント検出部８２を用いて行なう。この処理に必要なインターフェースは、第２表示部７３に表示される。

ＨＭＤ１００の使用者が、標準姿勢で見ていた対象物ＯＢＪの下方を予め定めた閾値以上の加速度で見た場合、対象物ＯＢＪは視野の中心から外れ、予め用意した設定・入力を行なう画面ＤＧが、第１表示部２００に表示される。この画面ＤＧには、補助表示として、選択される選択肢やテキスト入力用のフィールドなどが表示される。使用者は、この画面ＤＧを参照して、設定変更やテキストの入力などを行なうことができる。設定変更やテキストを入力する処理も、ＵＩアプリ８４および入力イベント検出部８２を用いて行なう。この処理に必要なインターフェースは、第２表示部７３に表示される。

以上説明したように、アプリケーションプログラムの中で、使用者の頭部の動きに応じて、表示と入力態様を切換えるようにしても有用である。なお、図７に示したように、複数の頭部の動きに対して、同じ入力モードを選択するように対応関係を割り当ててもよい。頭部の動きは、６種類に限らず、複数種類であれば種類の多寡は問わない。また、図７に示したものとは異なる入力モードを用意してもよい。

上記実施形態では、ＨＭＤ１００は、シースルータイプとして外景が視認できるものとしたが、第１表示部２００を非透過型の表示装置により構成し、ビデオカメラ６１Ｒやビデオカメラ６１Ｌにより撮像した外景を非透過型の表示装置に表示することで、実質的に外景を視認可能な表示装置として構成してもよい。

Ｃ．他の実施形態：
本開示は、上述した幾つかの実施形態の他、以下に示す他の実施形態でも実施可能である。
（１）第１の他の実施形態は、頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムとしての形態である。この表示システムでは、前記表示装置は、外景を視認可能な第１表示部と、前記第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせる表示制御部と、を備え、前記コントローラーは、第２表示部と、前記第２表示部における表示と組み合わせて複数の入力モードによる入力を可能とする入力部と、前記第１表示部における前記表示の態様に応じて、前記入力部による入力モードを設定する入力制御部と、を備える。

この表示システムは、第１表示部における表示の態様に応じて、入力部による入力モードを設定するので、第１表示部と第２表示部を有する表示ステムにおいて、表示の態様に応じて入力モードの設定がなされることになり、表示システムだけで、表示の態様に合わせた入力作業を行なうことが容易となる。頭部装着型の表示装置とコントローラーとは、有線接続でもよいし、ＷｉＦｉ（登録商標）やBlueTooth（登録商標）などの無線接続でもよい。

（２）こうした表示システムにおいて、前記入力モードには、データとして、数値、文字、画像（描線）のうちの少なくとも一つを入力するデータ入力モードと、位置に関連する情報として、入力位置、入力方向、選択位置、選択位置の選択方向のうちの少なくとも一つを入力する選択入力モードと、を含むものとしてもよい。こうすれば、表示の態様に合わせて、データの入力と選択指示の入力とを、切り替えて行なうことができる。データ入力モードにおける数字や文字は、アラビア数字やアルファベットに限らず、種々の言語における数字（例えば漢数字、ハングルにおける数字など）や文字（例えば、漢字、カナ、アラビア文字、ウムラウトなどの添え字を伴う文字など）であっても差し支えない。「画像（描線）」は、テキストデータの一部として描線などを入力可能な場合を含む。また、これら以外のデータ、例えば文字に対する下線、網掛けなどの装飾情報を入力するものとしてもよい。選択入力モードにおける位置に関する情報は、これらに限らず、選択するアイテムの数を指定したり、選択するアイテムが何番目かを入力したりするものであってもよい。このほか、入力部による入力は、これらに留まらず、音声や動画を入力するものでなど、多様な入力モードを、更に備えるものとしてもよい。

（３）こうした表示システムにおいて、前記入力部は、前記第２表示部に重ねて配置されたタッチパネルであり、前記入力制御部は、前記入力モードに応じた表示を前記第２表示部に表示させ、前記タッチパネルへのタッチを、前記第２表示部における表示に従って、前記データまたは前記位置に関連する情報として、前記入力部に入力させるものとしてもよい。こうすれば、第２表示部の表示を変更するだけで、多様な入力手法を実現できる。例えば、タッチパッド（トラックパッド）やキーボード入力など、ハードウェアにより提供されている入力部を、第２表示部に表示して、代替することができる。もとより、単独のハードウェアで実現されていない入力部を提供してもよい。こうした例としては、第２表示部に十字キーやホイールスクロールバーなどの入力部を表示し、使用者がこれらの入力部の近傍をタッチすると、第１表示部に、入力部のどの当たりをタッチしているかを表示するパッドナビなどを表示し、使用者が第２表示部を見ないでも第２表示部の介したタッチ入力を可能とする、と言った構成が考えられる。この他、上述した実施形態であれば、マイク６３を利用した音声入力との組合わせや、内側カメラ６２による視線やまぶたの動きの検出との組合わせなどにより、データの入力、あるいは位置の選択などを行なう構成も採用可能である。

（４）こうした表示システムにおいて、前記データ入力モードでは、前記第２表示部に、前記数値や前記文字を入力するキーボード、および画像を描画するトラックパッドの少なくとも一方を表示して、前記データの入力を行なわせるものとしてもよい。こうすれば、簡単に数値や文字の入力、あるいは画像を入力できる。

（５）こうした表示システムにおいて、前記情報入力モードでは、前記第２表示部に、十字キー、ホイールキー、ジョイスティック、トラックパッド、マウスのうち、少なくとも一つを表示し、前記タッチパネルの操作によって、前記位置に関連する情報の入力を行なわせるものとしてもよい。こうすれば、従来からある入力手段を模擬しているので、使用者は容易にその使用方法を理解でき、位置に関連する情報を入力できる。

（６）こうした表示システムにおいて、前記表示装置を装着した使用者の頭部について、特定の姿勢を標準姿勢として設定する設定部と、前記表示装置を装着した使用者の頭部の動きを検出する検出部と、を備え、前記表示制御部は、前記検出した頭部の動きと、前記第１表示部の表示の態様である第１態様および前記第１態様とは異なる第２態様とを対応付けており、前記検出した頭部の動きが、予め定めた第１閾値を超えたときには前記第１態様で、第２閾値を超えたときには前記第２態様で、前記第１表示部に表示を行なうものとしてよい。こうすれば、標準姿勢からの頭部の動きを容易に判別でき、頭部の動きに応じた第１または第２態様での表示のいずれかを行なうことができる。なお、頭部の動きは３つ以上を判別しても差し支えなく、その動きに応じた態様での表示を行なえばよい。

（７）こうした表示システムにおいて、前記表示制御部は、前記標準姿勢では、前記外景の視認を優先する態様で前記第１表示部の表示を制御し、前記第１態様および前記第２態様では、予め対応付けられた第１情報および第２情報を、前記第１表示部に表示するものとしてもよい。こうすれば、標準姿勢で外景の視認が容易であって外景を見ながらの作業や情報の取得ができ、他の姿勢では、他の情報が表示されるので、他の情報を容易に取得できる。外景が視認できるタイプの表示装置を装着した使用者は、外景を見ながら作業や処理をすることが想定されるが、こうした場合に、標準姿勢から頭部を動かして、作業等に関連する情報、例えば取扱説明書や作業マニュアルなどを参照できれば、作業性を高めることができる。

（８）こうした表示システムにおいて、前記第１閾値は、前記頭部が前記標準姿勢よりも下方を視認する姿勢に動いたことを検出する閾値であり、前記表示制御部は、前記第１態様では、データ入力を受け付けるための情報を、前記第１情報として前記表示部に表示させ、前記入力制御部は、前記第１情報を用いる入力モードでの入力により、数値、文字、選択肢の選択のうちの少なくとも１つを入力するものとしてもよい。使用者の標準姿勢から下方には、使用者の手元や作業机などか存在することが多く、こうした場所に第２表示部を備えるコントローラーを置いて、データ入力を行なうことは自然である。

（９）こうした表示システムにおいて、前記第２閾値は、前記頭部が前記標準姿勢よりも左または右方向を視認する姿勢に動いたことを検出する閾値であり、前記表示制御部は、前記第２態様では、文字，画像および映像の少なくとも一つを含む所定のコンテンツを前記第２情報として前記第１表示部に表示させ、前記入力制御部は、前記表示されたコンテンツの表示態様を変更させる入力モードでの入力を受け付けるものとしてもよい。こうすれば、標準姿勢から見て左右を見ることで必要な情報を容易に参照でき、またその情報の表示の態様を変更するための入力を受け付けて、表示の態様を変更できる。

（１０）上記表示の態様の変更は、具体的には、前記入力制御部が変更する前記コンテンツの表示態様は、前記コンテンツの拡大率または表示の大きさ、前記コンテンツの表示位置、前記コンテンツの表示範囲、前記コンテンツのスクロール、前記コンテンツの頁めくり、前記コンテンツ上のマーキング、のうちの少なくとも１つとしてもよい。

（１１）こうした表示システムにおいて、前記表示制御部は、前記標準姿勢，前記第１態様，前記第２態様の表示において、対応する前記入力モードを示す補助表示を、前記第１表示部に表示させるものとしてもよい。この表示システムの第１表示部は、様々な情報が頭部の動きにより表示可能であり、補助表示があれば、標準姿勢からの頭部の動きで、どのような表示が可能か手がかりをえることができる。

（１２）こうした表示システムにおいて、前記入力制御部は、音または振動により、前記複数の入力モードの内の一つの入力モードでの前記入力が可能となったことを報知するものとしてもよい。もとより表示の切り替えは、何らの報知なしで行なってもよいが、音や振動による報知があれば、第２表示部を用いる入力モードが切り替わったことを容易に知ることができる。なお、こうした音声や振動による報知に代えて、あるいは報知と共に、第１表示部に、入力モードが切り替わったことを表示してもよい。

（１３）本開示の他の実施形態のもう一つは、頭部装着型の表示装置に接続されたコントローラーとしての形態である。このコントローラーは、入力モードによって表示の態様が異なる入力用表示部と、前記入力用表示部における表示と組み合わせて複数の入力モードによる入力を可能とする入力部と、外景を視認可能な透過表示部であって、前記表示装置に設けられ透過表示部における表示の態様に応じて、前記入力部による入力モードを設定する入力制御部と、を備える。このコントローラーは、上述した表示システムと同様、表示装置に設けられた透過表示部における表示の態様に応じて、入力部による入力モードを設定するので、頭部装着型の表示装置の透過表示部における表示の態様に応じて入力モードの設定がなされることになり、コントローラーを用いて、表示の態様に合わせた入力作業を行なうことが容易となる。

（１４）本開示による他の実施形態としては 更に頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムを制御する方法があり得る。この表示システムを制御する方法では、前記表示装置に設けられた第１表示部であって、外景を視認可能な第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせ、前記第１表示部における前記表示の態様に応じて、複数の入力モードのうちの一つの入力モードを設定し、前記コントローラーに設けられた第２表示部における表示と組み合わせて、前記複数の入力モードのそれぞれに対応した入力を可能とし、前記入力モードでの入力を受け付ける。こうした表示システムの制御方法によっても、第１表示部における表示の態様に応じて、入力モードを設定するので、第１表示部と第２表示部を有する表示ステムにおいて、表示の態様に応じて入力モードの設定がなされることになり、表示システムだけで、表示に態様に合わせた入力作業を行なうことが容易となる。

（１５）本開示の他の実施形態としては、頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムを制御する、コンビューターにより実行可能なプログラムがあり得る。このプログラムは、外景を視認可能な第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせる機能と、前記コントローラーに設けられた第２表示部における表示と組み合わせて複数の入力モードによる入力を可能とする機能と、前記第１表示部における前記表示の態様に応じて、前記入力部による入力モードを設定する機能と、を実現する。このプログラムによれば、上述した頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムを制御する方法による処理が実現できる。

（１６）上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。ソフトウェアによって実現されていた構成の少なくとも一部は、ディスクリートな回路構成により実現することも可能である。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。すなわち、「コンピューター読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、３５…ベーシックボード、３６…光学モジュールボード、３７…カメラモジュールボード、４０…接続ケーブル、４６…中継コネクター、６１Ｒ，６１Ｌ…ビデオカメラ、６２…内側カメラ、６３…マイク、６５…照度センサー、６６…６軸センサー、６７…ＬＥＤインジケーター、７０…制御装置、７１…表示部、７２…タッチパネル、７３…第２表示部、７５…通信部、７６…タッチパネルドライバー、７７…コネクター、７８…ディスプレイドライバー、８０…ＣＰＵ、８２…入力イベント検出部、８３…対象アプリ、８４…ＵＩアプリ、８５…メモリー、９１…Ｉ／Ｆ部、９３…ディスプレイブリッジ、１１０…携帯端末、２００…第１表示部、２２１，２４１…ＯＬＥＤユニット、２２３，２４３…ＯＬＥＤ、２２５…Ｒ−ＣＰＬＤ、２４５…Ｌ−ＣＰＬＤ、２５１…右光学系、２５２…左光学系、２６１，２８１…ハーフミラー

Claims (15)

1. 頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムであって、
   前記表示装置は、
   外景を視認可能な第１表示部と、
   前記第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせる表示制御部と、
   を備え、
   前記コントローラーは、
   第２表示部と、
   前記第２表示部における表示と組み合わせて複数の入力モードによる入力を可能とする入力部と、
   前記第１表示部における前記表示の態様に応じて、前記入力部による入力モードを設定する入力制御部と、
   を備える、表示システム。
2. 前記入力モードには、
   データとして、数値、文字、画像（描線）のうちの少なくとも一つを入力するデータ入力モードと、
   位置に関連する情報として、入力位置、入力方向、選択位置、選択位置の選択方向のうちの少なくとも一つを入力する選択入力モードと、
   を含む、請求項１に記載の表示システム。
3. 前記入力部は、前記第２表示部に重ねて配置されたタッチパネルであり、
   前記入力制御部は、前記入力モードに応じた表示を前記第２表示部に表示させ、前記タッチパネルへのタッチを、前記第２表示部における表示に従って、前記データまたは前記位置に関連する情報として、前記入力部に入力させる、
   請求項２に記載の表示システム。
4. 前記データ入力モードでは、前記第２表示部に、前記数値や前記文字を入力するキーボード、および画像を描画するトラックパッドの少なくとも一方を表示して、前記データの入力を行なわせる、
   請求項３に記載の表示システム。
5. 前記情報入力モードでは、前記第２表示部に、十字キー、ホイールキー、ジョイスティック、トラックパッド、マウスのうち、少なくとも一つを表示し、前記タッチパネルの操作によって、前記位置に関連する情報の入力を行なわせる、
   請求項３または請求項４に記載の表示システム。
6. 請求項１から請求項５のいずれか一項に記載の表示システムであって、
   前記表示装置を装着した使用者の頭部について、特定の姿勢を標準姿勢として設定する設定部と、
   前記表示装置を装着した使用者の頭部の動きを検出する検出部と、
   を備え、
   前記表示制御部は、
   前記検出した頭部の動きと、前記第１表示部の表示の態様である第１態様および前記第１態様とは異なる第２態様とを対応付けており、前記検出した頭部の動きが、予め定めた第１閾値を超えたときには前記第１態様で、第２閾値を超えたときには前記第２態様で、前記第１表示部に表示を行なう、
   表示システム。
7. 前記表示制御部は、
   前記標準姿勢では、前記外景の視認を優先する態様で前記第１表示部の表示を制御し、
   前記第１態様および前記第２態様では、予め対応付けられた第１情報および第２情報を、前記第１表示部に表示する、
   請求項６に記載の表示システム。
8. 前記第１閾値は、前記頭部が前記標準姿勢よりも下方を視認する姿勢に動いたことを検出する閾値であり、
   前記表示制御部は、前記第１態様では、データ入力を受け付けるための情報を、前記第１情報として前記第１表示部に表示させ、
   前記入力制御部は、前記第１情報を用いる入力モードでの入力により、数値、文字、選択肢の選択のうちの少なくとも１つを入力する、
   請求項７に記載の表示システム。
9. 前記第２閾値は、前記頭部が前記標準姿勢よりも左または右方向を視認する姿勢に動いたことを検出する閾値であり、
   前記表示制御部は、前記第２態様では、文字，画像および映像の少なくとも一つを含む所定のコンテンツを前記第２情報として前記第１表示部に表示させ、
   前記入力制御部は、前記表示されたコンテンツの表示態様を変更させる入力モードでの入力を受け付ける、
   請求項７または請求項８に記載の表示システム。
10. 前記入力制御部が変更する前記コンテンツの表示態様は、前記コンテンツの拡大率または表示の大きさ、前記コンテンツの表示位置、前記コンテンツの表示範囲、前記コンテンツのスクロール、前記コンテンツの頁めくり、前記コンテンツ上のマーキング、のうちの少なくとも１つである、請求項９に記載の表示システム。
11. 前記表示制御部は、前記標準姿勢，前記第１態様，前記第２態様の表示において、対応する前記入力モードを示す補助表示を、前記第１表示部に表示させる、請求項６から請求項１０のいずれか一項に記載の表示システム。
12. 前記入力制御部は、音または振動により、前記複数の入力モードの内の一つの入力モードでの前記入力が可能となったことを報知する、請求項１から請求項１１のいずれか一項に記載の表示システム。
13. 頭部装着型の表示装置に接続されたコントローラーであって、
    入力モードによって表示の態様が異なる入力用表示部と、
    前記入力用表示部における表示と組み合わせて複数の入力モードによる入力を可能とする入力部と、
    外景を視認可能な透過表示部であって、前記表示装置に設けられ透過表示部における表示の態様に応じて、前記入力部による入力モードを設定する入力制御部と、
    を備える、コントローラー。
14. 頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムを制御する方法であって、
    前記表示装置に設けられた第１表示部であって、外景を視認可能な第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせ、
    前記第１表示部における前記表示の態様に応じて、複数の入力モードのうちの一つの入力モードを設定し、
    前記コントローラーに設けられた第２表示部における表示と組み合わせて、前記複数の入力モードのそれぞれに対応した入力を可能とし、
    前記入力モードでの入力を受け付ける、
    表示システムの制御方法。
15. 頭部装着型の表示装置と前記表示装置に接続されたコントローラーとを備えた表示システムを制御する、コンビューターにより実行可能なプログラムであって、
    外景を視認可能な第１表示部に、前記表示装置を装着した使用者の頭部の状態に応じて、複数の態様のうちのいずれかの態様で表示を行なわせる機能と、
    前記コントローラーに設けられた第２表示部における表示と組み合わせて複数の入力モードによる入力を可能とする機能と、
    前記第１表示部における前記表示の態様に応じて、前記入力モードを設定する機能と、
    を実現するプログラム。

Images