JP2020129263A - 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法 - Google Patents

Abstract

【課題】スマートフォン等の情報処理装置に対する使用者の操作性を向上する。【解決手段】使用者の頭部に装着されるＨＭＤ１００と、ＨＭＤ１００が接続されるスマートフォン３００とを備える表示システム１であって、スマートフォン３００は、位置入力操作を受け付けて、設定された座標軸ＡＸを基準とする操作位置の座標を検出するタッチセンサー３３２と、タッチセンサー３３２の向きを検出する磁気センサー３５２と、磁気センサー３５２の検出結果に基づいて、座標軸ＡＸの向きを調整する調整部３１３と、を備える。【選択図】図５

Description

本発明は、表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法に関する。

スマートフォンのような携帯端末装置に表示される画像を、ＨＭＤのような表示装置にミラーリング表示することが知られている（例えば、特許文献１参照）。
特許文献１に記載の携帯端末装置は、タッチパネルと、プロセッサーとを備える。プロセッサーは、コンテンツに関連付けられた設定情報に基づいて、タッチパネルにコンテンツを表示させてタッチ入力を受け付ける第１のモードから、タッチパネルにコンテンツを表示させずにタッチ入力を受け付ける第２のモードに携帯端末装置の操作モードを切り換える。そして、操作モードが切り替えられた場合に、コンテンツを表示装置のディスプレイに表示させる。

特開２０１５−１９７６９４号公報

特許文献１記載の構成では、使用者の操作性が充分ではない場合があるという課題があった。
例えば、スマートフォンのタッチパネルの座標軸の向きが固定されているため、使用者の操作性が充分ではない場合があった。

上記課題を解決する一態様は、使用者の頭部に装着される表示装置と、前記表示装置が接続される情報処理装置とを備える表示システムであって、前記情報処理装置は、位置入力操作を受け付けて、設定された座標軸を基準とする操作位置の座標を検出する位置入力部と、前記位置入力部の向きを検出する第１センサーと、前記第１センサーの検出結果に基づいて、前記座標軸の向きを調整する調整部と、を備える、表示システムである。

上記表示システムにおいて、前記第１センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含む構成であってもよい。

上記表示システムにおいて、前記表示装置は、画像を表示する表示部と、前記表示部の向きを検出する第２センサーと、を備え、前記調整部は、前記第２センサーにより検出された向きに対応して、前記座標軸の向きを決定する構成であってもよい。

上記表示システムにおいて、前記第２センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含む構成であってもよい。

上記表示システムにおいて、前記情報処理装置は、前記表示装置を接続可能な接続部と、前記位置入力部が検出した入力を前記座標軸における絶対座標での入力として受け付ける第１モードと、前記位置入力部が検出した入力を前記座標軸における相対座標での入力として受け付ける第２モードと、を実行可能であり、前記接続部に前記表示装置が接続されているか否かに応じて、前記第１モードと前記第２モードとを切り換えて実行するモード切換部と、を備える構成であってもよい。

上記表示システムにおいて、前記モード切換部は、前記接続部に前記表示装置が接続されてない場合には、前記第１モードを実行し、前記接続部に前記表示装置が接続されている場合には、前記第２モードを実行する構成であってもよい。

上記表示システムにおいて、前記調整部は、前記座標軸の向きを段階的に調整する構成であってもよい。

上記表示システムにおいて、前記表示装置は、前記情報処理装置の位置を検出する第３センサーを備え、前記調整部は、前記第３センサーの検出結果に基づいて、前記座標軸の向きを調整する構成であってもよい。

上記表示システムにおいて、前記第３センサーは、撮像センサーを含む構成であってもよい。

上記表示システムにおいて、前記情報処理装置は、前記第３センサーの検出結果に基づいて、前記情報処理装置が前記使用者の視野内にあるか否かを判定する判定部を備え、前記調整部は、前記判定部の判定結果に応じて、前記座標軸の向きを調整する構成であってもよい。

上記表示システムにおいて、前記情報処理装置が前記使用者の視野内にあると前記判定部が判定した場合に、前記調整部は前記座標軸の向きを調整し、前記情報処理装置が前記使用者の視野内にはないと前記判定部が判定した場合に、前記調整部は前記座標軸の向きの調整を規制する構成であってもよい。

上記課題を解決する別の一態様は、コンピューターを備え、使用者の頭部に装着される表示装置が接続される情報処理装置の制御プログラムであって、前記コンピューターを、位置入力操作を受け付けて、設定された座標軸を基準とする操作位置の座標を検出する位置入力部の向きを検出する検出部、及び、前記検出部の検出結果に基づいて、前記座標軸の向きを調整する調整部、として機能させる、制御プログラムである。

上記課題を解決する更に別の一態様は、使用者の頭部に装着される表示装置が接続される情報処理装置の制御方法であって、位置入力操作を受け付けて、設定された座標軸を基準とする操作位置の座標を検出する位置入力部の向きを検出する検出ステップと、前記検出ステップでの検出結果に基づいて、前記座標軸の向きを調整する調整ステップと、を含む、情報処理装置の制御方法である。

表示システムの構成を示す図。 画像表示部の光学系の構成を示す図。 画像表示部の要部構成を示す斜視図。 ＨＭＤを構成する各部の構成を示す図。 ＨＭＤの第１制御部とスマートフォンとの構成を示す図。 ＨＭＤに対するスマートフォンのタッチセンサーの向きを示す図。 タッチセンサーの座標軸の向きの調整方法の一例を示す図。 タッチセンサーの座標軸の向きの調整方法の他の一例を示す図。 ポインターオブジェクトによる操作の一例を示す画面図。 スマートフォンの第１制御部の処理を示すフローチャート。 スマートフォンの第１制御部の処理を示すフローチャート。

以下、図面を参照して実施形態について説明する。

［１．表示システムの構成］
［１−１．表示システムの全体構成］
図１は、表示システム１の概略構成を示す図である。
図１に示すように、表示システム１は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１００を備える。ＨＭＤ１００は、使用者の頭部に装着される映像表示部２０と、接続装置１０とを備え、映像表示部２０により、使用者の頭部に装着された状態で使用者に虚像を視認させる装置である。ＨＭＤ１００は、「表示装置」の一例に対応する。以下の説明において、使用者とは、ＨＭＤ１００を装着して使用するユーザーを指す。

接続装置１０は、箱形のケースに、コネクター１１Ａ及びコネクター１１Ｄを備える。コネクター１１Ａには、映像表示部２０が接続ケーブル４０を介して接続される。以下、コネクター１１Ａ、１１Ｄを区別しない場合はコネクター１１と表記する場合がある。接続装置１０のケースは、筐体、或いは本体ということもできる。

表示システム１は、ＨＭＤ１００にスマートフォン３００を接続して構成されるシステムである。コネクター１１Ｄは、ＨＭＤ１００においてスマートフォン３００が接続されるインターフェイスである。すなわち、本実施形態では、コネクター１１Ｄにスマートフォン３００が接続される。スマートフォン３００は、「情報処理装置」の一例に対応する。
なお、スマートフォン３００は情報処理装置の一例に過ぎない。情報処理装置は、使用者が携帯可能であって、タッチセンサーのような位置入力部と、位置入力部の向きを検出するセンサーと、コンピューターとを備えればよい。例えば、情報処理装置として、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）端末、タブレット型パーソナルコンピューター等を接続装置１０に接続可能である。

コネクター１１は、通信ケーブルを接続する有線インターフェイスであり、この通信ケーブルにより、接続装置１０は外部の装置と接続される。コネクター１１Ａは、接続ケーブル４０を接続する端子、及び、コネクター１１Ａを介して信号を送受信するインターフェイス回路を備える。

コネクター１１Ａは、接続装置１０に映像表示部２０を接続するために設けられる。接続ケーブル４０は、接続装置１０から映像表示部２０に対する電源供給を行うとともに、映像表示部２０と接続装置１０とが相互にデータを送受信する機能を有する。

コネクター１１Ｄは、スマートフォン３００から映像データが入力され、スマートフォン３００に対してセンサーデータの出力が可能なインターフェイスである。スマートフォン３００は、不揮発性記憶部に記録されたコンテンツデータを再生する。コネクター１１Ｄは、例えば、公知の通信インターフェイス規格に準拠するコネクターである。
本実施形態では、コネクター１１Ｄは、一例として、映像データ及び各種データの入出力に対応するインターフェイスであり、ＵＳＢケーブル４６を介してスマートフォン３００が接続される。

コネクター１１Ｄとして、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）−ＴｙｐｅＣ規格のコネクターを採用することができる。ＵＳＢ−ＴｙｐｅＣに対応するインターフェイスは、ＵＳＢ３．１規格に従ったデータの伝送、及び、２０ボルト、５アンペア以内の直流電力の供給が可能である。
また、ＵＳＢ−ＴｙｐｅＣの代替モードの機能として、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の映像データ、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）規格の映像データ等を伝送できる。スマートフォン３００は、ＵＳＢケーブル４６を介して、電源供給、データの送受信、及び、映像や音声のストリーミングデータの供給等を行うことができる。ＵＳＢ−ＴｙｐｅＣの代替モードは、Ａｌｔｅｒｎａｔｉｖｅモードとして知られている。ＨＤＭＩは登録商標である。

映像表示部２０は、本実施形態では眼鏡形状を有する。映像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６、及び左導光板２８を備える。
映像表示部２０は、「表示部」の一例に対応する。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者の頭部Ｕに映像表示部２０を保持する。前部フレーム２７の両端部のうち、映像表示部２０の装着時に頭部Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、映像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、映像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、映像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、映像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が映像表示部２０を装着する装着状態で、使用者の眉間に対応する。
前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、映像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合には、鼻当て部と右保持部２１及び左保持部２３とにより映像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、映像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合には、ベルトによって映像表示部２０を使用者の頭部Ｕに保持できる。

右表示部２２及び左表示部２４の各々は、光学ユニット及び周辺回路をユニット化したモジュールである。
右表示部２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示部２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示部２２及び左表示部２４を総称して単に「表示駆動部」と呼ぶこともできる。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、右表示部２２及び左表示部２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。

使用者の右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。

映像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、映像表示部２０を装着する使用者の前方からの外光を受光する。
カメラ６１は、映像表示部２０の前部フレーム２７に配設される。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
カメラ６１は、「第３センサー」の一例に対応する。また、カメラ６１は、「撮像センサー」の一例に対応する。

カメラ６１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。

前部フレーム２７には、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）インジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナーを用いてもよく、この場合には、映像表示部２０の前方を含む広範囲の領域に対し測域を行える。

映像表示部２０の右表示部２２及び左表示部２４の各々は、接続装置１０に接続される。ＨＭＤ１００では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が映像表示部２０内部に敷設され、右表示部２２及び左表示部２４の各々が接続装置１０に接続される。

接続ケーブル４０は、オーディオコネクター３６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター３６に接続される。右イヤホン３２は、使用者の右耳に装着され、左イヤホン３４は、使用者の左耳に装着される。右イヤホン３２及び左イヤホン３４は、音声出力部ということもできる。

右イヤホン３２及び左イヤホン３４は、接続装置１０が出力する音声信号に基づき音声を出力する。
マイク６３は、音声を集音して、音声信号を接続装置１０に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

接続装置１０は、使用者により操作される被操作部として、輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６を備える。輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６の各々は、ハードウェアキーで構成される。これらの被操作部は接続装置１０の本体の表面に配置され、例えば、使用者の手指により操作される。

輝度調整キー１３、１４は映像表示部２０により表示する映像の表示輝度を調整するためのハードウェアキーである。輝度調整キー１３は輝度の増大を指示し、輝度調整キー１４は輝度の低減を指示する。音量調整キー１５、１６は、右イヤホン３２及び左イヤホン３４から出力される音声の音量を調整するためのハードウェアキーである。音量調整キー１５は音量の増大を指示し、音量調整キー１６は音量の低減を指示する。

［１−２．ＨＭＤの画像表示部の光学系の構成］
図２は、映像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示部２２と左表示部２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、第２制御部１２０の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。第２制御部１２０については、後述にて図４を参照して説明する。
ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には図４に示す温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示部２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、第２制御部１２０の指示に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。
ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、図４に示す温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示部２２及び左表示部２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図３は、映像表示部２０の要部の構成を示す図である。図３の上図は、映像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図３の上図では接続ケーブル４０の図示を省略する。

図３の上図は、映像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、図３の上図では、右導光板２６及び左導光板２８の裏側が見えている。
図３の上図では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１を含む右導光板２６の全体、及びハーフミラー２８１を含む左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

また、映像表示部２０の使用者側には内側カメラ６８が配置される。内側カメラ６８は、使用者の右眼ＲＥ及び左眼ＬＥの各々に対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、第２制御部１２０の指示に従って撮像を行う。第２制御部１２０は、内側カメラ６８の撮像画像データを解析する。例えば、第２制御部１２０は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、第２制御部１２０は、使用者の視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
内側カメラ６８は、「第３センサー」の一例に対応する。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。

また、第２制御部１２０は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。輻輳角は、使用者が注視する対象物までの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。したがって、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

図３の下図は、ハーフミラー２６１及びハーフミラー２８１の各々に表示される画像の座標軸を示す。Ａ−Ａ線は、ハーフミラー２６１及びハーフミラー２８１の各々の左右方向に延びる中心線を示す。Ｂ−Ｂ線は、ハーフミラー２６１及びハーフミラー２８１の各々の上下方向に延びる中心線を示す。
ハーフミラー２６１及びハーフミラー２８１の各々に表示される画像の座標軸は、α軸とβ軸とで構成される。α軸は、Ａ−Ａ線と平行に設定され、β軸は、Ｂ−Ｂ線と平行に設定される。
Ａ−Ａ線の方向、及びＢ−Ｂ線の方向は、図４に示す６軸センサー２３５又は磁気センサー２３７によって検出される。換言すれば、Ａ−Ａ線の方向、及びＢ−Ｂ線の方向は、３軸加速度センサー、３軸ジャイロセンサー、又は、３軸の地磁気センサーによって検出される。なお、本実施形態では、Ａ−Ａ線の方向、及びＢ−Ｂ線の方向は、磁気センサー２３７によって検出される。

［１−３．ＨＭＤの各部の構成］
図４は、ＨＭＤ１００を構成する各部の構成を示す図である。
映像表示部２０の右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３及びＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、距離センサー６４、照度センサー６５、ＬＥＤインジケーター６７、及び内側カメラ６８を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。

左表示部２４は、左表示部基板２３０を有する。左表示部基板２３０には、接続ケーブル４０に接続される左Ｉ／Ｆ部２３１及び左Ｉ／Ｆ部２３１を介して接続装置１０から入力されるデータを受信する受信部２３３が実装される。また、左表示部基板２３０には、６軸センサー２３５及び磁気センサー２３７が実装される。
左Ｉ／Ｆ部２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。

Ｉ／Ｆは、インターフェイスの略記である。なお、本実施形態においては、受信部２１３及び受信部２３３の各々を、Ｒｘ２１３、Ｒｘ２３３と記載する場合がある。

ＥＥＰＲＯＭ２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、映像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示部２２又は左表示部２４が備えるセンサーの特性に関するデータ等を記憶する。
具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。ＥＥＰＲＯＭ２１５が記憶するデータは、第２制御部１２０により読取り可能である。

カメラ６１は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。
照度センサー６５は、外光を受光し、受光量又は受光強度に対応する検出値を出力する。ＬＥＤインジケーター６７は、右Ｉ／Ｆ部２１１を介して入力される制御信号又は駆動電流に従って点灯する。
内側カメラ６８は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。

距離センサー６４は、距離検出を実行し、検出結果を示す信号を、右Ｉ／Ｆ部２１１を介して接続装置１０に出力する。距離センサー６４は、例えば、赤外線式深度センサー、超音波式距離センサー、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ式距離センサー、画像検出と音声検出とを組み合わせた距離検出ユニット等を用いることができる。また、距離センサー６４が、ステレオカメラや単眼カメラによるステレオ撮影で得られる画像を処理して距離を検出する構成であってもよい。

受信部２１３は、右Ｉ／Ｆ部２１１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２２１に出力する。ＯＬＥＤユニット２２１は、接続装置１０が伝送する映像データに基づく映像を表示する。
また、受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２２１、２４１は、接続装置１０が伝送する映像データに基づく映像を表示する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。
６軸センサー２３５及び磁気センサー２３７の各々は、「第２センサー」の一例に対応する。換言すれば、３軸加速度センサー、３軸ジャイロセンサー及び３軸の地磁気センサーの各々は、「第２センサー」の一例に対応する。
本実施形態では、「第２センサー」が磁気センサー２３７である場合について説明する。

温度センサー２３９は、ＯＬＥＤユニット２４１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。

映像表示部２０の各部は、接続ケーブル４０により接続装置１０から供給される電力により動作する。

映像表示部２０は、右表示部２２に電源部２２９を備え、左表示部２４に電源部２４９を備える。電源部２２９は、接続装置１０が接続ケーブル４０を介して供給する電力を、右表示部基板２１０を含む右表示部２２の各部に分配し、供給する。同様に、電源部２４９は、接続装置１０が接続ケーブル４０を介して供給する電力を、左表示部基板２３０を含む左表示部２４の各部に分配し、供給する。右表示部２２及び左表示部２４は、電圧を変換する変換回路等を備えてもよい。

接続装置１０は、Ｉ／Ｆ部１１０、第２制御部１２０、センサー制御部１２２、表示制御部１２４、電源制御部１２６、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７を備える。

Ｉ／Ｆ部１１０は、コネクター１１Ｄを備える。また、Ｉ／Ｆ部１１０は、コネクター１１Ｄに接続されて、各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。

Ｉ／Ｆ部１１０は、例えば、コネクター１１Ｄ及びインターフェイス回路を実装したインターフェイス基板であってもよい。また、接続装置１０の第２制御部１２０やセンサー制御部１２２、表示制御部１２４、電源制御部１２６が、図示しない接続装置メイン基板に実装される構成としてもよい。この場合には、接続装置メイン基板にＩ／Ｆ部１１０のコネクター１１Ｄ及びインターフェイス回路を実装してもよい。
また、Ｉ／Ｆ部１１０は、例えば、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。

第２制御部１２０は、接続装置１０の各部を制御する。第２制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを有する。第２制御部１２０において、プロセッサーが制御プログラムを実行することによって、ソフトウェアとハードウェアとの協働によりＨＭＤ１００の各部を制御する。第２制御部１２０には、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７が接続される。

センサー制御部１２２は、カメラ６１、距離センサー６４、照度センサー６５、温度センサー２１７、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を制御する。具体的には、センサー制御部１２２は、第２制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。

センサー制御部１２２は、Ｉ／Ｆ部１１０のコネクター１１Ｄに接続され、予め設定されたタイミングで、各センサーから取得した検出値に関するデータをコネクター１１Ｄに出力する。コネクター１１Ｄに接続されたスマートフォン３００は、ＨＭＤ１００の各センサーの検出値、カメラ６１の撮像画像データ、及び内側カメラ６８によって検出された視線方向を示すデータを取得できる。

表示制御部１２４は、Ｉ／Ｆ部１１０に入力される画像データや映像データに基づく画像を映像表示部２０により表示するための各種処理を実行する。本実施形態では、コネクター１１Ｄに、スマートフォン３００が出力する映像信号が入力される。映像信号は、デジタル映像データであるが、アナログ映像信号であってもよい。
表示制御部１２４は、例えば、フレームの切り出し、解像度変換、中間フレーム生成、フレームレート変換等の各種処理を実行する。解像度変換は、いわゆるスケーリングを含む。表示制御部１２４は、ＯＬＥＤユニット２２１及びＯＬＥＤユニット２４１の各々に対応する画像データを接続部１４５に出力する。接続部１４５に入力された画像データは、コネクター１１Ａから、映像信号２０１として右Ｉ／Ｆ部２１１及び左Ｉ／Ｆ部２３１に伝送される。映像信号２０１は、ＯＬＥＤユニット２２１及びＯＬＥＤユニット２４１の各々に対応して処理されたデジタル映像データである。

本実施形態では、コネクター１１ＤがＵＳＢ−ＴｙｐｅＣコネクターで構成される。表示制御部１２４は、コネクター１１Ｄを介して、ＵＳＢ−ＴｙｐｅＣの代替モードで伝送される映像データを受信する。

センサー制御部１２２及び／又は表示制御部１２４は、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御部１２２及び表示制御部１２４は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御部１２２及び表示制御部１２４は、第２制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、第２制御部１２０、表示制御部１２４及びセンサー制御部１２２として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。

また、表示制御部１２４及びセンサー制御部１２２は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等、プログラムされたハードウェアにより構成されてもよい。また、センサー制御部１２２及び表示制御部１２４を統合して、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）−ＦＰＧＡとして構成してもよい。

電源制御部１２６は、コネクター１１Ｄに接続される。電源制御部１２６は、コネクター１１Ｄから供給される電力に基づき、接続装置１０の各部および映像表示部２０に対する電源供給を行う。また、電源制御部１２６は、図示しない電圧変換回路を備え、電圧を変換して接続装置１０及び映像表示部２０の各部に供給する構成であってもよい。電源制御部１２６は、ロジック回路やＦＰＧＡ等のプログラムされた半導体デバイスで構成されてもよい。また、電源制御部１２６をセンサー制御部１２２及び／又は表示制御部１２４と共通のハードウェアで構成してもよい。

センサー制御部１２２、表示制御部１２４及び電源制御部１２６は、データ処理を行うためのワークメモリーを具備してもよく、第２制御部１２０のメモリーを利用して処理を行ってもよい。

操作部１４０は、接続装置１０が備える被操作部に対する操作を検出し、操作内容を示すデータ、又は、操作された被操作部を示す操作信号を第２制御部１２０に出力する。

音声処理部１４７は、第２制御部１２０から入力される音声データに従って、音声信号を生成し、接続部１４５に出力する。この音声信号は接続部１４５からオーディオコネクター３６を介して右イヤホン３２及び左イヤホン３４に出力される。また、音声処理部１４７は、第２制御部１２０の制御に従って、音声信号のボリュームを調整する。また、音声処理部１４７は、マイク６３が集音した音声の音声データを生成し、第２制御部１２０に出力する。この音声データは、第２制御部１２０により、映像表示部２０が備えるセンサーの検出値と同様に処理されてもよい。

また、接続装置１０は図示しないバッテリーを備え、このバッテリーから接続装置１０及び映像表示部２０の各部に電力を供給する構成であってもよい。接続装置１０が備えるバッテリーは、充電可能な二次電池であってもよい。

［１−４．スマートフォンの構成］
図５は、ＨＭＤ１００の第２制御部１２０とスマートフォン３００との構成を示す図である。
スマートフォン３００は、第１制御部３１０、不揮発性記憶部３２０、表示部３３０、Ｉ／Ｆ部３４１、通信部３４５、６軸センサー３５１及び磁気センサー３５２を備える。
第１制御部３１０は、ＣＰＵやマイコン等のプロセッサーを備え、このプロセッサーにより制御プログラムを実行することにより、スマートフォン３００の各部を制御する。第１制御部３１０は、プロセッサーが実行する制御プログラムを不揮発的に記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、プロセッサーのワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のようなメモリーを備えてもよい。プロセッサーは、「コンピューター」の一例に対応する。第１制御部３１０のメモリーに記憶された制御プログラムは、「制御プログラム」の一例に対応する。

不揮発性記憶部３２０は、第１制御部３１０により実行される制御プログラムや、第１制御部３１０が処理するデータを不揮発的に記憶する。不揮発性記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気的記録装置、又は、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。

不揮発性記憶部３２０は、例えば、映像を含むコンテンツのコンテンツデータ３２１を記憶する。コンテンツデータ３２１は、第１制御部３１０により処理可能なフォーマットのファイルであり、映像データを含み、音声データを含んでもよい。
また、不揮発性記憶部３２０は、第１制御部３１０が実行する基本制御プログラムとしてのオペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、ＯＳをプラットフォームとして動作するアプリケーションプログラム等を記憶する。また、不揮発性記憶部３２０は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。

表示部３３０が備える表示パネル３３１及びタッチセンサー３３２は、第１制御部３１０に接続される。表示パネル３３１は、第１制御部３１０の制御に基づき各種画像を表示する。表示パネル３３１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）で構成される。表示パネル３３１は、矩形状に構成される。本実施形態では、表示パネル３３１は、長方形状である。
タッチセンサー３３２は、タッチ操作を検出し、検出した操作を示すデータを第１制御部３１０に出力する。タッチセンサー３３２は、表示パネル３３１と一体に形成される。具体的には、タッチセンサー３３２は、表示パネル３３１の画像表示面に形成される。本実施形態では、タッチセンサー３３２は、長方形状である。タッチセンサー３３２が出力するデータは、タッチセンサー３３２における操作位置を示す座標データ等である。タッチセンサー３３２は、「位置入力部」の一例に対応する。

本実施形態では、タッチセンサー３３２は、絶対座標を示す第１座標データＤＡ１と、相対座標を示す第２座標データＤＡ２とを出力する。
第１座標データＤＡ１は、タッチ操作の位置の絶対座標を示す。初期状態では、例えば、タッチセンサー３３２の長辺方向に沿ってＸ軸が設定され、タッチセンサー３３２の短辺方向に沿ってＹ軸が設定される。タッチセンサー３３２の長辺方向は、表示パネル３３１の長辺方向と一致し、タッチセンサー３３２の短辺方向は、表示パネル３３１の短辺方向と一致する。第１座標データＤＡ１は、タッチ操作のＸ軸方向の位置を示すＸ座標と、タッチ操作のＹ軸方向の位置を示すＹ座標とで構成される。
第２座標データＤＡ２は、タッチ操作の移動量の相対座標を示す。すなわち、第２座標データＤＡ２は、タッチ操作の開始点の位置から移動後のタッチ操作の位置までの移動量を示す。初期状態では、例えば、タッチセンサー３３２の長辺方向に沿ってＸ軸が設定され、タッチセンサー３３２の短辺方向に沿ってＹ軸が設定される。第２座標データＤＡ２は、タッチ操作のＸ軸方向の位置の変化量を示すＸ座標と、タッチ操作のＹ軸方向の位置の変化量を示すＹ座標とで構成される。

Ｉ／Ｆ部３４１は、外部の装置に接続されるインターフェイスである。Ｉ／Ｆ部３４１は、例えば、ＨＤＭＩインターフェイス、ＵＳＢインターフェイス等の規格に準拠した通信を実行する。Ｉ／Ｆ部３４１は、ＵＳＢケーブル４６を接続するコネクター、及びコネクターを伝送される信号を処理するインターフェイス回路を備える。Ｉ／Ｆ部３４１は、コネクター及びインターフェイス回路を有するインターフェイス基板であり、第１制御部３１０のプロセッサー等が実装されるメイン基板に接続される。或いは、Ｉ／Ｆ部３４１を構成するコネクター及びインターフェイス回路が、スマートフォン３００のメイン基板に実装される。Ｉ／Ｆ部３４１は、「接続部」の一例に対応する。
本実施形態で、Ｉ／Ｆ部３４１は、ＵＳＢインターフェイスを備え、ＵＳＢケーブル４６により、コネクター１１Ｄに接続される。第１制御部３１０は、例えば、ＵＳＢケーブル４６により映像データを出力し、接続装置１０からセンサーの出力値に関するデータ等を受信する。
また、Ｉ／Ｆ部３４１は、無線通信インターフェイスであってもよい。この場合には、Ｉ／Ｆ部３４１は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）部を含む通信回路を実装したインターフェイス基板、又は、メイン基板に実装される回路とすることができる。

通信部３４５は、外部の装置とデータ通信を実行する通信インターフェイスである。通信部３４５は、ケーブルを接続可能な有線通信インターフェイスであってもよいし、無線通信インターフェイスであってもよい。例えば、Ｅｔｈｅｒｎｅｔ（登録商標）に対応する有線ＬＡＮインターフェイスや、ＩＥＥＥ８０２．１１規格に対応する無線ＬＡＮインターフェイスであってもよい。
また、通信部３４５は、例えば、他のスマートフォンと無線電話回線で接続する通信インターフェイスである。

６軸センサー３５１は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー３５１は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー３５２は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。
６軸センサー３５１及び磁気センサー３５２の各々は、「第１センサー」の一例に対応する。換言すれば、３軸加速度センサー、３軸ジャイロセンサー及び３軸の地磁気センサーの各々は、「第１センサー」の一例に対応する。
本実施形態では、「第１センサー」が磁気センサー３５２である場合について説明する。

第１制御部３１０は、第１表示制御部３１１と、判定部３１２と、調整部３１３と、モード切換部３１４とを備える。具体的には、第１制御部３１０は、第１制御部３１０が備えるプロセッサーが制御プログラムを実行することにより、第１表示制御部３１１、判定部３１２、調整部３１３及びモード切換部３１４として機能する。

第１表示制御部３１１は、コンテンツデータ３２１を再生し、コンテンツデータ３２１に含まれる映像データに対応する画像ＰＴを表示部３３０の表示パネル３３１に表示する。
また、第１表示制御部３１１は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されているか否かに応じて、表示部３３０の表示パネル３３１の輝度を低減する。具体的には、第１表示制御部３１１は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されている場合には、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されていない場合と比較して、表示部３３０の表示パネル３３１の輝度を低減する。
例えば、第１表示制御部３１１は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されていない場合には、表示部３３０に表示する画像ＰＴの輝度を、設定された輝度にする。また、第１表示制御部３１１は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されている場合には、表示部３３０に表示する画像ＰＴの輝度を、設定された輝度よりも低減する。

更に具体的には、第１表示制御部３１１は、画像ＰＴに一定の濃度の画像を重畳することによって、表示パネル３３１に表示する画像ＰＴの輝度を低減する。「一定の濃度の画像」を、以下の説明では、「暗画像」と記載する場合がある。「暗画像」は、具体的には、一定濃度の灰色の画像である。すなわち、表示パネル３３１に表示する画像ＰＴの上層に、暗画像が形成されたレイヤーを仮想的に重ねることによって、第１表示制御部３１１は、表示パネル３３１に表示する画像ＰＴの輝度を低減する。

また、画像ＰＴはポインターオブジェクトＰＢを含む。具体的には、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されている場合には、第１表示制御部３１１は、表示パネル３３１にポインターオブジェクトＰＢを表示する。また、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されていない場合には、第１表示制御部３１１は、表示パネル３３１にポインターオブジェクトＰＢを表示しない。ポインターオブジェクトＰＢは、ポインターの位置を示す。ポインターオブジェクトＰＢは、例えば、矢印のようなオブジェクトであって、矢印の先端を指し示す。

また、第１表示制御部３１１は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されたときに、位置Ｐ１又は位置Ｐ２にポインターオブジェクトＰＢを表示する。位置Ｐ１は、表示パネル３３１におけるデフォールトの位置を示す。位置Ｐ２は、表示パネル３３１においてポインターオブジェクトＰＢが非表示にされた位置を示す。
位置Ｐ１は、例えば、表示パネル３３１の中央位置である。また、位置Ｐ１は、例えば、表示パネル３３１の４つの隅部のいずれかである。また、位置Ｐ１は、使用者が設定可能に構成されてもよい。
位置Ｐ２は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続された状態からＩ／Ｆ部３４１にＨＭＤ１００が接続されていない状態に遷移したときにおけるポインターオブジェクトＰＢの位置に対応する。

判定部３１２は、カメラ６１及び内側カメラ６８の検出結果に基づいて、スマートフォン３００が使用者の視野内にあるか否かを判定する。カメラ６１は、使用者の視野よりも広い範囲の外景画像を撮像する。内側カメラ６８は、使用者の視線方向を検出する。
判定部３１２は、まず、ＨＭＤ１００からカメラ６１が撮像した外景画像データを取得し、カメラ６１が撮像した外景画像の中から、使用者の視野内にある外景画像を抽出する。なお、使用者の視野は、内側カメラ６８によって検出された使用者の視線方向に基づいて決定される。そして、判定部３１２は、抽出された外景画像にスマートフォン３００が含まれているか否かを判定する。なお、抽出された外景画像にスマートフォン３００が含まれているか否かの判定は、例えば、画像処理等を用いて実行される。

本実施形態では、判定部３１２は、カメラ６１及び内側カメラ６８の検出結果に基づいて、スマートフォン３００が使用者の視野内にあるか否かを判定するが、本発明はこれに限定されない。判定部が、カメラ６１及び内側カメラ６８の少なくとも一方の検出結果に基づいて、スマートフォン３００が使用者の視野内にあるか否かを判定すればよい。換言すれば、「第３センサー」は、カメラ６１及び内側カメラ６８の少なくとも一方を含む。
本実施形態では、「第３センサー」が、カメラ６１及び内側カメラ６８を含む場合について説明する。

調整部３１３は、磁気センサー３５２の検出結果に基づいて、タッチセンサー３３２に設定された座標軸の向きを調整する。磁気センサー３５２は、タッチセンサー３３２の向きを検出する。タッチセンサー３３２に設定される座標軸は、Ｘ軸とＹ軸とで構成される。
また、調整部３１３は、ＨＭＤ１００の磁気センサー２３７の検出結果に基づいて、タッチセンサー３３２に設定された座標軸の向きを調整する。磁気センサー２３７は、映像表示部２０の向きを検出する。換言すれば、磁気センサー２３７は、図３に示すハーフミラー２６１及びハーフミラー２８１の向きを検出する。

調整部３１３は、タッチセンサー３３２に設定された座標軸の向きを段階的に調整する。例えば、座標軸の向きを３０度毎に段階的に調整する。

更に、調整部３１３は、判定部３１２の判定結果に基づいて、タッチセンサー３３２に設定された座標軸の向きを調整する。具体的には、スマートフォン３００が使用者の視野内にあると判定部３１２が判定した場合には、調整部３１３は、タッチセンサー３３２に設定された座標軸の向きを調整する。また、スマートフォン３００が使用者の視野内にはないと判定部３１２が判定した場合には、調整部３１３は、タッチセンサー３３２に設定された座標軸の向きの調整を規制する。本実施形態では、スマートフォン３００が使用者の視野内にはないと判定部３１２が判定した場合には、調整部３１３は、タッチセンサー３３２に設定された座標軸の向きの調整を禁止する。

モード切換部３１４は、第１モードＭＤ１と第２モードＭＤ２とを実行可能であり、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されているか否かに応じて、第１モードＭＤ１と第２モードＭＤ２とを切り換えて実行する。具体的には、モード切換部３１４は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されていない場合には、第１モードＭＤ１を実行する。また、モード切換部３１４は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されている場合には、第２モードＭＤ２を実行する。
第１モードＭＤ１は、タッチセンサー３３２が検出した入力を絶対座標での入力として受け付ける。換言すれば、第１モードＭＤ１は、タッチセンサー３３２から第１座標データＤＡ１を受け付ける。第１座標データＤＡ１は、タッチ操作の位置の絶対座標を示す。
第２モードＭＤ２は、タッチセンサー３３２が検出した入力を相対座標での入力として受け付ける。換言すれば、第２モードＭＤ２は、タッチセンサー３３２から第２座標データＤＡ２を受け付ける。第２座標データＤＡ２は、タッチ操作の移動量の相対座標を示す。

第１制御部３１０の処理については、図６〜図９を参照して具体的に説明する。

本実施形態では、スマートフォン３００が接続装置１０に出力する映像データは、スマートフォン３００が表示部３３０の表示パネル３３１により表示している画像に対応する映像データとする。すなわち、第１表示制御部３１１は、表示パネル３３１により表示している画像をＨＭＤ１００の映像表示部２０に表示させる。この場合には、ＨＭＤ１００の映像表示部２０は、表示パネル３３１に表示している画像と同じ画像を表示し、いわゆる「ミラーリング表示」を行う。

［１−５．ＨＭＤの第２制御部の構成］
ＨＭＤ１００の第２制御部１２０は、第２表示制御部１２１を備える。具体的には、第２制御部１２０は、第２制御部１２０が備えるプロセッサーが制御プログラムを実行することにより、第２表示制御部１２１として機能する。

第２表示制御部１２１は、第１表示制御部３１１からの指示に従って、スマートフォン３００から画像を受信し、受信した画像を映像表示部２０により表示させる。
具体的には、第２表示制御部１２１は、スマートフォン３００から受信した画像から、右画像と左画像とを生成する。そして、第２表示制御部１２１は、右画像を右表示部２２により表示させ、左画像を左表示部２４により表示させる。
更に具体的には、第２表示制御部１２１は、右画像を右Ｉ／Ｆ部２１１を介してＯＬＥＤユニット２２１に伝送し、ＯＬＥＤユニット２２１により右画像を表示させる。また、第２表示制御部１２１は、左画像を左Ｉ／Ｆ部２３１を介してＯＬＥＤユニット２４１に伝送し、ＯＬＥＤユニット２４１により左画像を表示させる。

［２．具体例を用いたスマートフォンの第１制御部の処理の説明］
図６〜図９の各々は、第１制御部３１０の処理の具体例を示す図である。なお、図６〜図９では、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されている場合について説明する。

［２−１．調整部の処理の説明］
図６は、ＨＭＤ１００に対するスマートフォン３００のタッチセンサー３３２の向きを示す図である。
図６に示すように、使用者がスマートフォン３００を操作する場合には、通常、使用者の視線の方向ＬＳにスマートフォン３００が配置される。方向ＬＳは、使用者の視線の方向を示す。方向ＤＡは、ＨＭＤ１００からスマートフォン３００のタッチセンサー３３２の中心位置ＰＣに向かう方向を示す。
方向ＤＡは、方向ＬＳに対して傾斜角θだけ傾斜している。傾斜角θは方向ＬＳに対する方向ＤＡの傾斜角を示す。

Ｖ−Ｖ線は、垂線方向を示す。Ｈ−Ｈ線は、水平方向を示す。図６では、タッチセンサー３３２を含む平面が、Ｖ−Ｖ線とＨ−Ｈ線とを含む場合について説明する。すなわち、タッチセンサー３３２の長辺方向が、Ｖ−Ｖ線と平行であり、タッチセンサー３３２の短辺方向が、Ｈ−Ｈ線と平行である。

方向ＤＡは、Ｖ−Ｖ線に対して傾斜角φだけ傾斜している。傾斜角φは、方向ＤＡのＶ−Ｖ線に対する傾斜角を示す。
また、方向ＤＡは、Ｈ−Ｈ線に対して傾斜角ψだけ傾斜している。傾斜角ψは、方向ＤＡのＨ−Ｈ線に対する傾斜角を示す。傾斜角φ及び傾斜角ψは、使用者又はＨＭＤ１００に対するタッチセンサー３３２の中心位置ＰＣの方向を規定する。

スマートフォン３００のタッチセンサー３３２は、Ｖ−Ｖ線とＨ−Ｈ線とを含む平面内で回転自在である。傾斜角ωは、Ｖ−Ｖ線とＨ−Ｈ線とを含む平面内におけるタッチセンサー３３２の長辺方向のＶ−Ｖ線に対する傾斜角を示す。図６では、傾斜角ωが零の状態を示す。

図７は、調整部３１３によるタッチセンサー３３２の座標軸ＡＸの向きの調整方法の一例を示す図である。座標軸ＡＸは、Ｘ軸とＹ軸とで構成される。調整部３１３は、磁気センサー３５２の検出結果に基づいて座標軸ＡＸの向きを調整する。
図７の上段図は、傾斜角ωが零の状態を示す。傾斜角ωが零の場合には、タッチセンサー３３２の長辺方向ＣＳは、Ｖ−Ｖ線と平行である。この場合には、座標軸ＡＸを構成するＸ軸は、Ｈ−Ｈ線と平行であり、座標軸ＡＸを構成するＹ軸は、Ｖ−Ｖ線と平行である。
具体的には、座標軸ＡＸを構成するＹ軸の正方向の向きは、Ｖ−Ｖ線の示す垂線方向のうちの上方向である。また、座標軸ＡＸを構成するＸ軸の正方向の向きは、Ｈ−Ｈ線の示す水平方向のうちのＹ軸の正方向の向きに対して時計回りに９０度の向きである。
この場合には、調整部３１３によって調整された座標軸ＡＸの向きは、通常状態において設定される座標軸ＡＸの向きと一致する。なお、通常状態において設定される座標軸ＡＸの向きは、デフォールト状態で設定されている座標軸ＡＸの向きを示す。

図７の中段図は、傾斜角ωが傾斜角ω１である状態を示す。傾斜角ω１は、長辺方向ＣＳが、Ｖ−Ｖ線に対して反時計回りに傾斜している状態を示す。
具体的には、調整部３１３は、座標軸ＡＸを構成するＸ軸の向きを、Ｈ−Ｈ線と平行な向きに設定し、座標軸ＡＸを構成するＹ軸の向きをＶ−Ｖ線と平行な向きに設定する。
更に具体的には、調整部３１３は、座標軸ＡＸを構成するＹ軸の正方向の向きをＶ−Ｖ線の示す垂線方向のうちの上方向に設定する。また、調整部３１３は、座標軸ＡＸを構成するＸ軸の正方向の向きを、Ｈ−Ｈ線の示す水平方向のうちのＹ軸の正方向の向きに対して時計回りに９０度の向きに設定する。

図７の下段図は、傾斜角ωが傾斜角ω２である状態を示す。傾斜角ω２は、長辺方向ＣＳが、Ｖ−Ｖ線に対して時計回りに傾斜している状態を示す。調整部３１３は、磁気センサー３５２の検出結果に基づいて座標軸ＡＸの向きを調整する。
具体的には、調整部３１３は、座標軸ＡＸを構成するＸ軸の向きを、Ｈ−Ｈ線と平行な向きに設定し、座標軸ＡＸを構成するＹ軸の正方向の向きをＶ−Ｖ線と平行な向きに設定する。
更に具体的には、調整部３１３は、座標軸ＡＸを構成するＹ軸の正方向の向きをＶ−Ｖ線の示す垂線方向のうちの上方向に設定する。また、調整部３１３は、座標軸ＡＸを構成するＸ軸の正方向の向きを、Ｈ−Ｈ線の示す水平方向のうちのＹ軸の正方向の向きに対して時計回りに９０度の向きに設定する。

このようにして、傾斜角ωが変化した場合にも、座標軸ＡＸを構成するＹ軸の正方向の向きは、垂線方向のうちの上方向に設定され、座標軸ＡＸを構成するＸ軸の正方向の向きは、Ｙ軸の正方向の向きに対して時計回りに９０度の向きに設定される。したがって、使用者によるタッチセンサー３３２の操作性を向上できる。

図８は、調整部３１３によるタッチセンサー３３２の座標軸ＡＸの向きの調整方法の他の一例を示す図である。座標軸ＡＸは、Ｘ軸とＹ軸とで構成される。調整部３１３は、ＨＭＤ１００の磁気センサー２３７の検出結果に基づいて座標軸ＡＸの向きを調整する。

図８の上段図は、傾斜角ηが零の状態を示す。傾斜角ηは、Ｖ−Ｖ線に対するＢ−Ｂ線の傾斜角を示す。Ｖ−Ｖ線は、垂線方向を示す。Ｂ−Ｂ線は、ハーフミラー２６１及びハーフミラー２８１の各々の上下方向に延びる中心線を示す。
図８の上段の左図に示すように、傾斜角ηが零の場合には、Ｂ−Ｂ線はＶ−Ｖ線と平行である。Ｈ−Ｈ線は、水平方向を示す。
なお、図８の上段の左図、中段の左図、及び下段の左図では、ハーフミラー２６１及びハーフミラー２８１の中心位置ＰＤを通るようにＶ−Ｖ線及びＨ−Ｈ線を記載している。

図８の上段の右図は、傾斜角ηが零の場合のタッチセンサー３３２の座標軸ＡＸの向きを示す。傾斜角ηが零の場合には、座標軸ＡＸを構成するＸ軸は、Ｈ−Ｈ線と平行であり、座標軸ＡＸを構成するＹ軸は、Ｖ−Ｖ線と平行である。この場合には、調整部３１３によって調整された座標軸ＡＸの向きは、通常状態において設定される座標軸ＡＸの向きと一致する。
具体的には、座標軸ＡＸを構成するＹ軸の正方向の向きは、Ｖ−Ｖ線の示す垂線方向のうちの上方向である。また、座標軸ＡＸを構成するＸ軸の正方向の向きは、Ｈ−Ｈ線の示す水平方向のうちのＹ軸の正方向の向きに対して時計回りに９０度の向きである。

図８の中段の左図は、傾斜角ηが傾斜角η１である状態を示す。傾斜角η１は、Ｂ−Ｂ線がＶ−Ｖ線に対して反時計回りに傾斜している状態を示す。
図８の中段の右図は、傾斜角ηが傾斜角η１である場合のタッチセンサー３３２の座標軸ＡＸの向きを示す。傾斜角ηが傾斜角η１である場合には、調整部３１３は、座標軸ＡＸを構成するＹ軸を、Ｖ−Ｖ線に対して反時計回りに傾斜角η１だけ傾斜した向きに設定する。
具体的には、調整部３１３は、座標軸ＡＸを構成するＹ軸の正方向の向きを、Ｖ−Ｖ線の示す垂線方向のうちの上方向に対して反時計回りに傾斜角η１だけ傾斜した向きに設定する。また、調整部３１３は、座標軸ＡＸを構成するＸ軸の正方向の向きを、Ｙ軸の正方向から時計回りに９０度の向きに設定する。

図８の下段の左図は、傾斜角ηが傾斜角η２である状態を示す。傾斜角η２は、Ｂ−Ｂ線がＶ−Ｖ線に対して時計回りに傾斜している状態を示す。
図８の下段の右図は、傾斜角ηが傾斜角η２である場合のタッチセンサー３３２の座標軸ＡＸの向きを示す。傾斜角ηが傾斜角η２である場合には、調整部３１３は、座標軸ＡＸを構成するＹ軸を、Ｖ−Ｖ線に対して時計回りに傾斜角η２だけ傾斜した向きに設定する。
具体的には、調整部３１３は、座標軸ＡＸを構成するＹ軸の正方向の向きを、Ｖ−Ｖ線の示す垂線方向のうちの上方向に対して時計回りに傾斜角η２だけ傾斜した向きに設定する。また、調整部３１３は、座標軸ＡＸを構成するＸ軸の正方向の向きを、Ｙ軸の正方向の向きに対して時計回りに９０度の向きに設定する。

このようにして、傾斜角ηが変化した場合にも、座標軸ＡＸを構成するＹ軸の正方向の向きは、ハーフミラー２６１及びハーフミラー２８１の各々の上下方向に延びる中心線のうちの上方向に対応する向きに設定される。また、座標軸ＡＸを構成するＸ軸の正方向の向きは、Ｙ軸の正方向の向きに対して時計回りに９０度の向きに設定される。したがって、使用者によるタッチセンサー３３２の操作性を向上できる。

［２−１．相対座標での操作の説明］
図９は、相対座標におけるポインターオブジェクトＰＢによる操作の一例を示す画面図である。
Ｉ／Ｆ部３４１にＨＭＤ１００が接続されているため、モード切換部３１４は、第２モードＭＤ２を実行する。すなわち、モード切換部３１４は、タッチセンサー３３２が検出した入力を相対座標での入力として受け付ける。
また、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されているため、第１表示制御部３１１は、ポインターオブジェクトＰＢを表示部３３０の表示パネル３３１に表示する。

図９に示すように、表示パネル３３１には、第１表示制御部３１１によって、アイコンＡ１、アイコンＡ２、アイコンＡ３、アイコンＡ４、アイコンＡ５、アイコンＡ６及びポインターオブジェクトＰＢが表示されている。
アイコンＡ１〜アイコンＡ６の各々は、不揮発性記憶部３２０に記憶されたコンテンツデータ３２１に対応付けられている。具体的には、コンテンツデータ３２１は、コンテンツデータＭＡ、コンテンツデータＭＢ、コンテンツデータＭＣ、コンテンツデータＭＤ、コンテンツデータＭＥ及びコンテンツデータＭＦを含む。アイコンＡ１は、コンテンツデータＭＡに対応付けられ、アイコンＡ２は、コンテンツデータＭＢに対応付けられ、アイコンＡ３は、コンテンツデータＭＣに対応付けられる。同様に、アイコンＡ４〜アイコンＡ６の各々は、コンテンツデータＭＤ〜コンテンツデータＭＦの各々に対応付けられる。

ポインターオブジェクトＰＢは、破線の矢印で示すように、第１表示制御部３１１によってデフォールトの位置Ｐ１に表示される。位置Ｐ１は、表示パネル３３１の中央位置である。

ここでは、使用者によって、タッチ操作が位置ＰＳ１で開始され、タッチ操作が位置ＰＳ２で終了した場合について説明する。すなわち、使用者は、例えば右手の人差し指を、位置ＰＳ１にタッチし、右手の人差し指をタッチセンサー３３２にタッチした状態で、右手の人差し指を位置ＰＳ２まで移動する。そして、使用者は、位置ＰＳ２において、右手の人差し指をタッチセンサー３３２から離間させる。
モード切換部３１４は、タッチ操作の移動量Ｖ１を検出する。この操作によって、ポインターオブジェクトＰＢは、第１表示制御部３１１によって、移動量Ｖ２のように移動される。すなわち、ポインターオブジェクトＰＢは、表示パネル３３１において位置Ｐ１から位置Ｐ３に移動される。なお、移動量Ｖ２は、移動量Ｖ１と、向きと長さとが同じである。
また、位置Ｐ３において、ポインターオブジェクトＰＢは、アイコンＡ５を指し示している。このようにして、位置ＰＳ１から位置ＰＳ２へのスワイプ操作によって、アイコンＡ５が選択される。その結果、第１制御部３１０によって、例えば、アイコンＡ５に対応付けられたコンテンツデータＭＥの再生が実行される。

本実施形態では、アイコンがコンテンツデータに対応付けられている場合について説明したが、これに限定されない。アイコンが、例えば、機能を実行するプログラムに対応付けられていてもよい。この場合には、アイコンを指し示すようにポインターオブジェクトＰＢを移動することによって、アイコンに対応する機能を実行できる。

また、本実施形態では、表示パネル３３１にアイコンが表示されている場合について説明したが、これに限定されない。表示パネル３３１にポインターオブジェクトＰＢに加えて、ポインターオブジェクトＰＢ以外のオブジェクトが表示されていればよい。例えば、表示パネル３３１にボタンオブジェクトが表示されていてもよい。この場合には、ボタンオブジェクトを指し示すようにポインターオブジェクトＰＢを移動することによって、ボタンオブジェクトに対応する機能を実行できる。

［３．スマートフォンの第１制御部の処理の説明］
図１０及び図１１の各々は、スマートフォン３００の第１制御部３１０の処理を示すフローチャートである。
まず、図１０に示すように、ステップＳ１０１において、第１制御部３１０が、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されたか否かを判定する。
Ｉ／Ｆ部３４１にＨＭＤ１００が接続されていないと第１制御部３１０が判定した場合（ステップＳ１０１：ＮＯ）には、処理が待機状態になる。Ｉ／Ｆ部３４１にＨＭＤ１００が接続されたと第１制御部３１０が判定した場合（ステップＳ１０１：ＹＥＳ）には、処理がステップＳ１０３に進む。
そして、ステップＳ１０３において、第１表示制御部３１１は、表示パネル３３１のデフォールトの位置Ｐ１にポインターオブジェクトＰＢを表示する。

次に、ステップＳ１０５において、モード切換部３１４は、第１モードＭＤ１から第２モードＭＤ２に切り換えて、第２モードＭＤ２を実行する。具体的には、モード切換部３１４は、タッチセンサー３３２が検出した入力を相対座標での入力として受け付ける。
次に、ステップＳ１０７において、第１制御部３１０は、ＨＭＤ１００の向きを検出する。具体的には、第１制御部３１０は、ＨＭＤ１００の磁気センサー２３７の検出結果に基づいて、ＨＭＤ１００のハーフミラー２６１及びハーフミラー２８１の向きを検出する。
次に、ステップＳ１０９において、第１制御部３１０は、スマートフォン３００の向きを検出する。具体的には、第１制御部３１０は、スマートフォン３００の磁気センサー３５２の検出結果に基づいて、タッチセンサー３３２の向きを検出する。
次に、ステップＳ１１１において、第１制御部３１０は、スマートフォン３００の位置を検出する。具体的には、第１制御部３１０は、カメラ６１の検出結果、及び内側カメラ６８の検出結果に基づいて、使用者の視野内におけるスマートフォン３００の位置を検出する。

次に、図１１に示すように、ステップＳ１１３において、判定部３１２は、スマートフォン３００が使用者の視野内にあるか否かを判定する。
スマートフォン３００が使用者の視野内にはないと判定部３１２が判定した場合（ステップＳ１１３：ＮＯ）には、処理がステップＳ１２３に進む。スマートフォン３００が使用者の視野内にあると判定部３１２が判定した場合（ステップＳ１１３：ＹＥＳ）には、処理がステップＳ１１５に進む。
次に、ステップＳ１１５において、調整部３１３は、磁気センサー３５２及びＨＭＤ１００の磁気センサー２３７の検出結果に基づいて、タッチセンサー３３２に設定された座標軸ＡＸの向きを調整する。

次に、ステップＳ１１７において、第１制御部３１０は、ＨＭＤ１００の向きを検出する。
次に、ステップＳ１１９において、第１制御部３１０は、スマートフォン３００の向きを検出する。
次に、ステップＳ１２１において、調整部３１３は、タッチセンサー３３２に設定された座標軸ＡＸの向きを調整するか否かを判定する。具体的には、調整部３１３は、タッチセンサー３３２に設定された座標軸ＡＸの向きが、調整部３１３が座標軸ＡＸを調整する場合における調整後の座標軸ＡＸの向きに対して、閾値角度以上ズレているか否かを判定する。閾値角度は、例えば３０度である。
タッチセンサー３３２に設定された座標軸ＡＸの向きが、調整後の座標軸ＡＸの向きに対して、閾値角度以上ズレていると調整部３１３が判定した場合（ステップＳ１２１：ＹＥＳ）には、処理がステップＳ１１５に戻る。タッチセンサー３３２に設定された座標軸ＡＸの向きが、調整後の座標軸ＡＸの向きに対して、閾値角度以上ズレてはいないと調整部３１３が判定した場合（ステップＳ１２１：ＮＯ）には、処理がステップＳ１２３に進む。

次に、ステップＳ１２３において、第１制御部３１０が、Ｉ／Ｆ部３４１へのＨＭＤ１００の接続が切断されたか否かを判定する。
Ｉ／Ｆ部３４１へのＨＭＤ１００の接続が切断されていないと第１制御部３１０が判定した場合（ステップＳ１２３：ＮＯ）には、処理が図１０のステップＳ１０７に戻る。Ｉ／Ｆ部３４１へのＨＭＤ１００の接続が切断されたと第１制御部３１０が判定した場合（ステップＳ１２３：ＹＥＳ）には、処理がステップＳ１２５に進む。
そして、ステップＳ１２５において、第１表示制御部３１１は、表示パネル３３１のポインターオブジェクトＰＢを非表示にする。
次に、ステップＳ１２７において、モード切換部３１４は、第２モードＭＤ２から第１モードＭＤ１に切り換えて、第１モードＭＤ１を実行する。その後、処理が終了する。

なお、図１０のステップＳ１０７と図１１のステップＳ１１７とは、「検出ステップ」の一例に対応する。図１１のステップＳ１１５は「調整ステップ」の一例に対応する。

［４．本実施形態の効果］
以上説明したように、本実施形態では、表示システム１は、使用者の頭部に装着されるＨＭＤ１００と、ＨＭＤ１００が接続されるスマートフォン３００とを備える。スマートフォン３００は、位置入力操作を受け付けて、設定された座標軸ＡＸを基準とする操作位置の座標を検出するタッチセンサー３３２と、タッチセンサー３３２の向きを検出する第１センサーと、第１センサーの検出結果に基づいて、座標軸ＡＸの向きを調整する調整部３１３と、を備える。第１センサーは、例えば磁気センサー３５２である。
よって、調整部３１３によって座標軸ＡＸの向きが調整されるため、適切な座標軸ＡＸの向きに調整できる。例えば、図７を参照して説明したように、傾斜角ωが変化した場合に、調整部３１３は、座標軸ＡＸを構成するＹ軸の正方向の向きを垂線方向のうちの上方向に調整でき、調整部３１３は、座標軸ＡＸを構成するＸ軸の正方向の向きを、水平方向のうちのＹ軸の正方向の向きから時計回りに９０度の向きに調整できる。したがって、使用者のタッチパネルの操作性を向上できる。なお、タッチパネルは、表示部３３０に対応する。

また、第１センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含む。
したがって、第１センサーは、タッチセンサー３３２の向きを正確に検出できる。

また、ＨＭＤ１００は、画像を表示する映像表示部２０と、映像表示部２０の向きを検出する第２センサーと、を備え、調整部３１３は、第２センサーにより検出された向きに対応して、座標軸ＡＸの向きを調整する。第２センサーは、例えば磁気センサー２３７である。
よって、調整部３１３は、映像表示部２０の向きに対応して、座標軸ＡＸの向きを調整できる。例えば、図８を参照して説明したように、傾斜角ηに応じて座標軸ＡＸの向きを調整できる。傾斜角ηは、Ｖ−Ｖ線に対するＢ−Ｂ線の傾斜角を示す。Ｖ−Ｖ線は、垂線方向を示す。Ｂ−Ｂ線は、ハーフミラー２６１及びハーフミラー２８１の各々の上下方向に延びる中心線を示す。したがって、使用者のタッチパネルの操作性を向上できる。

また、第２センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含む。
したがって、第２センサーは、映像表示部２０の向きを正確に検出できる。

また、スマートフォン３００は、ＨＭＤ１００を接続可能なＩ／Ｆ部３４１と、タッチセンサー３３２が検出した入力を座標軸ＡＸにおける絶対座標での入力として受け付ける第１モードと、タッチセンサー３３２が検出した入力を座標軸ＡＸにおける相対座標での入力として受け付ける第２モードと、を実行可能であり、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されているか否かに応じて、第１モードと第２モードとを切り換えて実行するモード切換部３１４と、を備える。
よって、例えば、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されている場合に、モード切換部３１４は、タッチセンサー３３２が検出した入力を座標軸ＡＸにおける相対座標での入力として受け付ける第２モードを実行できる。したがって、使用者のタッチパネルの操作性を向上できる。

また、モード切換部３１４は、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されてない場合には、第１モードを実行し、Ｉ／Ｆ部３４１にＨＭＤ１００が接続されている場合には、第２モードを実行する。
したがって、使用者のタッチパネルの操作性を向上できる。

また、調整部３１３は、座標軸ＡＸの向きを段階的に調整する。例えば、座標軸ＡＸの向きを３０度毎に段階的に調整する。
したがって、使用者のタッチパネルの操作性を向上できる。また、第１制御部３１０の負荷を軽減できる。

また、ＨＭＤ１００は、スマートフォン３００の位置を検出する第３センサーを備え、調整部３１３は、第３センサーの検出結果に基づいて、座標軸ＡＸの向きを調整する。第３センサーは、例えばカメラ６１及び内側カメラ６８に対応する。
よって、例えば、スマートフォン３００が使用者の視野内にあるか否かに応じて、調整部３１３による座標軸ＡＸの向きの調整を実行するか否かを決定できる。したがって、使用者のタッチパネルの操作性を向上できる。また、第１制御部３１０の負荷を軽減できる。

また、第３センサーは、撮像センサーを含む。
したがって、スマートフォン３００の位置を正確に検出できる。

また、スマートフォン３００は、第３センサーの検出結果に基づいて、スマートフォン３００が使用者の視野内にあるか否かを判定する判定部３１２を備え、調整部３１３は、判定部３１２の判定結果に応じて、座標軸ＡＸの向きを調整する。
よって、スマートフォン３００が使用者の視野内にあるか否かに応じて、調整部３１３による座標軸ＡＸの向きの調整を実行するか否かを決定できる。したがって、使用者のタッチパネルの操作性を向上できる。また、第１制御部３１０の負荷を軽減できる。

また、スマートフォン３００が使用者の視野内にあると判定部３１２が判定した場合に、調整部３１３は座標軸ＡＸの向きを調整し、スマートフォン３００が使用者の視野内にはないと判定部３１２が判定した場合に、調整部３１３は座標軸ＡＸの向きの調整を規制する。
よって、スマートフォン３００が使用者の視野内にあると判定部３１２が判定した場合に限って、調整部３１３は座標軸ＡＸの向きを調整できる。したがって、使用者のタッチパネルの操作性を向上できる。また、第１制御部３１０の負荷を軽減できる。

［５．他の実施形態］
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、「情報処理装置」がスマートフォン３００であるが、これに限定されない。「情報処理装置」は、使用者が携帯可能に構成され、ＨＭＤ１００を接続可能な接続部と、位置入力部と、制御部とを備えればよい。例えば、「情報処理装置」がＰＤＡ端末でもよいし、タブレット型パーソナルコンピューターでもよい。

また、上記実施形態では、第１センサーが磁気センサー３５２である場合について説明したが、本発明はこれに限定されない。第１センサーが加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含めばよい。例えば、第１センサーが６軸センサー３５１でもよい。

また、上記実施形態では、第２センサーが磁気センサー２３７である場合について説明したが、本発明はこれに限定されない。第２センサーが加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含めばよい。例えば、第１センサーが６軸センサー２３５でもよい。

また、上記実施形態では、第３センサーがカメラ６１及び内側カメラ６８である場合について説明したが、本発明はこれに限定されない。第３センサーがスマートフォン３００の位置を検出すればよい。例えば、第３センサーがカメラ６１でもよいし、第３センサーが内側カメラ６８でもよい。

また、上記実施形態では、接続装置１０が映像表示部２０と有線接続される構成を例示したが、これに限定されず、接続装置１０に対して映像表示部２０が無線接続される構成であってもよい。

また、接続装置１０が備える一部の機能を映像表示部２０に設けてもよく、接続装置１０を複数の装置により実現してもよい。例えば、接続装置１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

また、上記実施形態では、映像表示部２０と接続装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。これに限定されず、接続装置１０と映像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、カメラ６１により撮像する外景の画像と、表示画像とを合成した合成画像を映像表示部２０により表示する構成とすれば、映像表示部２０が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に適用することも勿論可能である。

また、例えば、映像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、表示装置は、例えば、自動車や飛行機等の車両に搭載されるＨＭＤとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。この場合には、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。これに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合には、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
更に、光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、第１制御部３１０が実行する制御プログラムは、不揮発性記憶部３２０又は第１制御部３１０内の他の記憶部に記憶されてもよい。また、外部の装置に記憶された制御プログラムを、通信部３４５等を介して取得して実行する構成としてもよい。
また、接続装置１０に形成された構成が重複して映像表示部２０に形成されていてもよい。例えば、接続装置１０のプロセッサーと同様のプロセッサーが映像表示部２０に配置されてもよいし、接続装置１０が備えるプロセッサーと映像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

また、図１０及び図１１に示すフローチャートの処理単位は、スマートフォン３００の第１制御部３１０の処理を理解容易にするために、主な処理内容に応じて分割したものである。図１０及び図１１に示すフローチャートに示す処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、第１制御部３１０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

また、スマートフォン３００の制御方法は、スマートフォン３００が備えるコンピューターに、スマートフォン３００の制御方法に対応した制御プログラムを実行させることで実現できる。また、この制御プログラムは、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。また、スマートフォン３００の制御方法に対応した制御プログラムをサーバー装置等に記憶させておき、サーバー装置からスマートフォン３００に、制御プログラムをダウンロードすることでスマートフォン３００の制御方法を実現することもできる。

１…表示システム、１０…接続装置、１１、１１Ａ、１１Ｄ…コネクター、１３、１４…輝度調整キー、１５、１６…音量調整キー、２０…映像表示部（表示部）、２１…右保持部、２２…右表示部、２３…左保持部、２４…左表示部、２６…右導光板、２６１…ハーフミラー、２８…左導光板、２８１…ハーフミラー、４０…接続ケーブル、４６…ＵＳＢケーブル、６１…カメラ（第３センサーの一部）、６８…内側カメラ（第３センサーの一部）、１００…ＨＭＤ（表示装置）、１２０…第２制御部、１２１…第２表示制御部、１３０…不揮発性記憶部、１４０…操作部、１４５…接続部、１４７…音声処理部、２１０…右表示部基板、２２１…ＯＬＥＤユニット、２３０…左表示部基板、２３５…６軸センサー、２３７…磁気センサー（第２センサー）、２４１…ＯＬＥＤユニット、２４９…電源部、３００…スマートフォン（情報処理装置）、３１０…第１制御部、３１１…第１表示制御部、３１２…判定部、３１３…調整部、３１４…モード切換部、３２０…不揮発性記憶部、３２１…コンテンツデータ、３３１…表示パネル、３３２…タッチセンサー（位置入力部）、３４１…Ｉ／Ｆ部（接続部）、３４５…通信部、３５１…６軸センサー、３５２…磁気センサー（第１センサー）、ＡＸ…座標軸、ＭＤ１…第１モード、ＭＤ２…第２モード、ＰＢ…ポインターオブジェクト、ＰＴ…画像、ＴＲ…軌跡、Ｖ１、Ｖ２…移動量、θ、φ、ψ、ω、η…傾斜角。

Claims (13)

1. 使用者の頭部に装着される表示装置と、前記表示装置が接続される情報処理装置とを備える表示システムであって、
   前記情報処理装置は、
   位置入力操作を受け付けて、設定された座標軸を基準とする操作位置の座標を検出する位置入力部と、
   前記位置入力部の向きを検出する第１センサーと、
   前記第１センサーの検出結果に基づいて、前記座標軸の向きを調整する調整部と、を備える、表示システム。
2. 前記第１センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含む、請求項１に記載の表示システム。
3. 前記表示装置は、
   画像を表示する表示部と、
   前記表示部の向きを検出する第２センサーと、を備え、
   前記調整部は、前記第２センサーにより検出された向きに対応して、前記座標軸の向きを調整する、請求項１又は２に記載の表示システム。
4. 前記第２センサーは、加速度センサー、ジャイロセンサー、及び地磁気センサーの少なくとも１つを含む、請求項３に記載の表示システム。
5. 前記情報処理装置は、
   前記表示装置を接続可能な接続部と、
   前記位置入力部が検出した入力を前記座標軸における絶対座標での入力として受け付ける第１モードと、前記位置入力部が検出した入力を前記座標軸における相対座標での入力として受け付ける第２モードと、を実行可能であり、前記接続部に前記表示装置が接続されているか否かに応じて、前記第１モードと前記第２モードとを切り換えて実行するモード切換部と、を備える、請求項１から４のいずれか１項に記載の表示システム。
6. 前記モード切換部は、前記接続部に前記表示装置が接続されてない場合には、前記第１モードを実行し、前記接続部に前記表示装置が接続されている場合には、前記第２モードを実行する、請求項５に記載の表示システム。
7. 前記調整部は、前記座標軸の向きを段階的に調整する、請求項１から６のいずれか１項に記載の表示システム。
8. 前記表示装置は、前記情報処理装置の位置を検出する第３センサーを備え、
   前記調整部は、前記第３センサーの検出結果に基づいて、前記座標軸の向きを調整する、請求項１から７のいずれか１項に記載の表示システム。
9. 前記第３センサーは、撮像センサーを含む、請求項８に記載の表示システム。
10. 前記情報処理装置は、前記第３センサーの検出結果に基づいて、前記情報処理装置が前記使用者の視野内にあるか否かを判定する判定部を備え、
    前記調整部は、前記判定部の判定結果に応じて、前記座標軸の向きを調整する、請求項８又は９に記載の表示システム。
11. 前記情報処理装置が前記使用者の視野内にあると前記判定部が判定した場合に、前記調整部は前記座標軸の向きを調整し、前記情報処理装置が前記使用者の視野内にはないと前記判定部が判定した場合に、前記調整部は前記座標軸の向きの調整を規制する、請求項１０に記載の表示システム。
12. コンピューターを備え、使用者の頭部に装着される表示装置が接続される情報処理装置の制御プログラムであって、前記コンピューターを、
    位置入力操作を受け付けて、設定された座標軸を基準とする操作位置の座標を検出する位置入力部の向きを検出する検出部、及び、
    前記検出部の検出結果に基づいて、前記座標軸の向きを調整する調整部、として機能させる、制御プログラム。
13. 使用者の頭部に装着される表示装置が接続される情報処理装置の制御方法であって、
    位置入力操作を受け付けて、設定された座標軸を基準とする操作位置の座標を検出する位置入力部の向きを検出する検出ステップと、
    前記検出ステップでの検出結果に基づいて、前記座標軸の向きを調整する調整ステップと、を含む、情報処理装置の制御方法。

Images