JP2020135544A - 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法 - Google Patents

Abstract

【課題】スマートフォン等の情報処理装置に表示される画像の視認性を向上する。
【解決手段】ＨＭＤ１００と、ＨＭＤ１００が接続されるスマートフォン３００とを備える表示システム１であって、ＨＭＤ１００は、外景を視認可能に構成され、前記外景に重ねて第１画像ＰＴ１を表示し、スマートフォン３００は、第２画像ＰＴ２を表示する表示パネル３３１と、表示パネル３３１に配置されるタッチセンサー３３２と、表示パネル３３１がＨＭＤ１００に対向しているか否かを判定する第１判定部３１３と、ＨＭＤ１００に対する表示パネル３３１の位置を検出する検出部３１４と、表示パネル３３１の位置が第１画像ＰＴ１に含まれるか否かを判定する第２判定部３１５と、第１判定部３１３の判定結果と第２判定部３１５の判定結果とに基づいて、映像表示部２０における第１画像ＰＴ１の表示を調整する調整部３１６と、を備える。
【選択図】図５

Description

本発明は、表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法に関する。

スマートフォンのような携帯端末装置に表示される画像を、ＨＭＤのような表示装置にミラーリング表示することが知られている（例えば、特許文献１参照）。
特許文献１に記載の携帯端末装置は、タッチパネルと、プロセッサーとを備える。プロセッサーは、コンテンツに関連付けられた設定情報に基づいて、タッチパネルにコンテンツを表示させてタッチ入力を受け付ける第１のモードから、タッチパネルにコンテンツを表示させずにタッチ入力を受け付ける第２のモードに携帯端末装置の操作モードを切り換える。そして、操作モードが切り替えられた場合に、コンテンツを表示装置のディスプレイに表示させる。

特開２０１５−１９７６９４号公報

特許文献１記載の構成では、スマートフォンに表示された画像を見難い場合があるという課題があった。
例えば、ＨＭＤに表示された画像とスマートフォンに表示された画像とが重なる場合には、スマートフォンに表示された画像を見難い場合があった。

上記課題を解決する一態様は、使用者の頭部に装着される表示装置と、前記表示装置が接続される情報処理装置とを備える表示システムであって、前記表示装置は、外景を視認可能に構成され、前記外景に重ねて第１画像を表示する第１表示部と、前記第１画像を前記第１表示部に表示させる第１表示制御部と、を備え、前記情報処理装置は、第２画像を表示する第２表示部と、前記第２表示部に配置され、位置入力操作を受け付けて、操作位置の座標を検出する位置入力部と、前記第２表示部が前記表示装置に対向しているか否かを判定する第１判定部と、前記表示装置に対する前記第２表示部の位置を検出する検出部と、前記表示装置に対する前記第２表示部の位置が前記第１表示部により視認される前記第１画像に含まれるか否かを判定する第２判定部と、前記第１判定部の判定結果と前記第２判定部の判定結果とに基づいて、前記第１表示部における前記第１画像の表示を調整する調整部と、を備える、表示システムである。

上記表示システムにおいて、前記表示装置は、前記外景を撮像する撮像部を備え、前記第１判定部は、前記撮像部が撮像した画像に基づいて、前記情報処理装置の前記第２表示部が前記表示装置に対向しているか否かを判定する構成であってもよい。

上記表示システムにおいて、前記表示装置は、前記使用者の視線の方向を検出する視線検出部を備え、前記第１判定部は、前記視線検出部の検出結果に基づいて、前記情報処理装置の前記第２表示部が前記表示装置に対向しているか否かを判定する構成であってもよい。

上記表示システムにおいて、前記情報処理装置は、赤外線を出射する赤外線出射部を備え、前記表示装置は、前記赤外線を受光する赤外線受光部を備え、前記第１判定部は、前記赤外線受光部の受光結果に基づいて、前記情報処理装置の前記第２表示部が前記表示装置に対向しているか否かを判定する構成であってもよい。

上記表示システムにおいて、前記赤外線出射部は、前記第２表示部の表示面の法線方向に前記赤外線を出射する構成であってもよい。

上記表示システムにおいて、前記表示装置は、距離を検出する距離センサーを備え、前記第１判定部は、前記距離センサーによって検出された前記表示装置と前記第２表示部との間の距離に基づいて、前記第２表示部が前記表示装置に対向しているか否かを判定する構成であってもよい。

上記表示システムにおいて、前記第２表示部が前記表示装置に対向していると前記第１判定部が判定し、前記表示装置に対する前記第２表示部の位置が前記第１表示部により視認される前記第１画像に含まれると前記第２判定部が判定した場合に、前記調整部は、前記第２表示部における前記画像の表示を調整する構成であってもよい。

上記表示システムにおいて、前記調整部は、前記第１表示部における前記第１画像のうちの前記第２表示部の位置に対応する画像の濃度を低減する構成であってもよい。

上記表示システムにおいて、前記調整部は、前記第２表示部の位置が前記第１画像に含まれないように、前記第１表示部における前記第１画像の表示を調整する構成であってもよい。

上記表示システムにおいて、前記調整部は、前記第２表示部の位置が前記第１画像に含まれないように、前記第１表示部における前記第１画像の少なくとも一部の画像を非表示にする構成であってもよい。

上記表示システムにおいて、前記調整部は、前記第２表示部の位置が前記第１画像に含まれないように、前記第１表示部における前記第１画像の表示位置を移動する構成であってもよい。

上記表示システムにおいて、前記調整部は、前記第２表示部の位置が前記第１画像に含まれないように、前記第１表示部における前記第１画像を縮小して表示する構成であってもよい。

上記表示システムにおいて、前記情報処理装置は、前記第２表示部に前記第２画像を表示させる第２表示制御部と、前記第２画像を示すデータを前記表示装置に伝送する伝送部と、を備え、前記第１画像は前記第２画像と一致する構成であってもよい。

上記課題を解決する別の一態様は、外景を視認可能に構成され、前記外景に重ねて画像を表示する第１表示部を有する表示装置が接続され、第２表示部と、前記第２表示部に配置される位置入力部と、コンピューターとを備える情報処理装置の制御プログラムであって、前記コンピューターを、前記第２表示部が前記表示装置に対向しているか否かを判定する第１判定部、前記表示装置に対する前記情報処理装置の前記第２表示部の位置を検出する検出部、前記表示装置に対する前記第２表示部の位置が前記第１表示部に表示される前記画像に含まれるか否かを判定する第２判定部、及び、前記第１判定部の判定結果と前記第２判定部の判定結果とに基づいて、前記第１表示部における前記画像の表示を調整する調整部、として機能させる、制御プログラムである。

上記課題を解決する更に別の一態様は、外景を視認可能に構成され、前記外景に重ねて画像を表示する第１表示部を有する表示装置が接続され、第２表示部と、前記第２表示部に配置される位置入力部と、コンピューターとを備える情報処理装置の制御方法であって、前記第２表示部が前記表示装置に対向しているか否かを判定する第１判定ステップと、前記表示装置に対する前記情報処理装置の前記第２表示部の位置を検出する検出ステップと、前記表示装置に対する前記第２表示部の位置が前記第１表示部に表示される前記画像に含まれるか否かを判定する第２判定ステップと、前記第１判定ステップの判定結果と前記第２判定ステップの判定結果とに基づいて、前記第１表示部における前記画像の表示を調整する調整ステップと、を含む、情報処理装置の制御方法である。

表示システムの構成を示す図。 画像表示部の光学系の構成を示す図。 画像表示部の要部構成を示す斜視図。 ＨＭＤを構成する各部の構成を示す図。 ＨＭＤの第１制御部とスマートフォンとの構成を示す図。 表示パネルがＨＭＤと対向している状態の一例を示す図。 表示パネルがＨＭＤと対向している状態の他の一例を示す図。 表示パネルの位置が第１画像に含まれる状態の一例を示す画面図。 第１画像の一部の画像を非表示にする状態の一例を示す画面図。 第１画像を縮小して移動する状態の一例を示す画面図。 第１制御部及び第２制御部の処理を示すフローチャート。

以下、図面を参照して実施形態について説明する。

［１．表示システムの構成］
［１−１．表示システムの全体構成］
図１は、表示システム１の概略構成を示す図である。
図１に示すように、表示システム１は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１００を備える。ＨＭＤ１００は、使用者の頭部に装着される映像表示部２０と、接続装置１０とを備え、映像表示部２０により、使用者の頭部に装着された状態で使用者に虚像を視認させる装置である。ＨＭＤ１００は、「表示装置」の一例に対応する。以下の説明において、使用者とは、ＨＭＤ１００を装着して使用するユーザーを指す。

接続装置１０は、箱形のケースに、コネクター１１Ａ及びコネクター１１Ｄを備える。コネクター１１Ａには、映像表示部２０が接続ケーブル４０を介して接続される。以下、コネクター１１Ａ、１１Ｄを区別しない場合はコネクター１１と表記する場合がある。接続装置１０のケースは、筐体、或いは本体ということもできる。

表示システム１は、ＨＭＤ１００にスマートフォン３００を接続して構成されるシステムである。コネクター１１Ｄは、ＨＭＤ１００においてスマートフォン３００が接続されるインターフェイスである。すなわち、本実施形態では、コネクター１１Ｄにスマートフォン３００が接続される。スマートフォン３００は、「情報処理装置」の一例に対応する。
なお、スマートフォン３００は情報処理装置の一例に過ぎない。情報処理装置は、使用者が携帯可能であって、画像を表示する表示部と、タッチセンサーのような位置入力部と、コンピューターとを備えればよい。例えば、情報処理装置として、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）端末、タブレット型パーソナルコンピューター等を接続装置１０に接続可能である。

コネクター１１は、通信ケーブルを接続する有線インターフェイスであり、この通信ケーブルにより、接続装置１０は外部の装置と接続される。コネクター１１Ａは、接続ケーブル４０を接続する端子、及び、コネクター１１Ａを介して信号を送受信するインターフェイス回路を備える。

コネクター１１Ａは、接続装置１０に映像表示部２０を接続するために設けられる。接続ケーブル４０は、接続装置１０から映像表示部２０に対する電源供給を行うとともに、映像表示部２０と接続装置１０とが相互にデータを送受信する機能を有する。

コネクター１１Ｄは、スマートフォン３００から映像データが入力され、スマートフォン３００に対してセンサーデータの出力が可能なインターフェイスである。スマートフォン３００は、不揮発性記憶部に記録されたコンテンツデータを再生する。コネクター１１Ｄは、例えば、公知の通信インターフェイス規格に準拠するコネクターである。
本実施形態では、コネクター１１Ｄは、一例として、映像データ及び各種データの入出力に対応するインターフェイスであり、ＵＳＢケーブル４６を介してスマートフォン３００が接続される。

コネクター１１Ｄとして、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）−ＴｙｐｅＣ規格のコネクターを採用することができる。ＵＳＢ−ＴｙｐｅＣに対応するインターフェイスは、ＵＳＢ３．１規格に従ったデータの伝送、及び、２０ボルト、５アンペア以内の直流電力の供給が可能である。
また、ＵＳＢ−ＴｙｐｅＣの代替モードの機能として、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の映像データ、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）規格の映像データ等を伝送できる。スマートフォン３００は、ＵＳＢケーブル４６を介して、電源供給、データの送受信、及び、映像や音声のストリーミングデータの供給等を行うことができる。ＵＳＢ−ＴｙｐｅＣの代替モードは、Ａｌｔｅｒｎａｔｉｖｅモードとして知られている。ＨＤＭＩは登録商標である。

映像表示部２０は、本実施形態では眼鏡形状を有する。映像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６、及び左導光板２８を備える。
映像表示部２０は、「第１表示部」の一例に対応する。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者の頭部Ｕに映像表示部２０を保持する。前部フレーム２７の両端部のうち、映像表示部２０の装着時に頭部Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、映像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、映像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、映像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、映像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が映像表示部２０を装着する装着状態で、使用者の眉間に対応する。
前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、映像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合には、鼻当て部と右保持部２１及び左保持部２３とにより映像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、映像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合には、ベルトによって映像表示部２０を使用者の頭部Ｕに保持できる。

右表示部２２及び左表示部２４の各々は、光学ユニット及び周辺回路をユニット化したモジュールである。
右表示部２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示部２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示部２２及び左表示部２４を総称して単に「表示駆動部」と呼ぶこともできる。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、右表示部２２及び左表示部２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。

使用者の右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。

映像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、映像表示部２０を装着する使用者の前方からの外光を受光する。
カメラ６１は、映像表示部２０の前部フレーム２７に配設される。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
カメラ６１は、「撮像部」の一例に対応する。

カメラ６１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。

前部フレーム２７には、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）インジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。

前部フレーム２７には、距離センサー６４及び赤外線センサー６６が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナーを用いてもよく、この場合には、映像表示部２０の前方を含む広範囲の領域に対し測域を行える。

赤外線センサー６６は、赤外線を検出する。具体的には、赤外線センサー６６は、スマートフォン３００の赤外線通信部から出射された赤外線を検出する。また、赤外線センサー６６が赤外線通信部の一部として構成されてもよい。この場合には、スマートフォン３００の赤外線通信部との通信が可能である。赤外線通信部は、例えば、ＩｒＤＡ規格に則って通信を行う。
赤外線センサー６６は、「赤外線受光部」の一例に対応する。

映像表示部２０の右表示部２２及び左表示部２４の各々は、接続装置１０に接続される。ＨＭＤ１００では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が映像表示部２０内部に敷設され、右表示部２２及び左表示部２４の各々が接続装置１０に接続される。

接続ケーブル４０は、オーディオコネクター３６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター３６に接続される。右イヤホン３２は、使用者の右耳に装着され、左イヤホン３４は、使用者の左耳に装着される。右イヤホン３２及び左イヤホン３４は、音声出力部ということもできる。

右イヤホン３２及び左イヤホン３４は、接続装置１０が出力する音声信号に基づき音声を出力する。
マイク６３は、音声を集音して、音声信号を接続装置１０に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

接続装置１０は、使用者により操作される被操作部として、輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６を備える。輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６の各々は、ハードウェアキーで構成される。これらの被操作部は接続装置１０の本体の表面に配置され、例えば、使用者の手指により操作される。

輝度調整キー１３、１４は映像表示部２０により表示する映像の表示輝度を調整するためのハードウェアキーである。輝度調整キー１３は輝度の増大を指示し、輝度調整キー１４は輝度の低減を指示する。音量調整キー１５、１６は、右イヤホン３２及び左イヤホン３４から出力される音声の音量を調整するためのハードウェアキーである。音量調整キー１５は音量の増大を指示し、音量調整キー１６は音量の低減を指示する。

［１−２．ＨＭＤの画像表示部の光学系の構成］
図２は、映像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示部２２と左表示部２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、第１制御部１２０の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。第１制御部１２０については、後述にて図４を参照して説明する。
ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には図４に示す温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示部２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、第１制御部１２０の指示に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。
ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、図４に示す温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示部２２及び左表示部２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図３は、映像表示部２０の要部の構成を示す図である。図３は、映像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図３では接続ケーブル４０の図示を省略する。

図３は、映像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、図３では、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１を含む右導光板２６の全体、及びハーフミラー２８１を含む左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

また、映像表示部２０の使用者側には内側カメラ６８が配置される。内側カメラ６８は、使用者の右眼ＲＥ及び左眼ＬＥの各々に対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、第１制御部１２０の指示に従って撮像を行う。第１制御部１２０は、内側カメラ６８の撮像画像データを解析する。例えば、第１制御部１２０は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、第１制御部１２０は、使用者の視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。

また、第１制御部１２０は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。輻輳角は、使用者が注視する対象物までの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。したがって、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

［１−３．ＨＭＤの各部の構成］
図４は、ＨＭＤ１００を構成する各部の構成を示す図である。
映像表示部２０の右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３及びＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、距離センサー６４、照度センサー６５、赤外線センサー６６、ＬＥＤインジケーター６７及び内側カメラ６８を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。

左表示部２４は、左表示部基板２３０を有する。左表示部基板２３０には、接続ケーブル４０に接続される左Ｉ／Ｆ部２３１及び左Ｉ／Ｆ部２３１を介して接続装置１０から入力されるデータを受信する受信部２３３が実装される。また、左表示部基板２３０には、６軸センサー２３５及び磁気センサー２３７が実装される。
左Ｉ／Ｆ部２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。

Ｉ／Ｆは、インターフェイスの略記である。なお、本実施形態においては、受信部２１３及び受信部２３３の各々を、Ｒｘ２１３、Ｒｘ２３３と記載する場合がある。

ＥＥＰＲＯＭ２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、映像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示部２２又は左表示部２４が備えるセンサーの特性に関するデータ等を記憶する。
具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。ＥＥＰＲＯＭ２１５が記憶するデータは、第１制御部１２０により読取り可能である。

カメラ６１は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。
照度センサー６５は、外光を受光し、受光量又は受光強度に対応する検出値を出力する。ＬＥＤインジケーター６７は、右Ｉ／Ｆ部２１１を介して入力される制御信号又は駆動電流に従って点灯する。
内側カメラ６８は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。

距離センサー６４は、距離検出を実行し、検出結果を示す信号を、右Ｉ／Ｆ部２１１を介して接続装置１０に出力する。距離センサー６４は、例えば、赤外線式深度センサー、超音波式距離センサー、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ式距離センサー、画像検出と音声検出とを組み合わせた距離検出ユニット等を用いることができる。また、距離センサー６４が、ステレオカメラや単眼カメラによるステレオ撮影で得られる画像を処理して距離を検出する構成であってもよい。

赤外線センサー６６は、赤外線検出を実行し、検出結果を示す信号を右Ｉ／Ｆ部２１１を介して接続装置１０に出力する。

受信部２１３は、右Ｉ／Ｆ部２１１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２２１に出力する。ＯＬＥＤユニット２２１は、接続装置１０が伝送する映像データに基づく映像を表示する。
また、受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２２１、２４１は、接続装置１０が伝送する映像データに基づく映像を表示する。

６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。

温度センサー２３９は、ＯＬＥＤユニット２４１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。

映像表示部２０の各部は、接続ケーブル４０により接続装置１０から供給される電力により動作する。

映像表示部２０は、右表示部２２に電源部２２９を備え、左表示部２４に電源部２４９を備える。電源部２２９は、接続装置１０が接続ケーブル４０を介して供給する電力を、右表示部基板２１０を含む右表示部２２の各部に分配し、供給する。同様に、電源部２４９は、接続装置１０が接続ケーブル４０を介して供給する電力を、左表示部基板２３０を含む左表示部２４の各部に分配し、供給する。右表示部２２及び左表示部２４は、電圧を変換する変換回路等を備えてもよい。

接続装置１０は、Ｉ／Ｆ部１１０、第１制御部１２０、センサー制御部１２２、表示制御部１２４、電源制御部１２６、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７を備える。

Ｉ／Ｆ部１１０は、コネクター１１Ｄを備える。また、Ｉ／Ｆ部１１０は、コネクター１１Ｄに接続されて、各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。

Ｉ／Ｆ部１１０は、例えば、コネクター１１Ｄ及びインターフェイス回路を実装したインターフェイス基板であってもよい。また、接続装置１０の第１制御部１２０やセンサー制御部１２２、表示制御部１２４、電源制御部１２６が、図示しない接続装置メイン基板に実装される構成としてもよい。この場合には、接続装置メイン基板にＩ／Ｆ部１１０のコネクター１１Ｄ及びインターフェイス回路を実装してもよい。
また、Ｉ／Ｆ部１１０は、例えば、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。

第１制御部１２０は、接続装置１０の各部を制御する。第１制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを有する。第１制御部１２０において、プロセッサーが制御プログラムを実行することによって、ソフトウェアとハードウェアとの協働によりＨＭＤ１００の各部を制御する。第１制御部１２０には、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７が接続される。

センサー制御部１２２は、カメラ６１、距離センサー６４、照度センサー６５、赤外線センサー６６、温度センサー２１７、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を制御する。具体的には、センサー制御部１２２は、第１制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。

センサー制御部１２２は、Ｉ／Ｆ部１１０のコネクター１１Ｄに接続され、予め設定されたタイミングで、各センサーから取得した検出値に関するデータをコネクター１１Ｄに出力する。コネクター１１Ｄに接続されたスマートフォン３００は、ＨＭＤ１００の各センサーの検出値、カメラ６１の撮像画像データ、及び内側カメラ６８によって検出された視線方向を示すデータを取得できる。

表示制御部１２４は、Ｉ／Ｆ部１１０に入力される画像データや映像データに基づく画像を映像表示部２０により表示するための各種処理を実行する。本実施形態では、コネクター１１Ｄに、スマートフォン３００が出力する映像信号が入力される。映像信号は、デジタル映像データであるが、アナログ映像信号であってもよい。
表示制御部１２４は、例えば、フレームの切り出し、解像度変換、中間フレーム生成、フレームレート変換等の各種処理を実行する。解像度変換は、いわゆるスケーリングを含む。表示制御部１２４は、ＯＬＥＤユニット２２１及びＯＬＥＤユニット２４１の各々に対応する画像データを接続部１４５に出力する。接続部１４５に入力された画像データは、コネクター１１Ａから、映像信号２０１として右Ｉ／Ｆ部２１１及び左Ｉ／Ｆ部２３１に伝送される。映像信号２０１は、ＯＬＥＤユニット２２１及びＯＬＥＤユニット２４１の各々に対応して処理されたデジタル映像データである。

本実施形態では、コネクター１１ＤがＵＳＢ−ＴｙｐｅＣコネクターで構成される。表示制御部１２４は、コネクター１１Ｄを介して、ＵＳＢ−ＴｙｐｅＣの代替モードで伝送される映像データを受信する。

センサー制御部１２２及び／又は表示制御部１２４は、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御部１２２及び表示制御部１２４は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御部１２２及び表示制御部１２４は、第１制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、第１制御部１２０、表示制御部１２４及びセンサー制御部１２２として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。

また、表示制御部１２４及びセンサー制御部１２２は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等、プログラムされたハードウェアにより構成されてもよい。また、センサー制御部１２２及び表示制御部１２４を統合して、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）−ＦＰＧＡとして構成してもよい。

電源制御部１２６は、コネクター１１Ｄに接続される。電源制御部１２６は、コネクター１１Ｄから供給される電力に基づき、接続装置１０の各部および映像表示部２０に対する電源供給を行う。また、電源制御部１２６は、図示しない電圧変換回路を備え、電圧を変換して接続装置１０及び映像表示部２０の各部に供給する構成であってもよい。電源制御部１２６は、ロジック回路やＦＰＧＡ等のプログラムされた半導体デバイスで構成されてもよい。また、電源制御部１２６をセンサー制御部１２２及び／又は表示制御部１２４と共通のハードウェアで構成してもよい。

センサー制御部１２２、表示制御部１２４及び電源制御部１２６は、データ処理を行うためのワークメモリーを具備してもよく、第１制御部１２０のメモリーを利用して処理を行ってもよい。

操作部１４０は、接続装置１０が備える被操作部に対する操作を検出し、操作内容を示すデータ、又は、操作された被操作部を示す操作信号を第１制御部１２０に出力する。

音声処理部１４７は、第１制御部１２０から入力される音声データに従って、音声信号を生成し、接続部１４５に出力する。この音声信号は接続部１４５からオーディオコネクター３６を介して右イヤホン３２及び左イヤホン３４に出力される。また、音声処理部１４７は、第１制御部１２０の制御に従って、音声信号のボリュームを調整する。また、音声処理部１４７は、マイク６３が集音した音声の音声データを生成し、第１制御部１２０に出力する。この音声データは、第１制御部１２０により、映像表示部２０が備えるセンサーの検出値と同様に処理されてもよい。

また、接続装置１０は図示しないバッテリーを備え、このバッテリーから接続装置１０及び映像表示部２０の各部に電力を供給する構成であってもよい。接続装置１０が備えるバッテリーは、充電可能な二次電池であってもよい。

［１−４．スマートフォンの構成］
図５は、ＨＭＤ１００の第１制御部１２０とスマートフォン３００との構成を示す図である。
スマートフォン３００は、第２制御部３１０、不揮発性記憶部３２０、表示部３３０、Ｉ／Ｆ部３４１、通信部３４５、６軸センサー３５１、磁気センサー３５２及び赤外線通信部３５３を備える。
第２制御部３１０は、ＣＰＵやマイコン等のプロセッサーを備え、このプロセッサーにより制御プログラムを実行することにより、スマートフォン３００の各部を制御する。第２制御部３１０は、プロセッサーが実行する制御プログラムを不揮発的に記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、プロセッサーのワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のようなメモリーを備えてもよい。プロセッサーは、「コンピューター」の一例に対応する。第２制御部３１０のメモリーに記憶された制御プログラムは、「制御プログラム」の一例に対応する。

不揮発性記憶部３２０は、第２制御部３１０により実行される制御プログラムや、第２制御部３１０が処理するデータを不揮発的に記憶する。不揮発性記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気的記録装置、又は、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。

不揮発性記憶部３２０は、例えば、映像を含むコンテンツのコンテンツデータ３２１を記憶する。コンテンツデータ３２１は、第２制御部３１０により処理可能なフォーマットのファイルであり、映像データを含み、音声データを含んでもよい。
また、不揮発性記憶部３２０は、第２制御部３１０が実行する基本制御プログラムとしてのオペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、ＯＳをプラットフォームとして動作するアプリケーションプログラム等を記憶する。また、不揮発性記憶部３２０は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。

表示部３３０が備える表示パネル３３１及びタッチセンサー３３２は、第２制御部３１０に接続される。表示パネル３３１は、第２制御部３１０の制御に基づき各種画像を表示する。表示パネル３３１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）で構成される。表示パネル３３１は、矩形状に構成される。本実施形態では、表示パネル３３１は、長方形状である。
表示パネル３３１は、「第２表示部」の一例に対応する。
タッチセンサー３３２は、タッチ操作を検出し、検出した操作を示すデータを第２制御部３１０に出力する。タッチ操作は、「位置入力操作」の一例に対応する。
タッチセンサー３３２は、表示パネル３３１と一体に形成される。具体的には、タッチセンサー３３２は、表示パネル３３１の画像表示面に形成される。本実施形態では、タッチセンサー３３２は、長方形状である。タッチセンサー３３２が出力するデータは、タッチセンサー３３２における操作位置を示す座標データ等である。
タッチセンサー３３２は、「位置入力部」の一例に対応する。

Ｉ／Ｆ部３４１は、外部の装置に接続されるインターフェイスである。Ｉ／Ｆ部３４１は、例えば、ＨＤＭＩインターフェイス、ＵＳＢインターフェイス等の規格に準拠した通信を実行する。Ｉ／Ｆ部３４１は、ＵＳＢケーブル４６を接続するコネクター、及びコネクターを伝送される信号を処理するインターフェイス回路を備える。Ｉ／Ｆ部３４１は、コネクター及びインターフェイス回路を有するインターフェイス基板であり、第２制御部３１０のプロセッサー等が実装されるメイン基板に接続される。或いは、Ｉ／Ｆ部３４１を構成するコネクター及びインターフェイス回路が、スマートフォン３００のメイン基板に実装される。
本実施形態で、Ｉ／Ｆ部３４１は、ＵＳＢインターフェイスを備え、ＵＳＢケーブル４６により、コネクター１１Ｄに接続される。第２制御部３１０は、例えば、ＵＳＢケーブル４６により映像データを出力し、接続装置１０からセンサーの出力値に関するデータ等を受信する。
また、Ｉ／Ｆ部３４１は、無線通信インターフェイスであってもよい。この場合には、Ｉ／Ｆ部３４１は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）部を含む通信回路を実装したインターフェイス基板、又は、メイン基板に実装される回路とすることができる。

通信部３４５は、外部の装置とデータ通信を実行する通信インターフェイスである。通信部３４５は、ケーブルを接続可能な有線通信インターフェイスであってもよいし、無線通信インターフェイスであってもよい。例えば、Ｅｔｈｅｒｎｅｔ（登録商標）に対応する有線ＬＡＮインターフェイスや、ＩＥＥＥ８０２．１１規格に対応する無線ＬＡＮインターフェイスであってもよい。
また、通信部３４５は、例えば、他のスマートフォンと無線電話回線で接続する通信インターフェイスである。

６軸センサー３５１は、３軸加速度センサー、及び、３軸ジャイロセンサーを備えるモーションセンサーである。６軸センサー３５１は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー３５２は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。

赤外線通信部３５３は、他のスマートフォンとの間で赤外線通信を実行する。また、赤外線通信部３５３は、表示パネル３３１の表示面の法線方向に赤外線を出射する。赤外線通信部３５３から出射された赤外線がＨＭＤ１００の赤外線センサー６６によって受光された場合には、表示パネル３３１はＨＭＤ１００に対向している。この点については、後述にて図７を参照して詳細に説明する。
赤外線通信部３５３は、「赤外線出射部」の一例に対応する。

第２制御部３１０は、第２表示制御部３１１と、伝送部３１２と、第１判定部３１３と、検出部３１４と、第２判定部３１５と、調整部３１６とを備える。具体的には、第２制御部３１０は、第２制御部３１０が備えるプロセッサーが制御プログラムを実行することにより、第２表示制御部３１１、伝送部３１２、第１判定部３１３、検出部３１４、第２判定部３１５及び調整部３１６として機能する。

第２表示制御部３１１は、コンテンツデータ３２１を再生し、コンテンツデータ３２１に含まれる映像データに対応する第２画像ＰＴ２を表示部３３０の表示パネル３３１に表示する。

伝送部３１２は、第２画像ＰＴ２を示すデータをＨＭＤ１００に伝送する。具体的には、伝送部３１２は、Ｉ／Ｆ部３４１及びコネクター１１Ｄを介して、第２画像ＰＴ２を示すデータをＨＭＤ１００の第１制御部１２０に伝送する。

第１判定部３１３は、表示パネル３３１がＨＭＤ１００に対向しているか否かを判定する。具体的には、第１判定部３１３は、下記の第１条件、第２条件及び第３条件を満たす場合に、表示パネル３３１がＨＭＤ１００に対向していると判定する。
第１条件：使用者の視野内に表示パネル３３１が位置する。
第２条件：表示パネル３３１の表示面の法線方向にＨＭＤ１００が位置している。
第３条件：表示パネル３３１とＨＭＤ１００との間の距離が閾値距離以下である。

具体的には、第１判定部３１３は、第１条件を満たすか否かを、カメラ６１により形成された外景の画像と、内側カメラ６８により形成された画像に基づいて第１制御部１２０により検出された視線方向とに基づいて判定する。
第１判定部３１３は、第２条件を満たすか否かを、カメラ６１により形成された外景の画像と、内側カメラ６８により形成された画像に基づいて判定する。また、第１判定部３１３は、第２条件を満たすか否かを、ＨＭＤ１００の第１制御部１２０から伝送される赤外線センサー６６の検出結果に基づいて判定する。
第１条件及び第２条件については、後述にて図６及び図７を参照して詳細に説明する。

また、第１判定部３１３は、第３条件を満たすか否かを、距離センサー６４によって検出された表示パネル３３１とＨＭＤ１００との間の距離に基づいて判定する。
第３条件については、後述にて図６を参照して詳細に説明する。

検出部３１４は、ＨＭＤ１００に対する表示パネル３３１の位置を検出する。具体的には、検出部３１４は、カメラ６１が撮像した外景画像に基づいて、ＨＭＤ１００に対する表示パネル３３１の位置を検出する。

第２判定部３１５は、ＨＭＤ１００に対するスマートフォン３００の表示パネル３３１の位置が映像表示部２０により視認される第１画像ＰＴ１に含まれるか否かを判定する。具体的には、第２判定部３１５は、検出部３１４が検出したＨＭＤ１００に対する表示パネル３３１の位置が、映像表示部２０により視認される第１画像ＰＴ１に含まれるか否かを判定する。

更に具体的には、第２判定部３１５は、カメラ６１によって撮影された画像に基づいて、ＨＭＤ１００に対するスマートフォン３００の表示パネル３３１の位置が映像表示部２０により視認される第１画像ＰＴ１に含まれるか否かを判定する。カメラ６１は、使用者の視野よりも広い範囲の外景画像を撮像する。
第２判定部３１５は、まず、ＨＭＤ１００からカメラ６１が撮像した外景画像データを取得し、カメラ６１が撮像した外景画像の中から、第１画像ＰＴ１に含まれる外景画像を抽出する。
そして、第２判定部３１５は、抽出された外景画像にスマートフォン３００の表示パネル３３１が含まれているか否かを判定する。なお、抽出された外景画像にスマートフォン３００の表示パネル３３１が含まれているか否かの判定は、例えば、画像処理等を用いて実行される。

調整部３１６は、第１判定部３１３の判定結果と第２判定部３１５の判定結果とに基づいて、ＨＭＤ１００の映像表示部２０における第１画像ＰＴ１の表示を調整する。すなわち、調整部３１６は、ＨＭＤ１００の第１制御部１２０に対して、映像表示部２０における第１画像ＰＴ１の表示を調整するよう指示する。第１制御部１２０は、調整部３１６からの指示に従って、映像表示部２０における第１画像ＰＴ１の表示を調整する。

具体的には、次の第４条件と第５条件とを満たす場合に、調整部３１６は、映像表示部２０における第１画像ＰＴ１の表示を調整する。
第４条件：表示パネル３３１がＨＭＤ１００に対向していると第１判定部３１３が判定したこと。
第５条件：ＨＭＤ１００に対するスマートフォン３００の表示パネル３３１の位置が映像表示部２０により視認される第１画像ＰＴ１に含まれると第２判定部３１５が判定したこと。

調整部３１６は、例えば、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、ＨＭＤ１００の映像表示部２０における第１画像ＰＴ１の表示を調整する。
具体的には、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、第１画像ＰＴ１の一部の画像を非表示にする。また、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、映像表示部２０における第１画像ＰＴ１の表示位置を移動する。また、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、映像表示部２０における第１画像ＰＴ１を縮小して表示する。
調整部３１６の処理については、後述にて図８〜図１０を参照して詳細に説明する。

第２制御部３１０の処理については、後述にて図１１を参照して具体的に説明する。

［１−５．ＨＭＤの第１制御部の構成］
ＨＭＤ１００の第１制御部１２０は、第１表示制御部１２１と、視線検出部１２３と、赤外線検出部１２５と、を備える。具体的には、第１制御部１２０は、第１制御部１２０が備えるプロセッサーが制御プログラムを実行することにより、第１表示制御部１２１、視線検出部１２３及び赤外線検出部１２５として機能する。

第１表示制御部１２１は、第１画像ＰＴ１を表示する。具体的には、第１表示制御部１２１は、スマートフォン３００から第２画像ＰＴ２を受信し、受信した第２画像ＰＴ２を映像表示部２０により第１画像ＰＴ１として表示させる。すなわち、第１画像ＰＴ１は、第２画像ＰＴ２と一致する。換言すれば、第１画像ＰＴ１は、第２画像ＰＴ２と同一の画像を示す。この場合には、ＨＭＤ１００の映像表示部２０は、表示パネル３３１に表示している画像と同じ画像を表示し、いわゆる「ミラーリング表示」を行う。
更に具体的には、第１表示制御部１２１は、スマートフォン３００から受信した第２画像ＰＴ２から、右画像と左画像とを生成する。そして、第１表示制御部１２１は、右画像を右表示部２２により表示させ、左画像を左表示部２４により表示させる。
更に具体的には、第１表示制御部１２１は、右画像を右Ｉ／Ｆ部２１１を介してＯＬＥＤユニット２２１に伝送し、ＯＬＥＤユニット２２１により右画像を表示させる。また、第１表示制御部１２１は、左画像を左Ｉ／Ｆ部２３１を介してＯＬＥＤユニット２４１に伝送し、ＯＬＥＤユニット２４１により左画像を表示させる。

また、第１表示制御部１２１は、スマートフォン３００の第２制御部３１０の調整部３１６からの指示に従って、映像表示部２０における第１画像ＰＴ１の表示を調整する。

視線検出部１２３は、使用者の視線の方向を検出する。具体的には、視線検出部１２３は、内側カメラ６８の撮像画像データを解析することによって、使用者の視線の方向を検出する。例えば、視線検出部１２３は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を検出する。
視線検出部１２３は、使用者の視線方向を示すデータを第２制御部３１０に伝送する。

赤外線検出部１２５は、赤外線センサー６６の検出結果を取得し、検出結果を示すデータを、コネクター１１Ｄ及びＩ／Ｆ部３４１を介して、第２制御部３１０に伝送する。

［２．具体例を用いたスマートフォンの第１制御部の処理の説明］
図６〜図１０の各々は、第２制御部３１０の処理の具体例を示す図である。

［２−１．第１判定部の処理の説明］
図６は、表示パネル３３１がＨＭＤ１００と対向している状態の一例を示す図である。
図６に示すように、使用者がスマートフォン３００を操作する場合には、通常、使用者の視線の方向ＬＳにスマートフォン３００が配置される。方向ＬＳは、使用者の視線の方向を示す。方向ＬＳは、内側カメラ６８によって撮影された画像に基づいて、視線検出部１２３によって検出される。
方向ＤＡは、ＨＭＤ１００からスマートフォン３００のタッチセンサー３３２の中心位置ＰＣに向かう方向を示す。方向ＤＡは、カメラ６１によって撮像された外景画像に基づいて、第１判定部３１３によって検出される。
方向ＤＡは、方向ＬＳに対して傾斜角θだけ傾斜している。傾斜角θは方向ＬＳに対する方向ＤＡの傾斜角を示す。

第１判定部３１３は、傾斜角θの絶対値が閾値角θＳ以下である場合に、使用者の視野内に表示パネル３３１が位置すると判定する。すなわち、第１判定部３１３は、傾斜角θが閾値角θＳ以下である場合に、第１条件を満たすと判定する。閾値角θＳは、例えば、７０度である。

Ａ−Ａ線は、タッチセンサー３３２の長辺方向を示す。Ｂ−Ｂ線は、タッチセンサー３３２の短辺方向を示す。
Ａ−Ａ線は、方向ＤＡに対して傾斜角φだけ傾斜している。傾斜角φは、Ａ−Ａ線の方向ＤＡに対する傾斜角を示す。また、Ｂ−Ｂ線は、方向ＤＡに対して傾斜角ψだけ傾斜している。傾斜角ψは、Ｂ−Ｂ線の方向ＤＡに対する傾斜角を示す。傾斜角φ及び傾斜角ψは、カメラ６１によって撮像された外景画像に基づいて、第１判定部３１３によって検出される。

使用者がタッチセンサー３３２を操作する場合には、方向ＬＳは、方向ＤＡと一致すると推定される。すなわち、傾斜角φ及び傾斜角ψは、使用者がタッチセンサー３３２を操作する場合において、使用者又はＨＭＤ１００に対する表示パネル３３１の表示面の傾きを規定する。
また、例えば、傾斜角φ及び傾斜角ψの各々が９０度である場合には、表示パネル３３１の表示面は、方向ＤＡと直交する。

そこで、傾斜角φが最小傾斜角φＮ以上で、最大傾斜角φＸ以下であり、且つ、傾斜角ψが最小傾斜角ψＮ以上で、最大傾斜角ψＸ以下である場合には、第１判定部３１３は、表示パネル３３１の表示面の法線方向にＨＭＤ１００が位置していると判定する。すなわち、第１判定部３１３は、第２条件を満たすと判定する。最小傾斜角φＮ及び最小傾斜角ψＮの各々は、例えば６０度であり、最大傾斜角φＸ及び最大傾斜角ψＸの各々は、例えば１２０度である。

このようにして、第１判定部３１３は、カメラ６１によって撮像された外景画像、及び内側カメラ６８によって撮影された画像に基づいて、第１条件を満たすか否かと、第２条件を満たすか否かと、を判定できる。したがって、第１判定部３１３は、カメラ６１によって撮像された外景画像、及び内側カメラ６８によって撮影された画像に基づいて、第１条件を満たすか否かを判定できる。

距離ＬＡは、表示パネル３３１とＨＭＤ１００との間の距離を示す。距離ＬＡは、距離センサー６４によって検出される。第１判定部３１３は、距離ＬＡが閾値距離ＬＳ以下である場合に、第３条件を満たすと判定する。閾値距離ＬＳは、例えば０．８ｍである。

このようにして、第１判定部３１３は、距離センサー６４の検出結果に基づいて、第２条件を満たすか否かを判定できる。

図７は、表示パネル３３１がＨＭＤ１００と対向している状態の他の一例を示す図である。
図７に示すように、赤外線通信部３５３から中心線ＣＬで示す方向に赤外線が出射される。中心線ＣＬは、ベクトルＶＮと平行である。ベクトルＶＮは、表示パネル３３１の表示面の法線ベクトルを示す。すなわち、中心線ＣＬは、表示パネル３３１の表示面を含む平面と直交する。
中心線ＣＬに対して傾斜角ηＡ以下の範囲は、赤外線通信部３５３から出射される赤外線の到達する範囲を示す。換言すれば、傾斜角ηＡは、赤外線通信部３５３から出射される赤外線の拡がり角を示す。

直線ＬＢは、赤外線センサー６６と赤外線通信部３５３とを結ぶ直線を示す。傾斜角ηＢは、直線ＬＢの中心線ＣＬに対する傾斜角を示す。図７に示すように、傾斜角ηＢは、傾斜角ηＡよりも小さい。したがって、赤外線センサー６６は、赤外線通信部３５３から射出された赤外線を受光する。
赤外線センサー６６が赤外線通信部３５３から射出された赤外線を受光する場合に、第１判定部３１３は、表示パネル３３１の表示面の法線方向にＨＭＤ１００が位置していると判定する。すなわち、第１判定部３１３は、第２条件を満たすと判定する。

このようにして、第１判定部３１３は、赤外線センサー６６の検出結果に基づいて、第２条件を満たすか否かを判定できる。

［２−２．調整部の処理の説明］
図８は、表示パネル３３１の位置が第１画像ＰＴ１に含まれる状態の一例を示す画面図である。
図８に示すように、ハーフミラー２６１及びハーフミラー２８１の各々には、第１画像ＰＴ１が表示される。第１画像ＰＴ１は、アイコンＡ１〜アイコンＡ５、アイコンＢ１〜アイコンＢ５、アイコンＣ１〜アイコンＣ５及びボタンＰ１〜Ｐ３を含む。なお、第１画像ＰＴ１は背面画像を含まない。すなわち、ハーフミラー２６１及びハーフミラー２８１の各々において、アイコンＡ１〜アイコンＡ５、アイコンＢ１〜アイコンＢ５、アイコンＣ１〜アイコンＣ５及びボタンＰ１〜Ｐ３を除く領域では、使用者は外景を視認できる。
また、第１画像ＰＴ１は、ＨＭＤ１００に対する表示パネル３３１の位置を含む。具体的には、ハーフミラー２６１及びハーフミラー２８１の各々において、アイコンＡ４、アイコンＡ５、アイコンＢ４及びアイコンＢ５の位置と、表示パネル３３１の位置とが一致している。
したがって、表示パネル３３１の一部は、アイコンＡ４、アイコンＡ５、アイコンＢ４及びアイコンＢ５の各々に遮られて隠れている。このような場合には、使用者は、表示パネル３３１に表示された第２画像ＰＴ２を見難い可能性があった。

図９は、第１画像ＰＴ１の一部の画像を非表示にする状態の一例を示す画面図である。
図９に示すように、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、第１画像ＰＴ１の一部の画像を非表示にする。具体的には、調整部３１６は、アイコンＡ４、アイコンＡ５、アイコンＢ４及びアイコンＢ５の各々を非表示にする。

このようにして、表示パネル３３１を遮る位置にあるアイコンＡ４、アイコンＡ５、アイコンＢ４及びアイコンＢ５の各々を非表示にすることによって、表示パネル３３１の位置が第１画像ＰＴ１に含まれないようにすることができる。したがって、使用者は、表示パネル３３１に表示される第２画像ＰＴ２を容易に視認できる。その結果、使用者のタッチセンサー３３２に対する操作が容易になる。

図９では、調整部３１６が第１画像ＰＴ１の一部の画像を非表示にする場合について説明したが、調整部３１６が第１画像ＰＴ１の一部の画像の濃度を低減してもよい。具体的には、調整部３１６が第１画像ＰＴ１のうちの表示パネル３３１の位置に対応する画像の濃度を低減してもよい。更に具体的には、調整部３１６がアイコンＡ４、アイコンＡ５、アイコンＢ４及びアイコンＢ５の各々の濃度を低減してもよい。
この場合には、アイコンＡ４、アイコンＡ５、アイコンＢ４及びアイコンＢ５の各々の濃度が低減されるため、使用者は、表示パネル３３１に表示される第２画像ＰＴ２を視認し易くなる。
また、調整部３１６が第１画像ＰＴ１の一部の画像を半透明化する処理を実行してもよい。具体的には、調整部３１６が第１画像ＰＴ１のうちの表示パネル３３１の位置に対応する画像を半透明化する処理を実行してもよい。更に具体的には、調整部３１６がアイコンＡ４、アイコンＡ５、アイコンＢ４及びアイコンＢ５の各々を半透明化する処理を実行してもよい。
この場合には、アイコンＡ４、アイコンＡ５、アイコンＢ４及びアイコンＢ５の各々が半透明化されるため、使用者は、表示パネル３３１に表示される第２画像ＰＴ２を視認し易くなる。

図１０は、第１画像ＰＴ１を縮小して移動する状態の一例を示す画面図である。
図１０に示すように、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、第１画像ＰＴ１を縮小して移動する。具体的には、調整部３１６は、第１画像ＰＴ１を５０％に縮小して、第１画像ＰＴ１がハーフミラー２６１及びハーフミラー２８１の各々の左辺と接する位置に移動する。

このようにして、第１画像ＰＴ１を縮小して移動することによって、表示パネル３３１の位置が第１画像ＰＴ１に含まれないようにすることができる。したがって、使用者は、表示パネル３３１に表示される第２画像ＰＴ２を容易に視認できる。その結果、使用者のタッチセンサー３３２に対する操作が容易になる。また、この場合には、使用者は、第１画像ＰＴ１も容易に視認できるため、使用者のタッチセンサー３３２に対する操作が更に容易になる。

図１０では、調整部３１６が、第１画像ＰＴ１を縮小して移動する場合について説明したが、調整部３１６が、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、第１画像ＰＴ１を縮小又は移動してもよい。
この場合には、調整部３１６の処理を簡素化できる。したがって、第２制御部３１０の負荷を軽減できる。

［３．スマートフォンの第２制御部の処理の説明］
図１１は、ＨＭＤ１００の第１制御部１２０及びスマートフォン３００の第２制御部３１０の処理を示すフローチャートである。
まず、図１１に示すように、ステップＳ１０１において、第２制御部３１０が、カメラ６１によって撮像された外景画像データを取得する。
次に、ステップＳ１０３において、第１制御部１２０の視線検出部１２３が、内側カメラ６８の撮像画像データを取得する。
次に、ステップＳ１０５において、第１制御部１２０の視線検出部１２３が、内側カメラ６８の撮像画像データに基づいて、使用者の視線の方向を検出する。

次に、ステップＳ１０７において、第２制御部３１０の第１判定部３１３は、第１条件及び第２条件を満たすか否かを判定する。具体的には、第１判定部３１３は、使用者の視野内に表示パネル３３１が位置し、表示パネル３３１の表示面の法線方向にＨＭＤ１００が位置する場合に、第１条件及び第２条件を満たすと判定する。
更に具体的には、第１判定部３１３は、カメラ６１により形成された外景の画像と、視線検出部１２３により検出された視線方向とに基づいて、使用者の視野内に表示パネル３３１が位置するか否かを判定する。また、第１判定部３１３は、赤外線センサー６６の検出結果に基づいて、表示パネル３３１がＨＭＤ１００に対向しているか否かを判定する。
第１条件又は第２条件を満たさないと第１判定部３１３が判定した場合（ステップＳ１０７：ＮＯ）には、処理がステップＳ１１３に進む。
そして、ステップＳ１１３において、第１判定部３１３は、表示パネル３３１がＨＭＤ１００に対向していないと判定する。その後、処理がステップＳ１０１にリターンする。

第１条件及び第２条件を満たすと第１判定部３１３が判定した場合（ステップＳ１０７：ＹＥＳ）には、処理がステップＳ１０９に進む。
そして、ステップＳ１０９において、第１判定部３１３は、距離センサー６４によって表示パネル３３１とＨＭＤ１００との間の距離ＬＡを取得する。
次に、ステップＳ１１１において、第１判定部３１３は、距離ＬＡが閾値距離ＬＳ以下であるか否かを判定する。
距離ＬＡが閾値距離ＬＳ以下ではないと第１判定部３１３が判定した場合（ステップＳ１１１：ＮＯ）には、 そして、ステップＳ１１３において、第１判定部３１３は、表示パネル３３１がＨＭＤ１００に対向していないと判定する。その後、処理がステップＳ１０１にリターンする。

距離ＬＡが閾値距離ＬＳ以下であると第１判定部３１３が判定した場合（ステップＳ１１１：ＹＥＳ）には、処理がステップＳ１１５に進む。
そして、ステップＳ１１５において、第１判定部３１３は、表示パネル３３１がＨＭＤ１００に対向していると判定する。
次に、ステップＳ１１７において、検出部３１４は、ＨＭＤ１００に対するスマートフォン３００の表示パネル３３１の位置を検出する。
次に、ステップＳ１１９において、第２判定部３１５は、ＨＭＤ１００に対するスマートフォン３００の表示パネル３３１の位置が映像表示部２０により視認される第１画像ＰＴ１に含まれるか否かを判定する。
表示パネル３３１の位置が第１画像ＰＴ１に含まれないと第２判定部３１５が判定した場合（ステップＳ１１９：ＮＯ）には、処理がステップＳ１０１にリターンする。表示パネル３３１の位置が第１画像ＰＴ１に含まれると第２判定部３１５が判定した場合（ステップＳ１１９：ＹＥＳ）には、処理がステップＳ１２１に進む。
そして、ステップＳ１２１において、調整部３１６は、映像表示部２０における第１画像ＰＴ１の表示を調整する。具体的には、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、第１画像ＰＴ１の表示を調整する。その後、処理がステップＳ１０１にリターンする。

なお、図１０のステップＳ１０７とステップＳ１１１とは、「第１判定ステップ」の一例に対応する。ステップＳ１１７は「検出ステップ」の一例に対応する。ステップＳ１１９は、「第２判定ステップ」の一例に対応する。ステップＳ１２１は、「調整ステップ」の一例に対応する。

［４．本実施形態の効果］
以上説明したように、本実施形態では、ＨＭＤ１００は、外景を視認可能に構成され、前記外景に重ねて第１画像ＰＴ１を表示する映像表示部２０と、第１画像ＰＴ１を映像表示部２０に表示させる第１表示制御部１２１と、を備える。スマートフォン３００は、第２画像ＰＴ２を表示する表示パネル３３１と、表示パネル３３１に配置され、位置入力操作を受け付けて、操作位置の座標を検出するタッチセンサー３３２と、表示パネル３３１がＨＭＤ１００に対向しているか否かを判定する第１判定部３１３と、ＨＭＤ１００に対する表示パネル３３１の位置を検出する検出部３１４と、ＨＭＤ１００に対する表示パネル３３１の位置が映像表示部２０により視認される第１画像ＰＴ１に含まれるか否かを判定する第２判定部３１５と、第１判定部３１３の判定結果と第２判定部３１５の判定結果とに基づいて、映像表示部２０における第１画像ＰＴ１の表示を調整する調整部３１６と、を備える。
よって、例えば、表示パネル３３１がＨＭＤ１００に対向していると第１判定部３１３が判定し、ＨＭＤ１００に対する表示パネル３３１の位置が映像表示部２０により視認される第１画像ＰＴ１に含まれると第２判定部３１５が判定した場合に、調整部３１６は、映像表示部２０における第１画像ＰＴ１の表示を調整する。したがって、映像表示部２０における第１画像ＰＴ１の表示を調整することによって、表示パネル３３１に表示される第２画像ＰＴ２の視認性を向上できる。その結果、使用者によるタッチセンサー３３２の操作性を向上できる。

また、ＨＭＤ１００は、外景を撮像するカメラ６１を備え、第１判定部３１３は、カメラ６１が撮像した画像に基づいて、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを判定する。
したがって、第１判定部３１３は、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを正確に判定できる。

また、ＨＭＤ１００は、使用者の視線の方向を検出する視線検出部１２３を備え、第１判定部３１３は、視線検出部１２３の検出結果に基づいて、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを判定する。
したがって、第１判定部３１３は、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを正確に判定できる。

また、スマートフォン３００は、赤外線を出射する赤外線通信部３５３を備え、ＨＭＤ１００は、赤外線を受光する赤外線センサー６６を備え、第１判定部３１３は、赤外線センサー６６の検出結果に基づいて、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを判定する。
したがって、第１判定部３１３は、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを正確に判定できる。

また、赤外線通信部３５３は、表示パネル３３１の表示面の法線方向に赤外線を出射する。
したがって、第１判定部３１３は、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを正確に判定できる。

また、ＨＭＤ１００は、距離を検出する距離センサー６４を備え、第１判定部３１３は、距離センサー６４によって検出されたＨＭＤ１００と表示パネル３３１との間の距離ＬＡに基づいて、表示パネル３３１がＨＭＤ１００に対向しているか否かを判定する。
距離ＬＡが閾値距離ＬＳより大である場合には、第１判定部３１３は、表示パネル３３１がＨＭＤ１００に対向していないと判定する。したがって、閾値距離ＬＳの値を適正に設定することによって、表示パネル３３１がＨＭＤ１００に対向しているか否かを的確に判定できる。

また、表示パネル３３１がＨＭＤ１００に対向していると第１判定部３１３が判定し、ＨＭＤ１００に対する表示パネル３３１の位置が映像表示部２０により視認される第１画像ＰＴ１に含まれると第２判定部３１５が判定した場合に、調整部３１６は、映像表示部２０における第１画像ＰＴ１の表示を調整する。
よって、映像表示部２０における第１画像ＰＴ１の表示を調整することによって、表示パネル３３１に表示される第２画像ＰＴ２の視認性を向上できる。したがって、使用者によるタッチセンサー３３２の操作性を向上できる。

また、調整部３１６は、映像表示部２０における第１画像ＰＴ１のうちの表示パネル３３１の位置に対応する画像の濃度を低減する。
よって、表示パネル３３１に表示される第２画像ＰＴ２の視認性を向上できる。したがって、使用者によるタッチセンサー３３２の操作性を向上できる。

また、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、映像表示部２０における第１画像ＰＴ１の表示を調整する。
よって、表示パネル３３１の位置が第１画像ＰＴ１に含まれないため、表示パネル３３１に表示される第２画像ＰＴ２の視認性を向上できる。したがって、使用者によるタッチセンサー３３２の操作性を向上できる。

また、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、映像表示部２０における第１画像ＰＴ１の少なくとも一部の画像を非表示にする。
調整部３１６は、例えば、第１画像ＰＴ１のうちの表示パネル３３１の位置に対応する画像を非表示する。したがって、簡素な処理で、表示パネル３３１に表示される第２画像ＰＴ２の視認性を向上できる。

また、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、映像表示部２０における第１画像ＰＴ１の表示位置を移動する。
したがって、簡素な処理で、表示パネル３３１に表示される第２画像ＰＴ２の視認性を向上できる。

また、調整部３１６は、表示パネル３３１の位置が第１画像ＰＴ１に含まれないように、映像表示部２０における第１画像ＰＴ１を縮小して表示する。
したがって、簡素な処理で、表示パネル３３１に表示される第２画像ＰＴ２の視認性を向上できる。

［５．他の実施形態］
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、「情報処理装置」がスマートフォン３００であるが、これに限定されない。「情報処理装置」は、使用者が携帯可能に構成され、表示部と、位置入力部と、制御部とを備えればよい。例えば、「情報処理装置」がＰＤＡ端末でもよいし、タブレット型パーソナルコンピューターでもよい。

また、上記実施形態では、第１判定部３１３が、カメラ６１の撮像した外景画像、内側カメラ６８の撮像した画像、及び赤外線センサー６６の検出結果に基づいて、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを判定するが、本発明はこれに限定されない。第１判定部３１３が、カメラ６１の撮像した外景画像、内側カメラ６８の撮像した画像、及び赤外線センサー６６の検出結果の少なくとも１つに基づいて、スマートフォン３００の表示パネル３３１がＨＭＤ１００に対向しているか否かを判定すればよい。

また、上記実施形態では、第１判定部３１３が、使用者の視野内に表示パネル３３１が位置し、表示パネル３３１の表示面の法線方向にＨＭＤ１００が位置し、且つ、ＨＭＤ１００と表示パネル３３１との間の距離ＬＡが閾値距離ＬＳ以下である場合に、表示パネル３３１がＨＭＤ１００に対向していると判定するが、本発明はこれに限定されない。第１判定部３１３が、使用者の視野内に表示パネル３３１が位置し、表示パネル３３１の表示面の法線方向にＨＭＤ１００が位置しているか否か、表示パネル３３１の表示面の法線方向にＨＭＤ１００が位置しているか否か、及びＨＭＤ１００と表示パネル３３１との間の距離ＬＡが閾値距離ＬＳ以下であるか否かの少なくとも１つに基づいて、表示パネル３３１がＨＭＤ１００に対向しているか否かを判定してもよい。

また、上記実施形態では、接続装置１０が映像表示部２０と有線接続される構成を例示したが、これに限定されず、接続装置１０に対して映像表示部２０が無線接続される構成であってもよい。

また、接続装置１０が備える一部の機能を映像表示部２０に設けてもよく、接続装置１０を複数の装置により実現してもよい。例えば、接続装置１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

また、上記実施形態では、映像表示部２０と接続装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。これに限定されず、接続装置１０と映像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、上記実施形態において、使用者が表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。例えば、カメラ６１により撮像する外景の画像と、表示画像とを合成した合成画像を映像表示部２０により表示する構成とすれば、映像表示部２０が外光を透過しなくても、使用者に外景と画像とを視認可能に表示できる。このような、いわゆるビデオシースルー型の表示装置に適用することも勿論可能である。

また、例えば、映像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、表示装置は、例えば、自動車や飛行機等の車両に搭載されるＨＭＤとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。この場合には、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。これに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合には、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
更に、光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図４、図５等に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、第２制御部３１０が実行する制御プログラムは、不揮発性記憶部３２０又は第２制御部３１０内の他の記憶部に記憶されてもよい。また、外部の装置に記憶された制御プログラムを、通信部３４５等を介して取得して実行する構成としてもよい。
また、接続装置１０に形成された構成が重複して映像表示部２０に形成されていてもよい。例えば、接続装置１０のプロセッサーと同様のプロセッサーが映像表示部２０に配置されてもよいし、接続装置１０が備えるプロセッサーと映像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

また、図１１に示すフローチャートの処理単位は、ＨＭＤ１００の第１制御部１２０及びスマートフォン３００の第２制御部３１０の処理を理解容易にするために、主な処理内容に応じて分割したものである。図１１に示すフローチャートに示す処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、第２制御部３１０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、第２制御部３１０の処理を第１制御部１２０が実行してもよいし、第１制御部１２０の処理を第２制御部３１０が実行してもよい。

また、スマートフォン３００の制御方法は、スマートフォン３００が備えるコンピューターに、スマートフォン３００の制御方法に対応した制御プログラムを実行させることで実現できる。また、この制御プログラムは、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。また、スマートフォン３００の制御方法に対応した制御プログラムをサーバー装置等に記憶させておき、サーバー装置からスマートフォン３００に、制御プログラムをダウンロードすることでスマートフォン３００の制御方法を実現することもできる。

１…表示システム、１０…接続装置、１１、１１Ａ、１１Ｄ…コネクター、１３、１４…輝度調整キー、１５、１６…音量調整キー、２０…映像表示部（第１表示部）、２１…右保持部、２２…右表示部、２３…左保持部、２４…左表示部、２６…右導光板、２６１…ハーフミラー、２８…左導光板、２８１…ハーフミラー、４０…接続ケーブル、４６…ＵＳＢケーブル、６１…カメラ（撮像部）、６４…距離センサー、６６…赤外線センサー（赤外線受光部）、６８…内側カメラ、１００…ＨＭＤ（表示装置）、１２０…第１制御部、１２１…第１表示制御部、１２２…視線検出部、１２３…赤外線検出部、１３０…不揮発性記憶部、１４０…操作部、１４５…接続部、１４７…音声処理部、２１０…右表示部基板、２２１…ＯＬＥＤユニット、２３０…左表示部基板、２３５…６軸センサー、２３７…磁気センサー、２４１…ＯＬＥＤユニット、２４９…電源部、３００…スマートフォン（情報処理装置）、３１０…第２制御部、３１１…第２表示制御部、３１２…伝送部、３１３…第１判定部、３１４…検出部、３１５…第２判定部、３１６…調整部、３２０…不揮発性記憶部、３２１…コンテンツデータ、３３０…表示部、３３１…表示パネル（第２表示部）、３３２…タッチセンサー（位置入力部）、３４１…Ｉ／Ｆ部、３４５…通信部、３５１…６軸センサー、３５２…磁気センサー、３５３…赤外線通信部（赤外線出射部）、ＰＴ１…第１画像、ＰＴ２…第２画像、θ、φ、ψ、η…傾斜角。

Claims (15)

1. 使用者の頭部に装着される表示装置と、前記表示装置が接続される情報処理装置とを備える表示システムであって、
   前記表示装置は、
   外景を視認可能に構成され、前記外景に重ねて第１画像を表示する第１表示部と、
   前記第１画像を前記第１表示部に表示させる第１表示制御部と、を備え、
   前記情報処理装置は、
   第２画像を表示する第２表示部と、
   前記第２表示部に配置され、位置入力操作を受け付けて、操作位置の座標を検出する位置入力部と、
   前記第２表示部が前記表示装置に対向しているか否かを判定する第１判定部と、
   前記表示装置に対する前記第２表示部の位置を検出する検出部と、
   前記表示装置に対する前記第２表示部の位置が前記第１表示部により視認される前記第１画像に含まれるか否かを判定する第２判定部と、
   前記第１判定部の判定結果と前記第２判定部の判定結果とに基づいて、前記第１表示部における前記第１画像の表示を調整する調整部と、を備える、表示システム。
2. 前記表示装置は、前記外景を撮像する撮像部を備え、
   前記第１判定部は、前記撮像部が撮像した画像に基づいて、前記情報処理装置の前記第２表示部が前記表示装置に対向しているか否かを判定する、請求項１に記載の表示システム。
3. 前記表示装置は、前記使用者の視線の方向を検出する視線検出部を備え、
   前記第１判定部は、前記視線検出部の検出結果に基づいて、前記情報処理装置の前記第２表示部が前記表示装置に対向しているか否かを判定する、請求項１又は２に記載の表示システム。
4. 前記情報処理装置は、赤外線を出射する赤外線出射部を備え、
   前記表示装置は、前記赤外線を受光する赤外線受光部を備え、
   前記第１判定部は、前記赤外線受光部の受光結果に基づいて、前記情報処理装置の前記第２表示部が前記表示装置に対向しているか否かを判定する、請求項１から３のいずれか１項に記載の表示システム。
5. 前記赤外線出射部は、前記第２表示部の表示面の法線方向に前記赤外線を出射する、請求項４に記載の表示システム。
6. 前記表示装置は、距離を検出する距離センサーを備え、
   前記第１判定部は、前記距離センサーによって検出された前記表示装置と前記第２表示部との間の距離に基づいて、前記第２表示部が前記表示装置に対向しているか否かを判定する、請求項１から５のいずれか１項に記載の表示システム。
7. 前記第２表示部が前記表示装置に対向していると前記第１判定部が判定し、前記表示装置に対する前記第２表示部の位置が前記第１表示部により視認される前記第１画像に含まれると前記第２判定部が判定した場合に、前記調整部は、前記第１表示部における前記第１画像の表示を調整する、請求項１から６のいずれか１項に記載の表示システム。
8. 前記調整部は、前記第１表示部における前記第１画像のうちの前記第２表示部の位置に対応する画像の濃度を低減する、請求項７に記載の表示システム。
9. 前記調整部は、前記第２表示部の位置が前記第１画像に含まれないように、前記第１表示部における前記第１画像の表示を調整する、請求項７又は８に記載の表示システム。
10. 前記調整部は、前記第２表示部の位置が前記第１画像に含まれないように、前記第１表示部における前記第１画像の少なくとも一部の画像を非表示にする、請求項９に記載の表示システム。
11. 前記調整部は、前記第２表示部の位置が前記第１画像に含まれないように、前記第１表示部における前記第１画像の表示位置を移動する、請求項９又は１０に記載の表示システム。
12. 前記調整部は、前記第２表示部の位置が前記第１画像に含まれないように、前記第１表示部における前記第１画像を縮小して表示する、請求項９から１１のいずれか１項に記載の表示システム。
13. 前記情報処理装置は、
    前記第２表示部に前記第２画像を表示させる第２表示制御部と、
    前記第１画像を示すデータを前記表示装置に伝送する伝送部と、を備え、
    前記第２画像は前記第１画像と一致する、請求項１から１２のいずれか１項に記載の表示システム。
14. 外景を視認可能に構成され、前記外景に重ねて画像を表示する第１表示部を有する表示装置が接続され、第２表示部と、前記第２表示部に配置される位置入力部と、コンピューターとを備える情報処理装置の制御プログラムであって、前記コンピューターを、
    前記第２表示部が前記表示装置に対向しているか否かを判定する第１判定部、
    前記表示装置に対する前記情報処理装置の前記第２表示部の位置を検出する検出部、
    前記表示装置に対する前記第２表示部の位置が前記第１表示部に表示される前記画像に含まれるか否かを判定する第２判定部、及び、
    前記第１判定部の判定結果と前記第２判定部の判定結果とに基づいて、前記第１表示部における前記画像の表示を調整する調整部として機能させる、制御プログラム。
15. 外景を視認可能に構成され、前記外景に重ねて画像を表示する第１表示部を有する表示装置が接続され、第２表示部と、前記第２表示部に配置される位置入力部と、コンピューターとを備える情報処理装置の制御方法であって、
    前記第２表示部が前記表示装置に対向しているか否かを判定する第１判定ステップと、
    前記表示装置に対する前記情報処理装置の前記第２表示部の位置を検出する検出ステップと、
    前記表示装置に対する前記第２表示部の位置が前記第１表示部に表示される前記画像に含まれるか否かを判定する第２判定ステップと、
    前記第１判定ステップの判定結果と前記第２判定ステップの判定結果とに基づいて、前記第１表示部における前記画像の表示を調整する調整ステップと、を含む、情報処理装置の制御方法。

Images