JP2021057737A - 表示システム、表示制御方法、および、プログラム - Google Patents

Abstract

【課題】照度センサーによる検出が困難な状態であっても表示を適切に制御する。【解決手段】表示システム１は、ＨＭＤ１００と、スマートフォン３００とを備え、ＨＭＤ１００は、外光を透過し、画像を表示する画像表示部２０と、外光の照度を検出するＤＰ照度センサー６５と、を備え、スマートフォン３００は、ＤＰ照度センサー６５の検出結果を示す第１照度情報に基づき画像表示部２０が表示する画像の輝度を調整するＳＰ表示制御部３１１と、照度を検出するＳＰ照度センサー３５３と、を備え、ＳＰ表示制御部３１１は、ＳＰ照度センサー３５３の検出結果を示す第２照度情報に基づいて、画像の輝度を調整可能である。【選択図】図５

Description

本発明は、表示システム、表示制御方法、および、プログラムに関する。

従来、ヘッドマウントディスプレイ等のウェアラブル光学装置において、実空間の光を透過する光学系を有し、実空間に重畳して画像を表示する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の装置は、実空間から観察者に向けて入射する光の照度を照度センサーによって検出し、検出した照度に基づいて画像表示の輝度を決定することにより、画像の視認性を高めている。

国際公開２０１５／１２５３６３号

特許文献１記載のように、照度センサーの検出結果をもとに表示を制御する場合、照度センサーによって正確な検出ができないと、表示の視認性が低下することがあった。例えば、照度センサーが他の物体の陰となるなど、照度の検出が妨げられる状態では、表示の視認性を維持できないという課題があった。

上記課題を解決する一態様は、表示装置と、制御装置とを備える表示システムであって、前記表示装置は、外光を透過し、画像を表示する表示部と、外光の照度を検出する第１照度検出部と、を備え、前記制御装置は、前記第１照度検出部の検出結果を示す第１照度情報に基づき前記表示部が表示する画像の輝度を調整する表示制御部と、照度を検出する第２照度検出部と、を備え、前記表示制御部は、前記第２照度検出部の検出結果を示す第２照度情報に基づいて、前記画像の輝度を調整可能である、表示システムである。

上記表示システムにおいて、前記表示制御部は、前記第２照度検出部が、前記表示部を透過する前記外光に対応する方向を向いている場合に、前記第２照度情報に基づいて前記画像の輝度を調整する構成であってもよい。

上記表示システムにおいて、前記制御装置は動きセンサーを備え、前記表示制御部は、前記動きセンサーにより特定される前記第２照度検出部の方向が、前記表示部を透過する前記外光に対応する方向を向いている場合に、前記第２照度情報に基づいて前記画像の輝度を調整する構成であってもよい。

上記表示システムにおいて、前記表示装置は撮像部を備え、前記制御装置は、前記撮像部の撮像画像をもとに、前記撮像部に入射する外光の照度に関する第３照度情報を生成する画像処理部を備え、前記表示制御部は、前記第３照度情報に基づいて、前記画像の輝度を調整可能である構成であってもよい。

上記表示システムにおいて、前記撮像部は、前記表示部を透過して視認される外景に重なる範囲を撮像する構成であってもよい。

上記表示システムにおいて、前記画像処理部は、前記撮像画像を構成する所定数の画素の輝度情報に基づいて前記第２照度情報を生成する構成であってもよい。

上記表示システムにおいて、前記表示装置には、前記表示部に入射する前記外光を調整する調光部材を着脱可能であり、前記表示制御部は、前記表示装置に前記調光部材が装着されている場合に、前記第２照度情報に基づいて前記画像の輝度を調整する構成であってもよい。

上記課題を解決する別の一態様は、外光を透過し、画像を表示する表示部を有する表示装置と、制御装置とを備える表示システムにおける表示制御方法であって、前記表示装置の第１照度検出部により外光の照度を検出し、前記第１照度検出部の検出結果を示す第１照度情報に基づき前記表示部が表示する画像の輝度を調整し、前記表示装置に、前記表示部に入射する前記外光を調整する調光部材が装着されている場合には、前記制御装置の第２照度検出部により照度を検出し、前記第２照度検出部の検出結果を示す第２照度情報に基づいて、前記画像の輝度を調整する、表示制御方法である。

上記課題を解決する更に別の一態様は、外光を透過し、画像を表示する表示部を有する表示装置に接続されるコンピューターが実行可能なプログラムであって、前記コンピューターにより、前記表示装置の第１照度検出部により外光の照度を検出させ、前記第１照度検出部の検出結果を示す第１照度情報に基づき、前記表示部が表示する画像の輝度を調整し、前記表示装置に、前記表示部に入射する前記外光を調整する調光部材が装着されている場合には、第２照度検出部により照度を検出し、前記第２照度検出部の検出結果を示す第２照度情報に基づいて、前記画像の輝度を調整する、プログラムである。

表示システムの構成を示す図。 画像表示部の光学系の構成を示す図。 画像表示部の要部構成を示す斜視図。 ＨＭＤを構成する各部の構成を示す図。 表示システムの要部構成図。 スマートフォンのセンサーの検出方向を示す説明図。 第１実施形態のＳＰ制御部の動作を示すフローチャート。 照度センサーの検出方向の説明図。 撮像画像に対する処理の説明図。 第２実施形態のＳＰ制御部の動作を示すフローチャート。

以下、図面を参照して実施形態について説明する。

［１．第１実施形態］
［１−１．表示システムの全体構成］
図１は、表示システム１の概略構成を示す図である。
図１に示すように、表示システム１は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１００を備える。ＨＭＤ１００は、使用者の頭部に装着される画像表示部２０と、接続装置１０とを備え、画像表示部２０により、使用者の頭部に装着された状態で使用者に虚像を視認させる装置である。ＨＭＤ１００は、表示装置の一例に対応し、画像表示部２０は表示部の一例に対応する。以下の説明において、使用者とは、ＨＭＤ１００を装着して使用するユーザーを指す。

接続装置１０は、箱形のケースに、コネクター１１Ａ及びコネクター１１Ｄを備える。コネクター１１Ａには、画像表示部２０が接続ケーブル４０を介して接続される。以下、コネクター１１Ａ、１１Ｄを区別しない場合はコネクター１１と表記する場合がある。接続装置１０のケースは、筐体、或いは本体ということもできる。

表示システム１は、ＨＭＤ１００にスマートフォン３００を接続して構成されるシステムである。コネクター１１Ｄは、ＨＭＤ１００においてスマートフォン３００が接続されるインターフェイスである。すなわち、本実施形態では、コネクター１１Ｄにスマートフォン３００が接続される。スマートフォン３００は、制御装置の一例に対応する。スマートフォン３００は制御装置の一例に過ぎない。制御装置は、使用者が携帯可能であって、画像を表示する表示部と、タッチセンサーのような位置入力部と、使用者の制御装置に対する動作を検出するセンサーと、コンピューターとを備えればよい。例えば、制御装置として、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）端末、タブレット型パーソナルコンピューター等を接続装置１０に接続可能である。

コネクター１１は、通信ケーブルを接続する有線インターフェイスであり、この通信ケーブルにより、接続装置１０は外部の装置と接続される。コネクター１１Ａは、接続ケーブル４０を接続する端子、及び、コネクター１１Ａを介して信号を送受信するインターフェイス回路を備える。コネクター１１Ａは、接続装置１０に画像表示部２０を接続するために設けられる。接続ケーブル４０は、接続装置１０から画像表示部２０に対する電源供給を行うとともに、画像表示部２０と接続装置１０とが相互にデータを送受信する機能を有する。

コネクター１１Ｄは、接続装置１０とスマートフォン３００との間でデータを送受信するためのインターフェイスであり、公知の通信インターフェイスを採用できる。接続装置１０にはコネクター１１Ｄを介してスマートフォン３００から映像データが入力される。また、接続装置１０は、コネクター１１Ｄを介して、スマートフォン３００に対してセンサーデータを出力可能である。本実施形態では、コネクター１１ＤがＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）−ＴｙｐｅＣ規格のコネクターであり、ＵＳＢケーブル４６を介してスマートフォン３００が接続される例を示す。

ＵＳＢ−ＴｙｐｅＣに対応するインターフェイスは、ＵＳＢ３．１規格に従ったデータの伝送、及び、２０ボルト、５アンペア以内の直流電力の供給が可能である。ＵＳＢ−ＴｙｐｅＣの代替モードの機能として、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の映像データ、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）規格の映像データ等を伝送できる。スマートフォン３００は、ＵＳＢケーブル４６を介して、電源供給、データの送受信、及び、映像や音声のストリーミングデータの供給等を行うことができる。ＵＳＢ−ＴｙｐｅＣの代替モードは、Ａｌｔｅｒｎａｔｉｖｅモードとして知られている。ＨＤＭＩは登録商標である。

表示システム１において、スマートフォン３００は、不揮発性記憶部に記録されたコンテンツデータを再生する。スマートフォン３００は、コンテンツデータを再生して、スマートフォン３００が備えるディスプレイ３３０（図５）に映像や画像を表示する。またスマートフォン３００は、コンテンツデータの映像や画像をＨＭＤ１００に出力する処理を実行できる。この場合、コネクター１１Ｄを介して接続装置１０に映像データが入力され、この映像データに基づく映像や画像が画像表示部２０により表示される。

画像表示部２０は、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示部２２、左表示部２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち、画像表示部２０の装着時に使用者Ｕの頭部の右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者が画像表示部２０を装着する装着状態で、使用者の眉間に対応する。
前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者の鼻に当接する鼻当て部を設けてもよい。この場合には、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者の頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合には、ベルトによって画像表示部２０を使用者Ｕの頭部に保持できる。

右表示部２２及び左表示部２４の各々は、光学ユニット及び周辺回路をユニット化したモジュールである。
右表示部２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者の右側頭部の近傍に位置する。左表示部２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者の左側頭部の近傍に位置する。なお、右表示部２２及び左表示部２４を総称して単に「表示駆動部」と呼ぶこともできる。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、右表示部２２及び左表示部２４が出力する画像光を、使用者の眼に導く。右導光板２６及び左導光板２８は、例えばプリズムである。

使用者の右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。

画像表示部２０の前部フレーム２７には、ＤＰ照度センサー６５が配置される。ＤＰ照度センサー６５は、画像表示部２０を装着する使用者の前方からの外光を受光し、受光した光量に応じた検出値を出力するセンサーである。例えば、公知の環境光センサーを用いることができ、色温度を検知可能なカラーセンサーであってもよい。ＤＰ照度センサー６５は、画像表示部２０を使用者Ｕが装着した状態で、画像表示部２０を透過して使用者Ｕの眼に入射する外光の光量を検知可能な方向を向いて設置される。ＤＰ照度センサー６５は、本発明の第１照度検出部の一例に対応する。

ＤＰカメラ６１は、画像表示部２０の前部フレーム２７に配設される。ＤＰカメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、ＤＰカメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

ＤＰカメラ６１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。ＤＰカメラ６１は、画像表示部２０の前方を向けて設置され、画像表示部２０を透過して使用者Ｕが視認する外景と重なる撮像範囲を撮像する。すなわち、ＤＰカメラ６１の撮像範囲に、使用者Ｕが視認する外景が含まれてもよいし、使用者Ｕが視認する外景とＤＰカメラ６１の画角とが互いに重なっていてもよい。本実施形態のＤＰカメラ６１は単眼カメラであるが、ステレオカメラであってもよい。ＤＰカメラ６１は、ズーム機構を備えてもよいし、広角レンズを備えてもよい。ＤＰカメラ６１は、本発明の撮像部の一例に対応する。

前部フレーム２７には、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）インジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてＤＰカメラ６１の近傍に配置され、ＤＰカメラ６１の動作中に点灯して、撮像中であることを報知する。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナーを用いてもよく、この場合には、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。

ＨＭＤ１００は、画像表示部２０に着脱可能なシェード５０を備える。シェード５０は、右表示部２２および左表示部２４を覆うように画像表示部２０の正面側に重ねて取り付けられるカバーである。シェード５０は、右導光板２６に重なる領域５０Ａ、および、左導光板２８に重なる領域５０Ｂにおいて、右導光板２６および左導光板２８にそれぞれ入射する外光を減光または遮光する。すなわち、シェード５０は、領域５０Ａ、５０Ｂを含む範囲において、外光を減光または遮光する。シェード５０は、本発明の調光部材の一例に対応する。

画像表示部２０は、右導光板２６および左導光板２８を透過する外光に重ねて映像や画像を表示する。このため、右表示部２２および左表示部２４が形成する表示画像の視認性は、表示画像の輝度と右導光板２６および左導光板２８を透過する外光の光量との比に影響される。具体的には、画像表示部２０の表示画像の輝度が外光の光量に比べて低いと、表示画像の視認性が低い。反対に、画像表示部２０の表示画像の輝度が外光の光量に比べて高輝度である場合、表示画像の視認性が高い。

シェード５０は、画像表示部２０に入射する外光の光量を低減させることにより、画像表示部２０の表示画像の視認性を高め、画像表示部２０の表示画像のコントラストを高める効果がある。シェード５０の外光の透過率、および、透過波長特性を総称して透過特性という。シェード５０の透過特性は任意である。シェード５０のうち、領域５０Ａおよび領域５０Ｂにおける透過特性が画像表示部２０の表示画像の視認性に影響するが、シェード５０の全体が同じ透過特性を有していてもよい。

シェード５０は、画像表示部２０に装着された状態でＤＰ照度センサー６５を覆う。つまり、シェード５０は、右導光板２６、左導光板２８、およびＤＰ照度センサー６５を覆う形状を有し、これらに入射する外光を減光または遮光する。このため、シェード５０の装着状態におけるＤＰ照度センサー６５の検出値は、シェード５０を透過した外光の照度の検出値となる。なお、ＤＰ照度センサー６５に重なる領域５０Ｃの透過特性は、例えば、領域５０Ａ、５０Ｂと同様である。ＤＰ照度センサー６５の検出値は、第１照度情報の一例に対応する。

シェード５０は、磁石５２を有する。磁石５２は、ネオジム磁石等の永久磁石であってもよいし電磁石であってもよい。シェード５０を画像表示部２０に装着すると、磁石５２の磁力の影響により、後述するＤＰ磁気センサー２３７の検出値がドリフトする。このため、ＤＰ磁気センサー２３７の検出値に基づき、シェード５０の有無を検知できる。

右表示部２２及び左表示部２４は、それぞれ、接続装置１０に接続される。ＨＭＤ１００では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示部２２及び左表示部２４の各々が接続装置１０に接続される。

接続ケーブル４０は、オーディオコネクター３６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター３６に接続される。右イヤホン３２は、使用者の右耳に装着され、左イヤホン３４は、使用者の左耳に装着される。右イヤホン３２及び左イヤホン３４は、音声出力部ということもできる。

右イヤホン３２及び左イヤホン３４は、接続装置１０が出力する音声信号に基づき音声を出力する。
マイク６３は、音声を集音して、音声信号を接続装置１０に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

接続装置１０は、使用者により操作される被操作部として、輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６を備える。輝度調整キー１３、輝度調整キー１４、音量調整キー１５及び音量調整キー１６の各々は、ハードウェアキーで構成される。これらの被操作部は接続装置１０の本体の表面に配置され、例えば、使用者の手指により操作される。

輝度調整キー１３、１４は画像表示部２０により表示する映像の表示輝度を調整するためのハードウェアキーである。輝度調整キー１３は輝度の増大を指示し、輝度調整キー１４は輝度の低減を指示する。音量調整キー１５、１６は、右イヤホン３２及び左イヤホン３４から出力される音声の音量を調整するためのハードウェアキーである。音量調整キー１５は音量の増大を指示し、音量調整キー１６は音量の低減を指示する。

［１−２．ＨＭＤの画像表示部の光学系の構成］
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図２に示すように、右表示部２２と左表示部２４とは、左右対称に構成される。使用者の右眼ＲＥに画像を視認させる構成として、右表示部２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。また、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１を備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、ＤＰ制御部１２０の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＤＰ制御部１２０については、後述にて図４を参照して説明する。
ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には図４に示す温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

また、使用者の左眼ＬＥに画像を視認させる構成として、左表示部２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。

ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、ＤＰ制御部１２０の指示に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。
ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、図４に示す温度センサー２３９が実装される。

左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

この構成によれば、ＨＭＤ１００は、透過型の表示装置として機能する。すなわち、使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示部２２及び左表示部２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。

なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

図３は、画像表示部２０の要部の構成を示す図である。図３は、画像表示部２０を使用者の頭部側から見た要部斜視図である。なお、図３では接続ケーブル４０の図示を省略する。

図３は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、図３では、右導光板２６及び左導光板２８の裏側が見えている。
図３では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１及び左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１を含む右導光板２６の全体、及びハーフミラー２８１を含む左導光板２８の全体が、上述したように外光を透過する。このため、使用者には、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。

また、画像表示部２０の使用者側には内側カメラ６８が配置される。内側カメラ６８は、使用者の右眼ＲＥ及び左眼ＬＥの各々に対応するように、右導光板２６と左導光板２８との中央位置に一対、設けられる。内側カメラ６８は、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラである。内側カメラ６８は、ＤＰ制御部１２０の指示に従って撮像を行う。ＤＰ制御部１２０は、内側カメラ６８の撮像画像データを解析する。例えば、ＤＰ制御部１２０は、内側カメラ６８の撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者の視線方向を特定する。また、ＤＰ制御部１２０は、使用者の視線方向の変化を求めることができ、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を検出してもよい。
ここで、使用者の視線の移動は、使用者の仮想視点の移動とみることもできる。

また、ＤＰ制御部１２０は、内側カメラ６８の撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出した場合に、右眼ＲＥ及び左眼ＬＥの輻輳角を求めることができる。輻輳角は、使用者が注視する対象物までの距離に対応する。すなわち、使用者が立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。したがって、輻輳角を検出することで、使用者が注視する距離を求めることができる。また、使用者の輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

［１−３．ＨＭＤの各部の構成］
図４は、ＨＭＤ１００を構成する各部の構成を示す図である。
画像表示部２０の右表示部２２は、右表示部基板２１０を有する。右表示部基板２１０には、接続ケーブル４０に接続される右Ｉ／Ｆ部２１１、右Ｉ／Ｆ部２１１を介して接続装置１０から入力されるデータを受信する受信部２１３及びＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５が実装される。右Ｉ／Ｆ部２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、ＤＰカメラ６１、距離センサー６４、ＤＰ照度センサー６５、ＬＥＤインジケーター６７、及び内側カメラ６８を、接続装置１０に接続する。受信部２１３は、ＯＬＥＤユニット２２１を接続装置１０に接続する。

左表示部２４は、左表示部基板２３０を有する。左表示部基板２３０には、接続ケーブル４０に接続される左Ｉ／Ｆ部２３１及び左Ｉ／Ｆ部２３１を介して接続装置１０から入力されるデータを受信する受信部２３３が実装される。また、左表示部基板２３０には、ＤＰ６軸センサー２３５及びＤＰ磁気センサー２３７が実装される。
左Ｉ／Ｆ部２３１は、受信部２３３、ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７及び温度センサー２３９を、接続装置１０に接続する。受信部２３３は、ＯＬＥＤユニット２４１を接続装置１０に接続する。

Ｉ／Ｆは、インターフェイスの略記である。なお、本実施形態においては、受信部２１３及び受信部２３３の各々を、Ｒｘ２１３、Ｒｘ２３３と記載する場合がある。

ＥＥＰＲＯＭ２１５は、各種のデータを不揮発的に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示部２２又は左表示部２４が備えるセンサーの特性に関するデータ等を記憶する。
具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。ＥＥＰＲＯＭ２１５が記憶するデータは、ＤＰ制御部１２０により読取り可能である。

ＤＰカメラ６１は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。
ＤＰ照度センサー６５は、外光を受光し、受光量又は受光強度に対応する検出値を出力する。ＬＥＤインジケーター６７は、右Ｉ／Ｆ部２１１を介して入力される制御信号又は駆動電流に従って点灯する。
内側カメラ６８は、右Ｉ／Ｆ部２１１を介して入力される信号に従って撮像を実行し、撮像画像データを、右Ｉ／Ｆ部２１１に出力する。
温度センサー２１７は、ＯＬＥＤユニット２２１の温度を検出し、検出温度に対応する電圧値又は抵抗値を、検出値として出力する。

距離センサー６４は、距離検出を実行し、検出結果を示す信号を、右Ｉ／Ｆ部２１１を介して接続装置１０に出力する。距離センサー６４は、例えば、赤外線式深度センサー、超音波式距離センサー、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ式距離センサー、画像検出と音声検出とを組み合わせた距離検出ユニット等を用いることができる。また、距離センサー６４が、ステレオカメラや単眼カメラによるステレオ撮影で得られる画像を処理して距離を検出する構成であってもよい。

受信部２１３は、右Ｉ／Ｆ部２１１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２２１に出力する。ＯＬＥＤユニット２２１は、接続装置１０が伝送する映像データに基づく映像を表示する。
また、受信部２３３は、左Ｉ／Ｆ部２３１を介して接続装置１０から伝送される表示用の映像データを受信し、ＯＬＥＤユニット２４１に出力する。ＯＬＥＤユニット２４１は、接続装置１０が伝送する映像データに基づく映像を表示する。

ＤＰ６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える６軸のモーションセンサーである。ＤＰ６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。ＤＰ磁気センサー２３７は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。以下の説明において、ＤＰ６軸センサー２３５の３軸加速度センサーを第２加速度センサーと記載する場合がある。ＤＰ磁気センサー２３７の検出値は周辺の磁界の変化に影響される。例えば、上述のようにシェード５０が画像表示部２０に装着された状態では、磁石５２の影響により、ＤＰ磁気センサー２３７の検出値が変動する。

温度センサー２３９は、ＯＬＥＤユニット２４１の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。

画像表示部２０の各部は、接続ケーブル４０により接続装置１０から供給される電力により動作する。

画像表示部２０は、右表示部２２に電源部２２９を備え、左表示部２４に電源部２４９を備える。電源部２２９は、接続装置１０が接続ケーブル４０を介して供給する電力を、右表示部基板２１０を含む右表示部２２の各部に分配し、供給する。同様に、電源部２４９は、接続装置１０が接続ケーブル４０を介して供給する電力を、左表示部基板２３０を含む左表示部２４の各部に分配し、供給する。右表示部２２及び左表示部２４は、電圧を変換する変換回路等を備えてもよい。

接続装置１０は、Ｉ／Ｆ部１１０、ＤＰ制御部１２０、センサー制御回路１２２、表示制御回路１２４、電源制御回路１２６、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７を備える。

Ｉ／Ｆ部１１０は、コネクター１１Ｄを備える。また、Ｉ／Ｆ部１１０は、コネクター１１Ｄに接続されて、各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。

Ｉ／Ｆ部１１０は、例えば、コネクター１１Ｄ及びインターフェイス回路を実装したインターフェイス基板であってもよい。また、接続装置１０のＤＰ制御部１２０やセンサー制御回路１２２、表示制御回路１２４、電源制御回路１２６が、図示しない接続装置メイン基板に実装される構成としてもよい。この場合には、接続装置メイン基板にＩ／Ｆ部１１０のコネクター１１Ｄ及びインターフェイス回路を実装してもよい。
また、Ｉ／Ｆ部１１０は、例えば、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、Ｉ／Ｆ部１１０を無線通信インターフェイスで構成してもよい。

ＤＰ制御部１２０は、ＨＭＤ１００の各部を制御する。ＤＰ制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のようなプロセッサーを有する。ＤＰ制御部１２０において、プロセッサーが制御プログラムを実行することによって、ソフトウェアとハードウェアとの協働によりＨＭＤ１００の各部を制御する。ＤＰ制御部１２０には、不揮発性記憶部１３０、操作部１４０、接続部１４５及び音声処理部１４７が接続される。

センサー制御回路１２２は、ＤＰカメラ６１、距離センサー６４、ＤＰ照度センサー６５、温度センサー２１７、ＤＰ６軸センサー２３５、ＤＰ磁気センサー２３７及び温度センサー２３９を制御する。具体的には、センサー制御回路１２２は、ＤＰ制御部１２０の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。

センサー制御回路１２２は、Ｉ／Ｆ部１１０のコネクター１１Ｄに接続され、予め設定されたタイミングで、各センサーから取得した検出値に関するデータをコネクター１１Ｄに出力する。コネクター１１Ｄに接続されたスマートフォン３００は、ＨＭＤ１００の各センサーの検出値を取得できる。例えば、スマートフォン３００は、ＤＰ照度センサー６５の検出値、ＤＰ磁気センサー２３７の検出値、ＤＰカメラ６１の撮像画像データ等を取得できる。

表示制御回路１２４は、Ｉ／Ｆ部１１０に入力される画像データや映像データに基づく画像を画像表示部２０により表示するための各種処理を実行する。本実施形態では、コネクター１１Ｄに、スマートフォン３００が出力する映像信号が入力される。映像信号は、デジタル映像データであるが、アナログ映像信号であってもよい。

表示制御回路１２４は、例えば、フレームの切り出し、解像度変換、中間フレーム生成、フレームレート変換等の各種処理を実行する。解像度変換は、いわゆるスケーリングを含む。表示制御回路１２４は、ＯＬＥＤユニット２２１及びＯＬＥＤユニット２４１の各々に対応する画像データを接続部１４５に出力する。接続部１４５に入力された画像データは、コネクター１１Ａから、映像信号２０１として右Ｉ／Ｆ部２１１及び左Ｉ／Ｆ部２３１に伝送される。映像信号２０１は、ＯＬＥＤユニット２２１及びＯＬＥＤユニット２４１の各々に対応して処理されたデジタル映像データである。

本実施形態では、コネクター１１ＤがＵＳＢ−ＴｙｐｅＣコネクターで構成される。表示制御回路１２４は、コネクター１１Ｄを介して、ＵＳＢ−ＴｙｐｅＣの代替モードで伝送される映像データを受信する。

また、表示制御回路１２４は、画像表示部２０における表示輝度を制御する。具体的には、表示制御回路１２４は、表示輝度の調整値に従って、ＯＬＥＤユニット２２１、２４１の発光輝度や、ＯＬＥＤユニット２２１、２４１に出力する画像の階調値を調整する。これにより、表示制御回路１２４は、右表示部２２および左表示部２４に表示される画像の輝度を調整する。表示輝度の調整値は、例えば、スマートフォン３００から入力される。

センサー制御回路１２２および／または表示制御回路１２４は、集積回路を用いてハードウェアにより実現されてもよいが、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御回路１２２及び表示制御回路１２４は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御回路１２２及び表示制御回路１２４は、ＤＰ制御部１２０を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、ＤＰ制御部１２０、表示制御回路１２４及びセンサー制御回路１２２として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。

また、表示制御回路１２４及びセンサー制御回路１２２は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等、プログラムされたハードウェアにより構成されてもよい。また、センサー制御回路１２２及び表示制御回路１２４を統合して、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）−ＦＰＧＡとして構成してもよい。

電源制御回路１２６は、コネクター１１Ｄに接続される。電源制御回路１２６は、コネクター１１Ｄから供給される電力に基づき、接続装置１０の各部および画像表示部２０に対する電源供給を行う。また、電源制御回路１２６は、図示しない電圧変換回路を備え、電圧を変換して接続装置１０及び画像表示部２０の各部に供給する構成であってもよい。電源制御回路１２６は、ロジック回路やＦＰＧＡ等のプログラムされた半導体デバイスで構成されてもよい。また、電源制御回路１２６をセンサー制御回路１２２および／または表示制御回路１２４と共通のハードウェアで構成してもよい。

センサー制御回路１２２、表示制御回路１２４及び電源制御回路１２６は、データ処理を行うためのワークメモリーを具備してもよく、ＤＰ制御部１２０のメモリーを利用して処理を行ってもよい。

操作部１４０は、接続装置１０が備える被操作部に対する操作を検出し、操作内容を示すデータ、又は、操作された被操作部を示す操作信号をＤＰ制御部１２０に出力する。

音声処理部１４７は、ＤＰ制御部１２０から入力される音声データに従って、音声信号を生成し、接続部１４５に出力する。この音声信号は接続部１４５からオーディオコネクター３６を介して右イヤホン３２及び左イヤホン３４に出力される。また、音声処理部１４７は、ＤＰ制御部１２０の制御に従って、音声信号のボリュームを調整する。また、音声処理部１４７は、マイク６３が集音した音声の音声データを生成し、ＤＰ制御部１２０に出力する。この音声データは、ＤＰ制御部１２０により、画像表示部２０が備えるセンサーの検出値と同様に処理されてもよい。

また、接続装置１０は図示しないバッテリーを備え、このバッテリーから接続装置１０及び画像表示部２０の各部に電力を供給する構成であってもよい。接続装置１０が備えるバッテリーは、充電可能な二次電池であってもよい。

［１−４．スマートフォンの構成］
図５は、表示システム１の要部構成図であり、特に、スマートフォン３００の詳細構成と、ＨＭＤ１００の要部を図示する。

図５に示すように、スマートフォン３００は、ＳＰ制御部３１０、不揮発性記憶部３２０、表示部３３０、Ｉ／Ｆ部３４１、通信部３４５、ＳＰ６軸センサー３５１、ＳＰ磁気センサー３５２、及び、ＳＰ照度センサー３５３を備える。

ＳＰ制御部３１０は、ＣＰＵやマイコン等のプロセッサーを備え、このプロセッサーにより制御プログラムを実行することにより、スマートフォン３００の各部を制御する。ＳＰ制御部３１０は、プロセッサーが実行する制御プログラムを不揮発的に記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、プロセッサーのワークエリアを構成するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のようなメモリーを備えてもよい。プロセッサーは、コンピューターの一例に対応する。ＳＰ制御部３１０のメモリーに記憶された制御プログラムは、制御プログラムの一例に対応する。

不揮発性記憶部３２０は、ＳＰ制御部３１０により実行される制御プログラムや、ＳＰ制御部３１０が処理するデータを不揮発的に記憶する。不揮発性記憶部１３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気的記録装置、又は、フラッシュメモリー等の半導体記憶素子を用いた記憶装置である。

不揮発性記憶部３２０は、例えば、映像を含むコンテンツのコンテンツデータ３２１を記憶する。コンテンツデータ３２１は、ＳＰ制御部３１０により処理可能なフォーマットのファイルであり、映像データを含み、音声データを含んでもよい。
また、不揮発性記憶部３２０は、ＳＰ制御部３１０が実行する基本制御プログラムとしてのオペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、ＯＳをプラットフォームとして動作するアプリケーションプログラム等を記憶する。また、不揮発性記憶部３２０は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。

表示部３３０が備える表示パネル３３１及びタッチセンサー３３２は、ＳＰ制御部３１０に接続される。表示パネル３３１は、ＳＰ制御部３１０の制御に基づき各種画像を表示する。表示パネル３３１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）で構成される。表示パネル３３１は、矩形状に構成される。本実施形態では、表示パネル３３１は、長方形状である。

タッチセンサー３３２は、タッチ操作を検出し、検出した操作を示すデータをＳＰ制御部３１０に出力する。タッチセンサー３３２は、表示パネル３３１と一体に形成される。具体的には、タッチセンサー３３２は、表示パネル３３１の画像表示面に形成される。本実施形態では、タッチセンサー３３２は、長方形状である。タッチセンサー３３２が出力するデータは、タッチセンサー３３２における操作位置を示す座標データ等である。

Ｉ／Ｆ部３４１は、外部の装置に接続されるインターフェイスである。Ｉ／Ｆ部３４１は、例えば、ＨＤＭＩインターフェイス、ＵＳＢインターフェイス等の規格に準拠した通信を実行する。Ｉ／Ｆ部３４１は、ＵＳＢケーブル４６を接続するコネクター、及びコネクターを伝送される信号を処理するインターフェイス回路を備える。Ｉ／Ｆ部３４１は、コネクター及びインターフェイス回路を有するインターフェイス基板であり、ＳＰ制御部３１０のプロセッサー等が実装されるメイン基板に接続される。或いは、Ｉ／Ｆ部３４１を構成するコネクター及びインターフェイス回路が、スマートフォン３００のメイン基板に実装される。

本実施形態で、Ｉ／Ｆ部３４１は、ＵＳＢインターフェイスを備え、ＵＳＢケーブル４６により、コネクター１１Ｄに接続される。ＳＰ制御部３１０は、例えば、ＵＳＢケーブル４６により映像データを出力し、接続装置１０からセンサーの出力値に関するデータ等を受信する。
また、Ｉ／Ｆ部３４１は、無線通信インターフェイスであってもよい。この場合には、Ｉ／Ｆ部３４１は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）部を含む通信回路を実装したインターフェイス基板、又は、メイン基板に実装される回路とすることができる。

通信部３４５は、外部の装置とデータ通信を実行する通信インターフェイスである。通信部３４５は、ケーブルを接続可能な有線通信インターフェイスであってもよいし、無線通信インターフェイスであってもよい。例えば、Ｅｔｈｅｒｎｅｔ（登録商標）に対応する有線ＬＡＮインターフェイスや、ＩＥＥＥ８０２．１１規格に対応する無線ＬＡＮインターフェイスであってもよい。
また、通信部３４５は、例えば、他のスマートフォンと無線電話回線で接続する通信インターフェイスである。

ＳＰ６軸センサー３５１は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える６軸のモーションセンサーである。ＳＰ６軸センサー３５１は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。ＳＰ磁気センサー３５２は、例えば、３軸の地磁気センサーである。ジャイロセンサーは、角速度センサーとも呼ばれる。以下の説明において、ＳＰ６軸センサー３５１の３軸加速度センサーを第１加速度センサーと記載する場合がある。ＳＰ６軸センサー３５１、および、ＳＰ磁気センサー３５２は、本発明の動きセンサーの一例に対応する。

ＳＰ照度センサー３５３は、外光を受光し、受光量又は受光強度に対応する検出値を出力する。ＳＰ照度センサー３５３は、例えば、表示パネル３３１の法線方向からの外光を受光する。ＳＰ照度センサー３５３は、本発明の第２照度検出部の一例に対応する。

ＳＰカメラ３５５は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。ＳＰカメラ３５５は単眼カメラであってもよいし、ステレオカメラであってもよい。ＳＰカメラ３５５は、ＳＰ制御部３１０の制御に従って撮像を実行し、撮像画像データをＳＰ制御部３１０に出力する。

ＳＰ近接センサー３５６は、スマートフォン３００の本体表面の所定箇所に設置され、所定距離より近くにある物体または接触している物体を検知する。ＳＰ近接センサー３５６は、例えば、渦電流による磁気損失を検出する誘導形近接センサーや、検出対象の物体とセンサーとの間に生じる静電容量の変化を検出する静電容量形近接センサーを採用できる。

ＳＰ制御部３１０は、ＳＰ表示制御部３１１、ＳＰ撮像制御部３１２、および、ＳＰ画像処理部３１３を備える。具体的には、ＳＰ制御部３１０は、ＳＰ制御部３１０が備えるプロセッサーが制御プログラムを実行することにより、ＳＰ表示制御部３１１、ＳＰ撮像制御部３１２、および、ＳＰ画像処理部３１３として機能する。ＳＰ表示制御部３１１は、本発明の表示制御部の一例に対応する。ＳＰ画像処理部３１３は本発明の画像処理部の一例に対応する。

ＳＰ表示制御部３１１は、コンテンツデータ３２１を再生し、コンテンツデータ３２１に含まれる映像データに対応する画像を表示部３３０の表示パネル３３１に表示する。また、ＳＰ表示制御部３１１は、コンテンツデータ３２１に含まれ得る映像データに基づく画像のデータを、Ｉ／Ｆ部３４１及びコネクター１１Ｄを介して、ＨＭＤ１００のＤＰ制御部１２０に伝送する。これにより、表示システム１は、スマートフォン３００のディスプレイ３３０と、画像表示部２０との両方に、コンテンツデータ３２１の映像または画像を表示するミラーリング表示を行う。また、ＳＰ制御部３１０は、ディスプレイ３３０にコンテンツデータ３２１の映像や画像を表示せず、画像表示部２０にのみ、コンテンツデータ３２１に基づく映像または画像を表示させることも可能である。

また、ＳＰ表示制御部３１１は、ＤＰ制御部１２０に対し、画像表示部２０が備えるＤＰ照度センサー６５の検出値を要求する照度要求コマンドを、Ｉ／Ｆ部３４１を通じて接続装置１０に送信する。ＳＰ表示制御部３１１は、照度要求コマンドに応答して、ＤＰ制御部１２０がＤＰ照度センサー６５の検出値を送信した場合、送信された検出値を取得する。ＳＰ表示制御部３１１は、ＤＰ照度センサー６５の検出値に基づき画像表示部２０の表示輝度の調整値を生成する。ＳＰ表示制御部３１１は、表示輝度の調整値を、Ｉ／Ｆ部３４１を通じて接続装置１０に出力する。

また、ＳＰ表示制御部３１１は、ＤＰ制御部１２０に対し、画像表示部２０が備えるＤＰ磁気センサー２３７の検出値を要求する磁気検出値要求コマンドを、Ｉ／Ｆ部３４１を通じて接続装置１０に送信する。ＳＰ表示制御部３１１は、磁気検出値要求コマンドに応答して、ＤＰ制御部１２０がＤＰ磁気センサー２３７の検出値を送信した場合、送信された検出値を取得する。

ＳＰ表示制御部３１１は、ＤＰ磁気センサー２３７の検出値に基づき、シェード５０の有無を判定する。ＳＰ表示制御部３１１は、シェード５０が装着されていると判定した場合、図７を参照して後述する動作を行い、ＳＰ照度センサー３５３の検出値、および／または、ＳＰ撮像制御部３１２が取得する撮像画像データに基づく処理を行う。この処理で、ＳＰ表示制御部３１１は、ＳＰ６軸センサー３５１およびＳＰ磁気センサー３５２の検出値に基づきスマートフォン３００の姿勢判定処理や、ＳＰ近接センサー３５６の検出値に基づく近接判定処理を行う。

図６は、スマートフォン３００のセンサーの検出方向を示す説明図である。
スマートフォン３００は、本体の表面に表示パネル３３１を備え、表示パネル３３１と同じ面に、ＳＰ照度センサー３５３、ＳＰカメラ３５５、および、ＳＰ近接センサー３５６を備える。ＳＰ６軸センサー３５１は、表示パネル３３１に対し垂直な方向をＺ軸、表示パネル３３１の長手方向に平行でありＺ軸に垂直なＹ軸、および、Ｙ軸とＺ軸に垂直なＸ軸を、基準の軸方向として、スマートフォン３００の動きを検出する。また、ＳＰ磁気センサー３５２は、スマートフォン３００のＸ軸、Ｙ軸、Ｚ軸と地磁気の方向との相対関係を検出する。

図６の例で、ＳＰ照度センサー３５３は、Ｚ軸方向を向いて配置されている。このため、ＳＰ照度センサー３５３は、表示パネル３３１が向いている方向からの環境光の照度を検出する。ＳＰカメラ３５５は、表示パネル３３１が向いている方向を含む画角を撮像する。また、ＳＰ近接センサー３５６は、表示パネル３３１が向いている方向における検出対象の物体の近接を検出する。

図５に戻り、ＳＰ撮像制御部３１２は、ＳＰカメラ３５５を制御して撮像を実行させ、ＳＰカメラ３５５の撮像画像データを取得する。
また、ＳＰ撮像制御部３１２は、ＤＰ制御部１２０に対してＤＰカメラ６１による撮像を指示する撮像指示コマンドを生成し、Ｉ／Ｆ部３４１を通じて接続装置１０に出力する。ＳＰ撮像制御部３１２は、撮像指示コマンドに従って、ＤＰ制御部１２０がＤＰカメラ６１による撮像を実行し、撮像画像データを送信した場合、送信された撮像画像データを取得する。

ＳＰ画像処理部３１３は、ＳＰ撮像制御部３１２が取得した撮像画像データに対する処理を実行する。例えば、ＳＰ画像処理部３１３は、撮像画像データを構成する一部の画素を抽出し、抽出した画素の画素値から輝度を求め、撮像画像データ全体の輝度値を算出する。

［１−５．ＨＭＤのＤＰ制御部の構成］
図５に示すように、ＨＭＤ１００のＤＰ制御部１２０は、ＤＰ検出制御部１２１、ＤＰ表示制御部１２３、および、ＤＰ撮像制御部１２５を備える。具体的には、ＤＰ制御部１２０は、ＤＰ制御部１２０が備えるプロセッサーが制御プログラムを実行することにより、ＤＰ検出制御部１２１、ＤＰ表示制御部１２３およびＤＰ撮像制御部１２５として機能する。

ＤＰ制御部１２０は、スマートフォン３００が送信するコマンドやデータを、Ｉ／Ｆ部１１０を通じて受信し、取得する。

ＤＰ検出制御部１２１は、スマートフォン３００が送信した照度要求コマンドを取得した場合、照度要求コマンドに応じてＤＰ照度センサー６５の検出値を取得し、取得した検出値をＩ／Ｆ部１１０を通じてスマートフォン３００に送信する。
ＤＰ検出制御部１２１は、スマートフォン３００が送信した磁気検出値要求コマンドを取得した場合、磁気検出値要求コマンドに応じてＤＰ磁気センサー２３７の検出値を取得し、取得した検出値をＩ／Ｆ部１１０を通じてスマートフォン３００に送信する。
ここで、ＤＰ検出制御部１２１は、ＤＰ照度センサー６５およびＤＰ磁気センサー２３７に対して予め設定されたサンプリング周期で検出値の取得を行う。ＤＰ検出制御部１２１は、検出値を取得したタイミング、または、スマートフォン３００が送信したコマンドで指定されたタイミングで、検出値をスマートフォン３００に送信する。

ＤＰ表示制御部１２３は、スマートフォン３００が送信する映像データまたは画像データに基づき、画像表示部２０を制御し、右表示部２２および左表示部２４によって映像または画像を表示させる。

ＤＰ表示制御部１２３は、右表示部２２および左表示部２４の輝度調整を行う。ＤＰ表示制御部１２３は、スマートフォン３００が送信する表示輝度の調整値に合わせて、右表示部２２および左表示部２４の表示輝度を調整する。

ＤＰ撮像制御部１２５は、スマートフォン３００が送信した撮像指示コマンドを取得した場合、照度要求コマンドに応じてＤＰカメラ６１による撮像を実行し、撮像画像データを取得して、スマートフォン３００に送信する。

［１−６．ＳＰ制御部の動作］
図７は、第１実施形態のＳＰ制御部３１０の動作を示すフローチャートである。
図７に示す動作において、ステップＳＴ２６はＳＰ撮像制御部３１２の動作に相当し、ステップＳＴ２７、ＳＴ２８はＳＰ画像処理部３１３の動作に相当し、その他の各ステップの動作はＳＰ表示制御部３１１の動作に相当する。

ＳＰ制御部３１０は、ＨＭＤ１００に対して映像データを出力し、画像表示部２０における表示を開始させる（ステップＳＴ１１）。
ＳＰ制御部３１０は、ＤＰ磁気センサー２３７の検出値、または、検出値の変化に基づいて、シェード５０が装着されているか否かを判定する（ステップＳＴ１２）。ステップＳＴ１２では、例えば、ＤＰ磁気センサー２３７の検出値がドリフトした場合に、シェード５０が装着されたと判定する。また、操作部１４０の操作により、使用者Ｕによってシェード５０が装着されたことの入力がなされた場合に、ステップＳＴ１２でシェード５０が装着されたと判定してもよい。

シェード５０が装着されていないと判定した場合（ステップＳＴ１２；ＮＯ）、ＳＰ制御部３１０は、ＤＰ照度センサー６５の検出値を取得する（ステップＳＴ１３）。ＳＰ制御部３１０は、ＤＰ照度センサー６５の検出値を、不揮発性記憶部３２０またはＳＰ制御部３１０のメモリーに記憶する（ステップＳＴ１４）。ＤＰ照度センサー６５の検出値が既に記憶されている場合、ステップＳＴ１４で、記憶している検出値を更新する。

ＳＰ制御部３１０は、ＤＰ照度センサー６５の検出値に基づき、画像表示部２０の表示輝度を調整する調整値を生成して、Ｉ／Ｆ部３４１から出力する（ステップＳＴ１６）。ＨＭＤ１００は、ステップＳＴ１６でスマートフォン３００が出力する調整値に従って、右表示部２２および左表示部２４の表示輝度を調整する。

ＳＰ制御部３１０は、ＨＭＤ１００による表示を終了するか否かを判定し（ステップＳＴ１７）、表示を終了する場合は（ステップＳＴ１７；ＹＥＳ）、ＨＭＤ１００に関する各種制御を終了する。表示を終了しない場合は（ステップＳＴ１７；ＮＯ）、ステップＳＴ１２に戻る。

一方、シェード５０が装着されていると判定した場合（ステップＳＴ１２；ＹＥＳ）、ＳＰ制御部３１０は、ＳＰ近接センサー３５６の検出値を取得し（ステップＳＴ１８）、スマートフォン３００の近接物の有無を判定する（ステップＳＴ１９）。
ＳＰ近接センサー３５６は、図６に示したようにＳＰ照度センサー３５３に並べて配置され、ＳＰ照度センサー３５３を同じ方向を向いている。つまり、ＳＰ近接センサー３５６は、ＳＰ照度センサー３５３が検知する外光の入射方向における近接物を検出し、換言すれば、ＳＰ照度センサー３５３が検知する外光を遮る近接物を検出する。従って、ＳＰ近接センサー３５６が検出した近接物がある場合は、ＳＰ照度センサー３５３は外光、すなわち環境光の光量の検出に適した状態にないといえる。

ＳＰ近接センサー３５６が検出した近接物がある場合（ステップＳＴ１９；ＹＥＳ）、ＳＰ制御部３１０の動作は後述するステップＳＴ２６に移行する。
ＳＰ近接センサー３５６が検出した近接物がない場合（ステップＳＴ１９；ＮＯ）、すなわち近接物を検出していない場合、ＳＰ制御部３１０は、ＳＰ照度センサー３５３の検出値を取得する（ステップＳＴ２０）。ＳＰ制御部３１０は、ステップＳＴ１４で記憶されたＤＰ照度センサー６５の検出値と、ステップＳＴ２０で取得したＳＰ近接センサー３５６の検出値とを比較し、その差が閾値以下であるか否かを判定する（ステップＳＴ２１）。ここで、閾値は、予め設定され、例えば、不揮発性記憶部３２０に記憶されている。

ＤＰ照度センサー６５は、一般的なスマートフォン３００で試用されるＳＰ照度センサー３５３と、検出特性が概ね近いものであるといえる。また、ＤＰ照度センサー６５及びＳＰ照度センサー３５３が、比較可能な形式の検出値を出力するものであれば、検出特性が異なっていてもよい。

検出値の差が閾値以下である場合（ステップＳＴ２１；ＹＥＳ）、表示輝度の調整が必要ないので、ＳＰ制御部３１０はステップＳＴ１２に戻る。

検出値の差が閾値を超える場合（ステップＳＴ２１；ＮＯ）、ＳＰ制御部３１０は、ＳＰ照度センサー３５３の向きを特定する（ステップＳＴ２２）。ステップＳＴ２２で、ＳＰ制御部３１０は、ＳＰ６軸センサー３５１、および／またはＳＰ磁気センサー３５２の検出値に基づき、スマートフォン３００のＺ軸の方向を特定し、ＳＰ照度センサー３５３が検出する外光の方向を特定する。ＳＰ制御部３１０は、ＳＰ照度センサー３５３の検出方向がＨＭＤ１００と整合するか否かを判定する（ステップＳＴ２３）。

図８は、照度センサーの検出方向の説明図であり、ＤＰ照度センサー６５およびＳＰ照度センサー３５３の向きを模式的に示している。
図８には、ＤＰ照度センサー６５が検出する外光すなわち環境光の方向を検出方向ＡＸ１で示す。ＤＰ照度センサー６５が受光する光は、検出方向ＡＸ１を中心とする角度θ１の範囲からＤＰ照度センサー６５に入射する。
また、図８には、ＳＰ照度センサー３５３が検出する外光すなわち環境光の方向を検出方向ＡＸ２で示す。ＳＰ照度センサー３５３が受光する光は、検出方向ＡＸ２を中心とする角度θ２の範囲からＳＰ照度センサー３５３に入射する。

ＳＰ制御部３１０は、ＤＰ６軸センサー２３５および／またはＤＰ磁気センサー２３７の検出値から、検出方向ＡＸ１を特定する。また、ＳＰ６軸センサー３５１および／またはＳＰ磁気センサー３５２の検出値から検出方向ＡＸ２を特定する。

図１に示すように、ＤＰ照度センサー６５は画像表示部２０の前面に設置されており、ＤＰ照度センサー６５は検出方向ＡＸ１を中心とする角度θ１の範囲から入射する外光を受光し、検出する。角度θ１は、例えば、５０°（ｒａｄｉａｎ）以上１００°以下である。また、ＳＰ照度センサー３５３は、スマートフォン３００において表示パネル３３１が配置された面に位置し、検出方向ＡＸ２を中心とする角度θ２の範囲から入射する外光を受光し、検出する。角度θ２は、角度θ１と同様、例えば、５０°以上１００°以下である。角度θ１、θ２は、ＤＰ照度センサー６５およびＳＰ照度センサー３５３の仕様により決定され、上記の範囲に何ら制限されず、角度θ１と角度θ２は異なる値であってもよい。例えば、角度θ１および／または角度θ２が３０°以下となるようなＤＰ照度センサー６５やＳＰ照度センサー３５３を用いてもよい。

ＳＰ制御部３１０は、例えば、ＤＰ磁気センサー２３７の検出値に基づき、地磁気を基準とする画像表示部２０の角度を求め、画像表示部２０の前面からほぼ垂直に延びる検出方向ＡＸ１を特定する。ここで、シェード５０が装着されたことにより磁石５２の磁気がＤＰ磁気センサー２３７に影響を与えるため、ＳＰ制御部３１０は、磁石５２の影響によるＤＰ磁気センサー２３７の検出値のドリフトを補正、或いは校正する処理を行ってもよい。同様に、ＳＰ制御部３１０は、ＳＰ磁気センサー３５２の検出値に基づき、地磁気を基準とするＺ軸を特定し、検出方向ＡＸ２を特定する。

検出方向ＡＸ１と検出方向ＡＸ２とがなす角度が、予め設定された範囲内である場合、ＳＰ照度センサー３５３が、画像表示部２０を透過する外光に対応する方向を向いている場合に相当するといえる。つまり、ＳＰ照度センサー３５３が、画像表示部２０を透過する外光に対応する方向を向いている場合とは、ＤＰ照度センサー６５の検出方向と、ＳＰ照度センサー３５３の検出方向との差が、設定された範囲内であることをいう。ここで、設定された範囲とは、例えば、３０°以内とすることができる。また、例えば、角度θ１、θ２の大きさをもとに範囲を設定してもよく、具体的には、角度θ１および角度θ２のうち小さい側の角度の半分を、設定された範囲としてもよい。

また、ＳＰ制御部３１０は、ＤＰ照度センサー６５の検出値および／またはＳＰ照度センサー３５３の検出値の履歴に基づき、検出方向ＡＸ１と検出方向ＡＸ２とがなす角度の範囲を定めてもよい。すなわち、ＤＰ磁気センサー２３７の検出値の履歴とＤＰ照度センサー６５の検出値の履歴とから、検出方向ＡＸ１が変化する間のＤＰ照度センサー６５の検出値の変化を求め、画像表示部２０の設置環境における明るさが比較的均質であるか否かを判定する。画像表示部２０の設置環境における明るさが比較的均質でない場合、ＤＰ照度センサー６５が受光する外光は、特定方向の光源からの光であるといえる。また、画像表示部２０の設置環境における明るさが比較的均質である場合、ＤＰ照度センサー６５が検出する光は、画像表示部２０の設置環境における環境光である。ＤＰ照度センサー６５が環境光を検出している場合、検出方向ＡＸ１と検出方向ＡＸ２の差について設定される範囲は、より大きく設定することができる。また、ＤＰ照度センサー６５が特定方向の光源からの光を検出している場合、検出方向ＡＸ１と検出方向ＡＸ２の差について設定される範囲は、より小さく設定することが好ましい。このように、ＳＰ制御部３１０は、ＤＰ照度センサー６５が受光する光が特定方向の光源からの光か表示部２０の設置環境における環境光かを判定し、判定結果に基づき、基準値すなわち設定範囲を切り替え、この基準値を用いて、ＳＰ照度センサー３５３が画像表示部２０を透過する外光に対応する方向を向いているかを判定すればよい。

ステップＳＴ２３で、ＳＰ制御部３１０は、ＳＰ照度センサー３５３の向きが、ＤＰ照度センサー６５の検出方向ＡＸ１に対応する方向であるか否かを、例えば上記の方法により判定する。すなわち、検出方向ＡＸ１と検出方向ＡＸ２との差が設定範囲内である場合に、検出方向が整合すると判定し、検出方向ＡＸ１と検出方向ＡＸ２との差が設定範囲を超える場合に、検出方向が整合しないと判定する。

ＳＰ制御部３１０は、ステップＳＴ２２−ＳＴ２３で、ＤＰ６軸センサー２３５とＳＰ６軸センサー３５１の検出値の比較、或いは、ＤＰ磁気センサー２３７とＳＰ磁気センサー３５２の検出値の比較を行ってもよい。具体的には、検出方向ＡＸ１および検出方向ＡＸ２を算出することなく、検出方向ＡＸ１と検出方向ＡＸ２の相対的な角度を直接、求めてもよい。この場合、方位や重力方向を基準とした検出方向ＡＸ１、ＡＸ２を求める処理が不要である。

検出方向が整合すると判定した場合（ステップＳＴ２３；ＹＥＳ）、ＳＰ制御部３１０は、ＳＰ照度センサー３５３の検出値に基づいて、表示輝度の調整値を算出し（ステップＳＴ２４）、ステップＳＴ１６に移行する。ステップＳＴ２４で、ＳＰ制御部３１０は、ステップＳＴ２０で取得した検出値を用いてもよいし、新たにＳＰ照度センサー３５３の検出値を取得してもよい。ＳＰ照度センサー３５３の検出値は、本発明の第２照度情報の一例に対応する。

検出方向が整合しないと判定した場合（ステップＳＴ２３；ＮＯ）、ＳＰ制御部３１０は、ＤＰカメラ６１の撮像画像を取得する（ステップＳＴ２６）。ＳＰ制御部３１０は、ＤＰカメラ６１の撮像画像から、環境光の照度の判定に用いる領域を抽出し（ステップＳＴ２７）、抽出した領域の画素値から照度を算出する（ステップＳＴ２８）。ステップＳＴ２８で算出される照度は、第３照度情報の一例に対応する。

図９は、ステップＳＴ２８における撮像画像に対する処理の説明図であり、ＤＰカメラ６１の撮像画像Ｐ１に対する処理を模式的に示している。
撮像画像Ｐ１は、ＳＰ制御部３１０が接続装置１０を介して取得する画像であり、ＤＰカメラ６１の撮像解像度に対応する数の画素で構成される。照度を求める場合、高解像度の画像である必要はないため、ＳＰ制御部３１０は、撮像画像Ｐ１から、視認領域Ｐ２を抽出する。視認領域Ｐ２は、ＤＰカメラ６１の画角のうち、画像表示部２０を透過して使用者Ｕが視認する範囲と重なる領域である。ＤＰカメラ６１の画角における使用者Ｕの視認範囲は、画像表示部２０の構造と標準的な人間の体格から概算できる。この概算値を、例えば、不揮発性記憶部３２０に予め記憶する。

視認領域Ｐ２の画素数が、照度の算出に必要な画素数よりも多い場合、ＳＰ制御部３１０は、さらに、処理領域Ｐ３を抽出してもよい。処理領域Ｐ３は、視認領域Ｐ２の中央を含み、必要数の画素を含む領域である。必要数とは、例えば、６８０ピクセル×４８０ピクセルを有するＶＧＡ解像度相当とすることができる。処理領域Ｐ３の画素を撮像画像Ｐ１に比べて少ない数とすることで、照度を求める処理の負荷を軽減し、消費電力量を節減できる。

ＳＰ制御部３１０は、例えば、処理領域Ｐ３を構成する各画素の画素値、例えばＲＧＢの階調値を取得する。ＳＰ制御部３１０は、取得した画素値から各画素の照度の値を算出する。続いて、ＳＰ制御部３１０は、処理領域Ｐ３の全ての画素の照度の平均値、または、処理領域Ｐ３から選択される代表画素の照度の平均値を算出し、撮像画像Ｐ１の照度とする。つまり、ＳＰ制御部３１０は、処理領域Ｐ３における照度の平均値を、撮像画像Ｐ１の照度として求める。

また、ＳＰ制御部３１０は、処理領域Ｐ３において照度が最大の画素と、照度が最小の画素とを特定し、これらの画素の照度の平均値を求めて、撮像画像Ｐ１の照度としてもよい。この場合、平均値を求める処理の負荷を軽減できる。このような処理でも十分に高精度で照度を求めることができる。

上記処理は、処理領域Ｐ３に限らず、視認領域Ｐ２に対して実行してもよいし、撮像画像Ｐ１の全体に対して実行してもよい。また、撮像画像Ｐ１または視認領域Ｐ２から、予め設定された代表画素を選択し、代表画素について上記処理を実行してもよい。

ＳＰ制御部３１０は、ステップＳＴ２８の処理で求めた照度から、画像表示部２０の表示輝度の調整値を算出し（ステップＳＴ２９）、ステップＳＴ１６に移行する。

図７に示す動作では、シェード５０を装着したことによりＤＰ照度センサー６５の検出値から表示輝度の調整値を算出することが適切でない場合に、ＳＰ照度センサー３５３の検出値やＤＰカメラ６１の撮像画像を用いて、表示輝度の調整値を算出できる。このため、ＤＰ照度センサー６５がシェード５０により隠れた状態であっても、適切に、画像表示部２０における表示輝度を調整できる。

また、ステップＳＴ１８−ＳＴ２３では、ＳＰ照度センサー３５３を利用して表示輝度の調整値を算出する。一般的に、照度センサーの消費電力量はカメラに比べて低い。このため、ＤＰカメラ６１よりも優先してＳＰ照度センサー３５３を利用することにより、スマートフォン３００およびＨＭＤ１００の消費電力量を節減できるという利点がある。

また、ステップＳＴ１９、ＳＴ２３で、スマートフォン３００が使用者Ｕの衣服のポケットや鞄に収容されているなど、ＳＰ照度センサー３５３の検出値の利用に適していない状態を正確に判定できる。このため、ＳＰ照度センサー３５３を用いて適切な精度で表示輝度を調整できる。この場合は、ＤＰカメラ６１の撮像画像を用いて、適切な表示輝度の調整を行うことができる。

なお、ステップＳＴ１５、ＳＴ２４、ＳＴ２９では、画像表示部２０にシェード５０が装着され、外光がシェード５０によって減光または遮光されていることに対応した表示輝度の調整値が算出される。

［２．第２実施形態］
第２実施形態では、ＨＭＤ１００が、ＤＰカメラ６１を備えていない構成、或いは、ＤＰカメラ６１を表示輝度の調整に使用しない構成を想定する。
図１０は、第２実施形態のＳＰ制御部３１０の動作を示すフローチャートである。図１０において、図７に示した動作と共通する処理には、同符号を付して説明を省略する。

第２実施形態では、ＤＰカメラ６１を表示輝度の調整に使用しないため、シェード５０が装着されている状態では、ＳＰ照度センサー３５３を用いることが望ましい。
そこで、ＳＰ制御部３１０は、ＳＰ照度センサー３５３の検出方向ＡＸ２がＤＰ照度センサー６５の検出方向ＡＸ１と整合しないと判定した場合（ステップＳＴ２３；ＮＯ）、使用者Ｕへの案内を行う（ステップＳＴ３１）。

使用者Ｕへの案内は、スマートフォン３００の向きを適切な方向に向けるように促すメッセージや画像である。ＳＰ制御部３１０は、画像表示部２０により、使用者Ｕへの案内を行うためのメッセージや画像を表示する。例えば、「スマートフォンを自分の正面に向けてください」との文字によるメッセージを表示してもよい。また、スマートフォンを向ける方向と使用者Ｕの姿を模式化した画像を表示してもよい。

使用者Ｕへの案内を行った後、ＳＰ制御部３１０はステップＳＴ２２に戻り、ＳＰ照度センサー３５３の検出方向を特定する。
第２実施形態では、使用者ＵによってＳＰ照度センサー３５３の検出方向を適切な方向に向けさせることで、ＤＰ照度センサー６５に代えてＳＰ照度センサー３５３を利用可能とすることができる。このため、ＤＰカメラ６１を使用しなくても、シェード５０を装着時における表示輝度の調整を行える。

［３．実施形態の効果］
以上説明したように、本発明を適用した上記各実施形態に係る表示システム１は、表示システム１は、ＨＭＤ１００と、スマートフォン３００とを備える。ＨＭＤ１００は、外光を透過し、画像を表示する画像表示部２０と、外光の照度を検出するＤＰ照度センサー６５と、を備える。スマートフォン３００は、ＤＰ照度センサー６５の検出値に基づき画像表示部２０が表示する画像の輝度を調整するＳＰ表示制御部３１１と、照度を検出するＳＰ照度センサー３５３と、を備える。ＳＰ表示制御部３１１は、ＳＰ照度センサー３５３の検出値に基づいて、画像表示部２０の表示画像の輝度を調整可能である。
これにより、ＤＰ照度センサー６５の検出値に基づいて画像表示部２０の表示画像の輝度を調整する代わりに、スマートフォン３００が有するＳＰ照度センサー３５３の検出値に基づき、画像表示部２０の表示画像の輝度を調整できる。このため、ＤＰ照度センサー６５が受光する環境光が遮られたり、減光したりする場合であっても、画像表示部２０の表示輝度を、画像表示部２０の周辺の環境光や外光の照度に合わせて適切に調整できる。例えば、外光を減光または遮光するシェード５０が画像表示部２０に装着された場合であっても、画像表示部２０の表示輝度を調整できる。

上記各実施形態において、ＳＰ表示制御部３１１は、ＳＰ照度センサー３５３が、画像表示部２０を透過する外光に対応する方向を向いている場合に、ＳＰ照度センサー３５３の検出値に基づいて画像の輝度を調整する。このため、ＳＰ照度センサー３５３の検出値を利用して、画像表示部２０の表示輝度を適切に調整し、画像表示部２０の表示画像の視認性を良好に保持できる。

上記各実施形態において、スマートフォン３００は、スマートフォン３００の動きを検出する動きセンサーとしてのＳＰ６軸センサー３５１やＳＰ磁気センサー３５２を備える。ＳＰ表示制御部３１１は、これらの動きセンサーにより特定されるＳＰ照度センサー３５３の方向が、画像表示部２０を透過する外光に対応する方向を向いている場合に、ＳＰ照度センサー３５３の検出値に基づいて画像の輝度を調整する。このため、ＳＰ照度センサー３５３の検出値がＤＰ照度センサー６５の検出値を良好に反映している場合に、ＳＰ照度センサー３５３の検出値を利用して画像表示部２０の表示画像の輝度を調整する。従って、画像表示部２０の表示画像の輝度を、画像表示部２０の周辺の環境光や外光の照度に合わせて適切に調整できる。

第１実施形態のＨＭＤ１００はＤＰカメラ６１を備える。スマートフォン３００は、ＤＰカメラ６１の撮像画像をもとに、ＤＰカメラ６１に入射する外光の照度に関する情報を生成するＳＰ画像処理部３１３を備える。ＳＰ表示制御部３１１は、撮像画像から得られる照度に基づいて、画像の輝度を調整可能である。このため、ＤＰ照度センサー６５に代えて、ＤＰカメラ６１の撮像画像を利用し、画像表示部２０の表示画像の輝度を適切に調整できる。

第１実施形態において、ＤＰカメラ６１は、画像表示部２０を透過して視認される外景に重なる範囲を撮像する。このため、ＤＰ照度センサー６５を使用せずに、画像表示部２０の表示画像の輝度を、表示画像の視認性に特に影響する方向からの外光の照度に合わせて調整できる。

第１実施形態において、ＳＰ画像処理部３１３は、撮像画像を構成する所定数の画素の輝度情報に基づいて第２照度情報を生成する。このため、撮像画像に関する処理の負荷を抑えることができ、消費電力量の抑制を図ることができる。

上記各実施形態において、ＨＭＤ１００には、画像表示部２０に入射する外光を調整するシェード５０を着脱可能である。ＳＰ表示制御部３１１は、ＨＭＤ１００にシェード５０が装着されている場合に、第２照度情報に基づいて画像の輝度を調整する。従って、シェード５０によって、画像表示部２０を透過する外光を減光または遮光することができ、この場合に、画像表示部２０の表示画像の輝度を、シェード５０の装着に対応して適切に調整できる。

また、表示システム１における表示制御方法は、ＨＭＤ１００のＤＰ照度センサー６５により外光の照度を検出し、ＤＰ照度センサー６５の検出値に基づき画像表示部２０が表示する画像の輝度を調整する。ＨＭＤ１００に、画像表示部２０に入射する外光を調整するシェード５０が装着されている場合には、スマートフォン３００のＳＰ照度センサー３５３により照度を検出し、ＳＰ照度センサー３５３の検出値に基づいて、画像の輝度を調整する表示制御方法である。このため、シェード５０が画像表示部２０に装着され、ＤＰ照度センサー６５が検出する光がシェード５０の影響を受ける場合であっても、画像表示部２０の表示画像の輝度を適切に調整できる。

また、スマートフォン３００のＳＰ制御部３１０を構成するコンピューターが実行可能なプログラムは、ＨＭＤ１００のＤＰ照度センサー６５により外光の照度を検出させる。ＤＰ照度センサー６５の検出値に基づき、画像表示部２０が表示する画像の輝度を調整する。ＨＭＤ１００に、画像表示部２０に入射する外光を調整するシェード５０が装着されている場合には、ＳＰ照度センサー３５３により照度を検出し、ＳＰ照度センサー３５３の検出値に基づいて、画像の輝度を調整するプログラムである。このため、シェード５０が画像表示部２０に装着され、ＤＰ照度センサー６５が検出する光がシェード５０の影響を受ける場合であっても、画像表示部２０の表示画像の輝度を適切に調整できる。

［４．他の実施形態］
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、制御装置としてスマートフォン３００を用いた構成を説明したが、本発明はこれに限定されない。例えば、制御装置は、ＰＤＡ端末でもよいし、タブレット型パーソナルコンピューターでもよい。

また、上記各実施形態では、スマートフォン３００の制御によりＨＭＤ１００が映像や画像を表示する構成例を説明したが、本発明はこれに限定されない。
例えば、ＨＭＤ１００が、スマートフォン３００のＳＰ制御部３１０の機能を備え、ＨＭＤ１００が単体として映像や画像のコンテンツを再生表示可能なものであってもよい。この場合、ＨＭＤ１００の制御部が、ＨＭＤ１００とは異なる外部装置と通信を実行して、当該外部装置が備える外部照度センサーの検出値、および、外部照度センサーの方向に基づき、図７および図１０に示した画像表示部２０の表示制御等の処理を行ってもよい。例えば、ＨＭＤ１００が、外部装置としてのウェアラブルデバイス等と、Ｂｌｕｅｔｏｏｔｈ（登録商標）等による無線通信または有線通信を実行し、ウェアラブルデバイスが備える照度センサーの検出値に基づいて図７、図１０の処理を実行してもよい。この場合、ウェアラブルデバイスが備える地磁気センサーや、動きセンサーを用いてもよい。ウェアラブルデバイスとしては、例えば、スマートウォッチ等の腕時計型デバイスや、使用者Ｕの体表面や衣服に装着されるその他のデバイスが挙げられる。この例では、ウェアラブルデバイスはＨＭＤ１００とともに表示システムを構成し、ウェアラブルデバイスが備える照度センサーは第２照度検出部の一例に対応する。

また、上記のように、ＨＭＤ１００が、スマートフォン３００のＳＰ制御部３１０の機能を備える構成において、ＳＰ制御部３１０の機能を、接続装置１０のように画像表示部２０に接続される装置に実装してもよい。すなわち、ＨＭＤ１００は、接続装置１０に実装される制御部の機能により、画像表示部２０に映像や画像のコンテンツを表示させる構成であってもよい。このような構成において、ウェアラブルデバイス等の外部装置と接続して、外部装置が備える照度センサー、地磁気センサー、動きセンサーを利用し、接続装置１０に実装された制御部が図７、図１０に示す処理を実行してもよい。この例では、ウェアラブルデバイスはＨＭＤ１００とともに表示システムを構成し、ウェアラブルデバイスが備える照度センサーは第２照度検出部の一例に対応する。

また、シェード５０は、透光性を調整可能な電子シェードであってもよい。電子シェードは、例えば、電圧を入力する図示しない端子を有し、端子間の電圧に応じて光の透過率が変化する構成とすることができる。この場合、後述するＤＰ制御部１２０の制御によって印加電圧を調整することで、電子シェードの透光性を調整できる。表示システム１において、透光性および／または透過波長特性が異なる複数種類のシェード５０を画像表示部２０に着脱可能であってもよい。この場合、画像表示部２０に装着されたシェード５０の種類を、画像表示部２０が備える各種センサーによって検知可能であることが好ましい。また、使用者Ｕが、画像表示部２０に装着したシェード５０の種類を、操作部１４０の操作により入力または設定してもよい。

また、上記実施形態では、接続装置１０が画像表示部２０と有線接続される構成を例示したが、これに限定されず、接続装置１０に対して画像表示部２０が無線接続される構成であってもよい。また、接続装置１０の機能を画像表示部２０に設けてもよく、接続装置１０を複数の装置により実現してもよい。例えば、接続装置１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

また、上記実施形態では、画像表示部２０と接続装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。これに限定されず、接続装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼ＬＥに対応して画像を表示する表示部と、使用者の右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、表示装置は、例えば、自動車や飛行機等の車両に搭載されるＨＭＤとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたＨＭＤとして構成されてもよい。この場合には、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、画像光を使用者の眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。これに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合には、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、上記各実施形態では、画像表示部２０はＯＬＥＤユニット２２１、２４１により画像光を生成する構成として説明したが、本発明はこれに限定されない。ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルと、ＯＬＥＤパネルを駆動するＯＬＥＤ駆動回路とを有する構成を例示した。ここで、ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光しそれぞれ発する発光素子により構成される自発光型の表示パネルである。より具体的な例として、ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置された構成が挙げられる。変形例として、右表示ユニット２２及び左表示ユニット２４が、それぞれ、光源部としてのＯＬＥＤパネルと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子と、を備える映像素子として構成されてもよい。このように、右表示ユニット２２、左表示ユニット２４は、変調素子により変調された画像光を、投写光学系および導光板等を利用してユーザーの眼に導くことにより、ユーザーに虚像を認識させる構成とすることができる。この変形例の画像表示部において、ＯＬＥＤパネルが発する光を変調する変調素子は、透過型液晶パネルを用いてもよいし、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよい。また、ＬＣＤパネルに代えてＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）技術を適用した構成を用いてもよい。また、画像表示部２０が備える表示素子は、ＬＥＤアレイ、レーザーアレイ、量子ドット発光型素子等に代表される自発光型の表示素子であってもよい。また、画像表示部２０は、例えば、レーザー光源とレーザースキャナーとを組み合わせたレーザースキャン方式のディスプレイであってもよい。

また、図４、図５等に示した機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、ＳＰ制御部３１０が実行する制御プログラムは、不揮発性記憶部３２０又はＳＰ制御部３１０内の他の記憶部に記憶されてもよい。また、外部の装置に記憶された制御プログラムを、通信部３４５等を介して取得して実行する構成としてもよい。
また、接続装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、接続装置１０のプロセッサーと同様のプロセッサーが画像表示部２０に配置されてもよいし、接続装置１０が備えるプロセッサーと画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

また、図７及び図１０に示すフローチャートの処理単位は、スマートフォン３００のＳＰ制御部３１０の処理を理解容易にするために、主な処理内容に応じて分割したものである。各フローチャートの処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、ＳＰ制御部３１０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

また、スマートフォン３００の制御方法は、スマートフォン３００が備えるコンピューターに、スマートフォン３００の制御方法に対応した制御プログラムを実行させることで実現できる。また、この制御プログラムは、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。また、スマートフォン３００の制御方法に対応した制御プログラムをサーバー装置等に記憶させておき、サーバー装置からスマートフォン３００に、制御プログラムをダウンロードすることでスマートフォン３００の制御方法を実現することもできる。

１…表示システム、１０…接続装置、１１Ｄ…コネクター、２０…画像表示部（表示部）、２６…右導光板、２８…左導光板、４６…ＵＳＢケーブル、５０…シェード（調光部材）、５０Ａ、５０Ｂ、５０Ｃ…領域、５２…磁石、６１…ＤＰカメラ（撮像部）、６４…距離センサー、６５…ＤＰ照度センサー（第１照度検出部）、６７…ＬＥＤインジケーター、１００…ＨＭＤ（表示装置）、１１０…Ｉ／Ｆ部、１２０…ＤＰ制御部、１２１…ＤＰ検出制御部、１２２…センサー制御回路、１２３…ＤＰ表示制御部、１２５…ＤＰ撮像制御部、１２６…電源制御回路、１３０…不揮発性記憶部、１４０…操作部、２０１…映像信号、２１１…右Ｉ／Ｆ部、２２１、２４１…ＯＬＥＤユニット、２３１…左Ｉ／Ｆ部、２３５…ＤＰ６軸センサー、２３７…ＤＰ磁気センサー、２３９…温度センサー、２６１、２８１…ハーフミラー、３００…スマートフォン、３１０…ＳＰ制御部、３１１…ＳＰ表示制御部（表示制御部）、３１２…ＳＰ撮像制御部、３１３…ＳＰ画像処理部（画像処理部）、３２０…不揮発性記憶部、３２１…コンテンツデータ、３３０…ディスプレイ、３３１…表示パネル、３３２…タッチセンサー、３４１…Ｉ／Ｆ部、３４５…通信部、３５１…ＳＰ６軸センサー（動きセンサー）、３５２…ＳＰ磁気センサー（動きセンサー）、３５３…ＳＰ照度センサー（第２照度検出部）、３５５…ＳＰカメラ、３５６…ＳＰ近接センサー。

Claims (9)

1. 表示装置と、制御装置とを備える表示システムであって、
   前記表示装置は、
   外光を透過し、画像を表示する表示部と、
   外光の照度を検出する第１照度検出部と、を備え、
   前記制御装置は、
   前記第１照度検出部の検出結果を示す第１照度情報に基づき前記表示部が表示する画像の輝度を調整する表示制御部と、
   照度を検出する第２照度検出部と、を備え、
   前記表示制御部は、前記第２照度検出部の検出結果を示す第２照度情報に基づいて、前記画像の輝度を調整可能である、表示システム。
2. 前記表示制御部は、前記第２照度検出部が、前記表示部を透過する前記外光に対応する方向を向いている場合に、前記第２照度情報に基づいて前記画像の輝度を調整する、請求項１記載の表示システム。
3. 前記制御装置は動きセンサーを備え、
   前記表示制御部は、前記動きセンサーにより特定される前記第２照度検出部の方向が、前記表示部を透過する前記外光に対応する方向を向いている場合に、前記第２照度情報に基づいて前記画像の輝度を調整する、請求項２記載の表示システム。
4. 前記表示装置は撮像部を備え、
   前記制御装置は、
   前記撮像部の撮像画像をもとに、前記撮像部に入射する外光の照度に関する第３照度情報を生成する画像処理部を備え、
   前記表示制御部は、前記第３照度情報に基づいて、前記画像の輝度を調整可能である、請求項２または３記載の表示システム。
5. 前記撮像部は、前記表示部を透過して視認される外景に重なる範囲を撮像する、請求項４記載の表示システム。
6. 前記画像処理部は、前記撮像画像を構成する所定数の画素の輝度情報に基づいて前記第２照度情報を生成する、請求項４または５記載の表示システム。
7. 前記表示装置には、前記表示部に入射する前記外光を調整する調光部材を着脱可能であり、
   前記表示制御部は、前記表示装置に前記調光部材が装着されている場合に、前記第２照度情報に基づいて前記画像の輝度を調整する、請求項１から６のいずれか１項に記載の表示システム。
8. 外光を透過し、画像を表示する表示部を有する表示装置と、制御装置とを備える表示システムにおける表示制御方法であって、
   前記表示装置の第１照度検出部により外光の照度を検出し、
   前記第１照度検出部の検出結果を示す第１照度情報に基づき前記表示部が表示する画像の輝度を調整し、
   前記表示装置に、前記表示部に入射する前記外光を調整する調光部材が装着されている場合には、
   前記制御装置の第２照度検出部により照度を検出し、
   前記第２照度検出部の検出結果を示す第２照度情報に基づいて、前記画像の輝度を調整する、表示制御方法。
9. 外光を透過し、画像を表示する表示部を有する表示装置に接続されるコンピューターが実行可能なプログラムであって、
   前記コンピューターにより、
   前記表示装置の第１照度検出部により外光の照度を検出させ、
   前記第１照度検出部の検出結果を示す第１照度情報に基づき、前記表示部が表示する画像の輝度を調整し、
   前記表示装置に、前記表示部に入射する前記外光を調整する調光部材が装着されている場合には、
   第２照度検出部により照度を検出し、
   前記第２照度検出部の検出結果を示す第２照度情報に基づいて、前記画像の輝度を調整する、プログラム。

Images