JP2021056371A

JP2021056371A - 表示システム、表示方法及び表示プログラム

Info

Publication number: JP2021056371A
Application number: JP2019178875A
Authority: JP
Inventors: 明生山▲崎▼; Akio Yamazaki
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-04-08
Also published as: US20210097915A1; US11682331B2; CN112578562A

Abstract

【課題】新たな部品を設けることを抑制しつつ、操作部としての情報処理装置の視認性を向上させる表示システム等を提供すること。【解決手段】表示装置である装着型表示装置１００と、装着型表示装置１００と接続する情報処理装置２００と、第１地磁気センサーＧＥ１を含む第１センサーＳＥ１と、第２地磁気センサーＧＥ２を含む第２センサーＳＥ２と、検知結果に基づく装着型表示装置１００と情報処理装置２００との相対的な配置関係に応じて、装着型表示装置１００における表示態様を変化させる表示制御部１５０とを備える。【選択図】図２

Description

本発明は、例えば虚像を使用者に提示するヘッドマウントディスプレイ（ＨＭＤ）等の装着型表示装置に適用可能な表示システム、表示システムにおける表示方法及び表示システム用の表示プログラムに関する。

例えば、虚像を表示するヘッドマウントディスプレイ（ＨＭＤ）としての頭部搭載型表示装置において、使用者がＨＭＤの制御部を操作しようとすべく操作箇所を向いている場合に、これを検知して、ＨＭＤによる虚像の視認性を低下させるものが知られている（特許文献１）。特許文献１では、上記目的を達成させるため、ＨＭＤ側と制御部側とに受光部と発光部とを設け、受光部が発光部からの光を受光している状態であれば、ＨＭＤの使用者が制御部を操作しようとしていると判定し、その場合に、ＨＭＤの表示輝度を低減させている。

特開２０１２−２０４９９８号公報

しかしながら、特許文献１の場合、上記のような判定をするためには、ＨＭＤ側と制御部側とにおいて、受光部と発光部とを設けることが前提となる。したがって、部品が増加することに加え、制御部側にスマホ等の既存製品を利用する場合には発光部や受光部の設置が難しくなること等が問題となり得る。また、特許文献１には、頭部側の傾きを検知することにより判定精度を向上する旨の記載もあるが、例えば使用者（装着者）が寝た状態や椅子に座った状態となった場合、すなわち姿勢を変えた場合に、正確な検知ができない可能性がある。

本発明の一側面における表示システムは、使用者に視認させる画像を表示する表示装置と、表示装置と接続する情報処理装置と、表示装置に設けられ、第１地磁気センサーを含んで表示装置の姿勢を検知する第１センサーと、情報処理装置に設けられ、第２地磁気センサーを含んで情報処理装置の姿勢を検知する第２センサーと、第１地磁気センサーによる検知結果と第２地磁気センサーによる検知結果とに基づいて算定される表示装置と情報処理装置との相対的な配置関係に応じて、表示装置における表示態様を変化させる表示制御部とを備える。

第１実施形態の表示システムの使用状態を説明するための斜視図である。表示システムの一構成例を説明するためのブロック図である。情報処理装置における記憶部の一構成例を説明するためのブロック図である。表示装置及び情報処理装置の使用状況について一例を概念的に示す斜視図である。図４における表示装置と情報処理装置との相対的な配置関係について説明するための概念図である。表示装置と情報処理装置とにおける表示状態の一例を示す概念図である。表示装置における表示態様の変化について一例を示す概念図である。表示装置の光学的な構成について示す平面図である。表示装置の光学的構造を説明するための平面図である。表示システムの動作について一例を説明するためのフローチャートである。表示システムにおけるキャリブレーションについて一例を説明するためのフローチャートである。表示装置における使用状況について他の一例を示す概念図である。表示システムの他の一構成例について示す概念図である。図１３に示す一例での表示装置における表示態様の変化について示す概念図である。表示システムの動作について他の一例を説明するためのフローチャートである。表示システムにおける検知モードの選択について一例を説明するためのフローチャートである。第２実施形態の表示システムの使用状態を説明するための斜視図である。表示システムの一構成例を説明するためのブロック図である。カメラによる撮像の様子について、一例を概念的に示す画像図である。カメラによる撮像の様子について、他の一例を概念的に示す画像図である。

〔第１実施形態〕
以下、図面を参照しつつ、本発明の第１実施形態に係る表示方法及び表示システム用の表示プログラムを利用した表示システムについて一例を説明する。

図１等に示すように、本実施形態に係る表示システム５００は、表示装置である装着型表示装置１００と、ケーブル１０９を介して装着型表示装置１００に接続される情報処理装置２００とを備える。

装着型表示装置１００は、眼鏡のような外観を有するヘッドマウントディスプレイ（ＨＭＤ）であり、画像形成を行うための光学的な本体部分である。図１等において、Ｘ１、Ｙ１、及びＺ１は、直交座標系であり、＋Ｘ１方向は、装着型表示装置１００を装着した使用者ＵＳ又は観察者ＵＳの両眼の並ぶ横方向に対応し、＋Ｙ１方向は、使用者ＵＳにとっての両眼の並ぶ横方向に直交する下方向に相当し、＋Ｚ１方向は、使用者ＵＳにとっての前方向又は正面方向に相当する。なお、Ｘ１、Ｙ１、及びＺ１について、装着型表示装置１００における方向として言い換えると、まず、Ｘ１軸は、第１表示装置１００Ａ及び第２表示装置１００Ｂを構成する２つの導光部材１０が並ぶ方向に沿った軸に相当する。Ｚ１軸は、導光部材１０からの画像光（映像光）の射出方向に沿った軸に相当する。Ｙ１軸は、Ｘ１軸とＺ１軸との双方に直交する軸に相当する。

情報処理装置２００は、装着型表示装置１００に映し出すべき画像についての各種処理を行って、装着型表示装置１００に対して映像信号等を出力する装置であり、例えばスマホ（スマートフォン）等に必要なアプリをダウンロードすること等によって構成可能である。図１等において、Ｘ２、Ｙ２、及びＺ２は、直交座標系であり、＋Ｘ２方向及び＋Ｙ１方向は、情報処理装置２００における矩形のディスプレイ（操作画像表示部）ＤＳの短辺方向及び長辺方向に相当し、＋Ｚ２方向は、＋Ｘ２方向及び＋Ｙ２方向に垂直な方向であって、ディスプレイＤＳからの映像光射出方向に相当する。

なお、装着型表示装置１００と情報処理装置２００とを接続するケーブル１０９は、例えばＵＳＢ−ＴｙｐｅＣコネクターで構成でき、ＵＳＢ−ＴｙｐｅＣの代替モードで伝送される映像データを受信することで、スマホ等で構成される情報処理装置２００からの映像信号に基づいて、装着型表示装置１００においてコンテンツ画像の映像表示が可能となっている。

図１等に示すように、装着型表示装置１００は、この装着型表示装置１００を使用する使用者（観察者）ＵＳに対して、虚像を視認させることができるだけでなく、外界像をシースルーで観察させることができる光学装置である。装着型表示装置１００は、既述のように、ケーブル１０９を介して情報処理装置２００に対して通信可能に接続することができ、例えば情報処理装置２００から入力された映像信号に対応する虚像を形成することができる。なお、ここでは、装着型表示装置１００を上記のような虚像を視認させる光学装置あるいは虚像表示装置として説明するが、このような光学装置としての装着型表示装置１００に加え、情報処理装置２００の部分、あるいはこれに相当する部分までも含めた表示システム５００の全体を、装着型表示装置あるいはＨＭＤと捉えることもできる。

装着型表示装置１００は、第１表示装置１００Ａと、第２表示装置１００Ｂとを備える。第１表示装置１００Ａと第２表示装置１００Ｂとは、左眼用の虚像と右眼用の虚像とをそれぞれ形成する部分である。左眼用の第１表示装置１００Ａは、使用者（観察者）ＵＳの眼前を透視可能に覆う第１虚像形成光学部１０１ａと、画像光を形成する第１像形成本体部１０５ａとを備える。右眼用の第２表示装置１００Ｂは、使用者ＵＳの眼前を透視可能に覆う第２虚像形成光学部１０１ｂと、画像光を形成する第２像形成本体部１０５ｂとを備える。すなわち、第１表示装置１００Ａ及び第２表示装置１００Ｂにより、左右の眼に対応した画像の表示がなされる。

第１及び第２像形成本体部１０５ａ，１０５ｂの後部には、頭部の側面から後方に延びるつる部分であるテンプル１０４が取り付けられており、使用者の耳やこめかみ等に当接することで装着型表示装置１００の装着状態を確保する。また、第１像形成本体部１０５ａは、カバー状の外装ケース１０５ｄ内に、表示素子８０、鏡筒３８等を有し、同様に、第２像形成本体部１０５ｂは、外装ケース１０５ｄ内に、表示素子８０、鏡筒３８等を有する。これらの光学的構成の具体的一例については、図８を参照して後述する。

情報処理装置２００は、既述のように、例えばスマホに必要なアプリをダウンロードすること等により構成可能としているが、情報処理装置２００の構成については、スマホに限らず、ＰＤＡ端末、タブレット型パーソナルコンピューター、ノート型パーソナルコンピューター等の種々の機器を適用することが可能である。ここでは、スマホで構成される情報処理装置２００は、使用者ＵＳがタッチパネルの操作等をすることで、装着型表示装置１００に表示される画像の調整等が可能になっているとともに、内蔵される回路基板等によって各種画像処理等の情報処理がなされる。また、情報処理装置２００のディスプレイＤＳが、各種表示を行うとともにタッチパネル操作を行う操作画像表示部として機能している。すなわち、情報処理装置２００は、使用者ＵＳによる入力操作を受け付ける入力装置でもある。この場合、装着型表示装置１００が外界像をシースルーで観察させるものとなっているので、使用者ＵＳは、装着型表示装置１００の画面越しにディスプレイＤＳの画面を確認することになる。

以上において、使用者ＵＳが情報処理装置２００を操作する際に、情報処理装置２００のディスプレイＤＳ上の画像に装着型表示装置１００の表示画像が重なって（図７参照）邪魔になる場合がある。本実施形態に係る表示システム５００では、かかる事態を回避すべく、装着型表示装置１００と情報処理装置２００との相対的な配置関係を検知することで、使用者ＵＳが情報処理装置２００を操作する状態にあるか否かを自動的に判定し、判定結果に応じて、装着型表示装置１００における表示態様を自動的に変化させている。より具体的には、表示システム５００では、相対的な配置関係として、装着型表示装置１００と情報処理装置２００とが向かい合っている状態（例えば図４参照）であることが検知された場合に、装着型表示装置１００の表示輝度が自動調整され、使用者ＵＳが情報処理装置２００のディスプレイＤＳに映し出される画面に集中できるようにしている。

以下、図２のブロック図等を参照して、本実施形態における表示システム５００の一構成例について説明する。

図２は、図１に示す表示システム５００の構成について、一例を示したブロック図である。

まず、表示システム５００のうち、装着型表示装置１００の構成について説明する。図示のように、また、既述のように、装着型表示装置１００は、使用者ＵＳ（図１参照）に視認させる画像を表示する第１表示装置１００Ａと、第２表示装置１００Ｂとを備える。また、装着型表示装置１００は、ケーブル１０９を介した情報処理装置２００と第１及び第２表示装置１００Ａ，１００Ｂとの間におけるシリアル伝送のためのレシーバーとして機能する受信部（Ｒｘ）１９３，１９４を有している。すなわち、装着型表示装置１００において、第１及び第２表示装置１００Ａ，１００Ｂは、受信部１９３，１９４でそれぞれ受け取った左眼用画像データと右眼用画像データとに基づいて画像形成を行う。

上記に加え、装着型表示装置１００は、自身の向きあるいは姿勢を検知すべく、各種センサーで構成される第１センサーＳＥ１を有している。より具体的には、第１センサーＳＥ１は、第１地磁気センサーＧＥ１と、第１加速度センサーＡＣ１と、第１ジャイロセンサー（角速度センサー）ＧＹ１と、外光センサーＬＳとで構成される。

第１センサーＳＥ１のうち、第１地磁気センサーＧＥ１は、磁場（磁界）の大きさ・方向を測定することを目的としたセンサーであり、例えば、３軸地磁気センサーで構成され、磁場（磁界）の向きを計測することで、方位を求めることができる。すなわち、装着型表示装置１００の向きあるいは姿勢を求めることができる。さらに言い換えると、第１センサーＳＥ１は、表示装置である装着型表示装置１００に設けられ、第１地磁気センサーＧＥ１を含んで装着型表示装置１００の姿勢を検知するセンサーである。また、第１センサーＳＥ１のうち、第１加速度センサーＡＣ１及び第１ジャイロセンサーＧＹ１は、例えば、３軸加速度センサー及び３軸ジャイロセンサーであり、これらを第１地磁気センサーＧＥ１と併用することで、より正確に、装着型表示装置１００の姿勢を検知できる。以上のように、第１センサーＳＥ１は、全体として、９軸を有するモーションセンサーを構成している。

また、上記のほか、第１センサーＳＥ１の一部として、外光センサー（照度センサー）ＬＳが設けられている。外光センサーＬＳは、例えばＡＬＳ（Ambient Light Sensor）で構成され、使用者ＵＳ（図１参照）の周囲光強度の測定を行う。このため、外光センサーＬＳは、例えば使用者ＵＳにとっての前方向又は正面方向に相当する＋Ｚ１方向に向けて配置することで、使用者ＵＳの眼に入る光量を検知するようにできる。

第１センサーＳＥ１は、第１地磁気センサーＧＥ１等により取得した装着型表示装置１００の姿勢検知に関する各種情報ＳＳ１を、ケーブル１０９を介して情報処理装置２００に出力する。なお、当該情報ＳＳ１は、情報処理装置２００のうち、特に、後述する判定部１１２において利用される。

次に、表示システム５００のうち、情報処理装置２００の構成について説明する。図示のように、また、既述のように、情報処理装置２００は、スマホ等により構成され、使用者ＵＳ（図１参照）からの指示を受けつつ、画像処理を含む各種情報処理を行い、また、各種表示動作をする。このため、情報処理装置２００は、ディスプレイＤＳのほか、ＣＰＵ（主制御部）１１０と、記憶部１２０と、操作部であるタッチパネル１３０と、送信部（Ｔｘ）１９１及び１９２とを備える。これらのうち、ＣＰＵ（主制御部）１１０と、記憶部１２０とは、表示装置である装着型表示装置１００における表示態様を定める表示制御部１５０として機能する。

記憶部１２０は、各種ストレージデバイス等により構成されており、種々のコンピュータープログラムや各種データが格納されている。なお、内容の詳細については、図３を参照して、一例を後述する。

ＣＰＵ１１０は、記憶部１２０からコンピュータープログラムやデータを読み出して実行することにより、画像処理を行う画像処理部１１１や、使用者ＵＳが情報処理装置２００を操作する状態にあるか否かを判定する判定部１１２等として機能する。特に、本実施形態では、ＣＰＵ１１０と記憶部１２０とが協働して画像処理部１１１や判定部１１２として機能することで、装着型表示装置１００及び情報処理装置２００の姿勢に関する判定結果に基づいて、装着型表示装置１００での表示態様の変更について制御する表示制御部１５０として機能する。なお、上記のほか、ＣＰＵ１１０は、入力信号処理部等としても機能する。すなわち、ＣＰＵ１１０は、各種演算処理を行って表示システム５００の制御全体を司る主制御部として機能する。

ディスプレイＤＳは、は、情報処理装置２００における表示画像を形成すべく画像光を射出する表示デバイスであり、例えば有機ＥＬの表示パネルやＬＣＤ用のパネル等で構成される。

操作部であるタッチパネル１３０は、ディスプレイＤＳ上に設けた透明部材で構成され、ディスプレイＤＳ上において使用者（観察者）ＵＳにより操作される外部入力受付装置（入力装置）であり、使用者ＵＳによる操作入力に応じた各種動作のための指令信号を受け付ける。なお、タッチパネル１３０には、上記各種動作指令を受けるための各部のほか、装着型表示装置１００等の姿勢についての検知結果を利用するか否かを選択可能とする検知選択キー（検知選択部）１３１が設けられていてもよい。

送信部１９１、１９２は、ＣＰＵ１１０において生成された映像信号を含む各種データを、装着型表示装置１００を構成する第１及び第２表示装置１００Ａ，１００Ｂに対してそれぞれ送信する。すなわち、送信部１９１、１９２は、ケーブル１０９を介した情報処理装置２００と第１及び第２表示装置１００Ａ，１００Ｂとの間におけるシリアル伝送のためのトランシーバーとして機能すべく、装着型表示装置１００の受信部１９３，１９４に対して、左眼用画像データである画像情報ＶＶ１と右眼用画像データである画像情報ＶＶ２とをそれぞれ送信する。

情報処理装置２００は、さらに、上記に加え、自身の向きあるいは姿勢を検知すべく、各種センサーで構成される第２センサーＳＥ２を有している。より具体的には、第２センサーＳＥ２は、第２地磁気センサーＧＥ２と、第２加速度センサーＡＣ２と、第２ジャイロセンサー（角速度センサー）ＧＹ２と、撮像部（カメラ）ＣＡとで構成される。

第２センサーＳＥ２のうち、第２地磁気センサーＧＥ２は、磁場（磁界）の大きさ・方向を測定することを目的としたセンサーであり、例えば、３軸地磁気センサーで構成され、磁場（磁界）の向きを計測することで、方位を求めることができる。すなわち、情報処理装置２００の向きあるいは姿勢を求めることができる。さらに言い換えると、第２センサーＳＥ２は、情報処理装置２００に設けられ、第２地磁気センサーＧＥ２を含んで情報処理装置２００の姿勢を検知するセンサーである。また、第２センサーＳＥ２のうち、第２加速度センサーＡＣ２及び第２ジャイロセンサーＧＹ２は、例えば、３軸加速度センサー及び３軸ジャイロセンサーであり、これらを第２地磁気センサーＧＥ２と併用することで、より正確に、情報処理装置２００の姿勢を検知できる。以上のように、第２センサーＳＥ２は、全体として、９軸を有するモーションセンサーを構成している。

また、上記のほか、第２センサーＳＥ２として、撮像部（カメラ）ＣＡが設けられている。撮像部ＣＡは、例えばＣＣＤやＣＭＯＳ等の個体撮像素子で構成される撮像カメラである。例えば、図１に示すように、スマホに元々内蔵されているカメラのうちインカメラを採用することで、撮像部ＣＡにおける撮像の向きをディスプレイＤＳにおける表示向きに揃えることができる。

第２センサーＳＥ２は、第２地磁気センサーＧＥ２等により取得した情報処理装置２００の姿勢検知に関する各種情報ＳＳ２を、表示制御部１５０に出力する。情報ＳＳ２は、判定部１１２において利用される。

以上において、判定部１１２としてのＣＰＵ１１０は、延いては、表示制御部１５０は、第１地磁気センサーＧＥ１による検知結果と第２地磁気センサーＧＥ２による検知結果とに基づいて装着型表示装置１００と情報処理装置２００との相対的な配置関係すなわち装着型表示装置１００の姿勢（向き）に対する情報処理装置２００の姿勢（向き）を算定し、算定された装着型表示装置１００と情報処理装置２００との相対的な配置関係に応じて、装着型表示装置１００における表示態様を変化させる。具体的には、判定部１１２は、第１及び第２センサーＳＥ１，ＳＥ２からの情報ＳＳ１，ＳＳ２に基づいて、上記相対的な配置関係が、装着型表示装置１００における表示態様を変化させるべき所定の配置関係となっているか否かを判定する、つまり、表示システム５００は、装着型表示装置１００と情報処理装置２００とが向かい合っており使用者ＵＳが情報処理装置２００を操作する状況になっているか否か、を判定する。さらに、表示システム５００は、その判定結果に基づき、表示態様の変化に関する一態様として、例えば装着型表示装置１００における表示輝度を徐々に落としていく、といった動作をする。

上記動作を可能とするため、表示システム５００のうち、表示制御部１５０では、すなわちＣＰＵ１１０及び記憶部１２０では、種々のプログラムやデータや、これらに基づく演算処理を行うための構造が設けられている。

以下、図３を参照して、記憶部１２０に格納される各種プログラム及びデータについての一例を説明する。図３は、図２のうち、表示システム５００を構成する情報処理装置２００における記憶部１２０の一構成例を説明するためのブロック図である。

図３に示す一例では、記憶部１２０は、各種プログラムを格納するプログラム格納部ＰＡと、各種データを格納するデータ格納部ＤＡとで構成されている。

以下、プログラム格納部ＰＡに格納される各種プログラムについて説明する。プログラム格納部ＰＡには、例えば、通常の画像表示に関する処理を行うための画像表示プログラムＤＰと、第１及び第２センサーＳＥ１，ＳＥ２での姿勢検知に応じて表示態様を変更するための表示態様変更プログラムＣＰとが格納されている。

まず、画像表示プログラムＤＰは、例えば、スマホで構成される情報処理装置２００のディスプレイＤＳにおける通常時の画像表示に関する処理を行うためのスマホ画像処理プログラムＳＧや、装着型表示装置１００において通常時に使用者ＵＳに視認させる画像に関する処理を行うための表示装置画像処理プログラムＤＧで構成されている。

一方、表示態様変更プログラムＣＰは、例えば、姿勢検知（向き検知）プログラムＰＰと、相対配置算定プログラムＲＣと、変更要否判定プログラムＣＪと、表示画像輝度調整プログラムＢＡとで構成され、表示態様変更時に関する各種処理について対応可能なものになっている。

姿勢検知プログラムＰＰは、装着型表示装置１００及び情報処理装置２００の姿勢検知を行うためのプログラムであり、第２センサーＳＥ２からの情報に基づき情報処理装置２００の姿勢を検知するためのスマホ向き（自己姿勢）検知プログラムＳＤと、第１センサーＳＥ１からの情報に基づき装着型表示装置１００の姿勢を検知するための表示装置向き（姿勢）検知プログラムＤＤとで構成されている。

相対配置算定プログラムＲＣは、姿勢検知プログラムＰＰを利用して検知された装着型表示装置１００及び情報処理装置２００の姿勢（向き）から両者の相対的な配置関係を算出するためのプログラムである。

変更要否判定プログラムＣＪは、相対配置算定プログラムＲＣを利用した算定結果（算出結果）に基づいて、装着型表示装置１００の表示態様を変更するか否かを判定するためのプログラムである。

表示画像輝度調整プログラムＢＡは、変更要否判定プログラムＣＪを利用した判定結果が変更を要するものであった場合に、対応する装着型表示装置１００の表示画像の輝度調整を行うためのプログラムである。

なお、上記のほか、プログラム格納部ＰＡには、例えば、キャリブレーションプログラムＣＢや、検知選択プログラムＤＥが格納されていてもよい。キャリブレーションプログラムＣＢは、装着型表示装置１００と情報処理装置２００とが向かい合っている時の状態を、初期設定として使用者ＵＳが自ら事前に規定するキャリブレーションを行うためのプログラムである。検知選択プログラムＤＥは、第１及び第２センサーＳＥ１，ＳＥ２での姿勢検知に応じた表示態様変更を利用するか否かを選択可能にするためのプログラムＤＥである。

以下、データ格納部ＤＡに格納される各種データについて説明する。データ格納部ＤＡには、例えば、起動時等に使用する定型的な画像についてのデータ等を含めた各種画像データを格納する画像データ格納部ＧＧｄのほか、姿勢データ格納部ＰＰｄや、キャリブレーションデータ格納部ＣＡｄ、各種閾値のデータを格納する閾値データ格納部ＴＨｄ等で構成される。なお、閾値データ格納部ＴＨｄにおいて格納される閾値については、各装置等の精度等に応じて、種々の値やパラメータを採用できる。

画像データ格納部ＧＧｄには、例えば起動時や終了時等を含む画像表示プログラムＤＰに基づく通常の画像表示を行うための各種画像データ等が記録されている。

姿勢データ格納部ＰＰｄには、姿勢検知プログラムＰＰに基づき検知された装着型表示装置１００及び情報処理装置２００の姿勢（向き）に関するデータが記録されるスマホ姿勢（自己姿勢）データ格納部ＳＰｄや、表示画像姿勢データ格納部ＤＰｄが設けられている。また、姿勢データ格納部ＰＰｄでは、相対配置算定プログラムＲＣや変更要否判定プログラムＣＪに基づく算出結果や判定結果についても、必要に応じて一時的に保管すべく、記録される。

キャリブレーションデータ格納部ＣＡｄには、キャリブレーションプログラムＣＢに基づくキャリブレーションに際して必要となる各種データが格納されている。また、キャリブレーションデータ格納部ＣＡｄには、初期設定データ格納部ＩＮｄの領域が設けられており、初期設定データ格納部ＩＮｄには、装着型表示装置１００と情報処理装置２００とが向かい合っている時の状態を初期設定として事前に規定した場合の各種パラメータが保管される。

閾値データ格納部ＴＨｄには、各種閾値のデータが格納されている。格納される閾値としては、例えば、装着型表示装置１００と情報処理装置２００とが向かい合っていると判定する範囲を規定する角度範囲等が考えられる。

以下、図４〜図７を参照して、表示システム５００の使用に際しての装着型表示装置１００の表示態様変更の動作に関して一例を説明する。

図４は、表示装置である装着型表示装置１００と、情報処理装置２００との使用状況について一例を概念的に示す斜視図であり、装着型表示装置１００と情報処理装置２００とが向き合った状態を示している。図５は、図４において、装着型表示装置１００と情報処理装置２００との相対的な配置関係について説明するために画像面とその法線方向について抽出した概念図である。図６は、使用者ＵＳから見た装着型表示装置１００における表示状態の一例と、これに対応する情報処理装置２００における表示状態の一例とを示す概念図である。図７は、図４又は図５に示す配置関係にある場合において、図６に例示する表示が重なって見えた際に、装着型表示装置１００における表示態様を変化させる様子について一例を示す概念図である。

図４及び図５に示すように、まず、前提として、ここでは、装着型表示装置１００と情報処理装置２００とが向かい合っている状態になっていることを、各装置における画像面の法線ベクトルに基づいて判断する。具体的には、まず、装着型表示装置１００により視認させる画像の画像面となる第１画像面ＧＳ１に垂直なベクトルを法線ベクトルＤＤ１とする。同様に、情報処理装置２００の操作画面表示部であるディスプレイＤＳ（図６等参照）により視認させる画像面となる第２画像面ＧＳ２に垂直なベクトルを法線ベクトルＤＤ２とする。本実施形態の場合、図示のように、装着型表示装置１００について規定した直交座標系について、＋Ｘ１方向及び＋Ｙ１方向が、第１画像面ＧＳ１の面内方向となり、＋Ｚ１方向が、法線ベクトルＤＤ１に平行な方向となる。また、情報処理装置２００について規定した直交座標系について、＋Ｘ２方向及び＋Ｙ２方向が、第２画像面ＧＳ２の面内方向となり、＋Ｚ２方向が、法線ベクトルＤＤ２に平行な方向となる。

上記において、法線ベクトルＤＤ１と法線ベクトルＤＤ２とのなす角θ（０°≦θ≦１８０°）が、所定の角度範囲内にある場合に、装着型表示装置１００と情報処理装置２００とが向かい合っているものとする。例えば、１６０°≦θ≦１８０°の範囲、あるいは角θの補角で規定すれば、当該補角が２０度以下である場合に、両者が向かい合っており、図７のうち状態α１に例示するような画像が視認される事態になっていると判定する。

なお、各法線ベクトルＤＤ１，ＤＤ２については、既述の各センサーＳＥ１，ＳＥ２における姿勢検知に基づいて算定できる。また、角θの算定方法としては、例えば装着型表示装置１００と情報処理装置２００とについてそれぞれ検知された方位に関する情報に基づく法線ベクトルＤＤ１及び法線ベクトルＤＤ２を、地軸（地球の自転軸）を絶対的基準として共通する座標に変換したものを利用すればよい。つまり、当該座標の成分表示を、それぞれ（ａ_１，ｂ_１，ｃ_１）、（ａ_２，ｂ_２，ｃ_２）とした場合、以下の式

から各θが求められる。

以下、図６及び図７を参照して、上記のような算出結果から、装着型表示装置１００における表示態様を変化させる場合について、一例を説明する。

まず、ここでは、図６の第１領域ＡＲ１に示すような虚像としての画像Ｇ１が、装着型表示装置１００において視認され、これに対応するものとして、図６の第２領域ＡＲ２に示すような画像Ｇ２が、情報処理装置２００のディスプレイＤＳ上に表示され、視認可能となっているものとする。すなわち、ここでは、装着型表示装置１００では、画像Ｇ１としてコンテンツ画像のみを視認させている一方、情報処理装置２００における操作画面表示部としてのディスプレイＤＳでは、画像Ｇ１に対応するコンテンツ画像の画像部分Ｇ２ａに加え、操作用画像Ｇ２ｂが画像Ｇ２として表示されている。この場合、装着型表示装置１００によって通常時に表示される動画等をそのまま視聴している間は、特に、情報処理装置２００の操作を要しないが、当該動画等を一時停止させたり、スキップしたりしたい、といった場合には、ディスプレイＤＳ上に表示されている操作用画像Ｇ２ｂをタップすることになる。しかしながら、図４に例示したような状況下では、例えば、図７の状態α１に示すように、第１画像面ＧＳ１と第２画像面ＧＳ２とが使用者ＵＳにとって重なった状態となり、使用者ＵＳは、画像Ｇ１越しにディスプレイＤＳを眺めることになる。このため、仮に、状態α１のままであると、使用者ＵＳ（図１参照）は、非常に操作をし難いことになる。これに対して、本実施形態では、既述のように、情報処理装置２００の表示制御部１５０が、装着型表示装置１００と情報処理装置２００との向きを検知することで、これらの相対的な配置関係から、かかる状態になっていることを把握し、装着型表示装置１００の表示態様を変化させている。図７の例では、矢印ＡＡ１に示すように、状態α１から状態α２さらには、状態α３へと徐々に画像Ｇ１の表示輝度を落としていくように変化させることで、ディスプレイＤＳ上の画像Ｇ２が見やすい状態へと移行させている。

なお、状態α３からさらに輝度をさげ、最終的には画像Ｇ１を消すようにしてもよい。すなわち、装着型表示装置１００における表示態様の変化として、表示のフェードアウトを行うようにしてもよい。この場合、フェードアウトにより、いきなり画像が消えず徐々に表示状態が変化していくことで、装着型表示装置１００における表示態様を変化させつつあることを使用者ＵＳに気づかせることができる。仮に、使用者ＵＳが意図しないタイミングで表示状態の変化が生じた場合であっても、使用者ＵＳがこれに気づくことで、適宜動作を行い、完全に表示が消えてしまう前に、元の表示状態に戻すことができる。

また、画像Ｇ１の表示輝度を落とす程度について、外光センサー（照度センサー）ＬＳを利用することも考えられる。すなわち、外環境の明るさに応じて必要な程度で画像Ｇ１の表示輝度を落とすようにしてもよい。

以下、図８等を参照して、上記のような虚像を形成する装着型表示装置１００についての光学的な構造等について、一具体例を示す。

図８は、表示装置である装着型表示装置１００の光学的な構成について示す平面図である。また、図９は、装着型表示装置１００の光学的構造を説明するための平面図である。

まず、図８に示すように、第１及び第２虚像形成光学部１０１ａ，１０１ｂは、樹脂材料等で形成される導光体である第１及び第２導光部材１０ａ，１０ｂをそれぞれ含み、中央部材５０によって、中央で連結されて一体的な部材として、透視型導光ユニット１００Ｃを形成している。言い換えると、透視型導光ユニット１００Ｃは、一対の導光部材１０ａ，１０ｂと中央部材５０とを備える導光ユニットである。一対の導光部材１０ａ，１０ｂは、第１及び第２虚像形成光学部１０１ａ，１０１ｂを構成するものとして、画像光を内部に伝搬させつつ虚像形成に寄与する一対の光学部材である。中央部材５０は、一対の光透過部５０ａ，５０ｂとこれらを繋ぐブリッジ部５０ｃとを有し、樹脂材料等で形成される一体成形部品であり、一対の光透過部５０ａ，５０ｂが、一対の導光部材１０ａ，１０ｂに接合することで、第１表示装置１００Ａと第２表示装置１００Ｂとを連結する連結部材として機能する。より具体的に説明すると、中央部材５０において、一対の光透過部５０ａ，５０ｂのうちの一方である光透過部５０ａは、導光部材１０ａに接合され、他方である光透過部５０ｂは、導光部材１０ｂに接合される。なお、図示の例では、例えば図４に示すように、中央部材５０のうち、ブリッジ部５０ｃから光透過部５０ａにかけての部分及びブリッジ部５０ｃから光透過部５０ｂにかけての部分において、屈曲部分（折れ曲がり部分）を有しないように滑らかにつながっている。屈曲部分（折れ曲がり部分）あるいは段差部分のような箇所が無いことで、外界像が二重に見えてしまうことを回避している。

なお、透視型導光ユニット１００Ｃは、導光によって使用者ＵＳに両眼用の映像を提供する複合型の導光装置２０として、両端部つまり導光部材１０ａ，１０ｂの外端側で外装ケース１０５ｄに支持されている。

また、第１像形成本体部１０５ａは、カバー状の外装ケース１０５ｄ内に、表示素子８０、鏡筒３８、メイン回路基板ＭＤ、左眼用回路基板ＤＬ等を有する。メイン回路基板ＭＤは、ケーブルとしてのフレキシブル基板ＦＢにより各部と接続されている。一方、第２像形成本体部１０５ｂは、外装ケース１０５ｄ内に、表示素子８０、鏡筒３８、右眼用回路基板ＤＲ等を有する。なお、外装ケース１０５ｄは、例えばマグネシウム合金等を材料としている。

例えば、第１像形成本体部１０５ａにおいて、外装ケース１０５ｄに収納される表示素子８０は、左眼用の虚像に対応する像を形成すべく画像光を射出する表示デバイスであり、例えば有機ＥＬの表示パネルやＬＣＤ用のパネル等で構成される。投射レンズ３０は、表示素子８０からの画像光を射出するものであり、第１虚像形成光学部１０１ａにおいて結像系の一部を構成する。鏡筒３８は、投射レンズ３０の一部として、投射レンズ３０を構成する像形成用の光学素子（不図示）を保持する。なお、第２像形成本体部１０５ｂについても、外装ケース１０５ｄに収納される表示素子８０と、鏡筒３８を含む投射レンズ３０とは、右眼用の虚像に対応する像を形成すべく同様の機能を果たす。

以下、図９を参照して、装着型表示装置１００に関する光学的構造について説明する。図９は、装着型表示装置１００のうち、第１表示装置１００Ａの一部を示す図であり、特に第１虚像形成光学部１０１ａの光学的構造を説明するものとなっている。装着型表示装置１００は、既述のように、第１表示装置１００Ａ及び第２表示装置１００Ｂ（図１等参照）で構成されるが、第１表示装置１００Ａと第２表示装置１００Ｂとは、左右対称で同等の構造を有するため、第１表示装置１００Ａについてのみ説明し、第２表示装置１００Ｂについては説明を省略する。なお、導光部材１０ａにおいて画像光の導光に際して光学的な機能を有する第１〜第５面Ｓ１１〜Ｓ１５を有する。これらのうち、眼前の主要な位置を占める第１面Ｓ１１及び第３面Ｓ１３は、平行な平面である。

光透過部５０ａは、光学的な機能を有する側面として、第１透過面Ｓ５１と、第２透過面Ｓ５２と、第３透過面Ｓ５３とを有する。第２透過面Ｓ５２は、第１透過面Ｓ５１と第３透過面Ｓ５３との間に配置されている。第１透過面Ｓ５１は、導光部材１０の第１面Ｓ１１を延長した面上にあり、第２透過面Ｓ５２は、第２面Ｓ１２に対して接合され一体化されている曲面であり、第３透過面Ｓ５３は、導光部材１０の第３面Ｓ１３を延長した面上にある。

第１虚像形成光学部１０１ａのうち導光部材１０ａは、接着層ＣＣを介して光透過部５０ａと接合されている。つまり、光透過部５０ａの第２透過面Ｓ５２は、導光部材１０ａの第２面Ｓ１２に対向して配置され、同じ形状を有する。導光部材１０ａと光透過部５０ａとは、光学面を含む立体的形状を与える本体部材の表面を薄いハードコート層で被覆した構造を有する。導光部材１０ａや光透過部５０ａの本体部材は、可視域で高い光透過性を示す樹脂材料で形成されており、例えば金型内に熱可塑性樹脂を注入し固化させることにより成形される。

以下、画像光ＧＬの光路について概要を説明する。導光部材１０ａは、投射レンズ３０から射出された画像光ＧＬを、第１〜第５面Ｓ１１〜Ｓ１５での反射等により使用者（装着者）ＵＳの眼に向けて導光する。具体的には、投射レンズ３０からの画像光ＧＬは、まず光入射部１１ａに形成されている第４面Ｓ１４の部分に入射して反射膜ＲＭの内面である第５面Ｓ１５で反射され、第４面Ｓ１４に内側から再度入射して全反射され、第３面Ｓ１３に入射して全反射され、第１面Ｓ１１に入射して全反射される。第１面Ｓ１１で全反射された画像光ＧＬは、第２面Ｓ１２に入射し、第２面Ｓ１２に設けたハーフミラー１５を部分的に透過しつつも部分的に反射されて光射出部１１ｂに形成されている第１面Ｓ１１の部分に再度入射して通過する。第１面Ｓ１１を通過した画像光ＧＬは、Ｚ１方向に略平行な光軸ＡＸに沿って全体として進み、使用者ＵＳの眼が配置される射出瞳ＥＰに略平行光束として入射する。つまり、使用者ＵＳは、虚像としての画像光により画像を観察することになる。また、この場合、装着型表示装置１００により視認させる画像の画像面となる第１画像面ＧＳ１（図５参照）は、虚像による仮想的な面ということになるが、＋Ｘ１方向及び＋Ｙ１方向に平行な面となり、＋Ｚ１方向が、法線ベクトルＤＤ１に平行な方向となる。

また、第１虚像形成光学部１０１ａは、導光部材１０ａにより使用者ＵＳに画像光を視認させるとともに、導光部材１０ａと光透過部５０ａとの組み合わせた状態で、使用者ＵＳに歪みの少ない外界像を観察させるものともなっている。この際、第３面Ｓ１３と第１面Ｓ１１とが互いに略平行な平面となっていることで、この部分を透過させる観察に関して視度が略０となり、外界光ＯＬについて収差等をほとんど生じさせない。また、第３透過面Ｓ５３と第１透過面Ｓ５１とが互いに略平行な平面となっている。さらに、第１透過面Ｓ５１と第１面Ｓ１１とが互いに略平行な平面となっていることで、収差等をほとんど生じさせない。以上により、使用者ＵＳは、光透過部５０ａ越しに歪みのない外界像を観察することになる。すなわち、使用者ＵＳは、装着型表示装置１００越しに情報処理装置２００による画像表示を収差等の無い状態で視認できる。

なお、上記した一例の説明では、第２面Ｓ１２のハーフミラー層すなわちハーフミラー１５を、例えば金属反射膜や誘電体多層膜としたが、平面又は曲面のホログラム素子に置き換えることができる。また、第５面Ｓ１５についても、ミラー反射面とする場合のほか、ホログラム素子で構成することも可能である。

以下、図１０のフローチャートを参照して、本実施形態に係る表示システム５００の動作について一例を説明する。なお、ここでは、主として、表示システム５００における各種動作のうち、上述した装着型表示装置１００と情報処理装置２００との相対的な配置関係を把握して、装着型表示装置１００の表示態様の変更を行う動作について説明する。

表示システム５００の各部が起動すると、情報処理装置２００のうち、ＣＰＵ１１０を含む表示制御部１５０は、まず、姿勢検知を行うべく、記憶部１２０から姿勢検知プログラムＰＰを読み出して、頭部側すなわち装着型表示装置１００側の向き検出を開始するとともに（ステップＳ１０１）、スマホ側すなわち情報処理装置２００側の向き検出（つまり自己姿勢検出）を開始する（ステップＳ１０２）。すなわち、各センサーＳＥ１，ＳＥ２において向き検出を行って、検出結果を姿勢データ格納部ＰＰｄに格納する。

一方、表示制御部１５０において、ＣＰＵ１１０は、記憶部１２０から画像表示プログラムＤＰを読み出して、画像処理部１１１として、通常の各種画像処理を行い、装着型表示装置１００における通常の表示を開始する（ステップＳ１０３）。

次に、表示制御部１５０は、記憶部１２０から相対配置算定プログラムＲＣを読み出すとともに、必要に応じてステップＳ１０１及びステップＳ１０２での姿勢検出の結果を姿勢データ格納部ＰＰｄから読み出して、装着型表示装置１００及び情報処理装置２００の姿勢（向き）から両者の相対的な配置関係を算出する（ステップＳ１０４）。さらに、表示制御部１５０は、記憶部１２０から変更要否判定プログラムＣＪを読み出すことで、ＣＰＵ１１０が判定部１１２として機能し、ステップＳ１０４での算定結果（算出結果）に基づいて、装着型表示装置１００の表示態様を変更するか否かを判定する（ステップＳ１０５）。すなわち、ステップＳ１０５において、装着型表示装置１００の法線ベクトルＤＤ１と情報処理装置２００の法線ベクトルＤＤ２について、向き（軸）の方向の関係から、両者が対向していて、かつ、角θが一定範囲内にあるか（すなわち所定の閾値内の角度範囲であるか）が、判定される。

ステップＳ１０５において、両者が対向していてない、あるいは、一定範囲内（角度範囲内）に無いと判定された場合（ステップＳ１０５：ＮＯ）、表示制御部１５０は、装着型表示装置１００における表示輝度を通常値に保つように設定する（ステップＳ１０６ａ）。

一方、ステップＳ１０５において、両者が対向していて、かつ、一定範囲内（角度範囲内）にあると判定された場合（ステップＳ１０５：ＹＥＳ）、表示制御部１５０は、記憶部１２０から表示画像輝度調整プログラムＢＡを読み出して、装着型表示装置１００の表示画像の輝度調整を行う低減設定をする、すなわち、装着型表示装置１００の表示画像の輝度調整を行う（ステップＳ１０６ｂ）。なお、ステップＳ１０６ｂにおける処理としては、例えば図７で例示したような方法で、表示態様を変化させる。

ステップＳ１０６ａ又はステップＳ１０６ｂの後、表示制御部１５０は、ステップＳ１０３で開始した表示動作が終了したか否かを確認し（ステップＳ１０７）、終了していれば（ステップＳ１０７：ＹＥＳ）、全ての動作を終了し、終了していなければ（ステップＳ１０７：ＮＯ）、ステップＳ１０４からの動作を繰り返す。なお、ステップＳ１０１及びステップＳ１０２で開始された向き検出（姿勢検知）の動作は、表示動作が終了するまで継続され、また、都度更新される。

以下、図１１のフローチャートを参照して、本実施形態に係る表示システム５００におけるキャリブレーションの動作について一例を説明する。既述のように、本実施形態では、装着型表示装置１００と情報処理装置２００とが向かい合っている時の状態を事前に設定するためのキャリブレーションが可能となっている。ここでは、特に、キャリブレーションにより、装着型表示装置１００における表示態様を変化させるか否かを定める相対的な配置関係について初期設定を行う初期設定モードを有するものとし、図１１では、当該初期設定モードに関する動作について説明する。初期設定モードの開始については、例えば、表示システム５００においてキャリブレーションによる設定がなされていない場合、表示システム５００を起動すると、最初に初期設定モードを開始させるか否かについてのメッセージが表示されるようにしておくことが考えられる。なお、初期設定モードにおけるキャリブレーションがなされた後や、既になされたキャリブレーションの設定が保持されているといった場合には、図１０に例示したような動作が開始される。

図１１において、表示システム５００の各部が起動すると、表示制御部１５０は、記憶部からキャリブレーションプログラムＣＢを読み出して、初期設定モードを開始させるか否かを確認する（ステップＳ２０１）。すなわち、使用者ＵＳからキャリブレーションによる上記初期設定を行う旨の指令があったか否かを確認する。表示制御部１５０は、ステップＳ２０１において、初期設定モードの開始の指令を受けると（ステップＳ２０１：ＹＥＳ）、頭部側すなわち装着型表示装置１００の位置の確定と、スマホ側すなわち情報処理装置２００の位置の確定とを使用者ＵＳに促す（ステップＳ２０２）。例えば、装着型表示装置１００と情報処理装置２００との配置関係を決定させるべく、「スマホ操作をする時の体勢で静止し、体勢決定ボタンを押してください。」等のメッセージを、体勢決定ボタンとともに、情報処理装置２００のディスプレイＤＳ上に表示する。

ステップＳ２０２において、例えば体勢決定ボタンが押されて、頭部側及びスマホ側の位置（姿勢）が確定すると、表示制御部１５０は、スマホ側の姿勢すなわち情報処理装置２００自身の姿勢の読取りを開始する（ステップＳ２０３ａ）とともに、頭部側すなわち装着型表示装置１００の姿勢の読取りを開始する（ステップＳ２０３ｂ）。つまり、ステップＳ２０３ａでは、第２センサーＳＥ２による情報処理装置２００の姿勢検知に関する各種情報ＳＳ２の取得が開始され、ステップＳ２０３ｂでは、第１センサーＳＥ１による装着型表示装置１００の姿勢検知に関する各種情報ＳＳ１の取得が開始される。

表示制御部１５０は、ステップＳ２０３ａでの読取りを開始後、読取りが完了したか否かを確認し（ステップＳ２０４ａ）、ステップＳ２０４ａにおいて完了していなければ（ステップＳ２０４ａ：ＮＯ）、さらに、読取開始から所定時間以上が経過したか否かを確認し（ステップＳ２０５ａ）、読取りが完了するか所定時間が経過するまで読取りを継続する。また、表示制御部１５０は、ステップＳ２０３ｂでの読取りを開始した後においても、上記と同様の動作をする（ステップＳ２０４ｂ，ステップＳ２０５ｂ）。

ステップＳ２０５ａ又はステップＳ２０５ｂにおいて、所定時間経過しても姿勢の読取りが完了しない場合（ステップＳ２０５ａ：ＮＯ、又は、ステップＳ２０５ｂ：ＮＯ）、姿勢読取エラーが発生したと判断し、動作を終了する。なお、この際、併せて初期設定が不能であった旨のメッセージを使用者ＵＳに提示してもよい。

一方、ステップＳ２０４ａ及びステップＳ２０４ｂにおいて読取りが完了した場合（ステップＳ２０４ａ：ＹＥＳ、かつ、ステップＳ２０４ｂ：ＹＥＳ）、表示制御部１５０は、読み取った姿勢を、装着型表示装置１００と情報処理装置２００とが向かい合っている時の状態を初期設定として、キャリブレーションデータ格納部ＣＡｄに設けた初期設定データ格納部ＩＮｄに記録することで、所期の配置関係を設定登録し（ステップＳ２０７）、一連の処理を終了する。

以上のように、本実施形態に係る表示システム５００は、使用者ＵＳに視認させる画像を表示する表示装置である装着型表示装置１００と、装着型表示装置１００と接続する情報処理装置２００と、装着型表示装置１００に設けられ、第１地磁気センサーＧＥ１を含んで装着型表示装置１００の姿勢を検知する第１センサーＳＥ１と、情報処理装置２００に設けられ、第２地磁気センサーＧＥ２を含んで情報処理装置２００の姿勢を検知する第２センサーＳＥ２と、第１地磁気センサーＧＥ１による検知結果と第２地磁気センサーＧＥ２による検知結果とに基づいて算定される装着型表示装置１００と情報処理装置２００との相対的な配置関係に応じて、装着型表示装置１００における表示態様を変化させる表示制御部１５０とを備える。

上記表示システム５００では、第１及び第２センサーＳＥ１，ＳＥ２による装着型表示装置１００及び情報処理装置２００に関する検知を利用することで把握できる装着型表示装置１００と情報処理装置２００との相対的な配置関係から、表示システム５００の使用者ＵＳが、画像動作の制御部としての情報処理装置２００を操作しようとしていることが判定可能となる。したがって、当該判定に対応して、装着型表示装置１００における表示態様として輝度を落とすように変化させて、情報処理装置２００の視認性を向上させる、といった態様とすることが可能になる。また、上記構成の場合、上記目的を達成するに際して、装着型表示装置１００や情報処理装置２００に受光部や発光部等の新たな部品を設ける必要がなく、また、各種センサーについても、例えば既製品のスマホ等に元々備わっているものを利用できる。

なお、本実施形態については、上記に限らず、種々の変形態様が考えられ、例えば図７に対応する図１２に示すように、情報処理装置２００（スマホ）を、横長の状態で、利用している場合であっても、装着型表示装置１００と情報処理装置２００とが対向した状態にあることを検知し、同様に表示態様を変更することができる。

また、図１３のうち、第１領域ＢＲ１に示す上述した一構成例のもののほかにも、例えば第２領域ＢＲ２に示すように、装着型表示装置１００と、操作用画像を表示する画像表示部を有さずに表面上に実物の操作キーＫＹを有する情報処理装置２１０とで構成される表示システム５００においても、適用可能である。この場合、例えば図７等に対応する図１４において状態β１として示すように、操作キーＫＹに画像Ｇ１が重なって邪魔になる場合があっても、これを検知して、状態β２に示すように、画像Ｇ１の表示輝度を落とすことで、操作キーＫＹの視認性を向上させることができる。

また、図１０のフローチャートを参照して、説明した装着型表示装置１００の表示態様の変更を行う動作についても、種々の変形態様が考えられ、例えば図１５のフローチャートに示すように、図１０の場合について、一部変更した態様とすることも可能である。

図１５に示す一例では、図１０のステップＳ１０５に代えて、ステップＳ１０５ａ〜ステップＳ１０５ｃを設け、装着型表示装置１００において輝度調整を行うか否かの条件を変更している。具体的には、ステップＳ１０４での算定結果（算出結果）に基づいて、装着型表示装置１００の表示態様を変更するか否かを判定するに際して、まず、ステップＳ１０５ａにおいて、装着型表示装置１００の法線ベクトルＤＤ１と情報処理装置２００の法線ベクトルＤＤ２について、向き（軸）の方向が、対向していて、かつ、一定範囲内にあるかを判定する。

ステップＳ１０５ａにおいて、両者が対向していて、かつ、一定範囲内にあると判定された場合（ステップＳ１０５ａ：ＹＥＳ）、表示制御部１５０は、さらに、上記向き（軸）の方向について、一定範囲内のゆらぎがあるか否かを確認する（ステップＳ１０５ｂ）。言い換えると、表示制御部１５０は、法線ベクトルＤＤ１と法線ベクトルＤＤ２とのなす角θについて、所定の角度範囲内のゆらぎが生じているか否かを判定する。

ステップＳ１０５ｂにおいて、ゆらぎがあると判定された場合（ステップＳ１０５ｂ：ＹＥＳ）、表示制御部１５０は、さらに、上記ステップＳ１０５ａ及びステップＳ１０５ｂで説明した状態が一定時間以上継続されているかを確認し（ステップＳ１０５ｃ）、一定時間以上継続されていると判定した場合に（ステップＳ１０５ｃ：ＹＥＳ）、装着型表示装置１００の表示画像の輝度調整を行う（ステップＳ１０６ｂ）。

一方、ステップＳ１０５ａにおいて、両者が対向していてない、あるいは、一定範囲内（角度範囲内）に無いと判定された場合（ステップＳ１０５ａ：ＮＯ）や、ステップＳ１０５ｂにおいて、ゆらぎが所定の条件を満たさない場合（ステップＳ１０５ｂ：ＮＯ）には、表示制御部１５０は、装着型表示装置１００における表示輝度を通常値に保つように設定する（ステップＳ１０６ａ）。

以上のように、ここでの一例では、表示制御部１５０は、法線ベクトルＤＤ１と法線ベクトルＤＤ２とのなす角θについて、所定の角度範囲内のゆらぎが生じており、さらに、当該所定の角度範囲内にある状態が所定時間以上維持された場合に、装着型表示装置１００における表示態様を変化させている。

上記条件のうち、例えば一定範囲内のゆらぎを検知することについては、使用者ＵＳすなわち人が物体を手で保持している場合に自然に（すなわち不可避的に）生じるゆれ（ゆらぎ）や、頭部におけるゆれ（ゆらぎ）を想定したものであり、人の手に保持される情報処理装置２００と、人の頭部に装着される装着型表示装置１００とにおいては、上記のような人の動きに伴ってゆらぎが生じると考えられ、これらのゆらぎを考慮することで、使用者ＵＳ自らが、装着型表示装置１００と情報処理装置２００とを、所定の条件を満たす配置関係に維持していることを検知できる。

また、上記条件のうち、例えば上記のように向き合って、かつ、ゆらぎのある状態が一定時間以上継続されているか否かを検知することについては、使用者ＵＳが意図せずに偶発的に条件を満たす状態が発生してしまうことを抑制するためのものである。すなわち、一定時間以上継続されていることで、使用者ＵＳが意識的に装着型表示装置１００の表示態様を変更したい状態に保持していると判定できる。

なお、上記構成とするに際しては、例えばステップＳ１０５ａ〜ステップＳ１０５ｃに対応するプログラムを変更要否判定プログラムＣＪとして組み込み、ゆらぎや一定時間に関する閾値を閾値データ格納部ＴＨｄに格納し、変更要否判定プログラムＣＪに従って適宜各種閾値を読み出すことで、実装できる。

以下、図１６のフローチャート等を参照して、表示システム５００における上記の姿勢検知に関するモード選択について一例を説明する。

上記に説明した装着型表示装置１００と情報処理装置２００との相対的な配置関係に応じて装着型表示装置１００の表示画像の輝度調整を行う態様、すなわち第１センサーＳＥ１及び第２センサーＳＥ２の姿勢検知を利用した装着型表示装置１００における表示態様の変化を行うモード（以下、検知モードとする）について、利用するか否かを使用者ＵＳが選択可能な構成としてもよい。すなわち、上記検知モードと、第１センサーＳＥ１及び第２センサーＳＥ２の姿勢検知を装着型表示装置１００における表示態様の変化に利用しないモード（以下、非検知モードとする）とのうち、一のモードを選択可能とするように検知選択部を設けた構成としてもよい。具体的には、図３を参照して説明した検知選択プログラムＤＥを記憶部１２０に設けるとともに、図２を参照して説明した検知選択キー（検知選択部）１３１をタッチパネル１３０に設けることで、実装できる。すなわち、検知選択キー１３１を使用者ＵＳがタップすると、表示制御部１５０が検知選択プログラムＤＥを読み出して検知モードを採用するか、非検知モードを採用するかが決定される。

より具体的に説明すると、図１６のフローチャートにおいて、まず、表示システム５００が起動すると、表示制御部１５０は、検知モードが選択されたか否かを確認する（ステップＳ３０１）。ステップＳ３０１において、検知モードが選択されていることが確認されると（ステップＳ３０１：ＹＥＳ）、表示制御部１５０は、姿勢検知に関する一連の処理を行う（ステップＳ３０２）。すなわち、図１０や図１５を参照して一例を説明した処理動作や、さらには、これらの前段となる図１１を参照して一例を説明したキャリブレーションの処理動作を含めた一連の処理を行い、再びステップＳ３０１からの動作を、装着型表示装置１００による表示動作が停止するまで繰り返す。

一方、ステップＳ３０１において、検知モードが選択されていないことすなわち非検知モードが選択されていることが確認されると（ステップＳ３０１：ＮＯ）、表示制御部１５０は、装着型表示装置１００における輝度調整がなされているかを確認する（ステップＳ３０３）。すなわち、表示制御部１５０は、それ以前になされていたステップＳ３０２での一連の処理の結果、装着型表示装置１００の表示態様を変化させるべく輝度調整を行っている状態にあるか否かを確認する。ステップＳ３０３において、輝度調整がなされていないと判定された場合（ステップＳ３０３：ＮＯ）、表示制御部１５０は、特段の処理を行うことなく、再びステップＳ３０１からの動作を、装着型表示装置１００による表示動作が停止するまで繰り返す。

一方、ステップＳ３０３において、輝度調整がなされていると判定された場合（ステップＳ３０３：ＹＥＳ）、当該輝度調整を終了させて通常値での輝度表示設定し直した上で、再びステップＳ３０１からの動作を、装着型表示装置１００による表示動作が停止するまで繰り返す。

〔第２実施形態〕
以下、図１７等を参照して、第２実施形態に係る表示システムについて説明する。なお、本実施形態に係る表示システム６００は、第１実施形態に係る表示システム５００の変形例であり、姿勢検知のためのセンサーとして、カメラをさらに設け、補助的に利用している点において、第１実施形態の場合と異なっている。ただし、上記以外の点については、第１実施形態の場合と同様であるので、上記以外の各部については、詳しい説明を省略する。

図１７は、本実施形態に係る表示システム６００の外観を示す概念的な側断面図であり、図１に対応する図である。また、図１８は、表示システム６００の一構成例を説明するためのブロック図であり、図２に対応する図である。

図１７に示すように、表示システム６００は、装着型表示装置３００と情報処理装置４００とを備え、これらがケーブル１０９を介して接続されている。

まず、表示システム６００のうち、装着型表示装置３００は、中央部分すなわち第１表示装置１００Ａと第２表示装置１００Ｂの間において第１カメラＣＡ１が配置されている点において、図１等の装着型表示装置１００と異なっている。第１カメラＣＡ１は、例えばＡＲ（拡張現実）機能等に利用可能であり、中央に配置されていることで、現実空間の位置検知の精度を高いものとしている。すなわち、使用者ＵＳの視認方向とカメラ画像との間におけるずれの発生を抑える構成となっている。本実施形態では、さらに、第１カメラＣＡ１が、第１センサーＳＥ１の一部として、装着型表示装置３００の周囲を撮像することで、装着型表示装置１００の姿勢検知に関する補助的な情報取得を行うものとなっている。特に、本実施形態では、第１カメラＣＡ１により情報処理装置４００を撮像することで取得した画像データを、情報ＳＳ１として採用する。なお、この情報取得の場合においても、使用者ＵＳの視認方向に合わせた精度の高い画像取得を可能にしている。

一方、表示システム６００のうち、情報処理装置４００は、第２センサーＳＥ２としての撮像部（カメラ）ＣＡが、第２カメラＣＡ２として設けられている点において、図１等の情報処理装置２００と異なっている。より具体的に説明すると、第２カメラＣＡ２が、第２センサーＳＥ２の一部として、情報処理装置４００の周囲を撮像することで、情報処理装置４００の姿勢検知に関する補助的な情報取得を行うものとなっている。特に、本実施形態では、第２カメラＣＡ２により装着型表示装置３００を撮像することで取得した画像データを、情報ＳＳ２として採用する。なお、第１実施形態において既述のように、また、図１７に示すように、第２カメラＣＡ２（撮像部ＣＡ）として、スマホに元々内蔵されているカメラのうちインカメラを採用することで、情報処理装置４００の周囲を撮像するに際して、第２カメラＣＡ２における撮像の向きをディスプレイＤＳにおける表示向きに揃えることができ、装着型表示装置３００と情報処理装置４００とが対向した状態にある場合において、第２カメラＣＡ２が通常の撮像カメラとしての画角かそれ以上の画角を有するものであれば、情報処理装置４００の周囲を撮像することによって対向する装着型表示装置３００を撮像できる。なお、第１カメラＣＡ１についても、視認方向に合わせた状態となっているので、通常の撮像カメラとしての画角かそれ以上の画角を有するものであれば、装着型表示装置１００の周囲を撮像することによって対向する情報処理装置４００を撮像できる。

以下、図１９に一例を概念的に示す画像図を参照して、第１及び第２カメラＣＡ１，ＣＡ２による撮像の様子と、その利用について説明する。

まず、本実施形態においても、第１実施形態の場合と同様に、装着型表示装置３００と情報処理装置４００とが向き合った状態にあることを、確実に捉えることが重要である。このため、本実施形態では、例えば第１及び第２センサーＳＥ１，ＳＥ２を構成する第１及び第２地磁気センサーＧＥ１，ＧＥ２等のモーションセンサーでの姿勢検知に基づいて、装着型表示装置３００と情報処理装置４００とが向き合った状態にあると判定された場合に、併せて第１及び第２カメラＣＡ１，ＣＡ２による撮像を行い、取得された画像データから装着型表示装置３００と情報処理装置４００との位置関係を捉えるようにしている。

装着型表示装置３００と情報処理装置４００とが向き合った状態にあれば、例えば、図１９のうち、第１領域ＣＲ１に示すように、装着型表示装置３００に設けた第１カメラＣＡ１により撮像された画像データＧＧ１において、情報処理装置４００が写る。同様に、図１９のうち、第２領域ＣＲ２に示すように、情報処理装置４００に設けた第２カメラＣＡ２により撮像された画像データＧＧ２において、装着型表示装置３００が写る。

この場合において、例えば、情報処理装置４００の記憶部１２０に、装着型表示装置３００に関する形状等の情報や、情報処理装置４００（すなわち自分自身）に関する形状等の情報を画像データとして予め格納しておき、表示制御部１５０が、当該画像データに基づいて、撮像された各画像データＧＧ１，ＧＧ２を解析することで、装着型表示装置３００や情報処理装置４００が映し出されているかを確認し、装着型表示装置３００と情報処理装置４００とが向き合った状態にあることを判定できる。また、この際、映し出された各装置の大きさや位置等から、向き合った状態にあることをより確実に検出できる。

以上のように、本実施形態においても、第１及び第２センサーＳＥ１，ＳＥ２による装着型表示装置３００及び情報処理装置４００に関する検知を利用することで、装着型表示装置３００と情報処理装置４００との相対的な配置関係を把握できる。さらに、本実施形態では、第１センサーＳＥ１が、装着型表示装置３００の周囲を撮像する第１カメラＣＡ１を含み、第２センサーＳＥ２が、情報処理装置４００の周囲を撮像する第２カメラＣＡ２を含んでいる。さらに、表示制御部１５０が、第２カメラＣＡ２により撮像された装着型表示装置３００の画像データＧＧ２と、第１カメラＣＡ１により撮像された情報処理装置４００の画像データＧＧ１とに基づき、装着型表示装置３００における表示態様を変化させる態様となっている。これにより、第１及び第２カメラＣＡ１，ＣＡ２による撮像に基づく判定が可能となる。

以下、図２０を参照して、第１カメラＣＡ１を利用した判定方法の一例について説明する。なお、図２０は、第１カメラＣＡ１による撮像の様子について、他の一例を概念的に示す画像図である。

図示の例は、第１カメラＣＡ１によって連続的に撮像を行った場合の一例を示している。ここでは、状態γ１〜γ３に示すように、第１カメラＣＡ１により撮像された画像中において、下方側（＋Ｙ１側）に情報処理装置４００の一部又は使用者ＵＳの手ＨＡが検出された場合を示している。すなわち、最初の状態γ１に示す画像データＧＧ１ａにおいては、下方側（＋Ｙ１側）において情報処理装置４００の一部が映し出されており、時間の経過とともに、状態γ２に示す画像データＧＧ１ｂのように、徐々に情報処理装置４００が上方側（−Ｙ１側）に向かって移動していき、最終的に、状態γ３に示す画像データＧＧ１ｃのように、情報処理装置４００と使用者ＵＳの手ＨＡが映し出されている。このように、画像中において、下方側（＋Ｙ１側）から、情報処理装置４００の一部や使用者ＵＳの手ＨＡが映し出されていることを、表示制御部１５０において検出することで、装着型表示装置３００と情報処理装置４００とが特定の相対的な配置関係にあることを把握するようにしてもよい。すなわち、表示制御部１５０が、第１カメラＣＡ１により撮像された画像中において、下方側に情報処理装置４００の一部又は使用者ＵＳの手ＨＡが検出された場合に、装着型表示装置３００における表示態様を変化させるべきか否かの判定を開始するものとしてもよい。

〔変形例及びその他の事項〕
以上で説明した構造は例示であり、同様の機能を達成できる範囲で、種々変更することができる。

上記では、装着型表示装置１００の表示態様を変化させる態様の一例として、装着型表示装置１００における表示輝度を徐々に落としていく、すなわちシースルーにおいて画像光を弱くすることで透過度を上げるべく装着型表示装置１００において薄く画像を表示するものについて記載している。しかし、表示態様を変化させることについては、装着型表示装置１００の表示部とスマホ等で構成される情報処理装置２００とが正対した場合に、当該表示部の画像が、使用者ＵＳの視線を遮ることを防止することができればよく、上記の他にも種々の態様が考えられる。例えば、装着型表示装置１００の画像が使用者ＵＳの視線から逸れるように、使用者ＵＳの視線方向にある画像が動き、隅っこに小さく表示され、視線中心を空けた状態とするものであってもよい。

また、例えば上記に加え、さらに、装着型表示装置１００及び情報処理装置２００の位置を検知することで、例えば装着型表示装置１００と情報処理装置２００との間の距離を検出してもよい。すなわち、人が装着型表示装置１００を装着した状態で、情報処理装置２００を手に持った際の距離として妥当な範囲内にあるか否かについて、判定するものとしてもよい。また、両者間での位置ずれの発生を確認することも可能である。

また、上記において、表示態様を変化させるべき所定の配置関係となっているか否か、すなわち装着型表示装置１００と情報処理装置２００とが向かい合っているか否かを判定するに際して、法線ベクトルＤＤ１と法線ベクトルＤＤ２とのなす角θが、例えば１６０°≦θ≦１８０°の範囲（角θの補角で規定すれば、当該補角が２０度以下）としているが、判定の基準についても種々の態様が考えられ、例えば上記のような装着型表示装置１００と情報処理装置２００との間の距離をさらに考慮してもよい。使用者ＵＳが装着型表示装置１００の映像ではなく情報処理装置２００すなわちスマホの画像を見たいと思った場合、ある程度の範囲内に情報処理装置２００を近づけると考える。すなわち、情報処理装置２００を手に持った際の距離として妥当な範囲内にあるか否かを判定し、この際に、法線ベクトルＤＤ１と法線ベクトルＤＤ２とのなす角θが所定の範囲を満たすか否かで表示態様を変化させるか否かを決定するものとしてもよい。

また、上記第２実施形態では、カメラによる情報取得を、補助的な情報取得としているが、こちらを判定における主要な情報取得手段とし、補助的にモーションセンサーを利用する態様とすることも考えられる。また、カメラについて、第１カメラＣＡ１と第２カメラＣＡ２の双方を利用するものとしているが、どちらか一方のみを使用する態様としてもよい。さらに、第１実施形態における撮像部ＣＡを、第２実施形態において説明した第２カメラＣＡ２として利用する態様も考えられる。

また、上記では、対向しているか否かを判定するための法線ベクトルについて、３次元空間的に捉えているが、例えば、東西南北の２次元的な方向について検知を行って取得される２次元的な法線ベクトルに基づいて、判定を行う態様とすることも考えられる。

また、キャリブレーションについても、種々の態様が考えられる。例えば初期設定を行った後、ジャイロセンサー（角速度センサー）ＧＹ１，ＧＹ２により、装着型表示装置１００及び情報処理装置２００の移動経過を辿ることで、双方の姿勢を検知できるようにすることが考えられる。

また、上記では、表示制御部１５０が、情報処理装置２００，４００に設けられるものとしているが、上記表示制御部１５０に相当する表示態様の変化のための各種処理を行う表示制御部を、情報処理装置２００，４００以外の箇所に設けることも可能である。例えば、装着型表示装置１００と情報処理装置２００との間にＣＰＵ等で構成される表示制御部を設けるものとしてもよく、装着型表示装置１００側に表示制御部を設けることも考えられる。また、無線通信により装着型表示装置１００や情報処理装置２００と通信し、装着型表示装置１００や情報処理装置２００から離隔された装置を、表示制御部とすることも考えられる。

また、上記では、表示制御部１５０を構成する情報処理装置２００が、スマホ等で構成されるものとしているが、スマホ等に依らず、表示制御部１５０に相当する各種処理を行う装置を、装着型表示装置１００たるＨＭＤの本体側に内蔵し、コントローラーの部分のみをユーザーが手に保持する構成としてもよい。

また、表示システム５００の構成の仕方についても、種々の態様が考えられ、ＨＭＤの本体に相当する部分すなわち装着型表示装置１００の部分が、パーソナルコンピューターや各種デバイスの表示部分として利用される態様や、ＨＭＤがＣＰＵやバッテリーを搭載して単体のウェアラブルコンピューターとして構成される態様等とした場合においても、本願発明を適用することができる。また、このような場合として、例えば表示面を有する時計型の入力装置（磁気センサーを含む）を情報処理装置２００とするといった態様も考えられる。

また、上記では、いわゆる光学シースルーについて例示しているが、ビデオシースルーにおいて、本発明を適用することも可能である。ビデオシースルーの場合、装着型表示装置１００の表示態様の変化としては、外界の状況をそのまま映し出すように画像を切り替えるようにすることが考えられる。

以上の説明において、各地磁気センサーＧＥ１，ＧＥ２については、種々のものが適用可能であるが、例えば、ホールセンサーや、ＭＲ（Magneto Resistance）センサー、あるいは、ＭＩ（Magneto Impedance）センサー等を採用することが考えられる。

また、方位算出を精度よく行うには、キャリブレーションに際して、地磁気センサーの較正を行うことが望ましく、例えばキャリブレーション時に地磁気センサーを地磁気内で空間的に一回転させ、その出力ピークから中点を求めるようにしてもよい。また、これに相当する動作を自動較正により行うようにすることも考えられる。また、併せて、地磁気センサーＧＥ１と地磁気センサーＧＥ２との相対的な関係を測定することで、例えば磁場に狂いがあるような箇所においても、両者の相対的な関係については正確に求められるようにしておくことも考えられる。

また、以上の説明では、表示素子８０が有機ＥＬの表示パネルやＬＣＤ用のパネルであるとしたが、表示素子８０は、ＬＥＤアレイ、レーザーアレイ、量子ドット発光型素子等に代表される自発光型の表示素子であってもよい。さらに、表示素子８０は、レーザー光源とスキャナーとを組みあわせたレーザスキャナーを用いたディスプレイであってもよい。なお、ＬＣＤパネルに代えてＬＣＯＳ（Liquid crystal on silicon）技術を用いることもできる。

また、メイン回路基板ＭＤ、左眼用回路基板ＤＬ、右眼用回路基板ＤＲや、第１カメラＣＡ１の動作を制御するカメラ用回路基板は、演算素子、変換素子等の半導体素子によって構成される。具体的には、例えばメイン回路基板ＭＤは、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＣＰＵ（Central Processing Unit）等の回路をいずれか１つ以上含むものによって構成することができる。

以上のように、具体的な一態様における表示システムは、使用者に視認させる画像を表示する表示装置と、表示装置と接続する情報処理装置と、表示装置に設けられ、第１地磁気センサーを含んで表示装置の姿勢を検知する第１センサーと、情報処理装置に設けられ、第２地磁気センサーを含んで情報処理装置の姿勢を検知する第２センサーと、第１地磁気センサーによる検知結果と第２地磁気センサーによる検知結果とに基づいて算定される表示装置と情報処理装置との相対的な配置関係に応じて、表示装置における表示態様を変化させる表示制御部とを備える。

上記表示システムでは、第１センサーの第１地磁気センサーによる表示装置の検知と、第２センサーの第２地磁気センサーによる情報処理装置の検知とを利用することで、表示装置や情報処理装置に受光部や発光部等を設けることなく、表示装置と情報処理装置との相対的な配置関係が把握可能となり、さらに、当該相対的な配置関係に基づいて、表示制御部によって、表示装置における表示態様を変化させることができる。この場合、例えば表示装置と情報処理装置との相対的な配置関係から、表示システムの使用者が制御部を操作しようとしている状態にあることの判定が可能となり、当該判定に対応して、表示装置における表示態様として輝度を落とすように変化させて情報処理装置の視認性を向上させる、といった態様とすることが可能になる。なお、例えば、表示装置としては、ＨＭＤのうち視認させる画像の形成を行う光学系を含む本体部分を用いることができ、また、情報処理装置としては、スマホ等の既存製品を利用することができる。このような場合、ＨＭＤやスマホに元々備えられている地磁気センサーを利用することで、別途部品を増加させることなく、上記構成とすることができる。

具体的な側面において、表示制御部は、相対的な配置関係が表示装置における表示態様を変化させるべき所定の配置関係となっているか否かを判定する判定部を備える。この場合、所定の配置関係となっているか否かによって使用者が情報処理装置を操作する状況になっているか否かを判定できる。

別の側面において、表示制御部は、判定部において、表示装置と情報処理装置とが所定の配置関係にあると判断した場合に、表示装置における表示輝度を落とす。この場合、表示輝度を落としていくことで、情報処理装置の視認性を向上させることができる。

さらに別の側面において、情報処理装置は、操作用画像を表示する操作画面表示部を有し、表示制御部は、表示装置により視認させる画像の画像面となる第１画像面の法線ベクトルと、情報処理装置の操作画面表示部により視認させる画像面となる第２画像面の法線ベクトルとのなす角が所定の角度範囲内にある場合に、表示装置における表示態様を変化させる。この場合、当該角の算出結果によって、表示装置と情報処理装置情報処理装置とが向かい合っていることを判定して、表示装置における表示態様を変化させるべきか否かを決定できる。

さらに別の側面において、表示制御部は、所定の角度範囲内にある状態が所定時間以上維持された場合に、表示装置における表示態様を変化させる。この場合、使用者が意図していない偶発的に条件を満たす配置関係の発生を、検出の対象から外せる。

さらに別の側面において、表示制御部は、第１画像面の法線方向と第２画像面の法線方向とのなす角に所定範囲内のゆらぎが生じている場合に、表示装置における表示態様を変化させる。この場合、ゆらぎを考慮することで、使用者が意識的に、表示装置と情報処理装置とを、所定の条件を満たす配置関係に維持していることを検知できる。

さらに別の側面において、表示制御部は、第１画像面と第２画像面とが使用者にとって重なった状態にある場合に、表示装置における表示態様を変化させる。この場合、第１画像面と第２画像面とが重なった状態であっても、情報処理装置の視認性を向上させることができる。

さらに別の側面において、キャリブレーションにより、表示装置における表示態様を変化させるか否かを定める相対的な配置関係について初期設定を行う初期設定モードを有する。この場合、情報処理装置を操作する時の姿勢を使用者自らが設定できる。

さらに別の側面において、第１センサーは、表示装置の周囲を撮像する第１カメラを含み、第２センサーは、情報処理装置の周囲を撮像する第２カメラを含み、表示制御部は、第２カメラにより撮像された表示装置の画像データと、第１カメラにより撮像された情報処理装置の画像データとに基づき、表示装置における表示態様を変化させる。この場合、第１及び第２カメラによる撮像に基づく判定が可能となる。

さらに別の側面において、表示制御部は、第１カメラにより撮像された画像中において、下方側に情報処理装置の一部又は使用者の手が検出された場合に、表示装置における表示態様を変化させるべきか否かの判定を開始する。情報処理装置を操作する状態になることを、画像中の様子から検出できる。

さらに別の側面において、第１センサー及び第２センサーの姿勢検知を利用した表示装置における表示態様の変化を行う検知モードと、第１センサー及び第２センサーの姿勢検知を表示装置における表示態様の変化に利用しない非検知モードとのうち、一のモードを選択可能とする検知選択部をさらに備える。この場合、検知モードを利用するか否かを使用者が選択できる。

さらに別の側面において、第１センサー及び第２センサーは、加速度センサー及びジャイロセンサーを含む。この場合、より確実かつ精度の高い姿勢検出が可能になる。

さらに別の側面において、表示制御部は、表示装置における表示態様の変化として、表示のフェードアウトを行う。この場合、徐々に変化していくことで、表示装置における表示態様を変化させつつあることを使用者に気づかせることができる。

以上のように、具体的な一態様における表示方法は、使用者に視認させる画像を表示する表示装置と、表示装置と接続する情報処理装置とを備える表示システムにおける表示方法であって、第１地磁気センサーを含む第１センサーにより表示装置の姿勢を検知し、第２地磁気センサーを含む第２センサーにより情報処理装置の姿勢を検知し、第１地磁気センサーによる検知結果と第２地磁気センサーによる検知結果とに基づいて表示装置と情報処理装置との相対的な配置関係を算定し、算定された相対的な配置関係に応じて、表示装置における表示態様を変化させる。

上記表示方法では、第１センサーの第１地磁気センサーによる表示装置の検知と、第２センサーの第２地磁気センサーによる情報処理装置の検知とを利用することで、表示装置や情報処理装置に受光部や発光部等を設けることなく、表示装置と情報処理装置との相対的な配置関係が把握可能となり、さらに、当該相対的な配置関係に基づいて、表示装置における表示態様を変化させることができる。この場合、例えば表示装置と情報処理装置との相対的な配置関係から、表示システムの使用者が制御部を操作しようとしている状態にあることの判定が可能となり、当該判定に対応して、表示装置における表示態様として輝度を落とすように変化させて情報処理装置の視認性を向上させる、といった態様とすることが可能になる。なお、例えば、表示装置としては、ＨＭＤのうち視認させる画像の形成を行う光学系を含む本体部分を用いることができ、また、情報処理装置としては、スマホ等の既存製品を利用することができる。このような場合、ＨＭＤやスマホに元々備えられている地磁気センサーを利用することで、別途部品を増加させることなく、上記構成とすることができる。

以上のように、具体的な一態様における表示プログラムは、使用者に視認させる画像を表示する表示装置と、表示装置と接続する情報処理装置とを備える表示システム用の表示プログラムであって、第１地磁気センサーを含む第１センサーにより表示装置の姿勢を検知し、第２地磁気センサーを含む第２センサーにより情報処理装置の姿勢を検知し、第１地磁気センサーによる検知結果と第２地磁気センサーによる検知結果とに基づいて表示装置と情報処理装置との相対的な配置関係を算定し、算定された相対的な配置関係に応じて、表示装置における表示態様を変化させる。

上記表示プログラムでは、第１センサーの第１地磁気センサーによる表示装置の検知と、第２センサーの第２地磁気センサーによる情報処理装置の検知とを利用することで、表示装置や情報処理装置に受光部や発光部等を設けることなく、表示装置と情報処理装置との相対的な配置関係が把握可能となり、さらに、当該相対的な配置関係に基づいて、表示装置における表示態様を変化させることができる。この場合、例えば表示装置と情報処理装置との相対的な配置関係から、表示システムの使用者が制御部を操作しようとしている状態にあることの判定が可能となり、当該判定に対応して、表示装置における表示態様として輝度を落とすように変化させて情報処理装置の視認性を向上させる、といった態様とすることが可能になる。なお、例えば、表示装置としては、ＨＭＤのうち視認させる画像の形成を行う光学系を含む本体部分を用いることができ、また、情報処理装置としては、スマホ等の既存製品を利用することができる。このような場合、ＨＭＤやスマホに元々備えられている地磁気センサーを利用することで、別途部品を増加させることなく、上記構成とすることができる。

１０ａ，１０ｂ…導光部材、１１ａ…光入射部、１１ｂ…光射出部、１５…ハーフミラー、２０…導光装置、３０…投射レンズ、３８…鏡筒、５０…中央部材、５０ａ，５０ｂ…光透過部、５０ｃ…ブリッジ部、８０…表示素子、１００，３００…装着型表示装置、１００Ａ…第１表示装置、１００Ｂ…第２表示装置、１００Ｃ…透視型導光ユニット、１０４…テンプル、１０５ｄ…外装ケース、１０９…ケーブル、１１０…ＣＰＵ（主制御部）、１１１…画像処理部、１１２…判定部、１２０…記憶部、１３０…タッチパネル、１３１…検知選択キー（検知選択部）、１５０…表示制御部、１９１、１９２…送信部、１９３，１９４…受信部、２００，２１０，４００…情報処理装置、５００，６００…表示システム、ＡＡ１…矢印、ＡＣ１…第１加速度センサー、ＡＣ２…第２加速度センサー、ＡＸ…光軸、ＢＡ…表示画像輝度調整プログラム、ＣＡ…撮像部（カメラ）、ＣＡ１…第１カメラ、ＣＡ２…第２カメラ、ＣＡｄ…キャリブレーションデータ格納部、ＣＢ…キャリブレーションプログラム、ＣＣ…接着層、ＣＪ…変更要否判定プログラム、ＣＰ…表示態様変更プログラム、ＤＡ…データ格納部、ＤＤ…表示装置向き検知プログラム、ＤＤ１，ＤＤ２…法線ベクトル、ＤＥ…検知選択プログラム、ＤＧ…表示装置画像処理プログラム、ＤＬ…左眼用回路基板、ＤＰ…画像表示プログラム、ＤＰｄ…表示画像姿勢データ格納部、ＤＲ…右眼用回路基板、ＤＳ…ディスプレイ（操作画像表示部）、ＥＰ…射出瞳、ＦＢ…フレキシブル基板、Ｇ１，Ｇ２…画像、Ｇ２ａ…画像部分、Ｇ２ｂ…操作用画像、ＧＥ１…第１地磁気センサー、ＧＥ２…第２地磁気センサー、ＧＧ１，ＧＧ１ａ，ＧＧ１ｂ，ＧＧ１ｃ，ＧＧ２…画像データ、ＧＧｄ…画像データ格納部、ＧＬ…画像光、ＧＳ１…第１画像面、ＧＳ２…第２画像面、ＧＹ１…第１ジャイロセンサー（角速度センサー）、ＧＹ２…第２ジャイロセンサー（角速度センサー）、ＨＡ…手、ＩＮｄ…初期設定データ格納部、ＫＹ…操作キー、ＬＳ…外光センサー（照度センサー）、ＭＤ…メイン回路基板、ＯＬ…外界光、ＰＡ…プログラム格納部、ＰＰ…姿勢検知プログラム、ＰＰｄ…姿勢データ格納部、ＲＣ…相対配置算定プログラム、ＲＭ…反射膜、ＳＤ…スマホ向き検知プログラム、ＳＥ１…第１センサー、ＳＥ２…第２センサー、ＳＧ…スマホ画像処理プログラム、ＳＰｄ…スマホ姿勢データ格納部、ＳＳ１，ＳＳ２…情報、ＴＨｄ…閾値データ格納部、ＵＳ…使用者（観察者，装着者）、ＶＶ１，ＶＶ２…画像情報、α１〜α３，β１，β２，γ１〜γ３…状態、θ…角

Claims

使用者に視認させる画像を表示する表示装置と、
前記表示装置と接続する情報処理装置と、
前記表示装置に設けられ、第１地磁気センサーを含んで前記表示装置の姿勢を検知する第１センサーと、
前記情報処理装置に設けられ、第２地磁気センサーを含んで前記情報処理装置の姿勢を検知する第２センサーと、
前記第１地磁気センサーによる検知結果と前記第２地磁気センサーによる検知結果とに基づいて算定される前記表示装置と前記情報処理装置との相対的な配置関係に応じて、前記表示装置における表示態様を変化させる表示制御部と
を備える表示システム。
前記表示制御部は、前記相対的な配置関係が前記表示装置における表示態様を変化させるべき所定の配置関係となっているか否かを判定する判定部を備える、請求項１に記載の表示システム。
前記表示制御部は、前記判定部において、前記表示装置と前記情報処理装置とが前記所定の配置関係にあると判断した場合に、前記表示装置における表示輝度を落とす、請求項２に記載の表示システム。
前記情報処理装置は、操作用画像を表示する操作画面表示部を有し、
前記表示制御部は、前記表示装置により視認させる画像の画像面となる第１画像面の法線ベクトルと、前記情報処理装置の前記操作画面表示部により視認させる画像面となる第２画像面の法線ベクトルとのなす角が所定の角度範囲内にある場合に、前記表示装置における表示態様を変化させる、請求項１〜３のいずれか一項に記載の表示システム。
前記表示制御部は、前記所定の角度範囲内にある状態が所定時間以上維持された場合に、前記表示装置における表示態様を変化させる、請求項４に記載の表示システム。
前記表示制御部は、前記第１画像面の法線方向と前記第２画像面の法線方向とのなす角に所定範囲内のゆらぎが生じている場合に、前記表示装置における表示態様を変化させる、請求項４及び５のいずれか一項に記載の表示システム。
前記表示制御部は、前記第１画像面と前記第２画像面とが前記使用者にとって重なった状態にある場合に、前記表示装置における表示態様を変化させる、請求項４〜６のいずれか一項に記載の表示システム。
キャリブレーションにより、前記表示装置における表示態様を変化させるか否かを定める前記相対的な配置関係について初期設定を行う初期設定モードを有する、請求項１〜７のいずれか一項に記載の表示システム。
前記第１センサーは、前記表示装置の周囲を撮像する第１カメラを含み、
前記第２センサーは、前記情報処理装置の周囲を撮像する第２カメラを含み、
前記表示制御部は、前記第２カメラにより撮像された前記表示装置の画像データと、前記第１カメラにより撮像された前記情報処理装置の画像データとに基づき、前記表示装置における表示態様を変化させる、請求項１〜８のいずれか一項に記載の表示システム。
前記表示制御部は、前記第１カメラにより撮像された画像中において、下方側に前記情報処理装置の一部又は前記使用者の手が検出された場合に、前記表示装置における表示態様を変化させるべきか否かの判定を開始する、請求項９に記載の表示システム。
前記第１センサー及び前記第２センサーの姿勢検知を利用した前記表示装置における表示態様の変化を行う検知モードと、前記第１センサー及び前記第２センサーの姿勢検知を前記表示装置における表示態様の変化に利用しない非検知モードとのうち、一のモードを選択可能とする検知選択部をさらに備える、請求項１〜１０のいずれか一項に記載の表示システム。
前記第１センサー及び前記第２センサーは、加速度センサー及びジャイロセンサーを含む、請求項１〜１１のいずれか一項に記載の表示システム。
前記表示制御部は、前記表示装置における表示態様の変化として、表示のフェードアウトを行う、請求項１〜１２のいずれか一項に記載の表示システム。
使用者に視認させる画像を表示する表示装置と、前記表示装置と接続する情報処理装置とを備える表示システムにおける表示方法であって、
第１地磁気センサーを含む第１センサーにより前記表示装置の姿勢を検知し、
第２地磁気センサーを含む第２センサーにより前記情報処理装置の姿勢を検知し、
前記第１地磁気センサーによる検知結果と前記第２地磁気センサーによる検知結果とに基づいて前記表示装置と前記情報処理装置との相対的な配置関係を算定し、
算定された前記相対的な配置関係に応じて、前記表示装置における表示態様を変化させる、表示方法。
使用者に視認させる画像を表示する表示装置と、前記表示装置と接続する情報処理装置とを備える表示システム用の表示プログラムであって、
第１地磁気センサーを含む第１センサーにより前記表示装置の姿勢を検知し、
第２地磁気センサーを含む第２センサーにより前記情報処理装置の姿勢を検知し、
前記第１地磁気センサーによる検知結果と前記第２地磁気センサーによる検知結果とに基づいて前記表示装置と前記情報処理装置との相対的な配置関係を算定し、
算定された前記相対的な配置関係に応じて、前記表示装置における表示態様を変化させる、表示プログラム。