JP2016109910A - 表示装置、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】センサーを備えた表示装置において、センサーの検出値を利用する制御部の処理負荷を軽減し、回路構成の複雑化を回避する。【解決手段】頭部装着型表示装置１００は、画像を表示する右表示駆動部２２及び左表示駆動部２４と、複数のセンサーと、複数のセンサーの検出値に基づき右表示駆動部２２及び左表示駆動部２４の表示を制御する制御部１１０と、複数のセンサーの検出値を取得し、複数のセンサーの検出値を含むデータを制御部１１０に送信するサブ制御部１５０と、を備える。【選択図】図３

Description

本発明は、表示装置、及び、表示装置の制御方法に関する。

従来、表示部とともに各種のセンサーを備えた表示装置が知られている（例えば、特許文献１参照）。この種の表示装置では、センサーの検出値を表示の制御に利用することがある。例えば、特許文献１に記載の表示装置は、センサー部を備え、センサー部によりセンシングをした結果を示す信号と、インタラプトを示す信号とが、制御装置の制御部に入力され、センシング結果をもとに制御部が表示制御を行う。

特開２０１３−１１４１６０号公報

ところで、センサーの種類によって、サンプリング周期や検出値のデータ量は様々である。このため、制御部は、接続されたセンサーの仕様に合わせて検出値を取得する必要があり、センサーの種類や数が多くなるほど負荷が増大する。また、多くのセンサーを制御部に接続すると、回路構成の複雑化を招く可能性もあった。
本発明は上記事情に鑑みてなされたものであり、センサーを備えた表示装置において、センサーの検出値を利用する制御部の処理負荷を軽減し、回路構成の複雑化を回避することを目的とする。

上記目的を達成するために、本発明は、表示部を備えた表示装置であって、複数のセンサーと、前記表示装置を制御する第１制御部と、複数の前記センサーに接続され、前記第１制御部に複数の前記センサーの検出値を含むデータを送信する第２制御部と、を備えることを特徴とする。
本発明によれば、複数のセンサーに接続する第２制御部が、表示装置を制御する第１制御部に対してセンサーの検出値を送信するので、第１制御部が直接センサーを制御しなくても良い。このため、表示装置を制御する第１制御部の負荷を増やすことなく、第２制御部により、例えばセンサーの仕様や特性の差に対応した制御を実行できる。従って、第１制御部の処理負荷を軽減し、第１制御部の消費電力の低減、及び、第１制御部の処理速度の向上を図ることができる。また、第１制御部を含む回路構成の複雑化を回避できる。

また、本発明は、上記表示装置において、前記第２制御部は、前記第１制御部の制御に基づき、複数の前記センサーの制御をとりまとめて実行すること、を特徴とする。
本発明によれば、第１制御部の負荷を増やすことなく、多数のセンサーの制御や、センサーに対するきめ細かい制御を行うことが可能となる。

また、本発明は、上記表示装置において、前記第２制御部は、複数の前記センサーの検出値を、複数の異なるサンプリング周期で取得すること、を特徴とする。
本発明によれば、第１制御部は、サンプリング周期が異なる複数のセンサーの検出値を取得でき、この検出値を取得する処理における第１制御部の処理負荷を軽減できる。

また、本発明は、上記表示装置において、前記第２制御部は、第１サンプリング周期、及び、前記第１サンプリング周期より長い第２サンプリング周期で、複数の前記センサーの検出値を取得し、前記第１サンプリング周期で取得した前記センサーの検出値と、前記第２サンプリング周期で取得した前記センサーの検出値とを含むデータを前記第１制御部に送信すること、を特徴とする。
本発明によれば、第１制御部は、サンプリング周期が異なる複数のセンサーの検出値を取得でき、この検出値を取得する処理における第１制御部の処理負荷を軽減できる。

また、本発明は、上記表示装置において、前記第２制御部は、前記第１制御部からコマンドを受信した場合に、前記センサーの検出値に基づき予め設定された所定処理を実行すること、を特徴とする。
本発明によれば、センサーの検出値を取得する第２制御部が、センサーの検出値に基づく処理を実行するので、第１制御部の処理負荷をより一層、軽減できる。

また、本発明は、上記表示装置において、前記第２制御部は、前記所定処理として、前記センサーの検出値に基づき、前記表示部の環境に対応して前記表示部の表示状態を変化させる処理を実行すること、を特徴とする。
本発明によれば、第１制御部の負荷を増大させずに、表示部の環境に対応して表示状態を変化させる処理を実行できる。

また、本発明は、上記表示装置において、前記第２制御部は設定データを記憶する設定データ記憶部に接続され、前記設定データ記憶部に記憶された設定データを用いて前記所定処理を実行すること、を特徴とする。
本発明によれば、センサーの検出値を取得する第２制御部が、設定データに基づき表示状態を変化させる処理を実行できる。
ここで、設定データを記憶する設定データ記憶部を、第２制御部と一体に、或いは第２制御部の内部に設けてもよい。

また、本発明は、上記表示装置において、前記第２制御部は、前記センサーから取得した検出値を前記第１制御部に送信するまで保持すること、を特徴とする。
本発明によれば、第２制御部がセンサーの検出値を取得するタイミングに制約を受けることなく、第１制御部が処理を実行できるので、処理負荷を、より一層軽減できる。

また、本発明は、上記表示装置において、前記第２制御部は、いずれかの前記センサーの検出値に基づき、他の前記センサーの検出値に対する処理を実行し、処理後の検出値を前記第１制御部に送信すること、を特徴とする。
本発明によれば、センサーの検出値に基づき他のセンサーの検出値を補正したり、センサーフュージョン等の処理を行ったりすることができる。

また、本発明は、上記表示装置において、前記第１制御部を有する第１本体と、前記第２制御部及び前記表示部を有する第２本体と、を備え、前記第２制御部は前記第２本体に設けられた複数の前記センサーに接続され、前記第１本体にはセンサーが設けられ、前記第１本体に設けられたセンサーは前記第１制御部に接続され、前記第１制御部は、前記第２本体の前記センサーの検出値及び位置と、前記第１本体に設けられた前記センサーの検出値及び位置とに基づき、特性値を算出すること、を特徴とする。
本発明によれば、第１制御部が、第１制御部を有する第１本体のセンサーの検出値と、表示部を備える第２本体のセンサーの検出値とを利用して、特性値を得ることができ、この特性値の算出に関して第１制御部の負荷を軽減できる。

また、本発明は、上記表示装置において、前記第１制御部、及び前記表示部を有する第１本体と、前記第２制御部を有する第２本体と、を備え、前記第２制御部は前記第２本体に設けられた複数の前記センサーに接続され、前記第１本体にはセンサーが設けられ、前記第１本体に設けられたセンサーは前記第１制御部に接続され、前記第１制御部は、前記第１本体に設けられた前記センサー及び前記第２本体に設けられた前記センサーの検出値に基づき制御を行うこと、を特徴とする。
本発明によれば、表示部とともに第１本体に設けられた第１制御部が、第２本体のセンサーの検出値を取得でき、この第２本体のセンサーの検出値を取得する処理の負荷を軽減できる。

また、上記目的を達成するために、本発明の表示装置の制御方法は、表示部と、複数のセンサーと、第１及び第２制御部とを備えた表示装置を制御し、複数の前記センサーに接続された前記第２制御部により、複数の前記センサーに対する制御をとりまとめて行い、複数の前記センサーの検出値を含むデータを、前記表示装置を制御する前記第１制御部に送信すること、を特徴とする。
本発明によれば、表示装置を制御する第１制御部が直接センサーを制御する必要がなく、この第１制御部の負荷を増やすことなく、第２制御部により、例えばセンサーの仕様や特性の差に対応した制御を実行できる。このため、第１制御部の処理負荷を軽減し、第１制御部の消費電力の低減、及び、第１制御部の処理速度の向上を図ることができる。また、第１制御部を含む回路構成の複雑化を回避できる。

頭部装着型表示装置の外観構成を示す説明図。 画像表示部の光学系の構成を示す図。 頭部装着型表示装置を構成する各部の機能ブロック図。 頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。 頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。 頭部装着型表示装置の動作を示すフローチャートであり、（Ａ）は制御装置の動作を示し、（Ｂ）は画像表示部の動作を示す。

図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、図２を参照して後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。

カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２を備える。また、左表示駆動部２４は、左バックライト２２２の拡散板で拡散された光の光路上に配置される透過型の左ＬＣＤ２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板２６２（光学素子）に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。

右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１を備える。また、右表示駆動部２２は、右バックライト２２１の拡散板で拡散された光の光路上に配置される透過型の右ＬＣＤ２４１、および、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６１（光学素子）に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。

使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。

なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。

画像表示部２０（図１）は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備えるハーネスである。右コード４２及び左コード４４は、本体コード４８が２本に分岐し、右コード４２は右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。

連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。

制御装置１０は、画像表示部２０の本体（第２本体）とは別体となる箱形の本体（第１本体）を有し、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。

トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。

図３は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
制御装置１０は、制御装置１０及び画像表示部２０を制御する制御部１１０（第１制御部）を備える。制御部１１０は、例えばマイクロプロセッサーで構成され、制御部１１０が処理するデータ等を一時的に記憶するメモリー１２１、及び、制御部１１０が処理するデータ等を不揮発的に記憶するフラッシュメモリー１２２に接続される。メモリー１２１及びフラッシュメモリー１２２はいずれも半導体素子により構成され、データバスを介して制御部１１０に接続する。

制御部１１０には、電源制御部１２３、ＵＩ（ユーザーインターフェイス）制御部１２４、無線Ｉ／Ｆ（インターフェイス）制御部１２５、音声制御部１２６、センサーＩＣ１２７、及び、外部Ｉ／Ｆ（インターフェイス）部１２８が接続される。
頭部装着型表示装置１００は、電源として一次電池または二次電池を備え、電源制御部１２３は、これら電池に接続されるＩＣで構成される。電源制御部１２３は、制御部１１０の制御に従って電池の残容量の検出を行い、検出値のデータ、または残容量が設定値以下となったことを示すデータを制御部１１０に出力する。

ＵＩ制御部１２４は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、及びメニューキー１７の各操作部、点灯部１２、及び、トラックパッド１４が接続されるＩＣである。上記各操作部は入力部として機能し、点灯部１２及びトラックパッド１４は出力部として機能し、頭部装着型表示装置１００のユーザーインターフェイスを構成する。ＵＩ制御部１２４は、上記操作部における操作を検出して、操作に対応する操作データを制御部１１０に出力する。また、ＵＩ制御部１２４は、制御部１１０の制御に従って、点灯部１２の点灯／消灯、及びトラックパッド１４における表示を行う。

無線Ｉ／Ｆ制御部１２５は、無線通信インターフェイス（図示略）に接続される制御ＩＣであり、制御部１１０の制御に従って、上記無線通信インターフェイスによる通信を実行する。制御装置１０が備える無線通信インターフェイスは、例えば、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
音声制御部１２６は、右イヤホン３２、左イヤホン３４、及びマイク６３に接続され、Ａ／Ｄ（アナログ／ディジタル）コンバーターやアンプ等を備えるＩＣである。音声制御部１２６は、制御部１１０から入力される音声データに基づき右イヤホン３２及び左イヤホン３４から音声を出力させる。また、音声制御部１２６は、マイク６３が集音する音声に基づき音声データを生成して制御部１１０に出力する。

センサーＩＣ１２７は、例えば、３軸加速度センサー、３軸ジャイロセンサー、及び３軸地磁気センサーを備え、例えば上記センサーを具備する１つのＩＣで構成される。センサーＩＣ１２７は、制御部１１０の制御に従って検出を実行し、各センサーの検出値を示すデータを制御部１１０に出力する。センサーＩＣ１２７が備えるセンサーの数や種類は制限されず、照度センサー、温度センサー、圧力センサー等を備えてもよい。
外部Ｉ／Ｆ部１２８は、頭部装着型表示装置１００を外部機器に接続するインターフェイスである。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部Ｉ／Ｆ部１２８には、頭部装着型表示装置１００に対してコンテンツを供給する種々の外部機器を接続できる。これらの外部機器は、頭部装着型表示装置１００に画像を供給する画像供給装置ということもでき、例えば、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。また、外部Ｉ／Ｆ部１２８は、右イヤホン３２、左イヤホン３４及びマイク６３に繋がる端子を設けてもよく、この場合、音声制御部１２６が処理するアナログ音声信号は外部Ｉ／Ｆ部１２８を介して入出力される。

制御部１１０には、Ｉ／Ｆ（インターフェイス）部１１５が接続される。Ｉ／Ｆ部１１５は接続部４０に一端に接続するコネクター等を備えたインターフェイスであり、接続部４０の他端は画像表示部２０のＩ／Ｆ部１５５に接続される。
制御部１１０は、接続部４０を介して、画像表示部２０が備えるサブ制御部１５０とデータ通信を実行する。

制御部１１０は、内蔵するＲＯＭに記憶するプログラムを実行して、頭部装着型表示装置１００の各部を制御する。制御部１１０は、センサーＩＣ１２７から入力されるデータに基づきセンサーの検出値を取得して、メモリー１２１に記憶する。このとき、制御部１１０は、センサーの検出値に対応付けて、検出値を取得した時刻を示すタイムスタンプ情報を付加して記憶する。
また、制御部１１０は、接続部４０を介して、画像表示部２０が備えるセンサー（第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び、照度センサー１６４）の検出値を示すデータを受信する。制御部１１０は、受信したデータをメモリー１２１に記憶する。制御部１１０が受信するデータは、サブ制御部１５０が付加したタイムスタンプ情報を含む。制御部１１０は、上記のようにセンサーＩＣ１２７の検出値に付加するタイムスタンプ情報を、サブ制御部１５０が付加したタイムスタンプ情報と区別できる態様で付加し、メモリー１２１に記憶する。メモリー１２１には、センサーの検出値が、データの属性の１つとしてタイムスタンプ情報が付加されたデータ形式で記憶される。ここで、制御部１１０は、センサーの検出値のデータを、フラッシュメモリー１２２に記憶してもよい。

制御部１１０は、外部Ｉ／Ｆ部１２８または無線Ｉ／Ｆ制御部１２５により接続する外部機器から、コンテンツのデータを受信して、フラッシュメモリー１２２に記憶する。コンテンツのデータは、画像表示部２０で表示するテキストや画像等のデータであり、右イヤホン３２及び左イヤホン３４で出力する音声のデータを含んでもよい。制御部１１０は、頭部装着型表示装置１００を制御してコンテンツを再生する。具体的には、制御部１１０は、コンテンツの表示用のデータをサブ制御部１５０に送信して表示を実行させ、コンテンツの音声データを音声制御部１２６に出力して音声を出力させる。また、外部機器から受信するコンテンツのデータが、再生に関する条件を示すデータを含む場合、制御部１１０は、この条件に従ってコンテンツを再生する。例えば、画像表示部２０において検出される位置や傾き等のセンサーの検出値が、条件に該当する場合に、検出値に対応するテキストや画像を表示させる。

画像表示部２０は、制御部１１０と通信を実行し、画像表示部２０の各部を制御するサブ制御部１５０を備える。サブ制御部１５０は、例えばマイクロプロセッサーで構成され、Ｉ／Ｆ部１５５により接続部４０に接続され、接続部４０を介して制御部１１０との間でデータ通信を実行する。
サブ制御部１５０には、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４のセンサー類が接続される。第１センサー１６１及び第２センサー１６２は、それぞれ、１または複数のセンサーを内蔵するＩＣである。本実施形態では一例として、第１センサー１６１は、３軸加速度センサー、及び３軸ジャイロセンサーを内蔵し、第２センサー１６２は、３軸加速度センサー、３軸ジャイロセンサー、及び、３軸地磁気センサーを備える。
第１センサー１６１及び第２センサー１６２は、サブ制御部１５０の制御により駆動され、内蔵する各センサーの検出値を示すデータを、サブ制御部１５０に出力する。

第１センサー１６１と第２センサー１６２は、加速度センサー及びジャイロセンサーを備える点で共通するが、第１センサー１６１は狭レンジ、高分解能センサーとして構成され、第２センサー１６２は広レンジ、低分解能センサーとして構成される。すなわち、第１センサー１６１の加速度センサー及びジャイロセンサーは、第２センサー１６２の加速度センサー及びジャイロセンサーに比べ、分解能が高く、検出範囲が狭い。別の言い方をすれば、第２センサー１６２の加速度センサー及びジャイロセンサーは、第１センサー１６１の加速度センサー及びジャイロセンサーに比べ、分解能が低く、検出範囲が広い。

ＧＰＳ１６３は、ＧＰＳ衛星や屋内に設置される疑似ＧＰＳ送信機（図示略）が送信する位置検出用の信号を受信して、画像表示部２０の現在位置を算出し、算出したデータをサブ制御部１５０に出力する。ＧＰＳ１６３は、位置検出用の信号を受信する受信機としての機能のみ有する構成としてもよく、この場合、ＧＰＳ１６３が出力するデータに基づきサブ制御部１５０が現在位置を算出する処理を行えば良い。
照度センサー１６４は、画像表示部２０において表面に露出する位置に配置され、サブ制御部１５０の制御により照度を検出し、検出値を示すデータをサブ制御部１５０に出力する。

ＥＥＰＲＯＭ１６５（設定データ記憶部）は、サブ制御部１５０が実行する処理に関するデータ等を不揮発的に記憶する。
また、サブ制御部１５０にはカメラ６１が接続され、サブ制御部１５０は、カメラ６１を制御して撮像を実行させ、カメラ６１の撮像画像データを制御部１１０に送信する。

サブ制御部１５０には、右ＬＣＤ２４１を駆動して描画を行うＬＣＤ駆動部１６７、及び、左ＬＣＤ２４２を駆動して描画を行うＬＣＤ駆動部１６８が接続される。サブ制御部１５０は、制御部１１０からコンテンツのデータを受信し、受信したデータに含まれるテキストや画像を表示する表示データを生成してＬＣＤ駆動部１６７、１６８に出力し、表示を実行させる。
また、サブ制御部１５０は、右バックライト２２１を駆動するバックライト駆動部１６９、及び、左バックライト２２２を駆動するバックライト駆動部１７０に接続される。サブ制御部１５０は、バックライト駆動部１６９、１７０に対し、ＰＷＭ制御用のタイミングデータを含む制御データを出力する。バックライト駆動部１６９、１７０は、サブ制御部１５０から入力される制御データに基づき、右バックライト２２１、左バックライト２２２に駆動電圧とパルスを供給して、右バックライト２２１、左バックライト２２２を点灯させ、光量の制御を行う。

制御部１１０とサブ制御部１５０とを接続する接続部４０は、制御データバス４１Ａ、画像データバス４１Ｂ、表示データバス４１Ｃ、４１Ｄを含む複数のデータバスを有する。これらのデータバスは、互いに独立してデータを伝送可能であるが、各データバスを構成する信号線が物理的に区分された構成であってもよいし、各データバスが共通の信号線を用いて仮想的あるいは論理的に構成されてもよい。
制御データバス４１Ａは、制御部１１０からサブ制御部１５０に対して送信される制御データ、サブ制御部１５０が制御部１１０に送信するセンサーの検出値のデータ等を伝送する。画像データバス４１Ｂは、サブ制御部１５０から制御部１１０に、カメラ６１の撮像画像データを伝送する。表示データバス４１Ｃは、右表示駆動部２２で表示するデータを伝送し、表示データバス４１Ｄは左表示駆動部２４で表示するデータを伝送する。

画像表示部２０は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の複数のセンサーを備え、これらのセンサーのサンプリング周期は大きく異なることもある。例えば、第１センサー１６１及び第２センサー１６２の加速度センサーのサンプリング周期（サンプリング頻度）は２００回／秒以上となることが考えられるが、照度センサー１６４のサンプリング周期は１回／秒程度でも十分に役立つことが考えられる。これらのセンサーは、サブ制御部１５０がサンプリング周期の設定を行い、設定したサンプリング周期に従ってサブ制御部１５０が検出値を取得する。サブ制御部１５０は、各センサーからサンプリングした検出値のデータを、制御データバス４１Ａにおいて時分割で制御部１１０に送信する。このため、サンプリング周期の遅い（サンプリング頻度が低い、或いは、サンプリング間隔が長いと言い換えられる）センサーを制御するために制御データバス４１Ａが長時間占有されることがない。これにより、制御データバス４１Ａのオーバーヘッドを低減し、制御データバス４１Ａで多数のセンサーの検出値を効率よく伝送できる。また、サブ制御部１５０は、ＲＡＭ（図示略）を内蔵し、センサーの検出値を取得した場合はＲＡＭに一時的に記憶する。サブ制御部１５０は、ＲＡＭに記憶したデータの送信タイミングを調整して、データを制御データバス４１Ａに送出する。このため、サブ制御部１５０の動作も、各センサーのサンプリング周期の制約を受けにくく、センサーの制御のためにサブ制御部１５０の処理が占有される事態を防止できる。

図４は、頭部装着型表示装置１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。
頭部装着型表示装置１００においてセンサーの検出値に基づく処理を実行する場合、制御部１１０が、センサーの有効化を指示するコマンドを生成してサブ制御部１５０に送信する（ステップＳ１１）。このコマンドは制御データバス４１Ａを介して伝送され、サブ制御部１５０はコマンドを受信する（ステップＳ２１）。サブ制御部１５０はコマンドに従って、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４を有効化し（ステップＳ２２）、サンプリング周期をセンサー毎に設定する（ステップＳ２３）。続いて、制御部１１０は、検出を行う対象のセンサー、或いは、必要な検出値の種類を指定する検出値要求コマンドを生成して送信し（ステップＳ１２）、この検出値要求コマンドをサブ制御部１５０が受信する（ステップＳ２４）。ステップＳ２２では、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の少なくとも一部について、電源供給の開始や初期化等の処理が行われる。サブ制御部１５０は、各センサーのうち、ステップＳ２４で受信する検出値要求コマンドで要求された検出値に対応するセンサーのみを、ステップＳ２４を受信した後に有効化及びサンプリング周期の設定をしてもよい。また、ステップＳ１１で送信されるコマンド及びステップＳ１２で送信される検出値要求コマンドが、ひとまとまりのデータ、或いは１つのコマンドとして送受信されてもよい。

サブ制御部１５０は、ステップＳ２４で受信した検出値要求コマンドで要求された検出値が、複合処理により算出する必要のある検出値か否かを判定する（ステップＳ２５）。例えば、検出値要求コマンドが、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の検出値を指定する場合、複合処理は必要ないと判定し（ステップＳ２５；ＮＯ）、後述するステップＳ２７に移行する。
これに対し、検出値要求コマンドで、画像表示部２０が備えるセンサーの一部または全部の検出値に基づく演算処理で求められる検出値が指定された場合、サブ制御部１５０は、複合処理が必要と判定する（ステップＳ２５；ＹＥＳ）。この場合、サブ制御部１５０は、実行すべき処理を設定し（ステップＳ２６）、ステップＳ２７に移行する。

サブ制御部１５０が実行する処理は、例えば、センサーフュージョン処理、補間処理、及び、代替処理である。センサーフュージョン処理は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の検出値のうち、複数の検出値を用いた演算処理を行い、センサーで直接検出できない種類の値を擬似的に求める処理である。これにより、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の各センサーのうち一つ、或いは少数のセンサーでは直接検出できない種類の値を求めることができる。また、センサーフュージョン処理では、上記のセンサーの一つ、または複数のセンサーで直接検出し、センサーが検出値として出力できる種類の値を、より高精度で求める目的でも利用できる。つまり、センサーの検出値の基づく演算処理により、センサーが直接検出できない制度の値を求めることもできる。例えば、第１センサー１６１及び第２センサー１６２が出力する角速度の検出値に基づき、センサーフュージョン処理を行い、より高精度の角速度の検出値を求めることができる。加速度や地磁気の検出値、ＧＰＳ１６３、及び照度センサー１６４の検出値についても同様である。

補間処理で、サブ制御部１５０は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の検出値のいずれかについて、他のセンサーの検出値を用いて、ノイズ成分の除去、補間データの作成及び付加を行う演算処理を行う。サブ制御部１５０は、演算処理後の値を、実際の検出値と同様に制御部１１０に送信する。この場合、修正された検出値や演算処理で補完された検出値が、実際の検出値と同様に送信されるので、制御部１１０は、実際の検出値と同じように処理を実行できるので、制御部１１０が実行する処理に影響を与えずに、処理の精度向上を図ることができる。

また、代替処理は、画像表示部２０が備えるセンサーのうち故障または正常に動作しないセンサーや、仕様上の都合で画像表示部２０が備えていないセンサーの検出値を擬似的に求める処理である。
例えば、サブ制御部１５０は、画像表示部２０を装着した使用者の頭部の中心または顔面の中心の位置における、加速度センサーの検出値を求めることができる。この場合、サブ制御部１５０は、第１センサー１６１及び第２センサー１６２の加速度センサーの検出値と、画像表示部２０において第１センサー１６１及び第２センサー１６２が取り付けられた位置とに基づく演算を行う。また、この演算で画像表示部２０と使用者の頭部との位置関係を加味してもよい。これにより、実際にはセンサーを装着できない使用者の頭の中心や顔の中心の傾きを、求めることができる。また、例えば、第１センサー１６１、第２センサー１６２が備える加速度センサーの検出値から、画像表示部２０を叩くタップ操作を検出し、タップセンサーの検出値として出力することができる。

センサーフュージョン処理や代替処理で得られる検出値は、演算処理で求められる推定値である。サブ制御部１５０は、求めた検出値を、推定値であることを示す属性データを付加して制御部１１０に送信してもよいし、他のセンサーによる実際の検出値のデータと同様に送信してもよい。

ステップＳ２７で、サブ制御部１５０は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４の各センサーのうち、検出対象のセンサーに対し、検出値を取得する処理を開始する（ステップＳ２７）。サブ制御部１５０は、センサーの検出値を、ステップＳ２３で各センサーに設定したサンプリング周期に従って取得し（ステップＳ２８）、ＲＡＭに記憶する。
サブ制御部１５０は、検出値に基づく処理をステップＳ２６で設定した場合は、設定した処理を実行する（ステップＳ２９）。サブ制御部１５０は、設定した処理を実行するために複数のセンサーの検出値が必要な場合、これら複数のセンサーの全てについて検出値を取得するまで待機し、その後に処理を実行すれば良い。

サブ制御部１５０は、ＲＡＭに記憶したセンサーの検出値を送信する送信タイミングの調整を行い（ステップＳ３０）、調整したタイミングに合わせて、ＲＡＭに記憶した設定値のデータを制御部１１０に送信する（ステップＳ３１）。ここで、サブ制御部１５０は、検出値のデータに、検出した時刻を示すタイムスタンプ情報を含めて送信してもよい。

制御部１１０は、サブ制御部１５０が制御データバス４１Ａを介して送信するデータを受信し（ステップＳ１３）、受信したデータに基づきコンテンツの再生制御等を実行する。

サブ制御部１５０は、制御部１１０へのデータ送信が成功したか否かを判定し（ステップＳ３２）、送信に成功した場合（ステップＳ３２；ＹＥＳ）、後述するステップＳ３６に移行する。
サブ制御部１５０は、制御部１１０へのデータ送信が成功しなかった場合（ステップＳ３２；ＮＯ）、サブ制御部１５０内部のＲＡＭの空き容量が所定値以上であるか否かを判定する（ステップＳ３３）。ここで、ＲＡＭの空き容量が、予め設定された所定値以上である場合（ステップＳ３３；ＹＥＳ）、サブ制御部１５０は、検出値の記憶を継続して（ステップＳ３５）、ステップＳ３６に移行する。
また、ＲＡＭの空き容量が、予め設定された所定値より少ない場合（ステップＳ３３；ＮＯ）、サブ制御部１５０は、既に記憶した検出値の平均を求めるなどの集計を行い（ステップＳ３４）、ステップＳ３６に移行する。ステップＳ３４では、１つのセンサーの検出値がＲＡＭに複数記憶されている場合に、平均値を算出し、この平均値をＲＡＭに記憶してもとの検出値をＲＡＭから削除する。これにより、ＲＡＭの記憶容量の不足を防止できる。この場合、サブ制御部１５０は、制御部１１０に対し、センサーの検出値として平均値を送信すればよい。
ステップＳ３２〜Ｓ３５の動作で、例えば、外部機器から制御部１１０がコンテンツのデータを受信する処理等により、制御部１１０の処理が占有されていて検出値のデータを受信できない場合であっても、画像表示部２０が備える検出値の欠落を防止できる。

ステップＳ３６で、サブ制御部１５０は、終了条件が成立したか否かを判定し（ステップＳ３６）、終了条件が成立していない場合は（ステップＳ３６；ＮＯ）、ステップＳ２８に戻って検出値を取得する。また、終了条件が成立した場合（ステップＳ３６；ＹＥＳ）、本処理を終了する。終了条件は、例えば、制御部１１０から処理終了を指示するコマンドを受信したこと、制御部１１０の検出値要求コマンドで検出値を取得する回数が指定された場合に、指定された回数の処理が完了したこと、等である。

このように、サブ制御部１５０が第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４等のセンサーを制御して検出値を取得し、制御部１１０に送信する。このため、制御部１１０が各センサーを制御する場合に比べて、制御部１１０の処理負荷、制御部１１０の処理の占有時間を大幅に軽減できる。また、制御部１１０に各センサーを接続した場合、サンプリング周期が異なるセンサーの検出値を同じ信号線で伝送することは困難であるから、接続部４０に設ける信号線の数がセンサーの数に対応して多くなる。このため、接続部４０のハーネスが太くなり取り回しが低下する、センサーの数が制限される等の好ましくない事態が懸念される。本実施形態のように、サブ制御部１５０が各センサーの検出値を取得し、制御データバス４１Ａを介した送信タイミングの調整を行い、複数のセンサーの検出値を送信することで、上記の事態を全て防止でき、効率のよい処理を実現できる。例えば、サブ制御部１５０は、サンプリング周期が短いセンサーの検出値を送信する動作を、予め設定したタイミングで優先的に行い、この動作の空き時間に、サンプリング周期の長いセンサーの検出値を送信してもよい。

制御部１１０は、図４の動作によりサブ制御部１５０から受信した検出値を用いて、頭部装着型表示装置１００を制御する。例えば、制御部１１０は、サブ制御部１５０が検出値に付加したタイムスタンプ情報に基づいて、センサー間のアクセス時間差によるレイテンシを求め、補間情報を算出して、レイテンシを補正する処理を行える。

図４に示す動作では、サブ制御部１５０が、データを送信する度にセンサーからデータを取得する例を示したが、本発明はこれに限定されない。サブ制御部１５０は、センサーのサンプリングタイミングで並列にセンサーデータを取得して、取得したデータを、制御部１１０に送信せずに記憶しておいてもよい。この場合、サブ制御部１５０は、記憶したデータを、予め制御部１１０の制御で決められたタイミングで、制御部１１０に送信する。また、サブ制御部１５０は、記憶したデータのうち最新のデータをまとめて制御部１１０に送信してもよい。さらに、サブ制御部１５０が送信するデータには、前回センサーから取得した時から更新されていないデータを含んでもよい。つまり、サブ制御部１５０がデータを取得するサンプリング周期が、サブ制御部１５０が制御部１１０にデータを送信する間隔より長いセンサーについても、毎回、サブ制御部１５０から制御部１１０にデータを送信してもよい。この場合に、サブ制御部１５０は、センサーのデータにタイムスタンプを付与する処理を、データを第１制御部に送るときにまとめて実行してもよい。この場合、サブ制御部１５０が一時的に記憶した複数のデータについて、まとめてタイムスタンプが付与される。或いは、サブ制御部１５０は、センサーから検出値のデータを取得する毎に、それぞれのセンサーの検出値にタイムスタンプを付与してもよい。
また、サブ制御部１５０は、制御部１１０にカメラ６１の撮像画像データを送信する際に、撮像画像データにタイムスタンプを付与する処理を行ってもよい。

図５は、頭部装着型表示装置１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。図５には、制御部１１０の制御によりサブ制御部１５０がカメラ６１で撮像をさせる場合の動作を示す。
この場合、制御部１１０は、サブ制御部１５０に対して撮像を指示する撮像コマンドを送信する（ステップＳ４１）。撮像コマンドには、動画像を撮像するか静止画像を撮像するか、撮像解像度、撮像画像データのデータ量、撮像頻度（フレームレート、或いは撮像間隔）等の撮像条件を指定するデータを含んでもよい。サブ制御部１５０は、撮像コマンドを受信し（ステップＳ５１）、受信した撮像コマンドに含まれるデータ、或いは、デフォルトの撮像条件のデータに従って、撮像条件を設定する（ステップＳ５２）。

サブ制御部１５０はカメラ６１を制御して撮像を実行させ（ステップＳ５３）、撮像画像データを取得する（ステップＳ５４）。サブ制御部１５０は、取得した撮像画像データを、画像データバス４１Ｂを介して制御部１１０に送信し（ステップＳ５５）、制御部１１０は撮像画像データを受信する（ステップＳ４２）。

サブ制御部１５０は、終了条件が成立したか否かを判定し（ステップＳ５６）、終了条件が成立していない場合は（ステップＳ５６；ＮＯ）、ステップＳ５３に戻って撮像を行う。また、終了条件が成立した場合（ステップＳ５６；ＹＥＳ）、本処理を終了する。終了条件は、例えば、制御部１１０から撮像終了を指示するコマンドを受信したこと、制御部１１０の撮像コマンドで指定された回数、或いは時間の撮像が完了したこと、等である。

このように、サブ制御部１５０がカメラ６１を制御して撮像を実行し、撮像画像データを取得して制御部１１０に送信するので、制御部１１０がカメラ６１を制御する場合に比べて、制御部１１０の処理負荷を大幅に軽減できる。また、制御部１１０とサブ制御部１５０との間では、制御データバス４１Ａを介したコマンドの送受信、及び画像データバス４１Ｂによる撮像画像データの送受信が行われるが、制御部１１０がカメラ６１を制御する場合に比べ大幅なデータ量の増大はない。このため、処理をサブ制御部１５０が実行することによる効率の低下はない。

図６は、頭部装着型表示装置１００の動作を示すフローチャートであり、（Ａ）は制御装置１０の動作を示し、（Ｂ）は画像表示部２０の動作を示す。
図６には、制御部１１０が送信するコマンドに従って、サブ制御部１５０が、センサーの検出値に基づく処理を実行する例を示す。この場合、制御部１１０は、処理実行を指示するコマンドを生成して送信し（ステップＳ６１）、サブ制御部１５０は、コマンドを受信する（ステップＳ６２）。図６の例では、制御部１１０が、照度センサー１６４の検出値に基づき右バックライト２２１、左バックライト２２２（図２）の明るさを調整する照度適合処理の実行を指示する。

サブ制御部１５０は、受信したコマンドに従って、照度適合処理を開始し（ステップＳ６３）、照度センサー１６４の検出値を取得する（ステップＳ６４）。サブ制御部１５０は、ＥＥＰＲＯＭ１６５に記憶された設定値を参照する（ステップＳ６５）。ＥＥＰＲＯＭ１６５には、右バックライト２２１、左バックライト２２２の個体ばらつきを補正する補正用の設定値のデータ等が記憶される。サブ制御部１５０は、参照した設定値に基づき、ステップＳ６４で取得した検出値を用いた演算処理を実行して、右バックライト２２１、左バックライト２２２の輝度を設定し、或いは設定値を更新する（ステップＳ６６）。

サブ制御部１５０は、終了条件が成立したか否かを判定し（ステップＳ６７）、終了条件が成立していない場合は（ステップＳ６７；ＮＯ）、ステップＳ６４に戻って検出値を取得する。ここで、サブ制御部１５０は、ステップＳ６４〜Ｓ６６の処理の実行間隔と、照度センサー１６４のサンプリング周期とを、例えばステップＳ６３で設定してもよい。
終了条件が成立した場合（ステップＳ６７；ＹＥＳ）、本処理を終了する。終了条件は、例えば、制御部１１０から照度適合処理終了を指示するコマンドを受信したこと、制御部１１０のコマンドで指定された回数、或いは時間の動作が完了したこと、等である。

図６の例では、サブ制御部１５０が照度センサー１６４の検出値を処理して、バックライト駆動部１６９、１７０を制御し、右バックライト２２１、左バックライト２２２の輝度を周辺の明るさに対応して調整できる。この照度適合処理は、制御部１１０が実行することも勿論可能である。例えば、サブ制御部１５０が照度センサー１６４の検出値を取得して制御部１１０に送信し、制御部１１０がバックライト駆動部１６９、１７０を制御するための制御データを制御部１１０に送信すればよい。図６の動作では、制御部１１０が照度適合処理を実行する場合に比べ、制御部１１０の処理負荷を軽減できる。第１に、サンプリング周期が比較的遅い照度センサー１６４の検出値と、サンプリング周期が比較的早い第１センサー１６１、第２センサー１６２等の検出値とを送信するタイミングの調整が不要である。このため、送信タイミングの調整に係るサブ制御部１５０の負荷を軽減できる。また、照度センサー１６４の検出値を送信する際に、上記のように送信に失敗する等の事象が発生すると、照度センサー１６４の検出値を取得してから輝度を調整するまでに遅延が発生する。サブ制御部１５０が照度適合処理を実行すれば、検出値の伝送に係る遅延がないため、速やかに右バックライト２２１、左バックライト２２２の輝度を適切に調整できる。

図６は、サブ制御部１５０が、センサーの検出値に基づき、画像表示部２０の環境に対応して画像表示部２０の表示状態を変化させる処理の一例として、照度センサー１６４の検出値に基づく処理を説明した。サブ制御部１５０が実行する処理は、この例に限定されず、例えば、画像表示部２０が温度センサーを備え、この温度センサーがサブ制御部１５０に接続された構成として、サブ制御部１５０が温度に基づく制御を行ってもよい。この場合、サブ制御部１５０は、温度センサーが検出する画像表示部２０の環境温度に対応して、画像表示部２０の劣化を抑えるように、ＬＣＤ駆動部１６７、１６８、及びＢＬ駆動部１６９、１７０を制御してもよい。これにより、右バックライト２２１、左バックライト２２２、右ＬＣＤ２４１及び左ＬＣＤ２４２を含む各部の長寿命化を図ることができる。この構成は、温度センサーに加えて、或いは温度センサーに代えて湿度センサーを設けても実現できる。また、サブ制御部１５０は、カメラ６１の撮像画像に基づき、使用者が視認する外景の背景としての色を検出し、この背景の色に応じて画像表示部２０が表示する画像の色合いを調整する処理を実行してもよい。また、サブ制御部１５０は、マイク（図示略）に接続され、このマイクで検出した環境音に対応する処理を行ってもよい。この処理には、画像表示部２０の表示の制御の他、画像表示部２０がスピーカーやヘッドホンから音声を出力する構成とした場合に、出力する音声を調整する処理を含んでもよい。

サブ制御部１５０が、制御部１１０のコマンドに応じて実行する処理は図５、図６の例に限定されない。例えば、制御部１１０がデータの種類の切り替えを指示するコマンドを送信すると、サブ制御部１５０がデータの種類を変更する動作が可能である。具体的には、制御部１１０が、画像表示部２０を装着した使用者の前方にある対象物、或いは、カメラ６１の撮像範囲内にある対象物までの距離データを必要とする場合、サブ制御部１５０に、距離データの送信を指示する。サブ制御部１５０は、カメラ６１の撮像画像データを解析して、撮像画像データから被写体の画像を検出し、撮像画像におけるサイズ等をもとに距離データを算出して、算出した距離データを送信する。この場合、サブ制御部１５０は、カメラ６１の撮像画像データを制御部１１０に送信しない。すなわち、送信するデータの種類を、撮像画像データから距離データに切り替える。
また、逆の切り替えも勿論可能である。制御部１１０が撮像画像データを要求し、距離データを不要とするコマンドを送信した場合に、サブ制御部１５０は撮像画像データを取得せず制御部１１０に送信してもよい。

以上説明したように、本発明を適用した実施形態の頭部装着型表示装置１００は、画像表示部２０と、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、照度センサー１６４等の複数のセンサーを備える。また、頭部装着型表示装置１００を制御する制御部１１０と、複数のセンサーに接続され、複数のセンサーの検出値を含むデータを制御部１１０に送信するサブ制御部１５０と、を備える。このため、サブ制御部１５０を利用することで、多数のセンサーを制御部１１０に接続する必要がなく、制御部１１０が直接制御するセンサーの数を減らすことで制御部１１０の処理負荷を軽減できる。また、例えば、複数のセンサーに接続するサブ制御部１５０が、各センサーの仕様や特性の差に対応するための処理を実行できる。また、それぞれのセンサーを制御部１１０に接続する必要がなく、サブ制御部１５０から制御部１１０にまとめてセンサーの検出値を送信すること等もできる。このため、制御部１１０の処理負荷を軽減し、制御部１１０の消費電力の低減、及び、制御部１１０の処理速度の向上を図ることができる。また、制御部１１０に多数のセンサーを接続する必要がなくなるので、制御装置１０の回路構成の複雑化を回避できる。

また、頭部装着型表示装置１００では、サブ制御部１５０が、制御部１１０の制御に基づき、複数の前記センサーの制御をとりまとめて実行する。このため、制御部１１０の負荷を増やすことなく、多数のセンサーの制御や、センサーに対するきめ細かい制御を行うことが可能となる。

また、サブ制御部１５０は、複数のセンサーの検出値を、複数の異なるサンプリング周期で取得するので、センサーの検出値を取得する処理における制御部１１０の処理負荷を軽減できる。
また、サブ制御部１５０は、第１センサー１６１、第２センサー１６２、ＧＰＳ１６３、及び照度センサー１６４を含む複数のセンサーのいずれかに対し、第１サンプリング周期、及び、第１サンプリング周期より長い第２サンプリング周期で検出値を取得する。サブ制御部１５０は、第１サンプリング周期で取得したセンサーの検出値と、第２サンプリング周期で取得したセンサーの検出値とを含むデータを制御部１１０に送信する。このように、制御部１１０は、サンプリング周期が異なる複数のセンサーの検出値を取得でき、この検出値を取得する処理における制御部１１０の処理負荷を軽減できる。

また、サブ制御部１５０は、制御部１１０からコマンドを受信した場合に、センサーの検出値に基づき予め設定された処理を実行できるので、制御部１１０の処理負荷をより一層、軽減できる。
例えば、サブ制御部１５０は、所定処理として、センサーの検出値に基づき、画像表示部２０の環境に対応して画像表示部２０の表示状態を変化させる処理を実行する。より具体的には、図６に示したように、照度センサー１６４の検出値に基づき、右バックライト２２１、左バックライト２２２の明るさ（輝度）を調整する処理を行い、制御部１１０の負荷を軽減できる。この例で、サブ制御部１５０は設定データを記憶するＥＥＰＲＯＭ１６５に接続され、ＥＥＰＲＯＭ１６５に記憶された設定データを用いて所定処理を実行できる。ここで、サブ制御部１５０がＲＯＭやＲＡＭを内蔵する構成とすることもでき、この場合に、ＲＯＭやＲＡＭに設定データを記憶させてもよい。または、サブ制御部１５０にＲＯＭ等が一体に設けられた構成とすることもでき、この場合に、ＲＯＭに設定データを記憶させてもよい。

また、サブ制御部１５０は、センサーから取得した検出値を制御部１１０に送信するまで、例えば内蔵するＲＡＭに保持するので、サブ制御部１５０がセンサーの検出値を取得するタイミングに制約を受けることなく、制御部１１０が処理を実行できる。
また、サブ制御部１５０は、いずれかのセンサーの検出値に基づき、他のセンサーの検出値に対する処理を実行し、処理後の検出値を制御部１１０に送信できる。例えば、センサーの検出値に基づき他のセンサーの検出値を補正したり、センサーフュージョン等の処理を行ったりすることができる。

頭部装着型表示装置１００は、制御部１１０を有する制御装置１０の本体（第１本体））と、サブ制御部１５０を有する画像表示部２０の本体（第２本体）と、を備える。サブ制御部１５０は画像表示部２０の本体に設けられた複数のセンサーに接続される。また、制御装置１０の本体にはセンサーが設けられ、この制御装置１０の本体に設けられたセンサーは制御部１１０に接続される。このような構成において、制御部１１０は、画像表示部２０の本体のセンサーの検出値及び位置と、制御装置１０の本体に設けられたセンサーの検出値及び位置とに基づき、特性値を算出してもよい。
例えば、制御装置１０が有するセンサーＩＣと画像表示部２０の第１センサー１６１及び第２センサー１６２の相対位置と、各センサーによる加速度または角速度の検出値に基づき、頭部装着型表示装置１００の動きを示す特性値を求めても良い。すなわち、特性値は、頭部装着型表示装置１００全体の移動速度や移動方向を示す値であってもよい。また、制御部１１０は、地磁気センサーの検出値を用いて、方角を示すデータを含む特性値を求めてもよい。さらに、制御部１１０は、制御装置１０と画像表示部２０との相対的な位置変化を検出し、速度や変位の方向に関する特性値を求めてもよい。また、制御装置１０の本体にサブ制御部１５０を設け、画像表示部２０の本体に制御部１１０を設ける構成とすることも勿論可能である。さらに、制御装置１０の本体に、表示部としての光学系、ＬＣＤ等を設けた構成とすることも可能である。このように、制御部１１０は、制御装置１０の本体のセンサーの検出値と、画像表示部２０の本体のセンサーの検出値とを利用して、特性値を得ることができ、この特性値の算出に関して制御部１１０の負荷を軽減できる。

また、上記実施形態では、略箱形の制御装置１０の本体に、制御部１１０を設けた構成としたが、画像表示部２０を有する本体に制御部１１０を設け、サブ制御部１５０を、画像表示部２０とは別体の制御装置１０の本体に設けてもよい。この場合、画像表示部２０の本体のセンサーに制御部１１０が接続され、制御装置１０の本体が備えるセンサーはサブ制御部１５０に接続される。言い換えれば、使用者の頭部に装着される画像表示部２０が制御機能を備え、この画像表示部２０とは別体で構成される小型の機器が、サブ制御部１５０を備える構成としてもよい。この構成においても、頭部装着型表示装置の全体を制御する制御部の負荷を軽減し、データバスを構成するハーネスが太くなる等の事態を防止できるという利点がある。
さらに、制御装置１０と画像表示部２０とを一体に構成してもよい。すなわち、制御装置１０の本体と画像表示部２０の本体とが一つの本体であってもよい。この場合、制御部１１０とサブ制御部１５０とが同じ本体に実装される構成とし、本発明を適用してもよい。例えば、同じ本体に実装された制御部１１０とサブ制御部１５０とを、制御データバス、画像データバス、及び表示データバスで接続し、制御部１１０と、サブ制御部１５０とが異なるセンサーに接続された構成が考えられる。

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。或いは、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。

また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。

さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、図３に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図３に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、図３に示した各機能部は、マイクロプロセッサーとＩＣで構成する例に制限されず、より大規模の集積回路に複数の機能部を実装する構成としてもよいし、ＳｏＣ（System-on-a-chip）等の形態としても良い。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。

１０…制御装置、２０…画像表示部（表示部）、２２…右表示駆動部、２４…左表示駆動部、３２…右イヤホン、３４…左イヤホン、４０…接続部、４１Ａ…制御データバス、４１Ｂ…画像データバス、４１Ｃ、４１Ｄ…表示データバス、４２…右コード、４４…左コード、４８…本体コード、６１…カメラ、６３…マイク、１００…頭部装着型表示装置（表示装置）、１１０…制御部（第１制御部）、１１５…Ｉ／Ｆ部、１２１…メモリー、１２２…フラッシュメモリー、１２３…電源制御部、１２４…ＵＩ制御部、１２４…制御部、１２５…無線Ｉ／Ｆ制御部、１２６…音声制御部、１２７…センサーＩＣ、１２８…外部Ｉ／Ｆ部、１５０…サブ制御部（第２制御部）、１５５…Ｉ／Ｆ部、１６１…第１センサー、１６２…第２センサー、１６３…ＧＰＳ、１６４…照度センサー、１６５…ＥＥＰＲＯＭ（設定データ記憶部）、１６７…ＬＣＤ駆動部、１６８…ＬＣＤ駆動部、１６９…バックライト駆動部、１７０…バックライト駆動部、２２１…右バックライト、２２２…左バックライト、２４１…右液晶ディスプレイ、２４２…左液晶ディスプレイ、２５１…右投写光学系、２５２…左投写光学系。

Claims (12)

1. 表示部を備えた表示装置であって、
   複数のセンサーと、
   前記表示装置を制御する第１制御部と、
   複数の前記センサーに接続され、前記第１制御部に複数の前記センサーの検出値を含むデータを送信する第２制御部と、
   を備えることを特徴とする表示装置。
2. 前記第２制御部は、前記第１制御部の制御に基づき、複数の前記センサーの制御をとりまとめて実行すること、を特徴とする請求項１記載の表示装置。
3. 前記第２制御部は、複数の前記センサーの検出値を、複数の異なるサンプリング周期で取得すること、を特徴とする請求項１または２記載の表示装置。
4. 前記第２制御部は、第１サンプリング周期、及び、前記第１サンプリング周期より長い第２サンプリング周期で、複数の前記センサーの検出値を取得し、前記第１サンプリング周期で取得した前記センサーの検出値と、前記第２サンプリング周期で取得した前記センサーの検出値とを含むデータを前記第１制御部に送信すること、を特徴とする請求項３記載の表示装置。
5. 前記第２制御部は、前記第１制御部からコマンドを受信した場合に、前記センサーの検出値に基づき予め設定された所定処理を実行すること、を特徴とする請求項１から４のいずれかに記載の表示装置。
6. 前記第２制御部は、前記所定処理として、前記センサーの検出値に基づき、前記表示部の環境に対応して前記表示部の表示状態を変化させる処理を実行すること、を特徴とする請求項５記載の表示装置。
7. 前記第２制御部は設定データを記憶する設定データ記憶部に接続され、前記設定データ記憶部に記憶された設定データを用いて前記所定処理を実行すること、を特徴とする請求項５または６記載の表示装置。
8. 前記第２制御部は、前記センサーから取得した検出値を前記第１制御部に送信するまで保持すること、を特徴とする請求項１から７のいずれかに記載の表示装置。
9. 前記第２制御部は、いずれかの前記センサーの検出値に基づき、他の前記センサーの検出値に対する処理を実行し、処理後の検出値を前記第１制御部に送信すること、を特徴とする請求項１から８のいずれかに記載の表示装置。
10. 前記第１制御部を有する第１本体と、前記第２制御部及び前記表示部を有する第２本体と、を備え、
    前記第２制御部は前記第２本体に設けられた複数の前記センサーに接続され、
    前記第１本体にはセンサーが設けられ、前記第１本体に設けられたセンサーは前記第１制御部に接続され、
    前記第１制御部は、前記第２本体の前記センサーの検出値及び位置と、前記第１本体に設けられた前記センサーの検出値及び位置とに基づき、特性値を算出すること、を特徴とする請求項１から９のいずれかに記載の表示装置。
11. 前記第１制御部、及び前記表示部を有する第１本体と、前記第２制御部を有する第２本体と、を備え、
    前記第２制御部は前記第２本体に設けられた複数の前記センサーに接続され、
    前記第１本体にはセンサーが設けられ、前記第１本体に設けられたセンサーは前記第１制御部に接続され、
    前記第１制御部は、前記第１本体に設けられた前記センサー及び前記第２本体に設けられた前記センサーの検出値に基づき制御を行うこと、を特徴とする請求項１から９のいずれかに記載の表示装置。
12. 表示部と、複数のセンサーと、第１及び第２制御部とを備えた表示装置を制御し、
    複数の前記センサーに接続された前記第２制御部により、複数の前記センサーに対する制御をとりまとめて行い、複数の前記センサーの検出値を含むデータを、前記表示装置を制御する前記第１制御部に送信すること、
    を特徴とする表示装置の制御方法。

Images