JP2017092628A - 表示装置、及び、表示装置の制御方法 - Google Patents
表示装置、及び、表示装置の制御方法 Download PDFInfo
- Publication number
- JP2017092628A JP2017092628A JP2015218180A JP2015218180A JP2017092628A JP 2017092628 A JP2017092628 A JP 2017092628A JP 2015218180 A JP2015218180 A JP 2015218180A JP 2015218180 A JP2015218180 A JP 2015218180A JP 2017092628 A JP2017092628 A JP 2017092628A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- unit
- motion
- user
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】頭部装着型の表示装置において、使用者の身体の動きについて、運動中心の動きに対応した処理を速やかに実行できるようにする。【解決手段】頭部装着型表示装置１００は、使用者の眼に画像光を照射する画像表示部２０と、複数の動きセンサーとしての第１センサー６６及び第２センサー６８と、頭部装着型表示装置１００の装着状態において、使用者の身体に対して偏りを有する位置に配置される第１センサー６６及び第２センサー６８と、を備える。【選択図】図１
Description
本発明は、表示装置、及び、表示装置の制御方法に関する。
従来、頭部に装着する表示装置が知られている（例えば、特許文献１参照）。特許文献１記載のディスプレイは、眼鏡型のフレームにシースルーの導光手段を設けたディスプレイであり、フレームに撮像装置が取り付けられる。このディスプレイは、撮像装置によって撮像した画像と、導光手段を通してユーザーが視認する対象物の像とを一致させることで、補正データを生成し、その補正データに基づいて撮像データをユーザーの視野と一致させる。これにより、対象物の像に対して対象物に関する各種のデータを重ねて表示するＡＲ（Augmented Reality）技術を実現する。
また、頭部に装着する装置が、頭部の動きを検出する例が知られている（例えば、特許文献２参照）。特許文献２には、眼鏡型のフレームを有し、眼鏡のテンプル部にセンサーを設けた眼鏡型操作デバイスが記載されている。このデバイスは、センサーの検出信号により、使用者が頭部を動かす、眼を動かすなどの動作を検出する。
また、頭部に装着する装置が、頭部の動きを検出する例が知られている（例えば、特許文献２参照）。特許文献２には、眼鏡型のフレームを有し、眼鏡のテンプル部にセンサーを設けた眼鏡型操作デバイスが記載されている。このデバイスは、センサーの検出信号により、使用者が頭部を動かす、眼を動かすなどの動作を検出する。
特許文献１記載のように、頭部に装着される表示装置において、頭部の動きに対応して表示を制御することが考えられる。この場合、例えば特許文献２に記載のように、センサーを用いて動きを検出することが考えられる。運動の中心における動きを直接検出できれば、動作量や動作の方向を簡単かつ正確に求めることができるが、使用者の身体において運動の中心となる位置にセンサーを配置することは、通常、容易ではない。
本発明は、上記事情に鑑み、頭部装着型の表示装置において、使用者の身体の動きについて、運動中心の動きに対応した処理を速やかに実行できるようにすることを目的とする。
本発明は、上記事情に鑑み、頭部装着型の表示装置において、使用者の身体の動きについて、運動中心の動きに対応した処理を速やかに実行できるようにすることを目的とする。
上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型の表示装置であって、前記使用者の眼に画像光を照射する表示部と、前記表示装置の装着状態において、前記使用者の身体に対して偏りを有する位置に配置される複数の動きセンサーと、を備えることを特徴とする。
本発明によれば、偏りを有する位置に配置された複数の動きセンサーの検出結果を利用して、使用者の身体が動いた場合に、動きの中心（運動中心）における動き量や動きの方向等を速やかに求めることができる。
複数の動きセンサーは、例えば、使用者の頭部や頸部の基準位置に対して、互いに偏った位置に配置することができる。より具体的には、使用者の頭部が動く場合の中心となり得る頸部関節、或いは、頭部の中心等を基準として、複数の動きセンサーの相対的な位置が偏った位置になる構成とすることができる。この場合、使用者の頭部が動いた場合に、この動きに起因する複数の動きセンサーの検出値の差に基づき、使用者の頭部の動きを解析できる。これにより、例えば、動きの中心である頸部関節、或いは、頭部の中心等における動きを求めることができる。
本発明によれば、偏りを有する位置に配置された複数の動きセンサーの検出結果を利用して、使用者の身体が動いた場合に、動きの中心（運動中心）における動き量や動きの方向等を速やかに求めることができる。
複数の動きセンサーは、例えば、使用者の頭部や頸部の基準位置に対して、互いに偏った位置に配置することができる。より具体的には、使用者の頭部が動く場合の中心となり得る頸部関節、或いは、頭部の中心等を基準として、複数の動きセンサーの相対的な位置が偏った位置になる構成とすることができる。この場合、使用者の頭部が動いた場合に、この動きに起因する複数の動きセンサーの検出値の差に基づき、使用者の頭部の動きを解析できる。これにより、例えば、動きの中心である頸部関節、或いは、頭部の中心等における動きを求めることができる。
また、本発明は、いずれかの前記動きセンサーは、装着状態において前記頭部の中心より一方側に位置し、他の前記動きセンサーは前記頭部の中心より他方側に位置すること、を特徴とする。
本発明によれば、頭部の中心より一方側と他方側に配置された動きセンサーの検出結果を利用して、使用者の頭部が動いた場合に、動きの中心（運動中心）における動き量や動きの方向等を速やかに求めることができる。
ここで、頭部の中心とは、使用者の身長に対し垂直な水平面における頭部の中心を指すが、例えば、両眼の高さ位置における水平面における中心を指してもよいし、使用者の頭部の３次元的な中心であってもよい。
本発明によれば、頭部の中心より一方側と他方側に配置された動きセンサーの検出結果を利用して、使用者の頭部が動いた場合に、動きの中心（運動中心）における動き量や動きの方向等を速やかに求めることができる。
ここで、頭部の中心とは、使用者の身長に対し垂直な水平面における頭部の中心を指すが、例えば、両眼の高さ位置における水平面における中心を指してもよいし、使用者の頭部の３次元的な中心であってもよい。
また、本発明は、上記表示装置において、いずれかの前記動きセンサーは、装着状態において前記頭部の中心より左側に位置し、他の前記動きセンサーは前記頭部の中心より右側に位置すること、を特徴とする。
本発明によれば、使用者の頭部が動いた場合に、頭部の運動中心における動き量や動きの方向等を速やかに求めることができる。
本発明によれば、使用者の頭部が動いた場合に、頭部の運動中心における動き量や動きの方向等を速やかに求めることができる。
また、本発明は、上記表示装置において、いずれかの前記動きセンサーは、装着状態において、前記動きの中心となる可動部より一方側に位置し、他の前記動きセンサーは前記可動部の他方側に位置すること、を特徴とする。
本発明によれば、動きの中心に対し一方側と他方側に配置された動きセンサーの検出結果を利用して、使用者の身体が動いた場合に、動きの中心における動き量や動きの方向等を速やかに求めることができる。
ここで、可動部は、使用者の身体において可動する部位を指し、例えば頸部等の関節が相当する。また、本発明の可動部は、使用者の身長に対し垂直な水平面における運動の中心となり得る部位を指すが、例えば、両眼の高さ位置における水平面における動きの中心を指してもよいし、使用者の身体における３次元的な中心であってもよい。また、使用者の動きが回転運動成分と平行（平進）運動成分とを含む動きである場合、回転運動の中心を、上記の動きの中心としてもよい。
例えば、可動部を、使用者の頸部の関節（より具体的には、第１頸椎（環椎）と第２頸椎（軸椎）との椎間関節）とする場合、頸部を中心とする使用者の頭部の動きに対応して、動き量や動きの方向等を求めることができる。これにより、使用者の頭部が動いた場合に、運動中心である頸部における動き量や動きの方向等を速やかに求めることができる。
本発明によれば、動きの中心に対し一方側と他方側に配置された動きセンサーの検出結果を利用して、使用者の身体が動いた場合に、動きの中心における動き量や動きの方向等を速やかに求めることができる。
ここで、可動部は、使用者の身体において可動する部位を指し、例えば頸部等の関節が相当する。また、本発明の可動部は、使用者の身長に対し垂直な水平面における運動の中心となり得る部位を指すが、例えば、両眼の高さ位置における水平面における動きの中心を指してもよいし、使用者の身体における３次元的な中心であってもよい。また、使用者の動きが回転運動成分と平行（平進）運動成分とを含む動きである場合、回転運動の中心を、上記の動きの中心としてもよい。
例えば、可動部を、使用者の頸部の関節（より具体的には、第１頸椎（環椎）と第２頸椎（軸椎）との椎間関節）とする場合、頸部を中心とする使用者の頭部の動きに対応して、動き量や動きの方向等を求めることができる。これにより、使用者の頭部が動いた場合に、運動中心である頸部における動き量や動きの方向等を速やかに求めることができる。
また、本発明は、上記表示装置において、前記可動部は、前記使用者の頸部関節を想定して設定される位置であること、を特徴とする。
本発明によれば、頸部を中心とする使用者の頭部の動きに対応して、動き量や動きの方向等を求めることができる。
本発明によれば、頸部を中心とする使用者の頭部の動きに対応して、動き量や動きの方向等を求めることができる。
また、本発明は、上記表示装置において、複数の前記動きセンサーは、前記表示装置の装着状態においていずれかの前記動きセンサーと前記可動部との距離が、他の前記動きセンサーと前記可動部との距離と異なるように配置されること、を特徴とする。
本発明によれば、可動部と動きセンサーとの相対位置の相違が、動きセンサーの検出値の差に反映されやすい。これにより、複数の動きセンサーの検出値に基づいて、動きの中心の位置や、動きの中心における動き量等を、より高い精度で求めることができる。
本発明によれば、可動部と動きセンサーとの相対位置の相違が、動きセンサーの検出値の差に反映されやすい。これにより、複数の動きセンサーの検出値に基づいて、動きの中心の位置や、動きの中心における動き量等を、より高い精度で求めることができる。
また、本発明は、上記表示装置において、前記表示部は、前記使用者の眼に向けて画像光を放つ表示領域を有する光学素子を備え、複数の前記動きセンサー、及び、前記光学素子の表示領域の中央位置が直線状に並んで位置すること、を特徴とする。
本発明によれば、表示領域を構成する光学素子の位置を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
本発明によれば、表示領域を構成する光学素子の位置を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
また、本発明は、上記表示装置において、前記光学素子は前記使用者の眼に向けて画像光を放つ表示領域としてのハーフミラーを有すること、を特徴とする。
本発明によれば、使用者が視認できる画像の中央を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
本発明によれば、使用者が視認できる画像の中央を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
また、本発明は、上記表示装置において、前記使用者の左右の眼の前に跨がって装着される本体を有し、少なくとも２つの前記動きセンサーが、前記本体の中央に対して対称な位置にあること、を特徴とする。
本発明によれば、複数の動きセンサーが使用者の動きの運動中心の両側で検出する可能性が高くなり、動き量や動きの方向等を速やかに求めることができる。
本発明によれば、複数の動きセンサーが使用者の動きの運動中心の両側で検出する可能性が高くなり、動き量や動きの方向等を速やかに求めることができる。
また、本発明は、上記表示装置において、前記本体は、前記使用者の右眼の前に位置する右部と、前記使用者の左眼の前に位置する左部と、前記本体の中央に位置して前記右部と前記左部とを連結する連結部と、を有し、少なくとも２つの前記動きセンサーが前記連結部に対して対称な位置にあること、を特徴とする。
本発明によれば、眼鏡型の表示装置の中央を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
本発明によれば、眼鏡型の表示装置の中央を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
また、本発明は、上記表示装置において、複数の前記動きセンサーは、少なくとも、光学センサー、及び、慣性センサーを含むこと、を特徴とする。
本発明によれば、異なる種類のセンサーの検出結果を用いることにより、使用者の頭部の動きに関する情報を得ることができ、センサーの検出値を他の用途にも活用できる。
本発明によれば、異なる種類のセンサーの検出結果を用いることにより、使用者の頭部の動きに関する情報を得ることができ、センサーの検出値を他の用途にも活用できる。
また、本発明は、上記表示装置において、複数の前記動きセンサーは、光学センサー、及び、慣性センサーのうちいずれか１種類のセンサーで構成されること、を特徴とする。
本発明によれば、同種のセンサーの検出結果を用い、より容易に、使用者の頭部の動きに関する情報を得ることができる。
本発明によれば、同種のセンサーの検出結果を用い、より容易に、使用者の頭部の動きに関する情報を得ることができる。
また、本発明は、上記表示装置において、複数の前記動きセンサーの検出値に基づいて、前記使用者の動きについて、動きの中心における動きを求める動き検出部を備えること、を特徴とする。
本発明によれば、複数の動きセンサーを利用して使用者の動きを的確に求めることができるので、動きに対応した処理を速やかに実行できる。
本発明によれば、複数の動きセンサーを利用して使用者の動きを的確に求めることができるので、動きに対応した処理を速やかに実行できる。
また、本発明は、上記表示装置において、前記動き検出部は、複数の前記動きセンサーのそれぞれの検出値と、前記動きセンサーの位置とに基づき、動きの中心における動きを求めること、を特徴とする。
本発明によれば、複数の動きセンサーを利用して、使用者の動きをより的確に求めることができるので、動きに対応した処理を速やかに実行できる。
本発明によれば、複数の動きセンサーを利用して、使用者の動きをより的確に求めることができるので、動きに対応した処理を速やかに実行できる。
また、本発明は、上記表示装置において、前記使用者の視野の少なくとも一部を含む撮像範囲を撮像する撮像部を備え、前記動き検出部は、複数の前記動きセンサーの検出値に基づいて、前記使用者の動きの中心の位置を特定し、特定した前記動きの中心の位置に基づいて、前記撮像部の撮像範囲と、前記使用者の視野との相対位置を求めること、を特徴とする。
本発明によれば、撮像部の撮像範囲と使用者の視野との対応を求めることができ、撮像画像に基づく制御を行うことができる。
本発明によれば、撮像部の撮像範囲と使用者の視野との対応を求めることができ、撮像画像に基づく制御を行うことができる。
また、本発明は、上記表示装置において、前記動き検出部は、前記動きの中心における動きが前記使用者の認知動作に基づく動きであるか否かを判定し、前記使用者の認知動作に基づく動きでないと判定した場合に前記撮像部の撮像画像を補正すること、を特徴とする。
本発明によれば、使用者が意図する動きと、そうでない動きとを区別して、使用者が意図しない動きによる撮像画像のブレ等を補正できる。
本発明によれば、使用者が意図する動きと、そうでない動きとを区別して、使用者が意図しない動きによる撮像画像のブレ等を補正できる。
また、本発明は、上記表示装置において、前記動き検出部は、複数の前記動きセンサーの検出値に基づいて、前記使用者の動きの中心の位置を特定し、特定した前記動きの中心の位置から前記使用者の眼の位置を推定し、前記動きセンサーの位置に基づく前記表示部の位置を特定し、特定した前記表示部の位置と、推定した前記使用者の眼の位置とに基づいて、前記表示部と前記使用者の眼の位置との相対位置を求めること、を特徴とする。
本発明によれば、表示部と使用者の眼の位置との相対位置を高精度で求めることができる。これにより、例えば、表示部の位置が適切でない場合に、使用者に対して表示部の位置の修正を促すことができる。
本発明によれば、表示部と使用者の眼の位置との相対位置を高精度で求めることができる。これにより、例えば、表示部の位置が適切でない場合に、使用者に対して表示部の位置の修正を促すことができる。
また、本発明は、上記表示装置において、前記使用者の頭部に装着され前記表示部を備える表示部本体と、前記表示部本体に対して変位可能に連結され、前記動きセンサーとしての撮像部と、前記表示部本体に対する前記撮像部の位置または変位を検出する検出部と、前記検出部により前記表示部本体と前記撮像部との相対位置を求める制御部と、を備えることを特徴とする。
本発明によれば、表示部本体に対して変位可能な撮像部を備えることで、撮像範囲を変化させることができる。また、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。また、使用者の身体が動いた場合に、運動中心における動き量や動きの方向等を速やかに求めることができる。
本発明によれば、表示部本体に対して変位可能な撮像部を備えることで、撮像範囲を変化させることができる。また、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。また、使用者の身体が動いた場合に、運動中心における動き量や動きの方向等を速やかに求めることができる。
また、本発明は、使用者の頭部に装着される表示部本体を有する表示部と、前記表示部本体に対し、変位可能に連結された撮像部と、前記表示部本体に対する前記撮像部の位置または変位を検出する検出部と、前記検出部により前記表示部本体と前記撮像部との相対位置を求める制御部と、を備えることを特徴とする。
本発明によれば、表示部本体に対して変位可能な撮像部を備えることで、撮像範囲を変化させることができる。また、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。
本発明によれば、表示部本体に対して変位可能な撮像部を備えることで、撮像範囲を変化させることができる。また、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。
また、本発明は、上記表示装置において、前記撮像部と前記表示部本体とを回動可能に連結する連結部を有し、前記検出部は前記連結部における前記撮像部と前記表示部本体との角度の大きさまたは角度の変化を検出すること、を特徴とする。
本発明によれば、撮像部を表示部本体に対し可動に連結し、撮像部の位置または変位を検出する構成を、容易に実現できる。
本発明によれば、撮像部を表示部本体に対し可動に連結し、撮像部の位置または変位を検出する構成を、容易に実現できる。
また、本発明は、上記表示装置において、複数の前記検出部を備え、前記制御部は複数の前記検出部の検出値に基づいて、前記表示部本体と前記撮像部との相対位置を求めること、を特徴とする。
本発明によれば、複数の検出部を用いて撮像部の位置または変位を、より正確に検出できる。
本発明によれば、複数の検出部を用いて撮像部の位置または変位を、より正確に検出できる。
また、本発明は、上記表示装置において、前記撮像部の撮像画像に基づき前記表示部にコンテンツを表示する表示処理部を備えること、を特徴とする。
本発明によれば、撮像部が撮影した画像に基づきコンテンツを表示することができ、この撮像部を変位させて撮像範囲を変えることができる。
本発明によれば、撮像部が撮影した画像に基づきコンテンツを表示することができ、この撮像部を変位させて撮像範囲を変えることができる。
また、本発明は、上記表示装置において、前記表示処理部は、前記制御部が求める前記表示部本体と前記撮像部との相対位置に基づき、前記コンテンツの表示位置を調整すること、を特徴とする。
本発明によれば、撮像部が撮影した画像に基づきコンテンツを表示することができ、この撮像部を変位させた場合に表示位置を調整して、表示の整合性を保つことができる。このため、コンテンツの表示を継続した状態で撮像部を変位させることができる。
本発明によれば、撮像部が撮影した画像に基づきコンテンツを表示することができ、この撮像部を変位させた場合に表示位置を調整して、表示の整合性を保つことができる。このため、コンテンツの表示を継続した状態で撮像部を変位させることができる。
また、本発明は、上記表示装置において、前記表示処理部は、前記表示部本体と前記撮像部との相対位置に基づき、前記使用者の視界の中心軸と、前記撮像部の光軸とのズレを補償するように前記コンテンツの表示位置を調整すること、を特徴とする。
本発明によれば、撮像部が撮影した画像に基づき表示するコンテンツの位置を、使用者の視線に適した位置に補正できる。
本発明によれば、撮像部が撮影した画像に基づき表示するコンテンツの位置を、使用者の視線に適した位置に補正できる。
また、本発明は、上記表示装置において、前記制御部は、前記検出部の検出結果に基づき、前記コンテンツの表示位置の調整の要否を判定すること、を特徴とする。
本発明によれば、コンテンツの表示位置を、適切な精度で制御できる。
本発明によれば、コンテンツの表示位置を、適切な精度で制御できる。
また、本発明は、上記表示装置において、前記表示処理部は、前記コンテンツの表示位置を調整する前に報知を行うこと、を特徴とする。
本発明によれば、表示部本体を装着して使用する使用者の利便性の向上を図ることができる。
本発明によれば、表示部本体を装着して使用する使用者の利便性の向上を図ることができる。
また、本発明は、上記表示装置において、前記撮像部と前記制御部とを有線接続し、前記撮像部の撮像画像を前記制御部に伝送する接続部を備え、前記接続部は前記撮像部と前記表示部本体とを連結する連結部に沿って配置されること、を特徴とする。
本発明によれば、撮像部が撮影する画像をより確実に制御部に伝送できる。
本発明によれば、撮像部が撮影する画像をより確実に制御部に伝送できる。
また、本発明は、上記表示装置において、前記撮像部の撮像画像を前記制御部に無線伝送する無線伝送部を備えること、を特徴とする。
本発明によれば、撮像部を、より高い自由度で変位させることができる。
本発明によれば、撮像部を、より高い自由度で変位させることができる。
また、上記課題を解決するため、本発明の表示装置の制御方法は、使用者の頭部に装着され、前記使用者の眼に画像光を照射する表示部と、複数の動きセンサーと、を備える表示装置により、複数の前記動きセンサーの検出値に基づき、前記頭部の運動中心における動きを求めること、を特徴とする。
本発明によれば、使用者の頭部が動いた場合に、運動中心における動き量や動きの方向等を速やかに求め、この動きに対応した処理を実行できる。
本発明によれば、使用者の頭部が動いた場合に、運動中心における動き量や動きの方向等を速やかに求め、この動きに対応した処理を実行できる。
また、本発明は、上記表示装置の制御方法において、複数の前記動きセンサーのそれぞれの検出値と、前記動きセンサーの位置とに基づき、動きの中心における動きを求めること、を特徴とする。
本発明によれば、複数の動きセンサーを利用して使用者の動きを的確に求めることができるので、動きに対応した処理を速やかに実行できる。
本発明によれば、複数の動きセンサーを利用して使用者の動きを的確に求めることができるので、動きに対応した処理を速やかに実行できる。
また、本発明は、上記表示装置の制御方法において、前記表示部を備え、前記使用者の頭部に装着される表示部本体に対し変位可能に連結された撮像部を備える前記表示装置によって、前記表示部本体に対する前記撮像部の位置または変位を検出することにより、前記表示部本体と前記撮像部との相対位置を求めること、を特徴とする。
本発明によれば、表示部本体と撮像部との相対位置を求めることができる。
本発明によれば、表示部本体と撮像部との相対位置を求めることができる。
また、上記課題を解決するため、本発明の表示装置の制御方法は、使用者の頭部に装着される表示部本体に表示部を設け、前記表示部本体に対し変位可能に連結された撮像部を備える表示装置において、前記表示部本体に対する前記撮像部の位置または変位を検出することにより、前記表示部本体と前記撮像部との相対位置を求めること、を特徴とする。
本発明によれば、表示部本体に対して撮像部を動かし、撮像範囲を変化させることができる。そして、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。
本発明によれば、表示部本体に対して撮像部を動かし、撮像範囲を変化させることができる。そして、撮像部を動かした場合に表示部本体と撮像部との相対位置を求めるので、撮像部の動きに伴い必要な補正等の処理を実行できる。
［第１実施形態］
図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。
図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム２（本体）を有する。フレーム２は、右保持部２１及び左保持部２３を有する。右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１は使用者の頭部において右耳またはその近傍に当接し、左保持部２３は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部２０を保持する。
フレーム２には、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、マイク６３とが設けられる。
本実施形態では本体の一例として、眼鏡型のフレーム２を例示する。本体の形状は眼鏡型に限定されず、使用者の頭部に装着され固定されるものであればよく、使用者の左右の眼の前に跨がって装着される形状であれば、より好ましい。例えば、ここで説明する眼鏡型の他に、使用者の顔の上部を覆うスノーゴーグル様の形状であってもよいし、双眼鏡のように使用者の左右の眼のそれぞれの前方に配置される形状であってもよい。
眼鏡型のフレーム２は、使用者の右眼の前に位置する右部２Ａ、及び、左眼の前に位置する左部２Ｂを有し、右部２Ａと左部２Ｂとがブリッジ部２Ｃ（連結部）で連結された形状である。ブリッジ部２Ｃは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、右部２Ａと左部２Ｂとを互いに連結する。
右部２Ａ及び左部２Ｂは、それぞれテンプル部２Ｄ、２Ｅに連結される。テンプル部２Ｄ、２Ｅは眼鏡のテンプルのようにして、フレーム２を使用者の頭部に支持する。本実施形態のテンプル部２Ｄは右保持部２１で構成され、テンプル部２Ｅは左保持部２３で構成される。
右光学像表示部２６は右部２Ａに配置され、左光学像表示部２８は左部２Ｂに配置される、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置する。
本実施形態では本体の一例として、眼鏡型のフレーム２を例示する。本体の形状は眼鏡型に限定されず、使用者の頭部に装着され固定されるものであればよく、使用者の左右の眼の前に跨がって装着される形状であれば、より好ましい。例えば、ここで説明する眼鏡型の他に、使用者の顔の上部を覆うスノーゴーグル様の形状であってもよいし、双眼鏡のように使用者の左右の眼のそれぞれの前方に配置される形状であってもよい。
眼鏡型のフレーム２は、使用者の右眼の前に位置する右部２Ａ、及び、左眼の前に位置する左部２Ｂを有し、右部２Ａと左部２Ｂとがブリッジ部２Ｃ（連結部）で連結された形状である。ブリッジ部２Ｃは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、右部２Ａと左部２Ｂとを互いに連結する。
右部２Ａ及び左部２Ｂは、それぞれテンプル部２Ｄ、２Ｅに連結される。テンプル部２Ｄ、２Ｅは眼鏡のテンプルのようにして、フレーム２を使用者の頭部に支持する。本実施形態のテンプル部２Ｄは右保持部２１で構成され、テンプル部２Ｅは左保持部２３で構成される。
右光学像表示部２６は右部２Ａに配置され、左光学像表示部２８は左部２Ｂに配置される、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置する。
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図２を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、画像表示部２０を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、光学素子である右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、画像表示部２０を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、光学素子である右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。
また、フレーム２には、カメラユニット３が設けられる。カメラユニット３は、上部カメラ６１が配置されるカメラ台座部３Ｃと、カメラ台座部３Ｃを支持するアーム部３Ａ、３Ｂとを有する。アーム部３Ａは、右保持部２１の先端部ＡＰに設けられたヒンジ２１Ａにより、回動可能に右保持部２１に連結される。アーム部３Ｂは、左保持部２３の先端部ＡＰに設けられたヒンジ２３Ａにより、回動可能に左保持部２３に連結される。このため、カメラユニット３は全体として、図中矢印Ｋで示す方向、すなわち装着状態において上下に回動可能である。カメラユニット３は、回動範囲の下端でフレーム２に接する。また、カメラユニット３の回動範囲の上端はヒンジ２１Ａ、２３Ａの仕様等で決定される。
カメラ台座部３Ｃは、右部２Ａ、左部２Ｂ及びブリッジ部２Ｃの上部に跨がって位置する板状または棒状部材であり、ブリッジ部２Ｃの上に相当する位置に、上部カメラ６１が埋込設置される。上部カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
上部カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、画像表示部２０を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。上部カメラ６１の画角の広さは適宜設定可能であるが、例えばカメラユニット３の回動範囲の下端において、上部カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含むことが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるように上部カメラ６１の撮像範囲が設定されているとより好ましい。
上部カメラ６１は、制御部１４０が備える撮像処理部１８１（図７）の制御に従って撮像を実行し、撮像画像データを撮像処理部１８１に出力する。
上部カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、画像表示部２０を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。上部カメラ６１の画角の広さは適宜設定可能であるが、例えばカメラユニット３の回動範囲の下端において、上部カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含むことが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるように上部カメラ６１の撮像範囲が設定されているとより好ましい。
上部カメラ６１は、制御部１４０が備える撮像処理部１８１（図７）の制御に従って撮像を実行し、撮像画像データを撮像処理部１８１に出力する。
画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。
連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図７）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。
画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。
制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。
決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。左バックライト２２２はＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ２４２は、左バックライト２２２の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系２５２は、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備える。
左表示駆動部２４は、左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。左バックライト２２２はＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ２４２は、左バックライト２２２の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系２５２は、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備える。
左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板２６２（光学素子）に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。右バックライト２２１はＬＥＤ等の光源と拡散板とを有する。右ＬＣＤ２４１は、右バックライト２２１の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系２５１は、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備える。
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６１（光学素子）に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。
なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
また、図１及び図２に示すように、フレーム２には２つの動きセンサーが取り付けられる。本第１実施形態の動きセンサーは、慣性センサーであり、具体的には第１センサー６６及び第２センサー６８である。これらの動きセンサーである第１センサー６６及び第２センサー６８は、頭部装着型表示装置１００において、使用者の身体に対して偏りを有する位置に配置される。より具体的には、第１センサー６６は右部２Ａにおいてテンプル部２Ｄ側の端に配置され、第２センサー６８は左部２Ｂにおいてテンプル部２Ｅ側の端部に設置される。第１センサー６６及び第２センサー６８は、加速度センサーや角速度センサー（ジャイロセンサー）等の慣性センサーであり、本実施形態では、３軸のジャイロセンサーとする。
第１センサー６６及び第２センサー６８は、それぞれ、内蔵する検出機構の測定基準点において、後述するＸ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）を検出する。以下の説明で、第１センサー６６及び第２センサー６８の位置は、測定基準点の位置をいう。
第１センサー６６及び第２センサー６８は、それぞれ、内蔵する検出機構の測定基準点において、後述するＸ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）を検出する。以下の説明で、第１センサー６６及び第２センサー６８の位置は、測定基準点の位置をいう。
図３は、画像表示部２０を使用者の頭部に装着した状態を模式的に示す図であり、（Ａ）は平面図、（Ｂ）は側面視図である。
頭部装着型表示装置１００において、第１センサー６６及び第２センサー６８は、使用者の身体の動きの中心（運動中心）となる位置を基準して、配置される。図３に示す例は、頭部の中心を運動中心とみなす例を示す。
頭部装着型表示装置１００において、第１センサー６６及び第２センサー６８は、使用者の身体の動きの中心（運動中心）となる位置を基準して、配置される。図３に示す例は、頭部の中心を運動中心とみなす例を示す。
第１センサー６６及び第２センサー６８のいずれかのセンサーは、使用者の頭部の中心の一方側にあり、他のセンサーは、使用者の頭部の中心の他方側にある。具体的には、第１センサー６６は使用者の頭部の右側にあり、第２センサー６８は左側にある。
本実施形態で、頭部の中心とは、使用者の身長に対し垂直な水平面における頭部の中心を指す。第１センサー６６及び第２センサー６８の水平面における位置は、この水平面における頭部の中心を挟んで、右側と左側にある。
なお、頭部装着型表示装置１００は、高さ方向（身長の方向、図３のＹ軸方向）における頭部の中心を特定してもよく、この場合、例えば、両眼の高さ位置における水平面における中心を、「頭部の中心」としてもよい。また、例えば頭頂部から頸椎の上端までを頭部として、使用者の頭部の３次元的な中心を求め、この中心を、「頭部の中心」としてもよい。また、図３の（Ｂ）に示すように、第１センサー６６及び第２センサー６８の高さ方向の位置を、頭部の中心の高さ方向における中心としてもよい。
使用者の頭部の中心の位置は、実際に測定して求めてもよいし、使用者の身長や頭囲のサイズから推定してもよい。例えば、身長や頭囲から頭部の中心の位置を推定するパラメーターや演算式が、統計的な手法により予め得られた場合に、このパラメーターや演算式を用いて頭部の中心の位置を求めてもよい。
本実施形態で、頭部の中心とは、使用者の身長に対し垂直な水平面における頭部の中心を指す。第１センサー６６及び第２センサー６８の水平面における位置は、この水平面における頭部の中心を挟んで、右側と左側にある。
なお、頭部装着型表示装置１００は、高さ方向（身長の方向、図３のＹ軸方向）における頭部の中心を特定してもよく、この場合、例えば、両眼の高さ位置における水平面における中心を、「頭部の中心」としてもよい。また、例えば頭頂部から頸椎の上端までを頭部として、使用者の頭部の３次元的な中心を求め、この中心を、「頭部の中心」としてもよい。また、図３の（Ｂ）に示すように、第１センサー６６及び第２センサー６８の高さ方向の位置を、頭部の中心の高さ方向における中心としてもよい。
使用者の頭部の中心の位置は、実際に測定して求めてもよいし、使用者の身長や頭囲のサイズから推定してもよい。例えば、身長や頭囲から頭部の中心の位置を推定するパラメーターや演算式が、統計的な手法により予め得られた場合に、このパラメーターや演算式を用いて頭部の中心の位置を求めてもよい。
より好ましくは、図２、及び、図３の（Ａ）に示すように、本実施形態では、第１センサー６６は右導光板２６１の側方に配置され、第２センサー６８は左導光板２６２の側方に配置される。フレーム２の左右方向における中央位置をＣ１とすると、使用者に画像光を視認させる表示領域であるハーフミラー２６１Ａの中心Ｃ２と、ハーフミラー２６２Ａの中心Ｃ３とは、中央位置Ｃ１に対して対称な位置にある。言い換えれば、中央位置Ｃ１はハーフミラー２６１Ａの中心Ｃ２とハーフミラー２６２Ａの中心Ｃ３との中点にある。
このように、第１センサー６６及び第２センサー６８は、中央位置Ｃ１に対して対称な位置に設けられることが好ましい。そして、第１センサー６６の位置と第２センサー６８の位置とを結ぶ直線は、ハーフミラー２６１Ａ、２６２Ａを通る。つまり、第１センサー６６の位置、第２センサー６８の位置、ハーフミラー２６１Ａの中心Ｃ２、及びハーフミラー２６２Ａの中心Ｃ３が、同一直線上に並ぶ。
このように、第１センサー６６及び第２センサー６８は、中央位置Ｃ１に対して対称な位置に設けられることが好ましい。そして、第１センサー６６の位置と第２センサー６８の位置とを結ぶ直線は、ハーフミラー２６１Ａ、２６２Ａを通る。つまり、第１センサー６６の位置、第２センサー６８の位置、ハーフミラー２６１Ａの中心Ｃ２、及びハーフミラー２６２Ａの中心Ｃ３が、同一直線上に並ぶ。
上記にハーフミラー２６１Ａ、２６２Ａの中心を含む水平面内における位置関係を説明したが、この水平面に対し垂直な、鉛直方向（高さ方向）における位置関係は、特に制限はない。第１センサー６６及び第２センサー６８の位置と、ハーフミラー２６１Ａ、２６２Ａの中心とが、鉛直方向で近接していることが好ましい。例えば、第１センサー６６及び第２センサー６８の位置が、ハーフミラー２６１Ａ、２６２Ａの側方にあるとよい。さらに、第１センサー６６及び第２センサー６８の位置と、ハーフミラー２６１Ａ、２６２Ａの中心とが、高さ方向において同一位置にあると、より好ましい。
第１センサー６６が角速度を検出する軸は、図１に示すように、画像表示部２０を装着する使用者の頭部に対し左右方向をＸ軸、前後方向をＺ軸、上下方向をＹ軸とする。Ｘ軸、Ｙ軸、及びＺ軸は、使用者の頭部に対応して仮想的に設定される直交座標系を構成する。より詳細には、頭部装着型表示装置１００の装着状態において、画像表示部２０は左右の眼に対し、使用者が知覚する水平な位置にある。この装着状態において、第１センサー６６及び第２センサー６８の検出軸（Ｘ軸、Ｙ軸、Ｚ軸）が、使用者が知覚する左右、前後、及び上下に一致する構成である。仮に、画像表示部２０の装着位置が使用者の頭部に対して傾いたり、ずれたりすれば、第１センサー６６及び第２センサー６８の検出軸は、左右、前後、上下からずれるが、この問題は使用者が画像表示部２０の傾き及びずれを調整することで容易に解消する。
頭部装着型表示装置１００は、第１センサー６６及び第２センサー６８により、画像表示部２０を装着した状態で使用者の頭部の動きを検出する。これらの動きセンサーが検出する動きは、第１センサー６６の測定基準点（図３のＰ３）、及び、第２センサー６８の測定基準点（図３のＰ４）における動きである。
頭部装着型表示装置１００は、第１センサー６６及び第２センサー６８により、画像表示部２０を装着した状態で使用者の頭部の動きを検出する。これらの動きセンサーが検出する動きは、第１センサー６６の測定基準点（図３のＰ３）、及び、第２センサー６８の測定基準点（図３のＰ４）における動きである。
頭部装着型表示装置１００は、後述するＡＲ表示制御部１８６の機能によってＡＲコンテンツの表示を行う場合、使用者の頭部の動きの検出（ヘッドトラッキング）を行い、検出した使用者の頭部の動きに対応して表示態様を変化させる。
ヘッドトラッキングにおいては頭部の運動（動き）の基準位置を想定し、この基準位置における動きを求めることが望ましい。上述したように、人間が頭部を動かすとき、頭部の中心（図３の位置Ｐ１に相当）または頭部の前部（図３の位置Ｐ２に相当）が、動きの中心、或いは基準となることが多い。ここで、動きの中心、或いは基準となる位置を、運動中心と呼ぶ。頭部装着型表示装置１００が動きを検出する場合は、使用者の頭だけが動いた場合に限らず、使用者の頭と頭以外の身体とが合わせて動いた場合も、動きを検出する。従って、頭部装着型表示装置１００が検出する動きは頭部の動きであるが、この動きの運動中心が、使用者の頭部の外側にあることもあり得る。
ヘッドトラッキングにおいては頭部の運動（動き）の基準位置を想定し、この基準位置における動きを求めることが望ましい。上述したように、人間が頭部を動かすとき、頭部の中心（図３の位置Ｐ１に相当）または頭部の前部（図３の位置Ｐ２に相当）が、動きの中心、或いは基準となることが多い。ここで、動きの中心、或いは基準となる位置を、運動中心と呼ぶ。頭部装着型表示装置１００が動きを検出する場合は、使用者の頭だけが動いた場合に限らず、使用者の頭と頭以外の身体とが合わせて動いた場合も、動きを検出する。従って、頭部装着型表示装置１００が検出する動きは頭部の動きであるが、この動きの運動中心が、使用者の頭部の外側にあることもあり得る。
ヘッドトラッキングの処理では、運動中心における動きを求める。運動中心の動きを直接検出するためには、運動中心となりやすい位置、例えば位置Ｐ１や位置Ｐ２に動きセンサーを配置する必要があり、現実的でない。そこで、頭部装着型表示装置１００は、第１センサー６６及び第２センサー６８の検出結果に基づく演算処理により、運動中心における動きを算出する。この演算処理に用いる演算式、テーブル、パラメーター等は、後述するセンサー位置データ１２２として、予め記憶されている。
そして、第１センサー６６及び第２センサー６８の位置が、ある種の条件を満たしている場合、運動中心における動きを算出する演算処理が容易になり、軽負荷で実行でき、より正確に運動中心（例えば位置Ｐ１、Ｐ２）における動きを算出できる。
この条件は、上述したように、第１センサー６６及び第２センサー６８のいずれかのセンサーは使用者の頭部の中心の一方側にあり、他のセンサーは、使用者の頭部の中心の他方側にあることである。この場合、頭部の中心Ｐ１を運動中心とする運動が行われた場合に、運動中心における動きを容易に算出できる。
この条件は、上述したように、第１センサー６６及び第２センサー６８のいずれかのセンサーは使用者の頭部の中心の一方側にあり、他のセンサーは、使用者の頭部の中心の他方側にあることである。この場合、頭部の中心Ｐ１を運動中心とする運動が行われた場合に、運動中心における動きを容易に算出できる。
また、より好ましくは、第１センサー６６は右導光板２６１の側方に配置され、第２センサー６８は左導光板２６２の側方に配置される。さらに、第１センサー６６及び第２センサー６８は、中央位置Ｃ１に対して対称な位置に設けられることが、より好ましい。第１センサー６６の位置、第２センサー６８の位置、ハーフミラー２６１Ａの中心Ｃ２、及びハーフミラー２６２Ａの中心Ｃ３が、同一直線上に並ぶことが、さらに好ましい。この場合、頭部の中心Ｐ１、または前部の中心Ｐ２を運動中心とする運動が行われた場合に、運動中心における動きを容易に算出できる。別の観点では、第１センサー６６及び第２センサー６８は、使用者の頭部において偏りを有する位置にあり、特に運動中心とみなすことができる位置Ｐ１に対して偏った位置にある。
また、鉛直方向（高さ方向）における位置関係は、第１センサー６６及び第２センサー６８の位置と、ハーフミラー２６１Ａ、２６２Ａの中心とが、鉛直方向で近接していることが好ましい。さらに、第１センサー６６及び第２センサー６８の位置と、ハーフミラー２６１Ａ、２６２Ａの中心とが、高さ方向において同一位置にあると、より好ましい。
また、鉛直方向（高さ方向）における位置関係は、第１センサー６６及び第２センサー６８の位置と、ハーフミラー２６１Ａ、２６２Ａの中心とが、鉛直方向で近接していることが好ましい。さらに、第１センサー６６及び第２センサー６８の位置と、ハーフミラー２６１Ａ、２６２Ａの中心とが、高さ方向において同一位置にあると、より好ましい。
また、図４は、運動中心を頭部の中心以外とする例を示す説明図であり、画像表示部２０を使用者の頭部に装着した状態を模式的に示す図である。図４において（Ａ）は平面図、（Ｂ）は側面視図である。
図４には、使用者の頭部において頸椎を基準とする位置を、運動中心とみなす例を示す。
本実施形態の頭部装着型表示装置１００は、後述する検出制御部１８３によって、第１センサー６６及び第２センサー６８を利用して、３軸に対応する回転運動、及び／または並進運動を検出する。３軸に対応する回転運動は、具体的には、Ｘ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）である。
図４には、使用者の頭部において頸椎を基準とする位置を、運動中心とみなす例を示す。
本実施形態の頭部装着型表示装置１００は、後述する検出制御部１８３によって、第１センサー６６及び第２センサー６８を利用して、３軸に対応する回転運動、及び／または並進運動を検出する。３軸に対応する回転運動は、具体的には、Ｘ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）である。
図３に示した構成では、人間が頭部を動かすとき、頭部の中心（図３の位置Ｐ１に相当）または頭部の前部（図３の位置Ｐ２に相当）が動きの中心となることが多いことに着目して、第１センサー６６及び第２センサー６８を配置した。
これに対し、例えば使用者が頭部を左右に振る場合など、使用者の身体の可動部を中心とする動きに対し、高精度で対応するため、使用者の可動部を基準とする位置に第１センサー６６及び第２センサー６８を配置してもよい。
これに対し、例えば使用者が頭部を左右に振る場合など、使用者の身体の可動部を中心とする動きに対し、高精度で対応するため、使用者の可動部を基準とする位置に第１センサー６６及び第２センサー６８を配置してもよい。
図４には、複数の動きセンサーを、使用者の身体において運度中心となる可動部の位置を基準として配置する場合の、一例を示す。この場合、動きセンサーの一部は、運動中心となる可動部より一方側に位置し、他の動きセンサーは可動部の他方側に位置する。可動部は、使用者の身体において可動する部位を指し、例えば頸部等の関節が相当する。また、可動部は、使用者の身長に対し垂直な水平面における運動の中心となり得る部位と考えてもよい。例えば、両眼の高さ位置における水平面における運動中心を可動部としてもよいし、使用者の身体における３次元的な中心であってもよい。また、使用者の動きが回転運動成分と平行（平進）運動成分とを含む動きである場合、回転運動の中心を、上記の運動中心としてもよい。典型的な可動部の例は、使用者の頸部の関節であり、例えば、第１頸椎（環椎）と第２頸椎（軸椎）とが構成する椎間関節である。この場合、頸部を中心とする使用者の頭部の動きに対応して、動き量や動きの方向等を求めることができる。これにより、使用者の頭部が動いた場合に、運動中心である頸部における動き量や動きの方向等を速やかに求めることができる。
つまり、図３の例では位置Ｐ１、Ｐ２を運動中心（動きの中心）として考える場合の動きセンサーの配置を示し、図４（Ａ）、（Ｂ）は位置Ｐ１１を運動中心として想定する場合の動きセンサーの配置を示す。
図４の例では、ヘッドトラッキングにおいて、頭部の運動（動き）の基準位置を、頸椎の位置、特に環軸関節である位置Ｐ１１とする。位置Ｐ１１の高さ方向（Ｙ軸方向）における位置は、図４（Ｂ）に示すように容易に特定できる。
使用者の頸椎の位置または環軸関節の位置は、実際に測定して求めてもよいし、使用者の身長や頭囲のサイズから推定してもよい。例えば、身長や頭囲から頭部の中心の位置を推定するパラメーターや演算式が、統計的な手法により予め得られた場合に、このパラメーターや演算式を用いて頭部の中心の位置を求めてもよい。
図４の例では、ヘッドトラッキングにおいて、頭部の運動（動き）の基準位置を、頸椎の位置、特に環軸関節である位置Ｐ１１とする。位置Ｐ１１の高さ方向（Ｙ軸方向）における位置は、図４（Ｂ）に示すように容易に特定できる。
使用者の頸椎の位置または環軸関節の位置は、実際に測定して求めてもよいし、使用者の身長や頭囲のサイズから推定してもよい。例えば、身長や頭囲から頭部の中心の位置を推定するパラメーターや演算式が、統計的な手法により予め得られた場合に、このパラメーターや演算式を用いて頭部の中心の位置を求めてもよい。
上述したヘッドトラッキングの処理において、頭部装着型表示装置１００は、第１センサー６６及び第２センサー６８の検出結果に基づく演算処理により、位置Ｐ１１を運動中心として、運動中心における動きを算出してもよい。この演算処理に用いる演算式、テーブル、パラメーター等は、後述するセンサー位置データ１２２として、予め記憶されている。
図４の例では、第１センサー６６及び第２センサー６８のいずれかのセンサーが、使用者の頸椎、特に位置Ｐ１１に対し一方側にあり、他のセンサーは、位置Ｐ１１に対し他方側にあることが好ましい。別の観点では、第１センサー６６及び第２センサー６８は、使用者の頭部において偏りを有する位置にあり、特に運動中心とみなすことができる位置Ｐ１１に対して偏った位置にある。この図４の構成においても、第１センサー６６及び第２センサー６８の位置は上述した条件を満たしており、運動中心における動きを算出する演算処理が容易になり、軽負荷で実行でき、より正確に運動中心（例えば位置Ｐ１１）における動きを算出できる。
図５は、頭部装着型表示装置１００におけるセンサーの配置状態の他の例を示す図である。図５の（Ａ）は平面図、（Ｂ）は側面視図である。
図５には、第１センサー６６及び第２センサー６８のいずれか一方を、使用者の後頭部側に配置する例を示す。図５の例では、一方の動きセンサー（第１センサー６６）を使用者の後頭部に接する位置に配置する。
また、他方の動きセンサー（第２センサー６８）は、可動部である位置Ｐ１１に対して、偏った位置にあればよいが、より好ましくは、位置Ｐ１１に対して第１センサー６６の反対側にあるとよい。具体的には、第２センサー６８は使用者の顔の前方に位置する。さらに、図５の例では、第２センサー６８は、フレーム２の前面の中央である位置Ｐ２に配置される。位置Ｐ２には上部カメラ６１が配置されているが、第２センサー６８は、上部カメラ６１の奥側や下方に隣接して設けることができる。
図５には、第１センサー６６及び第２センサー６８のいずれか一方を、使用者の後頭部側に配置する例を示す。図５の例では、一方の動きセンサー（第１センサー６６）を使用者の後頭部に接する位置に配置する。
また、他方の動きセンサー（第２センサー６８）は、可動部である位置Ｐ１１に対して、偏った位置にあればよいが、より好ましくは、位置Ｐ１１に対して第１センサー６６の反対側にあるとよい。具体的には、第２センサー６８は使用者の顔の前方に位置する。さらに、図５の例では、第２センサー６８は、フレーム２の前面の中央である位置Ｐ２に配置される。位置Ｐ２には上部カメラ６１が配置されているが、第２センサー６８は、上部カメラ６１の奥側や下方に隣接して設けることができる。
図５の例では、右保持部２１の先端および左保持部２３の先端にベルト２Ｆを固定する。ベルト２Ｆは、例えば、ヒンジ２１Ａ、２３Ａに両端のそれぞれが固定され、フレーム２とともに、使用者の頭部を囲むループを形成する。ベルト２Ｆの材質は、合成樹脂、金属、布、不織布、皮革、或いはこれらの組合せ等、特に制限されない。また、ベルト２Ｆは、外力が加わらない状態でループ形状を保持する硬性の部材、或いは弾性を有する部材であってもよい。また、容易に変形可能な可撓性の部材であってもよい。また、伸縮性を有していてもよい。
ベルト２Ｆは、画像表示部２０を使用者が装着する状態で、図５（Ｂ）に示すように使用者の頭部の周囲に位置する。
ベルト２Ｆは、画像表示部２０を使用者が装着する状態で、図５（Ｂ）に示すように使用者の頭部の周囲に位置する。
ベルト２Ｆには第１センサー６６が取り付けられる。第１センサー６６は、ベルト２Ｆに固定され、または、ベルト２Ｆに固定されるケース（図示略）に収容される。
この図５の例では、第１センサー６６及び第２センサー６８が、可動部である位置Ｐ１１に対して偏った位置にある。さらに、図５の（Ａ）、（Ｂ）から明らかなように、第１センサー６６と位置Ｐ１１との距離は、第２センサー６８と位置Ｐ１１との距離よりも長い。このように、いずれかの動きセンサーと可動部との距離が、他の動きセンサーと可動部との距離と異なるように配置されると、可動部と動きセンサーとの相対位置の相違が、動きセンサーの検出値の差に反映されやすい。つまり、第１センサー６６及び第２センサー６８の位置Ｐ１１からの距離が異なるために、使用者の頭部が動く場合に、第１センサー６６の検出値と、第２センサー６８の検出値とは、距離を反映した大きな差を生じる。このため、後述する動き検出部１８５が、第１センサー６６と第２センサー６８の検出値の差に基づき、運動中心の位置や、運動中心における動き量等を、より高い精度で求めることができる。
この図５の例では、第１センサー６６及び第２センサー６８が、可動部である位置Ｐ１１に対して偏った位置にある。さらに、図５の（Ａ）、（Ｂ）から明らかなように、第１センサー６６と位置Ｐ１１との距離は、第２センサー６８と位置Ｐ１１との距離よりも長い。このように、いずれかの動きセンサーと可動部との距離が、他の動きセンサーと可動部との距離と異なるように配置されると、可動部と動きセンサーとの相対位置の相違が、動きセンサーの検出値の差に反映されやすい。つまり、第１センサー６６及び第２センサー６８の位置Ｐ１１からの距離が異なるために、使用者の頭部が動く場合に、第１センサー６６の検出値と、第２センサー６８の検出値とは、距離を反映した大きな差を生じる。このため、後述する動き検出部１８５が、第１センサー６６と第２センサー６８の検出値の差に基づき、運動中心の位置や、運動中心における動き量等を、より高い精度で求めることができる。
また、ベルト２Ｆに代えて、合成樹脂や金属を用いた、容易に変形しない硬性の、或いは弾性を有するアーム（図示略）を用いてもよい。このアームは、例えば、一端が右保持部２１または左保持部２３の端部に固定され、他端が使用者の後頭部に近接する構成とすることができ、アームの他端に第１センサー６６が配置される。
これらの構成では、第１センサー６６と第２センサー６８との一方が、使用者の頭部の前面側に位置し、他方が使用者の頭部の後部に位置する。つまり、第１センサー６６と第２センサー６８とが、位置Ｐ１または位置Ｐ１１に対して偏った位置にある。また、別の言い方をすれば、第１センサー６６及び第２センサー６８のいずれかが位置Ｐ１または位置Ｐ１１の一方側にあり、他のセンサーが位置Ｐ１または位置Ｐ１１の他方側にある。
従って、図１〜図４に示した構成と同様に、使用者の頭部が動いた場合に、運動中心における動きを容易に算出できるという利点がある。
また、図５の構成において、使用者の頭部の前側に位置する第２センサー６８を、ブリッジ部２Ｃの位置Ｐ２に配置してもよい。
これらの構成では、第１センサー６６と第２センサー６８との一方が、使用者の頭部の前面側に位置し、他方が使用者の頭部の後部に位置する。つまり、第１センサー６６と第２センサー６８とが、位置Ｐ１または位置Ｐ１１に対して偏った位置にある。また、別の言い方をすれば、第１センサー６６及び第２センサー６８のいずれかが位置Ｐ１または位置Ｐ１１の一方側にあり、他のセンサーが位置Ｐ１または位置Ｐ１１の他方側にある。
従って、図１〜図４に示した構成と同様に、使用者の頭部が動いた場合に、運動中心における動きを容易に算出できるという利点がある。
また、図５の構成において、使用者の頭部の前側に位置する第２センサー６８を、ブリッジ部２Ｃの位置Ｐ２に配置してもよい。
図６は、頭部装着型表示装置１００におけるセンサーの配置状態のさらに別の例を示す図であり、（Ａ）は平面図、（Ｂ）は側面視図である。
図６は、第１センサー６６及び第２センサー６８を、Ｚ軸方向において中央付近に配置する例を示す。
図６は、第１センサー６６及び第２センサー６８を、Ｚ軸方向において中央付近に配置する例を示す。
図６の構成例では、右保持部２１の先端に第１センサー６６が配置され、左保持部２３の先端に第２センサー６８が配置される。右保持部２１及び左保持部２３の先端部を中空形状として、第１センサー６６と左保持部２３のそれぞれを右保持部２１の先端と左保持部２３の先端に収容してもよい。また、右保持部２１の先端、及び左保持部２３の先端に、センサーを収容するケースを固定し、このケースに第１センサー６６、第２センサー６８を収容してもよい。
この構成では、第１センサー６６と第２センサー６８とのいずれかが、使用者の左側頭部に位置し、他方が使用者の右側頭部に位置する。つまり、第１センサー６６と第２センサー６８とが、位置Ｐ１または位置Ｐ１１に対して偏った位置にある。また、別の言い方をすれば、第１センサー６６及び第２センサー６８のいずれかが位置Ｐ１または位置Ｐ１１の一方側にあり、他のセンサーが位置Ｐ１または位置Ｐ１１の他方側にある。
従って、図１〜図４に示した構成と同様に、使用者の頭部が動いた場合に、運動中心における動きを容易に算出できるという利点がある。
従って、図１〜図４に示した構成と同様に、使用者の頭部が動いた場合に、運動中心における動きを容易に算出できるという利点がある。
また、図６の例では、使用者の耳の位置、または耳の近傍に、第１センサー６６及び第２センサー６８が配置される。画像表示部２０を使用者が装着する場合、右保持部２１及び左保持部２３の先端が、使用者の耳に対して大きくずれた位置となることは起こりにくい。従って、画像表示部２０の装着状態の影響を受けにくい位置で、使用者の頭部の動きを検出できる。例えば、時間的に異なるタイミングで検出された複数の検出値を比較し、或いは演算する場合に、装着状態の影響を受けないことで、より正確な結果を得ることができる。また、第１センサー６６及び第２センサー６８により、ほぼ同一の高さ位置で動きを検出できるため、検出値に基づく運動中心の算出等の処理の負荷が軽いという利点がある。
使用者の耳の位置、または耳の近傍に第１センサー６６及び第２センサー６８を位置させる方法は、図６の例に限らず、例えば、右イヤホン３２に第１センサー６６を配置し、左イヤホン３４に第２センサー６８を配置する構成が挙げられる。この場合、第１センサー６６及び第２センサー６８は、使用者の耳の穴の位置に保持されるので、より一層、画像表示部２０の装着状態の影響を受けにくい位置で安定させることができる。
図５及び図６に示す構成において、第１センサー６６と第２センサー６８とを入れ替えてもよい。また、図５の構成において、第１センサー６６及び第２センサー６８を、図１〜図４に示すよう配置した上で、第３のセンサーをベルト２Ｆに固定してもよい。また、図６の構成において、第１センサー６６及び第２センサー６８を、位置Ｐ３、Ｐ４のそれぞれに配置し、第３のセンサー及び第４のセンサーを、右保持部２１の先端と左保持部２３の先端とに設けてもよい。
図７は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１３５に接続される。操作部１３５は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１３５から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。
入力情報取得部１１０は、操作部１３５に接続される。操作部１３５は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１３５から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。
記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が実行する各種処理に係る設定値を含む。例えば、画像処理部１６０及び表示制御部１７０が画像信号を処理する場合の解像度等の設定値を含む。設定データ１２１が含む設定値は、予め操作部１３５の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が実行する各種処理に係る設定値を含む。例えば、画像処理部１６０及び表示制御部１７０が画像信号を処理する場合の解像度等の設定値を含む。設定データ１２１が含む設定値は、予め操作部１３５の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
記憶部１２０は、また、センサー位置データ１２２、及びコンテンツデータ１２３を記憶する。センサー位置データ１２２は、後述する動き検出部１８５が演算処理に用いる演算式、パラメーター等を含む。コンテンツデータ１２３は、ＡＲ表示制御部１８６がＡＲ表示するコンテンツの画像（静止画像、或いは動画像）データ、及び／又は音声データを含む。
制御部１４０には、センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。センサー１１３は、加速度センサーや角速度センサー等の慣性センサーを有し、制御部１４０はセンサー１１３の検出値を取得する。センサー１１３は、例えば３軸の加速度センサーや、３軸の加速度センサーと３軸の角速度センサーと３軸の磁気センサーとを有する９軸センサーとして構成してもよい。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータ１２３を通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータ１２３をインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータ１２３を取得するデータ取得部ＤＡとして機能する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータ１２３を通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータ１２３をインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータ１２３を取得するデータ取得部ＤＡとして機能する。
制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を有する。制御部１４０は、ＣＰＵにより制御プログラムを実行することで、頭部装着型表示装置１００の各部を制御する。また、制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、制御部１４０の各種機能を実現する。すなわち、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像処理部１８１、検出制御部１８３、動き検出部１８５、ＡＲ表示制御部１８６、及び、音声処理部１８７として機能する。
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。
表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。
撮像処理部１８１は、上部カメラ６１を制御して撮像を実行させ、撮像画像データを取得する。
検出制御部１８３は、第１センサー６６及び第２センサー６８のそれぞれを駆動して、検出値を取得する。例えば、頭部装着型表示装置１００の電源投入時などに第１センサー６６及び第２センサー６８を初期化し、検出可能な状態とする。また、検出制御部１８３は、予め設定されたサンプリング周期で第１センサー６６及び第２センサー６８のそれぞれの検出値を取得する。本実施形態では、第１センサー６６及び第２センサー６８は、それぞれ、Ｘ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）の角速度の検出値を出力する。この検出値は角速度の大きさと回転方向を含んでもよい。
検出制御部１８３は、第１センサー６６及び第２センサー６８のそれぞれを駆動して、検出値を取得する。例えば、頭部装着型表示装置１００の電源投入時などに第１センサー６６及び第２センサー６８を初期化し、検出可能な状態とする。また、検出制御部１８３は、予め設定されたサンプリング周期で第１センサー６６及び第２センサー６８のそれぞれの検出値を取得する。本実施形態では、第１センサー６６及び第２センサー６８は、それぞれ、Ｘ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）の角速度の検出値を出力する。この検出値は角速度の大きさと回転方向を含んでもよい。
動き検出部１８５は、検出制御部１８３が取得する第１センサー６６及び第２センサー６８の検出値に基づき、運動中心における動き量を算出する。運動中心は、第１センサー６６及び第２センサー６８が検出する動きから求められる使用者の頭部の動きの中心や基準の位置である。例えば、使用者の頭部が回転する場合、この回転の中心が運動中心に相当する。また、例えば使用者の頭部が直進する場合、運動中心の位置は特定の１点に定まらないが、この場合は便宜的に運動中心（図３のＰ１、または図４のＰ１１）を運動中心とする。
動き検出部１８５は、記憶部１２０が記憶するセンサー位置データ１２２を用いて、ヘッドトラッキングの演算を行う。センサー位置データ１２２は、第１センサー６６の位置Ｐ３、第２センサー６８の位置Ｐ４との相対的な位置関係または絶対位置を示すデータを含む。センサー位置データ１２２は、位置Ｐ３及びＰ４のそれぞれと、位置Ｐ１（またはＰ１１）及び／又は位置Ｐ２との位置関係を示すデータを含んでもよい。また、センサー位置データ１２２は、第１センサー６６及び第２センサー６８の検出値から、運動中心における動き量と動き方向とを算出するために用いる演算式、テーブル、パラメーター等を含む。ここで、動き検出部１８５は、第１センサー６６及び第２センサー６８の検出結果に基づいて、運動中心の位置を算出してもよい。或いは、運動中心の位置を算出せず、運動中心における動き量を算出してもよい。動き量は、速度であってもよいし、速度と時間とを含んでもよいし、移動量であってもよい。
例えば、動き検出部１８５は、第１センサー６６及び第２センサー６８の角速度の検出値から、使用者の動きのＸ軸まわりの成分、Ｙ軸まわりの成分、及びＺ軸まわりの成分を求める。そして、動き検出部１８５は、第１センサー６６及び第２センサー６８の検出値と、センサー位置データ１２２の第１センサー６６及び第２センサー６８の位置とに基づき、Ｘ軸まわりの回転の中心、Ｙ軸まわりの回転の中心、及びＺ軸回りの回転の中心を求める。そして、動き検出部は、３次元の動きの中心、すなわち運動中心の位置と、運動中心における動きの方向、及び運動中心の動きの大きさ（或いは強さ）を求める。
また、動き検出部１８５は、運動中心における動きの方向、大きさだけでなく、予め指定された点における動きの方向及び／又は大きさを求めてもよい。例えば、位置Ｐ１（またはＰ１１）における動きの方向及び／又は大きさを求めてもよい。動き検出部１８５は、位置Ｐ１（またはＰ１１）の動きの方向及び／又は大きさを求めるよう設定された場合、運動中心が位置Ｐ１（またはＰ１１）に重ならない位置であれば、運動中心における動きの方向及び／又は大きさから、位置Ｐ１の動きの方向及び／又は大きさを算出して出力する。位置Ｐ１（またはＰ１１）は水平面内における位置に限らず、使用者の身長方向（Ｚ軸方向）の位置を特定した３次元的な位置で、動きの方向及び／又は大きさを求めてもよい。
また、第１センサー６６、第２センサー６８を用いて運動中心を求める処理の一例として、第１センサー６６及び第２センサー６８により使用者の身体（特に頭部）の動き（運動）を検出する前後の位置を利用する方法がある。この方法では、運動の前の第１センサー６６の位置と第２センサー６８の位置とを直線（第１の直線とする）で結び、その中点を求め、中点を通り上記第１の直線に垂直な直線（第２の直線とする）を求める。また、運動の後の第１センサー６６の位置と第２センサー６８の位置とを直線（第３の直線とする）で結び、その中点を求め、第３の直線の中点を通り上記第３の直線に垂直な直線（第４の直線とする）を求める。この第２の直線と第４の直線との交点を、運動中心の位置として求めることができる。
また、第１センサー６６及び第２センサー６８により使用者の頭部の動きを検した場合に、運動の中心における頭部の動きを検出する処理の一例として、回動の角度を求める処理が挙げられる。この処理は、例えば、運動の前の第１センサー６６の位置と運動後の第１センサー６６の位置とを結ぶ直線を求め（第５の直線とする）、第５の直線の中点の位置座標を求める。次に、（I）第５の直線の中点の位置座標と運動中心との距離（ＤＹ）を求める。また、（II）運動の前の第１センサー６６の位置と運動後の第１センサー６６の位置との間の距離（ＤＸ）とを求める。そして、距離ＤＸと距離ＤＹとについて、下記式（１）の演算を行うことで、第１センサー６６が回転運動した角度θを求めることができる。角度θは、運動中心を中心とする第１センサー６６の回転運動における、回転角度（運動量）である。
θ＝ａｒｃｔａｎ（ＤＸ／２ＤＹ） …（１）
上記式（１）を用いた方法は、第２センサー６８が回転運動した角度を求める場合にも適用できる。そして、第１センサー６６が回転運動した角度と、第１センサー６８が回転運動した角度との平均を求め、この平均値を、運動中心における回転角度として求めることが考えられる。
上記に例示した方法は、例えば、後述する図８のステップＳ１５において実行してもよい。
また、第１センサー６６及び第２センサー６８により使用者の頭部の動きを検した場合に、運動の中心における頭部の動きを検出する処理の一例として、回動の角度を求める処理が挙げられる。この処理は、例えば、運動の前の第１センサー６６の位置と運動後の第１センサー６６の位置とを結ぶ直線を求め（第５の直線とする）、第５の直線の中点の位置座標を求める。次に、（I）第５の直線の中点の位置座標と運動中心との距離（ＤＹ）を求める。また、（II）運動の前の第１センサー６６の位置と運動後の第１センサー６６の位置との間の距離（ＤＸ）とを求める。そして、距離ＤＸと距離ＤＹとについて、下記式（１）の演算を行うことで、第１センサー６６が回転運動した角度θを求めることができる。角度θは、運動中心を中心とする第１センサー６６の回転運動における、回転角度（運動量）である。
θ＝ａｒｃｔａｎ（ＤＸ／２ＤＹ） …（１）
上記式（１）を用いた方法は、第２センサー６８が回転運動した角度を求める場合にも適用できる。そして、第１センサー６６が回転運動した角度と、第１センサー６８が回転運動した角度との平均を求め、この平均値を、運動中心における回転角度として求めることが考えられる。
上記に例示した方法は、例えば、後述する図８のステップＳ１５において実行してもよい。
ＡＲ表示制御部１８６は、記憶部１２０が記憶するコンテンツデータ１２３を読み出し、画像処理部１６０及び表示制御部１７０を制御して、ＡＲ表示用の画像を画像表示部２０により表示させる。また、ＡＲ表示制御部１８６は、コンテンツデータ１２３が音声データを含む場合、音声処理部１８７を制御して、右イヤホン３２、左イヤホン３４からコンテンツの音声を出力させる。
ＡＲ表示制御部１８６は、動き検出部１８５が出力する運動中心の動きの方向、及び動き量を示すデータに基づき、ＡＲコンテンツの表示を制御する。
ＡＲ表示制御部１８６は、使用者が画像表示部２０越しに対象物を見ている状態でＡＲコンテンツを表示する。ＡＲ表示制御部１８６は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部２０越しに見える対象物の姿の見え方を変える。ＡＲコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ＡＲコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。ＡＲ表示制御部１８６は、撮像処理部１８１が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、ＡＲ表示制御部１８６は、検出した対象物に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。
ＡＲ表示制御部１８６は、使用者が画像表示部２０越しに対象物を見ている状態でＡＲコンテンツを表示する。ＡＲ表示制御部１８６は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部２０越しに見える対象物の姿の見え方を変える。ＡＲコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ＡＲコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。ＡＲ表示制御部１８６は、撮像処理部１８１が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、ＡＲ表示制御部１８６は、検出した対象物に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。
ＡＲ表示制御部１８６は、画像表示部２０を装着した使用者の頭部の動きに合わせて、ＡＲコンテンツの表示位置を変更する処理や、ＡＲコンテンツを切り替える処理を行う。例えば、使用者の頭部が、Ｚ軸回りに設定値を超える角速度で回動する場合、ＡＲ表示制御部１８６はＡＲコンテンツの表示を消去する。このような頭部の動きがある場合は使用者の視界が大きく動き、ＡＲ表示の対象物が視野から外れる可能性が高いためである。また、例えば、使用者の頭部がＸ軸方向に移動する場合、ＡＲ表示制御部１８６は、ＡＲコンテンツの表示サイズを拡大、または縮小する。このような頭部の動きがある場合、使用者には、ＡＲ表示の対象物が大きく見えるようになる。このため、ＡＲ表示制御部１８６は、ＡＲコンテンツを拡大してＡＲコンテンツを見やすくするとよいし、対象物が見やすくなるようにＡＲコンテンツを縮小してもよい。
ＡＲ表示制御部１８６が、使用者の頭部の動きに対応してＡＲコンテンツの表示態様を変化させる態様は、設定データ１２１に含まれる設定値として、事前に設定される。また、制御部１４０が実行するプログラムに設定されることもあり得る。
ここで、ＡＲ表示制御部１８６の表示の制御は、使用者の頭部の中心（図３のＰ１）や頭部の前部の中心（図３のＰ２）、或いは頸椎（図４のＰ１１）における動きに対応する処理として設計される。頭部の中心、頭部の前部の中心、或いは頸椎の動きに合わせると、表示変化を設計する際にイメージし易く、シンプルで、間違いが起きにくく、効果的な表示変化を設計できるためである。このため、設定データ１２１には、使用者の頭部の中心、頭部の前部の中心、或いは頸椎における動きの設定値が設定される。ＡＲ表示制御部１８６は、動き検出部１８５が算出する使用者の頭部の中心、頭部の前部の中心、或いは頸椎における動きを、設定データ１２１と比較対照して、処理する。
ここで、ＡＲ表示制御部１８６の表示の制御は、使用者の頭部の中心（図３のＰ１）や頭部の前部の中心（図３のＰ２）、或いは頸椎（図４のＰ１１）における動きに対応する処理として設計される。頭部の中心、頭部の前部の中心、或いは頸椎の動きに合わせると、表示変化を設計する際にイメージし易く、シンプルで、間違いが起きにくく、効果的な表示変化を設計できるためである。このため、設定データ１２１には、使用者の頭部の中心、頭部の前部の中心、或いは頸椎における動きの設定値が設定される。ＡＲ表示制御部１８６は、動き検出部１８５が算出する使用者の頭部の中心、頭部の前部の中心、或いは頸椎における動きを、設定データ１２１と比較対照して、処理する。
上記とは異なる方法として、実際に動きを検出する第１センサー６６、第２センサー６８の位置における動きに対応して、ＡＲ表示制御部１８６の表示の制御を設計することも可能である。例えば、設定データ１２１に、第１センサー６６及び第２センサー６８の検出値に関する設定値を設定し、この設定値に基づきＡＲ表示制御部１８６が処理を行う。この場合も、使用者の頭部の動きに対応して表示を制御できる。しかしながら、この設定値は、第１センサー６６及び第２センサー６８の位置に固定された値であり、頭部装着型表示装置１００の仕様変更によりセンサーの位置や数が変化した場合は新たな設定値が必要になる。
これに対し、第１センサー６６や第２センサー６８の検出値から動きの基準の位置と、この基準の位置における動きを算出する方法では、設定値が装置固有の値ではなく、汎用性を持つ。従って、ＡＲコンテンツの表示態様の制御が容易になり、効果的なＡＲ表示が可能になるという利点がある。
これに対し、第１センサー６６や第２センサー６８の検出値から動きの基準の位置と、この基準の位置における動きを算出する方法では、設定値が装置固有の値ではなく、汎用性を持つ。従って、ＡＲコンテンツの表示態様の制御が容易になり、効果的なＡＲ表示が可能になるという利点がある。
音声処理部１８７は、ＡＲ表示制御部１８６の制御によりコンテンツの音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。
画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２とを備える。また、画像表示部２０は、上述した上部カメラ６１、第１センサー６６、及び第２センサー６８を備える。上部カメラ６１はフレーム２（図１）とは別体のカメラユニット３に設けられるが、インターフェイス２５に接続される。
インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
インターフェイス２５は、上部カメラ６１、第１センサー６６、及び第２センサー６８を接続するインターフェイスである。上部カメラ６１の撮像画像データや撮像信号、第１センサー６６及び第２センサー６８の検出結果等は、インターフェイス２５を介して制御部１４０に送られる。
インターフェイス２５は、上部カメラ６１、第１センサー６６、及び第２センサー６８を接続するインターフェイスである。上部カメラ６１の撮像画像データや撮像信号、第１センサー６６及び第２センサー６８の検出結果等は、インターフェイス２５を介して制御部１４０に送られる。
右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。
受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。
左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。
受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。
図８は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、制御部１４０が、使用者の頭部の動きを求める動作を示す。
制御部１４０は、頭部装着型表示装置１００の電源投入時、ＡＲコンテンツの表示を開始する際、或いは、操作部１３５の操作により開始が指示された際に、センサーの検出を開始する（ステップＳ１１）。制御部１４０の動き検出部１８５は、記憶部１２０からセンサー位置データ１２２を取得し（ステップＳ１２）、検出制御部１８３は第１センサー６６及び第２センサー６８の検出値を取得する（ステップＳ１３）。
制御部１４０は、頭部装着型表示装置１００の電源投入時、ＡＲコンテンツの表示を開始する際、或いは、操作部１３５の操作により開始が指示された際に、センサーの検出を開始する（ステップＳ１１）。制御部１４０の動き検出部１８５は、記憶部１２０からセンサー位置データ１２２を取得し（ステップＳ１２）、検出制御部１８３は第１センサー６６及び第２センサー６８の検出値を取得する（ステップＳ１３）。
動き検出部１８５は、検出制御部１８３が取得した第１センサー６６の検出値と、センサー位置データ１２２に含まれる第１センサー６６の位置に関するデータとを対応付ける（ステップＳ１４）。また、ステップＳ１４で、動き検出部１８５は、検出制御部１８３が取得した第２センサー６８の検出値と、センサー位置データ１２２に含まれる第２センサー６８の位置に関するデータとを対応付ける。
検出制御部１８３は、予め設定されたサンプリング周波数で第１センサー６６及び第２センサー６８の検出値を取得する。制御部１４０が図８のステップＳ１１〜Ｓ１７を繰り返し実行し、その実行周期が検出制御部１８３のサンプリング周期よりも長い場合、検出制御部１８３は、複数回の検出値の合計値、平均値、中央値などの値をステップＳ１３で出力してもよい。この場合、ステップＳ１４で、動き検出部１８５は、複数回の検出値から求められる合計値、平均値、中央値などの値と、各センサーの位置に関するデータとを対応付ける。
動き検出部１８５は、センサー位置データ１２２に基づき、第１センサー６６及び第２センサー６８の検出値から、運動中心における動きの方向、及び動きの量を算出する（ステップＳ１５）。動き検出部１８５は、算出した動きの方向、及び動きの量に関するデータを、ＡＲ表示制御部１８６に出力し（ステップＳ１６）、ステップＳ１７に移行する。
ステップＳ１５では、例えば、上述したように運動前後における第１センサー６６及び第２センサー６８の位置に基づき、運動中心の位置として求める処理を行ってもよい。また、上述したように、運動の中心における頭部の動きを検出する処理として、上記式（１）を利用した、回動の角度を求める処理を行ってもよい。
ステップＳ１５では、例えば、上述したように運動前後における第１センサー６６及び第２センサー６８の位置に基づき、運動中心の位置として求める処理を行ってもよい。また、上述したように、運動の中心における頭部の動きを検出する処理として、上記式（１）を利用した、回動の角度を求める処理を行ってもよい。
ステップＳ１７で、制御部１４０は、動き検出の終了条件が成立したか否かを判定し（ステップＳ１７）、終了条件が成立した場合は（ステップＳ１７；ＹＥＳ）、本処理を終了する。また、終了条件が成立していない場合は（ステップＳ１７；ＮＯ）、ステップＳ１２に戻る。
図８の処理では、第１センサー６６及び第２センサー６８の検出値が、検出制御部１８３の動作により、インターフェイス２５を介して取得され、動き検出部１８５で処理される。ここで、検出制御部１８３が取得し動き検出部１８５が処理する検出値には、検出したセンサーを特定する情報と、検出または検出値を取得したタイミングを示す情報とが、付加されているとよい。この場合、第１センサー６６及び／又は第２センサー６８が、検出値をインターフェイス２５に出力する際に、検出したセンサーが第１センサー６６であるか第２センサー６８を示すデータと、タイミングを示すデータとを付加してもよい。或いは、検出制御部１８３が、第１センサー６６及び／又は第２センサー６８の検出値を取得する際に、検出したセンサーが第１センサー６６であるか第２センサー６８を示すデータと、タイミングを示すデータとを付加してもよい。また、動き検出部１８５が、検出制御部１８３から検出値を取得する際に、検出したセンサーが第１センサー６６であるか第２センサー６８を示すデータと、タイミングを示すデータとを付加してもよい。
図８の処理により求める運動中心の位置を利用して、制御部１４０は、画像表示部２０によるＡＲ表示の制御や上部カメラ６１の撮像画像に関する処理を実行できる。
以下、これらの処理について説明する。
以下、これらの処理について説明する。
図９は、上部カメラ６１の撮像範囲と使用者の視野との相対位置の例を示す説明図である。（Ａ）は平面図、（Ｂ）は側面視図である。
図９の例では、運動中心を、頭部Ｈの中心であるＰ１として説明する。上部カメラ６１は位置Ｐ２に配置され、第１センサー６６はフレーム２の前面の左端に位置し、第２センサー６８はフレーム２の前面の右端に位置する。
図９の例では、運動中心を、頭部Ｈの中心であるＰ１として説明する。上部カメラ６１は位置Ｐ２に配置され、第１センサー６６はフレーム２の前面の左端に位置し、第２センサー６８はフレーム２の前面の右端に位置する。
使用者が視覚により認識できる範囲、すなわち使用者の視野は、右眼ＲＥの位置と左眼ＬＥの位置とを中心として前方に拡がる範囲である。運動中心として頭部の中心に相当する位置Ｐ１、或いは、上述した頸椎に対応する位置Ｐ１１を特定した場合、使用者の視野を、位置Ｐ１或いは位置Ｐ１１を基準として推定できる。位置Ｐ１、Ｐ１１はいずれも、概ね右眼ＲＥと左眼ＬＥの中心線上にあり、右眼ＲＥと左眼ＬＥの後方である。従って、位置Ｐ１、Ｐ１１から所定の角度で前方に拡がる範囲を求めれば、この範囲は、使用者の視野と比較的高い一致性を有する。つまり、位置Ｐ１、Ｐ１１を基準として、擬似的に、使用者の視野に概ね対応する範囲を求めることができる。
一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、その中心に近い弁別視野は、視力などの視機能が最も優れて発揮される中心領域であり、視線方向を中心としておよそ±５度の範囲とされる。また、情報受容能力に優れる有効視野は、弁別視野より広く、水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。このように、視野に関しては、人間の視覚特性の生理学的あるいは解剖学的な統計から経験的に求められた数値が、一般に知られている。そして、これらの数値に基づき、位置Ｐ１、Ｐ１１を基準とした場合の安定注視野、有効視野、及び弁別視野の方向及び角度を定めるパラメーターを得ることができ、これらのパラメーターを、例えば予め記憶部１２０に記憶しておくことができる。
図９の（Ａ）の例では、図８に示した処理により特定される運動中心の位置Ｐ１を基準として、使用者の視野Ｖ１〜Ｖ３が特定される。この図９（Ａ）の視野Ｖ１〜Ｖ３は、厳密には、頭部装着型表示装置１００が記憶するパラメーターにより推定される視野であるが、概ね、現実の使用者の視野と一致すると考えられる。
最も広い視野Ｖ１は使用者の安定注視野に相当し、視野Ｖ２は有効視野に相当し、視野Ｖ３は弁別視野に相当する。制御部１４０は、視野Ｖ１〜Ｖ３のうち、いずれか１以上を求める処理を行う。
最も広い視野Ｖ１は使用者の安定注視野に相当し、視野Ｖ２は有効視野に相当し、視野Ｖ３は弁別視野に相当する。制御部１４０は、視野Ｖ１〜Ｖ３のうち、いずれか１以上を求める処理を行う。
ここで、上部カメラ６１の撮像範囲（画角）を、図９に符号ＡＣで示す。上部カメラ６１の撮像範囲は、上部カメラ６１の撮像レンズ（図示略）の光学特性、上部カメラ６１が備える撮像素子（図示略）のサイズ等により決まる。さらに、上部カメラ６１の位置は、右眼ＲＥ及び左眼ＬＥよりも前方にある。このため、使用者の視野と上部カメラ６１の撮像範囲との相対位置は、一致しない可能性がある。
また、上部カメラ６１の高さ方向における位置と、右眼ＲＥ及び左眼ＬＥの高さ方向における位置とは一致するとは限らない。上部カメラ６１がフレーム２の上のカメラユニット３に配置される場合、上部カメラ６１は右眼ＲＥ及び左眼ＬＥより上に位置する。この場合、図９（Ｂ）に示すように、使用者の視野（例えば安定注視野Ｖ１）と、上部カメラ６１の撮像範囲ＡＣとは、高さ方向においてずれを生じる。
また、上部カメラ６１の高さ方向における位置と、右眼ＲＥ及び左眼ＬＥの高さ方向における位置とは一致するとは限らない。上部カメラ６１がフレーム２の上のカメラユニット３に配置される場合、上部カメラ６１は右眼ＲＥ及び左眼ＬＥより上に位置する。この場合、図９（Ｂ）に示すように、使用者の視野（例えば安定注視野Ｖ１）と、上部カメラ６１の撮像範囲ＡＣとは、高さ方向においてずれを生じる。
また、上部カメラ６１の位置は、フレーム２の前面側の中央である位置Ｐ２に限定されず、例えば、右部２Ａ側の端部、或いは、左部２Ｂ側の端部に設置できる。この場合、水平方向における上部カメラ６１の撮像範囲の中心の位置と、使用者の視野の中心の位置とがずれるので、使用者の視野（例えば安定注視野Ｖ１）と、上部カメラ６１の撮像範囲ＡＣとは、水平方向のずれを生じる。
図８に示す動作で、動き検出部１８５は、運動中心における動きの方向、及び動きの量を算出し（ステップＳ１５）、算出した動きの方向、及び動きの量に関するデータをＡＲ表示制御部１８６に出力する（ステップＳ１６）。ＡＲ表示制御部１８６は、動き検出部１８５が出力する動きの方向、及び動きの量に関するデータに基づいて、画像表示部２０におけるＡＲコンテンツの表示を制御する。この場合、使用者の視野と上部カメラ６１の撮像範囲との相対位置を加味して、ＡＲコンテンツの表示位置等を調整すれば、使用者の視野に合わせた位置にＡＲコンテンツを表示できる。これにより、ＡＲコンテンツの視認性の向上が期待できる。
また、ＡＲ表示制御部１８６は、上部カメラ６１の撮像画像データから対象物を検出し、検出した対象物に対応する表示位置にＡＲコンテンツを表示することができる。この場合に、上部カメラ６１の撮像範囲と使用者の視野との相対位置を加味して処理を行うことで、撮像画像データから検出される対象物を使用者が視認する位置を、より正確に求めることができる。
このように、動き検出部１８５が特定する運動中心の位置に基づき、上部カメラ６１の撮像範囲と使用者の視野との相対位置を求め、この相対位置を利用することで、ＡＲ表示の精度を高め、より高い視覚効果が期待できる。
また、ＡＲ表示制御部１８６は、上部カメラ６１の撮像画像データから対象物を検出し、検出した対象物に対応する表示位置にＡＲコンテンツを表示することができる。この場合に、上部カメラ６１の撮像範囲と使用者の視野との相対位置を加味して処理を行うことで、撮像画像データから検出される対象物を使用者が視認する位置を、より正確に求めることができる。
このように、動き検出部１８５が特定する運動中心の位置に基づき、上部カメラ６１の撮像範囲と使用者の視野との相対位置を求め、この相対位置を利用することで、ＡＲ表示の精度を高め、より高い視覚効果が期待できる。
図１０は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、上部カメラ６１の撮像範囲と使用者の視野との相対位置を求める処理を示す。
動き検出部１８５は、例えば図８のステップＳ１５で、各動きセンサーの検出値から運動中心（基準位置、ここでは位置Ｐ１、Ｐ１１）における動き量を算出する際に、運動中心の位置を求める。この位置は、例えば、第１センサー６６及び第２センサー６８の位置を示すセンサー位置データ１２２に基づき算出できる。このように、動き検出部１８５は、センサー位置データ１２２に従って、第１センサー６６及び第２センサー６８の位置を基準として運動中心の位置を求める（ステップＳ２１）。
動き検出部１８５は、例えば図８のステップＳ１５で、各動きセンサーの検出値から運動中心（基準位置、ここでは位置Ｐ１、Ｐ１１）における動き量を算出する際に、運動中心の位置を求める。この位置は、例えば、第１センサー６６及び第２センサー６８の位置を示すセンサー位置データ１２２に基づき算出できる。このように、動き検出部１８５は、センサー位置データ１２２に従って、第１センサー６６及び第２センサー６８の位置を基準として運動中心の位置を求める（ステップＳ２１）。
次に、動き検出部１８５は、センサー位置データ１２２に基づき、第１センサー６６及び第２センサー６８の位置に対する画像表示部２０の相対的な位置を求める（ステップＳ２２）。さらに、動き検出部１８５は、ステップＳ２１で求めた運動中心の位置から、使用者の右眼ＲＥ及び左眼ＬＥの位置を特定する（ステップＳ２３）。
動き検出部１８５は、ステップＳ２２で求めた位置と、ステップＳ２３で求めた位置とに基づいて、画像表示部２０に対する使用者の右眼ＲＥ及び左眼ＬＥの相対位置を求める（ステップＳ２４）。ここで求められる相対位置は、使用者が画像表示部２０（具体的にはフレーム２）を装着する装着状態（装着位置）を示し、使用者の右眼ＲＥ及び左眼ＬＥと、右光学像表示部２６及び左光学像表示部２８が画像を表示する表示領域との位置関係を反映する。
そして、動き検出部１８５は、画像表示部２０における上部カメラ６１の位置を示すデータと、ステップＳ２４で求めた相対位置とに基づいて、上部カメラ６１の撮像範囲と使用者の視野との対応を求める（ステップＳ２５）。画像表示部２０における上部カメラ６１の位置は固定的であるから、この位置を示すデータを、記憶部１２０に記憶してもよい。また、カメラユニット３がフレーム２に対して移動された場合には、後述する第３〜第７実施形態で説明する方法により、フレーム２に対するカメラユニット３の位置を求めてもよい。この場合、ステップＳ２５では、フレーム２に対するカメラユニット３の位置を求める処理の結果を利用できる。
図１１は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、使用者のフレーム２の装着状態を判定する処理を示す。
図１１の例では、図１０で説明した処理と同様の方法によって、使用者の頭部における画像表示部２０の装着位置がずれて、想定される位置から逸脱しているか否かを判定する。
図１１の例では、図１０で説明した処理と同様の方法によって、使用者の頭部における画像表示部２０の装着位置がずれて、想定される位置から逸脱しているか否かを判定する。
図１１においてステップＳ２１〜Ｓ２４は、図１０を参照して説明した通りである。
動き検出部１８５は、ステップＳ２４で求めた画像表示部２０に対する右眼ＲＥ及び左眼ＬＥの相対位置に基づき、画像表示部２０の装着位置の判定を行う（ステップＳ３１）。ステップＳ３１では、例えば、画像表示部２０に対する右眼ＲＥ及び左眼ＬＥの相対位置を、位置の差を示すずれ量の値に換算して、予め記憶部１２０に記憶する閾値と比較する。
動き検出部１８５は、ステップＳ２４で求めた画像表示部２０に対する右眼ＲＥ及び左眼ＬＥの相対位置に基づき、画像表示部２０の装着位置の判定を行う（ステップＳ３１）。ステップＳ３１では、例えば、画像表示部２０に対する右眼ＲＥ及び左眼ＬＥの相対位置を、位置の差を示すずれ量の値に換算して、予め記憶部１２０に記憶する閾値と比較する。
動き検出部１８５は、画像表示部２０の装着位置がずれているか否かを判定する（ステップＳ３２）。動き検出部１８５は、記憶部１２０に記憶した閾値、或いは基準値に基づき、画像表示部２０の装着位置がずれていないと見なすことができる状態か、或いは、ずれているかを判定する。
装着位置がずれていると判定した場合（ステップＳ３２；ＮＯ）、動き検出部１８５は、ずれ量が基準以上の大きさであるか否かを判定する（ステップＳ３３）。ずれ量が基準より小さいと判定した場合（ステップＳ３３；ＮＯ）、動き検出部１８５はＡＲ表示制御部１８６に対し、ずれ量を示すデータを出力し、ＡＲ表示制御部１８６が、ずれを補償するように、ＡＲ表示の表示位置の補正を行う（ステップＳ３４）。
装着位置がずれていると判定した場合（ステップＳ３２；ＮＯ）、動き検出部１８５は、ずれ量が基準以上の大きさであるか否かを判定する（ステップＳ３３）。ずれ量が基準より小さいと判定した場合（ステップＳ３３；ＮＯ）、動き検出部１８５はＡＲ表示制御部１８６に対し、ずれ量を示すデータを出力し、ＡＲ表示制御部１８６が、ずれを補償するように、ＡＲ表示の表示位置の補正を行う（ステップＳ３４）。
また、ずれ量が基準以上と判定した場合（ステップＳ３３；ＹＥＳ）、制御部１４０の制御により、画像表示部２０の装着位置のずれを修正するよう、使用者に対する案内を出力する（ステップＳ３５）。例えば、動き検出部１８５がＡＲ表示制御部１８６に対し、案内の出力を指示するコマンドを出力し、ＡＲ表示制御部１８６が、画像表示部２０の装着位置のずれの修正を促すメッセージを表示する。また、制御部１４０が音声処理部１８７により、右イヤホン３２及び左イヤホン３４から、画像表示部２０の装着位置のずれの修正を促す音声を出力してもよい。
また、画像表示部２０の装着位置がずれていないと見なすことができる場合（ステップＳ３２；ＹＥＳ）、動き検出部１８５は、本処理を終了する。
このように、制御部１４０は、第１センサー６６及び第２センサー６８の検出値に基づいて、運動中心の位置を求めた場合に、求めた運動中心の位置に基づいて画像表示部２０の装着状態が適切か否かを判定できる。そして、画像表示部２０の装着状態に応じて、ＡＲ表示の位置を補正したり、画像表示部２０の装着状態の修正を使用者に促したりすることができる。
このように、制御部１４０は、第１センサー６６及び第２センサー６８の検出値に基づいて、運動中心の位置を求めた場合に、求めた運動中心の位置に基づいて画像表示部２０の装着状態が適切か否かを判定できる。そして、画像表示部２０の装着状態に応じて、ＡＲ表示の位置を補正したり、画像表示部２０の装着状態の修正を使用者に促したりすることができる。
図１１の動作において、ステップＳ２４では、画像表示部２０に対する右眼ＲＥ及び左眼ＬＥの位置を求めるが、画像表示部２０の傾きを直接検出してもよい。例えば、図６に示したように、第１センサー６６及び第２センサー６８を、右保持部２１、左保持部２３の端部にそれぞれ配置した場合、第１センサー６６及び第２センサー６８によりほぼ同じ高さ位置で加速度や角速度を検出できる。このため、第１センサー６６及び第２センサー６８の検出値に基づいて、より容易に、画像表示部２０の装着状態を判定できる。また、上述のように右イヤホン３２及び左イヤホン３４に、第１センサー６６及び第２センサー６８のそれぞれを設けた構成でも、同様の効果が得られる。
また、制御部１４０は、第１センサー６６及び第２センサー６８の検出値を利用して、上部カメラ６１の撮像画像におけるブレの補正を行うこともできる。
図１２は、使用者の頭部の動きの影響の例を示す説明図であり、（Ａ）は正面図、（Ｂ）は側面視図である。図１２には、運動中心として位置Ｐ１１を特定する場合を例示する。
図１２は、使用者の頭部の動きの影響の例を示す説明図であり、（Ａ）は正面図、（Ｂ）は側面視図である。図１２には、運動中心として位置Ｐ１１を特定する場合を例示する。
上部カメラ６１による撮像を行っている間、使用者の頭部が動くと、撮像画像にはブレが発生する。例えば、図１２（Ａ）の矢印Ｍ１で示すように、使用者の頭部がＺ軸まわりに動いた場合、この動きは、上部カメラ６１の撮像画像の左右方向のブレを生じる。図１２（Ｂ）の矢印Ｍ３に示すように、使用者の頭部がＸ軸まわりに動いた場合、この動きは、撮像画像の上下方向のブレを生じる。また、図示はしないが、使用者の頭部がＹ軸まわりに動いた場合、上部カメラ６１の撮像画像に左右方向のブレを生じる。
例えば図８に示した処理により、矢印Ｍ１方向の動きは、運動中心である位置Ｐ１１における矢印Ｍ２方向の動きとして、求めることができる。同様に、矢印Ｍ３方向の動きは、運動中心である位置Ｐ１１における矢印Ｍ４方向の動きとして、求めることができる。
このように、頭部装着型表示装置１００では、上部カメラ６１の撮像画像のブレを生じるような使用者の頭部の動きを、運動中心における動きとして求めることができる。
このように、頭部装着型表示装置１００では、上部カメラ６１の撮像画像のブレを生じるような使用者の頭部の動きを、運動中心における動きとして求めることができる。
使用者の頭部の動きは、使用者が意図して視線方向を移動させるために頭部を動かす場合を含む。このような動きを、使用者の認知動作に基づく動きと呼ぶ。認知動作は、使用者が、視野の中心から外れた位置にある対象物ＯＢを認知するために、頭部を意図的に動かす動きである。これに対し、使用者が視線を動かす意図がなくても頭部や身体が動いてしまうことがある。この動きは、認知動作に基づかない動きということができる。
使用者が認知動作を行う場合、頭部の動きに追従して上部カメラ６１の撮像範囲が移動することが望ましい。これに対し、認知動作でない動きにより上部カメラ６１の撮像範囲が移動すると、撮像画像における動きは、いわゆるブレであり、この撮像画像の動きは小さいことが望ましい。
使用者が認知動作を行う場合、頭部の動きに追従して上部カメラ６１の撮像範囲が移動することが望ましい。これに対し、認知動作でない動きにより上部カメラ６１の撮像範囲が移動すると、撮像画像における動きは、いわゆるブレであり、この撮像画像の動きは小さいことが望ましい。
そこで、本実施形態の頭部装着型表示装置１００は、複数の動きセンサーである第１センサー６６及び第２センサー６８の検出値から、運動中心における動きを求め、求めた動きが認知動作に該当するか否かを判定する。
図１３は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、使用者の頭部の動きが認知動作か否かを判定する処理を示す。
図１３は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、使用者の頭部の動きが認知動作か否かを判定する処理を示す。
動き検出部１８５は、例えば図８のステップＳ１５の処理により、各動きセンサーの検出値から運動中心（基準位置、ここでは位置Ｐ１、Ｐ１１）における動き量を算出する（ステップＳ４１）。動き検出部１８５は、ステップＳ４１で求めた動き量をもとに、検出された動きが、認知動作によらない動き（ブレ）であるか、認知動作による動きかの判定を行う（ステップＳ４２）。ステップＳ４２では、例えば、ステップＳ４１で求めた動き量と動きの方向とを、ブレの動き量及び動きのパターンを定めた比較用データと比較することで、判定を行う。比較用のデータは、例えば、予め記憶部１２０に記憶する構成とすることができる。
判定の結果、認知動作に該当する場合（ステップＳ４３；ＹＥＳ）、動き検出部１８５は本処理を終了する。
また、認知動作に該当しないと判定した場合（ステップＳ４３；ＮＯ）、すなわちステップＳ４１で算出された動きがブレである場合、動き検出部１８５は、撮像処理部１８１によるブレの補正を開始する。
また、認知動作に該当しないと判定した場合（ステップＳ４３；ＮＯ）、すなわちステップＳ４１で算出された動きがブレである場合、動き検出部１８５は、撮像処理部１８１によるブレの補正を開始する。
撮像処理部１８１は、上部カメラ６１の撮像画像データから、撮像対象である対象物ＯＢの画像を検出し、撮像画像における撮像対象の位置を特定する（ステップＳ４４）。撮像処理部１８１は、特定した撮像対象と上部カメラ６１とを結ぶ直線である撮像基軸を算出する（ステップＳ４５）。撮像基軸の例を図１２の（Ｂ）に符号ＳＸで示す。撮像基軸ＳＸは、上部カメラ６１と対象物ＯＢとを結ぶ軸であり、上部カメラ６１の光軸と一致するとは限らない。撮像基軸ＳＸは仮想的に求められる軸であり、上部カメラ６１の撮像素子（図示略）の位置を基準とするか、上部カメラ６１の撮像レンズの位置を基準とするかは問わない。
撮像処理部１８１は、ステップＳ４５で求めた撮像基軸が動いた場合に、この動きを補償するように、撮像画像データを補正する（ステップＳ４６）。例えば、撮像処理部１８１は、上部カメラ６１の撮像画像データを所定時間毎に取り込み、ステップＳ４１で算出される動き量及び動きの方向に基づき、撮像画像データを補正する。この補正により、撮像基軸ＳＸの動きが相殺される。具体的には、撮像画像データ中の対象物ＯＢの画像の位置が移動しないように、撮像画像データが補正される。
これにより、上部カメラ６１の撮像画像のブレが抑制され、或いは解消されるので、ＡＲ表示制御部１８６が撮像画像を用いた表示を行う場合に、この表示画像の揺れが抑えられ、使用者の映像酔いを防止または軽減できる。また、上部カメラ６１の撮像画像を動画像（映像）として記憶部１２０に記憶し、記憶した動画像を頭部装着型表示装置１００または他の機器により再生する場合等においても、視聴者の映像酔いを防止または軽減できる。
以上説明したように、使用者の頭部に装着される頭部装着型表示装置１００は、使用者の眼に画像光を照射する画像表示部２０と、複数の動きセンサーとしての第１センサー６６及び第２センサー６８とを備える。第１センサー６６及び第２センサー６８は、頭部装着型表示装置１００の装着状態において、使用者の身体に対して偏りを有する位置に配置される。これにより、偏りを有する位置に配置された第１センサー６６及び第２センサー６８の検出結果を利用して、使用者の身体が動いた場合に、動きの中心（運動中心）における動き量や動きの方向等を速やかに求めることができる。第１センサー６６及び第２センサー６８は、例えば、使用者の頭部や頸部の基準位置に対して、互いに偏った位置に配置することができる。より具体的には、使用者の頭部が動く場合の中心となり得る頸部関節、或いは、頭部の中心等を基準として、第１センサー６６及び第２センサー６８の相対的な位置が偏った位置になる構成とすることができる。この場合、使用者の頭部が動いた場合に、この動きに起因する第１センサー６６及び第２センサー６８の検出値の差に基づき、使用者の頭部の動きを解析できる。これにより、例えば、動きの中心である頸部関節、或いは、頭部の中心等における動きを求めることができる。
複数の動きセンサーである第１センサー６６及び第２センサー６８のいずれかは、装着状態において頭部の中心より一方側に位置し、他の動きセンサーは頭部の中心より他方側に位置する構成としてもよい。この場合、使用者の頭部が動いた場合に、運動中心である頭部の中心における動き量や動きの方向等を速やかに求めることができる。ここで、頭部の中心とは、使用者の身長に対し垂直な水平面における頭部の中心を指すが、例えば、両眼の高さ位置における水平面における中心を指してもよいし、使用者の頭部の３次元的な中心であってもよい。
また、頭部装着型表示装置１００において、第１センサー６６及び第２センサー６８のいずれかは、装着状態において頭部の中心より左側に位置し、他の動きセンサーは頭部の中心より右側に位置する。このため、動きセンサーの検出結果に基づいて、頭部の運動中心における動きを速やかに求めることができる。
第１センサー６６及び第２センサー６８のいずれかは、装着状態において、運動中心となる可動部より一方側に位置し、他の第１センサー６６及び第２センサー６８は可動部の他方側に位置する。これにより、運動中心に対し一方側と他方側に配置された第１センサー６６及び第２センサー６８の検出結果を利用して、使用者の身体が動いた場合に、運動中心における動き量や動きの方向等を速やかに求めることができる。
可動部は、使用者の身体において可動する部位を指し、例えば頸部等の関節が相当する。本実施形態において、可動部は、使用者の身長に対し垂直な水平面における運動の中心となり得る部位を指す例を説明した。このほか、可動部は、例えば、両眼の高さ位置における水平面における運動中心を指すと解してもよいし、使用者の身体における３次元的な中心であってもよい。使用者の動きが回転運動成分と平行（平進）運動成分とを含む動きである場合、回転運動の中心を、上記の運動中心としてもよい。例えば、可動部を、使用者の頸部の関節（より具体的には、第１頸椎（環椎）と第２頸椎（軸椎）との椎間関節）とする場合、頸部を中心とする使用者の頭部の動きに対応して、動き量や動きの方向等を求めることができる。これにより、使用者の頭部が動いた場合に、運動中心である頸部における動き量や動きの方向等を速やかに求めることができる。
また、可動部は、使用者の頸部関節を想定して設定される位置であってもよく、この場合、頸部を中心とする使用者の頭部の動きに対応して、動き量や動きの方向等を求めることができる。
また、第１センサー６６及び第２センサー６８は、頭部装着型表示装置１００の装着状態において、いずれかの第１センサー６６及び第２センサー６８と可動部との距離が、他の第１センサー６６及び第２センサー６８と可動部との距離と異なるように配置される。
これにより、可動部と第１センサー６６及び第２センサー６８との相対位置の相違が、第１センサー６６及び第２センサー６８の検出値の差に反映されやすい。これにより、第１センサー６６及び第２センサー６８の検出値に基づいて、運動中心の位置や、運動中心における動き量等を、より高い精度で求めることができる。
これにより、可動部と第１センサー６６及び第２センサー６８との相対位置の相違が、第１センサー６６及び第２センサー６８の検出値の差に反映されやすい。これにより、第１センサー６６及び第２センサー６８の検出値に基づいて、運動中心の位置や、運動中心における動き量等を、より高い精度で求めることができる。
また、画像表示部２０は、使用者の眼に向けて画像光を放つハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２を備える。第１センサー６６及び第２センサー６８と、ハーフミラー２６１Ａ、２６２Ａの中央位置とが直線状に並んで位置する。このため、第１センサー６６及び第２センサー６８の検出結果に基づいて、表示領域を構成する右導光板２６１、左導光板２６２の位置を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
また、右導光板２６１及び左導光板２６２は、使用者の眼に向けて画像光を放つ表示領域としてのハーフミラー２６１Ａ、２６２Ａを有する。ハーフミラーを用いて画像光を照射する光学素子を備えた構成で、複数の動きセンサーがハーフミラーの中央位置と直線状に並ぶ。このため、使用者が視認する画像の中央を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
さらに、画像表示部２０は、眼鏡型のフレーム２を有し、第１センサー６６及び第２センサー６８が、フレーム２の中央に対して対称な位置にある。眼鏡型のフレーム２の中央を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
また、フレーム２は、使用者の右眼の前に位置する右部２Ａと、使用者の左眼の前に位置する左部２Ｂと、右部２Ａと左部２Ｂとを連結するブリッジ部２Ｃとを有する。第１センサー６６及び第２センサー６８はブリッジ部２Ｃに対して対称な位置にある。このため、フレーム２の中央を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
また、フレーム２は、使用者の右眼の前に位置する右部２Ａと、使用者の左眼の前に位置する左部２Ｂと、右部２Ａと左部２Ｂとを連結するブリッジ部２Ｃとを有する。第１センサー６６及び第２センサー６８はブリッジ部２Ｃに対して対称な位置にある。このため、フレーム２の中央を運動中心とする動きに対応して、運動中心における動き量や動きの方向等を速やかに求めることができる。
また、頭部装着型表示装置１００は、使用者の視野の少なくとも一部を含む撮像範囲を撮像する上部カメラ６１を備える。動き検出部１８５は、第１センサー６６及び第２センサー６８の検出値に基づいて、使用者の運動中心の位置を特定し、特定した運動中心の位置に基づいて、上部カメラ６１の撮像範囲と、使用者の視野との相対位置を求める。これにより、上部カメラ６１の撮像範囲と使用者の視野との対応を求めることができ、撮像画像に基づく制御を行うことができる。
動き検出部１８５は、運動中心における動きが使用者の認知動作に基づく動きであるか否かを判定し、使用者の認知動作に基づく動きでないと判定した場合に上部カメラ６１の撮像画像を補正する。これにより、使用者が意図する動きと、そうでない動きとを区別して、使用者が意図しない動きによる撮像画像のブレ等を補正できる。
動き検出部１８５は、第１センサー６６及び第２センサー６８の検出値に基づいて、使用者の運動中心の位置を特定し、特定した運動中心の位置から使用者の眼の位置を推定する。そして、動き検出部１８５は、第１センサー６６及び第２センサー６８の位置に基づく画像表示部２０の位置を特定し、特定した画像表示部２０の位置と、推定した使用者の眼の位置とに基づいて、画像表示部２０と使用者の眼の位置との相対位置を求める。これにより、画像表示部２０と使用者の眼の位置との相対位置を高精度で求めることができる。これにより、例えば、画像表示部２０の位置が適切でない場合に、使用者に対して画像表示部２０の位置の修正を促すことができる。
なお、使用者が頭部と身体を合わせて動かした場合など、頭部が複雑に動いた場合、頭部の運動中心が複数になることがある。例えば、位置Ｐ１、Ｐ１１を中心とした回転の動きと、使用者の腰を中心とした回転の動きとが同時に発生すると、位置Ｐ１、Ｐ１１と、腰の位置とが、それぞれ運動中心に相当する。この場合、動き検出部１８５は、複数の運動中心のそれぞれにおける動き量、動きの方向を求めてもよく、それぞれの運動中心の位置を求めてもよい。また、第１センサー６６及び第２センサー６８の検出結果から、全ての運動中心における動きを求めることができない場合があり得る。運動中心が複数ある場合は運動中心における動きを求める演算式の変数が多くなるためである。このような場合、動き検出部１８５は、検出制御部１８３により、各センサーの検出値を、時間を空けて複数回取得させ、複数回の検出値に基づき運動中心における動きを求めてもよい。
第１実施形態では、動きセンサーの一例として、２つの慣性センサーである第１センサー６６及び第２センサー６８を設けた構成を例に挙げて説明した。本発明はこれに限定されず、動きセンサーとして、光学センサーを用いることができる。
例えば、慣性センサーと、光学センサーとを含む複数の動きセンサーを用いて、運動中心における動きを求めてもよい。また、例えば、複数の光学センサーを用いて、運動中心における動きを求めてもよい。
これらの場合について、第２実施形態として説明する。
例えば、慣性センサーと、光学センサーとを含む複数の動きセンサーを用いて、運動中心における動きを求めてもよい。また、例えば、複数の光学センサーを用いて、運動中心における動きを求めてもよい。
これらの場合について、第２実施形態として説明する。
［第２実施形態］
図１４は、第２実施形態に係る頭部装着型表示装置１００Ａを構成する各部の機能ブロック図である。
第２実施形態の頭部装着型表示装置１００Ａは、画像表示部２０に代えて、画像表示部２００を有する。画像表示部２００は、画像表示部２０に、第１カメラ６４、及び第２カメラ６５を設けた構成であり、その他の各部は共通の構成である。従って、頭部装着型表示装置１００Ａにおいて、第１実施形態の頭部装着型表示装置１００と共通する構成部については、同符号を付して図示及び説明を省略する。
図１４は、第２実施形態に係る頭部装着型表示装置１００Ａを構成する各部の機能ブロック図である。
第２実施形態の頭部装着型表示装置１００Ａは、画像表示部２０に代えて、画像表示部２００を有する。画像表示部２００は、画像表示部２０に、第１カメラ６４、及び第２カメラ６５を設けた構成であり、その他の各部は共通の構成である。従って、頭部装着型表示装置１００Ａにおいて、第１実施形態の頭部装着型表示装置１００と共通する構成部については、同符号を付して図示及び説明を省略する。
第１カメラ６４及び第２カメラ６５は、それぞれ、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。また、第１カメラ６４及び第２カメラ６５は、いずれも、可視光線を受光するカメラに限定されず、紫外線カメラや赤外線カメラ等、可視領域外の光で撮像するカメラであってもよい。第１カメラ６４及び第２カメラ６５は、光学センサーの一例であり、動きセンサーとして機能する。
第１カメラ６４は、右部２Ａにおいて第１センサー６６の前方に配置される。第２カメラ６５は、左部２Ｂにおいて第２センサー６８の前方に設置される。第１カメラ６４の画角は右光学像表示部２６を透過して使用者の右眼に視認される範囲を含み、第２カメラ６５の画角は、左光学像表示部２８を透過して使用者の左眼に視認される範囲を含むことが好ましい。第１カメラ６４及び第２カメラ６５の画角は、上部カメラ６１の画角と重複する範囲を含んでもよいし、重複しない範囲を含んでもよい。
撮像処理部１８１は、第１カメラ６４及び第２カメラ６５を制御して撮像を実行させ、撮像画像データを取得する。また、記憶部１２０が記憶するセンサー位置データ１２２は、第１カメラ６４及び第２カメラ６５の位置に関するデータを含む。動き検出部１８５は、撮像処理部１８１が取得する撮像画像データから、第１カメラ６４又は第２カメラ６５の位置における動きの方向及び動き量を求める。
頭部装着型表示装置１００Ａでは、４つの動きセンサーである第１カメラ６４、第２カメラ６５、第１センサー６６、及び第２センサー６８を組み合わせて、運動中心における動きを求めることができる。
動きセンサーの組合せは様々であるが、少なくとも、使用者の頭部の右側にある動きセンサーと、使用者の頭部の左側にある動きセンサーとを組み合わせることが望ましい。頭部装着型表示装置１００Ａでは、第１カメラ６４と第２カメラ６５、第１カメラ６４と第２センサー６８、第１センサー６６と第２カメラ６５、及び、第１センサー６６と第２センサー６８の４通りの組合せがある。このうち第１センサー６６と第２センサー６８とを用いる例は第１実施形態で説明した。
動きセンサーの組合せは様々であるが、少なくとも、使用者の頭部の右側にある動きセンサーと、使用者の頭部の左側にある動きセンサーとを組み合わせることが望ましい。頭部装着型表示装置１００Ａでは、第１カメラ６４と第２カメラ６５、第１カメラ６４と第２センサー６８、第１センサー６６と第２カメラ６５、及び、第１センサー６６と第２センサー６８の４通りの組合せがある。このうち第１センサー６６と第２センサー６８とを用いる例は第１実施形態で説明した。
上記の組合せにおいて、選択される使用者の頭部の右側にある動きセンサーを右センサーとし、使用者の頭部の左側にある動きセンサーを左センサーとする。
右センサーの位置は、第１実施形態で説明した第１センサー６６の位置にあり、左センサーの位置は第１実施形態で説明した第２センサー６８の位置にあることが好ましい。すなわち、フレーム２の左右方向における中央位置をＣ１とすると、右センサーと左センサーとは、中央位置Ｃ１に対して対称な位置に設けられることが好ましい。また、右センサーの位置と左センサーの位置とを結ぶ直線はハーフミラー２６１Ａ、２６２Ａを通ることが、より好ましい。さらに好ましくは、右センサーの位置、左センサーの位置、ハーフミラー２６１Ａの中心Ｃ２、及び、ハーフミラー２６２Ａの中心Ｃ３が、同一直線上に並ぶ配置である。
右センサーの位置は、第１実施形態で説明した第１センサー６６の位置にあり、左センサーの位置は第１実施形態で説明した第２センサー６８の位置にあることが好ましい。すなわち、フレーム２の左右方向における中央位置をＣ１とすると、右センサーと左センサーとは、中央位置Ｃ１に対して対称な位置に設けられることが好ましい。また、右センサーの位置と左センサーの位置とを結ぶ直線はハーフミラー２６１Ａ、２６２Ａを通ることが、より好ましい。さらに好ましくは、右センサーの位置、左センサーの位置、ハーフミラー２６１Ａの中心Ｃ２、及び、ハーフミラー２６２Ａの中心Ｃ３が、同一直線上に並ぶ配置である。
また、ハーフミラー２６１Ａ、２６２Ａの中心を含む水平面内における位置関係は上記の通りである。この水平面に対し垂直な、鉛直方向（高さ方向）においては、右センサー及び左センサーの位置と、ハーフミラー２６１Ａ、２６２Ａの中心とが、鉛直方向で近接していることが好ましい。例えば、右センサー及び左センサーが、ハーフミラー２６１Ａ、２６２Ａの側方にあるとよい。さらに、右センサー及び左センサーの位置と、ハーフミラー２６１Ａ、２６２Ａの中心とが、高さ方向において同一位置にあると、より好ましい。
また、本実施形態では、第１カメラ６４、第２カメラ６５、第１センサー６６及び第２センサー６８の全てを備えた構成を一例として説明する。これはあくまで一例であり、本発明は、上記の右センサーに該当する１つの動きセンサーと、左センサーに該当する１つの動きセンサーとを備えた構成であれば適用可能である。従って、第１カメラ６４、第２カメラ６５、第１センサー６６及び第２センサー６８のうち１または２のセンサーを排した構成であってもよい。
センサー位置データ１２２は、頭部装着型表示装置１００Ａが備える動きセンサーのうち、運動中心における動きを検出する動作で使用される動きセンサーについて、相対的な位置関係または絶対位置を示すデータを含む。
センサー位置データ１２２は、頭部装着型表示装置１００Ａが備える動きセンサーのうち、運動中心における動きを検出する動作で使用される動きセンサーについて、相対的な位置関係または絶対位置を示すデータを含む。
図１５は、第２実施形態の頭部装着型表示装置１００Ａの動作を示すフローチャートであり、特に、制御部１４０が、使用者の頭部の動きを求める動作を示す。
図１５の動作では、第１カメラ６４、第２カメラ６５、第１センサー６６及び第２センサー６８のうち、頭部の動きを求める処理で使用する動きセンサーを選択し、設定可能な例を説明する。また、図１５のフローチャートで、上述した図８と共通の動作には同ステップ番号を付して説明を省略する。
図１５の動作では、第１カメラ６４、第２カメラ６５、第１センサー６６及び第２センサー６８のうち、頭部の動きを求める処理で使用する動きセンサーを選択し、設定可能な例を説明する。また、図１５のフローチャートで、上述した図８と共通の動作には同ステップ番号を付して説明を省略する。
制御部１４０がセンサーの検出を開始すると（ステップＳ１１）、動き検出部１８５は、センサー位置データ１２２を取得する（ステップＳ１２）。動き検出部１８５は、センサー位置データ１２２の設定や操作部１３５の入力操作で設定される内容に従って、頭部装着型表示装置１００Ａが備える動きセンサーの中から、ヘッドトラッキングに使用する動きセンサーを選択する（ステップＳ５１）。
動き検出部１８５は、選択したセンサーがカメラを含むか否かを判定する（ステップＳ５２）。第１カメラ６４または第２カメラ６５のいずれか１以上を選択した場合（ステップＳ５２；ＹＥＳ）、撮像処理部１８１が、選択したカメラにより撮像を実行させ（ステップＳ５３）、撮像画像データを取得する。動き検出部１８５は、撮像画像データを解析して、選択されたカメラの位置における動きの方向及び動き量を検出する（ステップＳ５４）。動き検出部１８５は、検出した動きの方向及び動き量を、カメラの位置に対応付ける処理を行う（ステップＳ５５）。
ここで、動き検出部１８５は、例えば、第１カメラ６４が時間を空けて撮像した複数の撮像画像の差分を求め、求めた差分から、動きの方向と動き量とを求めてもよい。また、撮像処理部１８１が、第１カメラ６４の露光時間を、動き検出用に長い時間に設定してもよい。この場合、第１カメラ６４の撮像画像は、第１カメラ６４の動きを反映してブレを生じる。動き検出部１８５は、撮像画像のブレの方向、ブレ量、及び露光時間に基づき、第１カメラ６４の位置における動きの方向と動き量を検出できる。第２カメラ６５の撮像画像についても同様である。
動き検出部１８５は、ステップＳ５４で選択した動きセンサーがカメラのみであるか否かを判定する（ステップＳ５６）。カメラ以外の動きセンサー、即ち、第１センサー６６及び第２センサー６８のいずれも選択しなかった場合（ステップＳ５６；ＹＥＳ）、動き検出部１８５はステップＳ５７に移行する。
一方、ステップＳ５４で、第１センサー６６または第２センサー６８の少なくともいずれかを選択した場合（ステップＳ５６；ＮＯ）、動き検出部１８５はステップＳ１３に移行する。また、動き検出部１８５は、ステップＳ５１で第１カメラ６４及び第２カメラ６５のいずれも選択しなかった場合（ステップＳ５２；ＮＯ）、ステップＳ１３に移行する。
一方、ステップＳ５４で、第１センサー６６または第２センサー６８の少なくともいずれかを選択した場合（ステップＳ５６；ＮＯ）、動き検出部１８５はステップＳ１３に移行する。また、動き検出部１８５は、ステップＳ５１で第１カメラ６４及び第２カメラ６５のいずれも選択しなかった場合（ステップＳ５２；ＮＯ）、ステップＳ１３に移行する。
ステップＳ１３で、検出制御部１８３は、第１センサー６６及び／又は第２センサー６８の検出値を取得する（ステップＳ１３）。動き検出部１８５は、検出制御部１８３が取得した検出値と、センサー位置データ１２２に含まれるセンサーの位置に関するデータとを対応付ける（ステップＳ１４）。その後、制御部１４０はステップＳ５７に移行する。
ステップＳ５７で、動き検出部１８５は、センサー位置データ１２２に基づき、運動中心における動きの方向及び動き量を算出する（ステップＳ５７）。ステップＳ５７では、ステップＳ５５で対応付けをした動き量と位置、及び／又は、ステップＳ１４で対応付けをした動き量と位置を演算処理に用いる。その後、動き検出部１８５は、算出した動きの方向、及び動きの量に関するデータを、ＡＲ表示制御部１８６に出力し（ステップＳ１６）、ステップＳ１７に移行する。ステップＳ１７で、制御部１４０は終了条件が成立したか否かを判定し（ステップＳ１７）、終了条件が成立した場合は（ステップＳ１７；ＹＥＳ）、本処理を終了する。また、終了条件が成立していない場合は（ステップＳ１７；ＮＯ）、ステップＳ１２に戻る。
このように、頭部装着型表示装置１００Ａは、慣性センサーである第１センサー６６及び第２センサー６８に限定されず、光学センサーである第１カメラ６４及び／又は第２カメラ６５を使用して、運動中心における動きを求める。すなわち、光学センサー、及び、慣性センサーを含む動きセンサーの組合せにより、使用者の頭部の動きに関し、ヘッドトラッキングを実行できる。この場合、例えば撮像画像データをＡＲ表示の対象物の検出に用いるなど、センサーの検出結果を他の用途にも活用できる。
また、複数の動きセンサーとして、光学センサーまたは慣性センサーのいずれか１種類を用いる場合は、同種のセンサーの検出結果を用い、ヘッドトラッキングの処理を、より軽負荷で速やかに実行できる。
また、複数の動きセンサーとして、光学センサーまたは慣性センサーのいずれか１種類を用いる場合は、同種のセンサーの検出結果を用い、ヘッドトラッキングの処理を、より軽負荷で速やかに実行できる。
第２実施形態においても、動き検出部１８５が運動中心における動きを求める場合の運動中心は、例えば上述した頭部Ｈの中心（位置Ｐ１）、または頸部関節（位置Ｐ１１）とすることができる。また、動き検出部１８５が、上述したように慣性センサーである第１センサー６６及び第２センサー６８、光学センサーである第１カメラ６４及び第２カメラ６５等を利用して検出した結果は、図９〜図１３に示した処理に利用できる。
具体的には、動き検出部１８５は、図１１の処理を実行して、慣性センサーである第１センサー６６及び第２センサー６８、光学センサーである第１カメラ６４及び第２カメラ６５等を利用して検出した結果に基づき、画像表示部２０の装着状態を判定してもよい。また、ＡＲ表示制御部１８６が画像表示部２０に表示する画像の表示位置の補正、位置ずれの修正を促す案内の出力を行ってもよい。
また、動き検出部１８５は、図１０の処理を実行して、上部カメラ６１の撮像範囲と使用者の視野との対応を求めることができる。また、第１カメラ６４及び第２カメラ６５のいずれかについて、撮像画像データを記憶部１２０に保存したり、撮像画像を画像表示部２０における表示に利用したりする場合、図１０の処理を適用できるすなわち、第１カメラ６４の撮像範囲と使用者の視野との対応を求める処理を実行してもよく、第２カメラ６５の撮像範囲と使用者の視野との対応を求める処理を実行してもよい。
また、制御部１４０は、図１３の処理を実行して、慣性センサーである第１センサー６６及び第２センサー６８、光学センサーである第１カメラ６４及び第２カメラ６５等を利用して検出した結果に基づき、使用者の頭部の動きが認知動作か否かを判定してもよい。この場合、認知動作でない動きに対応して上部カメラ６１の撮像画像を補正してもよい。さらに、制御部１４０は、認知動作でない動きに対応して第１カメラ６４の撮像画像や第２カメラ６５の撮像画像を補正する処理を行ってもよい。
なお、上記第１及び第２実施形態では２つの動きセンサーの検出結果を基に動きを検出し、使用者の頭部の動きを求めていたが、３以上の動きセンサーの検出結果を用いることも勿論可能である。
また、頭部装着型表示装置１００、１００Ａでは、１つの動きセンサーが検出する複数の検出結果を、異なる動きセンサーの検出値として処理することもできる。これらの例について、変形例として図１６に示す。
図１６は、本発明の実施形態の変形例を示す説明図であり、（Ａ）は第１変形例の処理の説明図であり、（Ｂ）は第２変形例の処理の説明図である。
図１６（Ａ）の例では、画像表示部２０が有する第１センサー６６を使用する。画像表示部２０を装着した使用者の頭部が、位置Ｐ１を中心として、矢印Ｍで示すように回動する。この回動中に、検出制御部１８３は、第１センサー６６の検出値を、時間差を設けて３回、取得する。矢印Ｍの運動は、少なくとも、１回目の検出時から３回目の検出時を含む間、継続する。
１回目の検出時における第１センサー６６の位置を位置（１）、２回目の検出時の第１センサー６６の位置を位置（２）、３回目の検出時の第１センサー６６の位置を位置（３）とする。位置（１）は初期位置ともいえる。位置（１）、（２）、（３）は、頭部装着型表示装置１００の設置環境の地面、床面、壁面等、運動しない基準に対する位置とすれば、互いに異なる位置である。
図１６（Ａ）の例では、画像表示部２０が有する第１センサー６６を使用する。画像表示部２０を装着した使用者の頭部が、位置Ｐ１を中心として、矢印Ｍで示すように回動する。この回動中に、検出制御部１８３は、第１センサー６６の検出値を、時間差を設けて３回、取得する。矢印Ｍの運動は、少なくとも、１回目の検出時から３回目の検出時を含む間、継続する。
１回目の検出時における第１センサー６６の位置を位置（１）、２回目の検出時の第１センサー６６の位置を位置（２）、３回目の検出時の第１センサー６６の位置を位置（３）とする。位置（１）は初期位置ともいえる。位置（１）、（２）、（３）は、頭部装着型表示装置１００の設置環境の地面、床面、壁面等、運動しない基準に対する位置とすれば、互いに異なる位置である。
この場合、動き検出部１８５は、１回目の検出値と位置（１）とを対応付け、２回目の検出値と位置（２）とを対応付け、３回目の検出値と位置（３）とを対応付けることで、擬似的に、異なる位置に配置された３つのセンサーの検出値を得る。位置（２）は、例えば、１回目と２回目の検出の時間間隔と１回目の検出値と位置（１）とから算出できる。位置（３）も同様に、２回目と３回目の検出の時間間隔と２回目の検出値と位置（２）とから算出できる。
これらの３つのセンサーの検出値を用いれば、運動中心Ｐ１における動きの方向及び動き量を求めることができる。この例で得られる演算結果は、１回目から３回目で検出した動きを１つの動きと見なした場合の、動きの方向及び動き量である。
これらの３つのセンサーの検出値を用いれば、運動中心Ｐ１における動きの方向及び動き量を求めることができる。この例で得られる演算結果は、１回目から３回目で検出した動きを１つの動きと見なした場合の、動きの方向及び動き量である。
図１６（Ｂ）の例では、頭部装着型表示装置１００は第１センサー６６を使用する。また、上記第１実施形態で第２センサー６８が設けられた位置には仮想センサー６９が設定される。第１センサー６６の位置と仮想センサー６９の位置との相対位置を示すデータが設定データ１２１に含まれる。
画像表示部２０を装着した使用者の頭部が、位置Ｐ１を中心として、矢印Ｍで示すように回動する。この回動中に、検出制御部１８３は、第１センサー６６の検出値を、時間差を設けて２回、取得する。矢印Ｍの運動は、少なくとも、１回目及び２回目の検出時を含む間、継続する。１回目の検出時における第１センサー６６の位置を位置（４）、２回目の検出時の第１センサー６６の位置を位置（５）とする。位置（４）、（５）は、頭部装着型表示装置１００の設置環境の地面、床面、壁面等、運動しない基準に対する位置とすれば、互いに異なる位置である。位置（４）は初期位置ともいえる。
画像表示部２０を装着した使用者の頭部が、位置Ｐ１を中心として、矢印Ｍで示すように回動する。この回動中に、検出制御部１８３は、第１センサー６６の検出値を、時間差を設けて２回、取得する。矢印Ｍの運動は、少なくとも、１回目及び２回目の検出時を含む間、継続する。１回目の検出時における第１センサー６６の位置を位置（４）、２回目の検出時の第１センサー６６の位置を位置（５）とする。位置（４）、（５）は、頭部装着型表示装置１００の設置環境の地面、床面、壁面等、運動しない基準に対する位置とすれば、互いに異なる位置である。位置（４）は初期位置ともいえる。
動き検出部１８５は、１回目の検出値と位置（４）とを対応付け、２回目の検出値と位置（５）とを対応付けることで、擬似的に、異なる位置に配置された２つのセンサーの検出値を得る。位置（５）は、例えば、１回目と２回目の検出の時間間隔と１回目の検出値と位置（４）とから算出できる。位置（３）も同様に、２回目と３回目の検出の時間間隔と２回目の検出値から算出できる。
さらに、動き検出部１８５は、１回目の検出時における仮想センサー６９の位置（仮想センサー６９の初期位置）に基づき、仮想センサー６９の検出値を算出する。仮想センサー６９は第１センサー６６と同様に構成される３軸の角速度センサーとされ、仮想センサー６９の検出値は、仮想センサー６９の位置、及び、第１センサー６６の１回目の検出値から算出できる。
これにより、動き検出部１８５は、仮想センサー６９の初期位置と検出値、第１センサー６６の位置（４）と１回目の検出値、及び、第１センサー６６の位置（５）と２回目の検出値とに基づき、３つのセンサーの位置と検出値の組合せを得る。これらの３つのセンサーの検出値を用いれば、運動中心Ｐ１における動きの方向及び動き量を求めることができる。この例で得られる演算結果は、１回目から２回目で検出した動きを１つの動きと見なした場合の、動きの方向及び動き量である。
さらに、動き検出部１８５は、１回目の検出時における仮想センサー６９の位置（仮想センサー６９の初期位置）に基づき、仮想センサー６９の検出値を算出する。仮想センサー６９は第１センサー６６と同様に構成される３軸の角速度センサーとされ、仮想センサー６９の検出値は、仮想センサー６９の位置、及び、第１センサー６６の１回目の検出値から算出できる。
これにより、動き検出部１８５は、仮想センサー６９の初期位置と検出値、第１センサー６６の位置（４）と１回目の検出値、及び、第１センサー６６の位置（５）と２回目の検出値とに基づき、３つのセンサーの位置と検出値の組合せを得る。これらの３つのセンサーの検出値を用いれば、運動中心Ｐ１における動きの方向及び動き量を求めることができる。この例で得られる演算結果は、１回目から２回目で検出した動きを１つの動きと見なした場合の、動きの方向及び動き量である。
このように、頭部装着型表示装置１００、１００Ａでは、複数の動きセンサーを用いるだけでなく、１つの動きセンサーを利用して、頭部の運動中心における動きの方向や動き量を得ることができる。従って、上記第１、第２実施形態のように２つ以上の動きセンサーを用いる構成に限らず、本発明を適用できる。すなわち、本発明の複数の動きセンサーの一部は、仮想的なセンサーであってもよく、他のセンサーを利用して時間軸をずらすことで実現されるセンサーであってもよい。
この変形例で説明した構成により運動中心における動きの方向及び動き量を検出した結果は、第２実施形態に関して上述したように、図９〜図１３に示した処理に利用できる。また、この変形例において動き検出部１８５が運動中心における動きを求める場合の運動中心は、例えば上述した頭部Ｈの中心（位置Ｐ１）、または頸部関節（位置Ｐ１１）とすることができる。
なお、上述した第１実施形態、第２実施形態、及び変形例は、本発明の具体的な実施態様の一例を示すものに過ぎない。本発明は上記の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記実施形態では、眼鏡型の外形を有するフレーム２を備えた画像表示部２０、２００について説明したが、フレーム２を、帽子やヘルメット等の身体防護具に組み込んだ構成とすることも可能である。すなわち、右表示駆動部２２及び左表示駆動部２４を含む光学系と、第１カメラ６４、第２カメラ６５、第１センサー６６、及び第２センサー６８のような動きセンサーとを支持する部分が眼鏡型であれば、外形は制限されない。また、カメラユニット３を、フレーム２に一体に設ける構成としてもよい。また、カメラユニット３は、フレーム２に対して、ヒンジ２１Ａ、２３Ａ以外の部材で連結して、より高い自由度で可動な構成にしてもよい。
上記実施形態では、眼鏡型の外形を有するフレーム２を備えた画像表示部２０、２００について説明したが、フレーム２を、帽子やヘルメット等の身体防護具に組み込んだ構成とすることも可能である。すなわち、右表示駆動部２２及び左表示駆動部２４を含む光学系と、第１カメラ６４、第２カメラ６５、第１センサー６６、及び第２センサー６８のような動きセンサーとを支持する部分が眼鏡型であれば、外形は制限されない。また、カメラユニット３を、フレーム２に一体に設ける構成としてもよい。また、カメラユニット３は、フレーム２に対して、ヒンジ２１Ａ、２３Ａ以外の部材で連結して、より高い自由度で可動な構成にしてもよい。
さらに、上記実施形態では、頭部装着型表示装置１００、１００Ａは、画像表示部２０、２００と制御装置１０とが分離され、接続部４０を介して接続された構成として説明した。本発明はこれに限定されず、制御装置１０を、画像表示部２０、２００と一体に構成してもよい。また、頭部装着型表示装置１００、１００Ａは、少なくとも、表示を行う画像表示部２０、２００が、使用者（作業者、指令者）の頭部に装着される装置であればよい。制御装置１０の装着状態は限定されない。このため、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０、２００と分離して構成され、制御装置１０と画像表示部２０、２００との間で無線通信により各種信号を送受信する構成としてもよい。
また、例えば、画像表示部２０が画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学素子は、右導光板２６１、左導光板２６２に限定されない。すなわち、外部から装置に向けて入射する外光を透過し、画像光とともに使用者の眼に入射させる光学素子であればよい。例えば、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学素子を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学素子を採用してもよい。また、光学素子の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する光学素子としてもよい。さらに、本発明の光学素子は、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、画像光を使用者の眼に導く光学素子は、右導光板２６１、左導光板２６２に限定されない。すなわち、外部から装置に向けて入射する外光を透過し、画像光とともに使用者の眼に入射させる光学素子であればよい。例えば、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学素子を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学素子を採用してもよい。また、光学素子の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する光学素子としてもよい。さらに、本発明の光学素子は、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
また、図７及び図１４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図７、６の通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図７、図１４に示す制御部１４０が、画像表示部２０、２００に設けられた構成としてもよく、この場合、制御部１４０と画像表示部２０、２００の制御部とが機能を分担してもよい。
［第３実施形態］
図１７は、本発明を適用した実施形態に係る頭部装着型表示装置１１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部１０２０（表示部）と、画像表示部１０２０を制御する制御装置１０１０と、を備えている。制御装置１０１０は、使用者が頭部装着型表示装置１１００を操作するコントローラーとしても機能する。
図１７は、本発明を適用した実施形態に係る頭部装着型表示装置１１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部１０２０（表示部）と、画像表示部１０２０を制御する制御装置１０１０と、を備えている。制御装置１０１０は、使用者が頭部装着型表示装置１１００を操作するコントローラーとしても機能する。
画像表示部１０２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム１００２を有する。フレーム１００２は、右保持部１０２１及び左保持部１０２３を有する。右保持部１０２１は、右光学像表示部１０２６の他端である端部ＥＲから、使用者が画像表示部１０２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部１０２３は、左光学像表示部１０２８の他端である端部ＥＬから、使用者が画像表示部１０２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部１０２１は使用者の頭部において右耳またはその近傍に当接し、左保持部１０２３は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部１０２０を保持する。フレーム１００２は、画像表示部１０２０の本体（表示部本体）を構成する。頭部装着型表示装置１１００の本体がフレーム１００２であるか、制御装置１０１０であるかは限定されない。
フレーム１００２には、右表示駆動部１０２２と、左表示駆動部１０２４と、右光学像表示部１０２６と、左光学像表示部１０２８と、マイク１０６３とが設けられる。
本実施形態では本体の一例として、眼鏡型のフレーム１００２を例示する。本体の形状は眼鏡型に限定されず、使用者の頭部に装着され固定されるものであればよく、使用者の左右の眼の前に跨がって装着される形状であれば、より好ましい。例えば、ここで説明する眼鏡型の他に、使用者の顔の上部を覆うスノーゴーグル様の形状であってもよいし、双眼鏡のように使用者の左右の眼のそれぞれの前方に配置される形状であってもよい。
本実施形態では本体の一例として、眼鏡型のフレーム１００２を例示する。本体の形状は眼鏡型に限定されず、使用者の頭部に装着され固定されるものであればよく、使用者の左右の眼の前に跨がって装着される形状であれば、より好ましい。例えば、ここで説明する眼鏡型の他に、使用者の顔の上部を覆うスノーゴーグル様の形状であってもよいし、双眼鏡のように使用者の左右の眼のそれぞれの前方に配置される形状であってもよい。
眼鏡型のフレーム１００２は、使用者の右眼の前に位置する右部１００２Ａ、及び、左眼の前に位置する左部１００２Ｂを有し、右部１００２Ａと左部１００２Ｂとがブリッジ部１００２Ｃ（連結部）で連結された形状である。ブリッジ部１００２Ｃは、使用者が画像表示部１０２０を装着した際の使用者の眉間に対応する位置で、右部１００２Ａと左部１００２Ｂとを互いに連結する。
右部１００２Ａ及び左部１００２Ｂは、それぞれテンプル部１００２Ｄ、１００２Ｅに連結される。テンプル部１００２Ｄ、１００２Ｅは眼鏡のテンプルのようにして、フレーム１００２を使用者の頭部に支持する。本実施形態のテンプル部１００２Ｄは右保持部１０２１で構成され、テンプル部１００２Ｅは左保持部１０２３で構成される。
右光学像表示部１０２６は右部１００２Ａに配置され、左光学像表示部１０２８は左部１００２Ｂに配置される、それぞれ、使用者が画像表示部１０２０を装着した際に使用者の右及び左の眼前に位置する。
右部１００２Ａ及び左部１００２Ｂは、それぞれテンプル部１００２Ｄ、１００２Ｅに連結される。テンプル部１００２Ｄ、１００２Ｅは眼鏡のテンプルのようにして、フレーム１００２を使用者の頭部に支持する。本実施形態のテンプル部１００２Ｄは右保持部１０２１で構成され、テンプル部１００２Ｅは左保持部１０２３で構成される。
右光学像表示部１０２６は右部１００２Ａに配置され、左光学像表示部１０２８は左部１００２Ｂに配置される、それぞれ、使用者が画像表示部１０２０を装着した際に使用者の右及び左の眼前に位置する。
右表示駆動部１０２２と左表示駆動部１０２４とは、使用者が画像表示部１０２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部１０２２及び左表示駆動部１０２４を総称して単に「表示駆動部」とも呼び、右光学像表示部１０２６及び左光学像表示部１０２８を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部１０２２，１０２４は、液晶ディスプレイ１２４１，１２４２（Liquid Crystal Display、以下「ＬＣＤ１２４１，１２４２」と呼ぶ）、図１８及び図１９を参照して後述する投写光学系１２５１，１２５２等を含む。
右光学像表示部１０２６及び左光学像表示部１０２８は、導光板１２６１，１２６２（図１８）と、調光板１０２０Ａとを備える。導光板１２６１，１２６２は、光透過性の樹脂等によって形成され、表示駆動部１０２２，１０２４が出力する画像光を、使用者の眼に導く。調光板１０２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部１０２０の表側を覆うように配置される。調光板１０２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板１０２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部１０２６及び左光学像表示部１０２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、画像表示部１０２０を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板１０２０Ａを用いる場合について説明する。調光板１０２０Ａは、光学素子である右導光板１２６１及び左導光板１２６２を保護し、右導光板１２６１及び左導光板１２６２の損傷や汚れの付着等を抑制する。
調光板１０２０Ａは、右光学像表示部１０２６及び左光学像表示部１０２８に対し着脱可能としてもよく、複数種類の調光板１０２０Ａを交換して装着可能としてもよいし、省略してもよい。
右光学像表示部１０２６及び左光学像表示部１０２８は、導光板１２６１，１２６２（図１８）と、調光板１０２０Ａとを備える。導光板１２６１，１２６２は、光透過性の樹脂等によって形成され、表示駆動部１０２２，１０２４が出力する画像光を、使用者の眼に導く。調光板１０２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部１０２０の表側を覆うように配置される。調光板１０２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板１０２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部１０２６及び左光学像表示部１０２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、画像表示部１０２０を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板１０２０Ａを用いる場合について説明する。調光板１０２０Ａは、光学素子である右導光板１２６１及び左導光板１２６２を保護し、右導光板１２６１及び左導光板１２６２の損傷や汚れの付着等を抑制する。
調光板１０２０Ａは、右光学像表示部１０２６及び左光学像表示部１０２８に対し着脱可能としてもよく、複数種類の調光板１０２０Ａを交換して装着可能としてもよいし、省略してもよい。
また、フレーム１００２には、カメラユニット１００３が設けられる。カメラユニット１００３は、カメラ１０６１が配置されるカメラ台座部１００３Ｃと、カメラ台座部１００３Ｃを支持するアーム部１００３Ａ、１００３Ｂとを有する。アーム部１００３Ａは、右保持部１０２１の先端部ＡＰに設けられたヒンジ１０２１Ａ（連結部）により、回動可能に右保持部１０２１に連結される。アーム部１００３Ｂは、左保持部１０２３の先端部ＡＰに設けられたヒンジ１０２３Ａ（連結部）により、回動可能に左保持部１０２３に連結される。このため、カメラユニット１００３は全体として、図中矢印Ｋで示す方向、すなわち装着状態において上下に回動可能である。カメラユニット１００３は、回動範囲の下端でフレーム１００２に接する。また、カメラユニット１００３の回動範囲の上端はヒンジ１０２１Ａ、１０２３Ａの仕様等で決定される。
ヒンジ１０２１Ａには、後述する第１回動センサー１０７１（図１９）が設けられ、ヒンジ１０２３Ａには後述する第２回動センサー１０７２（図１９）が設けられる。第１回動センサー１０７１及び第２回動センサー１０７２は、検出部として機能し、ヒンジ１０２１Ａ、１０２３Ａの回動位置、または、回動の動作を検出する。第１回動センサー１０７１及び第２回動センサー１０７２は、例えば、ロータリーエンコーダーで構成することもできる。詳細には、発光部と受光部とを有する光センサーとヒンジ１０２１Ａ、１０２３Ａを中心とする回動に伴い動作する遮光板とを備え、遮光板に設けられるスリットを透過する光を検出する構成が挙げられる。この場合、第１回動センサー１０７１は、ヒンジ１０２１Ａにおけるテンプル部１００２Ｄとアーム部１００３Ａとの角度が拡大する動作、及び、角度が縮小する動作を検出し、動作量をカウント可能である。また、第２回動センサー１０７２は、ヒンジ１０２３Ａに関して同様に検出を行う。また、第１回動センサー１０７１及び第２回動センサー１０７２は、可変抵抗器や磁気センサーを用い、ヒンジ１０２１Ａにおけるテンプル部１００２Ｄとアーム部１００３Ａとの角度、及び、ヒンジ１０２３Ａにおけるテンプル部１００２Ｅとアーム部１００３Ｂとの角度を、それぞれ検出してもよい。
本実施形態で、第１回動センサー１０７１及び第２回動センサー１０７２は、光学的に検出を行うロータリーエンコーダーとする。第１回動センサー１０７１は、ヒンジ１０２１Ａでテンプル部１００２Ｄに対しアーム部１００３Ａが回動すると、所定角度回動する毎にパルスを出力する。第２回動センサー１０７２は、ヒンジ１０２３Ａでテンプル部１００２Ｅに対しアーム部１００３Ｂが回動すると、所定角度回動する毎にパルスを出力する。第１回動センサー１０７１、第２回動センサー１０７２は、回動方向を示す信号を出力してもよい。
また、第１回動センサー１０７１及び第２回動センサー１０７２が、ロータリーエンコーダーのパルスをカウントする機能を備え、パルスのカウント値及び回転方向に基づき、ヒンジ１０２１Ａ、１０２３Ａの角度を出力してもよい。
また、第１回動センサー１０７１及び第２回動センサー１０７２が、ロータリーエンコーダーのパルスをカウントする機能を備え、パルスのカウント値及び回転方向に基づき、ヒンジ１０２１Ａ、１０２３Ａの角度を出力してもよい。
カメラ台座部１００３Ｃは、右部１００２Ａ、左部１００２Ｂ及びブリッジ部１００２Ｃの上部に跨がって位置する板状または棒状部材であり、ブリッジ部１００２Ｃの上に相当する位置に、カメラ１０６１が埋込設置される。カメラ１０６１（撮像部）は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ１０６１は、頭部装着型表示装置１１００の表側方向、換言すれば、画像表示部１０２０を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ１０６１の撮像範囲の広さは適宜設定可能であるが、例えばカメラユニット１００３の回動範囲の下端において、カメラ１０６１の撮像範囲が、使用者が右光学像表示部１０２６、左光学像表示部１０２８を通して視認する外界を含むことが好ましい。さらに、調光板１０２０Ａを通した使用者の視界の全体を撮像できるようにカメラ１０６１の撮像範囲が設定されているとより好ましい。
カメラ１０６１は、制御部１１４０が備える撮像処理部１１８１（図１９）の制御に従って撮像を実行し、撮像画像データを撮像処理部１１８１に出力する。
カメラ１０６１は、頭部装着型表示装置１１００の表側方向、換言すれば、画像表示部１０２０を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ１０６１の撮像範囲の広さは適宜設定可能であるが、例えばカメラユニット１００３の回動範囲の下端において、カメラ１０６１の撮像範囲が、使用者が右光学像表示部１０２６、左光学像表示部１０２８を通して視認する外界を含むことが好ましい。さらに、調光板１０２０Ａを通した使用者の視界の全体を撮像できるようにカメラ１０６１の撮像範囲が設定されているとより好ましい。
カメラ１０６１は、制御部１１４０が備える撮像処理部１１８１（図１９）の制御に従って撮像を実行し、撮像画像データを撮像処理部１１８１に出力する。
画像表示部１０２０は、制御装置１０１０に接続部１０４０を介して接続する。接続部１０４０は、制御装置１０１０に接続される本体コード１０４８、右コード１０４２、左コード１０４４、及び、連結部材１０４６を備える。右コード１０４２及び左コード１０４４は、本体コード１０４８が２本に分岐したコードである。右コード１０４２は、右保持部１０２１の延伸方向の先端部ＡＰから右保持部１０２１の筐体内に挿入され、右表示駆動部１０２２に接続される。同様に、左コード１０４４は、左保持部１０２３の延伸方向の先端部ＡＰから左保持部１０２３の筐体内に挿入され、左表示駆動部１０２４に接続される。
連結部材１０４６は、本体コード１０４８と、右コード１０４２及び左コード１０４４との分岐点に設けられ、イヤホンプラグ１０３０を接続するためのジャックを有する。イヤホンプラグ１０３０からは、右イヤホン１０３２及び左イヤホン１０３４が延伸する。イヤホンプラグ１０３０の近傍にはマイク１０６３が設けられる。イヤホンプラグ１０３０からマイク１０６３までは一本のコードにまとめられ、マイク１０６３からコードが分岐して、右イヤホン１０３２と左イヤホン１０３４のそれぞれに繋がる。
マイク１０６３は、例えば図１７に示すように、マイク１０６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１１８７（図１９）に出力する。マイク１０６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
右コード１０４２、左コード１０４４、及び、本体コード１０４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード１０４２と左コード１０４４とを一本のコードにまとめた構成としてもよい。
画像表示部１０２０と制御装置１０１０とは、接続部１０４０を介して各種信号を伝送する。本体コード１０４８の連結部材１０４６とは反対側の端部、及び、制御装置１０１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード１０４８のコネクターと制御装置１０１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０１０と画像表示部１０２０とを接離できる。
制御装置１０１０は、頭部装着型表示装置１１００を制御する。制御装置１０１０は、決定キー１０１１、点灯部１０１２、表示切替キー１０１３、輝度切替キー１０１５、方向キー１０１６、メニューキー１０１７、及び電源スイッチ１０１８を含むスイッチ類を備える。また、制御装置１０１０は、使用者が手指で操作するトラックパッド１０１４を備える。
決定キー１０１１は、押下操作を検出して、制御装置１０１０で操作された内容を決定する信号を出力する。点灯部１０１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１０１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
トラックパッド１０１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１０１５は、押下操作に応じて画像表示部１０２０の輝度の増減を指示する信号を出力する。方向キー１０１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１０１８は、頭部装着型表示装置１１００の電源オン／オフを切り替えるスイッチである。
図１８は、画像表示部１０２０が備える光学系の構成を示す要部平面図である。図１８には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部１０２４は、左バックライト１２２２、左ＬＣＤ１２４２、及び左投写光学系１２５２を備える。左バックライト１２２２はＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ１２４２は、左バックライト１２２２の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系１２５２は、左ＬＣＤ１２４２を透過した画像光Ｌを導くレンズ群等を備える。
左表示駆動部１０２４は、左バックライト１２２２、左ＬＣＤ１２４２、及び左投写光学系１２５２を備える。左バックライト１２２２はＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ１２４２は、左バックライト１２２２の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系１２５２は、左ＬＣＤ１２４２を透過した画像光Ｌを導くレンズ群等を備える。
左投写光学系１２５２は、左ＬＣＤ１２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板１２６２（光学素子）に入射される。左導光板１２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板１２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板１２６２には、左眼ＬＥの眼前に位置するハーフミラー１２６２Ａ（反射面）が形成される。
ハーフミラー１２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部１０２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー１２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部１０２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
右表示駆動部１０２２は、左表示駆動部１０２４と左右対称に構成される。右表示駆動部１０２２は、右バックライト１２２１、右ＬＣＤ１２４１、及び右投写光学系１２５１を備える。右バックライト１２２１はＬＥＤ等の光源と拡散板とを有する。右ＬＣＤ１２４１は、右バックライト１２２１の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系１２５１は、右ＬＣＤ１２４１を透過した画像光Ｌを導くレンズ群等を備える。
右投写光学系１２５１は、右ＬＣＤ１２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板１２６１（光学素子）に入射される。右導光板１２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板１２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板１２６１には、右眼ＲＥの眼前に位置するハーフミラー１２６１Ａ（反射面）が形成される。
ハーフミラー１２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部１０２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
ハーフミラー１２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部１０２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
使用者の右眼ＲＥには、ハーフミラー１２６１Ａで反射した画像光Ｌと、調光板１０２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー１２６２Ａで反射した画像光Ｌと、調光板１０２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板１０２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１１００は、シースルー型の表示装置として機能する。
なお、左投写光学系１２５２と左導光板１２６２とを総称して「左導光部」とも呼び、右投写光学系１２５１と右導光板１２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
また、フレーム１００２には２つの動きセンサーが取り付けられる。これらの動きセンサーは、慣性センサーであり、具体的には第１センサー１０６６及び第２センサー１０６８である。これらの動きセンサーである第１センサー１０６６及び第２センサー１０６８は、頭部装着型表示装置１１００において、使用者の身体に対して偏りを有する位置に配置される。より具体的には、第１センサー１０６６は右部１００２Ａにおいてテンプル部１００２Ｄ側の端に配置され、第２センサー１０６８は左部１００２Ｂにおいてテンプル部１００２Ｅ側の端部に設置される。第１センサー１０６６及び第２センサー１０６８は、加速度センサーや角速度センサー（ジャイロセンサー）等の慣性センサーであり、本実施形態では、３軸のジャイロセンサーとする。第１センサー１０６６及び第２センサー１０６８は、それぞれ、内蔵する検出機構の測定基準点において、後述するＸ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）を検出する。第１センサー１０６６及び第２センサー１０６８の位置は、測定基準点の位置をいう。
第１センサー１０６６、及び第２センサー１０６８は、上述した第１〜第２実施形態で説明した第１センサー１０６６及び第２センサー１０６８に、それぞれ対応し、設置位置も同様である。すなわち、第１センサー１０６６及び第２センサー１０６８のいずれかのセンサーは、使用者の頭部の中心の一方側にあり、他のセンサーは、使用者の頭部の中心の他方側にある。具体的には、第１センサー１０６６は使用者の頭部の右側にあり、第２センサー１０６８は左側にある。ここで、頭部の中心とは、使用者の身長に対し垂直な水平面における頭部の中心を指す。第１センサー１０６６及び第２センサー１０６８の水平面における位置は、この水平面における頭部の中心を挟んで、右側と左側にある。頭部の中心については、第１〜第２実施形態で説明した通りである。
より好ましくは、図１８に示すように、第１センサー１０６６は右導光板２６１の側方に配置され、第２センサー１０６８は左導光板２６２の側方に配置される。フレーム１００２の左右方向における中央位置をＣ１とすると、使用者に画像光を視認させる表示領域であるハーフミラー２６１Ａの中心Ｃ２と、ハーフミラー２６２Ａの中心Ｃ３とは、中央位置Ｃ１に対して対称な位置にある。言い換えれば、中央位置Ｃ１はハーフミラー２６１Ａの中心Ｃ２とハーフミラー２６２Ａの中心Ｃ３との中点にある。
このように、第１センサー１０６６及び第２センサー１０６８は、中央位置Ｃ１に対して対称な位置に設けられることが好ましい。そして、第１センサー１０６６の位置と第２センサー１０６８の位置とを結ぶ直線は、ハーフミラー２６１Ａ、２６２Ａを通る。つまり、第１センサー１０６６の位置、第２センサー１０６８の位置、ハーフミラー２６１Ａの中心Ｃ２、及びハーフミラー２６２Ａの中心Ｃ３が、同一直線上に並ぶ。
このように、第１センサー１０６６及び第２センサー１０６８は、中央位置Ｃ１に対して対称な位置に設けられることが好ましい。そして、第１センサー１０６６の位置と第２センサー１０６８の位置とを結ぶ直線は、ハーフミラー２６１Ａ、２６２Ａを通る。つまり、第１センサー１０６６の位置、第２センサー１０６８の位置、ハーフミラー２６１Ａの中心Ｃ２、及びハーフミラー２６２Ａの中心Ｃ３が、同一直線上に並ぶ。
なお、ハーフミラー１２６１Ａ、１２６２Ａの中心を含む水平面内における位置関係を説明したが、この水平面に対し垂直な、鉛直方向（高さ方向）における位置関係は、特に制限はない。第１センサー１０６６及び第２センサー１０６８の位置と、ハーフミラー１２６１Ａ、１２６２Ａの中心とが、鉛直方向で近接していることが好ましい。例えば、第１センサー１０６６及び第２センサー１０６８の位置が、ハーフミラー１２６１Ａ、１２６２Ａの側方にあるとよい。さらに、第１センサー１０６６及び第２センサー１０６８の位置と、ハーフミラー１２６１Ａ、１２６２Ａの中心とが、高さ方向において同一位置にあると、より好ましい。
第１センサー１０６６が角速度を検出する軸は、図１に示すように、画像表示部１０２０を装着する使用者の頭部に対し左右方向をＸ軸、前後方向をＺ軸、上下方向をＹ軸とする。Ｘ軸、Ｙ軸、及びＺ軸は、上述した第１〜第２実施形態で説明したように、使用者の頭部に対応して仮想的に設定される直交座標系を構成する。より詳細には、頭部装着型表示装置１００の装着状態において、画像表示部１０２０は左右の眼に対し、使用者が知覚する水平な位置にある。この装着状態において、第１センサー１０６６及び第２センサー１０６８の検出軸（Ｘ軸、Ｙ軸、Ｚ軸）が、使用者が知覚する左右、前後、及び上下に一致する構成である。仮に、画像表示部１０２０の装着位置が使用者の頭部に対して傾いたり、ずれたりすれば、第１センサー１０６６及び第２センサー１０６８の検出軸は、左右、前後、上下からずれるが、この問題は使用者が画像表示部１０２０の傾き及びずれを調整することで容易に解消する。
頭部装着型表示装置１００は、第１センサー１０６６及び第２センサー１０６８により、画像表示部１０２０を装着した状態で使用者の頭部の動きを検出する。これらの動きセンサーが検出する動きは、第１センサー１０６６の測定基準点（図３のＰ３）、及び、第２センサー１０６８の測定基準点（図３のＰ４）における動きである。
頭部装着型表示装置１００は、第１センサー１０６６及び第２センサー１０６８により、画像表示部１０２０を装着した状態で使用者の頭部の動きを検出する。これらの動きセンサーが検出する動きは、第１センサー１０６６の測定基準点（図３のＰ３）、及び、第２センサー１０６８の測定基準点（図３のＰ４）における動きである。
頭部装着型表示装置１１００は、後述するＡＲ表示制御部１１８６の機能によってＡＲコンテンツの表示を行う場合、使用者の頭部の動きの検出（ヘッドトラッキング）を行い、検出した使用者の頭部の動きに対応して表示態様を変化させる構成であってもよい。
この場合、ヘッドトラッキングにおいては頭部の運動（動き）の基準位置を想定し、この基準位置における動きを求めることが望ましい。上述したように、人間が頭部を動かすとき、頭部の中心または頭部の前部（図３の位置Ｐ２に相当）が、動きの中心、或いは基準となることが多い。ここで、動きの中心、或いは基準となる位置を、運動中心と呼ぶ。
この場合、ヘッドトラッキングにおいては頭部の運動（動き）の基準位置を想定し、この基準位置における動きを求めることが望ましい。上述したように、人間が頭部を動かすとき、頭部の中心または頭部の前部（図３の位置Ｐ２に相当）が、動きの中心、或いは基準となることが多い。ここで、動きの中心、或いは基準となる位置を、運動中心と呼ぶ。
ヘッドトラッキングの処理では、運動中心における動きを求める。運動中心の動きを直接検出するためには、運動中心となりやすい位置、例えば位置Ｐ１や位置Ｐ２に動きセンサーを配置する必要があり、現実的でない。そこで、頭部装着型表示装置１１００は、第１センサー１０６６及び第２センサー１０６８の検出結果に基づく演算処理により、運動中心における動きを算出する。この演算処理に用いる演算式、テーブル、パラメーター等は、後述するセンサー位置データ１１２２として、予め記憶されている。
そして、第１センサー１０６６及び第２センサー１０６８の位置が、ある種の条件を満たしている場合、運動中心における動きを算出する演算処理が容易になり、軽負荷で実行でき、より正確に運動中心における動きを算出できる。
この条件は、上述したように、第１センサー１０６６及び第２センサー１０６８のいずれかのセンサーは使用者の頭部の中心の一方側にあり、他のセンサーは、使用者の頭部の中心の他方側にあることである。この場合、頭部の中心を運動中心とする運動が行われた場合に、運動中心における動きを容易に算出できる。
この条件は、上述したように、第１センサー１０６６及び第２センサー１０６８のいずれかのセンサーは使用者の頭部の中心の一方側にあり、他のセンサーは、使用者の頭部の中心の他方側にあることである。この場合、頭部の中心を運動中心とする運動が行われた場合に、運動中心における動きを容易に算出できる。
また、より好ましくは、第１センサー１０６６は右導光板１２６１の側方に配置され、第２センサー１０６８は左導光板１２６２の側方に配置されることである。さらに、第１センサー１０６６及び第２センサー１０６８は、中央位置Ｃ１に対して対称な位置に設けられることが、より好ましい。第１センサー１０６６の位置、第２センサー１０６８の位置、ハーフミラー１２６１Ａの中心Ｃ２、及びハーフミラー１２６２Ａの中心Ｃ３が、同一直線上に並ぶことが、さらに好ましい。この場合、頭部の中心、または前部の中心を運動中心とする運動が行われた場合に、運動中心における動きを容易に算出できる。
また、鉛直方向（高さ方向）における位置関係は、第１センサー１０６６及び第２センサー１０６８の位置と、ハーフミラー１２６１Ａ、１２６２Ａの中心とが、鉛直方向で近接していることが好ましい。さらに、第１センサー１０６６及び第２センサー１０６８の位置と、ハーフミラー１２６１Ａ、１２６２Ａの中心とが、高さ方向において同一位置にあると、より好ましい。
また、鉛直方向（高さ方向）における位置関係は、第１センサー１０６６及び第２センサー１０６８の位置と、ハーフミラー１２６１Ａ、１２６２Ａの中心とが、鉛直方向で近接していることが好ましい。さらに、第１センサー１０６６及び第２センサー１０６８の位置と、ハーフミラー１２６１Ａ、１２６２Ａの中心とが、高さ方向において同一位置にあると、より好ましい。
なお、第１センサー１０６６及び第２センサー１０６８の配置状態は、図１７及び図１８に示す例に限定されない。例えば、第１実施形態で図５及び図６に示した第１センサー６６、及び第２センサー６８に相当する位置に、配置することも可能である。
図１９は、頭部装着型表示装置１１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１１２５を備える。インターフェイス１１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
頭部装着型表示装置１１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１１２５を備える。インターフェイス１１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
制御装置１０１０は、制御部１１４０、入力情報取得部１１１０、記憶部１１２０、送信部（Ｔｘ）１０５１及び送信部（Ｔｘ）１０５２を有する。
入力情報取得部１１１０は、操作部１１３５に接続される。操作部１１３５は、上記のトラックパッド１０１４、方向キー１０１６、電源スイッチ１０１８等を含み、入力情報取得部１１１０は、操作部１１３５から入力される信号に基づき、入力内容を取得する。また、制御装置１０１０は、電源部１１３０を備え、制御装置１０１０及び画像表示部１０２０の各部に電源を供給する。
入力情報取得部１１１０は、操作部１１３５に接続される。操作部１１３５は、上記のトラックパッド１０１４、方向キー１０１６、電源スイッチ１０１８等を含み、入力情報取得部１１１０は、操作部１１３５から入力される信号に基づき、入力内容を取得する。また、制御装置１０１０は、電源部１１３０を備え、制御装置１０１０及び画像表示部１０２０の各部に電源を供給する。
記憶部１１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１１２０は、画像表示部１０２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１１２０は、設定データ１１２１を記憶する。設定データ１１２１は、制御部１１４０が実行する各種処理に係る設定値を含む。例えば、画像処理部１１６０及び表示制御部１１７０が画像信号を処理する場合の解像度等の設定値を含む。設定データ１１２１が含む設定値は、予め操作部１１３５の操作で入力された値であってもよいし、通信部１１１７またはインターフェイス１１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
記憶部１１２０は、設定データ１１２１を記憶する。設定データ１１２１は、制御部１１４０が実行する各種処理に係る設定値を含む。例えば、画像処理部１１６０及び表示制御部１１７０が画像信号を処理する場合の解像度等の設定値を含む。設定データ１１２１が含む設定値は、予め操作部１１３５の操作で入力された値であってもよいし、通信部１１１７またはインターフェイス１１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
記憶部１１２０は、センサー位置データ１１２２、及びコンテンツデータ１１２３を記憶する。センサー位置データ１１２２は、動き検出部１１８５が演算処理に用いる演算式、パラメーター等を含む。コンテンツデータ１１２３は、ＡＲ表示制御部１１８６がＡＲ表示するコンテンツの画像（静止画像、或いは動画像）データ、及び／又は音声データを含む。
制御部１１４０には、センサー１１１３、ＧＰＳ１１１５、及び、通信部１１１７が接続される。センサー１１１３は、加速度センサーや角速度センサー等の慣性センサーを有し、制御部１１４０はセンサー１１１３の検出値を取得する。センサー１１１３は、例えば３軸の加速度センサーや、３軸の加速度センサーと３軸の角速度センサーと３軸の磁気センサーとを有する９軸センサーとして構成してもよい。
ＧＰＳ１１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０１０の現在位置を算出する。ＧＰＳ１１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１１４０に出力する。また、ＧＰＳ１１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１１４０が計時する時刻を修正させる機能を備えていてもよい。
ＧＰＳ１１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０１０の現在位置を算出する。ＧＰＳ１１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１１４０に出力する。また、ＧＰＳ１１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１１４０が計時する時刻を修正させる機能を備えていてもよい。
通信部１１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１１７に無線接続された場合、制御部１１４０は、コンテンツデータ１１２３を通信部１１１７より取得して、画像表示部１０２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１１２５に有線接続された場合、制御部１１４０は、コンテンツデータ１１２３をインターフェイス１１２５より取得して、画像表示部１０２０に画像を表示させる。通信部１１１７及びインターフェイス１１２５は、外部機器ＯＡからコンテンツデータ１１２３を取得するデータ取得部ＤＡとして機能する。
外部機器ＯＡが、通信部１１１７に無線接続された場合、制御部１１４０は、コンテンツデータ１１２３を通信部１１１７より取得して、画像表示部１０２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１１２５に有線接続された場合、制御部１１４０は、コンテンツデータ１１２３をインターフェイス１１２５より取得して、画像表示部１０２０に画像を表示させる。通信部１１１７及びインターフェイス１１２５は、外部機器ＯＡからコンテンツデータ１１２３を取得するデータ取得部ＤＡとして機能する。
制御部１１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を有する。制御部１１４０は、ＣＰＵにより制御プログラムを実行することで、頭部装着型表示装置１１００の各部を制御する。また、制御部１１４０は、記憶部１１２０が記憶するコンピュータープログラムを読み出して実行し、制御部１１４０の各種機能を実現する。すなわち、制御部１１４０は、オペレーティングシステム（ＯＳ）１１５０、画像処理部１１６０、及び表示制御部１１７０の機能を実行する。また、制御部１１４０は、撮像処理部１１８１、検出制御部１１８３、位置検出部１１８４（制御部）、動き検出部１１８５、ＡＲ表示制御部１１８６（表示処理部）、及び、音声処理部１１８７として機能する。
画像処理部１１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１１６０は、必要に応じて、画像データの解像度を右表示駆動部１０２２及び左表示駆動部１０２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
なお、画像処理部１１６０は、必要に応じて、画像データの解像度を右表示駆動部１０２２及び左表示駆動部１０２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
画像処理部１１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部１０５１、１０５２を介して送信する。送信部１０５１、１０５２は、トランシーバーとして機能し、制御装置１０１０と画像表示部１０２０との間におけるシリアル伝送を実行する。なお、送信部１０５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部１０５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。
表示制御部１１７０は、右表示駆動部１０２２及び左表示駆動部１０２４を制御する制御信号を生成し、この制御信号により、右表示駆動部１０２２及び左表示駆動部１０２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部１２１１による右ＬＣＤ１２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部１２０１による右バックライト１２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１１７０は、左ＬＣＤ制御部１２１２による左ＬＣＤ１２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部１２０２による左バックライト１２２２の駆動ＯＮ／ＯＦＦを制御する。
撮像処理部１１８１は、カメラ１０６１を制御して撮像を実行させ、撮像画像データを取得する。
位置検出部１１８４は、第１回動センサー１０７１及び第２回動センサー１０７２に接続して、ヒンジ１０２１Ａにおけるテンプル部１００２Ｄとアーム部１００３Ａとの角度、及び、ヒンジ１０２３Ａにおけるテンプル部１００２Ｅとアーム部１００３Ｂとの角度を検出する。
位置検出部１１８４は、第１回動センサー１０７１及び第２回動センサー１０７２に接続して、ヒンジ１０２１Ａにおけるテンプル部１００２Ｄとアーム部１００３Ａとの角度、及び、ヒンジ１０２３Ａにおけるテンプル部１００２Ｅとアーム部１００３Ｂとの角度を検出する。
検出制御部１１８３は、第１センサー１０６６及び第２センサー１０６８のそれぞれを駆動して、検出値を取得する。例えば、頭部装着型表示装置１１００の電源投入時などに第１センサー１０６６及び第２センサー１０６８を初期化し、検出可能な状態とする。また、検出制御部１１８３は、予め設定されたサンプリング周期で第１センサー１０６６及び第２センサー１０６８のそれぞれの検出値を取得する。本実施形態では、第１センサー１０６６及び第２センサー１０６８は、上記のＸ軸、Ｙ軸、及びＺ軸の各軸まわりの回転（ロール）の角速度の検出値を出力する。この検出値は角速度の大きさと回転方向を含んでもよい。
動き検出部１１８５は、検出制御部１１８３が取得する第１センサー１０６６及び第２センサー１０６８の検出値に基づき、運動中心における動き量を算出する。運動中心は、上述の通りであり、使用者の頭部の中心、或いは頸部の中心等とすることができる。
動き検出部１１８５は、記憶部１１２０が記憶するセンサー位置データ１１２２を用いて、ヘッドトラッキングの演算を行う。センサー位置データ１１２２は、第１センサー１０６６の位置、第２センサー１０６８の位置との相対的な位置関係または絶対位置を示すデータを含む。センサー位置データ１１２２は、上記のセンサー位置データ１２２に相当する。ここで、動き検出部１１８５は、第１センサー１０６６及び第２センサー１０６８の検出結果に基づいて、運動中心の位置を算出してもよい。或いは、運動中心の位置を算出せず、運動中心における動き量を算出してもよい。動き量は、速度であってもよいし、速度と時間とを含んでもよいし、移動量であってもよい。
例えば、動き検出部１１８５は、第１センサー１０６６及び第２センサー１０６８の角速度の検出値から、使用者の動きのＸ軸まわりの成分、Ｙ軸まわりの成分、及びＺ軸まわりの成分を求める。そして、動き検出部１１８５は、第１センサー１０６６及び第２センサー１０６８の検出値と、センサー位置データ１２２の第１センサー１０６６及び第２センサー１０６８の位置とに基づき、Ｘ軸まわりの回転の中心、Ｙ軸まわりの回転の中心、及びＺ軸回りの回転の中心を求める。そして、動き検出部は、３次元の動きの中心、すなわち運動中心の位置と、運動中心における動きの方向、及び運動中心の動きの大きさ（或いは強さ）を求める。
また、動き検出部１１８５は、運動中心における動きの方向、大きさだけでなく、予め指定された点における動きの方向及び／又は大きさを求めてもよい。
また、動き検出部１１８５は、運動中心における動きの方向、大きさだけでなく、予め指定された点における動きの方向及び／又は大きさを求めてもよい。
ＡＲ表示制御部１１８６は、記憶部１１２０が記憶するコンテンツデータ１１２３を読み出し、画像処理部１１６０及び表示制御部１１７０を制御して、ＡＲ表示用の画像を画像表示部１０２０により表示させる。また、ＡＲ表示制御部１１８６は、コンテンツデータ１１２３が音声データを含む場合、音声処理部１１８７を制御して、右イヤホン１０３２、左イヤホン１０３４からコンテンツの音声を出力させる。
ＡＲ表示制御部１１８６は、位置検出部１１８４が検出するヒンジ１０２１Ａ、１０２３Ａにおける回動位置に基づき、ＡＲコンテンツの表示を制御する。
ＡＲ表示制御部１１８６は、使用者が画像表示部１０２０越しに対象物を見ている状態でＡＲコンテンツを表示する。ＡＲ表示制御部１１８６は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部１０２０越しに見える対象物の姿の見え方を変える。ＡＲコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ＡＲコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。ＡＲ表示制御部１１８６は、撮像処理部１１８１が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、ＡＲ表示制御部１１８６は、検出した対象物に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。
ＡＲ表示制御部１１８６は、使用者が画像表示部１０２０越しに対象物を見ている状態でＡＲコンテンツを表示する。ＡＲ表示制御部１１８６は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部１０２０越しに見える対象物の姿の見え方を変える。ＡＲコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ＡＲコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。ＡＲ表示制御部１１８６は、撮像処理部１１８１が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、ＡＲ表示制御部１１８６は、検出した対象物に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。
ＡＲコンテンツは、使用者が対象物を視認する位置に重なるように、或いは、対象物を視認する位置に合わせて、表示することが望ましい。このため、ＡＲ表示制御部１１８６は、撮像処理部１１８１の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ１０６１の撮像範囲における対象物の位置を特定する。ＡＲ表示制御部１１８６は、カメラ１０６１の撮像範囲と、画像表示部１０２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。
また、ＡＲ表示制御部１１８６は、撮像処理部１１８１の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ１０６１の撮像範囲における対象物の位置を特定する。ＡＲ表示制御部１１８６は、カメラ１０６１の撮像範囲と、画像表示部１０２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定する。
ＡＲ表示制御部１１８６が、使用者の頭部の動きに対応してＡＲコンテンツの表示態様を変化させる態様は、設定データ１１２１に含まれる設定値として、事前に設定される。また、制御部１１４０が実行するプログラムに設定されることもあり得る。
ここで、ＡＲ表示制御部１１８６の表示の制御は、使用者の頭部の中心や頭部の前部の中心における動きに対応する処理として設計してもよい。頭部の中心や頭部の前部の中心の動きに合わせると、表示変化を設計する際にイメージし易く、シンプルで、間違いが起きにくく、効果的な表示変化を設計できるためである。このため、設定データ１１２１には、使用者の頭部の中心や頭部の前部の中心における動きの設定値が設定される。ＡＲ表示制御部１１８６は、動き検出部１１８５が算出する使用者の頭部の中心や頭部の前部の中心における動きを、設定データ１１２１と比較対照して、処理する。
上記とは異なる方法として、実際に動きを検出する第１センサー１０６６、第２センサー１０６８の位置における動きに対応して、ＡＲ表示制御部１１８６の表示の制御を設計することも可能である。例えば、設定データ１２１に、第１センサー１０６６及び第２センサー１０６８の検出値に関する設定値を設定し、この設定値に基づきＡＲ表示制御部１１８６が処理を行う。この場合も、使用者の頭部の動きに対応して表示を制御できる。しかしながら、この設定値は、第１センサー１０６６及び第２センサー１０６８の位置に固定された値であり、頭部装着型表示装置１１００の仕様変更によりセンサーの位置や数が変化した場合は新たな設定値が必要になる。これに対し、第１センサー１０６６や第２センサー１０６８の検出値から動きの基準の位置と、この基準の位置における動きを算出する方法では、設定値が装置固有の値ではなく、汎用性を持つ。従って、ＡＲコンテンツの表示態様の制御が容易になり、効果的なＡＲ表示が可能になるという利点がある。
頭部装着型表示装置１１００は、第１〜第２実施形態で説明した頭部装着型表示装置１００と共通する構成を具備する。すなわち、符号１００２は第１実施形態で説明したフレーム２に相当し、１００２Ａは右部２Ａに相当し、１００２Ｂは左部２Ｂに相当し、１００２Ｃはブリッジ部２Ｃに相当し、１００２Ｄはテンプル部２Ｄに相当し、１００２Ｅはテンプル部２Ｅに相当する。
また、符号１００３はカメラユニット３に相当し、１００３Ａはアーム部３Ａに相当し、１００３Ｂはアーム部３Ｂに相当し、１００３Ｃはカメラ台座部３Ｃに相当する。
符号１０１０は制御装置１０に相当し、１０１１は決定キー１１に相当し、１０１２は点灯部１２に相当し、１０１４はトラックパッド１４に相当し、１０１５は輝度切替キー１５に相当する。符号１０１６は方向キー１６に相当し、１０１７はメニューキー１７に相当し、１０１８は電源スイッチ１８に相当する。
符号１０２０は画像表示部２０に相当し、１０２０Ａは調光板２０Ａに相当し、１０２１は右保持部２１に相当し、１０２１Ａはヒンジ２１Ａに相当し、１０２２は右表示駆動部２２に相当する。また、符号１０２３は左保持部２３に相当し、１０２３Ａはヒンジ２３Ａに相当する。
符号１０２４は左表示駆動部２４に相当し、１０２５はインターフェイス２５に相当し、１０２６は右光学像表示部２６に相当し、１０２８は左光学像表示部２８に相当し、１０３０はイヤホンプラグ３０に相当する。また、符号１０３２は右イヤホン３２に相当し、１０３４は左イヤホン３４に相当する。
符号１０４０は接続部４０に相当し、１０４２は右コード４２に相当し、１０４４は左コード４４に相当し、１０４６は連結部材４６に相当し、１０４８は本体コード４８に相当する。
符号１０５１は送信部５１に相当し、１０５２は送信部５２に相当し、１０５３は受信部５３に相当し、１０９５４は受信部５４に相当し、１０６１は上部カメラ６１に相当する。１０６３はマイク６３に相当する。
符号１１１０は入力情報取得部１１０に相当し、１１１３はセンサー１１３に相当し、１１１５はＧＰＳ１１５に相当し、１１１７は通信部１１７に相当し、１１２０は記憶部１２０に相当する。
符号１１２１は設定データ１２１に相当し、１１２２はセンサー位置データ１２２に相当し、１１２３はコンテンツデータ１２３に相当し、１１２５はインターフェイス１２５に相当し、１１３０は電源１３０に相当し、１１３５は操作部１３５に相当する。
符号１１４０は制御部１４０に相当し、１１５０はオペレーティングシステム１５０に相当し、１１６０は画像処理部１６０に相当し、１１８１は撮像処理部１１８１に相当し、１１８３は検出制御部１８３に相当する。
符号１１８５は動き検出部１８５に相当し、１１８６はＡＲ表示制御部１１８６に相当し、１１８７は音声処理部１８７に相当する。
符号１２０１は右バックライト制御部２０１に相当し、１２０２は左バックライト制御部２０２に相当し、１２１１は右ＬＣＤ制御部２１１に相当し、１２１２は左ＬＣＤ制御部２１２に相当する。
符号１２２１は右バックライト２２１に相当し、１２２２は左バックライト２２２に相当し、１２４１は右ＬＣＤ２４１に相当し、１２４２は左ＬＣＤ２４２に相当し、１２５１は右投写光学系２５１に相当し、１２５２は左投写光学系２５２に相当する。
符号１２６１は右導光板２６１に相当し、１２６１Ａはハーフミラー２６１Ａに相当し、１２６２は左導光板２６２に相当し、１２６２Ａはハーフミラー２６２Ａに相当する。
その他、上記第１実施形態と共通する構成については同一の符号を付す。
また、符号１００３はカメラユニット３に相当し、１００３Ａはアーム部３Ａに相当し、１００３Ｂはアーム部３Ｂに相当し、１００３Ｃはカメラ台座部３Ｃに相当する。
符号１０１０は制御装置１０に相当し、１０１１は決定キー１１に相当し、１０１２は点灯部１２に相当し、１０１４はトラックパッド１４に相当し、１０１５は輝度切替キー１５に相当する。符号１０１６は方向キー１６に相当し、１０１７はメニューキー１７に相当し、１０１８は電源スイッチ１８に相当する。
符号１０２０は画像表示部２０に相当し、１０２０Ａは調光板２０Ａに相当し、１０２１は右保持部２１に相当し、１０２１Ａはヒンジ２１Ａに相当し、１０２２は右表示駆動部２２に相当する。また、符号１０２３は左保持部２３に相当し、１０２３Ａはヒンジ２３Ａに相当する。
符号１０２４は左表示駆動部２４に相当し、１０２５はインターフェイス２５に相当し、１０２６は右光学像表示部２６に相当し、１０２８は左光学像表示部２８に相当し、１０３０はイヤホンプラグ３０に相当する。また、符号１０３２は右イヤホン３２に相当し、１０３４は左イヤホン３４に相当する。
符号１０４０は接続部４０に相当し、１０４２は右コード４２に相当し、１０４４は左コード４４に相当し、１０４６は連結部材４６に相当し、１０４８は本体コード４８に相当する。
符号１０５１は送信部５１に相当し、１０５２は送信部５２に相当し、１０５３は受信部５３に相当し、１０９５４は受信部５４に相当し、１０６１は上部カメラ６１に相当する。１０６３はマイク６３に相当する。
符号１１１０は入力情報取得部１１０に相当し、１１１３はセンサー１１３に相当し、１１１５はＧＰＳ１１５に相当し、１１１７は通信部１１７に相当し、１１２０は記憶部１２０に相当する。
符号１１２１は設定データ１２１に相当し、１１２２はセンサー位置データ１２２に相当し、１１２３はコンテンツデータ１２３に相当し、１１２５はインターフェイス１２５に相当し、１１３０は電源１３０に相当し、１１３５は操作部１３５に相当する。
符号１１４０は制御部１４０に相当し、１１５０はオペレーティングシステム１５０に相当し、１１６０は画像処理部１６０に相当し、１１８１は撮像処理部１１８１に相当し、１１８３は検出制御部１８３に相当する。
符号１１８５は動き検出部１８５に相当し、１１８６はＡＲ表示制御部１１８６に相当し、１１８７は音声処理部１８７に相当する。
符号１２０１は右バックライト制御部２０１に相当し、１２０２は左バックライト制御部２０２に相当し、１２１１は右ＬＣＤ制御部２１１に相当し、１２１２は左ＬＣＤ制御部２１２に相当する。
符号１２２１は右バックライト２２１に相当し、１２２２は左バックライト２２２に相当し、１２４１は右ＬＣＤ２４１に相当し、１２４２は左ＬＣＤ２４２に相当し、１２５１は右投写光学系２５１に相当し、１２５２は左投写光学系２５２に相当する。
符号１２６１は右導光板２６１に相当し、１２６１Ａはハーフミラー２６１Ａに相当し、１２６２は左導光板２６２に相当し、１２６２Ａはハーフミラー２６２Ａに相当する。
その他、上記第１実施形態と共通する構成については同一の符号を付す。
図２０は、頭部装着型表示装置１１００の装着状態を示す側面図であり、（Ａ）はカメラユニット１００３を回動させない状態を示し、（Ｂ）はカメラユニット１００３をフレーム１００２に対して上向きに回動させた状態を示す。
図２０（Ａ）において、一点鎖線Ｌ１は使用者の視線を示し、使用者の視野を符号Ｗ１で示す。二点鎖線Ｌ２はカメラ１０６１の撮像方向、すなわち、カメラ１０６１が備える撮像光学系（図示略）の光軸を示す。また、図ではカメラ１０６１の撮像範囲を符号Ｗ２で示す。
使用者の視線方向に対象物ＯＢが位置している場合、ＡＲ表示制御部１１８６は、対象物ＯＢの位置に合わせて、ＡＲコンテンツＯＢ´を表示する。ＡＲコンテンツＯＢ´は対象物ＯＢに重なって見える画像であり、画像表示部１０２０が使用者の眼に向けて発する画像光Ｌが形成する虚像である。図２０（Ａ）には、使用者がＡＲコンテンツＯＢ´を視認（知覚）する仮想の位置を、破線で示す。
図２０（Ａ）において、一点鎖線Ｌ１は使用者の視線を示し、使用者の視野を符号Ｗ１で示す。二点鎖線Ｌ２はカメラ１０６１の撮像方向、すなわち、カメラ１０６１が備える撮像光学系（図示略）の光軸を示す。また、図ではカメラ１０６１の撮像範囲を符号Ｗ２で示す。
使用者の視線方向に対象物ＯＢが位置している場合、ＡＲ表示制御部１１８６は、対象物ＯＢの位置に合わせて、ＡＲコンテンツＯＢ´を表示する。ＡＲコンテンツＯＢ´は対象物ＯＢに重なって見える画像であり、画像表示部１０２０が使用者の眼に向けて発する画像光Ｌが形成する虚像である。図２０（Ａ）には、使用者がＡＲコンテンツＯＢ´を視認（知覚）する仮想の位置を、破線で示す。
図２０（Ａ）の状態で、使用者には、対象物ＯＢに重なってＡＲコンテンツＯＢ´が視認される。これに対し、カメラユニット１００３をフレーム１００２に対して上向きに回動させると、図２０（Ｂ）に示すように、カメラ１０６１の撮像方向Ｌ２及び撮像範囲Ｗ２は、上方に移動する。この場合、カメラ１０６１の撮像範囲Ｗ２と使用者の視野Ｗ１との対応関係が変化する。具体的には、カメラ１０６１の撮像範囲Ｗ２における対象物ＯＢの位置が変化するので、ＡＲ表示制御部１１８６が検出する対象物ＯＢの位置が変化する。従って、対象物ＯＢと使用者との相対位置が変化していなくても、ＡＲ表示制御部１１８６が求める対象物ＯＢの位置は変化する。ＡＲ表示制御部１１８６は、変化した対象物ＯＢの位置に基づきＡＲコンテンツＯＢ´の表示位置を決定する。このため、図２０（Ｂ）に示すように、使用者には、ＡＲコンテンツＯＢ´の表示位置が、対象物ＯＢの位置に対応しないように見える。
また、カメラユニット１００３をフレーム１００２に対し上向きに動かす場合だけでなく、フレーム１００２を下向きに動かす場合も、変化が生じる。この場合は、使用者の視野Ｗ１が下方に移動するため、ＡＲ表示制御部１１８６が検出する対象物ＯＢの位置と、使用者の視野Ｗ１で使用者が視認する対象物ＯＢの位置とがずれる。従って、図２０（Ｂ）に示すケースと同様に、使用者には、ＡＲコンテンツＯＢ´の表示位置が、対象物ＯＢの位置に対応しないように見える。
ＡＲ表示制御部１１８６は、図２０（Ａ）から（Ｂ）に示すように、カメラユニット１００３、またはフレーム１００２が回動した場合に、この回動に合わせてＡＲコンテンツＯＢ´の表示位置を調整する機能を有する。ＡＲ表示制御部１１８６は、カメラ１０６１の撮像範囲と、画像表示部１０２０の表示領域との位置関係に基づき、対象物の位置に対応するＡＲコンテンツの表示位置を決定した後で、表示位置を調整する。
すなわち、ＡＲ表示制御部１１８６は、使用者が画像表示部１０２０越しに視認する視界の中心軸と、カメラ１０６１の光軸とのズレ量を求め、このズレ量を補償するようにＡＲコンテンツの表示位置を補正する。この表示位置の調整（補正）は、位置検出部１１８４が検出する第１回動センサー１０７１、及び第２回動センサー１０７２の検出値に基づく。この調整については後述する。
すなわち、ＡＲ表示制御部１１８６は、使用者が画像表示部１０２０越しに視認する視界の中心軸と、カメラ１０６１の光軸とのズレ量を求め、このズレ量を補償するようにＡＲコンテンツの表示位置を補正する。この表示位置の調整（補正）は、位置検出部１１８４が検出する第１回動センサー１０７１、及び第２回動センサー１０７２の検出値に基づく。この調整については後述する。
音声処理部１１８７は、ＡＲ表示制御部１１８６の制御によりコンテンツの音声信号を取得し、取得した音声信号を増幅して、右イヤホン１０３２および左イヤホン１０３４に出力する。また、音声処理部１１８７は、マイク１０６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。
画像表示部１０２０は、インターフェイス１０２５と、右表示駆動部１０２２と、左表示駆動部１０２４と、右光学像表示部１０２６としての右導光板１２６１と、左光学像表示部１０２８としての左導光板１２６２とを備える。また、画像表示部１０２０は、上述したカメラ１０６１、第１回動センサー１０７１、及び第２回動センサー１０７２を備える。カメラ１０６１はフレーム１００２（図１７）とは別体のカメラユニット１００３に設けられるが、インターフェイス１０２５に接続される。
インターフェイス１０２５は、右コード１０４２と左コード１０４４とが接続されるコネクターを備える。インターフェイス１０２５は、送信部１０５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）１０５３、１０５４に出力する。また、インターフェイス１０２５は、表示制御部１１７０から送信される制御信号を、対応する受信部１０５３、１０５４、右バックライト制御部１２０１又は左バックライト制御部１２０２に出力する。
インターフェイス１０２５は、カメラ１０６１、第１回動センサー１０７１、及び第２回動センサー１０７２を接続するインターフェイスである。カメラ１０６１の撮像画像データや撮像信号、第１回動センサー１０７１及び第２回動センサー１０７２の検出結果等は、インターフェイス１０２５を介して制御部１１４０に送られる。
インターフェイス１０２５は、カメラ１０６１、第１回動センサー１０７１、及び第２回動センサー１０７２を接続するインターフェイスである。カメラ１０６１の撮像画像データや撮像信号、第１回動センサー１０７１及び第２回動センサー１０７２の検出結果等は、インターフェイス１０２５を介して制御部１１４０に送られる。
カメラ１０６１は、カメラ接続部１０６１ａによりインターフェイス１０２５に接続される。カメラ接続部１０６１ａは、例えば、カメラ台座部１００３Ｃ及びアーム部１００３Ａ、１００３Ｂの内部を通り、或いは外面に沿って配設されるケーブルであり、フレーム１００２の内部に配設されるインターフェイス１０２５に有線接続される。カメラ接続部１０６１ａは、接続部１０４０及びインターフェイス１０２５とともに、カメラ１０６１を制御部１１４０に接続する接続部を構成する。
なお、カメラ接続部１０６１ａを無線通信回線に置き換えることも可能である。この場合、カメラ１０６１側に無線通信部を設け、フレーム１００２に無線通信部を設け、これら無線通信部が撮影画像データや制御データをＷｉＦｉ等の無線で送受信する構成としてもよい。また、カメラ１０６１側の無線通信部が通信部１１１７と通信を行ってもよい。
なお、カメラ接続部１０６１ａを無線通信回線に置き換えることも可能である。この場合、カメラ１０６１側に無線通信部を設け、フレーム１００２に無線通信部を設け、これら無線通信部が撮影画像データや制御データをＷｉＦｉ等の無線で送受信する構成としてもよい。また、カメラ１０６１側の無線通信部が通信部１１１７と通信を行ってもよい。
右表示駆動部１０２２は、上述した右バックライト１２２１、右ＬＣＤ１２４１、及び右投写光学系１２５１を備える。また、右表示駆動部１０２２は、受信部１０５３、右バックライト（ＢＬ）１２２１を制御する右バックライト（ＢＬ）制御部１２０１、及び、右ＬＣＤ１２４１を駆動する右ＬＣＤ制御部１２１１を備える。
受信部１０５３は、送信部１０５１に対応するレシーバーとして動作し、制御装置１０１０と画像表示部１０２０との間におけるシリアル伝送を実行する。右バックライト制御部１２０１は、入力された制御信号に基づいて、右バックライト１２２１を駆動する。右ＬＣＤ制御部１２１１は、受信部１０５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ１２４１を駆動する。
左表示駆動部１０２４は、右表示駆動部１０２２と同様の構成を有する。左表示駆動部１０２４は、上述した左バックライト１２２２、左ＬＣＤ１２４２、及び左投写光学系１２５２を備える。また、左表示駆動部１０２４は、受信部１０５４、左バックライト１２２２を駆動する左バックライト制御部１２０２、及び、左ＬＣＤ１２４２を駆動する左ＬＣＤ制御部１２１２を備える。
受信部１０５４は、送信部１０５２に対応するレシーバーとして動作し、制御装置１０１０と画像表示部１０２０との間におけるシリアル伝送を実行する。左バックライト制御部１２０２は、入力された制御信号に基づいて、左バックライト１２２２を駆動する。左ＬＣＤ制御部１２１２は、受信部１０５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ１２４２を駆動する。
なお、右バックライト制御部１２０１と、右ＬＣＤ制御部１２１１と、右バックライト１２２１と、右ＬＣＤ１２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部１２０２と、左ＬＣＤ制御部１２１２と、左バックライト１２２２と、左ＬＣＤ１２４２とを総称して、左の「画像光生成部」とも呼ぶ。
なお、右バックライト制御部１２０１と、右ＬＣＤ制御部１２１１と、右バックライト１２２１と、右ＬＣＤ１２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部１２０２と、左ＬＣＤ制御部１２１２と、左バックライト１２２２と、左ＬＣＤ１２４２とを総称して、左の「画像光生成部」とも呼ぶ。
図２１は、頭部装着型表示装置１１００の動作を示すフローチャートであり、特に、制御部１１４０が、ＡＲコンテンツＯＢ´を表示する動作を示す。
制御部１１４０は、操作部１１３５等により入力される指示に従ってＡＲコンテンツの表示を開始し（ステップＳＴ１１）、位置検出部１１８４が第１回動センサー１０７１及び第２回動センサー１０７２の検出値を取得する（ステップＳＴ１２）。位置検出部１１８４は、第１回動センサー１０７１及び第２回動センサー１０７２の検出値が、いずれも正常範囲内の値であるか否かを判定する（ステップＳＴ１３）。すなわち、ヒンジ１０２１Ａ、１０２３Ａの可動範囲を超えて、カメラユニット１００３、またはフレーム１００２が回動した状態でないかを判定する。ヒンジ１０２１Ａ、１０２３Ａが可動範囲を逸脱した状態であれば、故障を防止するため、速やかに動作を停止させるためである。
制御部１１４０は、操作部１１３５等により入力される指示に従ってＡＲコンテンツの表示を開始し（ステップＳＴ１１）、位置検出部１１８４が第１回動センサー１０７１及び第２回動センサー１０７２の検出値を取得する（ステップＳＴ１２）。位置検出部１１８４は、第１回動センサー１０７１及び第２回動センサー１０７２の検出値が、いずれも正常範囲内の値であるか否かを判定する（ステップＳＴ１３）。すなわち、ヒンジ１０２１Ａ、１０２３Ａの可動範囲を超えて、カメラユニット１００３、またはフレーム１００２が回動した状態でないかを判定する。ヒンジ１０２１Ａ、１０２３Ａが可動範囲を逸脱した状態であれば、故障を防止するため、速やかに動作を停止させるためである。
位置検出部１１８４は、第１回動センサー１０７１及び第２回動センサー１０７２のいずれか、または両方の検出値が正常範囲から外れている場合（ステップＳＴ１３；ＮＯ）、異常を報知する動作を行い（ステップＳＴ１４）、動作を終了する。ステップＳＴ１４の異常の報知は、例えば、画像表示部１０２０によりメッセージを表示させる、点灯部１０１２を点灯、または点滅させる、右イヤホン１０３２、左イヤホン１０３４から警報音や報知メッセージの音声を出力する等の方法で行えばよい。
位置検出部１１８４が、第１回動センサー１０７１及び第２回動センサー１０７２の検出値が正常範囲内の値であると判定した場合（ステップＳＴ１３；ＹＥＳ）、ＡＲ表示制御部１１８６は、記憶部１１２０からコンテンツデータ１１２３を取得する（ステップＳＴ１５）。次いで、撮像処理部１１８１がカメラ１０６１に撮像を実行させ、ＡＲ表示制御部１１８６が撮像画像データから対象物を検出する（ステップＳＴ１６）。ＡＲ表示制御部１１８６は、対象物の位置に基づいてＡＲコンテンツの表示位置を決定し（ステップＳＴ１７）、ＡＲコンテンツの表示を開始する（ステップＳＴ１８）。
ＡＲコンテンツの表示開始後、位置検出部１１８４が第１回動センサー１０７１及び第２回動センサー１０７２の検出値を取得し（ステップＳＴ１９）、位置検出処理を実行する（ステップＳＴ２０）。第３実施形態の位置検出処理は、位置検出部１１８４が、ヒンジ１０２１Ａにおけるアーム部１００３Ａとテンプル部１００２Ｄとの角度、及び、ヒンジ１０２３Ａにおけるアーム部１００３Ｂとテンプル部１００２Ｅとの角度を求める処理である。また、位置検出部１１８４は、カメラ１０６１の撮像方向と、基準位置の撮像方向との差を求めてもよい。基準位置とは、カメラユニット１００３の回動範囲において予め設定された位置である。例えば、ヒンジ１０２１Ａにおけるアーム部１００３Ａとテンプル部１００２Ｄとの角度、及び、ヒンジ１０２３Ａにおけるアーム部１００３Ｂとテンプル部１００２Ｅとの角度が最も小さい位置である。また、例えば、カメラユニット１００３がフレーム１００２側に最も接近する位置である。
ＡＲ表示制御部１１８６は、位置検出部１１８４が検出した角度に基づき、ＡＲコンテンツの表示位置の補正が必要か否かを判定する（ステップＳＴ２１）。例えば、位置検出部１１８４が検出した角度が、設定データ１１２１に含まれるしきい値を超える場合に、表示位置の補正が必要と判定する。
表示位置の補正が必要と判定した場合（ステップＳＴ２１；ＹＥＳ）、ＡＲ表示制御部１１８６は、ＡＲコンテンツの表示位置の補正量を算出する（ステップＳＴ２２）。ステップＳＴ２２では、設定データ１１２１に含まれる演算式、関数、テーブル、パラメーター等を用い、ステップＳＴ２０で検出した位置から補正量を算出する。
ＡＲ表示制御部１１８６は、表示位置の補正を行う旨の報知を行う（ステップＳＴ２３）。ステップＳＴ２３では、例えば、画像表示部１０２０により報知用のメッセージや画像を表示する。このメッセージや画像は、ＡＲコンテンツと同様に対象物の位置に合わせて表示してもよく、補正後のＡＲコンテンツの表示位置に、報知用のメッセージや画像を表示してもよい。ここで、ＡＲ表示制御部１１８６は、ステップＳＴ２３で報知を行わずにステップＳＴ２４に移行してもよいし、ステップＳＴ２３の報知を行った後で所定時間が経過した後に、自動的にステップＳＴ２４に移行してもよい。或いは、ステップＳＴ２３で報知を行った後で使用者の操作を待機し、使用者が実行を指示する操作を行った場合にステップＳＴ２４に移行してもよい。
ＡＲ表示制御部１１８６は、表示位置の補正を行う旨の報知を行う（ステップＳＴ２３）。ステップＳＴ２３では、例えば、画像表示部１０２０により報知用のメッセージや画像を表示する。このメッセージや画像は、ＡＲコンテンツと同様に対象物の位置に合わせて表示してもよく、補正後のＡＲコンテンツの表示位置に、報知用のメッセージや画像を表示してもよい。ここで、ＡＲ表示制御部１１８６は、ステップＳＴ２３で報知を行わずにステップＳＴ２４に移行してもよいし、ステップＳＴ２３の報知を行った後で所定時間が経過した後に、自動的にステップＳＴ２４に移行してもよい。或いは、ステップＳＴ２３で報知を行った後で使用者の操作を待機し、使用者が実行を指示する操作を行った場合にステップＳＴ２４に移行してもよい。
また、ＡＲ表示制御部１１８６は、ステップＳＴ２２において算出した補正量が、ＡＲ表示制御部１１８６により補正可能な量を超える場合に、異常を報知してもよい。例えば、ＡＲコンテンツの補正量の上限値が補正方向ごとに予め設定されており、この上限値を超える補正量を算出した場合に、報知を行ってもよい。また、ステップＳＴ２１で、位置検出部１１８４が検出した角度が、補正可能な角度の範囲として予め設定された範囲を逸脱しているか否かを判定してもよい。そして、検出した角度が補正可能な範囲外であると判定した場合に、報知を行ってもよい。報知の方法は、例えばステップＳＴ１４で行う報知と同様の方法とすることができる。
ＡＲ表示制御部１１８６は、ステップＳＴ２２で算出した補正量に従って、ＡＲコンテンツの表示位置を補正し（ステップＳＴ２４）、終了条件の正否を判定する（ステップＳＴ２５）。また、位置検出処理で位置検出部１１８４が検出したヒンジ１０２１Ａ、１０２３Ａにおける角度をもとに、表示位置を補正しないと判定した場合（ステップＳＴ２１；ＮＯ）、制御部１１４０はステップＳＴ２５に移行して終了条件の正否を判定する。
制御部１１４０は、終了条件が成立している場合（ステップＳＴ２５；ＹＥＳ）、本処理を終了する。また、終了条件が成立していない場合は（ステップＳＴ２５；ＮＯ）、ステップＳＴ１９に戻る。終了条件は、例えば、ＡＲコンテンツを最後まで表示し、表示が完了すること、操作部１１３５の操作によりＡＲコンテンツの表示の終了が指示されたこと、インターフェイス１１２５を介して外部機器より動作終了が指示されたこと、等である。
制御部１１４０は、終了条件が成立している場合（ステップＳＴ２５；ＹＥＳ）、本処理を終了する。また、終了条件が成立していない場合は（ステップＳＴ２５；ＮＯ）、ステップＳＴ１９に戻る。終了条件は、例えば、ＡＲコンテンツを最後まで表示し、表示が完了すること、操作部１１３５の操作によりＡＲコンテンツの表示の終了が指示されたこと、インターフェイス１１２５を介して外部機器より動作終了が指示されたこと、等である。
図２１の動作において、操作部１１３５の操作により表示位置の補正が指示された場合、ＡＲ表示制御部１１８６は、ステップＳＴ２１で、表示位置の補正が必要と判定する。この場合、操作部１１３５の操作により補正が指示された後でステップＳＴ１９、ＳＴ２０、ＳＴ２２の動作を行い、補正量を算出する。操作部１１３５の操作によって補正量が指定された場合は、指定された補正量に基づき補正を行う。また、操作部１１３５の操作により補正の方向が指示された場合、指示された方向に、予め設定された量の補正量で表示位置を補正してもよい。この一連の動作は、図２１の動作の実行中に操作部１１３５の操作が行われることをトリガーとして、割り込み制御により実行してもよい。
また、図２１の動作においてステップＳＴ１９〜ＳＴ２５の動作はフロー制御に限定されない。例えば、位置検出部１１８４が、第１回動センサー１０７１及び第２回動センサー１０７２の出力値に基づき回動を検出すると、この回動の検出をトリガーとして割り込み制御により、ステップＳＴ１９〜ＳＴ２５の動作を実行してもよい。
また、頭部装着型表示装置１１００は、位置検出部１１８４とは別に、第１回動センサー１０７１及び第２回動センサー１０７２の検出値を取得して、使用者の視界の中心軸（視線方向）とカメラ１０６１の光軸とのズレ量を求めるズレ量検出部（図示略）を備えてもよい。このズレ量算出部は、制御部１１４０のＣＰＵがプログラムを実行して、位置検出部１１８４とは別に処理を実行できる処理部として実現してもよい。また、制御部１１４０とは別の処理部として設けてもよい。ズレ量検出部は、位置検出部１１８４の処理とは別に、ヒンジ１０２１Ａにおけるアーム部１００３Ａとテンプル部１００２Ｄとの角度、及び、ヒンジ１０２３Ａにおけるアーム部１００３Ｂとテンプル部１００２Ｅとの角度を求める。この場合、位置検出部１１８４は、ＡＲ表示制御部１１８６がＡＲコンテンツを表示する際に、フレーム１００２に対するカメラ１０６１の位置または変位の量、或いは使用者の視界の中心軸とカメラ１０６１の光軸とのズレ量を、ズレ量検出部から取得する。また、ズレ量検出部が設定されたしきい値を超えるズレ量を検出したときに、制御部１１４０に対して、割り込みによりズレ量を入力する構成としてもよい。
また、頭部装着型表示装置１１００は、動き検出部１１８５によって、第１センサー１０６６及び第２センサー１０６８の検出値に基づいて、運動中心における動きの方向、及び動き量を求める処理を実行してもよい。具体的には、第１実施形態で説明した図８に示す処理、或いは、第２実施形態で説明した図１５に示す処理を実行してもよい。 さらに、頭部装着型表示装置１１００は、動き検出部１１８５によって検出した動きの方向及び動き量に基づき、動き検出部１１８５及びＡＲ表示制御部１１８６による処理を実行してもよい。具体的には、第１実施形態で説明した図１０、図１１、及び図１３に示した処理を実行してもよい。
この場合、頭部装着型表示装置１１００は、ヘッドトラッキングを実行し、使用者の頭部の中心または頸部の可動部を運動中心として、運動中心における動きの方向及び動き量を求めることができる。そして、頭部装着型表示装置１１００は、ヘッドトラッキングの結果に基づき、使用者の視野とカメラ１０６１の撮像範囲（画角）との相対位置を求めることができる。また、頭部装着型表示装置１１００は、ヘッドトラッキングの結果に基づき、画像表示部１０２０の装着位置と使用者の眼の位置との相対位置を求め、画像表示部１０２０の装着状態が適切か否かを判定できる。そして、使用者に対し、画像表示部１０２０の装着位置の修正を促すメッセージを出力する処理や、ヘッドトラッキングの結果をもとにカメラ１０６１の撮像画像を補正する処理ができる。また、頭部装着型表示装置１１００は、ヘッドトラッキングの結果に基づいて、使用者の頭部が動いた場合に、この動きが認知動作による動きか否かを判定できる。そして、認知動作に該当しない動きについて、カメラ１０６１の撮像画像を補正する処理を行える。
以上説明したように、使用者の頭部に装着される頭部装着型表示装置１１００は、使用者の頭部に装着されるフレーム１００２を有する。頭部装着型表示装置１１００は、フレーム１００２に設けられる画像表示部１０２０、フレーム１００２に対し変位可能に連結されたカメラ１０６１、及び、フレーム１００２に対するカメラ１０６１の位置または変位を検出する第１回動センサー１０７１及び第２回動センサー１０７２を備える。また、第１回動センサー１０７１及び第２回動センサー１０７２によりフレーム１００２とカメラ１０６１との相対位置を求める位置検出部１１８４を備える。これにより、画像表示部１０２０に対して変位可能なカメラ１０６１を備えることで、撮像範囲を変化させることができ、カメラ１０６１を動かした場合に、カメラ１０６１の動きに伴い必要なＡＲコンテンツの表示位置の補正ができる。
例えば、上述した特許文献１（特開２０１１−２７５３号公報）に記載されたように、従来、頭部に装着する表示装置が知られている。特許文献１記載のディスプレイは、眼鏡型のフレームにシースルーの導光手段を設けたディスプレイであり、フレームに撮像装置が取り付けられる。このディスプレイは、撮像装置によって撮像した画像と、導光手段を通してユーザーが視認する対象物の像とを一致させることで、補正データを生成し、その補正データに基づいて撮像データをユーザーの視野と一致させる。これにより、対象物の像に対して対象物に関する各種のデータを重ねて表示するＡＲ（Augmented Reality）技術を実現する。この特許文献１記載のディスプレイが備える撮像装置は、フレームに固定的に設けられるため、撮像装置の撮像範囲を変化させるためには、ユーザーが頭部を動かす必要があった。この点に鑑み、本第３実施形態の頭部装着型表示装置は、撮像する機能を備えた頭部装着型の表示装置において、撮像範囲を変更できるようにする。そして、上述したように、頭部装着型表示装置１１００は、画像表示部１０２０に対して変位可能なカメラ１０６１を備えることで、撮像範囲を変化させることができ、カメラ１０６１を動かした場合に、カメラ１０６１の動きに伴い必要なＡＲコンテンツの表示位置の補正ができる。
頭部装着型表示装置１１００は、カメラ１０６１とフレーム１００２とを回動可能に連結するヒンジ１０２１Ａ、１０２３Ａを有する。第１回動センサー１０７１及び第２回動センサー１０７２は、ヒンジ１０２１Ａ、１０２３Ａにおける角度の大きさまたは角度の変化を検出する。ここで、検出する角度は、例えば、ヒンジ１０２１Ａ、１０２３Ａにおけるフレーム１００２とカメラユニット１００３との角度である。このため、カメラ１０６１をフレーム１００２に対し可動に連結し、カメラ１０６１の位置または変位を検出する構成を、容易に実現できる。
頭部装着型表示装置１１００は、検出部として複数のセンサーである第１回動センサー１０７１及び第２回動センサー１０７２を備える。位置検出部１１８４は、複数のセンサーの検出値に基づいて、フレーム１００２とカメラ１０６１との相対位置を求めることで、カメラ１０６１の位置または変位をより正確に検出できる。
頭部装着型表示装置１１００は、検出部として複数のセンサーである第１回動センサー１０７１及び第２回動センサー１０７２を備える。位置検出部１１８４は、複数のセンサーの検出値に基づいて、フレーム１００２とカメラ１０６１との相対位置を求めることで、カメラ１０６１の位置または変位をより正確に検出できる。
頭部装着型表示装置１１００は、カメラ１０６１の撮像画像に基づき表示部にＡＲコンテンツを表示するＡＲ表示制御部１１８６を備え、カメラ１０６１が撮影した画像に基づきコンテンツを表示できる。また、カメラ１０６１を変位させて撮像範囲を変えることができる。
ＡＲ表示制御部１１８６は、位置検出部１１８４が求めるフレーム１００２とカメラ１０６１との相対位置に基づき、コンテンツの表示位置を調整できる。このため、カメラ１０６１を変位させた場合に表示位置を調整して、表示の整合性を保つことができる。従って、コンテンツの表示を継続した状態でカメラ１０６１を変位させることができる。また、ＡＲ表示制御部１１８６は、コンテンツの表示位置を調整する前に報知を行うので、使用者の利便性の向上を図ることができる。
また、ＡＲ表示制御部１１８６は、フレーム１００２とカメラ１０６１との相対位置に基づき、使用者の視界の中心軸と、カメラ１０６１の光軸とのズレを補償するようにＡＲコンテンツの表示位置を調整する。このため、カメラ１０６１が撮影した画像に基づき表示するＡＲコンテンツの位置を、使用者の視線に適した位置に補正できる。
また、ＡＲ表示制御部１１８６は、位置検出部１１８４の検出結果に基づき、ＡＲコンテンツの表示位置の調整の要否を判定するので、ＡＲコンテンツの表示位置を、適切な精度で制御できる。
ＡＲ表示制御部１１８６は、位置検出部１１８４が求めるフレーム１００２とカメラ１０６１との相対位置に基づき、コンテンツの表示位置を調整できる。このため、カメラ１０６１を変位させた場合に表示位置を調整して、表示の整合性を保つことができる。従って、コンテンツの表示を継続した状態でカメラ１０６１を変位させることができる。また、ＡＲ表示制御部１１８６は、コンテンツの表示位置を調整する前に報知を行うので、使用者の利便性の向上を図ることができる。
また、ＡＲ表示制御部１１８６は、フレーム１００２とカメラ１０６１との相対位置に基づき、使用者の視界の中心軸と、カメラ１０６１の光軸とのズレを補償するようにＡＲコンテンツの表示位置を調整する。このため、カメラ１０６１が撮影した画像に基づき表示するＡＲコンテンツの位置を、使用者の視線に適した位置に補正できる。
また、ＡＲ表示制御部１１８６は、位置検出部１１８４の検出結果に基づき、ＡＲコンテンツの表示位置の調整の要否を判定するので、ＡＲコンテンツの表示位置を、適切な精度で制御できる。
また、頭部装着型表示装置１１００では、カメラ１０６１と制御部１１４０とを有線接続し、カメラ１０６１の撮像画像を制御部に伝送するカメラ接続部１０６１ａを含む接続部を備え、接続部はカメラ１０６１とフレーム１００２とを連結する連結部に沿って配置される。このため、カメラ１０６１が撮影する画像をより確実に制御部に伝送できる。
また、頭部装着型表示装置１１００において、カメラ１０６１の撮像画像を制御部に無線伝送する無線伝送部を備える構成としてもよく、この場合、カメラ１０６１を、より高い自由度で変位させることができる。
また、頭部装着型表示装置１１００において、カメラ１０６１の撮像画像を制御部に無線伝送する無線伝送部を備える構成としてもよく、この場合、カメラ１０６１を、より高い自由度で変位させることができる。
第３実施形態ではロータリーエンコーダー等、ヒンジ１０２１Ａ、１０２３Ａに設けられる第１回動センサー１０７１及び第２回動センサー１０７２により、カメラユニット１００３の回動、またはカメラユニット１００３とフレーム１００２の相対位置を検出した。本発明はこれに限定されず、その他の方法によりフレーム１００２とカメラユニット１００３との相対位置を求めることが可能である。具体的な例を、第４実施形態及び第５実施形態として説明する。
［第４実施形態］
図２２は、第４実施形態に係る頭部装着型表示装置１１００Ｂを構成する各部の機能ブロック図である。
第４実施形態の頭部装着型表示装置１１００Ｂは、画像表示部１０２０に代えて、画像表示部１０２０Ｂを有する。画像表示部１０２０Ｂは、画像表示部１０２０の第１回動センサー１０７１及び第２回動センサー１０７２を排し、代わりに距離センサー１０７４を設けた構成であり、その他の各部は共通の構成である。頭部装着型表示装置１１００Ｂにおいて、第３実施形態の頭部装着型表示装置１１００と共通する構成部については、同符号を付して図示及び説明を省略する。
図２２は、第４実施形態に係る頭部装着型表示装置１１００Ｂを構成する各部の機能ブロック図である。
第４実施形態の頭部装着型表示装置１１００Ｂは、画像表示部１０２０に代えて、画像表示部１０２０Ｂを有する。画像表示部１０２０Ｂは、画像表示部１０２０の第１回動センサー１０７１及び第２回動センサー１０７２を排し、代わりに距離センサー１０７４を設けた構成であり、その他の各部は共通の構成である。頭部装着型表示装置１１００Ｂにおいて、第３実施形態の頭部装着型表示装置１１００と共通する構成部については、同符号を付して図示及び説明を省略する。
図２３は第４実施形態の頭部装着型表示装置１１００Ｂの概略構成を示す説明図であり、頭部装着型表示装置１１００Ｂを側面視で示す。
距離センサー１０７４（検出部）は、フレーム１００２のテンプル部１００２Ｅに、カメラユニット１００３のアーム部１００３Ｂ側を向けて配置される。距離センサー１０７４は光波測距儀であり、具体的には、ＬＥＤやレーザー光源等の光源と、受光素子と、プリズム等の光学素子を有する。距離センサー１０７４は、光源が発する光をアーム部１００３Ｂの底面に向けて射出し、その反射光１０７４Ａを検出する。距離センサー１０７４は、光を射出してから反射光１０７４Ａを受光するまでの振動数や位相差に基づき、テンプル部１００２Ｅからアーム部１００３Ｂまでの距離を検出する。制御部１１４０が有する位置検出部１１８４は、距離センサー１０７４の距離の検出値を取得し、この距離から、ヒンジ１０２３Ａにおけるテンプル部１００２Ｅとアーム部１００３Ｂの角度を求める。
距離センサー１０７４（検出部）は、フレーム１００２のテンプル部１００２Ｅに、カメラユニット１００３のアーム部１００３Ｂ側を向けて配置される。距離センサー１０７４は光波測距儀であり、具体的には、ＬＥＤやレーザー光源等の光源と、受光素子と、プリズム等の光学素子を有する。距離センサー１０７４は、光源が発する光をアーム部１００３Ｂの底面に向けて射出し、その反射光１０７４Ａを検出する。距離センサー１０７４は、光を射出してから反射光１０７４Ａを受光するまでの振動数や位相差に基づき、テンプル部１００２Ｅからアーム部１００３Ｂまでの距離を検出する。制御部１１４０が有する位置検出部１１８４は、距離センサー１０７４の距離の検出値を取得し、この距離から、ヒンジ１０２３Ａにおけるテンプル部１００２Ｅとアーム部１００３Ｂの角度を求める。
ヒンジ１０２１Ａ、１０２３Ａはいずれも一方向の回動のみ可能な、自由度の低い連結部であるから、距離センサー１０７４は、ヒンジ１０２１Ａ又はヒンジ１０２３Ａのいずれか一方にのみ設ければよい。図２３の例ではヒンジ１０２３Ａの近傍に配置したが、ヒンジ１０２１Ａ側に設けてもよい。また、アーム部１００３Ｂの底面に、距離センサー１０７４が発する光を反射する反射板を設けてもよく、距離センサー１０７４をアーム部１００３Ｂに設け、アーム部１００３Ｂからテンプル部１００２Ｅに向けて光を発し、その反射光を検出してもよい。さらに、距離センサー１０７４を、右部１００２Ａ、左部１００２Ｂ或いはブリッジ部１００２Ｃ（図１７）に設けてもよい。カメラユニット１００３を動かした場合に、距離センサー１０７４とカメラユニット１００３との距離、または距離センサー１０７４とフレーム１００２との距離が変化するように、距離センサー１０７４を配置すればよい。
第４実施形態の頭部装着型表示装置１１００Ｂは、上記第３実施形態の頭部装着型表示装置１１００と同様に、図２１で説明した動作を実行する。この場合、図２１のステップＳＴ１２で、位置検出部１１８４は距離センサー１０７４の検出値を取得し、ヒンジ１０２１Ａ、１０２３Ａにおける角度、またはカメラユニット１００３の回動量を求める。また、図２１のステップＳＴ２０の位置検出処理においても、位置検出部１１８４は、距離センサー１０７４の検出値に基づきヒンジ１０２１Ａ、１０２３Ａにおける角度、またはカメラユニット１００３の回動量を求める。
このように、カメラ１０６１を、フレーム１００２に対して変位可能に連結した構成では、ヒンジ１０２１Ａ、１０２３Ａに第１回動センサー１０７１及び第２回動センサー１０７２を設けることで、カメラ１０６１の位置に対応した表示位置の補正等を行える。また、距離センサー１０７４を用いてカメラユニット１００３の一部と、このカメラユニット１００３の一部に対向するフレーム１００２の一部との距離を測定、或いは検出する構成としても、カメラ１０６１の位置に対応した表示位置の補正等を行える。
［第５実施形態］
図２４は、第５実施形態に係る頭部装着型表示装置１１００Ｃを構成する各部の機能ブロック図である。
第５実施形態の頭部装着型表示装置１１００Ｃは、画像表示部１０２０に代えて、画像表示部１０２０Ｃを有する。頭部装着型表示装置１１００Ｃにおいて、第３実施形態の頭部装着型表示装置１１００と共通する構成部については、同符号を付して図示及び説明を省略する。
図２４は、第５実施形態に係る頭部装着型表示装置１１００Ｃを構成する各部の機能ブロック図である。
第５実施形態の頭部装着型表示装置１１００Ｃは、画像表示部１０２０に代えて、画像表示部１０２０Ｃを有する。頭部装着型表示装置１１００Ｃにおいて、第３実施形態の頭部装着型表示装置１１００と共通する構成部については、同符号を付して図示及び説明を省略する。
図２５は第５実施形態の頭部装着型表示装置１１００Ｃの装着状態を示す図であり、（Ａ）、（Ｃ）は側面図、（Ｂ）及び（Ｄ）は平面図である。
画像表示部１０２０Ｃは、フレーム１００２を有する画像表示部１０２０に対し、カメラ１０６２を、フレキシブルアーム１０３６（連結部）により連結した構成である。フレキシブルアーム１０３６は、自在に屈曲させることが可能な、金属製または合成樹脂製のアームであり、フレキシブルアーム１０３６の基端部はテンプル部１００２Ｅに固定される。また、フレキシブルアーム１０３６の先端部には、カメラ１０６２を収容したカメラケース１０３５が取り付けられる。
画像表示部１０２０Ｃは、フレーム１００２を有する画像表示部１０２０に対し、カメラ１０６２を、フレキシブルアーム１０３６（連結部）により連結した構成である。フレキシブルアーム１０３６は、自在に屈曲させることが可能な、金属製または合成樹脂製のアームであり、フレキシブルアーム１０３６の基端部はテンプル部１００２Ｅに固定される。また、フレキシブルアーム１０３６の先端部には、カメラ１０６２を収容したカメラケース１０３５が取り付けられる。
例えば図２５（Ａ）及び（Ｂ）に示すように、カメラ１０６２を、フレーム１００２に近い位置に配置し、カメラ１０６２の撮像範囲と画像表示部１０２０Ｃを装着した使用者の視野とが近い範囲となるように使用できる。また、図２５（Ｃ）に示すように、画像表示部１０２０Ｃは、カメラケース１０３５を上方に移動させて使用することもできる。この場合、例えば図２５（Ｄ）に示すように、カメラケース１０３５を、使用者に対し左右方向に移動させてもよい。図２５（Ｄ）の例では、カメラケース１０３５がテンプル部１００２Ｄ及びテンプル部１００２Ｅの内側にある。この位置では、カメラ１０６２の撮像範囲は、使用者の右眼の視野及び左眼の視野の両方に跨がるようになる。
図２４に示すように、頭部装着型表示装置１１００Ｃは、画像表示部１０２０Ｃにおいてフレーム側センサー１０７６、及びカメラユニットセンサー１０７８を備える。
フレーム側センサー１０７６及びカメラユニットセンサー１０７８は、動きセンサー（モーションセンサー）であり、例えば、加速度センサーや角速度（ジャイロ）センサーである。フレキシブルアーム１０３６は、カメラケース１０３５を３次元的に移動させることが可能であるため、フレーム側センサー１０７６及びカメラユニットセンサー１０７８は、３軸センサーであることが好ましい。また、フレーム側センサー１０７６及びカメラユニットセンサー１０７８は、３軸の加速度センサーと、３軸のジャイロセンサーとを有する構成など、複合的なセンサーとしてもよい。また、磁気センサー等を合わせて備えてもよい。
フレーム側センサー１０７６及びカメラユニットセンサー１０７８は、動きセンサー（モーションセンサー）であり、例えば、加速度センサーや角速度（ジャイロ）センサーである。フレキシブルアーム１０３６は、カメラケース１０３５を３次元的に移動させることが可能であるため、フレーム側センサー１０７６及びカメラユニットセンサー１０７８は、３軸センサーであることが好ましい。また、フレーム側センサー１０７６及びカメラユニットセンサー１０７８は、３軸の加速度センサーと、３軸のジャイロセンサーとを有する構成など、複合的なセンサーとしてもよい。また、磁気センサー等を合わせて備えてもよい。
フレーム側センサー１０７６は、フレーム１００２に設けられ、フレーム１００２の動きに関して検出値を出力する。フレーム側センサー１０７６はフレーム１００２に固定されればよく、フレーム１００２におけるフレーム側センサー１０７６の位置は制限されない。フレーム１００２が、変位可能な部分を有する場合には、フレキシブルアーム１０３６とともに変位する部分にフレーム側センサー１０７６を設けるとよい。例えば、フレーム１００２において、テンプル部１００２Ｅが左部１００２Ｂに対し回動可能な構成である場合、フレーム側センサー１０７６は、フレキシブルアーム１０３６が固定されるテンプル部１００２Ｅに設けることが好ましい。つまり、フレーム側センサー１０７６は、フレキシブルアーム１０３６に対し相対位置が固定されるように、配置されることが好ましい。
カメラユニットセンサー１０７８は、カメラケース１０３５に設けられ、カメラ１０６２の動きに関して検出値を出力する。カメラユニットセンサー１０７８は、カメラ１０６２に対して相対位置が固定されるように、カメラケース１０３５に取り付けられ、或いは内蔵される。
カメラ１０６２及びカメラユニットセンサー１０７８は、カメラ接続部１０６２ａによりインターフェイス１０２５に接続される。カメラ接続部１０６２ａは、例えば、フレキシブルアーム１０３６の内部の中空部を通し、或いはフレキシブルアーム１０３６の外面に沿って配設されるケーブルである。カメラ接続部１０６２ａは、フレーム１００２の内部に配設されるインターフェイス１０２５に有線接続される。カメラ接続部１０６２ａは、接続部１０４０及びインターフェイス１０２５とともに、カメラ１０６２を制御部１１４０に接続する接続部を構成する。
なお、カメラ接続部１０６２ａを無線通信回線に置き換えることも可能である。この場合、カメラ１０６２及びカメラユニットセンサー１０７８に接続する無線通信部をカメラケース１０３５内部に設け、フレーム１００２に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データ等をＷｉＦｉ等の無線で送受信する構成としてもよい。また、カメラケース１０３５内の無線通信部が通信部１１１７と通信を行ってもよい。
なお、カメラ接続部１０６２ａを無線通信回線に置き換えることも可能である。この場合、カメラ１０６２及びカメラユニットセンサー１０７８に接続する無線通信部をカメラケース１０３５内部に設け、フレーム１００２に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データ等をＷｉＦｉ等の無線で送受信する構成としてもよい。また、カメラケース１０３５内の無線通信部が通信部１１１７と通信を行ってもよい。
カメラ１０６２（撮像部）は、カメラ１０６１と同様に、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。カメラ１０６２は、図２５（Ａ）及び（Ｂ）に示す基準位置で、頭部装着型表示装置１１００の表側方向、換言すれば、画像表示部１０２０を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ１０６２の撮像範囲の広さは適宜設定可能であるが、例えば基準位置において、カメラ１０６１の撮像範囲が、使用者が右光学像表示部１０２６、左光学像表示部１０２８を通して視認する外界を含むことが好ましい。さらに、調光板１０２０Ａを通した使用者の視界の全体を撮像できるようにカメラ１０６２の撮像範囲が設定されているとより好ましい。カメラ１０６２は、制御部１１４０が備える撮像処理部１１８１の制御に従って撮像を実行し、撮像画像データを撮像処理部１１８１に出力する。
制御部１１４０が有する位置検出部１１８４は、カメラユニットセンサー１０７８の検出値に基づき、カメラケース１０３５の動きを検出する。このカメラケース１０３５の動きを３次元的に積算することで、カメラ１０６２が基準位置から変位した変位量及び変位方向を求めることができる。そして、位置検出部１１８４は、カメラ１０６２の位置とカメラ１０６２の撮像方向とを求めることができる。
ここで、カメラユニットセンサー１０７８が検出する動きは、画像表示部１０２０Ｃの全体の動きの成分を含む。そこで、位置検出部１１８４は、フレーム側センサー１０７６の検出値に基づき、画像表示部１０２０Ｃの動きを検出し、この画像表示部１０２０Ｃの動きと、カメラユニットセンサー１０７８が検出するカメラケース１０３５の動きとの差分を求める。この差分は、フレーム１００２に対するカメラケース１０３５の変位に相当する。このように位置検出部１１８４は、画像表示部１０２０Ｃ全体の変位の影響を排して、フレーム１００２に対するカメラ１０６２の相対的な変位を検出できる。
なお、画像表示部１０２０Ｃを装着した使用者が、カメラケース１０３５を動かす間に、フレーム１００２、及び、フレーム１００２を装着した頭部を動かさないようにすれば、カメラユニットセンサー１０７８の検出値に基づきカメラ１０６２の変位を正確に検出できる。
なお、画像表示部１０２０Ｃを装着した使用者が、カメラケース１０３５を動かす間に、フレーム１００２、及び、フレーム１００２を装着した頭部を動かさないようにすれば、カメラユニットセンサー１０７８の検出値に基づきカメラ１０６２の変位を正確に検出できる。
第５実施形態の頭部装着型表示装置１００Ｃは、上記第３実施形態の頭部装着型表示装置１１００と同様に、図２１で説明した動作を実行する。
この場合、位置検出部１１８４は、フレーム側センサー１０７６及びカメラユニットセンサー１０７８の検出値を常時取得する。位置検出部１１８４が検出値の取得を開始する時点で、カメラケース１０３５は、図２５（Ａ）及び（Ｂ）に示す基準位置、またはその他の基準位置にあることが望ましい。このため、頭部装着型表示装置１１００Ｃは、位置検出部１１８４が検出値の取得を開始する前に、カメラケース１０３５を基準位置に配置させるように、報知や案内を行ってもよい。
この場合、位置検出部１１８４は、フレーム側センサー１０７６及びカメラユニットセンサー１０７８の検出値を常時取得する。位置検出部１１８４が検出値の取得を開始する時点で、カメラケース１０３５は、図２５（Ａ）及び（Ｂ）に示す基準位置、またはその他の基準位置にあることが望ましい。このため、頭部装着型表示装置１１００Ｃは、位置検出部１１８４が検出値の取得を開始する前に、カメラケース１０３５を基準位置に配置させるように、報知や案内を行ってもよい。
位置検出部１１８４は、位置検出部１１８４はフレーム側センサー１０７６及びカメラユニットセンサー１０７８の検出値を常時取得し、フレーム１００２に対するカメラケース１０３５の位置を求める。位置検出部１１８４は、フレーム１００２に対するカメラケース１０３５の位置は正常範囲を逸脱したか否かを、常時判定できる。そして、正常範囲を逸脱した場合は、図２１のステップＳＴ１４と同様に報知を行うことができる。
また、ＡＲ表示制御部１１８６は、図２１のステップＳＴ２１において、位置検出部１１８４が常時検出するカメラケース１０３５の位置に基づき、位置補正を行うか否かを判定すればよい。
このように、カメラ１０６２を、フレーム１００２に対してフレキシブルアーム１０３６により自在に変位可能に連結した構成としても、フレーム１００２に対するカメラ１０６２の相対的な変位を検出し、検出した変位量や変位の方向に合わせて表示位置の補正等を行える。
［第６実施形態］
図２６は、第６実施形態に係る頭部装着型表示装置１１００Ｄの外観構成を示す説明図である。
本第６実施形態の頭部装着型表示装置１１００Ｄは、上記第３実施形態の頭部装着型表示装置１１００が備える画像表示部１０２０を、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部１０２０Ｄ（表示部）に代えた構成である。画像表示部１０２０Ｄには、上記第３〜第５の各実施形態で説明した制御装置１０１０が接続される。
図２６は、第６実施形態に係る頭部装着型表示装置１１００Ｄの外観構成を示す説明図である。
本第６実施形態の頭部装着型表示装置１１００Ｄは、上記第３実施形態の頭部装着型表示装置１１００が備える画像表示部１０２０を、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部１０２０Ｄ（表示部）に代えた構成である。画像表示部１０２０Ｄには、上記第３〜第５の各実施形態で説明した制御装置１０１０が接続される。
画像表示部１０２０Ｄは、フレーム１００２にカメラユニット１００４を設けた構成である。カメラユニット１００４は、カメラユニット１００３と同様に、フレーム１００２にヒンジ１０２１Ａ、１０２３Ａを介して回動可能に連結され、フレーム１００２に対して上下に回動可能であり、回動範囲の下端位置でフレーム１００２に接する。
カメラユニット１００４は、アーム部１００３Ａ、１００３Ｂに相当するアーム部１００４Ａ、１００４Ｂを備える。アーム部１００４Ａ、１００４Ｂは、使用者の側頭部に位置して、ヒンジ１０２１Ａ、１０２３Ａによりフレーム１００２に連結される。
カメラユニット１００４は、アーム部１００３Ａ、１００３Ｂに相当するアーム部１００４Ａ、１００４Ｂを備える。アーム部１００４Ａ、１００４Ｂは、使用者の側頭部に位置して、ヒンジ１０２１Ａ、１０２３Ａによりフレーム１００２に連結される。
カメラ台座部１００４Ｃは、右部１００２Ａ、左部１００２Ｂ及びブリッジ部１００２Ｃの上部に跨がって位置する板状または棒状部材であり、ブリッジ部１００２Ｃの上に相当する位置に、カメラ１０６４が埋込設置される。
カメラ１０６４（撮像部）は、カメラ１０６１と同様にＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ１０６４は球形状のケースを有する。カメラ台座部１００４Ｃの中央に形成されたカメラジョイント部１００４Ｄに埋め込まれる。カメラジョイント部１００４Ｄは球形の凹部を有し、カメラ１０６４のケースは、カメラジョイント部１００４Ｄにボールジョイントにより結合される。このため、カメラ１０６４は、頭部装着型表示装置１１００Ｄの装着状態において上下及び左右を含む任意の方向に回動可能である。カメラジョイント部１００４Ｄにおいてカメラ１０６４を回動させる範囲は制限されており、例えば、カメラ１０６４のケースに露出する撮像レンズが、カメラジョイント部１００４Ｄの凹部に入り込まない範囲で、回動可能である。
カメラ１０６４は球形状のケースを有する。カメラ台座部１００４Ｃの中央に形成されたカメラジョイント部１００４Ｄに埋め込まれる。カメラジョイント部１００４Ｄは球形の凹部を有し、カメラ１０６４のケースは、カメラジョイント部１００４Ｄにボールジョイントにより結合される。このため、カメラ１０６４は、頭部装着型表示装置１１００Ｄの装着状態において上下及び左右を含む任意の方向に回動可能である。カメラジョイント部１００４Ｄにおいてカメラ１０６４を回動させる範囲は制限されており、例えば、カメラ１０６４のケースに露出する撮像レンズが、カメラジョイント部１００４Ｄの凹部に入り込まない範囲で、回動可能である。
カメラ１０６４は、使用者が画像表示部１０２０を透過して外景を視認する場合の視線方向に、カメラ１０６４の光軸が重なる或いは平行になる方向に向けることができる。この状態において、カメラ１０６４の撮像範囲は、カメラ１０６１と同様に、頭部装着型表示装置１１００の表側方向、換言すれば、画像表示部１０２０を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。また、カメラ１０６４の撮像範囲画角の広さは適宜設定可能であるが、例えばカメラユニット１００４の回動範囲の下端において、カメラ１０６４の撮像範囲が、使用者が右光学像表示部１０２６、左光学像表示部１０２８を通して視認する外界を含むことが好ましい。さらに、調光板１０２０Ａを通した使用者の視界の全体を撮像できるようにカメラ１０６４の撮像範囲が設定されているとより好ましい。
また、カメラ１０６４は、魚眼レンズ等の広角レンズであってもよく、具体的には、カメラジョイント部１００４Ｄにおいて、カメラ１０６４が回動可能な範囲の端にある状態で、カメラ１０６４の撮像範囲に使用者の視線方向が含まれるようにしてもよい。
カメラ１０６４は、制御部１１４０が備える撮像処理部１１８１（図２７）の制御に従って撮像を実行し、撮像画像データを撮像処理部１１８１に出力する。
カメラ１０６４は、制御部１１４０が備える撮像処理部１１８１（図２７）の制御に従って撮像を実行し、撮像画像データを撮像処理部１１８１に出力する。
図２７は、頭部装着型表示装置１１００Ｄを構成する各部の機能ブロック図である。
頭部装着型表示装置１１００Ｄにおいて、制御装置１０１０が備える制御部１１４０には、カメラ１０６４と、カメラ方向センサー１０７３とが接続される。カメラ方向センサー１０７３は、図２６に示したカメラジョイント部１００４Ｄの内部、或いは、カメラ台座部１００４Ｃ内部においてカメラジョイント部１００４Ｄに向けて設けられる。カメラ方向センサー１０７３は、カメラ１０６４の光軸方向、或いは、項軸方向の変化を検出して、検出値を制御部１１４０に出力する。カメラ方向センサー１０７３は、例えば、光センサーによりカメラ１０６４のケースの動きを光学的に検出し、或いは、磁気センサーを利用してカメラ１０６４のケースの動きを検出する構成とすることができる。また、カメラ１０６４のケースに導体を設け、カメラ方向センサー１０７３がカメラ１０６４のケースに接する電極を設け、カメラ方向センサー１０７３がカメラ１０６４のケースの動きを電気的に検出する構成としてもよい。
頭部装着型表示装置１１００Ｄにおいて、制御装置１０１０が備える制御部１１４０には、カメラ１０６４と、カメラ方向センサー１０７３とが接続される。カメラ方向センサー１０７３は、図２６に示したカメラジョイント部１００４Ｄの内部、或いは、カメラ台座部１００４Ｃ内部においてカメラジョイント部１００４Ｄに向けて設けられる。カメラ方向センサー１０７３は、カメラ１０６４の光軸方向、或いは、項軸方向の変化を検出して、検出値を制御部１１４０に出力する。カメラ方向センサー１０７３は、例えば、光センサーによりカメラ１０６４のケースの動きを光学的に検出し、或いは、磁気センサーを利用してカメラ１０６４のケースの動きを検出する構成とすることができる。また、カメラ１０６４のケースに導体を設け、カメラ方向センサー１０７３がカメラ１０６４のケースに接する電極を設け、カメラ方向センサー１０７３がカメラ１０６４のケースの動きを電気的に検出する構成としてもよい。
また、画像表示部１０２０Ｄは、第３実施形態の画像表示部１０２０と同様に第１回動センサー１０７１及び第２回動センサー１０７２を備える。位置検出部１１８４は、第１回動センサー１０７１及び第２回動センサー１０７２の検出値により、ヒンジ１０２１Ａ、１０２３Ａにおける回動量またはフレーム１００２とカメラユニット１００４とがなす角度を検出する。位置検出部１１８４は、カメラ方向センサー１０７３の検出値に基づき、カメラ１０６４の光軸の方向を検出する。そして、制御部１１４０は、図２１に示す動作を実行して、ＡＲコンテンツの表示位置を補正する。
カメラ１０６４及びカメラ方向センサー１０７３は、カメラ接続部１０６４ａによりインターフェイス１０２５に接続される。カメラ接続部１０６４ａは、例えば、カメラ台座部１００４Ｃ、及び、アーム部１００４Ａまたはアーム部１００４Ｂの内部を通り、或いは外側に沿って配設されるケーブルである。カメラ接続部１０６４ａは、フレーム１００２の内部に配設されるインターフェイス１０２５に有線接続される。カメラ接続部１０６４ａは、接続部１０４０及びインターフェイス１０２５とともに、カメラ１０６４を制御部１１４０に接続する接続部を構成する。
なお、カメラ接続部１０６４ａを無線通信回線に置き換えることも可能である。この場合、カメラ１０６４側に、カメラ１０６４及びカメラ方向センサー１０７３に繋がる無線通信部を設け、フレーム１００２に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データをＷｉＦｉ等の無線で送受信する構成としてもよい。また、カメラ１０６４側の無線通信部が通信部１１１７と通信を行ってもよい。
なお、カメラ接続部１０６４ａを無線通信回線に置き換えることも可能である。この場合、カメラ１０６４側に、カメラ１０６４及びカメラ方向センサー１０７３に繋がる無線通信部を設け、フレーム１００２に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データをＷｉＦｉ等の無線で送受信する構成としてもよい。また、カメラ１０６４側の無線通信部が通信部１１１７と通信を行ってもよい。
第６実施形態の頭部装着型表示装置１１００Ｄによれば、カメラ１０６４の光軸を、上下左右を含む方向に自在に向けることができ、このカメラ１０６４を指示するカメラ台座部１００４Ｃが上下に回動することと合わせて、カメラ１０６４の撮像方向を特定できる。このため、使用者の視線方向と、カメラ１０６４の光軸方向と、ＡＲコンテンツの表示位置との相対的な関係に基づき、ＡＲコンテンツの表示位置を正確に補正できる。従って、図２６及び図２７に示す構成においても、上記第３〜第５実施形態で得られる効果を得ることが可能である。さらに、カメラ１０６４の光軸を変位させる範囲が広いため、使用者が直視できない範囲をカメラ１０６４で撮像できるという利点がある。
［第７実施形態］
図２８は、本発明を適用した第７実施形態の頭部装着型表示装置１１００Ｅの外観構成を示す説明図である。
第７実施形態の頭部装着型表示装置１１００Ｅは、上記第３実施形態の頭部装着型表示装置１１００が備える画像表示部１０２０を、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部１０２０Ｅ（表示部）に代えた構成である。画像表示部１０２０Ｅには、上記第３〜第６の各実施形態で説明した制御装置１０１０が接続される。
図２８は、本発明を適用した第７実施形態の頭部装着型表示装置１１００Ｅの外観構成を示す説明図である。
第７実施形態の頭部装着型表示装置１１００Ｅは、上記第３実施形態の頭部装着型表示装置１１００が備える画像表示部１０２０を、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部１０２０Ｅ（表示部）に代えた構成である。画像表示部１０２０Ｅには、上記第３〜第６の各実施形態で説明した制御装置１０１０が接続される。
画像表示部１０２０Ｅは、使用者の頭部に装着される装着体であり、使用者の頭部に装着され固定される頭部保持ユニット１００５と、頭部保持ユニット１００５に連結された表示部フレーム１００６をとを有し、全体として眼鏡形状を有する。
頭部保持ユニット１００５は使用者の頭部に固定され、表示部フレーム１００６は、頭部保持ユニット１００５に対して回動可能に連結される。頭部保持ユニット１００５は後述するカメラ１０６５（撮像部）を有し、表示部フレーム１００６は、画像を表示する構成部を備える。
頭部保持ユニット１００５は使用者の頭部に固定され、表示部フレーム１００６は、頭部保持ユニット１００５に対して回動可能に連結される。頭部保持ユニット１００５は後述するカメラ１０６５（撮像部）を有し、表示部フレーム１００６は、画像を表示する構成部を備える。
頭部保持ユニット１００５は、使用者の顔の前に位置するカメラ台座部１００５Ａと、カメラ台座部１００５Ａに繋がるバンド部１００５Ｂとを有する。バンド部１００５Ｂは、使用者の側頭部から後頭部にかけて接するベルト状の部材であり、頭部保持ユニット１００５を使用者の頭部に支持する。
頭部保持ユニット１００５はヒンジ部１００５Ｆ、１００５Ｇを有し、ヒンジ部１００５Ｆ、１００５Ｇにより表示部フレーム１００６が回動可能に連結される。
表示部フレーム１００６には、右表示駆動部１０２２と、左表示駆動部１０２４と、右光学像表示部１０２６と、左光学像表示部１０２８と、マイク１０６３とが設けられる。
表示部フレーム１００６には、右表示駆動部１０２２と、左表示駆動部１０２４と、右光学像表示部１０２６と、左光学像表示部１０２８と、マイク１０６３とが設けられる。
表示部フレーム１００６は、使用者の右眼の前と左眼の前に跨がって位置する表示部１００６Ａを有する。表示部１００６Ａの左右両端には、使用者が画像表示部１０２０Ｅを装着した際の使用者の側頭部に対応する位置にかけて延伸されたアーム部１００６Ｄ、１００６Ｅが接続される。アーム部１００６Ｄ、１００６Ｅは、それぞれ、ヒンジ部１００５Ｆ、１００５Ｇにより、頭部保持ユニット１００５に回動可能に連結される。これにより、表示部フレーム１００６は、図中矢印Ｋ´で示すように、表示部１００６Ａを上下に動かす方向に回動可能である。
表示部１００６Ａには、使用者の右眼の前に右光学像表示部１０２６が配置され、使用者の左眼の前に左光学像表示部１０２８が配置される。これら右光学像表示部１０２６及び左光学像表示部１０２８は、表示部フレーム１００６に設けられる右表示駆動部１０２２、左表示駆動部１０２４、ＬＣＤ１２４１，１２４２Ｅ、及び、投写光学系１２５１，１２５２とともに、画像を表示する。
ヒンジ部１００５Ｆには、後述する第３回動センサー１０７１Ａ（図２８）が設けられ、ヒンジ部１００５Ｇには後述する第４回動センサー１０７２Ａ（図１９）が設けられる。第３回動センサー１０７１Ａ及び第４回動センサー１０７２Ａは、検出部として機能し、ヒンジ部１００５Ｆ、１００５Ｇの回動位置、または、回動の動作を検出する。第３回動センサー１０７１Ａ及び第４回動センサー１０７２Ａは、例えば、ロータリーエンコーダーで構成することもできる。詳細には、発光部と受光部とを有する光センサーとヒンジ部１００５Ｆ、１００５Ｇを中心とする回動に伴い動作する遮光板とを備え、遮光板に設けられるスリットを透過する光を検出する構成が挙げられる。この場合、第３回動センサー１０７１Ａは、ヒンジ部１００５Ｆにおける頭部保持ユニット１００５とアーム部１００６Ｄとの角度が拡大する動作、及び、角度が縮小する動作を検出し、動作量をカウント可能である。また、第４回動センサー１０７２Ａは、ヒンジ部１００５Ｇに関して同様に検出を行う。また、第３回動センサー１０７１Ａ及び第４回動センサー１０７２Ａは、可変抵抗器や磁気センサーを用い、ヒンジ部１００５Ｆにおける頭部保持ユニット１００５とアーム部１００６Ｄとの角度、及び、ヒンジ部１００５Ｇにおける頭部保持ユニット１００５とアーム部１００６Ｅとの角度を、それぞれ検出してもよい。本実施形態では第３回動センサー１０７１Ａ及び第４回動センサー１０７２Ａは光学的に検出を行うロータリーエンコーダーとする。第３回動センサー１０７１Ａは、ヒンジ部１００５Ｆで頭部保持ユニット１００５にアーム部１００６Ｄが回動すると、所定角度回動する毎にパルスを出力する。第４回動センサー１０７２Ａは、ヒンジ部１００５Ｇで頭部保持ユニット１００５に対しアーム部１００６Ｅが回動すると、所定角度回動する毎にパルスを出力する。第３回動センサー１０７１Ａ、第４回動センサー１０７２Ａは、回動方向を示す信号を出力してもよい。
画像表示部１０２０Ｅは接続部１０４０Ｅを介して制御装置１０１０に接続される。接続部１０４０Ｅは、接続部１０４０（図１７）と同様に、制御データ、映像データ、音声データ等を伝送するケーブルで構成される。接続部１０４０Ｅは、頭部保持ユニット１００５に接続される右コード１０４２Ｅ、及び左コード１０４４Ｅを有する。右コード１０４２Ｅ、及び左コード１０４４Ｅは、頭部保持ユニット１００５に接続された上で、頭部保持ユニット１００５の内部を通って表示部フレーム１００６の内部に達する。これにより、頭部保持ユニット１００５が備える各部と表示部フレーム１００６が備える各部とが、制御装置１０１０に接続される。
この構成により、画像表示部１０２０Ｅは、制御装置１０１０の制御に従って、表示部フレーム１００６により画像を表示して使用者に視認させることができる。また、画像表示部１０２０Ｅは外景を透過して視認可能なシースルー表示部である。
さらに、表示部フレーム１００６は、例えば使用者が手で表示部１００６Ａを押し下げることで、下方に回動できる。このため、使用者は、表示部１００６Ａを下方に移動させて、外景を直接視認することもできる。また、上記のように、表示部１００６Ａを眼前に位置させて、画像表示部１０２０Ｅの表示画像を見ることもできる。
さらに、表示部フレーム１００６は、例えば使用者が手で表示部１００６Ａを押し下げることで、下方に回動できる。このため、使用者は、表示部１００６Ａを下方に移動させて、外景を直接視認することもできる。また、上記のように、表示部１００６Ａを眼前に位置させて、画像表示部１０２０Ｅの表示画像を見ることもできる。
カメラ１０６５は、カメラ１０６１と同様にＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。カメラ１０６５は球形状のケースを有する。カメラ台座部１００５Ａの中央に形成されたカメラジョイント部１００５Ｃに埋め込まれる。カメラジョイント部１００５Ｃは球形の凹部を有し、カメラ１０６５のケースは、カメラジョイント部１００５Ｃにボールジョイントにより結合される。このため、カメラ１０６５は、頭部装着型表示装置１１００Ｅの装着状態において上下及び左右を含む任意の方向に回動可能である。カメラジョイント部１００５Ｃにおいてカメラ１０６５を回動させる範囲は制限されており、例えば、カメラ１０６５のケースに露出する撮像レンズが、カメラジョイント部１００５Ｃの凹部に入り込まない範囲で、回動可能である。
カメラ１０６５は、使用者が画像表示部１０２０を透過して外景を視認する場合の視線方向に、カメラ１０６５の光軸が重なる或いは平行になる方向に向けることができる。この状態において、カメラ１０６５の撮像範囲は、カメラ１０６１と同様に、頭部装着型表示装置１１００の表側方向、換言すれば、画像表示部１０２０を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。また、カメラ１０６５の撮像範囲画角の広さは適宜設定可能であるが、例えばカメラユニット１００４の回動範囲の下端において、カメラ１０６５の撮像範囲が、使用者が右光学像表示部１０２６、左光学像表示部１０２８を通して視認する外界を含むことが好ましい。さらに、調光板１０２０Ａを通した使用者の視界の全体を撮像できるようにカメラ１０６５の撮像範囲が設定されているとより好ましい。
また、カメラ１０６５は、魚眼レンズ等の広角レンズであってもよく、具体的には、カメラジョイント部１００５Ｃにおいて、カメラ１０６５が回動可能な範囲の端にある状態で、カメラ１０６５の撮像範囲に使用者の視線方向が含まれるようにしてもよい。
カメラ１０６５は、制御部１１４０が備える撮像処理部１１８１（図２９）の制御に従って撮像を実行し、撮像画像データを撮像処理部１１８１に出力する。
カメラ１０６５は、制御部１１４０が備える撮像処理部１１８１（図２９）の制御に従って撮像を実行し、撮像画像データを撮像処理部１１８１に出力する。
図２９は、頭部装着型表示装置１１００Ｅを構成する各部の機能ブロック図である。
頭部装着型表示装置１１００Ｅにおいて、制御装置１０１０が備える制御部１１４０には、カメラ１０６５と、カメラ方向センサー１０７９とが接続される。カメラ方向センサー１０７９は、図２８に示したカメラジョイント部１００５Ｃの内部、或いは、カメラ台座部１００５Ａ内部においてカメラジョイント部１００５Ｃに向けて設けられる。カメラ方向センサー１０７９は、カメラ１０６５の光軸方向、或いは、項軸方向の変化を検出して、検出値を制御部１１４０に出力する。カメラ方向センサー１０７９は、例えば、光センサーによりカメラ１０６５のケースの動きを光学的に検出し、或いは、磁気センサーを利用してカメラ１０６５のケースの動きを検出する構成とすることができる。また、カメラ１０６５のケースに導体を設け、カメラ方向センサー１０７９がカメラ１０６５のケースに接する電極を設け、カメラ方向センサー１０７９がカメラ１０６５のケースの動きを電気的に検出する構成としてもよい。
頭部装着型表示装置１１００Ｅにおいて、制御装置１０１０が備える制御部１１４０には、カメラ１０６５と、カメラ方向センサー１０７９とが接続される。カメラ方向センサー１０７９は、図２８に示したカメラジョイント部１００５Ｃの内部、或いは、カメラ台座部１００５Ａ内部においてカメラジョイント部１００５Ｃに向けて設けられる。カメラ方向センサー１０７９は、カメラ１０６５の光軸方向、或いは、項軸方向の変化を検出して、検出値を制御部１１４０に出力する。カメラ方向センサー１０７９は、例えば、光センサーによりカメラ１０６５のケースの動きを光学的に検出し、或いは、磁気センサーを利用してカメラ１０６５のケースの動きを検出する構成とすることができる。また、カメラ１０６５のケースに導体を設け、カメラ方向センサー１０７９がカメラ１０６５のケースに接する電極を設け、カメラ方向センサー１０７９がカメラ１０６５のケースの動きを電気的に検出する構成としてもよい。
カメラ１０６５及びカメラ方向センサー１０７９は、カメラ接続部１０６１ａによりインターフェイス１０２５に接続される。カメラ接続部１０６１ａは、例えば、カメラ台座部１００４Ｃ、及び、アーム部１００６Ｄまたはアーム部１００６Ｅの内部を通り、或いは外側に沿って配設されるケーブルである。カメラ接続部１０６１ａは、表示部フレーム１００６の内部に配設されるインターフェイス１０２５に有線接続される。カメラ接続部１０６１ａは、接続部１０４０Ｅ及びインターフェイス１０２５とともに、カメラ１０６５を制御部１１４０に接続する接続部を構成する。
なお、カメラ接続部１０６１ａを無線通信回線に置き換えることも可能である。この場合、カメラ１０６５側に、カメラ１０６５及びカメラ方向センサー１０７９に繋がる無線通信部を設け、表示部フレーム１００６に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データをＷｉＦｉ等の無線で送受信する構成としてもよい。また、カメラ１０６５側の無線通信部が通信部１１１７と通信を行ってもよい。
なお、カメラ接続部１０６１ａを無線通信回線に置き換えることも可能である。この場合、カメラ１０６５側に、カメラ１０６５及びカメラ方向センサー１０７９に繋がる無線通信部を設け、表示部フレーム１００６に無線通信部を設け、これら無線通信部が撮影画像データ、センサー検出値のデータ、及び制御データをＷｉＦｉ等の無線で送受信する構成としてもよい。また、カメラ１０６５側の無線通信部が通信部１１１７と通信を行ってもよい。
また、画像表示部１０２０Ｄは、ヒンジ部１００５Ｆに設けられる第３回動センサー１０７１Ａと、ヒンジ部１００５Ｇに設けられる第４回動センサー１０７２Ａとを備える。位置検出部１１８４は、第３回動センサー１０７１Ａ及び第４回動センサー１０７２Ａの検出値により、ヒンジ部１００５Ｆ、１００５Ｇにおける回動量または頭部保持ユニット１００５とアーム部１００６Ｄ、１００６Ｅとがなす角度を検出する。位置検出部１１８４は、カメラ方向センサー１０７９の検出値に基づき、カメラ１０６５の光軸の方向を検出する。そして、制御部１１４０は、図２１に示す動作を実行して、ＡＲコンテンツの表示位置を補正する。
第７実施形態の頭部装着型表示装置１１００Ｅによれば、カメラ１０６５の光軸を、上下左右を含む方向に自在に向けることができ、このカメラ１０６５を指示するカメラ台座部１００５Ａが上下に回動することと合わせて、カメラ１０６５の撮像方向を特定できる。このため、使用者の視線方向と、カメラ１０６５の光軸方向と、ＡＲコンテンツの表示位置との相対的な関係に基づき、ＡＲコンテンツの表示位置を正確に補正できる。従って、図２８及び図２９に示す構成においても、上記第３〜第６実施形態で得られる効果を得ることが可能である。さらに、カメラ１０６５の光軸を変位させる範囲が広いため、使用者が直視できない範囲をカメラ１０６５で撮像できるという利点がある。
また、頭部装着型表示装置１１００Ｅでは、画像表示部１０２０Ｅの表示部フレーム１００６を下方に回動させて、使用者の眼に対する右光学像表示部１０２６及び左光学像表示部１０２８の位置を変位させることができる。このため、使用者は直接外景を見ることもできる。この構成において、位置検出部１１８４は、ヒンジ部１００５Ｆ、１００５Ｇにおける回動量や、頭部保持ユニット１００５に対し表示部フレーム１００６がなす角度を検出する。これにより、頭部保持ユニット１００５に対する表示部フレーム１００６の相対位置が変化しても、ＡＲコンテンツの表示位置を適切に調整できる。
これら第４〜第７実施形態に係る構成において、頭部装着型表示装置１１００Ｂ、１１００Ｃ、１１００Ｄ、１１００Ｅは、頭部装着型表示装置１１００と同様に、動き検出部１１８５によりヘッドトラッキングを実行できる。そして、ヘッドトラッキングの結果に基づき、第１実施形態で説明した図１０、図１１、及び図１３に示した処理を実行してもよい。
なお、上述した第３〜第７の各実施形態は、本発明の具体的な実施態様の一例を示すものに過ぎない。本発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記実施形態では、眼鏡型の外形を有するフレーム１００２を備えた画像表示部１０２０、１０２０Ｂ、１０２０Ｃについて説明したが、フレーム１００２を、帽子やヘルメット等の身体防護具に組み込んだ構成とすることも可能である。また、カメラユニット１００３を、フレーム１００２に一体に設ける構成としてもよい。また、カメラユニット１００３は、フレーム１００２に対して、ヒンジ１０２１Ａ、１０２３Ａ以外の部材で連結して、より高い自由度で可動な構成にしてもよい。
上記実施形態では、眼鏡型の外形を有するフレーム１００２を備えた画像表示部１０２０、１０２０Ｂ、１０２０Ｃについて説明したが、フレーム１００２を、帽子やヘルメット等の身体防護具に組み込んだ構成とすることも可能である。また、カメラユニット１００３を、フレーム１００２に一体に設ける構成としてもよい。また、カメラユニット１００３は、フレーム１００２に対して、ヒンジ１０２１Ａ、１０２３Ａ以外の部材で連結して、より高い自由度で可動な構成にしてもよい。
また、例えば、上記第３から第７実施形態では、検出部として、１または２の動きセンサーを用いて撮像部の相対位置、或いは、相対位置の変化を検出する例を示したが、３以上のセンサーを用いることも勿論可能である。
また、撮像部として一つのカメラ１０６１、１０６２を備えた構成を例示したが、複数の撮像部を設けてもよい。この場合、複数の撮像部は互いの相対位置が固定されていてもよいし、それぞれの撮像部が、フレーム１００２に対して独立して変位可能な構成であってもよい。また、フレーム１００２またはカメラユニット１００３の一箇所に、複数の撮像部を設けてもよい。また、フレーム１００２またはカメラユニット１００３の複数の箇所に、それぞれ複数の撮像部を設けてもよい。この場合、位置検出部１１８４は、事前の設定に従って、少なくともいずれか１以上の撮像部について変位または変位量を検出すればよい。ＡＲ表示制御部１１８６は、事前に選択された一方の撮像部の位置に対応して表示位置を補正してもよく、両方の撮像部の位置を平均或いは合成した結果に基づき、表示位置を補正しても良い。
また、撮像部として一つのカメラ１０６１、１０６２を備えた構成を例示したが、複数の撮像部を設けてもよい。この場合、複数の撮像部は互いの相対位置が固定されていてもよいし、それぞれの撮像部が、フレーム１００２に対して独立して変位可能な構成であってもよい。また、フレーム１００２またはカメラユニット１００３の一箇所に、複数の撮像部を設けてもよい。また、フレーム１００２またはカメラユニット１００３の複数の箇所に、それぞれ複数の撮像部を設けてもよい。この場合、位置検出部１１８４は、事前の設定に従って、少なくともいずれか１以上の撮像部について変位または変位量を検出すればよい。ＡＲ表示制御部１１８６は、事前に選択された一方の撮像部の位置に対応して表示位置を補正してもよく、両方の撮像部の位置を平均或いは合成した結果に基づき、表示位置を補正しても良い。
さらに、上記各実施形態では、頭部装着型表示装置１１００、１１００Ｂ、１１００Ｃは、画像表示部１０２０、１０２０Ｂ、１０２０Ｃと制御装置１０１０とが分離され、接続部１０４０を介して接続された構成として説明した。本発明はこれに限定されず、制御装置１０１０を、画像表示部１０２０、１０２０Ｂ、１０２０Ｃと一体に構成してもよい。また、頭部装着型表示装置１１００、１１００Ｂ、１１００Ｃは、少なくとも、表示を行う画像表示部１０２０、１０２０Ｂ、１０２０Ｃが、使用者（作業者、指令者）の頭部に装着される装置であればよい。制御装置１０１０の装着状態は限定されない。このため、制御装置１０１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０１０が画像表示部１０２０、１０２０Ｂ、１０２０Ｃと分離して構成され、制御装置１０１０と画像表示部１０２０、１０２０Ｂ、１０２０Ｃとの間で無線通信により各種信号を送受信する構成としてもよい。
また、例えば、画像表示部１０２０が画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
また、画像光を使用者の眼に導く光学素子は、右導光板１２６１、左導光板１２６２に限定されない。すなわち、外部から装置に向けて入射する外光を透過し、画像光とともに使用者の眼に入射させる光学素子であればよい。例えば、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学素子を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学素子を採用してもよい。また、光学素子の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する光学素子としてもよい。さらに、本発明の光学素子は、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、画像光を使用者の眼に導く光学素子は、右導光板１２６１、左導光板１２６２に限定されない。すなわち、外部から装置に向けて入射する外光を透過し、画像光とともに使用者の眼に入射させる光学素子であればよい。例えば、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学素子を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学素子を採用してもよい。また、光学素子の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有する光学素子としてもよい。さらに、本発明の光学素子は、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板１２６１及び左導光板１２６２のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板１２６１及び左導光板１２６２のように、複数回の反射を経て光を導く部品であってもよく、ハーフミラー面を利用してもよい。
また、図１９、図２２及び図２４に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、ハードウェア資源の配置はブロック図の構成に限定されない。また、制御部１１４０が実行するプログラムは、記憶部１１２０または制御装置１０１０内の記憶装置に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１１７又はインターフェイス１１２５を介して取得して実行する構成としてもよい。また、制御装置１０１０に形成された構成が重複して画像表示部１０２０、１０２０Ｂ、１０２０Ｃに形成されていてもよい。例えば、図２０、図２２に示す制御部１１４０が、画像表示部１０２０、１０２０Ｂ、１０２０Ｃに設けられた構成としてもよく、この場合、制御部１１４０と画像表示部１０２０、１０２０Ｂ、１０２０Ｃの制御部とが機能を分担してもよい。
２…フレーム（本体）、２Ａ…右部、２Ｂ…左部、２Ｃ…ブリッジ部（連結部）、２Ｄ…テンプル部、２Ｅ…テンプル部、３…カメラユニット、３Ａ…アーム部、３Ｂ…アーム部、３Ｃ…カメラ台座部、１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２１Ａ、２３Ａ…ヒンジ、２３…左保持部、４０…接続部、６１…上部カメラ、６３…マイク、６４…第１カメラ（動きセンサー、光学センサー）、６５…第２カメラ（動きセンサー、光学センサー）、６６…第１センサー（動きセンサー、慣性センサー）、６８…第２センサー（動きセンサー、慣性センサー）、６９…仮想センサー（動きセンサー、慣性センサー）、１００、１００Ａ…頭部装着型表示装置（表示装置）、１２０…記憶部、１２１…設定データ、１２２…センサー位置データ、１２３…コンテンツデータ、１３５…操作部、１４０…制御部、１６０…画像処理部、１７０…表示制御部、１８１…撮像処理部、１８３…検出制御部、１８５…検出部、１８６…ＡＲ表示制御部、１８７…音声処理部、２６１…右導光板（光学素子）、２６１Ａ…ハーフミラー（表示領域）、２６２…左導光板（光学素子）、２６２Ａ…ハーフミラー（表示領域）、１００２…フレーム（表示部本体）、１００２Ｄ…テンプル部、１００２Ｅ…テンプル部、１００３…カメラユニット、１００３Ａ…アーム部、１００３Ｂ…アーム部、１００３Ｃ…カメラ台座部、１０１０…制御装置、１０２０、１０２０Ｂ、１０２０Ｃ、１０２Ｄ，１０２０Ｅ…画像表示部（表示部）、１０２１…右保持部、１０２１Ａ、１０２３Ａ…ヒンジ（連結部）、１０２３…左保持部、１０３５…カメラケース、１０３６…フレキシブルアーム、１０４０…接続部、１０６１…カメラ（撮像部）、１０６２…カメラ（撮像部）、１０６３…マイク、１０６６…第１センサー、１０６８…第２センサー、１０７１…第１回動センサー、１０７１Ａ…第３回動センサー、１０７２…第２回動センサー、１０７２Ａ…第４回動センサー、１０７４…距離センサー、１０７６…フレーム側センサー、１０７８…カメラユニットセンサー、１１００、１１００Ｂ、１１００Ｃ、１１００Ｄ、１１００Ｅ…頭部装着型表示装置（表示装置）、１１２０…記憶部、１１２１…設定データ、１１２２…センサー位置データ、１１２３…コンテンツデータ、１１３５…操作部、１１４０…制御部、１１６０…画像処理部、１１７０…表示制御部、１１８１…撮像処理部、１１８３…検出制御部、１１８４…位置検出部（制御部）、１１８５…動き検出部、１１８６…ＡＲ表示制御部（表示処理部）、１１８７…音声処理部。
Claims (20)
- 使用者の頭部に装着される頭部装着型の表示装置であって、
前記使用者の眼に画像光を照射する表示部と、
前記表示装置の装着状態において、前記使用者の身体に対して偏りを有する位置に配置される複数の動きセンサーと、
を備えることを特徴とする表示装置。 - いずれかの前記動きセンサーは、装着状態において前記頭部の中心より一方側に位置し、他の前記動きセンサーは前記頭部の中心より他方側に位置すること、
を特徴とする請求項１記載の表示装置。 - いずれかの前記動きセンサーは、装着状態において前記頭部の中心より左側に位置し、他の前記動きセンサーは前記頭部の中心より右側に位置すること、
を特徴とする請求項２記載の表示装置。 - 前記表示装置の装着状態において、いずれかの前記動きセンサーは前記使用者の頭部の動きの中心となる可動部より一方側に位置し、他の前記動きセンサーは前記可動部の他方側に位置すること、
を特徴とする請求項１記載の表示装置。 - 前記可動部は、前記使用者の頸部関節を想定して設定される位置であること、
を特徴とする請求項４記載の表示装置。 - 複数の前記動きセンサーは、前記表示装置の装着状態においていずれかの前記動きセンサーと前記可動部との距離が、他の前記動きセンサーと前記可動部との距離と異なるように配置されること、
を特徴とする請求項４または５記載の表示装置。 - 前記表示部は、前記使用者の眼に向けて画像光を放つ表示領域を有する光学素子を備え、
複数の前記動きセンサー、及び、前記光学素子の表示領域の中央位置が直線状に並んで位置すること、
を特徴とする請求項１から６のいずれかに記載の表示装置。 - 複数の前記動きセンサーは、少なくとも、光学センサー、及び、慣性センサーを含むこと、
を特徴とする請求項１から７のいずれかに記載の表示装置。 - 複数の前記動きセンサーの検出値に基づいて、前記使用者の動きについて、動きの中心における動きを求める動き検出部を備えること、
を特徴とする請求項１から１０のいずれかに記載の表示装置。 - 前記動き検出部は、複数の前記動きセンサーのそれぞれの検出値と、前記動きセンサーの位置とに基づき、動きの中心における動きを求めること、
を特徴とする請求項９記載の表示装置。 - 前記使用者の視野の少なくとも一部を含む撮像範囲を撮像する撮像部を備え、
前記動き検出部は、複数の前記動きセンサーの検出値に基づいて、前記使用者の動きの中心の位置を特定し、特定した前記動きの中心の位置に基づいて、前記撮像部の撮像範囲と、前記使用者の視野との相対位置を求めること、
を特徴とする請求項９または１０記載の表示装置。 - 前記動き検出部は、前記動きの中心における動きが前記使用者の認知動作に基づく動きであるか否かを判定し、前記使用者の認知動作に基づく動きでないと判定した場合に前記撮像部の撮像画像を補正すること、
を特徴とする請求項９から１１のいずれかに記載の表示装置。 - 前記動き検出部は、
複数の前記動きセンサーの検出値に基づいて、前記使用者の動きの中心の位置を特定し、
特定した前記動きの中心の位置から前記使用者の眼の位置を推定し、
前記動きセンサーの位置に基づく前記表示部の位置を特定し、
特定した前記表示部の位置と、推定した前記使用者の眼の位置とに基づいて、前記表示部と前記使用者の眼の位置との相対位置を求めること、
を特徴とする請求項９から１２のいずれかに記載の表示装置。 - 前記使用者の頭部に装着され前記表示部を備える表示部本体と、
前記表示部本体に対して変位可能に連結され、前記動きセンサーとしての撮像部と、
前記表示部本体に対する前記撮像部の位置または変位を検出する検出部と、
前記検出部により前記表示部本体と前記撮像部との相対位置を求める制御部と、
を備えることを特徴とする請求項１から１０のいずれかに記載の表示装置。 - 前記撮像部の撮像画像に基づき前記表示部にコンテンツを表示する表示処理部を備えること、
を特徴とする請求項１４記載の表示装置。 - 前記表示処理部は、前記制御部が求める前記表示部本体と前記撮像部との相対位置に基づき、前記コンテンツの表示位置を調整すること、
を特徴とする請求項１５記載の表示装置。 - 前記表示処理部は、前記表示部本体と前記撮像部との相対位置に基づき、前記使用者の視界の中心軸と、前記撮像部の光軸とのズレを補償するように前記コンテンツの表示位置を調整すること、
を特徴とする請求項１５記載の表示装置。 - 使用者の頭部に装着され、前記使用者の眼に画像光を照射する表示部と、複数の動きセンサーと、を備える表示装置により、
複数の前記動きセンサーの検出値に基づき、前記頭部の運動中心における動きを求めること、
を特徴とする表示装置の制御方法。 - 複数の前記動きセンサーのそれぞれの検出値と、前記動きセンサーの位置とに基づき、動きの中心における動きを求めること、
を特徴とする請求項１８記載の表示装置の制御方法。 - 前記表示部を備え、前記使用者の頭部に装着される表示部本体に対し変位可能に連結された撮像部を備える前記表示装置によって、
前記表示部本体に対する前記撮像部の位置または変位を検出することにより、前記表示部本体と前記撮像部との相対位置を求めること、
を特徴とする請求項１８または１９記載の表示装置の制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015218180A JP2017092628A (ja) | 2015-11-06 | 2015-11-06 | 表示装置、及び、表示装置の制御方法 |
| US14/968,384 US20160170482A1 (en) | 2014-12-15 | 2015-12-14 | Display apparatus, and control method for display apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015218180A JP2017092628A (ja) | 2015-11-06 | 2015-11-06 | 表示装置、及び、表示装置の制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017092628A true JP2017092628A (ja) | 2017-05-25 |
Family
ID=58770829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015218180A Pending JP2017092628A (ja) | 2014-12-15 | 2015-11-06 | 表示装置、及び、表示装置の制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017092628A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020017358A1 (ja) * | 2018-07-20 | 2020-01-23 | ソニー株式会社 | 装着具 |
| CN111781656A (zh) * | 2020-07-30 | 2020-10-16 | 广州市南方人力资源评价中心有限公司 | 头戴式显示设备的佩戴状态检测方法、装置、设备和介质 |
| JP2022519001A (ja) * | 2018-11-08 | 2022-03-18 | ビビオール アーゲー | ユーザが視覚行動モニタを装着しているか否かを検出するシステム |
| JP2022543738A (ja) * | 2019-07-13 | 2022-10-14 | ソロズ・テクノロジー・リミテッド | モジュール化された眼鏡システム、装置、および方法のためのハードウェア・アーキテクチャ |
| US11966101B2 (en) | 2018-07-20 | 2024-04-23 | Sony Corporation | Mounting tool |
-
2015
- 2015-11-06 JP JP2015218180A patent/JP2017092628A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020017358A1 (ja) * | 2018-07-20 | 2020-01-23 | ソニー株式会社 | 装着具 |
| WO2020017627A1 (ja) * | 2018-07-20 | 2020-01-23 | ソニー株式会社 | 装着具 |
| CN112423663A (zh) * | 2018-07-20 | 2021-02-26 | 索尼公司 | 可穿戴工具 |
| JPWO2020017627A1 (ja) * | 2018-07-20 | 2021-08-26 | ソニーグループ株式会社 | 装着具 |
| JP7355015B2 (ja) | 2018-07-20 | 2023-10-03 | ソニーグループ株式会社 | 装着具およびモーションキャプチャシステム |
| JP7375979B2 (ja) | 2018-07-20 | 2023-11-08 | ソニーグループ株式会社 | モーションキャプチャシステム |
| US11966101B2 (en) | 2018-07-20 | 2024-04-23 | Sony Corporation | Mounting tool |
| JP2022519001A (ja) * | 2018-11-08 | 2022-03-18 | ビビオール アーゲー | ユーザが視覚行動モニタを装着しているか否かを検出するシステム |
| JP2022543738A (ja) * | 2019-07-13 | 2022-10-14 | ソロズ・テクノロジー・リミテッド | モジュール化された眼鏡システム、装置、および方法のためのハードウェア・アーキテクチャ |
| JP7352004B2 (ja) | 2019-07-13 | 2023-09-27 | ソロズ・テクノロジー・リミテッド | モジュール化された眼鏡システム、装置、および方法のためのハードウェア・アーキテクチャ |
| CN111781656A (zh) * | 2020-07-30 | 2020-10-16 | 广州市南方人力资源评价中心有限公司 | 头戴式显示设备的佩戴状态检测方法、装置、设备和介质 |
| CN111781656B (zh) * | 2020-07-30 | 2023-09-15 | 广州市南方人力资源评价中心有限公司 | 头戴式显示设备的佩戴状态检测方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112130329B (zh) | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 | |
| JP6693060B2 (ja) | 表示システム、表示装置、表示装置の制御方法、及び、プログラム | |
| US10306217B2 (en) | Display device, control method for display device, and computer program | |
| JP6492531B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
| JP6083880B2 (ja) | 入出力機構を有する着用可能な装置 | |
| JP6550885B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| CN110275603B (zh) | 分布式人造现实系统、手镯设备和头戴式显示器 | |
| CN105739095B (zh) | 显示装置以及显示装置的控制方法 | |
| US20160170482A1 (en) | Display apparatus, and control method for display apparatus | |
| CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
| CN103429139A (zh) | 具有可调整视场的眼镜装置和方法 | |
| JP6405991B2 (ja) | 電子機器、表示装置、及び、電子機器の制御方法 | |
| JP6707823B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP2018142857A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
| JP6903998B2 (ja) | ヘッドマウントディスプレイ | |
| JP2016122177A (ja) | 表示装置、及び、表示装置の制御方法 | |
| KR101467529B1 (ko) | 착용형 정보 제공 시스템 | |
| US11619813B2 (en) | Coordinating an eye-mounted imager with an external camera | |
| JP2017092628A (ja) | 表示装置、及び、表示装置の制御方法 | |
| JP2016186561A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP6575117B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
| JP6135162B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム | |
| JP6379639B2 (ja) | 眼鏡装用パラメータ測定用撮影装置、眼鏡装用パラメータ測定用撮影プログラム | |
| JP2016090853A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| JP2017079389A (ja) | 表示装置、表示装置の制御方法、及び、プログラム |