JP2014145734A - 情報入出力装置、及び情報入出力方法 - Google Patents

情報入出力装置、及び情報入出力方法 Download PDF

Info

Publication number
JP2014145734A
JP2014145734A JP2013015798A JP2013015798A JP2014145734A JP 2014145734 A JP2014145734 A JP 2014145734A JP 2013015798 A JP2013015798 A JP 2013015798A JP 2013015798 A JP2013015798 A JP 2013015798A JP 2014145734 A JP2014145734 A JP 2014145734A
Authority
JP
Japan
Prior art keywords
user
image
unit
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013015798A
Other languages
English (en)
Other versions
JP6318462B2 (ja
Inventor
Satoshi Ejima
聡 江島
Shigeru Kato
茂 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013015798A priority Critical patent/JP6318462B2/ja
Publication of JP2014145734A publication Critical patent/JP2014145734A/ja
Application granted granted Critical
Publication of JP6318462B2 publication Critical patent/JP6318462B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】ユーザーに表示部に表示されている情報を確認するように促すことができる情報入出力装置、及び情報入出力方法を提供することを目的としている。
【解決手段】情報を表示する表示部と、表示部がユーザーにより観察可能な状況であるか否かを判定する観察可否判定部と、音により報知を行う報知部と、観察可否判定部が判定した結果に基づいて、表示部がユーザーにより観察可能ではない状況であると判定された場合、報知部から報知するように制御する制御部と、を備える。
【選択図】図２

Description

本発明は、情報入出力装置、及び情報入出力方法に関する。
経路案内を行うナビゲーション装置の表示部には、ユーザーが移動している付近の地図、現在位置、目的地への進行方向等の情報が表示される。このようなナビゲーション装置が車に搭載されている場合、ユーザーは表示部に表示されるこれらの情報を見ながら、車の運転を行う。例えば、ランドマークの多い都心において、ユーザーが、表示部に表示されている地図から駐車場等を探す場合、画面に表示されている情報から必要な情報をさがすために時間がかかる。このように、必要な情報を探すためにユーザーが表示部を長時間見続けると、運転に対する集中力の低下や注意力の低下が起こることがある。
このため、例えば特許文献１の技術では、ユーザーが表示部を長時間見続けた場合、表示部を見ないように促す報知を行う。さらに、特許文献１の技術では、報知してもユーザーが表示部を見続けている場合、表示部の表示をオフ状態にする。
特開２００１−３０７２９８号公報
しかしながら、特許文献１の技術では、ユーザーが表示部を長時間見続けた場合、表示部を見ないように促す報知を行うか表示をオフ状態にするだけであり、ユーザーにとって重要な情報が、表示部に表示されても、ユーザーに注意を向けるように促していなかった。ユーザーにとって重要な情報とは、例えば、事故情報、速度制限の情報などである。このため、ユーザーが表示部に表示された情報を見落とす場合があった。
本発明は、上記の事情に鑑み成されたものであって、ユーザーに表示部に表示されている情報を確認するように促すことができる情報入出力装置、及び情報入出力方法を提供することを目的としている。
上記目的を達成するため、本発明の一態様に係る情報入出力装置は、情報を表示する表示部と、前記表示部がユーザーにより観察可能な状況であるか否かを判定する観察可否判定部と、音により報知を行う報知部と、前記観察可否判定部が判定した結果に基づいて、前記表示部が前記ユーザーにより観察可能ではない状況であると判定された場合、前記報知部から報知するように制御する制御部と、を備えることを特徴としている。
上記目的を達成するため、本発明の一態様に係る情報入出力方法は、情報入出力装置における情報入出力方法であって、観察可否判定部が、情報を表示する表示部がユーザーにより観察可能な状況であるか否かを判定する観察可否判定手順と、制御部が、前記観察可否判定手順で判定された結果に基づいて、前記表示部が前記ユーザーにより観察可能ではない状況であると判定された場合、報知部から音により報知を行うように制御する手順と、を含むことを特徴としている。
としている。
本発明によれば、ユーザーに表示部に表示されている情報を確認するように促すことができる。
第１実施形態のヘッドマウントディスプレイの斜視図である。 第１実施形態に係るディスプレイ本体とヘッドバンドを取り外した状態でのヘッドマウントディスプレイを背面側から見た斜視図である。 第１実施形態に係るディスプレイ本体の水平断面図である。 第１実施形態に係るヘッドバンドの動作説明図である。 第１実施形態に係るヘッドマウントディスプレイの装着形態（第１表示モード）を示す図である。 第１実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。 第１実施形態に係る眼球照明ライトの点灯と消灯を説明する図である。 第１実施形態に係る表示部の構成及び光学系を説明するための表示部の断面図である。 第１〜第３観察状態のそれぞれにおける表示領域の違いを説明する図である。 第１観察状態における観察範囲と撮像範囲を説明する図である。 第１観察状態における撮像画像の一例を説明する図である。 第２観察状態における撮像画像の一例を説明する図である。 第２観察状態における観察範囲と撮像範囲を説明する図である。 第３観察状態における撮像画像の一例を説明する図である。 第３観察状態における観察範囲と撮像範囲を説明する図である。 眼の正面に表示部を配置して眼を含む周辺の画像を撮像する例を説明する図である。 第１実施形態に係る眼の下側に表示部を配置して眼を下から撮像する例を説明する図である。 第１実施形態に係る撮像素子の画角と選択範囲を説明する図である。 第１実施形態に係る撮像領域と選択領域を説明する図である。 第１実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。 第１実施形態に係るヘッドマウントディスプレイの機能ブロック図である。 第１実施形態に係る処理部の機能ブロック図である。 第１実施形態に係るＨＭＤを含む通信システムのシステム構成図である。 第１実施形態に係るＨＭＤの電源オン状態後に行う動作のフローチャートである。 第１実施形態に係る左右の眼の検出処理手順のフローチャートである。 右眼観察形態の場合の撮像範囲Ｓの撮像画像の一例を説明する図である。 左眼観察形態の場合の撮像範囲Ｓの撮像画像の一例を説明する図である。 左眼観察形態における撮像画像の一例を説明する図である。 第１実施形態に係るＨＭＤの装着ガイドの処理手順のフローチャートである。 第１実施形態に係るＨＭＤの眼球照明ライトの選択処理手順のフローチャートである。 第１実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。 第１実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。 第１実施形態に係る右眼観察形態における眼球照明ライトの点灯、消灯を説明する図である。 第１実施形態に係る表示部の位置と眼球照明ライトの関係を説明する図であり、ユーザーの顔を水平正面から見た図である。 第１実施形態に係るパスワード入力画面の一例である。 第１実施形態に係るメニュー画面の一例を示す図である。 第１実施形態に係るユーザーに入力を促す画面の一例である。 第１実施形態に係る視線入力のアプリケーションの画面の説明を行う図である。 第１実施形態に係るＨＭＤを用いた業務ロギングの手順のフローチャートである。 第１実施形態に係る記憶部に記憶されている移動ログの一例を示す図である。 第１実施形態に係る検査対象装置に添付されるバーコードの一例を示す図である。 第１実施形態に係る表示パネルに表示される情報の一例を説明する図である。 第２実施形態に係るヘッドマウントディスプレイの装着形態（第２表示モード、待避モード）を示す図である。 第２実施形態に係る表示部の位置と眼球照明ライトの関係を説明する図であり、ユーザーの顔を水平正面から見た図である。 第２実施形態に係るＨＭＤの眼球照明ライトの選択処理手順のフローチャートである。 第３実施形態に係る光学系を説明するための表示部の断面図である。 第３実施形態に係る観察範囲と撮像範囲を説明する図である。
本実施形態に係るヘッドマウントディスプレイ（情報入出力装置）は、表示部がユーザーにより観察可能であるか否かを観察可否判定部により判定し、表示部がユーザーにより観察可能ではないと判定された場合、制御部が報知部から報知するように制御する。これにより、ユーザーは、表示部が観察可能な状況でなくても、報知により表示部を観察することに気づく。従って、ユーザーは、表示部に表示される情報を見逃さずに確認することができる。
以下、情報入出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。
以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ、ヘッドマウントディスプレイの各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。
［第１実施形態］
図１は、本実施形態に係るヘッドマウントディスプレイ（頭部装着装置、以下、ＨＭＤともいう）１の斜視図である。図２は、本実施形態に係るディスプレイ本体とヘッドバンドを取り外した状態でのヘッドマウントディスプレイ１を背面側から見た斜視図である。図３は、本実施形態に係るディスプレイ本体２０の水平断面図である。図４は、本実施形態に係るヘッドバンドの動作説明図である。図５は、本実施形態に係るヘッドマウントディスプレイの装着形態（第１表示モード）を示す図である。
ＨＭＤ１は、ディスプレイ本体２０と、ユーザーの頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のＨＭＤ１は、図５に示すように、両眼どちらでも使用可能である。図５（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態、図５（Ｂ）には左眼（左目）で見ている状態が示されている。
また、図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。
以下、ＨＭＤ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。
装置本体部２１は、概略板状の筐体２１Ａ（図３参照）を有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。
装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４と、集音マイク（音響取得部）２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８はディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりＨＭＤ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。
装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３と、オーディオコネクター２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。
耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば、図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２はヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。
心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの眼の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）デバイスの接続端子である。本実施形態では、例えば不図示のリモコン（リモートコントローラー）が接続される。
操作スイッチ３０は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。
図３に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体２０の各部と電気的に接続されている。
装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。
ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。
ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図５（Ａ）に示す右眼で画像を観察する形態と、図５（Ｂ）に示す左眼で画像を観察する形態との切替機能が実現される。
またヘッドバンドヒンジ３２はボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの眼や耳に対する位置を調整することができる。
ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ＨＭＤ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は一次電池、二次電池のいずれであってもよい。
表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。また、図２に示すように、ファインダー開口部６７の形状は、長方形である。
表示部６０の筐体面には、眼球照明ライト１６６ａ〜１６６ｄが、ファインダー開口部６７の近傍に備えられている。図２では、眼球照明ライト１６６ａ及び１６６ｂは、ファインダー開口部６７の長辺の一方に沿った位置であって、ファインダー開口部６７の隅の近傍に備えられている。また、眼球照明ライト１６６ｃ及び１６６ｄは、ファインダー開口部６７の長辺の他方に沿った位置であって、ファインダー開口部６７の隅の近傍に備えられている。
眼球照明ライト１６６ａ〜１６６ｄは、例えば赤外線の波長領域の光を放射するＬＥＤ（発光ダイオード）である。眼球照明ライト１６６ａ〜１６６ｄは、ユーザーと表示部６０との位置関係に応じて、点灯または消灯される。以下では、眼球照明ライト１６６ａ〜１６６ｄを、眼球照明ライト１６６と総称する。
図３に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。
装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面２１ａに、傾斜面２１ａの法線方向（図３のＹ’軸方向）に突出するようにして設けられている。
表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。これにより、図３（Ａ）に示す視聴可能状態から表示部６０を回転させることで、図３（Ｂ）に示す収容状態に移行することができる。本実施形態では、ディスプレイヒンジ６１が装置本体部２１の上記傾斜面に設けられており、表示部６０が内側に湾曲した形状を有している。これにより、図３（Ｂ）に示す収容状態において、表示部６０は装置本体部２１の外面に沿うように配置される。
また、ディスプレイヒンジ６１がボールジョイントであることから、表示部６０は、Ｙ’軸回りの回転面に対して直交する方向の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部６７の位置調整が容易になる。表示部６０と装置本体部２１との間隔を大きくすれば、表示部６０の揺動幅を大きくすることができる。
ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。
表示部６０の内部には、バックライト６２と、表示パネル６３と、カメラ（第２撮像部）６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子（第１撮像部）７２とが設けられている。なお、表示部６０の光学系の構成については、後述する。
カメラ６４は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。カメラ６４は、その撮像素子の受光面に結像した画像（光学像）を撮像する。カメラ６４は、例えば、ユーザーにとっての正面方向を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
前方ライト６８は、例えばＬＥＤライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮影する際の照明装置として用いてもよい。
撮像素子７２は、その受光面に結像した画像（光学像）を撮像する。撮像素子７２は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。
また、図３では図示を省略したが、本実施形態に係る表示部６０にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト６８の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング（指標の表示）が可能である。
次に、ヘッドバンド４０について、図２及び図４を参照しつつ説明する。
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。
第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。
第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。
また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。
ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。
ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。
この構成により、第２ヘッドバンド４４は、回動機構５６によって第１ヘッドバンド４３から離れる方向に回動付勢される一方、回動機構５７によって第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は第１ヘッドバンド４３に対して所定の角度となるように保持される。したがって、回動機構５６、５７は、ヘッドバンド４０における角度保持機構として機能する。
次に、以上の構成を備えたＨＭＤ１におけるヘッドバンドの動作等について、図４、図５を参照しつつ説明する。以下、ユーザーにとっての右側を「ユーザーの右側」と称する。また、ユーザーにとっての左側を「ユーザーの左側」と称する。また、ユーザーにとっての上側を「ユーザーの上側」と称する。また、ユーザーにとっての下側を「ユーザーの下側」と称する。また、ユーザーにとっての時計回り方向を「時計回り方向」と称する。また、ユーザーにとっての反時計回り方向を「反時計回り方向」と称する。
図５に示したように、本実施形態のＨＭＤ１は、図５（Ａ）に示す右眼観察形態と、図５（Ｂ）に示す左眼観察形態を切り替えて使用することができる。ここで、右眼観察形態とは、ユーザーが右眼で表示部６０を観察する形態である。また、左眼観察形態とは、ユーザーが左眼で表示部６０を観察する形態である。以下、図５（Ａ）及び図５（Ｂ）示した形態、すなわち、ユーザーから見てファインダー開口部６７が横長に配置される形態を、第１表示モードと称する。
例えば、右眼観察形態から左眼観察形態へ切り替えるには、まず、ヘッドバンド４０に連結されたディスプレイ本体２０を、ヘッドバンドヒンジ３２（図２を参照）の回転軸回り（図５では、Ａ方向）に１８０°程度回転させる。さらに、ヘッドバンド４０において、回動機構５６及び５７（図４を参照）の軸回りに第２ヘッドバンド４４を揺動させることで、第２ヘッドバンド４４の位置と第１ヘッドバンド４３の位置との前後関係を入れ替える。この操作により、図５（Ｂ）に示すように、ユーザーの左眼側にディスプレイ本体２０が配置され、且つ、第２ヘッドバンド４４がユーザーの後頭部側に配置された左眼観察形態に、ＨＭＤ１は切り替えられる。
右眼観察形態では、右眼の近傍にある眼球照明ライト１６６ａ及び１６６ｂが点灯し、眼球照明ライト１６６ｃ及び１６６ｄが消灯する。一方、左眼観察形態では、左眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄが点灯し、眼球照明ライト１６６ａ及び１６６ｂが消灯する。
本実施形態では、図４に示すように、第１ヘッドバンド４３の円弧高さｒ１を、第２ヘッドバンド４４の円弧高さｒ２よりも小さくしている。これにより、第２ヘッドバンド４４を第１ヘッドバンド４３と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図４に示す円弧高さｒ１は、同軸に配置された回動機構５６、５７の回転軸Ｌの中央位置Ｃから第１ヘッドバンド４３までの距離の最大値である。また円弧高さｒ２は、回転軸Ｌの中央位置Ｃから第２ヘッドバンド４４までの距離の最大値である。
なお、第１ヘッドバンド４３の円弧高さｒ１を第２ヘッドバンド４４の円弧高さｒ２よりも大きくし、第２ヘッドバンド４４を第１ヘッドバンド４３の内側で揺動させる構成としてもよい。
図６は、本実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有する。
コネクター１０１はケーブル１０２の一方の端部に設けられている。コネクター１０１は、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。
ステレオイヤホン１００は、コネクター１０１をディスプレイ本体２０のオーディオコネクター２６に接続して使用される。ステレオイヤホン１００が接続されると、ディスプレイ本体２０の耳元スピーカー２３と、表示部６０の通話マイク３７は無効化される。また表示部６０の前方スピーカー７０も必要に応じて無効化される。そして、ステレオイヤホン１００の第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５が有効化される。
ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。
また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図５（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。
また、右眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。
一方、図５（Ｂ）に示すようにユーザーの左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４がユーザーの左側の音を収集し、右耳に装着された集音マイク１０５がユーザーの右側の音を収集する。左眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から左チャンネルの音声が出力され、第２スピーカー１０４からは右チャンネルの音声が出力される。
次に、眼球照明ライト１６６ａ〜１６６ｄの点灯と消灯について説明する。
図７は、本実施形態に係る眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ａ）は、右眼観察形態における眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ｂ）は、左眼観察形態における眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ａ）及び図７（Ｂ）において、ユーザーの顔の正面方向を、ＨＺと表記する。
図７（Ａ）に示した例では、表示部６０は、右眼の斜め下に配置されている。また、正面方向ＨＺと表示部６０の画面の法線とは、角度αを成している。ＨＭＤ１は、眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼に近い側の眼球照明ライトを選択し、選択した眼球照明ライトを点灯させる。一方、ＨＭＤ１は、選択した以外の眼球照明ライト、すなわち、ユーザーの眼から遠い側の眼球照明ライトを消灯させる。
図７（Ａ）では、眼球照明ライト１６６ａ及び１６６ｂは、正面方向ＨＺから角度α１だけ下側に配置されている。一方、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α２だけ下側に配置されている。ここで、角度α１は、角度αより小さく、角度α２は、角度αより大きい。つまり、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの右眼の近くに配置されている。
この場合、ＨＭＤ１は、眼球照明ライト１６６ａ及び１６６ｂを点灯させ、且つ、眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。この点灯状態で、撮像素子７２は、ユーザーの右眼の周りを撮像する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」という。
なお、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部（頭、髪の毛等）の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部（頭、髪の毛等）が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。
図７（Ａ）に示した例では、ユーザーの右眼から遠い側の眼球照明ライト１６６ｃ及び１６６ｄは、ユーザーの頬が邪魔になり、ユーザーの右眼を照明できないこともある。したがって、ＨＭＤ１は、ユーザーの右眼から遠い側の眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。これにより、ＨＭＤ１は、消費電力を低減させることができる。
一方、図７（Ｂ）では、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α３だけ下側に配置されている。一方、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α４だけ下側に配置されている。ここで、角度α３は、角度αより小さく、角度α４は、角度αより大きい。つまり、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの左眼の近くに配置されている。
この場合、ＨＭＤ１は、眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、且つ、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。この点灯状態で、撮像素子７２は、ユーザーの左眼の周りを撮像する。以下、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。
図７（Ｂ）に示した例では、ユーザーの左眼から遠い側の眼球照明ライト１６６ａ及び１６６ｂは、ユーザーの頬が邪魔になり、ユーザーの左眼を照明できないこともある。したがって、ＨＭＤ１は、ユーザーの左眼から遠い側の眼球照明ライト１６６ａ及び１６６ｂを消灯させる。これにより、ＨＭＤ１は、消費電力を低減させることができる。
つまり、ＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼をより正面から照明することができる眼球照明ライトを点灯させ、それ以外の眼球照明ライトを消灯させる。
次に、表示部６０の構成及び光学系を説明する。
図８は、本実施形態に係る表示部６０の構成及び光学系を説明するための表示部６０の断面図である。図８に示すように、本実施形態の表示部６０は、バックライト６２、表示パネル（表示部）６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５を含んで構成されている。図８において、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎは、各々、光線を表す。
まず、表示部６０の構成を説明する。
プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７のほぼ正面に位置する。
第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。
次に、表示部６０の光学系を説明する。
表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ている画像は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。
なお、撮像素子７２を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部６０の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト６２は、撮像素子７２による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。
バックライト６２が照射した光は、表示パネル６３を透過して、第１プリズム６５ａに入射される。このとき、表示パネル６３の液晶の特性上、バックライト６２が照射した光が偏光され、偏光された光線ＨのＳ偏光が第１プリズム６５ａに入射される。
光線Ｈは、第１プリズム６５ａの裏面６５ｄに設けられた空気層の影響により全反射し、光線Ｉとして第１プリズム６５ａと第２プリズム６５ｂの接合面６５ｃに入射する。ここで２つのプリズムの接合面６５ｃには、Ｓ偏光が反射し、Ｐ偏光が透過する偏光反射膜が蒸着されている。ここで、光線Ｈは、Ｓ偏光であるため、接合面６５ｃで反射して光線Ｊとなる。光線Jは、裏面６５ｄに入射角０度で入射されるため、裏面６５ｄを透過して１／４波長板７５に入射される。
光線Ｊは、空気層を通った後に１／４波長板７５を透過することで、進行方向に対して右回りの円偏光となる。そして反射ミラー６６で反射した光線Ｋは、反射によって左回りの円偏光となる。そして、光線Ｋは、１／４波長板７５を再び透過し、Ｐ偏光となる。
光線Ｋは、Ｐ偏光に変換されたため、接合面６５ｃを透過できるので、ファインダー開口部６７を通過できる。このような構成により、ユーザーは、表示パネル６３上に表示された画像データを、ファインダー開口部６７越に観察できる。
一方、ファインダー開口部６７から入射した光線Ｌは、接合面６５ｃで反射してＳ偏光の光線Ｍに変換される。光線Ｍは、第２プリズム６５ｂにおける前面６５ｅの空気層で全反射して光線Ｎになる。光線Ｎは、結像レンズ７１により集光され、集光した光線Ｎが撮像素子７２に入射する。このような構成により、ユーザーの眼の前面に、ファインダー開口部６７が配置された場合、撮像素子７２には、ユーザーの眼の周辺画像（光学像）が結像する。
次に、右眼観察形態で、ファインダー開口部６７を介してユーザーが観察する画像と、撮像素子７２により撮像される画像とについて説明する。
なお、図１０、図１３及び図１５では、光学的に等価になるように、反射ミラー６６（図８を参照）は、凸レンズに置き換えられている。また、図１０、図１３、及び図１５において、一点鎖線ＣＴは、結像レンズ７１の光軸を表している。
以下、表示部６０が、ユーザーの眼から所定距離内に配置されている状態を、「第１観察状態」という。
図９は、第１〜第３観察状態のそれぞれにおける表示領域の違いを説明する図である。第１観察状態では、表示部６０がユーザーの眼から所定距離内に配置されているので、表示パネル６３の全表示領域は、ユーザーから観察可能である。したがって、表示パネル６３は、この全表示領域に画像を表示させることができる。すなわち、表示パネル６３の全表示領域が、表示領域Ｓとなる。
以下、表示領域Ｓの横の長さを、Ｓｗと表記する。また。表示領域Ｓの縦の長さを、Ｓｈと表記する。また、以下では、一例として、Ｓｗは８００画素、Ｓｈは６００画素として説明を続ける。また、表示領域Ｔの縦の長さを、Ｔｈと表記する。また、表示領域Ｔの横の長さを、Ｔｗと表記する。また、表示領域Ｕの縦の長さを、Ｕｈと表記する。また、表示領域Ｕの横の長さを、Ｕｗと表記する。
図１０は、第１観察状態における観察範囲と撮像範囲を説明する図である。観察範囲６７ａにユーザーの眼がある場合、ファインダー開口部６７を介して、ユーザーは、表示パネル６３の全表示領域に相当する表示領域Ｓを観察することができる。また、観察範囲６７ａは、反射ミラー６６（図１０では、凸レンズ）の光軸上では、ファインダー開口部６７から距離Ｐまでの範囲にある。一方、撮像素子７２が撮影することができる撮影範囲６７ｃは、観察範囲６７ａを含んでいる。つまり、撮像素子７２は、観察範囲６７ａにユーザーの眼がない場合でも、撮影範囲６７ｃにユーザーの眼があれば、ユーザーの眼を眉毛なども含めて撮像することができる。
図１１は、第１観察状態における撮像画像の一例を説明する図である。図１１の略中心には、撮像素子７２によりユーザーの眼が撮像されている。この場合、図７（Ａ）を用いて説明したように、眼球照明ライト１６６ａ及び１６６ｂが点灯している。右眼観察形態の場合、図１１における＋Ｚ側が鉛直上方向、−Ｚ側が鉛直下方向、＋Ｘ側がユーザーの左側、−Ｘ側がユーザーの右側となる。なお、左眼観察形態の場合、表示部６０が１８０度反転されているので、右眼観察形態と比較して、眼の周辺画像は左右上下が反転することになる。
図１１において、符号６０１Ｒは、右眼の画像を示す符号であり、符号６０２Ｒは、右眉毛の画像を示す符号である。符号６０４Ａは、眼球照明ライト１６６ａ（図２を参照）による輝点の画像を示す符号であり、符号６０４Ｂは、眼球照明ライト１６６ｂ（図２を参照）による輝点の画像を示す符号である。また、符号Ｌ４１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。例えば、第１観察状態において、撮像素子７２の解像度が、横方向（Ｘ軸方向）に６４０画素である場合、画像における眼の幅Ｌ４１は、３５０画素程度である。
図１１では、ユーザーの眼と眉毛の距離が幅Ｌ４１以下なので、撮像画像には、適切な範囲が撮像されているといえる。このように、ユーザーの眼を下側から撮影することは、有効である。
このように、第１観察状態では、ユーザーが正面を見る際、ファインダー開口部６７が邪魔にならない。また、後述するように、第１観察状態では、撮像素子７２による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、ＨＭＤ１は、ユーザーの視線方向を検出することができる。
以下、ユーザーの眼が、第１観測状態と比較して表示部６０から離れている状態を、「第２観察状態」という。
次に、第２観察状態について、図９、図１２、及び図１３を用いて説明する。
図１２は、第２観察状態における撮像画像の一例を説明する図である。符号６０１Ｒ１は、右眼の画像を示す符号であり、符号６０２Ｒ１は、右眉毛の画像を示す符号である。符号６０４Ｃは、眼球照明ライト１６６ａによる輝点の画像を示す符号であり、符号６０４Ｄは、眼球照明ライト１６６ｂによる輝点の画像を示す符号である。また、符号Ｌ７１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。
第２観察状態では、ユーザーの眼が表示部６０から離れているので、第１観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅Ｌ７１が、第１観察状態におけるユーザーの眼の幅Ｌ４１以下（例えば、３００画素以下）である場合、ＨＭＤ１は、ユーザーが表示部６０から眼を離していると判定する。
図１３は、第２観察状態における観察範囲と撮像範囲を説明する図である。図１３では、ユーザーの眼ｅｙｅは、反射ミラー６６（図１３では、凸レンズ）の光軸上で、ファインダー開口部６７から距離Ｐ以上距離Ｐ２以内の位置に在り、第１観察状態における観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無い。このため、ユーザーは、表示領域Ｓ（図９を参照）の一部しか観察することができない。
そこで、第２観察状態では、ＨＭＤ１は、縮小率ηで縮小した画像を、表示領域Ｔ（図９を参照）に表示させる。第２観察状態において、表示領域Ｔに表示される画像の縮小率η（第１観察状態との比率）は、次式（１）により示される。
η ＝ Ｌ７１／Ｌ４１ ・・・（１）
例えば、ユーザーの眼の幅Ｌ４１（図１１を参照）が３５０画素であるのに対して、Ｌ７１（図１２を参照）が２２０画素である場合、ＨＭＤ１は、約０．６３倍（＝（Ｌ７１／Ｌ４１）＝（Ｔｈ／Ｓｈ）＝（Ｔｗ／Ｓｗ））に縦横をそれぞれ縮小した画像を、表示パネル６３の表示領域Ｔに表示させる。表示領域Ｔに表示された画像（光学像）の全体は、ファインダー開口部６７の縁に遮られることなく、ユーザーの眼に届く。なお、第２観察状態において、ＨＭＤ１は、眼球照明ライト１６６の輝度を、第１観察状態におけるその輝度と比較して高くしてもよい。
以下、表示部６０とユーザーの眼との相対位置が、第２観測状態と比較して左右いずれかの方向にずれている状態を、「第３観察状態」という。
次に、第３観察状態について、図９、図１４、及び図１５を用いて説明する。
図１４は、第３観察状態における撮像画像の一例を説明する図である。第３観察状態では、第２観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルＶ１だけずれて撮像されているとする。
符号６０１Ｒ２は、右眼の画像を示す符号であり、符号６０２Ｒ２は、右眉毛の画像を示す符号である。符号６０４Ｅは、眼球照明ライト１６６ａによる輝点の画像を示す符号であり、符号６０４Ｆは、眼球照明ライト１６６ｂによる輝点の画像を示す符号である。また、一点鎖線で示した６０５Ａは、ユーザーの眼の位置がずれていない場合に撮像される眼球の外形画像を表す。また、符号６０５Ｂは、ユーザーの眼が光軸中心にある場合の眼球の画像を表す。
図１５は、第３観察状態における観察範囲と撮像範囲を説明する図である。図１５では、ユーザーの眼ｅｙｅは、観察範囲６７ｅ内、すなわち、ファインダー開口部６７から距離Ｐ以上離れ、且つ、光軸ＣＴから内側にＶ１のＸ成分量（＝Ｖ１ｘ）だけずれている位置に在る。観察範囲６７ｅに在るユーザーの眼は、第１観察状態における観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無いので、表示領域Ｓ（図９を参照）の一部しか観察することができない。
そこで、第３観察状態では、ＨＭＤ１は、ユーザーから表示画像の全体が観察できるように、所定の縮小率（＝（Ｕｈ／Ｓｈ）＝（Ｕｗ／Ｓｗ））で画像を縮小する。また、ＨＭＤ１は、この縮小した画像を、表示領域Ｕ（図９を参照）に表示させる。ここで、ＨＭＤ１は、表示領域Ｓ（図９を参照）における表示領域Ｕの位置を、ユーザーの眼の位置ずれ量及び方向に応じて定める。第３観察状態では、表示領域Ｕは、表示領域Ｓの右上に定められている。
ここで、結像レンズ７１及び撮像素子７２から成る撮像系の記録画素数は、例えば、横６４０画素、縦４８０画素であるとする。また、結像レンズ７１及び撮像素子７２から成る撮像系の画角は、横６０度、縦４５度であるとする。この場合、１画素当たりの画角は、約０．０９４度となる。
したがって、ユーザーの眼の位置の水平方向のずれ量（ベクトルＶ１のＸ成分量）が、例えば、５０画素であれば、ユーザーの眼の位置は、４．７度（＝５０画素×０．０９４度）ほどずれていることになる。表示領域Ｓ（図９を参照）の水平方向（Ｓｗ：８００画素）の視野角が、例えば、３５度であれば、ＨＭＤ１は、表示パネル６３の中心から、１０８画素分（＝Ｓｗ×４．７度÷３５度）だけ、水平方向右に表示領域Ｕの位置を定める。ＨＭＤ１は、垂直方向についても同様に、所定画素数だけずらした位置に表示領域Ｕを定める。
図１４及び図１５では、ＨＭＤ１は、表示領域Ｕの水平方向Ｕｗが５００画素、縦方向Ｕｈが３７５画素となるまで画像を縮小し、表示領域Ｓの中心から水平方向右に１０８画素、且つ、ベクトルＶ１のｚ成分量（＝Ｖ１ｚ）に対応する前記所定画素数だけ垂直方向上にずらした位置に、表示領域Ｕを定める。表示領域Ｕには、表示領域Ｕと同じ縮小率で縮小された画像が表示される。これにより、ユーザーの眼ｅｙｅが光軸上からずれた場合でも、ＨＭＤ１は、画像の全体が見えるよう、その画像を表示することができる。
ＨＭＤ１は、撮像画像から、例えば、眼の輪郭の画像を抽出し、抽出した眼の輪郭の画像の位置に基づいて、眼の位置ずれ量及び方向（ベクトルＶ１）を検出する。ここで、眼の位置ずれ量及び方向の検出は、撮像画像から眼球の画像を抽出し、抽出した眼球の輪郭画像のずれ量に基づいて、その眼の位置ずれ量及び方向を検出してもよい。また、ＨＭＤ１は、眼球照明ライトＬＥＤ１６６ａ〜１６６ｄ（図２を参照）を適宜点灯させ、それらの眼球照明ライトが投射した光によるスポットを、ユーザーの眼球上で測定することで、ベクトルＶ１を検出するようにしてもよい。
上述したように、ユーザーの眼が表示部６０から離れている、又は、光軸からずれている場合でも、ＨＭＤ１では、ユーザーと表示部６０との位置関係に応じて、ユーザーが画像の全領域を観察可能となるように、表示部６０に画像を表示することができる。なお、表示領域を定めるタイミングは、注視点検出のためのキャリブレーション処理（後述）の前後のいずれでもよい。
次に、表示部６０の配置と、ユーザーの眼の撮像について説明する。
図１６は、眼の正面に表示部６０を配置して、眼を含む周辺の画像を撮像する例を説明する図である。図１７は、本実施形態に係る眼の下側に表示部６０を配置して、眼を下から撮像する例を説明する図である。
図１６及び図１７において、符号Ｌ１１は、ユーザーの下瞼から眉毛までの距離を表している。また、図１６及び図１７において、距離Ｌ１１は、４０［ｍｍ］である。また、図１６及び図１７において、ユーザーの顔を横から見た場合における、上下方向をＺ軸方向と、前後方向をＹ軸方向と称する。
図１６に示すように、眼の正面に表示部６０を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、幅Ｌ１１以上（例えば、幅Ｌ３１）を撮像できるまで、表示部６０の結像レンズ７１を、ユーザーの顔から遠ざける必要がある。ここで、幅Ｌ３１は、例えば、７０［ｍｍ］である。幅Ｌ３１の範囲が撮像される場合、ユーザーの眼から結像レンズ７１の中心まで、距離Ｌ２１だけ離される必要がある。ここで、距離Ｌ２１は、例えば８５［ｍｍ］である。
なお、距離Ｌ２１は、図８に示した光学系において、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長も含んでいる。仮に、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長の合計が２０［ｍｍ］であるとすると、ユーザーの顔からＹ軸方向に６５（＝８５−２０）［ｍｍ］だけ、表示部６０を遠ざける必要がある。
従って、眼の正面に表示部６０を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、表示部６０は、ユーザーの顔から遠ざけられた位置に配置される必要がある。
一方、図１７に示すように、眼の下側に表示部６０が配置された場合、ユーザーの下瞼から眉毛までの距離Ｌ１１の範囲を撮像するためには、幅Ｌ６１の撮像範囲を撮像する必要がある。ここで、下から煽るように撮像しているため、幅Ｌ６１は、図１６に示した幅Ｌ３１より短い。例えば、幅Ｌ６１は、２０［ｍｍ］である。この撮像範囲２０［ｍｍ］を確保するために必要な撮影距離（距離Ｌ５１）は、例えば、４５［ｍｍ］である。
図１６と同様に、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長の合計が２０［ｍｍ］である場合、表示部６０は、ユーザーの顔から２５［ｍｍ］だけ遠ざけられる。また、Ｙ軸方向に対して表示部６０が角度β傾けてられている場合、顔から結像レンズ７１までのＹ軸方向の距離は、４５［ｍｍ］にｃｏｓβが乗算された値となる。
ＨＭＤ１は、眼の下に配置された表示部６０が、眼の周辺画像を撮像できるので（図１７を参照）、表示部６０が眼の正面に配置された場合と比較して（図１６を参照）、顔から表示部６０までの距離が短い。これにより、ＨＭＤ１は、大型化してしまうことがない。また、ＨＭＤ１は、表示部６０がユーザーの正面に配置されないため、表示部６０がユーザーの正面視野を遮ることもない。さらに、ＨＭＤ１は、表示部６０がユーザーの顔の近傍に配置されることも可能なので、例えば、狭い作業空間などにおいて、表示部６０が邪魔になることもない。
また、ＨＭＤ１は、表示部６０が眼の下に配置された場合、表示部６０が眼の正面に配置された場合と比較して（図１６を参照）、眼球照明ライト１６６の輝度を低くしてもよい。これにより、ＨＭＤ１は、消費電力を低減させることができる。
次に、右眼観察形態と左眼観察形態との切り替えに伴う、撮像素子７２の設置角度の調整について説明する。
図１８は、本実施形態に係る撮像素子７２の画角と選択範囲を説明する図である。図１８（Ａ）は、右眼観察形態における撮像素子７２の画角と選択範囲を説明する図である。図１８（Ｂ）は、左眼観察形態における撮像素子７２の画角と選択範囲を説明する図である。なお、図１８（Ａ）及び図１８（Ｂ）では、第１ヘッドバンド４３、第２ヘッドバンド４４、装置本体部２１等は、図示が省略されている。
図１９は、本実施形態に係る撮像領域と選択領域を説明する図である。図１９（Ａ）は、ヘッドバンドヒンジ３２（図２を参照）が揺動された場合における、撮像素子７２（図３を参照）による撮像領域を説明する図である。また、図１９（Ｂ）は、撮像領域から選択された選択領域を説明する図である。ここで、符号Ｐは、撮像素子７２が撮像可能な範囲を示す符号である。また、撮像素子７２は、例えば、４対３のアスペクト比を有する。
右眼観察形態の場合、第１表示モード（図５（Ａ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１８（Ａ）及び図１９（Ｂ）に示すように、符号Ｐで示した領域（以下、「撮像領域Ｐ」という）のうち、符号Ｑで示された領域（以下、「選択領域Ｑ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、右眼観察形態において、眉毛まで含めて右眼の画像データを適切に取り込むことができる。
一方、左眼観察形態の場合、第１表示モード（図５（Ｂ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１８（Ｂ）及び図１９（Ｂ）に示すように、撮像領域Ｐのうち、符号Ｒで示された領域（以下、「選択領域Ｒ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、左眼観察形態において、眉毛まで含めて左眼の画像データを適切に取り込むことができる。
また、ＨＭＤ１は、右眼観察形態又は左眼観察形態のいずれであるかを、加速度センサー１３２が検出した検出値（後述）の代わりに、撮像素子７２による撮像画像に基づいて適切に判定することができる。なお、右眼観察形態又は左眼観察形態のいずれであるかを判別する方法は、後述する。
図２０は、本実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。撮像素子７２の本体７２ａには、回転軸７２ｂが固定されている。この回転軸７２ｂに対しては、ダイヤル７２ｃが設けられている。ユーザーは、ダイヤル７２ｃを回動可能範囲で回動（図２０では、Ｄ方向）にさせることで、回転軸７２ｂを軸として、撮像素子７２をチルトさせることができる。
結像レンズ７１が上を向く方向にチルトされた場合、選択領域Ｑ（図１９（Ｂ）を参照）は、撮像領域Ｐにおける上側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｑで撮像することができる。一方、結像レンズ７１の下を向く方向にチルトされた場合、選択領域Ｒ（図１９（Ｂ）を参照）は、撮像領域Ｐの下側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｒで撮像することができる。
なお、ＨＭＤ１は、ダイヤル７２ｃにより、撮像領域Ｑ又は選択領域Ｒの位置を微調節することも可能である。また、撮像素子７２による撮像画像が表示部６０に表示された場合、ユーザーは、表示部６０に表示されている撮像画像を観察しながら、表示部６０と眼の位置関係に応じて、撮像素子７２の撮像領域を選択することができる。この結果、ＨＭＤ１は、範囲が適切になるよう撮像された撮像画像を用いて、ＨＭＤ１の位置合わせ（後述）、及び注視点検出のためのキャリブレーションの精度を高めることができる。
次に、ＨＭＤ１の機能ブロックについて説明する。
図２１は、本実施形態に係るヘッドマウントディスプレイ１の機能ブロック図である。
ＨＭＤ１には、処理部１２３を中心として種々の電気回路が備えられている。処理部１２３は、例えば、ＣＰＵ（中央演算装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ＨＭＤ１の各種回路と接続されるとともに、ＨＭＤ１を総合的に制御する。処理部１２３は、例えば、「左右の眼に検出処理」、「装着ガイドの処理」、「眼球照明ライトの選択処理」、「注視点のキャリブレーション処理」、及び「業務ロギングの処理」等を行う。なお、処理部１２３が行う各処理については、後述する。
バッテリー３３は、電力を電源回路１２０に供給する。
電源回路１２０は、バッテリー３３から供給された電力を、処理部１２３の制御によりＨＭＤ１の各部に供給する。
本実施形態の場合、処理部１２３には、エンコーダー１２９及びデコーダー１２１、電源回路１２０、操作スイッチ３０、フラッシュメモリー１２２、ＢＬドライバ１２６、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発信器７３、角速度センサー１３４、ＧＰＳセンサー（測位センサー）１３５、温湿度センサー１３６、心拍数センサー１３７、メモリー１２７、メインスイッチ２８、タッチスイッチ３４、ヘッドバンドセンサー１５１、眼球照明ライト１６６ａ〜１６６ｄが接続されている。
エンコーダー１２９は音声信号及び画像信号を所定方式の音声データ及び画像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。
エンコーダー１２９には、集音マイク２４及び通話マイク３７から入力される音声信号、カメラ６４から入力される画像信号、オーディオコネクター２６から入力される音声信号、ビデオコネクター２７から入力される画像信号、及び、眼の周辺画像を撮影する撮像素子７２の画像信号が入力される。エンコーダー１２９に入力された音声信号及び画像信号は音声データ及び画像データにエンコードされた後、処理部１２３に入力される。入力された音声データ及び画像像データは、処理部１２３による再生動作に用いられたり、フラッシュメモリー１２２に記録される。
デコーダー１２１は、音声データ及び画像データを音声信号及び画像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。ＬＣＤドライバ１２５は液晶パネル用の駆動制御装置であり、表示パネル３６及び表示パネル６３に接続されている。スピーカーアンプ１６２は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。
画像データを再生する場合、フラッシュメモリー１２２に記録された画像データ、あるいはエンコーダー１２９から入力される画像データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された画像データは、画像信号にデコードされた後、ＬＣＤドライバ１２５を介して表示パネル３６、６３に供給される。そして、画像信号が入力された表示パネル３６又は表示パネル６３に画像データに基づく画像が表示される。また、デコーダー１２１からビデオコネクター２７に出力される画像信号は、ビデオコネクター２７を介して外部機器に出力される。
また画像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。ＢＬドライバ１２６は、バックライト用の駆動制御装置であり、バックライト３５及びバックライト６２に接続されている。処理部１２３は、ＢＬドライバ１２６に駆動信号を送信し、ＢＬドライバ１２６はバックライト３５、６２を個々に点灯させる。
音声データを再生する場合、フラッシュメモリー１２２に記録された音声データ、あるいはエンコーダー１２９から入力される音声データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ１６２を介して耳元スピーカー２３及び前方スピーカー７０のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー２３又は前方スピーカー７０から音声が出力される。また、デコーダー１２１からオーディオコネクター２６に出力される音声信号は、オーディオコネクター２６を介してステレオイヤホン１００に出力される。
本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０からは左右の音声信号が合成された音が発せられる。
一方、ステレオイヤホン１００に音声信号が出力される場合、第１スピーカー１０３及び第２スピーカー１０４のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のＨＭＤ１は左右両用であるため、装着位置に応じてステレオイヤホン１００への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体２０が右眼に装着されている場合には、第１スピーカー１０３に右チャンネル、第２スピーカー１０４に左チャンネルの音が出力される。ディスプレイ本体２０が左眼に装着されている場合には第１スピーカー１０３に左チャンネル、第２スピーカー１０４に右チャンネルの音が出力される。
メモリー１２７には、処理部１２３によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ２８や、画面内でのポインティング操作を行うための操作スイッチ３０、あるいはタッチ操作により各種操作を行うタッチスイッチ３４がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部１２３へ出力される。処理部１２３は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
ＢＴ通信回路１３０は、他の機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を行うための通信回路である。ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（ＩＥＥＥ ８０２．１１）を行うための通信回路である。３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
加速度センサー１３２は、ＨＭＤ１の傾き検出に用いられる。加速度センサー１３２は、例えば３軸センサーであり、重力加速度を検出する。加速度センサー１３２は、例えば、装置本体部２１内に取り付けられている。
以下、加速度センサー１３２の座標は、地表に直立したユーザーがＨＭＤ１を頭に装着している場合における、ユーザーにとっての上下方向をＺ軸方向、左右方向をＸ軸方向、前後方向をＹ軸方向とする。また、加速度センサー１３２は、右眼観察形態の場合にＺ軸方向の検出値が負値となり、左眼観察形態の場合にＺ軸方向の検出値が正値となるように、取り付けられている。
地磁気センサー１３３は、ＨＭＤ１の方角検出に用いられる。角速度センサー（ジャイロセンサー）１３４は、ＨＭＤ１の回転検出に用いられる。ＧＰＳセンサー１３５はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用した測位検出に用いられる。温湿度センサー１３６は、環境の温度、湿度の検出に用いられる。
心拍数センサー１３７は、ユーザーの頬に接触し、ユーザーの心拍数を検出し、検出した検出値を装着処理部３１１に出力する。心拍数センサー１３７は、例えば、赤外線を照射し、この赤外線の反射波に基づいて心拍数を測定し、測定した心拍数を示す情報を検出値として制御部３０２に出力する。また、心拍数センサー１３７は、赤外線の反射波に基づいて、ＨＭＤ１が頭部近傍数センチ以内にあることを検出し制御部３０２に出力する。
ヘッドバンドセンサー１５１はヘッドバンド４０に設けられた連結ピン４１を検出するセンサーである。具体的にヘッドバンドセンサー１５１は、連結ピン４１が連結孔３１に挿通された状態、すなわち、ヘッドバンド４０とディスプレイ本体２０とが連結された状態を検出し、検出した結果を示す検出信号を処理部１２３へ出力する。なお、ヘッドバンドセンサー１５１は、ヘッドバンド４０の代わりに例えばヘルメットのようなものにディスプレイ本体２０が装着される場合を想定して、ヘルメットに設けられた連結ピン４１を検出するものであっても良い。
図２２は、本実施形態に係る処理部１２３の機能ブロック図である。処理部１２３は、入力検出部３０１、制御部３０２、記憶部３０３、眼球照明部３０４、音響制御部（報知部）３０５、画像切替部３０６、画像表示部３０７、及び送受信部３０８、行動履歴登録部３０９、及び観察可否判定部３１０、を備えている。図２２では、ＷｉＦｉ通信回路１３１及び３Ｇ／ＬＴＥ通信回路１３８（図２１を参照）を、「通信インタフェース（１３１、１３８）」と総称する。
入力検出部３０１は、タッチスイッチ３４上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、制御部３０２、画像切替部３０６、及び送受信部３０８に出力する。タッチスイッチ３４上で行われた操作の種類とは、発信の指示、及び受信の指示等である。入力検出部３０１は、タッチスイッチ３４上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。
制御部３０２は、加速度センサー１３２が検出した検出値、及び撮像素子７２による撮像画像の少なくとも一方に基づいて、右眼観察形態又は右眼観察形態を判別する。ここで、制御部３０２は、撮像素子７２による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、撮像画像に映っているユーザーの眼が、左右どちらの眼の画像であるか（右眼観察形態又は右眼観察形態）を判別する。
制御部３０２は、撮像画像に映っているユーザーの眼が左右どちらの眼の画像であるか判別した結果に基づいて、眼球照明ライト１６６の点灯及び消灯を制御する。また、制御部３０２は、判別した結果に基づいて、オーディオコネクター２６に接続されているステレオイヤホン１００に出力する音声を制御する。また、制御部３０２は、判別した結果に基づいて、表示部６０から投影する画像を制御する。
記憶部３０３には、検査対象装置に対応する検査位置をカウントするためのカウント用の値ｉ（ｉは０以上の整数）が記憶されている。なお、検査対象装置とは、ユーザーが検査を行う対象の装置である。記憶部３０３には、ＧＰＳセンサー１３５が測位した測位情報に基づく情報が記憶される。記憶部３０３には、ユーザーＩＤが記憶されている。記憶部３０３には、制御部３０２が生成した、視線に基づいて操作するためのパラメータが記憶されている。
眼球照明部３０４は、制御部３０２または行動履歴登録部３０９の制御に基づいて、眼球照明ライト１６６ａ〜１６６ｄを、点灯または消灯させるように駆動する。
音響制御部３０５には、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ）、送受信部３０８が出力する受信信号が入力される。音響制御部３０５は、送受信部３０８が出力する受信信号から、他の端末のユーザーの音声データ（以下、他端末の音声データともいう）を抽出する。音響制御部３０５は、制御部３０２が出力する装着状態を示す情報に基づいて、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ）、又は、他の端末のユーザーの音声データに基づく音声を、ステレオイヤホン１００の左右どちらのスピーカーに出力するのかを選択し、左右のスピーカーの各音量等を調整する。
画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを取得する。画像切替部３０６は、取得した画像データの表示モードを、制御部３０２が出力した装着状態を示す情報に基づいて切り替え、切り替えた表示モードで、画像データを画像表示部３０７に出力する。ここで、表示モードとは、例えば、第１表示モード又は第２表示モード（図４３で後述）である。
画像切替部３０６は、送受信部３０８が出力した受信信号から、画像切替信号を抽出する。画像切替部３０６は、画像切替信号が抽出できた場合、抽出した画像切替信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを、画像表示部３０７に出力する。また、画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、エンコーダー１２９から出力された画像データ、またはフラッシュメモリー１２２から読み出した画像データの解像度を変換し、変換した画像データを画像表示部３０７に出力する。
画像切替部３０６は、観察形態に応じて表示部６０に表示するための画像を回転させる角度（（以下、表示角度という）例えば、０度、９０度、１８０度、２７０度）を切り替える。これにより、画像切替部３０６は、ユーザーの姿勢がいかようにあっても、表示部６０とユーザーの眼との関係に応じて、表示部６０に表示する画像の表示方向を適切に切り替えて表示することができるなお、観察形態は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識される。具体的には、右眼観察形態のときの画像の表示角度を０度とした場合及び左眼観察形態のときの画像の表示角度を１８０度とした場合、制御部３０２は、右眼観察形態のときの画像の表示角度を０度に切り替え、左眼観察形態のときの画像の表示角度を１８０度に切り替える。
画像表示部３０７には、画像切替部３０６が出力した画像データが入力される。画像表示部３０７は、入力されたこれらの画像データに基づき、表示パネル６３に表示する画像データを生成する。画像表示部３０７は、生成した画像データを、送受信部３０８、ビデオコネクター２７、及びＬＣＤドライバ１２５に出力する。
送受信部３０８は、入力検出部３０１が出力した制御信号に基づき、画像表示部３０７が出力した画像データを、通信インタフェース（１３１、１３８）を介して送信する。送受信部３０８は、通信インタフェース（１３１、１３８）を介して受信した受信信号を、画像切替部３０６に出力する。
行動履歴登録部３０９は、検査対象装置の検査を行うためにＨＭＤ１のユーザーが操作スイッチ３０又はタッチスイッチ３４を操作して「業務ロギングの処理」を開始したことに応じて、記憶部３０３に記憶されているユーザーＩＤを、送受信部３０８を介してサーバー２００（図２３参照）に送信する。
行動履歴登録部３０９は、送信したユーザーＩＤに応じてサーバー２００から送信される検査情報を受信する。なお、検査情報とは、検査対象装置が配置されている位置を示す情報を含む情報である。検査対象装置が複数の場合、検査情報には、複数の検査対象装置が配置されている位置を示す情報、検査を行う順番を示す情報が含まれている。
行動履歴登録部３０９は、受信した検査情報と地磁気センサー１３３が検出した検出値とに基づいて、検査対象装置が配置されている方向を示す情報を表示パネル６３に表示する。
なお、本発明において「業務ロギングの処理」とは、ユーザーが検査対象装置に対して検査を行っている間における移動ログ、観察ログ、またはスクリプトを実行して取得したデータのうちいずれかを、行動履歴登録部３０９が送受信部３０８を介してサーバー２００に送信する処理を含む。さらに、「業務ロギングの処理」とは、サーバー２００が、ＨＭＤ１から受信した移動ログ、観察ログ、及びデータを記憶部２０２（図２３参照）に記憶させる処理を含む。
移動ログとは、検査対象装置に対して検査を行っている間におけるＨＭＤ１のＧＰＳセンサー１３５が測位した測位情報（緯度を示す情報、経度を示す情報、高度を示す情報、時刻情報）を含む履歴情報である。行動履歴登録部３０９は、例えば、予め定められている時間間隔で、移動ログをサーバー２００に送信するようにしてもよく、あるいは、ユーザーが操作スイッチ３０又はタッチスイッチ３４を操作したときに移動ログをサーバー２００に送信するようにしてもよい。
観察ログを示す情報とは、検査対象装置を検査している間にＨＭＤ１が処理した内容を示す履歴情報である。ＨＭＤ１が処理した内容には、操作スイッチ３０又はタッチスイッチ３４が操作されたことを示す情報と操作された時刻情報、行動履歴登録部３０９がサーバー２００に移動ログ、観察ログ、及びデータを送信したことを示す情報と送信した時刻情報、表示部６０をユーザーが観察していたか否かを判別した結果を示す情報等が含まれる。行動履歴登録部３０９は、検査対象装置の検査終了毎に観察ログをサーバー２００に送信するようにしてもよく、全ての検査対象装置に検査終了時に観察ログをサーバー２００に送信するようにしてもよく、予め定められている時間間隔で観察ログをサーバー２００に送信するようにしてもよい。
スクリプトファイルとは、例えば、ＨＭＤ１に対して所定の動作を実行させるプログラムが記述されているファイルである。スクリプトファイルは、サーバー２００がＨＭＤ１に送信する検査対象装置に係わる情報に含まれている。なお、検査対象装置に係わる情報については後述する。ＨＭＤ１に対して実行させる所定の動作とは、ＨＭＤ１が有する機能部を動作させる動作である。所定の動作の一例として、ＨＭＤ１は、カメラ６４により静止画または動画を撮像し、撮像した画像データをサーバー２００に送信する。また、所定の動作の他の例として、ＨＭＤ１は、集音マイク２４により集音した音声をフラッシュメモリー１２２に記憶させて録音する。また、所定の動作の他の例として、ＨＭＤ１は、集音マイク２４により集音した音声、またはフラッシュメモリー１２２に記憶させた音声データをサーバー２００に送信する。また、所定の動作の他の例として、ＨＭＤ１は、検査を行う位置の温度及び湿度を温湿度センサー１３６によって取得し、取得した温度及び湿度を示す情報をサーバー２００に送信する。
図２２に戻って、行動履歴登録部３０９は、眼球照明ライト１６６の点灯及び消灯を制御し、バックライト６２の点灯及び消灯を制御する。行動履歴登録部３０９は、観察可否判定部３１０が判定した結果に応じて、表示パネル（表示部）６３に情報が表示される場合にその表示される情報がユーザーにより観察可能ではない状況の場合、耳元スピーカー２３から表示パネル６３に表示されている情報を観察するように促す報知を、音響制御部３０５を制御して行う。
なお、表示パネル６３に表示される情報がユーザーにより観察可能な状況とは、以下（ａ）〜（ｅ）のうちの少なくとも１つの状況である。（ａ）ユーザーが表示パネル６３に表示されている情報を観察している状況。（ｂ）ディスプレイ本体２０が図３（Ｂ）のように折り畳まれていない状況。（ｃ）図５（Ａ）に示した状態からヘッドバンドヒンジ３２（図３（Ａ）参照）がＡ方向に９０度回転させられていず表示部６０がユーザーの頭頂部に配置されていない状況。（ｄ）ヘッドバンド４０とディスプレイ本体２０とが連結された状況。（ｅ）撮像素子７２が撮像した撮像画像にユーザーの眼を含む領域が含まれている状況。
また、表示パネル６３に表示される情報がユーザーにより観察可能ではない状況とは、以下の（ｆ）〜（ｊ）のうち少なくとも１つの状況である。（ｆ）ユーザーが表示パネル６３に表示される情報を観察していない状況。（ｇ）ディスプレイ本体２０が図３（Ｂ）のように折り畳まれている状況。（ｈ）図５（Ａ）に示した状態からヘッドバンドヒンジ３２（図３（Ａ）参照）がＡ方向に９０度回転させられていて表示部６０がユーザーの頭頂部に配置されている状況。（ｉ）ヘッドバンド４０とディスプレイ本体２０とが連結されていない状況。（ｊ）撮像素子７２が撮像した撮像画像にユーザーの眼を含む領域が含まれていない状況。
行動履歴登録部３０９は、カメラ６４が撮像した画像データからバーコードの画像を抽出する。行動履歴登録部３０９は、バーコードの画像が抽出できた場合、抽出したバーコードの画像に埋め込まれている検査対象装置を判別する固有情報（以下、検査対象装置ＩＤという）を抽出する。行動履歴登録部３０９は、抽出した検査対象装置ＩＤに対応する検査対象装置に係わる情報をサーバー２００又はネットワーク上から取得する。例えば、取得されたバーコードに検査対象装置に係わる情報が所在するネットワーク上のアドレスを示すアドレス情報が含まれている場合、行動履歴登録部３０９は、バーコードからアドレス情報を抽出し、抽出したアドレス情報に基づいて、検査対象装置に係わる情報を、ネットワークを通じて取得する。なお、アドレス情報とは、例えば、Ｗｅｂページの場所を示すＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）である。また、アドレス情報とは、検査対象装置を販売しているメーカーのホームページに、検査対象装置に対する注意事項または重点検査項目が記載されている場合、これらの情報が記載されているＷｅｂページの場所を示すＵＲＬを含んでいてもよい。行動履歴登録部３０９は、取得した検査対象装置に係わる情報に基づく情報を、表示パネル６３に表示する。
行動履歴登録部３０９は、取得した検査対象装置に係わる情報からＨＭＤ１に対して所定の動作を実行するスクリプトファイルを抽出し、スクリプトを実行する。
ここで、検査対象装置に係わる情報を説明する。検査対象装置に係わる情報には、以下の情報のうち、少なくとも１つの情報が含まれている。
（１）検査対象装置の装置名
（２）検査対象装置の番号
（３）検査対象装置に対する検査項目
（４）検査における注意事項
（５）重点検査項目
（６）検査対象装置の検査項目、検査における注意事項、重点検査項目のうちいずれか１つが更新された場合、これらの各検査項目が更新された日時に関する情報（以下、更新日時情報という）
（７）検査対象装置の検査項目、検査における注意事項、重点検査項目のうちいずれか１つが更新された場合、これらの情報が更新されたことを示す情報（以下、更新有り情報という）
（８）注意事項がある場合、注意事項があることを示す情報（以下、注意事項有り情報）
（９）チェック項目がある場合、チェック項目があることを示す情報（以下、チェック項目有り情報）
（１０）ＨＭＤ１に所定の動作を行わせるためのスクリプトファイル
検査における注意事項とは、例えば、検査対象装置を管理している管理者により、検査に際して注意する必要がある場合に、検査を行うユーザーに対して注意喚起するための情報である。重点検査項目とは、例えば、同じタイプの装置で検査結果に問題があった場合に、問題のあった箇所を重点的に検査するための検査項目である。
なお、検査対象装置に対する検査項目、検査における注意事項、及び重点検査項目は、管理者が必要に応じて、サーバー２００に記憶されている各情報、またはネットワーク上にある各情報を更新する。
図２２に戻って、観察可否判定部３１０は、表示パネル６３に表示される情報がユーザーにより観察可能であるか否かを判定し、判定した結果を行動履歴登録部３０９に出力する。
観察可否判定部３１０は、表示パネル６３に表示される情報がユーザーにより観察可能な状況であるか否かを判別する。観察可否判定部３１０は、例えば、以下のように表示パネル６３に表示される情報がユーザーにより観察可能であるか否かの判定を行う。観察可否判定部３１０は、「注視点検出のためのキャリブレーション処理」で得られたＬＣＤ６３上の座標（Ｄｘ（ｉ），Ｄｚ（ｉ））とユーザーの視線に基づく第２座標（Ｅｘ（ｉ），Ｅｚ（ｉ））との関係に基づき、上述した（ａ）の状況であるか否かを判定する。ここで、図３９におけるステップＳ６０５時点のユーザーの視線に基づく座標を第１座標とする。また、第２座標は、ステップＳ６０３において、表示パネル６３に表示される情報に表示された検査位置の方位を示す画像の座標を第２座標とする。
観察可否判定部３１０は、この第１座標と第２座標とを比較し、比較した結果、第１座標と第２座標とが一致すると判定された場合、上述した（ａ）の状況であると判定する。一方、観察可否判定部３１０は、比較した結果、第１座標と第２座標とが一致しないと判定された場合、上述した（ｆ）の状況であると判定する。
観察可否判定部３１０は、心拍数センサー１３７が検出した検出値に基づいて、ユーザーが頭部にＨＭＤ１を装着している状態であるか否かを判定することで、上述した（ａ）の状況であるか（ｆ）の状況であるかを判定するようにしてもよい。そして、観察可否判定部３１０は、（ａ）の状況であるか（ｆ）の状況であるかを判定した結果に基づいて、表示パネル６３に表示される情報がユーザーにより観察可能な状況であるか否かを判定するようにしてもよい。
また、観察可否判定部３１０は、例えば、加速度センサー１３２が検出した検出値に基づいて、上述した（ｂ）、（ｃ）、（ｇ）、（ｈ）のいずれかの状況であるかを判定することで、表示パネル６３に表示される情報がユーザーにより観察可能な状況であるか否かを判定するようにしてもよい。
また、観察可否判定部３１０は、例えば、ヘッドバンドセンサー１５１が検出した検出信号に基づいて、上述した（ｄ）の状況であるか（ｉ）の状況であるかを判定することで、表示パネル６３に表示される情報がユーザーにより観察可能な状況であるか否かを判定するようにしてもよい。
また、観察可否判定部３１０は、撮像画像に基づいて、上述した（ｅ）の状況であるか（ｊ）の状況であるかを判定することで、表示パネル６３に表示される情報がユーザーにより観察可能な状況であるか否かを判定するようにしてもよい。
図２３は、本実施形態に係るＨＭＤ１を含む通信システムのシステム構成図である。図２３に示すように、通信システムは、ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００から構成される。ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００は、ネットワーク２３０に接続されている。ネットワーク２３０は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、３Ｇ回線、ＬＴＥ回線等を介して接続されているインターネットなどのネットワークである。
図２３において、ＨＭＤ１は、図２１で説明した構成であるが、処理手順を説明する上で必要な機能部のみを示している。なお、ＨＭＤ１の表示パネル６３を、以後、ＬＣＤ６３という。
ＨＭＤ５００は、図２３に示すように、主にフラッシュメモリー５２２、処理部５２３、通信インタフェース（５３１、５３８）、地磁気センサー５３３、タッチスイッチ５３４、表示パネル（表示部）５６３（以後、ＬＣＤ５６３という）、カメラ５６４を備えている。ＨＭＤ５００の各機能部は、ＨＭＤ１の各機能部と同等である。
次に、サーバー２００の構成について説明する。図２３に示すように、サーバー２００は、処理部２０１、記憶部２０２、及び通信インタフェース２０３を備えている。
サーバー２００の処理部２０１は、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）から通信インタフェース２０３を介して受信した画像データ（動画、静止画、線画等）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録を、記憶部２０２に記録する。処理部２０１は、各端末の要求に応じて、記憶部２０２に記録してある画像データを読み出し、読み出した画像データを、各端末に送信する。
記憶部２０２には、ユーザーＩＤと検査対象装置に係わる情報が関連付けられて記憶されている。記憶部２０２には、サーバー２００がＨＭＤ１から受信した移動ログを示す情報、及び観察ログを示す情報が、ユーザーＩＤと関連付けられて記憶される。記憶部２０２には、ＨＭＤ１から受信した画像データ（静止画、動画）、音声データ、各種センサーが検出した検出値が、ユーザーＩＤに関連付けられて記憶される。記憶部２０２には、各端末のユーザーＩＤに対応するパーソナルデータ、例えば、ユーザーの名前や性別・国籍などのデータが、各端末の電話番号又はＩＰアドレス等の端末を識別できる情報と関連付けられて記憶されている。
通信インタフェース２０３は、例えば、ＷｉＦｉ通信回路、３Ｇ通信回路、ＬＴＥ通信回路、有線ＬＡＮ回路等を備えている。
次に、ＰＣ２１０及びＰＣ２２０の構成について説明する。ＰＣ２１０及びＰＣ２２０は、例えば、パーソナルコンピュータである。
ＰＣ２１０は、処理部２１１、記憶部２１２、通信インタフェース２１３、入力部２１４、表示部２１５、及びカメラ２１６を備えている。
ＰＣ２２０は、処理部２２１、記憶部２２２、通信インタフェース２２３、入力部２２４、表示部２２５、及びカメラ２２６を備えている。ＰＣ２２０の各機能部は、ＰＣ２１０の各機能部と同等である。
ＰＣ２１０の処理部２１１は、ＣＰＵ（中央演算装置）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。処理部２１１は、通信インタフェース２１３、入力部２１４、表示部２１５、及びカメラ２１６を制御する。処理部２１１は、記憶部２１２に記憶されている画像データ、通信インタフェース２１３を介して取得した画像データ、カメラ２１６で撮像された画像データを、後述するように通信インタフェース２１３介して取得した画像切替信号に基づいて切り替える。処理部２１１は、切り替えた画像データを通信インタフェース２１３及びネットワーク２３０に出力する。処理部２１１は、画像データを表示部２１５に出力する。処理部２１１は、入力部２１４の操作に基づき、表示部２１５上に、カーソル画像、または線画画像を表示するように制御する。処理部２１１は、通信インタフェース２１３を介して取得した受信信号に基づき、表示部２１５上に、カーソル画像、または線画画像を表示するように制御する。
記憶部２１２は、例えば、メモリー、ＨＤＤ（ハードディスク）である。記憶部２１２には、ＰＣ２１０のＯＳ（オペレーション・システム）、ＨＭＤ１、ＨＭＤ５００及びＰＣ２２０と通話を行うためのアプリケーション等が記憶されている。
通信インタフェース２１３は、例えば、無線ＬＡＮ、または有線ＬＡＮ、３Ｇ回線、ＬＴＥ回線等の通信を行うインタフェースである。通信インタフェース２１３は、ネットワーク２３０を介して受信した情報を処理部２１１に出力する。通信インタフェース２１３は、処理部２１１が出力した情報を、ネットワーク２３０を介して、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。
入力部２１４は、例えば、キーボード、マウス、タブレットと操作ペン等である。入力部２１４は、入力された情報を、処理部２１１に出力する。なお、表示部２１５がタッチパネル機能を有する場合、表示部２１５は入力部２１４の機能を兼ねるようにしてもよい。
表示部２１５は、処理部２１１が出力した画像データに基づく画像を表示する。
一例として、表示部２１５には、ＨＭＤ１が撮像した画像、ＰＣ２１０の入力部２１４の操作に応じた線画画像が合成されて表示される。
カメラ２１６は、例えば５００万画素〜１０００万画素の撮像素子を有するＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。
次に、ＨＭＤ１の動作について説明する。図２４は、本実施形態に係るＨＭＤ１の電源オン状態後に行う動作のフローチャートである。
（ステップＳ１）処理部１２３は、ＨＭＤ１のシステムの起動の完了を待って、システムの起動が完了したらステップＳ２に進む。なお、起動とは、メインスイッチ２８が操作されてＨＭＤ1がコールドスタートする場合、ならびにＨＭＤ1が所定時間使われなかった場合などにスリープ状態に至り、その後、タッチスイッチ３４などを操作された場合、ウォームスタートした場合などである。
（ステップＳ２）処理部１２３は、ユーザーが左右、どちらの眼でＨＭＤ１の表示部６０を観察しているか検出する処理（以下、左右の眼の検出処理という）を行う。なお、この「左右の眼の検出処理」の詳細な処理は、後述する。処理部１２３は、検出した結果に基づいて、表示部６０に表示する画像の向きを切り替える。
（ステップＳ３）処理部１２３は、ＨＭＤ１の表示部６０が正しい装着位置に装着されるようにガイドを行う処理（以下、装着ガイドの処理という）を行う。なお、「装着ガイドの処理」の詳細な処理は、後述する。
（ステップＳ４）処理部１２３は、点灯させる眼球照明ライト１６６と、消灯させる眼球照明ライトを選択する処理（以下、眼球照明ライトの選択処理という）を行う。なお、「眼球照明ライトの選択処理」の詳細な処理は後述する。
（ステップＳ５）処理部１２３は、注視点検出のためのキャリブレーションを行う。なお、注視点検出のためのキャリブレーションの詳細な処理については、後述する。
（ステップＳ６）処理部１２３は、検査対象である検査装置を検査し、検査した結果を観察ログとしてサーバー２００に登録する「業務ロギングの処理」を行う。なお、「業務ロギングの処理」の詳細な処理については、後述する。
次に、「左右の眼の検出処理」手順について説明する。
図２５は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。
（ステップＳ１０１）処理部１２３の制御部３０２は、加速度センサー１３２が検出した検出値において、Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いか否かを判別する。Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いと判別された場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２に進む。Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強くないと判別された場合（ステップＳ１０１；Ｎｏ）、ステップＳ１０３に進む。
（ステップＳ１０２）Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いと判別された場合、表示部６０は、図５（Ａ）または図５（Ｂ）に示したような第１表示モードの装着形態である。このため、制御部３０２は、加速度センサー１３２の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
（ステップＳ１０３）Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強くないと判別された場合、ユーザーが寝ているか仰向けの状態であるため、制御部３０２は、撮像素子７２を駆動する。
図２６は、右眼観察形態の場合の撮像範囲Ｐの撮像画像の一例を説明する図である。図２７は、左眼観察形態の場合の撮像範囲Ｐの撮像画像の一例を説明する図である。
制御部３０２は、観察形態を判別するために、図１９で説明した撮像領域Ｐを使って、眼の周辺画像を撮像素子７２により撮像する。例えば、撮像画像は、図５（Ａ）に示した第１表示モードかつ右眼観察形態で使用されるときの撮像画像（以下、第１右眼画像という）を基準としている。このため、図２６に示すように、第１右眼画像６１０Ｒは、正立画像である。図２６に示すように、第１右眼画像６１０Ｒでは、右眼の画像６０１Ｒ３に対して、右眉毛の画像６０２Ｒ３が＋Ｚ方向にある。
一方、図２７に示すように、第１表示モードかつ左眼観察形態で使用されるときの眼の周辺画像（以下、第１左眼画像という）６１０Ｌは、倒立画像である。図２７に示すように、第１左眼画像６１０Ｌでは、左眼の画像６０１Ｌに対して、右眉毛の画像６０２Ｌが−Ｚ方向にある。
（ステップＳ１０４）図２５に戻って、制御部３０２は、撮像画像から眉毛の画像が抽出可能であるか否かを判別する。眉毛の画像が抽出可能であると判別された場合（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０５に進む。例えば、表示部６０が眼に近い場合、または化粧等によって眉毛の判別が難しい場合など、眉毛の画像を抽出ができないと判別された場合（ステップＳ１０４；Ｎｏ）、ステップＳ１０６に進む。なお、制御部３０２は、例えばパターンマッチングの技術を用いて、眉毛の画像を抽出する。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Ｑ（図１９（Ａ）を参照）に撮像された画像は、図１１に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域Ｒ（図１９（Ｂ）を参照）に撮像された画像は、図２８に示すような画像になる。図２８は、左眼観察形態における撮像画像の一例を説明する図である。なお、図２８では、選択領域Ｒの画像を１８０度回転させて示してある。このため、図２８の−Ｚ側がユーザーの上側、＋Ｚ側がユーザーの下側、−Ｘ側がユーザーの左側、＋Ｘ側がユーザーの右側となる。また、図２８において、符号６０１Ｌ１は、左眼の画像であり、符号６０２Ｌ１は、左眉毛の画像である。
なお、ステップＳ１０１〜Ｓ１０８の処理中、制御部３０２は、眼球照明ライト１６６を点灯させておいても、消灯させておいてもよい。ステップＳ１０１〜Ｓ１０８の処理中、制御部３０２は、バックライト６２を点灯させておいてもよい。
（ステップＳ１０５）眉毛の画像が撮像画像から抽出可能である場合、制御部３０２は、眉毛の画像と眼の画像との位置や、眉毛の形状から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
例えば、図２６に示したように、眼球の画像に対して眉毛の画像が、＋Ｚ方向にあると判別した場合、制御部３０２は、ユーザーが右眼で表示部６０を観察している右眼観察形態であると判別する。一方、図２７に示したように、眼球の画像に対して眉毛の画像が、−Ｚ方向にあると判別した場合、制御部３０２は、ユーザーが左眼で表示部６０を観察している左眼観察形態であると判別する。
（ステップＳ１０６）眉毛の画像が撮像画像から抽出可能ではない場合、制御部３０２は、瞬きでの瞼の挙動から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、ユーザーの右眼であるか左眼であるかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
例えば、瞬きは上瞼が動くことから、瞼が図１１において＋Ｚ方向から−Ｚ方向へ移動し、すぐに−Ｚ方向から＋Ｚ方向へ戻った場合、制御部３０２は、ユーザーが右眼で表示部６０を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、制御部３０２は、ユーザーが左眼で表示部６０を観察している左眼観察形態であると判別する。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー１３２が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。
（ステップＳ１０７）ステップＳ１０６までの判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合、制御部３０２は、撮像素子７２が撮像した撮像領域Ｐから選択領域Ｑを選択し、ステップＳ１０８へ進む。一方、ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、撮像領域Ｐから選択領域Ｒを選択し、ステップＳ１０８へ進む。
（ステップＳ１０８）ステップＳ１０６までの判別結果に基づいて、右眼観察形態であると判別された場合、画像切替部３０６は、表示部６０の表示方向を右眼用に設定する。また、ステレオイヤホン１００が接続されている場合、音響制御部３０５は、第１スピーカー１０３を右耳用に、第２スピーカー１０４を左耳用になるようステレオ音声出力の左右を設定する。
一方、左眼観察形態であると判別された場合、画像切替部３０６は、表示部６０の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を１８０度回転させて上下反転させる方向である。また、ステレオイヤホン１００が接続されている場合、音響制御部３０５は、第１スピーカー１０３を左耳用に、第２スピーカー１０４を右耳用になるようステレオ音声出力の左右を設定する。
なお、ステップＳ１０１〜Ｓ１０６において、右眼観察形態であるか否かを、加速度センサー１３２の検出値、撮像画像に基づいて判別する例を説明したが、右眼観察形態であるか否かの判定方法は、これに限られない。
例えば、ＨＭＤ１は、ディスプレイ本体２０に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。
次に、「装着ガイドの処理」手順について説明を行う。
図２９は、本実施形態に係るＨＭＤ１の装着ガイドの処理手順のフローチャートである。なお、以下の説明では、表示パネル６３を、ＬＣＤ６３と称する。この処理は、ユーザーがＨＭＤ１を使用、ＬＣＤ６３の表示が行われているときに、適宜この処理を行って、ユーザーにＬＣＤ６３のずれを補正するように注意を促しても良い。あるいは、タッチスイッチ３４等の操作により、位置合わせを行うようユーザーが指示したときに行うようにしてもよい。
本実施形態では、図１８（Ａ）及び図１８（Ｂ）で説明したように、ユーザーの眼の斜め下に撮像素子７２を備えている表示部６０が配置される。このため、撮像素子７２は、図１７に示したように、ユーザーの眼の周りの画像を斜め下から撮像する。しかしながら、表示部６０と眼との間隔が適切でない場合、及び表示部６０の画面中心と眼の中心とがずれている場合、ユーザーはＬＣＤ６３に表示されている画像を適切に観測できない。このため、本実施形態では、制御部３０２が、撮像素子７２が撮像した画像に基づいて、ユーザーの眼の位置に対して表示部６０の位置がずれていることを検出して、ユーザーにアナウンスする。なお、制御部３０２は、表示部６０の位置に対してユーザーの眼の位置がずれているか否かの判別を、撮像画像から選択した選択領域（画像領域）Ｑ又はＲの画像を用いて行ってもよく、または撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて行ってもよい。以下の説明では、制御部３０２が、撮像画像から選択した選択領域Ｑ又はＲの画像を用いて、表示部６０の位置に対してユーザーの眼の位置がずれているか否かの判別を行う例を説明する。このため、以下の説明において、撮像画像とは、ステップＳ１０７（図２５参照）において選択された選択領域Ｑ又はＲの画像である。
（ステップＳ２０１）制御部３０２は、例えば、パターンマッチングの技術を用いて、眼の画像を抽出する。制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ２０１；Ｙｅｓ）、ステップＳ２０２へ進み、ユーザーが左眼観察形態で使用していると判別された場合（ステップＳ２０１；Ｎｏ）、ステップＳ２１４へ進む。
（ステップＳ２０２）制御部３０２は、撮像画像（例えば、図１１を参照）に基づいて、ユーザーの眼の位置が＋Ｘ方向にずれているか否かの判別を行う。ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合（ステップＳ２０２；Ｙｅｓ）、ステップＳ２０３に進む。ユーザーの眼の位置が＋Ｘ方向にずれていないと判別した場合（ステップＳ２０２；Ｎｏ）、ステップＳ２０４に進む。
（ステップＳ２０３）ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合、ユーザーの眼に対して表示部６０が、ユーザーの右側にずれていることになる。このため、このような場合、処理部１２３は、ユーザーへ表示部６０をユーザーの左側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
（ステップＳ２０４）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｘ方向にずれているか否かを判別する。ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合（ステップＳ２０４；Ｙｅｓ）、ステップＳ２０５に進む。ユーザーの眼の位置が−Ｘ方向にずれていないと判別された場合（ステップＳ２０４；Ｎｏ）、ステップＳ２０６に進む。
（ステップＳ２０５）ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの右側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
（ステップＳ２０６）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が＋Ｚ方向にずれているか否かを判別する。ユーザーの眼が＋Ｚ方向にずれていると判別された場合（ステップＳ２０６；Ｙｅｓ）、ステップＳ２０７に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２０６；Ｎｏ）、ステップＳ２０８に進む。
（ステップＳ２０７）ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの上側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
（ステップＳ２０８）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｚ方向にずれている否かを判別する。ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合（ステップＳ２０８；Ｙｅｓ）、ステップＳ２０９に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２０８；Ｎｏ）、ステップＳ２１０に進む。
（ステップＳ２０９）ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの下側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
（ステップＳ２１０）制御部３０２は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより大きいか否かを判別する。ユーザーの眼の画像が所定の大きさより大きいと判別された場合（ステップＳ２１０；Ｙｅｓ）、ステップＳ２１１に進む。ユーザーの眼の画像が所定の大きさより大きくないと判別された場合（ステップＳ２１０；Ｎｏ）、ステップＳ２１２に進む。例えば、制御部３０２は、眼の画像を抽出し、抽出した画像に基づいて、眼の幅を抽出する。制御部３０２は、抽出した眼の幅が所定の大きさより大きいか否かを判別する。
（ステップＳ２１１）ユーザーの眼の画像が所定の大きさより大きいと判別された場合、ユーザーの眼が表示部６０に近すぎると推定されるので、処理部１２３は、表示部６０を眼から離すように耳元スピーカー２３からアナウンスを行う。
（ステップＳ２１２）制御部３０２は、撮像画像に基づいて、ユーザーの眼の画像が所定の大きさより小さいか否かを判別する。ユーザーの眼の画像が所定の大きさより小さいと判別された場合（ステップＳ２１２；Ｙｅｓ）、ステップＳ２１３に進む。ユーザーの眼の画像が所定の大きさより小さくないと判別された場合（ステップＳ２１２；Ｎｏ）、装着状態の判定処理を終了する。
（ステップＳ２１３）ユーザーの眼の画像が所定の大きさより小さいと判別された場合、ユーザーの眼が表示部６０から遠すぎると推定されるので、処理部１２３は、表示部６０を眼に近づけるように耳元スピーカー２３からアナウンスを行う。
（ステップＳ２１４）ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、撮像画像（例えば、図２７を参照）に基づいて、ユーザーの眼の位置が＋Ｘ方向にずれているか否かの判別を行う。ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合（ステップＳ２１４；Ｙｅｓ）、ステップＳ２１５に進む。ユーザーの眼の位置が＋Ｘ方向にずれていないと判別された場合（ステップＳ２１４；Ｎｏ）、ステップＳ２１６に進む。
（ステップＳ２１５）ユーザーの眼の位置が＋Ｘ方向にずれていると判別された場合、ユーザーの眼に対して表示部６０が、ユーザーの左側にずれていることになる。このため、このような場合、処理部１２３は、ユーザーへ表示部６０をユーザーの右側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
（ステップＳ２１６）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｘ方向にずれているか否かを判別する。ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合（ステップＳ２１６；Ｙｅｓ）、ステップＳ２１７に進む。ユーザーの眼の位置が−Ｘ方向にずれていないと判別された場合（ステップＳ２１６；Ｎｏ）、ステップＳ２１８に進む。
（ステップＳ２１７）ユーザーの眼の位置が−Ｘ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの左側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
（ステップＳ２１８）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が＋Ｚ方向にずれているか否かを判別する。ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合（ステップＳ２１８；Ｙｅｓ）、ステップＳ２１９に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２１８；Ｎｏ）、ステップＳ２２０に進む。
（ステップＳ２１９）ユーザーの眼の位置が＋Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの下側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
（ステップＳ２２０）制御部３０２は、撮像画像に基づいて、ユーザーの眼の位置が−Ｚ方向にずれている否かを判別する。ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合（ステップＳ２２０；Ｙｅｓ）、ステップＳ２２１に進む。ユーザーの眼の位置が＋Ｚ方向にずれていないと判別された場合（ステップＳ２２０；Ｎｏ）、ステップＳ２１０に進む。
（ステップＳ２２１）ユーザーの眼の位置が−Ｚ方向にずれていると判別された場合、処理部１２３は、ユーザーへ表示部６０をユーザーの上側にずらすように、例えば耳元スピーカー２３からアナウンスを行う。
ステップＳ２２１処理後、処理部１２３は、ステップＳ２１１からＳ２１３を行い、ＨＭＤ１の装着ガイドの処理を終了する。
次に、眼球照明ライトの選択処理について説明する。図３０は、本実施形態に係るＨＭＤ１の眼球照明ライトの選択処理手順のフローチャートである。
（ステップＳ４０１）制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ４０１；Ｙｅｓ）、ステップＳ４０２へ進み、ユーザーが左眼観察形態で使用していると判別された場合（ステップＳ４０１；Ｎｏ）、ステップＳ４０３へ進む。
（ステップＳ４０２）ユーザーが右眼観察形態で使用していると判別された場合、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂを選択し、選択した結果を眼球照明ライト選択設定として記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。
（ステップＳ４０３）ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを選択し、選択した結果を眼球照明ライト選択設定として記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。
以上のように、本実施形態のＨＭＤ１は、表示部６０とユーザーとの位置関係に応じて、眼球照明ライト１６６ａ〜１６６ｄを選択して点灯させるようにした。この結果、本実施形態のＨＭＤ１は、眼球を照明するライトを適宜選択可能としたことにより、使用者の眼を的確に照明できるとともに、消費電力を抑えることが可能となった。
次に、注視点検出のキャリブレーションの詳細について説明を行う。
本実施形態に係るＨＭＤ１では、キャリブレーション比較例のようにユーザーがキャリブレーション設定を行うのではなく、後述するように表示パネル６３に表示される情報を操作しているときに、視線（注視点）に基づいて操作するためのパラメータを取得し、注視点検出のためのキャリブレーションを行う。
図３１及び図３２は、本実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。図３３は、本実施形態に係る右眼観察形態における眼球照明ライト１６６の点灯、消灯を説明する図である。図３４は、本実施形態に係る表示部６０の位置と眼球照明ライト１６６の関係を説明する図であり、ユーザーの顔を水平正面から見た図である。
なお、以下では、図７（Ａ）、図７（Ｂ）、及び図３４に示すように、右眼観察形態かつ眼の下に表示部６０が配置されている状態、または左眼観察形態かつ眼の下に表示部６０が配置されている状態を検出して、注視点検出のためのキャリブレーションを行う例について説明する。
図３４において、一点鎖線で示した位置６００ａ、及び位置６００ｂは、表示部６０が配置される位置の例である。以下の処理で説明するように、ＨＭＤ１は、位置６００ａに表示部６０がある場合、眼の近傍にある眼球照明ライト１６６ａ及び１６６ｂを点灯させ、他を消灯させる。一方、ＨＭＤ１は、位置６００ｂに表示部６０がある場合、眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、他を消灯させる。
（ステップＳ５０１）制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用しているか否かを判別する。制御部３０２は、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ５０１；Ｙｅｓ）、ステップＳ５０２に進み、ユーザーが右眼観察形態で使用していないと判別された場合（ステップＳ５０１；Ｎｏ）、ステップＳ５０３に進む。
（ステップＳ５０２）右眼観察形態であると判別された場合、制御部３０２は、記憶部３０３に記憶されている眼球照明ライトの選択設定を読み出す。次に、制御部３０２は、読み出したる眼球照明ライトの選択設定に基づいて、眼球照明部３０４を介して眼球照明ライト１６６ａと１６６ｂを点灯する。
図３３に示すように、ユーザー右眼の下に表示部６０を配置して観察する場合、眼球照明ライト１６６ｃと１６６ｄは、極めて頬の近傍に配置されることになるために眼球を照明できない。このため、本実施形態では、図３４の位置６００ａに示すように、眼球照明部３０４は、眼球照明ライト１６６ｃ、及び１６６ｄは消費電力を下げるために消灯する。
（ステップＳ５０３）左眼観察形態であると判別された場合、制御部３０２は、記憶部３０３に記憶されている眼球照明ライトの選択設定を読み出す。次に、制御部３０２は、読み出したる眼球照明ライトの選択設定に基づいて、眼球照明部３０４を介して、図３４の位置６００ｂに示すように、眼球照明ライト１６６ｃと１６６ｄを点灯する。眼球照明部３０４は、消費電力を下げるために、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。
以上の処理により、本実施形態のＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて眼球を照明するライトの選択が適宜行うことが可能となる。さらに、本実施形態のＨＭＤ１は、使用しない眼球照明ライト１６６を消灯することで効率的な省電力対策が可能となっている。
（ステップＳ５０４）画像切替部３０６は、ステップＳ５０２またはＳ５０３終了後、図３５に示すようなパスワード入力画面（表示画像）を、ＬＣＤ６３に表示する。これは一般に普及しているモバイル用途のＰＣや携帯電話で用いられている、ユーザーが設定したパスワードを入力するもので、他人が使用することを防ぐことを目的にしている。
図３５は、本実施形態に係るパスワード入力画面４００ｅの一例である。図３５において、パスワード入力画面４００ｅの長手方向をＸ軸方向、短手方向をＺ軸方向とする。図３５に示すように、ＬＣＤ６３上には、ＡからＺまでのアルファベット・キー（操作画像）４６１、記号キー（操作画像）４６２、シフトキー（操作画像）４６３、１０キー切り替えキー（操作画像）４６４、スペースキー（操作画像）４６５、決定（Ｄｏｎｅ）キー（操作画像）４６６、入力された文字を表示する領域４６７、及びカーソル４６８が表示される。また、図３５において、符号Ｄｘは、Ｘ軸方向の座標、符号Ｄｚは、Ｚ軸方向の座標を表す。
表示画像とは、ＬＣＤ６３に表示される画像であり、図３５に示したパスワード入力画面、後述するメニュー画面等である。また、操作画像とは、表示画像上に表示され、ユーザーが操作部（操作スイッチ３０、タッチスイッチ３４）により選択可能な、各々のキー画像、各々のボタン画像、各々のアイコン画像、カーソル画像等である。上述のように、これらの表示画像は、表示されたことに応じて、ユーザーが操作部を操作して、操作画像の選択を行うことを促す画像を含んでいる。
（ステップＳ５０５）図３１に戻って、制御部３０２は、パラメータのサフィックス（文字列）となる「ｉ」をゼロに初期化する。
（ステップＳ５０６）制御部３０２は、サフィックス「ｉ」に１を加算する。
（ステップＳ５０７）制御部３０２は、撮像素子７２が撮像した撮像画像（含む映像）を取得する。次に、制御部３０２は、取得した撮像画像に基づいて、眼球に照射されている眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（第２座標）（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得する。第２座標は、眼球の回動動作、すなわち視線の方向に１対１で対応する座標である。
制御部３０２が取得した撮像画像は、例えば図１１である。図１１に示すように、眼球照明ライト１６６aによる輝点６０４Ａ、及び眼球照明ライト１６６ｂによる輝点６０４Ｂが画像に映っており、この輝点が眼球の運動に連動して移動する。すなわち、眼球が左側に動く場合、輝点６０４Ａ及び６０４Ｂは、＋Ｘ側へ移動する。また、眼球が左側に動く場合、同輝点は、−Ｘ側へ移動する。また、眼球が上方に動く場合、輝点は、＋Ｚ側へ移動し、眼球が下方向に動く場合、輝点が−Ｚ側に移動する。この眼球の動きは、ＬＣＤ６３内の表示で何処を注視するかによって、ＬＣＤ６３内の位置と輝点の位置が一義的に決定される。
図３５のパスワード入力画面４００ｅにおいて、カーソル４６８が表示される。カーソル４６８は、ユーザーが操作スイッチ３０を上下左右に倒して操作することで、カーソル４６８の位置を上下左右に動かすことが可能となっている。そして、図３５に示すように、例えばパスワードの一文字として「Ｐ」が選択された場合、カーソル４６８が「Ｐ」の文字の所に移動され、さらに操作スイッチ３０が押圧されて、「Ｐ」の文字が入力される。
この操作スイッチ３０が押圧される直前において、ユーザーは、「Ｐ」の文字を注視している確率が非常に高いので、このときの眼の輝点の座標を取り込む。なお、制御部３０２は、図１１における２つの輝点６０４Ａの座標（Ｘａ，Ｚａ）、輝点６０４Ｂの座標（Ｘｂ，Ｚｂ）の平均を取った値を用いて、パスワード１文字目を注視したときの眼の輝点のＸ軸及びＹ軸の測定値Ｅｘ（１）、Ｅｚ（１）を、次式（２）及び次式（３）のように算出する。
Ｅｘ（１）＝ （Ｘａ＋Ｘｂ）／２ ・・・（２）
Ｅｚ（１）＝ （Ｚａ＋Ｚｂ）／２ ・・・（３）
制御部３０２は、算出した測定値の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を、記憶部３０３に記憶させる。
（ステップＳ５０８）図３１に戻って、制御部３０２は、文字が表示されているＬＣＤ６３上の座標（第１座標）である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。例えば図３５において「Ｐ」の文字が選択された場合、制御部３０２は、文字「Ｐ」の座標が取得し、パスワード１文字目の座標として（Ｄｘ（１）、Ｄｚ（１））を取得する。このように、第１座標は、ＬＣＤ６３に表示される表示画像内における操作画像の座標である。また、操作画像には、各々、予め定められている基準点が記憶部３０３に記憶されているようにしてもよい。予め定められている基準点は、例えば操作画像の角（左上、右上、左下、または右下）、操作画像の中心等である。制御部３０２は、選択された操作画像に予め定められている基準点の座標を取得する。または、制御部３０２は、文字「Ｐ」におけるカーソル４６８の矢印の先端の基準点を座標の代わりに取得し、取得した座標を第１座標としてもよい。
（ステップＳ５０９）制御部３０２は、ユーザーにより設定されているパスワードの認証が完了したか否かを判別する。パスワードの認証が完了したと判別した場合（ステップＳ５０９；Ｙｅｓ）、ステップＳ５１０に進む。パスワードの認証が完了していないと判別した場合（Ｓ５０９；Ｎｏ）、ステップＳ５０６からＳ５０９を繰り返す。
なお、ステップＳ５０７からＳ５０９において、複数のパスワードの文字が選ばれることで眼の輝点の測定座標である（Ｅｘ（ｉ），Ｅｚ（ｉ））、そしてＬＣＤ６３上の文字の位置座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））の値が得られる。また、パスワードの入力が終わったとユーザーが判別した場合、ユーザーは、操作スイッチ３０でＤｏｎｅキー４６６を選択して押す。このとき、制御部３０２は、Ｄｏｎｅキー４６６の座標も取得する。
（ステップＳ５１０）ステップＳ３１２までのパスワードの入力作業によって、眼の輝点の測定値と、これに対応する文字の位置情報が得られる。このため、この後は、取得した輝点の座標を測定すれば、ユーザーがＬＣＤ６３上のどこを注視しているのかが分かるようになる。すなわち、これらの処理により、視線入力による操作が可能になる。そこで、制御部３０２は、この測定値（Ｅｘ，Ｅｚ）に基づいて、表示位置（Ｄｘ，Ｄｚ）を求める関数式を、次式（４）及び次式（５）のように生成する。
Ｄｘ ＝ Ｆ１（Ｅｘ、Ｅｚ） ・・・（４）
Ｄｚ ＝ Ｆ２（Ｅｘ、Ｅｚ） ・・・（５）
式（４）及び（５）において、Ｆ１は、Ｄｘと（Ｅｘ、Ｅｚ）の関数、Ｆ２は、Ｄｚと（Ｅｘ、Ｅｚ）の関数である。次に、制御部３０２は、生成した式（４）及び（５）を、記憶部３０３に記憶させる。
（ステップＳ５１１）パスワードの入力が完了したことを受け、画像切替部３０６は、図３６に示すようなメニューのアイコンを表示する。
図３６は、本実施形態に係るメニュー画面（表示画像）４００ｆの一例を示す図である。図３６に示した例では、メニュー画面４００ｆに９つのアイコン（操作画像）４７１から４７９、及びカーソル（操作画像）４８０が表示されている。例えば、アイコン４７１は、動画撮像の指示を示すアイコンである。なお、アイコン４７１から４７９、各々をアプリケーションと称する。また、これらの中でアイコン４７１は、視線によって入力する機能を有するアプリケーションであることから、特に視線入力アプリケーションと称する。
なお、このアイコン４７１が表す動画撮影を行うアプリケーションでは、カメラ６４で動画撮影ならびに記録を行うとともに、後述するように画面に表示されるマーカーの移動や、ボタンの操作を視線入力で行うことが可能となっている。
初期状態では、図３６に示したように、アイコン４７１の位置に、カーソル４８０が表示される。
なお、図３６のメニュー画面は、例えば、処理部１２３の制御を司るＯＳ（オペレーションシステム）において、各種設定を行うメニュー画面（表示画像）であってもよい。各種設定を行うメニュー画面とは、例えば、表示パネル６３の輝度調整、表示パネル６３のコントラスト調整、日時設定、スタンバイ状態にするか否かの設定等の各種設定ボタン（またはアイコン、キー等）が表示されている画面である。
また、メニュー画面４００ｆにアイコンが表示されるアプリケーションは、ＨＭＤ１内部で実行されるアプリケーションに限られない。例えば、アイコンが表示されるアプリケーションは、通信を行っている通話相手が使用しているＨＭＤ、ＰＣで実行されるアプリケーションであってもよい。また、アイコンが表示されるアプリケーションは、インターネット等のネットワーク上で実行される、例えばＷｅｂ（ウェブ）アプリケーション等であってもよい。
（ステップＳ５１２）図３１に戻って、制御部３０２は、メニュー画面において、操作スイッチ３０により手動操作でアイコン４７１が選択されたか否かを判別する。操作スイッチ３０により手動操作でアイコン４７１が選択されていないと判別した場合（ステップＳ５１２；Ｎｏ）、ステップＳ５１３に進む。操作スイッチ３０により手動操作でアイコンが選択されたと判別した場合（ステップＳ５１２；Ｙｅｓ）、丸Ｃ（図３２、ステップＳ５１９）に進む。
（ステップＳ５１３）制御部３０２は、アイコン４７１以外のアプリケーションが選択されたか否かを判別する。アイコン４７１以外のアプリケーションが選択されたと判別された場合（ステップＳ５１３；Ｙｅｓ）、ステップＳ５１４に進み、制御部３０２は、ユーザーの行うメニュー操作の中で、さらに視線入力の精度を高めるべくキャリブレーションを行う。アイコン４７１以外のアプリケーションが選択されていないと判別された場合（ステップＳ５１３；Ｎｏ）、ステップＳ５１２に戻る。
（ステップＳ５１４）アイコン４７１以外のアプリケーションが選択されたと判別された場合、制御部３０２は、サフィックス「ｉ」に１を加算する。
（ステップＳ５１５）制御部３０２は、撮像画像を取得する。次に、制御部３０２は、取得した撮像画像に基づいて、眼球に照射されている眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得する。
（ステップＳ５１６）制御部３０２は、選択されたアイコンが表示されているＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。
（ステップＳ５１７）制御部３０２は、自部に記憶されている関係式（４）及び（５）を再計算して、再計算して生成した関係式を、記憶部３０３に記憶させる。
（ステップＳ５１８）制御部３０２は、選択されたアプリケーション（またはメニュー）を実行する。アプリケーション実行後、ステップＳ５１１に戻る。
すなわち、制御部３０２は、操作スイッチ３０などによってアイコン、チェックボックス等が選択される毎に、輝度の座標を取得し、かつ関係式（４）及び（５）を再計算することで、注視点検出のためのキャリブレーションを行う。なお、メニュー画面４００ｆを含め、各種アプリケーションが実行される中で、アイコンやチェックボックスなどの選択がなされる度に、そのアイコンやチェックボックスを注視点として、注視点検出のためのキャリブレーションを逐次行ってもよい。
（ステップＳ５１９）図３２に移って、操作スイッチ３０により手動操作でアイコン４７１が選択されたと判別した場合、制御部３０２は、サフィックス「ｉ」に１を加算する。
（ステップＳ５２０）制御部３０２は、選択されたアイコンが表示されているＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。
（ステップＳ５２１）制御部３０２は、自部に記憶されている関係式（４）及び（５）を再計算して、再計算して生成した関係式を、記憶部３０３に記憶させる。
（ステップＳ５２２）制御部３０２は、視線入力のアプリを実行する前に、注視点検出のためのキャリブレーションが十分に行われたか否かの判別をする。具体的には、例えばパスワードの登録が一文字であれば、キャリブレーションが十分に行われたとは言えない可能性がある。例えば、少なくとも、パスワード入力画面４００ｅ、またはメニュー画面４００ｆにおいて、異なる２つの位置の注視点検出が行われた場合、制御部３０２は、キャリブレーションが十分に行われたと判別する。なお、異なる２つの位置は、パスワード入力画面４００ｅ、またはメニュー画面４００ｆ内の対角位置に配置されている位置である。
キャリブレーションが十分に行われたと判別された場合（ステップＳ５２２；Ｙｅｓ）、ステップＳ５２７に進む。キャリブレーションが十分に行われていないと判別された場合（ステップＳ５２２；Ｎｏ）、ステップＳ５２３に進む。
（ステップＳ５２３〜Ｓ５２６）制御部３０２は、画像切替部３０６を介して、図３７に示すような再度、ユーザーの入力を促す文章を提示する。制御部３０２は、図３７に示す画面（表示画像）を追加で提示し、この画面をユーザーが操作するとき、ＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））、及び眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得して、注視点検出のためのキャリブレーションを行う。
図３７は、本実施形態に係るユーザーに入力を促す画面の一例である。図３７に示すように、画面４００ｇには、文字列「視線入力モードを使いますか？」４８１、「はい」ボタン（操作画像）４８２、及び「いいえ」ボタン（操作画像）４８３が表示されている。
例えば、図３７において、「はい」ボタン４８２が視線入力により選択された場合、図３５において、Ｄｏｎｅキー４６６、図３６において動画撮像の指示のアイコン４７１がすでに選択されているため、画面の互いにはなれた３箇所のボタン（またはキー、アイコン）が押されたことになり、ある程度信頼のおけるキャリブレーションが完了したことになる。そして、制御部３０２は、ステップＳ５１９からＳ５２１と同様の処理を、ステップＳ５２３からＳ５２６の処理で行い、（Ｄｘ，Ｄｚ）を求める関数式が導き出す。
なお、入力用の表示とは、図３５における各キー（４６１〜４６６）、図３６における各アイコン４７１〜４７９、図３７における各ボタン（４８２、４８３）等である。ここで、キャリブレーションが不足している位置が画面内にある場合、Ｄｏｎｅキー４６６は、表示位置を適宜変更し、キャリブレーションが必要とされる位置に表示されてもよい。
（ステップＳ５２７）図３２に戻って、制御部３０２は、画像切替部３０６を介して、カメラ６４が撮像した画像を、図３８に示すように、ＬＣＤ６３に表示する。
図３８は、本実施形態に係る視線入力のアプリケーションの画面４００ｈの説明を行う図である。図３８に示した例では、画面４００（表示画像）ｈには、撮像された画像４９１、マーカー（操作画像）４９２、「終了ボタン」（操作画像）４９３、「記録ボタン」（操作画像）４９４、及び「メニューボタン」（操作画像）４９５が表示されている。マーカー４９２は、ユーザーが画像４９１において、必要な位置を指し示すマーカーである。「終了ボタン」４９３は、アプリケーションを終了させ、図３６に示したメニュー画面４００ｆに戻るボタンである。また、「記録ボタン」４９４は、カメラ６４が撮像した画像信号を、フラッシュメモリー１２２に記録開始するボタンである。「メニューボタン」４９５は、このアプリケーション固有の設定を行うための不図示のメニューを表示させるためのボタンである。
なお、ＨＭＤ１が、他の端末と通信中の場合、撮像された画像４９１は、送受信部３０８を介して、他の端末に送信される。
本実施形態のＨＭＤ１は、画面４００ｈに示すように、ユーザーが観察しつつカメラ６４で撮影している画像において、商品４９６をカーソルで指し示す画像を他の端末に送信することで、商品４９６について具体的に相手に伝えることが可能となっている。
（ステップＳ５２８）図３２に戻って、制御部３０２は、ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したか否かを判別する。ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したと判別した場合（ステップＳ５２８；Ｙｅｓ）、ステップＳ５３５に進む。ユーザーがボタン４９３から４９５を操作スイッチ３０で選択していないと判別した場合（ステップＳ５２８；Ｎｏ）、ステップＳ５２９に進む。
（ステップＳ５２９）ユーザーがボタン４９３から４９５を操作スイッチ３０で選択していないと判別した場合、制御部３０２は、ユーザーの眼における輝点の座標（Ｅｘ，Ｅｚ）を取得する。次に、制御部３０２は、取得した座標と、式（４）及び（５）の関数を用いて、ユーザーがどこを注視しているのかを算出する。
（ステップＳ５３０）制御部３０２は、算出した座標の位置に、マーカー４９２を表示する。
なお、ＨＭＤ１は、マーカー４９２の画像が重畳された画像として、他の端末に対して送信する。そして、ユーザーが注視点を動かせばマーカー４９２も動くことから、ハンズフリーで他の端末のユーザーへ、注視点を伝えることが可能となっている。
（ステップＳ５３１）制御部３０２は、マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあるか否かを判別する。マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあると判別された場合（ステップＳ５３１；Ｙｅｓ）、ステップＳ５３２に進む。マーカー４９２が、ボタン４９３、４９４、及び４９５の上にないと判別された場合（ステップＳ５３１；Ｎｏ）、ステップＳ５２８に戻る。
（ステップＳ５３２）マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあると判別された場合、制御部３０２は、撮像画像に基づいて、ユーザーの瞼が短時間に２回連続して瞑られたか否かを判別する。なお、制御部３０２は、パターンマッチングの技術や画像の特徴量による画像比較の技術を用いて判別を行う。ユーザーの瞼が短時間に２回連続して瞑られたと判別された場合（ステップＳ５３２；Ｙｅｓ）、ステップＳ５３３に進む。ユーザーの瞼が短時間に２回連続して瞑られていないと判別された場合（ステップＳ５３２；Ｎｏ）、ステップＳ５２８に戻る。
（ステップＳ５３３）ユーザーの瞼が短時間に２回連続して瞑られたと判別された場合、制御部３０２は、瞬き２回によって「終了ボタン」４９３が選択されたか否かを判別する。瞬き２回によって「終了ボタン」４９３が選択されたと判別された場合（ステップＳ５３３；Ｙｅｓ）、丸Ｄ（図３１、ステップＳ５１１）に進む。瞬き２回によって「終了ボタン」４９３が選択されず、すなわち、その他のボタンが選択されたと判別された場合（ステップＳ５３３；Ｎｏ）、ステップＳ５３４に進む。
（ステップＳ５３４）瞬き２回によって「終了ボタン」４９３が選択されていないと判別された場合、制御部３０２は、選択されたボタンに対応した操作を行い、ステップＳ５２８に戻る。
（ステップＳ５３５〜Ｓ５３８）ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したと判別された場合、制御部３０２は、ボタン４９３から４９５の座標と、ユーザーの眼の輝点を元に、ステップＳ５３５からＳ５３８の処理を行って、注視点検出のキャリブレーションを行う。
（ステップＳ５３９）制御部３０２は、操作スイッチ３０により「終了ボタン」４９３が選択されたか否かを判別する。操作スイッチ３０により「終了ボタン」４９３が選択されたと判別された場合（ステップＳ５３９；Ｙｅｓ）、丸Ｄ（図３１、ステップＳ５１１）に進む。操作スイッチ３０により「終了ボタン」４９３が選択されていないと判別された場合（ステップＳ５３９；Ｎｏ）、ステップＳ５４０に進む。
（ステップＳ５４０）操作スイッチ３０により「終了ボタン」４９３が選択されず、すなわち、その他のボタンが選択されたとていないと判別された場合、制御部３０２は、選択されたボタンに対応した操作を行い、ステップＳ３３１に戻る。
なお、実施形態のＨＭＤ１では、視線入力のアプリケーションを開始する前であっても、ならびに同アプリケーションを実行中であっても、操作部の操作によって操作画像が選択されたとき毎に、注視点検出のための計算式のキャリブレーションを行う。この結果、実施形態のＨＭＤ１によれば、ユーザーが操作部を操作したタイミングで注視点検出のためのキャリブレーションを、操作画像が選択されたとき毎に自動的に行うため、高い精度で視線入力が可能になっている。また、この注視点検出のためのキャリブレーションにおいて、上述したように、本実施形態のＨＭＤ１では、ユーザーの片眼を含む領域の画像を用いて行い、両眼を含む画像を撮影する必要がないため、ＨＭＤ１を小型化できる。
また、本実施形態のＨＭＤ１では、「眼球照明ランプの選択処理」で設定された眼球照明ライト１６６を点灯及び消灯することで、ユーザーの眼に適切な光線を照射することができる。このため、注視点検出のためのキャリブレーションを精度良く行うことができる。
なお、本実施形態において表示画像の例として、パスワード入力画像、メニュー画像を説明したがこれに限られない。表示画像は、ユーザーが操作部を操作して、操作画像の選択を促す画像であればよい。また、操作画像も、ユーザーが操作部を操作して、該操作画像の選択を促す画像であればよい。
また、図３２のステップＳ５２２で、キャリブレーションが十分でないと判別された場合、表示画像に表示されている操作画像の表示位置を変更して表示するようにしてもよく、操作画像の大きさを変更して表示するようにしてもよい。あるいは、操作画像を含む新たな表示画像をＬＣＤ６３に表示するようにしてもよい。
なお、図９〜図１５を用いて説明したように、注視点検出のためのキャリブレーションの前に、画像の大きさを縮小させ、位置を移動させた場合、例えば、選択した表示領域Ｔに、パスワード入力画面４００ｅ、メニュー画面４００ｆ等を縮小して表示するようにしてもよい。また、注視点検出のためのキャリブレーションを行った後に、画像の大きさを縮小させ、位置を移動させた表示して視線入力を行う場合、表示位置、及び画像の縮小率に基づいて、記憶部３０３に記憶されている関係式の値を補正することで座標を変換するようにしてもよい。
なお、処理部１２３は、ユーザーの眼の位置を撮像画像に基づいて検出する場合、眼球照明ライト１６６を点灯させてもよい。また、処理部１２３は、ユーザーの眼が表示部６０から離れた場合（図１２及び図１４を参照）、表示領域の縮小率を算出するために、輝点６０４Ａ及び輝点６０４Ｂの間隔（図１１を参照）と、輝点６０４Ｃ及び輝点６０４Ｄの間隔（図１２を参照）との比を測定する。
この処理により、図９に示すところの表示領域Ｓを表示領域Ｔに縮小することで、処理部１２３は、ユーザーが表示全体を見渡せるようにすることが可能である。さらに、輝点６０４Ａと輝点６０４Ｂとの中間の位置よりも、輝点６０４Ｅと輝点６０４Ｆ（図１４を参照）との中間の位置がずれていると判別される場合、処理部１２３は、ユーザーの眼がベクトルＶ１だけずれていることがわかる。このようにして、処理部１２３の画像切替部３０６（図２２を参照）は、図９における表示領域Ｔを、表示領域Ｕまでシフトさせることが可能となっている。
なお、本実施形態では、注視点検出のためのキャリブレーションに、図３５に示したパスワード入力画面等を用いる例を説明したが、これに限られない。操作スイッチ３０により選択可能なキー、ボタン、アイコン等を、表示パネル６３に表示させるようにしてもよい。この場合においても、従来技術とは異なり、キャリブレーションのためだけの表示ではなく、ユーザーが操作を行う必然性がある操作に関するキー、ボタン、アイコン等を表示する。ユーザーは、操作時に、これらのキー、ボタン、アイコン等を注視している確率が非常に高いので、操作時の撮像画像に基づいて、注視点検出のためのキャリブレーションを行うことができる。
次に、「業務ロギングの処理」について説明する。
図３９は、本実施形態に係るＨＭＤ１を用いた業務ロギングの処理の手順のフローチャートである。なお、以下では、ユーザーが頭部にＨＭＤ１を装着している場合について説明する。
（ステップＳ６０１）ＨＭＤ１のユーザーは、検査対象装置を検査する業務を行う際、操作スイッチ３０又はタッチスイッチ３４を操作して、「業務ロギングの処理」を開始する。次に、ＨＭＤ１の処理部１２３は、初期動作としてサーバー２００にユーザーＩＤを送信する。次に、サーバー２００は、初期動作として、ＨＭＤ１からのユーザーＩＤを受信したことに応じて、記憶部２０２にユーザーＩＤに関連付けて記憶されている検査情報を、ＨＭＤ１に送信する。
次に、処理部１２３の行動履歴登録部３０９は、記憶部３０３に記憶されている検査位置をカウントするためのサフィックス「ｉ」を「０」に初期化する。なお、このサフィックスは、各検査位置に関連付けられている。例えば、ｉ＝１は、検査位置１に関連付けられ、ｉ＝２は、検査位置２に関連付けられている。サフィックスと検査位置との関係は、記憶部３０３に予め記憶されているようにしてもよく、あるいはサーバー２００の記憶部２０２に予め記憶され、サーバー２００が検査情報に含めてＨＭＤ１に送信するようにしてもよい。
（ステップＳ６０２）行動履歴登録部３０９は、サフィックス「ｉ」に「１」を加算する。
（ステップＳ６０３）行動履歴登録部３０９は、受信した検査情報から検査位置１に対応する検査対象装置の場所情報を抽出する。次に、行動履歴登録部３０９は、抽出した検査対象装置の場所情報に基づいて、検査対象装置が設置されている方向（以下、検査位置の方向という）を表示パネル６３に表示する。例えば、行動履歴登録部３０９は、抽出した場所情報に基づいて、検査対象装置ＩＤと関連付けて予め記憶部３０３に記憶されている検査対象装置が配置されているフロアの平面図を読み出し、読み出した平面図に検査対象装置が設置されている位置を重畳して表示パネル６３に表示する。また、行動履歴登録部３０９は、地磁気センサー１３３が検出した検出値に基づいて、検査対象装置が、平面図においてどちらの方向（東西南北）に設置されているのか、表示パネル６３に表示する。なお、行動履歴登録部３０９は、検査対象装置ＩＤと関連付けて予め記憶部３０３に記憶されている検査対象装置に対応する画像を読み出し、読み出した検査対象装置に対応する画像も平面図に重畳して、表示パネル６３に表示するようにしてもよい。
（ステップＳ６０４）行動履歴登録部３０９は、ユーザーが表示パネル６３に表示される情報を観察しているか否かを判別するために、眼球照明ライトの選択処理手順（図９を参照）により選択した眼球照明ライト１６６を点灯させる。
（ステップ６０５）次に、行動履歴登録部３０９は、観察可否判定部３１０にユーザーが表示パネル６３に表示されている画像を観察しているか否かを判定する観察可否判定を行う指示を出力する。
次に、観察可否判定部３１０は、観察可否判定を行う指示が入力されたことに応じて、ユーザーが表示パネル６３に表示される情報を観察しているか否かの判定し、判定した結果を行動履歴登録部３０９に出力する。次に、行動履歴登録部３０９は、観察可否判定部３１０が出力した判定した結果に基づいて、ユーザーが表示パネル６３に表示される情報を観察しているか否かを判定する。
行動履歴登録部３０９は、ユーザーが表示パネル６３に表示される情報を観察していないと判定した場合（ステップＳ６０５；Ｎｏ）、ステップＳ６０６に進み、ユーザーが表示パネル６３に表示される情報を観察していると判定した場合（ステップ６０５；Ｙｅｓ）、ステップＳ６０７に進む。
（ステップＳ６０６）行動履歴登録部３０９は、観察可否判定部３１０が出力した判定した結果に基づいて、ユーザーが表示パネル６３に表示される情報を観察していないと判定した場合、表示パネル６３用のバックライト６２を消灯させる。このように、ＨＭＤ１は、ユーザーが表示パネル６３に表示される情報を観察していないと判定した場合、バックライト６２を消灯させるため、ＨＭＤ１の電力を節約できる。
（ステップＳ６０７）行動履歴登録部３０９は、観察可否判定部３１０が出力した判定した結果に基づいて、ユーザーが表示パネル６３に表示される情報を観察していると判定した場合、表示パネル６３用のバックライト６２を点灯させる。
（ステップＳ６０８）行動履歴登録部３０９は、ユーザーが表示パネル６３に表示される情報を観察しているか否かの判別が終了したため、眼球照明ライト１６６を消灯させる。
（ステップＳ６０９）行動履歴登録部３０９は、ＧＰＳセンサー１３５が測位した測位情報を取得する。取得する測位情報は、緯度を示す情報、経度を示す情報、高度を示す情報、時刻を示す情報である。
（ステップＳ６１０）行動履歴登録部３０９は、取得した測位情報にユーザーＩＤを関連付けたＨＭＤ１の移動のログ（以下、移動ログという）を、送受信部３０８を介してサーバー２００に送信する。行動履歴登録部３０９は、例えば、予め定められている時間間隔で、この移動ログをサーバー２００に送信する。次に、サーバー２００は、受信したＨＭＤ１の移動ログを記憶部２０２に記憶させる。
図４０は、記憶部２０２に記憶されている移動ログの一例を示す図である。図４０に示すように、記憶部２０２には、ＨＭＤ１を使用しているユーザーＩＤ、ＨＭＤ１の識別情報である装置ＩＤ、時刻情報、位置情報（緯度を示す情報、経度を示す情報、高度を示す情報）が関連付けられて記憶される。
（ステップＳ６１１）行動履歴登録部３０９は、カメラ６４が撮像した画像データを取得する。行動履歴登録部３０９は、取得した画像データに含まれるバーコードに基づき、ユーザーが検査対象装置の前に到着したか否かを判定する。
行動履歴登録部３０９は、ユーザーが検査対象装置の前に到着したと判定した場合（ステップＳ６１１；Ｙｅｓ）、ステップＳ６１２に進み、ユーザーが検査対象装置の前に到着していないと判定した場合（ステップＳ６１１；Ｎｏ）、ステップＳ６０３に戻る。
図４１は、検査対象装置８５１に添付されるバーコード８５０の一例を示す図である。ここで、バーコードは、例えば、同図のバーコード８５０により示したような２次元バーコード（例えば、ＱＲコード（登録商標））である。同図が示すように、バーコード８５０は、例えば、検査対象装置８５１の側面などに張り付けられている。まず、行動履歴登録部３０９は、画像データにこのようなバーコード８５０の画像が含まれているか否かを判別する。行動履歴登録部３０９は、画像データにバーコード８５０の画像が含まれている場合、画像データからバーコード８５０の画像を抽出する。次に、行動履歴登録部３０９は、バーコード８５０に埋め込まれている検査対象装置ＩＤを抽出する。行動履歴登録部３０９は、バーコード８５０から検査対象装置ＩＤを抽出できた場合、ユーザーが検査対象装置の前に到着したと判別する。また、行動履歴登録部３０９は、画像データからバーコード８５０を抽出できなかった場合、または画像データからバーコード８５０を抽出できた場合であってもバーコード８５０から検査対象装置ＩＤと一致する情報を抽出できなかった場合、ユーザーが検査対象装置の前に到着していないと判別する。
（ステップＳ６１２）行動履歴登録部３０９は、位置に関するパラメータを予め自部に記憶している。パラメータＬａ（ｉ）は、経度のパラメータであり、パラメータＬｏ（ｉ）は、緯度のパラメータである。パラメータＡｌ（ｉ）は、高度のパラメータであり、パラメータＴ（ｉ）は、時刻のパラメータである。パラメータＶ（ｉ）は、平均速度のパラメータであり、パラメータＸ（ｉ）は、移動距離のパラメータである。パラメータＰ（ｉ）は、位置情報のパラメータである。
ユーザーが検査対象装置に到着したと判定された場合、行動履歴登録部３０９は、ステップＳ６０９で取得した測位情報に基づき、経度をパラメータＬａ（ｉ）に入力し、緯度をパラメータＬｏ（ｉ）に入力する。また、行動履歴登録部３０９は、今回取得した測位情報に基づき、高度をパラメータＡｌ（ｉ）に入力し、時刻をパラメータＴ（ｉ）に入力する。また、行動履歴登録部３０９は、各測位情報を入力した各パラメータを記憶部３０３に記憶させる。また、行動履歴登録部３０９は、各測位情報を入力した各パラメータを、移動ログに含めてサーバー２００に送信する。
次に、サーバー２００は、受信した移動ログに含まれている各パラメータを、ＨＭＤ１の移動ログに関連付けて記憶部２０２に記憶させる。
（ステップＳ６１３）行動履歴登録部３０９は、バーコードから抽出したアドレス情報を抽出する。次に、行動履歴登録部３０９は、バーコードから抽出したアドレス情報に基づいて、検査対象装置に係わる情報を、ネットワークを通じて取得する。
（ステップＳ６１４）行動履歴登録部３０９は、ネットワークを通じて取得した検査対象装置に係わる情報を表示パネル６３に表示する。
図４２は、本実施形態に係る表示パネル６３に表示される情報の一例を説明する図である。図４２（Ａ）は、視線入力時、操作スイッチ３０又はタッチスイッチ３４による操作時の表示パネル６３に表示される画像８００の一例を示す図である。図４２（Ｂ）は、指さしによる選択項目を選択時の表示パネル６３に表示される画像８００ａの一例を示す図である。
図４２（Ａ）及び図４２（Ｂ）に示すように、画像８００及び画像８００ａには、検査対象装置の番号及び装置名を示す情報の画像８０１、検査項目（確認項目）を示す情報の画像８０２、注意事項を示す情報の画像８０３、検査を行った結果を示す画像８０４を含んでいる。また、検査を行った結果を示す画像８０４には、検査を行った結果に問題ないことを示す画像「ＯＫ」８０４ａ、検査を行った結果に問題があることを示す情報の画像「ＮＧ」８０４ｂを含んでいる。図４２（Ａ）に示すように画像８００には、視線入力時のカーソル画像８０５が含まれている。図４２（Ｂ）に示すように画像８０１ａには、指差しによる選択項目を選択時のユーザーの指先を含む画像８０６が含まれている。なお、ユーザーの指先を含む画像８０６は、カメラ６４によって撮影されたユーザーの指先を処理部１２３によって検出し画像８００ａに重畳するものである。処理部１２３の画像表示部３０７は、画像８００及び画像８００ａにおいて、ユーザーの指先を含む画像８０６により、各表示されている画像８０１〜８０４が遮られないように表示する。
ここで、視線入力、操作スイッチ３０又はタッチスイッチ３４の操作によって、選択項目を選択する例について説明する。ユーザーは、検査対象装置に対して検査を行った結果に応じて、図４２（Ａ）のように、表示パネル６３に表示されている画像「□ＯＫ」８０４ａ、または画像「□ＮＧ」８０４ｂを視線入力、操作スイッチ３０又はタッチスイッチ３４の操作によって選択する。
次に、指さしによる選択項目を選択する例について説明する。ユーザーは、図４２（Ｂ）のように、表示パネル６３に表示されている画像内にユーザーの指が映し出されるように、カメラ６４が撮像している空間でユーザーの指を動かして、検査を行った結果を示す画像８０４のいずれかを指さすことで選択する。そして、行動履歴登録部３０９は、指さしによる項目選択が行われるか否かをカメラ６４が撮像した画像に基づいて判別する。
なお、図４２（Ａ）及び図４２（Ｂ）において画像８００及び画像８００ａを、各情報を日本語により表示する例を説明したが、予めユーザーが操作スイッチ３０、タッチスイッチ３４を操作してＨＭＤ１で使用する言語を選択している場合、行動履歴登録部３０９は、選択された言語で各情報を表示パネル６３に表示するようにしてもよい。また、行動履歴登録部３０９は、表示パネル６３に表示される情報を観察するように促すアナウンス等を、選択された言語の音声でアナウンスするようにしてもよい。
（ステップＳ６１５）図３９に戻って、行動履歴登録部３０９は、取得した検査対象装置に係わる情報に、報知の対象であることを示す情報が設定されているか否かを判別する。報知の対象であることを示す情報とは、更新日時情報、更新有り情報、注意事項有り情報、及びチェック項目有り情報のうち、いずれかの情報である。次に、行動履歴登録部３０９は、更新日時情報が含まれていると判別した場合、例えばステップＳ６０９で取得した現在の日時と、更新された日時を比較する。次に、行動履歴登録部３０９は、比較した結果、更新が、例えば過去３日間行われていないと判別した場合（ステップＳ６１５；Ｎｏ）、ステップＳ６２１に進む。また、行動履歴登録部３０９は、更新有り情報、注意事項有り情報、及びチェック項目有り情報のいずれの情報も含まれていないと判別された場合（ステップＳ６１５；Ｎｏ）、ステップＳ６２１に進む。
ここで、更新が過去３日間行われていない場合、または更新有り情報、注意事項有り情報、及びチェック項目有り情報のいずれの情報も含まれていない場合、ステップＳ６１６〜Ｓ６２０をスキップする理由を説明する。ユーザーが、毎日、検査対象装置の検査を行っている場合、検査項目の内容をすでにユーザーが覚えている可能性が高い。このため、検査項目の内容に変更がなかった場合、又は重要な注意事項の追加が行われていない場合、ＨＭＤ１は、あえてユーザーに対して表示パネル６３に表示されている検査対象装置に係わる情報を観察するように促さなくてもよい場合もある。従って、本実施形態のＨＭＤ１では、このような場合、ステップＳ６１６〜Ｓ６２０をスキップする。なお、ユーザーによる検査を行う頻度が低い場合、又は検査を行うユーザーが検査日によって代わる場合等、ＨＭＤ１の行動履歴登録部３０９は、ステップＳ６１６〜Ｓ６２０をスキップせずに行うようにしてもよい。
一方、行動履歴登録部３０９は、更新日時情報、更新有り情報、注意事項有り情報、チェック項目有り情報のうち、いずれかの情報が含まれていると判別した場合（ステップＳ６１５；Ｙｅｓ）、ステップＳ６１６に進む。
次に、行動履歴登録部３０９は、例えば、取得した検査対象装置に係わる情報に、チェック項目有り情報が含まれている場合、表示パネル６３にチェック項目を確認した結果の判定結果を入力するチェックボックス（以下、チェックボックスという）画像を表示する。例えば、図４２（Ａ）に示したように、画像８０４は、検査した結果、問題がなかったことを示す「□ＯＫ」画像８０４ａ、検査した結果、問題があったことを示す「□ＮＧ」画像８０４ｂを含んでいる。各画像のうち、「□」をチェックボックスという。
（ステップＳ６１６）ネットワーク経由で取得した情報が更新されていた場合、注意事項がある場合、またはチェック項目がある場合、ユーザーは、表示パネル６３に表示されている情報を確認して、検査を行う必要がある。このため、行動履歴登録部３０９は、ユーザーに対して、表示パネル６３に表示される情報を観察するように促すアナウンスを、耳元スピーカー２３から音声により出力する。耳元スピーカー２３から出力されるアナウンスは、更新されている内容に応じたものであり、例えば「ドキュメントに変更がありました。画面を見てください。」等である。なお、ＨＭＤ１にステレオイヤホン１００が接続されている場合、行動履歴登録部３０９は、ユーザーに対して、表示パネル６３に表示される情報を観察するように促すアナウンスを、ステレオイヤホン１００から音声により出力する。
（ステップＳ６１７）行動履歴登録部３０９は、ユーザーが表示パネル６３に表示される情報を観察しているか否かを再度、判別するために、眼球照明ライトの選択処理手順（図９を参照）に従い選択した眼球照明ライト１６６を点灯させる。
（ステップＳ６１８）行動履歴登録部３０９は、バックライト６２を点灯させる。ユーザーに表示パネル６３に表示される情報を観察するようにアナウンスしたことに応じて、ユーザーが急に目線を表示パネル６３に表示される情報に向けてきた場合、そのユーザーの視線を検出した後にバックライト６２を点灯させると、ユーザーが表示パネル６３に表示される画像を確認するまでにタイムラグが発生する。このため、本実施形態のＨＭＤ１は、表示パネル６３に表示される画像をユーザーが確認するまでのタイムラグを無くすため、バックライト６２をこの時点で点灯させる。
（ステップＳ６１９）観察可否判定部３１０は、ステップＳ６０５の処理と同様に、ユーザーが表示パネル６３に表示される情報を観察しているか否かの判定を行う。観察可否判定部３１０は、ユーザーが表示パネル６３に表示される情報を観察していると判定した場合（ステップＳ６１９；Ｙｅｓ）、ステップＳ６２１に進み、ユーザーが表示パネル６３に表示される情報を観察していないと判定した場合（ステップＳ６１９；Ｎｏ）、ステップＳ６２０に進む。
（ステップＳ６２０）ユーザーが表示パネル６３に表示される情報を観察していないと判定された場合、行動履歴登録部３０９は、ユーザーが表示パネル６３に表示される情報を観察するまでステップＳ６１９とＳ６２０を繰り返して、ユーザーに対して表示パネル６３に表示される情報を観察するように促す警告音を、耳元スピーカー２３から出力する。
（ステップＳ６２１）行動履歴登録部３０９は、取得した検査対象装置に係わる情報に、チェック項目有り情報が含まれているか否かを判別する。行動履歴登録部３０９は、取得した検査対象装置に係わる情報にチェック項目有り情報が含まれていると判別した場合（ステップＳ６２１；Ｙｅｓ）、ステップＳ６２２に進み、取得した検査対象装置に係わる情報に、チェック項目有り情報が含まれていないと判別した場合（ステップＳ６２１；Ｎｏ）、ステップＳ６２４に進む。
（ステップＳ６２２）取得した検査対象装置に係わる情報にチェック項目有り情報が含まれていると判別された場合、行動履歴登録部３０９は、ユーザーにチェック項目に関する検査を行い、検査の結果をチェックするように促すアナウンスを、耳元スピーカー２３から音声により出力する。
次に、ユーザーは、アナウンスに応じて、検査対象装置に対して検査項目の検査を行い、検査した結果を視線入力により選択する。一例として、ユーザーは、表示パネル６３に表示される「□ＯＫ」画像８０４ａ又は「□ＮＧ」画像８０４ｂを注視する。行動履歴登録部３０９は、ユーザーの注視に応じて、「□ＯＫ」画像８０４ａ又は「□ＮＧ」画像８０４ｂのチェックボックスにチェックを入力した画像を、表示パネル６３に表示する。または、ユーザーは、操作スイッチ３０又はタッチスイッチ３４を操作する。行動履歴登録部３０９は、ユーザーの操作に応じて、表示パネル６３に表示される「ＯＫ」画像８０４ａ又は「ＯＫ」画像８０４ｂのチェックボックスにチェックを入力した画像を、表示パネル６３に表示するようにしてもよい。あるいは、ユーザーは、ユーザーの頭部を回動させることにより、表示パネル６３に表示されている「□ＯＫ」画像８０４ａ又は「□ＮＧ」画像８０４ｂを選択する。行動履歴登録部３０９は、このようにユーザーの頭部の回動に応じてチェックボックスにチェックを入力し、チェックを入力した画像を表示パネル６３に表示するようにしてもよい。
ここで、頭部の回動による「□ＯＫ」画像８０４ａ又は「□ＮＧ」画像８０４ｂの選択について説明する。このような場合、「□ＯＫ」画像８０４ａ及び「□ＮＧ」画像８０４ｂは、左右方向に同じ位置ではなく、左右にずれて配置されていることが望ましい。ユーザーが例えば右方向に所定値以上の角速度で頭部を回動させた場合、行動履歴登録部３０９は、この右方向の回動による加速度を角速度センサー１３４の検出値に基づいて、ユーザーの頭部回動による移動方向と移動量を算出する。次に、行動履歴登録部３０９は、算出した移動方向と移動量に基づいて、カーソル画像８０５（図４２）を「□ＯＫ」画像８０４ａ又は「□ＮＧ」画像８０４ｂに移動させて表示パネル６３上に表示する。
このように、行動履歴登録部３０９は、頭部の回動による選択において、角速度センサー１３４の検出値に基づいてユーザーの頭部の動きを検出することで、カーソル画像８０５を移動させ、各項目を選択する。そして、制御部３０２は、例えば、ユーザーがあたかも頷くかのように前後方向に顔を動かした場合、選択項目が決定されたと判別する。
（ステップＳ６２３）行動履歴登録部３０９は、チェック項目の検査が完了したか否かを判別する。具体的には、行動履歴登録部３０９は、表示パネル６３に表示されている「□ＯＫ」画像８０４ａ又は「□ＮＧ」画像８０４ｂのチェックボックスのいずれか一方にチェックが入力されている場合、チェック項目の検査が完了したと判別し、チェックボックスのいずれにもチェックが入力されていない場合、チェック項目の検査が完了していないと判別する。行動履歴登録部３０９は、チェック項目の検査が完了したと判別した場合（ステップＳ６２３；Ｙｅｓ）、ステップＳ６２４に進み、チェック項目の検査が完了していないと判別した場合（ステップＳ６２３；Ｎｏ）、ステップＳ６２２とＳ６２３を繰り返す。
（ステップＳ６２４）行動履歴登録部３０９は、バーコードに基づいて取得した検査対象装置に係わる情報から、ＨＭＤ１に対して所定の動作を実行するスクリプトファイルが含まれているか否かを判別する。検査対象装置に係わる情報にスクリプトファイルが含まれていると判別された場合、行動履歴登録部３０９は、スクリプトを実行し、実行した結果得られたデータをサーバー２００に送信する。
なお、スクリプトファイルは、ＨＭＤ１内のフラッシュメモリー１２２に予め記憶させておくようにしてもよい。この場合、行動履歴登録部３０９は、カメラ６４が撮像した画像データからバーコードを抽出し、抽出したバーコードに埋め込まれているスクリプトファイルに対応する情報を抽出する。次に、行動履歴登録部３０９は、抽出したスクリプトファイルに対応する情報に基づいて、フラッシュメモリー１２２に記憶されているスクリプトファイルを読み出して、スクリプトを実行するようにしてもよい。
本実施形態では、このようにバーコードに埋め込まれているスクリプトファイルに基づいて、ＨＭＤ１に所定の動作を行わせる。すなわち、ＨＭＤ１のユーザーが、検査対象装置に貼ってあるバーコードを、カメラ６４を用いて撮像することで、ＨＭＤ１は、検査対象装置が設置されている位置Ｐ（ｉ）に関する情報、及び検査対象装置に対応したデータ等を取得して、サーバー２００に自動的に送信することができる。従って、ＨＭＤ１及びサーバー２００を含むシステムの管理者は、検査対象装置が設置されている位置Ｐ（ｉ）に関する情報、及び検査対象装置に対応したデータ等を自動的に取得することができる。
なお、ＨＭＤ１に対して実行させる所定の動作は、前述したように、例えば、カメラ６４による静止画または動画の撮像、集音マイク２４による集音、温湿度センサー１３６による検査を行う位置の温度及び湿度の取得、ＧＰＳセンサー１３５による位置Ｐ（ｉ）に関する情報の取得等である。
従って、本実施形態のＨＭＤ１は、ＨＭＤ１を使用するユーザーの記憶や勘、及び経験などに頼らずに、検査対象装置が設置されている位置Ｐ（ｉ）に関する情報、及び検査対象装置に対応したデータ等を収集できる。さらに、本実施形態のＨＭＤ１は、表示される情報に変更があった場合であっても、検査対象装置に貼ってあるバーコードに基づいて、ＨＭＤ１を使用しているユーザーに更新された情報を通知することができるので、検査を行う環境や状況に応じた検査を行うことが可能になる。なお、サーバー２００に記憶されている情報は、例えばシステムの管理者が、ＰＣ２１０を操作して、サーバー２００の記憶部２０２に予め記憶させておくようにしてもよい。
（ステップＳ６２５）図３９に戻って、行動履歴登録部３０９は、例えばステップＳ６１１〜Ｓ６２４においてＨＭＤ１が処理した内容を示す全ての情報を観察ログとして、ユーザーＩＤと関連付けてサーバー２００に送信する。この観察ログには、例えば、ステップＳ６１９において、ＨＭＤ１を使用しているユーザーが表示パネル６３に表示される情報を観察していたか否かを示す情報、ステップＳ６２０において、警告音を出力していた時間を示す情報等が含まれている。
次に、サーバー２００は、観察ログ及びユーザーＩＤを受信し、受信した観察ログを、ユーザーＩＤと関連付けて記憶部２０２に記憶させる。
（ステップＳ６２６）行動履歴登録部３０９は、眼球照明ライト１６６及びバックライト６２を消灯させる。
（ステップＳ６２７）行動履歴登録部３０９は、記憶部３０３に記憶されているサフィックスの値を確認して、予め定められている全ての検査対象装置に対して検査が終了したか否かを判別する。行動履歴登録部３０９は、全ての検査対象装置に対して検査が終了していないと判別した場合（ステップＳ６２７；Ｎｏ）、ステップＳ６０２に戻り、以下、全ての検査対象装置の検査が終了するまで、ステップＳ６０２〜Ｓ６２７を繰り返す。行動履歴登録部３０９は、全ての検査対象装置に対して検査が終了したと判別した場合（ステップＳ６２７；Ｙｅｓ）、処理を終了する。
以上説明したように、本実施形態におけるＨＭＤ１は、情報を表示する表示部（表示パネル６３）と、表示部がユーザーにより観察可能な状況であるか否かを判別する観察可否判定部（観察可否判定部３１０）と、音により報知を行う報知部（音響制御部３０５）と、観察可否判定部が判定した結果に基づいて、前記表示部がユーザーにより観察可能ではない状況であると判別された場合、前記報知部から報知するように制御する制御部（行動履歴登録部３０９）と、を備えている。この構成により、本実施形態におけるＨＭＤ１は、ユーザーが表示パネル６３に表示される情報を観察可能ではない場合、表示パネル６３に表示される情報を観察するようにユーザーに促すことが出来る。そのため、本実施形態のＨＭＤ１では、ユーザーは、表示パネル６３に表示された情報を確認することができるので、ユーザーが表示部に表示された情報を見落とすことを防げる。
また、本実施形態におけるＨＭＤ１において、行動履歴登録部３０９は、検査対象装置に貼られているバーコードに基づいて、サーバー２００から検査対象装置に係わる情報を取得する。行動履歴登録部３０９は、取得した検査対象装置に係わる情報に基づいて、取得した検査対象装置に係わる情報を表示パネル６３に表示する（報知する）必要があるか否かを判別する。取得した検査対象装置に係わる情報を表示パネル６３に表示する必要があると判定された場合、かつ観察可否判定部３１０によりユーザーが表示パネル６３に表示される情報を観察していないと判定された場合に、ユーザーに表示パネル６３に表示される情報を観察するように促すための報知を行う。
これにより、本実施形態におけるＨＭＤ１は、表示パネル６３に表示された情報を、ユーザーに観察するように促すことが出来る。そのため、本実施形態のＨＭＤ１では、ユーザーは、表示パネル６３に表示された情報を見逃すことなく確認することができる。
また、本実施形態におけるＨＭＤ１において、行動履歴登録部３０９は、検査対象装置に係わる情報に基づいてユーザーが表示パネル６３に表示された情報を確認する必要がないと判定した場合、かつ観察可否判定部３１０によりユーザーが表示パネル６３を観察していないと判定された場合に、表示パネル６３用のバックライト６２を消灯する。
これにより、本実施形態におけるＨＭＤ１は、ユーザーが表示パネル６３に表示される情報を観察している場合にのみ、バックライトを点灯させるので、省電力化できる。
また、本実施形態のＨＭＤ１において、行動履歴登録部３０９は、検査対象装置を検査中のユーザーの移動ログ、及び観察ログをサーバー２００に送信する。本実施形態のＨＭＤ１において、行動履歴登録部３０９は、検査対象装置に係わる情報から抽出したスクリプトファイルに応じて、ＨＭＤ１に所定の動作を行わせ、所定の動作により取得したデータを、サーバー２００に送信する。サーバー２００は、ＨＭＤ１から受信した移動ログ、観察ログ、及びデータを、ユーザーＩＤと関連付けて記憶部２０２に記憶させる。
これにより、本実施形態におけるＨＭＤ１は、ユーザーがいつどこでどの装置を検査したかをサーバー２００に記録することができる。そのため、本実施形態のＨＭＤ１では、システムの監督者がユーザーの検査作業の進捗状況を監視することができる。
また、本実施形態のＨＭＤ１では、まず「左右の眼の検出処理」を行う。これにより、本実施形態のＨＭＤ１は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて、表示部６０に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。
この結果、ユーザーの頭部に装着されたＨＭＤの姿勢に係わらず、ユーザーが表示部６０に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識できるＨＭＤ１を実現できる。また、本実施形態のＨＭＤ１は、表示部６０に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを判別するため、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよい。このため、本実施形態のＨＭＤ１は、自装置の大型化を抑えることができる。
さらに、本実施形態のＨＭＤ１は、このように表示部６０に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に応じて、表示部６０に表示する画像の表示角度を変更する。そして、本実施形態のＨＭＤ１は、この表示角度に応じて、表示部６０に画像を表示する。この結果、本実施形態のＨＭＤ１によれば、ユーザーは、ユーザーの頭部に装着されたＨＭＤ１の姿勢に係わらず、適切な表示角度で表示部６０に表示されている画像を観察できる。
さらに、本実施形態のＨＭＤ１は、「左右の眼の検出処理」の後、「注視点のキャリブレーション処理」を行う。この「注視点のキャリブレーション処理」において、ユーザーは、表示パネル６３に表示された表示画像に含まれる操作画像の操作を操作部（操作スイッチ３０、タッチスイッチ３４）により行う。実施形態のＨＭＤ１は、操作部により操作が行われているとき、表示部６０に表示されている表示画像に含まれる操作画像を注視している撮像画像を取得する。
また、本実施形態のＨＭＤ１は、「左右の眼の検出処理」の判別結果に基づいて、選択された撮像範囲ＱまたはＲ（図１９参照）の画像を選択する。すなわち、本実施形態のＨＭＤ１は、画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に基づいて、撮像画像から「注視点のキャリブレーション処理」に用いるユーザーの眼の領域を含む画像を選択する。そして、本実施形態のＨＭＤ１は、この選択された撮像範囲の画像を用いて「注視点のキャリブレーション処理」を行う。そして、本実施形態のＨＭＤ１は、ユーザーの視線に基づいて操作するためのパラメータである、操作された操作画像に基づく第１座標と撮像画像に基づく第２座標とを取得する。そして、実施形態のＨＭＤ１は、取得した第１座標と第２座標との組み合わせに基づいて、注視点検出のためのキャリブレーションを自動的に行う。
このため、本実施形態のＨＭＤ１では、ユーザーがキャリブレーション設定をメニュー等から選択して行わなくても、単に表示画像に含まれる操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。また、本実施形態のＨＭＤ１では、従来のように、図３１に示したような注視点検出のためのキャリブレーション用の画像をユーザーに注視させて行う、注視点検出のためのキャリブレーションを行わなくても、単に表示画像に含まれる操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。この結果、本実施形態によれば、利便性を向上することができる。
なお、実施形態のＨＭＤ１では、視線入力のアプリケーションを開始する前であっても、ならびに同アプリケーションを実行中であっても、操作部の操作によって操作画像が選択されたとき毎に、注視点検出のための計算式のキャリブレーションを行う。この結果、実施形態のＨＭＤ１によれば、ユーザーが操作部を操作したタイミングで注視点検出のためのキャリブレーションを、操作画像が選択されたとき毎に自動的に行うため、高い精度で視線入力が可能になっている。また、この注視点検出のためのキャリブレーションにおいて、上述したように、本実施形態のＨＭＤ１では、ユーザーの片眼を含む領域の画像を用いて行い、両眼を含む画像を撮影する必要がないため、ＨＭＤ１を小型化できる。
また、本実施形態のＨＭＤ１では、「眼球照明ランプの選択処理」で設定された眼球照明ライト１６６を点灯及び消灯することで、ユーザーの眼に適切な光線を照射することができる。このため、注視点検出のためのキャリブレーションを精度良く行うことができる。
なお、図９〜図１５を用いて説明したように、注視点検出のためのキャリブレーションの前に、画像の大きさを縮小させ、位置を移動させた場合、例えば、選択した表示領域Ｔに、パスワード入力画面４００ｅ、メニュー画面４００ｆ等を縮小して表示するようにしてもよい。また、注視点検出のためのキャリブレーションを行った後に、画像の大きさを縮小させ、位置を移動させた表示して視線入力を行う場合、表示位置、及び画像の縮小率に基づいて、記憶部３０３に記憶されている関係式の値を補正することで座標を変換するようにしてもよい。
なお、本実施形態では、注視点検出のためのキャリブレーションに、図３５に示したパスワード入力画面等を用いる例を説明したが、これに限られない。操作スイッチ３０により選択可能なキー、ボタン、アイコン等を、表示パネル６３に表示させるようにしてもよい。この場合においても、従来技術とは異なり、キャリブレーションのためだけの表示ではなく、ユーザーが操作を行う必然性がある操作に関するキー、ボタン、アイコン等を表示する。ユーザーは、操作時に、これらのキー、ボタン、アイコン等を注視している確率が非常に高いので、操作時の撮像画像に基づいて、注視点検出のためのキャリブレーションを行うことができる。
なお、処理部１２３は、ユーザーの眼の位置を撮像画像に基づいて検出する場合、眼球照明ライト１６６を点灯させてもよい。また、処理部１２３は、ユーザーの眼が表示部６０から離れた場合（図１２及び図１４を参照）、表示領域の縮小率を算出するために、輝点６０４Ａ及び輝点６０４Ｂの間隔（図１１を参照）と、輝点６０４Ｃ及び輝点６０４Ｄの間隔（図１２を参照）との比を測定する。
この処理により、図９に示すところの表示領域Ｓを表示領域Ｔに縮小することで、処理部１２３は、ユーザーが表示全体を見渡せるようにすることが可能である。さらに、輝点６０４Ａと輝点６０４Ｂとの中間の位置よりも、輝点６０４Ｅと輝点６０４Ｆ（図１４を参照）との中間の位置がずれていると判別される場合、処理部１２３は、ユーザーの眼がベクトルＶ１だけずれていることがわかる。このようにして、処理部１２３の画像切替部３０６（図２２を参照）は、図９における表示領域Ｔを、表示領域Ｕまでシフトさせることが可能となっている。
［第２実施形態］
第２実施形態では、表示部６０の位置６００ａ及び位置６００ｂ（第１実施形態の図３４を参照）を含む、表示部６０の多くの位置について、眼球照明ライト１６６の点灯及び消灯を切り替える例を説明する。
図４３は、本実施形態に係るヘッドマウントディスプレイ（第２表示モード、待避モード）の装着形態を示す図である。図４３では、装置本体部２１は、ユーザーの左右の眼を仮想的に結んだ線を含むＸＹ平面に対して、角度αだけ下側に傾いた姿勢となっている。
図４３（Ａ）は、右眼観察形態の第１表示モードから、表示部６０を時計回り方向に９０度回転させた装着形態を示す図である。この装着形態を、第２表示モードと称する。第２表示モードでは、表示部６０の先端部が上側に位置するよう、表示部６０は、収容部６１ａ及び球状部６１ｂを回転軸として、Ｙ’軸回り（図３を参照）で時計回り方向に９０度だけ回転される。これにより、表示部６０及びファインダー開口部６７は、ユーザー側から見ると、Ｚ軸方向に縦長に配置される。また、表示パネル６３は、アスペクト比が縦長の画像を表示する。
つまり、第２表示モードでは、表示部６０の表示パネル６３に表示される画像は、ユーザーの右眼に対して、斜め右前方向の位置に表示されることになる。また、第２表示モードでは、右眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄが点灯し、眼球照明ライト１６６ａ及び１６６ｂが消灯する。
図４３（Ｂ）は、右眼観察形態の第１表示モードから、表示部６０を反時計回り方向に９０度回転させた装着形態を示す図である。この装着形態を、待避モードと称する。待避モードでは、表示部６０の先端部が下側に位置するよう、収容部６１ａ及び球状部６１ｂを回転軸として、表示部６０をＹ’軸回り（図３を参照）で９０度だけ反時計回り方向に回転される。これにより、表示部６０及びファインダー開口部６７は、ユーザーの右眼の視野から待避することになる。また、待避モードでは、眼球照明ライト１６６ａ〜１６６ｄは、全て消灯してもよい。
第１表示モード、第２表示モード、及び待避モードにおいて、表示部６０の回転軸は共通である。このため、第２表示モード又は待避モードから、表示部６０を９０度回転させれば、第１表示モードに戻すことができる。すなわち、ユーザーは、ＨＭＤ１を外したり、装置本体部２１の角度を変えたりせずに、表示部６０をユーザーの右眼の視野から待避させたり、観察位置に戻したりすることができる。
なお、図４３（Ａ）及び図４３（Ｂ）に示した例では、右眼観察形態の第１表示モードから、表示部６０を縦に配置させる例を説明したが、図５（Ｂ）に示した左眼観察形態の第１表示モードからも同様に、表示部６０を縦に配置させることができる。すなわち、左眼観察形態の第１表示モードから、収容部６１ａ及び球状部６１ｂを中心軸として、ＸＺ平面で反時計回り方向に９０度だけ、表示部６０を回転させることで、ユーザーは、左眼観察形態の第２表示モードに、ＨＭＤ１を切り替え可能である。同様に、右眼観察形態の第１表示モードから、収容部６１ａ及び球状部６１ｂを中心軸として、Ｙ’軸回り（図３を参照）で時計回り方向に９０度だけ、表示部６０を回転させることで、ユーザーは、左眼観察形態の待避モードに、ＨＭＤ１を切り替え可能である。
制御部３０２は、加速度センサー１３２が検出した検出値、及び撮像素子７２（以上、図２２を参照）による撮像画像（図２６、図２７参照）に基づいて、右眼観察形態又は右眼観察形態と、第１表示モード、第２表示モード又は待避モードとを判別する。ここで、制御部３０２は、撮像素子７２による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、右眼観察形態又は右眼観察形態と、第１表示モード、第２表示モード又は待避モードとを判別する。また、制御部３０２は、撮像素子７２による撮像画像にユーザーの眼球が撮像されていない場合、待避モードであると判別する。
図４４は、本実施形態に係る表示部６０の位置と眼球照明ライト１６６の関係を説明する図であり、ユーザーの顔を正面から水平に見た場合の図である。図４４において、一点鎖線の四角形で示された位置６００ａ〜６００ｈは、表示部６０が配置される位置の例である。
＜第１表示モード＞
位置６００ａは、ユーザーの右眼の下側に、横向きに配置されている表示部６０の位置である。また、位置６００ｂは、ユーザーの左眼の下側に、横向きに配置されている表示部６０の位置である。また、位置６００ｃは、ユーザーの右眼の上側に、横向きに配置されている表示部６０の位置である。また、位置６００ｄは、ユーザーの左眼の上側に、横向きに配置されている表示部６０の位置である。
＜第２表示モード＞
位置６００ｅは、ユーザーの右眼の右側に、縦向きに配置されている表示部６０の位置である。また、位置６００ｆは、ユーザーの左眼の左側に、縦向きに配置されている表示部６０の位置である。
ＨＭＤ１の制御部３０２（図２２を参照）は、位置６００ａ、６００ｄ又は６００ｆのいずれかに表示部６０がある場合、この位置でユーザーの眼のより近傍に位置する眼球照明ライト１６６ａ及び１６６ｂを点灯させ、眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。一方、位置６００ｂ、６００ｃ又は６００ｅのいずれかに表示部６０がある場合、この位置でユーザーの眼のより近傍に位置する眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。
このように、制御部３０２は、ファインダー開口部６７の隅の近傍（予め定められた距離以内）に配置されている眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼をより正面から照射する眼球照明ライトが点灯するように、ユーザーと表示部６０との位置関係に応じて点灯状態を制御する。
＜待避モード＞
位置６００ｇは、ユーザーの右眼の右下側に、縦向きに配置されている表示部６０の位置である。また、位置６００ｈは、ユーザーの左眼の左下側に、縦向きに配置されている表示部６０の位置である。
位置６００ｇ及び６００ｈの位置に表示部６０がある場合、制御部３０２は、眼球照明ライト１６６ａ〜１６６ｄを、全て消灯させる。
次に、注視点検出のためのキャリブレーション時、又は業務ロギングの処理時に点灯させる眼球照明ライトを選択する選択処理について説明する。
図４５は、本実施形態に係るＨＭＤ１の眼球照明ライトの選択処理手順のフローチャートである。
（ステップＳ８０１）制御部３０２は、眼球照明部３０４を介して、眼球照明ライト１６６ａ及び１６６ｂを点灯させる。次に、制御部３０２は、撮像素子７２を駆動して撮像画像を取得し、取得した撮像画像を記憶部３０３に記憶させる。
（ステップＳ８０２）制御部３０２は、眼球照明部３０４を介して、眼球照明ライト１６６ａ及び１６６ｂを消灯させ、眼球照明ライト１６６ｃ及び１６６ｄを点灯させる。次に、制御部３０２は、撮像素子７２を駆動して撮像画像を取得し、取得した撮像画像を記憶部３０３に記憶させる。
（ステップＳ８０３）制御部３０２は、ステップＳ８０１で記憶させた撮像画像を読み出し、読み出した撮像画像から、眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の画像を抽出する。次に、制御部３０２は、抽出した輝点の画像の輝度を算出する。次に、制御部３０２は、ステップＳ８０２で記憶させた撮像画像を読み出し、読み出した撮像画像から、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の画像を抽出する。次に、制御部３０２は、抽出した輝点の画像の輝度を算出する。
次に、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いか否かを判別する。眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いと判別された場合（ステップＳ８０３；Ｙｅｓ）、ステップＳ８０４に進む。眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高くないと判別された場合（ステップＳ８０３；Ｎｏ）、ステップＳ８０５に進む。
（ステップＳ８０４）眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いと判別された場合、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂを選択し、選択した結果を記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。
（ステップＳ８０５）眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高くないと判別された場合、制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを選択し、選択した結果を記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。
第２実施形態においても、制御部３０２は、注視点検出のためのキャリブレーション時、図３１のステップＳ５０２又はＳ５０３の代わりに、上述したようにユーザーと表示部６０との位置関係に応じて眼球照明ライト１６６の点灯と消灯を制御する。また、制御部３０２は、業務ロギングの処理時、図３９のステップＳ６０４及びステップＳ６１７において、上述したようにユーザーと表示部６０との位置関係に応じて眼球照明ライト１６６の点灯と消灯を制御する。
上述したように、眼球照明ライト１６６の輝度に基づいて、眼球照明ライト１６６を制御するようにしたので、本実施形態のＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて眼球を照明するライトの選択が適宜行うことが可能となる。さらに、本実施形態のＨＭＤ１は、使用しない眼球照明ライト１６６を消灯することで、効率的な省電力対策が可能となっている。
なお、本実施形態では、眼球照明ライト１６６の輝度と、ユーザーと表示部６０との位置関係とに応じて、眼球照明ライト１６６の点灯及び消灯を制御する例を説明したが、眼球照明ライト１６６の点灯及び消灯を制御する例は、これに限られない。例えば、制御部３０２は、取得した撮像画像と記憶部３０３に記憶されている判別用画像とを、パターンマッチングにより比較し、比較した結果に基づいて、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６の点灯と消灯を制御するようにしてもよい。
以上のように、本実施形態のＨＭＤ１は、ユーザーの眼に対してユーザーの下側もしくは上側や外側に表示部６０が配置された場合であっても、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６の点灯と消灯を制御する。この結果、本実施形態のＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて、ユーザーの眼に適切な眼球照明ライト１６６の光による輝点に基づいてユーザーの視点を精度良く検出できるので、注視点検出のためのキャリブレーションを精度良く行うことができる。従って、第１実施形態と同様に、「業務ロギングの処理」において、本実施形態のＨＭＤ１は、ユーザーは表示パネル６３に表示されている選択項目を注視により選択することで、両手を使った作業をしながらでも、業務遂行に係るログを記録することができる。
さらに、本実施形態のＨＭＤ１は、ユーザーの眼に適切な眼球照明ライト１６６を点灯させるため、「業務ロギングの処理」において、ユーザーが表示パネル６３に表示される情報を観察しているか否かを精度良く判別することができる。この結果、本実施形態のＨＭＤ１は、第１実施形態と同様に、ユーザーが表示パネル６３に表示される情報を観察可能ではない場合、ユーザーに表示パネル６３に表示される情報を観察するように促すことができる。
また、本実施形態のＨＭＤ１は、第１実施形態と同様に、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６を消灯できるので、消費電力を削減することができる。
なお、表示部６０がユーザーの顔の正面にあり、眼球照明ライト１６６ａ〜１６６ｄの全てがユーザーの水平視線からほぼ等距離な位置にあると判別される場合、ＨＭＤ１は、原理的にはどの眼球照明ライト１６６を点灯してもよい。しかしながら、通常は眼の上方向には、天井の照明や空や太陽などがあり、これらの光源による輝点が眼球上に存在する可能性がある。そして、これらの輝点と眼球照明ライト１６６の輝点とが識別がしづらくなることから、表示部６０がユーザーの顔のほぼ正面にあると判別される場合、ＨＭＤ１は、眼の鉛直下方向に配置された眼球照明ライト１６６を点灯するように制御を行うようにしてもよい。
なお、表示部６０を含むファインダー開口部６７の長辺の近傍に眼球照明ライト１６６ａ〜１６６ｄを備える例を説明したが（図２を参照）、眼球照明ライト１６６ａ〜１６６ｄを備える例は、これに限られない。すなわち、眼球照明ライト１６６は、ファインダー開口部６７の短辺の近傍に配置されてもよい。
［第３実施形態］
次に、表示部がシースルー光学系の場合について説明する。
第１及び第２実施形態との差異は、表示部６０の構成のみである。
図４６は、本実施形態に係る本実施形態に係る光学系を説明するための表示部６０ａの断面図である。図８と同じ機能の部材には同じ番号を設けてあるので説明は省略する。
図４６に示すように、本実施形態の表示部６０ａは、バックライト６２、表示パネル６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５、偏光板９０、凹レンズ９１、１／４波長板９２、液晶９３、偏光板９４、開口部９５を含んで構成されている。図４６において、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｏ、Ｔは、各々、光線を表し、符号Ｓは、ユーザーの眼から出た光束を表す。
図４６に示すように、ユーザーの前面の景色は、光線Ｏとなって開口部９５に入射する。次に、光線Ｏは、開口部９５を抜けて、偏光板９４を透過する。次に、光線Ｏは、Ｓ偏光のみが透過する。
次に、光線Ｏは、液晶９３に入射する。なお、光線Ｏは、液晶９３の働きにより偏光方向が変わる。すなわち、液晶９３に通電した場合（オン状態）、光線Ｏは、液晶９３に入射したＳ偏光がＰ偏光となって、１／４波長板９２に入射する。次に、光線Ｏは、１／４波長板９２の働きにより左回りの偏光となる。
本実施形態において反射ミラー６６は、半透過タイプとなっており、例えば、５０％の光線を透過し、５０％の光を反射する。反射ミラー６６が、５０％の光線を透過するとして以下を説明する。この結果、光線Ｏの５０％が、１／４波長板７５に入射する。
なお、凹レンズ９１は、反射ミラー６６を構成する凸レンズとペアとなって、パワーゼロの平行平板となるようにするための部材である。
次に、光線Ｏは、１／４波長板７５の作用で、Ｐ偏光となり、第１プリズム６５ａに入射する。次に、光線Ｏは、接合面６５ｃをそのまま透過して、第２プリズム６５ｂを透過して偏光板９０に入射する。偏光板９０は、Ｐ偏光を透過するように構成されている。
以上の構成により、ユーザーによって外界の画像（開口部９５を通して見る画像）が、表示パネル６３から投影される画像とともに観察可能となっている。
次に、外界の画像を消し、表示パネル６３から投影される画像のみを観察する場合について説明する。
図４６において、液晶９３を無通電の状態（オフ状態）にすると、光線Ｏは、液晶９３により光線Ｏの偏光方向が変化されない。このため、光線Ｏは、偏光板９４でＳ偏光となる。次に、光線Ｏは、そのままが１／４波長板９２に入射する。次に、光線Ｏは、１／４波長板の働きにより右回りの偏光となる。
次に、反射ミラー６６を透過した光線Ｏの５０％が、１／４波長板７５に入射する。次に、光線Ｏは、１／４波長板７５の作用で、Ｓ偏光となる。次に、Ｓ偏光になった光線Ｏは、第１プリズム６５ａに入射する。接合面６５ｃに設けられた偏光反射膜は、Ｓ偏光を反射する。この結果、ユーザーの眼に外界の光線が、入射しない。
このように、液晶９３のオン状態とオフ状態の切り替えによって、外界の画像をファインダー内に透過して使用者によって観察可能か否かを制御することが可能である。なお、液晶９３のオン状態とオフ状態の切り替えは、例えば処理部１２３が行う。
図４６において、偏光板９０の働きは、反射ミラー６６によってユーザーが自分の眼を拡大して観察しないように配置している。ユーザーが自分の眼を拡大して観察しない理由について、説明する。
ユーザーの眼から出た光束Ｓは、偏光板９０でＰ偏光のみが透過し、第２プリズム６５ｂ、接合面６５ｃ、第１プリズム６５ａを透過して、１／４波長板７５に入射する。ここで、光線Ｓは、１／４波長板７５の作用により左回りの円偏光となり、反射ミラー６６で光線Ｔとして反射される。次に、光線Ｔは、反射によって右回りの円偏光となり、１／４波長板７５を透過する際にＳ偏光となる。
次に、光線Ｔは、第１プリズム６５ａを透過して接合面６５ｃに入射する。ここで、接合面６５ｃはＳ偏光を反射して透過しない。従って、ユーザーの眼には、自分自身の眼からでた光束が入射することはなく、表示画面中に自分の眼が見えることは無い。
また、眼の周辺画像を撮影するための結像レンズ７１ならびに撮像素子７２は、ファインダー開口部６７に隣接して設けられている。このため、結像レンズ７１ならびに撮像素子７２系の光線は、第２プリズム６５ｂを透過せずに、直接ユーザーの眼の近傍を撮影可能となっている。
図４７は、本実施形態に係る観察範囲と撮像範囲を説明する図である。図４７において、符号６７ａは、表示パネル６３から投影された画像の観察範囲を表している。符号６７ｂは、撮像素子７２の撮像範囲を表している。
また、図４７は、図１０等と同様に、反射ミラー６６を凸レンズに置き換えて、等価的に表した図である。
図４７において、結像レンズ７１の焦点距離は、反射ミラー６６の焦点距離より短く作られている。このため、図４６を紙面とは垂直に断面を切り取った場合、図４７で示すように、ユーザーの眼を含むその周囲の様子が撮影可能となっている。
なお、図４７において、結像レンズ７１ならびに撮像素子７２は、反射ミラー６６の光学中心とはオフセットしている。しかしながら、ユーザーは、表示部６０ａを眼の正面ではなく、口元の方向へ下げることでファインダー開口部６７から眼を十分に離すことが可能となっており、図４７に示すようにユーザーの眼は観察距離Ｌ８１の位置にある。このため、ユーザーが表示パネル６３を観察している場合、本実施形態によれば、撮像素子７２は、問題なくユーザーの眼ならびにその周囲を撮影可能となっている。
上述した構成を備えることで、ユーザーの眼を含む撮像を行い、第１実施形態と同様に、撮像素子７２が撮像した画像に基づいて、ＨＭＤ１の装着状態、視線キャリブレーションを行うことができるシースルー光学系の表示部を備えるヘッドマウントディスプレイを提供することができる。
なお、第２実施形態においても、第１実施形態で説明したように、眼球照明ライトを、ファインダー開口部６７の４辺のうち、対向する２辺の近傍に各々配置するようにしてもよい。
第３実施形態のＨＭＤ１は、第１実施形態と同様に、ユーザーが表示パネル６３に表示される情報を観察可能ではないと判定した場合、ユーザーに表示部を観察するように促すための報知を音により行う。この結果、第３実施形態のＨＭＤ１は、第１実施形態と同様に、ユーザーが表示パネル６３に表示される情報を観察可能ではない場合、表示パネル６３に表示される情報を観察するようにユーザーに音により促すことが出来る。従って、第３実施形態のＨＭＤ１は、ユーザーが表示パネル６３に表示された情報を確認することができるシースルー光学系の表示部６０ａを備えるヘッドマウントディスプレイを提供する。
また、第３実施形態のＨＭＤ１は、第１実施形態のＨＭＤ１の場合と同様に、検査対象装置に係わる情報に基づいてユーザーが表示パネル６３に表示された情報を確認する必要があると判定した場合、かつ観察可否判定部３１０によりユーザーが表示パネル６３に表示される情報を観察可能ではないと判定された場合に、ユーザーに表示パネル６３に表示される情報を観察するように促すための報知を音により行う。この結果、第３実施形態のＨＭＤ１は、第１実施形態と同様に、表示パネル６３に表示された情報が重要な場合に、ユーザーに表示パネル６３に表示されている情報を観察するように促すことが出来る。従って、第３実施形態のＨＭＤ１は、ユーザーが表示パネル６３に表示された情報を確認させることができるシースルー光学系の表示部６０ａを備えるヘッドマウントディスプレイを提供できる。
なお、第１〜第３実施形態では、ヘッドマウントディスプレイの例として、右眼観察形態と左眼観察形態を切り替えて使用できるヘッドマウントディスプレイの例を説明したが、これに限られない。例えば、右眼観察形態専用、または左眼観察形態専用のヘッドマウントディスプレイであってもよい。この場合、本実施形態で説明した処理の内、右眼観察形態、または左眼観察形態に関する処理のみを行うようにしてもよい。
なお、第１〜第３実施形態において、表示部６０（または表示部６０ａ）の画像を観察している眼を認識する際に、制御部３０２は、バックライト６２を点灯させるようにしてもよい。これにより、さらに撮像画像に含まれるユーザーの眼の領域を含む画像が鮮明になり、「左右の眼の検出処理」における演算処理が簡単になる。または、制御部３０２は、バックライト６２を消灯させた撮像画像と、バックライト６２を点灯させた撮像画像の両方を用いて「左右の眼の検出処理」を行うようにしてもよい。この場合、制御部３０２は、撮像画像において、ユーザーの眼を含む領域がより鮮明な方を用いて、「左右の眼の検出処理」を行うようにしてもよい。
なお、第１〜第３実施形態では、撮像画像の例として、図１１、図１２、図１４、図２６、図２７、及び図２８に示したように、ユーザーの片眼を含む領域が撮像された例を説明したがこれに限られない。撮像画像にはユーザーの両眼のうち、片眼を含む領域のみならず、ユーザーの他の片眼の一部を含む領域が撮像されていてもよい。この場合、制御部３０２は、撮像画像において占める面積が多い方の眼の画像領域を抽出して、抽出した画像領域をユーザーの片眼を含む領域とする。そして、制御部３０２は、この抽出したユーザーの片眼を含む領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。あるいは、制御部３０２は、撮像画像において眼球の画像が撮像画像の中心により近い方の眼の画像領域を抽出して、抽出した画像領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。また、制御部３０２は、眉毛の画像を抽出し、抽出した眉毛の画像の近傍にある眼の画像を抽出して、「左右の眼の検出処理」を行う。このように眉毛の画像の近傍にある眼の画像を抽出することで、本発明に係るＨＭＤ１では、ユーザーの片眼を含む領域の画像に、ユーザーの両眼のうち他の片眼の一部の画像又はその眼に対応する眉毛の画像が含まれていても、ユーザーの片眼の画像およびその眼に対応する眉毛の画像を適切に抽出できる。この結果、本発明に係るＨＭＤ１では、ユーザーの片眼を含む領域に基づいて、表示部６０に表示された画像を観察している眼が右眼と左眼とのいずれかであるかを適切に認識できる。
また、第１〜第３実施形態において、図２では、表示部６０及びファインダー開口部６７が長方形である例を示したが、表示部６０及びファインダー開口部６７は、正方形、楕円形、円形等であってもよい。表示部６０及びファインダー開口部６７が、このような形状であっても、複数の眼球照明ライトを、図２に示したように、ファインダー開口部６７の４辺のうち、対向する２辺の近傍に各々配置するようにしてもよい。
なお、第１〜第３実施形態では、眼球照明ライト１６６ａ〜１６６ｄ、または１６６ｅ〜１６６ｈを、例えば図２に示したように、ファインダー開口部６７の上下または左右に、各々２個ずつ設ける例を説明したが、これに限られない。例えば、ファインダー開口部６７の上下または左右に、各々１個ずつ設けるようにしてもよい、ファインダー開口部６７の上下または左右に、各々３個以上ずつ設けるようにしてもよい。
さらに、眼球照明ライト１６６ａ〜１６６ｄを設ける位置は、図２に示したようなファインダー開口部６７の上下でなくてもよい。ユーザーの眼球に照射できる位置であればよく、例えば、眼球照明ライト１６６ａ〜１６６ｄは、ファインダー開口部６７の内側の上下に設けるようにしてもよい。すなわち、ユーザーが、ＨＭＤ１をユーザーの眼の近傍に表示部６０が配置したとき、眼球照明ライト１６６ａ〜１６６ｄのいずれかがユーザーの眼の近傍に配置されればよい。このため、眼球照明ライト１６６ａ〜１６６ｄは、ファインダー開口部６７が配置された表示部６０の一面の範囲、または、ファインダー開口部６７の内側の範囲に配置されるようにしてもよい。また、表示部６０が配置されるユーザーの眼の近傍とは、例えば、図４５に示した位置６００ａ〜６００ｆのように、ユーザーの眼の下、上、外側等であり、撮像素子７２によりユーザーの眼の周辺画像を撮像できる範囲であればよい。
なお、第１〜第３実施形態では、右眼観察形態であるか左眼観察形態であるかを、加速度センサー１３２の検出値、または撮像素子７２が撮像した画像を用いる例を説明したが、これに限られない。例えば、眼球照明ライト１６６ａ〜１６６ｄに受光部を備えるタイプを使用し、各眼球照明ライト１６６ａ〜１６６ｄによる反射光を検出するようにしてもよい。例えば、右眼観察形態の場合、図３４に示したように、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの眼のより正面に配置される。このため、眼球照明ライト１６６ｃ及び１６６ｄによる反射光の輝度は、眼球照明ライト１６６ａ及び１６６ｂによる反射光の輝度よりも低い。
このように、処理部１２３は、各眼球照明ライト１６６ａ〜１６６ｄによる反射光を検出し、検出した結果に基づいて観察形態を判別するようにしてもよい。
また、撮像素子７２は、所定の時間間隔で、撮像画像を撮像してもよい。この場合、処理部１２３は、メインスイッチ２８をオフ状態にせずに、ユーザーがヘッドマウントディスプレイを頭部から外しているのか否かを、撮像素子７２が撮像した画像に基づいて判別するようにしてもよい。メインスイッチ２８をオフ状態にせずに、所定の時間以上、ユーザーがヘッドマウントディスプレイを頭部から外していると判別した場合、処理部１２３は、カメラ６４及び撮像素子７２による撮像を、停止させてもよい。また、処理部１２３は、眼球照明ライト１６６ａ〜１６６ｄを消灯させてもよい。さらに、処理部１２３は、省電力状態になるように、各通信回路等を制御するようにしてもよい。なお、これらの制御を行うか否かは、例えば、タッチスイッチ３４を操作することにより、ユーザーが設定してもよい。
または、処理部１２３は、ヘッドマウントディスプレイが頭部から外されているか否かを、例えば、心拍数センサー１３７の検出値に基づいて判別するようにしてもよい。
さらに、処理部１２３は、装置本体部２１がヘッドバンド４０に装着されていないことを検出スイッチ（不図示）が検出した場合、装置本体部２１が頭部から外されていると判別し、眼球照明ライト１６６ａ〜１６６ｄを全て消灯させてもよい。
これにより、処理部１２３は、ヘッドマウントディスプレイの消費電力を低減させることができる。
なお、第１〜第３実施形態では、ヘッドマウントディスプレイの例として単眼タイプについて説明したが、ヘッドマウントディスプレイは、両眼タイプでもよい。この場合、処理部１２３は、撮像素子７２が撮像した画像に基づいて、例えば、図４５に示したように眼の上の位置６００ｃ及び６００ｄに表示部が配置されている状態か、眼の下の位置６００ａ及び６００ｂに表示部が配置されている状態かを判別するようにしてもよい。処理部１２３は、判別した結果に基づいて、左右の眼に対応した表示部に各々設けられている眼球照明ライト１６６の点灯または消灯を制御するようにしてもよい。
また、眼球照明ライト１６６及び撮像素子７２は、ヘッドマウントディスプレイが両眼タイプの場合、左右それぞれの表示部のうち、片方の表示部６０だけに設けられてもよいし、両方の表示部６０に設けられてもよい。片方の表示部６０だけに、眼球照明ライト１６６を設けてもよい理由は、人が物を見る場合、一般的に、両眼の眼球が同じ方向を向くからである。
なお、第１〜第３実施形態では、ＨＭＤ１は、図２１に示した機能を備える例を説明したが、全ての機能を備えていなくてもよい。用途に応じて、例えば、温湿度センサー１３６、心拍数センサー１３７等を備えなくてもよい。逆に、ＨＭＤ１は、必要に応じて、図２２に示した以外の他の機能部を備えるようにしてもよい。
なお、第１〜第３実施形態では、ディスプレイ本体２０をヘッドバンド４０に装着して使用する例を説明したが、これに限られない。ユーザーは、ディスプレイ本体２０をヘッドバンド４０に装着せずに、用途に応じて単体で使用してもよい。
なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件のうち少なくとも１つの要件は、省略される場合がある。上記の実施形態で説明した各要件は、適宜、組み合わせることができる。
なお、上述のＨＭＤ１は、内部にコンピュータシステム（例えば、処理部１２３）を有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリーやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
１…ヘッドマウントディスプレイ、２０…ディスプレイ本体、２６…オーディオコネクター、３４…タッチスイッチ、６０…表示部、６３…表示パネル（表示部）、６４…カメラ、７２…撮像素子（撮像部）、１００…イヤホン、１０３…第１スピーカー、１０４…第２スピーカー、１２１…デコーダー、１２３…処理部、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３７…心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、１６６ａ〜１６６ｈ…眼球照明ライト、３０１…入力検出部、３０２…制御部、３０３…記憶部、３０４…眼球照明部、３０５…音響制御部、３０６…画像切替部、３０７…画像表示部、３０８…送受信部、３０９…行動履歴登録部、３１０…観察可否判定部

Claims (12)

  1. 情報を表示する表示部と、
    前記表示部がユーザーにより観察可能な状況であるか否かを判定する観察可否判定部と、
    音により報知を行う報知部と、
    前記観察可否判定部が判定した結果に基づいて、前記表示部が前記ユーザーにより観察可能ではない状況であると判定された場合、前記報知部から報知するように制御する制御部と、
    を備えることを特徴とする情報入出力装置。
  2. 前記制御部は、
    前記ユーザーが前記表示部に表示される前記情報が報知の対象として設定されているか否かを判別し、判別した結果、前記ユーザーが前記情報を確認する必要があると判定された場合、前記ユーザーに前記表示部を観察するように促すための報知を行うように制御する
    ことを特徴とする請求項１に記載の情報入出力装置。
  3. 前記観察可否判定部は、
    自装置が前記ユーザーの頭部近傍又は頭部にある状況、自装置が前記表示部に情報が表示されたときに前記情報を前記ユーザーにより観察が可能な状況、及び前記ユーザーが前記表示部を観察している状況のうち少なくとも１つの状況である場合に、前記表示部がユーザーにより観察可能な状況であると判定する
    ことを特徴とする請求項１または請求項２に記載の情報入出力装置。
  4. 前記制御部は、
    前記観察可否判定部が判別した結果、前記ユーザーが前記情報を確認する必要があると判定した場合、前記表示部の照明を点灯させ、前記表示部が前記ユーザーにより観察可能な状況ではないと判定された場合、前記表示部の照明を消灯させる
    ことを特徴とする請求項２に記載の情報入出力装置。
  5. 前記制御部は、
    前記情報が所定の期間に更新されている場合、前記情報に注意事項が含まれている場合、及び前記情報に確認事項がある場合、のうちの少なくとも１つの場合、前記表示部に表示される前記情報が報知の対象として設定されていると判定する
    ことを特徴とする請求項２または請求項４に記載の情報入出力装置。
  6. 前記制御部は、
    前記観察可否判定部が判定した前記表示部を前記ユーザーが観察可能な状況であるか否かである観察可否結果を記録する
    ことを特徴とする請求項２または請求項４に記載の情報入出力装置。
  7. 前記観察可否判定部は、
    ユーザーの片眼を少なくとも含む領域を撮像する第１撮像部と、
    前記第１撮像部が撮像して得た撮像画像に含まれる前記ユーザーの片眼を含む領域の画像に基づいて、前記表示部がユーザーにより観察可能であるか否かを判別する
    ことを特徴とする請求項２、請求項４から請求項６のいずれか１項に記載の情報入出力装置。
  8. 画像を撮像する第２撮像部、
    を備え、
    前記制御部は、
    前記情報に含まれる実行ファイルに応じて、前記第２撮像部に画像の撮像を行うように制御し、前記撮像した画像を自装置内に記録させるか送信するように制御する
    ことを特徴とする請求項２から請求項７のいずれか１項に記載の情報入出力装置。
  9. 音響信号を取得して記録する音響取得部、
    を備え、
    前記制御部は、
    前記情報に含まれる実行ファイルに応じて、前記音響取得部に音響信号の取得を行うように制御し、前記取得した音響信号を自装置内に記録するか送信するように制御する
    ことを特徴とする請求項２、請求項４から請求項８のいずれか１項に記載の情報入出力装置。
  10. 自装置が使用される環境情報を取得するセンサー部、
    を備え、
    前記制御部は、
    前記情報に含まれる実行ファイルに応じて、前記センサー部に自装置が使用される環境情報を取得するように制御する
    ことを特徴とする請求項２、請求項４から請求項８のいずれか１項に記載の情報入出力装置。
  11. 前記センサー部は、
    自装置の方角を検出する地磁気センサー、自装置にかかる加速度を検出する加速度センサー、温度または湿度を示す情報を取得する温湿度センサー、及び測位を行う測位センサーの少なくとも１つのセンサーである
    ことを特徴とする請求項１０に記載の情報入出力装置。
  12. 情報入出力装置における情報入出力方法であって、
    観察可否判定部が、情報を表示する表示部がユーザーにより観察可能な状況であるか否かを判定する観察可否判定手順と、
    制御部が、前記観察可否判定手順で判定された結果に基づいて、前記表示部が前記ユーザーにより観察可能ではない状況であると判定された場合、報知部から音により報知を行うように制御する手順と、
    を含むことを特徴とする情報入出力方法。
JP2013015798A 2013-01-30 2013-01-30 表示装置 Active JP6318462B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013015798A JP6318462B2 (ja) 2013-01-30 2013-01-30 表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013015798A JP6318462B2 (ja) 2013-01-30 2013-01-30 表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018073433A Division JP2018146966A (ja) 2018-04-05 2018-04-05 情報入出力装置、及び情報入出力方法

Publications (2)

Publication Number Publication Date
JP2014145734A true JP2014145734A (ja) 2014-08-14
JP6318462B2 JP6318462B2 (ja) 2018-05-09

Family

ID=51426089

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013015798A Active JP6318462B2 (ja) 2013-01-30 2013-01-30 表示装置

Country Status (1)

Country Link
JP (1) JP6318462B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016063801A1 (ja) * 2014-10-22 2016-04-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
JP2016207115A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017111721A (ja) * 2015-12-18 2017-06-22 株式会社ブリリアントサービス クリーンルーム用ヘッドマウントディスプレイ、クリーンルーム用ヘッドマウントディスプレイの制御方法、およびクリーンルーム用ヘッドマウントディスプレイの制御プログラム
JP2017117159A (ja) * 2015-12-24 2017-06-29 シャープ株式会社 端末装置及び双方向通信システム
JP2017134575A (ja) * 2016-01-27 2017-08-03 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
KR20180044331A (ko) * 2015-08-21 2018-05-02 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
JP2020047298A (ja) * 2019-12-09 2020-03-26 株式会社東芝 ウェアラブル端末、システム及び表示方法
US10664044B2 (en) 2015-07-07 2020-05-26 Seiko Epson Corporation Display device, control method for display device, and computer program
US11002975B2 (en) 2015-09-01 2021-05-11 Kabushiki Kaisha Toshiba System and method for image generation based on a display-attachable wearable device
WO2022061495A1 (zh) * 2020-09-22 2022-03-31 深圳市大疆创新科技有限公司 参数标定方法、装置及可移动平台
US11749025B2 (en) 2015-10-16 2023-09-05 Magic Leap, Inc. Eye pose identification using eye features

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10104549A (ja) * 1996-09-27 1998-04-24 Nikon Corp ヘッドマウントディスプレイ装置
JP2001018717A (ja) * 1999-07-06 2001-01-23 Matsushita Electric Ind Co Ltd 運転車両周辺監視装置
JP2002127948A (ja) * 1998-11-30 2002-05-09 Tuner Kk 車載用画像記録システム
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
JP2006105889A (ja) * 2004-10-08 2006-04-20 Canon Inc 眼検出装置および画像表示装置
JP2006163383A (ja) * 2004-11-15 2006-06-22 Canon Inc 情報処理装置、情報処理方法
JP2008292753A (ja) * 2007-05-24 2008-12-04 Denso Corp 情報表示装置
JP2009150866A (ja) * 2007-11-29 2009-07-09 Toshiba Corp 外観検査装置、外観検査システム及び外観検査方法
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2012007985A (ja) * 2010-06-24 2012-01-12 Nec Corp 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム
WO2012172719A1 (ja) * 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10104549A (ja) * 1996-09-27 1998-04-24 Nikon Corp ヘッドマウントディスプレイ装置
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
JP2002127948A (ja) * 1998-11-30 2002-05-09 Tuner Kk 車載用画像記録システム
JP2001018717A (ja) * 1999-07-06 2001-01-23 Matsushita Electric Ind Co Ltd 運転車両周辺監視装置
JP2006105889A (ja) * 2004-10-08 2006-04-20 Canon Inc 眼検出装置および画像表示装置
JP2006163383A (ja) * 2004-11-15 2006-06-22 Canon Inc 情報処理装置、情報処理方法
JP2008292753A (ja) * 2007-05-24 2008-12-04 Denso Corp 情報表示装置
JP2009150866A (ja) * 2007-11-29 2009-07-09 Toshiba Corp 外観検査装置、外観検査システム及び外観検査方法
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2012007985A (ja) * 2010-06-24 2012-01-12 Nec Corp 確認業務支援システム、サーバ装置、ヘッドマウントディスプレイ装置、ウェアラブル端末、確認業務支援方法およびプログラム
WO2012172719A1 (ja) * 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190310703A1 (en) * 2014-10-22 2019-10-10 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US10620699B2 (en) 2014-10-22 2020-04-14 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
CN106817913B (zh) * 2014-10-22 2020-10-09 索尼互动娱乐股份有限公司 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示系统
US10379605B2 (en) 2014-10-22 2019-08-13 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
JP2016081476A (ja) * 2014-10-22 2016-05-16 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
EP3211513A4 (en) * 2014-10-22 2018-07-25 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing device, display control program, and display control method
WO2016063801A1 (ja) * 2014-10-22 2016-04-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
CN106817913A (zh) * 2014-10-22 2017-06-09 索尼互动娱乐股份有限公司 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示系统
JP2016207115A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
US11301034B2 (en) 2015-07-07 2022-04-12 Seiko Epson Corporation Display device, control method for display device, and computer program
US10664044B2 (en) 2015-07-07 2020-05-26 Seiko Epson Corporation Display device, control method for display device, and computer program
US11073901B2 (en) 2015-07-07 2021-07-27 Seiko Epson Corporation Display device, control method for display device, and computer program
KR102591552B1 (ko) * 2015-08-21 2023-10-18 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
KR20180044331A (ko) * 2015-08-21 2018-05-02 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
US11789279B2 (en) 2015-09-01 2023-10-17 Kabushiki Kaisha Toshiba System and method for virtual image adjustment
US11428944B2 (en) 2015-09-01 2022-08-30 Kabushiki Kaisha Toshiba Wearable device and method for visual image adjustment
US11002975B2 (en) 2015-09-01 2021-05-11 Kabushiki Kaisha Toshiba System and method for image generation based on a display-attachable wearable device
US11749025B2 (en) 2015-10-16 2023-09-05 Magic Leap, Inc. Eye pose identification using eye features
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017111721A (ja) * 2015-12-18 2017-06-22 株式会社ブリリアントサービス クリーンルーム用ヘッドマウントディスプレイ、クリーンルーム用ヘッドマウントディスプレイの制御方法、およびクリーンルーム用ヘッドマウントディスプレイの制御プログラム
JP2017117159A (ja) * 2015-12-24 2017-06-29 シャープ株式会社 端末装置及び双方向通信システム
JP2017134575A (ja) * 2016-01-27 2017-08-03 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2020047298A (ja) * 2019-12-09 2020-03-26 株式会社東芝 ウェアラブル端末、システム及び表示方法
WO2022061495A1 (zh) * 2020-09-22 2022-03-31 深圳市大疆创新科技有限公司 参数标定方法、装置及可移动平台

Also Published As

Publication number Publication date
JP6318462B2 (ja) 2018-05-09

Similar Documents

Publication Publication Date Title
JP6318462B2 (ja) 表示装置
US11310483B2 (en) Display apparatus and method for controlling display apparatus
RU2670784C2 (ru) Ориентация и визуализация виртуального объекта
JP2013190941A (ja) 情報入出力装置、及び頭部装着表示装置
JP6123180B2 (ja) 表示装置
US10838205B2 (en) Head mounted display, control method thereof, and computer program
JP6011072B2 (ja) 制御装置、及びプログラム
JP2014021707A (ja) 情報入出力装置、及び情報入出力方法
US20150009309A1 (en) Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
JP2014123883A (ja) 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
US20180164983A1 (en) Display system, display apparatus, control method for display apparatus
JP6136090B2 (ja) 電子機器、及び表示装置
JP2014212473A (ja) 通信装置、及び頭部装着表示装置
JP2014044654A (ja) 情報入出力装置
JP2014021272A (ja) 情報入出力装置、及び情報入出力方法
JP2014022937A (ja) 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP6719418B2 (ja) 電子機器
JP2013175909A (ja) 頭部装着装置
JP6015223B2 (ja) 電子機器、及び表示装置
JP2014022942A (ja) 頭部装着装置
JP2014147033A (ja) 情報入出力装置、及び情報入出力方法
JP2013174730A (ja) 情報表示装置
JP2018146966A (ja) 情報入出力装置、及び情報入出力方法
JP6123160B2 (ja) 電子機器、及び表示装置
US20220295223A1 (en) Precision 6-dof tracking for wearable devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R150 Certificate of patent or registration of utility model

Ref document number: 6318462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250