JP2014123883A - 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法 - Google Patents

Abstract

【課題】利便性のよい頭部装着型情報入出力装置、及び頭部装着型情報入出力方法を提供することを目的としている。
【解決手段】自装置がユーザーに装着された場合、ユーザーの眼の近傍に配置され、ユーザーを検出する第１センサーと、所定の情報を報知する報知部と、第１センサーが検出した検出値に基づいてユーザーが居眠り状態であるか否かを判定し、判定した結果に基づいて、報知部による報知を制御する制御部と、を備える。
【選択図】図２２

Description

本発明は、頭部装着型情報入出力装置、及び頭部装着型情報入出力方法に関する。

従来、運転者の安全向上のために、運転者の脇見や居眠りを検出する装置が提案されている。このような装置は、例えば、車内に設けられている監視カメラが撮像した運転者の画像に基づいて、運転者の顔の向き、運転者の視線方向を検出している。そして、このような装置は、検出した運転者の顔の向きに基づいて、運転者の脇見を検出する（例えば、特許文献１参照）。

また、電車等で移動しているユーザーに対して、降車駅での乗り過ごしを防止する装置が提案されている。このような装置は、ユーザーが設定した降車駅の位置情報と、ＧＰＳ衛星から受信した現在位置とを比較して、降車駅が近づいたと判別した場合、装置の振動発生部を振動させる、又はスピーカーからアラームを発する。このような装置では、ユーザーに降車駅が近づいたことを知らせることで、降車駅での乗り過ごしを少なくする（例えば、特許文献２参照）。

特開２０１０−２５７２９３号公報 特開２０１１−１７０４０９号公報

しかしながら、特許文献１の装置は、車内の使用に限られていたので、ユーザーが車以外の電車などで移動している場合、ユーザーがこの装置を用いることができない。
また、特許文献２の装置は、ユーザーの居眠りを検出していないので、ユーザーが起きていても降車駅が近づいたことを知らせるために振動させ、またはアラームを発する。このように、特許文献１及び特許文献２の装置は、ユーザーにとって利便性が悪いという問題があった。

本発明は、上記の事情に鑑み成されたものであって、利便性のよい頭部装着型情報入出力装置、及び頭部装着型情報入出力方法を提供することを目的としている。

上記目的を達成するため、本発明の一態様に係る頭部装着型情報入出力装置は、自装置がユーザーに装着された場合、前記ユーザーの眼の近傍に配置され、前記ユーザーを検出する第１センサーと、所定の情報を報知する報知部と、前記第１センサーが検出した検出値に基づいて前記ユーザーが居眠り状態であるか否かを判定し、判定した結果に基づいて、前記報知部による報知を制御する制御部と、を備えることを特徴としている。

上記目的を達成するため、本発明の一態様に係る頭部装着型情報入出力方法は、制御部が、自装置がユーザーに装着された場合、前記ユーザーの眼の近傍に配置され、前記ユーザーを検出する第１センサーが検出した検出値に基づいて前記ユーザーが居眠り状態であるか否かを検出する手順と、前記制御部が、前記ユーザーが居眠り状態であるか否かを判別し、判別した結果に基づいて、報知部による報知を制御する手順と、を含むことを特徴としている。

本発明によれば、頭部装着型情報入出力装置は、利便性を向上することができる。

第１実施形態のヘッドマウントディスプレイの斜視図である。 第１実施形態に係るディスプレイ本体とヘッドバンドを取り外した状態でのヘッドマウントディスプレイを背面側から見た斜視図である。 第１実施形態に係るディスプレイ本体の水平断面図である。 第１実施形態に係るヘッドバンドの動作説明図である。 第１実施形態に係るヘッドマウントディスプレイの装着形態（第１表示モード）を示す図である。 第１実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。 第１実施形態に係る眼球照明ライトの点灯と消灯を説明する図である。 第１実施形態に係る表示部の構成及び光学系を説明するための表示部の断面図である。 第１〜第３観察状態のそれぞれにおける表示領域の違いを説明する図である。 第１観察状態における観察範囲と撮像範囲を説明する図である。 第１観察状態における撮像画像の一例を説明する図である。 第２観察状態における撮像画像の一例を説明する図である。 第２観察状態における観察範囲と撮像範囲を説明する図である。 第３観察状態における撮像画像の一例を説明する図である。 第３観察状態における観察範囲と撮像範囲を説明する図である。 眼の正面に表示部を配置して眼を含む周辺の画像を撮像する例を説明する図である。 第１実施形態に係る眼の下側に表示部を配置して眼を下から撮像する例を説明する図である。 第１実施形態に係る撮像素子の画角と選択範囲を説明する図である。 第１実施形態に係る撮像領域と選択領域を説明する図である。 第１実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。 第１実施形態に係るヘッドマウントディスプレイの機能ブロック図である。 第１実施形態に係る処理部の機能ブロック図である。 第１実施形態に係るＨＭＤを含む通信システムのシステム構成図である。 第１実施形態に係るＨＭＤの電源オン状態後に行う動作のフローチャートである。 第１実施形態に係る左右の眼の検出処理手順のフローチャートである。 右眼観察形態の場合の撮像範囲Ｓの撮像画像の一例を説明する図である。 左眼観察形態の場合の撮像範囲Ｓの撮像画像の一例を説明する図である。 左眼観察形態における撮像画像の一例を説明する図である。 第１実施形態に係るＨＭＤの眼球照明ライトの選択処理手順のフローチャートである。 第１実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。 第１実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。 第１実施形態に係る右眼観察形態における眼球照明ライトの点灯、消灯を説明する図である。 第１実施形態に係る表示部の位置と眼球照明ライトの関係を説明する図であり、ユーザーの顔を水平正面から見た図である。 第１実施形態に係るパスワード入力画面の一例である。 第１実施形態に係るメニュー画面の一例を示す図である。 第１実施形態に係るユーザーに入力を促す画面の一例である。 第１実施形態に係る視線入力のアプリケーションの画面の説明を行う図である。 第１実施形態に係るＨＭＤを用いた乗り物検出処理の手順のフローチャートである。 第１実施形態に係るＨＭＤを用いた乗り物検出処理の手順のフローチャートである。 第１実施形態に係るサイレントモード処理の手順のフローチャートである。 第１実施形態に係るサイレントモード処理の手順のフローチャートである。 第１実施形態に係る応答選択メニューの画像を示す図である。 第１実施形態に係る指差しによる項目選択が行われているときに表示パネルに表示される画像の一例を説明する図である。 第２実施形態に係るヘッドマウントディスプレイ（第２表示モード、待避モード）の装着形態を示す図である。 第２実施形態に係る表示部の位置と眼球照明ライトの関係を説明する図であり、ユーザーの顔を水平正面から見た図である。 第２実施形態に係るＨＭＤの眼球照明ライトの選択処理手順のフローチャートである。 第３実施形態に係る光学系を説明するための表示部の断面図である。 第３実施形態に係る観察範囲と撮像範囲を説明する図である。

本発明に係るヘッドマウントディスプレイ（頭部装着型情報入出力装置）は、ユーザーの眼を照明するための複数の照明部を、表示部の近傍に備える。ヘッドマウントディスプレイは、これら複数の照明部の点灯状態を、ユーザーと表示部との位置関係に応じて制御する。すなわち、ヘッドマウントディスプレイは、ユーザーと表示部との位置関係に応じて、点灯させる照明部を選択する。これにより、本発明に係るヘッドマウントディスプレイは、表示部がユーザーの眼に対して下側、上側又は外側のいずれに配置された場合でも、ユーザーの観察している視線や注視点を、検出することができる。
以下、頭部装着型情報入出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。

以下、本発明の実施形態について図面を参照しながら説明する。
以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ、ヘッドマウントディスプレイの各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。

［第１実施形態］
図１は、本実施形態に係るヘッドマウントディスプレイ（頭部装着装置、以下、ＨＭＤともいう）１の斜視図である。図２は、本実施形態に係るディスプレイ本体２０とヘッドバンド４０を取り外した状態でのヘッドマウントディスプレイ１を背面側から見た斜視図である。図３は、本実施形態に係るディスプレイ本体２０の水平断面図である。図４は、本実施形態に係るヘッドバンドの動作説明図である。図５は、本実施形態に係るヘッドマウントディスプレイの装着形態（第１表示モード）を示す図である。

ＨＭＤ１は、ディスプレイ本体２０と、ユーザーの頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のＨＭＤ１は、図５に示すように、両眼どちらでも使用可能である。図５（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態、図５（Ｂ）には左眼（左目）で見ている状態が示されている。
また、図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。

以下、ＨＭＤ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。

装置本体部２１は、概略板状の筐体２１Ａ（図３参照）を有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。

装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４（第２センサー）と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８はディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりＨＭＤ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。

装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３（報知部）と、オーディオコネクター２６（報知部）と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７（第２センサー）が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。

耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば、図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２はヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。

心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの眼の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。

装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０（第２センサー）と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）デバイスの接続端子である。本実施形態では、例えば不図示のリモコン（リモートコントローラー）が接続される。
操作スイッチ３０は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。

図３に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体２０の各部と電気的に接続されている。

装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。

ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。

ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図５（Ａ）に示す右眼で画像を観察する形態と、図５（Ｂ）に示す左眼で画像を観察する形態との切替機能が実現される。

またヘッドバンドヒンジ３２はボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの眼や耳に対する位置を調整することができる。

ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ＨＭＤ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は一次電池、二次電池のいずれであってもよい。

表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。また、図２に示すように、ファインダー開口部６７の形状は、長方形である。
表示部６０の筐体面には、眼球照明ライト１６６ａ〜１６６ｄが、ファインダー開口部６７の近傍に備えられている。図２では、眼球照明ライト１６６ａ及び１６６ｂは、ファインダー開口部６７の長辺の一方に沿った位置であって、ファインダー開口部６７の隅の近傍に備えられている。また、眼球照明ライト１６６ｃ及び１６６ｄは、ファインダー開口部６７の長辺の他方に沿った位置であって、ファインダー開口部６７の隅の近傍に備えられている。

眼球照明ライト１６６ａ〜１６６ｄは、例えば赤外線の波長領域の光を放射するＬＥＤ（発光ダイオード）である。眼球照明ライト１６６ａ〜１６６ｄは、ユーザーと表示部６０との位置関係に応じて、点灯または消灯される。以下では、眼球照明ライト１６６ａ〜１６６ｄを、眼球照明ライト１６６と総称する。

図３に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。

装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面２１ａに、傾斜面２１ａの法線方向（図３のＹ’軸方向）に突出するようにして設けられている。

表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ６１が装置本体部２１の傾斜面２１ａに設けられており、表示部６０が内側に湾曲した形状を有している。

また、ディスプレイヒンジ６１がボールジョイントであることから、表示部６０は、Ｙ’軸回りの回転面に対して直交する方向の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部６７の位置調整が容易になる。表示部６０と装置本体部２１との間隔を大きくすれば、表示部６０の揺動幅を大きくすることができる。

ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。

表示部６０の内部には、バックライト６２（報知部）と、表示パネル６３（報知部）と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０（報知部）と、結像レンズ７１と、撮像素子７２（第１センサー、撮像部）とが設けられている。なお、表示部６０の光学系の構成については、後述する。

カメラ６４は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。カメラ６４は、その撮像素子の受光面に結像した画像（光学像）を撮像する。カメラ６４は、例えば、ユーザーにとっての正面方向を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。

前方ライト６８は、例えばＬＥＤライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮影する際の照明装置として用いてもよい。
撮像素子７２は、その受光面に結像した画像（光学像）を撮像する。撮像素子７２は、例えば、ユーザーの顔を撮像することができる。なお、撮像された画像は、動画形式または静止画形式のいずれで信号処理されてもよい。

また、図３では図示を省略したが、本実施形態に係る表示部６０にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト６８の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング（指標の表示）が可能である。

次に、ヘッドバンド４０について、図２及び図４を参照しつつ説明する。
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。

第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。

第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。

また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。

ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。

ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。

この構成により、第２ヘッドバンド４４は、回動機構５６によって第１ヘッドバンド４３から離れる方向に回動付勢される一方、回動機構５７によって第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は第１ヘッドバンド４３に対して所定の角度となるように保持される。したがって、回動機構５６、５７は、ヘッドバンド４０における角度保持機構として機能する。

次に、以上の構成を備えたＨＭＤ１におけるヘッドバンドの動作等について、図４、図５を参照しつつ説明する。以下、ユーザーにとっての右側を「ユーザーの右側」と称する。また、ユーザーにとっての左側を「ユーザーの左側」と称する。また、ユーザーにとっての上側を「ユーザーの上側」と称する。また、ユーザーにとっての下側を「ユーザーの下側」と称する。また、ユーザーにとっての時計回り方向を「時計回り方向」と称する。また、ユーザーにとっての反時計回り方向を「反時計回り方向」と称する。

図５に示したように、本実施形態のＨＭＤ１は、図５（Ａ）に示す右眼観察形態と、図５（Ｂ）に示す左眼観察形態を切り替えて使用することができる。ここで、右眼観察形態とは、ユーザーが右眼で表示部６０を観察する形態である。また、左眼観察形態とは、ユーザーが左眼で表示部６０を観察する形態である。以下、図５（Ａ）及び図５（Ｂ）示した形態、すなわち、ユーザーから見てファインダー開口部６７が横長に配置される形態を、第１表示モードと称する。

例えば、右眼観察形態から左眼観察形態へ切り替えるには、まず、ヘッドバンド４０に連結されたディスプレイ本体２０を、ヘッドバンドヒンジ３２（図２を参照）の回転軸回り（図５では、Ａ方向）に１８０°程度回転させる。さらに、ヘッドバンド４０において、回動機構５６及び５７（図４を参照）の軸回りに第２ヘッドバンド４４を揺動させることで、第２ヘッドバンド４４の位置と第１ヘッドバンド４３の位置との前後関係を入れ替える。この操作により、図５（Ｂ）に示すように、ユーザーの左眼側にディスプレイ本体２０が配置され、且つ、第２ヘッドバンド４４がユーザーの後頭部側に配置された左眼観察形態に、ＨＭＤ１は切り替えられる。

右眼観察形態では、右眼の近傍にある眼球照明ライト１６６ａ及び１６６ｂが点灯し、眼球照明ライト１６６ｃ及び１６６ｄが消灯する。一方、左眼観察形態では、左眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄが点灯し、眼球照明ライト１６６ａ及び１６６ｂが消灯する。

本実施形態では、図４に示すように、第１ヘッドバンド４３の円弧高さｒ１を、第２ヘッドバンド４４の円弧高さｒ２よりも小さくしている。これにより、第２ヘッドバンド４４を第１ヘッドバンド４３と交差させるように移動させても、互いに干渉することなく円滑に前後を入れ替えることができる。
図４に示す円弧高さｒ１は、同軸に配置された回動機構５６、５７の回転軸Ｌの中央位置Ｃから第１ヘッドバンド４３までの距離の最大値である。また円弧高さｒ２は、回転軸Ｌの中央位置Ｃから第２ヘッドバンド４４までの距離の最大値である。

なお、第１ヘッドバンド４３の円弧高さｒ１を第２ヘッドバンド４４の円弧高さｒ２よりも大きくし、第２ヘッドバンド４４を第１ヘッドバンド４３の内側で揺動させる構成としてもよい。

図６は、本実施形態に係るヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有する。

コネクター１０１はケーブル１０２の一方の端部に設けられている。コネクター１０１は、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。

ステレオイヤホン１００は、コネクター１０１をディスプレイ本体２０のオーディオコネクター２６に接続して使用される。ステレオイヤホン１００が接続されると、ディスプレイ本体２０の耳元スピーカー２３と、表示部６０の通話マイク３７は無効化される。また表示部６０の前方スピーカー７０も必要に応じて無効化される。そして、ステレオイヤホン１００の第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５が有効化される。

ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。

また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図５（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。
また、右眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。

一方、図５（Ｂ）に示すようにユーザーの左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４がユーザーの左側の音を収集し、右耳に装着された集音マイク１０５がユーザーの右側の音を収集する。左眼観察形態では、ステレオイヤホン１００の第１スピーカー１０３から左チャンネルの音声が出力され、第２スピーカー１０４からは右チャンネルの音声が出力される。

次に、眼球照明ライト１６６ａ〜１６６ｄの点灯と消灯について説明する。
図７は、本実施形態に係る眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ａ）は、右眼観察形態における眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ｂ）は、左眼観察形態における眼球照明ライト１６６の点灯と消灯を説明する図である。図７（Ａ）及び図７（Ｂ）において、ユーザーの顔の正面方向を、ＨＺと表記する。

図７（Ａ）に示した例では、表示部６０は、右眼の斜め下に配置されている。また、正面方向ＨＺと表示部６０の画面の法線とは、角度αを成している。ＨＭＤ１は、眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼に近い側の眼球照明ライトを選択し、選択した眼球照明ライトを点灯させる。一方、ＨＭＤ１は、選択した以外の眼球照明ライト、すなわち、ユーザーの眼から遠い側の眼球照明ライトを消灯させる。

図７（Ａ）では、眼球照明ライト１６６ａ及び１６６ｂは、正面方向ＨＺから角度α１だけ下側に配置されている。一方、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α２だけ下側に配置されている。ここで、角度α１は、角度αより小さく、角度α２は、角度αより大きい。つまり、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの右眼の近くに配置されている。

この場合、ＨＭＤ１は、眼球照明ライト１６６ａ及び１６６ｂを点灯させ、且つ、眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。この点灯状態で、撮像素子７２は、ユーザーの右眼の周りを撮像する。以下、ユーザーの右眼の周りが撮像された画像を、「右眼の周辺画像」という。

なお、右眼の周辺画像には、右眼の画像、右眉毛の画像、顔の一部（頭、髪の毛等）の画像が含まれてもよい。また、左眼の周辺画像には、左眼の画像、左眉毛の画像、顔の一部（頭、髪の毛等）が含まれてもよい。以下、右眼の周辺画像、及び左眼の周辺画像を、「眼の周辺画像」と総称する。

図７（Ａ）に示した例では、ユーザーの右眼から遠い側の眼球照明ライト１６６ｃ及び１６６ｄは、ユーザーの頬が邪魔になり、ユーザーの右眼を照明できないこともある。したがって、ＨＭＤ１は、ユーザーの右眼から遠い側の眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。これにより、ＨＭＤ１は、消費電力を低減させることができる。

一方、図７（Ｂ）では、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α３だけ下側に配置されている。一方、眼球照明ライト１６６ｃ及び１６６ｄは、正面方向ＨＺから角度α４だけ下側に配置されている。ここで、角度α３は、角度αより小さく、角度α４は、角度αより大きい。つまり、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの左眼の近くに配置されている。

この場合、ＨＭＤ１は、眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、且つ、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。この点灯状態で、撮像素子７２は、ユーザーの左眼の周りを撮像する。以下、ユーザーの左眼の周りが撮像された画像を、「左眼の周辺画像」という。

図７（Ｂ）に示した例では、ユーザーの左眼から遠い側の眼球照明ライト１６６ａ及び１６６ｂは、ユーザーの頬が邪魔になり、ユーザーの左眼を照明できないこともある。したがって、ＨＭＤ１は、ユーザーの左眼から遠い側の眼球照明ライト１６６ａ及び１６６ｂを消灯させる。これにより、ＨＭＤ１は、消費電力を低減させることができる。

つまり、ＨＭＤ１は、ユーザーの眼と表示部６０との位置関係に応じて、眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼をより正面から照明することができる眼球照明ライトを点灯させ、それ以外の眼球照明ライトを消灯させる。

次に、表示部６０の構成及び光学系を説明する。
図８は、本実施形態に係る表示部６０の構成及び光学系を説明するための表示部６０の断面図である。図８に示すように、本実施形態の表示部６０は、バックライト６２、表示パネル６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５を含んで構成されている。図８において、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎは、各々、光線を表す。

まず、表示部６０の構成を説明する。
プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７のほぼ正面に位置する。

第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。

次に、表示部６０の光学系を説明する。
表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ている画像は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。
なお、撮像素子７２を介して取得された撮像画像は、ユーザーの視線の方向や瞬き、表情の解析、表示部６０の姿勢の解析に用いる。撮像画像には、眼の周辺画像が含まれている。なお、バックライト６２は、撮像素子７２による眼の周辺画像を撮像する際の補助照明としても利用されてもよい。

バックライト６２が照射した光は、表示パネル６３を透過して、第１プリズム６５ａに入射される。このとき、表示パネル６３の液晶の特性上、バックライト６２が照射した光が偏光され、偏光された光線ＨのＳ偏光が第１プリズム６５ａに入射される。

光線Ｈは、第１プリズム６５ａの裏面６５ｄに設けられた空気層の影響により全反射し、光線Ｉとして第１プリズム６５ａと第２プリズム６５ｂの接合面６５ｃに入射する。ここで２つのプリズムの接合面６５ｃには、Ｓ偏光が反射し、Ｐ偏光が透過する偏光反射膜が蒸着されている。ここで、光線Ｈは、Ｓ偏光であるため、接合面６５ｃで反射して光線Ｊとなる。光線Jは、裏面６５ｄに入射角０度で入射されるため、裏面６５ｄを透過して１／４波長板７５に入射される。

光線Ｊは、空気層を通った後に１／４波長板７５を透過することで、進行方向に対して右回りの円偏光となる。そして反射ミラー６６で反射した光線Ｋは、反射によって左回りの円偏光となる。そして、光線Ｋは、１／４波長板７５を再び透過し、Ｐ偏光となる。
光線Ｋは、Ｐ偏光に変換されたため、接合面６５ｃを透過できるので、ファインダー開口部６７を通過できる。このような構成により、ユーザーは、表示パネル６３上に表示された画像データを、ファインダー開口部６７越に観察できる。

一方、ファインダー開口部６７から入射した光線Ｌは、接合面６５ｃで反射してＳ偏光の光線Ｍに変換される。光線Ｍは、第２プリズム６５ｂにおける前面６５ｅの空気層で全反射して光線Ｎになる。光線Ｎは、結像レンズ７１により集光され、集光した光線Ｎが撮像素子７２に入射する。このような構成により、ユーザーの眼の前面に、ファインダー開口部６７が配置された場合、撮像素子７２には、ユーザーの眼の周辺画像（光学像）が結像する。

次に、右眼観察形態で、ファインダー開口部６７を介してユーザーが観察する画像と、撮像素子７２により撮像される画像とについて説明する。
なお、図１０、図１３及び図１５では、光学的に等価になるように、反射ミラー６６（図８を参照）は、凸レンズに置き換えられている。また、図１０、図１３、及び図１５において、一点鎖線ＣＴは、結像レンズ７１の光軸を表している。

以下、表示部６０が、ユーザーの眼から所定距離内に配置されている状態を、「第１観察状態」という。
図９は、第１〜第３観察状態のそれぞれにおける表示領域の違いを説明する図である。第１観察状態では、表示部６０がユーザーの眼から所定距離内に配置されているので、表示パネル６３の全表示領域は、ユーザーから観察可能である。したがって、表示パネル６３は、この全表示領域に画像を表示させることができる。すなわち、表示パネル６３の全表示領域が、表示領域Ｓとなる。

以下、表示領域Ｓの横の長さを、Ｓｗと表記する。また。表示領域Ｓの縦の長さを、Ｓｈと表記する。また、以下では、一例として、Ｓｗは８００画素、Ｓｈは６００画素として説明を続ける。また、表示領域Ｔの縦の長さを、Ｔｈと表記する。また、表示領域Ｔの横の長さを、Ｔｗと表記する。また、表示領域Ｕの縦の長さを、Ｕｈと表記する。また、表示領域Ｕの横の長さを、Ｕｗと表記する。

図１０は、第１観察状態における観察範囲と撮像範囲を説明する図である。観察範囲６７ａにユーザーの眼がある場合、ファインダー開口部６７を介して、ユーザーは、表示パネル６３の全表示領域に相当する表示領域Ｓを観察することができる。また、観察範囲６７ａは、反射ミラー６６（図１０では、凸レンズ）の光軸上では、ファインダー開口部６７から距離Ｐまでの範囲にある。一方、撮像素子７２が撮影することができる撮影範囲６７ｃは、観察範囲６７ａを含んでいる。つまり、撮像素子７２は、観察範囲６７ａにユーザーの眼がない場合でも、撮影範囲６７ｃにユーザーの眼があれば、ユーザーの眼を眉毛なども含めて撮像することができる。

図１１は、第１観察状態における撮像画像の一例を説明する図である。図１１の略中心には、撮像素子７２によりユーザーの眼が撮像されている。この場合、図７（Ａ）を用いて説明したように、眼球照明ライト１６６ａ及び１６６ｂが点灯している。右眼観察形態の場合、図１１における＋Ｚ側が鉛直上方向、−Ｚ側が鉛直下方向、＋Ｘ側がユーザーの左側、−Ｘ側がユーザーの右側となる。なお、左眼観察形態の場合、表示部６０が１８０度反転されているので、右眼観察形態と比較して、眼の周辺画像は左右上下が反転することになる。

図１１において、符号６０１Ｒは、右眼の画像を示す符号であり、符号６０２Ｒは、右眉毛の画像を示す符号である。符号６０４Ａは、眼球照明ライト１６６ａ（図２を参照）による輝点の画像を示す符号であり、符号６０４Ｂは、眼球照明ライト１６６ｂ（図２を参照）による輝点の画像を示す符号である。また、符号Ｌ４１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。例えば、第１観察状態において、撮像素子７２の解像度が、横方向（Ｘ軸方向）に６４０画素である場合、画像における眼の幅Ｌ４１は、３５０画素程度である。

図１１では、ユーザーの眼と眉毛の距離が幅Ｌ４１以下なので、撮像画像には、適切な範囲が撮像されているといえる。このように、ユーザーの眼を下側から撮影することは、有効である。
このように、第１観察状態では、ユーザーが正面を見る際、ファインダー開口部６７が邪魔にならない。また、後述するように、第１観察状態では、撮像素子７２による撮像画像に撮像された眉毛、目元及び眼球の動きに基づいて、ＨＭＤ１は、ユーザーの視線方向を検出することができる。

以下、ユーザーの眼が、第１観測状態と比較して表示部６０から離れている状態を、「第２観察状態」という。
次に、第２観察状態について、図９、図１２、及び図１３を用いて説明する。

図１２は、第２観察状態における撮像画像の一例を説明する図である。符号６０１Ｒ１は、右眼の画像を示す符号であり、符号６０２Ｒ１は、右眉毛の画像を示す符号である。符号６０４Ｃは、眼球照明ライト１６６ａによる輝点の画像を示す符号であり、符号６０４Ｄは、眼球照明ライト１６６ｂによる輝点の画像を示す符号である。また、符号Ｌ７１は、Ｘ軸方向におけるユーザーの眼の幅を示す符号である。
第２観察状態では、ユーザーの眼が表示部６０から離れているので、第１観察状態よりも、ユーザーの眼の画像が小さく撮像される。撮像画像におけるユーザーの眼の幅Ｌ７１が、第１観察状態におけるユーザーの眼の幅Ｌ４１以下（例えば、３００画素以下）である場合、ＨＭＤ１は、ユーザーが表示部６０から眼を離していると判定する。

図１３は、第２観察状態における観察範囲と撮像範囲を説明する図である。図１３では、ユーザーの眼ｅｙｅは、反射ミラー６６（図１３では、凸レンズ）の光軸上で、ファインダー開口部６７から距離Ｐ以上距離Ｐ２以内の位置に在り、第１観察状態における観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無い。このため、ユーザーは、表示領域Ｓ（図９を参照）の一部しか観察することができない。

そこで、第２観察状態では、ＨＭＤ１は、縮小率ηで縮小した画像を、表示領域Ｔ（図９を参照）に表示させる。第２観察状態において、表示領域Ｔに表示される画像の縮小率η（第１観察状態との比率）は、次式（１）により示される。

η ＝ Ｌ７１／Ｌ４１ ・・・（１）

例えば、ユーザーの眼の幅Ｌ４１（図１１を参照）が３５０画素であるのに対して、Ｌ７１（図１２を参照）が２２０画素である場合、ＨＭＤ１は、約０．６３倍（＝（Ｌ７１／Ｌ４１）＝（Ｔｈ／Ｓｈ）＝（Ｔｗ／Ｓｗ））に縦横をそれぞれ縮小した画像を、表示パネル６３の表示領域Ｔに表示させる。表示領域Ｔに表示された画像（光学像）の全体は、ファインダー開口部６７の縁に遮られることなく、ユーザーの眼に届く。なお、第２観察状態において、ＨＭＤ１は、眼球照明ライト１６６の輝度を、第１観察状態におけるその輝度と比較して高くしてもよい。

以下、表示部６０とユーザーの眼との相対位置が、第２観測状態と比較して左右いずれかの方向にずれている状態を、「第３観察状態」という。
次に、第３観察状態について、図９、図１４、及び図１５を用いて説明する。
図１４は、第３観察状態における撮像画像の一例を説明する図である。第３観察状態では、第２観察状態と比較して、ユーザーの眼の画像が、一例として、画像の中心付近から右下方向にベクトルＶ１だけずれて撮像されているとする。

符号６０１Ｒ２は、右眼の画像を示す符号であり、符号６０２Ｒ２は、右眉毛の画像を示す符号である。符号６０４Ｅは、眼球照明ライト１６６ａによる輝点の画像を示す符号であり、符号６０４Ｆは、眼球照明ライト１６６ｂによる輝点の画像を示す符号である。また、一点鎖線で示した６０５Ａは、ユーザーの眼の位置がずれていない場合に撮像される眼球の外形画像を表す。また、符号６０５Ｂは、ユーザーの眼が光軸中心にある場合の眼球の画像を表す。

図１５は、第３観察状態における観察範囲と撮像範囲を説明する図である。図１５では、ユーザーの眼ｅｙｅは、観察範囲６７ｅ内、すなわち、ファインダー開口部６７から距離Ｐ以上離れ、且つ、光軸ＣＴから内側にＶ１のＸ成分量（＝Ｖ１ｘ）だけずれている位置に在る。観察範囲６７ｅに在るユーザーの眼は、第１観察状態における観察範囲６７ｂ（光軸上で、ファインダー開口部６７から距離Ｐ以内）には無いので、表示領域Ｓ（図９を参照）の一部しか観察することができない。

そこで、第３観察状態では、ＨＭＤ１は、ユーザーから表示画像の全体が観察できるように、所定の縮小率（＝（Ｕｈ／Ｓｈ）＝（Ｕｗ／Ｓｗ））で画像を縮小する。また、ＨＭＤ１は、この縮小した画像を、表示領域Ｕ（図９を参照）に表示させる。ここで、ＨＭＤ１は、表示領域Ｓ（図９を参照）における表示領域Ｕの位置を、ユーザーの眼の位置ずれ量及び方向に応じて定める。第３観察状態では、表示領域Ｕは、表示領域Ｓの右上に定められている。

ここで、結像レンズ７１及び撮像素子７２から成る撮像系の記録画素数は、例えば、横６４０画素、縦４８０画素であるとする。また、結像レンズ７１及び撮像素子７２から成る撮像系の画角は、横６０度、縦４５度であるとする。この場合、１画素当たりの画角は、約０．０９４度となる。

したがって、ユーザーの眼の位置の水平方向のずれ量（ベクトルＶ１のＸ成分量）が、例えば、５０画素であれば、ユーザーの眼の位置は、４．７度（＝５０画素×０．０９４度）ほどずれていることになる。表示領域Ｓ（図９を参照）の水平方向（Ｓｗ：８００画素）の視野角が、例えば、３５度であれば、ＨＭＤ１は、表示パネル６３の中心から、１０８画素分（＝Ｓｗ×４．７度÷３５度）だけ、水平方向右に表示領域Ｕの位置を定める。ＨＭＤ１は、垂直方向についても同様に、所定画素数だけずらした位置に表示領域Ｕを定める。

図１４及び図１５では、ＨＭＤ１は、表示領域Ｕの水平方向Ｕｗが５００画素、縦方向Ｕｈが３７５画素となるまで画像を縮小し、表示領域Ｓの中心から水平方向右に１０８画素、且つ、ベクトルＶ１のｚ成分量（＝Ｖ１ｚ）に対応する前記所定画素数だけ垂直方向上にずらした位置に、表示領域Ｕを定める。表示領域Ｕには、表示領域Ｕと同じ縮小率で縮小された画像が表示される。これにより、ユーザーの眼ｅｙｅが光軸上からずれた場合でも、ＨＭＤ１は、画像の全体が見えるよう、その画像を表示することができる。

ＨＭＤ１は、撮像画像から、例えば、眼の輪郭の画像を抽出し、抽出した眼の輪郭の画像の位置に基づいて、眼の位置ずれ量及び方向（ベクトルＶ１）を検出する。ここで、眼の位置ずれ量及び方向の検出は、撮像画像から眼球の画像を抽出し、抽出した眼球の輪郭画像のずれ量に基づいて、その眼の位置ずれ量及び方向を検出してもよい。また、ＨＭＤ１は、眼球照明ライトＬＥＤ１６６ａ〜１６６ｄ（図２を参照）を適宜点灯させ、それらの眼球照明ライトが投射した光によるスポットを、ユーザーの眼球上で測定することで、ベクトルＶ１を検出するようにしてもよい。

上述したように、ユーザーの眼が表示部６０から離れている、又は、光軸からずれている場合でも、ＨＭＤ１では、ユーザーと表示部６０との位置関係に応じて、ユーザーが画像の全領域を観察可能となるように、表示部６０に画像を表示することができる。なお、表示領域を定めるタイミングは、注視点検出のためのキャリブレーション処理（後述）の前後のいずれでもよい。

次に、表示部６０の配置と、ユーザーの眼の撮像について説明する。
図１６は、眼の正面に表示部６０を配置して、眼を含む周辺の画像を撮像する例を説明する図である。図１７は、本実施形態に係る眼の下側に表示部６０を配置して、眼を下から撮像する例を説明する図である。

図１６及び図１７において、符号Ｌ１１は、ユーザーの下瞼から眉毛までの距離を表している。また、図１６及び図１７において、距離Ｌ１１は、４０［ｍｍ］である。また、図１６及び図１７において、ユーザーの顔を横から見た場合における、上下方向をＺ軸方向と、前後方向をＹ軸方向と称する。

図１６に示すように、眼の正面に表示部６０を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、幅Ｌ１１以上（例えば、幅Ｌ３１）を撮像できるまで、表示部６０の結像レンズ７１を、ユーザーの顔から遠ざける必要がある。ここで、幅Ｌ３１は、例えば、７０［ｍｍ］である。幅Ｌ３１の範囲が撮像される場合、ユーザーの眼から結像レンズ７１の中心まで、距離Ｌ２１だけ離される必要がある。ここで、距離Ｌ２１は、例えば８５［ｍｍ］である。

なお、距離Ｌ２１は、図８に示した光学系において、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長も含んでいる。仮に、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長の合計が２０［ｍｍ］であるとすると、ユーザーの顔からＹ軸方向に６５（＝８５−２０）［ｍｍ］だけ、表示部６０を遠ざける必要がある。

従って、眼の正面に表示部６０を配置した場合、ユーザーの下瞼から眉毛までを撮像するためには、表示部６０は、ユーザーの顔から遠ざけられた位置に配置される必要がある。

一方、図１７に示すように、眼の下側に表示部６０が配置された場合、ユーザーの下瞼から眉毛までの距離Ｌ１１の範囲を撮像するためには、幅Ｌ６１の撮像範囲を撮像する必要がある。ここで、下から煽るように撮像しているため、幅Ｌ６１は、図１６に示した幅Ｌ３１より短い。例えば、幅Ｌ６１は、２０［ｍｍ］である。この撮像範囲２０［ｍｍ］を確保するために必要な撮影距離（距離Ｌ５１）は、例えば、４５［ｍｍ］である。

図１６と同様に、第１プリズム６５ａ、第２プリズム６５ｂ等の光路長の合計が２０［ｍｍ］である場合、表示部６０は、ユーザーの顔から２５［ｍｍ］だけ遠ざけられる。また、Ｙ軸方向に対して表示部６０が角度β傾けてられている場合、顔から結像レンズ７１までのＹ軸方向の距離は、４５［ｍｍ］にｃｏｓβが乗算された値となる。

ＨＭＤ１は、眼の下に配置された表示部６０が、眼の周辺画像を撮像できるので（図１７を参照）、表示部６０が眼の正面に配置された場合と比較して（図１６を参照）、顔から表示部６０までの距離が短い。これにより、ＨＭＤ１は、大型化してしまうことがない。また、ＨＭＤ１は、表示部６０がユーザーの正面に配置されないため、表示部６０がユーザーの正面視野を遮ることもない。さらに、ＨＭＤ１は、表示部６０がユーザーの顔の近傍に配置されることも可能なので、例えば、狭い作業空間などにおいて、表示部６０が邪魔になることもない。

また、ＨＭＤ１は、表示部６０が眼の下に配置された場合、表示部６０が眼の正面に配置された場合と比較して（図１６を参照）、眼球照明ライト１６６の輝度を低くしてもよい。これにより、ＨＭＤ１は、消費電力を低減させることができる。

次に、右眼観察形態と左眼観察形態との切り替えに伴う、撮像素子７２の設置角度の調整について説明する。
図１８は、本実施形態に係る撮像素子７２の画角と選択範囲を説明する図である。図１８（Ａ）は、右眼観察形態における撮像素子７２の画角と選択範囲を説明する図である。図１８（Ｂ）は、左眼観察形態における撮像素子７２の画角と選択範囲を説明する図である。なお、図１８（Ａ）及び図１８（Ｂ）では、第１ヘッドバンド４３、第２ヘッドバンド４４、装置本体部２１等は、図示が省略されている。

図１９は、本実施形態に係る撮像領域と選択領域を説明する図である。図１９（Ａ）は、ヘッドバンドヒンジ３２（図２を参照）が揺動された場合における、撮像素子７２（図３を参照）による撮像領域を説明する図である。また、図１９（Ｂ）は、撮像領域から選択された選択領域を説明する図である。ここで、符号Ｐは、撮像素子７２が撮像可能な範囲を示す符号である。また、撮像素子７２は、例えば、４対３のアスペクト比を有する。

右眼観察形態の場合、第１表示モード（図５（Ａ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１８（Ａ）及び図１９（Ｂ）に示すように、符号Ｐで示した領域（以下、「撮像領域Ｐ」という）のうち、符号Ｑで示された領域（以下、「選択領域Ｑ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、右眼観察形態において、眉毛まで含めて右眼の画像データを適切に取り込むことができる。

一方、左眼観察形態の場合、第１表示モード（図５（Ｂ）を参照）では、撮像素子７２は、撮像領域のアスペクトが縦長になるように、表示部６０内に設けられている。この場合、撮像素子７２は、図１８（Ｂ）及び図１９（Ｂ）に示すように、撮像領域Ｐのうち、符号Ｒで示された領域（以下、「選択領域Ｒ」という）に撮像される範囲のみの画像データを取り込む。これにより、撮像素子７２は、左眼観察形態において、眉毛まで含めて左眼の画像データを適切に取り込むことができる。

また、ＨＭＤ１は、右眼観察形態又は左眼観察形態のいずれであるかを、加速度センサー１３２が検出した検出値（後述）の代わりに、撮像素子７２による撮像画像に基づいて適切に判定することができる。なお、右眼観察形態又は左眼観察形態のいずれであるかを判別する方法は、後述する。

図２０は、本実施形態に係る選択範囲の選択を機械的に行う機構を説明する図である。撮像素子７２の本体７２ａには、回転軸７２ｂが固定されている。この回転軸７２ｂに対しては、ダイヤル７２ｃが設けられている。ユーザーは、ダイヤル７２ｃを回動可能範囲で回動（図２０では、Ｄ方向）にさせることで、回転軸７２ｂを軸として、撮像素子７２をチルトさせることができる。

結像レンズ７１が上を向く方向にチルトされた場合、選択領域Ｑ（図１９（Ｂ）を参照）は、撮像領域Ｐにおける上側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｑで撮像することができる。一方、結像レンズ７１の下を向く方向にチルトされた場合、選択領域Ｒ（図１９（Ｂ）を参照）は、撮像領域Ｐの下側の領域に定められる。これにより、撮像素子７２は、ユーザーの眼及び眉毛を、撮像領域Ｒで撮像することができる。

なお、ＨＭＤ１は、ダイヤル７２ｃにより、撮像領域Ｑ又は選択領域Ｒの位置を微調節することも可能である。また、撮像素子７２による撮像画像が表示部６０に表示された場合、ユーザーは、表示部６０に表示されている撮像画像を観察しながら、表示部６０と眼の位置関係に応じて、撮像素子７２の撮像領域を選択することができる。この結果、ＨＭＤ１は、範囲が適切になるよう撮像された撮像画像を用いて、ＨＭＤ１の位置合わせ（後述）、及び注視点検出のためのキャリブレーションの精度を高めることができる。

次に、ＨＭＤ１の機能ブロックについて説明する。
図２１は、本実施形態に係るヘッドマウントディスプレイ１の機能ブロック図である。
ＨＭＤ１には、処理部１２３を中心として種々の電気回路が備えられている。処理部１２３は、ＣＰＵ（中央演算装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ＨＭＤ１の各種回路と接続されるとともに、ＨＭＤ１を総合的に制御する。

バッテリー３３は、電力を電源回路１２０に供給する。
電源回路１２０は、バッテリー３３から供給された電力を、処理部１２３の制御によりＨＭＤ１の各部に供給する。

本実施形態の場合、処理部１２３には、エンコーダー１２９及びデコーダー１２１、電源回路１２０、操作スイッチ３０、フラッシュメモリー１２２、ＢＬドライバ１２６、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２（第１センサー）、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発信器７３、角速度センサー１３４、ＧＰＳセンサー１３５（測位部）、温湿度センサー１３６、心拍数センサー１３７、メモリー１２７、メインスイッチ２８、タッチスイッチ３４、眼球照明ライト１６６ａ〜１６６ｄ、バイブレータ１６７（報知部）が接続されている。

エンコーダー１２９は音声信号及び画像信号を所定方式の音声データ及び画像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。

エンコーダー１２９には、集音マイク２４及び通話マイク３７から入力される音声信号、カメラ６４から入力される画像信号、オーディオコネクター２６から入力される音声信号、ビデオコネクター２７から入力される画像信号、及び、眼の周辺画像を撮影する撮像素子７２の画像信号が入力される。エンコーダー１２９に入力された音声信号及び画像信号は音声データ及び画像データにエンコードされた後、処理部１２３に入力される。入力された音声データ及び画像像データは、処理部１２３による再生動作に用いられたり、フラッシュメモリー１２２に記録される。

デコーダー１２１は、音声データ及び画像データを音声信号及び画像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。ＬＣＤドライバ１２５は液晶パネル用の駆動制御装置であり、表示パネル３６及び表示パネル６３に接続されている。スピーカーアンプ１６２は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。

画像データを再生する場合、フラッシュメモリー１２２に記録された画像データ、あるいはエンコーダー１２９から入力される画像データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された画像データは、画像信号にデコードされた後、ＬＣＤドライバ１２５を介して表示パネル３６、６３に供給される。そして、画像信号が入力された表示パネル３６又は表示パネル６３に画像データに基づく画像が表示される。また、デコーダー１２１からビデオコネクター２７に出力される画像信号は、ビデオコネクター２７を介して外部機器に出力される。

また画像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。ＢＬドライバ１２６は、バックライト用の駆動制御装置であり、バックライト３５及びバックライト６２に接続されている。処理部１２３は、ＢＬドライバ１２６に駆動信号を送信し、ＢＬドライバ１２６はバックライト３５、６２を個々に点灯させる。

音声データを再生する場合、フラッシュメモリー１２２に記録された音声データ、あるいはエンコーダー１２９から入力される音声データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ１６２を介して耳元スピーカー２３及び前方スピーカー７０のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー２３又は前方スピーカー７０から音声が出力される。また、デコーダー１２１からオーディオコネクター２６に出力される音声信号は、オーディオコネクター２６を介してステレオイヤホン１００に出力される。

本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０からは左右の音声信号が合成された音が発せられる。

一方、ステレオイヤホン１００に音声信号が出力される場合、第１スピーカー１０３及び第２スピーカー１０４のそれぞれ左チャンネル又は右チャンネルの音が出力される。ここで、本実施形態のＨＭＤ１は左右両用であるため、装着位置に応じてステレオイヤホン１００への音声信号のチャンネルが切り替わる。すなわち、ディスプレイ本体２０が右眼に装着されている場合には、第１スピーカー１０３に右チャンネル、第２スピーカー１０４に左チャンネルの音が出力される。ディスプレイ本体２０が左眼に装着されている場合には第１スピーカー１０３に左チャンネル、第２スピーカー１０４に右チャンネルの音が出力される。

メモリー１２７には、処理部１２３によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ２８や、画面内でのポインティング操作を行うための操作スイッチ３０、あるいはタッチ操作により各種操作を行うタッチスイッチ３４がユーザーにされると、これらのスイッチから操作に基づく制御信号が処理部１２３へ出力される。処理部１２３は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。

ＢＴ通信回路１３０は、他の機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を行うための通信回路である。ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（ＩＥＥＥ ８０２．１１）を行うための通信回路である。３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。

加速度センサー１３２は、ＨＭＤ１の傾き検出に用いられる。加速度センサー１３２は、例えば３軸センサーであり、重力加速度を検出する。加速度センサー１３２は、例えば、装置本体部２１内に取り付けられている。

以下、加速度センサー１３２の座標は、地表に直立したユーザーがＨＭＤ１を頭に装着している場合における、ユーザーにとっての上下方向をＺ軸方向、左右方向をＸ軸方向、前後方向をＹ軸方向とする。また、加速度センサー１３２は、右眼観察形態の場合にＺ軸方向の検出値が負値となり、左眼観察形態の場合にＺ軸方向の検出値が正値となるように、取り付けられている。

地磁気センサー１３３は、ＨＭＤ１の方角検出に用いられる。角速度センサー（ジャイロセンサー）１３４は、ＨＭＤ１の回転検出に用いられる。ＧＰＳセンサー１３５はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用した測位検出に用いられる。温湿度センサー１３６は、環境の温度、湿度の検出に用いられる。
心拍数センサー１３７は、ユーザーの頬に接触し、ユーザーの心拍数を検出し、検出した検出値を装着処理部３１１に出力する。心拍数センサー１３７は、例えば、赤外線を照射し、この赤外線の反射波に基づいて心拍数を測定し、測定した心拍数を示す情報を検出値として制御部３０２に出力する。また、心拍数センサー１３７は、赤外線の反射波に基づいて、ＨＭＤ１が頭部近傍数センチ以内にあることを検出し制御部３０２に出力する。
バイブレータ１６７は、例えば振動モーター、モーター駆動回路を含んで構成される。バイブレータ１６７は、後述するサイレントモードに設定されている場合、処理部１２３の制御により振動する。

なお、本発明において、報知部とは、音響信号により報知する耳元スピーカー２３、前方スピーカー７０、ステレオイヤホン１００、振動により報知するバイブレータ１６７、光により報知するバックライト６２、画像により報知する表示パネル６３である。また、本発明において、報知される所定の情報とは、ユーザーの居眠りが検出された場合に警告のための警告音（アラーム）、ユーザーの居眠りが検出された場合に警告のための光の点滅、ユーザーが利用している移動手段に応じたナビゲーションの音響信号または画像信号等である。
また、本発明において、ユーザーが居眠りしている状態（以下、居眠り状態ともいう）とは、ユーザーが目を瞑っている状態、ユーザーの体又は頭部が所定の周期で揺れている状態、ユーザーの体又は頭部が所定の角度以上、倒れている状態のうちのいずれかの状態である。

図２２は、本実施形態に係る処理部１２３の機能ブロック図である。処理部１２３は、入力検出部３０１、制御部３０２、記憶部３０３、眼球照明部３０４、音響制御部３０５、画像切替部３０６、画像表示部３０７、及び送受信部３０８、乗物検出部（移動手段検出部）３０９、居眠検出部（制御部）３１０、装着処理部３１１を備えている。図２２では、ＷｉＦｉ通信回路１３１及び３Ｇ／ＬＴＥ通信回路１３８（図２１を参照）を、「通信インタフェース（１３１、１３８）」と総称する。

入力検出部３０１は、タッチスイッチ３４上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、制御部３０２、画像切替部３０６、及び送受信部３０８に出力する。タッチスイッチ３４上で行われた操作の種類とは、発信の指示、及び受信の指示等である。入力検出部３０１は、タッチスイッチ３４上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。

制御部３０２は、タッチスイッチ３４の操作によりサイレントモードが設定されているか否かを判別する。制御部３０２は、サイレントモードが設定されているか否かを示す情報（以下、サイレントモード設定情報という）を音響制御部３０５に出力する。なお、本発明においてサイレントモードとは、他の端末から呼び出しがあったとき、頭部にＨＭＤ１が装着されている場合、もしくは頭部近傍にＨＭＤ１がある場合、例えば、耳元スピーカー２３から呼び出しを知らせる音（報知音ともいう）を出力することでユーザーに着信を知らせるモードである。あるいは、本発明においてサイレントモードとは、他の端末から呼び出しがあったとき、頭部にＨＭＤ１が装着されていない場合、例えば、バイブレータが振動することで、ユーザーに着信を知らせるモードである。なお、本発明において着信とは、送受信部が受信した受信信号に含まれている情報基づくものである。本発明において着信とは、例えば、通信相手の端末から通話またはチャット等の通信のための呼び出し、通信相手の端末から通話（音声情報、テキスト情報）、通信相手の端末からの電子メールの受信、通信相手の端末からの画像データの受信、予め登録してあるインターネットやサーバー上の掲示板等に新たな書き込み、つぶやき等の書き込みがあったことのサーバー２００からの通知である。
なお、報知音は、例えば、他の端末からの呼び出しを知らせる音である着信音であってもよい。また、例えば、他の端末から電子メール等の情報を受信した場合、報知音は、他の端末からの情報を受信したことを知らせる音であってもよい。また、このような報知音は、着信音と、他の端末からの情報を受信したことを知らせる音とが、異なる音であってもよく、同じ音であっても良い。
制御部３０２は、加速度センサー１３２が検出した検出値、及び撮像素子７２による撮像画像の少なくとも一方に基づいて、右眼観察形態又は右眼観察形態を判別する。ここで、制御部３０２は、撮像素子７２による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、撮像画像に映っているユーザーの眼が、左右どちらの眼の画像であるか（右眼観察形態又は右眼観察形態）を判別する。

制御部３０２は、撮像画像に映っているユーザーの眼が左右どちらの眼の画像であるか判別した結果に基づいて、眼球照明ライト１６６の点灯及び消灯を制御する。また、制御部３０２は、判別した結果に基づいて、オーディオコネクター２６に接続されているステレオイヤホン１００に出力する音声を制御する。また、制御部３０２は、判別した結果に基づいて、表示部６０から投影する画像を制御する。

記憶部３０３には、制御部３０２が生成した、視線に基づいて操作するためのパラメータが記憶されている。記憶部３０３には、緯度、経度、及び位置情報が関連付けられて記憶されている。位置情報は、例えば、住所、建物名、及び公園名等である。なお、記憶部３０３には、緯度、経度、住所、建物名、公園名等が関連付けられている地図情報が記憶されていてもよい。

眼球照明部３０４は、制御部３０２の制御に基づいて、眼球照明ライト１６６ａ〜１６６ｄを、点灯または消灯させるように駆動する。

音響制御部３０５は、制御部３０２が出力するサイレントモード設定情報と、乗物検出部３０９が出力したサイレントモード設定情報と、装着処理部３１１が出力するディスプレイ本体２０がユーザーの頭部に装着されているか否かを示す情報（以下、装着情報という）に基づいて、耳元スピーカー２３、前方スピーカー、及びバイブレータ１６７からの報知を制御する。
音響制御部３０５は、居眠検出部３１０が出力した居眠警告情報に基づいて、耳元スピーカー２３から警告音（アラームともいう）を発する。
音響制御部３０５には、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ）、送受信部３０８が出力する受信信号が入力される。音響制御部３０５は、送受信部３０８が出力する受信信号から、他の端末のユーザーの音声データ（以下、他端末の音声データともいう）を抽出する。音響制御部３０５は、制御部３０２が出力する装着状態を示す情報に基づいて、エンコーダー１２９が出力する音声データ（ＨＭＤ１のユーザーの音声データ）、又は、他の端末のユーザーの音声データに基づく音声を、ステレオイヤホン１００の左右どちらのスピーカーに出力するのかを選択し、左右のスピーカーの各音量等を調整する。

画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを取得する。画像切替部３０６は、取得した画像データの表示モードを、制御部３０２が出力した装着状態を示す情報に基づいて切り替え、切り替えた表示モードで、画像データを画像表示部３０７に出力する。ここで、表示モードとは、例えば、第１表示モード又は第２表示モード（図４４で後述）である。

画像切替部３０６は、送受信部３０８が出力した受信信号から、画像切替信号を抽出する。画像切替部３０６は、画像切替信号が抽出できた場合、抽出した画像切替信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを、画像表示部３０７に出力する。また、画像切替部３０６は、入力検出部３０１が出力した制御信号に基づき、エンコーダー１２９から出力された画像データ、またはフラッシュメモリー１２２から読み出した画像データの解像度を変換し、変換した画像データを画像表示部３０７に出力する。
画像切替部３０６は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識された観察形態に応じて表示部６０に表示するための画像を回転させる角度（（以下、表示角度という）例えば、０度、９０度、１８０度、２７０度）を切り替える。これにより、画像切替部３０６は、ユーザーの姿勢がいかようにあっても、表示部６０とユーザーの眼との関係に応じて、表示部６０に表示する画像の表示方向を適切に切り替えて表示することができるなお、観察形態は、撮像画像に含まれるユーザーの片眼を含む領域の画像に基づいて認識される。具体的には、右眼観察形態のときの画像の表示角度を０度とした場合及び左眼観察形態のときの画像の表示角度を１８０度とした場合、制御部３０２は、右眼観察形態のときの画像の表示角度を０度に切り替え、左眼観察形態のときの画像の表示角度を１８０度に切り替える。

画像表示部３０７には、画像切替部３０６が出力した画像データが入力される。画像表示部３０７は、入力されたこれらの画像データに基づき、表示パネル６３に表示する画像データを生成する。画像表示部３０７は、生成した画像データを、送受信部３０８、ビデオコネクター２７、及びＬＣＤドライバ１２５に出力する。

送受信部３０８は、入力検出部３０１が出力した制御信号に基づき、画像表示部３０７が出力した画像データを、通信インタフェース（１３１、１３８）を介して送信する。送受信部３０８は、通信インタフェース（１３１、１３８）を介して受信した受信信号を、画像切替部３０６に出力する。

乗物検出部３０９には、ＧＰＳセンサー１３５が測位した測位情報、及び加速度センサー１３２が検出した検出値が入力される。測位情報には、測位した位置の緯度情報、経度情報、高度情報、測位した時刻を示す時刻情報が含まれている。乗物検出部３０９は、測位情報及び加速度センサー１３２が検出した検出値に基づいて、ＨＭＤ１を使用しているユーザーの移動手段を検出し、検出した移動手段を示す移動手段情報を、居眠検出部３１０に出力する。乗物検出部３０９は、移動手段情報に基づいて、サイレントモードを有効又は無効に設定し、設定したサイレントモードが有効又は無効であることを示すサイレントモード設定情報を音響制御部３０５に出力する。
乗物検出部３０９は、送受信部３０８を介してインターネット等の通信回線に接続し、測位情報に基づいてＨＭＤ１が使用されている位置情報を取得する。または、乗物検出部３０９は、測位情報に基づいて、記憶部３０３に記憶されている位置情報を読み出して取得する。

居眠検出部３１０は、乗物検出部３０９が出力した移動手段情報に基づいて、現在、ユーザーが利用している移動手段が居眠りを警告する必要な移動手段であるか否か判別する。居眠検出部３１０は、居眠りを警告する必要な移動手段である場合、撮像画像に基づいて、ユーザーが居眠りをしている状態か否か、又は居眠りの兆候となる眼をつぶっている状態（目瞑り状態ともいう）であるか否かを判別する。居眠検出部３１０は、ユーザーが居眠りをしている状態である場合、又は目瞑り状態である場合、警告を示す居眠警告情報を音響制御部３０５に出力する。なお、移動手段は、後述するように、公共機関の車両（電車、バス）又は船舶による移動、徒歩による移動、自転車による移動、自動車による移動等である。

装着処理部３１１は、心拍数センサー１３７が検出した検出値に基づいて、ＨＭＤ１がユーザーの頭部に装着されているか否かを判別し、判別した結果に基づいて装着情報を生成する。装着処理部３１１は、生成した装着情報を音響制御部３０５に出力する。具体的には、装着処理部３１１は、心拍数センサー１３７から受け取った検出値が予め定められている閾値以上の場合、ＨＭＤ１がユーザーの頭部に装着されていると判別する。一方、装着処理部３１１は、心拍数センサー１３７から受け取った検出値が予め定められている閾値より小さい場合、ＨＭＤ１がユーザーの頭部に非装着であると判別する。なお、予め定められている閾値は、心拍数が１分間あたりの値の場合、例えば３０である。一般的な人の安静時の心拍数は、例えば男性の場合、６０〜７０程度であり、女性の場合、６５〜７５程度である。また、歩行時の心拍数は、安静時より高くなる。このため、閾値は、安静時の心拍数として検出されないような値、たとえば０でもよい。

図２３は、本実施形態に係るＨＭＤ１を含む通信システムのシステム構成図である。図２３に示すように、通信システムは、ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００から構成される。ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００は、ネットワーク２３０に接続されている。ネットワーク２３０は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、３Ｇ回線、ＬＴＥ回線等を介して接続されているインターネットなどのネットワークである。

図２３において、ＨＭＤ１は、図２１で説明した構成であるが、処理手順を説明する上で必要な機能部のみを示している。なお、ＨＭＤ１の表示パネル６３を、以後、ＬＣＤ６３という。
ＨＭＤ５００は、図２３に示すように、主にフラッシュメモリー５２２、処理部５２３、通信インタフェース（５３１、５３８）、地磁気センサー５３３、タッチスイッチ５３４、表示パネル（表示部）５６３（以後、ＬＣＤ５６３という）、カメラ５６４を備えている。ＨＭＤ５００の各機能部は、ＨＭＤ１の各機能部と同等である。

次に、サーバー２００の構成について説明する。図２３に示すように、サーバー２００は、処理部２０１、記憶部２０２、及び通信インタフェース２０３を備えている。

サーバー２００の処理部２０１は、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）から通信インタフェース２０３を介して受信した画像データ（動画、静止画、線画等）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録を、記憶部２０２に記録する。処理部２０１は、各端末の要求に応じて、記憶部２０２に記録してある画像データを読み出し、読み出した画像データを、各端末に送信する。

記憶部２０２には、各端末から受信した画像データ（動画、静止画）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録が記録されている。記憶部２０２には、各端末のユーザーに対応するパーソナルデータ、例えば、相手の名前や性別・国籍などのデータが、各端末の電話番号又はＩＰアドレス等の端末を識別できる情報と関連づけられて記憶されている。
通信インタフェース２０３は、例えば、ＷｉＦｉ通信回路、３Ｇ通信回路、ＬＴＥ通信回路、有線ＬＡＮ回路等を備えている。

次に、ＰＣ２１０及びＰＣ２２０の構成について説明する。ＰＣ２１０及びＰＣ２２０は、例えば、パーソナルコンピュータである。
ＰＣ２１０は、処理部２１１、記憶部２１２、通信インタフェース２１３、入力部２１４、表示部２１５、及びカメラ２１６を備えている。
ＰＣ２２０は、処理部２２１、記憶部２２２、通信インタフェース２２３、入力部２２４、表示部２２５、及びカメラ２２６を備えている。ＰＣ２２０の各機能部は、ＰＣ２１０の各機能部と同等である。

ＰＣ２１０の処理部２１１は、ＣＰＵ（中央演算装置）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。処理部２１１は、通信インタフェース２１３、入力部２１４、表示部２１５、及びカメラ２１６を制御する。処理部２１１は、記憶部２１２に記憶されている画像データ、通信インタフェース２１３を介して取得した画像データ、カメラ２１６で撮像された画像データを、後述するように通信インタフェース２１３介して取得した画像切替信号に基づいて切り替える。処理部２１１は、切り替えた画像データを通信インタフェース２１３及びネットワーク２３０に出力する。処理部２１１は、画像データを表示部２１５に出力する。処理部２１１は、入力部２１４の操作に基づき、表示部２１５上に、カーソル画像、または線画画像を表示するように制御する。処理部２１１は、通信インタフェース２１３を介して取得した受信信号に基づき、表示部２１５上に、カーソル画像、または線画画像を表示するように制御する。

記憶部２１２は、例えば、メモリー、ＨＤＤ（ハードディスク）である。記憶部２１２には、ＰＣ２１０のＯＳ（オペレーション・システム）、ＨＭＤ１、ＨＭＤ５００及びＰＣ２２０と通話を行うためのアプリケーション等が記憶されている。

通信インタフェース２１３は、例えば、無線ＬＡＮ、または有線ＬＡＮ、３Ｇ回線、ＬＴＥ回線等の通信を行うインタフェースである。通信インタフェース２１３は、ネットワーク２３０を介して受信した情報を処理部２１１に出力する。通信インタフェース２１３は、処理部２１１が出力した情報を、ネットワーク２３０を介して、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。

入力部２１４は、例えば、キーボード、マウス、タブレットと操作ペン等である。入力部２１４は、入力された情報を、処理部２１１に出力する。なお、表示部２１５がタッチパネル機能を有する場合、表示部２１５は入力部２１４の機能を兼ねるようにしてもよい。

表示部２１５は、処理部２１１が出力した画像データに基づく画像を表示する。
一例として、表示部２１５には、ＨＭＤ１が撮像した画像、ＰＣ２１０の入力部２１４の操作に応じた線画画像が合成されて表示される。

カメラ２１６は、例えば５００万画素〜１０００万画素の撮像素子を有するＣＭＯＳ（相補型金属酸化膜半導体）またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。

次に、ＨＭＤ１の動作について説明する。図２４は、本実施形態に係るＨＭＤ１の電源オン状態後に行う動作のフローチャートである。
（ステップＳ１）処理部１２３は、ＨＭＤ1のシステムの起動の完了を待って、システムの起動が完了したらステップＳ２に進む。なお、起動とは、メインスイッチ２８が操作されてＨＭＤ1がコールドスタートする場合、ならびにＨＭＤ1が所定時間使われなかった場合などにスリープ状態に至り、その後、タッチスイッチ３４などを操作された場合、ウォームスタートした場合などである。

（ステップＳ２）処理部１２３は、ユーザーが左右、どちらの眼でＨＭＤ１の表示部６０を観察しているか検出する処理（以下、左右の眼の検出処理という）を行う。なお、この「左右の眼の検出処理」の詳細な処理は、後述する。処理部１２３は、検出した結果に基づいて、表示部６０に表示する画像の向きを切り替える。

（ステップＳ３）処理部１２３は、点灯させる眼球照明ライト１６６と、消灯させる眼球照明ライトを選択する処理（以下、眼球照明ライトの選択処理という）を行う。なお、「眼球照明ライトの選択処理」の詳細な処理は後述する。

（ステップＳ４）処理部１２３は、注視点検出のためのキャリブレーションを行う。なお、注視点検出のためのキャリブレーションの詳細な処理については、後述する。

（ステップＳ５）処理部１２３は、ＨＭＤ１を使用しているユーザーの移動手段を検出する（以下、乗り物検出の処理という）。また、処理部１２３は、ＨＭＤ１を使用しているユーザーが居眠りをしているか否かを検出し、検出した結果に基づいて、耳元スピーカーから警告音を発する（以下、居眠り検出の処理という）。なお、「乗り物検出の処理」、「居眠り検出の処理」の詳細な処理については、後述する。

（ステップＳ６）処理部１２３は、ＨＭＤ１が他の端末との通信時に、耳元スピーカー２３、前方スピーカー７０、及びバイブレータ１６７から着信音を報知し、耳元スピーカー２３、前方スピーカー７０から通話音を発する（以下、サイレントモード処理という）。なお、「サイレントモードの処理」の詳細な処理については、後述する。

次に、「左右の眼の検出処理」手順について説明する。
図２５は、本実施形態に係る左右の眼の検出処理手順のフローチャートである。

（ステップＳ１０１）処理部１２３の制御部３０２は、加速度センサー１３２が検出した検出値において、Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いか否かを判別する。Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いと判別された場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２に進む。Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強くないと判別された場合（ステップＳ１０１；Ｎｏ）、ステップＳ１０３に進む。

（ステップＳ１０２）Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強いと判別された場合、表示部６０は、図５（Ａ）または図５（Ｂ）に示したような第１表示モードの装着形態である。このため、制御部３０２は、加速度センサー１３２の検出値に基づいて、右眼観察形態であるか左眼観察形態であるのかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。

（ステップＳ１０３）Ｚ軸方向の検出値が、Ｘ軸方向、Ｙ軸方向より強くないと判別された場合、ユーザーが寝ているか仰向けの状態であるため、制御部３０２は、撮像素子７２を駆動する。
図２６は、右眼観察形態の場合の撮像範囲Ｐの撮像画像の一例を説明する図である。図２７は、左眼観察形態の場合の撮像範囲Ｐの撮像画像の一例を説明する図である。
制御部３０２は、観察形態を判別するために、図１９で説明した撮像領域Ｐを使って、眼の周辺画像を撮像素子７２により撮像する。例えば、撮像画像は、図５（Ａ）に示した第１表示モードかつ右眼観察形態で使用されるときの撮像画像（以下、第１右眼画像という）を基準としている。このため、図２６に示すように、第１右眼画像６１０Ｒは、正立画像である。図２６に示すように、第１右眼画像６１０Ｒでは、右眼の画像６０１Ｒ３に対して、右眉毛の画像６０２Ｒ３が＋Ｚ方向にある。
一方、図２７に示すように、第１表示モードかつ左眼観察形態で使用されるときの眼の周辺画像（以下、第１左眼画像という）６１０Ｌは、倒立画像である。図２７に示すように、第１左眼画像６１０Ｌでは、左眼の画像６０１Ｌに対して、右眉毛の画像６０２Ｌが−Ｚ方向にある。

（ステップＳ１０４）図２５に戻って、制御部３０２は、撮像画像から眉毛の画像が抽出可能であるか否かを判別する。眉毛の画像が抽出可能であると判別された場合（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０５に進む。例えば、表示部６０が眼に近い場合、または化粧等によって眉毛の判別が難しい場合など、眉毛の画像を抽出ができないと判別された場合（ステップＳ１０４；Ｎｏ）、ステップＳ１０６に進む。なお、制御部３０２は、例えばパターンマッチングの技術を用いて、眉毛の画像を抽出する。
例えば、ユーザーが右眼観察形態で使用している場合、選択領域Ｑ（図１９（Ｂ）を参照）に撮像された画像は、図１１に示すような画像になる。一方、ユーザーが左眼観察形態で使用している場合、選択領域Ｒ（図１９（Ｂ）を参照）に撮像された画像は、図２８に示すような画像になる。図２８は、左眼観察形態における撮像画像の一例を説明する図である。なお、図２８では、選択領域Ｒの画像を１８０度回転させて示してある。このため、図２８の−Ｚ側がユーザーの上側、＋Ｚ側がユーザーの下側、−Ｘ側がユーザーの左側、＋Ｘ側がユーザーの右側となる。また、図２８において、符号６０１Ｌ２は、左眼の画像であり、符号６０２Ｌ２は、左眉毛の画像である。
なお、ステップＳ１０１〜Ｓ１０８の処理中、制御部３０２は、眼球照明ライト１６６を点灯させておいても、消灯させておいてもよい。ステップＳ１０１〜Ｓ１０８の処理中、制御部３０２は、バックライト６２を点灯させておいてもよい。

（ステップＳ１０５）眉毛の画像が撮像画像から抽出可能である場合、制御部３０２は、眉毛の画像と眼の画像との位置や、眉毛の形状から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、撮像画像が、ユーザーの右眼の画像であるか左眼の画像であるかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
例えば、図２６に示したように、眼球の画像に対して眉毛の画像が、＋Ｚ方向にあると判別した場合、制御部３０２は、ユーザーが右眼で表示部６０を観察している右眼観察形態であると判別する。一方、図２７に示したように、眼球の画像に対して眉毛の画像が、−Ｚ方向にあると判別した場合、制御部３０２は、ユーザーが左眼で表示部６０を観察している左眼観察形態であると判別する。

（ステップＳ１０６）眉毛の画像が撮像画像から抽出可能ではない場合、制御部３０２は、瞬きでの瞼の挙動から、例えばパターンマッチングの技術や画像の特徴量による画像比較の技術を用いて、ユーザーの右眼であるか左眼であるかを判別する。次に、制御部３０２は、判別した結果を示す情報を、画像切替部３０６に出力する。
例えば、瞬きは上瞼が動くことから、瞼が図１１において＋Ｚ方向から−Ｚ方向へ移動し、すぐに−Ｚ方向から＋Ｚ方向へ戻った場合、制御部３０２は、ユーザーが右眼で表示部６０を観察している右眼観察形態であると判別する。また、瞼の移動開始方向ならびに戻り方向がこの逆となった場合、制御部３０２は、ユーザーが左眼で表示部６０を観察している左眼観察形態であると判別する。
以上のように、本実施形態によれば、ユーザーが横方向に寝ている様な場合にも、加速度センサー１３２が検出した重力の方向にたよらずに、眉毛や瞼の動きを検出することでユーザーが観察している眼の方向を判別できる。

（ステップＳ１０７）ステップＳ１０６までの判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合、制御部３０２は、撮像素子７２が撮像した撮像領域Ｐから選択領域Ｑを選択し、ステップＳ１０８へ進む。一方、ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、撮像領域Ｐから選択領域Ｒを選択し、ステップＳ１０８へ進む。

（ステップＳ１０８）ステップＳ１０６までの判別結果に基づいて、右眼観察形態であると判別された場合、画像切替部３０６は、表示部６０の表示方向を右眼用に設定する。また、ステレオイヤホン１００が接続されている場合、音響制御部３０５は、第１スピーカー１０３を右耳用に、第２スピーカー１０４を左耳用になるようステレオ音声出力の左右を設定する。
一方、左眼観察形態であると判別された場合、画像切替部３０６は、表示部６０の表示方向を左眼用に設定する。なお、左眼用の表示方向とは、右眼用の表示顔面を１８０度回転させて上下反転させる方向である。また、ステレオイヤホン１００が接続されている場合、音響制御部３０５は、第１スピーカー１０３を左耳用に、第２スピーカー１０４を右耳用になるようステレオ音声出力の左右を設定する。

なお、ステップＳ１０１〜Ｓ１０６において、右眼観察形態であるか否かを、加速度センサー１３２の検出値、撮像画像に基づいて判別する例を説明したが、右眼観察形態であるか否かの判定方法は、これに限られない。
例えば、ＨＭＤ１は、ディスプレイ本体２０に取り付けられている不図示のスイッチ等により検出するようにしてもよい。むろんユーザーが、手動で右眼観察形態または左眼観察形態に設定してもよい。

次に、眼球照明ライトの選択処理について説明する。図２９は、本実施形態に係るＨＭＤ１の眼球照明ライトの選択処理手順のフローチャートである。

（ステップＳ４０１）制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ４０１；Ｙｅｓ）、ステップＳ４０２へ進み、ユーザーが左眼観察形態で使用していると判別された場合（ステップＳ４０１；Ｎｏ）、ステップＳ４０３へ進む。

（ステップＳ４０２）ユーザーが右眼観察形態で使用していると判別された場合、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂを選択し、選択した結果を眼球照明ライト選択設定として記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。

（ステップＳ４０３）ユーザーが左眼観察形態で使用していると判別された場合、制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを選択し、選択した結果を眼球照明ライト選択設定として記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。

以上のように、本実施形態のＨＭＤ１は、表示部６０とユーザーとの位置関係に応じて、眼球照明ライト１６６ａ〜１６６ｄを選択して点灯させるようにした。この結果、本実施形態のＨＭＤ１は、眼球を照明するライトを適宜選択可能としたことにより、使用者の眼を的確に照明できるとともに、消費電力を抑えることが可能となった。

次に、注視点検出のキャリブレーションの詳細について説明を行う。
本実施形態に係るＨＭＤ１では、キャリブレーション比較例のようにユーザーがキャリブレーション設定を行うのではなく、後述するように表示パネル６３に表示される情報を操作しているときに、視線（注視点）に基づいて操作するためのパラメータを取得し、注視点検出のためのキャリブレーションを行う。
図３０及び図３１は、本実施形態に係る注視点検出のためのキャリブレーションの手順のフローチャートである。図３２は、本実施形態に係る右眼観察形態における眼球照明ライト１６６の点灯、消灯を説明する図である。図３３は、本実施形態に係る表示部６０の位置と眼球照明ライト１６６の関係を説明する図であり、ユーザーの顔を水平正面から見た図である。
なお、以下では、図７（Ａ）、図７（Ｂ）、及び図３３に示すように、右眼観察形態かつ眼の下に表示部６０が配置されている状態、または左眼観察形態かつ眼の下に表示部６０が配置されている状態を検出して、注視点検出のためのキャリブレーションを行う例について説明する。

図３３において、一点鎖線で示した位置６００ａ〜６００ｂは、表示部６０が配置される位置の例である。以下の処理で説明するように、ＨＭＤ１は、位置６００ａに表示部６０がある場合、眼の近傍にある眼球照明ライト１６６ａ及び１６６ｂを点灯させ、他を消灯させる。一方、ＨＭＤ１は、位置６００ｂに表示部６０がある場合、眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、他を消灯させる。

（ステップＳ５０１）制御部３０２は、「左右の眼の検出処理」の判別結果に基づいて、ユーザーが右眼観察形態で使用しているか否かを判別する。制御部３０２は、ユーザーが右眼観察形態で使用していると判別された場合（ステップＳ５０１；Ｙｅｓ）、ステップＳ５０２に進み、ユーザーが右眼観察形態で使用していないと判別された場合（ステップＳ５０１；Ｎｏ）、ステップＳ５０３に進む。

（ステップＳ５０２）右眼観察形態であると判別された場合、制御部３０２は、記憶部３０３に記憶されている眼球照明ライトの選択設定を読み出す。次に、制御部３０２は、読み出したる眼球照明ライトの選択設定に基づいて、眼球照明部３０４を介して眼球照明ライト１６６ａと１６６ｂを点灯する。
図３２に示すように、ユーザー右眼の下に表示部６０を配置して観察する場合、眼球照明ライト１６６ｃと１６６ｄは、極めて頬の近傍に配置されることになるために眼球を照明できない。このため、本実施形態では、図３３の位置６００ａに示すように、眼球照明部３０４は、眼球照明ライト１６６ｃ、及び１６６ｄは消費電力を下げるために消灯する。

（ステップＳ５０３）左眼観察形態であると判別された場合、制御部３０２は、記憶部３０３に記憶されている眼球照明ライトの選択設定を読み出す。次に、制御部３０２は、読み出したる眼球照明ライトの選択設定に基づいて、眼球照明部３０４を介して、図３３の位置６００ｂに示すように、眼球照明ライト１６６ｃと１６６ｄを点灯する。眼球照明部３０４は、消費電力を下げるために、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。
以上の処理により、本実施形態のＨＭＤ１は、ユーザーの眼と表示部６０との位置関係に応じて眼球を照明するライトの選択が適宜行うことが可能となる。さらに、本実施形態のＨＭＤ１は、使用しない眼球照明ライト１６６を消灯することで効率的な省電力対策が可能となっている。

（ステップＳ５０４）画像切替部３０６は、ステップＳ５０２またはＳ５０３終了後、図３４に示すようなパスワード入力画面（表示画像）を、ＬＣＤ６３に表示する。これは一般に普及しているモバイル用途のＰＣや携帯電話で用いられている、ユーザーが設定したパスワードを入力するもので、他人が使用することを防ぐことを目的にしている。
図３４は、本実施形態に係るパスワード入力画面４００ｅの一例である。図３４において、パスワード入力画面４００ｅの長手方向をＸ軸方向、短手方向をＺ軸方向とする。図３４に示すように、ＬＣＤ６３上には、ＡからＺまでのアルファベット・キー（操作画像）４６１、記号キー（操作画像）４６２、シフトキー（操作画像）４６３、１０キー切り替えキー（操作画像）４６４、スペースキー（操作画像）４６５、決定（Ｄｏｎｅ）キー（操作画像）４６６、入力された文字を表示する領域４６７、及びカーソル４６８が表示される。また、図３４において、符号Ｄｘは、Ｘ軸方向の座標、符号Ｄｚは、Ｚ軸方向の座標を表す。

表示画像とは、ＬＣＤ６３に表示される画像であり、図３４に示したパスワード入力画面、後述するメニュー画面等である。また、操作画像とは、表示画像上に表示され、ユーザーが操作部（操作スイッチ３０、タッチスイッチ３４）により選択可能な、各々のキー画像、各々のボタン画像、各々のアイコン画像、カーソル画像等である。上述のように、これらの表示画像は、表示されたことに応じて、ユーザーが操作部を操作して、操作画像の選択を行うことを促す画像を含んでいる。

（ステップＳ５０５）図３０に戻って、制御部３０２は、パラメータのサフィックス（文字列）となる「ｉ」をゼロに初期化する。

（ステップＳ５０６）制御部３０２は、サフィックス「ｉ」に１を加算する。

（ステップＳ５０７）制御部３０２は、撮像素子７２が撮像した撮像画像（含む映像）を取得する。次に、制御部３０２は、取得した撮像画像に基づいて、眼球に照射されている眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（第２座標）（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得する。第２座標は、眼球の回動動作、すなわち視線の方向に１対１で対応する座標である。

制御部３０２が取得した撮像画像は、例えば図１１である。図１１に示すように、眼球照明ライト１６６aによる輝点６０４Ａ、及び眼球照明ライト１６６ｂによる輝点６０４Ｂが画像に映っており、この輝点が眼球の運動に連動して移動する。すなわち、眼球が左側に動く場合、輝点６０４Ａ及び６０４Ｂは、＋Ｘ側へ移動する。また、眼球が左側に動く場合、同輝点は、−Ｘ側へ移動する。また、眼球が上方に動く場合、輝点は、＋Ｚ側へ移動し、眼球が下方向に動く場合、輝点が−Ｚ側に移動する。この眼球の動きは、ＬＣＤ６３内の表示で何処を注視するかによって、ＬＣＤ６３内の位置と輝点の位置が一義的に決定される。

図３４のパスワード入力画面４００ｅにおいて、カーソル４６８が表示される。カーソル４６８は、ユーザーが操作スイッチ３０を上下左右に倒して操作することで、カーソル４６８の位置を上下左右に動かすことが可能となっている。そして、図３４に示すように、例えばパスワードの一文字として「Ｐ」が選択された場合、カーソル４６８が「Ｐ」の文字の所に移動され、さらに操作スイッチ３０が押圧されて、「Ｐ」の文字が入力される。
この操作スイッチ３０が押圧される直前において、ユーザーは、「Ｐ」の文字を注視している確率が非常に高いので、このときの眼の輝点の座標を取り込む。なお、制御部３０２は、図１１における２つの輝点６０４Ａの座標（Ｘａ，Ｚａ）、輝点６０４Ｂの座標（Ｘｂ，Ｚｂ）の平均を取った値を用いて、パスワード１文字目を注視したときの眼の輝点のＸ軸及びＹ軸の測定値Ｅｘ（１）、Ｅｚ（１）を、次式（２）及び次式（３）のように算出する。

Ｅｘ（１）＝ （Ｘａ＋Ｘｂ）／２ ・・・（２）

Ｅｚ（１）＝ （Ｚａ＋Ｚｂ）／２ ・・・（３）

制御部３０２は、算出した測定値の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を、記憶部３０３に記憶させる。

（ステップＳ５０８）図３０に戻って、制御部３０２は、文字が表示されているＬＣＤ６３上の座標（第１座標）である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。例えば図３４において「Ｐ」の文字が選択された場合、制御部３０２は、文字「Ｐ」の座標が取得し、パスワード１文字目の座標として（Ｄｘ（１）、Ｄｚ（１））を取得する。このように、第１座標は、ＬＣＤ６３に表示される表示画像内における操作画像の座標である。また、操作画像には、各々、予め定められている基準点が記憶部３０３に記憶されているようにしてもよい。予め定められている基準点は、例えば操作画像の角（左上、右上、左下、または右下）、操作画像の中心等である。制御部３０２は、選択された操作画像に予め定められている基準点の座標を取得する。または、制御部３０２は、文字「Ｐ」におけるカーソル４６８の矢印の先端の基準点を座標の代わりに取得し、取得した座標を第１座標としてもよい。

（ステップＳ５０９）制御部３０２は、ユーザーにより設定されているパスワードの認証が完了したか否かを判別する。パスワードの認証が完了したと判別した場合（ステップＳ５０９；Ｙｅｓ）、ステップＳ５１０に進む。パスワードの認証が完了していないと判別した場合（Ｓ５０９；Ｎｏ）、ステップＳ５０６からＳ５０９を繰り返す。
なお、ステップＳ５０７からＳ５０９において、複数のパスワードの文字が選ばれることで眼の輝点の測定座標である（Ｅｘ（ｉ），Ｅｚ（ｉ））、そしてＬＣＤ６３上の文字の位置座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））の値が得られる。また、パスワードの入力が終わったとユーザーが判別した場合、ユーザーは、操作スイッチ３０でＤｏｎｅキー４６６を選択して押す。このとき、制御部３０２は、Ｄｏｎｅキー４６６の座標も取得する。

（ステップＳ５１０）ステップＳ３１２までのパスワードの入力作業によって、眼の輝点の測定値と、これに対応する文字の位置情報が得られる。このため、この後は、取得した輝点の座標を測定すれば、ユーザーがＬＣＤ６３上のどこを注視しているのかが分かるようになる。すなわち、これらの処理により、視線入力による操作が可能になる。そこで、制御部３０２は、この測定値（Ｅｘ，Ｅｚ）に基づいて、表示位置（Ｄｘ，Ｄｚ）を求める関数式を、次式（４）及び次式（５）のように生成する。

Ｄｘ ＝ Ｆ１（Ｅｘ、Ｅｚ） ・・・（４）

Ｄｚ ＝ Ｆ２（Ｅｘ、Ｅｚ） ・・・（５）

式（４）及び（５）において、Ｆ１は、Ｄｘと（Ｅｘ、Ｅｚ）の関数、Ｆ２は、Ｄｚと（Ｅｘ、Ｅｚ）の関数である。次に、制御部３０２は、生成した式（４）及び（５）を、記憶部３０３に記憶させる。

（ステップＳ５１１）パスワードの入力が完了したことを受け、画像切替部３０６は、図３５に示すようなメニューのアイコンを表示する。
図３５は、本実施形態に係るメニュー画面（表示画像）４００ｆの一例を示す図である。図３５に示した例では、メニュー画面４００ｆに９つのアイコン（操作画像）４７１から４７９、及びカーソル（操作画像）４８０が表示されている。例えば、アイコン４７１は、動画撮像の指示を示すアイコンである。なお、アイコン４７１から４７９、各々をアプリケーションと称する。また、これらの中でアイコン４７１は、視線によって入力する機能を有するアプリケーションであることから、特に視線入力アプリケーションと称する。
なお、このアイコン４７１が表す動画撮影を行うアプリケーションでは、カメラ６４で動画撮影ならびに記録を行うとともに、後述するように画面に表示されるマーカーの移動や、ボタンの操作を視線入力で行うことが可能となっている。
初期状態では、図３５に示したように、アイコン４７１の位置に、カーソル４８０が表示される。

なお、図３５のメニュー画面は、例えば、処理部１２３の制御を司るＯＳ（オペレーションシステム）において、各種設定を行うメニュー画面（表示画像）であってもよい。各種設定を行うメニュー画面とは、例えば、表示パネル６３の輝度調整、表示パネル６３のコントラスト調整、日時設定、スタンバイ状態にするか否かの設定等の各種設定ボタン（またはアイコン、キー等）が表示されている画面である。
また、メニュー画面４００ｆにアイコンが表示されるアプリケーションは、ＨＭＤ１内部で実行されるアプリケーションに限られない。例えば、アイコンが表示されるアプリケーションは、通信を行っている通信相手が使用しているＨＭＤ、ＰＣで実行されるアプリケーションであってもよい。また、アイコンが表示されるアプリケーションは、インターネット等のネットワーク上で実行される、例えばＷｅｂ（ウェブ）アプリケーション等であってもよい。

（ステップＳ５１２）図３０に戻って、制御部３０２は、メニュー画面において、操作スイッチ３０により手動操作でアイコン４７１が選択されたか否かを判別する。操作スイッチ３０により手動操作でアイコン４７１が選択されていないと判別した場合（ステップＳ５１２；Ｎｏ）、ステップＳ５１３に進む。操作スイッチ３０により手動操作でアイコンが選択されたと判別した場合（ステップＳ５１２；Ｙｅｓ）、丸Ｃ（図３１、ステップＳ５１９）に進む。

（ステップＳ５１３）制御部３０２は、アイコン４７１以外のアプリケーションが選択されたか否かを判別する。アイコン４７１以外のアプリケーションが選択されたと判別された場合（ステップＳ５１３；Ｙｅｓ）、ステップＳ５１４に進み、制御部３０２は、ユーザーの行うメニュー操作の中で、さらに視線入力の精度を高めるべくキャリブレーションを行う。アイコン４７１以外のアプリケーションが選択されていないと判別された場合（ステップＳ５１３；Ｎｏ）、ステップＳ５１２に戻る。

（ステップＳ５１４）アイコン４７１以外のアプリケーションが選択されたと判別された場合、制御部３０２は、サフィックス「ｉ」に１を加算する。

（ステップＳ５１５）制御部３０２は、撮像画像を取得する。次に、制御部３０２は、取得した撮像画像に基づいて、眼球に照射されている眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得する。

（ステップＳ５１６）制御部３０２は、選択されたアイコンが表示されているＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。

（ステップＳ５１７）制御部３０２は、自部に記憶されている関係式（４）及び（５）を再計算して、再計算して生成した関係式を、記憶部３０３に記憶させる。

（ステップＳ５１８）制御部３０２は、選択されたアプリケーション（またはメニュー）を実行する。アプリケーション実行後、ステップＳ５１１に戻る。
すなわち、制御部３０２は、操作スイッチ３０などによってアイコン、チェックボックス等が選択される毎に、輝度の座標を取得し、かつ関係式（４）及び（５）を再計算することで、注視点検出のためのキャリブレーションを行う。なお、メニュー画面４００ｆを含め、各種アプリケーションが実行される中で、アイコンやチェックボックスなどの選択がなされる度に、そのアイコンやチェックボックスを注視点として、注視点検出のためのキャリブレーションを逐次行ってもよい。

（ステップＳ５１９）図３１に移って、操作スイッチ３０により手動操作でアイコン４７１が選択されたと判別した場合、制御部３０２は、サフィックス「ｉ」に１を加算する。

（ステップＳ５２０）制御部３０２は、選択されたアイコンが表示されているＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））を取得する。

（ステップＳ５２１）制御部３０２は、自部に記憶されている関係式（４）及び（５）を再計算して、再計算して生成した関係式を、記憶部３０３に記憶させる。

（ステップＳ５２２）制御部３０２は、視線入力のアプリを実行する前に、注視点検出のためのキャリブレーションが十分に行われたか否かの判別をする。具体的には、例えばパスワードの登録が一文字であれば、キャリブレーションが十分に行われたとは言えない可能性がある。例えば、少なくとも、パスワード入力画面４００ｅ、またはメニュー画面４００ｆにおいて、異なる２つの位置の注視点検出が行われた場合、制御部３０２は、キャリブレーションが十分に行われたと判別する。なお、異なる２つの位置は、パスワード入力画面４００ｅ、またはメニュー画面４００ｆ内の対角位置に配置されている位置である。
キャリブレーションが十分に行われたと判別された場合（ステップＳ５２２；Ｙｅｓ）、ステップＳ５２７に進む。キャリブレーションが十分に行われていないと判別された場合（ステップＳ５２２；Ｎｏ）、ステップＳ５２３に進む。

（ステップＳ５２３〜Ｓ５２６）制御部３０２は、画像切替部３０６を介して、図３６に示すような再度、ユーザーの入力を促す文章を提示する。制御部３０２は、図３６に示す画面（表示画像）を追加で提示し、この画面をユーザーが操作するとき、ＬＣＤ６３上の座標である（Ｄｘ（ｉ），Ｄｚ（ｉ））、及び眼球照明ライト１６６ａ〜１６６ｄによる輝点の座標（Ｅｘ（ｉ），Ｅｚ（ｉ））を取得して、注視点検出のためのキャリブレーションを行う。
図３６は、本実施形態に係るユーザーに入力を促す画面の一例である。図３６に示すように、画面４００ｇには、文字列「視線入力モードを使いますか？」４８１、「はい」ボタン（操作画像）４８２、及び「いいえ」ボタン（操作画像）４８３が表示されている。
例えば、図３６において、「はい」ボタン４８２が視線入力により選択された場合、図３４において、Ｄｏｎｅキー４６６、図３５において動画撮像の指示のアイコン４７１がすでに選択されているため、画面の互いにはなれた３箇所のボタン（またはキー、アイコン）が押されたことになり、ある程度信頼のおけるキャリブレーションが完了したことになる。そして、制御部３０２は、ステップＳ５１９からＳ５２１と同様の処理を、ステップＳ５２３からＳ５２６の処理で行い、（Ｄｘ，Ｄｚ）を求める関数式が導き出す。

なお、入力用の表示とは、図３４における各キー（４６１〜４６６）、図３５における各アイコン４７１〜４７９、図３６における各ボタン（４８２、４８３）等である。ここで、キャリブレーションが不足している位置が画面内にある場合、Ｄｏｎｅキー４６６は、表示位置を適宜変更し、キャリブレーションが必要とされる位置に表示されてもよい。

（ステップＳ５２７）図３１に戻って、制御部３０２は、画像切替部３０６を介して、カメラ６４が撮像した画像を、図３７に示すように、ＬＣＤ６３に表示する。
図３７は、本実施形態に係る視線入力のアプリケーションの画面４００ｈの説明を行う図である。図３７に示した例では、画面４００（表示画像）ｈには、撮像された画像４９１、マーカー（操作画像）４９２、「終了ボタン」（操作画像）４９３、「記録ボタン」（操作画像）４９４、及び「メニューボタン」（操作画像）４９５が表示されている。マーカー４９２は、ユーザーが画像４９１において、必要な位置を指し示すマーカーである。「終了ボタン」４９３は、アプリケーションを終了させ、図３５に示したメニュー画面４００ｆに戻るボタンである。また、「記録ボタン」４９４は、カメラ６４が撮像した画像信号を、フラッシュメモリー１２２に記録開始するボタンである。「メニューボタン」４９５は、このアプリケーション固有の設定を行うための不図示のメニューを表示させるためのボタンである。
なお、ＨＭＤ１が、他の端末と通信中の場合、撮像された画像４９１は、送受信部３０８を介して、他の端末に送信される。
本実施形態のＨＭＤ１は、画面４００ｈに示すように、ユーザーが観察しつつカメラ６４で撮影している画像において、商品４９６をカーソルで指し示す画像を他の端末に送信することで、商品４９６について具体的に相手に伝えることが可能となっている。

（ステップＳ５２８）図３１に戻って、制御部３０２は、ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したか否かを判別する。ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したと判別した場合（ステップＳ５２８；Ｙｅｓ）、ステップＳ５３５に進む。ユーザーがボタン４９３から４９５を操作スイッチ３０で選択していないと判別した場合（ステップＳ５２８；Ｎｏ）、ステップＳ５２９に進む。

（ステップＳ５２９）ユーザーがボタン４９３から４９５を操作スイッチ３０で選択していないと判別した場合、制御部３０２は、ユーザーの眼における輝点の座標（Ｅｘ，Ｅｚ）を取得する。次に、制御部３０２は、取得した座標と、式（４）及び（５）の関数を用いて、ユーザーがどこを注視しているのかを算出する。

（ステップＳ５３０）制御部３０２は、算出した座標の位置に、マーカー４９２を表示する。
なお、ＨＭＤ１は、マーカー４９２の画像が重畳された画像として、他の端末に対して送信する。そして、ユーザーが注視点を動かせばマーカー４９２も動くことから、ハンズフリーで他の端末のユーザーへ、注視点を伝えることが可能となっている。

（ステップＳ５３１）制御部３０２は、マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあるか否かを判別する。マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあると判別された場合（ステップＳ５３１；Ｙｅｓ）、ステップＳ５３２に進む。マーカー４９２が、ボタン４９３、４９４、及び４９５の上にないと判別された場合（ステップＳ５３１；Ｎｏ）、ステップＳ５２８に戻る。

（ステップＳ５３２）マーカー４９２が、ボタン４９３、４９４、及び４９５の上にあると判別された場合、制御部３０２は、撮像画像に基づいて、ユーザーの瞼が短時間に２回連続して瞑られたか否かを判別する。なお、制御部３０２は、パターンマッチングの技術や画像の特徴量による画像比較の技術を用いて判別を行う。ユーザーの瞼が短時間に２回連続して瞑られたと判別された場合（ステップＳ５３２；Ｙｅｓ）、ステップＳ５３３に進む。ユーザーの瞼が短時間に２回連続して瞑られていないと判別された場合（ステップＳ５３２；Ｎｏ）、ステップＳ５２８に戻る。

（ステップＳ５３３）ユーザーの瞼が短時間に２回連続して瞑られたと判別された場合、制御部３０２は、瞬き２回によって「終了ボタン」４９３が選択されたか否かを判別する。瞬き２回によって「終了ボタン」４９３が選択されたと判別された場合（ステップＳ５３３；Ｙｅｓ）、丸Ｄ（図３０、Ｓ５１１）に進む。瞬き２回によって「終了ボタン」４９３が選択されず、すなわち、その他のボタンが選択されたと判別された場合（ステップＳ５３３；Ｎｏ）、ステップＳ５３４に進む。

（ステップＳ５３４）瞬き２回によって「終了ボタン」４９３が選択されていないと判別された場合、制御部３０２は、選択されたボタンに対応した操作を行い、ステップＳ５２８に戻る。

（ステップＳ５３５〜Ｓ５３８）ユーザーがボタン４９３から４９５を操作スイッチ３０で選択したと判別された場合、制御部３０２は、ボタン４９３から４９５の座標と、ユーザーの眼の輝点を元に、ステップＳ５３５からＳ５３８の処理を行って、注視点検出のキャリブレーションを行う。

（ステップＳ５３９）制御部３０２は、操作スイッチ３０により「終了ボタン」４９３が選択されたか否かを判別する。操作スイッチ３０により「終了ボタン」４９３が選択されたと判別された場合（ステップＳ５３９；Ｙｅｓ）、丸Ｄ（図３０、Ｓ５１１）に進む。操作スイッチ３０により「終了ボタン」４９３が選択されていないと判別された場合（ステップＳ５３９；Ｎｏ）、ステップＳ５４０に進む。

（ステップＳ５４０）操作スイッチ３０により「終了ボタン」４９３が選択されず、すなわち、その他のボタンが選択されたとていない判別された場合、制御部３０２は、選択されたボタンに対応した操作を行い、ステップＳ３３１に戻る。

なお、実施形態のＨＭＤ１では、視線入力のアプリケーションを開始する前であっても、ならびに同アプリケーションを実行中であっても、操作部の操作によって操作画像が選択されたとき毎に、注視点検出のための計算式のキャリブレーションを行う。この結果、実施形態のＨＭＤ１によれば、ユーザーが操作部を操作したタイミングで注視点検出のためのキャリブレーションを、操作画像が選択されたとき毎に自動的に行うため、高い精度で視線入力が可能になっている。また、この注視点検出のためのキャリブレーションにおいて、上述したように、本実施形態のＨＭＤ１では、ユーザーの片眼を含む領域の画像を用いて行い、両眼を含む画像を撮影する必要がないため、ＨＭＤ１を小型化できる。
また、本実施形態のＨＭＤ１では、「眼球照明ランプの選択処理」で設定された眼球照明ライト１６６を点灯及び消灯することで、ユーザーの眼に適切な光線を照射することができる。このため、注視点検出のためのキャリブレーションを精度良く行うことができる。

なお、本実施形態において表示画像の例として、パスワード入力画像、メニュー画像を説明したがこれに限られない。表示画像は、ユーザーが操作部を操作して、操作画像の選択を促す画像であればよい。また、操作画像も、ユーザーが操作部を操作して、該操作画像の選択を促す画像であればよい。
また、図３１のステップＳ５２２で、キャリブレーションが十分でないと判別された場合、表示画像に表示されている操作画像の表示位置を変更して表示するようにしてもよく、操作画像の大きさを変更して表示するようにしてもよい。あるいは、操作画像を含む新たな表示画像をＬＣＤ６３に表示するようにしてもよい。

なお、図９〜図１５を用いて説明したように、注視点検出のためのキャリブレーションの前に、画像の大きさを縮小させ、位置を移動させた場合、例えば、選択した表示領域Ｔに、パスワード入力画面４００ｅ、メニュー画面４００ｆ等を縮小して表示するようにしてもよい。また、注視点検出のためのキャリブレーションを行った後に、画像の大きさを縮小させ、位置を移動させた表示して視線入力を行う場合、表示位置、及び画像の縮小率に基づいて、記憶部３０３に記憶されている関係式の値を補正することで座標を変換するようにしてもよい。

なお、処理部１２３は、ユーザーの眼の位置を撮像画像に基づいて検出する場合、眼球照明ライト１６６を点灯させてもよい。また、処理部１２３は、ユーザーの眼が表示部６０から離れた場合（図１２及び図１４を参照）、表示領域の縮小率を算出するために、輝点６０４Ａ及び輝点６０４Ｂの間隔（図１１を参照）と、輝点６０４Ｃ及び輝点６０４Ｄの間隔（図１２を参照）との比を測定する。
この処理により、図９に示すところの表示領域Ｓを表示領域Ｔに縮小することで、処理部１２３は、ユーザーが表示全体を見渡せるようにすることが可能である。さらに、輝点６０４Ａと輝点６０４Ｂとの中間の位置よりも、輝点６０４Ｅと輝点６０４Ｆ（図１４を参照）との中間の位置がずれていると判別される場合、処理部１２３は、ユーザーの眼がベクトルＶ１だけずれていることがわかる。このようにして、処理部１２３の画像切替部３０６（図２２を参照）は、図９における表示領域Ｔを、表示領域Ｕまでシフトさせることが可能となっている。

なお、本実施形態では、注視点検出のためのキャリブレーションに、図３４に示したパスワード入力画面等を用いる例を説明したが、これに限られない。操作スイッチ３０により選択可能なキー、ボタン、アイコン等を、表示パネル６３に表示させるようにしてもよい。この場合においても、従来技術とは異なり、キャリブレーションのためだけの表示ではなく、ユーザーが操作を行う必然性がある操作に関するキー、ボタン、アイコン等を表示する。ユーザーは、操作時に、これらのキー、ボタン、アイコン等を注視している確率が非常に高いので、操作時の撮像画像に基づいて、注視点検出のためのキャリブレーションを行うことができる。

次に、「乗り物検出の処理」、「居眠り検出の処理」について説明する。
図３８及び図３９は、本実施形態に係るＨＭＤを用いた乗り物検出処理の手順のフローチャートである。なお、以下では、ユーザーがＨＭＤ１を頭部に装着している状態について説明する。

（ステップＳ６０１）ユーザーは、先ず、操作スイッチ３０またはタッチスイッチ３４を操作して、目標地点の設定を行う。なお、目標地点とは、ユーザーが移動手段を利用して移動し、到達する目標とする場所であり、例えば住所、駅名、建物の名前等である。
（ステップＳ６０２）目標地点が設定されると、乗物検出部３０９は、ＧＰＳセンサー１３５からの測位情報を取得した取得回数を示すサフィックスｉの値をゼロに初期化する。

（ステップＳ６０３）制御部３０２は、ユーザーの眼球を確認するために、眼球照明ライト１６６を、眼球照明部３０４を制御して点灯する。例えば、制御部３０２は、ユーザーが右目で観察している場合、眼球照明ライト１６６ａ、１６６ｂを点灯し、ユーザーが左目で観察している場合、眼球照明ライト１６６ｃ、１６６ｄを点灯する。以下の説明では、説明を簡単とするため、単に、眼球照明ライト１６６を点灯すると説明する。

（ステップＳ６０４）制御部３０２は、撮像画像に基づいて、ユーザーが表示パネル６３を観察しているかを判別する。制御部３０２は、ユーザーが表示パネル６３を観察していると判別した場合（ステップＳ６０４；Ｙｅｓ）、ステップＳ６０５に進み、ユーザーが表示パネル６３を観察していないと判別した場合（ステップＳ６０５；Ｎｏ）、ステップＳ６０６に進む。

（ステップＳ６０５）ユーザーが表示パネル６３を観察していると判別した場合、制御部３０２は、バックライト６２を点灯させる。
（ステップＳ６０６）ユーザーが表示パネル６３を観察していないと判別した場合、制御部３０２は、バックライト６２を消灯させる。
（ステップＳ６０７）制御部３０２は、眼球照明ライト１６６を消灯する。

このように、本実施形態では、制御部３０２は、ユーザーの眼球を確認して、ユーザーが表示パネル６３を観察しているか否かを判別し、バックライト６２の点灯又は消灯を制御する。これにより、本実施形態では、無駄にバックライト６２が点灯されることがなくなり、省電力化を図ることが可能となる。

（ステップＳ６０８）乗物検出部３０９は、測位情報を取得した取得回数を示すフィックスｉの値を１加算する。
（ステップＳ６０９）乗物検出部３０９は、ＧＰＳセンサー１３５より、測位情報（現在の緯度、経度、高度、時刻情報）を取得する。

（ステップＳ６１０）乗物検出部３０９は、移動手段を検出する処理で用いるパラメータを予め自部に記憶している。パラメータＬａ（ｉ）は、経度のパラメータであり、パラメータＬｏ（ｉ）は、緯度のパラメータである。パラメータＡｌ（ｉ）は、高度のパラメータであり、パラメータＴ（ｉ）は、時刻のパラメータである。パラメータＶ（ｉ）は、平均速度のパラメータであり、パラメータＸ（ｉ）は、移動距離のパラメータである。パラメータＰ（ｉ）は、位置情報のパラメータである。
乗物検出部３０９は、今回取得した測位情報に基づき、経度をパラメータＬａ（ｉ）に入力し、緯度をパラメータＬｏ（ｉ）に入力する。また、乗物検出部３０９は、今回取得した測位情報に基づき、高度をパラメータＡｌ（ｉ）に入力し、時刻をパラメータＴ（ｉ）に入力する。また、乗物検出部３０９は、各測位情報を入力した各パラメータを記憶部３０３に記憶させる。

（ステップＳ６１１）乗物検出部３０９は、記憶部３０３に記憶されている前回取得された経度Ｌａ（ｉ−１）、緯度Ｌｏ（ｉ−１）と、今回取得された経度Ｌａ（ｉ）、緯度Ｌｏ（ｉ）を用いて、前回の位置から今回の位置までに移動した移動距離Ｘ（ｉ）を算出する。乗物検出部３０９は、算出した移動距離Ｘ（ｉ）を記憶部３０３に記憶させる。

（ステップＳ６１２）移動距離Ｘ（ｉ）を算出した後、乗物検出部３０９は、前回の時刻Ｔ（ｉ−１）と今回の時刻Ｔ（ｉ）との差分と、算出された移動距離Ｘ（ｉ）より、前回の測定地点から現在の測定地点まで移動した平均速度Ｖ（ｉ）を算出する。乗物検出部３０９は、算出した平均速度Ｖ（ｉ）を記憶部３０３に記憶させる。

（ステップＳ６１３）乗物検出部３０９は、ステップＳ６１２で算出した平均速度Ｖ（ｉ）と、ＧＰＳセンサー１３５から取得した高度の取得値を用いて、ユーザーが飛行機で移動中であるか否かを判別する。例えば、乗物検出部３０９は、平均速度Ｖ（ｉ）が所定値（例えば時速３００［ｋｍ］）より速く、且つ、高度がその地点の標高より所定値以上（例えば５０ｍ以上）高い場合には、ユーザーが飛行機で移動中であると判別する。ユーザーが飛行機で移動中の場合には、ＨＭＤ１のユーザーが、パイロットなど特殊な職業を除いて、居眠りしていても問題はない。このため、乗物検出部３０９は、ユーザーが飛行機で移動中であると判別した場合（ステップＳ６１３；Ｙｅｓ）、ステップＳ６１４に進み、ユーザーが飛行機で移動中ではないと判別した場合（ステップＳ６１３；Ｎｏ）、ステップＳ６１５に進む。

（ステップＳ６１４）乗物検出部３０９は、ステップＳ６０１で設定した目標地点、ステップＳ６０９で取得した測位データ、及びステップＳ６１２で算出した平均速度Ｖ（ｉ）に基づいて、現在地点と目標地点までの距離と到着予想時間を算出する。次に、乗物検出部３０９は、算出した現在地点と目標地点までの距離と到着予想時間を表示パネル６３に表示する。

（ステップＳ６１５）ユーザーが飛行機で移動中ではないと判別した場合、乗物検出部３０９は、送受信部３０８を介してインターネットに接続する。次に、乗物検出部３０９は、ステップＳ６０９で取得した現在の緯度Ｌａ（ｉ）、経度Ｌｏ（ｉ）に基づいて、現在の移動Ｌａ（ｉ）及び経度Ｌｏ（ｉ）に対応する現在の位置情報Ｐ（ｉ）をインターネット上から取得する。記憶部３０３に地図データが記憶されている場合、乗物検出部３０９は、現在の緯度Ｌａ（ｉ）、経度Ｌｏ（ｉ）に基づいて、現在の移動Ｌａ（ｉ）及び経度Ｌｏ（ｉ）に対応する現在の位置情報Ｐ（ｉ）を記憶部３０３から読み出して取得するようにしてもよい。この現在の位置情報Ｐ（ｉ）には、例えば、その場所が道路上なのか、線路なのか、川や湖や海の上なのか、ビル内なのか等の情報が含まれる。

（ステップＳ６１６）位置情報Ｐ（ｉ）が取得できた場合、乗物検出部３０９は、加速度センサー１３２が検出した検出値に基づいて、現在の加速度Ａ（ｉ）（大きさと向き）を取得する。乗物検出部３０９は、この加速度Ａ（ｉ）の情報を、後に説明するように、乗り物の揺れの方向から乗り物の種類を検知するときに用いる。

（ステップＳ６１７）乗物検出部３０９は、ステップＳ６１２で算出した平均速度Ｖ（ｉ）がほぼゼロであるか否かを判別する。この処理により、乗物検出部３０９は、ユーザーが静止しているか、または移動しているかを判別する。乗物検出部３０９は、平均速度Ｖ（ｉ）がゼロではないと判別した場合（ステップＳ６１７；Ｎｏ）、ユーザーが移動していると判別し、ステップＳ６１８に進む。乗物検出部３０９は、平均速度Ｖ（ｉ）がゼロであると判別した場合（ステップＳ６１７；Ｙｅｓ）、ユーザーが移動していない判別し、ステップＳ６３６（図３９）に進む。

（ステップＳ６１８）乗物検出部３０９は、ユーザーが電車で移動中であるか否かの判別を行う。乗物検出部３０９は、ユーザーが電車で移動中であると判別した場合（ステップＳ６１８；Ｙｅｓ）、ステップＳ６３０（図３９）に進み、ユーザーが電車で移動中ではないと判別した場合（ステップＳ６１８；Ｎｏ）、ステップＳ６１９へ移行する。
乗物検出部３０９は、例えば、ＧＰＳセンサー１３５から測位情報を複数回、取得し、取得した各々の測位情報に基づいて、移動中の各々の位置情報を取得する。乗物検出部３０９は、取得した複数の位置情報のうち、連続する時刻の連続する複数の位置情報が、線路上である場合、単に踏切を横切ったのではなく、ユーザーが電車で移動中であると判断する。なお、今回の位置情報Ｐ（ｉ）のみが線路上である場合には、踏切を通過中である可能性があるため、乗物検出部３０９は、ユーザーが電車で移動中ではないと判別する。

（ステップＳ６１９）ユーザーが電車で移動中ではないと判別した場合、乗物検出部３０９は、ユーザーがバスで移動中であるか否かの判別を行う。乗物検出部３０９は、ユーザーがバスで移動中であると判別した場合（ステップＳ６１９；Ｙｅｓ）、制御部３０２は、ステップＳ６３０（図３９）に進み、ユーザーがバスで移動中ではないと判別した場合（ステップＳ６１９；Ｎｏ）、ステップＳ６２０に進む。
乗物検出部３０９は、ユーザーがバスで移動中であるか否かの判別を、ステップＳ６１５で取得した今回の位置情報Ｐ（ｉ）及び前回の位置情報Ｐ（ｉ−１）と、ステップＳ６１６で加速度センサー１３２から取得された加速度情報Ａ（ｉ）とを用いて、例えば以下のように判別する。例えば、ユーザーがバスで移動中である場合、今回の位置情報Ｐ（ｉ）、及び前回までの位置情報Ｐ（ｉ−１）は連続した道路とみなせる。また、ユーザーがバスで移動中の場合、ユーザーは運転せずに進行方向に対して正面を見ていないとすると、加減速による加速度が頭部に対して横方向に加わる。このことから、乗物検出部３０９は、今回の位置情報Ｐ（ｉ）及び前回までの位置情報Ｐ（ｉ−１）は連続した道路であるか否かを判別する。そして、乗物検出部３０９は、今回の位置情報Ｐ（ｉ）及び前回までの位置情報Ｐ（ｉ−１）が連続した道路である場合、更に、加速度Ａ（ｉ）の方向を検知し、加速度Ａ（ｉ）が頭部に対して常に横方向に加わっている場合に、ユーザーがバスで移動中であると判別する。

（ステップＳ６２０）ユーザーがバスで移動中ではないと判別した場合、乗物検出部３０９は、ユーザーが船舶で水路上を移動中であるか否かを判別する。乗物検出部３０９は、ユーザーが船舶で水路上を移動中であると判別した場合（ステップＳ６２０；Ｙｅｓ）、ステップＳ６３０（図３９）に進み、ユーザーが船舶で水路上を移動中ではないと判別した場合（ステップＳ６２０；Ｎｏ）、ステップＳ６２１に進む。
乗物検出部３０９は、ユーザーが船舶で水路を移動中であるか否かを、例えば、ステップＳ６１５で取得した今回の位置情報Ｐ（ｉ）及びそれまでの位置情報Ｐ（ｉ−１）から、その場所が川や湖、海等の水路上であるか否かにより判別する。なお、ここでは一般的にユーザーが船舶を操縦しないことを前提としているが、ユーザーは、船舶の操縦をしているか否かを、操作スイッチ３０を操作して手動で設定することが可能である。このように、船舶の操縦を行っていることが設定された場合、居眠検出部３１０は、以下の処理においてユーザーの移動中に居眠り検出を行う。

ステップＳ６１８〜ステップＳ６２０において、ユーザーが電車で移動中ではなく、バスで移動中ではなく、及び船舶で水路上を移動中ではないと判別した場合、乗物検出部３０９は、ユーザーが公共交通機関を利用した移動を行っていないと判別する。すなわち、ユーザーは、徒歩や自転車により移動しているか、車両を運転して移動している可能性がある。このように車両や自転車を運転している場合、居眠りは危険である。このため、居眠り（目瞑り）検出を行い、警告を行う必要がある。このため、ＨＭＤ１は、以下のステップＳ６２１により「居眠り検出処理」を行う。

（ステップＳ６２１）居眠検出部３１０は、撮像画像に基づいて、所定時間、例えば１秒間、ユーザーの眼が目瞑り状態であるかどうかを判別する。居眠検出部３１０は、所定時間、ユーザーの眼が目瞑り状態であると判別した場合（ステップＳ６２１；Ｙｅｓ）、ステップＳ６２２に進み、ユーザーの眼が目瞑り状態ではないと判別した場合（ステップＳ６２１；Ｎｏ）、ステップＳ６２３に進む。
居眠検出部３１０は、例えば、パターンマッチングの手法を用いて、比較画像と撮像画像とを比較して、複数の撮像画像からユーザーの瞼を含む領域の画像を各々抽出する。居眠検出部３１０は、例えば抽出した各々のユーザーが瞼を少なくとも半ば閉じている画像が、ユーザーの片眼を含む領域の画像において所定の割合より多く、かつ抽出した各々のユーザーの瞼を閉じている画像の撮像時刻が連続している場合、ユーザーの眼が目瞑り状態であると判定する。居眠検出部３１０は、例えば各々のユーザーが瞼を少なくとも半ば閉じている画像が瞼を開いている画像に対して所定の割合より少なく、または抽出した各々のユーザーの瞼を閉じている画像の撮像時刻が連続していない場合、ユーザーの眼が目瞑り状態でないと判定する。

（ステップＳ６２２）ユーザーの眼が目瞑り状態であると判別した場合、居眠検出部３１０は、居眠警告情報を生成して、生成した居眠警告情報を音響制御部３０５に出力する。音響制御部３０５は、居眠警告情報に基づいて、耳元スピーカー２３から警告音を発して、ユーザーに目を覚ますように注意を促す。

（ステップＳ６２３）乗物検出部３０９は、ユーザーが徒歩で移動中であるか否かを判別する。乗物検出部３０９は、ユーザーが徒歩で移動中であると判別した場合（ステップＳ６２３；Ｙｅｓ）、ステップＳ６２４に進み、ユーザーが徒歩で移動中ではないと判別した場合（ステップＳ６２３；Ｎｏ）、ステップＳ６２５へ移行する。
乗物検出部３０９は、ユーザーが徒歩で移動中であるか否かを、例えば、ステップＳ６１２で算出された平均速度Ｖ（ｉ）と、ステップＳ６１６で加速度センサー１３２から取得された加速度情報Ａ（ｉ）とを用いて判別する。例えば、ユーザーが徒歩で移動している場合の平均速度Ｖ（ｉ）は、所定速度、例えば時速２０［ｋｍ］以下である。また、ユーザーが徒歩で移動している場合は、左右の足の踏みだしに同期して、例えば１〜６ヘルツである一定の振動により加速度が生じる。したがって、乗物検出部３０９は、平均速度Ｖ（ｉ）が例えば時速２０［ｋｍ］以下である場合、かつ加速度の振動の周期が例えば１〜６ヘルツである場合、ユーザーが徒歩で移動中であると判別する。

（ステップＳ６２４）ユーザーが徒歩で移動中であると判別した場合、乗物検出部３０９は、徒歩用の制御及び徒歩用のナビデーションを行う。乗物検出部３０９は、例えばユーザーが徒歩で移動中であることから、ユーザーが表示パネル６３を覗かないようにバックライト６２を消灯する。乗物検出部３０９は、徒歩用のナビゲーションを音響制御部３０５に出力する。音響制御部３０５は、この徒歩用のナビゲーションを耳元スピーカー２３から出力する。徒歩用のナビゲーションとは、目標地点までの経路を案内するものであり、例えば、「次の交差点を右に曲がってください。」等の音声によるアナウンスである。
なお、ユーザーが歩行をやめて立ち止まった場合、平均速度Ｖ（ｉ）はＶ（ｉ）＝０と算出されるので、乗物検出部３０９は、ステップＳ６３６に進む。

（ステップＳ６２５）乗物検出部３０９は、ユーザーが自転車で移動中であるか否かを判別する。乗物検出部３０９は、ユーザーが自転車で移動中であると判別した場合（ステップＳ６２５；Ｙｅｓ）、ステップＳ６２６に進み、ユーザーが自転車で移動中ではないと判別した場合（ステップＳ６２５；Ｎｏ）、ステップＳ６２７へ進む。
乗物検出部３０９は、例えば、ユーザーが自転車で移動中であるか否かを、加速度センサー１３２の検出値から判別する。ユーザーが自転車で移動中である場合には、速度０から加速した場合にユーザーの上半身の揺れが生じる。このため、乗物検出部３０９は、加速度センサー１３２の検出値から、上半身の揺れによる加速度が検出できるかどうかにより、ユーザーが自転車で移動しているか否かを判別する。なお、ユーザーが自転車で移動中であるか否かを判別するには、特に頭部に加速度センサー１３２が配置されていることが重要である。すなわち、加速度センサー１３２がユーザーの腰に取り付けられた場合、腰の動きは腰の直下にあるサドルによって限定されるため、ユーザーが自転車に乗っている場合の上半身の揺れによる加速度の検出が困難になり、オートバイなどの動きとの差異が少ない。これに対して、ユーザーの頭部に加速度センサー１３２が配置されていれば、ユーザーが自転車に乗っている場合の上半身の揺れを的確に検出することが可能となる。本実施形態では、ＨＭＤ１が頭部に装着されているため、加速度センサー１３２は頭部の近傍に配置されている。従って、本実施形態のＨＭＤ１によれば、ユーザーが自転車で移動中であるか否かを、加速度センサー１３２の検出値から判別することができる。

（ステップＳ６２６）ユーザーが自転車で移動中であると判別した場合、乗物検出部３０９は、自転車用のナビゲーションを行う。自転車用のナビゲーションとは、目標地点までの経路を案内するものであるが、自動車専用道路や階段など、自転車では通過できない経路は避けるように、経路案内を行う。この場合、乗物検出部３０９は、表示パネル６３への経路表示、及び耳元スピーカー２３から音声による経路案内のアナウンスの少なくとも１つを行う。

（ステップＳ６２７）乗物検出部３０９は、ユーザーが自動車で移動中であるか否かを判別する。乗物検出部３０９は、ユーザーが自動車で移動中であると判別した場合（ステップＳ６２７；Ｙｅｓ）、ステップＳ６２８に進み、ユーザーが自動車で移動中ではないと判別した場合（ステップＳ６２７；Ｎｏ）、ステップＳ６２９に進む。
乗物検出部３０９は、例えば、ユーザーが自動車で移動中であるか否かを、加速度センサー１３２の検出値から判別する。ユーザーが自動車で移動中である場合は、速度０から加速した場合のユーザーの上半身の揺れが少ない。このことから、乗物検出部３０９は、加速度センサー１３２の検出値から、速度０から加速した場合のユーザーの上半身の加速度が少ないことが検出された場合、ユーザーが自動車で移動中であると判別する。
乗物検出部３０９は、ユーザーが自動車で移動中であるか否かを、カメラ６４が撮像した画像データも用いて判別するようにしてもよい。この場合、乗物検出部３０９は、例えばユーザーの手の動きが運転時の手の動きであるか否かを、周知の手法を用いて判別する。または、乗物検出部３０９は、例えばカメラ６４が撮像した画像データにハンドルの画像が含まれている場合、ユーザーが自動車で移動していると判別するようにしてもよい。

（ステップＳ６２８）ユーザーが自動車で移動中であると判別した場合、乗物検出部３０９は、自動車用のナビゲーションを行う。自動車用のナビゲーションとは、目標地点までの経路を案内するものである。この場合、乗物検出部３０９は、表示パネル６３への経路表示、及び耳元スピーカー２３から音声による経路案内のアナウンスの少なくとも１つを行う。
なお、上述のステップＳ６２３〜Ｓ６２７で、各移動手段の特長が見いだされない場合、乗物検出部３０９は、それまで表示パネル６３に表示されていたナビゲーション、または耳元スピーカー２３から報知されているナビゲーションを継続して行うようにしてもよい。また、本発明において、ナビゲーションに関する情報とは、徒歩用のナビデーション、自転車用のナビゲーション、自動車用のナビゲーション、及び公共の交通機関に対応したナビゲーションのうち、いずれかのナビゲーションである。
（ステップＳ６２９）乗物検出部３０９は、ユーザーが目標地点に到達したか否かを、設定された目標地点の情報と、ＧＰＳセンサー１３５が測位した測位情報とに基づいて判別する。乗物検出部３０９は、ユーザーがまだ目標地点に到着していないと判別した場合（ステップＳ６２９；Ｎｏ）、ステップＳ６０３に戻り、ユーザーが目標地点に到達したと判別した場合（ステップＳ６２９；Ｙｅｓ）、処理を終了する。

次に、居眠検出部３１０は、以下のステップＳ６３９〜Ｓ６４０、及びステップＳ６３２〜Ｓ６３４のように「居眠り検出処理」及び警告処理を行う。

（ステップＳ６３０）図３９に移って、ステップＳ６１８〜Ｓ６２０（図３８）で、ユーザーが電車、バス、船舶の何れかの交共の交通機関で移動中であると判別した場合、乗物検出部３０９は、ＨＭＤ１の呼び出し音をサイレントモードに設定する。サイレントモードとは、静粛性が求められるような場所において、着信等の呼び出し音等を大きな音で鳴らさないモードであり、その詳細は後述する。

（ステップＳ６３１）乗物検出部３０９は、公共の交通機関に対応したナビゲーションを行う。例えば、電車での移動中である場合、乗物検出部３０９は、電車でのナビゲーションとして、乗換駅のアナウンス、急行への接続情報、運行の遅れ情報などの音声によるアナウンスを耳元スピーカー２３から出力する。乗物検出部３０９は、これらの情報を、表示パネル６３に表示するようにしてもよい。

（ステップＳ６３２）ユーザーが公共の交通機関で移動中である場合、ユーザーが寝ていたとしても特に問題はない。但し、降車駅を乗り過ごすと問題が発生する。このため、居眠検出部３１０は、撮像画像から、ユーザーが、例えば５秒以上目を瞑っているかを判別する。なお、居眠検出部３１０は、ユーザーが５秒以上目を瞑っているか否かの判別を、例えばステップＳ６２１と同様に行う。居眠検出部３１０は、ユーザーが５秒以上目を瞑っていると判別した場合（ステップＳ６３２；Ｙｅｓ）、ステップＳ６３３に進み、ユーザーが５秒以上目を瞑っていないと判別した場合（ステップＳ６３２；Ｎｏ）、ステップＳ６３５に進む。

（ステップＳ６３３）乗物検出部３０９は、現在の位置が乗換駅又は降車駅かの判別をステップＳ６１５（図３８）で取得した位置情報Ｐ（ｉ）で行う。乗物検出部３０９は、現在の位置が乗換駅又は降車駅でないと判別した場合（ステップＳ６３３；Ｎｏ）、ステップＳ６３５に進み、現在の位置が乗換駅又は降車駅であると判別した場合（ステップＳ６３３；Ｙｅｓ）、ステップＳ６３４に進む。なお、乗物検出部３０９は、現在の位置が、乗換駅又は降車駅から所定の距離、手前の位置であった場合に、現在の位置が乗換駅又は降車駅であると判別するようにしてもよい。これにより、本実施形態のＨＭＤ１は、乗換駅又は降車駅に到着する前にユーザーに報知することができるので、ユーザーの乗り過ごしを防ぐことができる。

（ステップＳ６３４）現在の位置が乗換駅又は降車駅であると判別した場合、かつユーザーが目を５秒以上瞑っていると判別した場合、音響制御部３０５は、居眠検出部３１０の判別した結果である居眠警告情報に基づいてアラームを耳元スピーカー２３より発して、ユーザーに覚醒するように促す。

なお、本実施形態では、撮像画像に基づいてユーザーが目瞑り状態（居眠り状態）であることを検出する例を説明したが、これに限られない。居眠検出部３１０は、加速度センサー１３２が検出した検出値に基づいて、ユーザーが居眠りをしている状態か否かを判別するようにしてもよい。例えば、居眠検出部３１０は、ユーザーの頭部又は体が所定の周期で揺れているか、またはユーザーの頭部又は体が所定の角度以上、傾いているかに基づいて、ユーザーが居眠りをしている状態か否かを判別するようにしてもよい。例えば、制御部３０２は、ユーザーの移動手段が電車、またはバスであると判別された場合に、加速度センサー１３２が検出した検出値に基づいて、ユーザーの頭部が揺れていることを検出する。そして、制御部３０２は、ユーザーの頭部が揺れていることが検出された場合、ユーザーが隣の人に寄りかからないように、例えば耳元スピーカーから報知するようにしてもよい。また、制御部３０２は、このようなユーザーが隣の人に寄りかかっていないか否かの検出を、ＨＭＤ１をユーザーが頭部に装着していることを検出した場合に行う。これにより、本発明に係るＨＭＤ１によれば、ユーザーがＨＭＤ１を鞄等に入れたままの状態で、例えば鞄を傾けたときに不要な報知をしないため、周囲に迷惑をかけない効果がある。

（ステップＳ６３５）乗物検出部３０９は、ステップＳ６０１で設定した目標地点、ステップＳ６０９で取得した測位情報、及びステップＳ６１２で算出した平均速度Ｖ（ｉ）に基づいて、現在地点から目標地点までの距離と到着予想時間とを算出する。次に、乗物検出部３０９は、算出した現在地点と目標地点までの距離と到着予想時間を表示パネル６３に表示する。乗物検出部３０９は、表示パネル６３に表示した後、ステップＳ６２９（図３８）に進む。

（ステップＳ６３６）ステップＳ６１７（図３８）で平均速度Ｖ（ｉ）がほぼゼロと判別した場合、乗物検出部３０９は、ステップＳ６１６（図３８）で取得した現在の場所の高度Ａｌ（ｉ）が、ステップＳ６１５で取得した位置情報に含まれている標高と一致しているか否かを判別する。
乗物検出部３０９は、現在地点の高度Ａｌ（ｉ）と標高とが一致していると判別した場合（ステップＳ６３６；Ｙｅｓ）、ユーザーは地上にいると判別し、ステップＳ６４１に進む。乗物検出部３０９は、現在地点の高度Ａｌ（ｉ）と標高とが一致していないと判別した場合（ステップＳ６３６；Ｎｏ）、ステップＳ６３７に進む。

（ステップＳ６３７）現在地点の高度Ａｌ（ｉ）と標高とが一致していないと判別した場合、乗物検出部３０９は、ユーザーは地上にいないと判別する。この場合、乗物検出部３０９は、現在地点の建物などの建築物の情報を、例えばインターネット上のデータベースから取得する。記憶部３０３に地図データが記憶されている場合、乗物検出部３０９は、現在地点の建物などの建築物の情報を、記憶部３０３に記憶されている地図データから取得するようにしてもよい。

（ステップＳ６３８）乗物検出部３０９は、ステップＳ６３７で取得した情報に基づいて、現在地点にユーザーがいる高さに対応する建物があるか否かを判別する。乗物検出部３０９は、現在地点にユーザーがいる高さに対応する建物があると判別した場合（ステップＳ６３８；Ｙｅｓ）、ユーザーはその建物の中にいて静止している状態であり、特に危険がないと判別し、ステップＳ６４１に進む。乗物検出部３０９は、現在地点にユーザーがいる高さに対応する建物がないと判別された場合（ステップＳ６３８；Ｎｏ）、ステップＳ６３９に進む。

（ステップＳ６３９）現在地点にユーザーがいる高さに対応する建物がないとい判別される場合、居眠検出部３１０は、撮像画像に基づいて、ユーザーが、例えば３秒以上目を瞑っているか否かを判別する。なお、居眠検出部３１０は、３秒以上目を瞑っているか否かの判別を、例えばステップＳ６２１と同様に行う。ユーザーが３秒以上目を瞑っていると判別した場合（ステップＳ６３９；Ｙｅｓ）、ステップＳ６４０に進み、ユーザーが３秒以上目を瞑っていないと判別した場合（ステップＳ６３９；Ｎｏ）、ステップＳ６４１に進む。
すなわち、現在地点にユーザーがいる高さに対応する建物がない場合、ユーザーは、地図上に高い建物がないにもかかわらず、高所にいる状態が想定される。この状態は、例えば建設中の建造物の高所にユーザーが留まっていると想定できる。ユーザーが例えば建設中の建造物の高所に留まっているような状態では、目を瞑ることは危険であるので、本実施形態のＨＭＤ１では、ステップＳ６３３において目瞑りを検出している。

（ステップＳ６４０）ユーザーが３秒以上目を瞑っていると判別した場合、居眠検出部３１０は、音響制御部３０５は、居眠検出部３１０の判別した結果である居眠警告情報に基づいてアラームを耳元スピーカー２３から鳴らして、ユーザーの覚醒を促す。
（ステップＳ６４１）乗物検出部３０９は、表示パネル６３に表示されている表示内容を維持し、ステップＳ６２９に進む。
以上のように、本実施形態に係るＨＭＤ１は、ユーザーの目の状態を検出し、所定の時間以上ユーザーの目を瞑っている目瞑り状態の場合、場所に応じて警告を発することでユーザーの注意を喚起する安全なシステムを提供できる。
なお、ステップＳ６０１〜Ｓ６４１において、ナビゲーションの音声、目瞑りを検出した場合の警告音、アラームを耳元スピーカー２３から出力する例を説明したが、これに限られない。オーディオコネクター２６にステレオイヤホン１００が接続されている場合、音響制御部３０５は、これらの警告音をステレオイヤホン１００に出力するようにしてもよい。また、音響制御部３０５は、警告音の換わりに、バイブレータ１６７を振動させて、目瞑りに対する警告、乗換駅又は降車駅に到着したことをユーザーに警告を行うようにしてもよい。また音響制御部３０５は、耳元スピーカー２３又はステレオイヤホン１００からの警告音、及びバイブレータ１６７に振動による警告の少なくとも１つによって、警告を行うようにしてもよい。

なお、ステップＳ６３０において、ユーザーが公共機関で移動していると判別された場合、サイレントモードに設定する例を説明したが、これに限られない。例えば、乗物検出部３０９は、ステップＳ６１５で取得した位置情報に基づいて、ＨＭＤ１の呼び出し音をサイレントモードに設定する。具体的には、乗物検出部３０９は、位置情報が、映画館、コンサートホール、レストラン等の場合、位置情報に基づいて、ＨＭＤ１の呼び出し音をサイレントモードに設定するようにしてもよい。また、ユーザーは、このようにサイレントモードに設定する位置情報を、ユーザーが操作スイッチ３０等の操作により、予め選択するようにしてもよい。

次に、「サイレントモードの処理」について説明する。
図４０及び図４１は、本実施形態に係るサイレントモード処理の手順のフローチャートである。
本実施形態に係るＨＭＤ１は、他の端末から着信があった場合、以下のように、サイレントモードの設定状態及びＨＭＤ１の装着状態に応じて、耳元スピーカー２３、前方スピーカー７０、及びバイブレータ１６７から、着信を報知するように出力を切り替える。また、本実施形態に係るＨＭＤ１は、以下のように、サイレントモードの設定状態及びＨＭＤ１の装着状態に応じて、着信音（報知音）の音量を切り替える。

（ステップＳ７０１）制御部３０２は、言語の選択メニューを表示パネル６３に表示する。言語の選択メニューとは、表示パネル６３に表示するときに使用する言語及びアナウンスで使用する言語の選択のメニューである。ユーザーは、操作スイッチ３０を操作して選択メニューから自国語の選択を行う。なお、例えば自国語が日本語であっても、ユーザーは英語等、他の言語を選択してもよい。

（ステップＳ７０２）制御部３０２は、送受信部３０８からの受信信号に基づき、他の端末から着信があったか否かを判別する。制御部３０２は、他の端末から着信がなかったと判別した場合（ステップＳ７０２；Ｎｏ）、ステップＳ７０２を繰り返して他の端末からの着信を待機する。制御部３０２は、他の端末から着信があったと判別した場合（ステップＳ７０２；Ｙｅｓ）、ステップＳ７０３に進む。

（ステップＳ７０３）他の端末から着信があったと判別した場合、制御部３０２は、ＨＭＤ１がサイレントモードに設定されているか否かを判別する。サイレントモードの設定は、例えば、ユーザーが操作スイッチ３０を操作して表示パネル６３に表示されるメニュー（不図示）から選択して設定するか、又は乗物検出部３０９が「居眠り検出の処理」のステップＳ６３０で設定する。
制御部３０２は、サイレントモードが設定されていると判別した場合（ステップＳ７０３；Ｙｅｓ）、ステップＳ７１２に進み、サイレントモードが設定されていないと判別した場合（ステップＳ７０３；Ｎｏ）、ステップＳ７０４に進む。

（ステップＳ７０４）装着処理部３１１は、心拍数センサー１３７が検出した検出値に基づいて、ユーザーの頭部にＨＭＤ１が装着されているか、もしくは手などでＨＭＤ１が頭部近傍に保持されているか否かの判別を行う。なお、頭部近傍とは、例えば、ユーザーが表示パネル６３に表示されている情報が見える位置、または耳元スピーカー２３から発せられる音をユーザーが聞こえる位置である。
次に、装着処理部３１１は、判別した結果に基づいて装着情報を生成し、生成した装着情報を音響制御部３０５に出力する。装着処理部３１１は、ユーザーの頭部にＨＭＤ１が装着されていると判別した場合（ステップＳ７０４；Ｙｅｓ）、ステップＳ７０５に進み、ユーザーの頭部にＨＭＤ１が装着されていないと判別した場合（ステップＳ７０４；Ｎｏ）、ステップＳ７０６に進む。
なお、装着処理部３１１は、ＨＭＤ１に設けられている不図示のユーザーの頭部への装着を検出する機械的なスイッチの検出値に基づいて、ユーザーの頭部にＨＭＤ１が装着されているか否かを判別してもよい。

ここでフローチャートに示すところの音響制御部３０５の制御についてまとめると以下の（Ｉ）〜（ＶＩ）のようになる。
音響制御部３０５は、制御部３０２が出力するサイレントモード設定情報と、乗物検出部３０９が出力したサイレントモード設定情報と、装着処理部３１１が出力する装着情報とに基づいて、耳元スピーカー２３、前方スピーカー、及びバイブレータ１６７からの報知を以下の（Ｉ）〜（ＶＩ）のように制御する。
（Ｉ）サイレントモードに設定されていないと判別した場合、かつユーザーが頭部にＨＭＤ１を装着していると判別した場合、音響制御部３０５は、耳元スピーカー２３より着信音を低音圧で鳴らすように制御する。
（ＩＩ）サイレントモードに設定されていないと判別した場合、かつユーザーが頭部にＨＭＤ１を装着していないと判別した場合、音響制御部３０５は、前方スピーカー７０より着信音を高音圧で鳴らすように制御する。
（ＩＩＩ）サイレントモードに設定されていないと判別した場合、かつユーザーが頭部にＨＭＤ１を装着していると判別した場合、音響制御部３０５は、耳元スピーカー２３より通信相手の音声を低音圧で発するように制御する。
（ＩＶ）サイレントモードに設定されていないと判別した場合、かつユーザーが頭部にＨＭＤ１を装着していないと判別した場合、音響制御部３０５は、前方スピーカー７０より通信相手の音声を高音圧で発するように制御する。
（Ｖ）サイレントモードに設定されていると判別した場合、かつユーザーが頭部にＨＭＤ１を装着していると判別した場合、音響制御部３０５は、耳元スピーカー２３より着信音を低音圧で鳴らすように制御する。
（ＶＩ）サイレントモードに設定されていると判別した場合、かつユーザーが頭部にＨＭＤ１を装着していないと判別した場合、音響制御部３０５は、バイブレータ１６７を振動させて着信を知らせるように制御する。

（ステップＳ７０５）図４０に戻って、サイレントモードに設定されていないと判別した場合、かつユーザーが頭部にＨＭＤ１を装着していると判別した場合、音響制御部３０５は、耳元スピーカー２３より着信音を低音圧で鳴らして、着信があったことをユーザーに報知する。
このように、耳元スピーカー２３より着信音を低音圧で鳴らして、着信があったことをユーザーに知らせる理由を説明する。ユーザーの頭部にＨＭＤ１が装着されていると判別した場合、耳元スピーカー２３から着信を報知すれば、ユーザーは着信があったことに気がつく。この場合、制御部３０２は、耳元スピーカー２３から着信を報知するため、大音量で出力する必要がない。

（ステップＳ７０６）サイレントモードに設定されていないと判別した場合、かつ、ユーザーの頭部にＨＭＤ１が装着されていないと判別した場合、音響制御部３０５は、前方スピーカー７０から着信音を高音圧で鳴らして、着信があったことをユーザーに報知する。
このように、前方スピーカー７０から着信音を高音圧で鳴らして、着信があったことをユーザーに報知する理由を説明する。ユーザーの頭部にＨＭＤ１が装着されていないと判別した場合、ＨＭＤ１は、ユーザーの鞄の中に入れられているか、他の場所に置かれているかなどが想定される。このように、サイレントモードが設定されていないと判別した場合、かつユーザーの頭部にＨＭＤ１が装着されていないと判別した場合、ＨＭＤ１は、ユーザーに聞こえるように大音量で着信を報知する必要があるので、前方スピーカー７０から着信音を高音圧で鳴らして、着信があったことをユーザーに報知する。

（ステップＳ７０７）前方スピーカー７０又は耳元スピーカー２３からの着信音により、ユーザーに着信を知らせた後、制御部３０２は、受信信号から相手端末の情報を抽出し、抽出した相手端末の情報を表示パネル６３に表示する。
（ステップＳ７０８）装着処理部３１１は、再度、ＨＭＤ１がユーザーの頭部に装着されている、もしくは頭部近傍にＨＭＤ１があるか否かの判別を行う。このように再度、判別を行う理由は、着信音が鳴ったことにより頭部近傍になかったＨＭＤ１を、ユーザーが頭部に装着もしくは頭部付近にＨＭＤ１を手で移動した可能性があるためである。装着処理部３１１は、ＨＭＤ１がユーザーの頭部に装着されていると判別した場合（ステップＳ７０８；Ｙｅｓ）、ステップＳ７１０に進み、ＨＭＤ１がユーザーの頭部に装着されていないと判別した場合（ステップＳ７０８；Ｙｅｓ）、ステップＳ７０９に進む。

（ステップＳ７０９）ＨＭＤ１がユーザーの頭部に装着されていない、もしくはＨＭＤ１がユーザーの頭部近傍にないと判別した場合、音響制御部３０５は、受信信号から相手端末の音声を抽出し、抽出した相手端末の音声を耳元スピーカー２３から低音圧（第１音量）で報知する。この処理により、ユーザーは、ＨＭＤ１を頭部に装着していなくても、相手端末からの音声を聞きとることが可能となる。
（ステップＳ７１０）ＨＭＤ１がユーザーの頭部に装着されていると判別した場合、音響制御部３０５は、受信信号から相手端末の音声を抽出し、抽出した相手端末の音声を前方スピーカー７０から高音圧（第２音量）で報知する。なお、第２音量は、第１音量より小さい。

（ステップＳ７１１）制御部３０２は、ユーザーが操作スイッチ３０の操作及び受信信号に基づいて、通話が終了したか否かを判別する。制御部３０２は、通話が終了していないと判別した場合（ステップＳ７１１；Ｎｏ）、ステップＳ７０８へ戻り、通話が終了したと判別した場合（ステップＳ７１１；Ｙｅｓ）、ステップＳ７３１に進む。

（ステップＳ７１２）図４１に移って、サイレントモードが設定されていると判別した場合、装着処理部３１１は、再度、ＨＭＤ１がユーザーの頭部に装着されているか否かを判別する。装着処理部３１１は、ＨＭＤ１がユーザーの頭部に装着されていると判別した場合（ステップＳ７１２；Ｙｅｓ）、ステップＳ７１３に進み、ＨＭＤ１がユーザーの頭部に装着されていないと判別した場合（ステップＳ７１２；Ｎｏ）、ステップＳ７１５に進む。

（ステップＳ７１３）サイレントモード設定時であっても、ＨＭＤ１がユーザーの頭部に装着されていれば、着信音を耳元スピーカー２３から報知しても、周囲に着信音は漏れない。このため、サイレントモードに設定されている場合、かつユーザーの頭部にＨＭＤ１が装着されていると判別した場合、音響制御部３０５は、着信音を耳元スピーカー２３より着信音を低音圧で鳴らして、着信があったことをユーザーに報知する。

（ステップＳ７１４）制御部３０２は、通話開始を検出する。通話開始が検出されていないと判別した場合（ステップＳ７１４；Ｎｏ）、制御部３０２及び音響制御部３０５は、通話開始が検出されるまで、ステップＳ７１３とＳ７１４を繰り返して、耳元スピーカー２３より着信音を出力し続ける。通話開始が検出されたと判別した場合（ステップＳ７１４；Ｙｅｓ）、制御部３０２は、ステップＳ７１７に進む。制御部３０２は、例えば、ユーザーによる操作スイッチ３０の操作に基づいて、通話が開始されたか否かを判別する。

（ステップＳ７１５）サイレントモード設定時、ＨＭＤ１は着信音を周囲に漏らさずに、ユーザーに着信を知らせる必要がある。ＨＭＤ１がユーザーの頭部に装着されていない場合、ユーザーは、例えば、ＨＭＤ１を衣服のポケットや鞄に入れていることが想定される。このため、着信時にサイレントモードに設定されていると判別した場合、かつ、ＨＭＤ１がユーザーの頭部に装着されていないと判別した場合、音響制御部３０５は、バイブレータ１６７を振動させ、着信があったことをユーザーに報知する。

（ステップＳ７１６）制御部３０２及び音響制御部３０５は、通話開始が検出されるまで（ステップＳ７１６；Ｎｏ）、ステップＳ７１５とＳ７１６を繰り返して、バイブレータ１６７を振動させ続ける。通話開始が検出されたと判別した場合（ステップＳ７１６；Ｙｅｓ）、制御部３０２は、ステップＳ７１７に進む。
サイレントモードに設定されている場合、ユーザーは、通話に音声で答えられないような場所にいる場合、またはＨＭＤ１が鞄の中に入れられている場合が想定される。従って、制御部３０２は、例えば、ユーザーが通話マイク３７をユーザーの口元の位置に配置したことにより、通話開始したことを検出するようにしてもよい。制御部３０２は、ユーザーが通話マイク３７をユーザーの口元の位置に配置されたか否かの検出を、例えば、撮像素子７２による撮像画像に基づいて行うようにしてもよい。また、制御部３０２は、例えば、ユーザーの操作スイッチ３０を操作に基づいて、通話が開始されたか否かを判別するようにしてもよい。

（ステップＳ７１７）通話開始が検出されると、制御部３０２は、受信信号から、相手端末のＩＰデータや電話番号を抽出する。

（ステップＳ７１８）制御部３０２は、抽出した相手端末のＩＰデータや電話番号に基づいて、通信相手のパーソナルデータがサーバー２００（図２３参照）に登録されているか否かをサーバー２００に問い合わせる。
次に、サーバー２００は、ＨＭＤ１からの問い合わせに応じて、通信相手のパーソナルデータが記憶部２０２（図２３参照）に登録されているか否かを判別する。サーバー２００は、通信相手のパーソナルデータが記憶部２０２に登録されていると判別した場合、登録されている通信相手のパーソナルデータを記憶部２０２から読み出して、読み出した通信相手のパーソナルデータをＨＭＤ１に送信する。サーバー２００は、通信相手のパーソナルデータが記憶部２０２に登録されていないと判別した場合、通信相手のパーソナルデータが登録されていないことを示す情報をＨＭＤ１に送信する。
次に、ＨＭＤ１の制御部３０２は、相手のパーソナルデータをサーバー２００から受信した場合、通信相手のパーソナルデータがあると判別し（ステップＳ７１８；Ｙｅｓ）、ステップＳ７１９に進む。制御部３０２は、通信相手のパーソナルデータが登録されていないことを示す情報をサーバー２００から受信した場合、通信相手のパーソナルデータがないと判別し（ステップＳ７１８；Ｎｏ）、ステップＳ７２０に進む。

（ステップＳ７１９）通信相手のパーソナルデータがあると判別した場合、制御部３０２は、例えば、パーソナルデータに含まれる国籍を示す情報に基づき、通信相手が使用する言語を特定する。なお、多くの場合は自国の関係者からの通話が多いことから、パーソナルデータに国籍を示す情報がない場合、制御部３０２は、自分と同じ言語を話す人間であると推定し、ステップＳ７０１で設定されたメニュー表示などに使用するのと同じ言語を設定してもよい。

（ステップＳ７２０）通信相手のパーソナルデータがないと判別した場合、制御部３０２は、相手端末のＩＰデータ又は電話番号より、通信相手が発信している国名又は地域を特定する。次に、制御部３０２は、通信相手が発信している国名又は地域に基づいて通信相手の話す言語を推定する。

（ステップＳ７２１）通信相手の国名又は地域が判別できた場合、制御部３０２は、ステップＳ７１９又はＳ７２０で特定した言語に対応するサイレントモード時のアナウンスを報知する指示を、送受信部３０８を介して、通信相手の端末に送信する。次に、通信相手の端末は、受信したサイレントモード時のアナウンスを報知する指示に応じて、サイレントモード時のアナウンスを、端末が有する音響出力手段から報知する。
サイレントモード時のアナウンスは、例えば、「現在サイレントモードに設定中のため、こちらからの発話ができません。ハイかイイエなどの限られた内容しか返答できません。」旨の各言語によるアナウンスである。なお、サイレントモード時のアナウンスは、例えば、合成音声であり、記憶部３０３に予め記憶させておくようにしてもよい。この場合、制御部３０２は、記憶部３０３から読み出したサイレントモード時のアナウンスに対応する音声データを、送受信部３０８を介して、通信相手の端末に送信するようにしてもよい。

（ステップＳ７２２）制御部３０２は、この通知を通信相手方への送信と平行して、通信相手が使用している端末（以下、相手端末ともいう）の情報を表示パネル６３に表示する。相手端末の情報とは、例えば、相手端末の電話番号、通信相手のパーソナルデータである。

（ステップＳ７２３）制御部３０２は、ユーザーの注視点を検出するために、眼球照明ライト１６６を点灯する。
（ステップＳ７２４）制御部３０２は、図４２及び図４３に示す応答選択メニューの画像を表示パネル６３に表示する。応答選択メニューの画像とは、ＨＭＤ１が、ユーザーの注視に応じて合成音声で発話する発話内容の項目を選択するための選択項目を含むメニュー画像である。

図４２は、本実施形態に係る応答選択メニューの画像７００を示す図である。なお、図４２は、ステップＳ７０１で日本語が選択された場合の選択メニューの例である。
図４２に示すように、応答選択メニューの画像７００には、５種類の選択項目の画像７０１〜７０５が含まれている。選択項目の画像７０１は、『Ａ ハイ』の文字を含む画像であり、選択項目の画像７０２は、『Ｂ イイエ』の文字を含む画像である。選択項目の画像７０３は、『Ｃ 今お答えできません』の文字を含む画像であり、選択項目の画像７０４は、『Ｄ 了解しました』の文字を含む画像であり、選択項目の画像７０５は、『Ｅ 終了します』の文字を含む画像である。画像７０６は、ユーザーの注視に基づくカーソル画像である。また、記憶部３０３には、これらの選択項目の画像７０１〜７０５が表示される表示パネル６３上の座標（または座標の領域）が予め記憶されている。
なお後述するようにユーザー頭部の左右方向及び、前後方向の回動動作で項目を選択ならびに決定しやすいように、本実施形態に係るＨＭＤ１においては、上記の５項目の選択項目の画像を、画像７００に示すように斜め方向に一列に並べて配置している。
また、制御部３０２は、このような応答選択メニューの画像を、表示パネル６３上に表示されている画像に重畳して表示するようにしてもよい。または、制御部３０２は、着信があったことを検出した場合に、着信がある以前に表示していた画像と切り替えて応答選択メニューの画像を表示するようにしてもよい。あるいは、表示パネル６３に表示する画像に、例えば応答選択メニューの画像を表示する「応答選択メニューボタン」（操作画像、不図示）を表示しておく。そして、着信があった場合、ユーザーは、この「応答選択メニューボタン」を、ユーザーの注視に基づいて選択する。そして、制御部３０２は、このユーザーの注視に基づいて選択された結果に基づいて、応答選択メニューの画像を表示パネル６３に表示するようにしてもよい。

（ステップＳ７２５）図４１に戻って、制御部３０２は、撮像画像に基づいて、ユーザーの目の注視点を検出し、ユーザーの注視による選択項目の選択があるか否かを判別する。制御部３０２は、例えば、ユーザーの注視が、例えば図４２の選択項目の画像７０３上で２秒以上静止し、ユーザーの注視による選択があると判別する。また、制御部３０２は、選択項目の画像７０１〜７０５に対応する座標と、ユーザーの注視に対応する表示パネル６３上の座標とを比較することで、ユーザーの注視による選択項目の選択があるか否かを判別する。
制御部３０２は、ユーザーの注視による選択項目の選択があると判別した場合（ステップＳ７２５；Ｙｅｓ）、ステップＳ７２９に進み、ユーザーの注視による選択項目の選択がないと判別した場合（ステップＳ７２５；Ｙｅｓ）、ステップＳ７２６に進む。

（ステップＳ７２６）ユーザーの注視による選択項目の選択がないと判別した場合、制御部３０２は、角速度センサー１３４の検出値に基づいて、ユーザーの頭部の回動による選択項目の選択があるか否かを判別する。制御部３０２は、ユーザーの頭部の回動による選択項目の選択があると判別した場合（ステップＳ７２６；Ｙｅｓ）、ステップＳ７２９に進み、ユーザーの頭部の回動による選択項目の選択がないと判別した場合（ステップＳ７２６；Ｎｏ）、ステップＳ７２７に進む。

具体的な例として、頭部の回動による選択項目の選択では、ユーザーが例えば右方向に所定値以上の角速度で頭部を回動させた場合、制御部３０２は、この右方向の回動による加速度を角速度センサー１３４の検出値に基づいて、ユーザーの頭部回動による移動方向と移動量を算出する。次に、制御部３０２は、算出した移動方向と移動量に基づいて、カーソル画像７０６を右下の次の項目に移動させて表示パネル６３上に表示する。また、ユーザーが左方向に所定値以上の角速度で頭部を回動させた場合、この左方向の回動による加速度が角速度センサー１３４で検出される。制御部３０２は、この検出値に基づいて算出した移動方向と移動量に基づいて、カーソル画像７０６を右下の次の項目に移動させて表示パネル６３上に表示する。
このように、制御部３０２は、頭部の回動による選択において、角速度センサー１３４の検出値に基づいてユーザーの頭部の動きを検出することで、カーソル画像７０６を移動させ、各項目を選択する。そして、制御部３０２は、例えば、ユーザーがあたかも頷くときのように前後方向に顔を動かした場合、選択項目が決定されたと判別する。

（ステップＳ７２７）図４１に戻って、頭部の回動による選択がないと判別した場合、制御部３０２は、操作部材により選択項目が選択されたか否かを判別する。なお、操作部材とは、操作スイッチ３０又はタッチスイッチ３４である。制御部３０２は、操作部材により選択項目が選択されたと判別した場合（ステップＳ７２７；Ｙｅｓ）、ステップＳ７２９に進み、操作部材により選択項目が選択されていないと判別した場合（ステップＳ７２７；Ｎｏ）、ステップＳ７２８に進む。
具体的に例えば、制御部３０２は、操作スイッチ３０の左右操作又は上下操作に基づいて、カーソル画像７０６を移動させて表示パネル６３に表示する。また、制御部３０２は、操作スイッチ３０が押し込まれたことを検出した場合、選択項目が決定されたと判別する。

（ステップＳ７２８）操作部材により選択項目が選択されていないと判別した場合、制御部３０２は、指差しによる項目選択が行われるか否かをカメラ６４が撮像した画像に基づいて判別する。制御部３０２は、指差しによる項目選択が行われると判別した場合（ステップＳ７２８；Ｙｅｓ）、ステップＳ７２９に進み、指差しによる項目選択が行われていないと判別した場合（ステップＳ７２８；Ｎｏ）、ステップＳ７３０に進む。
具体的に例えば、ユーザーは、表示パネル６３に表示されている応答選択メニューの画像７００を見ながら、応答選択メニューの画像７００に含まれる選択項目を、ユーザーの指差しにより選択する。なお、表示パネル６３上には、カメラ６４が撮像した画像に、応答選択メニューの画像７００が合成されて表示されている。
図４３は、本実施形態に係る指差しによる項目選択が行われているときに表示パネル６３に表示される画像の一例を説明する図である。ユーザーは、図４３のように、表示パネル６３に表示されている画像内にユーザーの指が映し出されるように、カメラ６４が撮像している空間でユーザーの指を動かして、選択項目の画像７０１〜７０５のいずれかを指さすことで選択する。
図４３に示した例は、ユーザーは、選択項目の画像７０３を選択した例である。そして、制御部３０２は、選択項目の画像７０３の領域において、ユーザーの指の画像７０７が２秒以上静止した場合に、この項目が選択されたと判別する。
なお、図４３において、カーソル画像７０６を表示した例を示したが、制御部３０２は、指差しによる項目選択が行われていると判別した場合、カーソル画像７０６を応答選択メニューの画像７００に表示しないようにしてもよい。また、表示パネル６３に表示される画像は、複数のレイヤーが合成された画像である。例えば、表示パネル６３に表示される画像は、カメラ６４が撮像した画像が一番奥に配置される。そして、表示パネル６３に表示される画像において、応答選択メニューの画像７００は、カメラ６４が撮像した画像より手前に表示されるように合成されて表示される。このため、ユーザーの手の画像により、選択項目の画像７０１〜７０５が隠れないため、ユーザーは、表示パネル６３に表示されている画像を見ながら、指差しにより選択項目を選択できる。なお、制御部３０２は、ユーザーの指の画像を、カメラ６４が撮像した画像から、例えばパターンマッチングの手法を用いて抽出し、抽出した指の画像に基づいて、指が指し示している表示パネル６３上の座標を抽出する。制御部３０２は、このように抽出した表示パネル６３上の座標と、予め各選択項目の画像領域の座標とを比較して、どの選択項目が選択されたのか判別する。
なお、ユーザーは、選択項目の選択を行わずに発話を行いたい場合、むろん通常の電話の会話と同じように音声による会話は可能である。

（ステップＳ７２９）図４１に戻って、制御部３０２は、選定された選択項目に示されている言葉（ハイ、イイエ、今お答えできません、了解しました、終了します）を、ステップＳ７１９又はＳ７２０で特定した通信相手に応じた言語に翻訳する。次に、制御部３０２は、翻訳した選択項目を示す情報に基づいて生成した音声データを相手側の端末に、送受信部３０８を介して送信する。なお、制御部３０２は、予め選択項目の言葉を各言語で記憶部３０３等に記憶させておいてもよい。また、制御部３０２は、翻訳した選択項目を示す情報を文字情報として相手側の端末に送信するようにしてもよい。あるいは、制御部３０２は、翻訳した選択項目を示す情報を音声データ、及び文字情報の両方を相手側の端末に送信するようにしてもよい。

（ステップＳ７３０）制御部３０２は、通話が完了したか否かを判別する。制御部３０２は、通話が続いていると判別した場合（ステップＳ７３０；Ｎｏ）、ステップＳ７２４に戻し、通話が終了していると判別した場合（ステップＳ７３０；Ｙｅｓ）、ステップＳ７３１に進む。

（ステップＳ７３１）制御部３０２は、通話完了動作を行う。制御部３０２は、通話のログを記憶部３０３に記憶させてもよく、送受信部３０８を介して通話のログをサーバー２００に送信するようにしてもよい。サーバー２００は、受信した通話のログを記憶部２０２に記憶させるようにしてもよい。なお、通話のログとは、例えば、通話開始時刻、通話終了時刻、通話時間、通信相手の電話番号又はＩＰアドレス、通信相手のパーソナルデータのうち、少なくとも１つを含む情報である。

なお、上述した例では、サイレントモードに設定されている場合、かつＨＭＤ１がユーザーの頭部に装着されていると判別した場合（ステップＳ７１３、図４１）、耳元スピーカー２３から着信音を低音圧で鳴らす例を説明したが、これに限られない。サイレントモードに設定されている場合、かつユーザーの頭部にＨＭＤ１が装着されていると判別した場合であっても、処理部１２３は、バイブレータを振動させて、ユーザーに着信を報知するようにしてもよい。あるいは、処理部１２３は、耳元スピーカー２３から着信音を低音圧で鳴しつつ、バイブレータを振動させて、ユーザーに着信を報知するようにしてもよい。このような場合、処理部１２３は、ＨＭＤ１がユーザーの頭部に装着されていると判別した場合におけるバイブレータの振動の大きさを、ユーザーの頭部にＨＭＤ１が装着されていないと判別した場合におけるバイブレータの振動の大きさより小さくなるように制御するようにしてもよい。
また、処理部１２３は、ユーザーの頭部にＨＭＤ１が装着されていると判別した場合、例えばバックライト６２を予め定められている周期で点滅させて、着信を報知するようにしてもよい。

以上のように、本実施形態の頭部装着型情報入出力装置（ＨＭＤ１）は、自装置がユーザーの頭部に装着された場合、ユーザーの眼の近傍に配置され、ユーザーを検出する第１センサー（撮像素子７２、加速度センサー１３２）と、所定の情報を報知する報知部（耳元スピーカー２３、前方スピーカー７０、バックライト６２、表示パネル６３、バイブレータ１６７）と、第１センサーが検出した検出値に基づいてユーザーが居眠り状態であるか否かを判定し、判定した結果に基づいて、報知部による報知を制御する制御部（制御部３０２）と、を備える。
この構成により、本実施形態のＨＭＤ１は、ユーザーの眼の近傍に配置されたセンサーの検出値に基づいて、ユーザーの居眠り状態を検出して、ユーザーが居眠り状態である場合、報知部から報知する。
この結果、本実施形態のＨＭＤ１は、ユーザーの移動手段にかかわらず、ユーザーが居眠り状態であることを検出しているので、ユーザーが居眠り状態である場合に適切に報知できる。従って、本実施形態のＨＭＤ１は、利便性が向上する。

なお、第１センサーとは、ＨＭＤ１のユーザーが、居眠りしている状態であるのか否かを検出するセンサーである。撮像素子７２が第１センサーの場合、撮像素子７２は、ユーザーの眼の状態を撮像する。この場合、第１センサーが検出した検出値は、撮像画像である。また、加速度センサー１３２が第１センサーの場合、加速度センサー１３２は、ユーザーの頭又は体の揺れ、またはユーザーの頭又は体の傾きを検出する。この場合、第１センサーが検出した検出値は、揺れの周波数、又は傾きの角度である。
なお、報知部とは、音響信号により報知する耳元スピーカー２３又は前方スピーカー７０、振動により報知するバイブレータ１６７、光により報知するバックライト６２及び表示パネル６３、画像により報知する表示パネル６３である。また、所定の情報とは、ユーザーが居眠り状態であるときの音響信号による警告音（アラーム）、ユーザーが居眠り状態であるときの振動、ユーザーが居眠り状態であるときの光の点滅、ユーザーが移動しているときの現在位置から目標地点までの音声または画像によるナビゲーションである。なお、現在位置とは、ＨＭＤ１が利用されている位置であり、地名、ビル名、駅名、住所、緯度、経度、高度などのうち、少なくとも１つである。

本実施形態に係るＨＭＤ１によれば、ユーザーの眼の状態、ユーザーの頭又は体の揺れを検出する。本実施形態に係るＨＭＤ１は、所定時間以上ユーザーの目が瞑られている目瞑り状態である場合、ユーザーがいる位置（場所）に応じて警告を発することでユーザーの注意を喚起するので、安全なシステムを提供できる。この結果、ＨＭＤ１の利便性が向上する。また、本実施形態に係るＨＭＤ１は、所定時間以上ユーザーの頭又は体が揺れている場合、ユーザーが居眠り状態であると判別して、ユーザーに警告を発することでユーザーの注意を喚起するので、安全なシステムを提供できる。
なお、所定時間は、ユーザーが使用している移動手段、ユーザーがＨＭＤ１を使用している位置に応じて換えるようにしてもよい。例えば、公共機関の車両で移動していず他の移動手段で移動している場合、所定時間は１秒であってもよい。公共機関の車両で移動している場合、所定時間は５秒であってもよい。ユーザーが移動していず、ユーザーのいる位置の高度が高い場合、所定時間は３秒であってもよい。なお、移動手段の種類と所定時間とが関連づけられた情報は、居眠検出部３１０内に記憶されている。また、移動手段の種類とは、電車、バス、船舶、徒歩、自転車、自動車等である。

さらに、本実施形態のＨＭＤ１は、「左右の眼の検出処理」の後、「居眠り検出の処理」を行う。これにより、本実施形態のＨＭＤ１は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて、ユーザーが目を瞑っている状態であるか否かを判別することにより、居眠り検出を行い、検出した結果に基づいてユーザーに警告を行う。
この結果、本実施形態のＨＭＤ１は、ユーザーの顔全体又はユーザーの両眼を含む領域を撮像するために、撮像素子７２をユーザーの顔から遠くに配置しなくてよい。このため、本実施形態のＨＭＤ１は、自装置の大型化を抑えることができる。

本実施形態のＨＭＤ１は、ユーザーの移動中に、ユーザーが目を瞑っている状態であるか否かを検出した場合、ユーザーが移動している手段に応じて、報知する。報知の一例として、ユーザーが電車、バス、船舶などの公共の交通機関を利用して移動している場合、本実施形態のＨＭＤ１は、警告のアラームを報知する。また、ユーザーが電車又はバスで移動している場合、本実施形態のＨＭＤ１は、乗換駅又は降車駅であることを報知する。
この結果、本実施形態のＨＭＤ１は、ユーザーが目を瞑っている状態であるか否かを検出して、ユーザーの移動手段に応じた報知を行うため、利便性が向上する。さらに、本実施形態のＨＭＤ１は、「乗り物検出の処理」において、ユーザーが公共の交通機関を利用して移動している場合、ＨＭＤ１が自動的にサイレントモードに設定するため、利便性が向上する。

なお、ステップＳ６０１〜Ｓ６４１（図３８、図３９）において、目瞑り状態であることを検出した場合、警告音又はアラームを、耳元スピーカー２３から出力する例を説明したが、これに限られない。オーディオコネクター２６にステレオイヤホン１００が接続されている場合、音響制御部３０５は、これらの警告音をステレオイヤホン１００に出力するようにしてもよい。また、音響制御部３０５は、警告音の換わりに、バイブレータ１６７を振動させて、目瞑りに対する警告、乗換駅又は降車駅に到着したことをユーザーに警告を行うようにしてもよい。また音響制御部３０５は、耳元スピーカー２３又はステレオイヤホン１００からの警告音、及びバイブレータ１６７に振動による警告の少なくとも１つによって、警告を行うようにしてもよい。
また、ステップＳ６０１〜Ｓ６４１（図３８、図３９）において、ナビゲーションの音声を耳元スピーカー２３から出力する例を説明したが、これに限られない。オーディオコネクター２６にステレオイヤホン１００が接続されている場合、音響制御部３０５は、ナビゲーションの音声をステレオイヤホン１００に出力するようにしてもよい。

また、本実施形態に係るＨＭＤ１では、複数の報知部を備えている。複数の報知部は、上述のように、耳元スピーカー２３、前方スピーカー７０、バイブレータ１６７、バックライト６２、表示パネル６３である。
本実施形態に係るＨＭＤ１では、ＨＭＤ１がユーザーの頭部に装着されている場合、耳元スピーカー２３から低音圧で着信音や通話音を発するため、周囲に着信音等で迷惑をかけることなく、ユーザーは着信音及び通話音を聞くことができる。
また、本実施形態に係るＨＭＤ１では、ＨＭＤ１がユーザーの頭部に装着されていない場合、前方スピーカー７０から高音圧で着信音や通話音を発するために、ユーザーから離れた位置にＨＭＤ１がある場合であっても、ユーザーに着信音や通話音を確実に伝えることができる。
また、本実施形態に係るＨＭＤ１では、サイレントモードに設定されている場合かつＨＭＤ１をユーザーの頭部に装着している場合、耳元スピーカー２３から着信音を発することにより、周囲に着信音等で迷惑をかけることなく、ユーザーが着信を確実に把握することが可能である。
また、本実施形態に係るＨＭＤ１では、サイレントモードに設定されている場合かつＨＭＤ１をユーザーの頭部に装着していない場合、バイブレータ１６７を振動させて着信を報知することにより、周囲に着信音等で迷惑をかけることなく、ユーザーが着信を確実に把握することが可能である。

また、本実施形態のＨＭＤ１は、ユーザーの頭部にＨＭＤ１が装着されているか否かを第２センサーが検出した検出値に基づいて判別する。
本実施形態のＨＭＤ１は、ユーザーの頭部にＨＭＤ１が装着されているか否かを判別した結果、ユーザーの移動手段を判別した結果、ユーザーが居眠り状態であるか否かを判別した結果、ユーザーが目標位置に到着したか否かを判別した結果に基づいて、報知部から所定の情報を報知する。
この結果、本実施形態のＨＭＤ１は、ユーザーの頭部にＨＭＤ１が装着されている場合、ユーザーの移動手段に応じて報知を行うので、ユーザーに対する利便性が向上する。
例えば、本実施形態のＨＭＤ１は、ユーザーの頭部にＨＭＤ１が装着されている場合、ユーザーが居眠りしていては危険な状況においてユーザーに対して警告を音声又は振動により報知する。本実施形態のＨＭＤ１は、ユーザーの頭部にＨＭＤ１が装着されている場合、かつユーザーが移動している場合、現在位置から目標地点までのナビゲーションを音声又は画像により報知する。本実施形態のＨＭＤ１は、ユーザーの頭部にＨＭＤ１が装着されている場合、かつユーザーが移動している場合、かつユーザーが目標位置に到着した場合、ユーザーに対して目標地点に到達したことを音声又は画像により報知する。
なお、第２センサーは、ユーザーの頭部にＨＭＤ１が装着されているか否かを検出するセンサーである。心拍数センサー１３７が第２センサーの場合、第２センサーの検出値は、血流の変化による反射光量の変化を検出した検出値であり、心拍数であってもよい。また、制御部３０２は、第１センサーである撮像素子７２が撮像した撮像画像に基づいて、ユーザーの頭部にＨＭＤ１が装着されているか否かを判別するようにしてもよい。例えば、制御部３０２は、撮像画像に含まれるユーザーの片眼を含む領域の画像の面積が、撮像画像の面積に対して予め定められている割合より大きい場合、ユーザーの頭部にＨＭＤ１が装着されていると判別するようにしてもよい。また、第２センサーは、機械スイッチであってもよく、この機械スイッチ（不図示）はヘッドバンド４０に設けられているようにしてもよい。あるいは、第２センサーは、操作スイッチ３０、又はタッチスイッチ３４であってもよい。この場合、第２センサーの検出値は、ユーザーが操作スイッチ３０、又はタッチスイッチ３４を操作した操作入力である。ユーザーが操作スイッチ３０、又はタッチスイッチ３４を操作して、装着状態、又は非装着状態のうち、いずれかを選択するようにしてもよい。さらに第２センサーは、ＨＭＤ１がヘッドバンド４０や頭部に装着するヘルメット等の頭部装着手段に連結されたことを検出する機械スイッチであっても良い。

また、本実施形態のＨＭＤ１では、まず「左右の眼の検出処理」を行う。これにより、本実施形態のＨＭＤ１は、撮像画像に含まれるユーザーの片眼を含む領域の画像を用いて、表示部６０に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識する。
この結果、ユーザーの頭部に装着されたＨＭＤの姿勢に係わらず、ユーザーが表示部６０に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識できるＨＭＤ１を実現できる。また、本実施形態のＨＭＤ１は、表示部６０に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを判別するため、ユーザーの顔全体または両眼を含む領域の撮像を行わなくてよい。このため、本実施形態のＨＭＤ１は、自装置の大型化を抑えることができる。
さらに、本実施形態のＨＭＤ１は、このように表示部６０に表示された画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に応じて、表示部６０に表示する画像の表示角度を変更する。そして、本実施形態のＨＭＤ１は、この表示角度に応じて、表示部６０に画像を表示する。この結果、本実施形態のＨＭＤ１によれば、ユーザーは、ユーザーの頭部に装着されたＨＭＤ１の姿勢に係わらず、適切な表示角度で表示部６０に表示されている画像を観察できる。

また、本実施形態のＨＭＤ１は、「左右の眼の検出処理」の後、「乗り物検出の処理」及び「居眠り検出の処理」を行う。本実施形態のＨＭＤ１は、加速度センサー１３２の検出値、ＧＰＳセンサー１３５の測位情報等に基づいて、ユーザーが移動している手段の検出を行う。そして、本実施形態のＨＭＤ１は、検出したユーザーの移動手段に応じて、ナビゲーションを行う。
この結果、本実施形態のＨＭＤ１は、ＨＭＤ１を使用しているユーザーの移動手段に応じたナビゲーションを行うことができるので、利便性が向上する。

さらに、本実施形態のＨＭＤ１は、「左右の眼の検出処理」の後、「注視点のキャリブレーション処理」を行う。この「注視点のキャリブレーション処理」において、ユーザーは、表示パネル６３に表示された表示画像に含まれる操作画像の操作を操作部（操作スイッチ３０、タッチスイッチ３４）により行う。実施形態のＨＭＤ１は、操作部により操作が行われているとき、表示部６０に表示されている表示画像に含まれる操作画像を注視している撮像画像を取得する。
また、本実施形態のＨＭＤ１は、「左右の眼の検出処理」の判別結果に基づいて、選択された撮像範囲ＱまたはＲ（図１９参照）の画像を選択する。すなわち、本実施形態のＨＭＤ１は、画像を観察している眼が右眼と左眼とのうちいずれであるかを認識した結果に基づいて、撮像画像から「注視点のキャリブレーション処理」に用いるユーザーの眼の領域を含む画像を選択する。そして、本実施形態のＨＭＤ１は、この選択された撮像範囲の画像を用いて「注視点のキャリブレーション処理」を行う。そして、本実施形態のＨＭＤ１は、ユーザーの視線に基づいて操作するためのパラメータである、操作された操作画像に基づく第１座標と撮像画像に基づく第２座標とを取得する。そして、実施形態のＨＭＤ１は、取得した第１座標と第２座標との組み合わせに基づいて、注視点検出のためのキャリブレーションを自動的に行う。
このため、本実施形態のＨＭＤ１では、ユーザーがキャリブレーション設定をメニュー等から選択して行わなくても、単に表示画像に含まれる操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。また、本実施形態のＨＭＤ１では、従来のように、注視点検出のためのキャリブレーション用の画像をユーザーに注視させて行う、注視点検出のためのキャリブレーションを行わなくても、単に表示画像に含まれる操作画像の操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。この結果、本実施形態によれば、利便性を向上することができる。

さらに、本実施形態のＨＭＤ１では、「注視点のキャリブレーション処理」の後、「サイレントモードの処理」を行う。本実施形態のＨＭＤ１は、「サイレントモードの処理」において、ユーザーが発話できない状態の場合、応答選択メニューからユーザーの注視に基づいて、選択された項目に応じた内容を示す情報を通信相手に送信する。
このため、本実施形態のＨＭＤ１では、ユーザーが発話できない状態の場合であっても、通信相手とコミュニケーションを行うことができるので、利便性を向上することができる。

さらに、本実施形態のＨＭＤ１において、「注視点のキャリブレーション処理」において、表示画像に含まれている操作画像は、パスワード入力画像のようにユーザーが操作する必然性のある画像である。ユーザーが操作する必然性のある画像であるため、ユーザーは、この操作画像に対して操作部で操作する。そして、実施形態のＨＭＤ１は、このように操作画像がユーザーの操作により選択されたときに第１座標と第２座標とを、自動的に取得している。そして、実施形態のＨＭＤ１では、このような「注視点のキャリブレーション処理」の後、ユーザーは、ユーザーの注視に基づいて通信相手からの着信に応じた選択項目を選択する。
このため、実施形態のＨＭＤ１では、単に表示画像に含まれる操作する必然性のある操作画像に対してユーザーが操作を行うことで、注視点検出のためのキャリブレーションを行うことができる。また、実施形態のＨＭＤ１では、従来のように注視点検出のためのキャリブレーションを行わなくても、単に表示画像に含まれる操作する必然性のある操作画像に対してユーザーが操作部で操作することで、注視点検出のためのキャリブレーションを行うことができる。そして、このように注視点検出のためのキャリブレーションを行った後に、通信相手からの着信に応じた選択項目をユーザーの注視に基づいて選択する。このため、ユーザーが発話できない状況であっても、ユーザーは、ユーザーの注視により通信相手とのコミュニケーションを行うことができる。この結果、本実施形態によれば、利便性を向上することができる。

なお、実施形態のＨＭＤ１では、視線入力のアプリケーションを開始する前であっても、ならびに同アプリケーションを実行中であっても、操作部の操作によって操作画像が選択されたとき毎に、注視点検出のための計算式のキャリブレーションを行う。この結果、実施形態のＨＭＤ１によれば、ユーザーが操作部を操作したタイミングで注視点検出のためのキャリブレーションを、操作画像が選択されたとき毎に自動的に行うため、高い精度で視線入力が可能になっている。また、この注視点検出のためのキャリブレーションにおいて、上述したように、本実施形態のＨＭＤ１では、ユーザーの片眼を含む領域の画像を用いて行い、両眼を含む画像を撮影する必要がないため、ＨＭＤ１を小型化できる。
また、本実施形態のＨＭＤ１では、「眼球照明ランプの選択処理」で設定された眼球照明ライト１６６を点灯及び消灯することで、ユーザーの眼に適切な光線を照射することができる。このため、注視点検出のためのキャリブレーションを精度良く行うことができる。

なお、図９〜図１５を用いて説明したように、注視点検出のためのキャリブレーションの前に、画像の大きさを縮小させ、位置を移動させた場合、例えば、選択した表示領域Ｔに、パスワード入力画面４００ｅ、メニュー画面４００ｆ等を縮小して表示するようにしてもよい。また、注視点検出のためのキャリブレーションを行った後に、画像の大きさを縮小させ、位置を移動させた表示して視線入力を行う場合、表示位置、及び画像の縮小率に基づいて、記憶部３０３に記憶されている関係式の値を補正することで座標を変換するようにしてもよい。

なお、本実施形態では、注視点検出のためのキャリブレーションに、図３４に示したパスワード入力画面等を用いる例を説明したが、これに限られない。操作スイッチ３０により選択可能なキー、ボタン、アイコン等を、表示パネル６３に表示させるようにしてもよい。この場合においても、従来技術とは異なり、キャリブレーションのためだけの表示ではなく、ユーザーが操作を行う必然性がある操作に関するキー、ボタン、アイコン等を表示する。ユーザーは、操作時に、これらのキー、ボタン、アイコン等を注視している確率が非常に高いので、操作時の撮像画像に基づいて、注視点検出のためのキャリブレーションを行うことができる。

なお、処理部１２３は、ユーザーの眼の位置を撮像画像に基づいて検出する場合、眼球照明ライト１６６を点灯させてもよい。また、処理部１２３は、ユーザーの眼が表示部６０から離れた場合（図１２及び図１４を参照）、表示領域の縮小率を算出するために、輝点６０４Ａ及び輝点６０４Ｂの間隔（図１１を参照）と、輝点６０４Ｃ及び輝点６０４Ｄの間隔（図１２を参照）との比を測定する。
この処理により、図９に示すところの表示領域Ｓを表示領域Ｔに縮小することで、処理部１２３は、ユーザーが表示全体を見渡せるようにすることが可能である。さらに、輝点６０４Ａと輝点６０４Ｂとの中間の位置よりも、輝点６０４Ｅと輝点６０４Ｆ（図１４を参照）との中間の位置がずれていると判別される場合、処理部１２３は、ユーザーの眼がベクトルＶ１だけずれていることがわかる。このようにして、処理部１２３の画像切替部３０６（図２２を参照）は、図９における表示領域Ｔを、表示領域Ｕまでシフトさせることが可能となっている。

［第２実施形態］
第２実施形態では、表示部６０の位置６００ａ及び位置６００ｂ（第１実施形態の図３３を参照）を含む、表示部６０の多くの位置について、眼球照明ライト１６６の点灯及び消灯を切り替える例を説明する。

図４４は、本実施形態に係るヘッドマウントディスプレイ（第２表示モード、待避モード）の装着形態を示す図である。図４４では、装置本体部２１は、ユーザーの左右の眼を仮想的に結んだ線を含むＸＹ平面に対して、角度αだけ下側に傾いた姿勢となっている。

図４４（Ａ）は、右眼観察形態の第１表示モードから、表示部６０を時計回り方向に９０度回転させた装着形態を示す図である。この装着形態を、第２表示モードと称する。第２表示モードでは、表示部６０の先端部が上側に位置するよう、表示部６０は、収容部６１ａ及び球状部６１ｂを回転軸として、Ｙ’軸回り（図３を参照）で時計回り方向に９０度だけ回転される。これにより、表示部６０及びファインダー開口部６７は、ユーザー側から見ると、Ｚ軸方向に縦長に配置される。また、表示パネル６３は、アスペクト比が縦長の画像を表示する。

つまり、第２表示モードでは、表示部６０の表示パネル６３に表示される画像は、ユーザーの右眼に対して、斜め右前方向の位置に表示されることになる。また、第２表示モードでは、右眼の近傍にある眼球照明ライト１６６ｃ及び１６６ｄが点灯し、眼球照明ライト１６６ａ及び１６６ｂが消灯する。

図４４（Ｂ）は、右眼観察形態の第１表示モードから、表示部６０を反時計回り方向に９０度回転させた装着形態を示す図である。この装着形態を、待避モードと称する。待避モードでは、表示部６０の先端部が下側に位置するよう、収容部６１ａ及び球状部６１ｂを回転軸として、表示部６０をＹ’軸回り（図３を参照）で９０度だけ反時計回り方向に回転される。これにより、表示部６０及びファインダー開口部６７は、ユーザーの右眼の視野から待避することになる。また、待避モードでは、眼球照明ライト１６６ａ〜１６６ｄは、全て消灯してもよい。

第１表示モード、第２表示モード、及び待避モードにおいて、表示部６０の回転軸は共通である。このため、第２表示モード又は待避モードから、表示部６０を９０度回転させれば、第１表示モードに戻すことができる。すなわち、ユーザーは、ＨＭＤ１を外したり、装置本体部２１の角度を変えたりせずに、表示部６０をユーザーの右眼の視野から待避させたり、観察位置に戻したりすることができる。

なお、図４４（Ａ）及び図４４（Ｂ）に示した例では、右眼観察形態の第１表示モードから、表示部６０を縦に配置させる例を説明したが、図５（Ｂ）に示した左眼観察形態の第１表示モードからも同様に、表示部６０を縦に配置させることができる。すなわち、左眼観察形態の第１表示モードから、収容部６１ａ及び球状部６１ｂを中心軸として、ＸＺ平面で反時計回り方向に９０度だけ、表示部６０を回転させることで、ユーザーは、左眼観察形態の第２表示モードに、ＨＭＤ１を切り替え可能である。同様に、右眼観察形態の第１表示モードから、収容部６１ａ及び球状部６１ｂを中心軸として、Ｙ’軸回り（図３を参照）で時計回り方向に９０度だけ、表示部６０を回転させることで、ユーザーは、左眼観察形態の待避モードに、ＨＭＤ１を切り替え可能である。

制御部３０２（図２２を参照）は、加速度センサー１３２が検出した検出値、及び撮像素子７２による撮像画像に基づいて、右眼観察形態又は右眼観察形態と、第１表示モード、第２表示モード又は待避モードとを判別する。ここで、制御部３０２は、撮像素子７２による撮像画像については、例えば、眉毛と眼との相対位置、瞬きでの瞼の挙動、眉毛の輪郭、眼の輪郭、眼の左右の目尻の下がり方等に基づいて、右眼観察形態又は右眼観察形態と、第１表示モード、第２表示モード又は待避モードとを判別する。また、制御部３０２は、撮像素子７２による撮像画像にユーザーの眼球が撮像されていない場合、待避モードであると判別する。

図４５は、本実施形態に係る表示部６０の位置と眼球照明ライト１６６の関係を説明する図であり、ユーザーの顔を正面から水平に見た場合の図である。図４５において、一点鎖線の四角形で示された位置６００ａ〜６００ｈは、表示部６０が配置される位置の例である。

＜第１表示モード＞
位置６００ａは、ユーザーの右眼の下側に、横向きに配置されている表示部６０の位置である。また、位置６００ｂは、ユーザーの左眼の下側に、横向きに配置されている表示部６０の位置である。また、位置６００ｃは、ユーザーの右眼の上側に、横向きに配置されている表示部６０の位置である。また、位置６００ｄは、ユーザーの左眼の上側に、横向きに配置されている表示部６０の位置である。

＜第２表示モード＞
位置６００ｅは、ユーザーの右眼の右側に、縦向きに配置されている表示部６０の位置である。また、位置６００ｆは、ユーザーの左眼の左側に、縦向きに配置されている表示部６０の位置である。

ＨＭＤ１の制御部３０２（図２２を参照）は、位置６００ａ、６００ｄ又は６００ｆのいずれかに表示部６０がある場合、この位置でユーザーの眼のより近傍に位置する眼球照明ライト１６６ａ及び１６６ｂを点灯させ、眼球照明ライト１６６ｃ及び１６６ｄを消灯させる。一方、位置６００ｂ、６００ｃ又は６００ｅのいずれかに表示部６０がある場合、この位置でユーザーの眼のより近傍に位置する眼球照明ライト１６６ｃ及び１６６ｄを点灯させ、眼球照明ライト１６６ａ及び１６６ｂを消灯させる。

このように、制御部３０２は、ファインダー開口部６７の隅の近傍（予め定められた距離以内）に配置されている眼球照明ライト１６６ａ〜１６６ｄのうち、ユーザーの眼をより正面から照射する眼球照明ライトが点灯するように、ユーザーと表示部６０との位置関係に応じて点灯状態を制御する。

＜待避モード＞
位置６００ｇは、ユーザーの右眼の右下側に、縦向きに配置されている表示部６０の位置である。また、位置６００ｈは、ユーザーの左眼の左下側に、縦向きに配置されている表示部６０の位置である。
位置６００ｇ及び６００ｈの位置に表示部６０がある場合、制御部３０２は、眼球照明ライト１６６ａ〜１６６ｄを、全て消灯させる。

次に、注視点検出のためのキャリブレーション時、点灯させる眼球照明ライトを選択する選択処理について説明する。
図４６は、本実施形態に係るＨＭＤ１の眼球照明ライトの選択処理手順のフローチャートである。

（ステップＳ８０１）制御部３０２は、眼球照明部３０４を介して、眼球照明ライト１６６ａ及び１６６ｂを点灯させる。次に、制御部３０２は、撮像素子７２を駆動して撮像画像を取得し、取得した撮像画像を記憶部３０３に記憶させる。

（ステップＳ８０２）制御部３０２は、眼球照明部３０４を介して、眼球照明ライト１６６ａ及び１６６ｂを消灯させ、眼球照明ライト１６６ｃ及び１６６ｄを点灯させる。次に、制御部３０２は、撮像素子７２を駆動して撮像画像を取得し、取得した撮像画像を記憶部３０３に記憶させる。

（ステップＳ８０３）制御部３０２は、ステップＳ８０１で記憶させた撮像画像を読み出し、読み出した撮像画像から、眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の画像を抽出する。次に、制御部３０２は、抽出した輝点の画像の輝度を算出する。次に、制御部３０２は、ステップＳ８０２で記憶させた撮像画像を読み出し、読み出した撮像画像から、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の画像を抽出する。次に、制御部３０２は、抽出した輝点の画像の輝度を算出する。
次に、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いか否かを判別する。眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いと判別された場合（ステップＳ８０３；Ｙｅｓ）、ステップＳ８０４に進む。眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高くないと判別された場合（ステップＳ８０３；Ｎｏ）、ステップＳ８０５に進む。

（ステップＳ８０４）眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高いと判別された場合、制御部３０２は、眼球照明ライト１６６ａ及び１６６ｂを選択し、選択した結果を記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。

（ステップＳ８０５）眼球照明ライト１６６ａ及び１６６ｂに対応する輝点の輝度の方が、眼球照明ライト１６６ｃ及び１６６ｄに対応する輝点の輝度より高くないと判別された場合、制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを選択し、選択した結果を記憶部３０３に記憶させる。制御部３０２は、眼球照明ライト１６６ｃ及び１６６ｄを消灯させて、眼球照明ライトの選択処理を終了する。

第２実施形態のＨＭＤ１は、第１実施形態のＨＭＤ１の場合と同様に、「左右の眼の検出処理」後、「乗り物検出の処理」及び「居眠り検出の処理」を行う。この結果、第２実施形態のＨＭＤ１は、第１実施形態のＨＭＤ１の場合と同様に、適切に撮像された撮像画像に基づいて、居眠り検出を行うようにしたので、運転中等にユーザーが目を瞑っている状態の場合、ユーザーに報知することができる。従って、第２実施形態のＨＭＤ１は、利便性を向上できる。
また、第２実施形態においても、注視点検出のためのキャリブレーション時、図３０のステップＳ５０２又はＳ５０３の代わりに、上述したようにユーザーと表示部６０との位置関係に応じて眼球照明ライト１６６の点灯と消灯を制御する。
また、上述したように、眼球照明ライト１６６の輝度に基づいて、眼球照明ライト１６６を制御するようにしたので、本実施形態のＨＭＤ１は、ユーザーの眼と表示部６０との位置関係に応じて眼球を照明するライトの選択が適宜行うことが可能となる。さらに、本実施形態のＨＭＤ１は、使用しない眼球照明ライト１６６を消灯することで、効率的な省電力対策が可能となっている。

なお、本実施形態では、眼球照明ライト１６６の輝度と、ユーザーと表示部６０との位置関係とに応じて、眼球照明ライト１６６の点灯及び消灯を制御する例を説明したが、眼球照明ライト１６６の点灯及び消灯を制御する例は、これに限られない。例えば、制御部３０２は、取得した撮像画像と記憶部３０３に記憶されている判別用画像とを、パターンマッチングにより比較し、比較した結果に基づいて、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６の点灯と消灯を制御するようにしてもよい。

以上のように、本実施形態のＨＭＤ１は、ユーザーの眼に対してユーザーの下側もしくは上側や外側に表示部６０が配置された場合であっても、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６の点灯と消灯を制御する。この結果、本実施形態のＨＭＤ１は、ユーザーと表示部６０との位置関係に応じて、ユーザーの眼に適切な眼球照明ライト１６６の光による輝点に基づいてユーザーの視点を精度良く検出できるので、注視点検出のためのキャリブレーションを精度良く行うことができる。従って、第１実施形態と同様に、「サイレントモードの処理」において、ユーザーは表示パネル６３に表示されている選択項目を注視により選択することで、発話できない環境（状況）であっても通信相手とのコミュニケーションを行うことができる。
また、本実施形態のＨＭＤ１は、第１実施形態と同様に、ユーザーと表示部６０との位置関係に応じて、眼球照明ライト１６６を消灯できるので、消費電力を削減することができる。

なお、表示部６０がユーザーの顔の正面にあり、眼球照明ライト１６６ａ〜１６６ｄの全てがユーザーの水平視線からほぼ等距離な位置にあると判別される場合、ＨＭＤ１は、原理的にはどの眼球照明ライト１６６を点灯してもよい。しかしながら、通常は眼の上方向には、天井の照明や空や太陽などがあり、これらの光源による輝点が眼球上に存在する可能性がある。そして、これらの輝点と眼球照明ライト１６６の輝点とが識別がしづらくなることから、表示部６０がユーザーの顔のほぼ正面にあると判別される場合、ＨＭＤ１は、眼の鉛直下方向に配置された眼球照明ライト１６６を点灯するように制御を行うようにしてもよい。

なお、表示部６０を含むファインダー開口部６７の長辺の近傍に眼球照明ライト１６６ａ〜１６６ｄを備える例を説明したが（図２を参照）、眼球照明ライト１６６ａ〜１６６ｄを備える例は、これに限られない。すなわち、眼球照明ライト１６６は、ファインダー開口部６７の短辺の近傍に配置されてもよい。

［第３実施形態］
次に、表示部がシースルー光学系の場合について説明する。
第１及び第２実施形態との差異は、表示部６０の構成のみである。
図４７は、本実施形態に係る本実施形態に係る光学系を説明するための表示部６０ａの断面図である。図８と同じ機能の部材には同じ番号を設けてあるので説明は省略する。

図４７に示すように、本実施形態の表示部６０ａは、バックライト６２、表示パネル６３、第１プリズム６５ａ、第２プリズム６５ｂ、反射ミラー６６、ファインダー開口部６７、結像レンズ７１、撮像素子７２、１／４波長板７５、偏光板９０、凹レンズ９１、１／４波長板９２、液晶９３、偏光板９４、開口部９５を含んで構成されている。図４７において、符号Ｈ、Ｉ、Ｊ、Ｋ、Ｏ、Ｔは、各々、光線を表し、符号Ｓは、ユーザーの眼から出た光束を表す。

図４７に示すように、ユーザーの前面の景色は、光線Ｏとなって開口部９５に入射する。次に、光線Ｏは、開口部９５を抜けて、偏光板９４を透過する。次に、光線Ｏは、Ｓ偏光のみが透過する。
次に、光線Ｏは、液晶９３に入射する。なお、光線Ｏは、液晶９３の働きにより偏光方向が変わる。すなわち、液晶９３に通電した場合（オン状態）、光線Ｏは、液晶９３に入射したＳ偏光がＰ偏光となって、１／４波長板９２に入射する。次に、光線Ｏは、１／４波長板９２の働きにより左回りの偏光となる。

本実施形態において反射ミラー６６は、半透過タイプとなっており、例えば、５０％の光線を透過し、５０％の光を反射する。反射ミラー６６が、５０％の光線を透過するとして以下を説明する。この結果、光線Ｏの５０％が、１／４波長板７５に入射する。
なお、凹レンズ９１は、反射ミラー６６を構成する凸レンズとペアとなって、パワーゼロの平行平板となるようにするための部材である。

次に、光線Ｏは、１／４波長板７５の作用で、Ｐ偏光となり、第１プリズム６５ａに入射する。次に、光線Ｏは、接合面６５ｃをそのまま透過して、第２プリズム６５ｂを透過して偏光板９０に入射する。偏光板９０は、Ｐ偏光を透過するように構成されている。
以上の構成により、ユーザーによって外界の画像（開口部９５を通して見る画像）が、表示パネル６３から投影される画像とともに観察可能となっている。

次に、外界の画像を消し、表示パネル６３から投影される画像のみを観察する場合について説明する。
図４７において、液晶９３を無通電の状態（オフ状態）にすると、光線Ｏは、液晶９３により光線Ｏの偏光方向が変化されない。このため、光線Ｏは、偏光板９４でＳ偏光となる。次に、光線Ｏは、そのままが１／４波長板９２に入射する。次に、光線Ｏは、１／４波長板の働きにより右回りの偏光となる。

次に、反射ミラー６６を透過した光線Ｏの５０％が、１／４波長板７５に入射する。次に、光線Ｏは、１／４波長板７５の作用で、Ｓ偏光となる。次に、Ｓ偏光になった光線Ｏは、第１プリズム６５ａに入射する。接合面６５ｃに設けられた偏光反射膜は、Ｓ偏光を反射する。この結果、ユーザーの眼に外界の光線が、入射しない。

このように、液晶９３のオン状態とオフ状態の切り替えによって、外界の画像をファインダー内に透過して使用者によって観察可能か否かを制御することが可能である。なお、液晶９３のオン状態とオフ状態の切り替えは、例えば処理部１２３が行う。

図４７において、偏光板９０の働きは、反射ミラー６６によってユーザーが自分の眼を拡大して観察しないように配置している。ユーザーが自分の眼を拡大して観察しない理由について、説明する。
ユーザーの眼から出た光束Ｓは、偏光板９０でＰ偏光のみが透過し、第２プリズム６５ｂ、接合面６５ｃ、第１プリズム６５ａを透過して、１／４波長板７５に入射する。ここで、光線Ｓは、１／４波長板７５の作用により左回りの円偏光となり、反射ミラー６６で光線Ｔとして反射される。次に、光線Ｔは、反射によって右回りの円偏光となり、１／４波長板７５を透過する際にＳ偏光となる。
次に、光線Ｔは、第１プリズム６５ａを透過して接合面６５ｃに入射する。ここで、接合面６５ｃはＳ偏光を反射して透過しない。従って、ユーザーの眼には、自分自身の眼からでた光束が入射することはなく、表示画面中に自分の眼が見えることは無い。

また、眼の周辺画像を撮影するための結像レンズ７１ならびに撮像素子７２は、ファインダー開口部６７に隣接して設けられている。このため、結像レンズ７１ならびに撮像素子７２系の光線は、第２プリズム６５ｂを透過せずに、直接ユーザーの眼の近傍を撮影可能となっている。

図４８は、本実施形態に係る観察範囲と撮像範囲を説明する図である。図４８において、符号６７ａは、表示パネル６３から投影された画像の観察範囲を表している。符号６７ｃは、撮像素子７２の撮像範囲を表している。
また、図４８は、図１０等と同様に、反射ミラー６６を凸レンズに置き換えて、等価的に表した図である。

図４８において、結像レンズ７１の焦点距離は、反射ミラー６６の焦点距離より短く作られている。このため、図４７を紙面とは垂直に断面を切り取った場合、図４８で示すように、ユーザーの眼を含むその周囲の様子が撮影可能となっている。
なお、図４８において、結像レンズ７１ならびに撮像素子７２は、反射ミラー６６の光学中心とはオフセットしている。しかしながら、ユーザーは、表示部６０ａを眼の正面ではなく、口元の方向へ下げることでファインダー開口部６７から眼を十分に離すことが可能となっており、図４８に示すようにユーザーの眼は観察距離Ｌ８１の位置にある。このため、ユーザーが表示パネル６３を観察している場合、本実施形態によれば、撮像素子７２は、問題なくユーザーの眼ならびにその周囲を撮影可能となっている。

上述した構成を備えることで、ユーザーの眼を含む撮像を行い、第１実施形態と同様に、撮像素子７２が撮像した画像に基づいて、ＨＭＤ１の装着状態、視線キャリブレーションを行うことができるシースルー光学系の表示部を備えるヘッドマウントディスプレイを提供することができる。
なお、第２実施形態においても、第１実施形態で説明したように、眼球照明ライトを、ファインダー開口部６７の４辺のうち、対向する２辺の近傍に各々配置するようにしてもよい。

第３実施形態のＨＭＤ１は、第１実施形態のＨＭＤ１の場合と同様に、「左右の眼の検出処理」後、「乗り物検出の処理」及び「居眠り検出の処理」を行う。この結果、第３実施形態のＨＭＤ１は、第１実施形態のＨＭＤ１の場合と同様に、適切に撮像された撮像画像に基づいて、居眠り検出を行うようにしたので、運転中等にユーザーが目を瞑っている状態の場合、ユーザーに報知することができる。従って、第３実施形態のＨＭＤ１は、利便性を向上できるシースルー光学系の表示部６０ａを備えるヘッドマウントディスプレイを提供することができる。
また、第３実施形態のＨＭＤ１は、第１実施形態のＨＭＤ１の場合と同様に、ＨＭＤ１がユーザーの頭部近傍にあるか否か、及びサイレントモードの設定に基づいて「サイレントモードの処理」を行う。この結果、第３実施形態のＨＭＤ１は、第１実施形態のＨＭＤ１の場合と同様に、着信音及び通話音がユーザーに適切に報知できる。従って、第３実施形態のＨＭＤ１は、利便性を向上できるシースルー光学系の表示部６０ａを備えるヘッドマウントディスプレイを提供することが可能になる。

なお、第１〜第３実施形態では、ヘッドマウントディスプレイの例として、右眼観察形態と左眼観察形態を切り替えて使用できるヘッドマウントディスプレイの例を説明したが、これに限られない。例えば、右眼観察形態専用、または左眼観察形態専用のヘッドマウントディスプレイであってもよい。この場合、本実施形態で説明した処理の内、右眼観察形態、または左眼観察形態に関する処理のみを行うようにしてもよい。

なお、第１〜第３実施形態において、表示部６０（または表示部６０ａ）の画像を観察している眼を認識する際に、制御部３０２は、バックライト６２を点灯させるようにしてもよい。これにより、さらに撮像画像に含まれるユーザーの眼の領域を含む画像が鮮明になり、「左右の眼の検出処理」における演算処理が簡単になる。または、制御部３０２は、バックライト６２を消灯させた撮像画像と、バックライト６２を点灯させた撮像画像の両方を用いて「左右の眼の検出処理」を行うようにしてもよい。この場合、制御部３０２は、撮像画像において、ユーザーの眼を含む領域がより鮮明な方を用いて、「左右の眼の検出処理」を行うようにしてもよい。

なお、第１〜第３実施形態では、撮像画像の例として、図１１、図１２、図１４、図２６、図２７、及び図２８に示したように、ユーザーの片眼を含む領域が撮像された例を説明したがこれに限られない。撮像画像には、ユーザーの両眼を含む領域が撮像されていてもよく、またはユーザーの両眼のうち、片眼を含む領域のみならず、ユーザーの他の片眼を含む領域が撮像されていてもよい。
この場合、制御部３０２は、撮像画像において占める面積が多い方の眼の画像領域を抽出して、抽出した画像領域をユーザーの片眼を含む領域とする。そして、制御部３０２は、この抽出したユーザーの片眼を含む領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。あるいは、制御部３０２は、撮像画像において眼球の画像が撮像画像の中心により近い方の眼の画像領域を抽出して、抽出した画像領域に基づいて「左右の眼の検出処理」を行うようにしてもよい。
また、制御部３０２は、眉毛の画像を抽出し、抽出した眉毛の画像の近傍にある眼の画像を抽出して、「左右の眼の検出処理」を行う。このように眉毛の画像の近傍にある眼の画像を抽出することで、本発明に係るＨＭＤ１では、ユーザーの片眼を含む領域の画像に、ユーザーの両眼のうち他の片眼の画像又はその眼に対応する眉毛の画像が含まれていても、ユーザーの片眼の画像およびその眼に対応する眉毛の画像を適切に抽出できる。この結果、本発明に係るＨＭＤ１では、ユーザーの片眼を含む領域に基づいて、表示部６０に表示された画像を観察している眼が右眼と左眼とのいずれかであるかを適切に認識できる。

また、第１〜第３実施形態において、図２では、表示部６０及びファインダー開口部６７が長方形である例を示したが、表示部６０及びファインダー開口部６７は、正方形、楕円形、円形等であってもよい。表示部６０及びファインダー開口部６７が、このような形状であっても、複数の眼球照明ライトを、図２に示したように、ファインダー開口部６７の４辺のうち、対向する２辺の近傍に各々配置するようにしてもよい。

なお、第１〜第３実施形態では、眼球照明ライト１６６ａ〜１６６ｄ、または１６６ｅ〜１６６ｈを、例えば図２に示したように、ファインダー開口部６７の上下または左右に、各々２個ずつ設ける例を説明したが、これに限られない。例えば、ファインダー開口部６７の上下または左右に、各々１個ずつ設けるようにしてもよい、ファインダー開口部６７の上下または左右に、各々３個以上ずつ設けるようにしてもよい。
さらに、眼球照明ライト１６６ａ〜１６６ｄを設ける位置は、図２に示したようなファインダー開口部６７の上下でなくてもよい。ユーザーの眼球に照射できる位置であればよく、例えば、眼球照明ライト１６６ａ〜１６６ｄは、ファインダー開口部６７の内側の上下に設けるようにしてもよい。すなわち、ユーザーが、ＨＭＤ１をユーザーの眼の近傍に表示部６０が配置したとき、眼球照明ライト１６６ａ〜１６６ｄのいずれかがユーザーの眼の近傍に配置されればよい。このため、眼球照明ライト１６６ａ〜１６６ｄは、ファインダー開口部６７が配置された表示部６０の一面の範囲、または、ファインダー開口部６７の内側の範囲に配置されるようにしてもよい。また、表示部６０が配置されるユーザーの眼の近傍とは、例えば、図４５に示した位置６００ａ〜６００ｆのように、ユーザーの眼の下、上、外側等であり、撮像素子７２によりユーザーの眼の周辺画像を撮像できる範囲であればよい。

なお、第１〜第３実施形態では、右眼観察形態であるか左眼観察形態であるかを、加速度センサー１３２の検出値、または撮像素子７２が撮像した画像を用いる例を説明したが、これに限られない。例えば、眼球照明ライト１６６ａ〜１６６ｄに受光部を備えるタイプを使用し、各眼球照明ライト１６６ａ〜１６６ｄによる反射光を検出するようにしてもよい。例えば、右眼観察形態の場合、図３３に示したように、眼球照明ライト１６６ａ及び１６６ｂは、眼球照明ライト１６６ｃ及び１６６ｄよりも、ユーザーの眼のより正面に配置される。このため、眼球照明ライト１６６ｃ及び１６６ｄによる反射光の輝度は、眼球照明ライト１６６ａ及び１６６ｂによる反射光の輝度よりも低い。
このように、処理部１２３は、各眼球照明ライト１６６ａ〜１６６ｄによる反射光を検出し、検出した結果に基づいて観察形態を判別するようにしてもよい。

また、撮像素子７２は、所定の時間間隔で、撮像画像を撮像してもよい。この場合、処理部１２３は、メインスイッチ２８をオフ状態にせずに、ユーザーがヘッドマウントディスプレイを頭部から外しているのか否かを、撮像素子７２が撮像した画像に基づいて判別するようにしてもよい。メインスイッチ２８をオフ状態にせずに、所定の時間以上、ユーザーがヘッドマウントディスプレイを頭部から外していると判別した場合、処理部１２３は、カメラ６４及び撮像素子７２による撮像を、停止させてもよい。また、処理部１２３は、眼球照明ライト１６６ａ〜１６６ｄを消灯させてもよい。さらに、処理部１２３は、省電力状態になるように、各通信回路等を制御するようにしてもよい。なお、これらの制御を行うか否かは、例えば、タッチスイッチ３４を操作することにより、ユーザーが設定してもよい。
または、処理部１２３は、ヘッドマウントディスプレイが頭部から外されているか否かを、例えば、心拍数センサー１３７の検出値に基づいて判別するようにしてもよい。
さらに、処理部１２３は、装置本体部２１がヘッドバンド４０に装着されていないことを検出スイッチ（不図示）が検出した場合、装置本体部２１が頭部から外されていると判別し、眼球照明ライト１６６ａ〜１６６ｄを全て消灯させてもよい。
これにより、処理部１２３は、ヘッドマウントディスプレイの消費電力を低減させることができる。

なお、第１〜第３実施形態では、ヘッドマウントディスプレイの例として単眼タイプについて説明したが、ヘッドマウントディスプレイは、両眼タイプでもよい。この場合、処理部１２３は、撮像素子７２が撮像した画像に基づいて、例えば、図４５に示したように眼の上の位置６００ｃ及び６００ｄに表示部が配置されている状態か、眼の下の位置６００ａ及び６００ｂに表示部が配置されている状態かを判別するようにしてもよい。処理部１２３は、判別した結果に基づいて、左右の眼に対応した表示部に各々設けられている眼球照明ライト１６６の点灯または消灯を制御するようにしてもよい。

また、眼球照明ライト１６６及び撮像素子７２は、ヘッドマウントディスプレイが両眼タイプの場合、左右それぞれの表示部のうち、片方の表示部６０だけに設けられてもよいし、両方の表示部６０に設けられてもよい。片方の表示部６０だけに、眼球照明ライト１６６を設けてもよい理由は、人が物を見る場合、一般的に、両眼の眼球が同じ方向を向くからである。

なお、第１〜第３実施形態では、ＨＭＤ１は、図２１および図２２に示した機能を備える例を説明したが、全ての機能を備えていなくてもよい。用途に応じて、例えば、温湿度センサー１３６、心拍数センサー１３７等を備えなくてもよい。逆に、ＨＭＤ１は、必要に応じて、図２１および図２２に示した以外の他の機能部を備えるようにしてもよい。

なお、第１〜第３実施形態では、ディスプレイ本体２０をヘッドバンド４０に装着して使用する例を説明したが、これに限られない。ユーザーは、ディスプレイ本体２０をヘッドバンド４０に装着せずに、用途に応じて単体で使用してもよい。

なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件のうち少なくとも１つの要件は、省略される場合がある。上記の実施形態で説明した各要件は、適宜、組み合わせることができる。

なお、上述のＨＭＤ１は、内部にコンピュータシステム（例えば、処理部１２３）を有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリーやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１…ヘッドマウントディスプレイ、２０…ディスプレイ本体、２６…オーディオコネクター、３４…タッチスイッチ、６０…表示部、６３…表示パネル（表示部）、６４…カメラ、７２…撮像素子（撮像部）、１００…イヤホン、１０３…第１スピーカー、１０４…第２スピーカー、１２１…デコーダー、１２３…処理部、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３７…心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、１６６ａ〜１６６ｈ…眼球照明ライト、バイブレータ１６７、３０１…入力検出部、３０２…制御部、３０３…記憶部、３０４…眼球照明部、３０５…音響制御部、３０６…画像切替部、３０７…画像表示部、３０８…送受信部、３０９…乗物検出部、３１０…居眠検出部、３１１…装着処理部

Claims (12)

1. 自装置がユーザーに装着された場合、前記ユーザーの眼の近傍に配置され、前記ユーザーを検出する第１センサーと、
   所定の情報を報知する報知部と、
   前記第１センサーが検出した検出値に基づいて前記ユーザーが居眠り状態であるか否かを判定し、判定した結果に基づいて、前記報知部による報知を制御する制御部と、
   を備えることを特徴とする頭部装着型情報入出力装置。
2. 前記制御部は、
   前記ユーザーが居眠り状態であると判定した場合、前記報知部から所定の情報を報知するように制御する
   ことを特徴とする請求項１に記載の頭部装着型情報入出力装置。
3. 前記ユーザーの移動手段を検出する移動手段検出部、
   を備え、
   前記制御部は、
   前記移動手段検出部が検出した前記ユーザーの移動手段に応じた所定の情報を前記報知部から報知するように制御する
   ことを特徴とする請求項１または請求項２に記載の頭部装着型情報入出力装置。
4. 前記制御部は、
   前記移動手段検出部が検出した前記ユーザーの移動手段に基づいて、所定時間を決定し、前記第１センサーが検出した検出値に基づいて判定した前記居眠り状態が前記所定時間以上、継続しているか否かを判定し、居眠り状態が前記所定時間以上、継続していると判定した場合、前記ユーザーの移動手段に応じた前記所定の情報を前記報知部から報知するように制御する
   ことを特徴とする請求項３に記載の頭部装着型情報入出力装置。
5. 測位を行う測位部
   を備え、
   前記制御部は、
   前記測位部が測位した測位情報に応じた所定の情報を前記報知部から報知するように制御する
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の頭部装着型情報入出力装置。
6. 前記第１センサーは、撮像部を有し、
   前記撮像部は、
   前記ユーザーの眼の近傍に配置され、前記ユーザーの眼を含む領域を撮像する
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の頭部装着型情報入出力装置。
7. 前記第１センサーは、加速度センサーを有し、
   前記加速度センサーは、
   前記ユーザーの身体の揺れを検出する
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の頭部装着型情報入出力装置。
8. 前記報知部は、
   音、振動、光、画像のうち少なくとも１つの情報によって前記所定の情報を報知する
   ことを特徴とする請求項１から請求項７のいずれか１項に記載の頭部装着型情報入出力装置。
9. 前記報知部は、
   音を出力する第１の報知部
   を備え、
   前記制御部は、
   前記移動手段検出部が検出した前記ユーザーの移動手段に基づいて、前記ユーザーの移動手段が前記ユーザーによって操縦されていない移動手段であるか否かを判別し、前記ユーザーの移動手段が前記ユーザーによって操縦されていない移動手段であると判別した場合、前記第１の報知部から前記所定の情報を報知しないサイレントモードに設定し、前記サイレントモードが設定されている場合であっても、測位部が測位した測位情報に基づいて、前記第１の報知部から音を前記所定の情報として出力することで報知するように制御する
   ことを特徴とする請求項３または請求項４に記載の頭部装着型情報入出力装置。
10. 前記制御部は、
    前記移動手段検出部が検出した前記ユーザーの移動手段に基づいて、前記ユーザーの現在位置から前記ユーザーが向かう目標地点へのナビゲーションに関する情報を前記所定の情報として前記報知部から出力するように制御する
    ことを特徴とする請求項３、請求項４、または請求項９のうちのいずれか１項に記載の頭部装着型情報入出力装置。
11. 前記ユーザーの血流の変化による反射光量の変化に基づく検出値を検出する第２センサー
    を備え、
    前記第１センサーは、撮像部を有し、
    前記撮像部は、前記ユーザーの眼を含む領域を撮像する撮像部が撮像し、
    前記制御部は、
    自装置が前記ユーザーの頭部へ装着されているか否かを、前記第２センサーが検出した検出値又は前記撮像部が撮像した撮像画像に基づいて判別し、自装置が前記ユーザーの頭部に装着されていると判別した結果と前記ユーザーが居眠り状態であるか否かを判定した結果とに応じて、前記報知部による報知を制御する
    ことを特徴とする請求項１から請求項１０のいずれか１項に記載の頭部装着型情報入出力装置。
12. 制御部が、自装置がユーザーに装着された場合、前記ユーザーの眼の近傍に配置され、前記ユーザーを検出する第１センサーが検出した検出値に基づいて前記ユーザーが居眠り状態であるか否かを検出する手順と、
    前記制御部が、前記ユーザーが居眠り状態であるか否かを判別し、判別した結果に基づいて、報知部による報知を制御する手順と、
    を含むことを特徴とする頭部装着型情報入出力方法。

Images