JP2020077271A - 表示装置、学習装置、及び、表示装置の制御方法 - Google Patents

Abstract

【課題】入力に関するＨＭＤの利便性の向上を図る。【解決手段】表示部と、使用者の身体の状態を検出する検出制御部１５７と、入力を受け付ける入力検出部１５８と、条件が成立した場合に処理を実行するアプリケーション実行部１６０と、処理に関する情報を表示させる表示制御部１５２と、を備え、アプリケーション実行部１６０は、実行指示を受け付けた場合に処理を実行し、検出制御部１５７の検出結果と受け付けた入力とに基づくデータセット１４８を生成するデータセット生成部１６８を有し、推定モデル１６４により処理の実行の可否を推定し、データセット１４８に従って推定モデル１６４を更新する学習部１６２と、を備える表示装置。【選択図】図５

Description

本発明は、表示装置、学習装置、及び、表示装置の制御方法に関する。

従来、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を装着した状態で、ユーザーが入力を行う手法が提案されている（例えば、特許文献１参照）。特許文献１に記載されたＨＭＤは、操作用の三次元のオブジェクト画像を表示し、ユーザーの目線の先の所定範囲内で手指を検知することにより、オブジェクト画像に対する操作を検知する。

特開２００８−２１７７１６号公報

特許文献１に開示されたように手指を用いる操作を行う場合、ユーザーの手指による入力が行われない状態で、ＨＭＤが入力を待機する状態が発生し得る。この場合、ユーザーは、手指による入力を急がなければならず、ユーザーの両手が塞がれないというＨＭＤの利点が損なわれるという課題がある。

上記課題を解決する一態様は、使用者の頭部に装着される表示部と、前記使用者の身体の状態を検出する検出部と、入力を受け付ける入力部と、条件が成立した場合に処理を実行する処理部と、前記処理部が前記処理を実行する際に前記処理に関する情報を前記表示部に表示させる表示制御部と、を備え、前記処理部は、前記処理に関する情報が表示された状態で前記入力部によって実行指示を受け付けた場合に、前記処理を実行し、前記検出部の検出結果と、前記入力部により受け付けた入力とに基づく学習データセットを生成するデータセット生成部を有し、前記検出部の検出結果に基づき、推定モデルにより前記処理の実行の可否を推定し、前記学習データセットに従って前記推定モデルを更新する学習部と、を備える表示装置である。

上記表示装置において、前記学習部は、前記処理の種類及び前記検出部の検出結果に基づき、前記推定モデルにより前記処理の実行の可否を推定し、前記データセット生成部は、前記検出部の検出結果と、前記処理の種類と、前記入力部により受け付けた入力とに基づき前記学習データセットを生成する構成であってもよい。

上記表示装置において、前記検出部は、前記表示部に設けられたセンサーにより検出を行い、前記センサーは、前記使用者の瞳の状態または視線を検出する目センサー、前記使用者の心拍を検出する心拍センサー、及び、前記使用者の発汗を検出する発汗センサーの少なくともいずれかである構成であってもよい。

上記表示装置において、前記検出部は、前記表示部に設けられたセンサーにより検出を行い、前記センサーは、前記表示部の動きを検出する動きセンサー、及び、前記使用者の筋肉の動きを検出するセンサーの少なくともいずれかである構成であってもよい。

上記表示装置において、前記表示部に設けられる撮像部と、前記撮像部の撮像画像に基づき環境を特定する環境特定部と、を備え、前記学習部は、前記環境特定部の特定結果、及び、前記検出部の検出結果に基づき、前記推定モデルにより前記処理の実行の可否を推定し、前記データセット生成部は、前記検出部の検出結果と、前記環境特定部の特定結果と、前記入力部により受け付けた入力とに基づき前記学習データセットを生成する構成であってもよい。

上記表示装置において、前記表示制御部は、前記表示部に前記情報を表示してから所定の表示時間が経過すると表示を停止させ、前記表示時間は、前記学習部が前記推定モデルにより推定した結果に応じて決定される構成であってもよい。

上記表示装置において、前記処理部は、前記処理に関する情報が表示された状態で前記入力部による入力を受け付けない場合に、前記推定モデルを用いた推定結果に従って、前記処理の実行の可否を決定する構成であってもよい。

上記課題を解決する一態様は、使用者の頭部に装着される表示部と、前記使用者の身体の状態を検出する検出部と、条件が成立した場合に処理を実行する処理部と、前記処理部が前記処理を実行する際に前記処理に関する情報を前記表示部に表示させる表示制御部と、を備え、前記処理部は、前記処理に関する情報が表示された状態で前記検出部の検出結果により、前記処理を実行し、前記検出部の検出結果の組合せにより前記処理の実行の可否の推定モデルを更新する学習部と、を備える表示装置である。

上記課題を解決する一態様は、使用者の頭部に装着される表示部と、前記使用者の身体の状態を検出する検出部と、を備える表示装置を対象として処理を行う学習装置であって、入力を受け付ける入力部と、条件が成立した場合に処理を実行する処理部と、前記処理部が前記処理を実行する際に前記処理に関する情報を前記表示部に表示させる表示制御部と、を備え、前記処理部は、前記処理に関する情報が表示された状態で前記入力部によって実行指示を受け付けた場合に、前記処理を実行し、前記検出部の検出結果と、前記入力部により受け付けた入力とに基づく学習データセットを生成するデータセット生成部を有し、前記検出部の検出結果に基づき、推定モデルにより前記処理の実行の可否を推定し、前記学習データセットに従って前記推定モデルを更新する学習部と、を備える学習装置である。

上記課題を解決する一態様は、使用者の頭部に装着される表示部を備える表示装置の制御方法であって、条件が成立した場合に、実行する処理に関する情報を前記表示部に表示する表示ステップと、前記情報が表示された状態で、実行指示の入力を受け付けた場合に、前記処理を実行する実行ステップと、前記使用者の状態を検出した検出結果に基づき、推定モデルにより前記処理の実行の可否を推定する推定ステップと、前記検出結果と前記入力とに基づく学習データセットを生成するデータセット生成ステップと、前記学習データセットに従って前記推定モデルを更新する学習ステップと、を含む表示装置の制御方法である。

表示システムの構成を示す図。 ＨＭＤの外観構成を示す図。 画像表示部と撮像範囲の対応を示す模式図。 ＨＭＤのブロック図。 制御部の機能ブロック図。 ＨＭＤにより表示される画面の例を示す図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。

［１．表示システムの構成］
図１は、本発明を適用した実施形態に係る表示システム１の概略構成図である。
表示システム１は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１００と、サーバー４００とを備え、ＨＭＤ１００とサーバー４００とは通信ネットワークＮにより通信可能に接続される。ＨＭＤ１００は、表示装置の一例に対応する。

表示システム１に含まれるＨＭＤ１００の数に制限はなく、図１には一例として、１つのＨＭＤ１００を示す。表示システム１が複数のＨＭＤ１００を含む場合、各々のＨＭＤ１００が、いずれも共通する構成とすることができる。

ＨＭＤ１００は、図２を参照して後述するように、使用者Ｕが頭部に装着する頭部装着型表示装置であり、使用者が虚像を視認すると同時に外景を直接視認可能な、光学透過型の表示装置である。外景は、ＨＭＤ１００を装着する使用者Ｕの外部の景色であり、使用者Ｕが画像表示部２０を装着していない状態でも肉眼により視認可能な、実空間の光景である。使用者Ｕは、ＨＭＤ１００のユーザーであり、操作者ということもできる。

以下の説明では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」と呼ぶ。また、画像データに基づく画像光を射出することを「画像を表示する」という。ここで、画像とは、静止画像に限らず、動画像あるいは映像を含む。
この構成は一例であり、たとえば、ＨＭＤ１００が、光学的に不透過であり、外景を撮像した撮像画像を表示することで、使用者Ｕに間接的に外景を視認させる、いわゆるビデオシースルー型の表示装置であってもよい。

通信ネットワークＮは、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線など、各種の通信回線、或いは、各種通信回線の組合せで実現され、具体的構成は限定されない。

サーバー４００は、サーバー制御部４０１、サーバー記憶部４０２、及び、サーバー通信部４０５を備える。サーバー記憶部４０２は、ＨＭＤ１００に対して提供可能なデータを記憶する記憶装置であり、図１の例ではコンテンツデータ４０３及び予定データ４０４を記憶する。コンテンツデータ４０３は、音声を伴う映像のデータ、静止画像のデータ、動画像のデータ等であり、ＨＭＤ１００により再生可能なデータフォーマットである。予定データ４０４は、ＨＭＤ１００に対応づけられたスケジュールデータであり、例えば、日時を示す情報と、使用者Ｕに関連するイベント等のデータを含む。

サーバー通信部４０５は、通信ネットワークＮを通じてＨＭＤ１００との間でデータ通信を実行する。サーバー通信部４０５は、サーバー制御部４０１の制御に従って、サーバー記憶部４０２に記憶されたデータをＨＭＤ１００に送信する。サーバー制御部４０１は、例えばＨＭＤ１００の要求に応じて、サーバー通信部４０５によってコンテンツデータ４０３や予定データ４０４をＨＭＤ１００に送信させる。これにより、ＨＭＤ１００は、サーバー４００から、コンテンツデータ４０３や予定データ４０４を取得できる。ＨＭＤ１００がコンテンツデータ４０３や予定データ４０４を取得する具体的な態様は制限されず、ＨＭＤ１００がデータをダウンロードしてもよいし、サーバー通信部４０５がＨＭＤ１００に対しストリーミング送信してもよい。

［２．ＨＭＤの構成］
図２は、ＨＭＤ１００の外観構成を示す図である。
ＨＭＤ１００は、使用者Ｕが頭部に装着する画像表示部２０、及び、画像表示部２０を制御するコントローラー１０を備える。画像表示部２０は、使用者Ｕの頭部に装着された状態で使用者に虚像を視認させる。コントローラー１０は、使用者ＵがＨＭＤ１００を操作するための制御装置として機能する。画像表示部２０は、表示部の一例に対応する。

コントローラー１０は、箱形の本体１１に、使用者Ｕの操作を受け付ける操作子として、各種のスイッチ等を備える。画像表示部２０は、本実施形態では眼鏡形状を有し、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち画像表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。画像表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の眼前に位置し、左導光板２８は使用者Ｕの左眼の眼前に位置する。

右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を使用者の左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認できる。

使用者Ｕの右眼ＲＥには、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼ＬＥには、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させ、使用者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光による画像が視認される。
右導光板２６及び左導光板２８の表面に、調光機能を有するシェード、または、電気的に光の透過率を調整可能な電子シェードを設けてもよい。

画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する使用者Ｕの前方からの外光を受光する。
外側カメラ６１は、画像表示部２０の前部フレーム２７に配設される。外側カメラ６１の撮像範囲および撮像方向については後述する。外側カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、外側カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。

外側カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態の外側カメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。外側カメラ６１は、制御部１５０の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。外側カメラ６１は、撮像部の一例に対応する。

前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいて外側カメラ６１の近傍に配置され、外側カメラ６１の動作中に点灯して、撮像中であることを報知する。

距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態では、距離センサー６４は前部フレーム２７に設けられ、使用者Ｕの前方に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、測域センサーとも呼ばれるレーザーレンジスキャナーであってもよく、この場合、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。

コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター４６に接続される。

マイク６３は、音声を集音して、音声信号を、音声インターフェイス１８１に出力する。音声インターフェイス１８１については図４を参照して後述する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

コントローラー１０は、使用者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。

本体１１にはＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）表示部１７が設置される。本体１１には、光を透過可能な透過部が形成され、透過部の直下にＬＥＤ表示部１７のＬＥＤが設置される。このため、ＬＥＤ表示部１７のＬＥＤが発光すると、透過部を透過する光により、透過部に形成された文字、記号、模様等が視認可能な状態となる。

ＬＥＤ表示部１７に対する使用者Ｕの手指の接触操作は、図４を参照して後述するタッチセンサー１７２により検出される。このため、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。
電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。また、本体１１は、コントローラー１０を、外部の装置に接続するインターフェイスとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１９を備える。

ＨＭＤ１００は、センサーユニット７０を備える。センサーユニット７０は、使用者Ｕの身体に装着され、使用者Ｕの身体に関する検出を行うセンサーを備える。センサーユニット７０は、例えば、使用者Ｕの腕に装着されてもよい。また、センサーユニット７０は、使用者Ｕの胸部、頭部、脚部、臀部、上腕部、手、指など、身体のいずれかの場所に装着される。センサーユニット７０は、使用者Ｕの身体の表皮に直接、接触する態様で装着されることが好ましいが、衣服の上から装着されるものであってもよい。

センサーユニット７０は、装着を容易にするため、腕時計型の形状を有していてもよいし、ペンダントや指輪等のアクセサリーを模した形状であってもよく、その形状を含む具体的な態様は任意である。また、センサーユニット７０は、スマートフォンやスマートウォッチと呼ばれる、ＨＭＤ１００以外のデバイスとして構成される。これらの外部のデバイスとＨＭＤ１００とが無線通信を実行することにより、外部のデバイスをセンサーユニット７０として利用してもよい。本実施形態では、ＨＭＤ１００が、コントローラー１０と通信するセンサーユニット７０を、ＨＭＤ１００の一部の構成として備える例を説明する。また、一例として、センサーユニット７０は、使用者Ｕの腕に装着される腕時計型のデバイスであり、バンドにより使用者Ｕの上腕部や手首に保持され、使用者Ｕの腕の表皮に密着可能な構成である。

図３は、画像表示部２０の要部構成を示す図であり、外側カメラ６１の位置を、使用者Ｕの右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す。
図３に、外側カメラ６１の画角、すなわち撮像範囲をＣで示す。外側カメラ６１は、使用者Ｕの両眼が向く方向、すなわち使用者Ｕにとって前方を撮像する。なお、外側カメラ６１の実際の画角は一般的なデジタルカメラと同様に上下方向にも拡がる。

外側カメラ６１は、ＨＭＤ１００を装着した状態における使用者Ｕの視界方向の少なくとも一部の外景を撮像する。このため、外側カメラ６１の画角Ｃは、使用者Ｕの正面方向を向き、使用者Ｕが画像表示部２０を透過して視認する外景と重複する。画角Ｃは、使用者Ｕが画像表示部２０を透過して視認する視界の全体を含むことが、より好ましい。

外側カメラ６１は無限遠にフォーカスする構成であってもよいが、制御部１５０の制御によりフォーカス調整が可能なものであってもよい。

図３に示すように、使用者Ｕが両眼で対象物ＯＢを注視すると、使用者Ｕの視線は、図中符号ＲＤ、ＬＤに示すように対象物ＯＢに向けられる。この場合、使用者Ｕから対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者Ｕから対象物ＯＢまでの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者Ｕが設定してもよい。外側カメラ６１の光軸、及び画角Ｃは、通常使用時における対象物ＯＢまでの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物ＯＢが画角に含まれるように、設定されることが好ましい。

また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。この場合、注視点が、図３の対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者Ｕが画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野と呼ぶことができる。実視野は、ＦＯＶ（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）とも呼ばれる。実視野は、右導光板２６及び左導光板２８を透過して使用者Ｕが視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。

そこで、外側カメラ６１の画角Ｃは、使用者Ｕの有効視野よりも広いことが好ましい。より好ましくは、画角Ｃは使用者Ｕの実視野よりも広く、さらに好ましくは、画角Ｃは使用者Ｕの安定注視野よりも広い。最も好ましくは、画角Ｃは使用者Ｕの両眼の視野角よりも広い。

外側カメラ６１が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群を外側カメラ６１が備える構成であってもよい。

また、上述のように、外側カメラ６１は端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。この場合、外側カメラ６１の左右方向における位置は図４の位置とは異なり、外側カメラ６１の光軸および画角Ｃは、外側カメラ６１の設置位置に応じて適宜に設定される。
なお、以下の説明では、画角Ｃに対応する外側カメラ６１の撮像範囲を、単に撮像範囲とする。

図３には、使用者Ｕの輻輳角を符号ＰＡで示す。輻輳角ＰＡは、使用者Ｕが注視する対象物ＯＢまでの距離に対応する。すなわち、使用者Ｕが立体的に画像や物体を視認する場合、視認する対象までの距離に対応して、右眼ＲＥ及び左眼ＬＥの輻輳角が定まる。従って、輻輳角を検出することで、使用者Ｕが注視する距離を求めることができる。また、使用者Ｕの輻輳角を誘導するように画像を表示することにより、立体視を誘導できる。

ＨＭＤ１００は、右表示ユニット２２、左表示ユニット２４の画像の表示位置を制御し、使用者Ｕの視線ＲＤ、ＬＤを誘導することにより、画像表示部２０の表示画像を視認する際の輻輳角ＰＡを制御できる。このため、使用者Ｕが、画像表示部２０の表示画像を認識し、知覚する距離を、ＨＭＤ１００の機能により調整可能である。

外側カメラ６１が撮像する撮像方向の具体例として、使用者Ｕの視線方向を含む方向が挙げられるが、画像表示部２０を装着した使用者Ｕの前方であってもよい。また、画像表示部２０を装着した使用者Ｕの移動方向を外側カメラ６１の撮像方向とする構成であってもよい。また、使用者Ｕが、後述する非表示対象を見る方向であってもよい。外側カメラ６１の画角は上述したように任意であり、広角であってもよく、例えば全方位カメラのように、３６０°を撮像可能なカメラであってもよく、複数の撮像素子や複数のレンズ等を備えて広角の撮像を可能とした複合デバイスであってもよい。

図３には、ＨＭＤ１００が備える内側カメラ６８を示す。内側カメラ６８は、画像表示部２０において、使用者Ｕの顔に対向する位置に設置され、右眼ＲＥ及び左眼ＬＥを向いて配置される。内側カメラ６８は、右眼ＲＥ、及び左眼ＬＥを撮像する。内側カメラ６８の撮像画像により、ＨＭＤ１００は、右眼ＲＥの視線ＲＤ、及び、左眼ＬＥの視線ＬＤの方向を特定できる。また、ＨＭＤ１００は、内側カメラ６８の撮像画像を解析することにより、右眼ＲＥ及び左眼ＬＥの瞳孔のサイズを検出することができる。ＨＭＤ１００は、瞳孔のサイズの変化をもとに、使用者Ｕの瞳孔の縮瞳または散瞳の状態を特定してもよい。また、ＨＭＤ１００は、内側カメラ６８の撮像画像をもとに、右眼ＲＥ及び左眼ＬＥのまぶたの開閉状態を検出してもよい。

［３．ＨＭＤの制御系］
図４は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ受信部１１５が接続される。

メインプロセッサー１２５には、通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。なお、図中においては、インターフェイスをＩ／Ｆと略記する。

メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等がコントローラー基板１２０に実装される。また、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、ＦＰＧＡ１９４、及びインターフェイス１９７をコントローラー基板１２０に実装してもよい。また、コネクター４２、及びＵＳＢコネクター１９を、コントローラー基板１２０に実装してもよい。

メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及び、メインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。

操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２、及びスイッチ１７４を含む。タッチセンサー１７２は、使用者Ｕによるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５、及び、電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及び、これらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。

６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサーの一例である。モーションセンサーは、慣性センサーと言い換えることもできる。６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。

磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信する受信機である。ＧＰＳ受信部１１５は、ＧＰＳ信号に基づき、コントローラー１０の現在位置の座標を検出または算出する。

６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力する構成であってもよい。

通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備え、これらが統合されたデバイスであってもよい。また、各種回路が実装された通信モジュール基板であってもよい。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。通信部１１７は、図１に示したサーバー４００との通信を実行する。また、通信部１１７は、センサーユニット７０と通信を行う。

音声信号を入出力する音声インターフェイス１８１は、オーディオコネクター４６に接続され、音声信号を入出力する。音声処理部１８０は、音声インターフェイス１８１により入出力される音声信号のエンコード／デコードを行う。音声処理部１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。

外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。

インターフェイス１９７は、センサーハブ１９３及びＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）１９４を、画像表示部２０に接続する。
センサーハブ１９３は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９４は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９７を介した伝送を実行する。

センサーユニット７０は、センサー通信部７１、発汗センサー７２、心拍センサー７３、及び、筋電センサー７４を備える。発汗センサー７２は、使用者Ｕの発汗状態を検出するセンサーである。例えば発汗センサー７２は、使用者Ｕの表皮に接触し、表皮における電気伝導度を検出することにより、発汗の有無、発汗の程度等の指標となる値を出力する。心拍センサー７３は、使用者Ｕの心拍数を検出するセンサーである。心拍センサー７３は、例えば、使用者Ｕの血管の拍動を光学的に検出するセンサー、或いは、血圧の変動を検出するセンサーである。筋電センサー７４は、センサーユニット７０が装着された位置における使用者Ｕの筋肉の電位、いわゆる筋電位を検出するセンサーである。筋電センサー７４は、センサーユニット７０から離れた位置において使用者Ｕの身体に装着される図示しないプローブを有してもよい。発汗センサー７２、心拍センサー７３及び筋電センサー７４は、公知のセンサーを用いることができる。センサー通信部７１は、例えば、Ｂｌｕｅｔｏｏｔｈを用いて通信部１１７と無線通信を実行する。センサー通信部７１は、発汗センサー７２、心拍センサー７３及び筋電センサー７４の検出値や検出結果を、予め設定された周期でコントローラー１０に送信する。

センサーユニット７０の構成について制限はなく、使用者Ｕの生体に関する情報、及び、使用者Ｕの状態に関する情報を検出可能な他のセンサーを備える構成であってもよい。例えば、センサーユニット７０は、使用者Ｕの体温を検出する温度センサーや、血圧を検出する血圧センサーを備えてもよい。また、センサーユニット７０は、動きを検出するモーションセンサーを備え、使用者Ｕの体動を検出してもよい。

接続ケーブル４０、及び、図示しない画像表示部２０内部の配線により、コントローラー１０に、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。

ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、右眼ＲＥ及び左眼ＬＥに入射する。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９７に接続されるインターフェイス２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６６、外側カメラ６１、照度センサー６５、および、ＬＥＤインジケーター６７を、コントローラー１０に接続する。なお、図中では、受信部をＲｘと略記する。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６６、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。

外側カメラ６１は、撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。

距離センサー６４は、距離センサー６４の検出範囲に位置する対象物までの距離を測定し、測定結果をインターフェイス２１１に出力する。

照度センサー６５は、受光量、及び／または受光強度に対応する検出値を、インターフェイス２１１に出力する。

温度センサー６６は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６６は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６６を実装してもよい。

ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯および消灯する。

内側カメラ６８は、撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。

受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９７に接続されるインターフェイス２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、及び、磁気センサー２３７を、コントローラー１０に接続する。

６軸センサー２３５は、画像表示部２０の動きを検出するモーションセンサーの一例である。６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵであってもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。

また、ＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板には、図示しない温度センサーが実装される。この温度センサーは、ＯＬＥＤパネルの温度を検出する。ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサーを実装してもよい。

外側カメラ６１、距離センサー６４、照度センサー６５、温度センサー６６、内側カメラ６８、６軸センサー２３５、及び、磁気センサー２３７は、コントローラー１０のセンサーハブ１９３に接続される。これらの各センサーには、センサーハブ１９３から制御信号が入力される。また、ＬＥＤインジケーター６７はセンサーハブ１９３に接続される。

センサーハブ１９３は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９３は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。

センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、外側カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

図５は、ＨＭＤ１００の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。記憶部１４０は、不揮発性記憶部１２１により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８、及び不揮発性記憶部１２１により構成される。

記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及び、これらのプログラムにより処理されるデータを記憶する。
記憶部１４０は、オペレーティングシステム１４１、アプリケーションプログラム１４２、設定データ１４３、コンテンツデータ１４４、予定データ１４５、音声辞書データ１４６、及び、データセット１４８を記憶する。図においてはオペレーティングシステムをＯＳと略記する。
制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理して、ＨＭＤ１００を制御する。

オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１００の基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によってＨＭＤ１００の電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。

制御部１５０の機能とは、基本制御部１５１、表示制御部１５２、計時部１５３、通信制御部１５４、撮像制御部１５５、音声解析部１５６、検出制御部１５７、入力検出部１５８、及び、環境特定部１５９を含む。また、オペレーティングシステム１４１が実現する機能は、アプリケーション実行部１６０を含む。

また、制御部１５０は、学習部１６２として機能する。学習部１６２は、状態変数取得部１６３、推定モデル１６４を有する推定部１６５、評価部１６７、データセット生成部１６８、及び、更新部１６９を含む。

アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮影、文書作成、ウェブブラウジング、スケジュール管理、音声通信、電話、画像通信、経路ナビゲーション等の機能を実現する。

記憶部１４０は、複数のアプリケーションプログラム１４２を記憶することができ、各々のアプリケーションプログラム１４２は、アプリケーション実行部１６０により独立して、或いは相互に関連して実行される。

設定データ１４３は、ＨＭＤ１００の動作に係る各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。

設定データ１４３は、ＨＭＤ１００においてアプリケーションプログラム１４２を実行する場合に使用されるデータを含む。例えば、設定データ１４３は、アプリケーションプログラム１４２を実行する条件を規定するデータを含む。具体的には、予め設定された条件が成立した場合に実行するよう設定されたアプリケーションプログラム１４２について、アプリケーションプログラム１４２の実行を開始する条件が設定データ１４３に含まれている。また、例えば、設定データ１４３は、アプリケーションプログラム１４２の実行時の画像表示サイズ、画面の向き、アプリケーションプログラム１４２が使用する制御部１５０の機能部あるいはＨＭＤ１００のセンサー類等を示すデータを含んでもよい。

ＨＭＤ１００では、アプリケーションプログラム１４２を導入する際に、制御部１５０の機能によりインストール処理を実行する。インストール処理は、アプリケーションプログラム１４２を記憶部１４０に記憶するだけでなく、アプリケーションプログラム１４２の実行条件の設定等を含む処理である。インストール処理により、記憶部１４０に、アプリケーションプログラム１４２に対応する設定データ１４３が生成または記憶されると、アプリケーション実行部１６０がアプリケーションプログラム１４２を起動できる。

コンテンツデータ１４４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータである。コンテンツデータ１４４は複数のコンテンツのデータを含んでもよい。コンテンツデータ１４４は、双方向型のコンテンツのデータであってもよい。例えば、画像表示部２０がコンテンツを表示した場合に、コントローラー１０に対する使用者Ｕの操作に応じて、コンテンツの表示形態やコンテンツ自体が切り替えられる。この場合、コンテンツデータ１４４は、コンテンツのデータとともに、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。コンテンツデータ１４４は、ＨＭＤ１００がサーバー４００から取得したデータであってもよいし、外部メモリーインターフェイス１９１やＵＳＢコネクター１９を介して取得したデータであってもよい。

基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化し、アプリケーション実行部１６０がアプリケーションプログラムを実行可能な状態にする。基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、アプリケーション実行部１６０を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１００を停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１００全体がシャットダウンされる。基本制御部１５１は、ＨＭＤ１００の各部に対する電源供給を制御する機能を有してもよい。

表示制御部１５２は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５２は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。

また、表示制御部１５２は、画像表示部２０により表示する画像または映像の画像データに基づく画像処理を実行してもよい。この画像処理は、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する処理を含む。ここで表示制御部１５２が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。また、表示制御部１５２が実行する画像処理は、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を含んでもよい。また、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を含んでもよい。表示制御部１５２は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０に送信する。表示制御部１５２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される機能により、画像処理を実行してもよい。また、表示制御部１５２の一部または全部の機能を実行するハードウェアを、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）が挙げられる。

計時部１５３は、時刻を計時する。例えば、計時部１５３は、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）として動作して、現在時刻を計時する。この場合、計時部１５３は、基本制御部１５１または検出制御部１５７の要求に応じて、或いは、予め設定された周期で、時刻を出力する。

通信制御部１５４は、通信部１１７によるデータ通信を実行する。通信制御部１５４は、通信部１１７が備える通信機能を制御して、指定された通信先の機器との間でデータ通信を実行する。例えば、通信制御部１５４は、通信部１１７により、サーバー４００と通信を実行する。また、例えば、通信制御部１５４は、通信部１１７により、センサーユニット７０との間で通信を実行する。通信制御部１５４の機能により、基本制御部１５１及びアプリケーション実行部１６０は、他の装置との間でデータを送受信し、例えば受信したデータを利用できる。

撮像制御部１５５は、外側カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。外側カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５５は撮像画像データを外側カメラ６１から取得して、記憶部１４０に一時的に記憶する。
撮像制御部１５５は、内側カメラ６８を制御して撮像を実行させ、撮像画像データを生成し、記憶部１４０に一時的に記憶する。内側カメラ６８が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１５５は撮像画像データを内側カメラ６８から取得して、記憶部１４０に一時的に記憶する。

検出制御部１５７は、ＦＰＧＡ１９４から入力される各種センサーの検出値を取得する。検出制御部１５７は、各種センサーの検出値に基づき、ＨＭＤ１００の周辺環境に関する検出を行ってもよい。例えば、検出制御部１５７は、外側カメラ６１の撮像画像または照度センサー６５の検出値から、ＨＭＤ１００の周辺の明るさを検出する。検出制御部１５７は、検出部の一例に対応する。

検出制御部１５７は、使用者Ｕの視線方向を検出する。例えば、検出制御部１５７は、内側カメラ６８の撮像画像から使用者Ｕの右眼ＲＥ及び左眼ＬＥの各々の画像を検出する。具体的には、撮像画像から、右眼ＲＥ、左眼ＬＥの瞳孔または眼球表面に反射する反射光を検出することにより、公知の技術を利用して視線方向を検出できる。検出制御部１５７は、外側カメラ６１の撮像画像から、使用者Ｕの頭部の向きを検出することにより、使用者Ｕの視線方向を検出してもよい。また、外側カメラ６１の撮像画像から検出される視線方向と、内側カメラ６８の撮像画像から検出される視線方向との両方に基づき、視線方向を検出してもよい。検出制御部１５７が検出する視線方向は、右眼ＲＥ及び左眼ＬＥの各々の向きであってもよいし、右眼ＲＥと左眼ＬＥを合わせて、使用者Ｕが注視する方向であってもよい。

検出制御部１５７は、内側カメラ６８の撮像画像をもとに、右眼ＲＥ及び左眼ＬＥの瞳孔のサイズを検出してもよい。この場合、検出制御部１５７は、瞳孔のサイズの変化をもとに、使用者Ｕの瞳孔の縮瞳または散瞳の状態を検出してもよい。また、検出制御部１５７は、内側カメラ６８の撮像画像をもとに、右眼ＲＥ及び左眼ＬＥのまぶたの開閉状態を検出してもよい。

また、検出制御部１５７は、使用者Ｕのジェスチャー操作による操作を検出してもよい。ジェスチャー操作は、アクションＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）とも呼ばれ、使用者Ｕが指示体を動かす操作や指示体の形状を特定の形状とする操作であり、これらの操作をＨＭＤ１００が光学的に検出する。指示体は、使用者Ｕの手、指、足などの身体の一部であるが、棒状やボール状のデバイスであってもよい。外側カメラ６１の撮像範囲内でジェスチャー操作が行われた場合、外側カメラ６１により操作される指示体を撮像できる。検出制御部１５７は、外側カメラ６１の撮像画像データから、パターン認識処理等により指示体の画像を抽出し、抽出した画像から、指示体の形状、指示体の形状や位置の変化を求める。検出制御部１５７は、求めた指示体の形状、指示体の形状や位置の変化が、予め設定されたジェスチャー操作の態様に適合する場合に、操作を検出する。

また、検出制御部１５７は、センサーユニット７０が送信する発汗センサー７２、心拍センサー７３、及び、筋電センサー７４の検出値を取得する。
ここで、検出制御部１５７は、複数のセンサーの検出結果を複合的に処理してもよい。例えば、検出制御部１５７は、筋電センサー７４の検出結果と、６軸センサー１１１及び／または６軸センサー２３５の検出結果とに基づき、使用者Ｕの動きの評価値を求めてもよい。検出制御部１５７は、６軸センサー１１１、２３５の検出結果から使用者Ｕの動きを特定し、筋電センサー７４の検出結果から、使用者Ｕの筋肉の動作を特定する。検出制御部１５７は、使用者Ｕの動きと、使用者Ｕの筋肉の動作とを比較し、筋力の加え方を判定する。例えば、使用者Ｕが発揮した筋力が、使用者Ｕの動きに対して過度に大きい筋力か、適切な筋力か、適切な水準に達しない筋力かを判定する。

検出制御部１５７は、使用者Ｕの身体の状態を検出する検出部として機能する。検出制御部１５７は、センサーとともに検出部を構成してもよい。検出制御部１５７とともに検出部を構成するセンサーは、例えば、ＦＰＧＡ１９４に接続された各センサーが挙げられる。具体的には、内側カメラ６８、６軸センサー２３５である。また、検出制御部１５７とともに検出部を構成するセンサーは、外側カメラ６１、距離センサー６４、６軸センサー１１１などを含んでもよい。また、検出制御部１５７とともに検出部を構成するセンサーは、音声インターフェイス１８１に接続されたマイク６３であってもよいし、発汗センサー７２、心拍センサー７３、筋電センサー７４を含んでもよい。

入力検出部１５８は、使用者Ｕによる入力を検出する。入力検出部１５８は、操作部１７０が出力する操作信号に基づき、使用者ＵのＨＭＤ１００に対する操作を検出する。また、入力検出部１５８は、検出制御部１５７が取得した各種センサーの検出値、検出制御部１５７が検出した使用者Ｕの視線、瞳孔の状態、まぶたの開閉状態等を入力として検出してもよい。また、入力検出部１５８は、検出制御部１５７が使用者Ｕのジェスチャー操作を検出した場合、ジェスチャー操作の内容を入力として受け付ける。入力検出部１５８は、入力部の一例に対応する。

また、入力検出部１５８は、マイク６３が集音した音声のデータを音声処理部１８０から取得し、使用者Ｕの音声による入力を受け付けてもよい。すなわち、入力検出部１５８は、音声コマンドを利用した使用者Ｕの入力を受け付けてもよい。
また、入力検出部１５８は、マイク６３が集音した音声から検出した心拍数、呼吸数、呼吸の深さ、呼吸の荒さ等を検出し、検出結果を入力としてもよい。また、入力検出部１５８は、これらの検出結果に基づき使用者Ｕの身体状態を判定して、入力としてもよい。例えば、入力検出部１５８は、これらの検出結果や、使用者Ｕの身体状態の判定結果が、使用者Ｕの興奮度が高い状態を示している場合に、ＨＭＤ１００が実行している処理や動作に対する拒否の入力を検出してもよい。
入力検出部１５８は、検出制御部１５７が内側カメラ６８を用いて特定した使用者Ｕの右眼ＲＥ及び左眼ＬＥの視線方向、或いはその変化を入力として検出してもよい。人間の視線が固視微動またはマイクロサッカードと呼ばれる微細な動きを含むことが知られている。マイクロサッカードは人が注意を向けている方向に高頻度で発生する傾向があることも知られている。これを利用して、使用者Ｕの視野を複数の領域に分割し、各領域におけるマイクロサッカードの出現頻度を求めることにより、使用者Ｕの意識が向いている方向を特定できる。検出制御部１５７は、内側カメラ６８の撮像画像をもとに、使用者Ｕの右眼ＲＥおよび左眼ＬＥについて、方向別のマイクロサッカードの出現頻度を求め、使用者Ｕの注視方向を特定する。入力検出部１５８は、検出制御部１５７が求めた注視方向を、使用者Ｕの入力として取得してもよい。

環境特定部１５９は、外側カメラ６１の撮像画像、及び／または照度センサー６５の検出値を解析することにより、ＨＭＤ１００の周囲の環境を特定する。例えば、環境特定部１５９は、ＨＭＤ１００が屋内にあるか、屋外にあるかを特定する。また、環境特定部１５９は、ＨＭＤ１００が、予め設定された特定の場所にあるか否かを特定してもよい。具体的には、使用者Ｕの自宅、居室、職場等、事前に設定された場所にＨＭＤ１００があるか否かを特定してもよい。また、環境特定部１５９は、ＨＭＤ１００の周囲の環境を、より詳細に特定してもよい。例えば、ＨＭＤ１００の周囲を、道路上、駐車場、公園、トイレ、風呂、洗面所、寝室、ダイニング、飲食店、小売店舗、工場、実験室、会議室、イベントホール等と特定してもよい。
入力検出部１５８が外側カメラ６１の撮像画像から使用者Ｕのアクション、ジェスチャーによる入力を検出し、環境特定部１５９が外側カメラ６１の撮像画像から環境を特定する処理は、１つの処理部により同時に、平行して、或いは異なるタイミングで実行してもよい。本実施形態で説明する例では、入力検出部１５８は、外側カメラ６１の撮像画像から使用者Ｕの画像を抽出し、使用者Ｕによる入力を検出する。また、入力検出部１５８は、外側カメラ６１に撮像画像における背景あるいは使用者Ｕの周囲の画像の変化に基づき、外側カメラ６１が設けられた画像表示部２０の動きを算出し、使用者Ｕの入力を検出する。これに対し、環境特定部１５９は、外側カメラ６１の撮像画像から使用者Ｕの周囲の画像を抽出し、解析し、環境を特定する。

アプリケーション実行部１６０は、メインプロセッサー１２５が、オペレーティングシステム１４１を実行する状態で、アプリケーションプログラム１４２を実行する機能に相当する。アプリケーション実行部１６０は、アプリケーションプログラム１４２を実行して、アプリケーションプログラム１４２の各種機能を実現する。アプリケーション実行部１６０は、アプリケーションプログラム１４２の実行中に、制御部１５０の各部の機能を利用する。アプリケーション実行部１６０は、処理部の一例に対応する。
ＨＭＤ１００において、アプリケーション実行部１６０が実行するアプリケーションプログラム１４２は、処理部が実行する処理に相当する。この場合、アプリケーションプログラム１４２の種類が、処理の種類に相当する。処理の種類とは、アプリケーションプログラム１４２を特定する情報であってもよいし、アプリケーションプログラム１４２を分類した場合の種類を指す情報であってもよい。また、アプリケーションプログラム１４２が複数の機能を有する場合、処理の種類は、アプリケーションプログラム１４２の機能を指すと解釈してもよい。

アプリケーション実行部１６０は、設定データ１４３に設定された条件に従って、アプリケーションプログラム１４２を実行する。上述のように、ＨＭＤ１００が実行可能な、いくつかのアプリケーションプログラム１４２は、設定された条件が成立した場合に実行される。

アプリケーション実行部１６０は、アプリケーションプログラム１４２を実行する条件として、計時部１５３が出力する時刻、検出制御部１５７が取得および検出する検出結果、入力検出部１５８が検出する入力を取得する。

例えば、アプリケーション実行部１６０は、使用者Ｕの起床時に相当する時刻に、ＨＭＤ１００を装着する動きが検出された場合、電源制御に関するアプリケーションプログラム１４２を実行する。電源制御に関するアプリケーションプログラム１４２は、ＨＭＤ１００の電源を、スリープ状態と電源オン状態との間で切り替える。また、電源制御に関するアプリケーションプログラム１４２は、ＨＭＤ１００を置く動作を検出した場合に、ＨＭＤ１００をスリープ状態に移行させ、その後にＨＭＤ１００を持ち上げる動作を検出した場合に、ＨＭＤ１００を電源オン状態に移行させる。

また、例えば、アプリケーション実行部１６０は、使用者Ｕの起床時に相当する時刻に、健康管理に関するアプリケーションプログラム１４２を実行する。健康管理に関するアプリケーションプログラム１４２は、センサーユニット７０の検出値に基づき、使用者Ｕの体温、心拍数、血圧等を取得し、記録し、取得したデータや、取得したデータの集計結果を画像表示部２０に表示する。

また、例えば、アプリケーション実行部１６０は、朝食時間に相当する時刻に、食事管理に関するアプリケーションプログラム１４２を実行する。食事管理に関するアプリケーションプログラム１４２は、外側カメラ６１の撮像画像に基づき食事の内容を特定し、使用者Ｕが摂取した栄養成分を特定し、記録し、特定したデータや、特定したデータの集計結果を画像表示部２０に表示する。

また、例えば、アプリケーション実行部１６０は、出勤時間に相当する時刻に、生活記録、いわゆるライフログに関するアプリケーションプログラム１４２を実行する。ライフログに関するアプリケーションプログラム１４２は、心拍センサー７３、６軸センサー１１１、６軸センサー２３５の検出値に基づき使用者Ｕの運動の強度及び時間を特定し、記録する。そして、記録したデータや、記録したデータの集計結果を画像表示部２０に表示する。
また、ライフログに関するアプリケーションプログラム１４２は、発汗センサー７２、発汗センサー７２の検出値に基づき、使用者Ｕのストレスや疲労度の判定を実行し、記録し、判定結果や、判定結果を集計した結果を画像表示部２０に表示する。

また、例えば、アプリケーション実行部１６０は、入力検出部１５８が音声コマンドを検出した場合に、情報提供に関するアプリケーションプログラム１４２を実行する。情報提供に関するアプリケーションプログラム１４２は、気象情報、ニュース、交通情報、交通機関の経路案内、地図によるナビゲーション等を実行する。このアプリケーションプログラム１４２は、必要に応じて、上記情報の提供に必要なコンテンツデータ４０３を、サーバー４００から取得する。

アプリケーション実行部１６０が、アプリケーションプログラム１４２の実行条件が成立したことをトリガーとして、アプリケーションプログラム１４２を実行する場合、表示制御部１５２が実行案内の画像を表示する。

図６は、ＨＭＤ１００が表示する画像の例を示す図であり、アプリケーションプログラム１４２を実行する前に表示される情報表示画面３０１の例を示す。

図６で、符号ＶＲは、画像表示部２０を頭部に装着した状態における使用者Ｕの視野を示す。ＨＭＤ１００はシースルー型の表示装置であるため、視野ＶＲには、外景ＶＯが含まれる。

画像表示部２０は、外景ＶＯに重なる画像表示領域ＤＡを有する。画像表示領域ＤＡは、ＨＭＤ１００が右導光板２６、左導光板２８により表示する画像が使用者Ｕに視認される領域である。

情報表示画面３０１は、アプリケーション実行部１６０が実行しようとするアプリケーションプログラム１４２の内容や種類を示す文字情報や画像を含む。つまり、情報表示画面３０１は、アプリケーションプログラム１４２を実行する前に、実行しようとするアプリケーションプログラム１４２を使用者Ｕに通知する画面である。

情報表示画面３０１は、指示操作部３０２、３０３を含む。指示操作部３０２は、情報表示画面３０１により通知されたアプリケーションプログラム１４２を実行するよう指示する操作部である。指示操作部３０３は、情報表示画面３０１により通知されたアプリケーションプログラム１４２を実行しないように指示する操作部である。

検出制御部１５７が、指示操作部３０２に対する操作を検出すると、入力検出部１５８は、アプリケーションプログラム１４２の実行を許可する入力を受け付ける。この場合、アプリケーション実行部１６０は、トリガーが発生したアプリケーションプログラム１４２を実行する。

検出制御部１５７が、指示操作部３０３に対する操作を検出すると、入力検出部１５８は、アプリケーションプログラム１４２の実行を拒否する入力を受け付ける。この場合、アプリケーション実行部１６０は、トリガーが発生したアプリケーションプログラム１４２を実行しない。

指示操作部３０２、及び指示操作部３０３に対する操作は、例えば、タッチセンサー１７２が検出する。また、検出制御部１５７が、外側カメラ６１の撮像画像からジェスチャー操作を検出することにより、指示操作部３０２、及び指示操作部３０３に対する操作を検出しても良い。例えば、使用者Ｕが、視野ＶＲにおいて視認される指示操作部３０２または指示操作部３０３に重なる位置に、使用者Ｕの手や指を移動させる操作を行ったときに、指示操作部３０２または指示操作部３０３に対する操作が検出されてもよい。この場合、検出制御部１５７は、外側カメラ６１の撮像画像から使用者Ｕの手や指の位置を特定し、特定した位置が指示操作部３０２または指示操作部３０３の表示位置に重なるか否かを入力検出部１５８が判定すればよい。

［４．学習機能］
学習部１６２は、ＨＭＤ１００の動作中における各種の検出値に基づき、機械学習を行って推定モデル１６４を生成し、推定モデル１６４を用いた推定を実行する。
本実施形態の推定モデル１６４は、情報表示画面３０１を表示した場合に、使用者Ｕが指示操作部３０２を操作するか、指示操作部３０３を操作するかを推定するモデルであり、機械学習により生成される、いわゆる学習モデルである。

学習部１６２は、例えば、推定モデル１６４及び推定モデル１６４の学習を実行する人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）である。学習部１６２は、ニューラルネットワークを構成するソフトウェア、またはハードウェアで構成され、深層学習を実行し、推定モデル１６４を構成する。推定モデル１６４は、推定部１６５により実行されるプログラムとして構成でき、記憶部１４０に記憶されてもよい。

状態変数取得部１６３は、状態変数を取得する。状態変数取得部１６３が取得する状態変数は、検出制御部１５７の検出結果、及び、環境特定部１５９が特定した環境を含む。例えば、状態変数は、６軸センサー１１１、及び６軸センサー２３５により検出される動きの検出値を含む。また、例えば、状態変数は、計時部１５３が出力する時刻を含んでもよい。また、例えば、状態変数は、発汗センサー７２、心拍センサー７３、及び筋電センサー７４のうち１以上の検出結果を含んでもよい。また、例えば、状態変数は、検出制御部１５７が検出する視線ＲＤ、ＬＤの方向を含んでもよい。また、例えば、状態変数は、検出制御部１５７が検出する使用者Ｕの瞳孔の状態の検出結果を含んでもよい。また、例えば、状態変数は、距離センサー６４、照度センサー６５、温度センサー６６の検出値を含んでもよい。また、状態変数は、検出制御部１５７が複合的な検出を行った結果を含んでもよく、例えば、６軸センサー１１１、２３５、及び筋電センサー７４の検出結果に基づく筋力の判定結果を含んでもよい。また、状態変数は、検出制御部１５７が判定した右眼ＲＥ及び左眼ＬＥのマイクロサッカードに基づく注視方向を、入力検出部１５８が取得した結果を含んでもよい。また、状態変数は、入力検出部１５８が、マイク６３が集音した音声から検出した心拍数、呼吸数、呼吸の深さ、呼吸の荒さ等の検出結果、或いは、これらの検出結果に基づき判定した使用者Ｕの身体状態を含んでもよい。
また、例えば、状態変数は、アプリケーション実行部１６０が実行しようとするアプリケーションプログラム１４２の種類を含んでもよい。

典型的な例として、状態変数は、計時部１５３が出力する時刻、環境特定部１５９が特定した環境、及び、アプリケーション実行部１６０が実行しようとするアプリケーションプログラム１４２の種類を含む。

推定部１６５は、推定モデル１６４に、状態変数取得部１６３が取得した状態変数を入力し、推定を行う。学習部１６２が学習を行っていない状態、及び、学習の初期において、推定モデル１６４は、初期状態のモデルである。

評価部１６７は、推定部１６５の推定結果を評価する。評価部１６７は、使用者Ｕが指示操作部３０２を操作するか指示操作部３０３を操作するかの推定結果と、入力検出部１５８が検出した実際の使用者Ｕの入力とを比較することにより、推定部１６５の推定結果に対し評価値を与える。評価値は、推定部１６５の推定結果と実際の使用者Ｕの入力とが一致した場合、及び、一致しなかった場合の２通りであってもよい。また、評価値は、複数回の情報表示画面３０１の表示に対する一致の度合いを示す割合であってもよい。

データセット生成部１６８は、状態変数取得部１６３が取得して推定モデル１６４に与えられた状態変数と、評価部１６７の評価値とを対応づけたデータセット１４８を生成する。

更新部１６９は、データセット１４８に基づいて推定モデル１６４を更新する。すなわち、更新部１６９は、データセット１４８を用いた学習を実行し、学習結果を反映するように推定モデル１６４を更新する。データセット１４８は、学習データセットの一例に対応する。

本実施形態で更新部１６９が実行する学習は、状態変数と評価値とが対応づけられたデータセット１４８を用いるので、いわゆる教師あり学習として実現できる。
例えば、評価部１６７は、推定部１６５の推定結果と実際の使用者Ｕの入力とが一致した場合に評価値「Ｔｒｕｅ」を出力し、一致しなかった場合に評価値「Ｆａｌｓｅ」を出力する。データセット１４８の状態変数には、評価値「Ｔｒｕｅ」または「Ｆａｌｓｅ」がラベルとして対応づけられる。更新部１６９は、例えば、データセット１４８から、評価値「Ｔｒｕｅ」がラベルされた状態変数を抽出して学習することにより、評価値「Ｔｒｕｅ」を出力する確率が高くなるように、推定モデル１６４を更新する。

また、更新部１６９が実行する学習は、いわゆる強化学習として実現できる。
この場合、評価部１６７は、評価値「Ｔｒｕｅ」と「Ｆａｌｓｅ」を出力する代わりに、評価値に対応する報酬を出力する。報酬は、評価値が「Ｔｒｕｅ」の場合は高い報酬となり、評価値が「Ｆａｌｓｅ」の場合は低い報酬となるよう設定される。更新部１６９は、評価部１６７が報酬を決定する毎に、推定モデル１６４を、報酬を反映するように更新する。この場合、環境特定部１５９は、推定部１６５が推定を行う毎に、報酬に基づき推定モデル１６４を更新する。

データセット生成部１６８は、推定部１６５が推定を行い、評価部１６７が評価を行う毎に、データセット１４８に状態変数と評価値との組み合わせのデータを蓄積する。更新部１６９は、データセット１４８が所定数蓄積される毎に学習を行ってもよいし、評価部１６７が評価を１回行う毎に学習を行って、推定モデル１６４を更新してもよい。

［５．ＨＭＤの動作］
図７は、ＨＭＤ１００の動作を示すフローチャートである。
アプリケーション実行部１６０は、検出制御部１５７が取得した各センサーの検出値、検出制御部１５７が検出した検出値、及び、入力検出部１５８が検出した入力に関する情報を取得する（ステップＳＴ１）。アプリケーション実行部１６０は、計時部１５３が出力する時刻を取得する（ステップＳＴ２）。アプリケーション実行部１６０は、環境特定部１５９が特定した外部環境に関する特定結果を取得する（ステップＳＴ３）。

アプリケーション実行部１６０は、設定データ１４３を参照し、ＨＭＤ１００が実行可能なアプリケーションプログラム１４２のいずれかの実行条件が成立したか否かを判定する（ステップＳＴ４）。

アプリケーションの実行条件が成立していないと判定した場合（ステップＳＴ４；ＮＯ）、アプリケーション実行部１６０は、本処理を終了する。図７の処理は、予め設定された周期で繰り返し実行される。
アプリケーションの実行条件が成立したと判定した場合（ステップＳＴ４；ＹＥＳ）、表示制御部１５２が、条件が成立したアプリケーションプログラム１４２に関する情報を含む情報表示画面３０１を表示する（ステップＳＴ５）。

続いて、状態変数取得部１６３が、ステップＳＴ１〜ＳＴ３で取得された情報等をもとに、状態変数を取得する（ステップＳＴ６）。ステップＳＴ６で、状態変数取得部１６３は、ステップＳＴ１〜ＳＴ３で取得された情報とは別に、新たに検出制御部１５７、入力検出部１５８、環境特定部１５９から情報を取得してもよい。

推定部１６５は、状態変数取得部１６３がステップＳＴ６で取得した状態変数に基づき、推定モデル１６４により推定を行う（ステップＳＴ７）。本実施形態では、推定部１６５は、使用者Ｕがアプリケーションプログラム１４２の実行の許可の入力を行うか、実行の拒否の入力を行うかを推定する。

アプリケーション実行部１６０は、ステップＳＴ７の推定結果に基づき、待機時間を設定する（ステップＳＴ８）。例えば、アプリケーション実行部１６０は、ステップＳＴ７の推定結果が実行の許可の入力である場合は第１の待機時間を設定し、推定結果が実行の拒否の入力である場合は第２の待機時間を設定する。ここで、第２の待機時間は、第１の待機時間よりも短くすることが好ましい。

アプリケーション実行部１６０は、情報表示画面３０１が表示制御部１５２により表示された状態で、入力検出部１５８が入力を検出したか否かを判定する（ステップＳＴ９）。入力が検出されたと判定した場合（ステップＳＴ９；ＹＥＳ）、アプリケーション実行部１６０は、入力内容が、アプリケーションプログラム１４２の実行の許可であるか否かを判定する（ステップＳＴ１０）。

入力検出部１５８が指示操作部３０２の操作を検出した場合、アプリケーション実行部１６０は、実行の許可の入力であると判定する（ステップＳＴ１０；ＹＥＳ）。この場合、学習部１６２が学習処理を実行し（ステップＳＴ１１）、アプリケーション実行部１６０は、アプリケーションプログラム１４２を実行する（ステップＳＴ１２）。アプリケーション実行部１６０は、アプリケーションプログラム１４２の実行中であっても、図７の動作をステップＳＴ１から実行できる。

一方、入力検出部１５８が入力を検出していないと判定した場合（ステップＳＴ９；ＮＯ）、アプリケーション実行部１６０は、情報表示画面３０１の表示を開始してからの経過時間を求める。アプリケーション実行部１６０は、ステップＳＴ８で設定した待機時間が経過したか否かを判定する（ステップＳＴ１３）。

待機時間が経過していないと判定した場合（ステップＳＴ１３；ＮＯ）、アプリケーション実行部１６０はステップＳＴ９に戻り、入力の有無を判定する（ステップＳＴ９）。ステップＳＴ１３の判定後、ステップＳＴ９で判定を行うまでに、所定の待ち時間を設けてもよい。

待機時間が経過したと判定した場合（ステップＳＴ１３；ＹＥＳ）、表示制御部１５２は、情報表示画面３０１の表示を停止する（ステップＳＴ１４）。アプリケーション実行部１６０は、ステップＳＴ４で実行条件が成立したアプリケーションプログラム１４２の実行をキャンセルする（ステップＳＴ１５）。

この場合、学習部１６２が学習処理を実行し（ステップＳＴ１６）、アプリケーション実行部１６０は、本処理を終了する。

また、入力検出部１５８が指示操作部３０３の操作を検出した場合、アプリケーション実行部１６０は、実行の許可の入力でないと判定する（ステップＳＴ１０；ＮＯ）。つまり、実行の拒否の入力であると判定する。この場合、制御部１５０はステップＳＴ１５に移行して、アプリケーションプログラム１４２の実行をキャンセルする（ステップＳＴ１５）。

ステップＳＴ８では、情報表示画面３０１が表示された状態で入力を待機する時間を、推定結果に基づき設定する。従って、使用者Ｕがアプリケーションプログラム１４２の実行を拒否することが推定された場合に、情報表示画面３０１の表示時間を短くする効果がある。この場合、使用者Ｕがアプリケーションプログラム１４２の実行を拒否することを望んでいるときに、情報表示画面３０１の表示が速やかに停止されるので、外景ＶＯの視認の妨げにならない。また、使用者Ｕがアプリケーションプログラム１４２の実行を許可することが推定される場合に、情報表示画面３０１の表示時間を長くする効果がある。この場合、使用者Ｕがアプリケーションプログラム１４２の実行を望んでいるときに、情報表示画面３０１が比較的長い時間、表示されるので、使用者Ｕは急いで指示操作部３０２を操作しなくてもよく、実行の許可の入力を行う時間的な余裕を得られる。このように、推定部１６５の推定結果を、入力の待ち時間に反映させることにより、使用者Ｕの意図を反映した動作を行える。

図８は、ＨＭＤ１００の動作を示すフローチャートであり、図７のステップＳＴ１１、ＳＴ１６に示した学習処理を詳細に示す。
評価部１６７は、ステップＳＴ７で推定部１６５が推定した推定結果と、ステップＳＴ１０の判定結果とを比較して、推定結果を評価する（ステップＳＴ２１）。
データセット生成部１６８は、推定部１６５が推定に用いた状態変数を取得する（ステップＳＴ２２）。データセット生成部１６８は、取得した状態変数と、ステップＳＴ２１の評価結果とを対応づけたデータセット１４８を生成する（ステップＳＴ２３）。
更新部１６９は、ステップＳＴ２３で生成されたデータセット１４８を用いて機械学習を実行し、推定モデル１６４を更新する（ステップＳＴ２４）。

図７に示した処理では、ステップＳＴ９で入力検出部１５８が入力を検出せず、ステップＳＴ１２で待機時間が経過した場合に、ステップＳＴ１６に移行して学習を行う。この場合、評価部１６７は、使用者Ｕがアプリケーションプログラム１４２の実行を拒否する入力を行った場合とみなして、評価を行ってもよい。また、入力検出部１５８が入力を検出しないうちに待機時間が経過した場合に対応する評価値を出力してもよい。

ＨＭＤ１００は、図７及び図８に示した動作で学習部１６２が学習を繰り返した結果、推定部１６５の推定結果が入力結果と一致する精度が、設定された閾値を超えた場合、情報表示画面３０１を表示せずアプリケーションプログラム１４２を実行してもよい。つまり、推定部１６５が、使用者Ｕがアプリケーションプログラム１４２の実行を許可すると推定した場合に、情報表示画面３０１を表示せずアプリケーション実行部１６０によりアプリケーションプログラム１４２を実行する。また、推定部１６５が、使用者Ｕがアプリケーションプログラム１４２の実行を拒否すると推定した場合に、情報表示画面３０１を表示せずアプリケーションプログラム１４２の実行をキャンセルしてもよい。この場合、推定モデル１６４を用いることで、使用者Ｕが入力を行わなくても、使用者Ｕの希望する通りに、ＨＭＤ１００が動作する状態を実現できる。

制御部１５０は、学習部１６２の学習が進んだ結果、推定部１６５の推定結果の信頼度が高まった場合には、情報表示画面３０１の表示および使用者Ｕの入力を省略してもよい。すなわち、推定部１６５の推定結果に従って、使用者Ｕの入力がなくても、情報表示画面３０１における指示操作部３０２と指示操作部３０３のいずれかを選択して、動作を継続してもよい。

図７に示した動作は、使用者Ｕの入力を要する動作モードであり、以下では入力モードと呼ぶ。これに対し、使用者Ｕが入力操作により指示操作部３０２または指示操作部３０３を選択することなく、制御部１５０が動作を継続する動作モードを、入力省略モードと呼ぶ。

図８は、ＨＭＤ１００の動作を示すフローチャートであり、入力モードと入力省略モードとを切り替える動作を示す。

基本制御部１５１は、推定部１６５の推定結果の評価を取得して、統計値を算出する（ステップＳＴ３１）。ステップＳＴ３１で、基本制御部１５１は、図８のステップＳＴ２１における評価の結果を、直近の設定された回数分だけ取得し、統計値を算出する。統計値は、平均値、中央値、最大値、最小値、或いはその他の統計的処理により得られる値である。

基本制御部１５１は、評価の統計値が、設定された基準を満たすか否かを判定する（ステップＳＴ３２）。設定された基準は、推定部１６５の推定結果が現実の使用者Ｕの意向に適合したと判定できる基準であり、推定部１６５の推定結果の尤度の基準といえる。

基準を満たすと判定した場合（ステップＳＴ３２；ＹＥＳ）、基本制御部１５１は、制御部１５０の動作モードとして、入力省略モードを実行するよう設定する（ステップＳＴ３３）。また、基準を満たさないと判定した場合（ステップＳＴ３２；ＮＯ）、基本制御部１５１は、制御部１５０の動作モードとして、入力モードを実行するよう設定する（ステップＳＴ３４）。

図１０は、ＨＭＤ１００の動作を示すフローチャートであり、入力省略モードにおける制御部１５０の動作を示す。
アプリケーション実行部１６０は、ステップＳＴ１と同様に、検出制御部１５７が取得した各センサーの検出値、検出制御部１５７が検出した検出値、及び、入力検出部１５８が検出した入力に関する情報を取得する（ステップＳＴ４１）。アプリケーション実行部１６０は、ステップＳＴ２と同様に、計時部１５３が出力する時刻を取得する（ステップＳＴ４２）。アプリケーション実行部１６０は、ステップＳＴ３と同様に、環境特定部１５９が特定した外部環境に関する特定結果を取得する（ステップＳＴ４３）。

アプリケーション実行部１６０は、ステップＳＴ４と同様に、設定データ１４３を参照し、ＨＭＤ１００が実行可能なアプリケーションプログラム１４２のいずれかの実行条件が成立したか否かを判定する（ステップＳＴ４４）。

アプリケーションの実行条件が成立していないと判定した場合（ステップＳＴ４４；ＮＯ）、アプリケーション実行部１６０は、本処理を終了する。図１０の処理は、予め設定された周期で繰り返し実行される。

アプリケーションの実行条件が成立したと判定した場合（ステップＳＴ４４；ＹＥＳ）、表示制御部１５２が、条件が成立したアプリケーションプログラム１４２に関する情報を含む画面を表示する（ステップＳＴ４５）。ステップＳＴ４５で表示される画面は、情報表示画面３０１とは異なる。具体的には、指示操作部３０２や指示操作部３０３のように、使用者Ｕの入力を求める操作子がなく、条件が成立したアプリケーションプログラム１４２に関する情報を含む。このため、ステップＳＴ４５で表示される画面は、実行しようとするアプリケーションプログラム１４２を使用者Ｕに示すことのみを目的とした画面である。

状態変数取得部１６３が、ステップＳＴ６と同様に、ステップＳＴ４１〜ＳＴ４３で取得された情報等をもとに状態変数を取得する（ステップＳＴ４６）。状態変数取得部１６３は、ステップＳＴ４６で、検出制御部１５７、入力検出部１５８、環境特定部１５９から情報を取得してもよい。

推定部１６５は、ステップＳＴ７と同様に、状態変数取得部１６３がステップＳＴ６で取得した状態変数に基づき、推定モデル１６４により推定を行う（ステップＳＴ４７）。本実施形態では、推定部１６５は、アプリケーションプログラム１４２の実行を許可するか拒否かを推定する。

アプリケーション実行部１６０は、ステップＳＴ４７の推定結果に基づき、ステップＳＴ４５で表示した画面に、実行するか否かを表示する。図１０の動作で、制御部１５０は、推定部１６５の推定結果の通りに、アプリケーションプログラム１４２の実行または不実行を選択する。ステップＳＴ４８では、アプリケーションプログラム１４２の実行または不実行を使用者Ｕに通知する表示を行う。

アプリケーション実行部１６０は、ステップＳＴ４８で画面を表示制御部１５２により表示させた状態で、使用者Ｕによる入力を、入力検出部１５８により検出する（ステップＳＴ４９）。入力検出部１５８は、ステップＳＴ４９で、操作部１７０の操作、検出制御部１５７が検出する各種センサーの検出値から特定される入力操作等による入力を検出する。また、入力検出部１５８は、内側カメラ６８の撮像画像から検出制御部１５７が検出するマイクロサッカードの出現頻度が高い方向を特定することにより、入力を受け付けてもよい。

入力検出部１５８が入力を検出した場合（ステップＳＴ４９；ＹＥＳ）、アプリケーション実行部１６０は、入力内容が、ステップＳＴ４７の推定結果を否定する内容であるか否かを判定する（ステップＳＴ５０）。

ステップＳＴ４７の推定結果を否定する入力である場合（ステップＳＴ５０；ＹＥＳ）、アプリケーション実行部１６０は、アプリケーションプログラム１４２の実行の可否に関する推定結果を変更する（ステップＳＴ５１）。すなわち、推定部１６５の推定結果を、ステップＳＴ４９で検出した入力に従った内容に更新する（ステップＳＴ５１）。

アプリケーション実行部１６０は、ステップＳＴ５１で更新した結果に従って、動作を継続する（ステップＳＴ５２）。すなわち、ステップＳＴ５１で、アプリケーションプログラム１４２を実行するように結果を更新した場合には、アプリケーションプログラム１４２を実行する。また、ステップＳＴ５１で、アプリケーションプログラム１４２を実行しないように結果を更新した場合は、アプリケーションプログラム１４２を実行しない。

学習部１６２は、ステップＳＴ５１で推定結果を更新したことに基づき、学習処理を実行する（ステップＳＴ５３）。ステップＳＴ５３で実行する学習処理は、図８を参照して説明した処理と同様である。ステップＳＴ５１を経由してステップＳＴ５３を実行する場合、ステップＳＴ２１では、予測結果が否定されたことに対応する評価を行う。また、後述するように、ステップＳＴ５５を経由してステップＳＴ５３を実行する場合、ステップＳＴ２１では、予測結果が否定されなかったこと、すなわちステップＳＴ４７の推定結果が肯定されたことに対応する評価を行う。

一方、入力検出部１５８は、入力を検出しない場合（ステップＳＴ４９；ＮＯ）、予め設定された待機時間が経過したか否かを判定する（ステップＳＴ５４）。待機時間が経過していない場合（ステップＳＴ５４；ＮＯ）、ステップＳＴ４９に戻る。待機時間が経過した場合（ステップＳＴ５４；ＹＥＳ）、アプリケーション実行部１６０は、ステップＳＴ４７の推定結果の通りに動作を実行し（ステップＳＴ５５）、ステップＳＴ５３に移行する。例えば、ステップＳＴ４７で、アプリケーションプログラム１４２を実行すると推定した場合には、アプリケーションプログラム１４２を実行する。また、ステップＳＴ４７で、アプリケーションプログラム１４２を実行しないと推定した場合は、アプリケーションプログラム１４２を実行しない。

このように、ＨＭＤ１００は、学習部１６２の学習が蓄積された場合に、情報表示画面３０１を表示して使用者Ｕに入力を求めることなく、使用者Ｕの意向に沿って、アプリケーションプログラム１４２の実行の可否を自ら推定し、動作を継続できる。
また、アプリケーションプログラム１４２の実行の可否を推定した後、使用者Ｕが入力を行って、推定結果を更新させることが可能であるため、使用者Ｕが望まない動作が継続されることを防止できる。
さらに、アプリケーションプログラム１４２の実行の可否を推定した結果に基づいて学習を継続することも可能であるため、より高精度な推定を行うことができる。

また、図１０の動作を実行した場合に、ステップＳＴ４７の推定結果が否定されたか肯定されたかを評価結果として、図９の動作を実行してもよい。この場合、使用者Ｕの状況や好みの変化により、推定部１６５の推定結果が、使用者Ｕの意向に合わないことが多くなった場合に、動作モードを入力省略モードから入力モードに切り替えることも可能となる。

以上説明したように、本発明を適用したＨＭＤ１００は、使用者の頭部に装着される画像表示部２０を備える。ＨＭＤ１００は、使用者の身体の状態を検出する検出制御部１５７と、入力を受け付ける入力検出部１５８とを備える。ＨＭＤ１００は、条件が成立した場合に処理を実行するアプリケーション実行部１６０を備える。ＨＭＤ１００は、アプリケーション実行部１６０が処理を実行する際に処理に関する情報を含む情報表示画面３０１を画像表示部２０に表示させる表示制御部１５２を備える。アプリケーション実行部１６０は、情報表示画面３０１が表示された状態で入力検出部１５８によって実行指示を受け付けた場合に、処理を実行する。ＨＭＤ１００は、学習部１６２を備える。学習部１６２は、検出制御部１５７の検出結果と、入力検出部１５８により受け付けた入力とに基づくデータセット１４８を生成するデータセット生成部１６８を有する。学習部１６２は、検出制御部１５７の検出結果に基づき、推定モデル１６４により処理の実行の可否を推定し、データセット１４８に従って推定モデル１６４を更新する。

画像表示部２０の動作は表示ステップの一例に対応し、アプリケーション実行部１６０の動作は実行ステップの一例に対応する。推定部１６５の動作は推定ステップの一例に対応し、データセット生成部１６８の動作はデータセット生成ステップの一例に対応する。更新部１６９の動作は学習ステップの一例に対応する。

表示装置、表示装置を対象とする学習装置、及び、表示装置の制御方法を適用したＨＭＤ１００によれば、使用者Ｕの意図を推定できる。このため、情報表示画面３０１の表示を適切に制御することができる。このため、アプリケーションプログラム１４２の実行に関して、使用者Ｕの入力操作の利便性の向上を図ることができる。また、学習部１６２による学習結果を利用して、アプリケーションプログラム１４２の実行を制御する態様に発展させることができる。

推定モデル１６４は、検出制御部１５７の検出結果や環境特定部１５９の特定の結果と、条件を満たすアプリケーションプログラム１４２の種類とに基づき、使用者Ｕがアプリケーションプログラム１４２の実行を指示するか否かを推定する学習モデルである。また、使用者Ｕがアプリケーションプログラム１４２の実行を指示するか、実行を拒否するかを推定する学習モデルであるといってもよい。推定モデル１６４は、学習部１６２の学習機能により、データセット生成部１６８が生成する学習データセットであるデータセット１４８に基づき学習を行う。データセット１４８は、例えば、少なくとも検出制御部１５７の検出結果、入力検出部１５８が検出した入力、環境特定部１５９の特定結果のいずれかと、条件を満たすアプリケーションプログラム１４２の種類とを対応づけたデータとすることができる。

推定モデル１６４は、例えば、検出制御部１５７の検出結果や環境特定部１５９の特定の結果と、使用者Ｕが実行を望むアプリケーションプログラム１４２を推定してもよい。また、情報表示画面３０１を表示するか否かを推定してもよい。さらに、推定モデル１６４は、入力モードと、入力省略モードとを切り替えるべきか否かを推定するものであってもよい。

ＨＭＤ１００は、アプリケーションプログラム１４２を、条件の成立によりアプリケーション実行部１６０が実行する構成において、使用者Ｕの入力に応じてアプリケーションプログラム１４２を実行、またはキャンセルできる。この構成において、使用者Ｕがアプリケーションプログラム１４２の実行を許可するか、拒否するかを推定できる。従って、アプリケーションプログラム１４２を自動的に実行するだけでなく、使用者Ｕの意図に関する情報を得ることができる。

例えば、情報表示画面３０１を表示する待ち時間に推定結果を反映させたり、入力を待たずにアプリケーションプログラム１４２を実行またはキャンセルさせたりする態様に発展することが期待できる。
そして、使用者Ｕが入力を急がなければならない状態を解消したり、使用者Ｕによる操作を待つ状態を解消することも期待でき、ＨＭＤ１００の利便性を損なうことなく、より一層の利便性の向上が期待できる。

学習部１６２は、条件が成立したアプリケーションプログラム１４２の種類及び検出制御部１５７の検出結果に基づき、推定モデル１６４により処理の実行の可否を推定する。データセット生成部１６８は、検出制御部１５７の検出結果と、アプリケーションプログラム１４２の種類と、入力検出部１５８により受け付けた入力とに基づきデータセット１４８を生成する。このため、検出制御部１５７の検出結果を含む状態変数と、アプリケーションプログラム１４２の種類と、を含む多変量に基づく学習を実行して、高精度な推定が可能な推定モデル１６４を得ることができる。

検出制御部１５７は、画像表示部２０に設けられたセンサーにより検出を行う。センサーは、使用者の瞳の状態または視線を検出する目センサーとしての内側カメラ６８、使用者の心拍を検出する心拍センサー７３、及び、使用者の発汗を検出する発汗センサー７２の少なくともいずれかである。また、検出制御部１５７が用いるセンサーは、筋電センサー７４であってもよいし、６軸センサー１１１、２３５であってもよい。このため、使用者Ｕの身体の状態を状態変数として学習を行うことができるので、使用者Ｕの意図をより高精度で推定可能な推定モデル１６４を得ることができる。

ＨＭＤ１００は、画像表示部２０に設けられる外側カメラ６１と、撮像画像に基づき環境を特定する環境特定部１５９と、を備える。学習部１６２は、環境特定部１５９の特定結果、及び、検出制御部１５７の検出結果に基づき、推定モデル１６４により処理の実行の可否を推定する。データセット生成部１６８は、検出制御部１５７の検出結果と、環境特定部１５９の特定結果と、入力検出部１５８により受け付けた入力とに基づきデータセット１４８を生成する。このため、ＨＭＤ１００の外部の環境を反映した学習を行うことができるので、使用者Ｕの意図を、より高精度で推定可能な推定モデル１６４を得ることができる。

表示制御部１５２は、画像表示部２０に情報を表示してから所定の表示時間、すなわち待機時間が経過すると表示を停止させる。待機時間は、学習部１６２が推定モデル１６４により推定した結果に応じて決定される。例えば、使用者Ｕがアプリケーションプログラム１４２の実行を拒否することが推定された場合に、情報表示画面３０１の表示時間を短くすることができる。これにより、使用者Ｕがアプリケーションプログラム１４２の実行を拒否することを望んでいるときに、情報表示画面３０１の表示が速やかに停止されるので、外景ＶＯの視認の妨げにならない。また、使用者Ｕがアプリケーションプログラム１４２の実行を許可することが推定される場合に、情報表示画面３０１の表示時間を長くすることもできる。これにより、使用者Ｕがアプリケーションプログラム１４２の実行を望んでいるときに、情報表示画面３０１が比較的長い時間、表示されるので、使用者Ｕは急いで指示操作部３０２を操作しなくてもよく、実行の許可の入力を行う時間的な余裕を得られる。このように、推定部１６５の推定結果を、入力の待ち時間に反映させることにより、使用者Ｕの意図を反映した動作を行える。

また、図１０を参照して説明したように、制御部１５０は、実行しようとするアプリケーションプログラム１４２の種類に関する情報を、情報表示画面３０１とは異なる画面で表示した状態で、推定部１６５の推定結果に基づき、アプリケーションプログラム１４２の実行の可否を決定してもよい。この場合、使用者Ｕによる入力を必須とせず、学習した推定モデル１６４を利用して、使用者Ｕの意向に従ってアプリケーションプログラム１４２を実行できる。

［６．他の実施形態］
上記実施形態は本発明を適用した一態様に過ぎず、種々の態様に変更可能である。
例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼に対応して画像を表示する表示部と、使用者Ｕの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。

さらに、コントローラー１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、センサーユニット７０は、画像表示部２０と一体に構成してもよい。

また、上記実施形態では、画像表示部２０とコントローラー１０とが接続ケーブル４０を介して接続された構成を例に挙げて説明したが、コントローラー１０と画像表示部２０とが無線通信回線によって接続される構成であってもよい。

また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８は、ハーフミラーを用いてもよいし、回折格子、プリズム等を用いてもよい。また、画像表示部２０は、ホログラフィー表示部を用いてもよい。

また、上記各実施形態では、画像表示部２０はＯＬＥＤユニット２２１、２４１により画像光を生成する構成として説明したが、本発明はこれに限定されない。ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルと、ＯＬＥＤパネルを駆動するＯＬＥＤ駆動回路とを有する構成を例示した。ここで、ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光しそれぞれ発する発光素子により構成される自発光型の表示パネルである。より具体的な例として、ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置された構成が挙げられる。変形例として、右表示ユニット２２及び左表示ユニット２４が、それぞれ、光源部としてのＯＬＥＤパネルと、光源部が発する光を変調して複数の色光を含む画像光を出力する変調素子と、を備える映像素子として構成されてもよい。このように、右表示ユニット２２、左表示ユニット２４は、変調素子により変調された画像光を、投写光学系および導光板等を利用して使用者Ｕの眼に導くことにより、使用者Ｕに虚像を認識させる構成とすることができる。この変形例の画像表示部において、ＯＬＥＤパネルが発する光を変調する変調装置は、透過型液晶パネルを用いてもよいし、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよい。光源はレーザー光源であってもよいし、ＬＥＤであってもよい。また、画像表示部２０は、例えば、レーザースキャン方式のレーザー網膜投影型のＨＭＤとしてもよい。

また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１またはコントローラー１０内の他の記憶装置に記憶されてもよい。また、外部の装置に記憶されたプログラムをＵＳＢコネクター１９、通信部１１７、外部メモリーインターフェイス１９１などを介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１２５と同様のプロセッサーが画像表示部２０に配置されてもよいし、コントローラー１０が備えるメインプロセッサー１２５と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。

１…表示システム、１０…コントローラー、２０…画像表示部（表示部）、３０…ヘッドセット、４０…接続ケーブル、６１…外側カメラ（撮像部）、６３…マイク、６４…距離センサー、６５…照度センサー、６６…温度センサー、６７…ＬＥＤインジケーター、６８…内側カメラ、７０…センサーユニット、７１…センサー通信部、７２…発汗センサー、７３…心拍センサー、１００…ＨＭＤ（表示装置、学習装置）、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２５…メインプロセッサー、１４０…記憶部、１４１…オペレーティングシステム、１４２…アプリケーションプログラム、１４３…設定データ、１４４…コンテンツデータ、１４５…予定データ、１４６…音声辞書データ、１４８…データセット（学習データセット）、１５０…制御部、１５１…基本制御部、１５３…計時部、１５４…通信制御部、１５５…撮像制御部、１５６…音声解析部、１５７…検出制御部（検出部）、１５８…入力検出部（入力部）、１５９…環境特定部、１６０…アプリケーション実行部（処理部）、１６２…学習部、１６３…状態変数取得部、１６４…推定モデル、１６５…推定部、１６７…評価部、１６８…データセット生成部、１６９…更新部、１７０…操作部、１７２…タッチセンサー、１７４…スイッチ、１８０…音声処理部、１８１…音声インターフェイス、１９１…外部メモリーインターフェイス、１９３…センサーハブ、１９４…ＦＰＧＡ、１９７…インターフェイス、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２２１…ＯＬＥＤユニット、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、Ｎ…通信ネットワーク、Ｕ…使用者。

Claims (10)

1. 使用者の頭部に装着される表示部と、
   前記使用者の身体の状態を検出する検出部と、
   入力を受け付ける入力部と、
   条件が成立した場合に処理を実行する処理部と、
   前記処理部が前記処理を実行する際に前記処理に関する情報を前記表示部に表示させる表示制御部と、を備え、
   前記処理部は、前記処理に関する情報が表示された状態で前記入力部によって実行指示を受け付けた場合に、前記処理を実行し、
   前記検出部の検出結果と、前記入力部により受け付けた入力とに基づく学習データセットを生成するデータセット生成部を有し、前記検出部の検出結果に基づき、推定モデルにより前記処理の実行の可否を推定し、前記学習データセットに従って前記推定モデルを更新する学習部と、を備える表示装置。
2. 前記学習部は、前記処理の種類及び前記検出部の検出結果に基づき、前記推定モデルにより前記処理の実行の可否を推定し、
   前記データセット生成部は、前記検出部の検出結果と、前記処理の種類と、前記入力部により受け付けた入力とに基づき前記学習データセットを生成する、請求項１記載の表示装置。
3. 前記検出部は、前記表示部に設けられたセンサーにより検出を行い、
   前記センサーは、前記使用者の瞳の状態または視線を検出する目センサー、前記使用者の心拍を検出する心拍センサー、及び、前記使用者の発汗を検出する発汗センサーの少なくともいずれかである、請求項１または２記載の表示装置。
4. 前記検出部は、前記表示部に設けられたセンサーにより検出を行い、
   前記センサーは、前記表示部の動きを検出する動きセンサー、及び、前記使用者の筋肉の動きを検出するセンサーの少なくともいずれかである、請求項１または２記載の表示装置。
5. 前記表示部に設けられる撮像部と、
   前記撮像部の撮像画像に基づき環境を特定する環境特定部と、を備え、
   前記学習部は、前記環境特定部の特定結果、及び、前記検出部の検出結果に基づき、前記推定モデルにより前記処理の実行の可否を推定し、
   前記データセット生成部は、前記検出部の検出結果と、前記環境特定部の特定結果と、前記入力部により受け付けた入力とに基づき前記学習データセットを生成する、請求項１から４のいずれか１項に記載の表示装置。
6. 前記表示制御部は、前記表示部に前記情報を表示してから所定の表示時間が経過すると表示を停止させ、
   前記表示時間は、前記学習部が前記推定モデルにより推定した結果に応じて決定される、請求項１から５のいずれか１項に記載の表示装置。
7. 前記処理部は、前記処理に関する情報が表示された状態で前記入力部による入力を受け付けない場合に、前記推定モデルを用いた推定結果に従って、前記処理の実行の可否を決定する、請求項１から６のいずれか１項に記載の表示装置。
8. 使用者の頭部に装着される表示部と、
   前記使用者の身体の状態を検出する検出部と、
   条件が成立した場合に処理を実行する処理部と、
   前記処理部が前記処理を実行する際に前記処理に関する情報を前記表示部に表示させる表示制御部と、を備え、
   前記処理部は、前記処理に関する情報が表示された状態で前記検出部の検出結果により、前記処理を実行し、
   前記検出部の検出結果の組合せにより前記処理の実行の可否の推定モデルを更新する学習部と、を備える表示装置。
9. 使用者の頭部に装着される表示部と、前記使用者の身体の状態を検出する検出部と、を備える表示装置を対象として処理を行う学習装置であって、
   入力を受け付ける入力部と、
   条件が成立した場合に処理を実行する処理部と、
   前記処理部が前記処理を実行する際に前記処理に関する情報を前記表示部に表示させる表示制御部と、を備え、
   前記処理部は、前記処理に関する情報が表示された状態で前記入力部によって実行指示を受け付けた場合に、前記処理を実行し、
   前記検出部の検出結果と、前記入力部により受け付けた入力とに基づく学習データセットを生成するデータセット生成部を有し、前記検出部の検出結果に基づき、推定モデルにより前記処理の実行の可否を推定し、前記学習データセットに従って前記推定モデルを更新する学習部と、を備える学習装置。
10. 使用者の頭部に装着される表示部を備える表示装置の制御方法であって、
    条件が成立した場合に、実行する処理に関する情報を前記表示部に表示する表示ステップと、
    前記情報が表示された状態で、実行指示の入力を受け付けた場合に、前記処理を実行する実行ステップと、
    前記使用者の状態を検出した検出結果に基づき、推定モデルにより前記処理の実行の可否を推定する推定ステップと、
    前記検出結果と前記入力とに基づく学習データセットを生成するデータセット生成ステップと、
    前記学習データセットに従って前記推定モデルを更新する学習ステップと、を含む表示装置の制御方法。

Images