JP2016208370A - ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法 - Google Patents

Abstract

【課題】ユーザが所望する情報を適切にユーザに提示する。
【解決手段】ユーザの頭部に装着されるヘッドマウントディスプレイ１０は、ヘッドマウントディスプレイ１０の姿勢を検知する姿勢検知部１１１と、ヘッドマウントディスプレイ１０への所定の操作を検知する操作検知部１１２と、情報を表示する表示部１１４と、姿勢検知部１１１が検知した姿勢の変化に応じて表示部１１４が表示する情報を変更する制御部１１３とを備え、制御部１１３は、さらに、操作検知部１１２が所定の操作を検知した場合には、姿勢検知部１１１が検知した姿勢に変化があっても、表示部１１４が表示している情報を変更せずに維持する。
【選択図】図３

Description

本発明は、ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法に関する。

ユーザの頭部に装着され、ユーザに映像を視聴させるディスプレイ装置（以降、ヘッドマウントディスプレイ）がある。ユーザは、ヘッドマウントディスプレイを利用することで、手を用いることなく、また、視線の方向を変えることなく映像を視聴することができる。そのため、ヘッドマウントディスプレイは、例えば機械の保守作業員が保守手順を示す映像を視聴しながら当該機械の保守を行う場合等に大変有用である。

特許文献１は、ヘッドマウントディスプレイの姿勢に基づいてユーザに所望の情報を提示するヘッドマウントディスプレイを開示する。特許文献１に開示されるヘッドマウントディスプレイによれば、ユーザは、所望の情報を自動的に迅速かつ容易に取得することができる。

国際公開第２０１４／１２８７５１号

しかしながら、特許文献１が開示する技術によれば、ヘッドマウントディスプレイがユーザの意図とは無関係に、ユーザに提示する情報を変更する。そのため、ユーザの意図に反してヘッドマウントディスプレイの表示情報が変化する可能性がある。

そこで、本発明は、ユーザが所望する情報を適切にユーザに提示するヘッドマウントディスプレイ等を提供する。

本発明の一態様に係るヘッドマウントディスプレイは、ユーザの頭部に装着されるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知部と、前記ヘッドマウントディスプレイへの所定の操作を検知する操作検知部と、情報を表示する表示部と、前記姿勢検知部が検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御部とを備え、前記制御部は、さらに、前記操作検知部が前記所定の操作を検知した場合には、前記姿勢検知部が検知した姿勢に変化があっても、前記表示部が表示している情報を変更せずに維持する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明のヘッドマウントディスプレイは、ユーザが所望する情報を適切にユーザに提示することができる。

図１は、実施の形態１におけるヘッドマウントディスプレイの外観図である。 図２は、実施の形態１におけるヘッドマウントディスプレイのハードウェア構成を示すブロック図である。 図３は、実施の形態１におけるヘッドマウントディスプレイの機能構成を示すブロック図である。 図４は、実施の形態１における姿勢検知部による姿勢の検知の第一の説明図である。 図５は、実施の形態１における姿勢検知部による姿勢の検知の第二の説明図である。 図６は、実施の形態１における制御部による姿勢情報と、表示情報の種類との対応を示す対応テーブルを示す説明図である。 図７は、実施の形態１におけるユーザの視界と、表示部に表示されるアイコンとの説明図である。 図８は、実施の形態１におけるユーザの視界と、表示部に表示される画像との説明図である。 図９は、実施の形態１における強調された表示態様の説明図である。 図１０は、実施の形態１における制御部による表示情報の変更又は維持についての処理を示すフロー図である。 図１１は、実施の形態１における制御部による表示の維持の解除についての処理を示すフロー図である。 図１２は、実施の形態１における制御部による表示の維持及びその解除についての一連の流れを示す模式図である。 図１３は、実施の形態１における画像の数が多い表示情報の説明図である。 図１４は、実施の形態１における文字の数が少ない表示情報の説明図である。 図１５は、実施の形態１における文字の数が多い表示情報の説明図である。 図１６は、実施の形態２におけるヘッドマウントディスプレイの外観図である。 図１７は、実施の形態２におけるヘッドマウントディスプレイのハードウェア構成を示すブロック図である。 図１８は、実施の形態２におけるヘッドマウントディスプレイの機能構成を示すブロック図である。 図１９は、実施の形態２における制御部による表示の変更についての処理を示すフロー図である。 図２０は、実施の形態２における制御部による表示の維持及びその解除についての一連の流れを示す模式図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、ヘッドマウントディスプレイに関し、以下の問題が生じることを見出した。

一般に人が空を見上げる時は天気を気にしていることが総じて多い。そこで、ユーザが空を見上げると、ヘッドマウントディスプレイが今日の天気を示すマークを表示するようにすれば、ユーザによる直感的な操作が実現すると考えられる。この考えに基づいて、従来、ヘッドマウントディスプレイの姿勢の変化に応じてユーザに提示する情報を変更するヘッドマウントディスプレイがある（特許文献１）。

特許文献１に開示される技術によれば、ヘッドマウントディスプレイの姿勢（傾斜の方向）の変化があるとユーザに提示される情報が変化する。そのため、ユーザが比較的短時間で把握できる情報（例えば、一日の天気を示す１個の晴れマーク）であれば、ヘッドマウントディスプレイの姿勢に基づいて表示情報を切り替えることにより、ユーザは、直感的な動作でヘッドマウントディスプレイに情報を表示させることができる。

しかし、上記の方法によれば、ユーザが把握するのに比較的長い時間を要する情報（例えば、降水確率の時間的推移）に対して同様にヘッドマウントディスプレイの姿勢の変化に基づく表示切り替えを行うと、ユーザが情報の内容を完全に把握する前にヘッドマウントディスプレイの姿勢が変化した場合に表示が切り替わってしまい内容の把握ができないことがある。つまり、ユーザが情報の閲覧を継続したい場合には、ヘッドマウントディスプレイの姿勢を一定に維持しなければならないことになり、利便性が低い。

ユーザの意図と異なりユーザに提示される情報が変化した場合には、ユーザは、ヘッドマウントディスプレイの姿勢を元に戻すという新たな動作を行う必要がある。また、ヘッドマウントディスプレイは、ユーザによる上記動作に基づいて、提示する情報を元に戻す処理を行う必要がある。

そこで、本発明は、ヘッドマウントディスプレイの姿勢を一定に維持することなく、ユーザが所望する情報を適切にユーザに提示するヘッドマウントディスプレイ等を提供する。

このような問題を解決するために、本発明の一態様に係るヘッドマウントディスプレイは、ユーザの頭部に装着されるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知部と、前記ヘッドマウントディスプレイへの所定の操作を検知する操作検知部と、情報を表示する表示部と、前記姿勢検知部が検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御部とを備え、前記制御部は、さらに、前記操作検知部が前記所定の操作を検知した場合には、前記姿勢検知部が検知した姿勢に変化があっても、前記表示部が表示している情報を変更せずに維持する。

これによれば、ユーザが自らの判断で所定の操作によって情報の表示を固定（維持）させることによって、ヘッドマウントディスプレイの姿勢に関わらず、必要な情報をヘッドマウントディスプレイが表示することができる。このように、ヘッドマウントディスプレイは、ユーザが所望する情報を適切にユーザに提示することができる。

また、ヘッドマウントディスプレイは、一般にヘッドマウントディスプレイを装着するユーザにのみ画像を表示する。そのため、上記ユーザの周囲にいる人から見ると、ヘッドマウントディスプレイを装着し、ヘッドマウントディスプレイに対して何らかの操作を行っているユーザが異様に見えると言われている。上記のような動作によりヘッドマウントディスプレイに情報を表示させることができれば、ユーザは、人前でも違和感の無い自然な動作で、必要な情報をヘッドマウントディスプレイに表示させることができる。

このように、ユーザは、直感的、且つ人前でも違和感の無い自然な動作による情報収集と、把握に比較的長い時間を要する情報の内容把握を両立させることができる。

例えば、前記制御部は、前記操作検知部が前記所定の操作を検知した場合であって、前記姿勢検知部が検知した姿勢に変化がある場合には、前記表示部が表示する情報を変更せずに維持するとともに、前記情報の表示態様を変化させる。

これによれば、ヘッドマウントディスプレイが表示している情報の表示態様のみを変化させることで、ユーザは、表示されている情報がヘッドマウントディスプレイの姿勢の変化に関わらず固定されていることを一目で認識することができる。よって、ヘッドマウントディスプレイの姿勢の変化があっても表示が切り替わらない状況であることを、ヘッドマウントディスプレイの故障であるとユーザが誤認識することを防ぐことができる。

例えば、前記表示部は、前記情報を表示する際には、前記情報とともに前記情報の背景として図形を表示し、前記制御部は、前記図形の色を変化させることで、前記情報の表示態様を変化させる。

例えば、前記表示部は、前記情報を表示する際には、前記情報とともに前記情報を囲む枠を表示し、前記制御部は、前記枠の太さ又は色を変化させることで、前記情報の表示態様を変化させる。

これによれば、ヘッドマウントディスプレイが表示している背景又は枠の色を変更することで、ユーザは、ヘッドマウントディスプレイによる表示が固定されていることを具体的に認識させることができる。

例えば、前記ヘッドマウントディスプレイは、さらに、前記表示部が表示する情報の情報量が所定より大きいか否かを判定する第一判定部を備え、前記制御部は、前記情報量が所定より大きいと判定された場合に限り、前記操作検知部が前記所定の操作を検知したときに、前記姿勢検知部が検知した姿勢に変化があっても、前記表示部が表示する情報を変更せずに維持する。

例えば、前記ヘッドマウントディスプレイは、さらに、前記表示部が表示する情報の情報量が所定より小さいか否かを判定する第二判定部を備え、前記制御部は、前記情報量が所定より小さいと判定された場合には、前記操作検知部が前記所定の操作を検知しても、前記姿勢検知部が検知した姿勢の変化に応じて、前記表示部が表示する情報を変更する。

これによれば、ヘッドマウントディスプレイは、表示している情報の特徴に基づいて、当該情報の表示をヘッドマウントディスプレイの姿勢に応じて変更するか、又は、維持するかを決定する。具体的には、当該情報が、ユーザにとってヘッドマウントディスプレイの姿勢に基づいて表示を切り替えたい情報（比較的短時間で把握できる情報）なのか、表示を切り替えたくない情報（把握に比較的長い時間を要する情報）なのかがある程度推定できるので、ヘッドマウントディスプレイが情報毎に上記のいずれの情報であるかを予め設定することができる。

また、これによれば、ユーザが比較的短時間で把握できる情報（例えば、一日の天気を示す１個の晴れマーク）が表示されている状態で、ユーザが誤って所定の操作を行った場合でも、ヘッドマウントディスプレイの姿勢に基づいて、表示する情報を変更させることができる。

例えば、前記制御部は、前記操作検知部が前記所定の操作を検知した後に、さらに前記所定の操作と同一の後続操作を検知した場合には、前記操作検知部が前記後続操作を検知した時に前記姿勢検知部が検知した姿勢に基づいて、前記表示部に表示する情報を変更する。

これによれば、ヘッドマウントディスプレイは、表示が固定されている状態を解除する際、ユーザが何らかの動作を行うことなく、ヘッドマウントディスプレイの姿勢に応じた適切な情報を表示することができる。よって、ユーザが次の情報を閲覧する際の負担を低減できる。

例えば、前記制御部は、前記操作検知部が前記所定の操作を検知した後に、さらに前記所定の操作と同一の後続操作を検知した場合には、前記表示部による情報の表示を停止する。

これによれば、ヘッドマウントディスプレイは、表示が固定されている状態を解除する際に、その表示を消去することで、ユーザが必要としていない情報を表示することを回避することができる。よって、必要としていない情報が表示されることによるユーザの煩わしさを低減できる。

例えば、前記操作検知部は、操作ボタンを有し、前記操作ボタンの押下、又は、前記操作ボタンへの接触を、前記所定の操作として検知する。

例えば、前記操作検知部は、タッチパッドを有し、前記タッチパッドへのタップを、前記所定の操作として検知する。

例えば、前記操作検知部は、マイク、及び、前記マイクが収音した音声を音声認識することでユーザによる発話を取得する音声認識装置を有し、前記音声認識装置により、所定の発話を取得したことを、前記所定の操作として検知する。

これによれば、ヘッドマウントディスプレイは、操作ボタン、タッチパッド及び音声に基づいて、具体的にユーザからの操作を受け付けることができる。

例えば、前記姿勢検知部は、さらに、前記姿勢が、前記ユーザにとっての上方、下方、左方及び右方のどの方向に基準姿勢から変化した姿勢であるかを示す姿勢情報を生成し、前記制御部は、さらに、（ｉ）前記表示部が表示するための情報として、上方、下方、左方及び右方のそれぞれの方向に対応付けられた４つの情報を保有しており、（ｉｉ）前記表示部の表示領域のうちの上方、下方、左方及び右方のそれぞれの方向に、前記４つの情報のうち当該方向に対応付けられた情報を示すアイコンを表示し、（ｉｉｉ）前記姿勢検知部が前記姿勢情報を生成した場合に、生成された前記姿勢情報により示される方向に対応付けられた情報を前記表示部に表示する。

これによれば、ヘッドマウントディスプレイがアイコンを表示することで、ユーザは、ヘッドマウントディスプレイの傾斜の方向と、その方向にどの情報が割り当てられているのかをあわせて認識することができる。よって、ユーザは、ヘッドマウントディスプレイの傾斜方向にどの情報が割り当てられているのかを記憶する必要がないので、ユーザの負担が低減される。

例えば、前記ヘッドマウントディスプレイは、さらに、操作空間におけるスワイプジェスチャ操作であって、一の方向を示すスワイプジェスチャ操作を検知するジェスチャ検知部を備え、前記制御部は、さらに、前記ジェスチャ検知部が検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する。

これによれば、ユーザは、ヘッドマウントディスプレイの姿勢を変化させる代わりにスワイプ操作によって表示情報を変化させることができる。そのため、例えば、ユーザは、本来ヘッドマウントディスプレイの姿勢を変化させることで表示される情報を、正面を向いたままの状態でスワイプ操作によって必要な情報を表示させることで表示させ、把握することできる。このとき、ヘッドマウントディスプレイの姿勢を変化させる必要はない。このように、把握するに比較的長時間を要する情報を確認するためのユーザによる操作の選択肢を増やすことができる。

また、本発明の一態様に係るヘッドマウントディスプレイは、ユーザの頭部に装着されるヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知部と、操作空間におけるスワイプジェスチャ操作であって、一の方向を示すスワイプジェスチャ操作を検知するジェスチャ検知部と、情報を表示する表示部と、前記姿勢検知部が検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御部とを備え、前記制御部は、さらに、前記ジェスチャ検知部が検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する。

これによれば、そこで、ユーザは、ヘッドマウントディスプレイの姿勢を変化させる代わりにスワイプ操作によって表示情報を変化させることができる。そのため、例えば、ユーザは、正面を向いたままの状態でスワイプ操作によって必要な情報を表示させることで、本来ヘッドマウントディスプレイの姿勢を変化させることで表示される情報を表示させ、把握することできる。このように、ヘッドマウントディスプレイは、ユーザが所望する情報を適切にユーザに提示することができる。

このように、ユーザは、直感的、且つ人前でも違和感の無い自然な動作による情報収集と、把握に比較的長い時間を要する情報の内容把握を両立させることができる。

例えば、前記ジェスチャ検知部は、（ａ）前記ユーザの手が上方から下方へ移動したことを、下方向を示すスワイプジェスチャ操作として検出し、（ｂ）前記ユーザの手が下方から上方へ移動したことを、上方向を示すスワイプジェスチャ操作として検出し、（ｃ）前記ユーザの手が左方から右方へ移動したことを、右方向を示すスワイプジェスチャ操作として検出し、（ｄ）前記ユーザの手が右方から左方へ移動したことを、左方向を示すスワイプジェスチャ操作として検出し、前記制御部は、前記ジェスチャ検知部が検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する。

これによれば、ヘッドマウントディスプレイは、ユーザによるジェスチャ操作を、上下左右の４方向のいずれかを示す操作として受け付け、受け付けた方向に対応する情報を表示することができる。このように、方向及び情報の数が絞り込まれていることで、ユーザに厳密な操作を要求することなく、おおまかなジェスチャによる操作を可能とすることで、操作性を向上することができる。

例えば、前記姿勢検知部は、さらに、前記制御部は、さらに、（ｉ）前記表示部が表示するための情報として、上方、下方、左方及び右方のそれぞれの方向に対応付けられた４つの情報を保有しており、（ｉｉ）前記表示部の表示領域のうちの上方、下方、左方及び右方のそれぞれの方向に、前記４つの情報のうち当該方向に対応付けられた情報を示すアイコンを表示し、（ｉｉｉ）前記ジェスチャ検知部が前記スワイプジェスチャ操作を検知した場合に、前記スワイプジェスチャ操作の始点となる方向に対応付けられた情報を前記表示部に表示する。

これによれば、ヘッドマウントディスプレイがアイコンを表示することで、ユーザは、ジェスチャ操作の向きと、その向きにどの情報が割り当てられているのかをあわせて認識することができる。よって、ユーザは、ジェスチャ操作の向きにどの情報が割り当てられているのかを記憶する必要がないので、ユーザの負担が低減される。

例えば、前記ジェスチャ検知部は、前記ユーザの手を可視光により撮影するカメラを有し、前記カメラにより撮影された前記ユーザの手の動きに基づいて前記スワイプジェスチャ操作を検知する。

例えば、前記ジェスチャ検知部は、前記ユーザの手から発せられる赤外線を取得する赤外線センサを有し、前記赤外線センサにより取得された前記ユーザの手の動きに基づいて前記スワイプジェスチャ操作を検知する。

これによれば、ヘッドマウントディスプレイは、可視光カメラ又は赤外線カメラによりユーザの手の動きを取得し、これに基づいて具体的にジェスチャ操作を受け付けることができる。

例えば、前記ヘッドマウントディスプレイは、さらに、前記ヘッドマウントディスプレイへの所定の操作を検知する操作検知部を備え、前記操作検知部がユーザによる前記所定の操作を検知した場合には、前記姿勢検知部が検知した姿勢に変化があっても、前記表示部が表示する情報を変更せずに維持する。

これによれば、ユーザが自らの判断で所定の操作によって情報の表示を固定（維持）させることによって、ヘッドマウントディスプレイの姿勢に関わらず、必要な情報をヘッドマウントディスプレイが表示することができる。

このように、ユーザは、直感的、且つ人前でも違和感の無い自然な動作による情報収集と、把握に比較的長い時間を要する情報の内容把握を両立させることができる。

また、本発明の一態様に係るヘッドマウントディスプレイの制御方法は、ユーザの頭部に装着されるヘッドマウントディスプレイの制御方法であって、前記ヘッドマウントディスプレイは、情報を表示する表示部を備え、前記制御方法は、前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知ステップと、前記ヘッドマウントディスプレイへの所定の操作を検知する操作検知ステップと、前記姿勢検知ステップで検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御ステップとを含み、前記制御ステップでは、さらに、前記操作検知ステップが前記所定の操作を検知した場合には、前記姿勢検知ステップで検知した姿勢に変化があっても、前記表示部が表示している情報を変更せずに維持する。

これによれば、上記のヘッドマウントディスプレイと同様の効果を奏する。

また、本発明の一態様に係るヘッドマウントディスプレイの制御方法は、ユーザの頭部に装着されるヘッドマウントディスプレイの制御方法であって、前記ヘッドマウントディスプレイは、情報を表示する表示部を備え、前記制御方法は、前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知ステップと、操作空間におけるスワイプジェスチャ操作であって、一の方向を示すスワイプジェスチャ操作を検知するジェスチャ検知ステップと、前記姿勢検知ステップで検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御ステップとを含み、前記制御ステップでは、さらに、前記ジェスチャ検知ステップで検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する。

これによれば、上記のヘッドマウントディスプレイと同様の効果を奏する。

以下では、本発明の実施の形態に係るヘッドマウントディスプレイについて、図面を用いて詳細に説明する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
本実施の形態において、ユーザが所望する情報を適切にユーザに提示するヘッドマウントディスプレイ等について説明する。より具体的には、ユーザによる操作に基づいて、ユーザが把握するのに比較的長時間を要する情報の表示を継続するヘッドマウントディスプレイ等について説明する。

図１は、本実施の形態におけるヘッドマウントディスプレイ１０の外観図である。

図１に示されるように、ヘッドマウントディスプレイ１０は、眼鏡のようにユーザの頭部に装着される眼鏡型端末である。ヘッドマウントディスプレイ１０は、本体部１１と、鼻あて部１２と、つる１３と、耳かけ部１４とを備える。

本体部１１は、ヘッドマウントディスプレイ１０による情報処理、及び、画像の表示等を行う処理部である。本体部１１は、つる１３の一部に取り付けられており、ユーザの頭部の位置又は姿勢が変化すると、ユーザの頭部と一体となって位置又は姿勢が変化する。本体部１１の機能及び処理については、後で詳しく説明する。

鼻あて部１２は、ヘッドマウントディスプレイ１０をユーザの頭部に固定するための鼻あてである。鼻あて部１２は、ユーザの鼻を左右両側から挟むように配置されることで、ユーザの頭部に対してヘッドマウントディスプレイ１０を固定する。

つる１３は、鼻あて部１２と耳かけ部１４とをつなぐ棒体である。

耳かけ部１４は、ヘッドマウントディスプレイ１０をユーザの頭部に固定するための耳かけである。耳かけ部１４は、ユーザの耳に引っかかるように配置されることで、ユーザの頭部に対してヘッドマウントディスプレイ１０を固定する。

なお、ヘッドマウントディスプレイ１０を装着したユーザにとっての奥行き方向をＸ方向といい、左右方向をＹ方向といい、頭上と足元とを結ぶ方向をＺ方向ともいう。また、特に断らない限りＺ方向のプラス向きを上向きといい、Ｚ方向のマイナス向きを下向きという。

なお、図１に示されるヘッドマウントディスプレイ１０の形状は、あくまで一例であり、ユーザの頭部の少なくとも一部に装着され、ユーザに提示するための画像を表示するものであればどのような形状であってもよく、例えば、帽子型又はヘルメット型等があり得る。

図２は、本実施の形態におけるヘッドマウントディスプレイ１０のハードウェア構成を示すブロック図である。

図２に示されるように、ヘッドマウントディスプレイ１０は、ハードウェア構成として、ＣＰＵ１０１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、メインメモリ１０２と、ストレージ１０３と、通信ＩＦ１０４（Ｉｎｔｅｒｆａｃｅ）と、加速度センサ１０５と、ボタン１０６と、ディスプレイ１０７とを備える。

ＣＰＵ１０１は、ストレージ１０３等に記憶された制御プログラムを実行するプロセッサである。

メインメモリ１０２は、ＣＰＵ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。

ストレージ１０３は、制御プログラム、及び、コンテンツなどを保持する不揮発性の記憶領域である。

通信ＩＦ１０４は、ネットワークを介して他の装置との間でデータを送受信するネットワークインタフェースである。通信ＩＦ１０４は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースである。

加速度センサ１０５は、加速度を検出するセンサである。

ボタン１０６（操作ボタンともいう）は、ユーザによる押下又は接触等の操作を受け付ける入力装置である。なお、ボタン１０６の代わりに、タッチパッド（不図示）を用いることも可能である。なお、ボタン１０６の代わりに、周囲の音声を収音するマイク（不図示）と、マイクが収音した音声を音声認識することでユーザの発話を取得する音声認識装置（不図示）とを用いることも可能である。この場合、音声認識装置により所定の発話を取得したことを上記操作として受け付ける。

ディスプレイ１０７は、画像を表示する透過型の表示装置である。例えば、ディスプレイ１０７は、ハーフミラーを利用してユーザに画像を提示するプリズムディスプレイである。なお、ディスプレイ１０７は、ユーザに対して画像を提示するものであればその方式は問わず、例えば、レーザ光によりユーザの網膜に画像を提示するいわゆる網膜操作型ディスプレイなどでもよい。

図３は、本実施の形態におけるヘッドマウントディスプレイ１０の機能構成を示すブロック図である。

図３に示されるように、ヘッドマウントディスプレイ１０は、機能構成として、姿勢検知部１１１と、操作検知部１１２と、制御部１１３と、表示部１１４とを備える。また、制御部１１３は、その一機能として判定部１１５を有してもよい。

姿勢検知部１１１は、ヘッドマウントディスプレイ１０の姿勢を検知する処理部である。姿勢検知部１１１は、具体的には、加速度センサ１０５によりヘッドマウントディスプレイ１０の姿勢、及び、その姿勢の変化を検知し、その姿勢の変化を示す情報である姿勢情報を生成する。ヘッドマウントディスプレイ１０の姿勢は、ユーザの頭部の向きと１対１対応する。例えば、姿勢検知部１１１は、ユーザの頭部が前方の斜め上方を向く姿勢である場合、「上向きに傾斜」（以降、単に「上向き」という）との姿勢情報を生成する。姿勢検知部１１１は、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３及び加速度センサ１０５等により実現される。

なお、ヘッドマウントディスプレイ１０の姿勢の変化は、ユーザの身体全体の向きの変化により生ずる場合と、ユーザの首の動きにより生ずる場合とがあるが、これらは、加速度センサ１０５が検知する加速度の大きさにより判別される。具体的には、加速度センサ１０５が検知する加速度の大きさが所定値以上である場合に、首の動きにより生ずる姿勢の変化であると判別される。そして、姿勢検知部１１１は、ユーザの首の動きにより生ずる姿勢の変化を検知した場合にのみ、上記姿勢を示す情報を生成するようにしてもよい。ユーザの首の動きにより生ずる姿勢の変化の方が、ユーザが意図的に頭部の姿勢を変化したことを反映していると考えられるからである。

なお、姿勢検知部１１１は、上向き、下向き、左向き、右向き及び正面の５方向を、姿勢として検出するようにしてもよい。ユーザの意図する頭部の向きと、現実のユーザの頭部の向きとは、厳密には一致しないことが考えられる。例えば、ユーザが頭部を上向きにすることを意図しても、現実にユーザの頭部の向きは正確に上向きにならず、上向きから少し左（又は右）に傾いた方向になることがあると考えられる。そこで、姿勢検知部１１１は、上記５方向を姿勢として検出するようしておくことで、上記のような正確な上向きから少しずれた向きを上向きと判定することができる。このように、厳密な上向きだけでなく、厳密な上向きを含む所定の範囲内を上向きと判定することで、ユーザによる柔軟な操作を可能とする。

操作検知部１１２は、ユーザによるヘッドマウントディスプレイ１０への操作を検知する処理部である。操作検知部１１２は、ボタン１０６に対するユーザによる押下又は接触の操作を検知する。操作検知部１１２は、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３及びボタン１０６等により実現される。

制御部１１３は、姿勢検知部１１１が検知したヘッドマウントディスプレイ１０の姿勢の変化に応じて表示部１１４が表示する情報（以降、「表示情報」ともいう）を変更する処理部である。さらに、制御部１１３は、操作検知部１１２が操作を検知した場合には、姿勢検知部１１１が検知したヘッドマウントディスプレイ１０の姿勢に変化があっても、表示部１１４が表示する表示情報を変更せずに維持する。

具体的には、制御部１１３は、各種表示情報を表示部１１４に表示させる。より具体的には、制御部１１３は、ヘッドマウントディスプレイ１０の姿勢と、当該姿勢の場合に制御部１１３が表示部１１４に表示させる表示情報との対応付けを予め保持している。そして、制御部１１３は、姿勢検知部１１１から姿勢情報を取得し、取得した姿勢情報に対応付けられた表示情報を選択し、選択した表示情報を表示部１１４に表示させる。なお、上記表示情報は、当該表示情報を出力するための所定のアプリケーションを制御部１１３が実行することによって出力されたものであってもよいし、予め定められた情報であってもよいし、通信ＩＦ１０４を介して外部から取得したものであってもよい。

また、制御部１１３は、表示部１１４の表示領域のうちの上方、下方、左方及び右方のそれぞれの方向に、４つの情報のうち当該方向に対応付けられた情報を示すアイコンを表示する。このアイコンは、どの方向にヘッドマウントディスプレイ１０を傾斜させればどの情報が表示されるかをユーザに案内するためのアイコンである。

なお、制御部１１３は、表示情報を維持する際には、表示情報の種類を維持するようにしてもよい。すなわち、制御部１１３は、表示情報の種類を維持し、表示情報そのものは、その種類の範囲内で変更されるようにしてもよい。

なお、制御部１１３は、操作検知部１１２が操作を検知した場合に、表示情報が表示部１１４上に維持されていることをユーザに提示するために表示情報の表示態様を変更してもよい。具体的には、表示情報の表示態様を、より強調したものに変更してもよい。このようにすることで、たとえヘッドマウントディスプレイ１０の姿勢が変化しても表示情報が変化せずに維持されることを明示的にユーザに認識させることができる。

なお、制御部１１３は、判定部１１５を有してもよい。この場合、制御部１１３は、ヘッドマウントディスプレイ１０の姿勢に加えて、判定部１１５による表示情報についての判定結果に基づいて表示部１１４に表示する表示情報を変更又は維持する。

判定部１１５は、表示部１１４が表示する表示情報の情報量が所定より大きいか、又は、所定より小さいかを判定する処理部である。ここで、「情報量」とは、表示部１１４が表示する情報の表示面積、文字数、画像と文字との混在の有無などから定められる量である。判定部１１５は、例えば、上記情報の表示面積が所定値より大きい情報、ディスプレイ１０７の表示可能面積に対する表示面積の割合が所定値より大きい情報、含まれる文字又は画像の数が所定値より大きい情報、又は、画像と文字とが混在した情報は、情報量が大きい情報と判定する。このような判定に基づいて制御部１１３が表示情報を変更するか又は維持するかを決定できるのは、ユーザが当該表示情報の表示を切り替えることを意図するか否かが、この情報量によりある程度推定可能であるからである。なお、判定部１１５は、特許請求の範囲における第一判定部又は第二判定部に相当する。

表示部１１４は、情報を画像として表示する表示装置である。表示部１１４は、制御部１１３が選択した表示情報を画像として表示する。表示部１１４は、ディスプレイ１０７等により実現される。

以降において、ヘッドマウントディスプレイ１０の各機能ブロックの機能及び処理について詳細に説明する。まず、姿勢検知部１１１によるヘッドマウントディスプレイ１０の姿勢の検知について説明する。

図４は、本実施の形態における姿勢検知部１１１による姿勢の検知の第一の説明図である。図４は、ユーザが水平面上（ＸＹ平面上）において首を振る場合、つまり、ユーザが頭部を横に（左又は右に）回転させる場合のヘッドマウントディスプレイ１０の姿勢の変化を示す図である。

具体的には、図４は、ユーザが正面を見る場合を基準として左へθ１度の方向を向くように頭部を回転させた場合を示している。このとき、姿勢検知部１１１は、加速度センサ１０５によりヘッドマウントディスプレイ１０が、基準姿勢から、基準姿勢から左方向へθ１度回転した姿勢に変化したことを検知する。なお、基準姿勢とは、この姿勢の変化が開始されたとき姿勢のことであり、ユーザの頭部が概ね停止していると考えられる場合の姿勢のことである。

図５は、本実施の形態における姿勢検知部１１１による姿勢の検知の第二の説明図である。図５は、ユーザが鉛直方向（ＸＺ平面上）において首を振る場合、つまり、ユーザが頭部を縦に（上又は下に）振る場合のヘッドマウントディスプレイ１０の姿勢の変化を示す図である。

具体的には、図５は、ユーザが正面を見る場合を基準として上へθ２度の方向を向くように、頭部を回転させた場合を示している。このとき、姿勢検知部１１１は、加速度センサ１０５によりヘッドマウントディスプレイ１０が、基準姿勢から、基準姿勢から上方へθ２度回転した姿勢に変化したことを検知する。

以上のように取得されるθ１及びθ２に基づいて、姿勢検知部１１１は、ヘッドマウントディスプレイ１０の姿勢を検知する。なお、ヘッドマウントディスプレイ１０の姿勢は、θ１及びθ２の組み合わせにより無段階に特定されるようにしてもよいし、θ１及びθ２の範囲を所定の区間に区切ることにより、例えば上向き又は下向きというように、よりおおまかな姿勢として特定してもよい。以降では、後者の場合、具体的には、θ１及びθ２に基づいて、ヘッドマウントディスプレイ１０の姿勢を、「上向き」、「下向き」、「左向き」、「右向き」及び「正面」の５つの姿勢のいずれかに特定する場合について説明する。

図６は、本実施の形態における制御部１１３による姿勢情報と、表示情報の種類との対応を示す対応テーブル６０１を示す説明図である。具体的には、対応テーブル６０１は、ヘッドマウントディスプレイ１０の姿勢と、当該姿勢の場合に制御部１１３が表示部１１４に表示する表示情報の種類との対応付けを示している。

例えば、ヘッドマウントディスプレイ１０の姿勢「上向き」は、表示情報の種類「天気予報」に対応付けられている。つまり、ヘッドマウントディスプレイ１０の姿勢が上向きであることを姿勢検知部１１１が検知した場合には、制御部１１３は、天気予報の情報を表示部１１４に表示する。なお、天気予報の情報を表示部１１４に表示するために、制御部１１３は、所定のアプリケーション等により予め通信ＩＦ１０４等を利用して外部から必要な情報を取得し、取得した情報を情報処理することで表示情報を生成してもよい。

また、ヘッドマウントディスプレイ１０の姿勢「正面」は、対応する表示情報がないことに対応付けられている。これは、ユーザが正面を向いているときには、表示情報がない、つまり、表示部１１４が何も情報を表示しないことを意味する。

以降において、表示部１１４が表示する表示情報について説明する。

図７は、本実施の形態におけるユーザの視界７０１と、表示部１１４に表示されるアイコンとの説明図である。

ユーザの視界７０１は、ヘッドマウントディスプレイ１０を装着しているユーザが見る視界を示している。ユーザの視界７０１には、外界の風景が含まれており、また、その外界の風景に重畳するように表示部１１４が含まれている。言い換えれば、ユーザは、表示部１１４を透過して外界の風景を見ている。表示部１１４の表示領域のうちの上方、下方、左方及び右方のそれぞれの方向にはアイコン７１１、７１２、７１３及び７１４が表示されている。これらのアイコンは、ヘッドマウントディスプレイ１０の姿勢（傾斜の方向）と、その姿勢での表示情報の種類とをユーザに提示するためのものであり、ユーザがそのアイコンの方向にヘッドマウントディスプレイ１０の姿勢を変えればそのアイコンにより示される表示情報が表示されることをユーザに案内するためのものである。

このように、ユーザは、外界の風景とともに外界の風景に重畳された情報を視認するようにしてヘッドマウントディスプレイ１０を利用する。

図８は、本実施の形態におけるユーザの視界と、表示部１１４に表示される画像８０１との説明図である。画像８０１は、制御部１１３がヘッドマウントディスプレイ１０の姿勢の変化に応じて表示部１１４に表示させる画像の一例である。

画像８０１は、天気予報を示す画像であり、ヘッドマウントディスプレイ１０の姿勢が上向きであるときに表示される情報である。画像８０１は、枠８０２で囲まれており、一日の天気を示す文字と図形とを含んでいる。

このとき、天気予報を示す情報の背景となる部分には、画像８０１のように白色が表示されるようにしてもよいし、何も表示がされないことにより、透過した外界の風景がユーザにより視認されるようにしてもよい。

図９は、本実施の形態における強調された表示態様の説明図である。画像９０１は、制御部１１３がユーザによる所定の操作に応じて、表示態様を変更した表示画像の一例である。

具体的には、画像９０１は、画像８０１に対して画像の枠９０２が太い枠に変更されたものである。このようにすることで、ヘッドマウントディスプレイ１０は、表示情報が表示部１１４上に維持されている、つまり、姿勢の変化があっても表示が変更されないことを積極的にユーザに認識させることができる。

なお、表示情報が表示部１１４上に維持されていることを示すために、画像の枠を太い枠に変更する代わりに、任意の方法で画像を強調するように示してもよい。具体的には、画像の背景として表示される図形の色を変更したり、文字の色又は装飾（フォント、太字、斜体、下線等）を変更したりしてもよく、また、上記を複数組み合わせてもよい。

以降において、制御部１１３が表示部１１４に表示させる情報の変更に係る処理について説明する。

図１０は、本実施の形態における制御部１１３による表示情報の変更又は維持についての処理を示すフロー図である。図１２は、本実施の形態における制御部１１３による表示の維持及びその解除についての一連の流れを示す模式図である。

ステップＳ１０１において、姿勢検知部１１１がヘッドマウントディスプレイ１０の姿勢の変化を検知したか否かを判定する。姿勢検知部１１１が上記姿勢の変化を検知した場合（ステップＳ１０１でＹｅｓ）には、検知した姿勢の変化を示す姿勢情報を生成した上で、ステップＳ１０２へ進む。一方、姿勢検知部１１１が上記姿勢の変化を検知しない場合（ステップＳ１０１でＮｏ）には、再びステップＳ１０１を行う。つまり、姿勢検知部１１１は、上記姿勢の変化を検知するまでステップＳ１０１で待機する。ステップＳ１０１は、図１２の（ａ）の状態に相当する。

ステップＳ１０２において、制御部１１３は、ステップＳ１０１で姿勢検知部１１１が生成した姿勢情報を取得し、当該姿勢情報により示されるヘッドマウントディスプレイ１０の姿勢に対応付けられた表示情報を表示部１１４に表示させる。ステップＳ１０１は、図１２の（ｂ）の状態に相当する。図１２の（ｂ）において、ヘッドマウントディスプレイ１０の姿勢が上向きとなったことに基づいて、表示部１１４に天気予報の情報が表示される。

ステップＳ１０３において、操作検知部１１２は、ユーザによる所定の操作を検知したか否かを判定する。操作検知部１１２がユーザによる所定の操作を検知した場合（ステップＳ１０３においてＹｅｓ）には、ステップＳ１１１へ進む。一方、操作検知部１１２がユーザによる所定の操作を検知しない場合（ステップＳ１０３においてＮｏ）には、ステップＳ１０４へ進む。ステップＳ１０３は、図１２の（ｃ）に相当する。図１２の（ｃ）において、ユーザによる所定の操作（例えばユーザの指Ｕ１によるボタン１０６の押下）が検知されたことに基づいて、表示部１１４における天気予報の情報の表示が維持される。なお、このとき制御部１１３は、表示情報を変更せずに維持しながら、情報の表示の枠を太い枠に変化させることで表示態様を変更する。

ステップＳ１０４において、姿勢検知部１１１は、ヘッドマウントディスプレイ１０の姿勢の変化を検知するまでステップＳ１０４で待機し、上記姿勢の変化を検知したら姿勢情報を生成した上でステップＳ１０５へ進む。

ステップＳ１０５において、制御部１１３は、ステップＳ１０４で姿勢検知部１１１が生成した姿勢情報を取得し、当該姿勢情報に基づいて、表示部１１４が表示する情報を変更する。

ステップＳ１１１において、姿勢検知部１１１は、ヘッドマウントディスプレイ１０の姿勢の変化を検知するまでステップＳ１１１で待機し、上記姿勢の変化を検知したら姿勢情報を生成した上でステップＳ１１２へ進む。

ステップＳ１１２において、制御部１１３は、ステップＳ１１１で姿勢検知部１１１が生成した姿勢情報にかかわらず、表示部１１４上の表示情報を変更せずに維持する。ステップＳ１１２は、図１２の（ｄ）に相当する。ヘッドマウントディスプレイ１０の姿勢が、正面を向いているにも関わらず、表示部１１４に天気予報の情報が太い枠に囲まれた状態で表示されている。

なお、所定の操作の検知（ステップＳ１０３）と、姿勢の変化の検知（ステップＳ１０４又はステップＳ１１１）との順番は、図１０に示すものと反対でもよい。

以上の一連の処理により、ヘッドマウントディスプレイ１０は、ユーザによる所定の操作がなされた場合には、ユーザに提示する情報を変更せずに維持する（図１２の（ｄ））。このように、ヘッドマウントディスプレイ１０は、ユーザが所望する情報を適切にユーザに提示することができる。

図１１は、本実施の形態における制御部１１３による表示の維持の解除についての処理を示すフロー図である。

ステップＳ２０１において、操作検知部１１２は、ユーザによる所定の操作（例えばユーザの指Ｕ１によるボタン１０６の押下、「後続動作」ともいう）を検知したか否かを判定する。操作検知部１１２がユーザによる所定の操作を検知した場合（ステップＳ２０１においてＹｅｓ）には、ステップＳ２０２へ進む。一方、操作検知部１１２がユーザによる所定の操作を検知しない場合（ステップＳ２０１においてＮｏ）には、ステップＳ２１１へ進む。

ステップＳ２０２において、制御部１１３は、表示部１１４が表示する情報を維持することを解除する、つまり、表示部１１４が表示する情報を変更可能な状態とする。なお、制御部１１３は、このときに姿勢検知部１１１が検知する姿勢に応じて、表示部１１４に表示する表示情報を変更するようにしてもよいし、表示部１１４による表示を消去してもよい（図１２の（ｅ））。

ステップＳ２１１において、制御部１１３は、表示部１１４が表示する情報を維持することを継続する。

これにより、ヘッドマウントディスプレイ１０は、表示部１１４に表示する表示情報を維持することを適切に解除することができる。

なお、制御部１１３は、表示部１１４が表示する情報について、一律に上記のような処理を行ってもよいし、表示情報の情報量に応じて、上記の処理を行うか否かを決定するようにしてもよい。以下で２つの画像の例を用いて具体的に説明する。第一の例は、表示情報に含まれる画像の数を情報量として用いる場合であり、第二の例は、表示情報に含まれる文字の数を情報量として用いる場合である。

図１３は、本実施の形態における画像の数が多い表示情報の説明図である。図１３を用いて、表示情報に含まれる画像の数に基づいて上記の処理を行うか否かを決定する方法の第一の例について説明する。

図１３において表示部１１４が表示する画像１３０１は、一週間の天気の推移を示す画像であり、一日の天気を示す画像８０１より情報量が大きいものの一例である。ユーザは、画像１３０１に示される情報を把握するには、画像８０１の場合より長い時間を要すると考えられる。これに対し、一日の天気を示す画像８０１に示される情報を把握するには、短時間（例えば数秒）で済むと考えられる。

そこで、制御部１１３は、判定部１１５による判定結果に応じて、図１０で示した一連の処理を行うか否かを決定するようにしてもよい。

判定部１１５は、例えば、表示部１１４が表示する画像に含まれる画像の数が３を超える場合に情報量が多いと判定する。そして、制御部１１３は、情報量が多いと判定された場合に限り、制御部１１３が図１０で示した一連の処理を行い、情報量が少ないと判定された場合には、検知した姿勢の変化に応じて表示情報を切り替える処理を行うようにする。

この判定方法によれば、判定部１１５が画像８０１に含まれる画像の数は１であると判定し、制御部１１３は、画像８０１を表示する場合には、検知した姿勢の変化に応じて表示情報を切り替える処理を行うようにする。一方、判定部１１５が画像１３０１に含まれる画像の数は７であると判定し、制御部１１３は、画像１３０１を表示する場合には、所定操作に基づいて表示情報を維持する処理（図１０の処理）を行うようにする。

図１４は、本実施の形態における文字の数が少ない表示情報の説明図である。図１５は、本実施の形態における文字の数が多い表示情報の説明図である。図１４及び図１５を用いて、表示情報に含まれる文字の数に基づいて上記の処理を行うか否かを決定する方法の第二の例について説明する。

図１４に示される画像１４０１は、比較的少ない数（例えば１５文字程度）の文字を含む。図１５に示される画像１５０１は、比較的多い数（例えば１００文字程度）の文字を含む。

判定部１１５は、例えば、表示部１１４が表示する画像に含まれる文字の数が２０を超える場合に情報量が多いと判定する。そして、制御部１１３は、この場合にのみ制御部１１３が図１０で示した一連の処理を行い、この場合以外には、検知した姿勢の変化に応じて表示情報を切り替える処理を行うようにする。

なお、文字の数を判定する場合に、その表示情報に応じた定形の文字列を除外して文字の数を判定してもよい。例えば、表示情報がメールである場合には、送信元を意味する「Ｆｒｏｍ」、又は、宛先を意味する「Ｔｏ」の文字列を除外して、その残部の文字数を数えるようにしてもよい。これら定形の文字列は、この表示情報固有の意味を有するわけではないので、ユーザは、これら定形の文字列の意味を把握しようと努めることがないと考えられるからである。

なお、判定部１１５が文字の数を判定する場合に、さらに、一行に含まれる文字数、行数、文字の表示サイズなどを考慮にいれてもよい。具体的には、一行に含まれる文字数が多い場合、行数が多い場合、文字の表示サイズが小さい場合等に、情報量が多いと判定してもよい。

このようにすれば、ユーザは、ヘッドマウントディスプレイ１０に対して、ユーザが把握するのに比較的長い時間を要する画像については、所定操作を行うことにより表示情報の維持をさせることができる。一方、把握するのにあまり時間を要しない画像については、姿勢に応じた表示情報の切り替えを行わせることができる。ユーザは、ヘッドマウントディスプレイ１０を用いて、表示情報の切り替えの利便性を損なわずに、確実に情報を取得できる。

以上のように、本実施の形態におけるヘッドマウントディスプレイは、ユーザが所望する情報を適切にユーザに提示することができる。特に、ユーザが自らの判断で所定の操作によって情報の表示を固定（維持）させることによって、ヘッドマウントディスプレイの姿勢に関わらず、必要な情報をヘッドマウントディスプレイが表示することができる。このように、ユーザは、直感的、且つ人前でも違和感の無い自然な動作による情報収集と、把握に比較的長い時間を要する情報の内容把握を両立させることができる。

（実施の形態２）
本実施の形態において、ユーザが所望する情報を適切にユーザに提示するヘッドマウントディスプレイ等について説明する。より具体的には、ユーザによる操作に基づいて、ユーザが所望する情報を表示するヘッドマウントディスプレイ等について説明する。

図１６は、本実施の形態におけるヘッドマウントディスプレイ１０Ａの外観図である。

図１６に示されるように、ヘッドマウントディスプレイ１０Ａは、実施の形態１のヘッドマウントディスプレイ１０と類似の外観を有するが、本体部１１Ａがヘッドマウントディスプレイ１０におけるものと異なる。この差異については、ハードウェア構成の違いとして以下で説明する。

図１７は、本実施の形態におけるヘッドマウントディスプレイ１０Ａのハードウェア構成を示すブロック図である。

図１７に示されるように、ヘッドマウントディスプレイ１０Ａは、実施の形態１のヘッドマウントディスプレイ１０と類似の外観を有するが、カメラ１０８を備える点で異なる。その他のハードウェア構成は同じであるので説明を省略する。

カメラ１０８は、周囲を撮像することで、画像を生成する撮像装置である。カメラ１０８は、ヘッドマウントディスプレイ１０Ａの前方（Ｘ方向のプラス向き）を撮像することができる位置及び角度でヘッドマウントディスプレイ１０Ａに配置されている。なお、カメラ１０８は、可視光により周囲を撮像する可視光カメラであってもよいし、赤外線により周囲を撮像する赤外線カメラであってもよい。

図１８は、実施の形態２におけるヘッドマウントディスプレイ１０Ａの機能構成を示すブロック図である。

図１８に示されるように、本実施の形態のヘッドマウントディスプレイ１０Ａは、ヘッドマウントディスプレイ１０と類似の機能構成を有するが、ジェスチャ検知部１２１を備える点で異なる。その他の機能構成は同じであるので説明を省略する。

ジェスチャ検知部１２１は、ユーザによる操作空間におけるスワイプジェスチャ操作であって、一の方向を示すジェスチャ操作を検知する処理部である。ここで、スワイプジェスチャ操作とは、ユーザが手等を一の方向に払うように移動させる操作のことである。なお、スワイプジェスチャ操作のことを、単にジェスチャ操作ということもある。

具体的には、ジェスチャ検知部１２１は、カメラ１０８によりヘッドマウントディスプレイ１０Ａの前方の操作空間を撮影する。操作空間の撮影は、複数の静止画（フレーム）を生成するものであり、動画の撮影、又は、複数回の静止画の撮影によるものである。ここで、操作空間とは、ユーザがスワイプジェスチャ操作を行う空間のことであり、カメラ１０８が撮像可能な空間のうちの一部又は全部である。

そして、ジェスチャ検知部１２１は、撮影により取得したフレームから、人間の手の動きを検知し、手の動きを示す情報であるジェスチャ情報を生成する。カメラ１０８が可視光カメラである場合には、例えば、画像上の肌色部分を抽出することで、人間の手をその他の被写体と区別した上で、人間の手の動きを検知して、ジェスチャ情報を生成する。カメラ１０８が赤外線カメラである場合には、人間の手から放射される赤外線を検出することで人間の手の動きを検知して、ジェスチャ情報を生成する。なお、ジェスチャ操作は、手によるものに限られず、ユーザの身体の他の一部によるものであってもよい。ジェスチャ検知部１２１は、ＣＰＵ１０１、メインメモリ１０２、ストレージ１０３及びカメラ１０８等により実現される。

なお、ジェスチャ検知部１２１は、ユーザから見て上向き、下向き、左向き及び右向きの４方向だけのスワイプジェスチャ操作を検出するようにしてもよい。ユーザがスワイプジェスチャ操作により意図した向きと、現実にユーザが自身の手を払うように動かす方向とは、厳密には一致しないことが考えられる。例えば、ユーザが上向きのスワイプジェスチャ操作を行うことを意図しても、現実にユーザが手を動かす方向は正確に上向きにならず、上向きから少し右に傾いた方向になることがあると考えられる。上記４方向だけのスワイプジェスチャ操作を検出するようしておくことで、上記のような正確な上向きから少しずれた角度のスワイプジェスチャ操作を上向きと判定することができる。

なお、実施の形態１と同様に、制御部１１３は、表示部１１４の表示領域のうちの上方、下方、左方及び右方のそれぞれの方向に、４つの情報のうち当該方向に対応付けられた情報を示すアイコンを表示する。このアイコンは、どの方向にスワイプジェスチャ操作をすればどの情報が表示されるかをユーザに案内するためのアイコンである。

図１９は、本実施の形態における制御部１１３による表示の変更についての処理を示すフロー図である。図２０は、実施の形態２における制御部１１３による表示の維持及びその解除についての一連の流れを示す模式図である。これらの図を参照しながら、制御部１１３による表示の維持及びその解除についての一連の流れについて説明する。

まず、ヘッドマウントディスプレイ１０Ａの姿勢が正面を向く姿勢であり、表示部１１４に何も表示されていない状態であるとする。この状態は、図２０の（ａ）に相当する。

ステップＳ３０１において、ジェスチャ検知部１２１は、ユーザによるスワイプジェスチャ操作を検知するか否かを判定する。ジェスチャ検知部１２１がスワイプジェスチャ操作を検知した場合（ステップＳ３０１でＹｅｓ）には、ジェスチャ情報を生成した上でステップＳ３１１に進む。一方、スワイプジェスチャ操作を検知しない場合（ステップＳ３０１でＮｏ）には、ステップＳ３０２に進む。ステップＳ３０１は、図２０の（ｂ）に相当する。図２０の（ｂ）において、ユーザが手Ｕ２により上方から下方（下向き）のスワイプジェスチャ操作をしたことに基づいて、当該スワイプジェスチャ操作の始点である上方に対応する向きである上向きに対応付けられた天気予報の情報が表示部１１４に表示される。

ステップＳ３０２において、姿勢検知部１１１は、ヘッドマウントディスプレイ１０の姿勢の変化を検知するか否かを判定する。上記姿勢の変化を検知したら姿勢情報を生成した上でステップＳ３０３へ進む。

ステップＳ３０３において、制御部１１３は、ステップＳ３０２で姿勢検知部１１１が生成した姿勢情報に基づいて、表示部１１４が表示する情報を変更する。

ステップＳ３１１において、制御部１１３は、ステップＳ３０１でジェスチャ検知部１２１が生成したジェスチャ情報を取得し、当該ジェスチャ情報に基づいて、表示部１１４が表示する情報を変更する。

なお、表示部１１４に情報を表示するためのスワイプジェスチャ操作と反対向きを示すスワイプジェスチャ操作により、表示を消去する（表示することをやめる）こともできる（図２０の（ｃ））。

なお、ヘッドマウントディスプレイ１０Ａは、実施の形態１におけるヘッドマウントディスプレイ１０と組み合わせることも可能である。具体的には、ヘッドマウントディスプレイ１０Ａが、さらに、ボタン１０６及び操作検知部１１２を備えることで、ユーザによる所定の操作に基づいて表示を維持することができる。

以上のように、本実施の形態におけるヘッドマウントディスプレイは、ヘッドマウントディスプレイは、ユーザが所望する情報を適切にユーザに提示することができる。特に、ユーザは、ヘッドマウントディスプレイの姿勢を変化させる代わりにスワイプ操作によって表示情報を変化させることができる。そのため、例えば、ユーザは、正面を向いたままの状態でスワイプ操作によって必要な情報を表示させることで、本来ヘッドマウントディスプレイの姿勢を変化させることで表示される情報を表示させ、把握することできる。このように、ユーザは、直感的、且つ人前でも違和感の無い自然な動作による情報収集と、把握に比較的長い時間を要する情報の内容把握を両立させることができる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のヘッドマウントディスプレイなどを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、ユーザの頭部に装着されるヘッドマウントディスプレイの制御方法であって、前記ヘッドマウントディスプレイは、情報を表示する表示部を備え、前記制御方法は、前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知ステップと、前記ヘッドマウントディスプレイへの所定の操作を検知する操作検知ステップと、前記姿勢検知ステップで検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御ステップとを含み、前記制御ステップでは、さらに、前記操作検知ステップが前記所定の操作を検知した場合には、前記姿勢検知ステップで検知した姿勢に変化があっても、前記表示部が表示している情報を変更せずに維持する制御方法を実行させる。

また、このプログラムは、コンピュータに、ユーザの頭部に装着されるヘッドマウントディスプレイの制御方法であって、前記ヘッドマウントディスプレイは、情報を表示する表示部を備え、前記制御方法は、前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知ステップと、操作空間におけるスワイプジェスチャ操作であって、一の方向を示すスワイプジェスチャ操作を検知するジェスチャ検知ステップと、前記姿勢検知ステップで検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御ステップとを含み、前記制御ステップでは、さらに、前記ジェスチャ検知ステップで検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する制御方法を実行させる。

以上、一つまたは複数の態様に係るヘッドマウントディスプレイなどについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、ユーザが所望する情報を適切にユーザに提示するヘッドマウントディスプレイに利用可能である。

１０、１０Ａ ヘッドマウントディスプレイ
１１、１１Ａ 本体部
１２ 鼻あて部
１３ つる
１４ 耳かけ部
１０１ ＣＰＵ
１０２ メインメモリ
１０３ ストレージ
１０４ 通信ＩＦ
１０５ 加速度センサ
１０６ ボタン
１０７ ディスプレイ
１０８ カメラ
１１１ 姿勢検知部
１１２ 操作検知部
１１３ 制御部
１１４ 表示部
１１５ 判定部
１２１ ジェスチャ検知部
７０１ 視界
７１１、７１２、７１３、７１４ アイコン
８０１、９０１、１３０１、１４０１、１５０１ 画像
８０２、９０２ 枠
Ｕ１ 指
Ｕ２ 手

Claims (21)

1. ユーザの頭部に装着されるヘッドマウントディスプレイであって、
   前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知部と、
   前記ヘッドマウントディスプレイへの所定の操作を検知する操作検知部と、
   情報を表示する表示部と、
   前記姿勢検知部が検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御部とを備え、
   前記制御部は、さらに、
   前記操作検知部が前記所定の操作を検知した場合には、前記姿勢検知部が検知した姿勢に変化があっても、前記表示部が表示している情報を変更せずに維持する
   ヘッドマウントディスプレイ。
2. 前記制御部は、
   前記操作検知部が前記所定の操作を検知した場合であって、前記姿勢検知部が検知した姿勢に変化がある場合には、前記表示部が表示する情報を変更せずに維持するとともに、前記情報の表示態様を変化させる
   請求項１に記載のヘッドマウントディスプレイ。
3. 前記表示部は、前記情報を表示する際には、前記情報とともに前記情報の背景として図形を表示し、
   前記制御部は、
   前記図形の色を変化させることで、前記情報の表示態様を変化させる
   請求項２に記載のヘッドマウントディスプレイ。
4. 前記表示部は、前記情報を表示する際には、前記情報とともに前記情報を囲む枠を表示し、
   前記制御部は、
   前記枠の太さ又は色を変化させることで、前記情報の表示態様を変化させる
   請求項２又は３に記載のヘッドマウントディスプレイ。
5. 前記ヘッドマウントディスプレイは、さらに、
   前記表示部が表示する情報の情報量が所定より大きいか否かを判定する第一判定部を備え、
   前記制御部は、
   前記情報量が所定より大きいと判定された場合に限り、前記操作検知部が前記所定の操作を検知したときに、前記姿勢検知部が検知した姿勢に変化があっても、前記表示部が表示する情報を変更せずに維持する
   請求項１〜４のいずれか１項に記載のヘッドマウントディスプレイ。
6. 前記ヘッドマウントディスプレイは、さらに、
   前記表示部が表示する情報の情報量が所定より小さいか否かを判定する第二判定部を備え、
   前記制御部は、
   前記情報量が所定より小さいと判定された場合には、前記操作検知部が前記所定の操作を検知しても、前記姿勢検知部が検知した姿勢の変化に応じて、前記表示部が表示する情報を変更する
   請求項１〜５のいずれか１項に記載のヘッドマウントディスプレイ。
7. 前記制御部は、
   前記操作検知部が前記所定の操作を検知した後に、さらに前記所定の操作と同一の後続操作を検知した場合には、前記操作検知部が前記後続操作を検知した時に前記姿勢検知部が検知した姿勢に基づいて、前記表示部に表示する情報を変更する
   請求項１〜６のいずれか１項に記載のヘッドマウントディスプレイ。
8. 前記制御部は、
   前記操作検知部が前記所定の操作を検知した後に、さらに前記所定の操作と同一の後続操作を検知した場合には、前記表示部による情報の表示を停止する
   請求項１〜６のいずれか１項に記載のヘッドマウントディスプレイ。
9. 前記操作検知部は、
   操作ボタンを有し、
   前記操作ボタンの押下、又は、前記操作ボタンへの接触を、前記所定の操作として検知する
   請求項１〜８のいずれか１項に記載のヘッドマウントディスプレイ。
10. 前記操作検知部は、
    タッチパッドを有し、
    前記タッチパッドへのタップを、前記所定の操作として検知する
    請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイ。
11. 前記操作検知部は、
    マイク、及び、前記マイクが収音した音声を音声認識することでユーザによる発話を取得する音声認識装置を有し、
    前記音声認識装置により、所定の発話を取得したことを、前記所定の操作として検知する
    請求項１〜１０のいずれか１項に記載のヘッドマウントディスプレイ。
12. 前記姿勢検知部は、さらに、
    前記姿勢が、前記ユーザにとっての上方、下方、左方及び右方のどの方向に基準姿勢から変化した姿勢であるかを示す姿勢情報を生成し、
    前記制御部は、さらに、
    （ｉ）前記表示部が表示するための情報として、上方、下方、左方及び右方のそれぞれの方向に対応付けられた４つの情報を保有しており、
    （ｉｉ）前記表示部の表示領域のうちの上方、下方、左方及び右方のそれぞれの方向に、前記４つの情報のうち当該方向に対応付けられた情報を示すアイコンを表示し、
    （ｉｉｉ）前記姿勢検知部が前記姿勢情報を生成した場合に、生成された前記姿勢情報により示される方向に対応付けられた情報を前記表示部に表示する
    請求項１〜１１のいずれか１項に記載のヘッドマウントディスプレイ。
13. 前記ヘッドマウントディスプレイは、さらに、
    操作空間におけるスワイプジェスチャ操作であって、一の方向を示すスワイプジェスチャ操作を検知するジェスチャ検知部を備え、
    前記制御部は、さらに、
    前記ジェスチャ検知部が検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する
    請求項１〜１２のいずれか１項に記載のヘッドマウントディスプレイ。
14. ユーザの頭部に装着されるヘッドマウントディスプレイであって、
    前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知部と、
    操作空間におけるスワイプジェスチャ操作であって、一の方向を示すスワイプジェスチャ操作を検知するジェスチャ検知部と、
    情報を表示する表示部と、
    前記姿勢検知部が検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御部とを備え、
    前記制御部は、さらに、
    前記ジェスチャ検知部が検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する
    ヘッドマウントディスプレイ。
15. 前記ジェスチャ検知部は、
    （ａ）前記ユーザの手が上方から下方へ移動したことを、下方向を示すスワイプジェスチャ操作として検出し、
    （ｂ）前記ユーザの手が下方から上方へ移動したことを、上方向を示すスワイプジェスチャ操作として検出し、
    （ｃ）前記ユーザの手が左方から右方へ移動したことを、右方向を示すスワイプジェスチャ操作として検出し、
    （ｄ）前記ユーザの手が右方から左方へ移動したことを、左方向を示すスワイプジェスチャ操作として検出し、
    前記制御部は、
    前記ジェスチャ検知部が検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する
    請求項１３〜１４のいずれか１項に記載のヘッドマウントディスプレイ。
16. 前記姿勢検知部は、さらに、
    前記制御部は、さらに、
    （ｉ）前記表示部が表示するための情報として、上方、下方、左方及び右方のそれぞれの方向に対応付けられた４つの情報を保有しており、
    （ｉｉ）前記表示部の表示領域のうちの上方、下方、左方及び右方のそれぞれの方向に、前記４つの情報のうち当該方向に対応付けられた情報を示すアイコンを表示し、
    （ｉｉｉ）前記ジェスチャ検知部が前記スワイプジェスチャ操作を検知した場合に、前記スワイプジェスチャ操作の始点となる方向に対応付けられた情報を前記表示部に表示する
    請求項１４に記載のヘッドマウントディスプレイ。
17. 前記ジェスチャ検知部は、前記ユーザの手を可視光により撮影するカメラを有し、
    前記カメラにより撮影された前記ユーザの手の動きに基づいて前記スワイプジェスチャ操作を検知する
    請求項１３〜１６のいずれか１項に記載のヘッドマウントディスプレイ。
18. 前記ジェスチャ検知部は、前記ユーザの手から発せられる赤外線を取得する赤外線センサを有し、
    前記赤外線センサにより取得された前記ユーザの手の動きに基づいて前記スワイプジェスチャ操作を検知する
    請求項１３〜１６のいずれか１項に記載のヘッドマウントディスプレイ。
19. 前記ヘッドマウントディスプレイは、さらに、
    前記ヘッドマウントディスプレイへの所定の操作を検知する操作検知部を備え、
    前記操作検知部がユーザによる前記所定の操作を検知した場合には、前記姿勢検知部が検知した姿勢に変化があっても、前記表示部が表示する情報を変更せずに維持する
    請求項１４に記載のヘッドマウントディスプレイ。
20. ユーザの頭部に装着されるヘッドマウントディスプレイの制御方法であって、
    前記ヘッドマウントディスプレイは、情報を表示する表示部を備え、
    前記制御方法は、
    前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知ステップと、
    前記ヘッドマウントディスプレイへの所定の操作を検知する操作検知ステップと、
    前記姿勢検知ステップで検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御ステップとを含み、
    前記制御ステップでは、さらに、
    前記操作検知ステップが前記所定の操作を検知した場合には、前記姿勢検知ステップで検知した姿勢に変化があっても、前記表示部が表示している情報を変更せずに維持する
    制御方法。
21. ユーザの頭部に装着されるヘッドマウントディスプレイの制御方法であって、
    前記ヘッドマウントディスプレイは、情報を表示する表示部を備え、
    前記制御方法は、
    前記ヘッドマウントディスプレイの姿勢を検知する姿勢検知ステップと、
    操作空間におけるスワイプジェスチャ操作であって、一の方向を示すスワイプジェスチャ操作を検知するジェスチャ検知ステップと、
    前記姿勢検知ステップで検知した姿勢の変化に応じて前記表示部が表示する情報を変更する制御ステップとを含み、
    前記制御ステップでは、さらに、
    前記ジェスチャ検知ステップで検知した前記スワイプジェスチャ操作により示される方向に応じて前記表示部が表示する情報を変更する
    制御方法。

Images