JP2023065837A - 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】実空間の物体等が使用者に危険をもたらす可能性について、適切に使用者に注意を促す。
【解決手段】外景を透過する表示部２０と、使用者Ｕの視線方向を検出する視線検出部と、第１対象物の危険度を算出し、視線方向を基に第１対象物の危険度を補正することによって第１対象物の注意レベルを判定し、及び第２対象物の危険度を算出し、視線方向を基に第２対象物の危険度を補正することによって第２対象物の注意レベルを判定する処理を行う判定部と、第１対象物の注意レベルが、第２対象物の注意レベルよりも高い場合に、第１対象物に関する第１画像を表示部２０に表示させる表示制御部と、を備える、ＨＭＤ１００。
【選択図】図１

Description

本発明は、頭部装着型表示装置、及び、頭部装着型表示装置の制御方法に関する。

従来、頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を装着している使用者に対し、危険を報知する技術が提案された。特許文献１は、外景において移動している移動物体を特定し、移動物体が使用者に近づく速度に基づいて、表示画像の表示態様を設定する構成を開示する。

特開２０１７－１１７１７５号公報

特許文献１に開示された構成では、低速で移動する物体や、静止している物体について、使用者に報知することが難しい。このため、実空間の物体等が使用者に危険をもたらす可能性について、より適切に、使用者に注意を促すことが望まれていた。

本開示の一態様は、第１対象物と第２対象物とが含まれる外景を透過する表示部と、使用者の視線方向を検出する視線検出部と、前記第１対象物が前記使用者に到達するまでにかかる第１時間と前記第２対象物が前記使用者に到達するまでにかかる第２時間とを算出する時間算出部と、前記第１対象物に関する第１情報と前記第２対象物に関する第２情報とを取得し、前記第１情報と前記第１時間とを基に前記第１対象物の危険度を算出し、前記視線方向を基に前記第１対象物の危険度を補正し、補正された前記第１対象物の危険度を基に前記第１対象物の注意レベルを判定し、前記第２情報と前記第２時間とを基に前記第２対象物の危険度を算出し、前記視線方向を基に前記第２対象物の危険度を補正し、補正された前記第２対象物の危険度を基に前記第２対象物の注意レベルを判定する判定部と、前記第１対象物の前記注意レベルが、前記第２対象物の前記注意レベルよりも高い場合に、前記第１対象物に関する第１画像を前記表示部に表示させる表示制御部と、を備える、頭部装着型表示装置である。

本開示の別の一態様は、第１対象物と第２対象物とが含まれる外景を透過する表示部と、使用者の視線方向を検出する視線検出部と、を備える頭部装着型表示装置の制御方法であって、前記第１対象物に関する第１情報と、前記第２対象物に関する第２情報と、を取得し、前記第１対象物が前記使用者に到達するまでにかかる第１時間と、前記第２対象物が前記使用者に到達するまでにかかる第２時間と、を算出し、前記第１情報と前記第１時間とを基に前記第１対象物の危険度を算出し、前記視線方向を基に前記第１対象物の危険度を補正し、補正された前記第１対象物の危険度を基に前記第１対象物の注意レベルを判定し、前記第２情報と前記第２時間とを基に前記第２対象物の危険度を算出し、前記視線方向を基に前記第２対象物の危険度を補正し、補正された前記第１対象物の危険度を基に前記第２対象物の注意レベルを判定し、前記第１対象物の前記注意レベルが、前記第２対象物の前記注意レベルよりも高い場合に、前記第１対象物に関する第１画像を前記表示部に表示させる、頭部装着型表示装置の制御方法である。

ＨＭＤの構成を示す図。 ＨＭＤの外観図。 ＨＭＤのブロック図。 制御部の機能ブロック図。 使用者の視線方向を検出する様子を示す模式図。 ＨＭＤによる表示例を示す図。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 ＨＭＤの動作を示すフローチャート。 表示の遷移の例を示す説明図。

［１．ＨＭＤの全体構成］
図１は、ＨＭＤ１００の構成を示す図である。図２はＨＭＤ１００の外観図であり、使用者Ｕの顔に対向する側の斜視図である。

ＨＭＤ１００は、使用者Ｕが頭部に装着する頭部装着型表示装置である。ＨＭＤは、Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙの略である。

ＨＭＤ１００は、使用者が虚像を視認すると同時に外景を直接視認可能な、光学透過型の表示装置である。ここで、外景は、ＨＭＤ１００を装着する使用者Ｕの外部の景色であり、使用者Ｕが表示部２０を装着していない状態でも肉眼により視認可能な、実空間の光景を指す。使用者Ｕは、ＨＭＤ１００のユーザーであり、操作者ということもできる。

ＨＭＤ１００は、使用者Ｕが頭部に装着する表示部２０、及び、表示部２０を制御するコントローラー１０を備える。表示部２０は、使用者Ｕの頭部に装着された状態で使用者に虚像を視認させる。コントローラー１０は、使用者ＵがＨＭＤ１００を操作するための制御装置として機能する。

以下の説明では、表示部２０が使用者Ｕに視認させる虚像を、便宜的に、表示画像と呼ぶ。ＨＭＤ１００が、画像データに基づく画像光を表示部２０から射出することを、画像を表示すると表現する。画像とは、静止画像に限らず、動画像あるいは映像を含む。この構成は一例であり、たとえば、ＨＭＤ１００が、光学的に不透過であってもよい。この場合、ＨＭＤ１００は、例えば、いわゆるビデオシースルー型の表示装置であってもよい。具体的には、ＨＭＤ１００は、透光性を有しない表示部２０を備え、後述する外側カメラ６１の撮影画像を表示部２０に表示することによって、使用者Ｕに間接的に外景を視認させる構成であってもよい。

コントローラー１０は、箱形の本体１１を有する。本体１１は、使用者Ｕの操作を受け付ける操作子として、各種のスイッチ等を備える。表示部２０は、本実施形態では眼鏡形状を有する。表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とで構成される本体を有する。表示部２０の本体には、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８が設けられる。

右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、使用者Ｕの頭部に表示部２０を保持する。前部フレーム２７の両端部のうち表示部２０の装着時に使用者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。

右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。表示部２０の装着状態において、右導光板２６は使用者Ｕの右眼の前に位置する。左導光板２８は使用者Ｕの左眼の前に位置する。

右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールである。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。右表示ユニット２２及び左表示ユニット２４は、画像データに基づく画像光を出射する。

右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を使用者Ｕの右眼に向けて導く。左導光板２８は、左表示ユニット２４が出力する画像光を使用者の左眼に導く。これにより、使用者Ｕの両眼に画像光が入射し、使用者Ｕが画像を視認できる。

使用者Ｕの右眼には、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。使用者Ｕの左眼には、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。つまり、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Ｕの眼に入射させる。使用者Ｕには、右導光板２６及び左導光板２８を透かして外景が見える。さらに、使用者Ｕは、外景に重ねて、画像光による画像を見ることができる。

右導光板２６及び左導光板２８の表面に、使用者Ｕの右眼及び左眼に入射する外光を減衰させるシェードを設けてもよい。このシェードは、電気的に光の透過率を調整可能な電子シェードであってもよい。

前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、表示部２０を装着する使用者Ｕの前方からの外光を受光する。
前部フレーム２７には、外側カメラ６１が配置される。図１の例では、外側カメラ６１が前部フレーム２７の端部ＥＲ側にある。外側カメラ６１は、使用者Ｕの正面を含む撮影範囲を撮影するデジタルカメラである。外側カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。外側カメラ６１の位置は図１の例に制限されない。外側カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。外側カメラ６１は、撮影部の一例に対応する。

外側カメラ６１は、ＣＣＤやＣＭＯＳ等の撮影素子及び撮影レンズ等を備えるデジタルカメラである。本実施形態の外側カメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。外側カメラ６１は、後述する制御部１２０の制御に従って撮影を実行し、撮影画像データを制御部１２０に出力する。外側カメラ６１は撮影レンズを有する。外側カメラ６１の撮影レンズは、いわゆる広角レンズであってもよい。この広角レンズは、超広角レンズ、準広角レンズと呼ばれるレンズであってもよい。外側カメラ６１の撮影レンズは、単焦点レンズであってもよいし、ズームレンズであってもよいし、複数のレンズからなるレンズ群であってもよい。ＣＣＤはＣｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略である。ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。

前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいて外側カメラ６１の近傍に配置され、外側カメラ６１の動作中に点灯して、撮影中であることを報知する。ＬＥＤはＬｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。

前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、表示部２０から、使用者Ｕの前方に位置する測定対象物までの距離を検出する。測定対象物は、実空間に位置する現実の物体や構造物である。距離センサー６４は、例えば、光反射式距離センサーであってもよい。具体的には、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有するセンサーが挙げられる。また、距離センサー６４は、超音波式の距離センサーであってもよい。すなわち、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成であってもよい。また、距離センサー６４は、測域センサーとも呼ばれるレーザーレンジスキャナーであってもよい。

後述するように、ＨＭＤ１００は、制御部１２０によって、外側カメラ６１、及び、距離センサー６４の少なくともいずれかを利用してＳＬＡＭ処理を実行する。制御部１２０は、表示部２０を装着している使用者Ｕの周辺の物体の環境マップを作成し、環境マップにおける使用者Ｕの自己位置を特定する。距離センサー６４はＳＬＡＭ処理を行うためのセンサーであり、具体的には、ＬＩＤＡＲシステムを構成するセンサーであってもよい。距離センサー６４は、測定対象物と表示部２０との間の距離を検出するセンサーに限定されず、例えば、レーザーレンジスキャナーであってもよい。ＳＬＡＭはＳｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇの略である。ＬＩＤＡＲはＬｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇの略である。プロセッサー１２５が外側カメラ６１のみを利用してＳＬＡＭを実行可能な場合、ＨＭＤ１００は距離センサー６４を備えていない構成であってもよい。

ＨＭＤ１００は、距離センサー６４とともに、或いは、距離センサー６４に代えて、使用者Ｕの周囲のガス成分を検出するガスセンサー、或いは、その他の環境センサーを備えてもよい。

また、前部フレーム２７には、図示はしないが、サーモカメラ６６が設けられる。サーモカメラ６６は、赤外光を撮影するカメラであり、赤外線画像の画像データを出力する。サーモカメラ６６が撮影する赤外線画像は、サーモカメラ６６の撮影範囲内における温度分布を示す。サーモカメラ６６の撮影範囲は外側カメラ６１の撮影範囲と重なる。

コントローラー１０と表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備える。オーディオコネクター４６には、ヘッドセット３０が接続される。ヘッドセット３０は、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有する。

右イヤホン３２は、使用者Ｕの右耳に装着される。左イヤホン３４は、使用者Ｕの左耳に装着される。右イヤホン３２及び左イヤホン３４は、インナーイヤー型のイヤホン、或いは、カナル型のイヤホンである。右イヤホン３２及び左イヤホン３４は、イヤーマフを介して耳介に接触するオーバーヘッド型のヘッドホンであってもよい。右イヤホン３２及び左イヤホン３４は、後述する音声インターフェイス１８１が出力する音声信号に基づき音声を出力する。

マイク６３は、音声を集音して、音声信号を、音声インターフェイス１８１に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよい。マイク６３は、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。

コントローラー１０は、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらは使用者Ｕにより操作される被操作部ということができる。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、使用者Ｕの手指により操作される。

本体１１にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は、ＨＭＤ１００の動作状態を示すＬＥＤインジケーターである。ＬＥＤ表示部１７は、光を透過可能な透過部によりカバーされる。ＬＥＤ表示部１７のカバーは、本体１１の表面の一部を構成する。ＬＥＤ表示部１７が発光すると、この光が透過部を透過する。これにより、透過部に形成された文字、記号、模様等が視認可能となる。ＬＥＤ表示部１７には、使用者Ｕの手指の接触を検出するタッチセンサーが、透過部に重ねて配置される。ＬＥＤ表示部１７とタッチセンサーとの組合せはソフトウェアキーとして機能する。

電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。
本体１１は、コントローラー１０を、外部の装置に接続するインターフェイスとして、ＵＳＢコネクター１９を備える。ＵＳＢはＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。

前部フレーム２７には、使用者Ｕが表示部２０を装着した状態で使用者Ｕの顔を向く内側カメラ６８が設けられる。本実施形態のＨＭＤ１００は、一対の内側カメラ６８を備える。詳細には、使用者Ｕの右眼を向く内側カメラ６８、及び、使用者Ｕの左眼を向く内側カメラ６８を備える。内側カメラ６８は、赤外光や可視光により、使用者Ｕの右眼および左眼をそれぞれ撮影する。制御部１２０は、内側カメラ６８の撮影画像により、使用者Ｕの右眼の視線、及び、左眼の視線の方向を特定できる。また、ＨＭＤ１００は、内側カメラ６８の撮影画像を解析することにより、右眼及び左眼の瞳孔のサイズを検出することができる。ＨＭＤ１００は、瞳孔のサイズの変化をもとに、使用者Ｕの瞳孔の縮瞳または散瞳の状態を特定してもよい。また、ＨＭＤ１００は、内側カメラ６８の撮影画像をもとに、右眼及び左眼のまぶたの開閉状態を検出してもよい。

図３は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プロセッサー１２５を備える。プロセッサー１２５は、ＣＰＵやＭＰＵ等で構成される。プロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メモリー１１８は、例えばＲＡＭであり、データやプログラムを一時的に記憶するワークエリアを形成する。不揮発性記憶部１２１は、磁気的記憶装置、フラッシュＲＯＭ等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。不揮発性記憶部１２１は、プロセッサー１２５が実行するプログラムや、プロセッサー１２５によって処理されるデータを不揮発的に記憶する。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略であり、ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略であり、ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。

プロセッサー１２５には、入力装置として操作部１７０が接続される。プロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ受信部１１５が接続される。

プロセッサー１２５には、通信部１１７、音声インターフェイス１８１、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、及び、ＦＰＧＡ１９４が接続される。これらのコンポーネントは外部とのインターフェイスとして機能する。以下の説明および図において、インターフェイスをＩ／Ｆと略する。ＦＰＧＡはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。

コントローラー１０は、制御基板を備える。この制御基板には、プロセッサー１２５が実装される。制御基板に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ受信部１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。制御基板に、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、ＦＰＧＡ１９４、及びインターフェイス１９７が実装されてもよい。さらに、制御基板に、コネクター４２、及びＵＳＢコネクター１９が実装されてもよい。

メモリー１１８は、プロセッサー１２５が実行するプログラム、及び、プロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリー等の半導体メモリーデバイスで構成される。不揮発性記憶部１２１は、プロセッサー１２５が実行するプログラムや、プロセッサー１２５が処理するデータを記憶する。

操作部１７０は、ＬＥＤ表示部１７に配置されたタッチセンサー、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、及び電源スイッチ１８に対する操作を検出する。操作部１７０は、操作に対応する操作信号をプロセッサー１２５に出力する。操作部１７０は、プロセッサー１２５の制御に従って、ＬＥＤ表示部１７を点灯、点滅、消灯させる。

６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサーの一例である。モーションセンサーは、慣性センサーや動きセンサーと言い換えることもできる。６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える。磁気センサー１１３は、例えば、３軸の地磁気センサーである。６軸センサー１１１は、加速度センサーとジャイロセンサーがモジュール化されたＩＭＵであってもよい。ＩＭＵは、Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔの略である。また、６軸センサー１１１と磁気センサー１１３がモジュール化された構成であってもよい。

ＧＰＳ受信部１１５は、不図示のＧＰＳアンテナによってＧＰＳ信号を受信する。ＧＰＳ受信部１１５は、ＧＰＳ信号に基づき、コントローラー１０の現在位置の座標を検出または算出する。ＧＰＳは、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍの略である。

６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５は、予め指定されたサンプリング周期に従ってプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ受信部１１５は、プロセッサー１２５の要求に応じて、検出値をプロセッサー１２５に出力してもよい。

通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、不図示のアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備える。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉを含む無線ＬＡＮ等の規格に準拠した無線通信を行う。ＲＦはＲａｄｉｏ Ｆｒｅｑｕｅｎｃｙの略である。Ｂｌｕｅｔｏｏｔｈは登録商標である。Ｗｉ－Ｆｉは登録商標である。

音声インターフェイス１８１は、オーディオコネクター４６を介して右イヤホン３２、左イヤホン３４、及びマイク６３に接続される。音声インターフェイス１８１は、プロセッサー１２５の制御に従って、右イヤホン３２及び左イヤホン３４のそれぞれに音声信号を出力し、音声を出力させる。音声インターフェイス１８１は、マイク６３から入力される音声信号をプロセッサー１２５に出力する。音声インターフェイス１８１は、アナログ音声信号とデジタル音声データとを変換するコンバーターを備えてもよい。この場合、音声インターフェイス１８１とプロセッサー１２５との間でデジタル音声データが入出力される。

ＨＭＤ１００は、ステレオ音声を処理可能である。具体的には、音声インターフェイス１８１により、使用者Ｕの右耳と左耳のそれぞれに対応するチャンネルを含む２チャンネルのステレオ音声を、右イヤホン３２及び左イヤホン３４により出力させることができる。

外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。

インターフェイス１９７は、センサーハブ１９３及びＦＰＧＡ１９４を、表示部２０に接続する。
センサーハブ１９３は、表示部２０が備える各種センサーの検出値を取得してプロセッサー１２５に出力する。ＦＰＧＡ１９４は、プロセッサー１２５と表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９７を介した伝送を実行する。

表示部２０は、上述したように眼鏡形状であり、右保持部２１及び左保持部２３は眼鏡のテンプルに類似する部材である。右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７に対して回動可能である。例えば、右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７に対しヒンジ構造により連結される。使用者Ｕが表示部２０を装着した状態で、右保持部２１及び左保持部２３は、使用者Ｕの頭部の大きさに合わせた角度で開く。

コントローラー１０には、接続ケーブル４０、及び、不図示の表示部２０内部の配線により、右表示ユニット２２及び左表示ユニット２４がそれぞれ接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。ＯＬＥＤは、Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅの略である。

ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光する自発光型の表示パネルである。ＯＬＥＤパネルは、例えば、赤、緑、青の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される。駆動回路は、プロセッサー１２５の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１が画像光を形成し、この画像光が、右導光板２６及び左導光板２８を経由して、使用者Ｕの右眼及び左眼に入射する。

右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス２１１、受信部２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、インターフェイス１９７に接続される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、外側カメラ６１、照度センサー６５、および、ＬＥＤインジケーター６７を、コントローラー１０に接続する。受信部２１３は、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する。図では、受信部２１３をＲｘと略する。

ＥＥＰＲＯＭ２１５は、データを記憶する。ＥＥＰＲＯＭ２１５は、例えば、ＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。ＥＥＰＲＯＭ２１５が記憶するデータはプロセッサー１２５により読み取り可能である。ＥＥＰＲＯＭは、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭの略である。

インターフェイス２１１には、外側カメラ６１から、撮影画像データ、或いは、外側カメラ６１の撮影結果を示す信号が入力される。インターフェイス２１１には、距離センサー６４から、距離センサー６４の検出範囲に位置する対象物までの距離を測定した測定結果が入力される。インターフェイス２１１には、照度センサー６５から、受光量、及び／または受光強度に対応する検出値が入力される。インターフェイス２１１には、サーモカメラ６６から、赤外線画像の画像データが入力される。

ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯および消灯する。内側カメラ６８は、撮影を実行し、撮影画像データ、或いは、撮影結果を示す信号をインターフェイス２１１に出力する。受信部２１３は、インターフェイス２１１を介してプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１を介して受信した画像データを、ＯＬＥＤユニット２２１に出力する。

左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス２３１及び受信部２３３が実装される。表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、及び、磁気センサー２３７を、コントローラー１０に接続する。受信部２３３はインターフェイス２３１を介してコントローラー１０から入力されるデータを受信する。

６軸センサー２３５は、表示部２０の動きを検出するモーションセンサーの一例である。６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵであってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５及び磁気センサー２３７は、検出値または検出データをインターフェイス２３１に出力する。これらの検出値または検出データはインターフェイス２３１を介してプロセッサー１２５に出力される。

外側カメラ６１、距離センサー６４、照度センサー６５、サーモカメラ６６、内側カメラ６８、６軸センサー２３５、及び、磁気センサー２３７は、コントローラー１０のセンサーハブ１９３に接続される。これらの各センサーには、センサーハブ１９３から制御信号が入力される。また、ＬＥＤインジケーター６７はセンサーハブ１９３に接続される。

センサーハブ１９３は、プロセッサー１２５の制御に従って、各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をプロセッサー１２５に出力する。センサーハブ１９３は、プロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、外側カメラ６１が撮影を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。

［２．ＨＭＤの制御部の構成］
図４は、ＨＭＤ１００の制御部１２０の機能ブロック図である。制御部１２０は、メモリー１１８、不揮発性記憶部１２１、及び、プロセッサー１２５を含む。制御部１２０は、ＥＥＰＲＯＭ２１５を含んでもよい。

不揮発性記憶部１２１は、制御プログラム１５１を記憶する。制御プログラム１５１は、プロセッサー１２５が実行するプログラムである。不揮発性記憶部１２１は、設定値記憶部１５２、閾値記憶部１５３、認識データ記憶部１５４、及び、危険度データベース１５５を有する。以下の説明及び図ではデータベースをＤＢと省略して記載する。設定値記憶部１５２、閾値記憶部１５３、認識データ記憶部１５４、及び、損害ＤＢ１５５は、不揮発性記憶部１２１の記憶領域に設けられる論理的な、或いは仮想的な記憶部である。

設定値記憶部１５２は、ＨＭＤ１００の動作に係る各種の設定値を記憶する。設定値記憶部１５２は、プロセッサー１２５がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ等を用いる場合、これらを記憶する。ＬＵＴはＬｏｏｋＵｐ Ｔａｂｌｅの略である。

閾値記憶部１５３は、プロセッサー１２５の処理において使用する閾値を記憶する。例えば、閾値記憶部１５３は、後述する距離閾値、時間閾値、表示閾値、及び、逸脱時間閾値を記憶する。逸脱時間閾値は、例えば、図９を参照して後述するように、損害情報の値に対応して複数記憶される。閾値記憶部１５３が記憶する閾値は、操作部１７０に対する操作により入力されてもよいし、ＨＭＤ１００の製造工程において閾値記憶部１５３に書き込まれてもよい。また、プロセッサー１２５が制御プログラム１５１を実行することによって、動的に閾値を精製し、閾値記憶部１５３に記憶してもよい。また、閾値記憶部１５３は、プロセッサー１２５によって選択される複数の閾値の候補を記憶してもよい。

認識データ記憶部１５４は、プロセッサー１２５が外側カメラ６１の撮影画像から対象物を認識するためのデータを記憶する。対象物は、移動可能な移動物、建物や道路に固定された設備、道路の路面や床面それ自体の形状を含む。移動物は、例えば、電車、自動車、自動二輪車等の移動体を含む。また、移動物は、家具、家電製品、工具、日用品であり、その他の移動物を含み、動物や使用者Ｕ以外の人間を含む。設備は、壁、手すり、及び、これらに取り付けられた棚や装飾品等の設置物を含む。道路の路面や床面それ自体の形状とは、階段、スロープ、排水溝、排水口、マンホール等の人工的な構造物を含む。また、道路の路面や床面それ自体の形状とは、路面の凹凸、水たまり、ひび割れ、陥没等の自然発生的な形状を含んでもよい。

プロセッサー１２５は、後述するように、外側カメラ６１の撮影画像から対象物の画像を切り出す処理を行う。この処理において、プロセッサー１２５は、対象物の画像をパターンマッチングにより検出する処理、画像解析のアルゴリズムを利用して対象物を検出する処理、ＳＬＡＭ処理によって撮影画像に含まれる対象物を検出する処理等を実行する。これらの処理で必要なデータが、認識データ記憶部１５４に記憶される。

損害ＤＢ１５５は、プロセッサー１２５が認識する対象物による損害に関する損害情報を含むデータベースである。対象物による損害とは、対象物によって使用者Ｕが受ける可能性のある損害をいう。これは、対象物によって生じる使用者Ｕの損害と言い換えることができる。

対象物によって使用者Ｕが受ける可能性のある損害とは、使用者Ｕが対象物に接触または遭遇した場合に、使用者Ｕの身体に生じる怪我等の害をいう。例えば、使用者Ｕの墜落・転落、使用者Ｕの転倒、使用者Ｕの対象物への激突、対象物の飛来・落下、対象物の崩壊・倒壊、対象物の使用者Ｕへの激突が挙げられる。このほか、使用者Ｕの身体が対象物に挟まれる、使用者Ｕの身体が対象物により切られる、使用者Ｕが溺れる、使用者Ｕと高温または低温の対象物との接触、放射線による被曝、有害光線による障害、ガス中毒、酸素欠乏症、感電、交通事故等が挙げられる。

損害ＤＢ１５５は、対象物の種類や名称に対応付けて、対象物によって使用者Ｕが受ける可能性のある損害の程度を示す損害情報を記憶する。例えば、損害ＤＢ１５５が記憶する損害情報は、対象物によって使用者Ｕが受ける可能性のある損害の発生確率と、対象物によって使用者Ｕが受ける可能性のある損害の重篤度とを総合した指標である。損害情報は、数値であってもよい。具体的には、損害情報は、損害の程度を数値化した指標であってもよい。損害情報は、損害の程度を段階的に示す数値であってもよい。この場合、損害情報は、損害レベルと言い換えることもできる。

損害の発生確率は、対象物の種類と損害の種類との組合せ毎に、統計的な指標をもとに定められる。損害の重篤度は、上記の損害が生じた場合に使用者Ｕが受ける被害の重篤度である。重篤度は、例えば、使用者Ｕの身体に発生し得る怪我の大きさ、治療期間の指標、後遺症の有無等に基づき、予め決定される。１つの対象物が、複数種類の損害に関係する可能性がある場合、損害ＤＢ１５５は、対象物に関係する全ての損害の発生確率と重篤度とを加味した損害情報を記憶する。損害ＤＢ１５５が記憶する損害情報は、第１情報、及び、第２情報の一例に対応する。すなわち、距離検出部１７３が検出した第１対象物に対応する損害情報は第１情報の一例に対応し、第２対象物に対応する損害情報は第２情報の一例に対応する。

制御部１２０は、基本制御部１７１、表示制御部１７２、距離検出部１７３、温度検出部１７４、時間算出部１７５、視線検出部１７６、判定部１７７、動作検出部１７８、及び、入力検出部１７９を備える。これらの各機能部は、プロセッサー１２５が制御プログラム１５１を実行することによって、ソフトウェアとハードウェアとの協働により構成される。

基本制御部１７１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１７１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化する。基本制御部１７１は、コントローラー１０の電源をオフにする場合に、シャットダウン処理を実行し、ＨＭＤ１００を停止させる。

表示制御部１７２は、表示部２０を制御して、使用者Ｕに視認されるように、画像や文字を含む各種画面を表示させる。

距離検出部１７３は、外側カメラ６１の撮影画像、及び、距離センサー６４の検出結果の少なくともいずれかに基づいて、使用者Ｕの周囲にある対象物を検出する。距離検出部１７３は、検出した対象物と使用者Ｕとの間の距離を検出する。また、距離検出部１７３は、例えば、ＳＬＡＭ処理を実行し、使用者Ｕの周辺の対象物の環境マップを作成し、環境マップにおける使用者Ｕの自己位置を特定してもよい。距離検出部１７３が検出する対象物のいずれか１つが第１対象物の一例に対応し、第１対象物以外のいずれかの対象物が、第２対象物の一例に対応する。

温度検出部１７４は、サーモカメラ６６が撮影する赤外線画像に基づいて、距離検出部１７３が検出する対象物の温度を検出する。温度検出部１７４は、距離検出部１７３が対象物を検出した検出結果、及び、距離検出部１７３が対象物の検出に用いた外側カメラ６１の撮影画像のうち、少なくともいずれかを利用して、赤外線画像における対象物の位置を特定する。温度検出部１７４は、特定した位置の温度を、対象物の温度とする。距離検出部１７３が複数の対象物を検出した場合、温度検出部１７４は、距離検出部１７３により検出された複数の対象物のそれぞれについて温度を検出する。

時間算出部１７５は、距離検出部１７３が検出した対象物について、対象物と使用者Ｕとが接触するまでの時間を算出する。詳細には、時間算出部１７５は、距離検出部１７３が検出した対象物と使用者Ｕとの間の距離の変化を求め、求めた変化から、対象物と使用者Ｕとの相対速度を算出する。時間算出部１７５は、対象物と使用者Ｕとの相対速度、及び、対象物と使用者Ｕとの間の距離に基づいて、対象物と使用者Ｕとの間の距離がゼロになるまでの時間を算出する。ここで、距離検出部１７３は、対象物と使用者Ｕとの間の距離として、実際には、対象物と外側カメラ６１との間の距離を検出する。この距離は、対象物と表示部２０との間の距離であるが、実質的に、対象物と使用者Ｕとの間の距離と見なすことができる。このため、距離検出部１７３が検出する距離を、以下では、対象物と使用者Ｕとの間の距離と見なして説明する。

対象物と使用者Ｕとの間の距離がゼロになることは、対象物の位置と使用者Ｕの位置とが重なるか、或いは、対象物の位置と使用者Ｕの位置とが極めて近接することを意味する。時間算出部１７５は、対象物と使用者Ｕとの間の距離がゼロになるまでの時間を算出する処理において、対象物が移動するか使用者Ｕが移動するかを区別しない。すなわち、対象物と使用者Ｕとの間の距離がゼロになるまでの時間は、対象物が移動するか使用者Ｕが移動するかに関係なく、対象物と使用者Ｕとの相対速度に基づき算出される。

対象物と使用者Ｕとの間の距離がゼロになるまでの時間は、対象物と、使用者Ｕの身体や衣服が接触または遭遇するまでの時間を示す。例えば、対象物が移動体である場合、対象物と使用者Ｕとの間の距離がゼロになると、対象物と使用者Ｕとが接触する。対象物が移動しない設備である場合、対象物と使用者Ｕとの間の距離がゼロになることは、対象物に使用者Ｕが接触することを意味する。対象物が床面の凹凸である場合、対象物と使用者Ｕとの間の距離がゼロになることは、使用者Ｕが対象物の位置に到達することを意味する。

距離検出部１７３が複数の対象物を検出した場合、時間算出部１７５は、複数の対象物のそれぞれについて、対象物と使用者Ｕとの間の距離がゼロになるまでの時間を算出する。具体的には、時間算出部１７５は、距離検出部１７３が検出した第１対象物が使用者Ｕに到達するまでにかかる第１時間、及び、距離検出部１７３が検出した第２対象物が使用者Ｕに到達するまでにかかる第２時間を、それぞれ算出する。

視線検出部１７６は、内側カメラ６８の撮影画像を取得して解析することにより、使用者Ｕの視線の方向を検出する。

図５は、使用者Ｕの視線方向を検出する様子を示す模式図である。
図５において、符号ＯＢは対象物を示し、符号ＲＥは使用者Ｕの右眼を示し、符号ＲＤは右眼ＲＥの視線方向を示す。符号ＬＥは使用者Ｕの左眼を示し、符号ＬＤは左眼ＬＥの視線方向を示す。

視線検出部１７６は、使用者Ｕの視線の方向を検出する。詳細には、視線検出部１７６は、内側カメラ６８が右眼ＲＥを撮影した撮影画像を解析することにより、視線方向ＲＤを検出する。同様に、視線検出部１７６は、内側カメラ６８が左眼ＬＥを撮影した撮影画像を解析することにより、視線方向ＬＤを検出する。視線方向ＲＤと視線方向ＬＤとが交差する位置ＶＰは、使用者Ｕが注視する位置に相当する。この位置を注視位置ＶＰと呼ぶ。言い換えると、視線方向ＲＤは、使用者Ｕの右眼ＲＥから注視位置ＶＰに向かう方向であり、視線方向ＬＤは、使用者Ｕの右眼ＬＥＥから注視位置ＶＰに向かう方向である。視線検出部１７６は、表示部２０の基準位置から注視位置ＶＰに向かう方向ＶＤを、視線方向ＶＤとして検出する。基準位置は、表示部２０の位置の基準として予め決められた位置であり、例えば、前部フレーム２７の左右方向における中心、或いは、一対の内側カメラ６８の中央の位置である。視線方向ＶＤは、視線方向ＲＤと視線方向ＬＤとを総合した、両目による使用者Ｕの視線の方向を表す。言い換えると、視線方向ＶＤは、表示部２０の中心から注視位置ＶＰに向かう方向である。

使用者Ｕが対象物ＯＢを注視すると、使用者Ｕの視線方向ＲＤ及び視線方向ＬＤは対象物ＯＢの位置において交差する。すなわち、注視位置ＶＰが、対象物ＯＢに重なる範囲にある。換言すれば、注視位置ＶＰが対象物ＯＢに重なる位置である場合、使用者Ｕが対象物ＯＢを注視しているということができる。

視線検出部１７６は、使用者Ｕの右眼ＲＥ及び左眼ＬＥから注視位置ＶＰまでの距離Ｄ２を検出してもよい。この場合、距離検出部１７３が検出する対象物ＯＢまでの距離と、視線検出部１７６が検出する距離Ｄ２とを比較することによって、注視位置ＶＰが対象物ＯＢに重なる位置であるか否かを、より正確に判定できる。ここで、距離検出部１７３が検出する距離は、図に符号Ｄ１で示すように、外側カメラ６１の設置位置である表示部２０から対象物ＯＢまでの距離である。従って、注視位置ＶＰが対象物ＯＢに一致する場合であっても、距離Ｄ１と距離Ｄ２との間には図５に示すように差がある。しかしながら、その差は使用者Ｕの身体の大きさ等に比べて小さいため、距離Ｄ１と距離Ｄ２とを単純に比較することによって、正確な判定を行うことができる。

判定部１７７は、距離検出部１７３が検出した対象物の危険度を算出する。危険度は、損害ＤＢ１５５に記憶された損害情報と、距離検出部１７３が検出した対象物までの距離とを基に決定される。危険度は、対象物が使用者Ｕに対して潜在的に有する危険の度合いを示す指標である。

例えば、判定部１７７は、損害情報の数値と、距離検出部１７３が検出した距離とを乗じることによって危険度を算出する。判定部１７７は、距離検出部１７３が検出した距離を、段階的に数値化してもよい。この場合、損害情報は、上述したように、損害の大きさを段階的に数値化した値とすることができるから、損害情報の値と、距離を段階的に数値化した値とを乗算することによって、容易に危険度を算出できる。

判定部１７７は、対象物の危険度を補正することによって、対象物の注意レベルを判定する。詳細には、判定部１７７は、注視位置ＶＰが対象物の位置に重なるか否かに応じて、対象物の危険度を補正することにより、注意レベルを判定する。注視位置ＶＰが対象物の位置に重なる場合、換言すれば、使用者Ｕの視線方向ＶＤが対象物の位置に対応する方向である。

注意レベルは、使用者Ｕが対象物に注意を向けるべきか否かを判定するための指標である。本実施形態で、注意レベルは、段階的に数値化された値である。ここで、対象物の危険度が段階的に数値化された値である場合、危険度を、そのまま注意レベルとしてもよい。

例えば、判定部１７７は、注視位置ＶＰが対象物の位置に重なる場合に、対象物の危険度を低い値に補正し、補正後の危険度を注意レベルとする。判定部１７７は、注視位置ＶＰが対象物の位置に重なっていない場合は、例えば、対象物の危険度を、そのまま注意レベルとする。

また、判定部１７７は、距離検出部１７３が複数の対象物を検出した場合、距離検出部１７３により検出された複数の対象物のそれぞれについて危険度を算出する。具体的には、判定部１７７は、距離検出部１７３が検出した第１対象物の危険度を算出し、危険度を補正することによって第１対象物の注意レベルを判定する。また、判定部１７７は、距離検出部１７３が検出した第２対象物の危険度を算出し、危険度を補正することによって第２対象物の注意レベルを判定する。判定部１７７は、複数の対象物のうち注視位置ＶＰに重なる対象物を、注視対象の対象物とする。判定部１７７は、注視対象の対象物の危険度を、注視対象でない対象物の危険度より低い値となるように補正し、補正後の危険度を注意レベルとする。また、例えば、判定部１７７は、注視対象でない対象物の注意レベルを、対象物の危険度と同じ値とする。例えば、判定部１７７は、注視位置ＶＰが第１対象物に重なる位置である場合、第２対象物の危険度を、第２対象物の注意レベルとし、第１対象物の注意レベルを、第２対象物の注意レベルより低くなるよう補正してもよい。

判定部１７７は、対象物について時間算出部１７５が算出した時間に基づいて注意レベルを補正してもよい。例えば、判定部１７７は、時間算出部１７５が算出した第１時間が第２時間よりも短く、かつ、第１対象物の損害情報が第２対象物の損害情報よりも高い値である場合に、第１対象物の注意レベルを第２対象物の注意レベルよりも高くなるように補正してもよい。

判定部１７７は、温度検出部１７４が検出した対象物の温度に基づいて、対象物の危険度を算出してもよい。例えば、判定部１７７は、温度検出部１７４が検出した対象物の温度が、使用者Ｕに損害を与える可能性をもとに決定された基準温度よりも高温である場合や、低温である場合に、損害情報の値を加算して、危険度を算出してもよい。使用者Ｕに損害を与える可能性をもとに決定された基準温度は、使用者Ｕが対象物に触れて火傷を負う可能性がある温度や、使用者Ｕが対象物に触れて凍傷を負う可能性がある温度とすることができ、高温側の基準温度と低温側の基準温度とを含んでもよい。

動作検出部１７８は、使用者Ｕの身体の動作を検出する。動作検出部１７８は、外側カメラ６１の撮影画像を利用して、使用者Ｕの動作を検出する。例えば、動作検出部１７８は、表示部２０の移動と一致しない使用者Ｕの身体の一部の動きを検出する。ここで、使用者Ｕの身体の一部とは、例えば、腕、手、指、足である。動作検出部１７８は、外側カメラ６１の撮影画像に限らず、６軸センサー１１１の検出結果および６軸センサー２３５の検出結果のいずれか１以上を利用して、使用者Ｕの身体の動作を検出してもよい。動作検出部１７８は、使用者Ｕの身体全体の動作を検出してもよい。

時間算出部１７５は、動作検出部１７８が検出した使用者Ｕの動作に基づいて、対象物と使用者Ｕとの間の距離がゼロになるまでの時間を算出することも可能である。上述のように、時間算出部１７５は、対象物と使用者Ｕとの相対速度と、対象物と使用者Ｕとの間の距離とに基づき時間を算出する。この処理において、時間算出部１７５は、動作検出部１７８が検出した使用者Ｕの動作と、表示部２０の動きとを加算して、対象物と使用者Ｕとの相対速度を求める。これにより、より正確に、対象物と使用者Ｕとの間の距離がゼロになるまでの時間を算出できる。また、例えば、時間算出部１７５は、動作検出部１７８が検出した動作が対象物に近づく動作である場合に、動作検出部１７８が検出した動作と表示部２０の動きとを加算して、対象物と使用者Ｕとの相対速度を求めてもよい。

入力検出部１７９は、操作部１７０に対する使用者Ｕの操作を受け付ける。入力検出部１７９は、外側カメラ６１の撮影画像や、６軸センサー１１１及び６軸センサー２３５の検出結果から、使用者Ｕのジェスチャーによる入力を検出してもよい。

図６は、ＨＭＤ１００による表示例を示す図である。
表示制御部１７２は、判定部１７７により判定された注意レベルが、予め設定された表示基準より高い場合に、使用者Ｕに対して対象物への注意を促す報知を行う。報知の方法としては、右イヤホン３２及び左イヤホン３４から音声を出力する方法や、不図示のバイブレーターを動作させる方法が挙げられる。本実施形態では、表示部２０によって、使用者Ｕに対して注意を促す画像を、注意を促す対象である対象物に対応する表示位置に表示させる方法を採用する。

符号ＶＡは、表示部２０で表示される画像や表示部２０を透過して外景を使用者Ｕが視認する範囲である。換言すれば、使用者Ｕが表示部２０を透過して外景を視認する場合の視野が範囲ＶＡに相当する。
本実施形態では、右導光板２６及び左導光板２８が表示する画像を使用者Ｕが視認する範囲と、表示部２０を透過して使用者Ｕが外景を視認する範囲とが一致する例を示す。これは一例であり、例えば、右導光板２６及び左導光板２８が表示する画像が、表示部２０を透過して使用者Ｕが外景を視認する範囲より小さくてもよい。この場合も、右導光板２６及び左導光板２８が表示する画像は、右導光板２６及び左導光板２８を透過して使用者Ｕが視認する外景と重なる。

図６は、使用者Ｕが建物の内部に居り、実空間に複数の対象物９０Ａ、９０Ｂが存在する例を示す。以下では対象物９０Ａ、９０Ｂを区別しない場合は対象物９０と記載する。後述する注意画像３０１も同様である。

対象物９０Ａは階段であり、対象物９０Ｂは自走式のロボット掃除機である。対象物９０Ａには、使用者Ｕが転落または衝突する危険を生む可能性がある。対象物９０Ｂには、使用者Ｕが衝突する危険や、衝突により使用者Ｕが転倒する危険を生む可能性がある。

注意画像３０１Ａは、対象物９０Ａについて使用者Ｕに注意を促す画像である。注意画像３０１Ａは、範囲ＶＡにおいて対象物９０Ａが視認される位置に重なる表示位置、または、対象物９０Ａが視認される位置の近傍の表示位置に、表示される。この位置を、対象物９０Ａに対応する表示位置という。注意画像３０１Ｂは、対象物９０Ｂについて使用者Ｕに注意を促す画像であり、範囲ＶＡにおいて対象物９０Ｂに対応する表示位置に表示される。注意画像３０１Ａと注意画像３０１Ｂは同一の画像であってもよいし、異なる画像であってもよい。対象物９０Ａが第１対象物に対応する場合、注意画像３０１Ａは、第１画像の一例に対応する。同様に、対象物９０Ｂが第２対象物に対応する場合、注意画像３０１Ｂは第２画像の一例に対応する。

また、表示制御部１７２は、範囲ＶＡに視認されない対象物についての注意画像３０１を表示してもよい。図６に示す注意画像３０１Ｃは、範囲ＶＡの左方に存在する対象物であって、使用者Ｕが右導光板２６及び左導光板２８を透過して視認できる範囲外の対象物について、使用者Ｕに注意を促す画像である。範囲ＶＡの左方に対象物が存在することを示すため、注意画像３０１Ｃは左向きの矢印を含む。

表示制御部１７２は、距離検出部１７３が検出した複数の対象物のうち、判定部１７７が判定した注意レベルが最も高いレベルである１の対象物について、注意画像３０１を表示させる。図６には３つの注意画像３０１Ａ、３０１Ｂ、３０１Ｃを示すが、本実施形態では、同時に表示部２０により表示する注意画像３０１は１つである。この場合、注意画像３０１が使用者Ｕの視界の妨げにならず、使用者Ｕの注意を分散させずに、効果的に注意を促すことができるという利点がある。

注意画像３０１Ａ、３０１Ｂ、３０１Ｃは、表示制御部１７２が、予め不揮発性記憶部１２１に記憶された画像データをもとに表示させてもよい。また、表示制御部１７２が注意画像３０１Ａ、３０１Ｂ、３０１Ｃを表示するための画像データを生成する処理を行ってもよい。

［３．表示システムの動作］
図７、図８及び図９は、ＨＭＤ１００の動作を示すフローチャートである。これら各図には、注意画像３０１の表示に関する制御部１２０の動作を示す。
ステップＳ１１で、距離検出部１７３は、外側カメラ６１の撮影画像を取得して解析することにより、撮影画像に写っている対象物を検出する。次に、ステップＳ１２で、距離検出部１７３は、表示部２０と、ステップＳ１１で検出した対象物との間の距離を検出する。

続いて、ステップＳ１３で、判定部１７７は、距離検出部１７３が検出した対象物について危険度を算出する。距離検出部１７３が複数の対象物を検出した場合、判定部１７７は、複数の対象物の各々について危険度を算出する。

ステップＳ１４で、判定部１７７は、処理対象とする対象物を選択する。ステップＳ１５で、視線検出部１７６は、使用者Ｕの視線方向ＶＤを検出する。ステップＳ１６で、判定部１７７は、視線方向ＶＤと対象物の位置との関係を特定する。例えば、判定部１７７は、ステップＳ１６で、視線方向ＶＤが、ステップＳ１４で選択した処理対象の対象物の位置に対応する方向であるか否かを特定する。

ステップＳ１７で、判定部１７７は、ステップＳ１６で特定した結果に基づいて、使用者Ｕが処理対象の対象物を注視しているか否かを判定する。使用者Ｕが処理対象の対象物を注視していないと判定した場合（ステップＳ１７；ＮＯ）、判定部１７７は、後述するステップＳ２２に移行する。使用者Ｕが処理対象の対象物を注視していると判定した場合、判定部１７７はステップＳ１８に移行する。

ステップＳ１８で、判定部１７７は、処理対象の対象物を注視中の対象物に設定する。次に、ステップＳ１９で、判定部１７７は、使用者Ｕが処理対象の対象物を注視する状態が継続した時間を取得する。この時間を注視時間と呼ぶ。注視時間は、例えば、視線検出部１７６が検出した視線方向ＶＤの履歴を解析することによって取得される。

ステップＳ２０で、判定部１７７は、注視時間が時間閾値より長いか否かを判定する。注視時間が時間閾値以下であると判定した場合（ステップＳ２０；ＮＯ）、判定部１７７は、ステップＳ２２に移行する。注視時間が時間閾値より長いと判定した場合（ステップＳ２０；ＹＥＳ）、判定部１７７はステップＳ２１に移行する。

ステップＳ２１で、判定部１７７は、処理対象の対象物の危険度を、より低い値に補正し、補正した危険度に基づき注意レベルを判定する。例えば、判定部１７７は、処理対象の対象物の危険度を所定段階だけ低く補正する。また、例えば、判定部１７７は、処理対象の対象物の危険度を、他の対象物の危険度より低くなるように補正してもよい。また、例えば、ステップＳ２１で、判定部１７７は、処理対象の対象物の注意レベルを、視線方向が処理対象の対象物に対応しない方向である場合の当該対象物の注意レベルよりも低くさせるように処理を行う。その後、判定部１７７はステップＳ２３に移行する。

ステップＳ２２で、判定部１７７は、処理対象の対象物の危険度に基づき注意レベルを判定し、ステップＳ２３に移行する。

ステップＳ２３で、表示制御部１７２は、処理対象の対象物の注意レベルが表示閾値より高いか否かを判定する。処理対象の対象物の注意レベルが表示閾値以下であると判定した場合（ステップＳ２３；ＮＯ）、制御部１２０は本処理を終了する。処理対象の対象物の注意レベルが表示閾値より高いと判定した場合（ステップＳ２３；ＹＥＳ）、表示制御部１７２はステップＳ２４に移行する。

ステップＳ２４で、表示制御部１７２は、他の対象物に関する注意画像３０１を表示中であるか否かを判定する。すなわち、処理対象の対象物でない対象物についての注意画像３０１を表示中か否かを判定する。他の対象物に関する注意画像３０１を表示中でないと判定した場合（ステップＳ２４；ＮＯ）、表示制御部１７２はステップＳ２６に移行する。他の対象物に関する注意画像３０１を表示中であると判定した場合（ステップＳ２４；ＹＥＳ）、表示制御部１７２はステップＳ２５に移行する。

ステップＳ２５で、表示制御部１７２は、表示中の注意画像３０１、すなわち処理対象の対象物でない対象物についての注意画像３０１の表示を停止させ、ステップＳ２６に移行する。ステップＳ２６で、表示制御部１７２は、処理対象の対象物に関する注意を促す注意画像３０１を、表示部２０によって表示させ、本処理を終了する。

制御部１２０は、図７に示す処理を終了した場合、ステップＳ１４に戻って、他の対象物を処理対象の対象物として新たに選択して、処理を継続してもよい。
また、制御部１２０は、図７に示す処理を、ＨＭＤ１００の動作中に、所定周期で繰り返し実行する。これにより、使用者Ｕの近傍の対象物について注意レベルが定期的に更新される。注意レベルが更新される毎に、必要に応じて注意画像３０１が表示され、或いは、注意画像３０１の表示が停止される。

図８は、注意画像３０１が表示されている間に制御部１２０が実行する動作を示す。
ステップＳ４１で、表示制御部１７２は、注意画像３０１が表示されている対象物を特定する。ステップＳ４２で、距離検出部１７３は、ステップＳ４１において特定された対象物と表示部２０との距離を検出する。ステップＳ４３で、表示制御部１７２は、ステップＳ４２において検出された距離が距離閾値より大きいか否かを判定する。検出された距離が距離閾値以下である場合（ステップＳ４３；ＮＯ）、表示制御部１７２は本処理を終了する。検出された距離が距離閾値より大きい場合（ステップＳ４３；ＹＥＳ）、表示制御部１７２はステップＳ４４に移行する。ステップＳ４４で、表示制御部１７２は、表示中の注意画像３０１の表示を停止し、本処理を終了する。

制御部１２０は、図８に示す処理を、注意画像３０１の表示中に所定周期で繰り返し実行する。これにより、対象物が使用者Ｕから遠く離れたときに、不要な注意画像３０１を速やかに非表示とすることができる。

図９は、ステップＳ１８で注視中の対象物と設定された対象物について、制御部１２０が所定周期で実行する動作を示す。
ステップＳ６１で、判定部１７７は、注視中の対象物として設定された対象物を特定する。注視中の対象物は、使用者Ｕの視線方向ＶＤに重なる位置にある対象物であり、基本的に１つである。注視中の対象物が複数ある場合、ステップＳ６１で、判定部１７７はいずれか１つの対象物を選択する。

ステップＳ６２で、視線検出部１７６は、視線方向ＶＤを検出する。ステップＳ６３で、判定部１７７は、視線方向ＶＤがステップＳ６１で特定された対象物から逸脱したか否かを判定する。ステップＳ６２において、詳細には、判定部１７７は、ステップＳ６２で検出された視線方向ＶＤが、ステップＳ６１で特定された対象物の位置と重なる方向にあるか否かに基づき、視線方向ＶＤが対象物から逸脱したか否かを判定する。換言すれば、判定部１７７は、視線方向ＶＤが対象物に対応する方向か否かを判定する。

視線方向ＶＤが対象物から逸脱していないと判定した場合（ステップＳ６３；ＮＯ）、判定部１７７は、本処理を終了する。視線方向ＶＤが対象物から逸脱したと判定した場合（ステップＳ６３；ＮＯ）、判定部１７７はステップＳ６４に移行する。

ステップＳ６４で、判定部１７７は、視線方向ＶＤが対象物から逸脱した時間を取得する。この時間を、視線逸脱時間と呼ぶ。視線逸脱時間は、例えば、視線検出部１７６が検出した視線方向ＶＤの履歴を解析することによって取得される。

次に、ステップＳ６５で、判定部１７７は、ステップＳ６１で特定された対象物の損害情報を取得する。続いて、ステップＳ６６で、判定部１７７は、損害情報の値に対応する逸脱時間閾値を取得する。本実施形態の損害情報は、上記のように数値化されている。閾値記憶部１５３は、複数の損害情報の値にそれぞれ対応する複数の逸脱時間閾値を、記憶する。

ステップＳ６７で、判定部１７７は、視線逸脱時間が逸脱時間閾値より長いか否かを判定する。視線逸脱時間が逸脱時間閾値以下であると判定した場合（ステップＳ６７；ＮＯ）、判定部１７７は、本処理を終了する。

視線逸脱時間が逸脱時間閾値より長いと判定した場合（ステップＳ６７；ＹＥＳ）、判定部１７７は、ステップＳ６８に移行する。ステップＳ６８で、判定部１７７は、ステップＳ６１で特定した対象物について、注視中の対象物との設定を解除する。

次に、ステップＳ６９で、判定部１７７は、ステップＳ６１で特定した対象物の注意レベルを、他の対象物の注意レベルより高くなるように補正する。ステップＳ７０で、表示制御部１７２は、ステップＳ６９で補正された注意レベルが、表示閾値より高いか否かを判定する。表示制御部１７２は、注意レベルが表示閾値以下であると判定した場合（ステップＳ７０；ＮＯ）、本処理を終了する。表示制御部１７２は、注意レベルが、表示閾値より高いと判定した場合（ステップＳ７０；ＹＥＳ）、ステップＳ７１に移行する。

ステップＳ７１で、表示制御部１７２は、他の対象物に関する注意画像３０１の表示を停止する。すなわち、処理中の対象物以外の対象物について表示されている注意画像３０１を、非表示とする。ステップＳ７２で、表示制御部１７２は、処理中の対象物に関する注意を促す注意画像３０１を、表示部２０によって表示させ、本処理を終了する。

図１０は、表示部２０による表示の遷移の例を示す説明図であり、図７、図８及び図９に示した動作によって注意画像３０１の表示が遷移する状態を模式的に示す。
図１０には、距離検出部１７３によって２つの対象物が検出された例を示す。これら２つの対象物を対象物１、及び、対象物２とする。また、表示部２０と対象物との距離を、段階的に数値化された値で示す。図１０に示すように、以下の例で表示閾値は注意レベル３、距離閾値は距離１０、時間閾値は注視時間５秒に設定される。

状態ＳＴ１は、使用者Ｕが対象物１、２のいずれも注視していない状態である。対象物１の注意レベルは対象物２の注意レベルより高い値である。かつ、対象物１の注意レベルは表示閾値より高い。従って、対象物１について注意画像３０１が表示される。

状態ＳＴ１において、使用者Ｕが対象物１を注視すると、制御部１２０は状態ＳＴ２に移行する。状態ＳＴ２で、対象物１は注視中の対象物に設定されているので、対象物１の注意レベルは対象物２よりも低くなるよう補正される。この結果、対象物２の注意レベルが、対象物１の注意レベルより高い状態となっている。対象物２の注意レベルは表示閾値より高い。従って、状態ＳＴ２では、対象物２について注意画像３０１が表示される。

状態ＳＴ２において、使用者Ｕの視線方向ＶＤが対象物１から逸脱すると、制御部１２０は状態ＳＴ１に移行する。この場合、対象物１についての注視中の対象物の設定が解除されることにより、対象物１の注意レベルを低くする補正が行われなくなるので、対象物１の注意レベルは対象物２の注意レベルより高い値である。従って、対象物１について注意画像３０１が表示される。

状態ＳＴ１において、使用者Ｕが移動すると、対象物１と使用者Ｕとの距離、及び、使用者Ｕと対象物２との距離が変化する。変化後の状態を状態ＳＴ３として示す。状態ＳＴ３では、対象物１と使用者Ｕとの距離、及び、使用者Ｕと対象物２との距離が、いずれも状態ＳＴ１より長い。このため、対象物１の注意レベル及び対象物２の注意レベルが、いずれも状態ＳＴ１より低い。使用者Ｕが移動した後または移動中に、制御部１２０が図７の動作を再実行することにより、対象物１の注意レベル及び対象物２の注意レベルが更新され、状態ＳＴ３となる。

状態ＳＴ３では、対象物１の注意レベルは対象物２の注意レベルより高い値である。かつ、対象物１の注意レベルは表示閾値より高い。従って、対象物１について注意画像３０１が表示される。

状態ＳＴ３において、使用者Ｕがさらに移動すると、対象物１と使用者Ｕとの距離、及び、使用者Ｕと対象物２との距離が変化する。変化後の状態を状態ＳＴ４として示す。状態ＳＴ４では、対象物１と使用者Ｕとの距離、及び、使用者Ｕと対象物２との距離が、いずれも状態ＳＴ３より長い。このため、対象物１の注意レベル及び対象物２の注意レベルが、いずれも状態ＳＴ３より低い。使用者Ｕが移動した後または移動中に、制御部１２０が図７の動作を再実行することにより、対象物１の注意レベル及び対象物２の注意レベルが更新され、状態ＳＴ４となる。

状態ＳＴ４では、対象物１の注意レベルは対象物２の注意レベルより高い値である。しかしながら、対象物１の注意レベルは表示閾値より低い。従って、表示部２０は注意画像３０１を非表示とする。

［４．実施形態の作用］
以上説明したように、本発明を適用した実施形態に係るＨＭＤ１００は、第１対象物と第２対象物とが含まれる外景を透過する表示部２０と、使用者Ｕの視線方向ＶＤを検出する視線検出部１７６と、を備える。ＨＭＤ１００は、第１対象物が使用者Ｕに到達するまでにかかる第１時間と、第２対象物が使用者Ｕに到達するまでにかかる第２時間とを算出する時間算出部１７５を備える。ＨＭＤ１００は、判定部１７７を備える。判定部１７７は、第１対象物に関する第１情報と第２対象物に関する第２情報とを取得し、第１情報と第１時間とを基に第１対象物の危険度を算出する。判定部１７７は、視線方向ＶＤを基に第１対象物の危険度を補正し、補正された第１対象物の危険度を基に第１対象物の注意レベルを判定する。判定部１７７は、第２情報と第２時間とを基に第２対象物の危険度を算出し、視線方向ＶＤを基に第２対象物の危険度を補正し、補正された第２対象物の危険度を基に第２対象物の注意レベルを判定する。ＨＭＤ１００は、第１対象物の注意レベルが、第２対象物の注意レベルよりも高い場合に、第１対象物に関する第１画像を表示部２０に表示させる表示制御部１７２を備える。

ＨＭＤ１００の制御方法は、第１対象物と第２対象物とが含まれる外景を透過する表示部２０と、使用者Ｕの視線方向ＶＤを検出する視線検出部１７６とを備えるＨＭＤ１００の制御方法である。この制御方法は、制御部１２０により、第１対象物に関する第１情報と、第２対象物に関する第２情報と、を取得する。また、制御部１２０により、第１対象物が使用者Ｕに到達するまでにかかる第１時間と、第２対象物が使用者Ｕに到達するまでにかかる第２時間とを算出する。また、制御部１２０により、第１情報と第１時間とを基に第１対象物の危険度を算出させる。また、制御部１２０により、視線方向ＶＤを基に第１対象物の危険度を補正し、補正された第１対象物の危険度を基に第１対象物の注意レベルを判定する。また、制御部１２０により、第２情報と第２時間とを基に第２対象物の危険度を算出し、視線方向ＶＤを基に第２対象物の危険度を補正し、補正された第２対象物の危険度を基に第２対象物の注意レベルを判定する。また、第１対象物の注意レベルが、第２対象物の注意レベルよりも高い場合に、第１対象物に関する第１画像を表示部２０に表示させる。

ＨＭＤ１００、及び、ＨＭＤ１００の制御方法によれば、使用者Ｕの周囲に存在する対象物について、使用者Ｕが注意を払うべきか否かを示す指標となる注意レベルを、視線方向ＶＤを加味して正確に判定できる。そして、注意レベルに基づいて注意画像３０１を表示することによって、ＨＭＤ１００は、実空間の物体等が使用者に危険をもたらす可能性について、適切に使用者Ｕに注意を促すことができる。

表示制御部１７２は、第２対象物の注意レベルが、第１対象物の注意レベルよりも高い場合に、第２対象物に関する第２画像を表示部２０に表示させる。これにより、使用者Ｕの周囲に複数の対象物が存在する場合に、注意レベルの高い対象物について注意画像３０１を表示させることができる。従って、実空間の物体等が使用者に危険をもたらす可能性について、より適切に使用者Ｕに注意を促すことができる。

表示制御部１７２は、第２対象物の前記注意レベルが、第１対象物の前記注意レベルよりも高い場合に、表示部２０による第１画像の表示を停止させる。これにより、使用者Ｕの周囲に複数の対象物が存在する場合に、注意レベルの低い対象物について注意画像３０１を表示させないので、より適切に使用者Ｕに注意を促すことができる。

ＨＭＤ１００は、使用者Ｕの位置から第１対象物までの距離を検出する距離検出部１７３を備える。表示制御部１７２は、使用者Ｕの位置から第１対象物までの距離が第１閾値より大きい場合に、表示部２０による第１画像の表示を停止させる。この場合、使用者Ｕの位置から遠く離れているために使用者Ｕが注意を払う必要性が小さい対象物について、注意画像３０１を非表示とすることができる。このため、注意画像３０１の不要な表示を避けることができ、ＨＭＤ１００の利用に関し、使用者Ｕの利便性の向上を図ることができる。

判定部１７７は、視線方向ＶＤが第１対象物の位置に対応する方向である場合の第１対象物の注意レベルを、視線方向ＶＤが第１対象物の位置に対応しない方向である場合の第１対象物の注意レベルよりも低くさせる。これにより、使用者Ｕが視線を向けている対象物について注意画像３０１を表示する頻度が低下する。このため、注意画像３０１の不要な表示を避けることができ、ＨＭＤ１００の利用に関し、使用者Ｕの利便性の向上を図ることができる。さらに、使用者Ｕが視線を向けている対象物の注意レベルが、補正後も表示閾値より高い場合には、注意画像３０１が表示される。従って、対象物に対して使用者Ｕが注意を向けるべき必要性と、使用者Ｕの視線方向ＶＤとの両方に対応して、注意画像３０１を適切に表示できる。

判定部１７７は、視線方向ＶＤが第１対象物の位置に対応する方向である状態の注視時間を取得し、注視時間が時間閾値を超えた場合に、第１対象物の注意レベルを第２対象物の注意レベルよりも低くさせる。これにより、使用者Ｕが時間閾値を超える時間、注視した対象物について注意画像３０１を非表示とするので、注意画像３０１の不要な表示を避けることができ、ＨＭＤ１００の利用に関し、使用者Ｕの利便性の向上を図ることができる。また、注意画像３０１が、使用者Ｕが対象物を注視することの妨げとなることを防止できる。

判定部１７７は、視線方向ＶＤが第１対象物の位置に対応しない方向である場合に、第１対象物の注意レベルを第２対象物の注意レベルよりも高くさせる。これにより、使用者Ｕの視線方向ＶＤに対応して、実空間の物体等が使用者に危険をもたらす可能性について、適切に使用者Ｕに注意を促すことができる。

視線方向ＶＤが第１対象物の位置に対応する方向から、第１対象物の位置に対応しない方向に変更された場合に、表示制御部１７２は、第１対象物に対応する損害情報に基づいて、第１対象物に関する第１画像を表示部２０に再表示させる。これにより、使用者Ｕの視線方向ＶＤが対象物の方向を向いていることに対応して、注意画像３０１を非表示とした後に、必要に応じて注意画像３０１を再表示し、使用者Ｕに対して注意を促すことができる。また、第１対象物によって生じる使用者Ｕの損害の大きさに基づいて再表示を行うことによって、不要な注意画像３０１の表示を避けることができる。

第１情報は、第１対象物によって生じる使用者Ｕの損害に関する情報であり、第２情報は、第２対象物によって生じる使用者Ｕの損害に関する情報である。例えば、第１情報は第１対象物の損害情報の値であり、第２情報は第２対象物の損害情報の値である。これにより、使用者Ｕが対象物から受ける可能性のある損害の大きさを、注意レベルの判定に反映させることができる。このため、実空間の物体等が使用者に危険をもたらす可能性をより正確に評価することによって、適切に使用者Ｕに注意を促すことができる。

判定部１７７は、第１時間が第２時間よりも短く、かつ、第１対象物によって生じる使用者Ｕの損害が第２対象物によって生じる使用者Ｕの損害よりも大きい場合に、第１対象物の注意レベルを第２対象物の注意レベルよりも高くなるように補正してもよい。この場合、使用者Ｕの位置に先に到達する可能性があり、より大きい損害を生じる対象物について注意画像３０１を表示することができる。

ＨＭＤ１００は、第１対象物の温度と、第２対象物の温度とを検出する温度検出部１７４を備える。判定部１７７は、第１情報と、第１時間と、第１対象物の温度と、に基づいて第１対象物の危険度を算出し、第２情報と、第２時間と、第２対象物の温度と、に基づいて第２対象物の危険度を算出してもよい。この場合、判定部１７７は、対象物の温度によって使用者Ｕが受ける可能性のある損害を、注意レベルの判定に反映させることができる。このため、実空間の物体等が使用者に危険をもたらす可能性をより正確に評価することによって、適切に使用者Ｕに注意を促すことができる。

ＨＭＤ１００は、使用者Ｕの動作を検出する動作検出部１７８を備える。時間算出部１７５は、使用者Ｕが第１対象物に近づく動作が検出された場合に、使用者Ｕの動作に基づいて第１時間を算出する。時間算出部１７５は、使用者Ｕが第２対象物に近づく動作が検出された場合に、使用者Ｕの動作に基づいて第２時間を算出する。これにより、ＨＭＤ１００と対象物との相対速度に加え、使用者Ｕの動作を反映させて、第１時間及び第２時間をより正確に算出できる。従って、実空間の物体等が使用者に危険をもたらす可能性について、適切に使用者Ｕに注意を促すことができる。

ＨＭＤ１００は、外景に含まれる第１対象物と第２対象物とを撮影する外側カメラ６１を備える。距離検出部１７３は、外側カメラ６１の撮影画像に基づいて、対象物を検出する。

［５．他の実施形態］
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

例えば、制御部１２０は、使用者Ｕの身体における表示部２０の位置を反映して、使用者Ｕと対象物との間の距離の検出や、対象物が使用者Ｕに到達するまでの時間の算出を行ってもよい。また、例えば、制御部１２０は、６軸センサー２３５及び／または磁気センサー２３７の検出結果を利用して、視線方向ＶＤを検出してもよい。

表示部２０の表示画像及び／または、右イヤホン３２及び左イヤホン３４から出力する音声を処理する装置は、コントローラー１０に限定されない。ＨＭＤ１００が、コントローラー１０に替えて、外部のコンピューターを利用してもよい。すなわち、図４に示したプロセッサー１２５が構成する各機能部を、表示部２０に接続されるコンピューターが備える構成とし、不揮発性記憶部１２１が記憶する各種の数値や情報を、表示部２０に接続されるコンピューターが記憶する構成としてもよい。この場合、図７、図８及び図９に示す処理は、上記コンピューターにより実行される。ＨＭＤ１００は、表示部２０が備える各種センサーや、コントローラー１０が備える各種センサーの検出データをコンピューターに送信し、コンピューターから入力される表示データに基づき表示を行えばよい。この種のコンピューターは、例えば、スマートフォン、ＰＤＡ端末、タブレット型パーソナルコンピューターであってもよい。

また、上記実施形態では、コントローラー１０が表示部２０と有線接続される構成を例示したが、これに限定されず、コントローラー１０に対して表示部２０が無線接続される構成であってもよい。また、コントローラー１０を複数の装置により実現してもよい。また、コントローラー１０に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。

また、上記実施形態では、表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。これに限定されず、コントローラー１０と表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。

また、表示部２０は使用者Ｕの頭部に直接装着されるものに限らない。例えば、表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよい。

画像光を使用者の眼に導く光学系は、右導光板２６及び左導光板２８によって画像光を使用者の眼に入射させる構成であれば、種々の構成を採用できる。例えば、右導光板２６及び左導光板２８の一部にハーフミラーを設け、右導光板２６及び左導光板２８で生成する画像光をハーフミラーにより使用者Ｕの右眼ＲＥ及び左眼ＬＥに反射する構成が挙げられる。また、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合には、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。また、右導光板２６及び左導光板２８として、回折格子、プリズム、ホログラフィー表示部を用いてもよい。

また、上記各実施形態では、表示部２０はＯＬＥＤユニット２２１、２４１により画像光を生成する構成として説明したが、本発明はこれに限定されない。例えば、右表示ユニット２２及び左表示ユニット２４は、透過型液晶パネルを用いてもよいし、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよい。また、ＬＣＤパネルに代えてＬＣＯＳ技術を適用した構成を用いてもよい。ＬＣＯＳは、Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎの略である。

また、表示部２０は、ＬＥＤアレイ、レーザーアレイ、量子ドット発光型素子等に代表される自発光型の表示素子を利用した構成であってもよい。また、表示部２０は、例えば、レーザー光源とレーザースキャナーとを組み合わせたレーザースキャン方式のディスプレイであってもよい。

また、図３、図４等に示した機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。

また、図７、図８及び図９に示すフローチャートの処理単位は、制御部１２０による処理を理解容易にするために、主な処理内容に応じて分割したものである。各フローチャートの処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

また、プロセッサー１２５が実行するプログラムは、外部の装置やデバイスに記憶され、通信部１１７等を介して取得されてもよい。また、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、各種の光ディスク、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。

１０…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０…表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…オーディオコネクター、６１…外側カメラ、６３…マイク、６４…距離センサー、６５…照度センサー、６６…サーモカメラ、６７…ＬＥＤインジケーター、６８…内側カメラ、９０、９０Ａ、９０Ｂ…対象物、１００…ＨＭＤ、１１８…メモリー、１２０…制御部、１２１…不揮発性記憶部、１２５…プロセッサー、１５１…制御プログラム、１５２…設定値記憶部、１５３…閾値記憶部、１５４…認識データ記憶部、１５５…危険度データベース、１７０…操作部、１７１…基本制御部、１７３…距離検出部、１７４…温度検出部、１７５…時間算出部、１７６…視線検出部、１７７…判定部、１７８…動作検出部、１７９…入力検出部、３０１、３０１Ａ、３０１Ｂ、３０１Ｃ…注意画像、Ｕ…使用者。

Claims (13)

1. 第１対象物と第２対象物とが含まれる外景を透過する表示部と、
   使用者の視線方向を検出する視線検出部と、
   前記第１対象物が前記使用者に到達するまでにかかる第１時間と前記第２対象物が前記使用者に到達するまでにかかる第２時間とを算出する時間算出部と、
   前記第１対象物に関する第１情報と前記第２対象物に関する第２情報とを取得し、前記第１情報と前記第１時間とを基に前記第１対象物の危険度を算出し、前記視線方向を基に前記第１対象物の危険度を補正し、補正された前記第１対象物の危険度を基に前記第１対象物の注意レベルを判定し、前記第２情報と前記第２時間とを基に前記第２対象物の危険度を算出し、前記視線方向を基に前記第２対象物の危険度を補正し、補正された前記第２対象物の危険度を基に前記第２対象物の注意レベルを判定する判定部と、
   前記第１対象物の前記注意レベルが、前記第２対象物の前記注意レベルよりも高い場合に、前記第１対象物に関する第１画像を前記表示部に表示させる表示制御部と、を備える、頭部装着型表示装置。
2. 前記表示制御部は、前記第２対象物の前記注意レベルが、前記第１対象物の前記注意レベルよりも高い場合に、前記第２対象物に関する第２画像を前記表示部に表示させる、請求項１に記載の頭部装着型表示装置。
3. 前記表示制御部は、前記第２対象物の前記注意レベルが、前記第１対象物の前記注意レベルよりも高い場合に、前記表示部による前記第１画像の表示を停止させる、請求項２に記載の頭部装着型表示装置。
4. 前記使用者の位置から前記第１対象物までの距離を検出する距離検出部を備え、
   前記表示制御部は、前記使用者の位置から前記第１対象物までの距離が第１閾値より大きい場合に、前記表示部による前記第１画像の表示を停止させる、請求項１または請求項２に記載の頭部装着型表示装置。
5. 前記判定部は、前記視線方向が前記第１対象物の位置に対応する方向である場合の前記第１対象物の前記注意レベルを、前記視線方向が前記第１対象物の位置に対応しない方向である場合の前記第１対象物の前記注意レベルよりも低くさせる、請求項１から請求項４のいずれか１項に記載の頭部装着型表示装置。
6. 前記判定部は、前記視線方向が前記第１対象物の位置に対応する方向である状態の注視時間を取得し、前記注視時間が時間閾値を超えた場合に、前記第１対象物の前記注意レベルを前記第２対象物の前記注意レベルよりも低くさせる、請求項５に記載の頭部装着型表示装置。
7. 前記判定部は、前記視線方向が前記第１対象物の位置に対応しない方向である場合に、前記第１対象物の前記注意レベルを前記第２対象物の前記注意レベルよりも高くさせる、請求項５または請求項６に記載の頭部装着型表示装置。
8. 前記視線方向が前記第１対象物の位置に対応する方向から、前記第１対象物の位置に対応しない方向に変更された場合に、前記表示制御部は、前記第１情報に基づいて、前記第１画像を前記表示部に再表示させる、請求項６に記載の頭部装着型表示装置。
9. 前記第１情報は、前記第１対象物によって生じる前記使用者の損害に関する情報であり、
   前記第２情報は、前記第２対象物によって生じる前記使用者の損害に関する情報である、請求項１から請求項８のいずれか１項に記載の頭部装着型表示装置。
10. 前記判定部は、前記第１時間が前記第２時間よりも短く、かつ、前記第１対象物によって生じる前記使用者の損害が前記第２対象物によって生じる前記使用者の損害よりも大きい場合に、前記第１対象物の前記注意レベルを前記第２対象物の前記注意レベルよりも高くなるように補正する、請求項９に記載の頭部装着型表示装置。
11. 前記第１対象物の温度と前記第２対象物の温度とを検出する温度検出部を備え、
    前記判定部は、
    前記第１情報と、前記第１時間と、前記第１対象物の温度と、に基づいて前記第１対象物の前記危険度を算出し、
    前記第２情報と、前記第２時間と、前記第２対象物の温度と、に基づいて前記第２対象物の前記危険度を算出する、請求項１から請求項１０のいずれか１項に記載の頭部装着型表示装置。
12. 前記使用者の動作を検出する動作検出部を備え、
    前記時間算出部は、
    前記使用者が前記第１対象物に近づく動作が検出された場合に、前記使用者の動作に基づいて前記第１時間を算出し、
    前記使用者が前記第２対象物に近づく動作が検出された場合に、前記使用者の動作に基づいて前記第２時間を算出する、請求項１から請求項１１のいずれか１項に記載の頭部装着型表示装置。
13. 第１対象物と第２対象物とが含まれる外景を透過する表示部と、使用者の視線方向を検出する視線検出部と、を備える頭部装着型表示装置の制御方法であって、
    前記第１対象物に関する第１情報と、前記第２対象物に関する第２情報と、を取得し、
    前記第１対象物が前記使用者に到達するまでにかかる第１時間と、前記第２対象物が前記使用者に到達するまでにかかる第２時間と、を算出し、
    前記第１情報と前記第１時間とを基に前記第１対象物の危険度を算出し、
    前記視線方向を基に前記第１対象物の危険度を補正し、
    補正された前記第１対象物の危険度を基に前記第１対象物の注意レベルを判定し、
    前記第２情報と前記第２時間とを基に前記第２対象物の危険度を算出し、
    前記視線方向を基に前記第２対象物の危険度を補正し、
    補正された前記第２対象物の危険度を基に前記第２対象物の注意レベルを判定し、
    前記第１対象物の前記注意レベルが、前記第２対象物の前記注意レベルよりも高い場合に、前記第１対象物に関する第１画像を前記表示部に表示させる、頭部装着型表示装置の制御方法。

Images