JP2010145436A - ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】接近する障害物の方向を使用者に知らせることができるヘッドマウントディスプレイを提供する。
【解決手段】メイン処理が実行されると、ヘッドマウントディスプレイに接近する接近物体を検知する接近物体検知処理が実行される（Ｓ１４）。そして、接近物体を検出したか否かが判断される（Ｓ１５）。接近物体を検知した場合（Ｓ１５：ＹＥＳ）、接近物体の接近する方向に対して、誘導情報を表示する警告表示処理が行われる（Ｓ１６）。そして、Ｓ１６で表示した誘導情報を消去する表示リセット処理が行われ（Ｓ１７）、Ｓ１４へ移行し、再度、接近物体検知処理が行われる。また、接近物体を検知しなかった場合（Ｓ１５：ＮＯ）、Ｓ１４へ移行し、再度、接近物体検知処理が実行される。
【選択図】図５

Description

本発明は、ヘッドマウントディスプレイに関するものである。

従来、画像出力部を備えたヘッドマウントディスプレイにおいて、画像出力部に接近する障害物を検知し、接触を回避するヘッドマウントディスプレイが知られている（例えば、特許文献１参照）。この特許文献１に記載のヘッドマウントディスプレイによると、ヘッドマウントディスプレイに設けられた距離センサが障害物を検知すると、画像出力部が接触を避けるために自動的に移動する。これにより、画像出力部と、接近する障害物との接触を避けることができる。
特開２００４−２３３９４８号公報

しかしながら、特許文献１に記載のヘッドマウントディスプレイでは、外部の障害物が接近していることを把握できるが、障害物がどの方向から接近しているかを使用者に知らせることができないという問題点があった。ヘッドマウントディスプレイの使用者は作業中や移動中にも表示画像を見るので、外界に対する注意が浅くなりがちであり、単に表示画像が見えなくなっただけでは、障害物や近付きつつある危険がどういうものか認識するのに時間がかかり、重大な事故に至る恐れがある。これに対し、危険や傷害物の方向に眼を向けさせることは、障害物や近付きつつある危険がどういうものか認識するための時間を著しく短縮できるため、障害物や危険を、余裕をもって回避するには非常に有効である。

そこで、本発明は、上述した問題を解決するためになされたものであり、接近する障害物の方向を使用者に知らせることができるヘッドマウントディスプレイを提供することを目的とする。

上記目的を達成するために、請求項１に係る発明のヘッドマウントディスプレイは、使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、前記ヘッドマウントディスプレイに対して接近する物体を検出する接近物検出手段と、前記接近物検出手段により検出された物体の接近する方向を検出する方向検出手段と、前記表示画像が表示される表示領域において、前記方向検出手段により検出された方向に対して、前記使用者の視線を誘導するための表示制御を行う表示制御手段とを備えている。

また、請求項２に係る発明のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記表示制御は、前記表示画像の表示を前記方向検出手段にて検出された方向に対して変形表示することであることを特徴とする。

また、請求項３に係る発明のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加え、前記表示制御は、前記表示領域内で、前記方向検出手段により検出された方向に所定の速度で前記表示画像を移動させることであることを特徴とする。

また、請求項４に係る発明のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加え、前記表示制御は、前記方向検出手段により検出された方向へ、前記表示領域内の前記表示画像を消していくことであることを特徴とする。

また、請求項５に係る発明のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加え、前記表示制御は、前記方向検出手段により検出された方向へ、前記表示領域内の前記表示画像の色を、所定の色へ変更することであることを特徴とする。

また、請求項６に係る発明のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記表示制御は、前記表示領域内において、前記使用者の視線を誘導する旨を示す情報である誘導情報を、前記方向検出手段により検出された方向に表示することであることを特徴とする。

また、請求項７に係る発明のヘッドマウントディスプレイは、請求項６に記載の発明の構成に加え、前記誘導情報は、前記方向検出手段により検出された方向を示す矢印であることを特徴とする。

また、請求項８に係る発明のヘッドマウントディスプレイは、請求項６又は７に記載の発明の構成に加え、前記表示制御は、前記表示領域内において、前記方向検出手段により検出された方向に所定の速度で前記誘導情報を移動させることであることを特徴とする。

また、請求項９に係る発明のヘッドマウントディスプレイは、請求項１乃至８のいずれかに記載の発明の構成に加え、前記画像表示部の前記表示領域において、前記表示画像と、外界の画像との双方を前記使用者の眼に視認させるシースルー表示を行う画像操作手段を備えている。

請求項１に係る発明のヘッドマウントディスプレイでは、接近物検出手段によりヘッドマウントディスプレイに対して接近する物体を検出した際、その方向が方向検出手段により検出される。そして、表示領域において、使用者の視線を誘導するための表示制御が表示制御手段により行われる。これにより、表示領域内で、使用者は、接近する物体の方向を示す表示制御を確認でき、接近する物体の方向に対して視線を向け、すばやく対応することができる。

請求項２に係る発明のヘッドマウントディスプレイでは、請求項１に記載の発明の効果に加え、表示領域内に表示されている表示画像に対して、方向検出手段にて検出された方向に対して変形表示がされる表示制御が行われる。これにより、使用者は表示画像を見ながら、より自然に、接近する物体の方向を把握するとともに、その方向に自然に視線を向けることができる。

請求項３に係る発明のヘッドマウントディスプレイでは、請求項２に記載の発明の効果に加え、表示領域内に表示されている表示画像が、接近する物体の方向に対して一定の速度で移動される。これにより、使用者は表示画像を見ながら、より自然に、接近する物体の方向を把握することができるとともに、その方向に自然に視線を向けることができる。

請求項４に係る発明のヘッドマウントディスプレイでは、請求項２に記載の発明の効果に加え、表示領域内に表示されている表示画像が、一定の速度で接近する物体の方向へ消去される。これにより、使用者は表示画像を見ながら、より自然に、接近する物体の方向を把握することができるとともに、その方向に自然に視線を向けることができる。

請求項５に係る発明のヘッドマウントディスプレイでは、請求項２に記載の発明の効果に加え、表示領域内に表示されている表示画像の色が、接近する物体の方向へ一定の速度で所定の色に変更される。これにより、使用者は表示画像を見ながら、より自然に、接近する物体の方向を把握することができるとともに、その方向に自然に視線を向けることができる。

請求項６に係る発明のヘッドマウントディスプレイでは、請求項１に記載の発明の効果に加え、表示領域において、使用者の視線を誘導する旨を示す情報である誘導情報が、方向検出手段により検出された方向に対して表示される。これにより、使用者は誘導情報を確認することにより、接近する物体の方向を把握できるとともに、その方向に自然に視線を向けることができる。

請求項７に係る発明のヘッドマウントディスプレイでは、請求項６に記載の発明の効果に加え、誘導情報は接近する物体の方向を示す矢印で表示される。これにより、使用者は、より分かりやすく接近する物体の方向を把握することができるとともに、その方向に自然に視線を向けることができる。

請求項８に係る発明のヘッドマウントディスプレイでは、請求項６又は７に記載の発明の効果に加え、表示領域内に表示されている誘導情報が、接近する物体の方向に対して一定の速度で移動される。これにより、使用者は表示画像を見ながら、より自然に、接近する物体の方向を把握することができるとともに、その方向に自然に視線を向けることができる。

請求項９に係る発明のヘッドマウントディスプレイでは、請求項１乃至８のいずれかに記載の発明の効果に加え、表示画像と、外界の画像との双方をシースルー表示にて、使用者に認識させる画像操作手段を備えている。これにより、接近する物体が検知された際にシースルー表示を使用し、使用者に対して接近する物体を知らせることができる。また、使用者は外界の画像を確認できるため、接近する物体を自身の眼で確認することができる。

以下、本発明のヘッドマウントディスプレイ２００の一実施の形態について、図面を参照して説明する。なお、これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、特に特定的な記載がない限り、それのみに限定する趣旨ではなく、単なる説明例である。

なお、本実施形態では、ヘッドマウントディスプレイとして、画像信号に応じた光束を２次元方向に走査し、その走査された光を眼に導き網膜上に表示画像を形成する網膜走査型ディスプレイを例に挙げて説明するが、これに限定しない。例えば、液晶ディスプレイ、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｅｎｃｅ）ディスプレイ等、他の画像表示装置を備え、利用者が頭部に装着して画像を鑑賞するヘッドマウントディスプレイであってもよい。

はじめに、図１を参照し、ヘッドマウントディスプレイ２００の概略構成について説明する。図１は、ヘッドマウントディスプレイ２００の外観構成を示した図である。

図１に示すように、ヘッドマウントディスプレイ２００は、画像信号に応じて変調されたレーザ光（以下「映像光４」という。）を走査させて出射させ、使用者３の少なくとも一方の眼の網膜に画像を直接投影する。これにより、使用者３に画像を視認させる。ヘッドマウントディスプレイ２００は、画像信号に応じて映像光４を出射する出射装置１００と、その出射装置１００から出射された映像光４を導くと共に、その映像光４を使用者３の眼に向かって反射させるプリズム１５０と、出射装置１００及びプリズム１５０を支持する頭部装着部２１０と、外界の映像を撮影するカメラ７とを少なくとも備えている。

出射装置１００は、映像光４をプリズム１５０に対し出射する。プリズム１５０は、出射装置１００に対して固定的な位置にあり、その出射装置１００から出射された映像光４を導き、その映像光４を使用者３の眼に向かって反射させる。プリズム１５０は、図示しないビームスプリッタ部を備えており、外界からの外光５を透過させ、使用者３の眼に導く。プリズム１５０は、使用者３の側方から入射された映像光４を使用者３の眼に入射させると共に、外界からの外光５を使用者３の眼に入射させる。これにより、実際の視界はもちろん、出射装置１００から出射された映像光４に基づく画像が視認可能となる。

なお本実施形態においては、プリズム１５０によって外光５と映像光４とを同時に視認することができるような構成とした。しかしながら本発明はこの構成に限定されず、例えば、プリズム１５０に代えてハーフミラーを用いることもできる。これにより、出射装置１００からの映像光４はハーフミラーに反射させて使用者３の眼に入射させると共に、外光５はハーフミラーを透過させて使用者３の眼に入射させることが可能となる。

図２を参照し、ヘッドマウントディスプレイ２００の電気的構成について説明する。図２は、ヘッドマウントディスプレイ２００の電気的構成を示す模式図である。

図２に示すように、ヘッドマウントディスプレイ２００は、使用者３に画像を視認させる表示部４０、各種操作やデータの入力を行うための入力部４１、画像情報等の送受信を行う通信部４３、ヘッドマウントディスプレイ２００で使用する機能の各種設定値等を記憶するフラッシュメモリ４９、表示部４０に表示する画像（グラフィック）やテキストなどのイメージデータが記憶されるビデオＲＡＭ４４、表示部４０に表示するテキストのフォントデータが記憶されるフォントＲＯＭ４５、ヘッドマウントディスプレイ２００全体を制御する制御部４６、外界の映像を撮影するカメラ７の制御を行うカメラ制御部９９、及び電源部４７を備えている。

表示部４０は、使用者３に視認させるための映像の情報（以下「映像情報」という。）を制御部４６より受信し、使用者３の網膜に直接投影させるために必要な各信号に変換する為の映像信号処理部７０、レーザ光を出力するレーザ群７２（青色出力レーザ（Ｂレーザ）７２１、緑色出力レーザ（Ｇレーザ）７２２、赤色出力レーザ（Ｒレーザ）７２３）、及び、レーザ群７２よりレーザ光を出力させるための制御を行うレーザドライバ群７１を備えている。そして、映像信号処理部７０の制御により、所望のレーザ光を所望のタイミングで出力させることが可能なように、映像信号処理部７０はレーザドライバ群７１と電気的に接続されている。またレーザドライバ群７１は、Ｂレーザ７２１、Ｇレーザ７２２、及びＲレーザ７２３と其々電気的に接続されている。また、映像信号処理部７０が制御部４６より映像信号を受信することが可能なように、映像信号処理部７０と制御部４６とはバスを介して電気的に接続されている。

また表示部４０は、レーザより出力されたレーザ光を垂直方向に反射させることによって走査を行う垂直走査ミラー８１２及び垂直走査ミラー８１２の駆動制御を行う垂直走査制御回路８１１、レーザより出力されたレーザ光を水平方向に反射させることによって走査を行う水平走査ミラー７９２及び水平走査ミラー７９２の駆動制御を行う水平走査制御回路７９１を備えている。そして、映像信号処理部７０の制御により、所望の方向にレーザ光を反射させることが可能なように、映像信号処理部７０と垂直走査制御回路８１１及び水平走査制御回路７９１とは其々電気的に接続されている。また、垂直走査制御回路８１１は垂直走査ミラー８１２と電気的に接続されている。また、水平走査制御回路７９１は水平走査ミラー７９２と電気的に接続されている。

入力部４１は、各種機能キーなどからなる操作ボタン群５０、操作ボタン群５０のキーが操作されたことを検出し、制御部４６に通知する入力制御回路５１を備えている。そして、操作ボタン群５０のキーに入力された情報を制御部４６（後述）にて認識することが可能なように、操作ボタン群５０は入力制御回路５１と電気的に接続されている。また入力制御回路５１は制御部４６と電気的に接続されている。

通信部４３は、無線電波を使用し、画像信号等の受信を行う通信モジュール５７と、この通信モジュール５７を制御する通信制御回路５８とを備えている。そして、制御部４６にて画像信号を取得することが可能なように、制御部４６と通信制御回路５８とはバスを介して電気的に接続されている。また、通信モジュール５７は通信制御回路５８と電気的に接続されている。

なお、通信モジュール５７の通信方式としては特に限定されず、従来周知の無線通信方式が使用可能である。例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）規格、無線ＬＡＮ（ＩＥＥＥ８０２．１１ｂ，１１ｇ，１１ｎなど）規格、ＷｉｒｅｌｅｓｓＵＳＢ規格などに準拠した無線通信方式が使用可能である。また、赤外線を利用したＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）規格に準拠した無線通信方式も使用可能である。

カメラ制御部９９は、外界の映像を撮影するためのカメラ７、このカメラ７の制御を行うカメラ制御回路８から構成されている。また、カメラ７にて撮影された外界の映像を記憶可能なように、バスを介して制御部４６、及びフラッシュメモリ４９に電気的に接続されている。

電源部４７は、ヘッドマウントディスプレイ２００を駆動させるための電源となる充電式の電池５９、及び、電池５９の電力をヘッドマウントディスプレイ２００に供給すると共に、充電用アダプタ（図示せず）から供給される電力を電池５９へ供給して電池５９の充電を行う充電制御回路６０を備えている。

フラッシュメモリ４９、ビデオＲＡＭ４４、及びフォントＲＯＭ４５は、制御部４６より各記憶領域に記憶された情報を参照することが可能なように、それぞれがバスを介して制御部４６と電気的に接続されている。

制御部４６は、ヘッドマウントディスプレイ２００全体を制御する機能を有しており、例えば、所望の情報を表示部４０に表示させたり、使用者３による入力部４１の操作に応じて所定の動作を行ったりする。

制御部４６は、ＣＰＵ６１、各種プログラムを格納したＲＯＭ６２、各種データが一時的に記憶されるＲＡＭ４８などから構成されている。制御部４６では、ＣＰＵ６１がＲＯＭ６２に格納された各種プログラムを読み出すことにより、各処理が実行される。ＲＡＭ４８は、ＣＰＵ６１が各処理を実行する場合に必要な各種フラグやデータの記憶領域を提供する。

表示部４０にて映像光４が形成される過程の概要について、図３を参照して詳説する。図３は、表示部４０において映像光４が形成される過程を説明した模式図である。表示部４０は、図３に示すように、光源ユニット部６５、コリメート光学系７７、水平走査系７９、第一リレー光学系８０、垂直走査系８１、第二リレー光学系８２を備えている。光源ユニット部６５は、映像信号処理部７０、レーザドライバ群７１、レーザ群７２、コリメート光学系７３、ダイクロイックミラー群７４、及び結合光学系７５を備えている。水平走査系７９は、水平走査制御回路７９１及び水平走査ミラー７９２を備えている。垂直走査系８１は、垂直走査制御回路８１１及び垂直走査ミラー８１２を備えている。

光源ユニット部６５の構成について図２、及び図３を参照して詳説する。映像信号処理部７０は、既述のように、制御部４６と電気的に接続されている。そして、制御部４６を介して所望の情報を網膜に投影させるためにビデオＲＡＭ４４に展開された映像情報が入力される。映像信号処理部７０には、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）、垂直同期信号６７、及び水平同期信号６８が其々入力される。映像信号処理部７０では、入力された映像情報を網膜に投影させるための要素となる各信号（輝度信号、垂直同期信号、水平同期信号）が生成される。生成された各信号は、輝度信号６６、垂直同期信号６７、及び水平同期信号６８に対して画素毎に出力される。

輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）は、レーザドライバ群７１（Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３）に其々入力される。水平同期信号６８は、水平走査系７９の水平走査制御回路７９１に入力される。垂直同期信号６７は、垂直走査系８１の垂直走査制御回路８１１に入力される。

レーザドライバ群７１は、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）に其々電気的に接続されている。レーザドライバ群７１は、輝度信号６６（Ｂ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３）を介して伝達された各信号の各輝度信号に基づいて、強度変調されたレーザ光をレーザ群７２より出射させるために、レーザ群７２を駆動する。

光源ユニット部６５には、レーザドライバ群７１の制御に基づきレーザ群７２より出射された３色（青色、緑色、赤色）のレーザ光を平行光にコリメートさせることが可能なコリメート光学系７３（７３１〜７３３）、コリメート光学系７３にてコリメートされたレーザ光を合波させることが可能なダイクロイックミラー群７４（７４１〜７４３）、合波されたレーザ光を光ファイバ７６に導くための結合光学系７５が其々設けられている。

尚、レーザ群７２（Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３）として、レーザダイオード等の半導体レーザや固体レーザを利用してもよい。

また、レーザ光を、水平方向に走査させるための水平走査ミラー７９２が水平走査系７９に設けられている。水平走査ミラー７９２の偏向面７９３に入射されたレーザ光は、水平走査制御回路７９１の制御により、水平同期信号６８より受信される水平同期信号に同期して水平方向に走査される。本実施の形態の水平走査系７９は、表示すべき画像の１走査線毎に、レーザ光を水平方向に水平走査（１次走査の一例）させるための光学系である。

また、水平走査されたレーザ光を垂直走査系８１に導くための第一リレー光学系８０が表示部４０に設けられている。また、第一リレー光学系８０により導かれたレーザ光を垂直方向に走査させるための垂直走査ミラー８１２が垂直走査系８１に設けられている。垂直走査ミラー８１２の偏向面８１３に入射されたレーザ光は、垂直走査制御回路８１１の制御により、映像信号処理部７０より受信される垂直同期信号に同期して垂直方向に走査される。本実施の形態の垂直走査系８１は、表示すべき画像の１フレーム毎に、レーザ光を最初の走査線から最後の走査線に向かって垂直に垂直走査（２次走査の一例）する光学系である。

垂直走査されたレーザ光（映像光４（図１参照））をプリズム１５０に導くための第二リレー光学系８２が表示部４０に設けられている。第二リレー光学系８２にて導かれた映像光４は、プリズム１５０に入射される。プリズム１５０は、第二リレー光学系８２と使用者３の瞳孔９０との間に配置される。プリズム１５０は、映像光４を全反射させるなどして、使用者３の瞳孔９０に導く。

上述の表示部４０では、水平走査系７９は、垂直走査系８１より高速にすなわち高周波数でレーザ光を走査するように設計される。また、第一リレー光学系８０は、水平走査系７９の水平走査ミラー７９２と、垂直走査系８１の垂直走査ミラー８１２とが共役となるように構成されている。第二リレー光学系８２は、垂直走査ミラー８１２と、使用者３の瞳孔９０とが共役となるように構成されている。

本発明の一実施形態のヘッドマウントディスプレイ２００が、外部からの映像信号を受けてから、使用者３の網膜上に映像を投影するまでの過程について、図３を参照して説明する。

本実施形態のヘッドマウントディスプレイ２００では、光源ユニット部６５に設けられた映像信号処理部７０が映像信号を受信する。次いで映像信号処理部７０より、赤、緑、青の各色のレーザ光を出力させるためのＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３からなる輝度信号６６と、水平同期信号６８と、垂直同期信号６７とが出力される。

Ｂレーザドライバ７１１、Ｇレーザドライバ７１２、Ｒレーザドライバ７１３は、各々入力されたＢ輝度信号６６１、Ｇ輝度信号６６２、Ｒ輝度信号６６３に基づき、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３に対してそれぞれの駆動信号を出力する。

上述の駆動信号に基づいて、Ｂレーザ７２１、Ｇレーザ７２２、Ｒレーザ７２３は、それぞれ強度変調されたレーザ光を発生させる。発生されたレーザ光は、コリメート光学系７３に出力される。レーザ光は、コリメート光学系７３によってそれぞれが平行光にコリメートされ、更に、ダイクロイックミラー７４に入射されて１つのレーザ光となるよう合成される。合成されたレーザ光は、結合光学系７５によって光ファイバ７６に入射されるよう導かれる。

光ファイバ７６を伝達したレーザ光は、光ファイバ７６からコリメート光学系７７に導かれる。そして水平走査系７９に出射される。

水平走査系７９に入射されたレーザ光は、水平走査ミラー７９２の偏向面７９３にて、水平同期信号６８に同期して水平方向に走査される。水平走査ミラー７９２は、水平同期信号６８に同期して、その偏向面７９３が入射光を水平方向に反射するように往復振動をしている。この水平走査ミラー７９２によってレーザ光は水平方向に走査される。水平走査されたレーザ光は、第一リレー光学系８０を介し、垂直走査系８１に出射される。

第一リレー光学系８０では、水平走査ミラー７９２の偏向面７９３と垂直走査ミラー８１２の偏向面８１３とが共役の関係となるように調整され、また、水平走査ミラー７９２の面倒れが補正される。

垂直走査系８１に入射されたレーザ光は、垂直走査ミラー８１２の偏向面８１３にて、垂直同期信号６７に同期して垂直方向に走査される。垂直走査ミラー８１２は、水平走査ミラー７９２が水平同期信号６８に同期することと同様に垂直同期信号６７に同期して、その偏向面８１３が入射光を垂直方向に反射するように往復振動をしている。この垂直走査ミラー８１２によってレーザ光は垂直方向に走査される。

水平走査系７９及び垂直走査系８１によって垂直方向及び水平方向に２次元に走査されたレーザ光（映像光４）は、垂直走査ミラー８１２の偏向面８１３と、ユーザの瞳孔９０とが共役の関係となるように設けられた第二リレー光学系８２、プリズム１５０によりユーザの瞳孔９０へ入射され、網膜上に投影される。

以上説明した過程を経ることにより、使用者３は、２次元走査されて網膜上に投影されたレーザ光による画像を認識することが可能となる。

以上のように構成されたヘッドマウントディスプレイ２００での各種表示領域、使用者３の視認可能な領域、及びカメラ７の撮影可能な領域ついて図４を参照して説明する。図４は、カメラ撮影可能領域１４０、視界領域１３０、映像表示可能領域１２０、及び映像表示領域１１０を示す模式図である。

ヘッドマウントディスプレイ２００を装着した状態で、使用者３は外界の映像を含めて視認可能な領域である視界領域１３０内で映像を把握することができる。そして、視界領域１３０の内側には、ヘッドマウントディスプレイ２００から網膜上に投影される映像光４により、使用者３が映像情報を認識可能な領域である映像表示可能領域１２０が存在する。そして、映像表示可能領域１２０のさらに内側の中央部には、実際の映像を表示する領域である映像表示領域１１０が存在する。ここで、ヘッドマウントディスプレイ２００において、通常の映像を表示する際、視界領域１３０の中央部に位置する映像表示領域１１０を主として利用するものとする。また、視界領域１３０の外側には、ヘッドマウントディスプレイ２００に装着されたカメラ７により撮影可能な範囲であるカメラ撮影可能領域１４０が存在する。このカメラ撮影可能領域１４０は、使用者３が認識可能な領域である視界領域１３０より広い範囲となっている。

次に、ヘッドマウントディスプレイ２００に対して接近する物体（以下、「接近物体」という。）を検知するメイン処理について図５を参照して説明する。図５は、ヘッドマウントディスプレイ２００に対する接近物体を検知するメイン処理のフローチャートである。なお、このメイン処理は、ヘッドマウントディスプレイ２００の電源起動時に実行される処理である。また、ヘッドマウントディスプレイ２００の電源がＯＦＦになった際には、自動的に終了するものとする。また、ヘッドマウントディスプレイ２００で実行される他の処理については、別のタスクで実行されるものとする。他の処理についての説明は省略する。

ヘッドマウントディスプレイ２００に対する接近物体を検知するメイン処理が実行されると、エラーチェックが行われる（Ｓ１１）。このエラーチェックは、接近物体を検知するカメラ７、カメラ制御回路８等の異常を検出する処理である。エラーチェックによりカメラ７、カメラ制御回路８等に異常があると判断された場合（Ｓ１２：ＹＥＳ）、エラー表示を映像表示可能領域１２０内に表示し（Ｓ２０）、接近物体を検知するメイン処理が終了する。ここで、例えば、エラー表示として、「カメラに異常が検出されました」等のメッセージが表示される。

また、エラーチェックによりカメラ７、カメラ制御回路８等に異常がないと判断された場合（Ｓ１２：ＮＯ）、初期設定が行われる（Ｓ１３）。ここで、例えば、初期設定として、カメラ７のレンズ等を調整するキャリブレーション等が行われる。また、接近物体について使用者に警告するかしないかの有無、警告方法等の予め使用者３が設定した情報が取得される。

次いで、ヘッドマウントディスプレイ２００に接近する接近物体を検知する処理である接近物体検知処理が実行される（Ｓ１４）。この接近物体検知処理についての詳細は後述する。そして、ヘッドマウントディスプレイ２００に接近する接近物体を検出したか否かが判断される（Ｓ１５）。この判断処理は、接近物体検知処理（Ｓ１４）の結果に基づいて判断される。ヘッドマウントディスプレイ２００に接近する接近物体を検知した場合（Ｓ１５：ＹＥＳ）、接近物体の接近する方向に対して、使用者３の視線を誘導する情報（以下、「誘導情報」という。）を表示する警告表示処理が行われる（Ｓ１６）。この警告表示処理に関しての詳細は、後述する。そして、表示リセット処理が行われる（Ｓ１７）。この表示リセット処理は、警告表示処理（Ｓ１６）で表示した誘導情報を映像表示可能領域１２０から所定時間後に消去する処理である。ここで、所定時間は使用者３が誘導情報を認識できる時間であればよく、２秒程度とする。そして、Ｓ１４へ移行し、再度、接近物体検知処理（Ｓ１４）が行われる。

また、ヘッドマウントディスプレイ２００に接近する接近物体を検知しなかった場合（Ｓ１５：ＮＯ）、再度、接近物体検知処理（Ｓ１４）が行われる。

次に、図６を参照して、接近物体検知処理について説明する。図６は、接近物体検知処理のサブルーチンのフローチャートである。接近物体検知処理が実行されると、第１画像の輪郭データ（以下、「第１輪郭データ」という。）があるか否かが判断される（Ｓ３１）。この第１輪郭データは、カメラ７により撮影された画像において取得した第１輪郭データがＲＡＭ４８の第１輪郭データ記憶領域（図示外）に記憶されているか否かが判断される。

第１輪郭データ記憶領域に第１輪郭データが記憶されていないと判断された場合（Ｓ３１：ＮＯ）、カメラ７によりカメラ撮影可能領域１４０（図４参照）内の画像が第１画像として撮影され（Ｓ３２）、第１画像に撮影されている物体の輪郭データが抽出される（Ｓ３３）。カメラ７により撮影された画像の画素に対してグレースケール化を行い、輪郭データを抽出する。

ここで、輪郭データを抽出する際は、周知の一次微分法を使用する。一次微分法の輪郭抽出では、各画素における濃度の勾配を求めることによって輪郭の強さと方向とを算出し、濃度値が急激に変化する部分を輪郭データとして抽出する。まず、ｘ方向の微分ｇｘと、ｙ方向の微分ｇｙとを、ｇｘ＝ｐ（ｘ＋１，ｙ）−ｐ（ｘ，ｙ），ｇｙ＝ｐ（ｘ，ｙ＋１）−ｐ（ｘ，ｙ）として求める。ただし、デジタル画像はデータが離散的であるので、隣接画素間の差分をとることで微分を近似する。ここでｐ（ｘ，ｙ）は、画素（ｘ，ｙ）における画素値である。次に、ｇｘ，ｇｙより輪郭の強さをＥ（ｘ，ｙ）＝｜ｇｘ｜＋｜ｇｙ｜として算出する。ここで、ベクトル（ｇｘ，ｇｙ）の方向は、輪郭の方向を示す。

次いで、Ｓ３３で取得した第１輪郭データをＲＡＭ４８の第１輪郭データ記憶領域（図示外）に保存する。そして、所定時間後に第２画像が撮影される（Ｓ３５）。所定時間は第１画像との差異を検出できるだけの時間があればよく、例えば、１／３０秒とする。

また、第１輪郭データ記憶領域に第１輪郭データが記憶されていると判断された場合（Ｓ３１：ＹＥＳ）、Ｓ３２〜Ｓ３４の処理を実行せず、Ｓ３５へ移行する。

次いで、Ｓ３５で取得した第２画像に撮影されている物体の輪郭データが抽出される（Ｓ３６）。この輪郭データは、Ｓ３３と同様にして抽出される。そして、第２画像の輪郭データ（以下、「第２輪郭データ」という。）がＲＡＭ４８の第２輪郭データ記憶領域（図示外）に記憶される（Ｓ３７）。

次いで、ＲＡＭ４８の第１輪郭データ記憶領域（図示外）に記憶されている第１輪郭データと、第２輪郭データ記憶領域（図示外）に記憶されている第２輪郭データとの差分が取得される（Ｓ３８）。ここで、この差分は、第１輪郭データと第２輪郭データとの各画素に対しての差分である。静止している物体を含む画像領域では、画像の濃度値に差はないため、差分値が「０」となる。また、静止している物体を含む画像領域では、画素の濃度値に変化があるため、差分値が「０」より大きくなる。

そして、Ｓ３８で取得した差分値が、閾値以上である画素を含む領域（以下、「対象領域」という。）が存在するか否かが判断される（Ｓ４１）。この閾値は、ノイズを除去するための値であり、閾値より小さい差分の値であれば、ノイズであると判断される。対象領域が存在しない場合（Ｓ４１：ＮＯ）、第２輪郭データを第１輪郭データとして、ＲＡＭ４８の第１輪郭データ記憶領域（図示外）に記憶する（Ｓ４８）。そして、ＲＡＭ４８の第２輪郭データ記憶領域（図示外）に記憶されている第２輪郭データが削除される。

対象領域が存在する場合（Ｓ４１：ＹＥＳ）、第１輪郭データの対象領域と、第２輪郭データの対象領域とのマッチング処理を行う（Ｓ４２）。このマッチング処理は、周知のテンプレートマッチング処理によって行われる。テンプレートマッチング処理では、正規化相関値ＮＲＭＬを使用して行う。

ここで、対象領域内の画素をＫ＊Ｌとし、第１輪郭データの対象領域の画素値Ｔ（ｘ，ｙ）、第２輪郭データの対象領域の画素値Ｉ（ｘ，ｙ）とすると、正規化相関値ＮＲＭＬ（ｘ，ｙ）は、次式により表される。

ここで、正規化相関値ＮＲＭＬ（ｘ，ｙ）の値は、画像の相関が高い程、「１．０」に近い値となり、画像の相関が低い程、「０．０」に近づく。そして、相関がない場合、値「０．０」となる。つまり、理想的に第１輪郭データの対象領域と、第２輪郭データの対象領域とが一致した場合、値「１．０」となる。

そして、マッチング処理によってマッチングしているか否かが判断される（Ｓ４３）。このマッチング処理は、正規化相関値ＮＲＭＬ（ｘ，ｙ）が所定値を超えたか否かで判断される。所定値を超えた場合、対象領域はマッチングしていると判断される。マッチングしていると判断されなかった場合（Ｓ４３：ＮＯ）、Ｓ４８へ移行し、第２輪郭データを第１輪郭データとして、ＲＡＭ４８の第１輪郭データ記憶領域（図示外）に記憶する。そして、ＲＡＭ４８の第２輪郭データ記憶領域（図示外）に記憶されている第２輪郭データが削除される。つまり、第１輪郭データ記憶領域に記憶されている第１輪郭データは、最新のもとなる。

また、マッチングしていると判断された場合（Ｓ４３：ＹＥＳ）、拡大率が算出される（Ｓ４４）。この拡大率は、第１輪郭データの対象領域内のデータが、第２輪郭データの対象領域内のデータへ拡大された割合であり、第１輪郭データの対象領域内のデータ対する、第２輪郭データの対象領域内のデータの面積比の平方根を求めることにより算出される。

次いで、Ｓ４４で算出された拡大率が所定値以上か否かが判断される（Ｓ４５）。ここで、接近物体が、ヘッドマウントディスプレイ２００の使用者３に対して一定の距離以内に接近している場合は拡大率が大きくなる。拡大率が所定値より小さいと判断された場合（Ｓ４５：ＮＯ）、Ｓ４８へ移行し、第２輪郭データを第１輪郭データとして、ＲＡＭ４８の第１輪郭データ記憶領域（図示外）に記憶する。そして、ＲＡＭ４８の第２輪郭データ記憶領域（図示外）に記憶されている第２輪郭データが削除される。

また、Ｓ４４で取得された拡大率が所定値以上と判断された場合（Ｓ４５：ＹＥＳ）、接近物体が接近する方向（以下、「接近方向情報」という。）が取得される（Ｓ４６）。この接近方向情報は、カメラ撮影可能領域１４０（図４参照）を縦、横を各３等分し、全体で９分割（「右」、「左」、「上」、「下」、「正面」、「右上」、「右下」、「左上」、「左下」とする。）した際に、接近物体が検出された領域に対応する方向である。ここで、例えば、「右」の領域で接近物体が検出された場合は、接近方向情報は「右」となる。そして、接近方向情報が、ＲＡＭ４８の接近物体方向記憶エリア（図示外）に記憶される（Ｓ４７）。次いで、Ｓ４８へ移行し、第２輪郭データを第１輪郭データとして、ＲＡＭ４８の第１輪郭データ記憶領域（図示外）に記憶する。そして、ＲＡＭ４８の第２輪郭データ記憶領域（図示外）に記憶されている第２輪郭データが削除される。

次に、図７、及び図８を参照して、警告表示処理について説明する。図７は、警告表示処理のサブルーチンのフローチャートである。図８は、警告表示がされた際のカメラ撮影可能領域１４０、視界領域１３０、映像表示可能領域１２０、及び映像表示領域１１０を示す模式図である。

警告表示処理が実行されると、接近方向情報が存在するか否かが取得される（Ｓ５１）。この接近方向情報は、図６のＳ４７でＲＡＭ４８の接近物体方向記憶エリア（図示外）に記憶された情報である。接近方向情報が接近物体方向記憶エリアに存在しない場合（Ｓ５１：ＮＯ）、警告表示処理を終了する。

接近方向情報がＲＡＭ４８の接近物体方向記憶エリアに存在すると判断された場合（Ｓ５１：ＹＥＳ）、ＲＡＭ４８の接近物体方向記憶エリアから接近方向情報が取得される（Ｓ５２）。そして、取得した接近方向情報に対応する方向を示す矢印を映像表示可能領域１２０に表示する（Ｓ５３）。ここで、例えば、接近方向情報の示す方向が「右」である場合、図８に示すように、映像表示可能領域１２０の「右」の表示領域に所定の矢印３００が表示される。ここで、「右」の表示領域とは、映像表示可能領域１２０を縦、横を各３等分し、全体で９分割（「右」、「左」、「上」、「下」、「正面」、「右上」、「右下」、「左上」、「左下」とする。）した際の、右側の中央の表示領域である。なお、「正面」の表示領域の場合は、対向する２つの矢印が映像表示可能領域１２０の中央に向けて表示される。

そして、ＲＡＭ４８の接近物体方向記憶エリア（図示外）に記憶された接近方向情報が削除され（Ｓ５４）、警告表示処理が終了する。

以上説明したように、本実施の形態によると、ヘッドマウントディスプレイ２００に装着されているカメラ７により外界を撮影し、所定時間後に撮影される撮影画像と比較することにより、接近物体を把握することができる。そして、映像表示可能領域１２０内に矢印により接近物体の接近してくる方向を示す警告表示を表示する。これにより、使用者３は、接近する物体の方向を示す警告表示を確認でき、接近する物体の方向に対して視線を向け、対応することができる。

ここで、表示部４０が「画像表示部」に相当し、接近物体が接近する方向を示す矢印３００が「誘導情報」に相当する。また、図６のＳ４１〜Ｓ４７の処理を実行するＣＰＵ６１が「接近物検出手段」に相当する。また、図６のＳ４６の処理を実行するＣＰＵ６１が「方向検出手段」に相当する。また、図７のＳ５３の処理を実行するＣＰＵ６１が「表示制御手段」に相当する。

尚、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を脱しない範囲内において種々の変更が可能であることは無論である。上述した実施の形態では、対象領域のマッチング処理（図６：Ｓ４２）で、正規化相関により、第１輪郭データの対象領域と、第２輪郭データの対象領域との相関値を求める場合を示したが、これに限定しない。例えば、正規化相関の代わりに、より計算量の少ない差分法や差分絶対値和法といった手法を用いてもよい。また、相関値の計算に画素値を用いたが、画素の輝度値を用いてもよい。

また、輪郭データを抽出する（図６：Ｓ３３，Ｓ３６）際に、一次微分法を使用したがこれに限定しない。例えば、勾配に対してもう一度微分を行い輪郭の強さを算出する二次微分法を使用してもよい。

また、ヘッドマウントディスプレイ２００を装着する使用者３に対して、矢印３００を使用することで接近物体の接近方向を通知するが、これに限定しない。例えば、表示した矢印３００を接近してくる方向に対して所定の速度で移動するようにしてもよい。これにより、使用者３は、映像表示領域１１０に表示される表示画像を見ながら、より自然に、接近する物体の方向を把握することができるとともに、その方向に自然に視線を向けることができる。また、矢印３００をブリンクさせるようにしてもよい。なお、接近物体の速度が速ければ、矢印３００の移動速度を速くし、接近物体の速度が遅ければ、矢印３００の移動速度を遅くしてもよい。

また、接近物体の接近方向を示す警告表示の手段としては、矢印３００に限定しない。例えば、映像表示可能領域１２０内で表示画像が表示される映像表示領域１１０を、接近物体の接近方向に対して移動させてもよい。これについての詳細は、図９を参照して説明する。図９は、映像表示領域１１１が移動された際のカメラ撮影可能領域１４０、視界領域１３０、映像表示可能領域１２０、及び映像表示領域１１０を示す模式図である。

図９に示すように、接近物体が検知されていない状態では、映像表示領域１１１は映像表示可能領域１２０の略中央に位置している。そして、接近物体検知処理（図６参照）により接近物体が検知されると、警告表示処理（図７参照）により接近する方向に対して映像表示領域１１１が移動する。なお、図９では、ヘッドマウントディスプレイ２００の右側から接近物体が接近し、映像表示領域１１１が、映像表示領域１１０の位置に移動したものである。これにより、ヘッドマウントディスプレイ２００を使用する使用者３は、より自然に、接近物体の接近する方向を把握することができると共に、その方向に視線を移動することができる。

また、接近物体の接近方向を示す警告表示の手段として、映像表示領域１１０に表示される表示画像を、接近物体が接近する方向へと、徐々に消していってもよい。これについての詳細は、図１０を参照して説明する。図１０は、映像表示領域１１２が消去された際のカメラ撮影可能領域１４０、視界領域１３０、映像表示可能領域１２０、及び映像表示領域１１０を示す模式図である。

図１０に示すように、接近物体が検知されていない状態では、映像表示領域１１２は映像表示可能領域１２０の略中央に位置している。そして、接近物体検知処理（図６参照）により接近物体が検知されると、警告表示処理（図７参照）により接近物体が接近する方向へと映像表示領域１１２が削除されていく。なお、図１０では、ヘッドマウントディスプレイ２００の右側から接近物体が接近し、映像表示領域１１２が左側から右側方向へと消去され、映像表示領域１１０の状態になったものである。これにより、ヘッドマウントディスプレイ２００を使用する使用者３は、より自然に、接近物体の接近する方向を把握することができるとともに、その方向に視線を移動することができる。

また、接近物体の接近方向を示す警告表示の手段として、映像表示領域１１０に表示される表示画像を、接近物体が接近する方向へと、所定の色に徐々に変更するようにしてもよい。この所定の色は、使用者が色の変色を認識できればよい。

また、図７のＳ５３で接近方向情報に対応する方向を示す矢印を映像表示可能領域１２０に表示しているが、シースルー表示を行い、使用者３に対して映像表示領域１１０に表示される表示画像と、外界の画像との双方を視認させるようにしてもよい。これにより、使用者３に対して接近物体を知らせることができ、使用者３は外界の画像を確認できるため、接近物体を自身の眼で確認することができる。

ヘッドマウントディスプレイ２００の外観構成を示した図である。 ヘッドマウントディスプレイ２００の電気的構成を示す模式図である。 表示部４０において映像光４が形成される過程を説明した模式図である。 カメラ撮影可能領域１４０、視界領域１３０、映像表示可能領域１２０、及び映像表示領域１１０を示す模式図である。 ヘッドマウントディスプレイ２００に対する接近物体を検知するメイン処理のフローチャートである。 接近物体検知処理のサブルーチンのフローチャートである。 警告表示処理のサブルーチンのフローチャートである。 警告表示がされた際のカメラ撮影可能領域１４０、視界領域１３０、映像表示可能領域１２０、及び映像表示領域１１０を示す模式図である。 映像表示領域１１１が移動された際のカメラ撮影可能領域１４０、視界領域１３０、映像表示可能領域１２０、及び映像表示領域１１０を示す模式図である。 映像表示領域１１２が消去された際のカメラ撮影可能領域１４０、視界領域１３０、映像表示可能領域１２０、及び映像表示領域１１０を示す模式図である。

符号の説明

３ 使用者
４ 映像光
５ 外光
７ カメラ
４０ 表示部
４８ ＲＡＭ
６１ ＣＰＵ
６２ ＲＯＭ
１００ 出射装置
１１０，１１１，１１２ 映像表示領域
１２０ 映像表示可能領域
１３０ 視界領域
１４０ カメラ撮影可能領域
２００ ヘッドマウントディスプレイ
３００ 矢印

Claims (9)

1. 使用者の頭部に装着する頭部装着部と、前記使用者の眼に表示画像の映像光を光学的に導いて視認させる画像表示部とを有するヘッドマウントディスプレイにおいて、
   前記ヘッドマウントディスプレイに対して接近する物体を検出する接近物検出手段と、
   前記接近物検出手段により検出された物体の接近する方向を検出する方向検出手段と、
   前記表示画像が表示される表示領域において、前記方向検出手段により検出された方向に対して、前記使用者の視線を誘導するための表示制御を行う表示制御手段と
   を備えたことを特徴とするヘッドマウントディスプレイ。
2. 前記表示制御は、
   前記表示画像の表示を前記方向検出手段にて検出された方向に対して変形表示することであることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記表示制御は、
   前記表示領域内で、前記方向検出手段により検出された方向に所定の速度で前記表示画像を移動させることであることを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記表示制御は、
   前記方向検出手段により検出された方向へ、前記表示領域内の前記表示画像を消していくことであることを特徴とする請求項２に記載のヘッドマウントディスプレイ。
5. 前記表示制御は、
   前記方向検出手段により検出された方向へ、前記表示領域内の前記表示画像の色を、所定の色へ変更することであることを特徴とする請求項２に記載のヘッドマウントディスプレイ。
6. 前記表示制御は、
   前記表示領域内において、前記使用者の視線を誘導する旨を示す情報である誘導情報を、前記方向検出手段により検出された方向に表示することであることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
7. 前記誘導情報は、
   前記方向検出手段により検出された方向を示す矢印であることを特徴とする請求項６に記載のヘッドマウントディスプレイ。
8. 前記表示制御は、
   前記表示領域内において、前記方向検出手段により検出された方向に所定の速度で前記誘導情報を移動させることであることを特徴とする請求項６又は７に記載のヘッドマウントディスプレイ。
9. 前記画像表示部の前記表示領域において、前記表示画像と、外界の画像との双方を前記使用者の眼に視認させるシースルー表示を行う画像操作手段を備えたことを特徴とする請求項１乃至８のいずれかに記載のヘッドマウントディスプレイ。
   

Images