JP2011085829A

JP2011085829A - ヘッドマウントディスプレイ

Info

Publication number: JP2011085829A
Application number: JP2009240082A
Authority: JP
Inventors: Hidenori Kuribayashi; 英範栗林
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-10-19
Filing date: 2009-10-19
Publication date: 2011-04-28

Abstract

【課題】環境の明るさの変化にかかわらず、画像が見易いヘッドマウントディスプレイの提供。
【解決手段】ヘッドマウントディスプレイ１００はヘッドバンドとフロントアームと筐体とを備える。筐体に画像出力部（表示手段）３０と瞳孔径計測部（瞳孔径計測手段）４０と光センサ５１とが設けられている。光センサ５１は環境光計測部５０の一部を構成する。瞳孔計測部４０で計測された瞳孔径と光センサ５１で検知された環境光の明るさとに基づいて画像出力部３０の輝度を制御する。
【選択図】図８

Description

この発明はヘッドマウントディスプレイに関する。

従来、画像を表示する画像出力部に、画像出力部の置かれている環境の明るさを検出する光センサを設け、光センサの検出結果に応じて、画像出力部の輝度を変えるヘッドマウントディスプレイが知られている（下記特許文献参照）。

特開２００４−２３３９０８号公報

上記ヘッドマウントディスプレイでは、光センサで検出される範囲の環境の明るさが変化すると、画像を見ていない方の眼（右眼）で見ている環境（光センサで検出される範囲以外の環境）の明るさが変化しなくとも、画像出力部の輝度が変化し、画像が見づらくなるという問題がある。特に、単眼のヘッドマウントディスプレイにおいては、画像を見ていない眼（右眼）に入射する光量と画像を見ている眼（左眼）に入射する光量とを同じにしないと画像が見づらくなる。

この発明はこのような事情に鑑みてなされたもので、その課題は環境の明るさの変化にかかわらず、画像が見易いヘッドマウントディスプレイを提供することである。

上記課題を解決するため請求項１記載の発明は、少なくとも使用者の一方の眼の前方に配置され、画像を表示する表示手段と、前記眼の前方の明るさを検知する光センサと、前記使用者の瞳孔径を計測する瞳孔径計測手段と、前記光センサの検知結果と前記瞳孔径計測手段の計測結果とに基づいて前記表示手段の輝度を制御する輝度制御手段とを備えていることを特徴とする。

請求項２記載の発明は、請求項１記載のヘッドマウントディスプレイにおいて、前記瞳孔径計測手段の計測対象は前記使用者の少なくとも一方の眼の瞳孔径であることを特徴とする。

請求項３記載の発明は、請求項１記載のヘッドマウントディスプレイにおいて、前記瞳孔径計測手段は前記表示手段の近傍に配置されていることを特徴とする。

請求項４記載の発明は、請求項１記載のヘッドマウントディスプレイにおいて、前記表示手段は一方の眼の近傍に配置され、前記瞳孔径計測手段は他方の眼の近傍に配置されていることを特徴とする。

請求項５記載の発明は、請求項４記載のヘッドマウントディスプレイにおいて、前記瞳孔径計測手段は計測対象の眼の視野外に配置されることを特徴とする。

請求項６記載の発明は、請求項１記載のヘッドマウントディスプレイにおいて、前記輝度制御手段は、前記光センサの検知結果と前記瞳孔径計測手段の計測結果とに基づいて光刺激による瞳孔径の変化を抽出することを特徴とする。

請求項７記載の発明は、請求項６記載のヘッドマウントディスプレイにおいて、前記輝度制御手段は、前記光センサによって明るさの変化が検知され、前記瞳孔径の急激な変化が計測されたとき、前記表示手段の輝度を変えることを特徴とする。

請求項８記載の発明は、請求項７記載のヘッドマウントディスプレイにおいて、前記輝度の変化量は、前記瞳孔径が急激に変化したときの微分値で決定されることを特徴とする。

請求項９記載の発明は、請求項７又は８記載のヘッドマウントディスプレイにおいて、前記輝度の最大変化量は、対光反応時の前記瞳孔径の最大縮瞳量と前記光センサの検知結果とで決定されることを特徴とする。

請求項１０記載の発明は、請求項８又は９記載のヘッドマウントディスプレイにおいて、前記微分値及び前記最大縮瞳量の閾値を使用者の対光反応に応じて変化させることを特徴とする。

請求項１１記載の発明は、請求項１〜１０のいずれか１項記載のヘッドマウントディスプレイにおいて、前記表示手段はシースルー型であることを特徴とする。

この発明によれば、環境の明るさの変化にかかわらず、画像が見易いヘッドマウントディスプレイを提供することができる。

図１はこの発明の第１実施形態に係るヘッドマウントディスプレイを使用者の頭部に装着した状態を示す斜視図である。図２は画像出力部と瞳孔径計測部と頭部との位置関係を示す概念図である。図３はこの発明の第１実施形態の変形例に係るヘッドマウントディスプレイを使用者の頭部に装着したときの画像出力部と瞳孔径計測部と頭部との位置関係を示す概念図である。図４はこの発明の第２実施形態に係るシースルー型のヘッドマウントディスプレイを使用者の頭部に装着した状態を側面から見たときの概念図である。図５は環境が明るくなり瞳孔径が縮瞳したときの画像出力部の輝度の設定方法を説明する図である。図６は環境が暗くなり瞳孔径が縮瞳したときの画像出力部の輝度の設定方法を説明する図である。図７は光刺激に対する縮瞳量の閾値の決定方法を説明するフローチャートである。図８はヘッドマウントディスプレイのブロック図である。

以下、この発明の実施の形態を図面に基づいて説明する。

図１はこの発明の第１実施形態に係るヘッドマウントディスプレイ１００を使用者の頭部Ｈに装着した状態を示す斜視図である。

ヘッドマウントディスプレイ１００はヘッドバンド１０とフロントアーム２０と筐体５とを備える。筐体５に画像出力部（表示手段）３０と瞳孔径計測部（瞳孔径計測手段）４０と光センサ５１とが設けられている。光センサ５１は後述する環境光計測部５０の一部を構成する。

ヘッドバンド１０は円弧状であり、使用者の頭部Ｈに装着される。

ヘッドバンド１０の両端部に取付部１２,１３を介してヘッドホン部１５,１６が取り付けられている。取付部１２,１３、ヘッドホン部１５,１６はヘッドバンド１０の弾性力によって側頭部（両耳の周辺）を押圧されている。

また、ヘッドバンド１０の一端部には、弓形状のフロントアーム２０を摺動可能に支持する収容部２５が取付部１２を介して取り付けられている。取付部１２,１３には、例えばＬＣＤパネルを駆動する回路部（図示せず）や回路部を制御する操作部（図示せず）等がケーブル（図示せず）を介して接続されている。

フロントアーム２０の先端部に筐体５が設けられている。

瞳孔径計測部４０は使用者の瞳孔径を計測する。

光センサ５１は筐体５の背面に配置され、左眼ＬＥの前方の明るさを検知する。光センサ５１は左眼Ｅの視軸とほぼ同一軸上に配置されている。

図２は画像出力部３０と瞳孔径計測部４０と頭部Ｈとの位置関係を示す概念図である。

画像出力部３０は接眼レンズ（接眼光学系）３５とハーフミラー３６とコンデンサレンズ３７とＬＣＤパネル３８とを備える。

ＬＣＤパネル３８は二次元表示素子である。ＬＣＤパネル３８は図示しないバックライトによって背面から照明される。なお、ＬＣＤパネル３８に代えてＣＲＴや有機ＥＬ素子を用いてもよい。

ハーフミラー３６は使用者の左眼Ｅの前方からの光を透過することができるとともに、ＬＣＤパネル３８からの表示光を使用者の眼Ｅに向けて反射させる。

ＬＣＤパネル３８からの光はコンデンサレンズ３７でハーフミラー３６に集光され、ハーフミラー３６で反射された後、接眼レンズ３５で拡大された像が使用者の眼Ｅに投影される。

瞳孔径計測部４０は接眼レンズ３５とハーフミラー３６と瞳孔径を算出する算出回路を有する前眼部計測用カメラ４５とを備える。なお、前眼部計測用カメラ４５はハーフミラー３６によって使用者の視界に入らない。

接眼レンズ３５とハーフミラー３６とコンデンサレンズ３７とＬＣＤパネル３８とビデオカメラ４５とは例えば図示しないフレームを介して筐体５に保持される。

図２において、使用者は左眼ＬＥで画像出力部３０の画像を見ており、右眼ＲＥで外界を見ている。例えば外界が明るくなり、外界を見ている右眼ＲＥで眩しさが検知されると、右眼ＲＥの瞳孔が縮瞳する。この右眼ＲＥの瞳孔の縮瞳に連動して左眼ＬＥの瞳孔も縮瞳する。したがって、前眼部計測用カメラ４５で左眼ＬＥの瞳孔径を計測すれば、環境光によって変化する右眼ＲＥの瞳孔径の変化を検出できることがわかる。

図８はヘッドマウントディスプレイ１００のブロック図である。

ヘッドマウントディスプレイ１００は画像出力部３０と瞳孔径計測部４０と環境光計測部５０と輝度調光部（輝度制御手段）６０とを備えている。

輝度調光部６０は、光センサ５１の検知結果と瞳孔径計測部４０の計測結果とに基づいて画像出力部３０の輝度を制御する。輝度調光部６０は、例えば瞳孔径計測部４０、画像出力部３０とともに筐体５（図１参照）に収容される。

画像出力部３０は、ＬＣＤパネル３８（図２参照）とＬＣＤパネル３８を駆動する駆動回路（図示せず）とを備える画像表示部３１と、ＬＣＤパネル３８の輝度を検知する表示輝度計測部３２と、表示輝度計測部３２で計測された輝度値を記録する表示輝度記録部３３とで構成される。

瞳孔径計測部４０は、前眼部計測用カメラ４５（図２参照）とカメラ４５を駆動する駆動回路（図示せず）とを備える前眼部計測部４１と、前眼部計測部４１で取得された画像に画像処理を施して瞳孔径を抽出する瞳孔径抽出部４２と、瞳孔径抽出部４２の抽出結果に基づいて瞳孔径を算出する瞳孔径算出部４３と、瞳孔径算出部４３で算出された瞳孔径を記録する瞳孔径記録部４４とで構成される。

環境光計測部５０は光センサ５１と、光センサ５１で検出された環境光の明るさを記録する環境光記録部５２とで構成される。

輝度調光部６０は、表示輝度記録部３３及び瞳孔径記録部４４に記録された情報、又は瞳孔径記録部４４及び環境光記録部５２に記録された情報に基づいて画像出力部３０（ＬＣＤパネル３８）の輝度値を算出する輝度調光算出部６２と、輝度調光算出部６２で算出された輝度値を記録する輝度調光記録部６３と、輝度調光記録部６３に記録された輝度値に基づいて画像出力部３０の輝度を制御する輝度調光制御部６１とで構成される。

ヘッドマウントディスプレイ１００では、画像出力部３０の画像を見ているとき、瞳孔径記録部４４に記録された瞳孔径と環境光記録部５２に記録された環境光の明るさとに基づいて画像出力部３０の輝度が調整される。

次に、環境光、瞳孔径の変化の有無に応じた輝度の調光を説明する。

瞳孔はある程度強い光刺激を受けたとき、約０．５秒後に急激に縮瞳し、縮瞳開始後約１秒程度で縮瞳量が最大となり、その後次第に元の瞳孔径近辺まで散瞳する「対光反応」という現象が知られている（「平面型ディスプレイを用いた他覚的瞳孔視野計測技術」、生体医工学、４３（１）：１７９−１８３，２００５、図４参照）。また、光刺激量によって最大縮瞳量（ＰＭ）が変化することが知られている。この対光反応を利用して光センサ５１で検出された環境光の検出値と縮瞳量とから調光後の輝度を数１から求めることができる。

（１）光センサ５１の検出値が上昇し、瞳孔径が縮瞳したとき。
光センサ５１で検出される環境光の明るさの上昇にしたがって瞳孔径抽出部４２で検出される瞳孔径が変化したとき、使用者は光センサ５１の検出範囲内を見ており、環境光が明るくなったことを知覚しているので、光センサ５１の検出結果に基づいて画像出力部３０の輝度を高くする。

図５は環境光が明るくなり瞳孔径が縮瞳したときの画像出力部３０の輝度の設定方法を説明する図である。なお、図５において、縦軸は環境光の明るさ及び瞳孔径を示し、横軸は時間を示す。また、（ａ）、（ｂ）及び（ｃ）は、それぞれ環境光の変化、画像出力部３０の輝度の変化及び瞳孔径の変化を示す。更に、Ｔ０、ＴＰ１及びＴＰ２は、それぞれ環境光が明るくなり始める時（環境光上昇）、縮瞳が開始される時及び縮瞳が最大になった時を示す。

環境光が明るくなると外界を観察している右眼ＲＥが環境光を眩しいと知覚して対光反応が起こる。このとき、前述したように左眼ＬＥも右眼ＲＥの縮瞳に連動して縮瞳するので、画像出力部３０を観察している左眼ＬＥにも対光反応が起こる。縮瞳の変化率が閾値以上になったとき、光センサ５１で検出された上昇後の環境光の明るさと縮瞳開始後の変化量とに応じて画像出力部３０の輝度を高くする。縮瞳が最大（ＰＭ）になった時（ＴＰ２）、画像出力部３０の輝度を一定にする。なお、式１の演算は輝度調光算出部６２で行われる。

（２）光センサ５１の検出値が下降し、瞳孔径が縮瞳したとき。
光センサ５１で検出される環境光の明るさが急激に下降すると、画像出力部３０の輝度が高くて眩しいと知覚され、瞳孔径が変化(縮瞳)する。この変化に合わせて画像出力部３０の輝度を低くする。

図６は環境が暗くなり瞳孔径が縮瞳したときの画像出力部３０の輝度の設定方法を説明する図であり、図５と共通する部分には同一符号を付してその説明を省略する。なお、図６において、Ｔ０、Ｔ１、ＴＰ１及びＴＰ２は、それぞれ環境光が暗くなり始める時（環境光減少）、画像出力部３０が眩しく知覚される時、縮瞳が開始される時及び縮瞳が最大になった時を示す。

環境光が暗くなると画像出力部３０の輝度が外界に対して相対的に高くなるので、画像出力部３０を観察している左眼ＬＥが眩しいと知覚して対光反応が起こる。縮瞳（瞳孔径）の変化率が閾値以上になったとき、光センサ５１で検出された下降後の環境光の明るさと縮瞳開始後の変化量とに応じて画像出力部３０の輝度を低くする。縮瞳が最大（ＰＭ）になった時（ＴＰ２）、画像出力部３０の輝度を一定にする。

（３）光センサ５１の検出値が変化し、瞳孔径が縮瞳しないとき。
光センサ５１で検出される環境光の明るさが急激に上昇したにもかかわらず瞳孔径抽出部４２で検出される瞳孔径が変化しないとき、使用者は光センサ５１の検出範囲内を見ておらず、環境光が明るくなったことを知覚していない（環境光の影響を受けていない）。このとき、光センサ５１の検出結果に基づいて画像出力部３０の輝度を高くすると、明るくなりすぎて使用者に違和感を与えてしまうので、画像出力部３０の輝度は調整されない。

（４）光センサ５１の検出値が変化せず、瞳孔径が縮瞳したとき。
自律神経系の反応に起因する瞳孔径の縮瞳であり、環境光の変化に起因する縮瞳でないので、画像出力部３０の輝度は調整されない。

（５）光センサ５１の検出値が変化せず、瞳孔径が縮瞳しないとき。
環境光の変化も縮瞳もないので、画像出力部３０の輝度は調整されない。

ところで、対光反応の時間や縮瞳は使用者の体調や個人差によって変化するので、電源起動時に以下の手順にしたがってキャリブレーションを行い、閾値を設定する。なお、電源起動時だけでなく画像を観察しているときにキャリブレーションを行ってもよい。

キャリブレーションでは、表示輝度記録部３３に記録された輝度値と瞳孔径記録部４４に記録された瞳孔径とに基づいて閾値が決定される（図７参照）。

図７は光刺激に対する縮瞳量の閾値を決定するフローチャート及びキャリブレーション画面を示す図である。なお、図７の上側のキャリブレーション画面には「背面の明るさ変化が少ない場所で下の○内を見てください。」という文字が表示されている。下側のキャリブレーション画面には「背面の明るさ変化が少ない場所で下の○内を見てください。」という文字が表示されている。また、Ｓ１〜Ｓ６は各処理ステップを示す。

まず、ヘッドマウントディスプレイ１００の電源を起動した後、画像出力部３０の画像表示部３１にキャリブレーション画面を表示させる（Ｓ１）。

次に、画像出力部３０の輝度及び瞳孔径の計測を開始する（Ｓ２）。

その後、光刺激（輝度）を短時間提示する（Ｓ３）。

次に、光刺激提示（Ｔ０）後から縮瞳開始（ＴＰ１）までの時間、縮瞳変化の微分値（△Ｓ＊（Ｐ_(n-1)−Ｐ_n））を記録するとともに、光刺激程示（Ｔ０）後から最大縮瞳時までの時間、縮瞳量（ＰＭ）を記録する（Ｓ４）。最大縮瞳時（ＴＰ２）は縮瞳変化の微分値がほぼ０になったときとする。なお、Ｔ０、ＴＰ１、ＴＰ２は表示輝度記録部３３に記録され、微分値、ＴＰ２における瞳孔径は瞳孔径記録部４４に記録される。

その後、光刺激を３段階以上変化させたか否かを判断する（Ｓ５）。光刺激を３段階以上変化させていないとき（Ｎｏ）、ステップＳ３に戻る。

光刺激を３段階以上変化させたとき（Ｙｅｓ）、３段階の輝度に対する縮瞳量（変化率）を計算する（Ｓ６）。

その結果、閾値と式１の定数ｋが決定される（Ｓ７）。

この実施形態によれば、画像を見ていない右眼ＲＥに入射する光量と画像を見ている左眼ＬＥに入射する光量とを同じにできるので、環境の明るさの変化にかかわらず、画像が見易いヘッドマウントディスプレイを提供することができる。

図３はこの発明の第１実施形態の変形例に係るヘッドマウントディスプレイを使用者の頭部に装着したときの画像出力部と瞳孔径計測部と頭部との位置関係を示す概念図であり、第１実施形態と共通する部分には同一符号を付してその説明を省略する。

この実施形態は、前眼部計測用カメラ４５を右眼ＲＬの近傍に配置した点で、第１実施形態と相違する。

この変形例では前眼部計測用カメラ４５が瞳孔径計測部４０を構成する。

前眼部計測用カメラ４５は例えば取付部１３から延びるアーム（図示せず）の先端部に取り付けられる。前眼部計測用カメラ４５は瞳孔径を計測する右眼ＲＥの視野外に配置される。

なお、画像出力部１３０は接眼レンズ３５とミラー３９とコンデンサレンズ３７とＬＣＤパネル３８とを備え、筐体６内に収容されている。

この実施形態によれば、第１実施形態と同様の効果を奏する。

図４はこの発明の第２実施形態に係るシースルー型のヘッドマウントディスプレイを使用者の頭部に装着した状態を側面から見たときの概念図であり、第１実施形態と共通する部分には同一符号を付してその説明を省略する。

この実施形態はシースルー型のヘッドマウントディスプレイである点で、第１実施形態と相違する。

この実施形態のヘッドマウントディスプレイ３００では、アーム２０に支持された筐体３０５内に画像出力部２３０、レンズ５９等が収容されている。レンズ５９の中央部にはハーフミラー５９ａが設けられている。画像出力部２３０は透過型のＬＣＤパネル（図示せず）等を備えている。レンズ５９とハーフミラー５９ａとは使用者の前方から入射する光を十分に透過させることができるとともに、ＬＣＤパネルで生成された画像の虚像を使用者の眼から所定位置だけ離れた位置にあるように見せることができる。なお、表示手段としては、ＣＲＴや有機ＥＬ素子を使用してもよい。

また、筐体３０５の外側かつＬＣＤパネルの近傍には、使用者の瞳孔径を計測する瞳孔径計測用カメラ４５が使用者の画像観察眼である左眼ＲＥに向けて配置されている。瞳孔径計測用カメラ４５は視野外の位置に取り付けられている。なお、前眼部計測用カメラ４５は瞳孔径を計測する右眼ＲＥの視野外に配置してもよい。

また、シースルー型の画像出力部２３０を左右の眼の前方にそれぞれ配置してもよい。このとき、一方の眼の近傍に配置された瞳孔径計測用カメラ４５によって瞳孔径を計測し、光センサ５１の検知結果と瞳孔径計測用カメラ４５で計測された計測結果とに基づいてそれぞれの画像出力部の輝度を制御する。

ＬＣＤパネルからレンズ５９を介して導かれた光束はハーフミラー５９ａへ導かれ、ハーフミラー５９ａで反射されて使用者の左眼ＬＥに達する。一方、使用者の前方から入射する光はハーフミラー５９ａ、レンズ５９を介してＬＣＤパネルからの光とともに使用者の眼Ｅに達する。

３０，１３０，２３０：画像出力部（表示手段）、４０：瞳孔径計測部（瞳孔径計測手段）、５０：環境光計測部、５１：光センサ，６０：輝度調光部（輝度制御手段）、１００，２００，３００：ヘッドマウントディスプレイ、ＬＥ：左眼、ＲＥ：右眼。

Claims

少なくとも使用者の一方の眼の前方に配置され、画像を表示する表示手段と、
前記眼の前方の明るさを検知する光センサと、
前記使用者の瞳孔径を計測する瞳孔径計測手段と、
前記光センサの検知結果と前記瞳孔径計測手段の計測結果とに基づいて前記表示手段の輝度を制御する輝度制御手段と
を備えていることを特徴とするヘッドマウントディスプレイ。
前記瞳孔径計測手段の計測対象は前記使用者の少なくとも一方の眼の瞳孔径であることを特徴とする請求項１記載のヘッドマウントディスプレイ。
前記瞳孔径計測手段は前記表示手段の近傍に配置されていることを特徴とする請求項１記載のヘッドマウントディスプレイ。
前記表示手段は一方の眼の近傍に配置され、前記瞳孔径計測手段は他方の眼の近傍に配置されていることを特徴とする請求項１記載のヘッドマウントディスプレイ。
前記瞳孔径計測手段は計測対象の眼の視野外に配置されることを特徴とする請求項４記載のヘッドマウントディスプレイ。
前記輝度制御手段は、前記光センサの検知結果と前記瞳孔径計測手段の計測結果とに基づいて光刺激による瞳孔径の変化を抽出することを特徴とする請求項１記載のヘッドマウントディスプレイ。
前記輝度制御手段は、前記光センサによって明るさの変化が検知され、前記瞳孔径の急激な変化が計測されたとき、前記表示手段の輝度を変えることを特徴とする請求項６記載のヘッドマウントディスプレイ。
前記輝度の変化量は、前記瞳孔径が急激に変化したときの微分値で決定されることを特徴とする請求項７記載のヘッドマウントディスプレイ。
前記輝度の最大変化量は、対光反応時の前記瞳孔径の最大縮瞳量と前記光センサの検知結果とで決定されることを特徴とする請求項７又は８記載のヘッドマウントディスプレイ。
前記微分値及び前記最大縮瞳量の閾値を使用者の対光反応に応じて変化させることを特徴とする請求項８又は９記載のヘッドマウントディスプレイ。
前記表示手段はシースルー型であることを特徴とする請求項１〜１０のいずれか１項記載のヘッドマウントディスプレイ。