JP2012098419A

JP2012098419A - ヘッドマウントディスプレイ及びコンピュータプログラム

Info

Publication number: JP2012098419A
Application number: JP2010244675A
Authority: JP
Inventors: Masashi Kato; 真史加藤
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2010-10-29
Filing date: 2010-10-29
Publication date: 2012-05-24

Abstract

【課題】ヘッドマウントディスプレイを装着しているユーザが好適に外界を視認し続けることができるヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラムを提供することを目的とする。
【解決手段】シースルー型のヘッドマウントディスプレイであって、ユーザが存する外界であってヘッドマウントディスプレイの周囲の外界の光量の変化と、外界の光量の変化が発生するタイミングと、を予測し（Ｓ１０４）、表示される画像の光量を制御する。外界の光量が増加すると予測される場合（Ｓ１０８：Ｙｅｓ）、予測されるタイミングの所定時間前から、画像の光量は増加される（Ｓ１１０）。外界の光量が減少すると予測される場合（Ｓ１０８：Ｎｏ）、予測されるタイミングの所定時間前から、画像の光量は減少される（Ｓ１１２）。
【選択図】図３

Description

本発明は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラムに関する。

視界を遮ることなく強い光がユーザの眼に入るのを防止するサンバイザーが、提案されている（特許文献１参照）。このサンバイザーは、液晶パネルを具備する。液晶パネルは、ユーザの眼の前方に配置される。第１の光センサ群は、液晶パネルを通ってユーザの眼に入る光の強さを検出する。第２の光センサ群は、車内の明るさを車が置かれている環境の明るさとして検出する。制御部は、第１の光センサ群、及び第２の光センサ群によって各々検出された光の強さ（光量）に基づいて、液晶パネルに印加すべき駆動電圧を決定する。そして、液晶駆動部にその駆動電圧で液晶パネルを駆動させる。それにより、液晶パネルの透過率を調整して、ユーザがまぶしく感じられる光を減衰させることができるとされている。また、網膜走査表示装置が提案されている（例えば、特許文献２参照）。

特開平１０−３２９５４１号公報特開２００２−２６８００２号公報

ところで、太陽の下等太陽光が届く屋外等の明るい場所から暗い場所、又は、暗い場所から明るい場所に急激に移動した場合、外界が見難くなるといったことがある。このような状態は、ユーザがヘッドマウントディスプレイを装着し、表示される画像を視認している場合についても同じである。

本発明は、ヘッドマウントディスプレイを装着しているユーザが好適に外界を視認し続けることができるヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラムを提供することを目的とする。

上記従来の課題に鑑みなされた本発明の一側面は、ユーザの頭部に装着され、前記ユーザに対して画像を表示し、前記画像を視認している前記ユーザが、前記ユーザが存する外界を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであって、前記ユーザの状態を取得する取得手段と、前記ユーザが存する外界であって前記ヘッドマウントディスプレイの周囲の外界の光量の変化と、外界の光量の変化が発生するタイミングと、を、前記ユーザの状態と外界の光量とが対応付けられた状態で登録される登録手段を参照し、予測する外界光量予測手段と、前記画像の光量を制御する画像光量制御手段と、を有し、前記画像光量制御手段は、前記外界光量予測手段で外界の光量が増加すると予測される場合、前記外界光量予測手段で予測される前記タイミングの所定時間前から、前記画像の光量を増加させるように制御し、及び／又は、前記外界光量予測手段で外界の光量が減少すると予測される場合、前記外界光量予測手段で予測される前記タイミングの所定時間前から、前記画像の光量を減少させるように制御する、ヘッドマウントディスプレイである。

これによれば、外界の光量の変化を予測し、事前にヘッドマウントディスプレイで表示される画像の光量を調整することができる。従って、シースルー型のヘッドマウントディスプレイを装着し、表示される画像を視認しているユーザが、外界を視認し難くなるという状態に陥ることを未然に防止することができる。

このヘッドマウントディスプレイは、次のような構成とすることもできる。前記ヘッドマウントディスプレイの位置と、前記ヘッドマウントディスプレイの移動速度と、前記ヘッドマウントディスプレイの移動方向と、を検出する検出部を有し、前記取得手段は、前記検出部で検出された、前記ヘッドマウントディスプレイの位置と、前記ヘッドマウントディスプレイの移動速度と、前記ヘッドマウントディスプレイの移動方向と、を前記ユーザの状態として取得し、前記外界光量予測手段は、前記ユーザの状態としての前記ヘッドマウントディスプレイの位置に対応する外界の位置と外界の光量とが対応付けられた状態で登録される前記登録手段を参照し、前記取得手段で取得された、前記ユーザの状態としての、前記ヘッドマウントディスプレイの位置と、前記ヘッドマウントディスプレイの移動速度と、前記ヘッドマウントディスプレイの移動方向と、から、外界の光量の変化と、前記タイミングと、を予測する、ようにしてもよい。これによれば、ヘッドマウントディスプレイがユーザに装着され、移動している場合において、好適に外界の光量と外界の光量の変化が発生するタイミングとを予測することができる。

また、前記画像は、所定の作業に対する作業指示画像であって、前記ヘッドマウントディスプレイに指示を入力する操作部を有し、前記取得手段は、前記操作部で入力される指示に従い、作業指示画像によって示される所定の作業の作業進捗状態を、前記ユーザの状態として取得し、前記外界光量予測手段は、前記ユーザの状態としての作業進捗状態と外界の光量とが対応付けられた状態で登録される前記登録手段を参照し、前記取得手段で取得された作業進捗状態から、外界の光量の変化と、前記タイミングと、を予測する、ようにしてもよい。これによれば、ヘッドマウントディスプレイがユーザに装着され、所定の作業が行われている場合において、好適に外界の光量と外界の光量の変化が発生するタイミングとを予測することができる。

また、前記画像光量制御手段は、前記画像の光量を制御させる場合において、画像の光量及び外界の光量の総和である総光量に対する単位時間当たりの総光量の変化に関する第一総光量時間変化指標のピーク値が、前記外界光量予測手段で予測される前記タイミングの所定時間前から前記画像の光量を制御させないとした場合における、画像の光量及び外界の光量の総和である総光量に対する単位時間当たりの総光量の変化に関する第二総光量時間変化指標のピーク値と比較し、小さくなるように制御する、ようにしてもよい。これによれば、画像の光量を、好適に制御することができる。

また、前記画像と重ねて視認される外界からの外光を遮光する遮光部を有し、前記画像光量制御手段は、前記外界光量予測手段で外界の光量が減少すると予測される場合、前記画像の光量を減少させるように制御し、且つ前記遮光部で遮光される外光の量を増加させるように前記遮光部を制御する、ようにしてもよい。これによれば、明るい場所から暗い場所に急激に移動した際、ユーザは、さらに好適に暗順応することができるようになる。なお、遮光は、光を１００％完全に遮断することはもちろん、光の一部を遮断し且つ一部を透過すること、即ち減光も含む概念である。

本発明の他の側面は、ユーザの頭部に装着され、前記ユーザに対して画像を表示し、前記画像を視認している前記ユーザが、前記ユーザが存する外界を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイを制御するコンピュータが読み取り可能なコンピュータプログラムであって、前記コンピュータを、前記ユーザの状態を取得する取得手段と、前記ユーザが存する外界であって前記ヘッドマウントディスプレイの周囲の外界の光量の変化と、外界の光量の変化が発生するタイミングと、を、前記ユーザの状態と外界の光量とが対応付けられた状態で登録される登録手段を参照し、予測する外界光量予測手段と、前記画像の光量を制御する画像光量制御手段と、して機能させ、前記画像光量制御手段は、前記外界光量予測手段で外界の光量が増加すると予測される場合、前記外界光量予測手段で予測される前記タイミングの所定時間前から、前記画像の光量を増加させるように制御し、及び／又は、前記外界光量予測手段で外界の光量が減少すると予測される場合、前記外界光量予測手段で予測される前記タイミングの所定時間前から、前記画像の光量を減少させるように制御する、機能を含むコンピュータプログラムである。

これによれば、本発明の一側面におけるヘッドマウントディスプレイを実現することができる。なお、このコンピュータプログラムは、上述した構成をさらに含むヘッドマウントディスプレイのためのコンピュータプログラムとすることもできる。

本発明によれば、ヘッドマウントディスプレイを装着しているユーザが好適に外界を視認し続けることができるヘッドマウントディスプレイ及びヘッドマウントディスプレイのためのコンピュータプログラムを得ることができる。

ヘッドマウントディスプレイ本体と制御ボックスとを含むヘッドマウントディスプレイの一例を示す図であって、ユーザが頭部にヘッドマウントディスプレイ本体を装着した状態を示す平面図である。第一実施形態の制御ボックスが有する各部を示すブロック図である。第一実施形態のヘッドマウントディスプレイで実行される処理のフローチャートである。第二実施形態の制御ボックスが有する各部を示すブロック図である。第二実施形態のヘッドマウントディスプレイで実行される処理のフローチャートである。外界の光量が増加する場合について、（ａ）は比較例における光量の時間変化を示すグラフであり、（ｂ）は本実施形態における光量の時間変化を示すグラフである。外界の光量が減少する場合について、（ａ）は比較例における光量の時間変化を示すグラフであり、（ｂ）は本実施形態における光量の時間変化を示すグラフである。図６（ａ），（ｂ）それぞれの総光量に基づいた、総光量時間変化率を示すグラフである。図７（ａ），（ｂ）それぞれの総光量に基づいた、総光量時間変化率を示すグラフである。

本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。また、他の構成を含むようにしてもよい。

＜ヘッドマウントディスプレイ＞
ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）１は、図１に示すように、ＨＭＤ本体１０と制御ボックス２０とを含む。ＨＭＤ本体１０と制御ボックス２０とは、信号ケーブル５０によってデータ通信可能に接続されている。ＨＭＤ本体１０は、いわゆる両眼タイプのＨＭＤであって、且つシースルー型のＨＭＤである。ユーザは、図１に示される状態において、ＨＭＤ本体１０において表示される画像（虚像）を視認しつつ、ユーザが存する外界の像（実像）を、表示される画像と重ねて視認することができる。ＨＭＤ本体１０は、通常の眼鏡と同様のフレーム構造１２を有する。ＨＭＤ本体１０は、フレーム構造１２によって、ユーザの頭部に支持される。フレーム構造１２の所定の位置には、２個の画像表示部１４が取り付けられている。２個の画像表示部１４は、ユーザが視認する画像を、ユーザの左右両眼にそれぞれ表示する。画像表示部１４それぞれは、フレーム構造１２に取り付けられた状態において、ユーザの左眼及び右眼と略同一の高さとなる位置に配置されている。

画像表示部１４は、網膜走査型ディスプレイによって構成される。網膜走査型ディスプレイは、制御ボックス２０から出力された画像信号に応じた画像光を二次元走査する。２個の画像表示部１４はそれぞれ、その走査された画像光をユーザの左眼及び右眼に導き、左右両眼それぞれの網膜上に画像を形成する。２個の画像表示部１４それぞれから出射された画像光は、ユーザの左眼及び右眼の前方の位置にそれぞれ配置されたハーフミラー１６で反射され、左眼及び右眼に導かれる。但し、ハーフミラー１６に換えて、内部全反射によって画像光を導くプリズム等がユーザの左眼及び右眼の前方の位置に配置されてもよい。ＨＭＤ本体１０を装着しているユーザは、このようにして、所定の画像を視認する。一方、ハーフミラー１６が外界の像を示す光（外界からの外光）の一部を透過するため、ユーザは外界の像も同時に視認する。画像表示部１４は、網膜走査型ディスプレイの他、液晶ディスプレイ、有機ＥＬ（Organic Electroluminescence）ディスプレイその他の装置を用いた構成としてもよい。

以下、構成の異なる２つのＨＭＤ１を例に、本実施形態の詳細を説明する。なお、第一実施形態及び第二実施形態の説明において、同様の構成には、共通した符号を用い、その説明は省略する。

＜第一実施形態＞
第一実施形態のＨＭＤ１の制御ボックス２０は、図２に示されるように、ＣＰＵ２２と、プログラムＲＯＭ２４と、ＲＡＭ２６と、フラッシュＲＯＭ２８とを有する。ＣＰＵ２２は、ＨＭＤ１で実行される各種処理を制御する。プログラムＲＯＭ２４には、所定の処理のためのコンピュータプログラム等が記憶されている。例えば、後述する図３に示す処理のためのコンピュータプログラムが記憶されている。ＲＡＭ２６は、各種処理が実行される際の作業領域となる。フラッシュＲＯＭ２８は、ＨＭＤ１で利用される各種のデータを記憶する。ＣＰＵ２２が、ＲＡＭ２６上で、プログラムＲＯＭ２４に記憶されたコンピュータプログラムを実行することで、各種の機能手段が構成され、各種の機能が実現される。

また、制御ボックス２０は、ＧＰＳ（Global Positioning System）測位部３０と、速度センサ３２と、ジャイロ３４と、地図データベース（地図ＤＢ）３６と、入力ボタン群３８と、周辺インターフェース（周辺Ｉ／Ｆ）４０とを有する。ＧＰＳ測位部３０は、受信されたＧＰＳ衛星からのＧＰＳ信号に基づいて、ＨＭＤ１が存する位置（位置情報）を検出（取得）する。速度センサ３２は、ＨＭＤ１の移動速度を検出する。ジャイロ３４は、ＨＭＤ１の移動方向を検出する。ここで、ＧＰＳ測位部３０で検出されるＨＭＤ１が存する位置は、ＨＭＤ本体１０を装着してＨＭＤ１を利用しているユーザが存する位置でもある。同じく、速度センサ３２で検出されるＨＭＤ１の移動速度は、ＨＭＤ本体１０を装着してＨＭＤ１を利用しているユーザの移動速度でもある。ジャイロ３４で検出されるＨＭＤ１の移動方向は、ＨＭＤ本体１０を装着してＨＭＤ１を利用しているユーザの移動方向でもある。

地図データベース３６には、地図画像を示す地図データが記憶されている。地図画像は、画像表示部１４で表示される。また、地図データベース３６には、外界における位置（地理（地図）上の位置）と、その位置の光量とが対応付けられた状態で登録されている。地図データベース３６は、所定の記憶部に記憶されている構成の他、例えば、フラッシュＲＯＭ２８に記憶されているようにしてもよい。地図データベース３６は、制御ボックス２０が有する構成の他、外部の装置が有する構成としてもよい。この場合、制御ボックス２０は、例えば無線通信可能な通信部を有する。そして、この通信部を介して外部の装置が有する地図データベース３６にアクセスすることで、地図データが取得される。入力ボタン群３８は、所定の操作を入力するための複数のボタンによって構成される。ユーザは、ＨＭＤ１に対する所定の指示を、入力ボタン群３８に含まれる所定のボタンを操作し、制御ボックス２０に入力する。周辺インターフェース４０は、制御ボックス２０とＨＭＤ本体１０（画像表示部１４）とを接続するためのインターフェースである。画像表示部１４で表示される画像を示す画像信号は、周辺インターフェース４０から画像表示部１４に出力される。

第一実施形態のＨＭＤ１は、例えば、ＨＭＤ本体１０を装着してＨＭＤ１を利用しているユーザを、所定の目的地に案内する機能（ナビゲーション機能）を有する。ＨＭＤ１は、案内に従い目的地に向かっている途中に、屋外等のような明るい場所（太陽の下等太陽光が届く場所を含む。本実施形態において同じ。）と比較し、暗い場所、例えば地下道等のような場所を通るような場合に有効である。

第一実施形態のＨＭＤ１では、図３に示される処理が実行される。この処理は、ユーザが入力ボタン群３８の中から、ナビゲーション機能の開始を指示するボタンを操作した場合に開始される。この処理を開始したＣＰＵ２２は、移動が終了しているかについて判断する（Ｓ１００）。Ｓ１００において移動の終了は、ナビゲーション機能の終了を示す指示が入力ボタン群３８を介して入力され、又は、ユーザが目的地に到着し、ナビゲーション機能が終了しているか否かに従い判断される。終了を示す指示が入力される等して、Ｓ１００の判断が肯定される場合（Ｓ１００：Ｙｅｓ）、ＣＰＵ２２は、この処理を終了する。

これに対し、終了を示す指示が未入力、又は、目的地に未到着であって、Ｓ１００の判断が否定される場合（Ｓ１００：Ｎｏ）、ＣＰＵ２２は、ユーザの位置、移動速度及び移動方向を示す各情報を取得する（Ｓ１０２）。ここで、ユーザの位置、移動速度及び移動方向は、上述した通り、ＨＭＤ１の位置、移動速度及び移動方向に対応するから、Ｓ１０２では、ＧＰＳ測位部３０で検出される位置情報と、速度センサ３２で検出される移動速度と、ジャイロ３４で検出される移動方向とが取得される。取得された位置、移動速度及び移動方向は、例えばＲＡＭ２６上に記憶される。

Ｓ１０２を実行した後、ＣＰＵ２２は、現時点から予測時間後までの外界の光量を予測する（Ｓ１０４）。Ｓ１０４でＣＰＵ２２は、Ｓ１０２で取得しＲＡＭ２６に記憶された位置、移動速度及び移動方向を用い、且つ地図データベース３６に記憶された地図データ等を参照し、予定時間後までのＨＭＤ１（ユーザ）の外界における位置を特定する。そして、ＣＰＵ２２は、地図データベース３６で、特定された位置に対応付けられた光量に従い、外界の光量を予測する。これによって、ＣＰＵ２２は、現時点から予測時間後までの外界の光量の変化を予測する。予測時間としては、予め所定の時間、例えば１０秒が設定されており、ＣＰＵ２２は、現時点から１０秒後までを予測する。このとき、ＣＰＵ２２は、併せて外界の光量の変化が発生するタイミングを予測する。なお、予測された外界の光量を、「予測外界光量」ともいい、その変化を、「予測外界光量変化」ともいう。続けて、ＣＰＵ２２は、所定時間内に、閾値以上の予測外界光量変化が発生するかについて判断する（Ｓ１０６）。Ｓ１０６における所定時間は、Ｓ１０４の予測時間以下の時間であって、予め設定されている。Ｓ１０４における予測時間が１０秒である場合、この所定時間としては、例えば５秒が設定されている。閾値についても予め設定されている。例えば、閾値として、±１００μＷが設定されている。Ｓ１０４の予測時間、Ｓ１０６の所定時間及び閾値は、例えばフラッシュＲＯＭ２８に記憶されている。Ｓ１０４の予測時間、及び／又は、Ｓ１０６の所定時間及び／又は閾値は、変更できるようにしてもよい。この場合、ユーザは、入力ボタン群３８を操作し、変更する。変更後の各値は、フラッシュＲＯＭ２８に上書きして記憶される。

閾値以上の予測外界光量変化が発生しない場合（Ｓ１０６：Ｎｏ）、ＣＰＵ２２は、処理をＳ１００に戻す。一方、閾値以上の予測外界光量変化が発生する場合（Ｓ１０６：Ｙｅｓ）、ＣＰＵ２２は、予測外界光量は増加するかについて判断する（Ｓ１０８）。予測外界光量が増加する場合（Ｓ１０８：Ｙｅｓ）、ＣＰＵ２２は、予測外界光量の変化点に到達するまで、画像表示部１４で表示される画像の光量を漸次増加させる（Ｓ１１０）。ここで、予測外界光量の変化点とは、Ｓ１０４で予測された外界の光量の変化が発生するタイミングに一致する時点であって、後述する図６（ａ），（ｂ）及び図７（ａ），（ｂ）に示す時点Ｔ（これら図に基づけば、５秒の時点）である。ＣＰＵ２２は、この予測外界光量の変化点（時点Ｔ）を基準として、所定時間前から画像の光量を漸次増加させる。一方、予測外界光量が増加しない場合（Ｓ１０８：Ｎｏ）、つまり、減少する場合、ＣＰＵ２２は、予測外界光量の変化点に到達するまで、画像表示部１４で表示される画像の光量を漸次減少させる（Ｓ１１２）。ここで、予測外界光量の変化点は、前述の通りである。Ｓ１１０及びＳ１１２で実行される画像の光量の制御については、後述する。

Ｓ１１０及びＳ１１２における所定時間は、予め設定され、Ｓ１０４，Ｓ１０６の場合の各値と同じく、例えばフラッシュＲＯＭ２８に記憶されている。これらの所定時間についても、上記同様、更新できるようにしてもよい。また、例えば、予め定められた一定の関係に従い、Ｓ１０２で取得された移動速度等に応じて、これら所定時間が、適宜決定（算出）されるようにしてもよい。

＜第二実施形態＞
第二実施形態のＨＭＤ１の制御ボックス２０は、図４に示されるように、ＣＰＵ２２と、プログラムＲＯＭ２４と、ＲＡＭ２６と、フラッシュＲＯＭ２８と、入力ボタン群３８と、周辺インターフェース４０と、作業データベース（作業ＤＢ）４２とを有する。ＣＰＵ２２と、プログラムＲＯＭ２４と、ＲＡＭ２６と、フラッシュＲＯＭ２８と、入力ボタン群３８と、周辺インターフェース４０とについては、第一実施形態で説明した通りである。なお、第二実施形態において、プログラムＲＯＭ２４には、後述する図５に示す処理のためのコンピュータプログラム等が記憶されている。作業データベース４２には、所定の作業に対する作業指示画像を示す画像データが記憶されている。作業指示画像は、画像表示部１４で表示される。また、作業データベース４２には、この作業指示画像によって示される所定の作業に対する作業進捗状態と外界の光量とが対応付けられた状態で登録されている。作業指示としては、所定の製品の組立工程のための指示、又は、所定の部品及び／又は製品が収納された倉庫内から、その部品及び／又は製品を選別し持ち出すための指示等が例示される。地図データベース３６は、所定の記憶部に記憶されている構成の他、例えば、フラッシュＲＯＭ２８に記憶されているようにしてもよい。作業データベース４２を、外部の装置が有する構成としてもよいことは、第一実施形態の地図データベース３６と同様である。この場合についての説明は省略する。作業データベース４２に記憶されている作業指示画像を示す画像データは、第一実施形態の場合と同様、フラッシュＲＯＭ２８に記憶されていてもよい。画像データによって示される作業指示画像それぞれと、作業データベース４２に外界の光量と対応付けて登録されている作業進捗状態に関する作業指示画像それぞれとは、関連付けられる。

第二実施形態のＨＭＤ１は、例えば、ＨＭＤ本体１０を装着してＨＭＤ１を利用しているユーザに、所定の作業を行うための作業指示を提示する機能（作業指示機能）を有し、作業指示が示された作業指示画像を視認しながらその作業を行っている途中に、屋外等のような明るい場所と比較し、暗い場所、例えば倉庫等のような場所に出入りする場合に有効である。ユーザは、所定の作業に含まれる工程それぞれに対応する作業指示画像を、次の工程のものに切り替える場合、入力ボタン群３８の中から「送り」操作を指示するボタンを操作する。

第二実施形態のＨＭＤ１では、図５に示される処理が実行される。この処理は、ユーザが入力ボタン群３８の中から、作業指示機能の開始を指示するボタンを操作した場合に開始される。この処理を開始したＣＰＵ２２は、作業が終了しているかについて判断する（Ｓ２００）。Ｓ２００において作業の終了は、作業指示機能の終了を示す指示が入力ボタン群３８を介して入力され、又は、最終工程の作業指示画像が、この最終工程の作業時間として予め設定された時間表示され、作業指示機能が終了しているか否かに従い判断される。終了を示す指示が入力される等して、Ｓ２００の判断が肯定される場合（Ｓ２００：Ｙｅｓ）、ＣＰＵ２２は、この処理を終了する。

これに対し、終了を示す指示が未入力、又は、最終工程の作業指示画像の表示が所定時間なされていない場合であって、Ｓ２００の判断が否定される場合（Ｓ２００：Ｎｏ）、ＣＰＵ２２は、ユーザによって行われている所定の作業の作業進捗状態を取得する（Ｓ２０２）。Ｓ２０２でＣＰＵ２２は、入力ボタン群３８の「送り」操作を指示するボタンが押下された回数等に基づき、画像表示部１４で表示されている作業指示画像を特定する。そして、ＣＰＵ２２は、特定された作業指示画像に関係付けられる作業進捗状態を取得する。取得された作業進捗状態は、例えばＲＡＭ２６上に記憶される。

Ｓ２０２を実行した後、ＣＰＵ２２は、現時点から予測時間後までの外界の光量を予測する（Ｓ２０４）。Ｓ２０４でＣＰＵ２２は、Ｓ２０２で取得しＲＡＭ２６に記憶された作業進捗状態を用い、且つ作業データベース４２で、この作業進捗状態に対応付けられた光量に従い、外界の光量を予測する。ここで、一の作業指示画像に対応する一の工程には、その工程の作業時間が設定されている。例えば、Ｓ２０４における予測時間が、上述した第一実施形態における図３のＳ１０４の場合と同じく、予測時間として１０秒が設定されており、また、現時点において画像表示部１４で表示されている作業指示画像に対応する工程の作業時間として３０秒が設定されているとする。現在表示中の作業指示画像に切り替えるための「送り」操作がなされてから例えば１０秒経過しているとすると、予測時間の１０秒が経過した時点は、「送り」操作がなされてから２０秒後となる。「送り」操作がなされてから２０秒後は、３０秒に設定された作業時間未満である。従って、ＣＰＵ２２は、作業データベース４２を参照し、現時点から予測時間後までの外界の光量を、表示中の作業指示画像に関係付けられる作業進捗状態に対応付けられた外界の光量であると予測する。この他、現在表示中の作業指示画像に切り替えるための「送り」操作がなされてから例えば２６秒経過しているとすると、予測時間の１０秒が経過した時点は、「送り」操作がなされてから３６秒後となる。「送り」操作がなされてから３６秒後は、３０秒に設定された作業時間を６秒超過している。従って、ＣＰＵ２２は、作業データベース４２を参照し、現時点から予測時間後までの外界の光量を、初めの４秒は表示中の作業指示画像に関係付けられる作業進捗状態に対応付けられた外界の光量であると予測し、残りの６秒は次に表示される作業指示画像に関係付けられる作業進捗状態に対応付けられた外界の光量であると予測する。これによって、ＣＰＵ２２は、現時点から予測時間後までの外界の光量の変化を予測する。このとき、ＣＰＵ２２は、併せて外界の光量の変化が発生するタイミングを予測する（前述の例に基づけば、現時点から４秒経過後が予測される。）。

Ｓ２０４を実行した後、ＣＰＵ２２は、Ｓ２０６〜Ｓ２１２を実行する。ここで、Ｓ２０６〜Ｓ２１２は、上述した第一実施形態における図３のＳ１０６〜Ｓ１１２と同様の処理である。従って、Ｓ２０６〜Ｓ２１２の説明は省略する。

＜画像の光量制御＞
上述した第一実施形態を示す図３のＳ１１０及び第二実施形態を示す図５のＳ２１０と、第一実施形態を示す図３のＳ１１２及び第二実施形態を示す図５のＳ２１２とで、実行される画像の光量の制御、つまり、画像表示部１４から出射される画像光の光量制御について、予測外界光量が増加する場合（図３のＳ１０８，図４のＳ２０８：Ｙｅｓ参照）と、予測外界光量が減少する場合（図３のＳ１０８，図４のＳ２０８：Ｎｏ参照）とに分けて、説明する。以下では、本実施形態のように、予測外界光量の変化点を基準として、所定時間前からこの変化点までの間、画像の光量の制御を行わない場合を比較例として説明する。但し、比較例では、外界の光量の変化を起点として、この変化に併せ、表示される画像の光量が、外界の光量の半分となるように制御される。比較例では、前述の通り、現時点の外界の光量を基準とした制御が行われ、外界の光量（外界の光量の変化）は予測されない。

まず、外界の光量が増加する場合について、図６を参照して説明する。上述したような、地下道又は倉庫内等のような暗い場所に、ユーザが存在している場合、その空間の明るさは、照明等の明るさによって決定され、その結果、外界の光量は一定である。そのような状態で、ユーザが移動し屋外への出口等に近づくと、出口等から太陽光が差し込んでいるため、外界の光量は、所定の点を基準として、屋外等における光量まで漸次増加する。つまり、ユーザが、暗い場所の所定の位置を起点として移動を開始すると、時間の経過にともない出口等に近づき、その後、屋外まで移動することとなるため、ユーザが存する外界の光量は、図６（ａ），（ｂ）において一点鎖線で示すように変化する。図６に示す例では、前述の起点から５秒経過した時点Ｔのユーザの位置が、太陽光が差し込む限界位置であり、それ以降、屋外等に向かって外界の光量は漸次増加する。なお、上述の通り、太陽光が差し込む限界位置に到達した時点Ｔは、第一実施形態及び第二実施形態における、予測外界光量の変化点に対応する。本実施形態では、このように増加する外界の光量及びその変化が、予測外界光量及び予測外界光量変化として予測される。

このような状態において、比較例では、表示される画像の光量は、図６（ａ）において実線で示す通り、時点Ｔを基準として、外界の光量の５０％となるように、外界の光量の変化に連動させながら漸次増加される。一方、本実施形態では、画像表示部１４で表示される画像の光量は、図６（ｂ）において実線で示す通り、図３のＳ１１０又は図４のＳ２１０における所定時間かけて、時点Ｔ（予測外界光量の変化点）において、外界の光量（予測外界光量）の５０％（５０％程度）となるように、漸次増加される。つまり、比較例は、時点Ｔを基準として外界の光量の変化に連動させて、画像の光量を増加させるのに対し、本実施形態は、外界の光量の変化を予測し、事前に画像の光量を増加させる。

図６（ａ），（ｂ）において破線で示すグラフは、ユーザが視認することとなる画像及び外界の像を示す光の総光量を示すものである。比較例では、表示される画像の光量は、外界の光量の変化に連動させて増加されるため、総光量が増加する期間は、図６（ａ）において破線で示す通り、外界の光量が増加する期間（図６（ａ）に基づけば、５秒〜６秒の期間）に一致する。一方、本実施形態では、表示される画像の光量は、時点Ｔに先立ち行われるため、総光量が増加する期間は、図６（ｂ）において破線で示す通り、画像の光量が増加する期間と、外界の光量が増加する期間とを含む期間（図６（ｂ）に基づけば、３秒〜６秒の期間）となる。

次に、外界の光量が減少する場合について、図７を参照して説明する。上述したような、屋外等のような明るい場所に、ユーザが存在している場合、その空間の明るさは、太陽光等の明るさによって決定され、その結果、外界の光量は一定である。そのような状態で、ユーザが移動し地下道又は倉庫内等のような暗い場所への入口等を通過すると、太陽光の差し込みが遮断されるため、外界の光量は、所定の点を基準として、地下道又は倉庫内等のような空間における光量まで漸次減少する。つまり、ユーザが、明るい場所の所定の位置を起点として移動を開始すると、時間の経過にともない、地下道又は倉庫内等のような空間内に移動することとなるため、ユーザが存する外界の光量は、図７（ａ），（ｂ）において一点鎖線で示すように変化する。図７に示す例では、前述の起点から５秒経過した時点Ｔのユーザの位置が、地下道又は倉庫内等のような空間への入口の位置であり、それ以降、このような空間内に向かって外界の光量は漸次減少する。なお、上述の通り、入口の位置に到達した時点Ｔは、第一実施形態及び第二実施形態における、予測外界光量の変化点に対応する。本実施形態では、このように減少する外界の光量及びその変化が、予測外界光量及び予測外界光量変化として予測される。

このような状態において、比較例では、表示される画像の光量は、図７（ａ）において実線で示す通り、時点Ｔを基準として、外界の光量の５０％となるように、外界の光量の変化に連動させながら漸次減少される。一方、本実施形態では、画像表示部１４で表示される画像の光量は、図７（ｂ）において実線で示す通り、図３のＳ１１２又は図４のＳ２１２における所定時間かけて、時点Ｔ（予測外界光量の変化点）において、外界の光量（予測外界光量）の５０％（５０％程度）となるように、漸次減少される。つまり、比較例は、時点Ｔを基準として外界の光量の変化に連動させて、画像の光量を減少させるのに対し、本実施形態は、外界の光量の変化を予測し、事前に画像の光量を減少させる。

図７（ａ），（ｂ）において破線で示すグラフは、ユーザが視認することとなる画像及び外界の像を示す光の総光量を示すものである。比較例では、表示される画像の光量は、外界の光量の変化に連動させて減少されるため、総光量が増加する期間は、図７（ａ）において破線で示す通り、外界の光量が減少する期間（図７（ａ）に基づけば、５秒〜６秒の期間）に一致する。一方、本実施形態では、表示される画像の光量は、時点Ｔに先立ち行われるため、総光量が減少する期間は、図７（ｂ）において破線で示す通り、画像の光量が増加する期間と、外界の光量が増加する期間とを含む期間（図７（ｂ）に基づけば、３秒〜６秒の期間）となる。

続けて、単位時間当たりの総光量の変化についての指標としての総光量時間変化率について、説明する。この説明では、外界の光量が増加する場合についての図６（ａ），（ｂ）に関する図８と、外界の光量が減少する場合についての図７（ａ），（ｂ）に関する図９と、を参照する。総光量時間変化率は、総光量に対する単位時間当たりの総光量の変化の割合である。即ち、式（１）に示すように「単位時間当たりの総光量の変化」を「総光量」で割ったものである。なお、式（１）において、Ｌは総光量で、ｔは時間を示す。

例えば、本実施形態における第一総光量時間変化率は、画像の光量及び外界の光量の総和（図６（ｂ）及び図７（ｂ）に示す「総光量」参照）に関し、総光量に対する単位時間当たりの総光量の変化の割合を示す値である。また、比較例における第二総光量時間変化率は、画像の光量及び外界の光量の総和（図６（ａ）及び図７（ａ）に示す「総光量」参照）に関し、総光量に対する単位時間当たりの総光量の変化の割合を示す値である。

図８及び図９から明らかな通り、第一総光量時間変化率は、第二総光量時間変化率より小さくなる。詳細には、第一総光量時間変化率のピーク値（図８及び図９で「点Ｍ」参照）は、第二総光量時間変化率のピーク値（図８及び図９で「点Ｎ」参照）と比較し、小さくなる（図８及び図９において、「点Ｍ（絶対値）＜点Ｎ（絶対値）」が成立）。つまり、本実施形態において、ＣＰＵ２２は、図３のＳ１１０，Ｓ１１２と図５のＳ２１０，Ｓ２１２とで、第一総光量時間変化率の絶対値と、第二総光量時間変化率を絶対値とを比較し、前述のような状態となるようにして、画像表示部１４で表示される画像の光量の増加又は減少を制御する。なお、単位時間当たりの総光量の変化についての指標としての総光量時間変化率について絶対値を考慮しなければ、外界の光量が増加する場合の単位時間当たりの総光量の変化についての指標の大小関係は、前述の場合と同じであるが、外界の光量が減少する場合については、前述の場合と逆になることは明らかである。

以上説明した本実施形態によれば、暗い場所から明るい場所に急激に移動した際、ユーザは、好適に明順応することができ、移動後の明るい場所で、より好適に外界を視認することができる。また、明るい場所から暗い場所に急激に移動した際、ユーザは、好適に暗順応することができ、移動後の暗い場所で、より好適に外界を視認することができる。本実施形態では、ハーフミラー１６が採用され、これによって、元々、外界の像を示す光（外界の光量）が弱められているため、画像表示部１４で表示される画像の光量を減少させるだけで、より好適に明順応することができる。

本実施形態の構成は、次のようにすることもできる。上記では、ＨＭＤ本体１０と制御ボックス２０とを含むＨＭＤ１を例に説明した。この他、ＨＭＤ本体１０と制御ボックス２０とを一体で構成したＨＭＤとしてもよい。この場合、制御ボックス２０を構成する各部（図２、図４参照）は、画像表示部１４を構成する筐体（図１参照）の内部に収容される。

また、上記では、両眼タイプのＨＭＤ１を例に説明した。この他、片眼タイプのＨＭＤとしてもよい。例えば、右眼の前方に配置される画像表示部１４（図１を正面視したとき、左側に図示される画像表示部１４参照）を省略してもよい。

また、上記の第一実施形態では、図３に示すＳ１０８の判断が肯定された場合（Ｓ１０８：Ｙｅｓ）、Ｓ１１０が実行され、Ｓ１０８の判断が否定された場合（Ｓ１０８：Ｎｏ）、Ｓ１１２が実行されるようにした。この他、Ｓ１０８の判断が肯定された場合（Ｓ１０８：Ｙｅｓ）、又は、Ｓ１０８の判断が否定された場合（Ｓ１０８：Ｎｏ）の何れかで、処理がＳ１００に戻るようにしてもよい。同じく第二実施形態では、図５に示すＳ２０８の判断が肯定された場合（Ｓ２０８：Ｙｅｓ）、Ｓ２１０が実行され、Ｓ２０８の判断が否定された場合（Ｓ２０８：Ｎｏ）、Ｓ２１２が実行されるようにした。この場合についても、Ｓ２０８の判断が肯定された場合（Ｓ２０８：Ｙｅｓ）、又は、Ｓ２０８の判断が否定された場合（Ｓ２０８：Ｎｏ）の何れかで、処理がＳ２００に戻るようにしてもよい。

このような構成のＨＭＤであっても、上述した本実施形態と同様の機能を発揮し、同様の効果を得ることができる。

さらに、ＨＭＤ本体１０が、例えば液晶シャッターのような遮光部を有するＨＭＤとしてもよい。ＣＰＵ２２は、外界の光量が減少する場合（図３のＳ１１２，図５のＳ２１２：Ｎｏ参照）、ＣＰＵ２２は、画像表示部１４で表示される画像の光量を減少させると共に、遮光部を制御し、光量の減少に連動させて、遮光部を通過する外光を遮光させる（減少させる）。なお、遮光させた状態を維持すると、ユーザは外界を視認することが困難となるため、所定のタイミングで、ＣＰＵ２２は、遮光状態にある遮光部を開放する。これによって、ユーザは、再び、外界を視認することができるようになる。これによれば、明るい場所から暗い場所に急激に移動した際、ユーザは、さらに好適に暗順応することができ、移動後の暗い場所で、より好適に外界を視認することができる。

１ヘッドマウントディスプレイ（ＨＭＤ）
１０ヘッドマウントディスプレイ本体（ＨＭＤ本体）
１４画像表示部
２０制御ボックス
２２ＣＰＵ、２４プログラムＲＯＭ、２６ＲＡＭ
２８フラッシュＲＯＭ
３０ＧＰＳ測位部、３２速度センサ、３４ジャイロ
３６地図データベース（地図ＤＢ）
３８入力ボタン群、４０周辺インターフェース（周辺Ｉ／Ｆ）
４２作業データベース（作業ＤＢ）

Claims

ユーザの頭部に装着され、前記ユーザに対して画像を表示し、前記画像を視認している前記ユーザが、前記ユーザが存する外界を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであって、
前記ユーザの状態を取得する取得手段と、
前記ユーザが存する外界であって前記ヘッドマウントディスプレイの周囲の外界の光量の変化と、外界の光量の変化が発生するタイミングと、を、前記ユーザの状態と外界の光量とが対応付けられた状態で登録される登録手段を参照し、予測する外界光量予測手段と、
前記画像の光量を制御する画像光量制御手段と、を有し、
前記画像光量制御手段は、前記外界光量予測手段で外界の光量が増加すると予測される場合、前記外界光量予測手段で予測される前記タイミングの所定時間前から、前記画像の光量を増加させるように制御し、及び／又は、前記外界光量予測手段で外界の光量が減少すると予測される場合、前記外界光量予測手段で予測される前記タイミングの所定時間前から、前記画像の光量を減少させるように制御する、ヘッドマウントディスプレイ。
前記ヘッドマウントディスプレイの位置と、前記ヘッドマウントディスプレイの移動速度と、前記ヘッドマウントディスプレイの移動方向と、を検出する検出部を有し、
前記取得手段は、前記検出部で検出された、前記ヘッドマウントディスプレイの位置と、前記ヘッドマウントディスプレイの移動速度と、前記ヘッドマウントディスプレイの移動方向と、を前記ユーザの状態として取得し、
前記外界光量予測手段は、前記ユーザの状態としての前記ヘッドマウントディスプレイの位置に対応する外界の位置と外界の光量とが対応付けられた状態で登録される前記登録手段を参照し、前記取得手段で取得された、前記ユーザの状態としての、前記ヘッドマウントディスプレイの位置と、前記ヘッドマウントディスプレイの移動速度と、前記ヘッドマウントディスプレイの移動方向と、から、外界の光量の変化と、前記タイミングと、を予測する、請求項１に記載のヘッドマウントディスプレイ。
前記画像は、所定の作業に対する作業指示画像であって、
前記ヘッドマウントディスプレイに指示を入力する操作部を有し、
前記取得手段は、前記操作部で入力される指示に従い、作業指示画像によって示される所定の作業の作業進捗状態を、前記ユーザの状態として取得し、
前記外界光量予測手段は、前記ユーザの状態としての作業進捗状態と外界の光量とが対応付けられた状態で登録される前記登録手段を参照し、前記取得手段で取得された作業進捗状態から、外界の光量の変化と、前記タイミングと、を予測する、請求項１に記載のヘッドマウントディスプレイ。
前記画像光量制御手段は、前記画像の光量を制御させる場合において、画像の光量及び外界の光量の総和である総光量に対する単位時間当たりの総光量の変化に関する第一総光量時間変化指標のピーク値が、前記外界光量予測手段で予測される前記タイミングの所定時間前から前記画像の光量を制御させないとした場合における、画像の光量及び外界の光量の総和である総光量に対する単位時間当たりの総光量の変化に関する第二総光量時間変化指標のピーク値と比較し、小さくなるように制御する、請求項１から請求項３の何れか１項に記載のヘッドマウントディスプレイ。
前記画像と重ねて視認される外界からの外光を遮光する遮光部を有し、
前記画像光量制御手段は、前記外界光量予測手段で外界の光量が減少すると予測される場合、前記画像の光量を減少させるように制御し、且つ前記遮光部で遮光される外光の量を増加させるように前記遮光部を制御する、請求項１から請求項４の何れか１項に記載のヘッドマウントディスプレイ。
ユーザの頭部に装着され、前記ユーザに対して画像を表示し、前記画像を視認している前記ユーザが、前記ユーザが存する外界を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイを制御するコンピュータが読み取り可能なコンピュータプログラムであって、
前記コンピュータを、
前記ユーザの状態を取得する取得手段と、
前記ユーザが存する外界であって前記ヘッドマウントディスプレイの周囲の外界の光量の変化と、外界の光量の変化が発生するタイミングと、を、前記ユーザの状態と外界の光量とが対応付けられた状態で登録される登録手段を参照し、予測する外界光量予測手段と、
前記画像の光量を制御する画像光量制御手段と、して機能させ、
前記画像光量制御手段は、前記外界光量予測手段で外界の光量が増加すると予測される場合、前記外界光量予測手段で予測される前記タイミングの所定時間前から、前記画像の光量を増加させるように制御し、及び／又は、前記外界光量予測手段で外界の光量が減少すると予測される場合、前記外界光量予測手段で予測される前記タイミングの所定時間前から、前記画像の光量を減少させるように制御する、機能を含むコンピュータプログラム。