JP2018101034A - 映像表示装置およびヘッドマウントディスプレイ - Google Patents

Abstract

【課題】提供する映像の実際の利用状況を把握し、その利用状況に応じた適切な時期に、眼の疲労に関して警告を行い、これによって、作業性向上を極力図りつつ、上記警告によって観察者に眼の疲労軽減を促す。【解決手段】映像表示装置１の閲覧判定部６２は、視線検知センサ５１での検知結果に基づいて、観察者が表示光学系によって提供される映像を閲覧しているか否かを判定する。閲覧判定部６２にて、観察者が映像を閲覧していると判定された場合、評価値算出部５２は、観察者の映像の閲覧時間を計時するとともに、閲覧時間の長さに応じた評価値を算出し、映像の閲覧ごとに評価値を積算する。警告制御部６３は、評価値算出部５２にて得られた評価値の積算値が閾値を超えたときに、警告部（例えば表示素子５）によって観察者に警告させる。【選択図】図４

Description

本発明は、映像と外界とを同時に観察可能な映像表示装置と、その映像表示装置を備えたヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display）とも称する）とに関するものである。

従来から、観察者の頭部に装着され、観察者に映像を観察させる映像表示装置が提案されている。このような映像表示装置を観察者が使用して、映像を長時間観察し続けると、眼の疲労が蓄積される。そこで、眼の疲労を軽減するための対策が、例えば特許文献１で提案されている。特許文献１では、映像表示に関する基準時刻から所定時間が経過すると、その時点で警告表示を行い、観察者の眼球や視神経等の疲労の発生を防止するようにしている。なお、上記基準時刻としては、例えば、装置の電源ＯＮ時、映像信号の入力開始時、または観察者（頭部）への装置の装着時を想定している。

実開平７−２０７６９号公報（請求項１、段落〔０００４〕、〔０００６〕、〔０００８〕、〔００１３〕、〔００１７〕、図１等参照）

ところで、近年では、観察者に映像を虚像として提供するとともに、映像と重畳して外界（背景）をシースルーで観察させる光学系を備えた透過型（光学シースルー型）の映像表示装置も開発されている。この種の映像表示装置では、観察者の視野の一部に映像が虚像として表示されるため、観察者は、映像とその外側の領域（外界）とを選択的に観察することができる。したがって、例えば、上記映像表示装置を使用して、製品の生産作業を行う生産現場においては、上記映像表示装置の使用者は、手元（外界に相当）を確認しながら作業を行うとともに、必要に応じて視野内の映像を観察して情報（例えば作業に対する監督者の指示）を取得し、その情報に基づいて作業を行うことが可能となる。これにより、使用者の作業性の向上およびそれによる生産効率の向上が期待できる。このため、上記映像表示装置は、生産現場での活用に非常に効果的であると言える。

上記の生産現場で映像表示装置を使用する場合でも、使用者が映像表示装置を長時間使用すると、映像を注視する時間も増えることから、眼の疲労が蓄積する。特に、生産現場では、使用者が作業に集中する余り、眼の疲労に気付かずに作業をし続けることが多い。そこで、この場合も、例えば特許文献１のように、基準時刻（例えば装置の電源ＯＮ時）から所定時間が経過した時点で警告表示を行うことで、眼の疲労に関して使用者に注意を促すことが可能とも考えられる。

しかし、使用者が映像とそれ以外の領域とを任意に選択して観察できる上記映像表示装置に特許文献１の方法をそのまま適用すると、使用者が映像を見ている時間が短く（映像以外の領域を見ている時間が長く）、映像観察による眼の疲労の蓄積が少ない場合でも、基準時刻から所定時間経過後には一律に警告表示が行われる。

この場合、上記警告表示により、眼の疲労軽減策としては一定の効果があると言える。しかし、例えば上記した生産現場では、眼の疲労軽減のほか、使用者の作業性（作業時間、製品の生産性、生産効率）も重視する必要がある。眼の疲労の蓄積が少ない場合、例えば映像表示装置の使用を延長し、作業時間を延長することで、製品の生産性を向上させることができる。このように、映像表示装置の使用を延長できるにもかかわらず（眼の疲労の蓄積が少ないにもかかわらず）、警告表示によって映像表示装置の使用中断を使用者に促すのでは、映像表示装置の使用を不当に制限するのと実質的に同じであり、結果的に、映像表示装置を使用する使用者の作業性低下、ひいては製品の生産性低下につながる。

したがって、使用者の作業性を考慮すると、提供する映像の実際の利用状況（観察状況、閲覧状況）を把握し、使用者の映像観察による眼の疲労が、警告すべき所定のレベル（警告レベル）を超えた時点で警告を行う、言い換えれば、眼の疲労が警告レベルを超えない間は、警告を行わないようにすることが望ましい。しかし、そのような警告の手法は、未だ提案されていない。

本発明は、上記の問題点を解決するためになされたもので、その目的は、提供する映像の実際の利用状況を把握し、その利用状況に応じた適切な時期に、眼の疲労に関して警告を行い、これによって、装置の使用者（映像の観察者）の作業性向上を極力図りつつ、上記警告によって観察者に眼の疲労軽減を促すことができる映像表示装置と、その映像表示装置を用いたＨＭＤとを提供することにある。

本発明の一側面に係る映像表示装置は、外界からの光を観察者の瞳に導くことにより、観察者に外界を観察させるとともに、観察者の視野の一部に映像を虚像として表示して観察者に提供する表示光学系と、観察者の視線方向を検知する視線検知センサと、前記視線検知センサでの検知結果に基づいて、観察者が前記映像を閲覧しているか否かを判定する閲覧判定部と、前記閲覧判定部にて、観察者が前記映像を閲覧していると判定された場合に、観察者の前記映像の閲覧時間を計時するとともに、前記閲覧時間の長さに応じた評価値を算出し、前記映像の閲覧ごとに前記評価値を積算する評価値算出部と、観察者に対して警告を行うための警告部と、前記警告部を制御する警告制御部とを備え、前記警告制御部は、前記評価値算出部にて得られた前記評価値の積算値が閾値を超えたときに、前記警告部によって観察者に警告させる。

１回の前記閲覧時間をｔ（ｓｅｃ）とし、重み係数をｋ１およびｋ２とし、０＜ｋ１＜ｋ２としたとき、前記評価値算出部は、１回の前記閲覧時間が所定時間以下では、前記閲覧時間に対応するカウント値ｔ’にｋ１を乗じた値を前記評価値として算出する一方、１回の前記閲覧時間が所定時間を超えた場合、前記カウント値ｔ’にｋ２を乗じた値を前記評価値として算出し、前記映像の閲覧ごとに算出した前記評価値を積算してもよい。

前記表示光学系は、外界からの光を透過させて観察者の瞳に導くことにより、観察者に外界を観察させるとともに、外界の一部に前記映像を重畳させて観察者に提供してもよい。

前記警告部は、警告情報を表示する警告表示部で構成されており、前記表示光学系は、前記警告表示部で表示された前記警告情報を虚像として観察者に提供してもよい。

前記警告表示部は、観察者に虚像として提供する前記映像を表示する映像表示部を兼ねていてもよい。

本発明の他の側面に係るヘッドマウントディスプレイは、上述した映像表示装置と、前記映像表示装置を観察者の眼前で支持する支持部材とを有している。

上記の構成によれば、観察者が実際に映像を閲覧しているか否かを閲覧判定部が判定し、閲覧していると判定した場合に、評価値算出部が閲覧時間を計時して評価値を算出、積算し、評価値の積算値に基づいて警告部により警告が行われる。このように、閲覧判定部が映像の実際の利用状況（閲覧状況）を把握するため、その利用状況に応じた適切な時期に、観察者に対して警告を行うようにすることができる。したがって、例えば、映像の閲覧による眼の疲労の蓄積が少ない状態では、警告を行わないようにして、映像表示装置の使用時間を延長することが可能となる。その結果、映像表示装置を使用する観察者の作業性（作業時間）の向上を極力図りつつ、必要な場合には警告によって観察者の眼の疲労軽減を促すことができる。

本発明の実施の一形態に係る映像表示装置の概略の構成を示す断面図である。 上記映像表示装置を備えたヘッドマウントディスプレイの上面図である。 上記ヘッドマウントディスプレイの正面図である。 上記ヘッドマウントディスプレイの下面図である。 上記ヘッドマウントディスプレイの正面側からの斜視図である。 上記映像表示装置の制御系の構成を示すブロック図である。 観察者の視野に対して異なる視線方向を示す説明図である。 視線検知に基づいて警告を行う際の動作の流れの一例を示すフローチャートである。 映像表示開始からの経過時間と、評価値の積算値の変化の一例を示すグラフである。 観察者の視野の一部に虚像として表示される警告情報の例を示す説明図である。 比較例と本発明の実施形態とにおける警告のタイミングの違いを模式的に示す説明図である。 視線検知に基づいて警告を行う際の動作の流れの他の例を示すフローチャートである。 １種類の重み係数を用いた警告制御における警告のタイミングを模式的に示す説明図である。 ２種類の重み係数を用いた警告制御における警告のタイミングを模式的に示す説明図である。

本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。なお、本明細書において、数値範囲をａ〜ｂと表記した場合、その数値範囲に下限ａおよび上限ｂの値は含まれるものとする。また、本発明は、以下の内容に限定されるものではない。

（映像表示装置について）
図１は、本実施形態の映像表示装置１の概略の構成を示す断面図である。映像表示装置１は、外界からの光を観察者の瞳に導くことにより、観察者に外界を観察させるとともに、観察者の視野の一部に映像を虚像として表示して観察者に提供する表示光学系１ａを含む。上記表示光学系１ａは、例えば、照明光学系２と、偏光板３と、偏光ビームスプリッタ（ＰＢＳ）４と、表示素子５と、接眼光学系６とを有して構成されるが、この構成には限定されない。

なお、説明の便宜上、方向を以下のように定義しておく。接眼光学系６によって形成される光学瞳Ｐの中心と表示素子５の表示面の中心とを光学的に結ぶ軸およびその軸の延長線を光軸とする。そして、接眼光学系６のＨＯＥ（Holographic Optical Element；ホログラフィック光学素子）２３の光軸平面に垂直な方向をＸ方向とする。なお、ＨＯＥ２３の光軸平面とは、光軸と一致する光線がＨＯＥ２３に入射するときの、入射光線と反射光線とを含む平面を指す。また、各光学部材の光軸との交点における、面法線と垂直な面内で、Ｘ方向に垂直な方向をＹ方向とする。そして、Ｘ方向およびＹ方向に垂直な方向をＺ方向とする。このような定義を用いると、例えば、表示素子５の法線と接眼光学系６の後述する２つの平行な面２１ｂ・２１ｃの法線とを含み、かつ、表示素子５の表示面の中心を含む断面は、ＹＺ断面となる。

照明光学系２は、表示素子５を照明するものであり、光源１１と、照明ミラー１２と、拡散板１３とを有している。

光源１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色に対応する光を出射するＲＧＢ一体型のＬＥＤで構成されている。複数の発光点（ＲＧＢの各発光点）は、水平方向（Ｘ方向）に略直線状に並んでいる。光源１１から出射される光の波長は、例えば、光強度のピーク波長および光強度半値の波長幅で、４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）である。なお、光源１１は、レーザ光源であってもよい。

本実施形態では、光源１１は、ＲＧＢ一体型のＬＥＤを２対備えている。そして、ＲＧＢのそれぞれについて、ＨＯＥ２３の光軸平面に対して各発光点が対称に位置するように、各発光点が略直線状に並んでいる（例えばＢＧＲＲＧＢの順に発光点がＸ方向に並んでいる）。これにより、ＲＧＢの光強度の分布をＸ方向で対称にすることができる。

照明ミラー１２は、光源１１から出射された光（照明光）を拡散板１３に向けて反射させるとともに、Ｙ方向に関して、光学瞳Ｐと光源１１とが略共役となるように、照明光を曲げる光学素子である。

拡散板１３は、光源１１の複数の発光点が並ぶＸ方向に入射光を例えば４０°拡散し、Ｙ方向には入射光を拡散しない一方向拡散板である。拡散板１３は、偏光板３の表面に保持されている。

偏光板３は、拡散板１３を介して入射する光のうち、所定の偏光方向の光を透過させてＰＢＳ４に導く。

ＰＢＳ４は、偏光板３を透過した光を反射型の表示素子５の方向に反射させる一方、表示素子５にて反射された光のうち、画像信号オンに対応する光（偏光板３を透過した光とは偏光方向が直交する光）を透過させる平板状の偏光分離素子であり、接眼光学系６の後述する接眼プリズム２１の光入射面２１ａに貼り付けられている。

ＰＢＳ４を光入射面２１ａに貼り付けることにより、ＰＢＳ４の光入射側および光出射側に各光学部材をバランスよく配置することができる。これにより、各光学部材の保持姿勢が安定する。また、接眼光学系６の上方の空いたスペースに表示素子５を配置した設計が可能となり、空間を有効利用することができ、小型化にも有利となる。また、ＰＢＳ４の接眼プリズム２１への貼り付けにより、接眼プリズム２１における空気との界面（空気と直接接触する面）が減るため、上記界面における表面反射を低減して光利用効率を向上させるとともに、表面反射によるゴーストの発生を低減できる。

表示素子５は、照明光学系２からの光を変調して映像を表示する表示素子であり、本実施形態では、反射型の液晶表示素子で構成されている。表示素子５はカラーフィルタを有する構成であってもよいし、光源１１のＲＧＢごとの時分割発光に同期して、発光色に対応するＲＧＢの画像が表示されるように、時分割で駆動される構成であってもよい。

表示素子５は、ＰＢＳ４からほぼ垂直に入射する光がほぼ垂直に反射されてＰＢＳ４に向かうように配置されている。これにより、反射型の表示素子に対して大きな入射角で光を入射させる構成に比べて、解像度を増大させるような光学設計が容易となる。表示素子５の表示面は長方形となっており、表示面の長手方向がＸ方向となり、短手方向がＹ方向となるように配置されている。

また、表示素子５は、照明ミラー１２からＰＢＳ４に向かう光路に対して光源１１と同じ側に配置されている。これにより、照明光学系２から表示素子５までの光学系全体をコンパクトに構成することができる。表示素子５は、光源１１と同一の基板で支持されていてもよいし、別々の基板で支持されていてもよい（図１では、光源１１および表示素子５の支持基板は省略している）。

接眼光学系６は、表示素子５からの映像光を観察者の瞳（光学瞳Ｐ）に導くための光学系であり、非軸対称（非回転対称）な正の光学パワーを有している。この接眼光学系６は、接眼プリズム２１と、偏向プリズム２２と、ＨＯＥ２３とを有している。

接眼プリズム２１は、表示素子５からＰＢＳ４を介して入射する映像光を内部で導光する一方、外界からの光（外光）を透過させるものであり、平行平板の上端部を上端に向かうほど厚くし、下端部を下端に向かうほど薄くした形状で構成されている。

接眼プリズム２１において、ＰＢＳ４が貼り付けられる面は、表示素子５からの映像光が入射する光入射面２１ａであり、光学瞳Ｐとほぼ平行に位置して互いに対向する２つの面２１ｂ・２１ｃは、映像光を全反射によって導光する全反射面となっている。そのうち、光学瞳Ｐ側の面２１ｂは、ＨＯＥ２３で回折反射される映像光の出射面を兼ねている。

接眼プリズム２１は、その下端部に配置されるＨＯＥ２３を挟むように偏向プリズム２２と接着剤で接合されている。本実施形態では、接眼プリズム２１を構成する面のうち、ＨＯＥ２３が接する面２１ｄ以外で映像光が透過する面（光入射面２１ａ、面２１ｂ）は、平面となっている。接眼プリズム２１において、ＨＯＥ２３が接する面２１ｄは、平面であってもよいし、曲面であってもよいし、平面と曲面とを組み合わせた面であってもよい。

偏向プリズム２２は、接眼プリズム２１とＨＯＥ２３を介して貼り合わされて略平行平板を形成している。偏向プリズム２２を接眼プリズム２１と貼り合わせることで、外光が接眼プリズム２１の楔状の下端部を透過するときの屈折を偏向プリズム２２でキャンセルすることができ、外界として観察（視認）される像（外界像）に歪みが生じるのを防止することができる。

ＨＯＥ２３は、接眼プリズム２１に接して設けられ、接眼プリズム２１内部で導光された映像光を回折反射する体積位相型で反射型のホログラフィック光学素子である。ＨＯＥ２３は、回折効率のピーク波長および回折効率半値の波長幅で、例えば４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させる。すなわち、ＨＯＥ２３のＲＧＢの回折波長は、ＲＧＢの映像光の波長（光源１１の発光波長）とほぼ対応している。

上記の構成において、照明光学系２の光源１１から出射された光は、照明ミラー１２で反射され、拡散板１３にてＸ方向にのみ拡散された後、所定の偏光方向の光のみが偏光板３を透過する。そして、偏光板３を透過した光は、ＰＢＳ４で反射され、表示素子５に入射する。

表示素子５では、入射光が画像信号に応じて変調される。このとき、画像信号オンに対応する映像光は、表示素子５にて入射光とは偏光方向が直交する光に変換されて出射されるため、ＰＢＳ４を透過して接眼プリズム２１の内部に光入射面２１ａから入射する。一方、画像信号オフに対応する映像光は、表示素子５にて偏光方向が変換されずに出射されるため、ＰＢＳ４で遮断され、接眼プリズム２１の内部に入射しない。

接眼プリズム２１では、入射した映像光が接眼プリズム２１の対向する２つの面２１ｃ・２１ｂでそれぞれ１回ずつ全反射された後、ＨＯＥ２３に入射し、そこで回折反射されて面２１ｂから出射され、光学瞳Ｐに達する。したがって、この光学瞳Ｐの位置では、観察者は、表示素子５に表示された映像を虚像として観察することができる。

一方、接眼プリズム２１、偏向プリズム２２およびＨＯＥ２３は、外光をほとんど全て透過させるので、観察者は外界をシースルーで観察することができる。したがって、表示素子５に表示された映像の虚像は、観察者の視野（視界）内で、外界の一部に重なって観察されることになる。

このことから、本実施形態の映像表示装置１は、外界からの光を、接眼光学系６を透過させて観察者の瞳に導くことにより、観察者に外界を観察させるとともに、外界の一部に映像を重畳させて観察者に提供する表示光学系１ａを含むと言うことができる。

なお、本実施形態では、表示素子５として、反射型の映像表示素子を用いているが、透過型の液晶表示素子を用い、それに応じた光学設計で映像表示装置１を構成してもよい。

（ヘッドマウントディスプレイについて）
次に、本実施形態の映像表示装置の応用例であるヘッドマウントディスプレイ（ＨＭＤ）について説明する。図２Ａ、図２Ｂおよび図２Ｃは、本実施形態のＨＭＤ４０の上面図、正面図、下面図であり、図３は、ＨＭＤ４０の正面側からの斜視図である。ＨＭＤ４０は、上述した映像表示装置１と、フレーム４２と、レンズ４３と、鼻当て４４と、位置調整機構４５とを有している。

映像表示装置１は、筐体１０内に、上述した照明光学系２、偏光板３、ＰＢＳ４および表示素子５を有しており、接眼光学系６の上端部も筐体１０内に位置している。接眼光学系６は、接眼プリズム２１および偏向プリズム２２の貼り合わせによって構成されており、右眼用レンズ４３Ｒの前方（観察者とは反対側の外界側）に位置している。筐体１０内の光源１１および表示素子５は、筐体１０を貫通して設けられるケーブル（図示せず）を介して、図示しない回路基板と接続されており、回路基板から光源１１および表示素子５に駆動電力や映像信号が供給される。

なお、映像表示装置１は、静止画や動画を撮影する撮像装置、マイク、スピーカー、イヤホンなどをさらに備え、外部のサーバーや端末とインターネット等の通信回線を介して、撮像画像および表示画像の情報や音声情報をやりとり（送受信）する構成であってもよい。

フレーム４２は、観察者の頭部に装着され、映像表示装置１を観察者の眼前で支持する支持部材である。このフレーム４２は、観察者の左右の側頭部に当接するテンプルを含んでいる。

レンズ４３は、観察者の右眼および左眼の眼前に配置される右眼用レンズ４３Ｒおよび左眼用レンズ４３Ｌを含んでいる。右眼用レンズ４３Ｒおよび左眼用レンズ４３Ｌは、右連結部４６Ｒおよび左連結部４６Ｌを介して、位置調整機構４５と連結されている。右眼用レンズ４３Ｒおよび左眼用レンズ４３Ｌは、視力矯正用のレンズであってもよいし、視力矯正を行わない単なるダミーレンズであってもよい。

鼻当て４４は、観察者の鼻と当接する右鼻当て４４Ｒおよび左鼻当て４４Ｌを含んでいる。右鼻当て４４Ｒおよび左鼻当て４４Ｌは、右連結部４７Ｒおよび左連結部４７Ｌを介して、位置調整機構４５と連結されている。

位置調整機構４５は、フレーム４２に対して鼻当て４４を観察者の眼幅方向に垂直な上下方向に相対的に移動させることにより、フレーム４２で支持された映像表示装置１の上下方向の位置を調整する機構である。なお、位置調整機構４５を設けることなく、レンズ４３および鼻当て４４をフレーム４２に直接固定した構成としてもよい。

ＨＭＤ４０を観察者の頭部に装着し、表示素子５に映像を表示すると、その映像光が接眼光学系６を介して光学瞳に導かれる。したがって、光学瞳の位置に観察者の瞳を合わせることにより、観察者は、映像表示装置１の表示映像の拡大虚像を観察することができる。また、これと同時に、観察者は接眼光学系６を介して、外界をシースルーで観察することができる。

このように、映像表示装置１が支持部材としてのフレーム４２で支持されることにより、観察者は映像表示装置１から提供される映像をハンズフリーで長時間安定して観察することができる。

なお、図２Ａ等では、映像表示装置１の接眼光学系６と、レンズ４３とを別体で構成しているが、接眼光学系６をレンズ４３と一体化した構成とすることも可能である。また、映像表示装置１を２つ用いて両眼で映像を観察できるようにしてもよい。

（映像表示装置における警告制御の一例）
本実施形態の映像表示装置１は、映像表示装置１を使用する観察者（使用者）の眼の疲労を軽減するために、一定の条件で警告を行う。以下、このような警告を行うための制御について説明する。

図４は、本実施形態の映像表示装置１の制御系の構成を示すブロック図である。映像表示装置１は、図１で示した構成に加えて、視線検知センサ５１と、評価値算出部５２と、記憶部５３と、音声出力部５４と、制御部５５とを有している。

制御部５５は、例えば中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、全体制御部６１、閲覧判定部６２および警告制御部６３を含む。全体制御部６１は、映像表示装置１の各部の動作を制御する機能を有しており、この制御には、光源１１の点灯／消灯の切り替えや、表示素子５における情報の表示に関する制御も含まれる。

閲覧判定部６２は、後述する視線検知センサ５１での検知結果に基づいて、観察者が映像を閲覧しているか否かを判定する機能を有し、警告制御部６３は、警告部を制御する機能を有する。ここで、上記の警告部は、観察者に対して眼の疲労に関する警告を行うブロックであり、上述した表示素子５および音声出力部５４がこれに相当する。すなわち、表示素子５は、観察者に虚像として提供する映像を表示する映像表示部としての機能のみならず、眼の疲労に関する警告情報を表示する警告表示部としても機能する。上記の音声出力部５４は、例えばスピーカーで構成され、眼の疲労に関する警告情報を音（例えば警告音）または所定言語（例えば日本語）の音声で観察者に提供する。

視線検知センサ５１は、観察者の視線方向を検知するセンサである。視線検知センサ５１は、赤外線ＬＥＤとカメラとを含んで構成されており、例えば図１で示した接眼光学系６の縁に設けられる。視線検知センサ５１は、赤外線ＬＥＤから観察者の瞳または網膜に向けて安全な光線（例えば赤外線）を照射し、その反射光をカメラで計測することにより、観察者の視線方向を直接検知する。より具体的には、赤外線ＬＥＤで観察者の顔を照らしたときに、観察者の角膜上で赤外光が反射される位置（角膜反射の位置）を基準点とし、この角膜反射の位置に対する瞳孔の位置をカメラで（赤外線を受光して）検知することにより、観察者の視線方向を検知する。例えば、左眼の角膜反射の位置よりも瞳孔が目じり側にあれば、観察者は左側を見ており（観察者の視線が左方向を向いており）、角膜反射の位置よりも瞳孔が目頭側にあれば、観察者は右側を見ている（観察者の視線が右方向を向いている）ことを検知できる。

なお、視線検知センサ５１の数は、１個であってもよいし、複数個であってもよいが、複数個であるほうが、複数の情報に基づいて視線検知を行うことができ、検知精度が向上するため、望ましい。

評価値算出部５２は、制御部５５の閲覧判定部６２にて、視野の一部に虚像として表示される映像を観察者が閲覧していると判定された場合に、観察者の映像の閲覧時間を計時するとともに、閲覧時間の長さに応じた評価値を算出し、映像の閲覧ごとに評価値を積算する。このような評価値算出部５２は、例えばタイマーと演算回路とを含んで構成されるが、制御部５５（ＣＰＵ）に評価値算出部５２としての機能を持たせてもよい。なお、上記の評価値は、閲覧時間の長さに応じた時間（ｓｅｃ）であってもよいし、閲覧時間の長さに応じたカウント値（単位なし）であってもよい。

記憶部５３は、例えばフラッシュメモリなどの不揮発性メモリで構成され、虚像として提供される映像の観察者の視野内での位置情報（予め設定されている）を記憶する。これにより、上記した閲覧判定部６２は、視線検知センサ５１にて検知される観察者の視線方向と、記憶部５３に記憶されている映像の位置情報とに基づいて、観察者が映像を閲覧しているか否かを判定することができる。

例えば、図５に示すように、観察者の視野Ｖの一部に、虚像として提供される映像の表示領域Ｒが位置しており、この表示領域Ｒの位置情報（座標）が記憶部５３に記憶されているとする。閲覧判定部６２は、観察者の視線方向が映像の表示領域Ｒの外側を指している場合には、観察者は映像の表示領域Ｒの外側の外界を観察しており（図５の左図参照）、観察者の視線方向が表示領域Ｒの内側を指している場合には、観察者が映像を閲覧していると判定することができる（図５の右図参照）。

図６は、視線検知に基づいて警告を行う際の動作の流れの一例を示すフローチャートである。視線検知センサ５１にて観察者の視線方向が検知され（Ｓ１）、その検知結果に基づいて、観察者が映像を閲覧していると閲覧判定部６２にて判定された場合（Ｓ２にてＹｅｓ）、評価値算出部５２は、観察者の映像の閲覧時間を計時するとともに、その閲覧時間の長さに応じた評価値を算出し、映像の閲覧ごとに評価値を積算する（Ｓ３）。そして、評価値の積算値Ｅが閾値Ｅｔｈを超えるまで、Ｓ１以降の処理が繰り返される（Ｓ４）。

例えば、図７に示すように、映像の１回目の閲覧時間がｔ１（ｓｅｃ）であった場合、評価値算出部５２は、ｔ１の値（絶対値）に重み係数ｋ１を乗じて得られる値を評価値Ｅ１として算出する。ここでは、重み係数ｋ１を便宜的に“１”として説明するが、その他の値であってもよい。次に、映像の２回目の閲覧時間がｔ２（ｓｅｃ）であった場合、評価値算出部５２は、ｔ２の値に重み係数ｋ１を乗じて得られる値を評価値Ｅ２として算出する。以降、３回目以降の映像の閲覧についても同様であり、閲覧時間ｔ３、ｔ４、・・・に重み係数ｋ１を乗じて得られる値を評価値Ｅ３、Ｅ４、・・・として算出する。そして、これらの評価値Ｅ１、Ｅ２、・・・を積算して積算値Ｅを算出する。

一方、Ｓ２にて、観察者が映像を閲覧していない場合（映像の外側の外界を観察している場合）、Ｓ１以降の処理を繰り返して、観察者に映像の閲覧の有無を引き続き監視し、映像が閲覧されれば、Ｓ３に移行して上記と同様の処理が行われる。

Ｓ４にて、積算値Ｅが閾値Ｅｔｈを超えると、警告制御部６３は、観察者の映像の閲覧による眼の疲労が所定の警告レベルを超えたと判断して、警告部（例えば表示素子５）にて警告情報を表示させ、表示された警告情報を虚像として観察者に提供する（Ｓ５）。図７では、例として、積算値Ｅ（Ｅ１＋Ｅ２）が閾値Ｅｔｈを超えた時点で警告が行われる場合を示している。また、図８は、観察者の視野Ｖの一部に虚像として表示される警告情報Ｗの例を示している。なお、図８では、観察者の視野Ｖ内で、図５で示した映像の表示領域Ｒとは異なる領域に警告情報Ｗを表示しているが、映像の表示領域Ｒと同じ領域に警告情報Ｗを表示させてもよい。観察者は、表示された警告情報Ｗに基づいて、映像表示装置１の長期使用（特に映像の長期閲覧）を認識することが可能となり、映像表示装置１の使用を中断して、眼の疲労回復に努めることが可能となる。

なお、Ｓ５では、警告制御部６３は、上記の警告情報Ｗの表示と併せて、またはその表示の代わりに、警告部としての音声出力部５４を制御して、警告情報Ｗを音声で出力してもよい。このように音声による警告によっても、観察者は、映像表示装置１の長期使用を認識できるため、観察者は装置の使用を中断して、眼の疲労回復に努めることが可能となる。

以上のように、本実施形態では、視線検知センサ５１での視線検知に基づき、観察者が実際に映像を閲覧しているか否かを閲覧判定部６２が判定し（Ｓ２）、映像を閲覧していると判定した場合に、評価値算出部５２が閲覧時間を計時して評価値Ｅ１、Ｅ２、・・・を算出および積算し（Ｓ３）、警告制御部６３の制御により、評価値の積算値Ｅに基づいて警告部により警告が行われる（Ｓ４、Ｓ５）。このように、閲覧判定部６２が映像の実際の利用状況（閲覧状況）を把握するため、その利用状況に応じた適切な時期に、観察者に対して警告を行うことができる。これにより、警告によって、映像の閲覧による眼の疲労回復を促すことができる。その一方で、眼の疲労の蓄積が所定の警告レベルを超えるまでは、観察者に映像表示装置１の使用を継続させることが可能となるため、映像表示装置１を使用して作業する観察者の作業性ひいては製品の生産性を向上させることが可能となる。この点についてより詳しく説明すると、以下の通りである。

図９は、観察者の視野内で、映像と、映像の外側の領域で視認される外界とを選択的に観察できる映像表示装置に、特許文献１の手法を適用したときの警告のタイミング（比較例）と、本実施形態の警告のタイミングとの違いを模式的に示している。比較例では、基準時刻（例えば映像表示装置の使用開始時点）から所定時間経過後に一律に警告が行われるため、上記所定時間内に外界の観察期間があり、映像の閲覧による眼の疲労の蓄積が少ない場合でも、上記警告によって映像表示装置の使用中断が促され、観察者は映像表示装置の使用による作業の中断を強いられる。

これに対して、本実施形態では、警告タイミングを判断するために用いられる評価値の算出は、観察者が映像を実際に閲覧していないと行われないため（外界の観察期間では行われないため）、上記所定時間内に外界の観察期間があると、その観察期間の分だけ、警告のタイミングを上記の比較例よりも遅らすことが可能となり、上記観察期間の分だけ、映像表示装置の使用期間を実質的に延長することが可能となる。したがって、本実施形態では、比較例での上記所定時間経過後も映像の閲覧が可能となって、映像表示装置を使用した作業が可能となるため、観察者の作業性ひいてはその作業による製品の生産性を向上させることができる。また、評価値の積算値Ｅが閾値Ｅｔｈを超え、映像観察によって眼の疲労の蓄積が警告レベルを超えると警告が行われるため、上記作業性の向上を図りつつ、上記警告によって観察者に眼の疲労軽減を促すことができる。

また、本実施形態では、図１で示した表示光学系１ａは、外界からの光を透過させて観察者の瞳に導くことにより、観察者に外界を観察させるとともに、外界の一部に映像を重畳させて観察者に提供する。このように、外界からの光を透過させて観察者の瞳に直接導く構成において、上述した本実施形態の効果を得ることができる。なお、本実施形態で説明した警告制御は、例えばデジタル一眼レフカメラの光学ファインダーのように、外界からの光をミラーやプリズム等の複数の反射面で反射させて観察者の瞳に導き、観察者に外界を観察させるとともに、映像（例えばシャッタースピードや絞り値などの撮影情報）を、視認される外界と並べて表示して観察者に観察させる構成にも適用可能である。

また、本実施形態では、警告部は、眼の疲労に関する警告情報を表示する警告表示部としての表示素子５で構成されており、表示光学系１ａは、表示素子５で表示された警告情報を虚像（図８の警告情報Ｗ）として観察者に提供する。これにより、観察者に警告情報を視覚的に確実に認識させて、映像表示装置１の使用中断および眼の疲労回復を促すことができる。

また、警告表示部としての表示素子５は、観察者に虚像として提供する映像を表示する映像表示部を兼ねている。このように、１つの表示素子５を用いて、映像および警告情報を観察者に提供するため、例えば別々の表示素子を用いて映像および警告情報をそれぞれ観察者に提供する構成に比べて、映像表示装置１の構成を簡素化することができる。

（映像表示装置における警告制御の他の例）
本実施形態の映像表示装置１では、以下に示す警告制御を行うことも可能である。図１０は、視線検知に基づいて警告を行う際の動作の流れの他の例を示すフローチャートである。視線検知センサ５１にて観察者の視線方向が検知され（Ｓ１１）、その検知結果に基づいて、観察者が映像を閲覧していると閲覧判定部６２にて判定された場合（Ｓ１２にてＹｅｓ）、評価値算出部５２は、観察者の映像の閲覧時間を計時するとともに、その閲覧時間の長さに応じた評価値を算出し、映像の閲覧ごとに評価値を積算する（Ｓ１３〜Ｓ１６）。

より詳しくは、評価値算出部５２にて計時される１回の映像の閲覧時間をｔ（ｓｅｃ）とし、重み係数をｋ１およびｋ２とする。ただし、０＜ｋ１＜ｋ２であり、ここでは、説明の便宜上、ｋ１＝１、ｋ２＝１．２とするが、これらの値には限定されない。評価値算出部５２は、１回の閲覧時間ｔが所定時間（例えば１５ｓｅｃ）以下では（Ｓ１３にてＹｅｓ）、閲覧時間ｔに対応するカウント値ｔ’に重み係数ｋ１を乗じた値を評価値として算出する（Ｓ１４）。すなわち、Ｓ１４で算出される評価値は、ｔ’×ｋ１で表される。

ここで、上記した閲覧時間ｔに対応するカウント値ｔ’は、閲覧時間の長さに対応する値であればよく、閲覧時間ｔと同じ値であってもよいし、閲覧時間ｔとは異なる値であってもよい。例えば閲覧時間が１０秒のとき（ｔ＝１０ｓｅｃ）、カウント値は１０であってもよいし（ｔ’＝１０）、２０であってもよいし（ｔ’＝２０）、その他、ｔ’＝αｔ（α≠１）となる値であってもよい。ここでは、説明を簡略化するため、α＝１とする。

一方、評価値算出部５２は、１回の閲覧時間ｔが所定時間（例えば１５ｓｅｃ）を超えた場合（Ｓ１３にてＮｏ）、閲覧時間ｔに対応するカウント値ｔ’に重み係数ｋ２を乗じた値を評価値として算出する（Ｓ１５）。すなわち、Ｓ１５で算出される評価値は、ｔ’×ｋ２で表される。このとき、ｋ１＜ｋ２であるため、（ｔ’×ｋ１）＜（ｔ’×ｋ２）である。そして、評価値算出部５２は、Ｓ１４またはＳ１５で算出された評価値を積算する（Ｓ１６）。その後は、評価値の積算値Ｅが閾値Ｅｔｈを超えるまで、Ｓ１以降の処理が繰り返される（Ｓ１７）。

なお、Ｓ１２にて、観察者が映像を閲覧していない場合（映像の外側の外界を観察している場合）、Ｓ１１以降の処理を繰り返して、観察者に映像の閲覧の有無を引き続き監視し、映像が閲覧されれば、Ｓ１３に移行して上記と同様の処理が行われる。

Ｓ１７にて、積算値Ｅが閾値Ｅｔｈを超えると、警告制御部６３は、観察者の映像の閲覧による眼の疲労が所定の警告レベルを超えたと判断して、警告部（例えば表示素子５）にて警告情報を表示させ、表示された警告情報を虚像として観察者に提供する（Ｓ１８）。また、Ｓ１８において、警告制御部６３は、必要に応じて、警告部としての音声出力部５４を制御して、警告情報を音声で出力してもよい。

ここで、図１１Ａは、１種類の重み係数（ｋ１のみ）を用いた警告制御における警告のタイミングを模式的に示し、図１１Ｂは、２種類の重み係数（ｋ１、ｋ２）を用いた警告制御における警告のタイミングを模式的に示している。図１１Ａでは、２回目の映像の閲覧時間が所定時間を超えている場合でも、１回目の閲覧期間（１回目の閲覧時間は所定時間以下）と同じ重み係数ｋ１を用いて評価値が算出され、積算されるため、全閲覧期間で評価値の変動率を示すグラフの傾きは同じであり、評価値の積算値が閾値Ｅｔｈを超えた時点ＴＰ１で警告が行われる。

これに対して、図１１Ｂでは、２回目の映像の閲覧時間ｔ２が所定時間を超えている場合、１回目の閲覧期間（１回目の閲覧時間ｔ１は所定時間以下）で用いた重み係数ｋ１よりも大きい重み係数ｋ２を用いて評価値が算出され、積算されるため、２回目の閲覧期間において、閲覧時間ｔ２が所定時間を超えた時点で、グラフの傾きが１回目の閲覧期間よりも大きくなる。その結果、評価値の積算値が閾値Ｅｔｈを超えるタイミング、すなわち、警告時点がＴＰ２となり、図１１Ａの警告時点ＴＰ１よりも早まる。なお、図１１Ｂの場合でも、外界の観察期間では評価値は算出されないため、外界の観察期間の分だけ、映像表示装置の使用期間を延ばして観察者の作業性を向上させることができる点は、図９の場合と同様である。

映像を閲覧する際に、閲覧時間が長いほど、つまり、映像を連続して注視する時間が長いほど、眼の疲労の度合いが増加し、眼の疲労の蓄積が大きくなる。このため、閲覧時間が長くなると、映像表示装置の使用延長によって観察者の作業性向上を図りながらも、警告タイミングを少しでも早めて、眼の疲労回復を早期に促すことが望ましい。上記のように、評価値算出部５２が、１回の映像の閲覧時間が所定時間以下の場合に、重み係数ｋ１を用いて評価値を算出する一方、上記閲覧時間が所定時間を超えた場合、より大きい重み係数ｋ２を用いて評価値を算出し、映像の閲覧ごとに算出した評価値を積算することにより、装置の使用を延長しながらも、図１１Ｂのように、図１１Ａよりも早いタイミングで観察者に警告できるため、観察者に対して眼の疲労回復を早期に促すことができ、これによって、観察者は、装置の使用中断により、眼の疲労回復を早期に図ることが可能となる。

（その他）
本実施形態の映像表示装置は、観察者の作業状態や作業環境を把握して、作業性向上を図る観点から、ＧＰＳ（Global Positioning System）センサ、地磁気センサ、加速度センサ、温度センサなどの複数のセンサを備えるとともに、通信インターフェースを備えて外部機器と通信可能に構成されていてもよい。例えばＧＰＳセンサは、観察者の位置情報を取得する。地磁気センサは、観察者が向いている方向を検知する。加速度センサは、観察者の動き（姿勢）を検知する。温度センサは、観察者が作業している環境の温度または観察者自身の体温を検知する。これらのセンサで取得された情報を、通信インターフェースを介して外部機器に送信することより、外部機器側では、作業の指示者または監督者が作業環境を把握し、必要に応じて適切な指示（例えば作業の中止等）を映像表示装置に送ることが可能となる。上記指示は、表示情報として表示素子５に表示されたり、音声情報として音声出力部５４から出力されてもよい。

本発明の映像表示装置は、例えばＨＭＤに利用可能である。

１ 映像表示装置
１ａ 表示光学系
５ 表示素子（警告部、映像表示部、警告表示部）
５１ 視線検知センサ
５２ 評価値算出部
５４ 音声出力部（警告部）
６２ 閲覧判定部
６３ 警告制御部
４０ ＨＭＤ（ヘッドマウントディスプレイ）
４２ フレーム（支持部材）
Ｖ 視野

Claims (6)

1. 外界からの光を観察者の瞳に導くことにより、観察者に外界を観察させるとともに、観察者の視野の一部に映像を虚像として表示して観察者に提供する表示光学系と、
   観察者の視線方向を検知する視線検知センサと、
   前記視線検知センサでの検知結果に基づいて、観察者が前記映像を閲覧しているか否かを判定する閲覧判定部と、
   前記閲覧判定部にて、観察者が前記映像を閲覧していると判定された場合に、観察者の前記映像の閲覧時間を計時するとともに、前記閲覧時間の長さに応じた評価値を算出し、前記映像の閲覧ごとに前記評価値を積算する評価値算出部と、
   観察者に対して警告を行うための警告部と、
   前記警告部を制御する警告制御部とを備え、
   前記警告制御部は、前記評価値算出部にて得られた前記評価値の積算値が閾値を超えたときに、前記警告部によって観察者に警告させることを特徴とする映像表示装置。
2. １回の前記閲覧時間をｔ（ｓｅｃ）とし、重み係数をｋ１およびｋ２とし、０＜ｋ１＜ｋ２としたとき、
   前記評価値算出部は、１回の前記閲覧時間が所定時間以下では、前記閲覧時間に対応するカウント値ｔ’にｋ１を乗じた値を前記評価値として算出する一方、１回の前記閲覧時間が所定時間を超えた場合、前記カウント値ｔ’にｋ２を乗じた値を前記評価値として算出し、前記映像の閲覧ごとに算出した前記評価値を積算することを特徴とする請求項１に記載の映像表示装置。
3. 前記表示光学系は、外界からの光を透過させて観察者の瞳に導くことにより、観察者に外界を観察させるとともに、外界の一部に前記映像を重畳させて観察者に提供することを特徴とする請求項１または２に記載の映像表示装置。
4. 前記警告部は、警告情報を表示する警告表示部で構成されており、
   前記表示光学系は、前記警告表示部で表示された前記警告情報を虚像として観察者に提供することを特徴とする請求項１から３のいずれかに記載の映像表示装置。
5. 前記警告表示部は、観察者に虚像として提供する前記映像を表示する映像表示部を兼ねていることを特徴とする請求項４に記載の映像表示装置。
6. 請求項１から５のいずれかに記載の映像表示装置と、
   前記映像表示装置を観察者の眼前で支持する支持部材とを有していることを特徴とするヘッドマウントディスプレイ。

Images