JP2016004402A - 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム - Google Patents

Abstract

【課題】仮想スクリーンよりも手前の近景を注視している場合に、ユーザの視界を確保しつつ、情報を適切に表示する。
【解決手段】仮想スクリーン上にオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、制御部は、撮像部が撮像した使用者の両眼の撮像データに基づいて、使用者の注視点を検出する注視点検出部と、注視点検出部が検出した注視点に基づいて、使用者が仮想スクリーンの手前を注視しているか、仮想スクリーン上若しくは仮想スクリーンの先を注視しているかを判定する注視点判定部と、注視点判定部が、使用者が仮想スクリーンの手前を注視していると判定した場合に、仮想スクリーン上に表示されている各々のオブジェクトの表示形態を変更する表示制御部と、を備える。
【選択図】図２

Description

本発明は、情報表示システム及び制御プログラムに関し、特に、透過型ＨＭＤを有する情報表示システム及び透過型ＨＭＤの表示を制御する表示制御プログラムに関する。

近年、センサ等のデバイスの小型化が進むにつれ、スマートグラスなどと呼ばれるウェアラブルな透過型ＨＭＤ（Head Mounted Display）の開発が活発化している。一般に、透過型ＨＭＤを用いた情報表示システムでは、透過型の仮想スクリーン（眼鏡のレンズ、サングラスやゴーグルの前面のガラスやプラスティックなどに表示される情報によって仮想的に作成されるスクリーン）に情報を投影表示することで、装着者（ユーザ）は背景を見ながら情報を確認することができる。すなわち、透過型ＨＭＤは、周囲環境である背景に情報を重ねて表示（重畳表示）できることが特徴の一つである。

しかしながら、従来の透過型ＨＭＤでは、当該重畳表示が行われるが故の課題として、ユーザの視線位置によっては、仮想スクリーン上に表示される情報が装着者（ユーザ）の視界の妨げになるという問題があり、この問題を回避するための技術が提案されている。

例えば、下記特許文献１には、ユーザの頭部に装着され、当該ユーザの視野内の情報表示エリアに画像表示を行う画像表示部と、上記頭部に装着され、上記頭部の回転動作を検出する頭部センサと、上記ユーザの視線方向を検出する視線検出部と、上記頭部センサの検出結果に基づいて、上記ユーザの首振り角を求める首振り角判別部とを備え、上記画像表示部は、上記視線方向及び上記首振り角に基づいて、上記情報表示エリアにおける画像表示を開始する技術が開示されている。

特開２０１３−０８３７３１号公報

上記特許文献１の技術は、特にスイッチ操作などをすることなく、情報表示エリア（仮想スクリーン）の画像表示及び非表示をユーザの意図に沿うように制御するものであり、例えば、ユーザの首振り角及び視線方向が所定の範囲内にあった場合には画像を表示し、所定の範囲内にない場合には非表示にする制御を行っている。

しかしながら、従来の情報表示システムは、仮想スクリーン上の情報を仮想スクリーンの先の背景に重ねて表示することを意図しており、仮想スクリーン上若しくは仮想スクリーンよりも先を注視することを想定しているため、仮想スクリーンの手前を注視した場合には仮想スクリーン上の情報が視界の妨げになるという問題がある。

具体的には、透過型ＨＭＤは、光学的には仮想スクリーンに結像する情報を表示する物体（上述した眼鏡のレンズ、サングラスやゴーグルの前面のガラスやプラスティック）が最もユーザの眼球に近い構造を有しており、その結果、当該仮想スクリーンに表示される情報が最初にユーザの眼に入射する。そのため、ユーザが上記物体よりも先、かつ、仮想スクリーン手前の近景を注視している場合、近景に対してもやはり仮想スクリーンが重畳表示されることになる。この場合、ユーザの意図からすれば仮想スクリーンはもはや背景に過ぎないため、この重畳表示は視界の妨げとなる。

この問題に対して、視界の妨げとならないように仮想スクリーンの表示形態を変更する方法が考えられるが、特許文献１の技術では、奥行方向の視線位置を検出する手段を含んでいないため、ユーザが情報表示エリア手前の近景を注視している場合でも、このユーザの意図に沿って画像表示のオン・オフを制御することができず、ユーザの視界を確保することができない。

また、ユーザが仮想スクリーン手前の近景を注視しているかどうかを判断できたとしても、当該仮想スクリーンの表示がどの程度、視界の妨げとなるかは、仮想スクリーンに表示される情報の種類や表示形態に依存する。更に、仮想スクリーンの表示形態を変更した後、ユーザが再び仮想スクリーンを注視した場合、仮想スクリーンの表示を復元する必要があるが、表示形態の変更及び復元が頻繁に行われると、表示のちらつきが生じてユーザの注意を惹いてしまう。従って、一律に画像表示をオン・オフする制御では、ユーザの視界を確保しつつ、情報を適切に表示することができない。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、仮想スクリーンよりも手前の近景を注視している場合に、ユーザの視界を確保しつつ、情報を適切に表示することができる透過型ＨＭＤを有する情報表示システム及び表示制御プログラムを提供することにある。

本発明の一側面は、仮想スクリーン上にオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、前記透過型ヘッドマウントディスプレイを制御する制御部は、前記撮像部が撮像した前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出部と、前記注視点検出部が検出した注視点に基づいて、前記使用者が前記仮想スクリーンの手前を注視しているか、前記仮想スクリーン上若しくは前記仮想スクリーンの先を注視しているかを判定する注視点判定部と、前記注視点判定部が、前記使用者が前記仮想スクリーンの手前を注視していると判定した場合に、前記仮想スクリーン上に表示されている各々のオブジェクトの表示形態を変更する表示制御部と、を備えることを特徴とする。

本発明の一側面は、仮想スクリーン上にオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを制御する制御装置で動作する表示制御プログラムであって、前記制御装置に、前記撮像部が撮像した前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出ステップ、前記注視点検出ステップで検出された注視点に基づいて、前記使用者が前記仮想スクリーンの手前を注視しているか、前記仮想スクリーン上若しくは前記仮想スクリーンの先を注視しているかを判定する注視点判定ステップ、前記注視点判定ステップで、前記使用者が前記仮想スクリーンの手前を注視していると判定された場合に、前記仮想スクリーン上に表示されている各々のオブジェクトの表示形態を変更する表示制御ステップ、を実行させることを特徴とする。

本発明の透過型ＨＭＤを有する情報表示システム及び表示制御プログラムによれば、仮想スクリーンよりも手前の近景を注視している場合に、ユーザの視界を確保しつつ、情報を適切に表示することができる。

その理由は、透過型ＨＭＤを制御する制御部（制御プログラム）は、ユーザの両眼を撮像した撮像データに基づいてユーザの注視点を検出し、検出した注視点に基づいて、ユーザが仮想スクリーンよりも手前の近景を注視しているかを判定し、その判定結果に応じて、仮想スクリーン上に表示されるオブジェクトの像の表示形態を変更する制御を行うからである。

また、透過型ＨＭＤを制御する制御部（制御プログラム）は、更に、仮想スクリーンのオブジェクトの属性を判定し、その判定結果に応じて、オブジェクトの表示形態を変更する制御を行うからである。

本発明の一実施例に係る情報表示システムの構成を模式的に示す図である。 本発明の一実施例に係る透過型ＨＭＤの構成を示すブロック図である。 本発明の一実施例に係る透過型ＨＭＤの設定条件を説明する図である。 本発明の一実施例に係る透過型ＨＭＤにおける注視点を説明する図である。 本発明の一実施例に係るオブジェクト属性の定義の一例である。 本発明の一実施例に係るオブジェクト属性テーブルの一例である。 本発明の一実施例に係る透過型ＨＭＤの動作を示すフローチャート図である。 本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示変更処理）を示すフローチャート図である。 本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示透過率変更処理）を示すフローチャート図である。 本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示復元処理）を示すフローチャート図である。 本発明の一実施例に係る透過型ＨＭＤの動作（オブジェクト表示透過率変更処理）を示すフローチャート図である。 本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの消去例を模式的に示す図である。 本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの透過率の変更例を模式的に示す図である。 本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの焦点位置の変更例を模式的に示す図である。 本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの色の変更例を模式的に示す図である。 本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクト（動画コンテンツ）の再生停止／開始例を模式的に示す図である。 本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの透過率の変更例（部分変更例）を模式的に示す図である。 本発明の一実施例に係る透過型ＨＭＤに表示されるオブジェクトの移動例を模式的に示す図である。

背景技術で示したように、ウェアラブルな透過型ＨＭＤでは、仮想スクリーンに情報を表示し、周囲環境である背景に重ねて表示（重畳表示）することによって、装着者（ユーザ）は背景を見ながら各種情報を確認することができる。すなわち、透過型ＨＭＤは、仮想スクリーンに表示される情報と仮想スクリーンの奥の背景とを重畳することを意図した装置であるが、実際の使用形態においては、ユーザが仮想スクリーンの手前の近景を注視する場合もある。

例えば、透過型ＨＭＤを休息時などに使用する場合、背景に映像情報などを重畳表示することによって、日常の動作に支障をきたさずに好みの情報を取得することができるが、携帯電話やスマートフォン、書籍などを見る場合は、ユーザは仮想スクリーンの手前を注視することになる。また、透過型ＨＭＤをジョギングやサイクリング時などに使用する場合、ユーザの進行方向の背景に走行距離や位置情報などを表示することによって、進行方向から視線を外さずに有益な情報を取得することができるが、立ち止まって携帯電話やスマートフォン、時計などを見る場合は、ユーザは仮想スクリーンの手前を注視することになる。このような場合、ユーザの意図からすれば仮想スクリーンはもはや背景に過ぎないため、仮想スクリーンに表示される情報によってユーザの視界が妨げられるという問題があった。

この問題に対して、ユーザが仮想スクリーン手前の近景を注視している場合に、視界の妨げとならないように仮想スクリーンの表示形態を変更する方法が考えられるが、従来の情報表示システムでは、ユーザが仮想スクリーン手前の近景を注視しているか否かを判断することができない。また、ユーザが仮想スクリーン手前の近景を注視しているか否かを判断できたとしても、当該仮想スクリーンの表示がどの程度、視界の妨げとなるかは、仮想スクリーンに表示される情報の種類や表示形態に依存する。例えば、動画のような動きのある情報や濃淡の大きい情報を表示している場合はその動きや濃淡に気をとられてしまうが、静止画や文書のような動きのない情報や濃淡の小さい情報を表示している場合はあまり気にならない。また、視線上に情報が表示されている場合はその情報が視界の妨げになるが、視線から外れた領域に情報が表示されている場合はそれほど視界の妨げにならない。

更に、視界の妨げにならないように仮想スクリーンの表示形態を変更した後、ユーザが再び仮想スクリーンを注視した場合、仮想スクリーンの表示を復元する必要があるが、表示形態の変更及び復元が頻繁に行われると表示のちらつきが生じ、かえって仮想スクリーン上の情報に気をとられてしまい、視界の妨げになる。

従って、視界の妨げとならないようにするためには、仮想スクリーンに表示されている情報の種類や表示形態を考慮して仮想スクリーンの表示形態を変更する必要があり、一律に表示をオン・オフする制御では、ユーザの視界を確保しつつ、情報を適切に表示することができない。

そこで、本発明の一実施の形態では、ユーザの両眼を撮像した撮像データに基づいてユーザの注視点（両眼の視線が重なる点）を検出し、取得した注視点に基づいて、ユーザが仮想スクリーン上を注視しているか、仮想スクリーンの手前の近景を注視しているのかを判定し、その判定結果に応じて、オブジェクトの表示形態を変更する。例えば、ユーザが仮想スクリーンの手前の近景を注視していると判定した場合は、仮想スクリーンのオブジェクトの透過率を大きく（オブジェクトを消去する場合を含む。）したり、焦点位置を仮想スクリーン上からずらしてぼかしたり、色調整（例えばモノクロ変換や視認性が低い色への変換）を行ったりし、オブジェクトの視認性を低下させて、オブジェクトを目立たなくする。

また、仮想スクリーンに表示されているオブジェクトの属性を判定し、その判定結果に応じて、オブジェクトの表示形態を変更する。例えば、仮想スクリーンに表示されているオブジェクトが動画コンテンツ以外（動画を含まない文書や静止画コンテンツなど）の場合は、上述した透過率や焦点位置、色の変更などの処理を行い、仮想スクリーンに表示されているオブジェクトがビデオやゲーム等の動画コンテンツの場合は、上記処理に代えて若しくは上記処理に加えて、動画コンテンツの再生を停止する処理を行う。

また、注視点を仮想スクリーン上にマッピングした点（両眼の中間点と注視点を結ぶ線と仮想スクリーン平面との交差点）の近傍の領域（視線領域と呼ぶ。）と文字や図形、画像などの情報（以下、オブジェクトと呼ぶ。）の表示領域とが重なっているか（すなわち、ユーザの視線領域にオブジェクトが表示されているか）を判定し、その判定結果に応じて、オブジェクトの表示形態を変更する。例えば、上記視線領域とオブジェクトの表示領域とが重なっていると判定した場合は、オブジェクトの内の視線領域に重なっている部分に対して、上述した透過率や焦点位置、色の変更などの処理を行ったり、上記処理に代えて若しくは上記処理に加えて、オブジェクトの表示位置を視線領域外に移動させたりする。

また、ユーザの注視点の移動により、ユーザが仮想スクリーン上若しくは仮想スクリーンの先の背景を注視していると判定した場合は、オブジェクトの表示形態を復元してオブジェクトを元の状態に戻す。

また、オブジェクトの表示形態の変更や復元に際して、透過率や焦点位置、色などを徐々に変化させたり、動画コンテンツの再生速度を徐々に変化させたり、オブジェクトを徐々に移動させたりする。

このように、ユーザの視線位置に応じて、仮想スクリーン上のオブジェクトの表示形態を変更することにより、ユーザの意図を損なうことなく、当該仮想スクリーン上のオブジェクトが視界の妨げとなる不具合を防止することができる。また、当該表示形態の変更処理及び復元処理が表示上自然な変化となるように工夫することにより、不用意にユーザの注意を惹くことや表示のちらつきを防ぐことができる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る透過型ＨＭＤを有する情報表示システム及び表示制御プログラムについて、図１乃至図１８を参照して説明する。図１は、本実施例の情報表示システムの構成を模式的に示す図であり、図２は、透過型ＨＭＤの構成を示すブロック図である。また、図３及び図４は、注視点を説明する図であり、図５は、オブジェクト属性の定義の一例、図６は、オブジェクト属性テーブルの一例である。また、図７乃至図１１は、本実施例の透過型ＨＭＤの動作を示すフローチャート図であり、図１２乃至図１８は、オブジェクトの表示形態の変更例を模式的に示す図である。

本実施例の情報表示システムは、透過型ＨＭＤ１０を有するシステムであり、種々な構成が考えられる。代表的な構成は、図１（ａ）に示すように、透過型ＨＭＤ１０が単独で動作する構成、若しくは、図１（ｂ）に示すように、透過型ＨＭＤ１０が透過型ＨＭＤ本体１０ａと制御部１１とに分かれており、これらが有線又は無線で接続された構成である。また、透過型ＨＭＤ１０の仮想スクリーン上に表示するオブジェクトを他の装置で生成／編集／利用する場合は、図１（ｃ）に示すように、透過型ＨＭＤ１０と、通信端末２０と、オブジェクトの生成／編集を行うコンピュータ装置３０や、オブジェクトの印刷／ＦＡＸ送信などを行う画像形成装置４０とがネットワークで接続された構成とすることができる。更に、ネットワーク上にサーバ５０を配置し、インターネット６０を介して外部のネットワーク上のコンピュータ装置７０などと接続された構成とすることもできる。

なお、ネットワークの種類は任意であり、図１（ｃ）の構成における通信端末２０、コンピュータ装置３０、画像形成装置４０、サーバ５０は、イーサネット（登録商標）、ＦＤＤＩ（Fiber-Distributed Data Interface）やトークンリング等の規格で定められるＬＡＮ（Local Area Network）などで接続することができる。また、透過型ＨＭＤ１０側のネットワークと外部のネットワークとは、インターネット回線、あるいは公衆ＦＡＸ回線などを利用して接続することができる。また、透過型ＨＤＭ１０は、例えばＬＴＥ（Long Term Evolution）／３Ｇといった移動体通信回線、あるいはWiMAXといった無線通信回線を通じてネットワークに接続する構成としてもよい。また、図１（ｂ）の構成における透過型ＨＭＤ本体１０ａと制御部１１との通信、若しくは、図１（ｃ）の構成における透過型ＨＤＭ１０と通信端末２０との通信は、Bluetooth（登録商標）やＮＦＣ（Near Field Communication）、TransferJet、Wibree、IrDA等の規格で定められる近距離無線通信を利用することもできる。

以下、本実施例の情報表示システムの特徴部分である透過型ＨＭＤ１０について詳細に説明する。なお、本実施例では図１（ａ）の構成を前提にして説明する。

本実施例の情報表示システムは、ユーザが装着する部材（例えば、眼鏡やサングラス、ゴーグル、帽子など）と一体となったものであり、図２（ａ）に示すように、制御部１１と、記憶部１５と、通信Ｉ／Ｆ部１６と、撮像部１７と、表示／投影部１８などで構成される。

制御部１１は、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１３やＲＡＭ（Random Access Memory）１４などのメモリとで構成され、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置される。ＣＰＵ１２は、透過型ＨＭＤ１０の動作を制御する制御プログラムなどをＲＯＭ１３又は記憶部１５から読み出し、ＲＡＭ１４に展開して実行する。上記制御部は、図２（ｂ）に示すように、注視点検出部１１ａ、第１判定部１１ｂ、第２判定部１１ｃ、第３判定部１１ｄ、表示制御部１１ｅなどとしても機能する。

注視点検出部１１ａは、後述する撮像部１７から取得した装着者（ユーザ）の両眼の撮像データに基づいて、後述する公知の手法を用いて、ユーザの注視点（両眼の視線が交差する点）を検出し、検出した注視点の位置（座標）を第１判定部１１ｂ、第２判定部１１ｃ及び表示制御部１１ｅに通知する。

第１判定部１１ｂは、ユーザの注視点を判定する部分であり、注視点検出部１１ａから通知された注視点の位置（座標）と透過型ＨＭＤ１０の構成情報（ユーザの両眼と仮想スクリーンとの間隔）とに基づいて、ユーザが表示／投影部１８によって生成される仮想スクリーン上を注視しているか、あるいは表示／投影部１８の先かつ仮想スクリーンの手前の近景（以下、単に仮想スクリーンの手前と称する。）を注視しているのかを判定する。そして、判定結果を表示制御部１１ｅに通知する。

第２判定部１１ｃは、ユーザの視線とオブジェクトとの重なりを判定する部分であり、注視点検出部１１ａから通知された注視点の位置（座標）と透過型ＨＭＤ１０の構成情報（ユーザの両眼の位置）とに基づいて、ユーザの注視点を仮想スクリーン上にマッピングした位置（両眼の中心点と注視点を結ぶ線が仮想スクリーンと交差する点）を特定し、当該マッピングした位置を基準とする所定の範囲（視線領域）と、仮想スクリーン上に表示されているオブジェクトの表示位置とが重なっているか否かを判定する。そして、判定結果を表示制御部１１ｅに通知する。

第３判定部１１ｄは、予め記憶部１５に記憶されたオブジェクト属性テーブルに基づいて、仮想スクリーンに表示されているオブジェクトに対応付けられた属性を取得し、取得した属性に基づいて、当該オブジェクトがビデオやゲーム等の動画コンテンツなどのオブジェクトであるか、動画コンテンツ以外の文書や静止画コンテンツなどのオブジェクトであるかを判定する。そして、判定結果を表示制御部１１ｅに通知する。

表示制御部１１ｅは、記憶部１５からオブジェクトのデータを読み出し、表示／投影部１８によって仮想スクリーン上にオブジェクトを表示させる。また、表示制御部１１ｅは、注視点検出部１１ａがユーザの注視点の移動を検出した場合、第１判定部１１ｂ、必要に応じて、第２判定部１１ｃ及び／又は第３判定部１１ｄの判定結果に基づき、オブジェクトの表示形態を変更／復元する。例えば、ユーザが仮想スクリーンの手前を注視している場合は、オブジェクトの表示形態を変更（必要に応じてオブジェクトの属性に応じて表示形態を変更）する。また、ユーザが仮想スクリーンの手前を注視しており、かつ、視線領域とオブジェクトの表示位置とが重なっている場合は、オブジェクトの表示形態を変更（必要に応じてオブジェクトの属性に応じて表示形態を変更）する。また、表示制御部１１ｅは、オブジェクトの表示形態の変更後、注視点検出部１１ａがユーザの注視点の移動を検出した場合、注視点の移動により、ユーザが仮想スクリーンの手前を注視していない場合は、オブジェクトの表示形態を復元してオブジェクトを元の状態に戻す。

本発明において、オブジェクトの表示形態の変更とは、オブジェクトの視認性を低下させることであり、例えば、オブジェクトの表示輝度や投影光量を小さくしたり（本実施例では、オブジェクトの透過率を上げると記載する。）、オブジェクトの焦点位置を仮想スクリーン上からずらしてぼかしたり、オブジェクトの色調整（例えばモノクロ変換や視認性が低い色への変換）を行ったり、動画コンテンツの再生を停止したり、オブジェクトを視線領域外に移動させたり、オブジェクトのサイズを縮小（相似形の縮小及び変形の縮小の双方を含む。）したり、文字オブジェクトの線を細くしたり、オブジェクトを部分的に表示（メッシュ状やドット状の表示を含む。）したりすることである。また、本発明において、オブジェクトの表示形態の復元とは、例えば、オブジェクトの透過率や焦点位置、色、位置、サイズ、線の太さを元に戻したり、動画コンテンツの再生を開始したり、オブジェクトの全体を表示したりすることである。

なお、上記注視点検出部１１ａ、第１判定部１１ｂ、第２判定部１１ｃ、第３判定部１１ｄ及び表示制御部１１ｅは、ハードウェアとして構成してもよいし、制御部１１を注視点検出部１１ａ、第１判定部１１ｂ、必要に応じて第２判定部１１ｃ及び／又は第３判定部１１ｄ、表示制御部１１ｅとして機能させる表示制御プログラムとして構成し、当該表示制御プログラムをＣＰＵ１２に実行させる構成としてもよい。また、図１（ｃ）の構成の場合は、表示制御プログラムを、コンピュータ装置３０、７０やサーバ５０などで動作させる構成としてもよい。

記憶部１５は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）カードなどであり、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置され、表示／投影部１８によって仮想スクリーン上に表示させるオブジェクトのデータ、両眼の位置や仮想スクリーンの位置などを特定するための設定情報、各オブジェクトにオブジェクトの属性や表示変更の有無を示すフラグなどを対応付けたオブジェクト属性テーブルなどを記憶する。

通信Ｉ／Ｆ部１６は、ＮＩＣ（Network Interface Card）やモデムなどであり、透過型ＨＭＤ１０の筐体（眼鏡やサングラス、ゴーグルのツル（テンプル）など）の内外に固定又は配置され、上述した無線ＬＡＮ通信や移動体通信、近距離無線通信などによって、外部の機器との通信を行う。なお、透過型ＨＭＤ１０が外部の機器と通信する必要がない場合（例えば、ＳＤカードで外部の機器とデータのやりとりを行う場合）は、通信Ｉ／Ｆ部１６を省略することができる。また、透過型ＨＭＤ１０が透過型ＨＭＤ本体１０ａと制御部１１とに分かれている場合は、双方に通信Ｉ／Ｆ部１６を設け、双方の通信Ｉ／Ｆ部１６を介して、制御部１１が透過型ＨＭＤ本体１０ａを制御するようにしてもよい。

撮像部１７は、ＣＣＤ（Charge Coupled Devices）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどであり、透過型ＨＭＤ１０の筐体（例えば、眼鏡やサングラス、ゴーグルのヨロイ（智）やブリッジなど）に固定され、直接若しくはハーフミラーなどを用いて装着者（ユーザ）の両眼の瞳の位置や動きなどを撮像し、撮像データを制御部１１に通知する。

表示／投影部１８は、制御部１１から受け取ったオブジェクトのデータに基づいて仮想スクリーン上にオブジェクトを表示するための表示装置若しくは投影装置である。オブジェクトの表示方法として、表示部自体が透過性を有し、その表示部に、仮想スクリーン上にオブジェクトを表示させるための情報を表示するディスプレイ方式と、透過性を有する部材に上記情報を投影させる投影方式とがある。ディスプレイ方式の場合は、眼鏡やサングラス、ゴーグルのレンズやガラスの表面に透過型の液晶表示装置などを配置し、その液晶表示装置を透過型ＨＭＤ１０の筐体に固定又は配置した駆動回路で駆動して上記情報を表示することによって仮想スクリーン上にオブジェクトを表示する。また、投影方式の場合は、眼鏡やサングラス、ゴーグルのヨロイなどに投影装置を配置し、レンズやガラスなどに上記情報を投影することによって仮想スクリーン上にオブジェクトを表示する。

なお、図２は、本実施例の透過型ＨＭＤ１０の一例であり、仮想スクリーン上に表示されるオブジェクトと仮想スクリーンを通して見える背景とが重畳表示可能であり、ユーザの注視点位置、視線領域とオブジェクトの表示領域との重なり、オブジェクトの属性に基づいて、オブジェクトの表示形態を変更／復元可能な限りにおいて、その構成は適宜変更可能である。

以下、本実施例の透過型ＨＭＤ１０を用いてユーザの注視点を検出する方法について、図３及び図４を参照して説明する。図３は、ユーザの注視点と仮想スクリーンとの位置関係を模式的に示す斜視図及び平面図である。また、図４は、注視距離と輻輳角との関係を模式的に示す図であり、（ａ）はユーザの注視点が遠い場合、（ｂ）はユーザの注視点が近い場合を示している。

図３に示すように、情報表示システムの基準座標系（X，Y，Z）を設定する。ここでは、ＸＹ平面に仮想スクリーンが配置され、ユーザはＺ方向を見ているものとする。図中のＳは表示／投影部１８によってオブジェクトが表示される仮想スクリーン平面、Ｅはユーザの注視点、Ｃは両眼の中点Ｍとユーザの注視点Ｅを結ぶ線分と仮想スクリーン平面Ｓとの交点である。なお、ユーザの両眼は仮想スクリーン平面Ｓと平行であり、両眼の距離及び中点Ｍの位置、両眼から仮想スクリーン平面Ｓまでの距離は予め設定されているものとする。

このような情報表示システムにおいて、公知の技術を利用することによって注視点の３次元位置（座標）を検出することができる。例えば、図４に示すように、両眼の瞳の位置に基づいて両眼の視線方向を特定することができ、視線方向の差分から輻輳角を求めることができ、両眼の距離と輻輳角から注視点の座標を検出することができる。なお、注視点の検出方法に関しては、例えば、Thies Pfeiffer，Marc E. Latoschik，Ipke Wachsmuth，"Evaluation of Binocular Eye Tracker and Algorithms for 3D Gaze Interaction in Virtual Reality Environments"，Journal of Virtual Reality and Broadcasting，Volume 5，no.16，2008等に開示されている。

従って、制御部１１（注視点検出部１１ａ）は、撮像部１７が両眼の眼球を撮像した撮像データを取得し、取得した撮像データを解析して瞳の位置に基づいて輻輳角を特定することにより、ユーザの両眼の距離から、ユーザの注視点Ｅの座標を検出することができ、制御部１１（第１判定部１１ｂ）は、この注視点Ｅの座標に基づき、ユーザが仮想スクリーン上を注視しているのか、仮想スクリーンの手前を注視しているのかを判定することができる。また、制御部１１（第２判定部１１ｃ）は、注視点Ｅの座標及び両眼の中点Ｍの座標に基づいて仮想スクリーン上のＣの座標を計算で求めることができ、Ｃの座標と仮想スクリーン上に表示されているオブジェクトの座標とを比較することにより、視線領域にオブジェクトが表示されているか否かを判定することができる。

次に、仮想スクリーン上に表示されるオブジェクトの属性について説明する。図５はオブジェクト属性の定義の一例である。図５に示すように、仮想スクリーン上に表示されるオブジェクトは、ビデオやゲーム等の動画コンテンツなどのオブジェクトと、動画コンテンツ以外の文書や静止画コンテンツなどのオブジェクトとがある。ユーザが仮想スクリーンの手前を注視している場合、視界を妨げないようにするためには、前者はオブジェクトの動きを停止することが有効であり、後者はオブジェクトを目立たなくすることが有効である。また、ユーザが仮想スクリーンの先の背景を注視している場合は、主にユーザの視線と重なったオブジェクトが視界を妨げるが、ユーザが仮想スクリーンの手前を注視している場合は、仮想スクリーン全体が気になるため、ユーザの視線と重なったオブジェクトのみならず、ユーザの視線と重ならないオブジェクトも視界を妨げる可能性がある。

そこで、本実施例では、制御部１１（表示制御部１１ｅ）は、表示／投影部１８により仮想スクリーン上にオブジェクトを表示させる際に、全てのオブジェクトに対して、そのオブジェクトを生成／取得したアプリケーションの種類や、オブジェクトデータの拡張子などに基づいて、そのオブジェクトがどのような種類の情報であるかを判定し、オブジェクトとそのオブジェクトの属性とを対応付けて図６のオブジェクト属性テーブルに記述して、記憶部１５などに保存する。そして、制御部１１（第３判定部１１ｄ）は、図６のオブジェクト属性テーブルを参照して、仮想スクリーン上に表示されているオブジェクトの属性を判定し、制御部１１（表示制御部１１ｅ）は、オブジェクトの属性が「１」の場合は、動画コンテンツの再生を停止し、オブジェクトの属性が「２」の場合は、そのオブジェクトの透過率を上げたり、焦点位置を仮想スクリーン上からずらしたり、色を変更したり、サイズや位置を変更したりする。また、制御部１１（表示制御部１１ｅ）は、動画コンテンツの再生を停止した場合に、オブジェクト属性テーブルの表示変更フラグに「true」を書き込む。

このように、オブジェクトの性質に応じて属性を設定し、その属性をオブジェクト属性テーブルに記述しておくことにより、オブジェクトの属性に応じて、オブジェクトの表示形態を適切に変更することができる。また、表示変更フラグをオブジェクト属性テーブルに記述しておくことにより、ユーザの注視点が移動した場合に、表示形態を変更したオブジェクトを適切に元の状態に戻すことができる。

以下、上記構成の透過型ＨＭＤ１０の動作について説明する。ＣＰＵ１２は、ＲＯＭ１３又は記憶部１５に記憶した表示制御プログラムを読み出し、ＲＡＭ１４に展開して実行することにより、図７のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、表示／投影部１８により仮想スクリーン上に表示されるオブジェクトの属性は予めオブジェクト属性テーブルに登録されているものとする。

図７に示すように、制御部１１は、タイマーを０に設定し、タイマーの計測時間が予め定めた時間Ｔを越えるまで、所定時間（Δｔ）を加算する（Ｓ１０１〜Ｓ１０３）。タイマーの計測時間が予め定めた時間Ｔを越えたら、制御部１１（注視点検出部１１ａ）は、撮像部１７から通知された撮像データに基づいて、ユーザの注視点位置を検出する（Ｓ１０４）。この注視点位置の検出処理は上述した通りであり、撮像部１７が両眼の眼球を撮像した撮像データを解析し、瞳の位置に基づいて輻輳角を特定し、ユーザの両眼の距離からユーザの注視点位置Ｅの座標を検出する。

次に、制御部１１（第１判定部１１ｂ）は、検出したユーザの注視点位置（Ｚｅ）が仮想スクリーン上の点（Ｚｃ）よりも小さいか（すなわち、ユーザが仮想スクリーンの手前を注視しているか）を判断する。Ｚｅ＜Ｚｃの場合（ユーザが仮想スクリーンの手前を注視している場合）は、制御部１１（表示制御部１１ｅ）は、オブジェクトの表示変更処理を実施し（Ｓ１０６）、Ｚｅ≧Ｚｃの場合（ユーザが仮想スクリーン上のオブジェクト若しくは仮想スクリーンの先の背景を注視している場合）は、制御部１１（表示制御部１１ｅ）は、オブジェクトの表示復元処理を実施する（Ｓ１０７）。なお、表示変更処理及び表示復元処理を頻繁に行うと、オブジェクトがかえって目立ってしまうため、所定時間以上、ユーザが仮想スクリーンの手前を注視している場合に表示変更処理を実施し、所定時間以上、ユーザが仮想スクリーン上若しくは仮想スクリーンの先を注視している場合に表示復元処理を実施するようにしてもよい。この表示変更処理及び表示復元処理の詳細は後述する。

そして、制御部１１は、透過型ＨＭＤ１０の電源がオフでなければ（Ｓ１０８のＮｏ）、Ｓ１０１に戻って同様の処理を繰り返す。

次に、Ｓ１０６のオブジェクトの表示変更処理について説明する。ＣＰＵ１２は、ＲＯＭ１３又は記憶部１５に記憶した表示制御プログラムを読み出し、ＲＡＭ１４に展開して実行することにより、図８及び図９のフローチャート図に示す各ステップの処理を実行する。

図８に示すように、制御部１１（表示制御部１１ｅ）は、仮想スクリーン上に表示されているオブジェクトの透過率を変更する（透過率を大きくして透明度を高くする）処理を実施する（Ｓ２０１）。その際、オブジェクトの透過率を目標とする透過率に一気に変化させてもよいが、透過率を一気に変化させると、ユーザの注意を惹いてしまう恐れがある。そこで、本実施例では、図９に示すように、制御部１１（表示制御部１１ｅ）は、オブジェクトの透過率（transparency）が予め定めた透過率（Tmax、例えば８０％）以上になるまで、オブジェクトの透過率（transparency）に予め定めた値（fadespeed、例えば５％）を徐々に加算する（Ｓ３０１、Ｓ３０２）。そして、オブジェクトの透過率をオブジェクトに対応づけてオブジェクト属性テーブルなどに記述しておく。

なお、上記Tmaxやfadespeedの値はオブジェクトのサイズや注視点の変化速度などに応じて適宜設定することができる。例えば、オブジェクトのサイズが大きい場合は、ユーザの注意を惹きやすいと考えられるため、Tmaxの値を大きくし、fadespeedの値を小さくする（透過率をゆっくり変化させて透明にする）ようにしてもよい。また、注視点の変化速度が大きい（ユーザが急に背景を注視した）場合は、オブジェクトが視界の妨げになる可能性が高いと考えられるため、Tmax及びfadespeedの値を大きくする（透過率を素早く変化させて透明にする）ようにしてもよい。また、Tmaxの値を１００％に設定し、仮想スクリーン上からオブジェクトを消去してもよい。

図８に戻って、制御部１１（第３判定部１１ｄ）は、表示／投影部１８により仮想スクリーン上に表示されているオブジェクトを選択し（Ｓ２０２）、予め記憶したオブジェクト属性テーブルを参照して、そのオブジェクトの属性が、特定のオブジェクト（動画コンテンツ）であることを示す「１」であるか、その他のオブジェクト（文書や静止画コンテンツ）であることを示す「２」であるかを判定する（Ｓ２０３）。オブジェクトの属性が「２」の場合はＳ２０１の表示透過率変更処理でオブジェクトは目立たなくなっているため、Ｓ２０２に戻って、次のオブジェクトに対してオブジェクトの属性を判定する。

オブジェクトの属性が「１」の場合は、表示透過率を大きくしてもオブジェクトが動くことによって目立ってしまうため、制御部１１（表示制御部１１ｅ）は、動画コンテンツの再生を停止する（Ｓ２０４）。なお、再生を停止する代わりに、再生速度を遅くしてもよい。その後、制御部１１（表示制御部１１ｅ）は、オブジェクト属性テーブルの表示変更フラグを「true」に設定する（Ｓ２０５）。そして、制御部１１（表示制御部１１ｅ）は、仮想スクリーン上に表示されている他のオブジェクトがあるかを判断し（Ｓ２０６）、属性が「１」の全てのオブジェクトに対してＳ２０４〜Ｓ２０５の処理を繰り返す。例えば、図６のオブジェクト属性テーブルは、「オブジェクトＡ」に対してＳ２０４の動画コンテンツの再生停止を行った状態を示しており、「オブジェクトＡ」に対応する表示変更フラグが「true」なっている。

なお、図８では、仮想スクリーン上に表示されている全てのオブジェクトに対してＳ２０１の透過率変更処理を行ったが、透過率変更処理に代えて、若しくは透過率変更処理に加えて、オブジェクトをぼかすための焦点位置の変更やモノクロ変換などの色調整、あるいはこれらの組み合わせた処理を行ってもよい。また、オブジェクトがユーザの視線領域に重ならなければそれほど目立たないため、重なった部分に対して上記処理を実施してもよい。その場合は、制御部１１（第２判定部１１ｃ）は、そのオブジェクトの表示位置が、ユーザの視線の仮想スクリーン上の点Ｃを中心とした半径ｒの領域Ｒと重なっているかを判断し、オブジェクトの表示位置が領域Ｒと重なっている場合は、オブジェクトの内、領域Ｒと重なる部分に対してＳ２０１の処理を行えばよい。また、上記処理に代えて、オブジェクトを移動させてもよい。その場合は、制御部１１（第２判定部１１ｃ）は、そのオブジェクトの表示位置が、ユーザの視線の仮想スクリーン上の点Ｃを中心とした半径ｒの領域Ｒと重なっているかを判断し、オブジェクトの表示位置が領域Ｒと重なっている場合は、オブジェクトを領域Ｒと重ならない位置に移動させればよい。その場合は、仮想スクリーン上の元の表示位置座標（X，Y）をオブジェクト属性テーブルに書き込むことにより、後述する表示復元処理で、オブジェクトを元の位置に移動させることができる。また、図８では、オブジェクトの属性が「１」の動画コンテンツに対して、透過率を大きくする等の処理を行った後、動画コンテンツの再生を停止したが、動画コンテンツは再生を停止するだけで目立たなくなることから、動画コンテンツに対しては、透過率を大きくする等の処理を省略することも可能である。

図１２乃至図１８は、上記フローに従ってオブジェクト（ここでは１つのオブジェクト）の表示形態を変更した例であり、（ａ）は変更前の状態、（ｂ）は変更後の状態を示している。

例えば、図１２（ａ）に示すように、仮想スクリーンＳ上にオブジェクトが表示されており、ユーザがそのオブジェクトの手前を注視した場合、そのオブジェクトがユーザの視線の仮想スクリーン上の位置Ｃに重なっていなくても、制御部１１（表示制御部１１ｅ）は、図１２（ｂ）に示すように、そのオブジェクトの表示を消去して（透過率を１００％に上げて）、そのオブジェクトがユーザの視界の妨げにならないようにする。

また、図１３（ｂ）に示すように、そのオブジェクトの透過率を大きくしたり（図ではハッチングの密度で透過率の変化を表現している。）、図１４（ｂ）に示すように、そのオブジェクトの焦点位置を仮想スクリーン上からずらしてぼかしたり（out of focus）、図１５（ｂ）に示すように、そのオブジェクトの色をモノクロや視認性が低い色に変更したり（図では線の濃淡で色の違いを表現している。）して、そのオブジェクトがユーザの視界の妨げにならないようにする。

また、仮想スクリーンＳ上にオブジェクト属性が「１」のオブジェクトが表示されており、ユーザがそのオブジェクトの手前を注視した場合、図１２乃至図１５の処理に加えて、若しくは図１２乃至図１５の処理に代えて、図１６（ｂ）に示すように、動画コンテンツの再生を停止して、そのオブジェクトがユーザの視界の妨げにならないようにする。

図１２乃至図１６は、オブジェクトがユーザの視線領域に重なっていない場合の例であるが、オブジェクトがユーザの視線領域に重なっている場合は、図１７（ｂ）に示すように、オブジェクトの内の、ユーザの視線の仮想スクリーン上の点Ｃを中心とした半径ｒの領域Ｒと重なっている部分に対してのみ、図１２乃至図１５の処理（図では透過率を上げる処理を示している。）を行ってもよい。その際、点Ｃに近くなるほど透過率が大きくなるようにしてもよい。また、オブジェクトがユーザの視線領域に重なっている場合は、図１８（ｂ）に示すように、ユーザの視点位置から外れるようにオブジェクトを移動させてもよい。

上記表示変更処理によって、ユーザの視界を確保することができるが、ユーザが再び仮想スクリーン上を注視した場合に、オブジェクトの表示形態をそのままにすると、ユーザはオブジェクトを確認することができなくなってしまう。そこで、本実施例では、図７のフローチャート図のＳ１０５で、注視点ＥのＺ座標が仮想スクリーン上の点ＣのＺ座標以上となった場合、オブジェクト表示復元処理を実施する。以下、図面を参照して具体的に説明する。ＣＰＵ１２は、ＲＯＭ１３又は記憶部１５に記憶した表示制御プログラムを読み出し、ＲＡＭ１４に展開して実行することにより、図１０及び図１１のフローチャート図に示す各ステップの処理を実行する。

図１０に示すように、制御部１１（表示制御部１１ｅ）は、表示対象になっているオブジェクトの透過率を復元する（透過率を小さくして透明度を低くする）処理を実施する（Ｓ４０１）。その際、オブジェクトの透過率を元の透過率に一気に変化させてもよいが、透過率に一気に変化させると、ユーザの注意を惹いてしまう恐れがある。そこで、本実施例では、図１１に示すように、制御部１１（表示制御部１１ｅ）は、予め記憶したオブジェクト属性テーブルなどを参照して、オブジェクトの透過率（transparency）が元の透過率（Tmin、例えば５０％）以下になるまで、オブジェクトの透過率（transparency）から予め定めた値（fadespeed、例えば５％）を徐々に減算する（Ｓ５０１、Ｓ５０２）。

なお、上記fadespeedの値はオブジェクトのサイズや注視点の変化速度などに応じて適宜設定することができる。例えば、オブジェクトのサイズが大きい場合は、ユーザの注意を惹きやすいと考えられるため、fadespeedの値を小さくする（透過率をゆっくり変化させて元に戻す）ようにしてもよい。また、注視点の変化速度が大きい（ユーザが急に仮想スクリーンを注視した）場合は、オブジェクトを確認する意図があると考えられるため、fadespeedの値を大きくする（透過率を素早く変化させて元に戻す）ようにしてもよい。また、透過率の変更に加えて、若しくは透過率の変更に代えて、焦点位置を仮想スクリーン上からずらしたり、色を調整したり、位置を移動させたりした場合も、元の状態に戻す（図１２乃至図１５、図１７、図１８の（ｂ）の状態から（ａ）の状態にする）。

図１０に戻って、制御部１１（第３判定部１１ｄ）は、表示／投影部１８により仮想スクリーン上に表示されているオブジェクトを選択し（Ｓ４０２）、予め記憶したオブジェクト属性テーブルを参照して、そのオブジェクトの属性が、特定のオブジェクト（動画コンテンツ）であることを示す「１」であるか、その他のオブジェクト（文字や静止画コンテンツ）であることを示す「２」であるかを判定する（Ｓ４０３）。オブジェクトの属性が「２」の場合は上記表示透過率復元処理でオブジェクトは元の状態になっているため、Ｓ４０２に戻って、次のオブジェクトに対してオブジェクトの属性を判定する。

オブジェクトの属性が「１」の場合は、制御部１１（表示制御部１１ｅ）は、オブジェクト属性テーブルを参照して、そのオブジェクトの表示変更フラグが「true」であるかを判断する（Ｓ４０４）。表示変更フラグが「true」でない場合は、そのオブジェクトは再生が停止されたオブジェクトではないため、Ｓ４０２に戻って、次のオブジェクトに対してオブジェクトの属性を判定する。

オブジェクトの表示変更フラグが「true」の場合は、制御部１１（表示制御部１１ｅ）は、そのオブジェクト（動画コンテンツ）の再生を開始する（Ｓ４０５）（図１６の（ｂ）から（ａ）の状態にする）。その際、動画コンテンツは、表示変更処理で再生が停止された時点から再生を開始してもよいし、最初から再生を開始してもよい。

その後、制御部１１（表示制御部１１ｅ）は、オブジェクト属性テーブルの表示変更フラグを「false」に設定し（Ｓ４０６）、属性が「１」の全てのオブジェクトに対してＳ４０４〜Ｓ４０６の処理を繰り返す。

以上説明したように、本実施例では、ユーザが仮想スクリーン上を注視しているか、仮想スクリーンの手前を注視しているのかを判定し、ユーザが仮想スクリーンの手前を注視していると判定した場合（必要に応じて、更にユーザの視線領域とオブジェクトの表示領域とが重なっていると判定した場合）は、仮想スクリーン上のオブジェクトの透過率を大きくしたり、焦点位置を仮想スクリーン上からずらしてぼかしたり、色調整（モノクロ変換や視認性が低い色への変換）を行ったりし、オブジェクトの視認性を低下させて、目立たなくしたりするため、仮想スクリーン上のオブジェクトが視界の妨げになる不都合を回避することができる。

また、オブジェクトの属性を判定し、そのオブジェクトが、ビデオやゲーム等の動画コンテンツと判定した場合は、動画コンテンツ再生を停止するため、オブジェクトが動くことにより視界の妨げになる不都合を回避することができる。

また、ユーザが再び仮想スクリーン上を注視していると判定した場合は、オブジェクトの透過率や焦点位置、色を元に戻したり、動画コンテンツの再生を開始したりするため、オブジェクトを適切に表示することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、透過型ＨＭＤ１０の構成や制御方法は適宜変更可能である。

例えば、表示／投影部１８を用いて、眼鏡やサングラス、ゴーグルのレンズやガラスなどに、仮想スクリーン上にオブジェクトを表示するための情報を表示する際に、左右２つのレンズやガラスに上記情報を表示してもよいし、一方のレンズやガラスのみに上記情報を表示してもよい。

また、上記実施例では、眼鏡やサングラス、ゴーグル、帽子などと一体となったウェアラブルな透過型ＨＭＤ１０について説明したが、ユーザの両眼と仮想スクリーンの位置間隔を一定に保つことができれば、機器に固定される装置（透過型ＨＵＤなど）に対しても、本発明の表示制御方法を同様に適用することができる。

本発明は、透過型ＨＭＤを有する情報表示システム及び透過型ＨＭＤにおけるオブジェクトの表示を制御する表示制御プログラム並びに当該表示制御プログラムを記録した記録媒体に利用可能である。

１０ 透過型ＨＭＤ
１０ａ 透過型ＨＭＤ本体
１１ 制御部
１１ａ 注視点検出部
１１ｂ 第１判定部
１１ｃ 第２判定部
１１ｄ 第３判定部
１１ｅ 表示制御部
１２ ＣＰＵ
１３ ＲＯＭ
１４ ＲＡＭ
１５ 記憶部
１６ 通信Ｉ／Ｆ部
１７ 撮像部
１８ 表示／投影部
２０ 通信端末
３０ コンピュータ装置
４０ 画像形成装置
５０ サーバ
６０ インターネット
７０ コンピュータ装置

Claims (14)

1. 仮想スクリーン上にオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを有する情報表示システムであって、
   前記透過型ヘッドマウントディスプレイを制御する制御部は、
   前記撮像部が撮像した前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出部と、
   前記注視点検出部が検出した注視点に基づいて、前記使用者が前記仮想スクリーンの手前を注視しているか、前記仮想スクリーン上若しくは前記仮想スクリーンの先を注視しているかを判定する注視点判定部と、
   前記注視点判定部が、前記使用者が前記仮想スクリーンの手前を注視していると判定した場合に、前記仮想スクリーン上に表示されている各々のオブジェクトの表示形態を変更する表示制御部と、を備える、
   ことを特徴とする情報表示システム。
2. 前記表示制御部は、前記表示形態の変更として、前記オブジェクトの透過率を上げるか、前記オブジェクトの焦点位置を前記仮想スクリーン上からずらすか、前記オブジェクトの色をモノクロ若しくは視認性が相対的に低い色に変更するか、の中から選択される少なくとも１つの処理を行う、
   ことを特徴とする請求項１に記載の情報表示システム。
3. 前記仮想スクリーン上に表示される各々のオブジェクトと当該オブジェクトの属性とを対応付けるオブジェクト属性テーブルが記憶部に記憶されており、
   前記制御部は、更に、
   前記オブジェクト属性テーブルに基づいて、前記仮想スクリーン上に表示されている各々のオブジェクトが、動画コンテンツであることを示す第１属性を有するか、前記動画コンテンツ以外のオブジェクトであることを示す第２属性を有するかを判定する属性判定部を備え、
   前記表示制御部は、前記属性判定部が、前記第１属性を有すると判定したオブジェクトに対して、前記表示形態の変更として、当該オブジェクトの再生を停止する、
   ことを特徴とする請求項１又は２に記載の情報表示システム。
4. 前記制御部は、更に、
   前記使用者の両眼の中間点と前記注視点とを結ぶ直線が前記仮想スクリーンと交差する点近傍の視線領域と、前記仮想スクリーン上のオブジェクトの表示位置と、が重なっているかを判定する重なり判定部を備え、
   前記表示制御部は、前記重なり判定部が、前記視線領域と前記表示位置とが重なっていると判定したオブジェクトに対して、当該オブジェクトの表示形態を変更する、
   ことを特徴とする請求項１乃至３のいずれか一に記載の情報表示システム。
5. 前記表示制御部は、前記オブジェクトの表示形態を変更した後、前記注視点判定部が、前記使用者が前記仮想スクリーン上若しくは前記仮想スクリーンの先を注視していると判定した場合、前記オブジェクトの表示形態を復元する、
   ことを特徴とする請求項１乃至４のいずれか一に記載の情報表示システム。
6. 前記表示制御部は、前記オブジェクトの再生を停止したことを示す所定のフラグが設定されている場合は、前記表示形態の復元として、当該オブジェクトの再生を再開する、
   ことを特徴とする請求項５に記載の情報表示システム。
7. 前記表示制御部は、前記オブジェクトの表示形態を変更又は復元する際に、前記オブジェクトの表示形態を徐々に変化させる、
   ことを特徴とする請求項１乃至６のいずれか一に記載の情報表示システム。
8. 仮想スクリーン上にオブジェクトを表示するための表示／投影部と、使用者の両眼を撮像する撮像部と、を備える透過型ヘッドマウントディスプレイを制御する制御装置で動作する表示制御プログラムであって、
   前記制御装置に、
   前記撮像部が撮像した前記使用者の両眼の撮像データに基づいて、前記使用者の注視点を検出する注視点検出ステップ、
   前記注視点検出ステップで検出された注視点に基づいて、前記使用者が前記仮想スクリーンの手前を注視しているか、前記仮想スクリーン上若しくは前記仮想スクリーンの先を注視しているかを判定する注視点判定ステップ、
   前記注視点判定ステップで、前記使用者が前記仮想スクリーンの手前を注視していると判定された場合に、前記仮想スクリーン上に表示されている各々のオブジェクトの表示形態を変更する表示制御ステップ、を実行させる、
   ことを特徴とする表示制御プログラム。
9. 前記表示制御ステップでは、前記表示形態の変更として、前記オブジェクトの透過率を上げるか、前記オブジェクトの焦点位置を前記仮想スクリーン上からずらすか、前記オブジェクトの色をモノクロ若しくは視認性が相対的に低い色に変更するか、の中から選択される少なくとも１つの処理を行う、
   ことを特徴とする請求項８に記載の表示制御プログラム。
10. 前記制御部に、更に、
    予め記憶部に記憶された、前記仮想スクリーン上に表示される各々のオブジェクトと当該オブジェクトの属性とを対応付けるオブジェクト属性テーブルに基づいて、前記仮想スクリーン上に表示されている各々のオブジェクトが、動画コンテンツであることを示す第１属性を有するか、前記動画コンテンツ以外のオブジェクトであることを示す第２属性を有するかを判定する属性判定ステップを実行させ、
    前記表示制御ステップでは、前記属性判定ステップで、前記第１属性を有すると判定されたオブジェクトに対して、前記表示形態の変更として、当該オブジェクトの再生を停止する、
    ことを特徴とする請求項８又は９に記載の表示制御プログラム。
11. 前記制御部に、更に、
    前記使用者の両眼の中間点と前記注視点とを結ぶ直線が前記仮想スクリーンと交差する点近傍の視線領域と、前記仮想スクリーン上のオブジェクトの表示位置と、が重なっているかを判定する重なり判定ステップを実行させ、
    前記表示制御ステップでは、前記重なり判定ステップで、前記視線領域と前記表示位置とが重なっていると判定されたオブジェクトに対して、当該オブジェクトの表示形態を変更する、
    ことを特徴とする請求項８乃至１０のいずれか一に記載の表示制御プログラム。
12. 前記表示制御ステップでは、前記オブジェクトの表示形態を変更した後、前記注視点検出ステップで、前記使用者が前記仮想スクリーン上若しくは前記仮想スクリーンの先を注視していると判定された場合、前記オブジェクトの表示形態を復元する、
    ことを特徴とする請求項８乃至１１のいずれか一に記載の表示制御プログラム。
13. 前記表示制御ステップでは、前記オブジェクトの再生を停止したことを示す所定のフラグが設定されている場合は、前記表示形態の復元として、当該オブジェクトの再生を再開する、
    ことを特徴とする請求項１２に記載の表示制御プログラム。
14. 前記表示制御ステップでは、前記オブジェクトの表示形態を変更又は復元する際に、前記オブジェクトの表示形態を徐々に変化させる、
    ことを特徴とする請求項８乃至１３のいずれか一に記載の表示制御プログラム。

Images