JP2023136238A - 情報表示システム、情報表示方法、及びプログラム - Google Patents

Abstract

【課題】利用者が装着するウェアラブル端末を用いて、利用者が注視していない周辺の対象物に関する情報を、利用者に適切に視認させる。【解決手段】情報表示システムは、利用者の姿勢に関する情報、又は前記利用者の視線に関する情報を含む検知情報を取得する取得部と、前記利用者に対して所定の投影方向にある投影対象に画像を投影する投影部と、前記検知情報と、前記投影方向に関する情報とに基づいて、前記投影対象に投影する画像を制御する投影制御部と、を有する。【選択図】図９

Description

本発明は、情報表示システム、情報表示方法、及びプログラムに関する。

利用者が装着するウェアラブル端末を用いて、利用者の前にある物体に関する情報を提供する技術が開発されている。

例えば、利用者の頭部に装着して使用するメガネ型端末等に、撮像画像と位置情報に対応する３次元データと、センサ情報から推定したユーザの視線方向とに基づいて、３次元データから表示データを特定し、表示する技術が知られている（例えば、特許文献１参照）。

特許文献１に開示された技術により、例えば、利用者が着目している対象物に、対象物に関する様々な情報を重畳して表示することができる。

しかし、従来の技術では、ウェアラブル端末は、利用者の視野角の範囲内の対象物に対して、さらに多くの情報を表示する使用方法にとどまっていた。例えば、メガネ型の端末では、情報を表示可能な領域がレンズ面上に限られているため、ユーザの周辺に、ユーザが着目している対象物以外に、より重要度が高い対象物がある場合でも、その情報が利用者に伝わらない場合がある。

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、利用者が装着するウェアラブル端末を用いて、利用者が注視していない周辺の対象物に関する情報を、利用者に適切に視認させる。

上記の課題を解決するため、本発明の一実施形態に係る情報表示システムは、利用者の姿勢に関する情報、又は前記利用者の視線に関する情報を含む検知情報を取得する取得部と、前記利用者に対して所定の投影方向にある投影対象に画像を投影する投影部と、前記検知情報と、前記投影方向に関する情報とに基づいて、前記投影対象に投影する画像を制御する投影制御部と、を有する。

本発明の一実施形態によれば、利用者が装着するウェアラブル端末を用いて、利用者が注視していない周辺の対象物に関する情報を、利用者に適切に視認させることができる。

一実施形態の情報表示システムの概要について説明するための図である。 一実施形態に係る情報表示システムのシステム構成の例を示す図（１）である。 一実施形態に係る情報表示システムのシステム構成の例を示す図（２）である。 一実施形態に係る第１のウェアラブル端末のハードウェア構成の例を示す図である。 一実施形態に係る第２のウェアラブル端末のハードウェア構成の例を示す図である。 一実施形態に係るウェアラブル端末のハードウェア構成の例を示す図である。 一実施形態に係るコンピュータのハードウェア構成の例を示す図である。 一実施形態に係る情報表示システムの機能構成の例を示す図（１）である。 一実施形態に係る情報表示システムの機能構成の例を示す図（２）である。 一実施形態に係る情報表示システムの機能構成の例を示す図（３）である。 一実施形態に係る情報表示システムの機能構成の例を示す図（４）である。 一実施形態に係る情報表示システムの機能構成の例を示す図（５）である。 一実施形態に係る投影制御部の機能構成の例を示す図である。 一実施形態に係る情報表示システムの処理の例を示すフローチャートである。 一実施形態に係る視野領域について説明するための図である。 第1の実施形態に係る投影方法の決定処理の例を示すフローチャートである。 第1の実施形態に係る通常の表示方法の一例のイメージを示す図である。 第1の実施形態に係る第1の強調表示の一例のイメージを示す図である。 第1の実施形態に係る第２の強調表示の一例のイメージを示す図である。 第２の実施形態に係る投影方法の決定処理の例を示すフローチャートである。 第２の実施形態に係る表示方法の一例のイメージを示すフローチャートである。 第３の実施形態に係る情報表示システムの処理の例を示すフローチャートである。 第３の実施形態に係る表示方法の一例のイメージを示す図である。 第４の実施形態に係る投影対象の判定処理の例を示すフローチャートである。 第４の実施形態に係る表示方法の例を示す図である。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。

＜概要＞
図１は、一実施形態に係る情報表示システムの概要について説明するための図である。情報表示システム１は、一例として、利用者２が、頭部等に装着する第１のウェアラブル端末１００－１と、胸、又は肩等の胴体に装着する第２のウェアラブル端末１００－２とを含む。なお、第１のウェアラブル端末１００－１と、第２のウェアラブル端末１００－２とは、無線通信又は有線通信で相互に通信可能に接続されている。

第１のウェアラブル端末１００－１は、例えば、１つ以上の周辺カメラを備え、利用者２の周辺の映像等を取得する機能を有している。また、第１のウェアラブル端末１００－１は、ＩＭＵ（Inertial Measurement Unit）、又はＥＯＧ（Electro-Oculogram）センサ等を備え、利用者２の視線を推定するための検知情報を取得する機能を有している。

第２のウェアラブル端末１００－２は、例えば、１つ以上のプロジェクタを備え、利用者２に対して所定の投影方向にある投影対象３に対して画像４を投影する機能を有している。また、第２のウェアラブル端末１００－２は、利用者２の周辺の３次元点群データを取得するＬｉＤＡＲ（Light Detection And Ranging）等の３次元センサ、及び第１のウェアラブル端末１００－１を装着している利用者を撮像する装着者カメラ等を備えている。

情報表示システム１は、例えば、第１のウェアラブル端末１００－１、又は第２のウェアラブル端末１００－２が検知した、利用者２の姿勢に関する情報、又は利用者２の視線に関する情報を含む検知情報を取得する。また、情報表示システム１は、利用者に対して所定の投影方向にある投影対象３に画像４を投影する際に、取得した検知情報と、投影方向に関する情報とに基づいて、投影対象３に投影する画像４の投影方法を制御する。

具体的な一例として、情報表示システム１は、取得した検知情報から利用者２の視線方向を推定し、利用者の視線方向と、投影方向との差が閾値以上である場合、投影対象３に投影する画像４を強調表示（例えば、点滅表示、振動表示、又は反転表示等）する。

別の一例として、情報表示システム１は、利用者２の視線方向と、投影方向との差がさらに大きい場合、投影対象の位置又は方向を示す画像を、利用者２の視野内の他の投影対象に表示させる。

このように、本実施形態に係る情報表示システム１によれば、利用者２が装着するウェアラブル端末を用いて、利用者２が注視していない周辺の対象物に関する情報を、利用者に適切に視認させる。

＜システム構成＞
図２、３は、一実施形態に係る情報表示システムの構成例を示す図である。図２（Ａ）の例では、情報表示システム１は、図１で説明した第１のウェアラブル端末１００－１と、第２のウェアラブル端末１００－２とが、無線通信、又は有線通信で互いに通信可能に接続されている。

ただし、これは一例であり、第１のウェアラブル端末１００－１と、第２のウェアラブル端末１００－２は、図２（Ａ）に示すように、１つのウェアラブル端末１００で構成されていてもよい。この場合、ウェアラブル端末１００は、第１のウェアラブル端末１００－１と同様に、利用者２の頭部等に装着するものであってもよいし、第２のウェアラブル端末１００－２と同様に、利用者２の胴体等に装着するものであってもよい。

さらに、情報表示システム１は、図３に示すように、第１のウェアラブル端末１００－１、及び第２のウェアラブル端末１００－２と、無線通信又は有線通信で通信可能に接続された情報処理装置３００を有していてもよい。

情報処理装置３００は、例えば、ＰＣ（Personal Computer）、タブレット端末、又はスマートフォン等のコンピュータの構成を有する情報端末である。情報処理装置３００は、所定のプログラムを実行することにより、第１のウェアラブル端末１００－１、及び第２のウェアラブル端末１００－２を制御して、本実施形態に係る情報表示方法を制御する。

＜ハードウェア構成＞
続いて、情報表示システム１に含まれる各装置のハードウェア構成の例について説明する。

（第１のウェアラブル端末）
図４は、一実施形態に係る第１のウェアラブル端末のハードウェア構成の例を示す図である。第１のウェアラブル端末２００－１は、例えば、ＣＰＵ（Central Processing Unit）４０１、メモリ４０２、ストレージデバイス４０３、通信Ｉ／Ｆ（Interface）４０４、１つ以上の周辺カメラ４０５、ＩＭＵ４０６、ＥＯＧセンサ４０７、音声回路４０８、スピーカ４０９、マイク４１０、及びバス４１１等を有する。

ＣＰＵ４０１は、例えば、ストレージデバイス４０３等の記憶媒体に格納されたプログラムやデータをメモリ３０２上に読み出し、処理を実行することで、第１のウェアラブル端末１００－１の各機能を実現する演算装置（プロセッサ）である。メモリ４０２には、例えば、ＣＰＵ４０１のワークエリア等として用いられるＲＡＭ（Random Access Memory）、及びＣＰＵ４０１の起動用のプログラム等を記憶するＲＯＭ（Read Only Memory）等が含まれる。ストレージデバイス４０３は、ＯＳ（Operating System）、アプリケーション、及び各種のデータ等を記憶する大容量の不揮発性の記憶装置であり、例えば、ＳＳＤ（Solid State Drive）、又はＨＤＤ等によって実現される。

通信Ｉ／Ｆ３０４は、第２のウェアラブル端末１００－２と通信するための、例えば、近距離無線通信、無線ＬＡＮ（Local Area Network）、又は有線通信等の通信インタフェースである。また、通信Ｉ／Ｆ３０４は、例えば、インターネット、及びＬＡＮ等の通信ネットワークに接続するための、ＬＡＮ、又はＷＡＮ（Wide Area Network）等の通信インタフェースを含む。

１つ以上の周辺カメラ４０５は、利用者２の周辺の画像（映像）を撮影する撮影装置である。周辺カメラ４０５は、１台で全方位の画像（映像）を撮影可能な全天球カメラであってもよいし、複数のカメラによって構成されるものであってもよい。情報表示システム１は、例えば、１つ以上の周辺カメラ４０５で撮影した画像を用いて、自己位置推定と、環境地図作成を行うＶｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mapping）を行うことができる。

ＩＭＵ４０６は、例えば、利用者２の姿勢情報等を取得する慣性計測デバイスである。例えば、ＩＭＵ４０６は、３軸のジャイロセンサと、３方向の加速度センサとにより、３次元の角速度と加速度を検知する。ＥＯＧセンサ４０７は、利用者２の視線を推定するための眼電位センサである。第１のウェアラブル端末１００－１は、ＩＭＵ４０６とＥＯＧセンサ４０７とのうち、少なくとも一方を有していればよい。

音声回路４０８は、ＣＰＵ４０１からの制御に従って、音声信号をスピーカ４０９に出力し、マイク４１０から入力された音声信号を増幅する。スピーカ４０９は、音声回路４０８から入力された音声信号を音声に変換して出力する。マイク４１０は、周辺の音声を取得し、音声信号に変換して音声回路４０８に出力する。なお、第１のウェアラブル端末２００－１は、音声回路４０８、スピーカ４０９、及びマイク４１０の一部、又は全部を有していなくてもよい。バス４１１は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

（第２のウェアラブル端末）
図５は、一実施形態に係る第２のウェアラブル端末のハードウェア構成の例を示す図である。第２のウェアラブル端末２００－２は、例えば、ＣＰＵ５０１、メモリ５０２、ストレージデバイス５０３、通信Ｉ／Ｆ５０４、ＬｉＤＡＲ５０５、装着者カメラ５０６、１つ以上のプロジェクタ５０７、及びバス５０８等を有する。このうち、ＣＰＵ５０１、メモリ５０２、ストレージデバイス５０３、通信Ｉ／Ｆ５０４、及びバス５０８は、図４で説明したＣＰＵ４０１、メモリ４０２、ストレージデバイス４０３、通信Ｉ／Ｆ４０４、及びバス４１１と同様なので、ここでは説明を省略する。

ＬｉＤＡＲ５０５は、対象物にレーザー光等の光を照射し、その反射光を光センサ等で検知することにより、対象物までの距離を測定する測距デバイスである。ＬｉＤＡＲ５０５は、主に、投影対象の投影面までの距離、傾き、及び形状等の情報を取得するために用いられる。ただし、これに限られず、情報表示システム１は、ＬｉＤＡＲ５０５を、自己位置推定と、環境地図作成を行うＳＬＡＭに用いてもよい。

装着者カメラ５０６は、利用者２を撮影するカメラである。情報表示システム１は、装着者カメラ５０６が撮影した利用者２の画像を、例えば、利用者２の視線方向を推定ために用いることができる。また、情報表示システム１は、装着者カメラ５０６が撮影した利用者２の画像を、利用者２を特定するために用いてもよい。

１つ以上のプロジェクタ５０７は、投影対象３に画像４等を投影する画像投影デバイスである。情報表示システム１は、例えば、広い範囲に画像４等を投影したい場合、複数の投影対象３に画像４等を投影したい場合、又は明るい場所にある投影対象３に画像４等を投影した場合等に、複数のプロジェクタ５０７を有していてもよい。ここでは、プロジェクタ５０７の数が１つであるものとして、以下の説明を行う。

（ウェアラブル端末）
図６は、一実施形態に係るウェアラブル端末のハードウェア構成の例を示す図である。ウェアラブル端末１００は、例えば、ＣＰＵ６０１、メモリ６０２、ストレージデバイス６０３、通信Ｉ／Ｆ６０４、１つ以上の周辺カメラ６０５、ＩＭＵ６０６、ＥＯＧセンサ６０７、音声回路６０８、スピーカ６０９、マイク６１０、及びバス６１９等を有する。なお、上記の各構成要素は、図４で説明したＣＰＵ４０１、メモリ４０２、ストレージデバイス４０３、通信Ｉ／Ｆ４０４、１つ以上の周辺カメラ４０５、ＩＭＵ４０６、ＥＯＧセンサ４０７、音声回路４０８、スピーカ４０９、マイク４１０、及びバス４１１と同様なので、ここでは説明を省略する。

また、ウェアラブル端末１００は、例えば、ＬｉＤＡＲ６１１、装着者カメラ６１２、及び１つ以上のプロジェクタを有する。なお、上記の各構成要素は、図５で説明したＬｉＤＡＲ５０５、装着者カメラ５０６、及び１つ以上のプロジェクタ５０７と同様なので、ここでは説明を省略する。

図６に示すように、ウェアラブル端末１００は、第１のウェアラブル端末１００－１と、第２のウェアラブル端末１００－２とを一体化した構成を有している。

（情報処理装置）
情報処理装置３００は、例えば、図７に示すようなコンピュータ７００のハードウェア構成を有している。或いは、情報処理装置３００は、複数のコンピュータ７００によって構成される。

図７は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ７００は、例えば、図７に示されるように、ＣＰＵ７０１、ＲＯＭ（Read Only Memory）７０２、ＲＡＭ７０３、ＨＤ（Hard Disk）７０４、ＨＤＤコントローラ７０５、ディスプレイ７０６、外部機器接続Ｉ／Ｆ７０７、ネットワークＩ／Ｆ７０８、キーボード７０９、ポインティングデバイス７１０、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable)ドライブ７１２、メディアＩ／Ｆ７１４、及びバスライン７１５等を備えている。

これらのうち、ＣＰＵ７０１は、コンピュータ７００全体の動作を制御する。ＲＯＭ７０２は、例えば、ＩＰＬ（Initial Program Loader）等のコンピュータ７００の起動に用いられるプログラムを記憶する。ＲＡＭ７０３は、例えば、ＣＰＵ７０１のワークエリア等として使用される。ＨＤ７０４は、例えば、ＯＳ（Operating System）、アプリケーション、デバイスドライバ等のプログラムや、各種データを記憶する。ＨＤＤコントローラ７０５は、例えば、ＣＰＵ７０１の制御に従ってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。

ディスプレイ７０６は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。なお、ディスプレイ７０６は、コンピュータ７００の外部に設けられていても良い。外部機器接続Ｉ／Ｆ７０７は、様々な外部機器を、コンピュータ７００に接続するための、例えば、ＵＳＢ（Universal Serial Bus）等のインタフェースである。ネットワークＩ／Ｆ７０８は、例えば、通信ネットワーク等を利用して、他の装置と通信するためのインタフェースである。

キーボード７０９は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス７１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行なう入力手段の一種である。なお、キーボード７０９、及びポインティングデバイス７１０は、コンピュータ７００の外部に設けられていても良い。ＤＶＤ－ＲＷドライブ７１２は、着脱可能な記憶媒体の一例としてのＤＶＤ－ＲＷ７１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ７１１は、ＤＶＤ－ＲＷに限らず、他の記憶媒体であっても良い。

メディアＩ／Ｆ７１４は、フラッシュメモリ等のメディア７１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン７１５は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。

なお、図７に示すコンピュータ７００のハードウェア構成は一例である。コンピュータ７００は、例えば、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ネットワークＩ／Ｆ７０８、及びバスライン２１６を有していれば、他は任意の構成であって良い。

＜機能構成＞
図８～図１２は、一実施形態に係る情報表示システムの機能構成の例を示す図である。

図８は、一実施形態に係る情報表示システム１の機能構成の一例を示している。

（第１のウェアラブル端末の機能構成）
第１のウェアラブル端末１００－１は、例えば、ＣＰＵ４０１で所定のプログラムを実行することにより、通信部８０１、取得部８０２、投影制御部８０３、記憶部８０４、及び情報取得部８０５等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

通信部８０１は、例えば、通信Ｉ／Ｆ４０４を用いて、第２のウェアラブル端末１００－２と通信する通信処理を実行する。好ましくは、通信部８０１は、通信Ｉ／Ｆ４０４を用いて、通信ネットワークＮに接続し、外部サーバ８１０等の外部機器と通信することもできる。

取得部８０２は、利用者２の姿勢に関する情報（例えば、ＩＭＵ４０６から出力されるデータ）、又は利用者２の視線に関する情報（例えば、ＥＯＧセンサ４０７で検知したデータ）等を含む検知情報を取得する取得処理を実行する。なお、取得部８０２は、利用者２の視線に関する情報を、第２のウェアラブル端末１００－２から取得してもよい。

投影制御部８０３は、取得部８０２が取得した検知情報と、利用者２に対する投影対象３の方向である投影方向に関する情報とに基づいて、投影対象３に投影する画像４を制御する投影制御処理を実行する。なお、投影制御部８０３の具体的な機能構成、及び処理内容については後述する。

記憶部８０４は、例えば、ＣＰＵ４０１が実行するプログラム、ストレージデバイス４０３、及びメモリ４０２等によって実現され、投影対象３を特定するためのデータ、及び後述する複数の閾値等を記憶する。なお、投影対象３を特定するためのデータは、例えば、予め記憶した投影対象３の３次元ＣＡＤ（Computer Aided Design）データ等であってもよいし、外部サーバ８１０から取得したデジタルツイン８１１の３次元データ等であってもよい。ここで、デジタルツイン８１１は、物理空間から取得した３次元情報に基づいて、デジタル空間に物理空間のコピー（双子）を再現する技術である。例えばデジタルツイン８１１から取得した３次元データには、利用者２の周辺にある様々な物体の３次元データ、投影対象３の位置に関する情報、及び投影対象に投影する画像４等の様々な情報又はデータが含まれる。

また、投影対象３を特定するためのデータは、例えば、周辺カメラ４０５で撮影した画像に含まれる物体が、投影対象３であるか否かを識別するように予め学習した機械学習モデル等であってもよい。

情報取得部８０５は、必要に応じて、記憶部８０４に記憶するデータ（例えば、デジタルツイン８１１の３次元データ、又は学習済の機械学習モデル等）を外部サーバ８１０等から取得し、記憶部８０４に記憶する情報取得処理を実行する。

（第２のウェアラブル端末の機能構成）
第２のウェアラブル端末１００－２は、例えば、ＣＰＵ５０１で所定のプログラムを実行することにより、通信部８０６、及び投影部８０７等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

通信部８０６は、例えば、通信Ｉ／Ｆ５０４を用いて、第１のウェアラブル端末１００－１と通信する通信処理を実行する。通信部８０６は、通信Ｉ／Ｆ４０４を用いて、通信ネットワークＮに接続し、外部サーバ８１０等の外部機器と通信する機能を有していてもよい。

投影部８０７は、投影制御部８０３からの指示に従って、プロジェクタ５０７を用いて、投影対象３に画像４等を投影する投影処理を実行する。

なお、図８に示した情報表示システム１の機能構成は一例である。例えば、図８の第１のウェアラブル端末１００－１が有する各機能構成、及び第２のウェアラブル端末１００－２が有する各機能構成は、情報表示システム１に含まれていればよく、いずれの装置に設けられていても良い。

図９は、一実施形態に係る情報表示システム１の機能構成の別の一例を示している。図９に示すように、取得部８０２、投影制御部８０３、記憶部８０４、及び情報取得部８０５等の機能構成は、第２のウェアラブル端末１００－２が有していてもよい。この場合、取得部８０２は、前述した利用者２の姿勢に関する情報、又は利用者２の視線に関する情報等を含む検知情報を、第１のウェアラブル端末１００－１から取得する。

この場合、第１のウェアラブル端末１００は、検知部９０１を有する。検知部９０１は、例えば、ＣＰＵ４０１が実行するプログラムによって実現され、ＩＭＵ４０６又はＥＯＧセンサ４０７等から検知情報を取得し、取得した検知情報を、通信部８０１を介して第２のウェアラブル端末１００－２に送信する。なお、上記以外の各機能構成は、図８で説明した各機能構成と同様でよい。

図１０は、一実施形態に係る情報表示システム１の機能構成の別の一例を示している。図１０に示すように、投影制御部８０３、記憶部８０４、及び情報取得部８０５の機能は、第１のウェアラブル端末１００－１と、第２のウェアラブル端末１００－２に分散して設けられていても良い。

図１０の例では、第１のウェアラブル端末１００－１が備える投影制御部８０３ａは、第２のウェアラブル端末１００－２が備える投影制御部８０３ｂと協働して、図８で説明した投影制御部８０３の機能を実現する。また、第１のウェアラブル端末１００－１が備える記憶部８０４ａは、図８で説明した記憶部８０４が記憶する情報のうち、投影制御部８０３ａが利用する情報を記憶し、情報取得部８０５ａは、必要に応じて記憶部８０４ａに記憶する情報を取得する。

同様に、第２のウェアラブル端末１００－２が備える投影制御部８０３ｂは、第１のウェアラブル端末１００－１が備える投影制御部８０３ａと協働して、図８で説明した投影制御部８０３の機能を実現する。また、第２のウェアラブル端末１００－２が備える記憶部８０４ｂは、図８で説明した記憶部８０４が記憶する情報のうち、投影制御部８０３ｂが利用する情報を記憶し、情報取得部８０５ｂは、必要に応じて記憶部８０４ｂに記憶する情報を取得する。

図１１は、一実施形態に係る情報表示システム１の機能構成の別の一例を示している。図１１に示すように、情報表示システム１が備える各機能構成は、一体化されたウェアラブル端末１００によって実現されるものであってもよい。図１１の例では、ウェアラブル端末１００は、ＣＰＵ６０１で所定のプログラムを実行することにより、通信部８０１、取得部８０２、投影制御部８０３、記憶部８０４、情報取得部８０５、及び投影部８０７等を実現している。なお、上記の各機能構成は、図８で説明した、通信部８０１、取得部８０２、投影制御部８０３、記憶部８０４、情報取得部８０５、及び投影部８０７と同様なので、ここでは説明を省略する。

図１２は、一実施形態に係る情報表示システム１の機能構成の別の一例を示している。図１２に示すように、情報表示システム１が有する各機能構成のうち、取得部８０２、投影制御部８０３、記憶部８０４、及び情報取得部８０５等は、情報処理装置３００が有していてもよい。

図１２の例では、情報処理装置３００は、ＣＰＵ７０１で所定のプログラムを実行することにより、通信部１２０１、取得部８０２、投影制御部８０３、記憶部８０４、及び情報取得部８０５等を実現している。なお、取得部８０２、投影制御部８０３、記憶部８０４、及び情報取得部８０５は、図８で説明した、取得部８０２、投影制御部８０３、記憶部８０４、及び情報取得部８０５と同様なので、ここでは説明を省略する。

通信部１２０１は、例えば、ネットワークＩ／Ｆ７０８を用いて、第１のウェアラブル端末１００－１、及び第２のウェアラブル端末１００－２と通信する通信処理を実行する。また、通信部１２０１は、情報処理装置３００を通信ネットワークＮに接続し、外部サーバ８１０等とも通信可能である。

図１２の例では、第１のウェアラブル端末１００－１は、一例として、図９に示すような、第１のウェアラブル端末１００－１の機能構成を有する。別の一例として、第１のウェアラブル端末１００－１は、図１０に示すような、第１のウェアラブル端末１００－１の機能構成を有していてもよい。

また、第２のウェアラブル端末１００－２は、一例として、図８に示すような、第２のウェアラブル端末１００－２の機能構成を有する。別の一例として、第２のウェアラブル端末１００－２は、図１０に示すような、第２のウェアラブル端末１００－２の機能構成を有していてもよい。

第１のウェアラブル端末１００－１が、図１０に示すような、第１のウェアラブル端末１００－１の機能構成を有している場合、情報処理装置３００の投影制御部８０３、記憶部８０４、及び情報取得部８０５は、第１のウェアラブル端末１００－１と協働して、図８で説明した機能を実現する。同様に、第２のウェアラブル端末１００－２が、図１０に示すような、第２のウェアラブル端末１００－２の機能構成を有している場合、情報処理装置３００の投影制御部８０３、記憶部８０４、及び情報取得部８０５は、第２のウェアラブル端末１００－２と協働して、図８で説明した機能を実現する。

また、第１のウェアラブル端末１００－１及び第２のウェアラブル端末１００－２が、図１０に示すような機能構成を有している場合、情報処理装置３００は、第１のウェアラブル端末１００－１及び第２のウェアラブル端末１００－２と協働して各機能を実現する。

このように、図８で説明した、第１のウェアラブル端末１００－１及び第２のウェアラブル端末１００－２が有する各機能構成は、情報表示システム１が有していればよく、いずれの装置が有していてもよい。

（投影制御部の機能構成）
図１３は、一実施形態に係る投影制御部の機能構成例を示す図である。投影制御部８０３は、例えば、図１３に示すように、視線推定部１３０１、視野領域推定部１３０２、投影対象判定部１３０３、投影方法決定部１３０４、及び投影指示部１３０５等を有する。

視線推定部１３０１は、取得部８０２が取得した検知情報に基づいて、利用者２の視線方向を推定する視線推定処理を実行する。例えば、視線推定部１３０１は、視線方向を取得するＥＯＧセンサ４０７から取得した検知情報から、利用者２の視線方向を取得してもよい。また、視線推定部１３０１、ＩＭＵ４０６から取得した検知情報から、顔がどちらを向いているかを計測して、その向きから利用者２の視線方向を推定してもよい。さらに、視線推定部１３０１は、装着者カメラ５０６が撮影した利用者２の画像を解析して、利用者２の視線方向を推定するもの等であってもよい。

視野領域推定部１３０２は、視線推定部１３０１が推定した利用者２の視線方向を中心として、その周囲に広がる利用者２の視野領域を推定する。

投影対象判定部１３０３は、一例として、周辺カメラ６０５で撮影した利用者２の周辺の画像と、記憶部８０４に予め記憶した投影対象３の情報（例えば、３次元のＣＡＤデータ）に基づいて、利用者２の周辺にある投影対象３を判定（特定）する。

別の一例として、投影対象判定部１３０３は、周辺カメラ６０５で撮影した画像から、ＶＳＡＬＭにより、利用者２の周辺の３次元情報を取得し、デジタルツイン８１１から取得した３次元情報と比較することにより、投影対象を判定してもよい。なお、デジタルツイン８１１から取得する３次元データには、少なくとも、投影対象３の位置を示す情報と、投影対象３に投影する画像４等の情報が含まれる。

投影方法決定部１３０４は、視線推定部１３０１が推定した利用者２の視線方向と、利用者に対する投影対象３の方向（投影方向）との差に基づいて、投影対象３に投影する画像４等の投影方法（内容、位置、強調表示等）を変更する。

投影指示部１３０５は、投影方法決定部１３０４が決定した投影方法で、投影対象３等への画像４の投影を指示する投影指示処理を実行する。

＜処理の流れ＞
続いて、本実施形態に係る情報表示方法の処理の流れについて説明する。

（情報表示システムの処理）
図１４は、一実施形態に係る情報表示システムの処理例を示すフローチャートである。この処理は、例えば、図８～図１３のいずれかの機能構成を有する情報表示システム１が実行する処理の例を示している。

ステップＳ１４０１において、取得部８０２は、利用者２の姿勢に関する情報、又は利用者２の視線に関する情報等を含む検知情報を取得する。ここで、利用者２の姿勢に関する情報には、例えば、ＩＭＵ４０６で検出した３次元の角速度と加速度等のデータが含まれる。また、利用者の視線に関する情報には、例えば、ＥＯＧセンサ４０７で検知した利用者の視線方向を示すデータ、又は装着者カメラ５０６等で撮影した利用者２の撮影画像等が含まれる。

ステップＳ１４０２において、投影制御部８０３は、取得部８０２が取得した検知情報に基づいて、利用者２の視線方向を推定する。例えば、投影制御部８０３の視線推定部１３０１は、ＥＯＧセンサ４０７から取得した検知情報から、利用者２の視線方向を取得する。

ステップＳ１４０３において、投影制御部８０３は、利用者の視線領域を推定する。図１５は、一実施形態に係る視野領域について説明するための図である。人の視野は、例えば、図１５に示すように、人の視線方向１５１１を中心として、その周囲に視野全体が広がっている。この視野は、大きく３つの領域に分けられる。

１つ目の領域は、有効視野１５１２であり、その範囲は、例えば、図１５（Ｂ）、（Ｃ）に示すように、視線方向１５１１に対して、垂直方向に±１０度、水平方向に±１０度の領域である。２つめの領域は、安定注視野１５１３であり、その範囲は、例えば、図１５（Ｂ）、（Ｃ）に示すように、視線方向１５１１に対して、垂直方向に±１０度以上３５度未満、水平方向に±１０度以上５５度未満の領域である。３つ目の領域は、周辺視野１５１４であり、その範囲は、例えば、図１５（Ｂ）、（Ｃ）に示すように、視線方向１５１１に対して、垂直方向に±３５度以上６０度以下、水平方向に５５度以上１１０度未満の範囲である。

有効視野１５１２は、人が視線を向けて注視している方向に最も近い領域で、この領域内に表示される情報には気付きやすい。ここで、注視とは、例えば、一定時間以上視線が向いていて、空間内のある点もしくは狭い領域をじっと見つめている状態を指す。

有効視野１５１２から安定注視野１５１３へ、また、安定注視野１５１３から周辺視野１５１４へと、視線から離れるほど、人は意識的に見ることが難しく、これらの領域内に表示される情報には気づき難くなる。

このように、人の視野は、領域ごとに情報を処理できる能力が異なるため、人の視野を、視線からの方向に応じて複数の領域に分けて、領域ごとに表示方法を変えることにより、視線方向から大きく離れた情報を、人に気付かせることができるようになる。ここで、人の視野を分割する領域の数はいくつでもよく、距離に応じて投影方法を徐々に変化させてもよい。

ここでは、一例として、投影制御部８０３の視野領域推定部１３０２が、ステップＳ１４０３において、利用者２の有効視野１５１２、安定注視野１５１３、及び周辺視野１５１４の３つの領域を推定するものとして、以下の説明を行う。

ステップＳ１４０４において、投影制御部８０３は、投影対象３の位置を判定する。例えば、投影制御部８０３の投影対象判定部１３０３は、周辺カメラで撮影した利用者２の周辺の画像から、記憶部８０４に予め記憶した投影対象３の３次元データを用いて、公知のテンプレートマッチング技術等により、投影対象３の位置を判定してもよい。

或いは、投影対象判定部１３０３は、周辺カメラで撮影した撮影画像、又はＬｉＤＡＲで取得した３次元データ等からＳＬＡＭにより自己位置推定と、環境地図作成を行い、デジタルツイン８１１のデータと対応付けて、投影対象３の位置を判定してもよい。

ステップＳ１４０５において、投影制御部８０３は、画像の投影方法を決定する。例えば、投影制御部８０３の投影方法決定部１３０４は、利用者２の視線方向１５１１と、視線方向１５１１に対する投影対象の方向との差に基づいて、投影対象に投影する画像の投影方法を変更する。なお、投影方法決定部１３０４による投影方法の決定処理については、複数の実施形態を例示して後述する。

ステップＳ１４０６において、投影制御部８０３は、決定した投影方法で画像を投影する。例えば、投影制御部８０３の投影指示部１３０５は、周辺カメラが撮影した画像、又はＬｉＤＡＲが取得した３次元データによるＳＬＡＭにより、対象物がある投影方向を特定し、特定した投影方向に向けて画像を投影するように、投影部８０７に指示する。

＜投影方法の決定処理＞
［第１の実施形態］
図１６は、第１の実施形態に係る投影方法の決定処理の例を示すフローチャートである。この処理は、例えば、図１４のステップＳ１４０５において、投影制御部８０３の投影方法決定部１３０４が実行する処理の一例を示している。

ステップＳ１６０１において、投影方法決定部１３０４は、利用者２の視線方向と、対象物がある投影方向との差Ｘを算出する。

ステップＳ１６０２において、投影方法決定部１３０４は、算出したＸが、第１の閾値以下であるか否かを判断する。ここでは、説明用の一例として、Ｘが第１の閾値以下となる範囲が、図１５で説明した有効視野１５１２に相当する範囲であるものとして、以下の説明を行う。

Ｘが第１の閾値以下である場合、投影方法決定部１３０４は、処理をステップＳ１６０３に移行させる。一方、Ｘが第１の閾値以下でない場合、投影方法決定部１３０４は、処理をステップＳ１６０４に移行させる。

ステップＳ１６０３に移行すると、投影方法決定部１３０４は、対象物に画像を通常の表示方法で投影することを決定する。ここで、通常の表示方法とは、後述する強調表示を行わずに、画像をそのまま表示することを示す。

図１７は、第１の実施形態に係る通常の表示方法の一例のイメージを示す図である。図１７に示すように、投影対象１７００が、有効視野１５１２内にある場合（Ｘが第１の閾値以下である場合）、情報表示システム１は、投影対象１７００に画像１７０１をそのまま投影する。図１７の例では、投影対象１７００に投影する画像１７０１が「要確認」という文字列を表す画像である場合の例を示している。

ステップＳ１６０２からステップＳ１６０４に移行すると、投影方法決定部１３０４は、算出したＸが、第２の閾値以下であるか否かを判断する。ここでは、説明用の一例として、Ｘが第２の閾値以下となる範囲が、図１５で説明した安定注視野１５１３に相当する範囲であるものとして、以下の説明を行う。

Ｘが第２の閾値以下である場合、投影方法決定部１３０４は、処理をステップＳ１６０５に移行させる。一方、Ｘが第１の閾値以下でない場合、投影方法決定部１３０４は、処理をステップＳ１６０６に移行させる。

ステップＳ１６０５に移行すると、投影方法決定部１３０４は、対象物に画像を第１の強調表示で投影することを決定する。ここで、第１の強調表示とは、例えば、投影する画像が利用者２の目を引くように、例えば、点滅表示、拡大表示、判定表示、又は移動表示等の強調表示を１段階行うことを示す。

図１８は、第１の実施形態に係る第１の強調表示の一例のイメージを示す図である。図１８に示すように、投影対象１７００が、安定注視野１５１３内にある場合（Ｘが第１の閾値より大きく、第２の閾値以下である場合）、情報表示システム１は、投影対象１７００に点滅表示（第１の強調表示の一例）する画像１８０１を投影してもよい。これにより、情報表示システム１は、安定注視野１５１３内に投影対象１７００がある場合、利用者２の視線が投影対象１７００に向くように、画像１８０１を強調して投影することができる。

ステップＳ１６０４からステップＳ１６０６に移行すると、投影方法決定部１３０４は、対象物に画像を第２の強調表示で投影することを決定する。ここで、第２の強調表示とは、例えば、投影する画像が利用者２の目をさらに引くように、例えば、点滅表示、拡大表示、判定表示、又は移動表示等の強調表示を２段階行うことを示す。ただし、これに限られず、第２の強調表示は、第１の強調表示より目立つ、又は目を引く表示方法であればよい。

図１９は、第１の実施形態に係る第２の強調表示の一例のイメージを示す図である。図１９に示すように、投影対象１７００が、安定注視野１５１３外にある場合（Ｘが第２の閾値より大きい場合）、情報表示システム１は、投影対象１７００に点滅表示、及び移動表示（第２の強調表示の一例）する画像１９０１を投影してもよい。これにより、情報表示システム１は、安定注視野１５１３外に投影対象１７００がある場合、利用者２の視線が、より投影対象１７００に向くように、画像１８０１をさらに強調して投影することができる。

［第２の実施形態］
図２０は、第２の実施形態に係る投影方法の決定処理の例を示すフローチャートである。この処理は、例えば、図１４のステップＳ１４０５において、投影制御部８０３の投影方法決定部１３０４が実行する処理の別の一例を示している。なお、図２０に示す処理のうち、ステップＳ１６０１～Ｓ１６０６の処理は、図６で説明した第１の実施形態に係る投影方法の決定処理と同様なので、ここでは説明を省略する。

ステップＳ１６０６において、投影方法決定部１３０４が、対象物に画像を第２の強調表示で投影することを決定した場合、ステップＳ２００１において、投影方法決定部１３０４は、Ｘが第３の閾値以下であるか否かを判断する。

Ｘが第３の閾値以下である場合、投影方法決定部１３０４は、図２０の処理を終了する。一方、Ｘが第３の閾値以下でない場合、投影方法決定部１３０４は、処理をステップＳ２００２に移行させる。

ステップＳ２００２に移行すると、投影方法決定部１３０４は、投影対象の位置又は方向を示す画像を、Ｘが第３の閾値以下の他の対象物に投影すると決定する。

図２１は、第２の実施形態に係る表示方法の一例のイメージを示す図である。図２１の例では、投影対象１７００が、利用者２の周辺視野１５１４（第３の閾値の一例）の外にある。このような場合、投影方法決定部１３０４は、利用者２の周辺視野１５１４内にある他の投影対象２１００に、投影対象１７００の位置又は方向を示す画像を投影することを決定する。図２１の例では、他の投影対象２１００に、投影対象１７００の方向を示す矢印（表示要素の一例）２１０１を含む画像を投影している。

好ましくは、情報表示システム１は、投影対象１７００が、利用者２の周辺視野５１４の外にある場合でも、投影対象１７００に、点滅表示、及び移動表示（第２の強調表示）する画像１９０１を投影する。これにより、利用者２が視線を移動させたとき等に、投影対象１７００及び、画像１９０１を容易に視認できる。なお、第３の閾値は、周辺視野１５１４に限られず、例えば、設定値等によって変更可能であってよい。

［第３の実施形態］
第３の実施形態では、情報表示システム１が、利用者２の視線速度情報を取得し、取得した視線速度情報に基づいて、閾値（例えば、第１閾値、第２の閾値、又は第３の閾値等）を変更する場合の処理の例について説明する。

図２２は、第３の実施形態に係る情報表示システムの処理の例を示すフローチャートである。なお、図２２に示す処理のうち、ステップＳ１４０１、Ｓ１４０３～Ｓ１４０６の処理は、図４で説明した一実施形態に係る情報表示システムの処理と同様なので、ここでは説明を省略する。

ステップＳ２２０１において、投影制御部８０３は、取得部８０２が取得した検知情報に基づいて、利用者２の視線方向、及び視線速度を推定する。例えば、投影制御部８０３は、ＥＯＧセンサ４０７から取得した検知情報から、利用者２の視線方向、及び視線速度を取得する。

ステップＳ２２０２において、投影制御部８０３は、推定した視線速度に基づいて閾値を変更する。例えば、投影制御部８０３は、所定の時間内の視線速度が、所定値以下である場合、利用者２が何かを注視しており、視野が狭まっていると判断し、第１の閾値、第２の閾値、及び第３の閾値を下げる。

図２３は、第３の実施形態に係る表示方法の一例のイメージを示す図である。この図は、図１９に示すように、安定注視野１５１３を第２の閾値とし、周辺視野１５１４を第３の閾値とした状態から、第２の閾値２３０１、及び第３の閾値２３０２を下げた（値を小さくした）場合のイメージを示している。図２３の例では、第３の閾値を下げることにより、利用者２の視線方向と、投影方向との差が第３の閾値以上となったため、情報表示システム１は、投影対象１７００の位置又は方向を示す画像２３０３を投影している。

このように、情報表示システム１は、利用者２の視線速度に基づいて、第１の閾値、第２の閾値、及び第３の閾値のうち、１つ以上の閾値を変更することにより、利用者２が注視していない周辺の対象物に関する情報を、利用者により適切に視認させることができる。

［第４の実施形態］
第４の実施形態では、情報表示システム１が、例えば、外部サーバ８１０等から取得したデジタルツイン８１１のデータ等の３次元データに基づいて、投影対象に画像を投影する場合の処理の例について説明する。

図２４は、第４の実施形態に係る投影対象の判定処理の例を示すフローチャートである。この処理は、例えば、図１４のステップＳ１４０４において、投影制御部８０３が実行する投影対象の判定処理の一例を示している。

ステップＳ２４０１において、投影制御部８０３は、投影対象の位置に関する情報と、投影対象に投影する情報とを含む３次元データを取得する。例えば、投影制御部８０３は、情報取得部８０５が、外部サーバ８１０から取得して記憶部８０４に記憶したデジタルツイン８１１の３次元データを、記憶部８０４から取得する。

ステップＳ２４０２において、投影制御部８０３は、周辺カメラで利用者２の周辺を撮影した撮影画像、又はＬｉＤＡＲから、利用者２の周辺の３次元点群データを取得する。例えば、投影制御部８０３は、撮影画像に対してＶＳＬＡＭを実行することにより、利用者２の周辺の３次元点群データを取得する。

ステップＳ２４０３において、投影制御部８０３は、デジタルツイン８１１の３次元データと、利用者２の周辺の３次元点群データとから、利用者の位置情報を推定（取得）する。

ステップＳ２４０４において、投影制御部８０３は、デジタルツイン８１１の３次元データから取得した投影対象と位置と、利用者の位置とに基づいて、投影方向を決定する。

図２４の処理により、情報表示システム１は、例えば、図２５に示すように、デジタルツイン８１１に含まれる投影対象２５０１の３次元データに基づいて、実際の投影対象２５０１に、画像２５０３を投影することができる。

また、この方法によれば、図２５に示すように、同じような形状をした複数の投影対象２５０１、２５０２に画像を投影する場合でも、複数の投影対象２５０１、２５０２の位置に関する情報に基づいて、より正確に画像２５０３、２５０４を投影することができる。

好適な一例として、デジタルツイン８１１の３次元データには、複数の投影対象２５０１、２５０２の優先度を示す情報が含まれる。また、投影制御部８０３は、複数の投影対象２５０１、２５０２の優先度に基づいて、複数の投影対象２５０１、２５０２に画像２５０３、２５０４を投影する投影方法を変更する。

図２５の例では、情報表示システム１は、より優先度が高い投影対象２５０１に、点滅表示で画像２５０３を投影している。また、情報表示システム１は、より優先度が低い投影対象２５０２に、通常表示で画像２５０４を表示している。これにより、利用者２は、複数の投影対象２５０１、１５０２に投影された画像２５０３、２５０４の重要度を容易に把握できるようになる。

また、投影制御部８０３は、複数の投影対象２５０１、２５０２が近くにあり、両方に画像２５０３、２５０４を投影することができない場合、より優先度が高い投影対象２５０１にのみ、画像２５０３を投影してもよい。

以上、本発明の各実施形態によれば、利用者２が装着するウェアラブル端末を用いて、利用者２が注視していない周辺の対象物に関する情報を、利用者２に適切に視認させることができる。

（補足）
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ(Application Specific Integrated Circuit)、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

実施例に記載された装置群は本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。本実施形態によって本発明が限定されるものではなく、本実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、及び、いわゆる均等の範囲のものが含まれる。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

１ 情報表示システム
２ 利用者
３、１７００、２５０１、２５０２ 投影対象
１００ ウェアラブル端末
１００－１ 第１のウェアラブル端末
１００－２ 第２のウェアラブル端末
３００ 情報処理装置
８０２ 取得部
８０３ 投影制御部
８０４ 記憶部
８０７ 投影部

特開２０２０－１２９３５６号公報

Claims (12)

1. 利用者の姿勢に関する情報、又は前記利用者の視線に関する情報を含む検知情報を取得する取得部と、
   前記利用者に対して所定の投影方向にある投影対象に画像を投影する投影部と、
   前記検知情報と、前記投影方向に関する情報とに基づいて、前記投影対象に投影する画像を制御する投影制御部と、
   を有する、情報表示システム。
2. 前記投影制御部は、前記検知情報から得られる前記利用者の視線方向と、前記投影方向との差に基づいて、前記投影対象に投影する前記画像の投影方法を変更する、請求項１に記載の情報表示システム。
3. 前記投影制御部は、前記視線方向と前記投影方向との差が所定の閾値より大きい場合、他の投影対象に他の画像を投影するように前記投影部を制御し、
   前記視線方向と前記他の投影対象の方向との差は、前記所定の閾値より小さい、
   請求項２に記載の情報表示システム。
4. 前記他の画像は、前記投影対象の位置又は方向を示す表示要素を含む、請求項３に記載の情報表示システム。
5. 前記取得部は、前記視線方向が変化する速度に関する視線速度情報を取得し、
   前記投影制御部は、前記視線速度情報に基づいて前記投影対象に投影する前記画像の投影方法を変更する、
   請求項２乃至４のいずれか一項に記載の情報表示システム。
6. 情報取得部は、前記視線方向が変化する速度に関する視線速度情報を取得し、
   前記投影制御部は、前記視線速度情報に基づいて前記所定の閾値を変更する、
   請求項３に記載の情報表示システム。
7. 前記投影制御部は、
   前記利用者の位置に関する位置情報を取得し、
   前記投影対象の位置に関する情報と、前記投影対象に投影する情報とを記憶する記憶部から前記投影対象の位置に関する情報を取得し、
   前記利用者の位置と、前記投影対象の位置とに基づいて、前記投影方向を決定する、
   請求項１乃至６のいずれか一項に記載の情報表示システム。
8. 前記投影部は、複数の投影対象に画像を投影し、
   前記投影制御部は、前記投影する画像の重要度に応じて、前記画像の投影方法を変更する、
   請求項１乃至７のいずれか一項に記載の情報表示システム。
9. 前記取得部は、前記利用者が装着するウェアラブル端末が備える慣性計測デバイス、又は前記ウェアラブル端末が備えるカメラの少なくとも一方を用いて、前記検知情報を取得する、請求項１乃至８のいずれか一項に記載の情報表示システム。
10. 前記投影部は、前記利用者が装着するウェアラブル端末が備える画像投影デバイスを用いて、前記投影対象に前記画像を投影する、請求項１乃至９のいずれか一項に記載の情報表示システム。
11. 情報表示システムが、
    利用者の姿勢に関する情報、又は前記利用者の視線に関する情報を含む検知情報を取得する取得処理と、
    前記利用者に対して所定の投影方向にある投影対象に画像を投影する投影処理と、
    前記検知情報と、前記投影方向に関する情報とに基づいて、前記投影対象に投影する画像を制御する投影制御処理と、
    を実行する、情報表示方法。
12. 情報表示システムに、
    利用者の姿勢に関する情報、又は前記利用者の視線に関する情報を含む検知情報を取得する取得処理と、
    前記利用者に対して所定の投影方向にある投影対象に画像を投影する投影処理と、
    前記検知情報と、前記投影方向に関する情報とに基づいて、前記投影対象に投影する画像を制御する投影制御処理と、
    を実行させる、プログラム。

Images