JP2005062748A - 情報提示装置および情報提示装置の使用方法 - Google Patents

Abstract

【課題】 実環境に関連付けて情報を提示する際に、情報獲得者が情報を獲得したい度合いに応じて、情報を提示することができ、たとえば、ある情報を必要としていない者には、情報の存在を気づかせないように情報を提示し、情報を必要とする度合いが大きい者には、詳細な情報を提示することができる情報提示装置および情報提示装置の使用方法を提供することを目的とする。

【解決手段】 プロジェクタの投光波長を、赤外光まで拡張し、可視光によって所定画像を投影し、一方、可視光による画像とは異なる画像を、赤外光によって投影する。これによって、情報の重要性等に応じて、可視光と赤外光を使い分けることができる。

【選択図】 図１

Description

本発明は、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ技術に係り、特にプロジェクタを用いた情報の提示方法に関する。

Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙの研究領域では、実世界の特定の場所やオブジェクトを重ね合わせて、情報を表示することによって、ユーザの活動を補強する研究が行われている（たとえば、非特許文献１、２参照）。

たとえば、Ｂｅｌｌ等のシステムは、現在、存在している場所のＯｖｅｒｖｉｅｗを、ユーザのＨＭＤ（Head Mounted Display）に表示するものである（たとえば、非特許文献３参照）。

また、ＮａｖｉＣａｍは、ビル内の案内情報や特定の場所の補足情報を、カメラから得られる現実世界の画像と重ねて、カメラ付きの携帯ディスプレイ上に、表示するものである（たとえば、非特許文献６参照）。

一方、実環境に関連付けて情報を提示する方法として、ユーザが携帯（装着）するＨＭＤや携帯端末上にではなく、プロジェクタを用いて、実世界に情報を直接投影するアプローチも行われている（たとえば、非特許文献４、５、７参照）。

ところで、プロジェクタを用いた方式には、以下のような特徴がある。

（１）プロジェクタを用いた方式では、情報の存在に容易に気づく。……
プロジェクタを用いたシステムでは、情報が提示されていれば、この提示されている情報がユーザの視界に入るので、ユーザは、提示されている情報に自然に気づく。また、気づくと同時に、情報の必要性を判断することができるので、不必要な情報である場合には、それまで実行していた行動に、直ちに復帰することができる。

一方、携帯端末やＨＭＤを用いたシステムでは、ユーザは、まずその場所に情報があることを何らかの方法で知る必要がある。ＨＭＤを常時装着していれば、情報が提示されていることに気づくことは可能であるが、一般の人が常時ＨＭＤを装着できる環境は、まだ整備されていない。したがって、携帯端末やＨＭＤを用いたシステムでは、情報の存在に気づくのが困難である。

（２）プロジェクタを用いた方式では、ユーザの動きに応じた位置合わせを必要としない。……
プロジェクタシステムでは、ユーザの移動や手ぶれに合わせた実オブジェクトと、情報との位置合わせを、その都度行う必要がない。ＨＭＤ（Head Mounted Display）や携帯型ディスプレイを用いた場合、実環境に情報を重ね合わせて投影する際に、ユーザの移動や手ぶれに合わせて、位置合わせの計算を、その都度行う必要がある。このために、ユーザに提示される情報は、一瞬の遅れ（delay）を伴い、ＶＲ酔いが起こる可能性が高い。上記「ＶＲ酔い」は、ユーザの感覚と、ディスプレイに映し出される画像とにずれが生じ、脳が混乱を起こし、脳が混乱を起こすことによって生じる船酔いに近い感覚である。

一方、プロジェクタシステムでは、関連付けられたオブジェクトが頻繁に動く場合に、位置合わせの計算が必要だが、ユーザの移動等による位置合わせの再計算が必要ない。

（３）プロジェクタを用いた方式では、特殊なデバイスが不要である。……
プロジェクタシステムでは、ユーザが、特殊なデバイスを持つ必要がなく、空間を利用する不特定多数のユーザに情報を提示することが容易である。

プロジェクタを用いたシステムは、上記特徴を持っているので、不特定多数のユーザが利用する空間を、情報で拡張する場合に用いられることが多い。

デバイスの特殊性に関して言えば、カメラ付き携帯電話は、現在多くの人が携帯し、人が携帯している一般的な電子デバイスになりつつある。そして、カメラ付き携帯電話を使い、暦本が提案しているシステム（たとえば、非特許文献６参照）を用いることによって、携帯電話のディスプレイ上に、実世界画像と情報とが重ね合わせられた画像を提示することは、計算速度等が向上すれば可能である。

しかし、上記のように、プロジェクタシステムと違い、ユーザは、携帯電話の画面を常に見ているわけではないので、情報がその場所にあることを、ユーザに知らせるためには、異なるシステムを併用しなければならない。たとえば、着信音や振動を利用することによって、情報の存在をユーザに知らせる場合、ユーザは、情報の存在に否応無く気づき、その後に、上記情報の必要性を判断せざるを得ず、上記情報が不必要な情報であれば、それまで行っていた行動を妨げられるという問題がある。また、ユーザの動きに応じた位置合わせが必要である。
Azuma, Ronald T.A Survey of Augmented Reality. Presence：Teleoperators and Virtual Environments 6, 4(August 1997), 355-385. Ronald Azuma, Yohan Baillot, Reinhold Behringer, Steven Feiner, Simon Julier, Blair MacIntyre. Recent Advances in Augmented Reality. IEEE Computer Graphics and Applications 21, 6(Nov/Dec 2001), 34-47. Blaine Bell, Tobias Hollerer, Steven Feiner：An Annotated Situation-Awareness Aid for Augmented Reality, ACM Symposium on User Interface Software and Technology (UIST02), Volume 4, Issue 2, pp213-216, 2002. Claudio Pinhanez：The Everywhere Displays Projector:A Device to Create Ubiquitous Graphical Interfaces, Ubicomp2001, pp315-331, 2001. 白井良成、大和田龍夫、亀井剛次、桑原和宏：実環境指向のアウェアネス情報とその提示方法、情報処理学会論文誌、Vol.43, No.12, pp3653-3663, 2002. 暦本純一：簡易性とスケーラビリティを考慮した拡張現実感システムの提案、インタラクティブシステムとソフトウェアIII(WISS'95)、pp49-56, 1995. Jun Rekimoto and Masanori Saitoh：Augmented Surfaces：A Spatially Continuous Workspace for Hybrid Computing Environments, CHI'99, pp378-385, 1999.

しかし、従来のプロジェクタシステムには、次の問題がある。

（１）不必要な情報が引き起こす認知負荷。……
実環境に関連付けて情報を提示する際に、プロジェクタを用いると、情報を不必要とするユーザにまで、提示した情報が見える。このために、秘匿性の高い情報の伝達には不向きであり、また、情報を不必要とするユーザに、認知負荷を与えるという問題がある。

背景技術で説明したように、プロジェクタ方式は、情報に気づくとほぼ同時に、情報の取捨選択を行うことができるが、情報を不必要とするユーザに認知負荷を与えることには変わりがない。

（２）有限な投影スペース。……
実環境における投影スペースは、有限であり、一度に多くの情報を提示することができない。携帯端末等の個人向け端末であれば、提示されている情報をスクロールさせ、切り替えながら見ることができるが、プロジェクタを用いて不特定多数のユーザに情報を提示する場合には、特定のユーザのために提示している情報を、切り替える等の方法は適していないという問題がある。

（３）情報のパーソナライズ。……
プロジェクタシステムは、不特定多数の人間に、同じ情報を伝達することができる反面、個々のユーザに、パーソナライズされた情報を伝達する用途には適していないという問題がある。

本発明は、実環境に関連付けて情報を提示する際に、情報獲得者が情報を獲得したい度合いに応じて、情報を提示することができる情報提示装置および情報提示装置の使用方法を提供することを目的とする。

たとえば、ある情報を必要としていない者には、情報の存在を気づかせないように情報を提示し、情報を必要とする度合いが大きい者には、詳細な情報を提示することができる情報提示装置および情報提示装置の使用方法を提供することを目的とする。

本発明は、プロジェクタの投光波長を、赤外光まで拡張し、可視光によって所定画像を投影し、一方、可視光による画像とは異なる画像を、赤外光によって投影する。これによって、情報の重要性等に応じて、可視光と赤外光を使い分けることができる。

本発明は、実環境に関連付けて情報を提示する際に、情報獲得者が情報を獲得したい度合いに応じて、情報を提示することができるという効果を奏する。

たとえば、ある情報を必要としていない者には、情報の存在を気づかせないように、赤外光によって、情報提示し、つまり、情報を必要とする度合いが大きい者には、赤外光によって、詳細な情報等を提示することができるという効果を奏する。

発明を実施するための最良の形態は、以下の実施例である。

図１は、本発明の実施例１である情報提示装置ＩＰ１を示す斜視図である。

情報提示装置ＩＰ１は、可視光によって所定画像を投影し、一方、可視光による画像とは異なる画像を、赤外光によって投影する情報提示装置であり、カメラＣ１と、画像制御装置１０と、プロジェクタ２０とを有する。

カメラＣ１は、所定の画像を、可視光で撮影するカメラである。

図２は、情報提示装置ＩＰ１における画像制御装置１０を示すブロック図である。

画像制御装置１０は、貼り紙データベース１１と、画像登録手段１２と、貼り紙剥がし検出手段１３と、ＩＤ等記録手段１４と、スポットライト作成手段１５と、貼り紙記載画像出力手段１６を有する。

画像登録手段１２は、カメラＣ１が撮影した画像を、貼り紙データベース１１に登録する手段である。

貼り紙剥がし検出手段１３は、カメラＣ１で撮影された画像が記載されている貼り紙が剥がされたことを検出する手段である。

ＩＤ等記録手段１４は、上記貼り紙が剥がされたことが検出された場合、上記剥がされた貼り紙に記載されていた画像を、貼り紙データベース１１から切り出し、ＩＤと、上記剥がされた時刻と、上記剥がされた場所とを、貼り紙データベース１１に記録する手段である。

スポットライト作成手段１５は、貼り紙剥がし検出手段１３が、上記貼り紙が剥がされたことを検出すると、上記貼り紙が剥がされた場所に、プロジェクタ２０を介して、可視光で投影する所定形状のスポットライトを作成する手段である。

貼り紙記載画像出力手段１６は、上記剥がされた貼り紙に記載されていた画像を出力する手段であり、上記貼り紙記載画像は、上記貼り紙が剥がされた場所に、赤外光で投影される。

図３は、情報提示装置ＩＰ１におけるプロジェクタ２０の構成例を示す図である。

プロジェクタ２０は、可視光の画像と赤外光の画像とを同時に投影するプロジェクタである。

プロジェクタ２０は、光源２１と、ダイクロイックミラーＤＭ１、ＤＭ２、ＤＭ３と、ミラーＭ１、Ｍ２、Ｍ３と、赤外光用液晶パネルＰ１と、Ｒ用液晶パネルＰ２と、Ｇ用液晶パネルＰ３と、Ｂ用液晶パネルＰ４と、ダイクロイックプリズムＤＰ１、ＤＰ２と、投影レンズ２２とを有する。

プロジェクタ２０の可視光用の液晶プロジェクタ部分において、光源２１からの光を、ダイクロイックミラーＤＭ２、ＤＭ３、ＤＭ４が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）用に分離し、これら分離された光が、それぞれ、対応するＲ用液晶パネルＰ２、Ｇ用液晶パネルＰ３、Ｂ用液晶パネルＰ４を通過した後に、ダイクロイックプリズムＤＰ１によって合成され、投影レンズ２２を介して、投影される。

プロジェクタ２０において、可視光の画像と赤外光の画像との投影を可能にするためには、光源２１からの光を、ダイクロイックミラーＤＭ１を用いて、赤、緑、青だけでなく、赤外光を分離し、赤外光は、赤外光用の液晶パネルＰ１を通過させ、最後に、赤、緑、青、赤外の光を、ダイクロイックプリズムＤＰ２を用いて合成する。

つまり、光源２１からくる光を、赤外光と可視光に分離可能なダイクロイックミラーＤＭ１を使い、赤外光と可視光とを分離し、可視光は、通常の液晶プロジェクタと同じ動作で赤、緑、青に分離し、それぞれ液晶パネルＰ２、Ｐ３、Ｐ４を通し、ダイクロイックプリズムＤＰ１を通して合成する。最後に、合成された可視光と、赤外光用の液晶パネルＰ１を通過した赤外光とを、ダイクロイックプリズムＤＰ２を通して合成し、投影レンズ２２を通して出力する。

つまり、上記実施例１は、所定の画像を、撮影するカメラと、上記カメラが撮影した画像を、貼り紙データベースに登録する画像登録手段と、上記カメラで撮影された画像が記載されている貼り紙が剥がされたことを検出する貼り紙剥がし検出手段と、上記貼り紙が剥がされたことが検出された場合、上記剥がされた貼り紙に記載されていた画像を、上記貼り紙データベースから切り出し、ＩＤと、上記剥がされた時刻と、上記剥がされた場所とを、上記貼り紙データベースに記録するＩＤ等記録手段と、上記貼り紙剥がし検出手段が、上記貼り紙が剥がされたことを検出すると、所定形状のスポットライトを、上記貼り紙が剥がされた場所に、可視光で投影する可視光投影手段と、上記貼り紙が剥がされた場所に、上記剥がされた貼り紙に記載されていた画像を、赤外光で投影する赤外光投影手段とを有する情報提示装置の例である。

次に、上記実施例１の動作について説明する。

まず、貼り紙が剥がされると、剥がされた貼り紙が貼られていた部分に、プロジェクタ２０から、可視光で、貼り紙の形を模したスポットライトを当てると同時に、カメラＣ１で撮影した過去の貼り紙（剥がされた貼り紙）を、上記スポットライトによる画像に重ねて、赤外光で投影する。

ユーザＵは、赤外線カメラ搭載の携帯端末、たとえば、赤外線カメラＣ３付きの携帯電話３０を、スポットライトに翳す（かざす）ことによって、赤外光によって投影されている過去の貼り紙（赤外光の画像）４１を撮影し、この撮影された過去の貼り紙を、携帯電話３０の画面３１に表示し、この表示されている過去の貼り紙をユーザＵが閲覧することができる。

貼り紙が剥がされたことをユーザＵに認識させる方法として、上記のように貼り紙を模したスポットライトを掲示板に投影する方法がある。この方法を実現するためには、掲示板上で掲示物が剥がされたことと、その剥がされた貼り紙の形状をシステムが認識していることとが必要である。この方法を容易に実現する方法に、カメラＣ１を用いて背景差分を取る方法がある（たとえば、非特許文献５参照）。

つまり、カメラＣ１によって、貼り紙が貼られている位置を撮影し、貼り紙が剥がされていなければ、撮影された画像に変化がなく、貼り紙が剥がされていれば、撮影された画像が変化し、すなわち、撮影毎に、前回撮影した画像と比較し、変化があれば、当該貼り紙が剥がされたと判断する。

［過去の出来事を伝達するシステム］
実施例１は、過去に貼られていた貼り紙の手がかりとなる手がかり情報のみを、可視光で、スポットライトとして、掲示板に投影し、また、過去に貼られていた貼り紙を、赤外光で投影する。たとえば、過去に貼り紙が貼られていた場所に、貼り紙の形を模したスポットライト（手がかり情報）を可視光で投影し、また、その場所に重ねて、赤外光で、上記過去に貼られていた貼り紙に記載されていた画像を投影する。

このように、可視光で投影する情報を、単純にすることによって、現在貼られている掲示物の可読性を高めることができる。

一方、過去の貼り紙を、貼られているときに見逃した人は、貼り紙の形を模したスポットライトを見て、見逃していたという事実に気づくことができ、ノクトビジョン（暗視装置であり、赤外線を受光することによって夜間であっても視界を確保することができる装置）や赤外線カメラＣ３付きの携帯電話３０を通して、過去の貼り紙を閲覧することができる。

図４は、実施例１において、カメラＣ１を用いて、掲示物の貼り変えを検出した場合における処理装置内の動作を示すフローチャートである。

まず、対象となる掲示板の画像（後日、剥がす予定の貼り紙）を、カメラＣ１で撮影し（Ｓ１）、撮影された画像を随時、貼り紙データベース１１に登録し、また、得られた画像を用いて、貼り変えられていることを検出する（Ｓ２）。貼り変えが検出された場合、剥がされる前の貼り紙が写っている画像を、上記貼り紙データベース１１から切り出し、ＩＤを付け、貼り変えられた時刻、貼り変えられた場所とともに、貼り紙データベース１１に記録する（Ｓ３）。一方、並行してシステムは、定期的に貼り紙データベース１１から、一定時間内に貼り変えられた貼り変え記録を検索する（Ｓ４）
つまり、たとえば、２時間前から１時間前の間等のように、所定時間内に貼り変えられた貼り紙のみについて、スポットライトで照射したい場合、その事柄に基づいて、貼り紙データベース１１を検索する（Ｓ４）。

上記所定時間内に貼り変えが行われた場合（Ｓ４）、貼り紙の形のスポットライトを作成し（Ｓ５）、この作成されたスポットライトを、貼り変えが行われた場所に、プロジェクタを用いて、可視光で投影する（Ｓ６）。また、貼り変えが行われた（剥がされた）場所に、貼り変えられた貼り紙（剥がされた貼り紙）に記載されていた画像を、赤外光で投影する（Ｓ７）。この場合、可視光で投影されたスポットライトに重ねて、剥がされた貼り紙の画像を、赤外光によって投影する（Ｓ７）。

これによって、ユーザＵは、赤外線カメラＣ３付きの携帯電話３０をスポットライトに翳すことによって、携帯電話３０に設けられている赤外線カメラＣ３が、赤外光による過去の貼り紙に記載されていた画像を撮影し、この携帯電話３０の画面３１を通して、過去の貼り紙に記載されていた画像を閲覧することができる。

たとえば、大学の掲示板では、スペースの都合上、少し古いポスターや告知灯は、頻繁に貼り変えられ、長期間休んでいた学生は、重要な告知を見逃すことがある。掲示板に貼られている貼り紙を、カメラＣ１で記録し、その貼り紙が剥がされた後も、掲示板に投影することによって、長期休暇明けの学生が掲示板を見たときに、見逃した貼り紙に気づくことができる。

つまり、上記実施例は、所定の画像を、カメラで撮影する画像撮影段階と、上記画像撮影段階で撮影された画像を、貼り紙データベースに登録する画像登録段階と、上記カメラで撮影された画像が記載されている貼り紙が剥がされたことを検出する貼り紙剥がし検出段階と、上記貼り紙が剥がされたことが検出された場合、上記剥がされた貼り紙に記載されていた画像を、上記貼り紙データベースから切り出し、ＩＤと、上記剥がされた時刻と、上記剥がされた場所とを、上記貼り紙データベースに記録するＩＤ等記録段階と、上記貼り紙剥がし検出段階で、上記貼り紙が剥がされたことを検出すると、所定形状のスポットライトを、上記貼り紙が剥がされた場所に、プロジェクタを用いて、可視光で投影する可視光投影段階と、上記貼り紙が剥がされた場所に、上記剥がされた貼り紙に記載されていた画像を、赤外光で投影する赤外光投影段階とを有する情報提示装置の使用方法の例である。

実施例１では、カメラＣ１が撮影する対象として、掲示板を例として取り上げたが、実際には、実施例１を、様々な場所に適用可能である。たとえば、貼り変えられた場所とともに、ユーザＵが立ち止まって貼り紙を見ていた位置にも、スポットライトを当て、このスポットライト上に、この場所で立ち止まった人の人数の推移を、グラフとして表示するようにしてもよい。これによって、ユーザＵは、携帯電話３０の画面３１を通して、何人位の人が、現在貼られている貼り紙に、興味を示しているのかを知ることができる。

また、会社の自分の机に、実施例１を適用し、最近物を動かす等の変化がおきた場所に、スポットライト（可視光）と、変化がおきたときの画像（赤外光）とを、投影することによって、自分の机の上でどんな変化がおきているのかを知ることができる。そして、身に覚えのないスポットライトを見た場合には、赤外線カメラＣ３付きの携帯電話３０を通して、変化の原因を調べることができる。誰かが、卓上の本を無断で借りていった場合、本が置いてあった場所に投影されているスポットライトに、赤外線カメラＣ３付きの携帯電話３０を翳すことによって、借りられたのが何の本であるのか、また、誰が借りていったのかを、携帯電話３０の画面３１を見ることによって、知ることができる。

また、実施例１では、可視光でスポットライトを投影しているが、スポットライト以外の画像を、投影するようにしてもよい。たとえば、矢印の可視光を投影し、指し示し、また、文字や文章を、可視光で投影し、この投影された可視光の矢印、文字、文章によって、赤外光による投影場所を指示するようにしてもよい。

［赤外光プロジェクタの実現方法］
次に、上記のように、可視光と赤外光との両方で、投影可能であり、しかも、それぞれに別々の画像を投影するプロジェクタについて説明する。

＜ＤＬＰ（Digital Light Processing）プロジェクタ＞
図５は、情報提示装置ＩＰ１における可視光＋赤外光プロジェクタ１０の変形例であるプロジェクタ２０ａ（ＤＬＰ方式）を示す構造例の図である。

プロジェクタ２０ａは、１台のＤＬＰプロジェクタ（ＤＭＤ単板方式）によって、可視光と赤外光との両方を投影可能であり、しかも、互いに異なる画像を投影することができるプロジェクタである。

ＤＬＰ方式のプロジェクタ２０ａは、光源２１と、コンデンサレンズ２３と、回転カラーフィルタ２４と、ＤＭＤ（Digital Micromirror Device）チップ２５と、投影レンズ２６とを有する。

通常の単板方式のＤＬＰプロジェクタの回転カラーフィルタは、赤、緑、青のフィルタを有する（赤、緑、青フィルタ−透明部分で構成されているものもある）が、回転カラーフィルタ２４は、上記通常の単板方式のＤＬＰプロジェクタの回転カラーフィルタを使用し、図５に示すように、赤、緑、青−赤外のフィルタに変更する。

図示しないＰＣから、可視光用の画像信号、赤外光用の画像信号を、プロジェクタ２０ａに入力する。そして、光源２１からの光が、図示しない赤外バンドパスフィルタを通過するときに、ＤＭＤチップ２５の図示しないミラーを、赤外光用の画像信号に従って切り替える。これと同様に、赤、緑、青の図示しないバンドパスフィルタを通過するときは、可視光用の画像信号に基づいて、ＤＭＤチップ２５のミラーを切り替えればよい。

一方、ＤＬＰプロジェクタ２０ａには、３板方式（ＤＭＤチップを、赤、緑、青それぞれに用意する方式）もあるが、赤外光も投影する場合には、赤外光用のＤＭＤチップを用意すればよい。

つまり、一部のＤＭＤチップは、赤外光をも反射することができる。実際、現在市販されているＤＬＰプロジェクタの一部（ＤＭＤ単板方式）は、近赤外線もカットされずに投影される。そこで、たとえば、現行のＤＭＤ単板方式のプロジェクタの回転カラーフィルタを取り除き、この代わりに、可視光カットフィルタを取り付けることによって、現行のＤＭＤ単板方式のプロジェクタを、赤外線プロジェクタにすることができる。また、上記のように可視光カットパスフィルタを使う代わりに、光源を、赤外線光源に変更するようにしてもよい。

＜液晶プロジェクタ＞
所定波長の赤外光のみを投影する場合、光源と液晶パネルとの間に、赤外バンドパスフィルタを置くことによって、所定波長の赤外光のみを投影することができる。赤外バンドパスフィルタを使う代わりに、光源として赤外線光源を使用するようにしてもよい。

＜過熱の問題＞
多量の赤外光を、プロジェクタで扱う場合、光学部品が過熱するので、放熱する必要がある。空冷用のファンの大型化、ヒートシンクの大型化、水冷方式の採用等の処置を行う必要がある。水冷方式は、静音プロジェクタを実現するという長所を持つ。

［可視光＋赤外光プロジェクタの実現方法］
＜２台のプロジェクタを利用する方法＞
次に、２台のプロジェクタを利用して、可視光と赤外光との両方で、投影する装置について説明する。

可視光と赤外光との両方で、投影可能であり、しかも、それぞれに別々の画像を投影するプロジェクタを実現する最も簡易的な方法は、可視光プロジェクタと、赤外光プロジェクタとの２台を組み合わせる方法である。

複数のディスプレイ出力が可能な計算機から、可視光プロジェクタ、赤外線プロジェクタのそれぞれに、互いに異なる画像信号を送る。この方式の場合、異なるレンズから投影されるので、可視光の投影画像と、赤外光の投影画像との重ね合わせについて、カメラを用いて、キャリブレーションを行う必要がある。カメラを用いたキャリブレーション方法に関しては、多くの方法が提案されているので、ここでは、その説明を省略する。

［赤外光マーカ］
実施例１では、赤外光を用いて、過去の貼り紙に記載されていた画像を投影するが、実施例２は、カメラで読み取り可能なマーカを、投影する実施例である。

たとえば、最近の一部のカメラ付き携帯電話３０では、二次元コード（マトリクス方式）のような特殊な二次元マトリックスマーカに、カメラＣ３を翳すことによって、マーカに埋め込まれた情報を読み取ることができる。

このようなマーカを、赤外光で投影し、赤外線カメラＣ３で読み取ることによって、マーカに対応した情報を、携帯電話３０に提示することができる。

たとえば、実施例１で可視光のスポットライトに重ねて、赤外光で投影された過去の貼り紙画像の代わりに、過去の貼り紙画像に対応するＩＤが埋め込まれている赤外光マーカを投影する。ユーザＵが、スポットライトに携帯電話３０を翳すと、携帯電話３０のカメラＣ３が撮影した赤外光マーカをデコードし、デコードされたＩＤに対応する画像を、画像制御装置１０に設けられている貼り紙データベース１１から、携帯電話３０が取得し、取得した貼り紙画像を、携帯電話３０の画面３１に提示する。

実施例１では、赤外光画像を撮影した画像で、過去の貼り紙画像を見なければならないが、実施例２では、可視画像で、過去の貼り紙画像を見ることができる。

図６は、画像制御装置１０と携帯電話３０との処理の流れを示すフローフローチャートである。

まず、画像制御装置１０は、掲示板における対象となる画像を、カメラＣ１で撮影し（Ｓ１１）、撮影された画像を、随時貼り紙データベース１１に登録し、また、得られた画像を用いて貼り変えを検出する（Ｓ１２）。貼り変えが検出された場合、剥がされる前の貼り紙に記載されていた画像を、貼り紙データベース１１から切り出し、ＩＤを付け、貼り変えられた時刻、貼り変えられた場所とともに、貼り紙データベース１１に記録する（Ｓ１３）。

一方、並行して、システムは、定期的に貼り紙データベース１１から、一定時間内に貼り変えられた貼り変え記録を検索する（Ｓ１４）。一定時間内に貼り変えられた貼り紙が存在した場合、貼り紙の形のスポットライトを、貼り変えが行われた場所に，プロジェクタを用いて可視光で投影する（Ｓ１５、Ｓ１６）。また、ＩＤをエンコードしたマーカを作成し（Ｓ１７）、赤外光を用いて、スポットライトに重ねて、マーカを投影する（Ｓ１８）。

一方、赤外線カメラＣ３付きの携帯電話３０を持ったユーザＵが、携帯電話３０を、スポットライトに翳すと、携帯電話３０は、赤外線カメラＣ３でマーカ画像を撮影し（Ｓ２１）、マーカからＩＤを読み取り（Ｓ２２）、ＩＤを画像制御装置１０に送信する（Ｓ２３）。画像制御装置１０は、ＩＤを受信すると（Ｓ２４）、貼り紙データベース１１からＩＤに対応する貼り紙画像を検索し（Ｓ２５）、携帯電話３０に送信する（Ｓ２６）。携帯電話３０は、貼り紙画像を受信すると（Ｓ２７）、携帯電話３０の画面に出力する（Ｓ２８）。

［複数の赤外光の重ね合わせ］
実施例１、２は、単一の赤外光を利用することを前提としているが、実施例３は、複数の赤外光を利用する実施例である。

実施例１では、撮影されている貼り紙画像が、カラーの場合でも、画像を単一の赤外光を用いて投影した場合、携帯電話３０を通して見た画像は、単色のグレースケール画像になる。

３種類の異なる波長の赤外光を利用することによって、携帯電話３０上で、カラー画像を実現することができる。たとえば、カラーの貼り紙画像のＲＧＢ成分を。３種類の赤外光に割り当てて投影する。一方、投影されている３種類の波長の光を、それぞれ読み取り可能な３種類のカメラが付いている携帯電話３０で、画像を読み取り、読み取った画像の画素値を、それぞれＲＧＢに割り当てた画像を作成し、携帯電話３０の画面３１に表示することによって、赤外光を利用した擬似カラー画像を生成することができる。

また、複数の赤外光を用いた別の利用例について説明する。

たとえば、プロジェクタで様々な情報を提示する際に、多くの場合、その国の言葉または英語が使用されるが、様々な言語圏の人が集まるような場所（たとえば、空港等）では、ユーザＵが提示された言葉を読めない可能性がある。

しかし、仮に全ての国の言語で情報を提示すると、レイアウトを整えるのが難しく、視認性も低下する。そこで、対訳を赤外光で投影することによって、視認性を下げることなくレイアウトを維持したままで、投影された内容を、赤外線カメラＣ３掲載の携帯電話３０等を通して、自国の言語で見ることができる。

複数の言語の対訳を提示するには、複数の赤外光を用い、各波長にそれぞれ、一言語を割り当て、重ねて提示すればよい。この場合、ユーザＵは、自国の言語が投影されている波長のみを通すバンドパスフィルタを、携帯電話３０等のレンズに着けることによって、情報を、自国の言葉で見ることができる。

複数の赤外光を投影可能なプロジェクタを実現するためには、ＤＬＰ方式の場合、回転フィルタを構成するフィルタに、利用したい波長のみを通す赤外線バンドパスフィルタを追加すればよい。

また、液晶プロジェクタの場合には、利用したい波長の光を分離可能なダイクロイックミラーを用いて赤外光を分離し、それぞれを、液晶パネルに通過させた後に、合成すればよい。ただし、波長の種類を増やすと、それだけ光の波長帯域の広い光源を使わなければならない。多数の赤外光を利用する場合には、赤外光用の光源を別途用意する方法、複数の赤外光源を利用する等の方法も考えられる。

［可視光を用いない利用方法］
上記各実施例は、可視光と赤外光とを併用した実施例であるが、実施例４は、赤外光のみを利用する実施例である。

可視光を用いない場合、赤外光で投影された情報がどの場所にあるのかを、一般のユーザが知ることは困難であるが、この特徴を逆に利用するし、つまり、情報のありかを知っている人にのみ、情報を伝達することができる。

［異なる不可視光を用いる方式］
上記各実施例では、不可視光として赤外光を中心に記載しているが、実施例５は、互いに異なる複数の波長の不可視光を用いる実施例である。実施例５は、たとえば、ブラックライト（紫外線を照射する照明）等で用いられている紫外線領域の光を用いる実施例である。

なお、紫外線は非可視光であるので、ブラックライトで部屋を明るくすることはできないが、ブラックライトは、紫外線に反応するインクと併用され、アミューズメント施設等で多く利用されている。たとえば、壁面に上記インクを用いて絵を描き。通常の部屋の灯ではこの絵は見えないが、部屋の灯を消し、ブラックライトをつけると、絵が綺麗に壁に浮かび上がる。

つまり、上記実施例は、可視光によって、第１の情報を投影する可視光投影手段と、不可視光によって、上記第１の情報と関連がある第２の情報を投影する不可視光投影手段とを有する情報提示装置の例である。この場合、上記不可視光は、赤外光または紫外光である。また、上記第１の情報は、所定の言語の情報であり、上記第２の情報は、上記所定の言語の対訳である。さらに、上記第１の情報は、変化が起きたことを示すスポットライト等の情報であり、上記第２の情報は、上記上記変化が起きたときの画像である。

［位置計測］
実施例６は、赤外線プロジェクタを用いることによって、携帯電話３０の位置を計測することができる実施例である。赤外光を用いて特殊なパターンを提示し、この提示されている特殊なパターンを、携帯電話３０のカメラで読み取ることによって、携帯電話３０の位置を取得することができる。

すなわち、携帯電話３０の位置を計測すれば、携帯電話３０を利用し、上記計測された特定の場所に対応する情報を提示することができる。たとえば、可視光＋赤外光プロジェクタが設置されている部屋内の所定の位置に存在している本をＡさんが借りようとし、その本の持ち主と連絡が取れず、持ち主が誰であるかもわからない場合、本が置いてあった場所に、Ａさんが書き置きを残し、赤外線プロジェクタによって携帯電話の位置計測をする。

その後、本の持ち主が携帯電話３０を翳すと、実施例６の方法で携帯電話３０の位置がわかり、システムは、その位置に、Ａさん作成の書き置きを、可視光で投影する。つまり、携帯電話３０が、室内の所定の範囲内に来たときにのみ、その人の携帯電話３０に情報を出すことができる。

たとえば、実施例２で説明した赤外光マーカを、投影面全体に敷き詰めた画像を投影し、この際に、画像制御装置１０は、投影面内のどの位置に、どのマーカを投影したのかを記憶しておく。

図７は、本発明の実施例６である情報提示装置ＩＰ２の説明図である。

情報提示装置ＩＰ２は、カメラＣ５と、画像制御装置５０と、プロジェクタ６０と、携帯電話７０とを有する。

カメラＣ５は、掲示板に存在している画像を撮影する。プロジェクタ６０は、掲示板に赤外光のマーカ８１を投影する。携帯電話７０に、赤外線カメラＣ７が設けられている。

たとえば、投影面を、３２×２４に分割し、０〜７６７のＩＤを埋め込んだマーカ８１を作成し、投影面（掲示板）の左上から順に投影する。

ユーザＵが、カメラＣ７付きの携帯電話７０を、マーク８１のパターンが投影された場所に、翳すと、携帯電話７０は、投影されたマーク８１のパターンを撮影し、デコードし、デコードされたＩＤを、画像制御装置５０に送る。画像制御装置５０は、送られてきたＩＤに基づいて、携帯電話７０が、現在、投影面内のどの場所にあるのかを知ることができる。

たとえば、送られてきたＩＤが、２２６であれば、投影面の７行２列目（７×３２＋２＝２２６）の場所に、携帯電話７０がある。なお、最上段を０行とし、左端を０列とする。デコードが可能な範囲で、マーカ８１を小さくすれば、その分、位置認識の分解能が向上する。また、携帯電話７０が撮影した画像に、同時に複数のマーカ８１が存在する場合、より細かい携帯電話７０の位置を知ることができる。たとえば、撮影した画像の４隅に、４枚のマーカ８１が写っていた場合、携帯電話７０は、４つのマーカ８１の中心部付近にあると推測することができる。

実施例６は、携帯電話７０を利用した実施例であり、実環境へメッセージを発信することができる。たとえば、実施例１の掲示板の例において、所定のユーザＵが貼り紙を剥がし、その部分にメッセージ（たとえば、「この貼り紙を、２日ほどお借りします」というメッセージ）を残す場合、メッセージを、携帯電話７０で作成し、その携帯電話７０を、剥がした部分に翳し、携帯電話７０に設けられている図示しない「メッセージ投影ボタン」を押すと、携帯電話７０が翳されている部分に、可視光で、上記作成したメッセージを残すことができる。

実際には、上記メッセージ投影ボタンを押したときに、赤外光によって、掲示板に投影されているマーカ８１を、携帯電話７０のカメラＣ７が、撮影し、デコードし、このデコードされたＩＤと、上記作成したメッセージとが、画像制御装置５０に送信され、一方、画像制御装置５０は、送られてきたＩＤに対応する場所に、上記作成されたメッセージを可視光で投影する。

［位置合わせのためのパターン提示］
多くのＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙを実現するシステムでは、カメラＣ７やプロジェクタ６０等の位置合わせをするために、システム導入時や位置関係が変わったときに、位置についてキャリブレーションを行う。たとえば、プロジェクタ６０の位置とカメラＣ７の位置とを合わせる場合、Ｂｉ−Ｌｉｎｅａｒ補間を使った方法を採用する。この方法は、簡単な方法である。

上記Ｂｉ−Ｌｉｎｅａｒ補間を使った方法は、ｍ×ｎ個の点を、プロジェクタ６０で提示し、各点の位置を、カメラＣ７で取得する。そして、線形補間を行い、カメラＣ７の画像中に存在している位置が、プロジェクタ投影面中のどの位置にあるかを決定する。この方法では、カメラＣ７やプロジェクタ６０の位置が変わった場合や、投影面に物が置かれた場合等に、投影面と、カメラＣ７、プロジェクタ６０の少なくとも一方との距離が変わり、これによって、キャリブレーションを再度実行しなければならないが、キャリブレーションを行うためには、可視光でパターンを提示しなければならない。したがって、それまでシステムが提示していた情報の提示を中断しなければならない。

ところが、実施例７は、キャリブレーションのためのパターンを、不可視光で提示するので、可視光で、情報を提示し続けたまま、キャリブレーションを行うことができる。

［二値化］
実施例２で説明した赤外光マーカ方式では、赤外光によって投影されたマーカ８１を、携帯電話７０のカメラＣ７を利用して撮影し、デコードするが、このデコードする際に適当な閾値を利用し、撮影した画像を、二値化してからデコードする方法が一般的である。しかし、このような方法では、赤外光マーカ８１の投影面によっては、二値化が困難である場合がある。たとえば、投影面が赤外線吸収色（たとえば、黒）である場合、赤外線の充分な反射光を得ることができず、二値化のための閾値の設定が難しい。

実施例８は、このような場合、マーカ８１を所定時間毎に、点滅させ、点灯における画像と、消灯における画像との差分を求める実施例であり、また、マーカ８１を所定時間毎に、反転させ、反転しない場合における画像と、反転した場合における画像との差分を求める実施例である。

実施例８によれば、投影面が赤外線吸収色（たとえば、黒）であっても、赤外線の充分な反射光を得ることができ、つまり、投影面の影響をある程度除去することができる。

また、実施例８は、投影面に赤外線反射加工を施す実施例であり、これによって、二値化が容易になる。たとえば、透明の赤外線反射塗料を投影面に塗り、これによって、投影面の赤外線反射率の向上が期待できる。このように加工することによって、マーカ８１の認識を助けるだけでなく、携帯電話７０を通して、赤外光で提示された情報を、ユーザＵが見る際に、明瞭な明るさで情報を見ることができる。

赤外光で投影された情報は、赤外線カメラや、ノクトビジョンを通して見ることができるが、これらのデバイスは特殊であり、プロジェクタ方式の利点の１つである特殊なデバイスが不要であるという利点が損なわれる。

そこで、上記実施例では、カメラ付き携帯電話を用いるものである。カメラ付き携帯電話は、上記のように、一般性が高まりつつある携帯デバイスであり、また、携帯電話のカメラに赤外線フィルタをかぶせることによって、赤外線カメラとして利用することができる。

また、たとえば、ユーザＵに気づいてもらうための手がかり情報を、可視光で投影することによって、従来の技術で挙げたカメラ付き携帯電話の問題（情報が不必要な情報であれば、それまで行っていた行動を妨げられるという問題）を解決することができる。また、情報自体は、赤外光で実環境に直接投影するので、ユーザＵの動きに応じた位置合わせを必要としない。

上記実施例を適用することによって、プロジェクタ方式における問題点を解決することができる。つまり、
（１）可視光で、概略の情報等を投影し、詳細情報や認知負荷が高い情報（たとえば、アニメーション等の動きが伴う情報）を、赤外光で投影するので、可視光で投影する情報の情報量を減らし、したがって、ユーザＵの認知負荷を下げることができる。

（２）赤外光で、マーカ８１を投影し、携帯電話で投影されたマーカ８１をデコードし、デコードされたＩＤやＵＲＬが示す情報を、ネットワーク上からダウンロードするので、携帯電話上に、詳細な情報を提示することができ、また、詳細な情報を携帯電話上に提示できるので、実環境の投影スペースの節約になり、また、ユーザＵのプロファイルや状況に合わせて、パーソナライズされた情報を携帯電話上に提示することができる。

また、上記実施例は、マーカ８１を赤外光で投影することによって、マーカ８１を不可視に提示することができ、これによって、マーカ８１が目障りにならず、また、可視光によって、マーカ８１を投影している場所と同じ場所に、別の情報を投影できるので、貴重な情報提示スペースの節約になる。

また、マーカ８１を大きくしても目障りにならないので、伝達したい情報の情報量に応じて、マーカ８１の大きさを切り替えることができる。

本発明の実施例１である情報提示装置ＩＰ１を示す斜視図である。 情報提示装置ＩＰ１における画像制御装置１０を示すブロック図である。 情報提示装置ＩＰ１におけるプロジェクタ２０の構成例を示す図である。 実施例１において、カメラＣ１を用いて、掲示物の貼り変えを検出した場合における処理装置内の動作を示すフローチャートである。 情報提示装置ＩＰ１における可視光＋赤外光プロジェクタ１０の変形例であるプロジェクタ２０ａ（ＤＬＰ方式）を示す構造例の図である。 画像制御装置１０と携帯電話３０との処理の流れを示すフローフローチャートである。 本発明の実施例６である情報提示装置ＩＰ２の説明図である。

符号の説明

ＩＰ１、ＩＰ２…情報提示装置、
Ｃ１、Ｃ５…カメラ、
１０、５０…画像制御装置、
１１…貼り紙データベース、
１２…画像登録手段、
１３…貼り紙剥がし検出手段、
１４…ＩＤ等記録手段、
１５…スポットライト作成手段、
１６…貼り紙記載画像出力手段、
２０、６０…プロジェクタ、
３０、７０…携帯電話、
４１…赤外光の画像、
４２…可視光の画像、
Ｃ３、Ｃ７…赤外線カメラ、
Ｕ…ユーザ、
８１…赤外光のマーカ。

Claims (18)

1. 可視光によって、概略の情報を投影する可視光投影手段と；
   赤外光によって、詳細情報または認知負荷が高い情報を投影する赤外光投影手段と；
   を有することを特徴とする情報提示装置。
2. 請求項１において、
   上記概略の情報は、スポットライト、矢印、文字、文章のうちの少なくとも１つであることを特徴とする情報提示装置。
3. 請求項１において、
   上記認知負荷が高い情報は、動きが伴う情報であることを特徴とする情報提示装置。
4. 可視光によって、概略の情報を投影する可視光投影手段と；
   赤外光によって、所定のマーカを投影する赤外光マーカ投影手段と；
   上記赤外光マーカ投影手段によって上記マーカが投影されている位置を撮影するカメラを具備する携帯端末と；
   上記携帯端末が具備するカメラが撮影したマーカをデコードするデコード手段と；
   上記デコード手段がデコードしたＩＤまたはＵＲＬが示す情報を、ネットワーク上からダウンロードするダウンロード手段と；
   を有することを特徴とする情報提示装置。
5. 請求項４において、
   上記マーカを所定時間毎に、点滅させ、点灯における画像と、消灯における画像との差分を求めるか、または、上記マーカを、所定時間毎に、反転させ、反転しない場合における画像と、反転した場合における画像との差分を求めることを特徴とする情報提示装置。
6. 請求項４において、
   上記ダウンロード手段がダウンロードした情報を、上記携帯電話の画面に表示させる画面制御手段を有することを特徴とする情報提示装置。
7. 所定の画像を、撮影するカメラと；
   上記カメラが撮影した画像を、貼り紙データベースに登録する画像登録手段と；
   上記カメラで撮影された画像が記載されている貼り紙が剥がされたことを検出する貼り紙剥がし検出手段と；
   上記貼り紙が剥がされたことが検出された場合、上記剥がされた貼り紙に記載されていた画像を、上記貼り紙データベースから切り出し、ＩＤと、上記剥がされた時刻と、上記剥がされた場所とを、上記貼り紙データベースに記録するＩＤ等記録手段と；
   上記貼り紙剥がし検出手段が、上記貼り紙が剥がされたことを検出すると、所定形状のスポットライトを、上記貼り紙が剥がされた場所に、可視光で投影する可視光投影手段と；
   上記貼り紙が剥がされた場所に、上記剥がされた貼り紙に記載されていた画像を、赤外光で投影する赤外光投影手段と；
   を有することを特徴とする情報提示装置。
8. 請求項７において、
   上記可視光で投影されたスポットライトに重ねて、上記剥がされた貼り紙に記載されていた画像を、赤外光によって投影することを特徴とする情報提示装置。
9. 請求項７において、
   赤外線カメラ付きの携帯電話を、ユーザがスポットライトに翳すと、赤外線カメラ付きの携帯電話が、赤外光によって投影されている画像を撮影し、上記携帯電話の画面に、上記赤外光によって投影された画像を表示することを特徴とする情報提示装置。
10. 請求項８において、
    上記可視光投影手段が投影するスポットライトの所定形状は、上記剥がされた貼り紙の形状であることを特徴とする情報提示装置。
11. 所定の画像を、カメラで撮影する画像撮影段階と；
    上記画像撮影段階で撮影された画像を、貼り紙データベースに登録する画像登録段階と；
    上記カメラで撮影された画像が記載されている貼り紙が剥がされたことを検出する貼り紙剥がし検出段階と；
    上記貼り紙が剥がされたことが検出された場合、上記剥がされた貼り紙に記載されていた画像を、上記貼り紙データベースから切り出し、ＩＤと、上記剥がされた時刻と、上記剥がされた場所とを、上記貼り紙データベースに記録するＩＤ等記録段階と；
    上記貼り紙剥がし検出段階で、上記貼り紙が剥がされたことを検出すると、所定形状のスポットライトを、上記貼り紙が剥がされた場所に、プロジェクタを用いて、可視光で投影する可視光投影段階と；
    上記貼り紙が剥がされた場所に、上記剥がされた貼り紙に記載されていた画像を、赤外光で投影する赤外光投影段階と；
    を有することを特徴とする情報提示装置の使用方法。
12. 請求項１１において、
    上記可視光で投影されたスポットライトに重ねて、上記剥がされた貼り紙の画像を、赤外光によって投影することを特徴とする情報提示装置の使用方法。
13. 請求項１１において、
    赤外線カメラ付きの携帯電話を、ユーザがスポットライトに翳すと、赤外線カメラ付きの携帯電話が、赤外光によって投影されている画像を撮影し、上記携帯電話の画面に、上記赤外光によって投影された画像を表示することを特徴とする情報提示装置の使用方法。
14. 請求項８において、
    上記可視光投影段階で投影するスポットライトの所定形状は、上記剥がされた貼り紙の形状であることを特徴とする情報提示装置の使用方法。
15. 可視光によって、第１の情報を投影する可視光投影手段と；
    不可視光によって、上記第１の情報と関連がある第２の情報を投影する不可視光投影手段と；
    を有することを特徴とする情報提示装置。
16. 請求項１５において、
    上記不可視光は、赤外光または紫外光であることを特徴とする情報提示装置。
17. 請求項１５において、
    上記第１の情報は、所定の言語の情報であり、上記第２の情報は、上記所定の言語の対訳であることを特徴とする情報提示装置。
18. 請求項１５において、
    上記第１の情報は、変化が起きたことを示す情報であり、上記第２の情報は、上記変化が起きたときの画像であることを特徴とする情報提示装置。

Images