JP2010128133A - 移動式情報重畳システム及び情報重畳方法 - Google Patents

Abstract

【課題】
屋内外にわたる広範囲をシームレスにカバー可能であり、投影位置・姿勢情報に依存したコンテンツを表示することができる情報重畳システムを提供する。
【解決手段】
移動可能な可視光通信プロジェクタを備えた投影システムを採用し、実世界座標を既知とした可視光通信、無線通信可能なタグを環境に複数設置して使用する。本発明に係る情報重畳システムは、可視光通信を利用することで投影範囲を小さなエリアに区切って投影システムからタグに位置情報を送信し、投影システムがタグから当該タグの位置情報および実世界座標を無線受信することで、投影システムの投影位置・姿勢推定を行なうように構成されており、投影システムの投影位置・姿勢推定と映像情報の提示を同時に行なう。
【選択図】図１

Description

本発明は、可視光通信を用いた移動式情報重畳システムに関するものである。

近年、プロジェクタの小型化や高性能化、トラッキング技術や画像認識技術の進歩とともにＡＲ(Augumented Reality)技術が進歩してきている。Augmented Reality（拡張現実感）とは現実世界にコンピュータが作り出した情報を重ね合わせて補足的な情報を与える技術のことである。また、映像の実世界への進出も重なり、環境に情報を投影するようなＡＲシステムの実用化が望まれている。

既存のＡＲ技術の例として挙げられるのが、ＨＭＤ(Head Mounted Display)やムービングプロジェクタ等である。広域に展開可能なＡＲシステムとしてこれらの技術を利用したシステムとしては、ＨＭＤと測位システムを統合したシステムが主流である。そのようなシステムにおいては、ＨＭＤ等の情報提示システムとは別に、トラッキングを実現するための測位システムが必要となり、具体的には、高価なモーションキャプチャシステムや、ＧＰＳ、ジャイロなどの複雑なセンサシステムを構成する必要があった。また、このようなトラッキングのためのセンサシステムおいて、屋内外に亘って使用可能であり、かつ容易に広域に展開可能なセンサは無かった。

また、ＡＲシステムの1つとして実世界インタラクションを扱ったシステムが挙げられる。そのようなシステムでは主にタグや可視光通信等がインタラクションを実現する方法として用いられている。特に可視光通信はプロジェクタを用いた実世界インタラクションにて多く利用されており、プロジェクタを用いたシステムへの応用の期待が高まっている。可視光通信とは、人間の目に見える光を高速で点滅させることで光に情報を載せる技術である。人間の目には点滅していると認識できない速さで点滅させることで、人間には照明や映像として映る光に情報を載せることが可能となってきた。これに関連して、プロジェクタによる空間分割型可視光通信を利用して、静止画像へ情報を埋め込む手法が非特許文献１、非特許文献２に開示されている。さらに、可視光通信の利点として、画像に情報を重ねることができることに加えて、カメラで画像処理を行うのに比べて早い、情報の存在位置が視覚的にわかる、電波を使用できない環境（病院等）下での使用といったものがある。

このような技術を実世界インタラクションに利用するだけでなく、位置センサシステムへと応用することで既存の問題であったＡＲシステムの広域への展開が実現されると考えられる。

Ｒａｓｋｅｒらは、手持ちのプロジェクタを用い環境側に可視光通信タグを配置することで、ＡＲシステムを実現した（非特許文献３、非特許文献４）。このシステムでは、可視光通信によってタグがプロジェクタの投影範囲のどのエリアに存在するかを知ることができる。そして、タグの存在する位置にタグの持つ情報によって異なるコンテンツを環境に投影することができる。この研究は可視光通信を用いて実世界インタラクションを行っている。しかし、プロジェクタの位置情報は用いていないため、タグの情報によるコンテンツの投影にとどまっている。

さらに、特許文献１には、コントローラと、タグとを備える無線探索および識別システムであって、前記コントローラは、出力画像におけるそれぞれの画素について一意の時間的に連続する光度を生成するよう構成されているプロジェクタと、出力信号を発し入力信号を受信するよう構成されている無線トランシーバとを有し、前記タグは、特定の画素の前記一意の時間的に連続する光度を検知するよう構成されている光センサと、前記トランシーバからの前記出力信号を受信するよう構成されているトランスデューサと、前記出力信号の受信および前記特定の画素の前記一意の時間的に連続する光度の検知に応答して、前記一意の時間的に連続する光度に従って、前記トランシーバ用の前記入力信号を変調して、前記タグの位置を前記コントローラに知らせる手段とを有する、無線探索および識別システム、が開示されている。また、特許文献２には、表示面と、前記表示面の各位置に対して一意の光強度シーケンスを有する、パターンシーケンスを前記表示面に表示するように構成されるプロジェクタと、前記プロジェクタが前記パターンシーケンスを表示している間に前記表示面上の任意の位置における光強度を検知するように構成される光センサと、前記光強度を復号化して、前記任意の位置の座標を求める手段とを備える対話型ディスプレイシステムが開示されている。これらの特許文献には、プロジェクタを用いて光センサの位置を取得する点について開示するものであり、プロジェクタの投影位置・姿勢情報に依存したコンテンツを表示するものではない。
特表２００８−５０５３７４ 特表２００７−５１０９６６ 北村匡彦, 苗村健. DMD を用いた空間分割型可視光通信の基礎検討. FIT2006 第5 回情報科学技術フォーラム情報科学技術レターズ, Vol. 5, pp. 293.295, September 2006. 北村匡彦, 苗村健. DMD を用いた空間分割型可視光通信による静止画への情報埋め込み. 日本バーチャルリアリティ学会第11 回大会論文集, pp. 502.505, September 2006. R. Raskar, P. Beardsley, J. van Baar, Y. Wang,P.H. Dietz, J. Lee, D. Leigh, and T. Willwacher. RFIG Lamps: Interacting with aself-describing world via photosensing wireless tags and projectors. ACMTransactions on Graphics (TOG) SIGGRAPH, Vol. 23, No. 3, pp. 406.415, 2004. R Raskar, H Nii, B de Decker, Y Hashimoto, JSummet, D Moore, Y Zhao, J Westhues, P Dietz, M Inami, S Nayar, J Barnwell, MNoland, P Bekaert, V Branzoi, and E Bruns. Lighting-Aware Motion Capture UsingPhotosensing Markers and Multiplexed Illumination. ACM SIGGRAPH 2007 paper,2007.

本発明は、屋内外にわたる広範囲をシームレスにカバー可能であり、投影位置・姿勢情報に依存したコンテンツを表示することができる情報重畳システムを提供することを目的とするものである。

本発明が採用した技術手段は、
移動可能な可視光投影システムと、
環境に配置された複数のタグと、からなる移動式情報重畳システムであって、
前記可視光投影システムは、４０００Ｈｚ以上の速度で高速点滅可能な表示デバイスを備えたプロジェクタを有しており、前記プロジェクタは、画像や光の投影と同時に投影面内の位置情報を特定する可視光パターンを送信するように構成されており、
前記複数のタグは、前記プロジェクタの投影面内に３つ以上位置するように環境に設置されていると共に、各タグは、
当該タグの実世界座標値と、
前記可視光パターンを受信する手段と、
受信した可視光パターンから投影面内の自己の位置情報を検出する手段と、
自己の実世界座標値及び検出した投影面内の自己の位置情報を前記可視光投影システムに無線送信する手段と、
を備えており、
前記可視光投影システムはさらに、
各タグから無線送信された当該タグの実世界座標値及び投影面内の位置情報を受信する手段と、
少なくとも３つのタグの実世界座標値及び投影面内の位置情報から投影位置情報（実世界座標値）あるいは投影位置・姿勢情報を取得する手段と、
投影システムの絶対位置（実世界座標値）あるいは絶対位置・姿勢に関連付けられた情報重畳用の画像情報を格納する手段と、
取得された投影位置情報あるいは投影位置・姿勢情報に応じて、前記投影システムの絶対位置あるいは絶対位置・姿勢に関連付けられた前記画像情報を投影して情報重畳を行なう手段と、
を備えている移動式情報重畳システム、及び、
移動可能な可視光投影システムと、環境に配置された複数のタグと、を用いた情報重畳方法であって、
前記可視光投影システムは、４０００Ｈｚ以上の速度で高速点滅可能な表示デバイスを備えたプロジェクタを有しており、
前記複数のタグは、前記プロジェクタの投影面内に３つ以上位置するように環境に設置されており、
各タグは、当該タグの実世界座標値を備えており、
移動する可視光投影システムのプロジェクタから、前記３つ以上のタグに投影面内の位置情報を特定する可視光パターンを送信するステップと、
各タグが、前記可視光パターンを受信すると、受信した可視光パターンから投影面内の自己の位置情報を検出し、自己の実世界座標値及び検出した投影面内の自己の位置情報を前記可視光投影システムに無線送信するステップと、
前記可視光投影システムが、各タグから無線送信された当該タグの実世界座標値及び投影面内の位置情報を受信して、少なくとも３つのタグの実世界座標値及び投影面内の位置情報から投影位置情報あるいは投影位置・姿勢情報を取得するステップと、
取得された投影位置情報あるいは投影位置・姿勢情報に応じて、前記投影システムの絶対位置あるいは絶対位置・姿勢に関連付けられた画像情報を投影して情報重畳を行なうステップと、
からなる情報重畳方法、である。

投影位置・姿勢情報を取得する手段には、プロジェクタの位置・姿勢を未知数としてダイレクトに求める手法、及び、プロジェクタの位置、姿勢を別々に求める手法がある。
１つの態様では、前記投影位置・姿勢情報を取得する手段は、投影位置情報を取得する手段と、取得した投影位置情報を用いて投影姿勢情報を取得する手段と、からなる。
１つの態様では、前記投影位置情報を取得する手段は、
各タグの投影面内の位置情報を用いて、前記プロジェクタの光源から各タグへのベクトル同士が成す角度を算出する手段と、
前記光源から各タグまでの距離を算出する手段と、
各タグの実世界座標値と、前記光源と各タグ間の距離と、から前記光源の実世界座標値を算出する手段と、
からなる。

「４０００Ｈｚ以上の速度で高速点滅可能」とは、投影システムの連続的な動きに対応してトラッキングが可能な程度の速度を意味するものであり、投影システムの移動速度や投影平面のピクセルサイズに応じて理論的に導かれる範囲のものである。
１つの態様では、前記可視光投影システムは、３０ｃｍ／秒以上の速度で移動し、前記投影位置・姿勢情報の取得および情報重畳は移動中に実行可能である。
可視光投影システムの移動速度は、本発明に係る情報重畳システムの用途によって異なるが、館内でのナビゲーションロボットに適用した場合には、例えば、３０ｃｍ／秒以上の速度で移動させることが要求され、例えば、８０００Ｈｚ以上の速度で高速点滅させてなる可視光パターンを投影できるものであることが望ましい。
１つの態様では、前記４０００Ｈｚ以上の速度で高速点滅可能な表示デバイスは、デジタルマイクロミラーデバイス（ＤＭＤ）である。表示デバイスは、ＬＥＤやレーザから構成されてもよい。

１つの態様では、各タグの実世界座標値は、タグ側に格納されており、タグの投影平面内の位置情報と共にタグから投影システムへ無線送信される。あるいは、各タグの実世界座標値は、タグＩＤに関連付けられて投影システム側に格納されており、投影システムが受信したタグＩＤに基づいてタグの実世界座標を取得するようにしてもよい。
１つの態様では、前記複数のタグは、それぞれが正三角形の頂点を形成するように環境に配置されている。
環境とは、可視光パターンを投影する投影システムを除く外界を意味し、地面、壁、天井、外界に存在する当該投影システムとは別の物体（タグの実世界座標が特定できれば移動体でもよい）、を含む。

情報重畳のための画像情報には、文字、図形、色（透明光を含む）、これらの任意の組み合わせからなる画像情報が含まれる。これらの画像情報は、投影システムの絶対位置情報（実世界座標値）あるいは絶対位置・姿勢情報に関連付けられて、投影システムの記憶手段に格納されている。

１つの態様では、前記投影システムは、前記投影面内にある少なくとも３つのタグの実世界座標値から環境側の被投影面（表示面）の形状を推定する手段を備えている。より具体的には、例えば、３つのタグを通るタグ平面を被投影面とすることができる。
被投影面形状を推定することで、推定された被投影面形状と投影姿勢・位置に基づいて投影画像を補正することができる。
また、予め環境の３次元空間モデル情報（実世界座標値に関連付けられている）を投影システム側に格納しておき、当該情報を利用して投影画像を補正してもよい。
被投影面（表示面）形状に適応させてプロジェクタからの投影画像を補正する手法については、当業者において様々な提案がなされており、それらを適宜採用することができる。

１つの態様では、前記移動可能な可視光投影システムは、移動体に搭載されている可視光投影システムである。ここで、移動体には、動力源の有無を問わず、また、投影システム自体が移動体を構成するものも含まれる。また、移動可能な可視光投影システムは、可搬式（持ち運び可能）あるいはウェアラブルであってもよい。
１つの態様では、前記移動体は、自律移動ロボットである。
１つの態様では、前記自律移動ロボットは、自己のオドメトリを備えており、前記位置・姿勢情報を用いて当該移動体の移動情報を補正する。
１つの態様では、前記移動体は、移動車両である。移動車両としては、乗用平行二輪車、自動車、電動車椅子等が例示される。
１つの態様では、前記投影システムのプロジェクタは移動体のヘッドライトである。

本発明では、環境側のセンサとしてタグを用いて、タグを実空間内に複数設置することのみによって、投影システムの絶対位置情報の計測を実現し、トラッキング機能と情報提示機能を同時に広域展開（屋内外を問わず）することが可能である。
すなわち、情報重畳を行なうプロジェクタ自体の位置を推定することで容易に広域展開可能であり、かつ、移動可能な実空間への情報重畳システムが構築される。タグを任意の空間に複数ばら撒くだけでユビキタスな実空間への情報重畳環境が構築される。この実空間の情報重畳システムのタグは、可搬型プロジェクタのみならず携帯型小型端末等とも情報のやり取りが可能とすることもできる。
また、環境側にタグを設置する際には、可視光通信受信部（１つの態様例では、フォトトランジスタ）のみ外界から見えていれば良い。そのため、露出するタグによって環境の景観を損なうという問題点も最低限の範囲に留めることが可能である。

高速でフレーム切替が可能な表示デバイスを備えたプロジェクタを用いることで、座標情報の通信に関する表示は人間の目には知覚されないことに加えて、投影システムの大きな移動に対して追従可能とすることができ、実空間への情報の重畳表示が可能となる。

高速表示可能なプロジェクタを携帯する、あるいは、移動体のヘッドライトとして使用することで、環境側にタグを配置することで、投影による運転者への情報提示；移動体の自律移動のための自己位置推定；運転者同士、又は運転者と環境間での情報交換；ライトとしての本来の機能；等の機能を持ったユビキタス空間を構築することができる。

構築するシステムを移動体（電動車椅子、自動車、二輪車等）のヘッドライトとして使用することで、移動体の正確な自己位置推定も同時に行なうことが可能である。したがって、移動体の自律移動を考えた場合に、交差点での道案内と同時にオドメトリの補正を同時に行なえることになり、複合的な機能を備えたシステムを提供することができる。移動体の自律移動や人のナビゲーションの分野での利用が可能である。

［Ａ］移動式情報重畳システムの概要
本発明に係る移動式情報重畳システムは、移動可能な可視光通信プロジェクタを備えた投影システムを採用し、実世界座標を既知とした可視光通信、無線通信可能なタグを環境に複数設置して使用する。本発明に係る情報重畳システムは、可視光通信を利用することで投影範囲を小さなエリアに区切って投影システムからタグに位置情報を送信し、投影システムがタグから当該タグの位置情報および実世界座標を無線受信することで、投影システムの投影位置・姿勢推定を行なうように構成されており、投影システムの投影位置・姿勢推定と映像情報の提示を同時に実行可能なＡＲシステムである。

本発明に係る情報重畳システムの概要を図１に示す。情報重畳システムは、大きく分けて、投影システムを構成するプロジェクタ及びパーソナルコンピュータ（ＰＣ）と、環境側の複数のタグと、からなる。プロジェクタからの投影はパーソナルコンピュータによって制御されている。プロジェクタからタグが配置された環境に対して投影を行なうことで、可視光通信（投影平面内の位置情報の送信）を行うと同時に情報を重畳する。可視光通信を受信したタグは、投影平面内の当該タグの位置情報を特定し、タグから所定情報（当該タグのＩＤ・投影平面内の位置情報・実世界座標）を無線により投影システム側のパーソナルコンピュータに送信する。パーソナルコンピュータでは、得られた情報からプロジェクタの投影位置・姿勢を推定し、推定された投影位置・姿勢に応じて選択的に情報をプロジェクタから環境に投影する。

より具体的には、情報重畳システムの投影システムは、４０００Ｈｚ以上の速度で高速点滅可能な表示デバイスを備えたプロジェクタを有しており、前記プロジェクタは、画像や光の投影と同時に投影面内の位置情報を送信するめの可視光パターンを送信するように構成されている。投影システムはさらに、各タグから無線送信された当該タグの投影面内の位置情報及び実世界座標を受信する手段と、少なくとも３つのタグの投影面内の位置情報と実世界座標とから投影位置・姿勢情報を取得する手段と、投影システムの位置・姿勢情報に関連付けられた情報重畳用の画像情報を格納する手段と、取得された投影位置・姿勢情報に応じて、前記投影システムの位置・姿勢情報に関連付けられた前記画像情報を投影して情報重畳を行なう手段と、を備えている。これらの各手段は、コンピュータ装置（データの送受信手段、データを格納する記憶手段、データが入力される入力手段、入力されたデータおよび記憶されたデータを用いて計算を行う処理手段、処理結果を出力する出力手段等、を備えている。）によって具現化することができる。

より具体的には、環境に配置された複数のタグの構成する各タグは、当該タグのＩＤと、当該タグの実世界座標と、前記可視光パターンを受信する手段と、受信した可視光パターンから投影面内の自己の位置情報を検出する手段と、自己のＩＤ、検出した投影面内の自己の位置情報、実世界座標を投影システムに無線送信する手段と、を備えている。また、複数のタグは、投影面内に必ず３つ以上位置するように環境に設置されている。タグの実世界座標をタグ側に格納することに代えてあるいは加えて、各タグの実世界座標をタグのＩＤに関連付けて投影システム側に格納してもよい。

可視光通信を用いた広域ＡＲシステムを用いた情報重畳の方法について説明する。本発明に係るＡＲシステムは、以下の３段階の工程を高速で繰り返すように構成される。

［Ａ−１］可視光通信プロジェクタによる投影
先ず、ＰＣから指令を受けた可視光通信プロジェクタが、環境に可視光通信パターンを投影する。可視光通信タグがそのパターンを受信し、タグ自身の投影平面上での二次元位置座標(タグ１ならば(ｐ_１，ｑ_１)を得る(図２)。このとき、投影平面とはプロジェクタを地面に水平に設置した際にプロジェクタの方向軸と地面とに垂直となる平面を想定している。そのため、可視光通信タグが同一投影平面上に存在する必要はなく、タグそれぞれが、そのタグが存在する固有の投影平面上での二次元位置座標を得る。

［Ａ−２］投影位置・姿勢推定
タグは基本的に環境側に固定することを想定しているため、事前にタグ自身の三次元実空間座標を測定しておくことが可能である。その実空間座標をタグに既知として与えることとする。各タグの実空間座標値は、各タグの記憶手段あるいは／および投影システムの記憶手段（タグのＩＤと関連付けて）に格納されている。

可視光通信によって投影平面上での位置座標を受信すると、タグは受信した位置座標と与えられていた実空間座標をＰＣへと無線によって送信する。ＰＣでは、タグから受信した情報をもとに、プロジェクタの光源位置とプロジェクタの姿勢の推定（以下、投影位置・姿勢推定）を行う。タグの数が２つ以下では投影位置・姿勢推定を行うことはできないが、最低３つのタグの情報を得ることで投影位置・姿勢推定することが可能である(図３)。

［Ａ−３］情報重畳
自己位置推定によって得られたプロジェクタの位置情報、姿勢情報と投影平面上に存在するタグの持つ固有情報（実空間座標、あるいは、加えて実空間座標、すなわちタグの場所に関連付けられたコンテンツを含んでもよい）、タグの投影平面上での位置座標をもとに、実空間へユーザへの提示情報を重畳する。

位置情報を送信するビットと画像を投影するために輝度を調節するビットとに分け、高速で点滅させることで画像のみを人間の目に知覚させることが可能である。つまり、プロジェクタによる可視光通信パターンの投影とユーザへ提示する情報の重畳を同時に行うことが可能である。そのため、リアルタイムでタグの情報と投影位置・姿勢情報を反映したコンテンツを提示可能である(図４)。

本発明に係る情報重畳システムを用いることで、例えば、図５のように、廊下のどの位置にいるかによって進行方向の矢印の提示位置、提示画像を変更することが可能である。より具体的には、投影システムにおいて、移動式のプロジェクタの所定の投影位置・姿勢に関連付けて「右折用の矢印」、「直進用の矢印」、「左折用の矢印」等の画像情報を格納しておく。投影位置・姿勢情報取得手段が、移動式プロジェクタが所定の投影位置・姿勢にあることを検出すると、検出された投影位置・姿勢に関連付けられた画像情報がプロジェクタから環境に投影される。

［Ｂ］可視光通信システムの構成
本発明に係る情報重畳システムにおける可視光通信システムの構成についてさらに詳細に説明する。

［Ｂ−１］投影システム側の構成
投影システムの可視光通信用プロジェクタには、画像情報の投影に加えて、位置情報を送信するために画像を高速点滅することが要求される。１つの態様では、プロジェクタの方式として、表示デバイスにDMD（Digital Micromirror Device)を使用するＤＬＰ方式が採用される。ＤＭＤはミクロンサイズの微極小な鏡が数十万個並んだ半導体で、一つの鏡が一画素に対応し、光源からの光を反射することで映像を投影する。ＤＭＤを１ピクセルごとに高速点滅させて１ピクセルごとに情報を載せるように構成することで、可視光通信プロジェクタを構築することができる。このようなＤＭＤの構築は、例えば、ＤＬＰアプリケーション開発キット（テキサス・インスツルメンツ社）を用いて設計することができる。

プロジェクタからの投影は、ＰＣによって制御される。縦縞と横縞の模様を組み合わせた画像を高速で投影することで投影範囲を複数のエリアに分割し、そのエリアによって異なる投影平面上の位置情報を載せる。１つの態様では、投影範囲は２５６×２５６のエリアに分割される。ノイズに対する強度を上げるため、また、人間の目には均一の明るさになるように、下記のように４bitで１bit の情報を送信することとした（図６）。
スタートビット-0111
1 -0101
0 -0110
ストップビット-0100

投影範囲を２５６×２５６のエリアに分割するために１６ｂｉｔの情報を送信(二次元グレーコードを使用)する。ノイズを除去するために１ｂｉｔを４枚の画像でコーディングした。４ｂｉｔでコーディングする前の信号には二次元グレイコードを使用した。グレイコードとは、隣り合う２つのエリアにおける信号が１bitのみ異なるような信号であり、二次元グレイコードとはその特性を２次元に拡張した信号である(図７)。つまり、「01011000 11001001」という情報を送る場合は、まずグレイコード化し、「01110100 10101101」とする。さらに、1つ1つの「0」を「0110」、「1」を「0101」に変換し、スタートビット「0111」とストップビット「0100」で挟み込んだ、「0111 0110 0101 0101
0101 0110 0101 0110 0110 0101 0110 0101 0110 0101 0101 0110 0101 0100」を送信する。図７Ａは、可視光通信を用いた位置情報の埋め込みを説明する図である。

［Ｂ−２］環境システム側の構成
環境側システムを構成するタグは、可視光通信機能と無線通信機能を備えている。タグは、光受信手段としてのフォトトランジスタ、ＰＩＣ基板、無線通信機能としてbluetoothモジュールを備えている。マイクロコントローラとしてのＰＩＣにはＣＰＵ、メモリ（ＲＡＭ，ＲＯＭ）、Ｉ／Ｏなどが備わっており、ＲＯＭに書き込まれたプログラムにより制御される。１つの態様では、タグは、任意要素として、Ａ／Ｄ変換部を備えており、このＡ／Ｄ変換部は、ＤＭＤの高速点滅に対応できるように設計される。メモリには各タグを識別するためのＩＤおよび実世界座標が格納されている（実世界座標自体がＩＤであってもよい）。ここでの態様では、光受信手段としてフォトトランジスタ、マイクロコントローラとしてＰＩＣ、無線通信機能としてbluetoothモジュールを採用したが、これらは光受信手段、制御手段、無線通信機能の単なる例示であって、その他の周知なデバイスやモジュールが採用され得ることが当業者に理解される。タグのメモリには、タグの場所に関連付けられたコンテンツを格納してもよい。また、携帯端末からタグのメモリに情報を格納するようにしてもよい。

光受信手段としてのフォトトランジスタが、プロジェクタから投影される可視光通信パターンを受信する。コントローラとしてのＰＩＣには、その情報から投影平面内での位置情報を算出するアルゴリズムが格納されている。ＤＭＤを用いてコーディングされた可視光をプロジェクタから環境中のタグに投影すると、その光をタグの光受信手段が受光し、コントローラによって位置情報へと変換する。得られた位置情報は投影システム側のＰＣへ無線送信される。

可視光通信に位置情報を埋め込んで、当該位置情報から位置情報を読み出すことは既知であり、プロジェクタから可視光通信で位置情報を送信し、その位置情報を検知する手法は、特許文献１、２にも開示されており、これらの文献の記載を参照することもできる。例えば、特許文献２には、「パターンシーケンスは、ミラーの状態を順次変化させることによって生成される。パターンは、人間の視覚系ではなく光センサによって検出される。これらのパターンは、ディスプレイの個々の各画素に対して一意の光強度時間シーケンスを有する。画素群が検知される場合、各群は一意のパターンを有する。そうすることにより、特定の画素における光強度を経時的に検知すること、及び、パターンを復号化することによって、その画素の位置の２Ｄ座標を求めることができる。」と記載されている。

上述のように本発明の１つの態様では、投影システムの投影範囲を２５６×２５６に分割した位置情報を投影システムから環境側システムへと可視光通信によって送信する。この場合、投影システムの画像投影速度を４０００Ｈｚと８０００Ｈｚとすると、１つの位置情報を送信するのに１００枚弱の画像を使用するため、画像投影速度が４０００Ｈｚの場合は位置情報通信速度は約４０Ｈｚ、画像投影速度が８０００Ｈｚの場合は位置情報通信速度は約８０Ｈｚとなる。このように、本発明の１つの態様では、投影範囲を２５６×２５６のエリアに分割するが、このエリアをさらに分割することで高精度化を図ることが可能である。しかし、投影位置・姿勢推定の精度と速度についてはトレードオフの関係にあるため、本システムの用途において最適な精度と速度を採用する必要がある。

［Ｂ−３］タグの配置方法
３つのタグを直線上に配置すると、投影位置・姿勢が一つに定まらず、推定を行うことができない。そのため、位置推定の誤差が最も小さくなるような３つのタグの配置は、直線から最も離れた形状である。また、３つのタグが互いに最も遠い位置関係であることが望ましく、正三角形が理想的である。

試作したプロジェクタは、約３ｍの投影距離で横約１．２ｍ、縦０．９ｍの投影範囲を持つ。正三角形が最も誤差を小さくすることができるということ、また、壁面や地面に多数のタグを配置した際に常に３つ以上のタグが投影範囲内に存在する必要があることを考慮して、１辺６０ｃｍの正三角形を敷き詰めた形状に配置するものとした(図８)。１辺を６０ｃｍ以下に設定することで、常に投影範囲内に３つ以上のタグを存在させることが可能である。

ここでは正三角形の１辺６０ｃｍと設定したが、この寸法が投影範囲によって変化し得ることは当業者に理解される。例えば、より広角なレンズを使用したプロジェクタを用いることで、タグを配置する間隔を広げることが可能である。タグの配置する間隔を広げることで、環境に設置するタグの数を減らし、また、より正確な投影位置・姿勢推定を行うことが可能となる。正三角形の辺の寸法が大きい方が誤差を少なくすることができる。

［Ｃ］投影位置・姿勢推定アルゴリズム
本発明に係る情報重畳システムにおける投影位置・姿勢推定アルゴリズムについて説明する。

［Ｃ−１］計算手法の概要
３つのタグの投影平面上での位置座標（ｐ_１，ｑ_１），（ｐ_２，ｑ_２），（ｐ_３，ｑ_３）と、タグの実空間位置座標（ｘ_１，ｙ_１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２），（ｘ_３，ｙ_３，ｚ_３）から、プロジェクタの実空間位置座標（ｘ，ｙ，ｚ）と姿勢（α，β，γ）を推定する。タグの投影平面上の座標系の原点は左下端の分割エリアの中心に取り（投影範囲は２５６×２５６のエリアに分割されている）、実空間座標系の原点は適当な場所に取ることとする。

推定を行うには最低３つのタグが必要であり、環境に設置するタグは少ない方が望ましいため、１つの態様では、３つのタグを用いた推定手法を実装する。投影位置・姿勢推定アルゴリズムとして、以下に２つの手法について論じる。

［Ｃ−２］提案手法１
プロジェクタの実空間位置座標（ｘ，ｙ，ｚ）と姿勢（α，β，γ）を一度に推定する手法である。
Ｔ_１：原点からタグへのベクトル
Ｒ_１：原点からプロジェクタ光源へのベクトル
ｒ_１：プロジェクタ光源からタグへの方向単位ベクトル
Ｌ_１：プロジェクタ光源とタグ間の距離
以上のように置くと，次のようにＴ_１を表すことができる(図９)。

次に、
ｕ１：プロジェクタからタグへのベクトル（基準となる方向、回転前）
Ａ_α：ｚ軸回りα(rad)回転行列
Ａ_β：ｘ軸回りβ(rad)回転行列
Ａ_γ：ｙ軸回りγ(rad)回転行列
以上のように置くと、以下のように表すことができる(図１０)。ここで、プロジェクタ光源から適当な距離に取った投影平面の左上端へのベクトルをｓ_０とする。また、左上端から右上端へのベクトルをｓ_１、左上端から左下端へのベクトルをｓ_２とする。この３つのベクトルはプロジェクタによって異なり、既定値として得ることが可能である。

以上よりこの式を詳しく成分表示すると、以下のようになる。
このとき、未知数はｘ，ｙ，ｚ，α，β，γの６つである。（Ｌ_１はｘ、ｙ、ｚによって表すことができる。ｘ_１、ｙ_１、ｚ_１は既知、ｌ_１、ｍ_１、ｎ_１はｐ_１、ｑ_１によって表されるので既知である。）。タグ２、タグ３についても同様に式を立て、９本の中から独立な６本の式を適当に選び、ニュートン法による数値計算によって非線形連立法的式の解を求める。

［Ｃ−３］提案手法２
まず、プロジェクタの実空間位置座標(ｘ，ｙ，ｚ)を推定し、その情報を用いて姿勢(α，β，γ)を推定する手法である。提案手法１では非線形６次連立方程式をニュートン法を用いて解を求めていたが、ｎ次連立方程式をニュートン法で解く場合、ｎ×ｎ行列を毎回計算する必要があり、計算量が多い。本手法では非線形３次方程式を２回解くため、計算時間を短縮することができる。図１１に計算の全体の流れを示す。提案手法２は、大きく以下に述べる３つの段階に分けることができる。

［Ｃ−３−１］タグへのベクトル間の角度算出（第１段階）
プロジェクタの光源とタグ１を結ぶベクトル（実空間座標）をｕ_１、同様にプロジェクタ光源からタグ２、タグ３へのベクトルをｕ_２，ｕ_３とする。また、ｕ_１とｕ_２の成す角をθ_１２とし，θ_２３，θ_１３についても同様とする。

タグの投影平面上での位置座標（ｐ_１，ｑ_１），（ｐ_２，ｑ_２），（ｐ_３，ｑ_３）から、ｃｏｓθ_１２，ｃｏｓθ_２３，ｃｏｓθ_１３を求めることが第１段階である(図１２)。

ここで、提案手法１のときと同様に、プロジェクタ光源から適当な距離に取った投影平面の左上端へのベクトルをｓ_０とする。また、左上端から右上端へのベクトルをｓ_１、左上端から左下端へのベクトルをｓ２とする。この３つのベクトルはプロジェクタによって異なり、既定値として得ることが可能である．

ｕ_１，ｕ_２，ｕ_３を上記のベクトルと（ｐ_１，ｑ_１），（ｐ_２，ｑ_２），（ｐ_３，ｑ_３）を用いて、次のように表すことができる。

このベクトルｕ_１，ｕ_２，ｕ_３の内積を用いて、次のようにｃｏｓθ_１２，ｃｏｓθ_２３，ｃｏｓθ_１３を求めることができる。

［Ｃ−３−２］タグ−プロジェクタ間距離算出（第２段階）
第２段階では、ｃｏｓθ_１２，ｃｏｓθ_２３，ｃｏｓθ_１３を利用してプロジェクタ光源からそれぞれのタグまでの距離Ｌ_０１，Ｌ_０２，Ｌ_０３を求める(図１３)。

まず、タグ１とタグ２の実空間距離をＬ_１２とし、同様に、Ｌ_２３，Ｌ_１３とする。これらの値は、タグの実空間位置座標（ｘ_１，ｙ_１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２），（ｘ_３，ｙ_３，ｚ_３）より、
となる。

このとき、プロジェクタ光源とタグ１とタグ２から成る三角形に注目して余弦定理を用いると、次の関係式が成り立つ。
この３本の非線形連立方程式をニュートン法を用いて数値計算することでＬ_０１，Ｌ_０２，Ｌ_０３の解を得る。

［Ｃ−３−３］投影位置・姿勢算出（第３段階）
第３段階では、プロジェクタ光源からタグまでの距離Ｌ_０１，Ｌ_０２，Ｌ_０３とタグの実空間位置座標（ｘ_１，ｙ_１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２），（ｘ_３，ｙ_３，ｚ_３）からプロジェクタ光源の実空間位置座標（ｘ，ｙ，ｚ）を算出する(図１４(Ａ))。

ここでは、３点法と呼ばれている手法を用いる。まずタグ１、タグ２、タグ３を、Ｔ_１，Ｔ_２，Ｔ_３、光源をＴと呼ぶことにする。Ｔ_１，Ｔ_２，Ｔ_３を中心とし、Ｌ_０１，Ｌ_０２，Ｌ_０３を半径とする球方程式は以下のようになる。
ここで実空間座標原点をＴ_１に平行移動し、
と変換すると、Ｔ_１（０，０，０），Ｔ_２（ｘ_２，ｙ_２，ｚ_２），Ｔ_３（Ｘ_３，ｙ_３，ｚ_３），Ｔ（Ｘ，Ｙ，Ｚ）となる(図１４（Ｂ）)。

また、以下のようにｌ_１２，ｍ_１２，ｎ_１２，ｄ_１２を置く。
(4.18)−(4.17)を座標変換しｌ_１２，ｍ_１２，ｎ_１２，ｄ_１２を用いて整理すると、以下の様になる。この式は、Ｔを通り、Ｔ_１Ｔ_２に垂直な平面の方程式である。

同様にｌ_１３，ｍ_１３，ｎ_１３，ｄ_１３を置き、(4.19)−(4.17)を座標変換し整理すると、以下の様になる。この式は、Ｔを通り、Ｔ_１Ｔ_３に垂直な平面の方程式である。

次に、Ｔ_１，Ｔ_２，Ｔ_３を含む平面方程式は以下の様になる。
ここで、
とし、ｌ＝Ａ／Ｄ，ｍ＝Ｂ／Ｄ，ｎ＝Ｃ／Ｄとおくと、(4.26)は以下のように変形される。

(4.24),(4.25),(4.29)を連立して得られた解（Ｘ，Ｙ，Ｚ）は，図のＴ_０点の座標（Ｘ_０，Ｙ_０，Ｚ_０）である。ＴＴ_０をＨと置くと、以下のようになる。
これらより、
と（ｘ，ｙ，ｚ）を求めることができる。
このように算出した位置座標を用いて、提案手法１と同様に姿勢推定を行う。

推定手法２は、推定手法１に比べて、計算時間を短縮することができる。本発明の投影位置・姿勢推定システムの１つの実施形態では、推定手法２が採用される。また、姿勢推定が必要でないシステムや用途の場合は、位置推定のみを行うことでより高速な投影位置推定を行うことが実現できる。

［Ｄ］投影システムの移動速度と可視光通信速度との関係
可動式の投影システムの位置・姿勢情報を適切に推定するためには、可視光通信速度が重要となる。以下に、投影システムの移動と可視光通信速度の関係について考察する。

［Ｄ−１］並進移動時
並進移動については、分割されたエリアの横幅Ａ、可視光通信による位置情報送信速度Ｔとしたとき、
によって与えられるＳを超える速度のときに連続してエラーが起こり、その結果、推定結果が大きく異なる確率が大きくなると考えられる。

４０００Ｈｚの並進移動については、分割されたエリアの横幅約０．５ｃｍ、可視光通信による位置情報送信速度約４０Ｈｚとすると、Ｓ＝１０となり、秒速１０ｃｍ以上になると誤認識する確率が高くなると考えられる。８０００Ｈｚの並進移動については、分割されたエリアの横幅約０．５ｃｍ、可視光通信による位置情報送信速度約８０Ｈｚとすると、Ｓ＝２０となり、秒速２０ｃｍ以上になると誤認識する確率が高くなると考えられる。

上述のように、安定して推定可能な移動速度の理論値は、４０００Ｈｚで秒速１０ｃｍ以下、８０００Ｈｚで秒速２０ｃｍ以下である。実際に実験を行なったところ、４０００Ｈｚ、８０００Ｈｚともに理論値の範囲内では安定した推定が実現できることが確認できた。また、８０００Ｈｚの場合、最大秒速３９ｃｍまで安定した推定が可能であった。

［Ｄ−２］直進移動時
直進移動については、今回試作したプロジェクタの特性上、３０ｃｍ前進するとタグは投影平面上で最大１０ｃｍ移動するため、分割されたエリアの縦幅Ｂ、可視光通信による位置情報送信速度Ｔとしたとき、
によって与えられるＳを超える速度のときに連続してエラーが起こり、その結果、推定結果が大きく異なる確率が大きくなると考えられる。

４０００Ｈｚの直進移動については、分割されたエリアの縦幅約０．３７５ｃｍ、可視光通信による位置情報送信速度約４０Ｈｚとすると、Ｓ＝２２．５となり、秒速２２．５ｃｍ以上になると誤認識する確率が高くなると考えられる。８０００Ｈｚの並進移動については、分割されたエリアの横幅約０．３７５ｃｍ、可視光通信による位置情報送信速度約８０Ｈｚとすると、Ｓ＝４５となり、秒速４５ｃｍ以上になると誤認識する確率が高くなると考えられる。

上述のように、安定して推定可能な移動速度の理論値は、４０００Ｈｚで秒速２２．５ｃｍ以下、８０００Ｈｚで秒速４５ｃｍ以下である。実際に実験を行なったところ、４０００Ｈｚ、８０００Ｈｚともに理論値の範囲内では安定した推定が実現できることが確認できた。また、８０００Ｈｚの場合、最大秒速５０ｃｍまで安定した推定が可能であった。

［Ｄ−３］回転運動時
分割されたエリアの横幅Ａ、可視光通信による位置情報送信速度Ｔ、タグまでの距離Ｌを用いて、
によって与えられるωを超える速度のときに連続してエラーが起こり、その結果、推定結果が大きく異なる確率が大きくなると考えられる。

８０００Ｈｚの場合、分割されたエリアの横幅約０．５ｃｍ、可視光通信による位置情報送信速度約８０Ｈｚ、タグまでの平均距離約３００ｃｍとする、ω≒４となり、角速度４（°/sec)以上になると誤認識する確率が高くなると考えられる。

［Ｄ−４］小括
上述のように、プロジェクタの移動速度は、点滅周波数および投影面でのピクセルサイズに依存することが当業者に理解される。したがって、より速いプロジェクタの動きに対応するためには、ＤＭＤの点滅速度を上げることや可視光通信パターンを形成する画像の枚数を少なくすることで可視光通信の速度を上げることで対応できる。したがって、プロジェクタの移動速度、例えば、プロジェクタが移動体に搭載されている場合には当該移動体の移動速度、に応じた高速で点滅するＤＭＤが選択される。また、可視光通信パターンについては、上述の態様例ではノイズに強くするために１ｂｉｔを４枚の画像パターンで表現して通信を行っていたが、１ｂｉｔを１枚の画像で表現する通信に改善することで画像の枚数を少なくすることも可能である。

本発明のプロジェクタをロボットに搭載した場合の応用例として、博物館などでロボットが展示室の壁面や床面に情報を投影しながら、人をナビゲーションすることが挙げられる。展示室内で鑑賞行動を行っている人の歩行速度は、毎秒３０ｃｍ程度であるので、これを最低限の達成目標とするように可視光通信の速度が設定される。実際に実験したところでは、DMDを８０００Ｈｚで点滅させた場合には、並進時最大秒速３０ｃｍ、直進時最大秒速５０ｃｍ、という結果を得ており、また、可視光通信速度を上げることで、対応可能な移動速度を上げることが可能である。以上のことから、本発明に係る投影位置・姿勢検出手段は、はＡＲシステムのトラッキングとして実用可能である。

［Ｅ］情報重畳実験
可視光通信プロジェクタと情報重畳用のプロジェクタを兼用して、簡易な情報重畳実験を行った。具体的には、実空間を白線で区切ることでエリアに分割し、プロジェクタが存在するエリアによって重畳するコンテンツを変化させる。コンテンツには矢印を採用し、左エリアにプロジェクタが存在する場合は右矢印を、右エリアにプロジェクタが存在する場合は左矢印を表示した。また、矢印の表示位置はタグの投影平面上での位置座標を使用して固定した。その結果、プロジェクタの位置情報をコンテンツに反映することが可能であることが確認された。

より具体的には、投影システムには、投影システムの実世界座標に関連付けられた情報重畳用の画像情報「右矢印」、「左矢印」が格納されている。投影システムの実世界座標が実空間の白線で区切られたエリアの左エリアに位置する場合には、「右矢印」の画像を提示するようにし、投影システムの実世界座標が右エリアに位置する場合には、「左矢印」の画像を提示するように関連付ける。投影システムがいずれのエリアに位置するかを判定するだけであれば、投影システムの姿勢情報は必ずしも必要ではない。しかしながら、投影システムから所望の位置に適切に画像を投影するためには、投影システムの姿勢情報が必要である。

［Ｆ］本発明を用いたＡＲシステムの利点
このようなＡＲシステムを採用することで、既存のＡＲシステムにおける問題点を解決することができる。従来のシステムは、大掛かりなトラッキングシステムと統合したシステムであり、トラッキングシステムを広域に展開することが困難なために、ＡＲシステム自体も広域に展開することが困難であった。これに対して、本発明に係るＡＲシステムにおいては、タグを環境にばら撒くことでトラッキングシステムを実装したことと同等の効果を得ることができるため、容易に広域に展開することが可能である。また、従来、屋外と屋内で異なるトラッキングシステムを使用しなければならないため、屋内外にわたる広域をシームレスにつなぐことが困難であった（例えば、ＧＰＳは室内では測定不能あるいは精度が落ちる。）。これに対して、本発明に係るＡＲシステムでは、タグを環境に複数設置するだけでよいため、屋内外にわたる広域をシームレスにつなぐことが可能である。

従来のＡＲツールキット等のマーカを使用するものでは、マーカ自身が環境の景観を損ねてしまうため、広域に展開することは非現実的である。これに対して本発明に係るＡＲシステムにおいては、タグを環境側に設置するが、外界から見えなければならない部分はフォトトランジスタの先端のみ(２mm程度)である。そのため、環境の景観を損なうことは最小限に抑えることが可能である。

また、提案するシステムでは推定した投影位置・姿勢情報によって異なるコンテンツを表示することが可能であるため、既存のトラッキングシステムを持たないＡＲシステムに比べて多様なコンテンツを扱うことができると考えられる。

さらに、本発明の情報重畳システムをユビキタスコンピューティング環境として応用することもできる。例えば、情報重畳システムのタグと通信可能なモバイル端末によるロケーションベースの情報提示システムを構築したり、あるいは、モバイル端末、プロジェクタからの、可視光通信による環境タグへのコンテンツの埋め込みを行なってもよい。

［Ｇ］可視光通信プロジェクタを用いたロボットの自律移動・人とのインタラクション
可動式プロジェクタと環境設置タグとの可視光通信による、可動式プロジェクタの自己位置推定から情報重畳、自律移動を行う手法について説明する。
本システムは、以下の流れで一連の処理を行う（図１５）。
(1)ロボットの移動(オドメトリ)
(2)可視光通信パターンの投影
(3)自己位置推定・投影面の相対位置推定
(4)投影位置に応じた歪み補正
(5)実空間への情報重畳投影
(6)現在位置補正(オドメトリの補正)
(7)経路計画
(8)ロボットの移動制御

［Ｇ−１］ロボットの移動(オドメトリ)
可視光通信プロジェクタを搭載したロボットは移動機構(並進・旋回型や全方向移動型)を持つ。ロボットは移動すると同時にその車輪・ギアの回転情報を保持し、移動指令値に従ってどれだけ移動したのか、その情報を取得している。移動ロボットにおけるオドメトリの取得手段については当業者によく知られているので、詳細は省略する。

［Ｇ−２］可視光通信パターンの投影
ロボットは移動をしながら、可視光通信のパターン(２次元グレーコード)を空間に投影し、それを受信した環境設置タグと通信を行うことで、自己位置推定と投影面推定（３つのタグを通るタグ平面から投影面を推定できる）を同時に行うことが可能である。自己位置推定のためには投影面内に３つ以上の環境設置タグが含まれていることが必要である。１つの態様における最適な条件としては、図８に示すように、投影を行う空間にはおよそ６０ｃｍ程度の間隔でタグが配置されることが望ましい。

［Ｇ−３］自己位置推定・投影面の相対位置推定
ロボットは環境設置タグから送られてくる、各タグの投影面内でのピクセル位置情報と絶対位置情報から、自己位置推定を行う。また、投影面内のタグの絶対位置が分かるため、投影面の形状(ロボットを取り囲む空間の３次元モデル)を知ることが可能である。

［Ｇ−４］投影位置に応じた歪み補正・実空間への情報重畳投影
得られた自己位置と投影面情報をもとに。その面形状と移動体の姿勢に従って画像が歪まないように補整して投影、提示を行う。
[歪み補正の手法]
基本的な方針としては、プロジェクタの適当な位置に対し、投影可能な範囲となっている部分の中から使える部分を可能な限り拾い出して使用する。画面に相当するものを投射し、その中で実際に投影に利用できる部分を抽出し、その部分のみに映像を出す。投影視体積と３次元モデルの関係から、情報を表示する矩形の4点の位置を利用する(図１６)。

描画計算を行うＰＣ側では、この４点に囲まれた領域にポリゴンメッシュを作成する処理を行う。ある程度以上の分割数を持ったメッシュの作成が、最終的な映像のレンダリングにおいて正確なイメージを投影するために不可欠となる。単純にこの４点の座標を頂点とするポリゴンを描画するのではなくメッシュを作成する理由は、ポリゴンのテッセレーションによる映像の歪みに対応させるためである。

矩形ポリゴンを描画する場合、全てを三角ポリゴンに分割して計算を行う。これをポリゴンのテッセレーションという。そして、本実施形態で用いる手法では、後述するように指定した４点の内部領域にテクスチャマッピングを行うという処理を行う。この時、単純に指定した４点を頂点とする矩形ポリゴンに対してテクスチャマッピングを行って描画計算を行うと、テッセレーションの跡がレンダリング結果にはっきりと出てしまう状況が発生する(図１７)。

矩形ポリゴンの中央にはっきりとテッセレーションの跡が残り、それがテクスチャマッピングされた画像の歪みとなって奇妙に残ってしまうわけである。この状況を回避するため、４点指定した領域内部を細かいメッシュに区切り、メッシュの各格子を矩形ポリゴンとして描画することで、テッセレーションの跡を目に見えないレベルにまで軽減した。

４点で指定した領域の中に投影するべき映像の作成を、上述のオフスクリーンレンダリングによって行う。実際に画面として表示したい映像を一枚の画像としてオフスクリーンレンダリングし、それをテクスチャマッピング用の素材としてテクスチャメモリ内に保持しておくことになる。オフスクリーンレンダリングが完了した後、実際に投影する画面のレンダリング処理に入る。レンダリングは指定した4点を元に作られたメッシュに対して、オフスクリーンレンダリングで作成したデータをテクスチャマッピングするという流れである。メッシュの分割数に応じて、各格子の４隅の点に対応するテクスチャ座標の値を計算してテクスチャマッピングを行っていく(図１８)。その結果、予め想定した映像を、指定した４点の内側にのみ投影することができる。そして、結果的にこれが台形補正処理と等価ということになるため、プロジェクタが投影面に対して正対していない状況下にあっても、意図した映像が意図した場所に表示することが可能となる。

上記の手法で歪み補正は可能となったが、そのままではまだ問題点が残ったままである。その問題点とは、プロジェクタによって投影される各画素の変形を考慮に入れていないことである。プロジェクタは元来、投影面に対して正対して使用することを前提として作られている。そのためレンズから出た光は各画素の情報を均等に拡大して投影面に像を結ぶ。しかし、これが斜めから投影したような場合であると、画面の左側にあるピクセルに相当する光と、右側にあるピクセルに相当する光が投影面に届くまでの距離に差が生じてしまう。その距離の差がピクセルの拡大率の差につながり、全てのピクセルの大きさが一定ではないという状況が発生する(図１９)。

そこで、中心点にあたる部分の位置が本来想定されている場所からどれほどずれているかを計測し、その情報を元に全体の調整を行うことにした。これは、各格子に本来あるべき位置を設定していくのは非現実的であり、もっとも計測のしやすい部分が中心点であると判断してのことである。中心点の誤差は中間点の誤差値であるため、メッシュの端から中心までのｘ方向・ｙ方向に関するズレの集積が中間点の移動量として反映されている。各格子における誤差は徐々に広がり、それが逐次蓄積されて全体の移動量となる。中心点の移動量をｄ、基準オフセット値ａ、メッシュの分割数をｎとすると、以下の式が成り立つ。
この基準オフセット値ａに格子番号ｉをかけたものが、その格子の拡大分ということになる。そして各格子の拡大分を反映させたテクスチャ座標を再計算し、実際にマッピングを行う。

上記の歪み補正は手段は、１つの態様を示すに過ぎないものであり、当業者において、プロジェクタからの投影画像を被投影面（表示面）の形状に適応させる手段としては幾つかの手法が知られており、それらの手法を適宜用いることができる。

［Ｇ−５］自律移動・人とのインタラクション
［Ｇ−５−１］現在位置補正(オドメトリの補正)
ロボットは得られた室内空間の情報と自己位置を基に壁面などの障害物にぶつからないようにナビゲーション情報投影しつつ移動方向を決定する。基本的に、オドメトリによる自己の移動情報をベースにロボットは移動を行う。しかし、オドメトリ情報は相対的な移動情報であるため、車輪の滑りなどの誤差が蓄積されていくことでロボットは自分の位置を見失ってしまう。そのオドメトリ情報を、可視光通信により推定された位置情報で更新していくことで、絶対的なずれを補正していくことが可能となる。ロボットは後述する経路に沿って移動する。生成した経路に沿って移動する際、可視光通信によって推定した実測値でもって経路からのずれを観測し、経路の修正を行っていく。

［Ｇ−５−２］経路計画
ロボットは指定された目的地に対して、経路計画を行い自律的に移動する。人が指定した目的地を設定する。人は携帯型の可視光通信デバイスを所持している。この携帯型デバイスをタグが設置してある環境に対して照射することで、照射されたタグから所定の情報がロボットに送信され、人がどの対象物に対して情報を必要としているのかが認識される。ロボットはその対象物付近へ移動し情報を投影する。人が使用する携帯型デバイスIDにより利用者が特定できるため、ロボットはそのID情報をもとに、利用者にパーソナライズされた情報を提示することができる。

［Ｇ−５−３］ロボットの移動制御
また、ミュージアムなどであらかじめ決められた経路をロボットが解説しつつ誘導する場合は、設定された経路に従い誘導情報を投影しつつ、要所要所で展示物の解説情報の表示などを行う。最終的な目的地まで、空間上の障害物情報をもとに、Ａ*経路探索アルゴリズムやダイクストラ法などの既存の経路探索アルゴリズムを利用して経路計画を行う。ロボットは計画した経路に沿って、移動・操舵行動をとる。経路付近の人や障害物については、ロボットに搭載したレーザレンジセンサなどのセンサにより検知し、ロボットは自律的に停止や経路の再計算を行い、衝突回避行動をとる（図２０）。

本発明に係る情報重畳システムの概略図である。 本発明に係る情報重畳システムにおける可視光通信パターンの投影を示す図である。 本発明に係る情報重畳システムにおける投影位置・姿勢の算出を示す図である。 本発明に係る情報重畳システムにおける投影位置・姿勢情報に基づいて実空間への情報重畳を示す図である。 投影位置・姿勢情報に依存した情報提示を例示する図である。 投影画像を例示する図である。 二次元グレイコードを例示する図である。 可視光通信を用いた位置情報の埋め込みを説明する図である。 タグの配置を示す図である。 投影位・姿勢推定ための提案手法１の概要を示す図である。 提案手法１におけるタグへのベクトル算出方法を示す図である。 提案手法２の計算フローチャートである。 提案手法２の第１段階を説明する図である。 提案手法２の第２段階を説明する図である。 提案手法２の第３段階を説明する図である。 可視光通信プロジェクタを用いたロボットの自律移動・人とのインタラクションを示すフローチャートである。 情報を表示する矩形の４隅の座標値を取得を説明する図である。 レンダリングにおけるテッセレーションの後を示す図である。 歪み補正を説明する図である。 ピクセルサイズのばらつきを示す図である。 ロボットの衝突回避行動を示す図である。

Claims (18)

1. 移動可能な可視光投影システムと、
   環境に配置された複数のタグと、からなる移動式情報重畳システムであって、
   前記可視光投影システムは、４０００Ｈｚ以上の速度で高速点滅可能な表示デバイスを備えたプロジェクタを有しており、前記プロジェクタは、画像や光の投影と同時に投影面内の位置情報を特定する可視光パターンを送信するように構成されており、
   前記複数のタグは、前記プロジェクタの投影面内に３つ以上位置するように環境に設置されていると共に、各タグは、
   当該タグの実世界座標値と、
   前記可視光パターンを受信する手段と、
   受信した可視光パターンから投影面内の自己の位置情報を検出する手段と、
   自己の実世界座標値及び検出した投影面内の自己の位置情報を前記可視光投影システムに無線送信する手段と、
   を備えており、
   前記可視光投影システムはさらに、
   各タグから無線送信された当該タグの実世界座標値及び投影面内の位置情報を受信する手段と、
   少なくとも３つのタグの実世界座標値及び投影面内の位置情報から投影位置情報あるいは投影位置・姿勢情報を取得する手段と、
   投影システムの絶対位置あるいは絶対位置・姿勢に関連付けられた情報重畳用の画像情報を格納する手段と、
   取得された投影位置情報あるいは投影位置・姿勢情報に応じて、前記投影システムの絶対位置あるいは絶対位置・姿勢に関連付けられた前記画像情報を投影して情報重畳を行なう手段と、
   を備えている移動式情報重畳システム。
2. 前記投影位置・姿勢情報を取得する手段は、投影位置情報を取得する手段と、取得した投影位置情報を用いて投影姿勢情報を取得する手段と、からなる、請求項１に記載の移動式情報重畳システム。
3. 前記投影位置情報を取得する手段は、
   各タグの投影面内の位置情報を用いて、前記プロジェクタの光源から各タグへのベクトル同士が成す角度を算出する手段と、
   前記光源から各タグまでの距離を算出する手段と、
   各タグの実世界座標値と、前記光源と各タグ間の距離と、から前記光源の実世界座標値を算出する手段と、
   からなる、請求項１、２いずれかに記載の移動式情報重畳システム。
4. 前記可視光投影システムは、３０ｃｍ／秒以上の速度で移動し、前記投影位置・姿勢情報の取得および情報重畳は移動中に実行可能である、請求項１乃至３いずれかに記載の移動式情報重畳システム。
5. 前記可視光投影システムは、８０００Ｈｚ以上の速度で高速点滅可能な表示デバイスを備えている、請求項１乃至４いずれかに記載の移動式情報重畳システム。
6. 前記表示デバイスは、デジタルマイクロミラーデバイス（ＤＭＤ）である、請求項１乃至５いずれかに記載の移動式情報重畳システム。
7. 前記タグの実世界座標値は、タグ側ではなく、タグのＩＤに関連付けられて投影システム側に格納されており、タグから当該タグのＩＤ及び投影面内の位置情報が投影システムに無線送信され、投影システムが受信したタグＩＤに基づいてタグの実世界座標値を取得する、請求項１乃至６いずれかに記載の移動式情報重畳システム。
8. 前記複数のタグは、前記投影面内に位置する３つのタグが正三角形の頂点を形成するように環境に配置されている、請求項１乃至７いずれかに記載の移動式情報重畳システム。
9. 前記タグの投影面の位置情報は、当該タグの投影平面上での二次元位置座標であり、前記投影平面は、プロジェクタを地面に水平に設置した際にプロジェクタの方向軸と地面とに垂直となる仮想平面である、請求項１乃至８いずれかに記載の移動式情報重畳システム。
10. 前記投影システムは、前記投影面内にある少なくとも３つのタグの実世界座標値から環境側の被投影面の形状を推定する手段を備えている、請求項１乃至９いずれかに記載の移動式情報重畳システム。
11. 前記移動可能な可視光投影システムは、移動体に搭載されている可視光投影システムである、請求項１乃至１０いずれかに記載の移動式情報重畳システム。
12. 前記移動体は、自律移動ロボットである、請求項１１に記載の移動式情報重畳システム。
13. 前記自律移動ロボットは、自己のオドメトリを備えており、前記取得された投影位置あるいは投影位置・姿勢情報を用いて当該移動体のオドメトリを補正する、
    請求項１２に記載の移動式情報重畳システム。
14. 前記移動体は、移動車両である、請求項１１乃至１３いずれかに記載の移動式情報重畳システム。
15. 前記投影システムのプロジェクタは移動体のヘッドライトである、請求項１１乃至１４いずれか記載の移動式情報重畳システム。
16. 移動可能な可視光投影システムと、環境に配置された複数のタグと、を用いた情報重畳方法であって、
    前記可視光投影システムは、４０００Ｈｚ以上の速度で高速点滅可能な表示デバイスを備えたプロジェクタを有しており、
    前記複数のタグは、前記プロジェクタの投影面内に３つ以上位置するように環境に設置されており、
    各タグは、当該タグの実世界座標値を備えており、
    移動する可視光投影システムのプロジェクタから、前記３つ以上のタグに投影面内の位置情報を特定する可視光パターンを送信するステップと、
    各タグが、前記可視光パターンを受信すると、受信した可視光パターンから投影面内の自己の位置情報を検出し、自己の実世界座標値及び検出した投影面内の自己の位置情報を前記可視光投影システムに無線送信するステップと、
    前記可視光投影システムが、各タグから無線送信された当該タグの実世界座標値及び投影面内の位置情報を受信して、少なくとも３つのタグの実世界座標値及び投影面内の位置情報から投影位置情報あるいは投影位置・姿勢情報を取得するステップと、
    取得された投影位置情報あるいは投影位置・姿勢情報に応じて、前記投影システムの絶対位置あるいは絶対位置・姿勢に関連付けられた画像情報を投影して情報重畳を行なうステップと、
    からなる情報重畳方法。
17. 前記可視光投影システムは、３０ｃｍ／秒以上の速度で移動している、請求項１６に記載の情報重畳方法。
18. 前記可視光投影システムは、８０００Ｈｚ以上の速度で高速点滅可能な表示デバイスを備えている、請求項１６、１７いずれかに記載の情報重畳方法。