JP2017017698A - 投影システム、投影方法、パターン生成方法及びプログラム - Google Patents

Abstract

【課題】より簡便な方法で、投影光の光路上に複数の異なる独立した画像を表示することができる投影システム、投影方法、パターン生成方法及びプログラムを提供する。
【解決手段】投影システム１００は、出射される投影光Ｌ１、Ｌ２が互いに交差し、交わり合いながら進むようにそれぞれ設置される複数のプロジェクタ１、２を備える。複数のプロジェクタ１、２は、互いに重ね合わせると強め合うパターン及び弱め合うパターンの少なくとも一方を有するパターン画像Ｐ１、Ｐ２を投影光Ｌ１、Ｌ２でそれぞれ投影することにより、複数の奥行き（位置）ｄ２、ｄ１で、パターン画像Ｐ１、Ｐ２の重なり方に応じた異なる合成画像を形成する。
【選択図】図１

Description

この発明は、投影システム、投影方法、パターン生成方法及びプログラムに関する。

近年、プロジェクションマッチングが普及するなど、ビデオプロジェクタが盛んに用いられている。例えば、単一又は複数のプロジェクタ群の投影像をレンチキュラースクリーンに投影することにより、遠近感のある画像を形成するものが開示されている（例えば、非特許文献１、２参照）。また、単一のプロジェクタの投影光の光路を遮るように、複数列の水滴を落下させて、落下する水滴に画像を表示させるシステムが提案されている（例えば、非特許文献３参照）。このシステムによれば、投影光の光路上の複数の位置に水滴列を落下させ、各位置で異なる画像を表示させることが可能である。

"Prototyping a light field display involving direct observation of a video projector array., " Jurik, J., Jones, A., Bolas, M., & Debevec, P.(2011, June)., Computer Vision and Pattern Recognition Workshops (CVPRW), 2011 IEEE Computer Society Conference on, IEEE, 2011. "An autostereoscopic projector array optimized for 3D facial display.," Nagano, K., Jones, A., Liu, J., Busch, J., Yu, X., Bolas, M., & Debevec, P.(2013, July). InACM SIGGRAPH 2013 Emerging Technologies (p.3). ACM. "A multi-layered display with water drops, " Barnum, Peter C., Srinivasa G. Narasimhan, and Takeo Kanade, ACM Transactions on Graphics (TOG) 29.4 (2010): 76.

しかしながら、上記非特許文献３に記載のシステムは、投影光の光路上に水滴列を落下させるという特殊な方法でしか複数の位置で異なる画像を表示することができない。また、このシステムでは、投影光の光路上の前側の水滴列に当たらずに通過した投影光しか、後ろ側の水滴列に到達することができないので、表示される複数の画像は、極めて限定されたものになり、互いに独立したものではない。

この発明は、上記実情に鑑みてなされたものであり、より簡便な方法で、投影光の光路上に複数の異なる独立した画像を表示することができる投影システム、投影方法、パターン生成方法及びプログラムを提供することを目的とする。

上記目的を達成するため、この発明の第１の観点に係る投影システムは、
出射される投影光の照射範囲が交わるようにそれぞれ設置される複数のプロジェクタを備え、
前記複数のプロジェクタは、
互いに重ね合わされるようにパターン画像をそれぞれ投影することにより、複数の位置で、パターン画像の重なり方に応じた異なる合成画像を形成する。

複数の位置でそれぞれ形成される合成画像は、
当該合成画像が形成された位置を示すパターンを表示する画像である、
こととしてもよい。

前記パターン画像は、
背景色を、パターンを構成する複数種類の色の中間色とする、
こととしてもよい。

複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第１の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第２の行列に変換する変換行列を生成する変換行列生成部と、
所望のパターンを有する合成画像に対応する第２の行列と、前記変換行列生成部で生成された変換行列とに基づいて、第１の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成部と、
を備える、
こととしてもよい。

前記パターン生成部は、生成されるパターン画像の輝度の範囲を制約のもとで前記第２の行列と前記変換行列とに基づいて前記第１の行列の解を求める、
こととしてもよい。

前記変換行列生成部は、
前記各プロジェクタに表示されたパターン画像の画素の位置情報を有するパターンを、前記各プロジェクタから前記複数の位置に投影し、前記複数の位置それぞれに投影された前記投影パターンを撮像し、撮像された投影パターンをデコードすることにより前記位置関係を示す情報を獲得する、
こととしてもよい。

前記変換行列生成部は、前記位置関係を示す情報を、前記複数のプロジェクタのエピポーラ線上に限定して、前記変換行列を当該エピポーラ線について生成し、
前記パターン生成部は、
前記第２の行列と、前記変換行列生成部で生成された変換行列とに基づいて、前記第１の行列に対応するパターン画像の生成を全てのエピポーラ線について実行し、生成されたパターン画像の合成画像を、プロジェクタ毎に投影する画像として生成する、
こととしてもよい。

前記各プロジェクタに色のテストパターン画像を投影させ、投影されたテストパターン画像の撮像結果に基づいて、前記パターン画像の色の調整情報を算出する色キャリブレーション部と、
前記パターン生成部で生成されたパターン画像を、前記色キャリブレーション部で調整された色の調整情報に基づいて、前記各プロジェクタに投影させる投影制御部と、
を備える、
こととしてもよい。

前記合成画像が投影される複数の位置に半透明のスクリーンを置くことで、各半透明スクリーンに、異なる合成画像を投影する、
こととしてもよい。

本発明の第２の観点に係る投影方法は、
出射される投影光が互いに交差し、交わり合いながら進むように複数のプロジェクタを設置し、
前記複数のプロジェクタに、互いに重ね合わせると強め合うパターン及び弱め合うパターンの少なくとも一方を複数有するパターン画像をそれぞれ投影光で投影させることにより、複数の位置で、パターン画像の重なり方に応じた異なる合成画像を形成する。

本発明の第３の観点に係るパターン生成方法は、
コンピュータが、複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第１の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第２の行列に変換する変換行列を生成する幾何キャリブレーション工程と、
コンピュータが、所望のパターンを有する合成画像に対応する第２の行列と、前記幾何キャリブレーション工程で生成された変換行列とに基づいて、第１の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成工程と、
を含む。

コンピュータが、前記各プロジェクタに色のテストパターン画像を投影させ、投影されたテストパターン画像の撮像結果に基づいて、前記パターン画像の色の調整情報を算出する色キャリブレーション工程と、
コンピュータが、前記パターン生成工程で生成されたパターン画像を、前記色キャリブレーション工程で調整された色の調整情報に基づいて、前記各プロジェクタに投影させる投影工程と、
を含む、
こととしてもよい。

本発明の第４の観点に係るプログラムは、
コンピュータに、
複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第１の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第２の行列に変換する変換行列を生成する幾何キャリブレーション手順と、
所望のパターンを有する合成画像に対応する第２の行列と、前記幾何キャリブレーション手順で生成された変換行列とに基づいて、第１の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成手順と、
を実行させる。

この発明によれば、複数のプロジェクタ各々から出射される投影光により形成されるパターン画像は、互いに重ね合わせると強め合う部分及び弱め合う部分が複数形成されており、重ね合わせ位置に応じて実際に強め合う部分と弱め合う部分とが変化する画像となっている。換言すれば、この発明では、各プロジェクタから出射される投影光が、交差し、交わり合いながら進む区間の複数の位置において、パターン画像の重ね合わせ位置に応じて実際に強め合う部分と弱め合う部分とを調整することにより、複数の位置におけるパターン画像の合成画像を独立した全く異なるものとすることができる。したがって、この発明によれば、複数のプロジェクタにより複数の投影光を交差させるというより簡便な方法で、投影光の光路上に複数の異なる独立した画像を形成することができる。

この発明の実施の形態１に係る投影システムの概略的な構成を示す斜視図である。 図２（Ａ）、図２（Ｂ）、図２（Ｃ）及び図２（Ｄ）は、図１の投影システムで投影されるパターン画像及び合成画像の一例を示す図である。 プロジェクタにおけるパターン画像の投影面と、複数の位置におけるパターン画像の被投影面との位置関係を示す図である。 制御部の構成を示すブロック図である。 幾何キャリブレーションを示す図である。 図６（Ａ）及び図６（Ｂ）は、各プロジェクタに投影されるテストパターンの一例を示す図である。 図７（Ａ）及び図７（Ｂ）は、カメラで撮像されたテストパターンの一例を示す図である。 推定されたレスポンスカーブの一例を示すグラフである。 図１の投影システムにおける画像投影処理を示すフローチャートである。 図１０（Ａ）及び図１０（Ｂ）は、各プロジェクタで投影される画像の一例である。図１０（Ｃ）及び図１０（Ｄ）は、各スクリーンに投影される画像の一例である。 この発明の実施の形態２に係る投影システムの概略的な構成を示す斜視図である。 この発明の実施の形態３に係る投影システムの概略的な構成を示す斜視図である。 この発明の実施の形態４に係る投影システムにおけるパターン画像を示す図である。 この発明の実施の形態５に係る投影システムを示す図である。 この発明の実施の形態６に係る投影システムを示す図である。 この発明の実施の形態７に係る投影システムを示す図である。 ２つの半透明スクリーンを並べ、２つのプロジェクタの合成画像が投影される複数の位置に半透明のスクリーンを置くことで、各半透明スクリーンに、異なる合成画像を投影する様子を示す図である。 ２つのスクリーンに投影された合成画像を示す図である。 エピポーラ平面（光学中心Ｃ₁、Ｃ₂、スクリーン１、２に進む光線、エピポーラ線、エピポールｅ１、ｅ２含む）を示す図である。 エピポーラ平面内で光線が干渉する様子を示す図である。 図２１（Ａ）、図２１（Ｂ）、図２１（Ｃ）、図２１（Ｄ）、図２１（Ｅ）及び図２１（Ｆ）は、対象物体を平面とした投影画像の一例を示す図である。 図２２（Ａ）、図２２（Ｂ）、図２２（Ｃ）、図２２（Ｄ）は、投影された画像を数値評価した結果を示す図である。 図２３（Ａ）及び図２３（Ｂ）は、任意形状物体に対するグレーコード投影によって横の縞模様のパターンを複数投影する様子を示す図である。図２３（Ｃ）は、横の縞模様のグレーコード投影によって得られたマップ画像の一例を示す図である。 図２４（Ａ）及び図２４（Ｂ）は、任意形状物体に対するグレーコード投影によって縦の縞模様のパターンを複数投影する様子を示す図である。図２４（Ｃ）は、縦の縞模様のグレーコード投影によって得られたマップ画像の一例を示す図である。 図２５（Ａ）及び図２５（Ｂ）は、他の任意形状物体に対するグレーコード投影によって横の縞模様のパターンを複数投影する様子を示す図である。図２５（Ｃ）は、横の縞模様のグレーコード投影によって得られたマップ画像の一例を示す図である。 図２６（Ａ）及び図２６（Ｂ）は、他の任意形状物体に対するグレーコード投影によって縦の縞模様のパターンを複数投影する様子を示す図である。図２６（Ｃ）は、縦の縞模様のグレーコード投影によって得られたマップ画像の一例を示す図である。 図２７（Ａ）及び図２７（Ｂ）は、任意形状物体上に投影される画像の一例を示す図である。 図２８（Ａ）は、一方の奥行きに任意形状物体を置いたときに得られる横の縞模様に基づくマップ画像である。図２８（Ｂ）は、一方の奥行きに任意形状物体を置いたときに得られる縦の縞模様に基づくマップ画像である。 図２９（Ａ）は、もう一方の奥行きに任意形状物体を置いたときに得られる横の縞模様に基づくマップ画像である。図２９（Ｂ）は、もう一方の奥行きに任意形状物体を置いたときに得られる縦の縞模様に基づくマップ画像である。 図３０（Ａ）及び図３０（Ｂ）は、各プロジェクタによって投影されるパターン画像の一例である。 図３１（Ａ）は、一方の奥行きに置かれた任意形状物体に投影される画像の一例を示す図である。図３１（Ｂ）は、もう一方の奥行きに置かれた任意形状物体に投影される画像の一例を示す図である。 図３２（Ａ）及び図３２（Ｂ）は、２つの位置に、形状の異なる物体をそれぞれ置いたときに各物体に投影される画像の一例を示す図である。

以下、この発明の実施の形態について図面を参照して詳細に説明する。

実施の形態１．
まず、この発明の実施の形態１について説明する。

図１は、この実施の形態１に係る投影システム１００の概略的な構成を示す。図１に示すように、投影システム１００は、２つのプロジェクタ１、２を備える。プロジェクタ１、２は、それぞれ投影光Ｌ１、Ｌ２を出射する、出射した投影光Ｌ１、Ｌ２は進むにつれて広がっている。

プロジェクタ１、２は、出射される投影光Ｌ１、Ｌ２が互いに交差し、交わり合いながら進むようにそれぞれ設置される。すなわち、プロジェクタ１、２は、ほぼ同じ方向を向くように、かつ、それぞれの投影光学系の光軸が浅い角度で交差するように設けられている。

投影システム１００は、制御部１０を備える。制御部１０は、コンピュータであり、通信インターフェイス、ＣＰＵ（Central Processing Unit）及びメモリを備える。制御部１０は、ＣＰＵがメモリに格納されたプログラムを実行し、通信インターフェイスを介してプロジェクタ１、２と通信を行うことにより、その機能を実現する。

制御部１０は、プロジェクタ１、２が投影するパターン画像Ｐ１、Ｐ２をプロジェクタ１、２に投影させるなどして、プロジェクタ１、２を制御する。制御部１０は、入力インターフェイスとして、マウス等のポインティングデバイスを有している。ポインティングデバイスによるカーソルは、プロジェクタ１、２の投影面に表示されるようになっている。

プロジェクタ１は、制御部１０による制御の下、投影されるパターン画像Ｐ１を内部の投影面（図３の投影面ＰＬ１）に表示し、投影光Ｌ１で、パターン画像Ｐ１を外部に投影する。プロジェクタ２は、制御部１０による制御の下、投影されるパターン画像Ｐ２を内部の投影面（図３の投影面ＰＬ２）に表示し、投影光Ｌ２で、パターン画像Ｐ２を外部に投影する。この例の場合、パターン画像Ｐ１、Ｐ２は、投影光Ｌ１、Ｌ２が進むにつれて、次第に重なり合うようになり、プロジェクタ１、２を基準とする奥行きｄ２の位置では、大半が重なり合い、奥行きｄ１の位置では、ぴったり重なり合うようになっている。実際の設置においては、プロジェクタ同士をなるべく近づけると、奥行きにかかわらず、重なりあい部分が大きくなり好適である。

プロジェクタ１、２は、互いに重ね合わせると強め合うパターン及び弱め合うパターンの少なくとも一方を有するパターン画像Ｐ１、Ｐ２を投影光Ｌ１、Ｌ２で投影する。この実施の形態では、パターン画像Ｐ１、Ｐ２は、背景色を、パターンを構成する複数種類の色の中間色としている。例えば、画像がグレースケールであれば、背景色は、白と黒との中間色である灰色となる。通常の画像では、背景色とは、シーンにおいて、最暗部の色（黒）であるのに対して、本発明ではこのように中間色として定義することにより、負の色を実現することができる。これにより、パターン画像Ｐ１、Ｐ２は、重なり合うパターンが同系色（例えば白）のパターンであれば、それらは強め合うパターンとなる（これは通常の画像でも同じ）のに対して、補色（反対色）関係にあるパターン（例えば白と黒）であれば、それらは弱め合うパターンとなり、両パターンが完全な補色関係にある場合には、それらのパターンを打ち消し合うことができるようになる。

例えば、図２（Ａ）に示すように、プロジェクタ１、２が投影するパターン画像Ｐ１、Ｐ２には、背景色に対して輝度の高い数字”１”のパターン像が形成されている。この場合、両パターン画像の”１”のパターン像が重なり合う奥行きｄ２の位置では、”１”のパターンが強調された合成画像が表示される。ただし、この場合、奥行きｄ１の位置では、それぞれ輝度が背景色よりもやや高い、薄い”１”のパターン像が２カ所表示されるようになる。

これに対応して、例えば図２（Ｂ）に示すように、プロジェクタ２が投影するパターン画像に、背景色よりも輝度の低い”１”のパターンを新たに追加する。この”１”のパターン像は、奥行きｄ１の位置において、右側の”１”のパターンと打ち消し合い、”１”のパターンを消失させる。ただし、この場合、奥行きｄ２の位置では、輝度が背景色よりやや低い、薄い”１”のパターンが表示されるようになる。

奥行きｄ２の位置に表示された輝度が背景色よりやや低い”１”のパターンを打ち消すため、例えば図２（Ｃ）に示すように、プロジェクタ１が投影するパターン画像Ｐ１に、背景色よりも輝度の高い”１”のパターンが新たに追加される。この”１”のパターンは、奥行きｄ２の位置において、右側の”１”のパターンと打ち消し合い、”１”のパターンを消失させる。ただし、奥行きｄ１の位置では、背景色よりも輝度の高い”１”のパターンが右側に表示される。

すなわち、このように、パターン画像Ｐ１、Ｐ２の適切な位置に複数の”１”のパターンを追加することにより、奥行きｄ２、ｄ１の任意の位置に”１”のパターンを形成することができる。例えば、図２（Ｄ）に示すように、背景色よりも輝度の高い”１”のパターンや背景色よりも輝度の低い”１”のパターンを適宜組み合わせることにより、奥行きｄ１、ｄ２とでそれぞれが強め合ったり、弱め合ったりした結果、その位置の合成画像として”１”のパターンを形成することができる。

適当なパターンを組み合わせたパターン画像Ｐ１、Ｐ２を生成し、所望の合成画像を奥行きｄ１、ｄ２の位置に形成するには、プロジェクタ１、２の投影面におけるパターンの位置を正確に決めておく必要がある。そのためには、前提として、プロジェクタ１、２におけるパターン画像の投影面と、奥行きｄ１、ｄ２の位置におけるパターン画像の被投影面との位置関係を把握しておく必要がある。

図３は、プロジェクタ１、２におけるパターン画像Ｐ１、Ｐ２の投影面（映像表示面）ＰＬ１、ＰＬ２と、奥行きｄ１、ｄ２の位置におけるパターン画像Ｐ１、Ｐ２の被投影面（スクリーンＩ１，Ｉ２でパターン画像が投影される面）との位置関係を示す。スクリーンＩ１、Ｉ２を、被投影面Ｉ１、Ｉ２ともいう。

投影面ＰＬ１、ＰＬ２は、それぞれプロジェクタ１、２において、パターン画像Ｐ１、Ｐ２が表示される映像面である。プロジェクタ１、２では、それぞれの点光源からの光が、投影面ＰＬ１、ＰＬ２に照射され、パターン画像Ｐ１、Ｐ２を含む投影光が投影光学系を介して外部に出射される。投影面ＰＬ１、ＰＬ２において、パターン画像Ｐ１、Ｐ２を構成する各画素をｐ_j,1、ｐ_j,2、…、ｐ_j,m、…とする（ｊ＝１又は２）。

投影面ＰＬ１、ＰＬ２に表示されたパターン画像Ｐ１、Ｐ２は、被投影面であるスクリーンＩ１又はＩ２に投影される。スクリーンＩ１_、Ｉ２上の被投影面上に投影されたパターン画像Ｐ１、Ｐ２を画素に分割したときの各画素をｉ_k,1、ｉ_k,2、…、i_k,ｎ、…とする（ｋ＝１又は２）。

ここで、投影面ＰＬ１、ＰＬ２のパターン画像Ｐ１、Ｐ２の各画素を要素とする行列Ｐ₁、Ｐ₂を以下のように定義する。

また、スクリーンＩ１_、Ｉ２上の位置におけるパターン画像Ｐ１、Ｐ２の各画素を要素とする行列Ｉ₁、Ｉ₂を以下のように定義する。

上述のように投影面ＰＬ１、ＰＬ２の各画素ｐ_j,1、ｐ_j,2、…、ｐ_j,m、…から出た光は、スクリーンＩ１_、Ｉ２上の位置座標ｉ_k,1、ｉ_k,2、…、i_k,n、…に入射するため、投影面ＰＬ１、ＰＬ２の各画素ｐ_j,1、ｐ_j,2、…、ｐ_j,m、…の行列Ｐ₁、Ｐ₂と、スクリーンＩ１_、Ｉ２上の位置座標の行列Ｉ₁、Ｉ₂とは、以下の式（１）、式（２）のように射影変換の式で定義することができる。

ここで、行列Ａ_1,1、Ａ_1,2、Ａ_2,1、Ａ_2,2は、ホモグラフィ行列から生成される変換行列である。ホモグラフィ行列とは、画像上のある点が、射影変換後の画像上のどこに移動するかを、行列の積の形で計算可能とするものである。そこで、ホモグラフィ行列を用いて、移動前後の座標のセットを計算しておけば、行列Ａ_1,1、Ａ_1,2、Ａ_2,1、Ａ_2,2は、各行のいずれか１つの要素が１であり、残りは０である行列として即座に変換行列を生成できる。また、各行の１つの要素のみ１で残りは０のため、この行列は疎行列である。疎行列は、そのアトリビュートにより、逆行列計算と言った計算量の大きな処理を、効率的に解くことができる場合があり、その性質を利用できるメリットがある。

ここで、行列Ｐ₁、Ｐ₂と、行列Ｉ₁、Ｉ₂と、変換行列Ａ_1,1、Ａ_1,2、Ａ_2,1、Ａ_2,2は、以下のような行列Ｐ、Ｉ、Ａにまとめられる。この行列Ｐが第１の行列に対応し、行列Ｉが第２の行列に対応する。

上記式（１）、（２）は、以下の式（３）のようにまとめられる。

本実施の形態では、スクリーンＩ１、Ｉ２上に所望の合成画像を形成するために、プロジェクタ１、２にそれぞれ投影させるパターン画像Ｐ１、Ｐ２を投影面ＰＬ１、ＰＬ２に表示させる必要があり、そのためには、行列Ｐ₁、Ｐ₂、すなわち行列Ｐを求める必要がある。行列Ｐを求めるには、まず、変換行列Ａを求める幾何キャリブレーション処理を行う必要がある。幾何キャリブレーション処理やプロジェクタ１、２へのパターン画像Ｐ１、Ｐ２の投影指示を行うのは制御部１０である。

図４は、制御部１０の構成を示すブロック図である。図４に示すように、制御部１０は、変換行列生成部１１と、パターン生成部１２と、色キャリブレーション部１３と、投影制御部１４と、を備える。

変換行列生成部１１は、例えばホモグラフィ行列を用いて、複数のプロジェクタ１，２各々のパターン画像Ｐ１、Ｐ２の投影面ＰＬ１、ＰＬ２と、複数の奥行き（位置）ｄ１、ｄ２におけるパターン画像Ｐ１、Ｐ２の被投影面Ｉ１、Ｉ２との位置関係を示す情報を計算より獲得し、各プロジェクタ１、２の投影面ＰＬ１、ＰＬ２におけるパターン画像Ｐ１、Ｐ２の各画素ｐ_j,1、ｐ_j,2、…、ｐ_j,m、…を要素とする行列Ｐを、複数の奥行き（位置）ｄ１、ｄ２各々に形成される合成画像の各画素ｉ_k,1、ｉ_k,2、…、i_k,n、…を要素とする行列Ｉに変換する変換行列Ａを生成する。

以下に示すように、変換行列生成部１１は、変換行列Ａを求める。まず、制御部１０は、図５に示すように、プロジェクタ１、２にそれぞれ背景色が白で、四隅に黒色のパターンが形成されたテストパターン画像を投影させる。そして、ユーザは、制御部１０に設けられたポインティングデバイスを操作して、スクリーンＩ１、Ｉ２に投影されたパターン画像Ｐ１、Ｐ２内の黒色パターンの位置にカーソルを合わせてクリックする。このクリック操作により、各画素ｐ_j,1、ｐ_j,2、…、ｐ_j,m、…と、位置座標ｉ_k,1、ｉ_k,2、…、i_k,n、…との位置関係が明らかとなり、その位置関係から変換行列Ａを求めることができる。変換行列生成部１１は、このようにして、変換行列Ａを求める。変換行列生成部１１は、ＣＰＵ、メモリ、ポインティングデバイス、通信インターフェイスの動作によって実現される。

パターン生成部１２は、所望のパターンを有する合成画像に対応する行列Ｉと、変換行列生成部１１で生成された変換行列Ａとに基づいて、行列Ｐに対応するパターン画像Ｐ１、Ｐ２を生成する。具体的には、行列Ｉに変換行列Ａの逆行列を乗算して、行列Ｐを求めることにより、パターン画像Ｐ１、Ｐ２が生成される。パターン生成部１２は、ＣＰＵ、メモリの動作によって実現される。ここで、変換行列のサイズは非常に大きいものの、変換行列が疎行列であることを利用することで、疎行列用の数値演算ライブラリを利用した、非常に高速な計算を実現できる。

色キャリブレーション部１３は、各プロジェクタ１、２に色のテストパターン画像を投影させる。例えば、色のテストパターン画像には、色が均等に変化するようなテストパターンが用いられる。図６（Ａ）、図６（Ｂ）に各プロジェクタ１、２に投影されるテストパターンの一例を示す。色キャリブレーション部１３は、カメラで撮像されたテストパターン画像の撮像結果に基づいて、パターン画像の色の調整情報を算出する。カメラの撮像データは、コンピュータが有する通常のインターフェイスを介して取り込むことができる。

スクリーンＩ１、Ｉ２上に投影された色のテストパターン画像は、カメラで撮像される。図７（Ａ）、図７（Ｂ）にカメラで撮像されたテストパターンの一例を示す。色キャリブレーション部１３は、カメラで撮像された色のテストパターン画像の撮像データに基づいて、プロジェクタ１、２への入力輝度値と、実際にスクリーンＩ１、Ｉ２に投影される輝度値との非線形な関係を示す輝度曲線（レスポンスカーブ）を算出する。図８に、推定されたレスポンスカーブの一例を示す。図８では、各プロジェクタ１、２に投影されたテストパターンのカーブ（Ｐｒｏｊ１、Ｐｒｏｊ２）に加え、プロジェクタ１、２によって投影される画像の重ね合わせ画像のカーブ（ｓｕｍ、Ａｄｄ）も示されている。色キャリブレーション部１３は、ＣＰＵ、メモリ、通信インターフェイスによって実現される。

投影制御部１４は、色キャリブレーション部１３で算出された輝度曲線を用いて、すなわち色キャリブレーション部１３で調整された色の調整情報に基づいて、パターン画像Ｐ１、Ｐ２を調整する。そして、投影制御部１４は、パターン生成部１２で生成され調整されたパターン画像Ｐ１、Ｐ２を、各プロジェクタ１、２に投影させる。投影制御部１４は、ＣＰＵ、メモリ、通信インターフェイスによって実現される。

図９は、制御部１０で実行されるプロジェクタ１、２を用いた画像投影処理のフローチャートである。図９に示すように、まず、制御部１０（変換行列生成部１１）は、各プロジェクタ１、２が投影するパターン画像Ｐ１、Ｐ２に対応する行列Ｐを、複数の奥行き（位置）ｄ１、ｄ２に投影される合成画像に対応する行列Ｉに変換する変換行列Ａを求める（ステップＳ１；幾何キャリブレーション工程）。この幾何キャリブレーション工程において、上述の変換行列Ａが得られる。

ここでは、例えば、図５に示すように、パターン画像Ｐ１、Ｐ２が投影される奥行きｄ２、ｄ１の位置に設置されたスクリーンＩ１、Ｉ２に、四隅にチェックパターンが形成されたパターン画像Ｐ１、Ｐ２を表示し、その位置を、ポインティングデバイスを用いてクリックし、チェックパターンに対応する投影面ＰＬ１、ＰＬ２上の位置座標を取得する。制御部１０（変換行列生成部１１）は、パターン画像中のチェックパターンの位置座標と、撮像結果におけるチェックパターンの位置座標との関係に基づいて、変換行列Ａを算出する。

続いて、制御部１０（パターン生成部１２）が、行列Ｉに逆行列Ａ^-1を乗算することにより（逆行列演算により）、行列Ｐを算出し、各プロジェクタ１、２のパターン画像Ｐ１、Ｐ２を生成する（ステップＳ２；パターン生成工程）。ここで、逆行列が求められないような場合には、Ｐ−ＩＡ^-1が最小になるようなフィッティング演算を行って行列Ｐを求めるようにしてもよい。

制御部１０が、各プロジェクタ１、２に色のテストパターン画像をスクリーンＩ１、Ｉ２上に形成されるパターン画像Ｐ１、Ｐ２のカメラの撮像結果に基づいて、パターン画像の色を調整する（ステップＳ３：色キャリブレーション工程）。これにより、指定された輝度値と実際の輝度値との間の非線形性を示す輝度曲線（レスポンスカーブ）が生成される。

制御部１０が、色キャリブレーション工程で生成された色の調整情報によって調整されたパターン画像Ｐ１、Ｐ２を、各プロジェクタ１、２に投影する（ステップＳ４：投影工程）。これにより、パターン画像Ｐ１、Ｐ２の合成画像が、スクリーンＩ１、Ｉ２に投影される。

以上詳細に説明したように、本実施の形態によれば、複数のプロジェクタ１、２各々から出射される投影光Ｌ１、Ｌ２により形成されるパターン画像Ｐ１、Ｐ２は、互いに重ね合わせると強め合う部分及び弱め合う部分が形成されており、重ね合わせ位置に応じて実際に強め合う部分と弱め合う部分とが変化する画像となっている。換言すれば、この実施の形態では、各プロジェクタ１、２から出射される投影光Ｌ１、Ｌ２が交差し、交わり合いながら進む区間の複数の奥行き（位置）ｄ１、ｄ２において、パターン画像Ｐ１、Ｐ２の重ね合わせ位置に応じて実際に強め合う部分と弱め合う部分とを調整することにより、複数の奥行き（位置）ｄ１、ｄ２におけるパターン画像Ｐ１、Ｐ２の合成画像を独立した全く異なるものとすることができる。したがって、この実施の形態によれば、複数のプロジェクタ１、２により複数の投影光を交差させるというより簡便な方法で、投影光Ｌ１、Ｌ２の光路上に複数の異なる独立した画像を形成することができる。

例えば、図１０（Ａ）に示すパターン画像をプロジェクタ１に投影させ、図１０（Ｂ）に示すパターン画像をプロジェクタ２に投影させる。これらの画像は全く独立した別の画像である。この場合、図１０（Ｃ）及び図１０（Ｄ）に示すパターン画像が、スクリーンＩ１、Ｉ２に投影される。

実施の形態２．
次に、本発明の実施の形態２について説明する。

図１１に示すように、本実施の形態では、３つのプロジェクタ１、２、３を備える。プロジェクタ１、２、３は、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム１００は、奥行きが異なる３つの位置（３つのレイヤＬＡ１、ＬＡ２、ＬＡ３）に、それぞれ異なるパターン画像を形成する。レイヤＬＡ１には、数字”１”のパターンの行列が形成された合成画像が表示され、レイヤＬＡ２には、数字”２”のパターンの行列が形成された合成画像が表示され、レイヤＬＡ３には、数字”３”のパターンの行列が形成された合成画像が表示される。

この実施の形態のように、本発明では、プロジェクタの数は２つには限られず、形成される合成画像の数も２つには限られない。

実施の形態３．
次に、本発明の実施の形態３について説明する。

図１２に示すように、本実施の形態では、１６個のピコプロジェクタを含むプロジェクタ群５を備える。プロジェクタ群５は、ピコプロジェクタが４行４列に配列されたものである。各ピコプロジェクタは、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム１００は、レイヤＬＡ１〜ＬＡ５の位置に、それぞれ異なるパターン画像を形成する。

レイヤＬＡ１には、数字”１”のパターンの行列が形成された合成画像が表示され、レイヤＬＡ２には、数字”２”のパターンの行列が形成された合成画像が表示され、レイヤＬＡ３には、数字”３”のパターンの行列が形成された合成画像が表示される。レイヤＬＡ４には、数字”４”のパターンの行列が形成された合成画像が表示される。レイヤＬＡ５には、数字”５”のパターンの行列が形成された合成画像が表示される。

この実施の形態のように、プロジェクタの数は２つや３つには限られず、形成される合成画像の数も２つや３つには限られない。この実施の形態のように、多数の小型のプロジェクタを用いることが可能であり、合成画像の数にも制限はない。

実施の形態４．
次に、本発明の実施の形態４について説明する。

図１３に示すように、本実施の形態では、３つのプロジェクタ１、２、３を備える。プロジェクタ１、２、３は、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム１００は、３つの位置（レイヤＬＡ１、ＬＡ２）に、それぞれ異なるパターン画像を形成する。レイヤＬＡ１には、数字”１”のパターンの行列が形成された合成画像が表示され、レイヤＬＡ２には、数字”２”のパターンの行列が形成された合成画像が表示される。この実施の形態では、各プロジェクタ１、２、３で投影されるパターン像は、”１”等のパターンではなく、点像のパターンとなっている。このような点像のパターンから成るパターン画像を用いても、”１”パターンの行列を含む合成画像や”２”パターンの行列を含む合成画像を、異なる奥行き（レイヤ）で表示することができる。

図１０（Ａ）及び図１０（Ｂ）に示すパターン画像は、このような観点から生成された画像である。

実施の形態５．
次に、本発明の実施の形態５について説明する。

図１４に示すように、本実施の形態では、１６個のピコプロジェクタを含むプロジェクタ群５を備える。プロジェクタ群５は、ピコプロジェクタが４行４列に配列されたものである。プロジェクタ群５を構成する各ピコプロジェクタは、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム１００は、４つの位置に、半透明のスクリーンＩ１、Ｉ２、Ｉ３、Ｉ４が設置され、それぞれのスクリーンＩ１〜Ｉ４で、プロジェクタ群５による異なる独立した画像が表示される。

この投影システム１００を用いれば、複数の異なる位置で同時に異なる画像でのプロジェクションマッピングが可能になる。

実施の形態６．
次に、本発明の実施の形態６について説明する。

図１５に示すように、本実施の形態では、１６個のピコプロジェクタを含むプロジェクタ群５を備える。プロジェクタ群５は、ピコプロジェクタが４行４列に配列されたものである。ピコプロジェクタは、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。この投影システム１００は、複数の位置に、それぞれ異なるパターン画像を形成する。奥行き１ｍの位置では、数字”１”のパターンの行列が形成された合成画像が表示され、奥行き２ｍの位置では、数字”２”のパターンの行列が形成された合成画像が表示される。また、奥行き３ｍの位置では、数字”３”のパターンの行列が形成された合成画像が表示され、奥行き４ｍの位置では、数字”４”のパターンの行列が形成された合成画像が表示される。

この投影システム１００は、産業施設に、測量システム（３次元ものさし）として導入することができる。例えば、計測領域４０内の奥行き２ｍの位置に、荷物を置いたときには、荷物に”２”のパターン行列が表示される。これにより、荷物が置かれた場所が、２ｍであると計測される。このように、この投影システム１００によれば、奥行き方向での距離情報を荷物に表示させるのに用いることができる。

実施の形態７．
次に、本発明の実施の形態７について説明する。

この実施の形態に係る投影システム１００は、自然界における遮られた環境で計測対象５１にパターンを投影するシステムとして用いられる。投影されるパターン画像は、上記実施の形態６と同様に、そのパターンが投影される計測対象５１の位置（奥行き）を示す情報である。

図１６に示すように、本実施の形態では、１６個のピコプロジェクタを含むプロジェクタ群５を備える。プロジェクタ群５は、ピコプロジェクタが４行４列に配列されたものである。プロジェクタ群１５を構成する各ピコプロジェクタは、出射される投影光が互いに交差し、交わり合いながら進むようにそれぞれ設置される。

プロジェクタ群５により計測対象５１に投影されるパターン画像は、計測対象５１の奥行きに応じて異なったものになる。したがって、計測対象５１に形成された合成画像のパターンを観察すれば、計測対象５１の３次元形状を計測することが可能となる。

このプロジェクタ群５を用いれば、いずれかのピコプロジェクタから発せられた光が障害物５０で遮られたとしても、他のピコプロジェクタから同じ位置に入射する光がその位置に入射すれば、計測対象５１にパターン画像を形成することができる。すなわち、この投影システムでは、複数のピコプロジェクタから同じ部分のパターン画像、すなわち強め合う部分の画像を投影しているので、画角を実質的に大きくして仮想的な広いアパーチャを実現することができる。したがって、プロジェクタ群５の前に障害物５０（例えば生け垣等）があったとしても、その先に合成画像を形成し、計測対象５１の位置にパターンを投影することができる。これにより、プロジェクタ・カメラ系による数多くの形状計測アルゴリズムを障害物のあるシーンにおいても利用可能となる。

図１７には、２つの半透明スクリーンＩ１、Ｉ２を並べ、プロジェクタ１、２の合成画像が投影される複数の位置に半透明のスクリーンＩ１、Ｉ２を置くことで、各半透明スクリーンＩ１、Ｉ２に、異なる合成画像を投影する様子が示されている。図１８に示すように、半透明スクリーンＩ１に、図１０（Ｃ）に示す画像が表示され、半透明スクリーンＩ２に、図１０（Ｄ）に示す画像が表示されている。

実施の形態８．
次に、本発明の実施の形態８について説明する。

この実施の形態に係るパターン生成アルゴリズムは、限られたピクセルを用いた独立した計算手法となる。すなわち、図１９に示すように、輝度を相互に補償しあう光線は、全て、エピポーラ平面上にある。このため、パターン生成計算は、エピポーラ平面毎に独立して行うことができる。さらに図２０に示すように、エピポーラ平面内でも、相互に干渉しあう光線は、飛び飛びとなる。例えば、図２０では、スクリーン１では４点、スクリーン２では４点の、合計８点のみが互いに干渉しあうが、それ以外は全く関与しない。また、この８点を投影するために必要な投影パターンも、プロジェクタ１では４点、プロジェクタ２では５点の合計９点であり、それ以外は全く関与しない。このため、投影パターン上の９点（未知パラメータ）と、スクリーン上の点８点（８つの１次方程式）を連立して解くことで、解（投影パターン９点の輝度）が得られる。これにより、実施の形態１のような巨大な行列を解かずに、複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像と位置関係を示す情報を複数のプロジェクタのエピポーラ線上に限定してそれぞれ生成された、独立した小さな連立１次方程式を、各限られたピクセル集合毎に、すべてのエピポーラ線についてそれぞれ解くことで投影パターンを得ることができる。これは、数多くの独立した処理が得意な並列処理（ＳＩＭＤ；Single Instruction Multiple Data）に適した手法である。

言い換えると、変換行列生成部１１（図４参照）は、複数のプロジェクタ１、２各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報を、複数のプロジェクタ１、２のエピポーラ線上に限定して、各プロジェクタ１、２に表示されたパターン画像の各画素を要素とする行列Ｐ’を、複数の位置各々に投影される合成画像の各画素を要素とする行列Ｉ’に変換する変換行列Ａ’を当該エピポーラ線について生成する。ここで、行列Ｐ’は、上記式（３）の行列Ｐの一部であり、行列Ｉ’は、上記式（３）の行列Ｉの一部であり、変換行列Ａ’は、連立一次方程式の各係数を要素とする式（３）の行列Ａの一部である。さらに、パターン生成部１２は、行列Ｉと、変換行列生成部１１で生成された変換行列Ａ’とに基づいて、行列Ｐ’に対応するパターン画像の生成を全てのエピポーラ線について実行する。さらに、パターン生成部１２は、全てのエピポーラ線のパターン画像を合成し、合成された画像を、プロジェクタ毎に投影する画像として生成する。

前記の連立方程式は、図２０からも明らかな通り、スクリーン数と、プロジェクタ数が同じである場合、通常、未知数と拘束式の数が同じになる。ただし、スクリーンの縁の部分では交点を作らないことが起こりうるため、未知数が１つか２つ多くなることも起こりうる。このため、この方程式は常に解を持ち、未知数が多い場合には、幾つかの自由度を持つ。ところで、解に何の制約も付けずにこの連立１次方程式を解くと、値域が広くなることが計算上ありうる。しかし、プロジェクタが投影できる輝度値には有限の範囲があるため、実際に投影するためには、投影可能な輝度の範囲内に正規化しなければならない。これにより、投影パターンのコントラスト（階調）が減少する。その結果、最終的にスクリーン上に投影されるパターンのコントラストをも減少させることになる。そこで、パターン生成部１２が、連立方程式を解く際に、例えば、値域が０〜２５５（通常のプロジェクタにおけるピクセル輝度値の範囲）制約のもとで解（連立方程式の解、すなわち行列Ｉ’と変換行列Ａ’とに基づく行列Ｐ’の解）を計算するようにすると、コントラストを減少させずに済む。ただし、その場合、拘束数の方が未知数を上回るため、計算には、最終投影画像と投影目的画像との誤差を最小化する最適化問題を解く必要がある。

図２１（Ａ）〜図２１（Ｆ）は、対象物体を平面とした投影画像の一例を示す。図２１（Ａ）及び図２１（Ｄ）に示す画像は、輝度値に制約を加えずに生成した画像である。また、図２１（Ｂ）及び図２１（Ｅ）、図２１（Ｃ）及び図２１（Ｆ）に示す画像は、本実施の形態８に係るパターン生成手法を用いて、輝度値に制約を加えて生成した画像である。図２１（Ａ）、図２１（Ｂ）及び図２１（Ｃ）が奥行き１の平面に投影された画像であり、図２１（Ｄ）、図２１（Ｅ）及び図２１（Ｆ）が奥行き１とは異なる奥行き２の平面に投影された画像である。奥行き１に投影された画像である図２１（Ａ）に示す画像と、図２１（Ｂ）及び図２１（Ｃ）に示す画像とを比べると、輝度値に制約を加えて生成した図２１（Ｂ）及び図２１（Ｃ）に示す画像の方が、輝度値に制約を加えて生成した図２１（Ａ）の画像と比べてダイナミックレンジが大幅に増大しているのがわかる。

投影された画像を数値評価した結果を図２２（Ａ）から図２２（Ｄ）に示す。横軸は、投影する２つの画像の組み合わせを示している。２つの画像の組み合わせはそれぞれ、Ｃａｍｅｒａｍａｎ／ｊｅｔｐｌａｎｅ、Ｌｅｎａ／Ｍａｎｄｒｉｌ、Ｌｅｎａ／Ｐｅｐｐｅｒｓ、Ｐｅｐｐｅｒｓ／Ｈｏｕｓｅ、Ｌｅｎａ／Ｃａｍｅｒａｍａｎ、Ｐｅｐｐｅｒｓ／Ｌｅｎａとなっている。Ｌｅｎａ／Ｍａｎｄｒｉｌの組み合わせは、図２１（Ａ）〜図２１（Ｆ）に示す画像である。

画像の品質を評価する際によく使用されるＰＳＮＲ（Peak Signal-to-Noise Ratio）による評価結果を図２２（Ａ）（実画像）及び図２２（Ｂ）（合成画像）に示し、人間の感覚に近いと言われるＳＳＩＭ（Structural SIMilarity）による評価結果を図２２（Ｃ）（実画像）及び図２２（Ｄ）（合成画像）に示す。ここで、実画像とは、実際にプロジェクタをスクリーンに投影した画像であり、合成画像とは、コンピュータ上で投影をシミュレートして合成した画像である。また、ＬＦはLinear Factorizationの略であり解に制約を加えなかったもの、ＥＯはEpipolar Optimizationの略であり、解に制約（［＊，＊］で表される輝度値の範囲）を加えたものである。図２２（Ａ）〜図２２（Ｄ）を見ると、ＬＦ、ＥＯ［−１００，２５５］、ＥＯ［０，２５５］というように輝度値の範囲に制約を加えることにより、ダイナミックレンジが拡大し、画質が向上しているのがわかる。

実施の形態９．
次に、本発明の実施の形態９について説明する。

この実施の形態に係るパターン生成アルゴリズムは、複数の任意形状物体を対象として、同時に異なるパターンを投影する手法である。複数の任意形状物体は、文字通り複数用意しても良いし、あるいは同じ任意形状物体を移動するようにしても良い。以下にパターン生成アルゴリズムの詳細について説明する。

任意形状物体上で、各プロジェクタで投影する複数のパターンが重なりあうことで、任意のパターンを生成するためには、プロジェクタ上の各ピクセルの投影光がオブジェクトのどの位置を照射するのかを知る必要がある。本実施の形態では各プロジェクタからグレーコード・パターンの投影を行うことで対応関係を求める。グレーコード・パターンは、プロジェクタに表示されたパターン画像上の画素の位置情報を有するパターンである。グレーコード投影によって図２３（Ａ）、図２３（Ｂ）、図２４（Ａ）、図２４（Ｂ）、図２５（Ａ）、図２５（Ｂ）、図２６（Ａ）、図２６（Ｂ）に示すような縞模様のパターンを任意形状物体に複数投影し、図２３（Ｃ）、図２４（Ｃ）、図２５（Ｃ）、図２６（Ｃ）に示す縦横それぞれのマップ画像（輝度値が座標）を作ることで対応（各プロジェクタに表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報）が得られる。

最終的に任意形状物体上に投影される画像を図２７（Ａ）及び図２７（Ｂ）に示す画像とする。また、任意形状物体を人体模型の頭部とする。そして、変換行列生成部１１は、グレーコード画像を複数の位置に置かれた任意形状物体に投影したときに、任意形状物体に投影された投影パターンをカメラでそれぞれ撮像する。そして、変換行列生成部１１は、撮像された投影パターンをデコードする。このようにすれば、各プロジェクタに表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報、すなわち図２８（Ａ）及び図２８（Ｂ）、図２９（Ａ）及び図２９（Ｂ）に示すマップ画像が得られる。得られた位置関係を示す情報を用いて、本実施の形態に係る手法により、変換行列生成部１１及びパターン生成部１２は、各プロジェクタ１、２によって投影されるパターン画像を生成する。生成された、各プロジェクタにより投影する投影パターンの一例を図３０（Ａ）及び図３０（Ｂ）に示す。このパターン画像を２台それぞれのプロジェクタ１、２から任意形状物体に投影することで、一方の奥行きに置かれた任意形状物体では図３１（Ａ）に示すように、図２７（Ａ）に示す画像に対応する画像が投影され、もう一方の奥行きに置かれた任意形状物体には、図３１（Ｂ）で示すように、図２７（Ｂ）に示す画像に対応する画像が投影される。

なお、図３２（Ａ）及び図３２（Ｂ）に示すように、奥行きに応じて、パターンを投影する物体の形状を変えるようにしてもよい。

なお、上記各実施の形態では、グレースケールの画像を投影するプロジェクタを用いる場合について説明したが、本発明はこれには限られない。例えば、カラー画像を投影するプロジェクタを用いてもよい。この場合、パターン画像の背景色には、画像中のパターンに用いられる複数種類の色の中間色が用いられる。

上記各実施の形態の投影システム１００では、投影像の制御にカメラを用いないので、システム全体の構成を簡略化し、システムの応答に遅延を生じさせないようにすることができる。しかしながら、幾何キャリブレーション及び色キャリブレーションに、カメラで撮像された画像データを用いるようにしてもよい。このようにしても、実際のパターン画像の投影にカメラで撮像された画像データの処理は行われないので、遅延は生じず、アルゴリズムがシンプルになり、高速計算が可能となる。

その他、制御部１０のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

制御部１０の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する制御部１０を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで制御部１０を構成してもよい。

制御部１０の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

１、２、３ プロジェクタ、５ プロジェクタ群、１０ 制御部、１１ 変換行列生成部、１２ パターン生成部、１３ 色キャリブレーション部、１４ 投影制御部、４０ 計測領域、５０ 障害物、５１ 計測対象、１００ 投影システム、ｄ１、ｄ２ 奥行き（位置）、Ｉ１、Ｉ２、Ｉ３、Ｉ４ スクリーン（被投影面）、Ｐ１、Ｐ２ パターン画像、ＰＬ１、ＰＬ２ 投影面、Ｌ１、Ｌ２ 投影光、ＬＡ１、ＬＡ２、ＬＡ３、ＬＡ４、ＬＡ５ レイヤ。

Claims (13)

1. 出射される投影光の照射範囲が交わるようにそれぞれ設置される複数のプロジェクタを備え、
   前記複数のプロジェクタは、
   互いに重ね合わされるようにパターン画像をそれぞれ投影することにより、複数の位置で、パターン画像の重なり方に応じた異なる合成画像を形成する、
   投影システム。
2. 複数の位置でそれぞれ形成される合成画像は、
   当該合成画像が形成された位置を示すパターンを表示する画像である、
   請求項１に記載の投影システム。
3. 前記パターン画像は、
   背景色を、パターンを構成する複数種類の色の中間色とする、
   請求項１又は２に記載の投影システム。
4. 複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第１の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第２の行列に変換する変換行列を生成する変換行列生成部と、
   所望のパターンを有する合成画像に対応する第２の行列と、前記変換行列生成部で生成された変換行列とに基づいて、第１の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成部と、
   を備える、
   請求項１から３のいずれか一項に記載の投影システム。
5. 前記パターン生成部は、生成されるパターン画像の輝度の範囲を制約のもとで前記第２の行列と前記変換行列とに基づいて前記第１の行列の解を求める、
   請求項４に記載の投影システム。
6. 前記変換行列生成部は、
   前記各プロジェクタに表示されたパターン画像の画素の位置情報を有するパターンを、前記各プロジェクタから前記複数の位置に投影し、前記複数の位置それぞれに投影された前記投影パターンを撮像し、撮像された投影パターンをデコードすることにより前記位置関係を示す情報を獲得する、
   請求項４又は５に記載の投影システム。
7. 前記変換行列生成部は、前記位置関係を示す情報を、前記複数のプロジェクタのエピポーラ線上に限定して、前記変換行列を当該エピポーラ線について生成し、
   前記パターン生成部は、
   前記第２の行列と、前記変換行列生成部で生成された変換行列とに基づいて、前記第１の行列に対応するパターン画像の生成を全てのエピポーラ線について実行し、生成されたパターン画像の合成画像を、プロジェクタ毎に投影する画像として生成する、
   請求項４から６のいずれか一項に記載の投影システム。
8. 前記各プロジェクタに色のテストパターン画像を投影させ、投影されたテストパターン画像の撮像結果に基づいて、前記パターン画像の色の調整情報を算出する色キャリブレーション部と、
   前記パターン生成部で生成されたパターン画像を、前記色キャリブレーション部で調整された色の調整情報に基づいて、前記各プロジェクタに投影させる投影制御部と、
   を備える、
   請求項４に記載の投影システム。
9. 前記合成画像が投影される複数の位置に半透明のスクリーンを置くことで、各半透明スクリーンに、異なる合成画像を投影する、
   請求項１から８のいずれか一項に記載の投影システム。
10. 出射される投影光が互いに交差し、交わり合いながら進むように複数のプロジェクタを設置し、
    前記複数のプロジェクタに、互いに重ね合わせると強め合うパターン及び弱め合うパターンの少なくとも一方を複数有するパターン画像をそれぞれ投影光で投影させることにより、複数の位置で、パターン画像の重なり方に応じた異なる合成画像を形成する、
    投影方法。
11. コンピュータが、複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第１の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第２の行列に変換する変換行列を生成する幾何キャリブレーション工程と、
    コンピュータが、所望のパターンを有する合成画像に対応する第２の行列と、前記幾何キャリブレーション工程で生成された変換行列とに基づいて、第１の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成工程と、
    を含むパターン生成方法。
12. コンピュータが、前記各プロジェクタに色のテストパターン画像を投影させ、投影されたテストパターン画像の撮像結果に基づいて、前記パターン画像の色の調整情報を算出する色キャリブレーション工程と、
    コンピュータが、前記パターン生成工程で生成されたパターン画像を、前記色キャリブレーション工程で調整された色の調整情報に基づいて、前記各プロジェクタに投影させる投影工程と、
    を含む請求項１１に記載のパターン生成方法。
13. コンピュータに、
    複数のプロジェクタ各々に表示されたパターン画像と、複数の位置に投影されたパターン画像との位置関係を示す情報に基づいて、前記各プロジェクタ各々に表示されたパターン画像の各画素を要素とする第１の行列を、前記複数の位置各々に投影される前記合成画像の各画素を要素とする第２の行列に変換する変換行列を生成する幾何キャリブレーション手順と、
    所望のパターンを有する合成画像に対応する第２の行列と、前記幾何キャリブレーション手順で生成された変換行列とに基づいて、第１の行列に対応するパターン画像をプロジェクタ毎に生成するパターン生成手順と、
    を実行させるプログラム。

Images