JP2011257609A - 光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラム - Google Patents

Abstract

【課題】複数のプロジェクタのうち、投影光が物体に当たりスクリーンに影を生じさせているプロジェクタを推定して、各プロジェクタに対する光量の調整を迅速に制御し、スクリーン上の影の除去と遮蔽物に当たる投影光の抑制を同時に実現すること。
【解決手段】複数のプロジェクタによってコンテンツデータに基づく光学像が投影されているスクリーンを撮影して撮影画像データを取得するステップと、スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で予め撮影しておいた背景画像データと撮影画像データとの光量の差に応じた差分画像データを作成するステップと、差分画像データに基づき、プロジェクタから照射される光学像の光量に対して、スクリーン上に投影されている投影像の光量が変化したプロジェクタを投影像が遮断されているプロジェクタであると判断するステップと、を備えることを特徴とする
【選択図】図１

Description

本発明は、複数のプロジェクタによる投影像をスクリーン上に重ねて投影する光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラムに関するものである。

フロントプロジェクションによるヒューマン・コンピュータ・インタラクションを行う際には、スクリーンとプロジェクタの間に人が立つと、その人の影がスクリーン上に生じてしまい、スクリーン上の重要な情報が見えなくなり、インタラクションの妨げになるという問題がある。この問題に対し、プロジェクタとスクリーンの間の物体によりスクリーン上に生じる影を除去する代表的な手法に、複数台プロジェクタの重畳投影を用いた影除去がある（例えば、非特許文献１参照)。
この非特許文献１に記載されている技術は、複数台のプロジェクタを用いて１台分の照度になるように重畳投影しておき、カメラで観測された影領域だけ全プロジェクタの照度を上げ、明るさを補填することで影を除去するものである。この手法では、少なくとも１台のプロジェクタの光が当たっている領域においては、影を除去することが可能である。

しかし、観測された影領域はスクリーンとプロジェクタの間の物体に光が当たり影が生じている領域であり、この手法は、その観測された影領域に当たる光の量を増やすために、各プロジェクタの照度を上げるので、スクリーンとプロジェクタの間の物体に特に強い光があたるという課題がある。フロントプロジェクションによるインタラクションシステムにおいて人に強い光が当たることは、不快感をもたらし、インタラクションを阻害する要因となりうる。

この課題に対し、影除去処理後、１台ずつプロジェクタの影領域の照度を変化させ、スクリーンに変化が現れるかをカメラで観測し、変化がなかった場合のプロジェクタの光が人に当たっていると判断すると、そのプロジェクタから発せられる影領域の画像の照度を０にするものがある。これにより、スクリーンとプロジェクタの間の物体へ光が当たらないように工夫している（例えば、非特許文献２参照）。

Ｒ． Ｓｕｋｔｈａｎｋａｒ， Ｔ． Ｊ． Ｃｈａｍ ａｎｄ Ｇ． Ｓｕｋｔｈａｎｋａｒ:"Ｄｙｎａｍｉｃ Ｓｈａｄｏｗ Ｅｌｉｍｉｎａｔｉｏｎ ｆｏｒ Ｍｕｌｔｉ−Ｐｒｏｊｅｃｔｏｒ Ｄｉｓｐｌａｙｓ"， Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ (ＣＶＰＲ)， ｐｐ． １５１−１５７(２００１)．

Ｔ． Ｊ． Ｃｈａｍ， Ｊ． Ｍ． Ｒｅｈｇ， Ｒ． Ｓｕｋｔｈａｎｋａｒ ａｎｄ Ｇ． Ｓｕｋｔｈａｎｋａｒ: "Ｓｈａｄｏｗ Ｅｌｉｍｉｎａｔｉｏｎ ａｎｄ ＯｃｃｌｕｄｅｒＬｉｇｈｔ Ｓｕｐｐｒｅｓｓｉｏｎ ｆｏｒ Ｍｕｌｔｉ−Ｐｒｏｊｅｃｔｏｒ Ｄｉｓｐｌａｙｓ"， Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ (ＣＶＰＲ），ｐｐ． ５１３−５２０ (２００３)．

しかしながら、上記技術（非特許文献１、２）では、スクリーン上に生じた影を撮影した観測画像から、どのプロジェクタから発せられた光が物体に当たり、影を生じさせているのかを判断することができない問題がある。
特に３台以上のプロジェクタを扱う場合、複数のプロジェクタから生じた影がオーバーラップした部分についてのプロジェクタ投影光の遮蔽判断に関しては検討されておらず、上記非特許文献２のように１台ずつプロジェクタを切り替えても、影がオーバーラップしている領域については、どのプロジェクタの光が遮蔽されているかを判定することができない問題があった。
これにより、各プロジェクタに対して、スクリーン上の影を除去しつつ、スクリーンとプロジェクタの間の物体への光の照射を抑える制御を迅速にできない問題があった。

本発明は、上記課題を解決するものであり、複数のプロジェクタのうち、投影光が物体に当たりスクリーンに影を生じさせているプロジェクタを推定して、各プロジェクタに対する光量の調整を迅速に制御し、スクリーン上の影の除去と遮蔽物に当たる投影光の抑制を同時に実現することができる光学投影制御方法、光学投影制御装置、光学投影制御システムおよびプログラムを提供することを目的とする。

上述の課題を鑑み、本発明に係る光学投影制御方法は、複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御方法において、前記複数のプロジェクタによってコンテンツデータに基づく光学像が投影されているスクリーンを撮影して撮影画像データを取得するステップと、前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、光量の差に応じた差分画像データを作成するステップと、当該差分画像データに基づき、前記プロジェクタから照射される光学像の光量に対して、前記スクリーン上に投影されている投影像の光量が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断するステップと、を備えることを特徴とする。

また、上述の課題を鑑み、本発明に係る光学投影制御方法は、複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御方法において、前記複数のプロジェクタによってコンテンツデータに基づく光学像が各プロジェクタに割り当てられたそれぞれ異なる色で投影されているスクリーンを撮影して撮影画像データを取得するステップと、前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、色の差に応じた差分画像データを作成するステップと、当該差分画像データに基づき、前記スクリーン上に投影されている投影像における各色の変化量を算出して、各プロジェクタに対応する色が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断するステップと、を備えることを特徴とする。

また、上述の光学投影制御方法は、前記光学像と投影像の照度が異なるとして検出されたプロジェクタとは異なるプロジェクタに対して、前記光学像と投影像の照度の差分を補正したコンテンツデータを作成して当該プロジェクタに出力するステップとを備えることを特徴とする。

また、上述の課題を鑑み、本発明に係る光学投影制御装置は、複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御装置において、前記複数のプロジェクタによってコンテンツデータに基づく光学像が投影されているスクリーンを撮影して撮影画像データを取得するカメラから前記撮影画像データを入力する画像入力部と、前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた遮蔽なし撮像画像データと、前記撮影画像データとの、光量の差に応じた差分画像データを作成する差分画像作成部と、当該差分画像データに基づき、前記プロジェクタから照射される光学像の光量に対して、前記スクリーン上に投影されている投影像の光量が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断する遮蔽光源推定部と、を備えることを特徴とする。

また、上述の課題を鑑み、本発明に係る光学投影制御装置は、複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御装置において、前記複数のプロジェクタによってコンテンツデータに基づく光学像が各プロジェクタに割り当てられたそれぞれ異なる色で投影されているスクリーンを撮影して撮影画像データを取得するカメラから前記撮影画像データを入力する画像入力部と、前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、色の差に応じた差分画像データを作成する差分画像作成部と、当該差分画像データに基づき、前記スクリーン上に投影されている投影像における各色の変化量を算出して、各プロジェクタに対応する色が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断する遮蔽光源推定部と、を備えることを特徴とする。

また、上述の課題を鑑み、本発明に係る光学投影制御システムは、複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御システムであって、前記複数のプロジェクタによってコンテンツデータに基づく光学像が投影されているスクリーンを撮影して撮影画像データを取得するカメラと、前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、光量の差に応じた差分画像データを作成する差分画像作成部と、当該差分画像データに基づき、前記プロジェクタから照射される光学像の光量に対して、前記スクリーン上に投影されている投影像の光量が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断する遮蔽光源推定部とを備える光学投影制御装置とを備えることを特徴とする。

また、上述の課題を鑑み、本発明に係る光学投影制御システムは、複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御システムであって、前記複数のプロジェクタによってコンテンツデータに基づく光学像が各プロジェクタに割り当てられたそれぞれ異なる色で投影されているスクリーンを撮影して撮影画像データを取得するカメラと、前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、色の差に応じた差分画像データを作成する差分画像作成部と、当該差分画像データに基づき、前記スクリーン上に投影されている投影像における各色の変化量を算出して、各プロジェクタに対応する色が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断する遮蔽光源推定部とを備える光学投影制御装置とを備えることを特徴とする。

また、上述の課題を鑑み、本発明に係るプログラムは、上述のいずれか一つの光学投影制御装置の各工程を実行させるためのプログラムであることを特徴とする。

本発明によれば複数のプロジェクタのうち、投影光が物体に当たりスクリーンに影を生じさせているプロジェクタを推定して、各プロジェクタに対する光量の調整を迅速に制御し、スクリーン上の影の除去と遮蔽物に当たる投影光の抑制を同時に実現することができる。

本発明の第１実施形態にかかる光学投影制御装置の構成の一例を示すブロック図である。 本発明の第１実施形態にかかる事前校正部の構成の一例を示すブロック図である。 本発明の第１実施形態にかかるプロジェクタ光の遮蔽判定を説明するための図である。 本発明の第１実施形態にかかる光学投影制御方法の一例を示すフローチャートである。 本発明の第１実施形態にかかる事前校正部による事前校正処理方法の一例を示すフローチャートである。 本発明の第２実施形態にかかる光学投影制御システムの一例を示す概略図である。 本発明の第２実施形態にかかる光学投影制御装置の構成の一例を示すブロック図である。 本発明の第２実施形態にかかる光学投影制御方法の一例を示すフローチャートである。 本発明の第２実施形態にかかる事前校正部による事前校正処理方法の一例を示すフローチャートである。

［第１実施形態］
以下、本発明の第１の実施形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係る光学投影制御システムの一例を示す概略図である。
図１に示す通り、光学投影制御システムは、光学投影制御装置１００と、カメラ１０００と、複数のプロジェクタ１０１０と、スクリーン１０９０を含む。

カメラ１０００は、プロジェクタ１０１０によって画像が投影されるスクリーン１０９０を撮影し、撮影によって得られた撮影画像データＤ１１を出力する。この撮影画像データＤ１１は、スクリーン１０９０の全体を含む映される画像であることが好ましく、カメラ１０００は、このような画像が撮影される位置に設置される。例えば、カメラ１０００は、天井付近の上方であって、スクリーンを撮影する位置に設置されるものであってもよい。

複数のプロジェクタ１０１０は、例えば、プロジェクタ１０１１、１０１２、・・・、１０１Ｎを含む。この複数のプロジェクタ１０１１、１０１２、・・・、１０１Ｎは、光学投影制御装置１００から入力する画像データに基づき光学像を照射して、画像データをスクリーン１０９０に投影する。また、複数のプロジェクタ１０１１、１０１２、・・・、１０１Ｎは、それぞれのよって照射される光学像がスクリーン１０９０上において重ねて投影する。
本実施形態において複数のプロジェクタ１０１１、１０１２、・・・、１０１Ｎは、それぞれ同一の画像データに基づく光学像を照射するとともに、スクリーン１０９０上の光学像の輝度（つまりプロジェクタ１０１０が投影する投影像の照度）が光学投影制御装置１００によって制御された画像データに基づき投影する。

光学投影制御装置１００は、画像入力部１０２０と、差分画像作成部１０３０と、遮蔽光源推定部１０４０と、照度制御部１０５０と、重畳投影部１０６０と、コンテンツ映像記憶部１０７０と、事前校正部１０８０を含む。

画像入力部１０２０は、カメラ１０００から出力される撮影画像データＤ１１を入力し、この撮影画像データＤ１１を差分画像作成部１０３０と事前校正部１０８０に出力する。この画像入力部１０２０は、例えばビデオカメラ等の画像取得手段であり、ビデオカメラ等で撮像された撮影画像データＤ１１を入力し、事前校正部１０８０および差分画像作成部１０３０に出力する。

差分画像作成部１０３０は、画像入力部１０２０から入力する観測画像（撮影画像データＤ１１）と、事前校正部１０８０から入力する背景画像（背景画像データＤ１７）に基づき、差分画像（差分画像データＤ１３）を作成し、遮蔽光源推定部１０４０に出力する。

遮蔽光源推定部１０４０は、差分画像作成部１０３０から入力する差分画像データＤ１３に基づき、複数のプロジェクタ１０１１、１０１２、・・・、１０１Ｎのうち、どのプロジェクタから発せられた投影光が遮断物によって遮蔽されているか推定（判定）する。

照度制御部１０５０は、事前校正部１０８０から入力する事前変形させたコンテンツ映像データＤ１６に基づき、プロジェクタ１０１０が照射する光の明るさを制御する。

重畳投影部１０６０は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎからの投影像をスクリーン１０９０上の同一位置に重ね合わせるように投影するため、事前校正部１０８０から入力する事前変形させたコンテンツ映像データＤ１６と、事前変形させたアルファマスクデータＤ１５をプロジェクタが投影可能なデータ形式へ変換し、そのデータを対応するプロジェクタ１０１０へ出力する。

コンテンツ映像記憶部１０７０は、プロジェクタ１０１０がスクリーン１０９０に投影するコンテンツ映像データＤ１０を保持している。

事前校正部１０８０は、カメラ１０００、プロジェクタ１０１０、スクリーン１０９０の三者間のキャリブレーション処理（事前校正処理）を行い、事前変形させたアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６と、背景画像データＤ１７の作成を行う。

次に、図２を参照して、事前校正部１０８０の構成についてその一例を説明する。図２は、事前校正部１０８０の構成の一例を示すブロック図である。
図２に示す通り、事前校正部１０８０は、キャリブレーション処理部１８１と、アルファマスク初期化処理部１８２と、重畳投影処理部１８３と、背景画像作成処理部１８４を含む。
この事前校正部１０８０は、以下に説明する通り、平面射影変換行列データと、背景画像データと、事前変形させたコンテンツ映像の生成、および保持しているデータの出力を行う。

キャリブレーション処理部１８１は、画像入力部１０２０から入力される撮影画像データＤ１１に基づき、プロジェクタ１０１０からの投影像をスクリーン１０９０上の所定の位置に投影するため、カメラ１０００、プロジェクタ１０１０、スクリーン１０９０の三者間の平面射影変換行列データＤ１４を算出する。この三者間の関係を以下に記載する。
ここでは、対象の扱いを簡単にするため、プロジェクタ１０１０とカメラ１０００の投影幾何がピンホールカメラモデルであって、且つ、スクリーン１０９０は平面であると仮定する。プロジェクタ１０１０から投影されるパターンの例として、カメラ１０００で観測可能な程度の点（以下、参照点）を用いる。なお、参照点は、各プロジェクタ１０１１、１０１２、・・・、１０１Ｎから、それぞれ出力される。

この参照点Ｐ_ｊ ^(p)、スクリーン上において予め決められている既知の目標点Ｐ_ｊ ^(ｍ)と、スクリーン上におけるカメラ１０００が撮影した画像の位置を示す画像座標Ｐ_ｊ ^(ｃ)は、それぞれ、以下の式（１）〜（３）に示す、平面射影変換で結びつけることができる。

なお、プロジェクタ１０１０が投影する参照点Ｐ_ｊ ^(p)を、Ｐ_ｊ ^(p)＝（ｘ_ｊ ^(p)，ｙ_ｊ ^(p)） ｛ｊ＝１，２，・・・，Ｎ｝とする。スクリーン上の既知の目標点Ｐ_ｊ ^(ｍ)を、Ｐ_ｊ ^(ｍ)＝（Ｘ_ｊ ^(ｍ)，Ｙ_ｊ ^(ｍ)，０） ｛ｊ＝１，２，・・・，Ｎ｝とする。またカメラ１０００が撮影した参照点Ｐ_ｊ ^(p)の画像座標を、Ｐ_ｊ ^(ｃ)＝（ｘ_ｊ ^(ｃ)，ｙ_ｊ ^(ｃ)） ｛ｊ＝１，２，・・・，Ｎ｝とする。

ただし、以下に示す記号は、定数倍を除いて等しいことを意味する。

また、式（１）〜（３）から各射影変換には、以下の式（４）の関係が成立つ。

事前校正部１０８０のキャリブレーション処理部１８１は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎに対して、上記の平面射影変換行列データＤ１４（Ｈ_ｃｐ，Ｈ_ｓｃ，Ｈ_ｓｐ，)を事前に算出し、得られた平面射影変換行列データＤ１４（Ｈ_ｃｐ，Ｈ_ｓｃ，Ｈ_ｓｐ，)を照度制御部１０５０へ出力する。

アルファマスク初期化処理部１８２は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎの合計の照度をプロジェクタ１台分に相当する照度とするよう、各プロジェクタのアルファマスクの初期化を行う。このアルファマスク初期化処理部１８２は、初期化したアルファマスクデータを重畳投影部１０６０に出力する。なお、ここにいう照度とは、プロジェクタ１０１０が照射する光の明るさ（光量）をいい、スクリーン１０９０に投影された際のスクリーン１０９０をカメラ１０００で撮影した画像の輝度に相当する。この輝度は、スクリーン１０９０の反射率やプロジェクタ１０１１、１０１２、・・・、１０１Ｎからスクリーン１０９０に照射される光の入射角によって変化する。このため、アルファマスク初期化処理部１８２は、スクリーン１０９０とプロジェクタ１０１１、１０１２、・・・、１０１Ｎの位置が固定されたら、スクリーン１０９０とプロジェクタ１０１１、１０１２、・・・、１０１Ｎとの間に何ら遮光物がない状態において、各プロジェクタ１０１１、１０１２、・・・、１０１Ｎに対応するアルファマスクデータを作成する。
ここで、アルファ値αとは、画像データの各画素に設定される透過度情報のことであり、無色透明から、背景の色を全く透過しない不透明まで設定することができる。また、１枚の画像中における全画素のアルファ値αをアルファマスクと呼ぶ。さらに、説明の便宜上、ここではアルファ値αは［０，１］の値を取るものとする。

例えば、プロジェクタ面上の画素（ｕ，ｖ）において、そのアルファ値α（ｕ，ｖ）が１であるとき、プロジェクタの照度は、１台のプロジェクタが出せる最大値である。また、アルファ値α（ｕ，ｖ）が０であるとき、プロジェクタから黒の画像が投影される。アルファ値αは、スクリーン１０９０上の明るさ（輝度）を表わしており、画素の輝度値を調整するデータである。
ここでは、Ｎ台のプロジェクタ１０１１、１０１２、・・・、１０１Ｎを用いて、スクリーン面上においてプロジェクタ１台分の照度になるよう各プロジェクタ１０１１、１０１２、・・・、１０１Ｎから照射される光学像の照度を調整して、各光学像を重ね合わせて投影する。よって、各プロジェクタに出力されるアルファマスクは、次に示す式（５）の条件を満たす。

なお、α^（ｋ）（ｕ，ｖ）は、第ｋ番目のプロジェクタの投影光（光学像）における画像座標（ｕ，ｖ）の位置に対応するアルファ値αである。つまり、全てのプロジェクタ１０１１、１０１２、・・・、１０１Ｎは、スクリーン上のある位置（ｕ，ｖ）に投影される投影像の照度が、最大でもそのアルファ値αが１となるように、光学投影制御装置１００によって調整された画像データに基づき投影光を照射する。

重畳投影処理部１８３は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎの投影像をスクリーン上の同一位置に重ね合わせるように投影するため、コンテンツ映像記憶部１０７０から読み出した投影用のコンテンツ映像データＤ１０を、平面射影変換行列データＤ１４（Ｈ_ｃｐ，Ｈ_ｓｃ，Ｈ_ｓｐ，)を用いて事前変形させる。
この重畳投影処理部１８３は、事前変形させたコンテンツ映像データＤ１６と、事前変形させたアルファマスク初期化処理で初期化したアルファマスクデータＤ１５を、各プロジェクタ１０１１、１０１２、・・・、１０１Ｎが投影可能なデータ形式へ変換し、そのデータを各プロジェクタ１０１１、１０１２、・・・、１０１Ｎへ出力する。言い換えると、重畳投影処理部１８３は、コンテンツ映像記憶部１０７０から読み出した投影用のコンテンツ映像データＤ１０を平面射影変換行列データＤ１４（Ｈ_ｃｐ，Ｈ_ｓｃ，Ｈ_ｓｐ，)を用いて事前変形させ、この事前変形させたコンテンツ映像データＤ１６と事前変形させたアルファマスクデータＤ１５を、重畳投影部１０６０に出力する。

なお、コンテンツ映像データＤ１０のスクリーン上の任意の目標位置への投影は、コンテンツ映像データＤ１０をスクリーン１０９０からプロジェクタ１０１０への平面射影変換行列の逆行列Ｈ_ｓｐ ^−１を作用させて事前変形し、プロジェクタ１０１０から投影することで実現できる。

次に、重畳投影処理部１８３による、コンテンツ映像データＤ１０の事前変形について概説する。
スクリーン１０９０とプロジェクタ１０１０間の平面射影変換Ｈ_ｓｐが得られているので、重畳投影処理部１８３は、スクリーン上の任意の目標点Ｐ_ｊ ^(ｍ)へ投影させるため、プロジェクタ面上の２次元座標Ｐ_ｊ ^(ｒ)＝（ｘ_ｊ ^(ｒ)，ｙ_ｊ ^(ｒ)）として、次に示す式（６）を算出する。つまり、重畳投影処理部１８３は、キャリブレーション処理部１８１から入力する平面射影変換行列データＤ１４（Ｈ_ｃｐ，Ｈ_ｓｃ，Ｈ_ｓｐ，)に基づき、式（６）に従って、目標点Ｐ_ｊ ^(ｍ)へ投影させるためのプロジェクタ面上の２次元座標Ｐ_ｊ ^(ｒ)＝（ｘ_ｊ ^(ｒ)，ｙ_ｊ ^(ｒ)）を算出する。

この式（６）によって得た２次元座標Ｐ_ｊ ^(ｒ)＝（ｘ_ｊ ^(ｒ)，ｙ_ｊ ^(ｒ)）をプロジェクタ１０１０から出力すれば、スクリーン１０９０上の既知の目標点Ｐ_ｊ ^(ｍ)＝（Ｘ_ｊ ^(ｍ)，Ｙ_ｊ ^(ｍ)，０）に投影される。

重畳投影処理部１８３は、式（６）の平面射影変換をコンテンツ映像データＤ１０の全画素について行うことで、事前変形させたコンテンツ映像データＤ１６を得ることができる。この重畳投影処理部１８３は、得られた全プロジェクタ分の事前変形させたコンテンツ映像データＤ１６を重畳投影部１０６０に出力する。

背景画像作成処理１８４は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎからの投影像がスクリーン１０９０上においてプロジェクタ１台分の照度（輝度）になるよう重畳投影した後、スクリーン１０９０とプロジェクタ１０１０間に遮蔽物の無い状況下のスクリーン１０９０全体をカメラで撮影して得られた観測画像（背景画像データＤ１７)を、差分画像作成部１０３０へ出力する。なお、背景画像作成処理１８４は、コンテンツ映像データ毎に、スクリーン１０９０とプロジェクタ１０１０間に遮蔽物の無い状況下において予めカメラ１０００によって撮影された画像データと当該コンテンツデータとを対応付けて自身の記憶部に記憶しておく。

重畳投影部１０６０は、事前校正部１０８０における重畳投影処理部１８３と同様に、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎからの投影像をスクリーン１０９０上の同一位置に重ね合わせるように投影するため、事前校正部１０８０から入力する事前変形させたコンテンツ映像データＤ１６と、事前変形させたアルファマスクデータＤ１５をプロジェクタが投影可能なデータ形式へ変換し、そのデータを対応するプロジェクタ１０１０へ出力する。

差分画像作成部１０３０では、事前校正部１０８０から入力する背景画像データＤ１７と画像入力部１０２０から伝送される撮影画像データＤ１１との差分を算出して差分画像データＤ１３を作成し、遮蔽光源推定部１０４０へ出力する。この差分画像データＤ１３は、例えば、各画素の輝度値を示す情報であってもよい。
この差分画像データＤ１３を、以下の式（７）にΔ_ｔ（ｕ，ｖ）として示す。

なお、Ｉ_０（ｕ，ｖ）は、背景画像データＤ１７の画素毎の輝度値を示す情報である。Ｉ_ｔ（ｕ，ｖ）は、時刻ｔのときに画像入力部１０２０から入力する撮影画像データＤ１１の画素毎の輝度値を示すである。但し、ここで作成される差分画像データΔ_ｔ（ｕ，ｖ）の値は、符号情報を持つものとする。即ち、観測画像（背景画像データＤ１７）Ｉ_０（ｕ，ｖ）の取りうる範囲が［０，１］であるとき、差分画像データΔ_ｔ（ｕ，ｖ）の取りうる値は、［−１，１］となる。

遮蔽光源推定部１０４０は、差分画像生成部１０３０から入力する差分画像データＤ１３から、影領域を検出するとともに、該影領域の各画素ごとに、どのプロジェクタの光が遮られて影となっているかの判定処理を行い、遮蔽マップＤ１８の作成を行う。

以下、差分画像データＤ１３に基づき、投影光が遮断されているプロジェクタを判定する遮蔽判定方法を、図３を参照して説明する。図３はプロジェクタ光の遮蔽判定を説明するための図である。なお、説明の簡易化のため、３台のプロジェクタを用いた場合を例に説明する。ここで、スクリーン１０９０、カメラ１０００、および３台のプロジェクタ１０１１、１０１２、１０１３は、図３（ａ）に示すように配置されている。また、そのときのスクリーン１０９０上に生じた物体Ｏの影の重複の様子を図３（ｂ）に示す。

図３（ｂ）に示す通り、プロジェクタ１０１１からの光（投影像）が物体Ｏによって遮られて生じた影領域をＡ、プロジェクタ１０１２からの光（投影像）が物体Ｏによって遮られて生じた影領域をＢ、プロジェクタ１０１３からの光（投影像）が物体Ｏによって遮られて生じた影領域をＣとする。
一般的に、スクリーン１０９０とプロジェクタ１０１０の間に物体Ｏがある場合、プロジェクタの台数と同じ数の影がスクリーン１０９０上に生じる。特にスクリーン１０９０と物体Ｏが近い位置にある場合、複数のプロジェクタ１０１１，１０１２，１０１３の遮蔽から生じた影が重複する。なお、スクリーン１０９０上に少なくとも１台のプロジェクタから光が当たっているものとする。

また、図３（ｂ）において、プロジェクタ１０１１の影Ａとプロジェクタ１０１２２の影Ｂが重複した領域をＤ（Ａ∩Ｂ）、プロジェクタ１０１１の影Ａとプロジェクタ１０１３の影Ｃが重複した領域をＥ（Ａ∩Ｃ）、プロジェクタ１０１２の影Ｂとプロジェクタ１０１３の影Ｃが重複した領域をＦ（Ｂ∩Ｃ）、スクリーン１０９０上にいずれの影も生じていない領域をＧ（Ａ￣∩Ｂ￣∩Ｃ￣）とする。なお、￣は、それぞれ、Ａ、Ｂ、Ｃの上部に付き、Ａ以外、Ｂ以外、Ｃ以外であることを表わす。
但し、全てのプロジェクタ１０１１，１０１２，１０１３の影が重なり、スクリーン１０９０上に光が当たっていない領域の影は、原理上除去することができないため、本発明では処理対象外とする。
ここで、各プロジェクタ１０１１，１０１２，１０１３の照度を、それぞれα^（ｉ）（ｕ，ｖ） ｛ｉ＝１，２，３｝としたとき、スクリーン１０９０上の照度（輝度）は、各プロジェクタ１０１１，１０１２，１０１３のアルファ値の合計で与えられるため、プロジェクタの遮蔽による図３（ｂ）における各領域の照度の減少量Ｌ（ｕ，ｖ）を、下に示す式（８）とする。

なお、カメラ応答関数は線形であり、環境光は差分により相殺されるものと仮定すると、スクリーン１０９０上に生じた影領域は、差分画像作成部１０３０によって差分画像データΔ_ｔ（ｕ，ｖ）として検出される。この差分画像データΔ_ｔ（ｕ，ｖ）の輝度値は、プロジェクタ１０１０から投影される投影像の明るさ（照度）が遮蔽物によって減少する減少量Ｌ（ｕ，ｖ）を反映しているため、以下の式（９）の関係が成り立つ。

但し、以下に示す記号は、定数倍を除いて等しいことを意味する。

各プロジェクタ１０１１，１０１２，１０１３での各画素の照度α^（ｉ）（ｕ，ｖ） ｛ｉ＝１，２，３｝を、次の式（１０）（１１）に示す拘束条件において、式（５）に従って与えると、領域ＡからＦの照度が異なる。

従って、遮蔽光源推定部１０４０は、差分画像内における画素値も影領域に応じて異なるため、差分画像データの輝度値を用いて領域を分割することが可能となる。

また、遮蔽光源推定部１０４０は、差分画像生成部１０３０から入力する差分画像データΔ_ｔ（ｕ，ｖ）から、符号情報を取り除いた差の絶対値を値に持つ参照画像データＲ（ｕ，ｖ）を、次の式（１２）に基づき算出する。

この参照画像データＲ（ｕ，ｖ）に、例えば、非特許文献３に記載されているような画像の輝度値を基準とした領域分割処理を施すことで、式（９）より図３ｂにおける各領域と対応付けることができる。
なお、非特許文献３は、Ｄ． Ｃｏｍａｎｉｃｉｕ ａｎｄ Ｐ． Ｍｅｅｒ: “Ｍｅａｎ ｓｈｉｆｔ ａｎａｌｙｓｉｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ”， Ｐｒｏｃ． ｏｆ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ (ＩＣＣＶ)， ｖｏｌ．２， ｐｐ．１１９７-１２０３ (１９９９)である。
また、遮蔽光源推定部１０４０による領域分割処理には、Ｍｅａｎｓｈｉｆｔ（非特許文献３）を用いた処理のほか、ｗａｔｅｒｓｈｅｄアルゴリズムやグラフカットによるセグメンテーションなどを用いてもよい。

次に、遮蔽光源推定部１０４０は、得られた判定結果からスクリーン１０９０全体の画素の遮蔽の判定結果をまとめた遮蔽マップＤ１８を作成する。遮蔽マップＤ１８は、画素ごとにスクリーンを照らしているプロジェクタのラベルｌ（ｕ，ｖ）を持つ。このラベルｌ（ｕ，ｖ）は、次の式（１３）に示す。

ラベルｌ（ｕ，ｖ）＝｛ｉ，ｊ｝はスクリーン１０９０上の点（ｕ，ｖ）は、第ｉ番目のプロジェクタと第ｊ番目のプロジェクタの光が当たっていることを意味している。作成された遮蔽マップＤ１８は、照度制御部１０５０へ出力される。

照度制御部１０５０は、遮蔽光源推定部１０４０から入力する遮蔽マップＤ１８により、影除去処理と物体への照射光抑制処理の場合分けを行う。この照度制御部１０５０は、分画像作成部１０３０から入力する差分画像から影除去の際の照度更新量を算出し、各プロジェクタごとにアルファマスクデータを更新するフィードバックループを構成し、更新処理を行う。
ここでは、照度制御部１０５０が、時刻ｔにおけるｉ番目のプロジェクタのアルファマスクデータを、α_ｔ ^（ｉ）（ｕ，ｖ） ｛ｉ＝１，２，・・・，Ｎ｝としたとき、時刻ｔ＋１におけるアルファマスクデータは、α_ｔ＋１ ^（ｉ）（ｕ，ｖ） ｛ｉ＝１，２，・・・，Ｎ｝と、次の式（１４）により算出され、更新する。

但し、σは、プロジェクタのフィードバックループにおける比例ゲインであり、Ｎ_ｕｖは、ラベル１（ｕ，ｖ）の要素数、すなわち、スクリーン上の位置（ｕ，ｖ）を照らしているプロジェクタの台数である。
なお、フィードバックループのパラメータσは、更新量の大きさを調整するための係数である。σの値が大きくなるにつれ更新量も大きくなるため、α（ｔ＋１）の値は大きく変動しながら目的の値に近づくが、更新回数は少なくて済む。
一方、σの値が小さくなると更新量が小さくなるため、少しずつ変化しながら目的の値にゆっくりと近づいていく。このため、α（ｔ＋１）が収束するまでには時間がかかる。例えば、初期（ｔ＝０）のとき、α１＝０．２、α２＝０．３、α３＝０．４の状態から開始した時では、σ＝０．４程度の値が適当である。

第ｉ番目のプロジェクタからの投影光が物体Ｏによって遮蔽されているとき（以下、数式で表わされる場合）、

そのプロジェクタから発せられている光は物体Ｏにあたっているので、その照度を０にすることで、物体に当たる光を抑制する。

一方、第ｉ番目のプロジェクタからの投影光が物体Ｏによって遮蔽されていないとき（以下、数式で表わされる場合）、

他のプロジェクタからの投影光が遮蔽されてできた影領域を埋めるために照度をあげることで、スクリーン１０９０上の影を除去することができる。

遮蔽光源推定部１０４０は、このアルファマスクデータをプロジェクタにセットした際に任意の位置に投影するため、コンテンツ映像データＤ１０の事前変形と同様に、得られたアルファマスクデータを平面射影変換行列Ｈ_ｃｐに作用させて、事前変形させる。
この照度制御部１０５０は、得られた事前変形された後のアルファマスクデータを、重畳投影部１０６０へ出力し、事前変形される前のアルファマスクデータは次の更新時に使用するため保存しておく。上記の更新処理を影除去処理および照射光抑制処理を継続する間、繰り返す。

上記の実施形態では、３台のプロジェクタを用いた系で説明したが、３台以上のプロジェクタを用いても、同様の処理によりスクリーン上の影除去と同時にスクリーンープロジェクタ間の物体へ当たる光の抑制を実現することが可能である。
上述の通り、差分画像作成部１０３０が差分画像データＤ１３を作成し、遮蔽光源推定部１０４０が遮蔽マップＤ１８を作成し、照度制御部１０５０が事前変形済みアルファマスクデータＤ１９を作成して、この事前変形済みアルファマスクデータＤ１９をプロジェクタ１０１０に出力することで、光学像と投影像の照度が異なるとして検出されたプロジェクタとは異なるプロジェクタに対して、光学像と投影像の照度の差分を補正したコンテンツデータを作成してプロジェクタに出力することができる。

次に、図４を参照して、本実施形態に係る光学投影制御装置１００による光学投影制御方法の一例について説明する。図４は、本実施形態に係る光学投影制御装置１００による光学投影制御方法の一例を示すフローチャートである。
光学投影制御装置１００は、コンテンツ映像記憶部１０７０から読み出したコンテンツ映像データＤ１０に基づき、事前変形させたアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６と、事前変形済みアルファマスクデータＤ１９とを作成して、プロジェクタが投影可能なデータ形式へ変換し、このデータを対応するプロジェクタ１０１１、１０１２、・・・１０１Ｎのそれぞれに出力する。各プロジェクタ１０１１、１０１２、・・・１０１Ｎは、入力するコンテンツ映像データＤ１０に基づき、コンテンツ映像の投影像をスクリーン１０９０に投影する。この投影像が投影されているスクリーン１０９０を、カメラ１０００が撮影して、撮影画像データＤ１１を光学投影制御装置１００の画像入力部１０２０に出力する。

画像入力部１０２０は、入力する撮影画像データＤ１１を、差分画像作成部１０３０と事前校正部１０８０に出力する。
そして、事前校正部１０８０は、この撮影画像データＤ１１およびコンテンツ映像記憶部１０７０から読み出すコンテンツ映像データＤ１０に基づき、事前校正処理、すなわち、キャリブレーション処理、アルファマスク初期化処理、重畳投影処理、および背景画像作成処理を行う（ステップＳＴ２０１０）。事前校正部１０８０は、これにより、平面射影変換行列データＤ１４と、事前変形させたアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６と、背景画像データＤ１７を生成するとともに、保持しているデータの出力を行う。なお、具体的な事前校正部１０８０における処理については、図５を参照して詳細に説明する。

次いで、重畳投影部１０６０は、事前校正部１０８０における重畳投影処理部１８３による重畳投影処理と同様に、全プロジェクタ１０１０による各投影像をスクリーン１０９０上の同一位置に重ね合わせるように投影するため、事前校正部１０８０から伝送された事前変形させたコンテンツ映像データＤ１６と、事前変形させたアルファマスクデータＤ１５をプロジェクタが投影可能なデータ形式へ変換し、それらデータを各プロジェクタ１０１０へ出力する（ステップＳＴ２０２０）。

そして、差分画像作成部１０３０は、事前校正部１０８０から入力する背景画像データＤ１７と画像入力部１０２０から入力する撮影画像データＤ１１との差分を算出して差分画像データＤ１３を作成し、遮蔽光源推定部１０４０へ出力する（ステップＳＴ２０３０）。

次いで、遮蔽光源推定部１０４０は、差分画像生成部１０１３から入力する差分画像データＤ１３のΔ_ｔ（ｕ，ｖ）から、影領域を検出するとともに、該影領域の各画素ごとにどのプロジェクタの光が遮られて影となっているかの判定処理を行う。この遮蔽光源推定部１０４０は、得られた判定結果からスクリーン１０９０全体の画素の遮蔽の判定結果をまとめた遮蔽マップＤ１８を作成し、照度制御部１０５０に出力する（ステップＳＴ２０４０）。この遮蔽マップＤ１８は、各画素ごとにスクリーン１０９０を照らしているプロジェクタのラベルｌ（ｕ，ｖ）を持つ。

そして、照度制御部１０５０は、遮蔽光源推定部１０４０から入力する遮蔽マップＤ１８により、影除去処理と物体への照射光抑制処理の場合分けを行うとともに、差分画像作成部１０３０から入力された差分画像データＤ１３から影除去の際の照度更新量を算出し、各プロジェクタごとにアルファマスクを更新するフィードバックループを構成し、更新処理を行う（ステップＳＴ２０５０）。

照度制御部１０５０は、このアルファマスクをプロジェクタにセットした際に任意の位置に投影するため、コンテンツ映像データＤ１０の事前変形と同様に、得られたアルファマスクデータＤ１５を平面射影変換行列Ｈ_ｃｐに作用させて、事前変形させる。この照度制御部１０５０は、得られた事前変形済みアルファマスクデータＤ１９を重畳投影部１０６０へ出力する。

そして、照度制御部１０５０は、変形前のアルファマスクは次の更新時に使用するため保存しておく。照度制御部１０５０は、影除去処理および照射光抑制処理を継続する間、上記の更新処理を繰り返す（ステップＳＴ２０６０）。

次に、図５を参照して、本実施形態に係る事前校正部１０８０による事前校正処理方法の一例について説明する。図５は、本実施形態に係る事前校正部１０８０による事前校正処理方法の一例を示すフローチャートである。

事前校正部１０８０のキャリブレーション処理部１８１は、画像入力部１０２０から入力される撮影画像データＤ１１に基づき、プロジェクタ１０１０からの投影像をスクリーン１０９０上の所定の位置に投影するため、カメラ１０００、プロジェクタ１０１０、スクリーン１０９０の三者間の平面射影変換行列データＤ１４を算出する（ステップＳＴ３０１０）。
そして、キャリブレーション処理部１８１は、平面射影変換行列データＤ１４を、照度制御部１０５０、重畳投影処理部１８３、および背景画像作成部１８４に出力するとともに、画像入力部１０２０から入力する撮影画像データＤ１１をアルファマスク初期化処理部１８２に出力する。

次いで、アルファマスク初期化処理部１８２は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎの合計の照度をプロジェクタ１台分に相当する照度とするよう、各プロジェクタのアルファマスクの初期化を行う（ステップＳＴ３０２０）。このアルファマスク初期化処理部１８２は、初期化したアルファマスクデータＤ１５を重畳投影処理部１８３に出力する。

そして、重畳投影処理部１８３は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎの投影像をスクリーン上の同一位置に重ね合わせるように投影するため、コンテンツ映像記憶部１０７０から読み出した投影用のコンテンツ映像データＤ１０を、平面射影変換行列データＤ１４を用いて事前変形させる（ステップＳＴ３０３０）。この重畳投影処理部１８３は、この事前変形させたコンテンツ映像データＤ１６と、アルファマスク初期化処理部１８２が初期化したアルファマスクデータＤ１５を、重畳投影部１０６０に出力する。

次いで、背景画像作成処理１８４は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎからの投影像がスクリーン１０９０上においてプロジェクタ１台分の照度になるよう重畳投影した後、スクリーン１０９０とプロジェクタ１０１０間に遮蔽物の無い状況下のスクリーン１０９０全体をカメラで撮影して得られた観測画像（背景画像データＤ１７)を、差分画像作成部１０３０へ出力する（ステップＳＴ３０４０）。

上記構成により、本発明に係る光学投影制御装置１００は、スクリーン１０９０上に複数の影が重なり合った場合においても、どのプロジェクタの光が遮られたのかを推定できるため、スクリーン１０９０上に生じた影の除去と遮蔽物へ当たる光の抑制を同時に実現することが可能となる。
つまり、遮蔽物により生じるスクリーン上の影がどのプロジェクタからの投影光によるものかを推定し、推定結果から全プロジェクタの投影光を制御することで、スクリーン上の影を除去し、遮蔽物に当たる投影光を抑制することができる。
言い換えると、遮蔽物により生じるスクリーン上の影がどのプロジェクタからの投影光によるものかを推定し、遮蔽物に投影光が当たっていると推定されたプロジェクタの投影光を抑えることで、遮蔽物に当たる投影光を抑制し、投影光がスクリーンを照らしていると推定されたプロジェクタの投影光量を上げることでスクリーン上の影を除去することができる。

一方、本発明によらない場合、１枚の観測画像からどのプロジェクタの光が遮蔽されているかが判断できないため、スクリーン上の影除去と同時に物体に照射される光を抑制できない。即ち、１台ずつ順にプロジェクタ投影光を補正するため、影除去処理後からプロジェクタ台数分の更新処理を必要とし、その間の物体への照射光の抑制はできない問題があった。
本発明は上記の問題点に鑑みてなされたものであり、スクリーン全体を撮影した１枚の観測画像から、観測画像中で影が複数重なる状況下においてもプロジェクタごとの光の遮蔽領域を推定する方法を提供することにある。
また、遮蔽領域の推定結果に基づきプロジェクタごとに異なる照度制御フィードバック系を構成し、遮蔽領域の照度を変化させることで、影除去と物体への照射光抑制を同時に実現する方法を提供することにある。

［第２実施形態］
次に、本発明に係る第２実施形態について説明する。図６は、本発明に係る第２実施形態の光学投影制御システムの一例を示す概略図である。

上述の第１実施形態は、例えば、光学投影制御装置１００として使用される１台のＰＣ（パーソナルコンピュータ）が、複数台のプロジェクタ１０１０と接続され処理が行われる例を用いて説明した。これに対して、本実施形態は、カメラ１０００から出力された情報を入力し、操作するホストＰＣ４０１と各プロジェクタの描画を行う複数台のＰＣ４０２がネットワークを介して接続されている構成を有する。なお、第１実施形態における構成要件と同様の機能や構成については、同一の名称を付すことで、各構成の詳細な説明については省略する。具体的にいうと、本実施形態に係る光学投影制御装置は、その装置構成において情報送信部と情報受信部を有する点で異なり、図６に示すホストＰＣ４０１と複数のレンダリング専用ＰＣ４０２（４０２１，４０２２，・・・４０２Ｎ）により実現可能である。

図６に示す通り、カメラ１０００と接続した１台のホストＰＣ４０１は、複数台のプロジェクタ１０１１，１０１２，・・・１０１Ｎと、レンダリング専用ＰＣ４０２１，４０２２，・・・４０２Ｎを介して接続されている。この時のホストＰＣ４０１、レンダリング専用ＰＣ４０２１，４０２２，・・・４０２Ｎ間の接続方式としては、ＴＣＰ／ＩＰや、ＵＤＰなどの通信プロトコルを用いるものとする。

次に、図７を参照して、ホストＰＣ４０１とレンダリング専用ＰＣ４０２１の構成の一例について説明する。図７は、光学投影制御装置としてのホストＰＣ４０１とレンダリング専用ＰＣ４０２１の構成の一例を示すブロック図である。
図７に示す通り、ホストＰＣ４０１は、画像入力部４０２０と、事前校正部４１００と、差分画像作成部４０３０と、コンテンツ映像記憶部４０９０と、遮蔽光源推定部４０４０と、情報送信部４０７０を有する。また、各レンダリング専用ＰＣ４０２は、照度制御部４０５０と、重畳投影部４０６０と、情報受信部４０８０と、記憶部４１０１を有している。なお、ここでは、レンダリング専用ＰＣ４０２１を例に説明するが、他のレンダリング専用ＰＣ４０２２，・・・，４０２Ｎも同様の構成と機能を有し、詳細な説明は省略する。

ここで、情報送信部４０７０は、ホストＰＣ４０１によって得られた情報をネットワークＮＷを介して各レンダリング専用ＰＣ４０２（４０２１，４０２２，・・・４０２Ｎ）に送信する。この情報送信部４０７０は、例えば、差分画像データＤ１３、平面射影変換行列データＤ１４、アルファマスクデータＤ１５、事前変形させたコンテンツ映像データＤ１６、背景画像データＤ１７および遮蔽マップＤ１８を送信する。
情報受信部４０８０は、各レンダリング専用ＰＣ４０２に対してホストＰＣ４０１から送信された情報を受信し、差分画像データＤ１３、平面射影変換行列データＤ１４、アルファマスクデータＤ１５、背景画像データＤ１７および遮蔽マップＤ１８を照度制御部４０５０に出力し、事前変形させたコンテンツ映像データＤ１６を重畳投影部４０６０に出力する。
記憶部４１０１は、例えば、初期設定により、オフラインで事前にキャリブレーションされた初期値（例えば、事前変形させたアルファマスクデータＤ１５、および事前変形させたコンテンツ映像データＤ１６）を記憶する。この場合、各レンダリング専用ＰＣ４０２は、画像入力部４０２と事前校正部４１００とコンテンツ映像記憶部４０９０に相当する構成をそれぞれ有しており、各プロジェクタ１０１１，１０１２，・・・１０１Ｎが投影する投影像をスクリーン１０９０上の同一位置に重ねるためのキャリブレーションを行い、事前変形させたアルファマスクデータＤ１５、および事前変形させたコンテンツ映像データＤ１６を得るものであってもよい。

次に、図８を参照して、本実施形態に係る光学投影制御装置（ホストＰＣ４０１とレンダリング専用ＰＣ４０２１）による光学投影制御方法の一例について説明する。図８は、本実施形態に係る光学投影制御装置（ホストＰＣ４０１とレンダリング専用ＰＣ４０２１）による光学投影制御方法の一例を示すフローチャートである。
ホストＰＣ４０１とレンダリング専用ＰＣ４０２は、コンテンツ映像記憶部４０９０から読み出したコンテンツ映像データＤ１０に基づき、事前変形させたアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６と、事前変形済みアルファマスクデータＤ１９とを作成して、プロジェクタが投影可能なデータ形式へ変換し、このデータを対応するプロジェクタ１０１１、１０１２、・・・１０１Ｎのそれぞれに出力する。各プロジェクタ１０１１、１０１２、・・・１０１Ｎは、入力するコンテンツ映像データＤ１０に基づき、コンテンツ映像の投影像をスクリーン１０９０に投影する。この投影像が投影されているスクリーン１０９０を、カメラ１０００が撮影して、撮影画像データＤ１１をホストＰＣ４０１の画像入力部４０２０に出力する。

画像入力部４０２０は、入力する撮影画像データＤ１１を、差分画像作成部４０３０と事前校正部４１００に出力する。
そして、事前校正部４１００は、この撮影画像データＤ１１およびコンテンツ映像記憶部４０９０から読み出したコンテンツ映像データＤ１０に基づき、事前校正処理、すなわち、キャリブレーション処理、アルファマスク初期化処理、重畳投影処理、および背景画像作成処理を行う（ステップＳＴ５０１０）。
事前校正部４１００は、これにより、平面射影変換行列データＤ１４と、アルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６と、背景画像データＤ１７を生成するとともに、保持しているデータの出力を行う。事前校正部４１００は、背景画像データＤ１７を差分画像作成部４０３０に、平面射影変換行列データＤ１４と、アルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６と、背景画像データＤ１７を情報送信部４０７０へ出力する。

次いで、照度制御部４０５０は、記憶部４１０１に記憶されている初期化したアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６に基づき、事前変形済みアルファマスクデータＤ１９とを作成して、重畳投影部４０６０に出力する。
重畳投影部４０６０は、第１実施形態に記載の事前校正部１０８０における重畳投影処理部１８３による重畳投影処理と同様に、全プロジェクタ１０１０による各投影像をスクリーン１０９０上の同一位置に重ね合わせるように投影するため、照度制御部４０５０から伝送された事前変形させたコンテンツ映像データＤ１６と、事前変形済みアルファマスクデータＤ１９をプロジェクタが投影可能なデータ形式へ変換し、それらデータを各プロジェクタ１０１０へ出力する（ステップＳＴ５０２０）。

そして、ホストＰＣ４０１において、差分画像作成部４０３０が、画像入力部４０２０から入力する観測画像（撮影画像データＤ１１）と事前校正部４１００から入力する背景画像（背景画像データＤ１７）に基づき、照度の差を示す差分画像データＤ１３を作成し（ステップＳＴ５０３０）、遮蔽光源推定部４０４０と情報送信部４０７０へ出力する。

遮蔽光源推定部４０４０は、どのプロジェクタから発せられた投影光が遮蔽されているか判定し、遮蔽マップＤ１８を作成する（ステップＳＴ５０４０)。作成した遮蔽マップＤ１８は情報送信部４０７０へ伝送される。

情報送信部４０７０は、入力する情報（ホストＰＣ４０１が保持している情報）をネットワークＮＷを介して、すべてのレンダリング専用ＰＣ４０２１，４０２２，・・・，４０２Ｎ内の情報受信部４０８０へ伝送する（ステップＳＴ５０５０)。
以上の処理を、影除去処理および照射光抑制処理を継続する間、繰り返す（ステップＳＴ５０６０)。

一方、例えばレンダリング専用ＰＣ４０２１の情報受信部４０８０は、ホストＰＣ４０１から送信されたデータを受信し（ステップＳＴ５０７０）、ホストＰＣ４０１から送信された全てのデータを受信し終わるまで、情報受信を繰り返す（ステップＳＴ５０８０）。

この情報受信部４０８０は、受信した差分画像データＤ１３、平面射影変換行列データＤ１４、アルファマスクデータＤ１５、背景画像データＤ１７および遮蔽マップＤ１８を、照度制御部４０５０に出力する。また、情報受信部４０８０は、事前変形させたコンテンツ映像データＤ１６を重畳投影部４０６０に出力する。

照度制御部４０５０は、情報受信部４０８０から入力する差分画像データＤ１３と、平面射影変換行列データＤ１４を用いてアルファマスクの更新を行う（ステップＳＴ５０９０)。

重畳投影部４０６０は、情報受信部４０８０から入力する事前変形させたコンテンツ映像データＤ１６、照度制御部４０５０から入力する更新されたアルファマスクデータＤ１５´をプロジェクタ１０１１が投影可能なデータ形式へ変換し、そのデータをプロジェクタ１０１１へ出力する（ステップＳＴ５１００）。

以上の伝送形態においても、第１実施形態と同様に、スクリーン１０９０上の影を除去すると同時に、スクリーン１０９０とプロジェクタ１０１０間の物体への照射光を抑制する効果を得ることが可能である。

次に、図９を参照して、本実施形態に係る光学投影制御装置（ホストＰＣ４０１とレンダリング専用ＰＣ４０２１）による光学投影制御方法の他の例について説明する。図９は、本実施形態に係る光学投影制御装置による光学投影制御方法の他の例を示すフローチャートである。これは、ホストＰＣ４０１によって、各レンダリング専用ＰＣ４０２についてのキャリブレーションをオンラインで行う実施形態である。

まず、ホストＰＣ４０１の事前校正部４１００のキャリブレーション処理部１８１が、画像入力部４０２０から入力される撮影画像データＤ１１に基づき、プロジェクタ１０１０からの投影像をスクリーン１０９０上の所定の位置に投影するため、カメラ１０００、プロジェクタ１０１０、スクリーン１０９０の三者間の平面射影変換行列データＤ１４を算出する（ステップＳＴ６０１０）。
そして、ホストＰＣ４０１の事前校正部４１００のキャリブレーション処理部１８１は、平面射影変換行列データＤ１４を、事前校正部４１００の重畳投影処理部１８３と背景画像作成部１８４に出力するとともに、情報送信部４０７０を介してレンダリング専用ＰＣ４０２１に送信する。
また、事前校正部４１００のキャリブレーション処理部１８１は、画像入力部４０２０から入力する撮影画像データＤ１１を事前校正部４１００のアルファマスク初期化処理部１８２に出力する。

次いで、事前校正部４１００のアルファマスク初期化処理部１８２は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎの合計の照度をプロジェクタ１台分に相当する照度とするよう、各プロジェクタのアルファマスクの初期化を行う（ステップＳＴ６０２０）。この事前校正部４１００のアルファマスク初期化処理部１８２は、初期化したアルファマスクデータＤ１５を事前校正部４１００の重畳投影処理部１８３に出力する。

そして、事前校正部４１００の重畳投影処理部１８３は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎの投影像をスクリーン上の同一位置に重ね合わせるように投影するため、コンテンツ映像記憶部１０７０から読み出した投影用のコンテンツ映像データＤ１０を、平面射影変換行列データＤ１４を用いて事前変形させる（ステップＳＴ６０３０）。
次いで、事前校正部４１００は、上述の通り得られた、平面射影変換行列データＤ１４と、初期化したアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６と情報送信部４０７０に出力する。この情報送信部４０７０は、入力する平面射影変換行列データＤ１４と、初期化したアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６とを、ネットワークＮＷを介してレンダリング専用ＰＣ４０２１に送信する（ステップＳＴ６０４０）。
レンダリング専用ＰＣ４０２１の情報受信部４０８０は、平面射影変換行列データＤ１４と、初期化したアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６とを受信し、平面射影変換行列データＤ１４と、初期化したアルファマスクデータＤ１５とを照射制御部４０５０に出力し、事前変形させたコンテンツ映像データＤ１６を重畳投影部４０６０に出力する（ステップＳＴ６０５０）。

次いで、事前校正部４１００の背景画像作成処理１８４は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎからの投影像がスクリーン１０９０上においてプロジェクタ１台分の照度になるよう重畳投影した後、スクリーン１０９０とプロジェクタ１０１０間に遮蔽物の無い状況下のスクリーン１０９０全体をカメラで撮影して得られた観測画像（背景画像データＤ１７)を、差分画像作成部４０３０へ出力する。
そして、照度制御部４０５０は、情報受信部４０８０から入力する平面射影変換行列データＤ１４と、初期化したアルファマスクデータＤ１５と、事前変形させたコンテンツ映像データＤ１６に基づき、事前変形済みアルファマスクデータＤ１９とを作成して、重畳投影部４０６０に出力する。
重畳投影部４０６０は、全プロジェクタ１０１０による各投影像をスクリーン１０９０上の同一位置に重ね合わせるように投影するため、情報受信部４０８０から伝送された事前変形させたコンテンツ映像データＤ１６と、照度制御部４０５０から伝送された事前変形済みアルファマスクデータＤ１９をプロジェクタが投影可能なデータ形式へ変換し、それらデータを各プロジェクタ１０１０へ出力する（ステップＳＴ６０６０）。

次いで、事前校正部４１００の背景画像作成処理１８４は、全プロジェクタ１０１１、１０１２、・・・、１０１Ｎからの投影像がスクリーン１０９０上においてプロジェクタ１台分の照度になるよう重畳投影した後、スクリーン１０９０とプロジェクタ１０１０間に遮蔽物の無い状況下のスクリーン１０９０全体をカメラで撮影して得られた観測画像（背景画像データＤ１７)を、差分画像作成部１０３０へ出力する（ステップＳＴ６０７０）。

［第３実施形態］
次に、本発明に係る第３実施形態について説明する。
上述の第１実施形態は、プロジェクタ間の照度差を用いて、スクリーン１０９０上の影領域がどのプロジェクタが遮蔽されたことにより生じたかを推定するものである。これに対して、本実施形態は、プロジェクタからの投影像に対して色の差をつけることで、色の直行性に基づいてプロジェクタ１０１０の遮蔽と影領域とを関係づける点で異なる。以降は、プロジェクタ投影像の色を操作する処理を含む部分についてのみ説明する。なお、ハードウェア資源としては、第１実施形態で説明した光学投影制御装置１００が利用可能であり、当該光学投影制御装置１００を用いて本実施形態を実行する例について、以下説明する。

３台のプロジェクタ１０１１，１０２０，１０１３の投影像に色の差を生じさせる方法について、図３を参照して説明する。ここでは、第１実施形態と同様に、図３（ａ）のような機器配置および情報伝送形態での処理を考える。

事前校正部１０８０における重畳投影処理部１８３は、コンテンツ映像記憶部１０７０から読み出した投影用のコンテンツ映像データＤ１０を事前変形させた後、各プロジェクタに出力する輝度値の初期値を与える。例えば、重畳投影処理部１８３は、プロジェクタ１０１１に対する事前変形させたコンテンツ映像データＤ１６の赤色成分ｒ（ｕ，ｖ）のみ与え、プロジェクタ１０１２に対する事前変形させたコンテンツ映像データＤ１６の緑色成分ｇ（ｕ，ｖ）のみを与え、プロジェクタ１０１３に対する事前変形させたコンテンツ映像データＤ１６の青色成分ｂ（ｕ，ｖ）のみ与える。つまり、各プロジェクタ１０１１，１０１２，１０１３には、各単色の色成分で構成される事前変形させたコンテンツ映像データＤ１６が入力され、各プロジェクタがこの入力情報に従って投影像をスクリーン１０９０に投影することによって、各色成分がスクリーン上において重複（混合）してカラー画像を構成する。

次に、遮蔽光源推定部１０４０における遮蔽光源推定処理部１０４０について述べる。
例えば、各プロジェクタ１０１１，１０１２，１０１３は、異なる色の映像（投影像）を投影しているため、プロジェクタの光がさえぎられると、図３（ｂ）のスクリーン１０９０上の各影領域にごとに異なる色の影が生じる。
差分画像生成部１０３０から出力された差分画像データΔ_ｔ（ｕ，ｖ）の赤、緑、青の画素値をそれぞれ、ΔＲ_ｔ（ｕ，ｖ）、ΔＧ_ｔ（ｕ，ｖ）、ΔＢ_ｔ（ｕ，ｖ）としたとき、遮蔽光源推定部１０４０は、差分画像データＤ１３の各色の変化量から、次式にあるように図３（ｂ）の各影領域Ａ〜Ｆを判定することができる。

遮蔽光源推定部１０４０は、得られた判定結果から第１実施形態と同様に各画素ごとに遮蔽マップＤ１８を作成する。また差分画像データΔ_ｔ（ｕ，ｖ）を、照度制御部１０５０へ出力する。

なお、差分画像データΔ_ｔ（ｕ，ｖ）において遮蔽されたプロジェクタからの色成分のみがカメラ１０００によって観測されるようにするため、非特許文献４に記載されているようなプロジェクタカメラシステムの輝度補正を事前校正部１０８０で行うものであってもよい。
なお、非特許文献４は、Ｋ． Ｆｕｊｉｉ， Ｍ．Ｄ．Ｇｒｏｓｓｂｅｒｇ， ａｎｄ Ｓ．Ｋ．Ｎａｙａｒ: “Ａ Ｐｒｏｊｅｃｔｏｒ-Ｃａｍｅｒａ Ｓｙｓｔｅｍ ｗｉｔｈ Ｒｅａｌ-Ｔｉｍｅ ＰｈｏｔｏｍｅｔｒｉｃＡｄａｐｔａｔｉｏｎ ｆｏｒ Ｄｙｎａｍｉｃ Ｅｎｖｉｒｏｎｍｅｎｔｓ“， Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ (ＣＶＰＲ)， ｖｏｌ． １， ｐｐ．８１４-８２１ (２００５)である。

照度制御部１０５０は、アルファマスクの更新と事前変形に加え、投影するコンテンツ映像の輝度値の更新を行う。アルファ値の更新は、第１実施形態と同様の更新式（１４）を用いる。但し、第１実施形態と異なり、アルファ値は式（５）だけを満たしていればよく、式（１０）および式（１１）の拘束条件を満たさなくてもよい。

次に、投影するコンテンツ映像データの輝度値の更新について述べる。まず遮蔽光源推定部１０４０は、差分画像作成部１０３０から入力される差分画像Δ_ｔ（ｕ，ｖ）を各プロジェクタ１０１０の平面射影変換行列Ｈ_ｓｐ ^−１を作用させて事前変形させる。時刻ｔにおいてｉ番目のプロジェクタの平面射影変換行列により事前変形させた差分画像の赤、緑、青の画素値をそれぞれ、Δｒ_ｔ ^（ｉ）（ｕ，ｖ）、Δｇ_ｔ ^（ｉ）（ｕ，ｖ）、Δｂ_ｔ ^（ｉ）（ｕ，ｖ）とする。また、時刻ｔにおいてｉ番目のプロジェクタ１０１０から投影されるコンテンツ映像データの赤、緑、青の画素値をそれぞれｒ_ｔ ^（ｉ）（ｕ，ｖ）、ｇ_ｔ ^（ｉ）（ｕ，ｖ）、ｂ_ｔ ^（ｉ）（ｕ，ｖ）とする。このとき、時刻ｔ＋１においてｉ番目のプロジェクタから投影されるコンテンツ映像の画素値ｒ_ｔ＋１ ^（ｉ）（ｕ，ｖ）、ｇ_ｔ＋１ ^（ｉ）（ｕ，ｖ）、ｂ_ｔ＋１ ^（ｉ）（ｕ，ｖ）は、それぞれ、以下の式（１６）（１７）（１８）により更新する。

但し、σ´はシステムパラメータである。なお、σ´は、フィードバックループのパラメータであって、上述のフィードバックループのパラメータσと同様に設定可能である。

そして、照度制御部１０５０は、得られた時刻ｔ＋１の事前変形済みアルファマスクと、コンテンツ映像データの画素値を、重畳投影部１０６０へ伝送し、さらに次の更新時に使用するため保存しておく。上記の更新処理を影除去処理および照射光抑制処理を継続する間、繰り返す。

上記の実施形態では、第１実施形態と同様に、１台のＰＣが複数台のプロジェクタと接続され処理を行う例について説明したが、第２実施形態と同様に、複数台のＰＣをネットワークを介して接続し、処理を行う場合についても、本実施形態に係る光学投影制御方法を適用可能であり、同様の効果を得ることが可能である。

本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。

なお、上述した第１〜３実施形態において、光学投影制御装置による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１００・・・光学投影制御装置、１０００・・・カメラ、１０１０（１０１１、１０１２、・・・、１０１Ｎ）・・・プロジェクタ、１０２０・・・画像入力部、１０３０・・・差分画像作成部、１０４０・・・遮蔽光源推定部、１０５０・・・照度制御部、１０６０・・・重畳投影部、１０７０・・・コンテンツ映像記憶部、１０８０・・・事前校正部、１０９０・・・スクリーン、１８１・・・キャリブレーション処理部、１８２・・・マルファマスク初期化処理部、１８３・・・重畳投影処理部、１８４・・・背景画像作成部、４０１・・・ホストＰＣ、４０２（４０２１，４０２２，・・・４０２Ｎ）・・・レンダリング専用ＰＣ、４０２０・・・画像入力部、４０３０・・・差分画像作成部、４０４０・・・遮蔽光源推定部、４０５０・・・照度制御部、４０６０・・・重畳投影部、４０７０・・・情報送信部、４０８０・・・情報受信部、４０９０・・・コンテンツ映像記憶部、４０１０・・・事前校正部、４１０１・・・記憶部

Claims (8)

1. 複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御方法において、
   前記複数のプロジェクタによってコンテンツデータに基づく光学像が投影されているスクリーンを撮影して撮影画像データを取得するステップと、
   前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、光量の差に応じた差分画像データを作成するステップと、
   当該差分画像データに基づき、前記プロジェクタから照射される光学像の光量に対して、前記スクリーン上に投影されている投影像の光量が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断するステップと、
   を備えることを特徴とする光学投影制御方法。
2. 複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御方法において、
   前記複数のプロジェクタによってコンテンツデータに基づく光学像が各プロジェクタに割り当てられたそれぞれ異なる色で投影されているスクリーンを撮影して撮影画像データを取得するステップと、
   前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、色の差に応じた差分画像データを作成するステップと、
   当該差分画像データに基づき、前記スクリーン上に投影されている投影像における各色の変化量を算出して、各プロジェクタに対応する色が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断するステップと、
   を備えることを特徴とする光学投影制御方法。
3. 前記光学像と投影像の照度が異なるとして検出されたプロジェクタとは異なるプロジェクタに対して、前記光学像と投影像の照度の差分を補正したコンテンツデータを作成して当該プロジェクタに出力するステップとを備えることを特徴とする請求項１あるいは２に記載の光学投影制御方法。
4. 複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御装置において、
   前記複数のプロジェクタによってコンテンツデータに基づく光学像が投影されているスクリーンを撮影して撮影画像データを取得するカメラから前記撮影画像データを入力する画像入力部と、
   前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた遮蔽なし撮像画像データと、前記撮影画像データとの、光量の差に応じた差分画像データを作成する差分画像作成部と、
   当該差分画像データに基づき、前記プロジェクタから照射される光学像の光量に対して、前記スクリーン上に投影されている投影像の光量が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断する遮蔽光源推定部を備える光学投影制御装置と
   を備えることを特徴とする光学投影制御装置。
5. 複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御装置において、
   前記複数のプロジェクタによってコンテンツデータに基づく光学像が各プロジェクタに割り当てられたそれぞれ異なる色で投影されているスクリーンを撮影して撮影画像データを取得するカメラから前記撮影画像データを入力する画像入力部と、
   前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、色の差に応じた差分画像データを作成する差分画像作成部と、
   当該差分画像データに基づき、前記スクリーン上に投影されている投影像における各色の変化量を算出して、各プロジェクタに対応する色が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断する遮蔽光源推定部と、
   を備えることを特徴とする光学投影制御装置。
6. 複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御システムにおいて、
   前記複数のプロジェクタによってコンテンツデータに基づく光学像が投影されているスクリーンを撮影して撮影画像データを取得するカメラと、
   前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、光量の差に応じた差分画像データを作成する差分画像作成部と、当該差分画像データに基づき、前記プロジェクタから照射される光学像の光量に対して、前記スクリーン上に投影されている投影像の光量が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断する遮蔽光源推定部とを備える光学投影制御装置と
   を備えることを特徴とする光学投影制御システム。
7. 複数のプロジェクタからの光学像をスクリーン上に重ねて投影する光学投影制御システムにおいて、
   前記複数のプロジェクタによってコンテンツデータに基づく光学像が各プロジェクタに割り当てられたそれぞれ異なる色で投影されているスクリーンを撮影して撮影画像データを取得するカメラと、
   前記スクリーンとプロジェクタとの間に遮蔽物が存在しない状態で前記コンテンツデータに基づく光学像をスクリーンに投影して予め撮影しておいた背景画像データと、前記撮影画像データとの、色の差に応じた差分画像データを作成する差分画像作成部と、当該差分画像データに基づき、前記スクリーン上に投影されている投影像における各色の変化量を算出して、各プロジェクタに対応する色が変化した前記プロジェクタを、投影像の少なくとも一部が遮断されているプロジェクタであると判断する遮蔽光源推定部とを備える光学投影制御装置と、
   を備えることを特徴とする光学投影制御システム。
8. コンピュータを、請求項１〜３のいずれか一項に記載の各工程を実行させるためのプログラム。

Images