JP2015060327A - 投影装置、投影方法及び情報処理システム - Google Patents

Abstract

【課題】複数の操作対象に対するユーザのジェスチャをより多く認識する。【解決手段】投影装置１０は、投影部１２０と、撮影部１１０と、検出部１３７と、指示対象情報記憶部１４２と、判定部１４１と、要求部１４４とを有する。投影部は、投影面に投影画像を投影する。撮影部は、投影面に含まれる撮影領域を撮影する。検出部は、撮影部によって撮影された撮影画像に基づいてユーザによる投影画像に対する指示動作を検出する。指示対象情報記憶部は、指示の対象となる前記投影面に含まれる指示対象に関する指示対象情報を記憶する。判定部は、指示対象情報記憶部によって記憶された指示対象情報に基づいて、撮影領域に含むことができない指示対象の有無を判定する。要求部は、判定部によって撮影領域に含むことができない指示対象があると判定された場合に、他の投影装置へ撮影の要求を行なう。【選択図】図３

Description

本発明は、投影装置、投影方法及び情報処理システムに関する。

従来、プロジェクタ等の投影装置によってスクリーン等の投影面に投影される投影画像に対して、電子ペン等のポインティングデバイスを利用してポインティング位置を移動させることにより、投影装置を操作する技術が知られている。これに対して、ポインティングデバイスを利用しなくても投影装置を操作する技術も存在する。例えば、ユーザの所定動作であるジェスチャをカメラで認識し、ジェスチャに対応する操作を投影装置に対して実行するというものである。さらに、投影画像に含まれるボタン等の操作対象を操作するための動作がユーザによって行なわれた場合に、この動作をカメラで認識し、操作対象の操作に対応する処理を投影装置に対して実行させるというものもある。また、複数のプロジェクタを並べて配置し、全体として大画面になる投影面に投影画像を投影するマルチ投影と呼ばれる技術に対しても、上述したジェスチャに応じた操作を実現することも可能である。

また、これらの技術においては、ポインティング位置に応じた投影装置の操作が実行されることから、現在のポインティング位置を高精度に検出できることが望ましい。ポインティング位置を高精度に検出するための技術としては、例えば、投影面の所定箇所をマーキングした画像を保持しておき、マーキングした画像と現在投影されている画像との差分をとることにより、ポインティング位置を検出するものがある。かかる技術では、マーカを常時表示させることなく、現在のポインティング位置を検出できる。

しかしながら、上述した従来技術では、ユーザの動作をカメラによって認識することで投影装置を操作する状況において、カメラによって撮像可能な領域を表す撮像領域が投影画像よりも小さい場合に、投影装置に対する操作を検出することができない場合がある。撮像領域が投影画像よりも小さくなるケースは、投影面とカメラとの距離が近いことで発生する。つまり、投影面とカメラとの距離を十分に確保できない場合には、上記のような問題が発生する。このことは、マルチ投影による大画面の投影面に投影画像を投影する場合にも同様に発生する問題である。

本発明は、上記に鑑みてなされたものであって、マルチ投影において１の投影装置によって投影される１の投影面に対する複数の指示動作を検出することが可能である投影装置、投影方法及び情報処理システムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る投影装置は、ネットワークを介して少なくとも１つの他の投影装置と接続される投影装置において、投影面に投影画像を投影する投影部と、前記投影面に含まれる撮影領域を撮影する撮影部と、前記撮影部によって撮影された撮影画像に基づいてユーザによる前記投影画像に対する指示動作を検出する検出部と、指示の対象となる前記投影面に含まれる指示対象に関する指示対象情報を記憶する指示対象情報記憶部と、前記指示対象情報記憶部によって記憶された指示対象情報に基づいて、前記撮影領域に含むことができない指示対象の有無を判定する判定部と、前記判定部によって前記撮影領域に含むことができない指示対象があると判定された場合に、前記他の投影装置へ撮影の要求を行なう要求部とを有する。

本発明の一つの様態によれば、複数の操作対象に対するユーザのジェスチャをより多く認識することができるという効果を奏する。

図１は、実施の形態１に係る投影システムの適用イメージの例を示す図である。 図２は、実施の形態１に係るプロジェクタのハードウェア構成例を示す図である。 図３は、実施の形態１に係る装置構成例を示す機能ブロック図である。 図４は、実施の形態１に係るマルチ投影の例を説明する図である。 図５は、座標変換行列の算出例について説明する図である。 図６は、実施の形態１に係る座標変換処理の流れの例を示すシーケンス図である。 図７は、実施の形態１に係るボタン位置検出処理の流れの例を示すシーケンス図である。 図８は、実施の形態１に係るコンテンツ画像（投影画像）全体を撮影する処理の例を説明する図である。 図９は、実施の形態１に係る支援要請処理の流れの例を示すシーケンス図である。 図１０は、実施の形態１に係る支援要請の判定処理の流れの例を示すフローチャートである。 図１１は、実施の形態１に係る捕捉するボタン画像の決定処理の流れの例を示すフローチャートである。 図１２は、実施の形態１に係る隣接するプロジェクタに支援を依頼する際の座標変換の例を説明する図である。 図１３は、実施の形態１に係るカメラ動作の移動先の位置決定処理の流れの例を示すフローチャートである。 図１４は、実施の形態１に係るカメラ動作の移動先の具体例を説明する図である。 図１５は、実施の形態１に係る支援要請に対する回答の判定処理の流れの例を示すフローチャートである。 図１６は、支援要請に対して保留する旨の回答が発生する場合のボタン画像の捕捉例を説明する図である。 図１７は、再帰的な支援要請処理の流れの例を示すフローチャートである。 図１８は、支援要請に対して再帰的に支援を依頼する場合のボタン画像の捕捉例を説明する図である。 図１９は、支援要請に対して支援可能な範囲を設定する場合のボタン画像の捕捉例を説明する図である。 図２０は、支援要請に対してカメラ動作の位置を再決定する場合のボタン画像の捕捉例を説明する図である。 図２１は、支援要請時にカメラが故障している場合のボタン画像の捕捉例を説明する図である。 図２２は、支援要請に対して全てのボタン画像を捕捉できない場合のボタン画像の捕捉例を説明する図である。 図２３は、ボタン画像の面積に応じて優先度を決定する例を説明する図である。 図２４は、ボタン画像がカメラ画角よりも大きい場合のカメラ動作の移動先の位置決定処理の流れの例を示すフローチャートである。 図２５は、ポインティング操作が可能な範囲をフィードバックする例を説明する図である。 図２６は、ポインティング操作が可能なボタン画像をフィードバックする例を説明する図である。

以下に添付図面を参照して、本発明に係る投影装置、投影方法及び情報処理システムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。

（実施の形態１）
［投影システムの適用イメージ］
図１を用いて、実施の形態１に係る投影システムの適用イメージについて説明する。図１は、実施の形態１に係る投影システムの適用イメージの例を示す図である。なお、投影システムは、情報処理システムの一例である。

図１に示すように、実施の形態１に係る投影システムは、プロジェクタＡやプロジェクタＢ等の複数のプロジェクタを使用したマルチ投影により、投影面Ａや投影面Ｂ等の複数の投影面からなる大画面に投影画像を投影するものである。つまり、プロジェクタＡは投影面Ａに投影画像を投影し、プロジェクタＢは投影面Ｂに投影画像を投影している。また、各プロジェクタにはカメラが搭載されている。各プロジェクタに搭載されたカメラは、ユーザによるジェスチャを認識するために利用される。本実施の形態では、投影面とプロジェクタとの距離が近いために、各プロジェクタに搭載されたカメラは投影面の一部しか撮影できない。また、図１の例では、投影面Ａの投影画像に、２つのボタン画像が配置されている。ボタン画像は、ユーザによるジェスチャの操作対象となるオブジェクトである。

上述した構成において、プロジェクタＡは、投影面Ａに投影された投影画像に配置されたボタン画像を、自身に搭載されたカメラを利用して検出する（図１の（１）参照）。ボタン画像の検出処理は、各プロジェクタによって行なわれる。そして、プロジェクタＡは、自身に搭載されたカメラだけでは２つのボタンを捕捉することができないため、隣接するプロジェクタＢに、投影面Ａに投影された投影画像に配置されたボタン画像の捕捉の支援を依頼する（図１の（２）参照）。

プロジェクタＢは、プロジェクタＡからの支援依頼を受け付けると、支援を行なえるか否かを判断する（図１の（３）参照）。支援を行なえるか否かの判断は、例えば、自身がボタン画像を捕捉しているか否か、又は、自身が投影する投影画像にボタン画像が含まれているか否かにより行なわれる。図１の例では、プロジェクタＢによって投影される投影面Ｂの投影画像にはボタン画像が配置されていないため、プロジェクタＢは、支援を行なえると判断する。そして、プロジェクタＢは、支援を行なえる旨の回答をプロジェクタＡに対して行なう（図１の（４）参照）。

プロジェクタＢから支援を行なえる旨の回答を得たプロジェクタＡは、支援してもらうボタン画像の座標を、プロジェクタＢに対して通知する（図１の（５）参照）。支援してもらうボタン画像の座標は、プロジェクタＢ側から見たときの座標に変換されたうえで通知される。これにより、プロジェクタＢは、指示された座標に従って、自身に搭載されたカメラの向きを制御し、投影面Ａに投影された投影画像に配置されたボタン画像を捕捉する支援を行なう（図１の（６）参照）。

つまり、本実施の形態では、マルチ投影のために複数台のプロジェクタを利用する場合に、投影面とプロジェクタとの距離が近くても、複数台のプロジェクタ間で連携をとりながら、より多くの操作対象を捕捉する。これにより、複数の操作対象に対するユーザのジェスチャをより多く認識することを実現する。

［実施の形態１に係るプロジェクタのハードウェア構成］
次に、図２を用いて、実施の形態１に係るプロジェクタのハードウェア構成について説明する。図２は、実施の形態１に係るプロジェクタのハードウェア構成例を示す図である。

図２に示すように、プロジェクタ１０は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、撮影装置１４と、投影装置１５と、Ｉ／Ｆ１６とを有する。

これらのうち、ＣＰＵ１１は、プロジェクタ１０の全体制御を行なう。ＲＯＭ１２は、ＣＰＵ１１の制御により実行される処理で利用されるプログラムや各種データを記憶する。ＲＡＭ１２は、ＣＰＵ１１の制御により実行される処理で利用されるデータ等を一時的に記憶する。撮影装置１４は、投影面やユーザのジェスチャを撮影し、ＲＡＭ１３に記録する。撮影装置１４は、例えばカメラ等である。投影装置１５は、ＲＡＭ１３上に展開されたコンテンツ画像を投影する。Ｉ／Ｆ１６は、外部機器等と各種データのやり取りを行なう。Ｉ／Ｆ１６は、例えば、赤外線通信、ＵＳＢ（Universal Serial Bus）、ＬＡＮ（Local Area Network）、ＩＥＥＥ１３９４等のためのインタフェースである。

［実施の形態１に係る装置構成］
次に、図３を用いて、実施の形態１に係る装置構成を説明する。図３は、実施の形態１に係る装置構成例を示す機能ブロック図である。

図３に示すように、プロジェクタ１０は、撮影モジュール１１０と、投影モジュール１２０と、ポインティング操作検出モジュール１３０と、協調動作制御モジュール１４０とを有する。これらのうち、撮影モジュール１１０は、投影面やユーザによるジェスチャを撮影する。撮影モジュール１１０によって撮影される投影面は、プロジェクタ１０自身によって投影している投影面に限られない。投影モジュール１２０は、投影面にコンテンツ画像（投影画像）を投影する。

ポインティング操作検出モジュール１３０は、プロジェクタ１０が投影しているコンテンツ画像（投影画像）を解析し、カメラの向きを制御するとともに、カメラ画像からポインティング操作を検出し、操作に応じたコマンドを出力する。また、ポインティング操作検出モジュール１３０は、カメラ制御部１３１と、カメラ画像記憶部１３２と、撮像領域位置算出部１３３と、ボタン画像認識部１３４と、ボタン画像位置算出部１３５と、カメラ動作位置決定部１３６と、ポインティング操作検出部１３７とを有する。

カメラ制御部１３１は、撮影モジュール１１０を制御し、カメラの向きを制御する。カメラ画像記憶部１３２は、カメラによって撮影された画像を表すカメラ画像を記憶する。撮像領域位置算出部１３３は、カメラ画像記憶部１３２によって記憶されたカメラ画像をもとに、カメラによって撮影されている領域を表す撮像領域（カメラ画角）の４隅座標を算出する。かかるカメラ画角は例えば方形であり、撮像領域位置算出部１３３は、該方形の各頂点である４隅の座標を算出する。なお、カメラ画角が方形でない場合は、そのときのカメラ画角の形を包含する最小の方形を求め、求めた方形の４隅座標を算出すれば良い。また、算出される座標は、プロジェクタ１０がコンテンツ画像（投影画像）を投影している投影面に対する座標である。

ボタン画像認識部１３４は、カメラ画像記憶部１３２によって記憶されたカメラ画像から、予め記憶しているボタン画像と一致するボタン画像を探索する。ボタン画像位置算出部１３５は、ボタン画像認識部１３４によって探索されたボタン画像の４隅座標を算出する。なお、算出される座標は、プロジェクタ１０がコンテンツ画像（投影画像）を投影している投影面に対する座標である。カメラ動作位置決定部１３６は、撮像領域位置算出部１３３によって算出されたカメラ画角の４隅座標と、ボタン画像位置算出部１３５によって算出されたボタン画像の４隅座標とから、カメラの向きを制御するためのカメラ動作の移動先の位置を決定する。ポインティング操作検出部１３７は、カメラ画像記憶部１３２によって記憶されたカメラ画像から、ユーザのジェスチャ（ポインティング操作）を検出し、ジェスチャに応じたコマンドを投影モジュール１２０に出力する。

協調動作制御モジュール１４０は、ポインティング操作検出モジュール１３０によるコンテンツ画像（投影画像）の解析結果から、プロジェクタ１０に隣接する他のプロジェクタに、ユーザの操作対象であるボタン画像の捕捉の支援を依頼する。加えて、協調動作制御モジュール１４０は、隣接するプロジェクタから支援の依頼を受け付ける。さらに、協調動作制御モジュール１４０は、隣接するプロジェクタ間の座標系の違いを変換する。また、協調動作制御モジュール１４０は、判定部１４１と、ボタンリスト記憶部１４２と、座標変換部１４３と、支援要請部１４４と、支援受付部１４５とを有する。

判定部１４１は、ポインティング操作検出モジュール１３０によって検出されたボタン画像の個数に応じて、隣接するプロジェクタにボタン画像の捕捉の支援を要請するか否かを判定する。また、判定部１４１は、隣接するプロジェクタから支援の要請が受け付けられた場合に、支援可能か否かを判定する。また、判定部１４１は、投影面の何れのボタンを隣接するプロジェクタのうち、どのカメラで捕捉するのかを判定する。ボタンリスト記憶部１４２は、ポインティング操作検出モジュール１３０によって算出されたボタン画像の座標や、検出されたボタン画像の個数等を記憶する。また、ボタンリスト記憶部１４２は、隣接するプロジェクタの支援を行なう場合のボタン画像の座標を記憶する。

座標変換部１４３は、隣接するプロジェクタにボタン画像の捕捉の支援を要請する場合に、自身の座標系を隣接するプロジェクタの座標系に変換する。支援要請部１４４は、隣接するプロジェクタにボタン画像の捕捉の支援を要請する。支援受付部１４５は、隣接するプロジェクタからのボタン画像の捕捉の支援を受け付ける。なお、支援要請部１４４や支援受付部１４５による隣接するプロジェクタとの間のデータ転送は、デイジーチェーンとする。すなわち、バケツリレー式にデータ転送が行なわれる。

［マルチ投影］
次に、図４を用いて、実施の形態１に係るマルチ投影について説明する。図４は、実施の形態１に係るマルチ投影の例を説明する図である。マルチ投影とは、隣接する各プロジェクタによって投影される投影画像を少しずつ重ね合わせて、全体として大画面の映像を投影する仕組みである。一般に、マルチ投影を実現する場合には、前処理として、映像の位置合わせや色合いの調整等が行なわれる。

図４に示す例では、プロジェクタＡ、プロジェクタＢ及びプロジェクタＣの３台でマルチ投影を行なう場合を表している。プロジェクタＡは、破線で表された投影面（枠Ａ）に投影画像を投影する。プロジェクタＢは、実線で表された投影面（枠Ｂ）に投影画像を投影する。プロジェクタＣは、一点鎖線で表された投影面（枠Ｃ）に投影画像を投影する。これらにより、図４の上方に示す大画面の映像の投影が実現する。図４の上方に示すように、プロジェクタＡとプロジェクタＢとの投影面（枠Ａ，枠Ｂ）には、重なる領域が存在する。同様に、プロジェクタＢとプロジェクタＣとの投影面（枠Ｂ，枠Ｃ）には、重なる領域が存在する。図４の下方は、枠Ａ、枠Ｂ及び枠Ｃの投影面に投影される投影画像それぞれを表している。すなわち、各プロジェクタによって投影される投影画像である。

本実施の形態では、隣接するプロジェクタが捕捉できないボタン画像を捕捉する支援を行なうために、他のプロジェクタで捕捉できないボタン画像の位置に向けて、自身のカメラの向きを制御するために、座標系の変換が行なわれる。以下に、座標系の変換について説明する。

［座標系の変換］
次に、図５を用いて、座標変換行列の算出について説明する。図５は、座標変換行列の算出例について説明する図である。

図５では、プロジェクタＡとプロジェクタＢとの隣接するプロジェクタ間で変換行列を算出する場合を説明する。変換行列を算出するためには、プロジェクタＡとプロジェクタＢとの対応点を４組以上利用する。この対応点をとるために、プロジェクタＡ及びプロジェクタＢの投影面が重なる領域の４隅に、マーカを付した画像を表示する。

例えば、プロジェクタＡの座標系をｘｙとして表す。なお、「ｘ」はプロジェクタＡの水平座標であり、「ｙ」はプロジェクタＢの垂直座標である。同様に、プロジェクタＢの座標系をｐｑとして表す。なお、「ｐ」はプロジェクタＢの水平座標であり、「ｑ」はプロジェクタＢの垂直座標である。そして、プロジェクタＡの座標系におけるマーカ「マーカ１」の座標を（ｘ_１，ｙ_１）とし、プロジェクタＢの座標系におけるマーカ「マーカ１」の座標を（ｐ_１，ｑ_１）として、図５の下方に示した数式により変換行列「Ｈ_２１」を算出する。このような対応点を４組（「マーカ１」、「マーカ２」、「マーカ３」、「マーカ４」）以上利用し、それぞれ変換行列を算出する。

［座標変換処理シーケンス］
次に、図６を用いて、実施の形態１に係る座標変換処理について説明する。図６は、実施の形態１に係る座標変換処理の流れの例を示すシーケンス図である。

図６に示すように、カメラ制御部１３１は、プロジェクタ１０によって投影されたコンテンツ画像（投影画像）全体を撮影するために撮影モジュール１１０を制御する（ステップＳ１０１）。そして、カメラ制御部１３１は、撮影により得られたカメラ画像をカメラ画像記憶部１３２に保存する（ステップＳ１０２）。座標変換部１４３は、カメラ画像記憶部１３２に保存されたカメラ画像を取得し、各マーカの座標を利用して変換行列を算出する（ステップＳ１０３）。

［ボタン位置検出処理シーケンス］
次に、図７を用いて、実施の形態１に係るボタン位置検出処理について説明する。図７は、実施の形態１に係るボタン位置検出処理の流れの例を示すシーケンス図である。

図７に示すように、カメラ制御部１３１は、プロジェクタ１０によって投影されたコンテンツ画像（投影画像）全体を撮影するために撮影モジュール１１０を制御する（ステップＳ２０１）。そして、カメラ制御部１３１は、撮影により得られたカメラ画像をカメラ画像記憶部１３２に保存する（ステップＳ２０２）。ボタン画像認識部１３４は、カメラ画像記憶部１３２に保存されたカメラ画像を取得する（ステップＳ２０３，ステップＳ２０４）。

そして、ボタン画像認識部１３４は、取得したカメラ画像において、予め記憶しているボタン画像と一致する画像を探索する（ステップＳ２０５）。なお、ボタン画像は予め記憶されたものを利用せずに、ユーザが登録したボタン画像を外部から取得して利用しても良い。ボタン画像位置算出部１３５は、ボタン画像認識部１３４によって探索された、カメラ画像に含まれるボタン画像について、コンテンツ画像（投影画像）全体に対する４隅座標を算出する（ステップＳ２０６）。そして、ボタン画像位置算出部１３５は、算出したボタン画像の４隅座標をボタンリスト記憶部１４２に登録する（ステップＳ２０７）。なお、ボタン画像位置算出部１３５は、複数のボタン画像が探索された場合には各ボタン画像についての４隅座標を算出し、ボタンリスト記憶部１４２に登録する。

［コンテンツ画像（投影画像）全体の撮影］
次に、図８を用いて、実施の形態１に係るコンテンツ画像（投影画像）全体を撮影する処理について説明する。図８は、実施の形態１に係るコンテンツ画像（投影画像）全体を撮影する処理の例を説明する図である。コンテンツ画像（投影画像）全体の撮影は、プロジェクタ１０の電源が投入されたときや、投影されるコンテンツ画像（投影画像）が切り替わったとき等に行なわれる。また、図８上段の左方は、特にカメラの方向を制御していないデフォルトの状態を表している。図８上段の左方に示すように、撮像領域３（カメラ画角）は、ボタン画像２が配置された投影画像１（コンテンツ画像）よりも小さい。

カメラ制御部１３１は、撮像領域３を投影画像１の左上方向に移動させるように、撮影モジュール１１０を制御することによりカメラの向きを制御する。撮影モジュール１１０は、投影画像１の左上の頂点座標を検出する。そして、カメラ制御部１３１は、検出された投影画像１の左上の頂点座標に、撮像領域３の左上の頂点が重なるように、撮影モジュール１１０を制御する。撮影モジュール１１０は、図８上段の右方に示すように、投影画像１の左上の頂点座標に、撮像領域３の左上の頂点が重なるように、撮像領域３を移動し、このときの撮像領域３を撮影してカメラ画像を生成する。生成されたカメラ画像は、カメラ画像記憶部１３２に保存される。

その後、カメラ制御部１３１は、図３中段の右方、図３中段の左方及び図３下段の左方に示すように、撮像領域３の右上の頂点座標に新たな撮像領域３の左上の頂点座標が重なるように、撮影モジュール１１０を制御していき、都度、撮像領域３を撮影してカメラ画像を生成する。ここでも同様に、生成されたカメラ画像は、カメラ画像記憶部１３２に保存される。

カメラ制御部１３１は、上記のような処理を、投影画像１の全ての頂点座標がカメラ画像に映るまで繰り返し実行する。そして、図８下段の左方に示す矢印の順序で投影画像１の撮影が行なわれることにより、投影画像１全体の撮影が完了する。投影画像１全体の撮影が完了したときには、投影画像１全体を網羅するカメラ画像がカメラ画像記憶部１３２に保存されることになる。また、図８下段の右方に示すように、カメラ制御部１３１は、投影画像１全体の撮影が完了すると、撮像領域３の位置をデフォルトの状態へ戻すように、撮影モジュール１１０を制御する。

［支援要請処理シーケンス］
次に、図９を用いて、実施の形態１に係る支援要請処理について説明する。図９は、実施の形態１に係る支援要請処理の流れの例を示すシーケンス図である。なお、図９では、プロジェクタＡがプロジェクタＢに対して支援要請を行なう場合を例に挙げる。

図９に示すように、プロジェクタＡにおいて、判定部１４１は、ボタンリスト記憶部１４２を参照し（ステップＳ３０１）、ボタンリストの情報を取得して、ボタン画像の個数を把握する（ステップＳ３０２）。そして、判定部１４１は、ボタン画像の個数をもとに、隣接するプロジェクタＢに支援を要請するか否かを判定する（ステップＳ３０３）。ここで、隣接するプロジェクタＢに支援を要請すると判定したものとし、判定部１４１は、支援要請部１４４に対して支援の要請を要求する（ステップＳ３０４）。これにより、支援要請部１４４は、隣接するプロジェクタＢに対して、支援が可能かを問い合わせる（ステップＳ３０５）。

プロジェクタＢにおいて、支援受付部１４５は、プロジェクタＡからの支援要請を受け付けて、支援要請に対する回答をプロジェクタＡに対して応答する（ステップＳ３０６）。ここで、支援が可能である旨の回答を得られたものとし、プロジェクタＡにおいて、支援要請部１４４は、プロジェクタＢから支援が可能である旨の回答を受け付けたことを判定部１４１に対して通知する（ステップＳ３０７）。判定部１４１は、支援が可能であることから、どのボタン画像をどのカメラに捕捉させるかを判定する（ステップＳ３０８）。

そして、判定部１４１は、隣接するプロジェクタＢのプロジェクタ番号（識別情報）と、捕捉させるボタン画像の座標とを支援要請部１４４に対して通知する（ステップＳ３０９）。支援要請部１４４は、プロジェクタＢのプロジェクタ番号と、ボタン画像の座標とを座標変換部１４３に通知し、座標変換を要求する（ステップＳ３１０）。座標変換部１４３は、座標変換を行ない、変換後のボタン画像の座標を支援要請部１４４に対して通知する（ステップＳ３１１）。支援要請部１４４は、プロジェクタＢに対して、変換後のボタン画像の座標を隣接するプロジェクタＢに対して送信する（ステップＳ３１２）。また、判定部１４１は、支援を依頼しなかったボタン画像の座標をカメラ動作位置決定部１３６に通知し、カメラ動作位置決定部１３６によってボタン画像の座標に向けてカメラの制御が行なわれる（ステップＳ３１３）。なお、プロジェクタＢにおいても、変換後のボタン画像の座標をもとに、カメラの制御が行なわれることで、支援によるボタン画像の捕捉が実現する。

［支援要請の判定フロー］
次に、図１０を用いて、実施の形態１に係る支援要請の判定処理の流れについて説明する。図１０は、実施の形態１に係る支援要請の判定処理の流れの例を示すフローチャートである。なお、図１０に示す判定処理とは、図９に示したステップＳ３０３における処理の詳細を表す。

図１０に示すように、判定部１４１は、ボタン画像が複数検出された場合に（ステップＳ４０１：Ｙｅｓ）、隣接するプロジェクタが複数存在するか否かを判定する（ステップＳ４０２）。このとき、判定部１４１は、隣接するプロジェクタが複数存在する場合に（ステップＳ４０２：Ｙｅｓ）、隣接する複数のプロジェクタに支援要請を行なうことを決定する（ステップＳ４０３）。

一方、判定部１４１は、隣接するプロジェクタが１台のみ存在する場合に（ステップＳ４０２：Ｎｏ）、この隣接するプロジェクタに支援要請を行なうことを決定する（ステップＳ４０４）。すなわち、マルチ投影においては、少なくとも１台は隣接するプロジェクタが存在する。また、判定部１４１は、ボタン画像が０個又は１個だけ検出された場合に（ステップＳ４０１：Ｎｏ）、自身のプロジェクタで捕捉できるため、支援要請を行なわないことを決定する（ステップＳ４０５）。

なお、図１０に示した例では、カメラ画角内に１つのボタン画像が収まる場合を説明したが、カメラ画角に複数のボタン画像が収まる場合であっても本実施の形態を適用することができる。例えば、コンテンツ画像全体の撮影（スキャン）により、ボタン画像の座標を求めているので、該座標とカメラ画角の大きさとをもとに、ステップＳ４０１の処理に加えて、カメラ画角内にボタン画像が収まるか否かについても判定すれば良い。カメラ画角内に複数のボタン画像が収まり、カメラ画角内に収まるボタン画像の数を除いて、さらに複数のボタン画像が存在する場合には、隣接するプロジェクタに支援要請を行なえば良い。一方、カメラ画角内に複数のボタン画像が収まり、その他のボタン画像が存在しない場合には、隣接するプロジェクタに支援要請を行なわなくて良い。

［捕捉するボタン画像の決定フロー］
次に、図１１を用いて、実施の形態１に係る捕捉するボタン画像の決定処理の流れについて説明する。図１１は、実施の形態１に係る捕捉するボタン画像の決定処理の流れの例を示すフローチャートである。なお、図１１に示す決定処理とは、図９に示したステップＳ３０８における処理の詳細を表す。以下では、検出されたボタン画像の個数が２個である場合を例に挙げる。

図１１に示すように、判定部１４１は、自身のプロジェクタに対して、左方向に隣接するプロジェクタからの回答が支援可能であるか否かを判定する（ステップＳ５０１）。そして、判定部１４１は、左方向に隣接するプロジェクタからの回答が支援可能でない場合に（ステップＳ５０１：Ｎｏ）、右方向に隣接するプロジェクタからの回答が支援可能であるか否かを判定する（ステップＳ５０２）。このとき、判定部１４１は、右方向に隣接するプロジェクタからの回答が支援可能でない場合に（ステップＳ５０２：Ｎｏ）、予め決定された優先度に従い、自身が捕捉するボタン画像を決定する（ステップＳ５０３）。

また、判定部１４１は、右方向に隣接するプロジェクタからの回答が支援可能である場合に（ステップＳ５０２：Ｙｅｓ）、コンテンツ画像での配置において、右側のボタン画像を右方向に隣接するプロジェクタに捕捉させ、左側のボタン画像を自身で捕捉することを決定する（ステップＳ５０４）。また、判定部１４１は、左方向に隣接するプロジェクタからの回答が支援可能である場合に（ステップＳ５０１：Ｙｅｓ）、コンテンツ画像での配置において、左側のボタン画像を左方向に隣接するプロジェクタに捕捉させ、右側のボタン画像を自身で捕捉することを決定する（ステップＳ５０５）。

［座標変換の例］
次に、図１２を用いて、実施の形態１に係る隣接するプロジェクタに支援を依頼する際の座標変換について説明する。図１２は、実施の形態１に係る隣接するプロジェクタに支援を依頼する際の座標変換の例を説明する図である。図１２では、２台のプロジェクタによってマルチ投影を行ない、プロジェクタＢの投影面上にボタン画像が２つ配置されていることから、プロジェクタＡに「ボタン１」の捕捉を支援してもらう状況を例に挙げる。

図１２に示すように、実線はプロジェクタＡの投影面を表しており、破線はプロジェクタＢの投影面を表している。また、プロジェクタＢの座標系において、「ボタン１」の座標は（３０，２５）である。この「ボタン１」の座標について、プロジェクタＡの座標系に変換するために変換行列を用いる。変換の結果として、プロジェクタＡの座標系において、「ボタン１」の座標は（５０，２５）となる。これにより、プロジェクタＡは、座標（５０，２５）に向けてカメラの向きを制御することにより、「ボタン１」を撮影する。

なお、プロジェクタＡの投影面上に配置されたボタン画像をプロジェクタＢが支援する場合には、プロジェクタＢの座標系において、支援するボタン画像のｘ座標が負で表現されることも有り得る。また、上記の例では、説明の簡略化のために、ボタン画像の中心位置（重心）の座標を変換した場合を説明したが、実際にはボタン画像の４隅座標それぞれについて変換処理を行なう。

［カメラ動作の移動先の位置決定フロー］
次に、図１３を用いて、実施の形態１に係るカメラ動作の移動先の位置決定処理について説明する。図１３は、実施の形態１に係るカメラ動作の移動先の位置決定処理の流れの例を示すフローチャートである。図１３に示す位置決定処理は、ボタン画像位置算出部１３５にてボタン画像の４隅座標が算出され、撮像領域位置算出部１３３にてカメラ画角の４隅座標が算出された場合に開始される。

図１３に示すように、カメラ動作位置決定部１３６は、ボタン画像の４隅座標を取得する（ステップＳ６０１）。また、カメラ動作位置決定部１３６は、カメラ画角の４隅座標を取得する（ステップＳ６０２）。そして、カメラ動作位置決定部１３６は、ボタン画像の４隅座標が、全てカメラ画角の４隅座標内にあるか否かを判定する（ステップＳ６０３）。

このとき、カメラ動作位置決定部１３６は、ボタン画像の４隅座標が、全てカメラ画角の４隅座標内にない場合に（ステップＳ６０３：Ｎｏ）、ボタン画像の座標の中点座標（重心）を算出する（ステップＳ６０４）。また、カメラ動作位置決定部１３６は、カメラ画角の座標の中点座標（重心）を算出する（ステップＳ６０５）。そして、カメラ動作位置決定部１３６は、ボタン画像の中点座標と、カメラ画角の中点座標との距離を算出する（ステップＳ６０６）。ここで算出された距離は、カメラによる撮像領域の移動量となる。これらにより、カメラ動作位置決定部１３６は、算出した距離を、カメラ動作の移動先の位置として決定する（ステップＳ６０７）。一方、カメラ動作位置決定部１３６は、ボタン画像の４隅座標が、全てカメラ画角の４隅座標内にある場合に（ステップＳ６０３：Ｙｅｓ）、特にカメラ動作をさせなくて良いため、撮像領域を移動させないことを決定する（ステップＳ６０８）。

ここで、図１３に示したステップＳ６０３における処理の一例を説明する。以下のように、各頂点座標について比較すれば良い。

左下の頂点座標の比較。
「ボタン画像の左下の頂点のｘ座標＜カメラ画角の左下の頂点のｘ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「カメラ画角の左下の頂点のｘ座標＜＝ボタン画像の左下の頂点のｘ座標」であれば、判定できないため、次の比較を行なう。
「ボタン画像の左下の頂点のｙ座標＜カメラ画角の左下の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「カメラ画角の左下の頂点のｙ座標＜＝ボタン画像の左下の頂点のｙ座標」であれば、判定できないため、次の比較を行なう。

左上の頂点座標の比較。
「ボタン画像の左上の頂点のｘ座標＜カメラ画角の左上の頂点のｘ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「カメラ画角の左上の頂点のｘ座標＜＝ボタン画像の左上の頂点のｘ座標」であれば、判定できないため、次の比較を行なう。
「カメラ画角の左上の頂点のｙ座標＜ボタン画像の左上の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「ボタン画像の左上の頂点のｙ座標＜＝カメラ画角の左上の頂点のｙ座標」であれば、判定できないため、次の比較を行なう。

右下の頂点座標の比較。
「カメラ画角の右下の頂点のｘ座標＜ボタン画像の右下の頂点のｘ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「ボタン画像の右下の頂点のｘ座標＜＝カメラ画角の右下の頂点のｘ座標」であれば、判定できないため、次の比較を行なう。
「ボタン画像の右下の頂点のｙ座標＜カメラ画角の右下の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「カメラ画角の右下の頂点のｙ座標＜＝ボタン画像の右下の頂点のｙ座標」であれば、判定できないため、次の比較を行なう。

右上の頂点座標の比較。
「カメラ画角の右上の頂点のｘ座標＜ボタン画像の右上の頂点のｘ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「ボタン画像の右上の頂点のｘ座標＜＝カメラ画角の右上の頂点のｘ座標」であれば、判定できないため、次の比較を行なう。
「カメラ画角の右上の頂点のｙ座標＜ボタン画像の右上の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていないことになる。
「ボタン画像の右上の頂点のｙ座標＜＝カメラ画角の右上の頂点のｙ座標」であれば、現在のカメラ画角内にボタン画像が包含されていることになる。

ここで、ステップＳ６０４〜ステップＳ６０７における処理の一例を説明する。以下のように、各頂点座標からｘ方向とｙ方向との中点をそれぞれ求めることにより重心となる中点座標を求め、求めた中点座標間を移動するための値を算出する。

ボタン画像の中点座標。
「ｘ座標＝
（ボタン画像の左下の頂点のｘ座標＋ボタン画像の右上の頂点のｘ座標）÷２」
「ｙ座標＝
（ボタン画像の左下の頂点のｙ座標＋ボタン画像の右上の頂点のｙ座標）÷２」

現在のカメラ画角の中点座標。
「ｘ座標＝
（カメラ画角の左下の頂点のｘ座標＋カメラ画角の右上の頂点のｘ座標）÷２」
「ｙ座標＝
（カメラ画角の左下の頂点のｙ座標＋カメラ画角の右上の頂点のｙ座標）÷２」

算出される距離（移動量）。
「ｘ座標＝
ボタン画像の中点座標のｘ座標−現在のカメラ画角の中点座標のｘ座標」
「ｙ座標＝
ボタン画像の中点座標のｙ座標−現在のカメラ画角の中点座標のｙ座標」

［カメラ動作の移動先の具体例］
次に、図１４を用いて、実施の形態１に係るカメラ動作の移動先について説明する。図１４は、実施の形態１に係るカメラ動作の移動先の具体例を説明する図である。

図１４上段に示した例において、ボタン画像２の各頂点座標は、（１，９）、（１，１１）、（５，９）、（５，１１）である。同様に、撮像領域３（カメラ画角）の各頂点座標は、（６，４）、（６，８）、（１２，４）、（１２，８）である。投影画像１（コンテンツ画像）は、上記の各頂点を有するボタン画像２と撮像領域３とを含んでいる。

上述した状態において、カメラ動作位置決定部１３６は、撮像領域３の各頂点座標から、現在の撮像領域３の重心となる中点座標（９，６）を算出する。図１４において、撮像領域３の中点座標は、黒四角で表している。また、カメラ動作位置決定部１３６は、ボタン画像２の各頂点座標から、ボタン画像２の重心となる中点座標（３，１０）を算出する。図１４において、ボタン画像２の中点座標は、黒丸で表している。

そして、カメラ動作位置決定部１３６は、現在の撮像領域３の中点座標（９，６）から、ボタン画像２の中点座標（３，１０）への移動量を算出する。かかる移動量の算出では、「ｘ方向＝３−９＝−６」、「ｙ方向＝１０−６＝＋４」となるので、現在の撮像領域３をｘ方向に「−６」移動させ、ｙ方向に「＋４」移動させる移動量「（−６，＋４）」が得られる。カメラ動作位置決定部１３６は、現在の撮像領域３をｘ方向に「−６」移動させ、ｙ方向に「＋４」移動させるための移動量「（−６，＋４）」を決定する。これらにより、図１４下段に示すように、ボタン画像２の中点座標となる座標に、撮像領域３の中点座標となる座標が重なった移動結果が得られる。

［支援要請に対する回答の判定フロー］
次に、図１５を用いて、実施の形態１に係る支援要請に対する回答の判定処理について説明する。図１５は、実施の形態１に係る支援要請に対する回答の判定処理の流れの例を示すフローチャートである。

図１５に示すように、支援受付部１４５は、隣接するプロジェクタからボタン画像の捕捉の支援要請を受け付ける（ステップＳ７０１）。ここで、支援受付部１４５は、ボタンリスト記憶部１４２に情報が記憶されているか否かを判定する（ステップＳ７０２）。

支援受付部１４５は、ボタンリスト記憶部１４２に情報が記憶されていない場合に（ステップＳ７０２：Ｎｏ）、既に、他の隣接するプロジェクタから支援要請を受け付けているか否かを判定する（ステップＳ７０３）。このとき、支援受付部１４５は、他の隣接するプロジェクタから支援要請を受け付けていない場合に（ステップＳ７０３：Ｎｏ）、自身の投影面で捕捉するボタン画像もなく、他の隣接するプロジェクタの支援を行なうこともないため、支援が可能である旨を、支援要請の送信元のプロジェクタに対して回答する（ステップＳ７０４）。

一方、支援受付部１４５は、他の隣接するプロジェクタから支援要請を受け付けている場合に（ステップＳ７０３：Ｙｅｓ）、支援要請を保留する旨を、支援要請の送信元のプロジェクタに対して回答する（ステップＳ７０５）。すなわち、他の隣接するプロジェクタから支援要請を受け付けていて、変換後の座標待ちであれば、支援要請に対してこれ以上は保留としておく。なお、保留にした後に、送信元のプロジェクタから実際に支援の依頼がなければ、他の隣接するプロジェクタに対して支援が可能である旨を回答すれば良い。また、支援受付部１４５は、ボタンリスト記憶部１４２に情報が記憶されている場合に（ステップＳ７０２：Ｙｅｓ）、捕捉するボタン画像が既に決定しているため、支援が不可能である旨を、支援要請の送信元のプロジェクタに対して回答する（ステップＳ７０６）。

［支援要請に対する回答の具体例（１）］
次に、図１６を用いて、支援要請に対して保留する旨の回答が発生する場合のボタン画像の捕捉について説明する。図１６は、支援要請に対して保留する旨の回答が発生する場合のボタン画像の捕捉例を説明する図である。

図１６では、プロジェクタＡ〜プロジェクタＥの５台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。また、プロジェクタＡの投影面Ａにボタン画像が２個、プロジェクタＣの投影面Ｃにボタン画像が２個、プロジェクタＥの投影面Ｅにボタン画像が１個、それぞれ配置されているものとする。なお、図１６の下段の表において、縦軸は時刻の流れを表し、横軸は各プロジェクタの連携関係を表している。

まず、プロジェクタＡは、投影面Ａに複数のボタン画像が検出されたため、隣接するプロジェクタＢに対して支援の要請を行なう。また、プロジェクタＣは、投影面Ｃに複数のボタン画像が検出されたため、隣接するプロジェクタＢ、プロジェクタＤに対して支援の要請を行なう。

次に、プロジェクタＢは、プロジェクタＡ、プロジェクタＣから支援の要請を受け付けたが、この時点ではどちらのプロジェクタの支援を行なえば良いかを判断できないため、プロジェクタＡ、プロジェクタＣそれぞれに対して保留を回答する。なお、支援要請は完全に同一のタイミングで行なわれるわけではないので、あるプロジェクタから支援要請を受け付けたときでも、一定時間待機したうえで回答する。また、プロジェクタＤは、プロジェクタＣからのみ支援要請を受け付けているため、プロジェクタＣに対して支援を行なえる旨を回答する。

続いて、プロジェクタＣは、プロジェクタＤからの支援を受けられることがわかったため、プロジェクタＢに対する支援要請を解除（キャンセル）する。また、プロジェクタＢは、プロジェクタＣからの支援要請が解除され、プロジェクタＡからの支援要請のみとなったため、プロジェクタＡに対して支援を行なえる旨を回答する。なお、プロジェクタＡは、再度の支援要請をプロジェクタＢに対して行なっているが、所定期間を経過した場合や、支援要請の試行回数に応じて支援要請を停止する。

［再帰的な支援要請処理フロー］
次に、図１７を用いて、再帰的な支援要請処理の流れについて説明する。図１７は、再帰的な支援要請処理の流れの例を示すフローチャートである。なお、再帰的な支援要請処理とは、例えば、１台のプロジェクタによる支援では全てのボタン画像の捕捉が実現しない場合に、再帰的に、繰り返し支援要請を行なうことを意味する。

図１７に示すように、支援受付部１４５は、プロジェクタｎ台分から支援要請を受け付ける（ステップＳ８０１）。ここで、ｎは、「ｎ≧１」を満たす自然数である。そして、支援受付部１４５は、ボタンリスト記憶部１４２に情報が記憶されているか否かを判定する（ステップＳ８０２）。

支援受付部１４５は、ボタンリスト記憶部１４２に情報が記憶されていない場合に（ステップＳ８０２：Ｎｏ）、ｎ＝１であるか否かを判定する（ステップＳ８０３）。なお、ボタンリスト記憶部１４２に情報が記憶されていないということは、現状、捕捉するボタン画像が存在しないことを意味する。このとき、支援受付部１４５は、ｎ＝１でない場合に（ステップＳ８０３：Ｎｏ）、自身の支援だけでは全てのボタン画像を捕捉しきれないため、ｎ−１台分の支援を隣接するプロジェクタに要請する（ステップＳ８０４）。

支援受付部１４５は、隣接するプロジェクタから支援が可能である旨の回答を受け付けていない場合に（ステップＳ８０５：Ｎｏ）、全てのボタン画像を捕捉することはできないが、回答で得られた台数＋１（＋１は、自身の支援）の支援が可能である旨を、支援要請元のプロジェクタに回答する（ステップＳ８０６）。また、支援受付部１４５は、ｎ＝１である場合に（ステップＳ８０３：Ｙｅｓ）、自身の支援だけでボタン画像を捕捉することが可能であるため、支援可能である旨を、支援要請元のプロジェクタに回答する（ステップＳ８０７）。また、支援受付部１４５は、隣接するプロジェクタから支援が可能である旨の回答を受け付けた場合に（ステップＳ８０５：Ｙｅｓ）、全てのボタン画像を捕捉することができるため、支援可能である旨を、支援要請元のプロジェクタに回答する（ステップＳ８０７）。

また、支援受付部１４５は、ボタンリスト記憶部１４２に情報が記憶されている場合に（ステップＳ８０２：Ｙｅｓ）、自身は支援できないため、ｎ台分の支援を隣接するプロジェクタに要請する（ステップＳ８０８）。支援受付部１４５は、隣接するプロジェクタから支援が可能である旨の回答を受け付けていない場合に（ステップＳ８０９：Ｎｏ）、全てのボタン画像を捕捉することはできないが、回答で得られた台数（自身は支援できない）の支援が可能である旨を、支援要請元のプロジェクタに回答する（ステップＳ８１０）。また、支援受付部１４５は、隣接するプロジェクタから支援が可能である旨の回答を受け付けた場合に（ステップＳ８０９：Ｙｅｓ）、全てのボタン画像を捕捉することができるため、支援可能である旨を、支援要請元のプロジェクタに回答する（ステップＳ８０７）。

［支援要請に対する回答の具体例（２）］
次に、図１８を用いて、支援要請に対して再帰的に支援を依頼する場合のボタン画像の捕捉について説明する。図１８は、支援要請に対して再帰的に支援を依頼する場合のボタン画像の捕捉例を説明する図である。

図１８では、プロジェクタＡ〜プロジェクタＣの３台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。また、プロジェクタＡの投影面Ａにボタン画像が３個配置されているものとする。なお、図１８の下段の表において、縦軸は時間の流れを表し、横軸は各プロジェクタの連携関係を表している。

まず、プロジェクタＡは、投影面Ａに３つのボタン画像が検出されたため、隣接するプロジェクタＢに２台分の支援要請を行なう。プロジェクタＢは、投影面Ｂにボタン画像が配置されていないため、１台分の支援は可能であると判断する。但し、プロジェクタＢは、プロジェクタＡからの２台分の支援要請には応えることができないため、さらに、プロジェクタＣに対して１台分の支援要請を行なう。プロジェクタＣは、投影面Ｃにボタン画像が配置されていないため、１台分の支援は可能であると判断し、支援が可能である旨を、プロジェクタＢに対して回答する。

続いて、プロジェクタＢは、右方向に隣接するプロジェクタＣからの支援可能である旨の回答により、自身を含めて２台分の支援が可能であると判断し、２台分の支援が可能である旨を、プロジェクタＡに対して回答する。これらにより、プロジェクタＡは、右方向に隣接するプロジェクタＢ及びプロジェクタＣからの支援が得られることが分かったため、自身は最も左側に位置するボタンＡを捕捉することを決定する。また、プロジェクタＡは、ボタンＢとボタンＣとに関して、プロジェクタＢの座標系に変換する座標変換を行ない、プロジェクタＢに支援を依頼する。プロジェクタＢでは、右方向に隣接するプロジェクタＣから支援を得られることが分かっているため、自身はボタンＢを捕捉し、ボタンＣをプロジェクタＣに捕捉してもらうことを決定する。ここでも、プロジェクタＢは、ボタンＣに関して、プロジェクタＣの座標系に変換する座標変換を行ない、プロジェクタＣに支援を依頼する。

［支援要請に対する回答の具体例（３）］
次に、図１９を用いて、支援要請に対して支援可能な範囲を設定する場合のボタン画像の捕捉について説明する。図１９は、支援要請に対して支援可能な範囲を設定する場合のボタン画像の捕捉例を説明する図である。

図１９では、プロジェクタＡ〜プロジェクタＤの４台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。また、プロジェクタＡの投影面Ａにボタン画像が３個、プロジェクタＣの投影面Ｃにボタン画像が１個、それぞれ配置されているものとする。なお、図１９の下段の表において、縦軸は時刻の流れを表し、横軸は各プロジェクタの連携関係を表している。以下では、全てのプロジェクタに共通するパラメタとして、支援可能範囲というものを設定する。かかる支援可能範囲とは、隣接するプロジェクタの接続関係において、何台先までの支援を可能とするかを表すものである。ここでは、支援可能範囲を「２」として説明する。

まず、プロジェクタＡは、投影面Ａに３つのボタン画像が検出されたため、隣接するプロジェクタＢに２台分の支援要請を行なう。プロジェクタＢは、投影面Ｂにボタン画像が配置されていないため、１台分の支援は可能であると判断する。但し、プロジェクタＢは、プロジェクタＡからの２台分の支援要請には応えることができないため、さらに、プロジェクタＣに対して１台分の支援要請を行なう。

続いて、プロジェクタＣは、投影面Ｃにボタン画像が配置されているため、自身ではプロジェクタＢからの支援要請には応えられないと判断する。ここで、プロジェクタＣは、支援可能範囲が「２」であることから、１台分の支援要請をプロジェクタＤに行なうことなく、支援を行なえない旨を、プロジェクタＢに対して回答する。

その後、プロジェクタＢは、プロジェクタＣからの回答により、自身の支援によって１台分の支援を行なえると判断し、１台分の支援が可能である旨を、プロジェクタＡに対して回答する。プロジェクタＡは、自身と、プロジェクタＢの支援とによって、２つのボタン画像しか捕捉することができないので、予め設定された優先度に従い、捕捉するボタン画像を決定する。これにより、プロジェクタＡは、プロジェクタＢに支援してもらうボタン画像の座標変換を行ない、プロジェクタＢに支援を依頼する。

つまり、支援可能範囲を設定しておくことにより、支援の要請が無限に伝播していくことを防止するとともに、あまりに遠いプロジェクタにボタン画像の捕捉を依頼することで発生するカメラ制御の負荷の増大を防止することができる。例えば、４台先のプロジェクタの投影面にカメラを向ける場合には、負荷が高くなるわりに、撮影する映像に急な角度がついてしまうため、好ましい画像を撮影することが困難になる可能性がある。

［支援要請に対する回答の具体例（４）］
次に、図２０を用いて、支援要請に対してカメラ動作の位置を再決定する場合のボタン画像の捕捉について説明する。図２０は、支援要請に対してカメラ動作の位置を再決定する場合のボタン画像の捕捉例を説明する図である。

図２０では、プロジェクタＡ〜プロジェクタＣの３台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。また、プロジェクタＡの投影面Ａにボタン画像が２個、プロジェクタＢの投影面Ｂにボタン画像が１個、それぞれ配置されているものとする。なお、図２０の下段の表において、縦軸は時刻の流れを表し、横軸は各プロジェクタの連携関係を表している。

まず、プロジェクタＡは、投影面Ａに２つのボタン画像が検出されたため、隣接するプロジェクタＢに１台分の支援要請を行なう。プロジェクタＢは、投影面Ｂにボタン画像（ボタンＣ）が配置されているため、プロジェクタＡの支援を行なえないと判断し、さらに隣接するプロジェクタＣに１台分の支援要請を行なう。プロジェクタＣは、投影面Ｃにボタン画像が配置されていないため、支援可能である旨を、プロジェクタＢに対して回答する。プロジェクタＢは、プロジェクタＣからの回答により、支援可能である旨を、プロジェクタＡに対して回答する。

続いて、プロジェクタＡは、右方向に隣接するプロジェクタから１台分の支援が得られることが分かったため、自身は最も左側に位置するボタンＡを捕捉することを決定する。また、プロジェクタＡは、ボタンＢの座標変換を行ない、プロジェクタＢに対して該ボタンＢの支援を依頼する。

ここで、プロジェクタＢは、右方向に隣接するプロジェクタＣが支援できることがわかっているため、投影面Ａに配置されたボタンＢと、投影面Ｂに配置されたボタンＣとの２つのボタン画像を対象として、自身（プロジェクタＢ）とプロジェクタＣとで捕捉するときに、どのプロジェクタが何れのボタン画像を捕捉するのかを判断する。プロジェクタＢは、右方向に隣接するプロジェクタＣからの支援を受けられることがわかっているので、自身はより左側に位置するボタンＢを捕捉し、プロジェクタＣにはボタンＣを捕捉してもらうことを決定する。プロジェクタＢは、プロジェクタＡから座標変換後のボタンＢの座標を受け付けているため、この座標をもとにボタンＢを捕捉し、プロジェクタＣに対してはボタンＣの座標変換を行ない、ボタンＣの捕捉の支援を、プロジェクタＣに対して依頼する。これらにより、プロジェクタの連携関係において、カメラの向きを再設定することにより、全体としてカメラ制御の負荷を軽減することができる。

［支援要請に対する回答の具体例（５）］
次に、図２１を用いて、支援要請時にカメラが故障している場合のボタン画像の捕捉について説明する。図２１は、支援要請時にカメラが故障している場合のボタン画像の捕捉例を説明する図である。

図２１では、プロジェクタＡ〜プロジェクタＣの３台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。また、プロジェクタＡの投影面Ａにボタン画像が２個配置されているものとする。なお、図２１の下段の表において、縦軸は時刻の流れを表し、横軸は各プロジェクタの連携関係を表している。以下では、コンテンツ画像全体の撮影等の事前の各種処理は完了しており、運用中に何らかの要因によりプロジェクタＢのカメラが故障してしまった場合を例に挙げる。

まず、プロジェクタＡは、投影面Ａに２つのボタン画像が検出されたため、隣接するプロジェクタＢに１台分の支援要請を行なう。プロジェクタＢは、投影面Ｂにボタン画像が配置されていないが、搭載されたカメラが故障していることを検知したため、自身では支援を行なうことができないと判断する。そこで、プロジェクタＢは、隣接するプロジェクタＣに１台分の支援要請を行なう。

続いて、プロジェクタＣは、投影面Ｃにボタン画像が配置されていないため、支援が可能な旨を、プロジェクタＢに対して回答する。プロジェクタＢは、プロジェクタＣから支援可能な旨の回答を受けると、１台分の支援が可能な旨を、プロジェクタＡに回答する。プロジェクタＡは、右方向に隣接するプロジェクタから支援を得られることが分かったため、自身は一番左側に位置するボタンＡを捕捉することを決定する。また、プロジェクタＡは、ボタンＢの座標変換を行ない、該ボタンＢの支援をプロジェクタＢに依頼する。プロジェクタＢは、ボタンＢの座標変換をさらに行ない、該ボタンＢの支援をプロジェクタＣに依頼する。なお、上述したように、プロジェクタＢは、各種の事前処理が完了しており、運用中にカメラが故障しただけであるため、座標変換等の各種処理は実行可能である。

つまり、マルチ投影において連携関係にあるプロジェクタに搭載されたカメラが故障した場合であっても、再帰的に支援を要請することにより、好適にボタン画像の捕捉を実現することができる。

［支援要請に対する回答の具体例（６）］
次に、図２２を用いて、支援要請に対して全てのボタン画像を捕捉できない場合のボタン画像の捕捉について説明する。図２２は、支援要請に対して全てのボタン画像を捕捉できない場合のボタン画像の捕捉例を説明する図である。

図２２では、プロジェクタＡ〜プロジェクタＣの３台のプロジェクタによってマルチ投影を実現する場合を例に挙げる。また、プロジェクタＢの投影面Ｂにボタン画像が４個配置されているものとする。なお、図２２の下段の表において、縦軸は時刻の流れを表し、横軸は各プロジェクタの連携関係を表している。

まず、プロジェクタＢは、投影面Ｂに４つのボタン画像が検出されたため、隣接するプロジェクタＡ及びプロジェクタＣに支援要請を行なう。プロジェクタＡは、投影面Ａにボタン画像が配置されていないため、１台分の支援が可能である旨を、プロジェクタＢに回答する。また、プロジェクタＣは、投影面Ｃにボタン画像が配置されていないため、１台分の支援が可能である旨を、プロジェクタＢに回答する。

続いて、プロジェクタＢは、プロジェクタＡ及びプロジェクタＣからの回答により、自身での捕捉で１つ、支援により２つのボタン画像を捕捉できることを認識する。但し、投影面Ｂに配置されたボタン画像は４つであるため、プロジェクタＢは、予め定められたボタン画像の優先度に従い、捕捉するボタン（３つ）を決定する。ここで、優先度は、ボタンＢ、ボタンＤ、ボタンＡ、ボタンＣの順に高いものとする。これにより、プロジェクタＢは、ボタンＢ、ボタンＤ、ボタンＡの３つのボタン画像を捕捉することを決定する。

プロジェクタＢは、右方向に隣接するプロジェクタＡ、左方向に隣接するプロジェクタＣのそれぞれから支援が得られることがわかっている。そこで、プロジェクタＢは、捕捉するボタンＢ、ボタンＤ、ボタンＡの座標をもとに、一番左側に位置するボタンＡをプロジェクタＡに捕捉させ、一番右側に位置するボタンＤをプロジェクタＣに捕捉させ、ボタンＢを自身で捕捉することを決定しる。これらにより、プロジェクタＢは、座標変換を行なったボタンＡの支援をプロジェクタＡに依頼し、座標変換を行なったボタンＤの支援のプロジェクタＣに依頼する。

つまり、全てのボタン画像を捕捉できない場合には、優先度に従い捕捉することを決定したボタン画像の位置（座標）に応じて、隣接するプロジェクタに支援を依頼するので、好適にボタン画像を捕捉させるとともに、カメラ制御の負荷を削減することができる。

［実施の形態１による効果］
プロジェクタ１０は、自身で投影している投影面に配置されたボタン画像の座標や、カメラ画角の座標等をもとに、隣接するプロジェクタにボタン画像の捕捉の支援を要請する。そして、プロジェクタ１０は、支援を行なえる回答を受け付けた場合に、何れのボタン画像の支援を依頼するかを判定する。続いて、プロジェクタ１０は、支援を依頼するボタン画像の座標の座標系を、隣接するプロジェクタの座標系に変換し、変換後の座標とともに該ボタン画像の捕捉の支援を依頼する。これらの結果、プロジェクタ１０は、複数の操作対象に対するユーザのジェスチャをより多く認識することができる。

（実施の形態２）
さて、これまで本発明に係るプロジェクタ１０の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）優先度、（２）ボタン画像とカメラ画角との関係、（３）ポインティング操作に係るフィードバック、（４）構成、について異なる実施の形態を説明する。

（１）優先度
上記実施の形態では、複数のボタン画像を捕捉するときに、予め定められた優先度に従って、どのプロジェクタに何れのボタン画像を捕捉させるかを決定する場合を説明した。かかる優先度については、ボタン画像の面積（大きさ）によって決定しても良い。図２３は、ボタン画像の面積に応じて優先度を決定する例を説明する図である。図２３に示すように、プロジェクタＡとプロジェクタＢとによりマルチ投影を実現し、投影面Ａに複数のボタン画像が配置されている場合に、各ボタン画像の４隅座標から、各ボタン画像の面積を算出する。そして、算出した面積に応じて、ボタン画像の優先度を決定する。例えば、優先度は、ボタン画像の面積が大きい順に高いものとする。図２３の例では、ボタン画像の面積に応じて、ボタンＢ、ボタンＡ、ボタンＣの順に優先度を高く設定する。つまり、ボタン画像の面積が大きい方が操作される可能性が高いものとして、優先度を決定する。

（２）ボタン画像とカメラ画角との関係
また、上記実施の形態では、カメラ画角内にボタン画像が収まる場合の各処理を説明した。かかるボタン画像は、カメラ画角内に収まらない可能性もある。図２４は、ボタン画像がカメラ画角よりも大きい場合のカメラ動作の移動先の位置決定処理の流れの例を示すフローチャートである。

図２４に示すように、カメラ動作位置決定部１３６は、ボタン画像の面積と、カメラ画角の面積とを算出する（ステップＳ９０１）。そして、カメラ動作位置決定部１３６は、カメラ画角の面積よりも、ボタン画像の面積の方が大きいか否かを判定する（ステップＳ９０２）。このとき、カメラ動作位置決定部１３６は、カメラ画角の面積よりも、ボタン画像の面積の方が大きい場合に（ステップＳ９０２：Ｙｅｓ）、該ボタン画像の重心となる中点座標を算出する（ステップＳ９０３）。また、カメラ動作位置決定部１３６は、カメラ画角の重心となる中点座標を算出する（ステップＳ９０４）。

そして、カメラ動作位置決定部１３６は、ボタン画像の中点座標と、カメラ画角の中点座標との距離を算出する（ステップＳ９０５）。ここで算出された距離は、カメラによる撮像領域の移動量となる。これらにより、カメラ動作位置決定部１３６は、算出した距離を、カメラ動作の移動先の位置として決定する（ステップＳ９０６）。一方、カメラ動作先位置決定部１３６は、カメラ画角の面積よりも、ボタン画像の面積の方が小さい場合に（ステップＳ９０２：Ｎｏ）、図１３に示した位置決定処理（通常処理）を実行する（ステップＳ９０７）。つまり、カメラ画角内に収まらないボタン画像が存在する場合であっても、ボタン画像の中点座標とカメラ画角の中点座標とを重ね合わせるように、撮像領域を移動させることにより、可能な限りユーザの操作性を高くすることができる。

（３）ポインティング操作に係るフィードバック
上記実施の形態では、撮像領域の面積がボタン画像の面積よりも小さい場合に、ユーザ操作を容易にするために、ボタン画像の中点座標に、撮像領域の中点座標を重ねるための移動量を算出する場合を説明した。本実施の形態では、ユーザ操作を容易にするために、撮像領域をフィードバックしても良い。

図２５は、ポインティング操作が可能な範囲をフィードバックする例を説明する図である。図２５に示した例において、投影画像１は、ボタン画像２と、撮像領域３とを含んでいる。また、図２５に示した例は、撮像領域３をボタン画像２の位置に移動させたときの状態を表している。

図２５に示すように、撮像領域３を移動させたときに、該撮像領域３は、ユーザによるポインティング操作の検出が可能な範囲をユーザに認識させるために、太枠等で表示させる。上述してきた実施の形態では、撮像領域をユーザに意識させずにユーザによるポインティング操作の検出を行なっていた。但し、撮像領域の面積がボタン画像の面積よりも小さい場合は、ボタン画像の領域全てでユーザによるポインティング操作を検出することができない。このため、本実施の形態では、撮像領域を表示させた投影画像を表示することで、撮像領域をユーザに意識させユーザによるポインティング操作の操作性を向上させる。また、ユーザは、ポインティング操作が可能・不可能なボタン画像を認識することも可能となる。なお、撮像領域の表示は、枠を表示させるだけでなく、撮像領域を点滅させる等、現在の撮像領域をユーザに認識させることが可能であれば、どのような手法を採用しても良い。

図２６は、ポインティング操作が可能なボタン画像をフィードバックする例を説明する図である。図２６に示した例において、投影画像１は、ボタン画像２ａと、ボタン画像２ｂと、ボタン画像２ｃと、撮像領域３とを含んでいる。また、図２６に示すように、撮像領域３を移動させたときに、該撮像領域３に含まれるボタン画像２ｃは、他のボタン画像とは異なる色に変化させる等、所定の表示に変化させる。

上述してきた実施の形態では、現在の撮像領域をユーザに意識させずにユーザによるポインティング操作の検出を行なっていた。但し、投影画像内に複数のボタン画像が存在する場合には、何れのボタン画像が操作可能なボタン画像であるかをユーザが認識することが困難である。このため、本実施の形態では、現在の撮像領域に含まれるボタン画像の色を変化させた投影画像を投影することで、操作可能なボタン画像をユーザに認識させ、ユーザによるポインティング操作の操作性を向上させる。なお、ボタン画像の表示の変化は、色を変化させるだけでなく、ボタン画像を点滅させたり透過させたりする等、現在の操作可能なボタン画像をユーザに認識させることが可能であれば、どのような手法を採用しても良い。また、現在の撮像領域に含まれるボタン画像とは、ボタン画像の配置や撮像領域の配置によっては複数のボタン画像が含まれる可能性もあるため、詳細には、撮像領域の移動先となっているボタン画像を指す。

（４）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した各装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。

例えば、上記実施の形態では、協調動作制御モジュール１４０をプロジェクタ１０に含む場合を説明したが、かかる協調動作制御モジュール１４０については、別途設けるサーバ装置に含まれる構成にしても良い。具体的には、ポインティング操作検出モジュール１３０によって検出されたボタン画像の座標等の情報をサーバ装置に送信し、該サーバ装置側で隣接するプロジェクタに支援を依頼するか否か等を判断する。

１０ プロジェクタ
１１０ 撮影モジュール
１２０ 投影モジュール
１３０ ポインティング操作検出モジュール
１３１ カメラ制御部
１３２ カメラ画像記憶部
１３３ 撮像領域位置算出部
１３４ ボタン画像認識部
１３５ ボタン画像位置算出部
１３６ カメラ動作位置決定部
１３７ ポインティング操作検出部
１４０ 協調動作制御モジュール
１４１ 判定部
１４２ ボタンリスト記憶部
１４３ 座標変換部
１４４ 支援要請部
１４５ 支援受付部

特開２００８−００３８０２号公報

Claims (17)

1. ネットワークを介して少なくとも１つの他の投影装置と接続される投影装置において、
   投影面に投影画像を投影する投影部と、
   前記投影面に含まれる撮影領域を撮影する撮影部と、
   前記撮影部によって撮影された撮影画像に基づいてユーザによる前記投影画像に対する指示動作を検出する検出部と、
   指示の対象となる前記投影面に含まれる指示対象に関する指示対象情報を記憶する指示対象情報記憶部と、
   前記指示対象情報記憶部によって記憶された指示対象情報に基づいて、前記撮影領域に含むことができない指示対象の有無を判定する判定部と、
   前記判定部によって前記撮影領域に含むことができない指示対象があると判定された場合に、前記他の投影装置へ撮影の要求を行なう要求部と
   を有することを特徴とする投影装置。
2. 前記他の投影装置からの撮影の要求に対する回答に応じて、何れの前記指示対象の撮影を依頼するかを判定する撮影依頼判定部と、
   撮影を依頼すると判定された前記指示対象の位置を表す座標値を、撮影を依頼する前記他の投影装置に対応する投影面の座標系の座標値に変換する座標変換部と、
   座標系を変換された前記指示対象の前記座標値とともに、前記他の投影装置に撮影を依頼する撮影依頼部とをさらに有することを特徴とする請求項１に記載の投影装置。
3. 前記他の投影装置から、前記指示対象の撮影の要求を受け付ける要求受付部と、
   撮影の要求が受け付けられた場合に、前記撮影部によって前記指示対象の撮影が行なわれているか否かに応じて、撮影の要求に対して回答する回答部と、
   座標系を変換された前記指示対象の前記座標値とともに、撮影の依頼を受け付ける撮影依頼受付部と、をさらに有し、
   前記撮影部は、受け付けられた前記座標値の前記指示対象を撮影することを特徴とする請求項１又は２に記載の投影装置。
4. 前記撮影依頼判定部は、前記他の投影装置の位置に応じて、何れの前記指示対象の撮影を依頼するかを判定することを特徴とする請求項２又は３に記載の投影装置。
5. 前記回答部は、複数の前記他の投影装置から撮影の要求が受け付けられた場合に、撮影の要求に対して保留する旨を回答することを特徴とする請求項３に記載の投影装置。
6. 前記要求部は、撮影の要求に対して撮影することが不可能である場合に、他の投影装置にさらに撮影の要求を行ない、
   前記回答部は、他の投影装置から受け付けられた回答に応じて、撮影の要求元の投影装置に対して回答することを特徴とする請求項３に記載の投影装置。
7. 前記要求部は、撮影を要求する投影装置の範囲が定められた撮影要求可能範囲に応じて、前記他の投影装置に撮影を要求することを特徴とする請求項６に記載の投影装置。
8. 前記撮影依頼判定部は、撮影を行なえる回答が得られた前記投影装置の位置に応じて、何れの前記指示対象の撮影を依頼するかを再度判定することを特徴とする請求項５〜７の何れか一つに記載の投影装置。
9. 前記要求部は、前記撮影部が故障している場合に、他の投影装置にさらに撮影の要求を行ない、
   前記回答部は、他の投影装置から受け付けられた回答に応じて、撮影の要求元の投影装置に対して回答することを特徴とする請求項３に記載の投影装置。
10. 前記撮影依頼判定部は、前記指示対象の優先度に応じて、何れの前記指示対象の撮影を依頼するかを判定することを特徴とする請求項４に記載の投影装置。
11. 前記撮影依頼判定部は、前記指示対象の指示の指示優先順である前記優先度に応じて、何れの前記指示対象の撮影を依頼するかを判定することを特徴とする請求項１０に記載の投影装置。
12. 前記撮影依頼判定部は、前記指示対象の面積から決定された前記優先度に応じて、何れの前記指示対象の撮影を依頼するかを判定することを特徴とする請求項１０に記載の投影装置。
13. 前記撮影部は、前記指示対象の重心に、前記撮影領域の重心が重なるように撮影することを特徴とする請求項１に記載の投影装置。
14. 前記投影部は、前記撮影領域を表示させた前記投影画像を投影することを特徴とする請求項１に記載の投影装置。
15. 前記投影部は、現在の前記撮影領域に含まれる前記指示対象の表示を、所定の表示に変化させた前記投影画像を投影することを特徴とする請求項１に記載の投影装置。
16. ネットワークを介して少なくとも１つの他の投影装置と接続される投影装置によって実行される投影方法であって、
    前記投影装置は、
    投影面に投影画像を投影する投影部と、
    前記投影面に含まれる撮影領域を撮影する撮影部と、を有し、
    前記撮影部によって撮影された撮影画像に基づいてユーザによる前記投影画像に対する指示動作を検出する検出ステップと、
    指示の対象となる前記投影面に含まれる指示対象に関する指示対象情報に基づいて、前記撮影領域に含むことができない指示対象の有無を判定する判定ステップと、
    前記撮影領域に含むことができない指示対象があると判定された場合に、前記他の投影装置へ撮影の要求を行なう要求ステップと
    を含むことを特徴とする投影方法。
17. １以上の情報処理装置を有する情報処理システムであって、
    投影面に投影画像を投影する投影部と、
    前記投影面に含まれる撮影領域を撮影する撮影部と、
    前記撮影部によって撮影された撮影画像に基づいてユーザによる前記投影画像に対する指示動作を検出する検出部と、
    指示の対象となる前記投影面に含まれる指示対象に関する指示対象情報を記憶する指示対象情報記憶部と、
    前記指示対象情報記憶部によって記憶された指示対象情報に基づいて、前記撮影領域に含むことができない指示対象の有無を判定する判定部と、
    前記判定部によって前記撮影領域に含むことができない指示対象があると判定された場合に、他の前記情報処理装置へ撮影の要求を行なう要求部と
    を有することを特徴とする情報処理システム。

Images