JP2014153947A - 投影システム、画像生成プログラム、情報処理装置及び画像生成方法 - Google Patents

Abstract

【課題】投影装置に対するユーザ操作の検出精度を向上させることを課題とする。
【解決手段】投影部は、投影面に投影画像を投影する。撮像部は、撮像可能な領域を表す撮像領域を撮像し、撮像画像を生成する。操作検出部は、撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する。撮像領域座標算出部は、操作対象画像に対するユーザ操作が検出された場合に、撮像画像と投影画像とから、投影画像に対する撮像領域の位置を特定する撮像領域座標を算出する。位置決定部は、撮像領域座標をもとに、操作対象画像を投影画像に配置する位置を決定する。投影画像生成部は、決定された位置に操作対象画像を配置した投影画像を生成する。投影制御部は、投影部による投影画像の投影を制御する。
【選択図】図２

Description

本発明は、投影システム、画像生成プログラム、情報処理装置及び画像生成方法に関する。

従来、プロジェクタ等の投影装置によってスクリーン等の投影面に投影される投影画像に対して、電子ペン等のポインティングデバイスを利用してポインティング位置を移動させることにより、投影装置を操作する技術が知られている。これに対して、ポインティングデバイスを利用しなくても投影装置を操作する技術も存在する。例えば、ユーザの所定動作であるジェスチャをカメラで認識し、ジェスチャに対応する操作を投影装置に対して実行する技術が知られている。また、投影画像に含まれるボタン等の操作対象を操作するための動作がユーザによって行なわれた場合に、この動作をカメラで認識し、操作対象の操作に対応する処理を投影装置に対して実行させる技術も知られている。これらの技術は、例えば、会議等のプレゼンテーションや、店舗においてコンテンツをユーザに表示するような用途が想定される。

また、これらの技術においては、ポインティング位置に応じた投影装置の操作が実行されることから、現在のポインティング位置を高精度に検出できることが望ましい。ポインティング位置を高精度に検出するための技術としては、例えば、投影面の所定箇所をマーキングした画像を保持しておき、マーキングした画像と現在投影されている画像との差分をとることにより、ポインティング位置を検出するものがある。かかる技術では、マーカを常時表示させることなく、現在のポインティング位置を検出できる。

しかしながら、上述した従来技術では、投影装置に対するユーザ操作を検出することができない場合があるという問題がある。具体的には、ユーザの動作をカメラによって認識することで投影装置を操作する状況において、カメラによって撮像可能な領域を表す撮像領域が投影画像よりも小さい場合に、投影装置に対する操作を検出することができない場合がある。撮像領域が投影画像よりも小さくなるケースは、投影面とカメラとの距離が近いことで発生する。つまり、プレゼンテーションやコンテンツの表示等の用途において、投影面とカメラとの距離を十分に確保できない場合には、上記のような問題が発生する。

本発明は、上記に鑑みてなされたものであって、投影装置に対するユーザ操作の検出精度を向上させることが可能である投影システム、画像生成プログラム、情報処理装置及び画像生成方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る投影システムは、投影面に投影画像を投影する投影部と、撮像可能な領域を表す撮像領域を撮像し、撮像画像を生成する撮像部と、前記撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する操作検出部と、前記操作対象画像に対するユーザ操作が検出された場合に、前記撮像画像と前記投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する撮像領域座標を算出する撮像領域座標算出部と、前記撮像領域座標をもとに、前記操作対象画像を前記投影画像に配置する位置を決定する位置決定部と、決定された位置に前記操作対象画像を配置した投影画像を生成する投影画像生成部と、前記投影部による投影画像の投影を制御する投影制御部とを有する。

また、本発明に係る画像生成プログラムは、撮像可能な領域を表す撮像領域を撮像した撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する操作検出ステップと、前記操作対象画像に対するユーザ操作が検出された場合に、前記撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する撮像領域座標を算出する撮像領域座標算出ステップと、前記撮像領域座標をもとに、前記操作対象画像を前記投影画像に配置する位置を決定する位置決定ステップと、決定された位置に前記操作対象画像を配置した投影画像を生成する投影画像生成ステップと、投影装置による投影画像の投影を制御する投影制御ステップとをコンピュータに実行させる。

また、本発明に係る情報処理装置は、撮像可能な領域を表す撮像領域を撮像した撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する操作検出部と、前記操作対象画像に対するユーザ操作が検出された場合に、前記撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する撮像領域座標を算出する撮像領域座標算出部と、前記撮像領域座標をもとに、前記操作対象画像を前記投影画像に配置する位置を決定する位置決定部と、決定された位置に前記操作対象画像を配置した投影画像を生成する投影画像生成部と、投影装置による投影画像の投影を制御する投影制御部とを有する。

また、本発明に係る画像生成方法は、撮像可能な領域を表す撮像領域を撮像した撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する操作検出ステップと、前記操作対象画像に対するユーザ操作が検出された場合に、前記撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する撮像領域座標を算出する撮像領域座標算出ステップと、前記撮像領域座標をもとに、前記操作対象画像を前記投影画像に配置する位置を決定する位置決定ステップと、決定された位置に前記操作対象画像を配置した投影画像を生成する投影画像生成ステップと、投影装置による投影画像の投影を制御する投影制御ステップとを含む。

本発明の一つの様態によれば、投影装置に対するユーザ操作の検出精度を向上させることができるという効果を奏する。

図１は、本実施の形態に係る投影システムの構成例を示す図である。 図２は、実施の形態１に係る装置構成例を示す機能ブロック図である。 図３は、実施の形態１に係るボタン画像の配置例を示す図である。 図４は、実施の形態１に係る画像生成処理の流れの例を示すフローチャートである。 図５は、実施の形態２に係る装置構成例を示す機能ブロック図である。 図６は、実施の形態２に係るボタン画像の配置例を示す図である。 図７は、実施の形態２に係る画像生成処理の流れの例を示すフローチャートである。 図８は、実施の形態３に係る装置構成例を示す機能ブロック図である。 図９は、実施の形態３に係るボタン画像の配置例を示す図である。 図１０は、実施の形態３に係る画像生成処理の流れの例を示すフローチャートである。 図１１は、実施の形態４に係る装置構成例を示す機能ブロック図である。 図１２は、実施の形態４に係るボタン画像の配置例を示す図である。 図１３は、実施の形態４に係る画像生成処理の流れの例を示すフローチャートである。 図１４は、実施の形態５に係る装置構成例を示す機能ブロック図である。 図１５は、実施の形態５に係るコンボボックス及びボタン画像の配置例を示す図である。 図１６は、実施の形態５に係る画像生成処理の流れの例を示すフローチャートである。 図１７は、実施の形態６に係る装置構成例を示す機能ブロック図である。 図１８は、実施の形態６に係る画像生成処理の流れの例を示すフローチャートである。 図１９は、実施の形態７に係る装置構成例を示す機能ブロック図である。 図２０は、実施の形態７に係るボタン画像の配置例を示す図である。 図２１は、実施の形態７に係る画像生成処理の流れの例を示すフローチャートである。 図２２は、実施の形態８に係る装置構成例を示す機能ブロック図である。 図２３は、実施の形態８に係る画像生成処理の流れの例を示すフローチャートである。

以下に添付図面を参照して、本発明に係る投影システム、画像生成プログラム、情報処理装置及び画像生成方法の実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。

（実施の形態１）
［システム構成］
図１を用いて、本実施の形態に係る投影システムの構成を説明する。図１は、本実施の形態に係る投影システムの構成例を示す図である。

図１に示すように、投影システム１０は、撮像装置２０と、通信装置３０と、投影装置４０と、情報処理装置１００とを有する。これらのうち、撮像装置２０は、投影面に投影される投影画像を撮像し、撮像画像を生成するカメラ等である。かかる撮像装置２０は、通信装置３０に接続される。以下では、撮像装置２０が撮像可能な領域を「撮像領域」と呼ぶ場合がある。撮像領域は、撮像装置２０と投影面との距離に応じて大きさが変化する。通信装置３０は、撮像装置２０によって生成された撮像画像を情報処理装置１００に対して送信する通信機器である。通信装置３０は、撮像画像を一時的に保存するメモリを有し、メモリから取得した撮像画像を情報処理装置１００に対して送信する。投影装置４０は、投影面に投影画像を投影するプロジェクタ等である。かかる投影装置４０は、情報処理装置１００に接続される。

情報処理装置１００は、投影画像を生成し、投影装置４０による投影画像の投影を制御するサーバ装置等である。ここで、投影画像の生成は、投影装置４０の電源が投入された場合や、投影画像でのユーザ操作が検出された場合等に行なわれる。かかるユーザ操作は、撮像領域を撮像した撮像画像を用いて検出される。したがって、ユーザ操作の対象となるボタン画像等の操作対象画像が撮像領域に含まれていなければ、ユーザ操作が検出されることはないため、投影画像でのユーザ操作が実現されない。このため、情報処理装置１００は、撮像領域に操作対象画像が含まれるように投影画像を生成することで、投影画像でのユーザ操作を実現する。なお、各装置は、ＬＡＮ（Local Area Network）やインターネット等のネットワークに接続されており、ネットワークの接続は有線及び無線の何れであっても良い。

例えば、投影システム１０は、会議等のプレゼンテーションや、店舗においてコンテンツをユーザに表示する用途で利用される。すなわち、ユーザは、投影画像に配置されたボタン画像等に、手を近づけたり触れたりするユーザ操作を行なう。このようなユーザ操作が行なわれることにより、ボタン画像に対する操作が行なわれたこととして、操作に応じて投影画像の切り替え等が実現する。また、上述したように、投影システム１０の用途によっては、投影面と撮像装置２０との距離を十分に確保できない可能性もあり、撮像領域が投影画像よりも小さくなってしまうケースが発生する。このため、情報処理装置１００は、撮像領域にボタン画像等の操作対象画像が含まれるように投影画像を生成している。

［実施の形態１に係る装置構成］
図２を用いて、実施の形態１に係る装置構成を説明する。図２は、実施の形態１に係る装置構成例を示す機能ブロック図である。

図２に示すように、撮像装置２０は、撮像部２１を有する。撮像部２１は、撮像可能な領域を表す撮像領域を撮像し、撮像画像を生成する。そして、撮像部２１は、生成した撮像画像を通信装置３０に対して送信する。撮像画像は、撮像領域を撮像した画像であるため、投影面と撮像装置２０との距離によっては投影画像全てを含む画像ではない場合がある。通信装置３０は、通信制御部３１を有する。通信制御部３１は、撮像装置２０によって生成された撮像画像を情報処理装置１００に対して送信する。投影装置４０は、投影部４１を有する。投影部４１は、情報処理装置１００による制御により、投影面に投影画像を投影する。

情報処理装置１００は、記憶部１１０と、制御部１２０とを有する。これらのうち、記憶部１１０は、制御部１２０による各種処理で利用されるデータや、制御部１２０による各種処理結果を記憶し、構成情報記憶部１１１と、撮像画像記憶部１１２とを有する。また、記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。

構成情報記憶部１１１は、投影面に投影される投影画像の構成情報を記憶する。具体的には、投影画像の構成情報は、投影画像に配置されるボタン画像や文字画像、その他各種のオブジェクト等の投影画像を構成するための情報である。例えば、投影画像の構成情報は、ボタン画像を含む投影画像の画像データであっても良いし、ボタン画像が含まれていない投影画像の画像データであっても良い。ボタン画像を含む投影画像の画像データである場合には、以下で説明する処理により既に配置されているボタン画像の新たな配置位置が決定される。一方、ボタン画像が含まれていない投影画像の画像データである場合には、以下で説明する処理により投影画像に配置するボタン画像の位置が決定される。ボタン画像は、構成情報記憶部１１１に記憶されていても良いし、外部の記憶装置等から取得しても良い。また、ボタン画像とともに、ボタン画像の大きさ（高さと幅）を表す情報が少なくとも記憶される。撮像画像記憶部１１２は、撮像装置２０によって生成された撮像画像を記憶する。

制御部１２０は、制御プログラム、各種の処理手順等を規定したプログラム及び所要データを格納するための内部メモリを有する。かかる制御部１２０は、通信制御部１２１と、操作検出部１２２と、撮像領域座標算出部１２３と、位置決定部１２４と、投影画像生成部１２５と、投影制御部１２６とを有する。また、制御部１２０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路、又は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路である。なお、上記各部については、これらの一部又は全部がソフトウェア（プログラム）、上記のようなハードウェア回路であっても良い。

通信制御部１２１は、情報処理装置１００による通信を制御する。より具体的には、通信制御部１２１は、撮像装置２０によって生成され、通信装置３０によって送信された撮像画像を受信する。受信した撮像画像は、撮像画像記憶部１１２に格納される。また、通信制御部１２１は、投影装置４０から、該投影装置４０の電源が投入された旨を受け付けて、撮像領域座標算出部１２３に対して通知する。情報処理装置１００は、投影装置４０の電源が投入されたことにより、投影面に投影する投影画像の生成処理を開始する。

操作検出部１２２は、操作対象画像に対するユーザ操作を検出する。より具体的には、操作検出部１２２は、撮像画像記憶部１１２から撮像画像を取得し、取得した撮像画像から、操作対象画像の一つであるボタン画像に対するユーザ操作を検出する。そして、操作検出部１２２は、ユーザ操作を検出した旨を撮像領域座標算出部１２３に対して通知する。情報処理装置１００は、ボタン画像に対するユーザ操作により、投影画像を切り替えるために、投影面に投影する新たな投影画像の生成処理を開始する。

撮像領域座標算出部１２３は、投影画像に対する撮像領域の位置を特定するための座標を表す撮像領域座標を算出する。より具体的には、撮像領域座標算出部１２３は、投影装置４０の電源が投入されたこと、若しくはユーザ操作が検出されたことをトリガとして、投影画像の左下の頂点座標を（０，０）としたときの、投影画像に対する撮像領域の頂点座標を算出する。投影画像に対する撮像領域の頂点座標は、撮像領域座標の一例である。撮像領域の頂点座標は、構成情報記憶部１１１に記憶された構成情報と、撮像画像記憶部１１２に記憶された撮像画像とから求められる。算出する頂点座標は、撮像領域が方形である場合、全ての頂点座標を算出しても良いし、３点若しくは対角線に対応する２点を算出すれば良く、これにより残りの頂点座標も求められる。なお、座標（０，０）を投影画像の左下の頂点座標とすることは一例であり、投影画像の何れの頂点座標を（０，０）にしても良い。以下では、投影画像の左下の頂点座標を（０，０）とする場合を例に挙げる。また、撮像領域の頂点座標が予めわかっている場合や、一度既に求めている場合には、撮像領域座標算出部１２３による処理を省略しても良い。

位置決定部１２４は、投影画像に配置する操作対象画像の位置を決定する。より具体的には、位置決定部１２４は、撮像領域座標算出部１２３によって算出された撮像領域の頂点座標から、該撮像領域の重心となる座標を算出する。そして、位置決定部１２４は、撮像領域の重心となる座標に、ボタン画像の重心を重ねた場合における、ボタン画像の頂点座標を算出することにより、ボタン画像の位置を決定する。なお、ボタン画像の頂点座標は、投影画像に対する操作対象画像の位置を特定するための操作対象座標の一例である。

ここで、位置決定部１２４による位置決定処理の一例を説明する。以下のように、撮像領域の頂点座標からｘ方向とｙ方向との中点座標をそれぞれ求めることにより、撮像領域の重心となる座標を求める。また、撮像領域の重心となる座標と、ボタン画像の大きさ（高さと幅）とから、撮像領域の重心となる座標にボタン画像の重心を重ねた場合における、ボタン画像の頂点座標を求める。ボタン画像の高さ及び幅は、投影画像の構成情報から求められる。なお、ボタン画像の高さはｙ方向、幅はｘ方向であるものとする。

撮像領域の重心となる座標。
「ｘ座標＝
（撮像領域の左下の頂点のｘ座標＋撮像領域の右上の頂点のｘ座標）÷２」
「ｙ座標＝
（撮像領域の左下の頂点のｙ座標＋撮像領域の右上の頂点のｙ座標）÷２」

ボタン画像の頂点座標。
「ボタン画像の左下の頂点のｘ座標＝
撮像領域の重心のｘ座標−ボタン画像の幅÷２」
「ボタン画像の左下の頂点のｙ座標＝
撮像領域の重心のｙ座標−ボタン画像の高さ÷２」
「ボタン画像の左上の頂点のｘ座標＝
撮像領域の重心のｘ座標−ボタン画像の幅÷２」
「ボタン画像の左上の頂点のｙ座標＝
撮像領域の重心のｙ座標＋ボタン画像の高さ÷２」
「ボタン画像の右下の頂点のｘ座標＝
撮像領域の重心のｘ座標＋ボタン画像の幅÷２」
「ボタン画像の右下の頂点のｙ座標＝
撮像領域の重心のｙ座標−ボタン画像の高さ÷２」
「ボタン画像の右上の頂点のｘ座標＝
撮像領域の重心のｘ座標＋ボタン画像の幅÷２」
「ボタン画像の右上の頂点のｙ座標＝
撮像領域の重心のｙ座標＋ボタン画像の高さ÷２」

投影画像生成部１２５は、操作対象画像を配置した投影画像を生成する。より具体的には、投影画像生成部１２５は、位置決定部１２４によって決定されたボタン画像の頂点座標と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、ボタン画像を配置した投影画像を生成する。

図３は、実施の形態１に係るボタン画像の配置例を示す図である。図３上段に示した例において、撮像領域２の各頂点座標は、（４，２）、（４，１０）、（１２，２）、（１２，１０）である。投影画像１は、上記の各頂点座標を有する撮像領域２を含んでいる。なお、ボタン画像の大きさは、幅「２」、高さ「２」であるものとする。

上述した状態において、位置決定部１２４は、撮像領域２の各頂点座標から、撮像領域２の重心となる座標「ｘ座標＝（４＋１２）÷２＝８，ｙ座標＝（２＋１０）÷２＝６」を算出する。図３において、撮像領域２の重心となる座標は、黒四角で表している。また、位置決定部１２４は、撮像領域２の重心となる座標（８，６）と、ボタン画像の幅「２」、高さ「２」とから、撮像領域２の重心にボタン画像の重心を重ねた場合における、ボタン画像の頂点座標を算出し、投影画像１に対するボタン画像の位置を決定する。

詳細には、位置決定部１２４は、「ボタン画像の左下の頂点のｘ座標＝８−２÷２＝７」、「ボタン画像の左下の頂点のｙ座標＝６−２÷２＝５」を算出する。同様に、位置決定部１２４は、「ボタン画像の左上の頂点のｘ座標＝８−２÷２＝７」、「ボタン画像の左上の頂点のｙ座標＝６＋２÷２＝７」を算出する。同様に、位置決定部１２４は、「ボタン画像の右下の頂点のｘ座標＝８＋２÷２＝９」、「ボタン画像の右下の頂点のｙ座標＝６−２÷２＝５」を算出する。同様に、位置決定部１２４は、「ボタン画像の右上の頂点のｘ座標＝８＋２÷２＝９」、「ボタン画像の右上の頂点のｙ座標＝６＋２÷２＝７」を算出する。

また、投影画像生成部１２５は、位置決定部１２４によって決定されたボタン画像の各頂点座標と、投影画像１の構成情報とから、ボタン画像を配置した投影画像１を生成する。これらにより、図３下段に示すように、撮像領域２の重心となる座標（８，６）に、幅「２」、高さ「２」であるボタン画像３の重心が重ねられた投影画像１が生成される。

投影制御部１２６は、投影装置４０による投影画像の投影を制御する。より具体的には、投影制御部１２６は、投影画像生成部１２５によって生成された投影画像の投影部４１による投影を制御する。

［実施の形態１に係る画像生成処理フロー］
次に、図４を用いて、実施の形態１に係る画像生成処理の流れについて説明する。図４は、実施の形態１に係る画像生成処理の流れの例を示すフローチャートである。なお、図４では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。

図４に示すように、操作検出部１２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ１０１）。ここで、操作検出部１２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ１０２）。このとき、操作検出部１２２によってボタン画像に対するユーザ操作が検出された場合に（ステップＳ１０２：Ｙｅｓ）、撮像領域座標算出部１２３は、撮像画像と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、撮像領域の頂点座標を算出する（ステップＳ１０３）。一方、操作検出部１２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ１０２：Ｎｏ）、ステップＳ１０１における処理が実行される。

また、位置決定部１２４は、撮像領域の頂点座標から、撮像領域の重心となる座標を算出する。そして、位置決定部１２４は、ボタン画像の幅及び高さと、算出した撮像領域の重心となる座標とから、撮像領域の重心にボタン画像の重心を重ねた場合における、ボタン画像の頂点座標を算出することにより、投影画像に対するボタン画像の位置を決定する（ステップＳ１０４）。また、投影画像生成部１２５は、位置決定部１２４によって決定されたボタン画像の頂点座標と、投影画像の構成情報とから、ボタン画像を配置した投影画像を生成する（ステップＳ１０５）。その後、投影制御部１２６は、投影画像生成部１２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ１０６）。

［実施の形態１による効果］
情報処理装置１００は、撮像領域の重心にボタン画像の重心を重ねた場合における、投影画像に対するボタン画像の位置を決定し、決定した位置にボタン画像を配置した投影画像を生成する。この結果、情報処理装置１００は、投影面と投影装置４０との距離を十分に確保できない場合であっても、投影装置４０に対するユーザ操作の検出精度を向上させることができる。換言すると、情報処理装置１００は、ユーザ操作を検出可能な撮像領域にボタン画像が含まれるように、ボタン画像を配置した投影画像を生成するので、投影装置４０に対するユーザ操作の検出精度を向上させることができる。

（実施の形態２）
上記実施の形態１では、撮像領域の重心にボタン画像の重心を重ねたときの、ボタン画像の頂点座標を求めることにより、投影画像に対するボタン画像の位置を決定する場合を説明した。実施の形態２では、ボタン画像が撮像領域よりも大きいときの、投影画像に対するボタン画像の位置の決定について説明する。

［実施の形態２に係る装置構成］
図５を用いて、実施の形態２に係る装置構成を説明する。図５は、実施の形態２に係る装置構成例を示す機能ブロック図である。実施の形態２では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す位置決定部２２４、包含判定部２２７以外の機能及び構成、処理は実施の形態１と同様である。

図５に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置２００は、記憶部１１０と、制御部２２０とを有する。これらのうち、記憶部１１０は、構成情報記憶部１１１と、撮像画像記憶部１１２とを有する。制御部２２０は、通信制御部１２１と、操作検出部１２２と、撮像領域座標算出部１２３と、位置決定部２２４と、投影画像生成部１２５と、投影制御部１２６と、包含判定部２２７とを有する。

包含判定部２２７は、操作対象画像が撮像領域に包含されるか否かを判定する。また、位置決定部２２４は、撮像領域に包含されるように操作対象画像を縮小したときの、投影画像に配置する操作対象画像の位置を決定する。より具体的には、位置決定部２２４は、撮像領域座標算出部１２３によって算出された撮像領域の頂点座標から、撮像領域の高さ及び幅を算出する。そして、位置決定部２２４は、撮像領域の高さ及び幅と、ボタン画像の高さ及び幅とを、包含判定部２２７に対して出力し、包含判定処理を指示する。

包含判定処理の指示を受け付けた包含判定部２２７は、撮像領域の高さ及び幅と、ボタン画像の高さ及び幅とから、ボタン画像が撮像領域に包含されるか否かを判定する。例えば、包含判定処理では、撮像領域の高さ及び幅と、ボタン画像の高さ及び幅とを比較する。そして、包含判定部２２７は、ボタン画像が撮像領域に包含されるか否かの包含判定処理結果を位置決定部２２４に対して出力する。

位置決定部２２４は、包含判定部２２７によってボタン画像が撮像領域に包含されないと判定された場合に、撮像領域の頂点座標に応じてボタン画像を縮小したときの、ボタン画像の位置を決定する。ボタン画像の縮小では、一つの様態として、ボタン画像の元々の形状を崩さないように、撮像領域の頂点座標をもとに、撮像領域に包含される最大のボタン画像となるように縮小する。撮像領域に包含される最大のボタン画像となるように縮小することで、ユーザ操作の操作性を向上できる。

また、少なくとも、ボタン画像が撮像領域に包含されれば良いため、撮像領域の頂点座標をそのままボタン画像の頂点座標としても良いし、撮像領域の頂点座標の領域内の任意の座標をボタン画像の頂点座標としても良い。すなわち、位置決定部２２４は、撮像領域に包含されるようにボタン画像を縮小したときのボタン画像の頂点座標を算出することにより、投影画像に対するボタン画像の位置を決定する。なお、包含判定部２２７によってボタン画像が撮像領域に包含されると判定された場合の処理は、実施の形態１と同様である。

図６は、実施の形態２に係るボタン画像の配置例を示す図である。図６上段に示した例において、撮像領域２の各頂点座標は、（４，６）、（４，１０）、（８，６）、（８，１０）である。投影画像１は、上記の各頂点座標を有する撮像領域２を含んでいる。図６において、撮像領域２の重心となる座標は、黒四角で表している。なお、ボタン画像の大きさは、幅「４」、高さ「６」であるものとする。

上述した状態において、位置決定部２２４は、撮像領域２の頂点座標から撮像領域２の高さ及び幅を求め、撮像領域２の高さ及び幅と、ボタン画像の高さ及び幅とを包含判定部２２７に対して出力する。包含判定部２２７は、撮像領域２の高さ及び幅と、ボタン画像の高さ及び幅とから、ボタン画像が撮像領域２に包含されるか否かを判定する。この時点で、図６中段に示すように、ボタン画像３は、撮像領域２に包含されない。よって、包含判定部２２７は、ボタン画像３が撮像領域２に包含されないと判定する。

位置決定部２２４は、包含判定部２２７によってボタン画像３が撮像領域２に包含されないと判定された場合に、撮像領域２の頂点座標に応じてボタン画像３を縮小したときの、ボタン画像３の頂点座標を算出する。図６下段に示すように、位置決定部２２４は、ボタン画像３の高さ及び幅の比率「高さ：幅＝３：２」を変更せずに、ボタン画像３が撮像領域２に包含されるように、ボタン画像３を縮小する。図６に示した例において、縮小したボタン画像３の頂点座標は、（５，６）、（５，１０）、（７，６）、（７，１０）となる。

［実施の形態２に係る画像生成処理フロー］
次に、図７を用いて、実施の形態２に係る画像生成処理の流れについて説明する。図７は、実施の形態２に係る画像生成処理の流れの例を示すフローチャートである。なお、図７では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。

図７に示すように、操作検出部１２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ２０１）。ここで、操作検出部１２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ２０２）。このとき、操作検出部１２２によってボタン画像に対するユーザ操作が検出された場合に（ステップＳ２０２：Ｙｅｓ）、撮像領域座標算出部１２３は、撮像画像と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、撮像領域の頂点座標を算出する（ステップＳ２０３）。一方、操作検出部１２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ２０２：Ｎｏ）、ステップＳ１０１における処理が実行される。

また、位置決定部２２４は、撮像領域の頂点座標から撮像領域の高さ及び幅を算出するとともに、投影画像の構成情報からボタン画像の高さ及び幅を算出する（ステップＳ２０４）。ここで、包含判定部２２７は、撮像領域の高さ及び幅と、ボタン画像の高さ及び幅とを比較することにより、ボタン画像が撮像領域に包含されるか否かを判定する（ステップＳ２０５）。

このとき、包含判定部２２７によってボタン画像が撮像領域に包含されないと判定された場合に（ステップＳ２０５：Ｎｏ）、位置決定部２２４は、撮像領域の頂点座標に応じて、撮像領域に包含されるようにボタン画像を縮小したときのボタン画像の頂点座標を算出することにより、投影画像に対する縮小したボタン画像の位置を決定する（ステップＳ２０６）。また、投影画像生成部１２５は、位置決定部２２４によって決定された縮小したボタン画像の頂点座標と、投影画像の構成情報とから、縮小したボタン画像を配置した投影画像を生成する（ステップＳ２０７）。その後、投影制御部１２６は、投影画像生成部１２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ２０８）。

一方、包含判定部２２７によってボタン画像が撮像領域に包含されると判定された場合に（ステップＳ２０５：Ｙｅｓ）、位置決定部２２４は、撮像領域の重心にボタン画像の重心を重ねた場合における、ボタン画像の頂点座標を算出することにより、投影画像に対するボタン画像の位置を決定する（ステップＳ２０９）。また、投影画像生成部１２５は、位置決定部２２４によって決定されたボタン画像の頂点座標と、投影画像の構成情報とから、ボタン画像を配置した投影画像を生成する（ステップＳ２０７）。その後、投影制御部１２６は、投影画像生成部１２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ２０８）。

［実施の形態２による効果］
情報処理装置２００は、ボタン画像が撮像領域に包含されるか否かを判定し、ボタン画像が撮像領域に包含されるようにボタン画像を縮小したときの位置を決定し、決定した位置に縮小したボタン画像を配置した投影画像を生成する。この結果、情報処理装置２００は、投影画像におけるユーザ操作の操作性を向上させることができるとともに、投影装置４０に対するユーザ操作の検出精度を向上させることができる。

（実施の形態３）
上記実施の形態１や２では、ボタン画像が単数である場合の、投影画像に対するボタン画像の位置の決定について説明した。実施の形態３では、ボタン画像が複数である場合の、投影画像に対するボタン画像の位置の決定について説明する。

［実施の形態３に係る装置構成］
図８を用いて、実施の形態３に係る装置構成を説明する。図８は、実施の形態３に係る装置構成例を示す機能ブロック図である。実施の形態３では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す位置決定部３２４、投影画像生成部３２５以外の機能及び構成、処理は実施の形態１と同様である。

図８に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置３００は、記憶部１１０と、制御部３２０とを有する。これらのうち、記憶部１１０は、構成情報記憶部１１１と、撮像画像記憶部１１２とを有する。制御部３２０は、通信制御部１２１と、操作検出部１２２と、撮像領域座標算出部１２３と、位置決定部３２４と、投影画像生成部３２５と、投影制御部１２６とを有する。

位置決定部３２４は、投影画像に配置する複数の操作対象画像の位置を決定する。より具体的には、位置決定部３２４は、撮像領域座標算出部１２３によって算出された撮像領域の頂点座標のうち所定の頂点座標から、複数のボタン画像が互いに重ならないように配置するための位置を決定する。所定の頂点座標は、例えば、撮像領域の左上の頂点座標を採用する。すなわち、位置決定部３２４は、撮像領域の左上の頂点座標から、複数のボタン画像を順に配置したときの、ボタン画像それぞれの頂点座標を算出することにより、複数のボタン画像の位置を決定する。なお、所定の頂点座標は、撮像領域の左上の頂点座標に限られるわけではなく、左下、右下、右上の何れの頂点座標であっても良い。また、頂点座標を利用しているのは、より多くのボタン画像を効率良く配置するためである。

投影画像生成部３２５は、複数の操作対象画像を配置した投影画像を生成する。より具体的には、投影画像生成部３２５は、位置決定部３２４によって決定された複数のボタン画像の頂点座標と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、複数のボタン画像を配置した投影画像を生成する。

図９は、実施の形態３に係るボタン画像の配置例を示す図である。図９上段に示した例において、撮像領域２の各頂点座標は、（４，２）、（４，１０）、（１２，２）、（１２，１０）である。投影画像１は、上記の各頂点座標を有する撮像領域２を含んでいる。また、ボタン画像が３つ存在するものとして、それぞれをボタン画像３ａ、ボタン画像３ｂ、ボタン画像３ｃと表す。なお、ボタン画像３ａの大きさは、幅「２」、高さ「２」であるものとする。また、ボタン画像３ｂの大きさは、幅「２」、高さ「２」であるものとする。また、ボタン画像３ｃの大きさは、幅「２」、高さ「２」であるものとする。

上述した状態において、位置決定部３２４は、撮像領域２の左上の頂点（頂点座標は（４，１０））にボタン画像３ａの左上の頂点を重ねたときの、ボタン画像３ａの頂点座標（４，８）、（４，１０）、（６，８）、（６，１０）を算出する。そして、位置決定部３２４は、ボタン画像３ａの右上の頂点（頂点座標は（６，１０））にボタン画像３ｂの左上の頂点を重ねたときの、ボタン画像３ｂの頂点座標（６，８）、（６，１０）、（８，８）、（８，１０）を算出する。続いて、位置決定部３２４は、ボタン画像３ｂの右上の頂点（頂点座標は（８，１０））にボタン画像３ｃの左上の頂点を重ねたときの、ボタン画像３ｃの頂点座標（８，８）、（８，１０）、（１０，８）、（１０，１０）を算出する。

また、投影画像生成部３２５は、位置決定部３２４によって決定されたボタン画像３ａ、ボタン画像３ｂ及びボタン画像３ｃの各頂点座標と、投影画像１の構成情報とから、ボタン画像３ａ、ボタン画像３ｂ及びボタン画像３ｃを配置した投影画像１を生成する。これらにより、図９下段に示すように、撮像領域２の左上の頂点座標から、ボタン画像３ａ、ボタン画像３ｂ、ボタン画像３ｃが順に並べられた投影画像１が生成される。

なお、複数のボタン画像の幅が撮像領域の幅よりも長い場合には、撮像領域内で折り返してボタン画像を配置する。図９の例だと、撮像領域内で折り返して、ボタン画像３ａの左下の頂点座標（４，８）から、さらに他のボタン画像が配置されていくことになる。また、複数のボタン画像の大きさがそれぞれ異なる場合には、より大きいボタン画像から配置する等、大きさに応じて配置順を決定しても良い。

［実施の形態３に係る画像生成処理フロー］
次に、図１０を用いて、実施の形態３に係る画像生成処理の流れについて説明する。図１０は、実施の形態３に係る画像生成処理の流れの例を示すフローチャートである。なお、図１０では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。

図１０に示すように、操作検出部１２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ３０１）。ここで、操作検出部１２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ３０２）。このとき、操作検出部１２２によってボタン画像に対するユーザ操作が検出された場合に（ステップＳ３０２：Ｙｅｓ）、撮像領域座標算出部１２３は、撮像画像と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、撮像領域の頂点座標を算出する（ステップＳ３０３）。一方、操作検出部１２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ３０２：Ｎｏ）、ステップＳ３０１における処理が実行される。

また、位置決定部３２４は、撮像領域の頂点座標と複数のボタン画像それぞれの高さ及び幅とをもとに、撮像領域の左上の頂点座標から、複数のボタン画像が互いに重ならないように順に配置したときの、複数のボタン画像の頂点座標それぞれを算出することにより、投影画像に対する複数のボタン画像の位置を決定する（ステップＳ３０４）。また、投影画像生成部３２５は、位置決定部３２４によって決定された複数のボタン画像の頂点座標と、投影画像の構成情報とから、複数のボタン画像を配置した投影画像を生成する（ステップＳ３０５）。その後、投影制御部１２６は、投影画像生成部３２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ３０６）。

［実施の形態３による効果］
情報処理装置３００は、撮像領域の左上の頂点座標等の所定座標から、互いに重ならないように配置するための複数のボタン画像の位置を決定し、決定したそれぞれの位置に複数のボタン画像を配置した投影画像を生成する。この結果、情報処理装置３００は、投影装置４０に対するユーザ操作の検出精度を向上させることができる。

（実施の形態４）
上記実施の形態３では、撮像領域の所定座標から、互いに重ならないように配置するための複数のボタン画像の位置を決定する場合を説明した。実施の形態４では、複数のボタン画像が撮像領域に包含されないときの、投影画像に対する複数のボタン画像の位置の決定について説明する。

［実施の形態４に係る装置構成］
図１１を用いて、実施の形態４に係る装置構成を説明する。図１１は、実施の形態４に係る装置構成例を示す機能ブロック図である。実施の形態４では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す位置決定部４２４、投影画像生成部４２５、包含判定部４２７以外の機能及び構成、処理は実施の形態１と同様である。

図１１に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置４００は、記憶部１１０と、制御部４２０とを有する。これらのうち、記憶部１１０は、構成情報記憶部１１１と、撮像画像記憶部１１２とを有する。制御部４２０は、通信制御部１２１と、操作検出部１２２と、撮像領域座標算出部１２３と、位置決定部４２４と、投影画像生成部４２５と、投影制御部１２６と、包含判定部４２７とを有する。

包含判定部４２７は、複数の操作対象画像が撮像領域に包含されるか否かを判定する。また、位置決定部４２４は、撮像領域に包含されるように複数の操作対象画像を縮小したときの、投影画像に配置する縮小した複数の操作対象画像の位置を決定する。より具体的には、位置決定部４２４は、実施の形態３と同様に、撮像領域座標算出部１２３によって算出された撮像領域の頂点座標のうち左上の頂点座標から、複数のボタン画像が互いに重ならないように配置するための、複数のボタン画像の頂点座標を算出する。そして、位置決定部４２４は、撮像領域の頂点座標と、複数のボタン画像の頂点座標とを、包含判定部４２７に対して出力し、包含判定処理を指示する。

包含判定処理の指示を受け付けた包含判定部４２７は、撮像領域の頂点座標と、複数のボタン画像の頂点座標とから、複数のボタン画像が撮像領域に包含されるか否かを判定する。例えば、包含判定処理では、撮像領域の頂点座標の領域外に、複数のボタン画像の頂点座標のうち一つでも存在していれば、複数のボタン画像が撮像領域に包含されないと判定する。そして、包含判定部４２７は、複数のボタン画像が撮像領域に包含されるか否かの包含判定処理結果を位置決定部４２４に対して出力する。

これにより、位置決定部４２４は、包含判定部４２７によって複数のボタン画像が撮像領域に包含されないと判定された場合に、撮像領域に包含されるように複数のボタン画像を縮小したときの、複数のボタン画像の位置を決定する。複数のボタン画像の縮小では、複数のボタン画像の元々の形状を崩さないように、撮像領域の頂点座標をもとに、撮像領域に包含される最大のボタン画像となるように縮小する。

また、少なくとも、複数のボタン画像が撮像領域に包含されれば良いため、撮像領域の頂点座標の領域をボタン画像の数で任意に分割し、複数のボタン画像の頂点座標を得るようにしても良い。すなわち、位置決定部４２４は、撮像領域に包含されるように縮小したときの複数のボタン画像の頂点座標を算出することにより、投影画像に対する縮小した複数のボタン画像の位置を決定する。なお、包含判定部４２７によって複数のボタン画像が撮像領域に包含されると判定された場合の処理は、実施の形態３と同様である。

投影画像生成部４２５は、複数の操作対象画像を配置した投影画像を生成する。より具体的には、投影画像生成部４２５は、位置決定部４２４によって決定された縮小した複数のボタン画像の頂点座標と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、縮小した複数のボタン画像を配置した投影画像を生成する。

図１２は、実施の形態４に係るボタン画像の配置例を示す図である。図１２上段に示した例において、撮像領域２の各頂点座標は、（４，３）、（４，１０）、（１２，３）、（１２，１０）である。投影画像１は、上記の各頂点座標を有する撮像領域２を含んでいる。また、ボタン画像が３つ存在するものとして、それぞれをボタン画像３ａ、ボタン画像３ｂ、ボタン画像３ｃと表す。なお、ボタン画像３ａの大きさは、幅「４」、高さ「４」であるものとする。また、ボタン画像３ｂの大きさは、幅「４」、高さ「４」であるものとする。また、ボタン画像３ｃの大きさは、幅「４」、高さ「４」であるものとする。

上述した状態において、位置決定部４２４は、撮像領域２の左上の頂点（頂点座標は（４，１０））にボタン画像３ａの左上の頂点を重ねたときの、ボタン画像３ａの頂点座標（４，６）、（４，１０）、（８，６）、（８，１０）を算出する。そして、位置決定部４２４は、ボタン画像３ａの右上の頂点（頂点座標は（８，１０））にボタン画像３ｂの左上の頂点を重ねたときの、ボタン画像３ｂの頂点座標（８，６）、（８，１０）、（１２，６）、（１２，１０）を算出する。ここで、位置決定部４２４は、ボタン画像３ａとボタン画像３ｂとの幅の合計が撮像領域２の幅に達するため、ボタン画像３ａの左下の頂点座標（４，６）から、ボタン画像３ｃを配置していく。すなわち、位置決定部４２４は、ボタン画像３ａの左下の頂点（頂点座標（４，６））にボタン画像３ｃの左上の頂点を重ねたときの、ボタン画像３ｃの頂点座標（４，２）、（４，６）、（８，２）、（８，６）を算出する。その後、位置決定部４２４は、撮像領域２の頂点座標と、ボタン画像３ａの頂点座標、ボタン画像３ｂの頂点座標及びボタン画像３ｃの頂点座標とを、包含判定部４２７に対して出力する。

包含判定部４２７は、撮像領域２の頂点座標と、ボタン画像３ａの頂点座標、ボタン画像３ｂの頂点座標及びボタン画像３ｃの頂点座標とから、撮像領域２の頂点座標の領域外に、複数のボタン画像の何れかの頂点座標が存在するか否かを判定することにより、複数のボタン画像が撮像領域２に包含されるか否かを判定する。この時点で、図１２中段に示すように、ボタン画像３ｃは、撮像領域２に包含されない。よって、包含判定部４２７は、複数のボタン画像が撮像領域２に包含されないと判定する。

位置決定部４２４は、包含判定部４２７によって複数のボタン画像が撮像領域２に包含されないと判定された場合に、撮像領域２の頂点座標に応じて複数のボタン画像を縮小したときの、複数のボタン画像の位置を決定する。位置決定部４２４は、ボタン画像３ａの高さ及び幅の比率「高さ：幅＝１：１」、ボタン画像３ｂの高さ及び幅の比率「高さ：幅＝１：１」、ボタン画像３ｃの高さ及び幅の比率「高さ：幅＝１：１」を変更せずに、これらのボタン画像が撮像領域２に包含されるように、ボタン画像それぞれを縮小する。図１２に示した例において、縮小したボタン画像３ａの頂点座標は、（４、７）、（４，１０）、（７，７）、（７，１０）となる。また、縮小したボタン画像３ｂの頂点座標は、（７，７）、（７，１０）、（１０，７）、（１０，１０）となる。また、縮小したボタン画像３ｃの頂点座標は、（４，４）、（４，７）、（７，４）、（７，７）となる。

また、投影画像生成部４２５は、位置決定部４２４によって決定された縮小したときのボタン画像３ａ、ボタン画像３ｂ及びボタン画像３ｃの各頂点座標と、投影画像１の構成情報とから、縮小したボタン画像３ａ、ボタン画像３ｂ及びボタン画像３ｃを配置した投影画像１を生成する。これらにより、図１２下段に示すように、撮像領域２の左上の頂点座標から、縮小したボタン画像３ａ、ボタン画像３ｂ、ボタン画像３ｃが順に並べられた投影画像１が生成される。

［実施の形態４に係る画像生成処理フロー］
次に、図１３を用いて、実施の形態４に係る画像生成処理の流れについて説明する。図１３は、実施の形態４に係る画像生成処理の流れの例を示すフローチャートである。なお、図１３では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。

図１３に示すように、操作検出部１２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ４０１）。ここで、操作検出部１２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ４０２）。このとき、操作検出部１２２によってボタン画像に対するユーザ操作が検出された場合に（ステップＳ４０２：Ｙｅｓ）、撮像領域座標算出部１２３は、撮像画像と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、撮像領域の頂点座標を算出する（ステップＳ４０３）。一方、操作検出部１２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ４０２：Ｎｏ）、ステップＳ４０１における処理が実行される。

また、位置決定部４２４は、撮像領域の頂点座標と複数のボタン画像それぞれの高さ及び幅とをもとに、撮像領域の左上の頂点座標から、複数のボタン画像が互いに重ならないように順に配置したときの、複数のボタン画像の頂点座標それぞれを算出することにより、投影画像に対する複数のボタン画像の位置を決定する（ステップＳ４０４）。ここで、位置決定部４２４は、撮像領域の頂点座標と、算出した複数のボタン画像の頂点座標とを、包含判定部４２７に対して出力する。これにより、包含判定部４２７は、複数のボタン画像が撮像領域に包含されるか否かを判定する（ステップＳ４０５）。

このとき、包含判定部４２７によって複数のボタン画像が撮像領域に包含されないと判定された場合に（ステップＳ４０５：Ｎｏ）、位置決定部４２４は、撮像領域の頂点座標に応じて、撮像領域に包含されるように複数のボタン画像を縮小したときの、縮小した複数のボタン画像の頂点座標を算出することにより、投影画像に対する縮小した複数のボタン画像の位置を決定する（ステップＳ４０６）。また、投影画像生成部４２５は、位置決定部４２４によって決定された縮小した複数のボタン画像の頂点座標と、投影画像の構成情報とから、縮小した複数のボタン画像を配置した投影画像を生成する（ステップＳ４０７）。その後、投影制御部１２６は、投影画像生成部４２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ４０８）。

一方、包含判定部４２７によって複数のボタン画像が撮像領域に包含されると判定された場合に（ステップＳ４０５：Ｙｅｓ）、投影画像生成部４２５は、位置決定部４２４によって決定された複数のボタン画像の頂点座標と、投影画像の構成情報とから、複数のボタン画像を配置した投影画像を生成する（ステップＳ４０７）。その後、投影制御部１２６は、投影画像生成部４２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ４０８）。

［実施の形態４による効果］
情報処理装置４００は、複数のボタン画像が撮像領域に包含されるか否かを判定し、複数のボタン画像が撮像領域に包含されるように複数のボタン画像を縮小したときの位置を決定し、決定した位置に縮小した複数のボタン画像を配置した投影画像を生成する。この結果、情報処理装置４００は、投影装置４０に対するユーザ操作の検出精度を向上させることができる。

（実施の形態５）
上記実施の形態４では、撮像領域に包含されるように複数のボタン画像を配置した投影画像を生成する場合を説明した。実施の形態５では、複数のボタン画像の表示を切り替えるオブジェクトを撮像領域に配置する場合を説明する。

［実施の形態５に係る装置構成］
図１４を用いて、実施の形態５に係る装置構成を説明する。図１４は、実施の形態５に係る装置構成例を示す機能ブロック図である。実施の形態５では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す操作検出部５２２、位置決定部５２４、投影画像生成部５２５、包含判定部５２７以外の機能及び構成、処理は実施の形態１と同様である。

図１４に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置５００は、記憶部１１０と、制御部５２０とを有する。これらのうち、記憶部１１０は、構成情報記憶部１１１と、撮像画像記憶部１１２とを有する。制御部５２０は、通信制御部１２１と、操作検出部５２２と、撮像領域座標算出部１２３と、位置決定部５２４と、投影画像生成部５２５と、投影制御部１２６と、包含判定部５２７とを有する。

包含判定部５２７は、複数の操作対象画像が撮像領域に包含されるか否かを判定する。また、位置決定部５２４は、複数の操作対象画像の表示を切り替えるための画像を表す表示切替画像の位置を決定する。より具体的には、位置決定部５２４は、実施の形態４と同様に、撮像領域座標算出部１２３によって算出された撮像領域の頂点座標のうち左上の頂点座標から、複数のボタン画像が互いに重ならないように配置するための、複数のボタン画像の頂点座標を算出する。そして、位置決定部５２４は、撮像領域の頂点座標と、複数のボタン画像の頂点座標とを、包含判定部５２７に対して出力し、包含判定処理を指示する。

包含判定処理の指示を受け付けた包含判定部５２７は、撮像領域の頂点座標と、複数のボタン画像の頂点座標とから、複数のボタン画像が撮像領域に包含されるか否かを判定する。例えば、包含判定処理では、撮像領域の頂点座標の領域外に、複数のボタン画像の頂点座標のうち一つでも存在していれば、複数のボタン画像が撮像領域に包含されないと判定する。そして、包含判定部５２７は、複数のボタン画像が撮像領域に包含されるか否かの包含判定処理結果を位置決定部５２４に対して出力する。

これにより、位置決定部５２４は、包含判定部５２７によって複数のボタン画像が撮像領域に包含されないと判定された場合に、撮像領域に包含されるように、複数のボタン画像の表示を切り替える表示切替画像の位置を決定する。かかる表示切替画像は、例えば、コンボボックスを採用する。コンボボックスを採用する場合には、複数のボタン画像の選択時に選択項目を展開した表示全てが撮像領域に包含されるようにする。例えば、ボタン画像が３つ存在する場合に、位置決定部５２４は、選択項目を展開するときを考慮して、少なくとも高さ（ｙ方向）「４」だけは撮像領域に包含させるように、撮像領域の頂点座標に応じて表示切替画像の頂点座標を算出する。これにより、ユーザは、コンボボックスを利用してボタン画像を切り替えることができる。なお、表示切替画像は、コンボボックスではなく、セレクトボックス等の選択機能を有するオブジェクトであれば何であっても良い。本実施の形態では、このような表示切替画像を採用することで、ユーザ操作により複数のボタン画像の中から何れかを選択可能にし、選択されたボタン画像を撮像領域に配置した投影画像を生成する。

投影画像生成部５２５は、表示切替画像を配置した投影画像を生成する。より具体的には、投影画像生成部５２５は、位置決定部５２４によって決定された表示切替画像の頂点座標と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、表示切替画像を配置した投影画像を生成する。

また、投影画像生成部５２５によって生成された表示切替画像が配置された投影画像に対して、ユーザ操作が行なわれた場合には、操作検出部５２２は、撮像画像を用いて、表示切替画像に対するユーザ操作を検出する。この後、ユーザ操作により選択されたボタン画像１つの位置が位置決定部５２４によって決定され、位置が決定されたボタン画像を配置した投影画像が投影画像生成部５２５によって生成される。また、ボタン画像の位置が決定される場合に、包含判定部５２７によって包含判定処理が実行されても良い。

図１５は、実施の形態５に係るコンボボックス及びボタン画像の配置例を示す図である。図１５上段に示した例において、撮像領域２の各頂点座標は、（４，３）、（４，１０）、（１２，３）、（１２，１０）である。投影画像１は、上記の各頂点座標を有する撮像領域２を含んでいる。また、ボタン画像が３つ存在するものとして、それぞれをボタン画像３ａ、ボタン画像３ｂ、ボタン画像３ｃと表す。なお、ボタン画像３ａの大きさは、幅「４」、高さ「４」であるものとする。また、ボタン画像３ｂの大きさは、幅「４」、高さ「４」であるものとする。また、ボタン画像３ｃの大きさは、幅「４」、高さ「４」であるものとする。

上述した状態において、位置決定部５２４は、撮像領域２の左上の頂点（頂点座標は（４，１０））にボタン画像３ａの左上の頂点を重ねたときの、ボタン画像３ａの頂点座標（４，６）、（４，１０）、（８，６）、（８，１０）を算出する。そして、位置決定部５２４は、ボタン画像３ａの右上の頂点（頂点座標は（８，１０））にボタン画像３ｂの左上の頂点を重ねたときの、ボタン画像３ｂの頂点座標（８，６）、（８，１０）、（１２，６）、（１２，１０）を算出する。ここで、位置決定部５２４は、ボタン画像３ａとボタン画像３ｂとの幅の合計が撮像領域２の幅に達するため、ボタン画像３ａの左下の頂点座標（４，６）から、ボタン画像３ｃを配置していく。すなわち、位置決定部５２４は、ボタン画像３ａの左下の頂点（頂点座標（４，６））にボタン画像３ｃの左上の頂点を重ねたときの、ボタン画像３ｃの頂点座標（４，２）、（４，６）、（８，２）、（８，６）を算出する。その後、位置決定部５２４は、撮像領域２の頂点座標と、ボタン画像３ａの頂点座標、ボタン画像３ｂの頂点座標及びボタン画像３ｃの頂点座標とを、包含判定部５２７に対して出力する。

包含判定部５２７は、撮像領域２の頂点座標と、ボタン画像３ａの頂点座標、ボタン画像３ｂの頂点座標及びボタン画像３ｃの頂点座標とから、撮像領域２の頂点座標の領域外に、複数のボタン画像の何れかの頂点座標が存在するか否かを判定することにより、複数のボタン画像が撮像領域２に包含されるか否かを判定する。この時点で、図１５中段上方に示すように、ボタン画像３ｃは、撮像領域２に包含されない。よって、包含判定部５２７は、複数のボタン画像が撮像領域２に包含されないと判定する。

位置決定部５２４は、包含判定部５２７によって複数のボタン画像が撮像領域２に包含されないと判定された場合に、撮像領域２の頂点座標から求められた幅「８」、高さ「７」をもとに、撮像領域２に包含されるように、３つのボタン画像の表示を切り替えるためのコンボボックスの位置を決定する。撮像領域２の幅が「８」であるので、これに収まるようにコンボボックスの幅を決定する。また、撮像領域２の高さが「７」であるので、これに収まるようにコンボボックスの高さを決定する。選択項目の数は３つであるので、少なくとも高さ「４」の領域を確保すれば良い。ここでは、選択項目を展開した表示が、幅「６」、高さ「５」であるコンボボックスを利用することとする。これらから、位置決定部５２４は、撮像領域２の重心にコンボボックスの重心を重ねたときの、コンボボックスの頂点座標（５，４）、（５，９）、（１１，４）、（１１，９）を算出することにより、コンボボックスの位置を決定する。

また、投影画像生成部５２５は、位置決定部５２４によって決定されたコンボボックスの頂点座標と、投影画像１の構成情報とから、コンボボックスを配置した投影画像１を生成する。これにより、図１５中段下方に示すように、撮像領域２の重心にコンボボックス４の選択項目が展開されたときの重心が重ねられた投影画像１が生成される。つまり、コンボボックス４は、選択項目が展開されていない状態で初期表示が行なわれるが、選択項目が展開されときを考慮して、展開時に全ての選択項目に対してユーザ操作可能なように、投影画像１に配置される。なお、図１５において、「ボタンＡ」はボタン画像３ａに、「ボタンＢ」はボタン画像３ｂに、「ボタンＣ」はボタン画像３ｃにそれぞれ対応するものとする。

その後、コンボボックス４が配置された投影画像１において、ユーザ操作が行なわれる。ここでのユーザ操作は、ボタン画像３ｃに相当する「ボタンＣ」の選択であるものとする。操作検出部５２２は、撮像画像を用いて、コンボボックス４に対するユーザ操作として、「ボタンＣ」が選択されたことを検出する。また、位置決定部５２４は、撮像領域２の重心にボタン画像３ｃの重心を重ねた場合の、ボタン画像３ｃの頂点座標を求めることにより、ボタン画像３ｃの位置を決定する。ボタン画像３ｃの頂点座標は、（６，４．５）、（６，８．５）、（１０，４．５）、（１０，８．５）となる。なお、包含判定部５２７によるボタン画像３ｃに対する包含判定処理は、上記実施の形態２と同様であるため、ここでの説明を省略する。

そして、投影画像生成部５２５は、位置決定部５２４によって決定されたボタン画像３ｃの頂点座標と、投影画像１の構成情報とから、ボタン画像３ｃを配置した投影画像１を生成する。これらにより、図１５下段に示すように、撮像領域２の重心となる座標（８，６．５）に、幅「４」、高さ「４」であるボタン画像３ｃの重心が重ねられた投影画像１が生成される。

［実施の形態５に係る画像生成処理フロー］
次に、図１６を用いて、実施の形態５に係る画像生成処理の流れについて説明する。図１６は、実施の形態５に係る画像生成処理の流れの例を示すフローチャートである。なお、図１６では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。

図１６に示すように、操作検出部５２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ５０１）。ここで、操作検出部５２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ５０２）。このとき、操作検出部５２２によってボタン画像に対するユーザ操作が検出された場合に（ステップＳ５０２：Ｙｅｓ）、撮像領域座標算出部１２３は、撮像画像と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、撮像領域の頂点座標を算出する（ステップＳ５０３）。一方、操作検出部５２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ５０２：Ｎｏ）、ステップＳ５０１における処理が実行される。

また、位置決定部５２４は、撮像領域の頂点座標と複数のボタン画像それぞれの高さ及び幅とをもとに、撮像領域の左上の頂点座標から、複数のボタン画像が互いに重ならないように順に配置したときの、複数のボタン画像の頂点座標それぞれを算出することにより、投影画像に対する複数のボタン画像の位置を決定する（ステップＳ５０４）。ここで、位置決定部５２４は、撮像領域の頂点座標と、算出した複数のボタン画像の頂点座標とを、包含判定部５２７に対して出力する。これにより、包含判定部５２７は、複数のボタン画像が撮像領域に包含されるか否かを判定する（ステップＳ５０５）。

このとき、包含判定部５２７によって複数のボタン画像が撮像領域に包含されると判定された場合に（ステップＳ５０５：Ｙｅｓ）、投影画像生成部５２５は、位置決定部５２４によって決定された複数のボタン画像の頂点座標と、投影画像の構成情報とから、複数のボタン画像を配置した投影画像を生成する（ステップＳ５０６）。その後、投影制御部１２６は、投影画像生成部５２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ５０７）。

一方、包含判定部５２７によって複数のボタン画像が撮像領域に包含されないと判定された場合に（ステップＳ５０５：Ｎｏ）、位置決定部５２４は、撮像領域に包含されるように、複数のボタン画像の表示を切り替える表示切替画像の位置を決定する（ステップＳ５０８）。投影画像生成部５２５は、位置決定部５２４によって決定された表示切替画像の頂点座標と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、表示切替画像を配置した投影画像を生成する（ステップＳ５０９）。その後、投影制御部１２６は、投影画像生成部５２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ５０７）。なお、投影画像において、表示切替画像に対するユーザ操作が行なわれた場合には、対応する１つのボタン画像を配置した投影画像が生成及び投影される。また、１つのボタン画像を配置する際に、撮像領域に包含されなければ、該ボタン画像を縮小してから投影画像に配置する。

［実施の形態５による効果］
情報処理装置５００は、複数のボタン画像の表示を切り替えるための表示切替画像を撮像領域に配置した投影画像を生成する。この結果、情報処理装置５００は、操作性を損なうことなく、ユーザが所望する投影画像を生成することができる。

（実施の形態６）
上記実施の形態４や５では、複数のボタン画像が撮像領域に包含されるように縮小して投影画像に配置したり、複数のボタン画像の表示を切り替える表示切替画像を投影画像に配置したりする場合を説明した。実施の形態６では、縮小した複数のボタン画像を投影画像に配置するのか、若しくは表示切替画像を投影画像に配置するのかを設定する場合を説明する。

［実施の形態６に係る装置構成］
図１７を用いて、実施の形態６に係る装置構成を説明する。図１７は、実施の形態６に係る装置構成例を示す機能ブロック図である。実施の形態６では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す表示設定情報記憶部６１３、操作検出部６２２、位置決定部６２４、投影画像生成部６２５、包含判定部６２７、表示設定部６２８以外の機能及び構成、処理は実施の形態１と同様である。

図１７に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置６００は、記憶部６１０と、制御部６２０とを有する。これらのうち、記憶部６１０は、構成情報記憶部１１１と、撮像画像記憶部１１２と、表示設定情報記憶部６１３とを有する。

表示設定情報記憶部６１３は、操作対象画像の表示に関する設定事項を表す表示設定情報を記憶する。より具体的には、表示設定情報記憶部６１３は、縮小した複数のボタン画像を配置した投影画像を表示する表示設定情報、又は、複数のボタン画像の表示を切り替えるための表示切替画像を配置した投影画像を表示する表示設定情報を記憶する。すなわち、本実施の形態では、上記何れかの表示設定情報が表示設定情報記憶部６１３に記憶されており、表示設定情報に対応する画像生成処理を実行する。縮小した複数のボタン画像を配置した投影画像を表示する表示設定情報に対応する画像生成処理は、上記実施の形態４で説明したものである。また、複数のボタン画像の表示を切り替えるための表示切替画像を配置した投影画像を表示する表示設定情報に対応する画像生成処理は、上記実施の形態５で説明したものである。

制御部６２０は、通信制御部１２１と、操作検出部６２２と、撮像領域座標算出部１２３と、位置決定部６２４と、投影画像生成部６２５と、投影制御部１２６と、包含判定部６２７と、表示設定部６２８とを有する。

表示設定部６２８は、操作対象画像の表示に関する設定事項を設定する。より具体的には、表示設定部６２８は、操作対象画像の表示について、縮小した複数のボタン画像を配置した投影画像を表示する、又は、複数のボタン画像の表示を切り替えるための表示切替画像を配置した投影画像を表示する、等の表示設定情報を受け付ける。ユーザは、情報処理装置６００に接続された入力装置等を用いて、事前に設定を行なう。そして、表示設定部６２８は、受け付けた表示設定情報を表示設定情報記憶部６１３に格納する。

包含判定部６２７は、複数の操作対象画像が撮像領域に包含されるか否かを判定する。また、位置決定部６２４は、表示設定情報をもとに、撮像領域に応じて縮小した複数の操作対象画像の投影画像に対する位置、又は、複数の操作対象画像の表示を切り替えるための表示切替画像の位置を決定する。より具体的には、位置決定部６２４は、撮像領域座標算出部１２３によって算出された撮像領域の頂点座標のうち左上の頂点座標から、複数のボタン画像が重ならないように配置するための、複数のボタン画像の頂点座標を算出する。そして、位置決定部６２４は、撮像領域の頂点座標と、複数のボタン画像の頂点座標とを、包含判定部６２７に対して出力し、包含判定処理を指示する。

包含判定処理の指示を受け付けた包含判定部６２７は、撮像領域の頂点座標と、複数のボタン画像の頂点座標とから、複数のボタン画像が撮像領域に包含されるか否かを判定する。例えば、包含判定処理では、撮像領域の頂点座標の領域外に、複数のボタン画像の頂点座標のうち一つでも存在していれば、複数のボタン画像が撮像領域に包含しないと判定する。そして、包含判定部６２７は、複数のボタン画像が撮像領域に包含されるか否かの包含判定処理結果を位置決定部６２４に対して出力する。

これにより、位置決定部６２４は、包含判定部６２７によって複数のボタン画像が撮像領域に包含されないと判定された場合に、表示設定情報記憶部６１３から表示設定情報を取得する。そして、位置決定部６２４は、取得した表示設定情報が縮小した複数のボタン画像を配置した投影画像を表示する表示設定情報であれば、撮像領域に包含されるように複数のボタン画像を縮小する。つまり、位置決定部６２４は、撮像領域に包含されるように縮小した複数のボタン画像の頂点座標を算出することにより、投影画像に対する縮小した複数のボタン画像の位置を決定する。

また、位置決定部６２４は、取得した表示設定情報が複数のボタン画像の表示を切り替えるための表示切替画像を配置した投影画像を表示する表示設定情報であれば、撮像領域に包含されるように、複数のボタン画像の表示を切り替える表示切替画像の位置を決定する。つまり、位置決定部６２４は、撮像領域に包含される表示切替画像の頂点座標を算出することにより、投影画像に対する表示切替画像の位置を決定する。なお、包含判定部６２７によって複数のボタン画像が撮像領域に包含されると判定された場合の処理は、実施の形態３と同様である。

投影画像生成部６２５は、複数の操作対象画像、又は、表示切替画像を配置した投影画像を生成する。より具体的には、投影画像生成部６２５は、位置決定部６２４によって複数のボタン画像の頂点座標が決定されたのであれば、複数のボタン画像の頂点座標と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、複数のボタン画像を配置した投影画像を生成する。また、投影画像生成部６２５は、位置決定部６２４によって縮小した複数のボタン画像の頂点座標が決定されたのであれば、縮小した複数のボタン画像の頂点座標と、投影画像の構成情報とから、縮小した複数のボタン画像を配置した投影画像を生成する。また、投影画像生成部６２５は、位置決定部６２４によって表示切替画像の位置が決定されたのであれば、表示切替画像の頂点座標と、投影画像の構成情報とから、表示切替画像を配置した投影画像を生成する。

また、投影画像生成部６２５によって生成された表示切替画像が配置された投影画像に対して、ユーザ操作が行なわれた場合には、操作検出部６２２は、撮像画像を用いて、表示切替画像に対するユーザ操作を検出する。この後、ユーザ操作により選択されたボタン画像１つの位置が位置決定部６２４によって決定され、位置が決定されたボタン画像を配置した投影画像が投影画像生成部６２５によって生成される。また、ボタン画像の位置が決定される場合に、包含判定部６２７によって包含判定処理が実行されても良い。

また、投影画像生成部６２５によって生成された縮小したボタン画像が配置された投影画像に対して、ユーザ操作が行なわれた場合には、操作検出部６２２は、撮像画像を用いて、縮小したボタン画像何れかに対するユーザ操作を検出する。

［実施の形態６に係る画像生成処理フロー］
次に、図１８を用いて、実施の形態６に係る画像生成処理の流れについて説明する。図１８は、実施の形態６に係る画像生成処理の流れの例を示すフローチャートである。なお、図１８では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。

図１８に示すように、操作検出部６２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ６０１）。ここで、操作検出部６２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ６０２）。このとき、操作検出部６２２によってボタン画像に対するユーザ操作が検出された場合に（ステップＳ６０２：Ｙｅｓ）、撮像領域座標算出部１２３は、撮像画像と、構成情報記憶部１１１に記憶された投影画像の構成情報とから、撮像領域の頂点座標を算出する（ステップＳ６０３）。一方、操作検出部６２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ６０２：Ｎｏ）、ステップＳ６０１における処理が実行される。

また、位置決定部６２４は、撮像領域の頂点座標と複数のボタン画像それぞれの高さ及び幅をもとに、撮像領域の左上の頂点座標から、複数のボタン画像が互いに重ならないように順に配置したときの、複数のボタン画像の頂点座標それぞれを算出することにより、投影画像に対する複数のボタン画像の位置を決定する（ステップＳ６０４）。ここで、位置決定部６２４は、撮像領域の頂点座標と、算出した複数のボタン画像の頂点座標とを、包含判定部６２７に対して出力する。これにより、包含判定部６２７は、複数のボタン画像が撮像領域に包含されるか否かを判定する（ステップＳ６０５）。

このとき、包含判定部６２７によって複数のボタン画像が撮像領域に包含されると判定された場合に（ステップＳ６０５：Ｙｅｓ）、投影画像生成部６２５は、位置決定部６２４によって決定された複数のボタン画像の頂点座標と、投影画像の構成情報とから、複数のボタン画像を配置した投影画像を生成する（ステップＳ６０６）。その後、投影制御部１２６は、投影画像生成部６２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ６０７）。

一方、包含判定部６２７によって複数のボタン画像が撮像領域に包含されないと判定された場合に（ステップＳ６０５：Ｎｏ）、位置決定部６２４は、表示設定情報記憶部６１３から表示設定情報を取得し、表示切替画像を配置する表示設定であるか否かを判定する（ステップＳ６０８）。

ここで、位置決定部６２４は、取得した表示設定情報が縮小した複数のボタン画像を配置した投影画像を表示する表示設定である場合に（ステップＳ６０８：Ｎｏ）、撮像領域に包含されるように複数のボタン画像を縮小したときの、縮小した複数のボタン画像の頂点座標を算出することにより、投影画像に対する縮小した複数のボタン画像の位置を決定する（ステップＳ６０９）。また、投影画像生成部６２５は、位置決定部６２４によって決定された縮小した複数のボタン画像の頂点座標と、投影画像の構成情報とから、縮小した複数のボタン画像を配置した投影画像を生成する（ステップＳ６１０）。その後、投影制御部１２６は、投影画像生成部６２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ６０７）。

また、位置決定部６２４は、取得した表示設定情報が表示切替画像を配置した投影画像を表示する表示設定である場合に（ステップＳ６０８：Ｙｅｓ）、撮像領域に包含されるように、複数のボタン画像の表示を切り替える表示切替画像の位置を決定する（ステップＳ６１１）。また、投影画像生成部６２５は、位置決定部６２４によって決定された表示切替画像の頂点座標と、投影画像の構成情報とから、表示切替画像を配置した投影画像を生成する（ステップＳ６１２）。その後、投影制御部１２６は、投影画像生成部６２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ６０７）。なお、投影画像において、表示切替画像に対するユーザ操作が行なわれた場合には、対応する１つのボタン画像を配置した投影画像が生成及び投影される。また、１つのボタン画像を配置する際に、撮像領域に包含されなければ、該ボタン画像を縮小してから投影画像に配置する。

［実施の形態６による効果］
情報処理装置６００は、表示切替画像を撮像領域に配置した投影画像を表示する表示設定、又は、縮小した複数のボタン画像を撮像領域に配置した投影画像を表示する表示設定に応じて画像生成処理を実行する。この結果、情報処理装置６００は、操作性を損なうことなく、ユーザが所望する投影画像を生成することができる。

（実施の形態７）
上記実施の形態１では、撮像領域の重心にボタン画像の重心を重ねたときの、ボタン画像の頂点座標を求めることにより、投影画像に対するボタン画像の位置を決定する場合を説明した。実施の形態７では、ボタン画像の大きさを変更する場合を説明する。

［実施の形態７に係る装置構成］
図１９を用いて、実施の形態７に係る装置構成を説明する。図１９は、実施の形態７に係る装置構成例を示す機能ブロック図である。実施の形態７では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す操作検出部７２２、位置決定部７２４以外の機能及び構成、処理は実施の形態１と同様である。

図１９に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置７００は、記憶部１１０と、制御部７２０とを有する。これらのうち、記憶部１１０は、構成情報記憶部１１１と、撮像画像記憶部１１２とを有する。制御部７２０は、通信制御部１２１と、操作検出部７２２と、撮像領域座標算出部１２３と、位置決定部７２４と、投影画像生成部１２５と、投影制御部１２６とを有する。

操作検出部７２２は、操作対象画像の大きさを変更するためのユーザ操作を検出する。より具体的には、操作検出部７２２は、撮像画像から、ボタン画像を拡大又は縮小するためのユーザ操作を検出する。そして、操作検出部７２２は、ボタン画像を拡大又は縮小するユーザ操作を検出した旨を位置決定部７２４に対して出力する。

本実施の形態では、一つの様態として、ボタン画像の大きさを変更するために、ボタン画像の近傍に拡大及び縮小を表すオブジェクトが配置される。これらのオブジェクトに対してユーザ操作が行なわれることにより、ボタン画像に対する拡大処理又は縮小処理が実行される。若しくは、拡大及び縮小を表すオブジェクトを配置しない場合は、ボタン画像を拡大又は縮小する所定動作（ユーザ操作）を検出することで、ボタン画像に対する拡大処理又は縮小処理が実行されても良い。また、拡大及び縮小を表すオブジェクトが配置されていない状態から、ボタン画像を拡大又は縮小するためのオブジェクトを表示させる所定動作（ユーザ操作）が検出されたら、ボタン画像の近傍に拡大及び縮小を表すオブジェクトを配置するようにしても良い。

位置決定部７２４は、投影画像に対する操作対象画像の位置を決定する。より具体的には、位置決定部７２４は、操作検出部７２２によってボタン画像を拡大するためのユーザ操作が検出された場合に、ボタン画像を拡大したときのボタン画像の位置を決定する。また、位置決定部７２４は、操作検出部７２２によってボタン画像を縮小するためのユーザ操作が検出された場合に、ボタン画像を縮小したときのボタン画像の位置を決定する。拡大又は縮小したときのボタン画像の位置の決定については、実施の形態１と同様に、撮像領域の重心に、拡大又は縮小したボタン画像の重心を重ね合わせたときの、ボタン画像の頂点座標を算出すれば良い。

図２０は、実施の形態７に係るボタン画像の配置例を示す図である。なお、図２０では、ボタン画像を拡大及び縮小するオブジェクトが投影画像に配置されていない状態から、ボタン画像を拡大又は縮小する処理を例に挙げて説明する。図２０上段に示した例において、撮像領域２の各頂点座標は、（４，２）、（４，１０）、（１２，２）、（１２，１０）である。投影画像１は、上記の各頂点座標を有する撮像領域２を含んでいる。また、撮像領域２は、幅「２」、高さ「２」であり、頂点座標が（７，５）、（７，７）、（９，５）、（９，７）であるボタン画像３を包含している。

上述した状態において、操作検出部７２２は、ボタン画像３の拡大及び縮小で利用するオブジェクトを表示するためのユーザ操作を検出する。ここで、ボタン画像３を拡大するためのオブジェクトを「拡大ボタン画像５ａ」とし、ボタン画像３を縮小するためのオブジェクトを「縮小ボタン画像５ｂ」とする。位置決定部７２４は、操作検出部７２２によって拡大ボタン画像５ａ及び縮小ボタン画像５ｂを表示するためのユーザ操作が検出された場合に、投影画像１に対する拡大ボタン画像５ａ及び縮小ボタン画像５ｂの位置を決定する。拡大ボタン画像５ａ及び縮小ボタン画像５ｂの位置は、図２０中段に示すように、ボタン画像３の近傍に配置される。このような拡大ボタン画像５ａ及び縮小ボタン画像５ｂは、撮像領域２の頂点座標をもとに、撮像領域２に包含されるように配置される。なお、撮像領域２が小さかったり、ボタン画像３が大きかったりして、拡大ボタン画像５ａ及び縮小ボタン画像５ｂを撮像領域２に包含できない場合には、ボタン画像３に重ねて配置しても良い。

その後、操作検出部７２２は、拡大ボタン画像５ａ又は縮小ボタン画像５ｂに対するユーザ操作を検出する。これにより、位置決定部７２４は、操作検出部７２２によって拡大ボタン画像５ａに対するユーザ操作が検出された場合に、ボタン画像３を拡大したときのボタン画像３の位置を決定する。また、位置決定部７２４は、操作検出部７２２によって縮小ボタン画像５ｂに対するユーザ操作が検出された場合に、ボタン画像３を縮小したときのボタン画像３の位置を決定する。ボタン画像３の拡大又は縮小では、例えば、ボタン画像３の各頂点座標を「１」増減させる。なお、さらに拡大又は縮小させる場合には、再度ユーザ操作が行なわれれば良い。

すなわち、ボタン画像３を拡大する場合には、ボタン画像３の左下の頂点のｘ座標を「−１」、ｙ座標を「−１」する。加えて、ボタン画像３を拡大する場合には、ボタン画像３の左上の頂点のｘ座標を「−１」、ｙ座標を「＋１」する。また、ボタン画像３を拡大する場合には、ボタン画像３の右下の頂点のｘ座標を「＋１」、ｙ座標を「−１」する。また、ボタン画像３を拡大する場合には、ボタン画像３の右上の頂点のｘ座標を「＋１」、ｙ座標を「＋１」する。

同様に、ボタン画像３を縮小する場合には、ボタン画像３の左下の頂点のｘ座標を「＋１」、ｙ座標を「＋１」する。加えて、ボタン画像３を縮小する場合には、ボタン画像３の左上の頂点のｘ座標を「＋１」、ｙ座標を「−１」する。また、ボタン画像３を縮小する場合には、ボタン画像３の右下の頂点のｘ座標を「−１」、ｙ座標を「＋１」する。また、ボタン画像３を縮小する場合には、ボタン画像３の右上のｘ座標を「−１」、ｙ座標を「−１」する。

ここでは、ボタン画像３を拡大するユーザ操作が検出されこととする。拡大する場合、位置決定部７２４は、ボタン画像３の頂点座標（６，４）、（６，８）、（１０，４）、（１０，８）を算出することにより、拡大したときのボタン画像３の位置を決定する。これらにより、図２０下段に示すように、撮像領域２の重心となる座標に、拡大したボタン画像３の重心が重ねられた投影画像１が生成される。

［実施の形態７に係る画像生成処理フロー］
次に、図２１を用いて、実施の形態７に係る画像生成処理の流れについて説明する。図２１は、実施の形態７に係る画像生成処理の流れの例を示すフローチャートである。なお、図２１では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。

図２１に示すように、操作検出部７２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ７０１）。ここで、操作検出部７２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ７０２）。このとき、操作検出部７２２は、ボタン画像に対するユーザ操作が検出された場合に（ステップＳ７０２：Ｙｅｓ）、ボタン画像を拡大するユーザ操作であるか否かを判定する（ステップＳ７０３）。一方、操作検出部７２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ７０２：Ｎｏ）、ステップＳ７０１における処理が実行される。

また、操作検出部７２２によってボタン画像を拡大するユーザ操作が検出された場合に（ステップＳ７０３：Ｙｅｓ）、位置決定部７２４は、ボタン画像を拡大したときのボタン画像の頂点座標を算出することにより、拡大したボタン画像の位置を決定する（ステップＳ７０４）。また、投影画像生成部１２５は、位置決定部７２４によって決定された拡大したときのボタン画像の頂点座標と、投影画像の構成情報とから、拡大したボタン画像を配置した投影画像を生成する（ステップＳ７０５）。その後、投影制御部１２６は、投影画像生成部１２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ７０６）。

また、操作検出部７２２は、ボタン画像を拡大するユーザ操作を検出していない場合に（ステップＳ７０３：Ｎｏ）、ボタン画像を縮小するユーザ操作であるか否かを判定する（ステップＳ７０７）。そして、操作検出部７２２によってボタン画像を縮小するユーザ操作が検出された場合に（ステップＳ７０７：Ｙｅｓ）、位置決定部７２４は、ボタン画像を縮小したときのボタン画像の頂点座標を算出することにより、縮小したボタン画像の位置を決定する（ステップＳ７０８）。また、投影画像生成部１２５は、位置決定部７２４によって決定された縮小したときのボタン画像の頂点座標と、投影画像の構成情報とから、縮小したボタン画像を配置した投影画像を生成する（ステップＳ７０９）。その後、投影制御部１２６は、投影画像生成部１２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ７０６）。

また、操作検出部７２２によってボタン画像を縮小するユーザ操作が検出されていない場合には（ステップＳ７０７：Ｎｏ）、ボタン画像の拡大及び縮小のユーザ操作以外の処理が実行される（ステップＳ７１０）。ボタン画像の拡大及び縮小のユーザ操作以外の処理とは、上記実施の形態で説明した各種処理である。

［実施の形態７による効果］
情報処理装置７００は、ユーザ操作に応じてボタン画像を拡大又は縮小したときのボタン画像の位置を決定し、決定した位置にボタン画像を配置した投影画像を生成する。この結果、情報処理装置７００は、ユーザ操作の操作性を向上させることができる。

（実施の形態８）
上記実施の形態１では、撮像領域の重心にボタン画像の重心を重ねたときの、ボタン画像の頂点座標を求めることにより、投影画像に対するボタン画像の位置を決定する場合を説明した。実施の形態８では、ボタン画像の位置を変更する場合を説明する。

［実施の形態８に係る装置構成］
図２２を用いて、実施の形態８に係る装置構成を説明する。図２２は、実施の形態８に係る装置構成例を示す機能ブロック図である。実施の形態８では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。具体的には、以下に示す操作検出部８２２、位置決定部８２４以外の機能及び構成、処理は実施の形態１と同様である。

図２２に示すように、撮像装置２０は、撮像部２１を有する。通信装置３０は、通信制御部３１を有する。投影装置４０は、投影部４１を有する。情報処理装置８００は、記憶部１１０と、制御部８２０とを有する。これらのうち、記憶部１１０は、構成情報記憶部１１１と、撮像画像記憶部１１２とを有する。制御部８２０は、通信制御部１２１と、操作検出部８２２と、撮像領域座標算出部１２３と、位置決定部８２４と、投影画像生成部１２５と、投影制御部１２６とを有する。

操作検出部８２２は、操作対象画像の位置を変更するためのユーザ操作を検出する。より具体的には、操作検出部８２２は、撮像画像から、ボタン画像の位置を移動するためのユーザ操作を検出する。そして、操作検出部８２２は、検出したユーザ操作に対応するボタン画像の移動方向を位置決定部８２４に対して出力する。

位置決定部８２４は、投影画像に対する操作対象画像の位置を決定する。より具体的には、位置決定部８２４は、操作検出部８２２によってボタン画像の移動方向が出力された場合に、移動方向にしたがってボタン画像を移動したときの、移動後のボタン画像の位置を決定する。ボタン画像の移動は、例えば、移動方向に応じて頂点座標を「１」増減させれば良い。但し、撮像領域に包含される範囲でボタン画像を移動させることが好ましい。

詳細には、ボタン画像を左方に移動させる場合には、ボタン画像の各頂点座標のｘ座標を「−１」する。また、ボタン画像を右方に移動させる場合には、ボタン画像の各頂点座標のｘ座標を「＋１」する。また、ボタン画像を上方に移動させる場合には、ボタン画像の各頂点座標のｙ座標を「＋１」する。また、ボタン画像を下方に移動させる場合には、ボタン画像の各頂点座標のｙ座標を「−１」する。なお、斜め方向についても上記を組み合わせれば良い。例えば、ボタン画像を左上に移動させる場合には、ボタン画像の各頂点座標のｘ座標を「−１」するとともに、ｙ座標を「＋１」すれば良い。

上述してきた実施の形態と同様に、会議等のプレゼンテーションや、店舗においてコンテンツをユーザに表示する用途で利用されても良いが、本実施形態は、これらとは異なる用途で利用されても良い。店舗においてコンテンツをユーザに表示する用途であれば、子供等にボタン画像を操作させる場合に、低い位置にボタン画像を移動させる等が考えられる。これに対して、例えば、広告主や管理者等が、コンテンツサービスをユーザに提供する前に、ボタン画像の配置を予め決定するために行なうということも考えられる。したがって、本実施の形態に係る投影画像生成部１２５によって生成された投影画像を、記憶部１１０に登録しておき、コンテンツサービスの提供時に、登録しておいた投影画像を投影するようにしても良い。

［実施の形態８に係る画像生成処理フロー］
次に、図２３を用いて、実施の形態８に係る画像生成処理の流れについて説明する。図２３は、実施の形態８に係る画像生成処理の流れの例を示すフローチャートである。なお、図２３では、ユーザ操作が検出されたことをトリガとして、画像生成処理が開始される場合を例に挙げる。

図２３に示すように、操作検出部８２２は、撮像画像記憶部１１２から撮像画像を取得する（ステップＳ８０１）。ここで、操作検出部８２２は、撮像画像からボタン画像に対するユーザ操作の検出を試みる（ステップＳ８０２）。このとき、操作検出部は、ボタン画像に対するユーザ操作が検出された場合に（ステップＳ８０２：Ｙｅｓ）、ボタン画像を移動させるユーザ操作であるか否かを判定する（ステップＳ８０３）。一方、操作検出部８２２によってボタン画像に対するユーザ操作が検出されない場合には（ステップＳ８０２：Ｎｏ）、ステップＳ８０１における処理が実行される。

また、操作検出部８２２によってボタン画像を移動させるユーザ操作が検出され、移動方向が出力された場合に（ステップＳ８０３：Ｙｅｓ）、位置決定部８２４は、移動方向にしたがってボタン画像を移動したときのボタン画像の頂点座標を算出することにより、移動したボタン画像の位置を決定する（ステップＳ８０４）。なお、移動後のボタン画像が撮像領域に包含するように、ボタン画像の移動量を制限する。また、投影画像生成部１２５は、位置決定部８２４によって決定された移動したときのボタン画像の頂点座標と、投影画像の構成情報とから、移動したボタン画像を配置した投影画像を生成する（ステップＳ８０５）。その後、投影制御部１２６は、投影画像生成部１２５によって生成された投影画像の投影装置４０による投影を制御する（ステップＳ８０６）。

また、操作検出部８２２によってボタン画像を移動させるユーザ操作が検出されていない場合には（ステップＳ８０３：Ｎｏ）、ボタン画像を移動させるユーザ操作以外の処理が実行される（ステップＳ８０７）。ボタン画像を移動させるユーザ操作以外の処理とは、上記実施の形態で説明した各種処理である。

［実施の形態８による効果］
情報処理装置８００は、ユーザ操作に応じてボタン画像を移動したときのボタン画像の位置を決定し、決定した位置にボタン画像を配置した投影画像を生成する。この結果、情報処理装置８００は、投影画像に対するユーザ操作の操作性を向上させることができるとともに、ユーザの所望する投影画像のデザインを実現することができる。

（実施の形態９）
さて、これまで本発明に係る投影システム１０の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）複数のボタン画像の配置、（２）表示切替画像の配置、（３）ユーザ操作、（４）撮像領域やオブジェクトの形、（５）構成、（６）プログラム、について異なる実施の形態を説明する。

（１）複数のボタン画像の配置
上記実施の形態では、複数のボタン画像の投影画像での配置において、複数のボタン画像の幅が撮像領域よりも長い場合に、撮像領域内で折り返してボタン画像を順に配置することとして説明した。複数のボタン画像の配置は、上記のようにｘ方向に順に配置するのではなく、ｙ方向に順に配置するようにしても良い。ｙ方向に順に配置する場合には、複数のボタン画像の高さが撮像領域よりも長い場合に、撮像領域内で折り返してボタン画像を順に配置する。

また、上記実施の形態では、複数のボタン画像を順に配置したときの、何れかのボタン画像の頂点座標が撮像領域の頂点座標の領域外に存在していれば、複数のボタン画像が撮像領域に包含されないと判定する場合を説明した。複数のボタン画像が撮像領域に包含されるか否かについては、複数のボタン画像の面積の合計と、撮像領域の面積合計とを比較することにより判定しても良い。具体的には、複数のボタン画像の頂点座標を算出する前に、複数のボタン画像それぞれの幅及び高さから複数のボタン画像の面積を求めるとともに、撮像領域の頂点座標から撮像領域の面積を求める。そして、複数のボタン画像の面積の合計が撮像領域の面積よりも大きい場合には、複数のボタン画像が撮像領域に包含しないこととなるため、包含判定処理を実行せずに位置決定処理及び投影画像生成処理を行なう。但し、複数のボタン画像の面積の合計が撮像領域の面積よりも小さい場合であっても、ボタン画像の形状によっては複数のボタン画像が撮像領域に包含されるとは限らないため、位置決定処理、包含判定処理及び投影画像生成処理を行なう。

（２）表示切替画像の配置
また、上記実施の形態では、複数のボタン画像が撮像領域に包含されない場合に、表示切替画像を配置した投影画像を生成する場合を説明した。かかる表示切替画像は、複数のボタン画像が撮像領域に包含されるか否かに関係なく、はじめから配置するようにしても良い。

また、上記実施の形態では、表示切替画像の利用において、表示切替画像とボタン画像との何れかを配置した投影画像を生成する場合を説明した。本実施の形態では、表示切替画像とボタン画像との両方を配置した投影画像を生成しても良い。具体的には、表示切替画像と、表示切替画像を利用したユーザ操作で選択されたボタン画像とを、撮像領域に並べて配置した投影画像を生成する。

（３）ユーザ操作
また、上記実施の形態では、拡大ボタン画像や縮小ボタン画像に対するユーザ操作に応じて、ボタン画像の大きさを変更する場合を説明した。ボタン画像の大きさを変更するためのユーザ操作は、ドラッグ操作により行なわれても良い。具体的には、撮像画像をもとに、ドラッグ操作によるドラッグの範囲を検出し、ドラッグされた範囲に応じてボタン画像の大きさを変更する。

また、上記実施の形態では、ボタン画像を移動させる移動方向へのユーザ操作に応じて、ボタン画像を移動させる場合を説明した。ボタン画像を移動させるユーザ操作は、ボタン画像を移動させるためのオブジェクトを投影画像に配置し、該オブジェクトに対するユーザ操作に応じてボタン画像を移動しても良い。具体的には、撮像画像をもとに、ボタン画像の移動方向を指定するオブジェクトに対するユーザ操作を検出し、指定された移動方向に応じてボタン画像を移動させる。また、ボタン画像を移動させるユーザ操作は、ドラッグ操作により行なわれても良い。具体的には、撮像画像をもとに、ドラッグ操作によるドラッグの方向と距離とを検出し、ドラッグされた方向と距離とに応じてボタン画像を移動させる。

（４）撮像領域やオブジェクトの形
上記実施の形態では、撮像画像や撮像領域、ボタン画像等の操作対象画像の形を方形であることとして説明した。本実施の形態では、これらが方形でなくても良い。例えば、投影画像や撮像領域、ボタン画像等が円形であれば、該円形を含む最小の方形を採用し、上述した各実施の形態を実現する。但し、撮像領域については、方形ではない撮像領域を含む最小の方形を採用すると、撮像領域自体が大きくなりすぎる可能性もあり、実際にはユーザ操作を検出できない領域まで含むことになるため、撮像領域に含まれる最大の方形を採用しても良い。

（５）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した各装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。

上記実施の形態では、撮像装置２０、通信装置３０、投影装置４０及び情報処理装置１００を有する投影システム１０として説明したが、これらの装置は、任意の単位で機能的又は物理的に、分散又は統合することができる。例えば、撮像装置２０、投影装置４０及び情報処理装置１００を一体型の装置として実現しても良いし、情報処理装置１００及び投影装置４０のみを一体型の装置として実現しても良く、これらの組み合わせは変更可能である。

（６）プログラム
また、情報処理装置１００で実行される画像生成プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、情報処理装置１００で実行される画像生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、情報処理装置１００で実行される画像生成プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、画像生成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。

情報処理装置１００で実行される画像生成プログラムは、上述した各部（操作検出部１２２、撮像領域座標算出部１２３、位置決定部１２４、投影画像生成部１２５、投影制御部１２６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から画像生成プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、操作検出部１２２、撮像領域座標算出部１２３、位置決定部１２４、投影画像生成部１２５、投影制御部１２６が主記憶装置上に生成されるようになっている。

１０ 投影システム
２０ 撮像装置
２１ 撮像部
３０ 通信装置
３１ 通信制御部
４０ 投影装置
４１ 投影部
１００ 情報処理装置
１１０ 記憶部
１１１ 構成情報記憶部
１１２ 撮像画像記憶部
１２０ 制御部
１２１ 通信制御部
１２２ 操作検出部
１２３ 撮像領域座標算出部
１２４ 位置決定部
１２５ 投影画像生成部
１２６ 投影制御部

特許第４７１０７３４号公報 特開２００５−３３９２６９号公報

Claims (20)

1. 投影面に投影画像を投影する投影部と、
   撮像可能な領域を表す撮像領域を撮像し、撮像画像を生成する撮像部と、
   前記撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する操作検出部と、
   前記操作対象画像に対するユーザ操作が検出された場合に、前記撮像画像と前記投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する撮像領域座標を算出する撮像領域座標算出部と、
   前記撮像領域座標をもとに、前記操作対象画像を前記投影画像に配置する位置を決定する位置決定部と、
   決定された位置に前記操作対象画像を配置した投影画像を生成する投影画像生成部と、
   前記投影部による投影画像の投影を制御する投影制御部と
   を有することを特徴とする投影システム。
2. 前記位置決定部は、前記撮像領域の重心に前記操作対象画像の重心を重ねた場合における、前記操作対象画像の位置を決定することを特徴とする請求項１に記載の投影システム。
3. 前記操作対象画像が前記撮像領域に包含されるか否かを判定する包含判定部をさらに有し、
   前記位置決定部は、前記操作対象画像が前記撮像領域に包含されないと判定された場合に、前記撮像領域座標に応じて前記操作対象画像を縮小したときの、前記操作対象画像の位置を決定することを特徴とする請求項１又は２に記載の投影システム。
4. 前記位置決定部は、前記撮像領域座標をもとに、複数の前記操作対象画像を前記投影画像に配置する位置を決定し、
   前記投影画像生成部は、決定された位置に複数の前記操作対象画像を配置した投影画像を生成することを特徴とする請求項１に記載の投影システム。
5. 前記位置決定部は、前記撮像領域の所定座標から、複数の前記操作対象画像が互いに重ならないように前記投影画像に配置する位置を決定することを特徴とする請求項４に記載の投影システム。
6. 複数の前記操作対象画像が前記撮像領域に包含されるか否かを判定する包含判定部をさらに有し、
   前記位置決定部は、複数の前記操作対象画像が前記撮像領域に包含されないと判定された場合に、前記撮像領域座標に応じて複数の前記操作対象画像を縮小したときの、複数の前記操作対象画像の位置を決定することを特徴とする請求項４又は５に記載の投影システム。
7. 複数の前記操作対象画像が前記撮像領域に包含されるか否かを判定する包含判定部をさらに有し、
   前記位置決定部は、複数の前記操作対象画像が前記撮像領域に包含されないと判定された場合に、前記撮像領域に包含されるように、複数の前記操作対象画像の表示を切り替えるための画像を表す表示切替画像の位置を決定し、
   前記投影画像生成部は、決定された位置に前記表示切替画像を配置した投影画像を生成し、
   前記操作検出部は、ユーザ操作の対象となる前記表示切替画像に対するユーザ操作を検出することを特徴とする請求項１に記載の投影システム。
8. 前記操作対象画像の表示に関する設定事項を表す表示設定を行なう表示設定部と、
   複数の前記操作対象画像が前記撮像領域に包含されるか否かを判定する包含判定部とをさらに有し、
   前記位置決定部は、複数の前記操作対象画像が前記撮像領域に包含されないと判定された場合に、前記表示設定をもとに、前記撮像領域座標に応じて縮小したときの複数の前記操作対象画像の位置、又は、複数の前記操作対象画像の表示を切り替えるための画像を表す表示切替画像の位置を決定し、
   前記投影画像生成部は、前記撮像領域に包含されるように、縮小した複数の前記操作対象画像、又は、前記表示切替画像を配置した投影画像を生成し、
   前記操作検出部は、縮小した複数の前記操作対象画像、又は、前記表示切替画像に対するユーザ操作を検出することを特徴とする請求項１に記載の投影システム。
9. 前記操作検出部は、前記操作対象画像の大きさを変更するためのユーザ操作を検出し、
   前記位置決定部は、前記操作対象画像の大きさを変更するためのユーザ操作に応じて、前記操作対象画像を前記投影画像に配置する位置を決定することを特徴とする請求項１に記載の投影システム。
10. 前記操作検出部は、前記操作対象画像を移動させるためのユーザ操作を検出し、
    前記位置決定部は、前記操作対象画像を移動させるためのユーザ操作に応じて、前記操作対象画像を前記投影画像に配置する位置を決定することを特徴とする請求項１に記載の投影システム。
11. 撮像可能な領域を表す撮像領域を撮像した撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する操作検出ステップと、
    前記操作対象画像に対するユーザ操作が検出された場合に、前記撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する撮像領域座標を算出する撮像領域座標算出ステップと、
    前記撮像領域座標をもとに、前記操作対象画像を前記投影画像に配置する位置を決定する位置決定ステップと、
    決定された位置に前記操作対象画像を配置した投影画像を生成する投影画像生成ステップと、
    投影装置による投影画像の投影を制御する投影制御ステップと
    をコンピュータに実行させるための画像生成プログラム。
12. 前記位置決定ステップは、前記撮像領域の重心に前記操作対象画像の重心を重ねた場合における、前記操作対象画像の位置を決定することを特徴とする請求項１１に記載の画像生成プログラム。
13. 前記操作対象画像が前記撮像領域に包含されるか否かを判定する包含判定ステップをさらに実行させ、
    前記位置決定ステップは、前記操作対象画像が前記撮像領域に包含されないと判定された場合に、前記撮像領域座標に応じて前記操作対象画像を縮小したときの、前記操作対象画像の位置を決定することを特徴とする請求項１１又は１２に記載の画像生成プログラム。
14. 前記位置決定ステップは、前記撮像領域座標をもとに、複数の前記操作対象画像を前記投影画像に配置する位置を決定し、
    前記投影画像生成ステップは、決定された位置に複数の前記操作対象画像を配置した投影画像を生成することを特徴とする請求項１１に記載の画像生成プログラム。
15. 前記位置決定ステップは、前記撮像領域の所定座標から、複数の前記操作対象画像が互いに重ならないように前記投影画像に配置する位置を決定することを特徴とする請求項１４に記載の画像生成プログラム。
16. 複数の前記操作対象画像が前記撮像領域に包含されるか否かを判定する包含判定ステップをさらに実行させ、
    前記位置決定ステップは、複数の前記操作対象画像が前記撮像領域に包含されないと判定された場合に、前記撮像領域座標に応じて複数の前記操作対象画像を縮小したときの、複数の前記操作対象画像の位置を決定することを特徴とする請求項１４又は１５に記載の画像生成プログラム。
17. 複数の前記操作対象画像が前記撮像領域に包含されるか否かを判定する包含判定ステップをさらに実行させ、
    前記位置決定ステップは、複数の前記操作対象画像が前記撮像領域に包含されないと判定された場合に、前記撮像領域に包含されるように、複数の前記操作対象画像の表示を切り替えるための表示切替画像の位置を決定し、
    前記投影画像生成ステップは、決定された位置に前記表示切替画像を配置した投影画像を生成し、
    前記操作検出ステップは、ユーザ操作の対象となる前記表示切替画像に対するユーザ操作を検出することを特徴とする請求項１１に記載の画像生成プログラム。
18. 前記操作対象画像の表示に関する設定事項を表す表示設定を行なう表示設定ステップと、
    複数の前記操作対象画像が前記撮像領域に包含されるか否かを判定する包含判定ステップとをさらに実行させ、
    前記位置決定ステップは、複数の前記操作対象画像が前記撮像領域に包含されないと判定された場合に、前記表示設定をもとに、前記撮像領域座標に応じて縮小したときの複数の前記操作対象画像の位置、又は、複数の前記操作対象画像の表示を切り替えるための画像を表す表示切替画像の位置を決定し、
    前記投影画像生成ステップは、前記撮像領域に包含されるように、縮小した複数の前記操作対象画像、又は、前記表示切替画像を配置した投影画像を生成し、
    前記操作検出ステップは、縮小した複数の前記操作対象画像、又は、前記表示切替画像に対するユーザ操作を検出することを特徴とする請求項１１に記載の画像生成プログラム。
19. 撮像可能な領域を表す撮像領域を撮像した撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する操作検出部と、
    前記操作対象画像に対するユーザ操作が検出された場合に、前記撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する撮像領域座標を算出する撮像領域座標算出部と、
    前記撮像領域座標をもとに、前記操作対象画像を前記投影画像に配置する位置を決定する位置決定部と、
    決定された位置に前記操作対象画像を配置した投影画像を生成する投影画像生成部と、
    投影装置による投影画像の投影を制御する投影制御部と
    を有することを特徴とする情報処理装置。
20. 撮像可能な領域を表す撮像領域を撮像した撮像画像を用いて、ユーザ操作の対象となる画像を表す操作対象画像に対するユーザ操作を検出する操作検出ステップと、
    前記操作対象画像に対するユーザ操作が検出された場合に、前記撮像画像と投影画像とから、前記投影画像に対する前記撮像領域の位置を特定する撮像領域座標を算出する撮像領域座標算出ステップと、
    前記撮像領域座標をもとに、前記操作対象画像を前記投影画像に配置する位置を決定する位置決定ステップと、
    決定された位置に前記操作対象画像を配置した投影画像を生成する投影画像生成ステップと、
    投影装置による投影画像の投影を制御する投影制御ステップと
    を含むことを特徴とする画像生成方法。

Images