JP2012208439A - 投影装置、投影方法及び投影プログラム - Google Patents

Abstract

【課題】投影部と被投影体との間に物体が存在する場合でも、良好な視認性が得られるようにする。
【解決手段】被投影体に主映像を投影する投影部２と、投影部と被投影体との間に存在する物体を検出する物体検出部３と、物体検出部３により検出された物体には主映像がそのまま投影されないよう当該主映像に対する処理を行う映像処理部４と、投影部を制御する制御部５とを設けるようにした。こうすることで、投影部と被投影体との間に存在する物体に主映像がそのまま表示されてしまうことを防止して、投影部と被投影体との間に存在する物体と容易に区別できる状態で主映像を被投影体に投影することができる。
【選択図】図１

Description

本発明は、投影装置、投影方法及び投影プログラムに関し、例えば、スクリーンや壁などの被投影体に映像を投影するプロジェクタに適用して好適なものである。

従来、スクリーンや壁などの被投影体に映像を投影する投影装置としてプロジェクタが広く知られている（例えば特許文献１参照）。プロジェクタは、別途被投影体が必要となるが、小型で大画面を実現できることから、様々な分野で利用されている。

特開２００５−３３８３７９公報

ここで、例えば、ユーザが、プロジェクタによってスクリーンに投影されている映像の任意の箇所を指し示そうとして、スクリーンの投影面上に手を置いたとする。すると、プロジェクタによってスクリーンに投影されている映像の一部が、この手の上に投影されることになる。

このとき、手の表面が凹凸を有していることから、手の上に投影されている部分の映像（例えば指の上に投影されている部分の映像）が見難くなる。一方で、このときスクリーンと手とに境界なく映像が投影されることから、映像と手を区別し難い。

このように、従来のプロジェクタでは、プロジェクタとスクリーンの投影面との間に手などの物体が存在する場合に、投影する映像及び物体に対する視認性が低下するという問題があった。

本発明は以上の点を考慮してなされたもので、投影部と被投影体との間に物体が存在する場合でも、良好な視認性が得られる投影装置、投影方法及び投影プログラムを提案しようとするものである。

かかる課題を解決するため本発明においては、被投影体に主映像を投影する投影部と、投影部と被投影体との間に存在する物体を検出する物体検出部と、物体検出部により検出された物体には主映像がそのまま投影されないよう当該主映像に対する処理を行う映像処理部と、投影部を制御する制御部とを設けるようにした。

こうすることで、投影部と被投影体との間に存在する物体に主映像がそのまま表示されてしまうことを防止して、投影部と被投影体との間に存在する物体と容易に区別できる状態で主映像を被投影体に投影することができる。

本発明によれば、投影部と被投影体との間に存在する物体に主映像がそのまま表示されてしまうことを防止して、投影部と被投影体との間に存在する物体と容易に区別できる状態で主映像を被投影体に投影することができる。かくして、投影部と被投影体との間に物体が存在する場合でも、良好な視認性が得られる投影装置、投影方法及び投影プログラムを実現することができる。

実施の形態の概要となる投影装置の機能構成を示すブロック図である。 映像投影システムの構成を示す略線図である。 プロジェクタ装置の構成を示すブロック図である。 デスクトップ画面の構成を示す略線図である。 投影面上に手が存在するときのデスクトップ画面の投影の説明にともなう略線図である。 ワープロ画面の構成を示す略線図である。 ワープロ画面に対する操作入力例（１）の説明にともなう略線図である。 ワープロ画面に対する操作入力例（２）の説明にともなう略線図である。 文字の表示の制御の説明にともなう略線図である。 ペイント画面の構成を示す略線図である。 ペイント画面に対する操作入力例（１）の説明にともなう略線図である。 ペイント画面に対する操作入力例（２）の説明にともなう略線図である。 Ｗｅｂブラウザ画面の構成を示す略線図である。 Ｗｅｂブラウザ画面に対する操作入力例（１）の説明にともなう略線図である。 Ｗｅｂブラウザ画面に対する操作入力例（２）の説明にともなう略線図である。 Ｗｅｂブラウザ画面に対する操作入力例（３）の説明にともなう略線図である。 Ｗｅｂブラウザ画面に対する操作入力例（４）の説明にともなう略線図である。 投影処理手順を示すフローチャートである。 第２の実施の形態における操作入力例（１）の説明にともなう略線図である。 第２の実施の形態における操作入力例（２）の説明にともなう略線図である。 変形例における操作入力例（１）の説明にともなう略線図である。 変形例における操作入力例（２）の説明にともなう略線図である。 変形例における操作入力例（３）の説明にともなう略線図である。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．実施の形態の概要
２．第１の実施の形態
３．第２の実施の形態
４．変形例

＜１．実施の形態の概要＞
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例である、第１の実施の形態、第２の実施の形態、変形例の説明に移る。

図１において１は、投影装置を示す。この投影装置１には、スクリーンなどの被投影体に主映像を投影する投影部２が設けられている。またこの投影装置１には、投影部２と被投影体との間に存在する物体を検出する物体検出部３が設けられている。さらにこの投影装置１には、物体検出部３により検出された物体には主映像がそのまま投影されないよう当該主映像に対する処理を行う映像処理部４と、投影部２を制御する制御部５とが設けられている。

このような構成により、投影装置１は、投影部２と被投影体との間に存在する物体に主映像がそのまま表示されてしまうことを防止して、投影部２と被投影体との間に存在する物体と容易に区別できる状態で主映像を被投影体に投影することができる。

具体的に、映像処理部４は、物体検出部３により検出された物体には主映像がそのまま投影されないよう、例えば、主映像から、検出された物体に投影される部分を切り取る処理を行う。そして制御部５は、物体に投影される部分が切り取られた主映像を被投影体に投影するよう投影部２を制御する。

また映像処理部４が、物体検出部３により検出された物体には主映像がそのまま投影されないよう、例えば、主映像の検出された物体に投影される部分を、他の部分よりも薄い色合いにする処理を行うようにしてもよい。このとき制御部５は、物体に投影される部分が他の部分よりも薄い色合いの主映像を被投影体に投影するよう投影部を制御する。

また物体検出部３は、例えば、被投影体を撮像して得られる映像と、被投影体に投影する主映像とを比較することで、投影部２と被投影体との間に存在する物体を検出する。

さらに物体検出部３が、例えば、被投影体を撮像して得られる映像を解析することで、投影部２と被投影体との間に存在する物体を検出するようにしてもよい。

さらに制御部５が、物体検出部３により検出された物体に、主映像とは異なる副映像を投影するよう投影部２を制御するようにしてもよい。

さらに物体検出部３が、投影部２と被投影体との間に存在する物体として、ユーザの手を検出するようにしてもよい。さらにこのとき制御部５が、物体検出部３により検出された手の甲に、副映像を投影するよう投影部を制御するようにしてもよい。

さらに物体検出部３が、投影部２と被投影体との間に存在するユーザの手の動きを検出し、制御部５が、物体検出部３により検出された手の動きに応じて、各種処理を実行するようにしてもよい。

具体的に、制御部５は、例えば、所定画面の映像を主映像として被投影体に投影するよう投影部２を制御し、物体検出部３により、所定画面に配置されているオブジェクトを操作するような手の動きが検出されると、当該オブジェクトの操作に対応する処理を実行する。

さらにこのとき制御部５が、物体検出部３により、所定画面に配置されているオブジェクトを操作するような手の動きが検出されると、当該オブジェクトの操作に対応する映像を副映像として、当該手の甲に投影するよう投影部を制御するようにしてもよい。

さらに制御部５が、物体検出部３により、手の甲に投影されている副映像をもう一方の手で操作するような手の動きが検出されると、当該副映像の操作に対応する処理を実行するようにしてもよい。

さらに制御部５が、所定画面の映像を主映像として被投影体に投影するよう投影部２を制御し、物体検出部３により、所定画面に配置されているオブジェクトを選択するような手の動きが検出され、さらに当該オブジェクトを選択している手に対してもう一方の手で所定のジェスチャ操作を行うような手の動きが検出されると、当該オブジェクトに対して当該ジェスチャ操作に対応する処理を実行するようにしてもよい。

このような構成でなる投影装置１の具体例について、以下、詳しく説明する。

＜２．第１の実施の形態＞
［２−１．映像投影システムの構成］
次に、本実施の形態の具体例について説明する。まず図２を用いて、映像投影システム１００の構成について説明する。この映像投影システム１００は、上述した投影装置１の具体例であるプロジェクタ装置１０１と、被投影体の具体例であるスクリーン１０２とで構成されている。

さらにこの映像投影システム１００のプロジェクタ装置１０１は、パーソナルコンピュータ構成の本体部１０３と、当該本体部１０３にケーブル接続され、当該本体部１０３により制御されるプロジェクタ部１０４とで構成されている。

この映像投影システム１００は、例えば机上に平らなスクリーン１０２が載置され、このスクリーン１０２の上方に、プロジェクタ装置１００のプロジェクタ部１０４が投影レンズ１０４Ａを下向きにして設置される。尚、机をスクリーン１０２の代わりに利用するなどしてもよい。

そして、この映像投影システム１００では、スクリーン１０２の上方に設置されたプロジェクタ部１０４の投影レンズ１０４Ａから、下方のスクリーン１０２の投影面１０２Ａ上に映像が投影されることで、このスクリーン１０２に映像が表示されるようになっている。

またプロジェクタ装置１０１のプロジェクタ部１０４には、投影レンズ１０４Ａの近傍に投影レンズ１０４Ａと同じ向きの撮像レンズ１０４Ｂが設けられている。プロジェクタ装置１０１は、この撮像レンズ１０４Ｂを介してスクリーン１０２の投影面１０２Ａを撮像する。

そしてプロジェクタ装置１０１は、投影レンズ１０４Ａからスクリーン１０２の投影面１０２Ａに投影している映像と、撮像レンズ１０４Ｂを介してスクリーン１０２の投影面１０２Ａを撮像して得られた投影面１０２Ａの映像との差分を取る。

この差分をもとに、プロジェクタ装置１０１は、スクリーン１０２の投影面１０２Ａ上にスクリーン１０２とは別の物体（例えばユーザの指）が存在する場合に、この物体を投影面１０２Ａとは区別して検出できるようになっている。

さらにプロジェクタ装置１０１は、このようにして物体を検出すると、スクリーン１０２に投影している映像の一部がそのままこの物体上に投影されないよう、投影する映像に対して映像処理を行う。尚、この映像処理について詳しくは後述する。

［２−２．プロジェクタ装置の構成］
次に、図３を用いて、プロジェクタ装置１０１の構成について詳しく説明する。プロジェクタ装置１０１は、上述したように、本体部１０３とプロジェクタ部１０４とで構成されている。

本体部１０３には、ＣＰＵ１１０と、不揮発性メモリ１１１と、ＲＡＭ１１２と、映像処理部１１３と、外部接続Ｉ／Ｆ１１４と、ネットワークＩ／Ｆ１１５とが設けられている。一方、プロジェクタ部１０４には、投影レンズ１０４Ａ、液晶パネル及びランプ（共に図示せず）などからなる投影部１１６と、撮像レンズ１０４Ｂ及び撮像素子（図示せず）などからなる撮像部１１７と、外部接続Ｉ／Ｆ１１８とが設けられている。

そして本体部１０３の外部接続Ｉ／Ｆ１１４と、プロジェクタ部１０４の外部接続Ｉ／Ｆ１１８とが、所定のケーブルを介して接続されている。

また本体部１０３は、ネットワークＩ／Ｆ１１５を介して外部のネットワーク（例えばインターネット）ＮＴに接続されている。

このプロジェクタ装置１０１は、本体部１０３のＣＰＵ１１０が、不揮発性メモリ１１１に記憶されている各種プログラムをＲＡＭ１１２にロードして、このプログラムを実行することで全体を制御するようになっている。

実際、ＣＰＵ１１０は、まずＯＳ（Operating System）のデスクトップ画面の映像を投影するよう、各部を制御する。

具体的に、映像処理部１１３は、ＣＰＵ１１０の制御のもと、デスクトップ画面の映像となる映像信号を生成する。この映像信号は、映像処理部１１３から、本体部１０３の外部接続Ｉ／Ｆ１１４とプロジェクタ部１０４の外部接続Ｉ／Ｆ１１８とを経由して、プロジェクタ部１０４の投影部１１６に送られる。

投影部１１６は、この映像信号に基づく映像（すなわちデスクトップ画面の映像）を生成し、これを投影レンズ１０４Ａにより拡大してスクリーン１０２に投影する。

この結果、スクリーン１０２に、図４に示すデスクトップ画面２００が表示される。

さらにこのとき、プロジェクタ部１０４の撮像部１１７は、ＣＰＵ１１０の制御のもと、スクリーン１０２の投影面１０２Ａを撮像する。撮像部１１７は、撮像結果として投影面１０２の映像を得、これを映像信号に変換する。この映像信号は、撮像部１１７から、プロジェクタ部１０４の外部接続Ｉ／Ｆ１１８と本体部１０３の外部接続Ｉ／Ｆ１１４とを経由して、本体部１０３の映像処理部１１３に送られる。

映像処理部１１３は、送られてきた映像信号（すなわち投影面１０２Ａを撮像して得られた映像信号）と、投影面１０２Ａに投影している映像信号との差分を取り、この結果をＣＰＵ１１０に送る。

ＣＰＵ１１０は、この比較結果をもとに、スクリーン１０２の投影面１０２Ａ上にスクリーン１０２とは別の物体が存在するかどうかを判別すると共に、物体が存在すると判別したときには、投影面１０２Ａ上に存在する物体の領域を検出する。

実際、ユーザがスクリーン１０２の投影面１０２Ａ上に手を置いているとする。このときＣＰＵ１１０は、投影面１０２Ａに投影している映像と、投影面１０２Ａを撮像して得られた映像との差分をもとに、この手の領域を検出することができる。

さらにＣＰＵ１１０は、撮像部１１７からこの手までの距離と、撮像部１１７から投影面１０２Ａまでの距離とを測定するように撮像部１１７を制御する。

具体的に撮像部１１７は、被写体までの距離を測定できる測距センサを有し、この測距センサにより、手までの距離と、投影面１０２Ａまでの距離とを測定する。

そしてＣＰＵ１１０は、撮像部１１７により測定された、撮像部１１７から手までの距離と、撮像部１１７から投影面１０２Ａまでの距離との差分を取ることで、投影面１０２Ａから手までの距離を算出する。

さらにＣＰＵ１１０は、手の領域の検出と投影面１０２Ａから手までの距離の算出とを所定時間ごとに行うことで、投影面１０２Ａ上での手の動きを３次元的に検出することができ、例えば、投影面１０２Ａに対するタッチ（触る）、タップ（触って離す）、ドラッグ（なぞる）、フリック（払う）などのジェスチャ操作を検出することもできる。

尚、投影面１０２Ａから手までの距離を高精度に測定することは難しいので、ここでは、ＣＰＵ１１０が、投影面１０２Ａから手までの距離が所定値未満である場合に、投影面１０２Ａに手がタッチされていると判断するようになっている。

このようにして物体（ここでは手とする）を検出すると、ＣＰＵ１１０は、図５（Ａ）に示すように、投影しているデスクトップ画面２００の映像から手の上に投影される部分を切り取った映像Ｐｉ１を生成するよう映像処理部１１３を制御する。

具体的に、映像処理部１１３は、手の輪郭を抽出し、投影しているデスクトップ画面２００の映像から、手の輪郭の内側となる部分の映像を切り取る。

そしてＣＰＵ１１０は、このようにして生成した映像（すなわち手の上に表示されている部分を切り抜いたデスクトップ画面２００の映像）Ｐｉ１を、投影部１１６からスクリーン１０２に投影させる。

すると、図５（Ｂ）に示すように、手の上には何も表示されないようにして、デスクトップ画像２００の映像がスクリーン１０２の投影面１０２Ａに表示される。

このように、プロジェクタ装置１０１は、投影面１０２Ａ上に手が存在する場合に、この手の上にはデスクトップ画面２００の映像を投影しないようになっている。

こうすることで、プロジェクタ装置１０１は、凹凸を有する手の上にデスクトップ画面２００の映像の一部分が投影されてこの一部分が見づらくなってしまうことを防ぐことができると共に、手と容易に区別できる状態でデスクトップ画面２００の映像を投影することができる。

さらにこうすることで、プロジェクタ装置１０１は、あたかもデスクトップ画面２００上に手を置いているかのような感覚をユーザに与えることができる。

さらにこのプロジェクタ装置１０１では、投影されているデスクトップ画面２００にタッチするような感覚で、デスクトップ画面２００に対する各種操作入力を行うことができるようになっている。

ここで、デスクトップ画面２００には、図４に示すように、各種アプリケーションに対応するアイコン２００Ａが複数配置されるようになっている。

このようなデスクトップ画面２００が投影されている状態で、ユーザが、所望のアイコン２００Ａを指先で２回タッチするようなジェスチャ操作を投影面１０２Ａ上で行ったとする。このとき、ＣＰＵ１１０は、このようなジェスチャ操作が行われた旨を、検出した手の動きから認識する。

そしてＣＰＵ１１０は、このようなジェスチャ操作を、アイコン２００Ａに対応するアプリケーションを起動する操作として受け付け、このアプリケーションのプログラムを不揮発性メモリ１１１から読み出して実行することで、アプリケーションを起動する。

ここで、映像処理部１１３は、ＣＰＵ１１０の制御のもと、アプリケーション画面の映像となる映像信号を生成する。そしてこの映像信号が、映像処理部１１３から、本体部１０３の外部接続Ｉ／Ｆ１１４とプロジェクタ部１０４の外部接続Ｉ／Ｆ１１８とを経由して、プロジェクタ部１０４の投影部１１６に送られる。

投影部１１６は、この映像信号に基づく映像（すなわちアプリケーション画面の映像）を生成し、これを投影レンズ１０４Ａにより拡大してスクリーン１０２に投影する。

この結果、スクリーン１０２にアプリケーション画面が表示される。

プロジェクタ装置１０１では、このアプリケーション画面に対しても、デスクトップ画面２００と同様、直接触るような感覚で、各種操作入力を行うことができるようになっている。

以下、アプリケーション画面に対する操作入力について、アプリケーションごとに詳しく説明する。

尚、ここでは、ワープロソフト、ペイントソフト、Ｗｅｂブラウザがアプリケーションとしてプロジェクタ装置１０１にインストールされているとする。

因みに、実施の形態の概要で説明した投影装置１の投影部２に対応するのが上述したプロジェクタ装置１０１の投影部１１６である。また投影装置１の物体検出部３に対応するのがプロジェクタ装置１０１のＣＰＵ１１０及び撮像部１１７である。さらに投影装置１の映像処理部４に対応するのがプロジェクタ装置１０１の映像処理部１１３である。さらに投影装置１の制御部５に対応するのがプロジェクタ装置１０１のＣＰＵ１１０である。

［２−３．アプリケーション画面に対する操作入力］
［２−３−１．ワープロ画面での操作入力］
まず、ワープロソフトのアプリケーション画面（ワープロ画面とも呼ぶ）に対する操作入力について説明する。

プロジェクタ装置１０１は、ワープロソフトを起動すると、図６に示すような、ワープロ画面２０１の映像をスクリーン１０２の投影面１０２Ａに投影する。

このワープロ画面２０１は、入力された文字が表示されるテキスト表示領域２０１Ａと、複数のキー画像ｋｐで構成されるソフトウェアキーボードＳｋが表示されるキーボード表示領域２０１Ｂとで構成されている。

このようなワープロ画面２０１を投影する場合も、プロジェクタ装置１０１は、投影面１０２Ａ上に存在する手の上にはワープロ画面２０１の映像を投影しないようになっている。

これにより、プロジェクタ装置１０１は、投影面１０２Ａ上に手を置いたときに、あたかもワープロ画面２０１上に手を置いているかのような感覚をユーザに与えることができる。

このワープロ画面２０１では、キーボード表示領域２０１Ｂに表示されているソフトウェアキーボードＳｋを利用して文字入力を行うようになっている。

実際、図７に示すように、ユーザが、例えば文字「Ｆ」を入力しようと、この文字「Ｆ」に対応するキー画像ｋｐ（Ｆ）を右手の人差し指の指先でタッチするようなジェスチャ操作を、投影面１０２Ａ上で行ったとする。この場合も、手の上にはワープロ画面２０１は表示されない。ゆえに、ユーザから見れば、タッチしている指先によってキー画像ｋｐ（Ｆ）の一部が隠れているように見える。

このとき、プロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域の形状から、右手の人差し指の指先の位置を特定する。そしてＣＰＵ１１０は、この位置と各キー画像ｋｐの配置とをもとに、右手の人差し指によってキー画像ｋｐ（Ｆ）がタッチされたと認識する。

ここでＣＰＵ１１０は、投影面１０２Ａ上に存在する手の表面で比較的平坦な部分となる手の甲に、人差し指でタッチされたキー画像ｋｐ（Ｆ）を表示するように、映像処理部１１３及び投影部１１６を制御する。

具体的に、映像処理部１１３は、キー画像ｋｐ（Ｆ）と、手の輪郭の内側となる部分を切り抜いたワープロ画面２０１の映像とを、手の輪郭の内側の手の甲となる部分にキー画像ｋｐ（Ｆ）が位置するよう合成して合成映像を生成する。そしてこの合成映像が、投影部１１６によって、スクリーン１０２に投影される。

尚、映像処理部１１３は、手の領域の形状（すなわち手の輪郭）をもとに、手の領域の内側で甲となる部分を推定するようになっている。

この結果、投影面１０２Ａ上に存在する手の外側に、ワープロ画面２０１の映像が表示されると共に、投影面１０２Ａ上に存在する手の甲にキー画像ｋｐ（Ｆ）が表示される。

こうすることで、プロジェクタ装置１０１は、キー画像ｋｐを直接タッチするような感覚をユーザに与えつつ、現在どのキー画像ｋｐをタッチしているのか（すなわち指先で隠れているキー画像ｋｐはどれか）をユーザに容易に認識させることができる。

そしてプロジェクタ装置１０１は、この手の甲の部分に表示させたキー画像ｋｐ（Ｆ）が、もう一方の手の指先でタッチされると、入力文字を確定するようになっている。

実際、図８に示すように、ユーザが、右手でソフトウェアキーボードＳｋのキー画像ｋｐ（Ｆ）をタッチしたまま、この右手の甲に表示されているキー画像ｋｐ（Ｆ）を左手の人差し指の指先でタッチしたとする。

このときプロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域の形状から、右手の甲の位置と、左手の人差し指の指先の位置とを特定する。そしてＣＰＵ１１０は、これらの位置をもとに、右手の甲に表示されているキー画像ｋｐ（Ｆ）が左手でタッチされたと認識する。

ここでＣＰＵ１１０は、入力文字をキー画像ｋｐ（Ｆ）に対応する文字「Ｆ」に確定すると共に、この文字「Ｆ」を、ワープロ画面２０１の文字表示領域２０１Ａ内に表示するように、映像処理部１１３及び投影部１１６を制御する。

この結果、図９に示すように、投影面１０２Ａに投影されているワープロ画面２０１の文字表示領域２０１Ａ内に文字「Ｆ」が表示される。

こうすることでプロジェクタ装置１０１では、タッチパネルのような操作感覚で、且つ確実に文字入力を行うことができる。

ここまで説明したように、プロジェクタ装置１０１は、ワープロソフト起動時、スクリーン１０２に投影されたワープロ画面２０１のソフトウェアキーボードＳｋを直接タッチするような操作感覚で、確実に文字入力を行うことができるようになっている。

［２−３−２．ペイント画面での操作入力］
次に、ペイントソフトのアプリケーション画面（ペイント画面とも呼ぶ）に対する操作入力について説明する。

プロジェクタ装置１０１は、ペイントソフトを起動すると、図１０に示すような、ペイント画面２０２の映像をスクリーン１０２の投影面１０２Ａに投影する。

このペイント画面２０２は、自由に線を描くことのできるキャンバス領域２０２Ａと、線の色を指定する為のカラーパレット２０２Ｂとで構成されている。カラーパレット２０２Ｂは、各色に対応する複数のカラーボックスＣｂで構成される。

このようなペイント画面２０２を投影する場合も、プロジェクタ装置１０１は、投影面１０２Ａ上に置かれた手の上にはペイント画面２０２の映像を投影しないようになっている。

このペイント画面２０２では、カラーパレット２０２Ｂから線の色を選択した後、キャンバス領域２０２Ａ内をドラッグするようにして線を描くようになっている。

実際、図１１に示すように、ユーザが、例えば赤色を選択しようと、カラーパレット２０２Ｂ内の赤色に対応するカラーボックスＣｂ（Ｒ）を右手の人差し指の指先でタッチするようなジェスチャ操作を、投影面１０２Ａ上で行ったとする。

このとき、プロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域の形状から、右手の人差し指の指先の位置を特定する。そしてＣＰＵ１１０は、この位置と各カラーボックスＣｂの配置とをもとに、右手の人差し指によってカラーボックスＣｂ（Ｒ）がタッチされたと認識する。

ここでＣＰＵ１１０は、線の色を赤色に決定すると共に、投影面１０２Ａ上に存在する手の甲に、人差し指でタッチされたカラーボックスＣｂ（Ｒ）を表示するように、映像処理部１１３及び投影部１１６を制御する。

具体的に、映像処理部１１３は、カラーボックスＣｂ（Ｒ）と、手の輪郭の内側となる部分を切り抜いたペイント画面２０２の映像とを、手の輪郭の内側の手の甲となる部分にカラーボックスＣｂ（Ｒ）が位置するよう合成して合成映像を生成する。そしてこの合成映像が、投影部１１６によって、スクリーン１０２に投影される。

この結果、投影面１０２Ａ上に存在する手の外側に、ペイント画面２０２の映像が表示され、投影面１０２Ａ上に存在する手の甲にカラーボックスＣｂ（Ｒ）が表示される。

こうすることで、プロジェクタ装置１０１は、カラーボックスＣｂを直接タッチするような感覚をユーザに与えつつ、現在どの色が選択されているのかをユーザに容易に認識させることができる。

尚、ＣＰＵ１１０は、継続的に投影面１０２Ａ上に存在する手の領域を検出していくことで、例えば、投影面１０２Ａ上で手が移動しても、手の甲にカラーボックスＣｂ（Ｒ）を表示させ続けるようになっている。

またこのペイント画面２０２では、再度、別の色のカラーボックスＣｂをタッチすることで、選択する色を変更することができるようにもなっている。

その後、図１２に示すように、ユーザが、カラーボックスＣｂ（Ｒ）が表示されている右手の人差し指の指先で、キャンバス領域２０２Ａ内をドラッグするようなジェスチャ操作を、投影面１０２Ａ上で行ったとする。

このときプロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域の形状から、右手の人差し指の指先の位置を特定する。そしてＣＰＵ１１０は、この位置をもとに、右手の人差し指の指先でキャンバス領域２０２Ａ内がドラッグされていると認識する。

ここでＣＰＵ１１０は、キャンバス領域２０２Ａ内に、ドラッグの軌跡に沿って現在選択されている色で線を描くように、映像処理部１１３及び投影部１１６を制御する。

この結果、投影面１０２Ａ上に投影されているペイント画面２０２のキャンバス領域２０２Ａ内に、ドラッグの軌跡に沿って現在選択されている色で線が描かれる。

ここまで説明したように、プロジェクタ装置１０１は、ペイントソフト起動時、スクリーン１０２に投影されたペイント画面２０２のキャンバス領域２０２Ａ内を直接ドラッグするような操作感覚で、絵を描くことができるようになっている。

［２−３−３．Ｗｅｂブラウザ画面での操作入力］
次に、Ｗｅｂブラウザのアプリケーション画面（Ｗｅｂブラウザ画面とも呼ぶ）に対する操作入力について説明する。

プロジェクタ装置１０１は、Ｗｅｂブラウザを起動すると、図１３に示すような、Ｗｅｂブラウザ画面２０３の映像をスクリーン１０２の投影面１０２Ａに投影する。

このＷｅｂブラウザ画面２０３は、各種メニュー、ボタン、アドレス入力欄、検索キーワード入力欄などが配置されたツールバー２０３Ａと、Ｗｅｂページのページ画像が表示されるページ表示領域２０３Ｂとで構成されている。

このようなＷｅｂブラウザ画面２０３を投影する場合も、プロジェクタ装置１０１は、投影面１０２Ａ上に置かれた手の上にはＷｅｂブラウザ画面２０３の映像を投影しないようになっている。

このＷｅｂブラウザでは、ツールバー２０３Ａの各種メニュー、ボタンをタッチすることで、各種メニュー、ボタンに応じた処理が実行されるようになっている。

実際、ユーザが、例えばホームページに設定されているＷｅｂページを閲覧しようと、ツールバー２０３Ａ内のホームページボタンを右手の人差し指の指先でタッチするようなジェスチャ操作を、投影面１０２Ａ上で行ったとする。

このとき、プロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域と動きから、ホームページボタンが右手の人差し指の指先でタッチされたと認識する。

ここでＣＰＵ１１０は、ネットワークＩ／Ｆ１１５を介して、ホームページに設定されているＷｅｂページのアドレスにアクセスして、このＷｅｂページのページデータを受信する。

そしてＣＰＵ１１０は、このページデータに基づくページ画像を、Ｗｅｂブラウザ画面２０３のページ表示領域２０３Ｂ内に表示するように、映像処理部１１３及び投影部１１６を制御する。

この結果、Ｗｅｂブラウザ画面２０３のページ表示領域２０３Ｂ内に、ホームページのページ画像が表示される。

ここで、図１４に示すように、ユーザが、ページ表示領域２０３Ｂ内に表示されているページ画像内のハイパーリンクＨＬを右手の人差し指の指先でタッチするようなジェスチャ操作を、投影面１０２Ａ上で行ったとする。

このとき、プロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域と動きから、ページ画像内のハイパーリンクＨＬが右手の人差し指の指先でタッチされたと認識する。

するとＣＰＵ１１０は、ネットワークＩ／Ｆ１１５を介して、ハイパーリンクＨＬが示すリンク先にアクセスして、このリンク先からページデータを受信する。

そしてＣＰＵ１１０は、このページデータに基づくページ画像（これをリンク先ページ画像とも呼ぶ）を手の甲に収まるよう縮小して、ハイパーリンクＨＬをタッチしている手の甲に投影するように、映像処理部１１３及び投影部１１６を制御する。

この結果、ハイパーリンクＨＬをタッチしている手の甲に、縮小されたリンク先ページ画像（これを縮小リンク先ページ画像とも呼ぶ）Ｓｐが表示される。

こうすることで、プロジェクタ装置１０１は、ページ表示領域２０３Ｂの表示内容をリンク先ページ画像に切り換える前に、リンク先のＷｅｂページがどのようなページなのかをユーザに確認させることができる。

そしてプロジェクタ装置１０１は、この手の甲の部分に表示させた縮小リンク先ページ画像Ｓｐが、もう一方の手の指先でタッチされると、ページ表示領域２０３Ｂの表示内容を、リンク先ページ画像に切り換えるようになっている。

具体的に、ユーザが、右手でハイパーリンクＨＬをタッチしたまま、右手の甲に表示されている縮小リンク先ページ画像Ｓｐを左手の人差し指の指先でタッチするように、左手の人差し指の指先を右手の甲の上に乗せたとする。

このときプロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域と動きから、右手の甲に表示されている縮小リンク先ページ画像Ｓｐが左手でタッチされたと認識する。

するとＣＰＵ１１０は、リンク先ページ画像を、ページ表示領域２０３Ｂ内に表示するように、映像処理部１１３及び投影部１１６を制御する。この結果、ページ表示領域２０３Ｂ内に、リンク先ページ画像が表示される。

このように、Ｗｅｂブラウザ画面２０３では、リンク先のＷｅｂページがどのようなページなのかをユーザに確認させてから、そのＷｅｂページをページ表示領域２０３Ｂに表示できるようになっている。

こうすることで、プロジェクタ装置１０１は、より確実にユーザが所望するＷｅｂページをユーザに閲覧させることができる。

さらにこのＷｅｂブラウザ画面２０３では、ページ表示領域２０３Ｂに表示されているページ画像内のテキスト上をドラッグすることで、テキストの所望部分をコピーできるようにもなっている。

実際、図１５に示すように、ユーザが、ページ画像内のテキストの所望部分を右手の人差し指の指先でドラッグするようなジェスチャ操作を、投影面１０２Ａ上で行ったとする。

このとき、プロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域と動きから、テキストの所望部分が右手の人差し指の指先でドラッグされたと認識する。

するとＣＰＵ１１０は、ドラッグされた所望部分を囲うコピー範囲を示す枠Ｆｒをページ画像上に表示するように映像処理部１１３及び投影部１１６を制御する。この結果、ページ画像上に、この枠Ｆｒが表示される。

またこのときＣＰＵ１１０は、ドラッグしている右手の甲に、枠Ｆｒで囲われた部分のテキストを投影するように映像処理部１１３及び投影部１１６を制御する。この結果、ドラッグしている右手の甲に、枠Ｆｒで囲われた部分のテキストが表示される。

こうすることで、プロジェクタ装置１０１は、テキスト上を直接ドラッグするような感覚をユーザに与えつつ、ドラッグにより現在テキストのどの部分がコピー範囲になっているのかをユーザに容易に認識させることができる。

その後、ユーザが、ドラッグしている指先を投影面１０２Ａから離すことで、ドラッグを終了したとする。

このときＣＰＵ１１０は、検出した手の動きから、ドラッグが終了したと認識する。

するとＣＰＵ１１０は、このとき右手の甲に表示されている部分（すなわち枠Ｆｒで囲われている部分）をコピーする部分に決定して、この部分のテキストをクリップボードにコピーする。このようにして、テキストの所望部分がコピーされる。

ここで、ＣＰＵ１１０は、テキストの所望部分をクリップボードにコピーした後も、後述する貼り付け操作が行われるまでは、この所望部分が右手の甲に表示され続けるように映像処理部１１３及び投影部１１６を制御するようになっている。

こうすることで、プロジェクタ装置１０１は、現在どのような情報がクリップボードにコピーされているのかをユーザに容易に認識させることができる。

また一方で、このＷｅｂブラウザ画面２０３では、ページ表示領域２０３Ｂに表示されているページ画像内の所望の画像を所定時間タッチし続けることで、この画像をコピーできるようにもなっている。

実際、図１６に示すように、ユーザが、ページ画像内の所望の画像Ｐｉを右手の人差し指の指先で所定時間タッチし続けるようなジェスチャ操作を、投影面１０２Ａ上で行ったとする。

このとき、プロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域と動きから、画像Ｐｉが右手の人差し指の指先で所定時間タッチされ続けたと認識する。

するとＣＰＵ１１０は、この画像Ｐｉをタッチしている右手の甲に、この画像Ｐｉを投影するように映像処理部１１３及び投影部１１６を制御する。この結果、画像Ｐｉをタッチしている右手の甲に、この画像Ｐｉが表示される。

またこれと共にＣＰＵ１１０は、この画像Ｐｉをクリップボードにコピーする。このようにして、所望の画像Ｐｉがコピーされる。

ここで、ＣＰＵ１１０は、所望の画像Ｐｉをクリップボードにコピーした後も、後述する貼り付け操作が行われるまでは、この画像Ｐｉが右手の甲に表示され続けるように映像処理部１１３及び投影部１１６を制御するようになっている。

こうすることで、プロジェクタ装置１０１は、画像を直接タッチするような感覚で画像をコピーすることができ、さらに現在クリップボードにコピーしている画像をユーザに容易に認識させることができる。

さらにこのＷｅｂブラウザ画面２０３では、一方の手で、他方の手の甲に表示されている情報（すなわちクリップボードにコピーされているテキスト又は画像）を他方の手の指先にドラッグすることで、この情報を他方の手の指先で指し示している位置に貼り付けることができるようにもなっている。

実際、図１７に示すように、ユーザが、右手の甲にテキストが表示されている状態で、ツールバー２０３Ａの検索キーワード入力欄を、右手の人差し指の指先で指し示しているとする。そのうえでユーザが、左手の人差し指の指先で、右手の甲に表示されているテキストを右手の人差し指の指先にドラッグしたとする。

このとき、プロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域と動きから、右手の甲に表示されているテキストが、左手の人差し指の指先で、右手の人差し指の指先にドラッグされたと認識する。

するとＣＰＵ１１０は、右手の人差し指の指先で指し示されている検索キーワード入力欄に、右手の甲に表示されているテキスト（すなわちクリップボードにコピーされているテキスト）を表示するように映像処理部１１３及び投影部１１６を制御する。この結果、クリップボードにコピーされているテキストが、検索キーワード入力欄に表示される。このようにして、クリップボードにコピーされている情報が貼り付けられる。

こうすることで、プロジェクタ装置１０１は、クリップボードにコピーされている情報を直感的な操作で所望の位置に貼り付けることができる。

［２−４．処理手順］
次に、スクリーン１０２の投影面１０２Ａ上に映像を投影するときに、プロジェクタ装置１０１により実行される処理の手順（これを投影処理手順とも呼ぶ）の概要について、図１８に示すフローチャートを用いて説明する。

尚、図１８に示す投影処理手順ＲＴは、プロジェクタ装置１０１のＣＰＵ１１０が、不揮発性メモリ１１１に格納されているプログラムにしたがって実行する処理の手順である。

ＣＰＵ１１０は、例えば、プロジェクタ装置１０１の電源がオンされると、この投影処理手順ＲＴを開始して、ステップＳＰ１に移る。ステップＳＰ１においてＣＰＵ１１０は、映像処理部１１３及び投影部１１６を制御して、スクリーン１０２の投影面１０２Ａに、投影面１０２Ａに表示すべき各種画面の映像（これを主映像とも呼ぶ）を投影し、次のステップＳＰ２に移る。

ステップＳＰ２においてＣＰＵ１１０は、投影部１１６から投影面１０２Ａに投影している主映像と、撮像部１１７で投影面１０２Ａ上を撮像した映像とを比較することで、撮像部１１７の視野内（すなわち投影面１０２Ａ上）に、手などの物体が存在するか否かを判断する。

このステップＳＰ２で否定結果を得ると、このことは、投影面１０２Ａ上に何も存在していないことを意味する。このときＣＰＵ１１０は、そのまま投影面１０２Ａに主映像を投影させ続け、再びステップＳＰ１に戻る。

これに対して、ステップＳＰ２で肯定結果を得ると、このことは、投影面１０２Ａ上に手などの物体が存在することを意味する。このときＣＰＵ１１０は、ステップＳＰ３に移る。

ステップＳＰ３においてＣＰＵ１１０は、物体の領域を検出して、次のステップＳＰ４に移る。ＣＰＵ１１０は、検出した物体の領域外に主映像が表示されるように、検出した物体の領域内となる部分を切り抜いた主映像を、投影面１０２に投影させて、次のステップＳＰ５に移る。

ステップＳＰ５においてＣＰＵ１１０は、検出した物体の領域内に、主映像とは異なる映像（これを副映像とも呼ぶ）を投影するか否かを判断する。

このステップＳＰ５で否定結果を得ると、このときＣＰＵ１１０は、再びステップＳＰ１に戻る。

これに対してこのステップＳＰ５で肯定結果を得ると、このことは、例えば、ソフトウェアキーボードＳｋを構成するキー画像ｋｐが手でタッチされたことにより、ＣＰＵ１１０が、この手の甲にキー画像ｋｐを投影すると判断したことを意味する。このときＣＰＵ１１０は、ステップＳＰ６に移る。

ステップＳＰ６においてＣＰＵ１１０は、撮像部１１７から、プロジェクタ部１０４から物体までの距離と、プロジェクタ部１０４から投影面１０２Ａまでの距離とを得、これらをもとに、手と投影面１０２Ａとの中間の位置にピントを合わせるよう投影部１１６を制御する。

こうすることで、プロジェクタ装置１０１は、プロジェクタ部１０４からの距離が異なる物体と投影面１０２Ａとの両方に、良好な画質で映像を投影することができる。

その後、ＣＰＵ１１０は、次のステップＳＰ７に移り、検出した物体の領域内で平坦な部分（例えば手の甲）に、副映像が表示されるように、主映像と副映像とを合成した映像を投影面１０２に投影させて、再びステップＳＰ１に戻る。

このような投影処理手順ＲＴにしたがって、プロジェクタ装置１０１は、スクリーン１０２の投影面１０２Ａ上に映像を投影するようになっている。

［２−５．第１の実施の形態の動作及び効果］
以上の構成において、プロジェクタ装置１０１は、スクリーン１０２の投影面１０２Ａに投影するデスクトップ画面２００などの映像（主映像）と、スクリーン１０２の投影面１０２Ａを撮像して得られる映像とを比較することで、投影面１０２Ａ上にユーザの手が存在するか否かを判別する。

ここで、ユーザの手が存在すると判別した場合、プロジェクタ装置１０１は、手の上には主映像が投影されないよう、手の領域内に投影される部分を切り取った主映像を、投影面１０２Ａに投影する。

この結果、手の領域を除くように、スクリーン１０２の投影面１０２Ａに主映像が表示される。

こうすることで、プロジェクタ装置１０１は、凹凸を有する手の領域内に主映像の一部分が投影されて、この一部分が見づらくなることを防ぐことができると共に、手と容易に区別できる状態で主映像をスクリーン１０２に投影することができる。

さらにプロジェクタ装置１０１は、必要に応じて、投影面１０２Ａ上に存在する手の領域内で比較的平坦な部分となる手の甲に、主映像とは異なる映像（副映像）を投影する。

このように、プロジェクタ装置１０１は、手の甲の部分を、スクリーン１０２の投影面１０２Ａとは別の表示領域として利用することで、主映像と副映像とを同時に且つ明確に切り分けてユーザに視認させるようなことができる。

以上の構成によれば、プロジェクタ装置１０１は、投影面１０２Ａ上に存在する手の上に主映像が表示されてしまうことを防止して、投影面１０２Ａ上に存在する手と容易に区別できるようにして主映像を投影面１０２Ａに投影することができる。かくして、プロジェクタ装置１０１は、投影面１０２Ａ上に手が存在する場合でも、良好な視認性を得ることができる。

＜３．第２の実施の形態＞
次に、第２の実施の形態について説明する。この第２の実施の形態では、デスクトップ画面２００に配置されているアイコン２００Ａがタッチされると、このアイコン２００Ａのコンテキストメニューを、タッチしている手の甲に表示するようになっている。

コンテキストメニューは、オプションメニュー、ショートカットメニューなどとも呼ばれ、「コピー」、「削除」、「アプリケーションの起動」など、アイコンに対して実行可能な処理の名称をリスト表示し、所望の処理を選択・実行できるようにしたメニューである。

尚、この第２の実施の形態の映像投影システムの構成については、第１の実施の形態と同様であるので、第１の実施の形態を参照とする。ゆえに、ここでは、デスクトップ画面２００に対する操作入力についてのみ説明する。

まず、第１の実施の形態と同様、スクリーン１０２の投影面１０２Ａに、各種アプリケーションに対応するアイコン２００Ａが複数配置されたデスクトップ画面２００が投影されているとする。

ここで、図１９に示すように、ユーザが、所望のアイコン２００Ａを右手の人差し指の指先でタッチするようなジェスチャ操作を投影面１０２Ａ上で行ったとする。この場合も、第１の実施の形態と同様、手の上にはデスクトップ画面２００は表示されない。

このとき、ＣＰＵ１１０は、検出した手の領域の形状から、右手の人差し指の指先の位置を特定する。そしてＣＰＵ１１０は、この位置と各アイコン２００Ａの配置とをもとに、右手の人差し指によって任意のアイコン２００Ａがタッチされたと認識する。

ここでＣＰＵ１１０は、アイコン２００Ａをタッチしている右手の甲に、タッチされているアイコン２００ＡのコンテキストメニューＣｍの映像を投影するように、映像処理部１１３及び投影部１１６を制御する。

具体的に、映像処理部１１３は、コンテキストメニューＣｍの映像と、手の輪郭の内側となる部分を切り取ったデスクトップ画面２００の映像とを、手の甲となる部分にコンテキストメニューＣｍの映像が位置するよう合成して合成映像を生成する。そしてこの合成映像が、投影部１１６によって、スクリーン１０２に投影される。

この結果、投影面１０２Ａ上に存在する手の外側に、デスクトップ画面２００の映像が表示されると共に、投影面１０２Ａ上に存在する手の甲にコンテキストメニューＣｍの映像が表示される。

このコンテキストメニューＣｍは、複数行のリストで構成され、タッチされたアイコン２００Ａに対して実行可能な処理の名称（「コピー」、「削除」、「アプリケーションの起動」など）が項目Ｃｍｉとして、各行に中央揃えで表示されるようになっている。

そしてプロジェクタ装置１０１は、図２０に示すように、手の甲に表示されているコンテキストメニューＣｍの行の１つが、もう一方の手の指先でタッチされると、タッチされた行の項目Ｃｍｉに対応する処理を実行するようになっている。

具体的に、ユーザが、右手でアイコン２００Ａをタッチしたまま、この右手の甲に表示させているコンテキストメニューＣｍの行の１つを、左手の人差し指の指先でタッチしたとする。

このときプロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域の形状と動きから、右手の甲に表示させているコンテキストメニューＣｍの行の１つが左手でタッチされたと認識する。するとＣＰＵ１１０は、タッチされた行の項目Ｃｍｉに対応する処理を実行する。

このように、プロジェクタ装置１０１は、手の甲の部分を、スクリーン１０２の投影面１０２Ａとは別の表示領域、すなわちコンテキストメニューＣｍを表示する表示領域として利用することで、デスクトップ画面２００とコンテキストメニューＣｍとを同時に且つ明確に切り分けた状態でユーザに視認させることができる。

＜４．変形例＞
［４−１．変形例１］
尚、上述した第１の実施の形態では、Ｗｅｂブラウザ画面２０３のページ表示領域２０３Ｂに表示されている画像が所定時間タッチされ続けることに応じて、この画像をクリップボードにコピーするようにした。

これに限らず、例えば、図２１に示すように、右手の指先で画像をタッチしている状態で、左手の指先で右手の甲に「Ｃ」の文字を描くジェスチャ操作が行われることに応じて、この画像をクリップボードにコピーするようにしてもよい。

実際、ユーザが、ページ表示領域２０３Ｂに表示されている所望の画像を右手の人差し指の指先でタッチしている状態で、左手の人差し指の指先で右手の甲に「Ｃ」の文字を描くジェスチャ操作を行ったとする。

このとき、プロジェクタ装置１０１のＣＰＵ１１０は、検出した手の領域の形状と動きから、画像をタッチしている右手の甲に、左手の人差し指の指先で「Ｃ」の文字が描かれたと認識する。

するとＣＰＵ１１０は、画像をタッチしている右手の甲に、この画像を表示するように映像処理部１１３及び投影部１１６を制御する。この結果、画像をタッチしている右手の甲に、この画像が表示される。

またこれと共にＣＰＵ１１０は、この画像をクリップボードにコピーする。このようにして、所望の画像がコピーされる。

また画像に限らず、例えば、デスクトップ画面２００に配置されているアイコン２００Ａが一方の手でタッチしている状態で、他方の手で一方の手の甲に「Ｃ」の文字を描くジェスチャ操作が行われることに応じて、このアイコン２００Ａをコピーするなどしてもよい。

またここでは、コピーに対応する操作を、手の甲に「Ｃ」の文字を描くジェスチャ操作としたが、コピーを容易に想到させるような操作であれば、この他種々の操作でもよい。

［４−２．変形例２］
また上述した第２の実施の形態では、アイコン２００Ａがタッチされると、タッチしている手の甲に、各行に中央揃えで項目Ｃｍｉが表示されるコンテキストメニューＣｍを投影するようにした。

ここで、アイコン２００Ａをタッチしている手が右手か左手かに応じて、コンテキストメニューＣｍの各行に表示される項目Ｃｍｉを、ユーザから見て右寄り、又は左寄りに表示させるようにしてもよい。

具体的に、ＣＰＵ１１０は、検出した手の領域の形状から、アイコン２００Ａをタッチしている手が右手か左手かを特定する。そしてＣＰＵ１１０は、アイコン２００Ａをタッチしている手が右手であれば、図２２に示すように、各行に右端揃えで項目Ｃｍｉが表示されるコンテキストメニューＣｍを、この右手の甲に投影させる。

こうすることで、プロジェクタ装置１０１では、右手の甲に投影されているコンテキストメニューＣｍの行の１つを、左手の指先でタッチしようとしたときに、指先と項目Ｃｍｉが重なって項目Ｃｍｉが見づらくなることを防止できる。

一方で、アイコン２００Ａをタッチしている手が左手であれば、プロジェクタ装置１０１のＣＰＵ１１０は、各行に左端揃えで項目Ｃｍｉが表示されるコンテキストメニューＣｍを、この左手の甲に投影させる。

こうすることで、プロジェクタ装置１０１では、左手の甲に表示されているコンテキストメニューＣｍの行の１つを、右手の指先でタッチしようとしたときに、指先と項目Ｃｍｉが重なって項目Ｃｍｉが見づらくなることを防止できる。

［４−３．変形例３］
さらに上述した第２の実施の形態では、デスクトップ画面２００に配置されているアイコン２００Ａがタッチされると、このアイコン２００ＡのコンテキストメニューＣｍを、タッチした手の甲に投影するようにした。

これに限らず、図２３に示すように、例えば、アイコン２００Ａがタッチされることに応じて、このアイコン２００Ａを、タッチした手の甲に投影するようにしてもよい。このときアイコン２００Ａだけでなく、アイコン２００Ａの名称も手の甲に投影するようにする。

実際、デスクトップ画面２００Ａには、各アイコン２００Ａの直下に、アイコン２００Ａの名称が表示されるようになっている。この名称は、デスクトップ画面２００Ａのレイアウトにもよるが、表示可能な文字数が決まっている。

ゆえに、アイコン２００Ａの名称が、この表示可能な文字数を超えている場合、超えている部分が省略された状態で表示されることになる。

そこで、通常、デスクトップ画面２００上で各アイコン２００Ａ及び名称に割り当てられている領域よりも大きな領域となる手の甲にアイコン２００Ａ及び名称を表示させるときには、名称全体を表示させるようにする。

このようにすれば、容易に、所望のアイコン２００Ａの名称全体をユーザに確認させることができる。

さらにこのようにして手の甲に表示させているアイコン２００Ａが、もう一方の手でタッチされることに応じて、このアイコン２００Ａに対応するアプリケーションを起動するようにしてもよい。

尚、アイコン２００Ａ及び名称の手の甲への表示、及びアプリケーションの起動は、第１及び第２の実施の形態と同様、プロジェクタ装置１０１のＣＰＵ１１０の制御により実行される。

［４−４．変形例４］
さらに上述した第２の実施の形態では、アイコン２００Ａがタッチされると、タッチしている手の甲に、アイコン２００Ａに対して実行可能な処理の名称がリスト表示されるコンテキストメニューＣｍを投影するようにした。

これに限らず、アイコン２００Ａがタッチされることに応じて、アイコン２００Ａに関係するこの他種々のサブ情報を、アイコン２００Ａをタッチしている手の甲に表示させるようにしてもよい。

例えば、デスクトップ画面２００に、楽曲の再生曲順を示すプレイリストに対応するアイコンが配置されているとする。ここで、このアイコンがタッチされると、ＣＰＵ１１０は、タッチしている手の甲に、このアイコンに対応するプレイリストを投影する。

そして手の甲に投影しているプレイリストに記されている楽曲名の１つが、もう一方の手の指先でタッチされると、ＣＰＵ１１０は、この楽曲名に対応する楽曲データを、例えば、不揮発性メモリ１１１から読み出して再生する。この結果得られる音声は、例えば、図示しない出力端子を介して出力される。

［４−５．変形例５］
さらに上述した第１及び第２の実施の形態では、投影面１０２Ａ上に手などの物体が存在する場合に、この物体の領域内には、デスクトップ画面２００やワープロ画面２０１などの主映像を投影しないようにした。

これに限らず、物体の領域内には、例えば、物体の領域外よりも薄い色合いで主映像を投影するようにしてもよい。

このようにすると、半透明の物体が画面上に置かれているような感覚をユーザに与えることができる。

またこれに限らず、物体の領域内には、例えば、物体の領域外よりも低い解像度で主映像を投影するなどしてもよい。

このように、物体の領域内には、物体の領域外と比べて目立たないように映像処理された主映像を投影するようにしてもよい。

［４−６．変形例６］
さらに上述した第１及び第２の実施の形態では、投影面１０２Ａ上に存在する手を検出して、この手の上に副映像を投影するようにした。

これに限らず、例えば、投影面１０２Ａ上にプラスチックなどの素材でなる板を置くようにして、この板の上にガジェットなどの副映像を投影するなどしてもよい。

この場合も、プロジェクタ装置１０１のＣＰＵ１１０は、手の場合と同様の方法で、この板を検出ことができる。

［４−７．変形例７］
さらに上述した第１及び第２の実施の形態では、種々のタッチ操作により、アプリケーション画面に配置された各種オブジェクト（アイコン、ソフトウェアキーボード、カラーパレット、ハイパーリンクなど）に対する操作入力を行うようにした。これに限らず、タッチ操作とは異なる操作で、各種操作入力を行うようにしてもよい。

具体的には、例えば、ユーザの指先が、デスクトップ画面２００に配置されている所望のアイコン２００Ａ上に所定時間位置し続けたら、ＣＰＵ１１０が、アイコン２００Ａを選択決定する操作が行われたと認識するようにしてもよい。

また例えば、ユーザの指先が、ワープロ画面２０１のソフトウェアキーボードＳｋの任意のキー画像ｋｐ上に移動した時点で、ＣＰＵ１１０が、このキー画像ｋｐ上に位置する手の甲にキー画像ｋｐを投影するようにしてもよい。

このようにすれば、手とスクリーン１０２の投影面１０２Ａとの距離を算出しなくとも、アプリケーション画面に対する操作入力を実現でき、結果として、ＣＰＵ１１０の処理負荷を低減することもできる。

［４−８．変形例８］
さらに上述した実施の形態では、スクリーン１０２の投影面１０２Ａに投影している映像と、投影面１０２Ａを撮像して得られた映像とを比較することで、投影面１０２Ａ上に手などの物体が存在するかどうかを判別すると共に、存在する物体の領域を検出するようにした。

これに限らず、この他種々の方法で、投影面１０２Ａ上に手などの物体が存在するかどうかを判別したり、存在する物体の領域を検出したりしてもよい。

例えば、既存の映像解析技術を利用して、投影面１０２Ａを撮像して得られた映像を解析することで、投影面１０２Ａ上に手などの物体が存在するかどうかを判別すると共に、存在する物体の領域を検出するようにしてもよい。

さらに例えば、プロジェクタ部１０４の投影面１０２Ａと対向する面に、複数の測距用赤外線センサをアレイ状に設けるようにして、これら複数の赤外線センサの検出結果をもとに、投影面１０２Ａ上に手などの物体が存在するかどうかを判別すると共に、存在する物体の領域を検出するようにしてもよい。

このようなアレイ状に配置された赤外線センサを利用することで、プロジェクタ部１０４から手までの距離と、プロジェクタ部１０４から投影面１０２Ａまでの距離とを検出することができ、さらにこれらの距離と、手の平均的な厚さとをもとに、手と投影面１０２Ａとの距離を算出するようなこともできる。

またこのようなアレイ状に配置された赤外線センサを利用することで、手の表面で比較手平坦な部分となる手の甲を一段と正確に検出することもできる。

尚、このような手の甲の検出についても、このような方法に限定するものではなく、この他種々の方法で検出するようにしてもよい。

さらに例えば、プロジェクタ部１０４の投影面１０２Ａと対応する面に、２つのカメラで構成されるステレオカメラを設け、このステレオカメラで投影面１０２Ａを撮像して得られた映像を解析することにで、投影面１０２Ａ上に手などの物体が存在するかどうかを判別すると共に、存在する物体の形状を検出するようにしてもよい。

このようなステレオカメラを利用すれば、プロジェクタ部１０４から手までの距離と、プロジェクタ部１０４から投影面１０２Ａまでの距離とを検出することができ、さらにこれらの距離と、手の平均的な厚さとをもとに、手と投影面１０２Ａとの距離を算出することができる。

［４−９．変形例９］
さらに上述した第１及び第２の実施の形態では、本体部１０３とプロジェクタ部１０４とがケーブル接続されてなるセパレート型のプロジェクタ装置１０１に本発明を適用するようにした。

これに限らず、例えば、プロジェクタ部１０４に本体部１０３の機能を内蔵させた一体型のプロジェクタ装置１０１に本発明を適用するようにしてもよい。

さらに上述した第１及び第２の実施の形態では、スクリーン１０２を机上に載置して、このスクリーン１０２に対して、スクリーン１０２の上方から映像を投影するタイプのプロジェクタ装置１０１に本発明を適用するようにした。

これに限らず、例えば、スクリーン１０２を壁に設置して、このスクリーン１０２に対して、スクリーン１０２の前方から映像を投影するタイプのプロジェクタ装置１０１に本発明を適用するようにしてもよい。

この場合、プロジェクタ装置１０１のＣＰＵ１１０は、スクリーン１０２の投影面１０２Ａの前方に物体が存在するかどうかを検出することになる。

またこのようなタイプのプロジェクタ装置に限らず、この他種々のタイプのプロジェクタ装置に本発明を適用するようにしてもよい。

さらに上述した第１及び第２の実施の形態では、１つの投影部１１６により、主映像と副映像との２つの映像を投影するようにした。

これに限らず、例えば、投影部を２つ設けるようにして、一方の投影部で、主映像を投影し、他方の投影部で副映像を投影するようにしてもよい。

［４−１０．他の実施の形態１０］
さらに上述した第１及び第２の実施の形態では、投影装置としてのプロジェクタ装置１０１に、投影部としての投影部１１６と、物体検出部としての撮像部１１７と、映像処理部としての映像処理部１１３と、物体検出部及び制御部としてのＣＰＵ１１０とを設けるようにした。

本発明はこれに限らず、同様の機能を有するのであれば、上述したプロジェクタ装置１０１の各機能部（投影部、物体検出部、映像処理部、制御部）を、他の種々の構成で実現するようにしてもよい。

［４−１１．他の実施の形態１１］
さらに上述した第１及び第２の実施の形態では、各種処理を実行するためのプログラムを、本体部１０３の不揮発性メモリ１１１に書き込んでおくようにした。

これに限らず、例えば、本体部１０３に光ディスクやメモリカードといった記憶媒体のドライブを設け、ＣＰＵ１１０が、ドライブを介して記憶媒体からプログラムを読み出して実行するようにしてもよい。またＣＰＵ１１０が、この記憶媒体から読み出したプログラムを、不揮発性メモリ１１１にインストールするようにしてもよい。さらにＣＰＵ１１０が、このプログラムを、ネットワークＩ／Ｆ１１３５介して、ネットワーク上の機器からダウンロードして、不揮発性メモリ１１１にインストールするなどしてもよい。

［４−１２．他の実施の形態１２］
さらに、本発明は、上述した第１及び第２の実施の形態と変形例とに限定されるものではない。すなわち本発明は、上述した第１及び第２の実施の形態と変形例の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。

本発明は、スクリーンに映像を投影するプロジェクタなどで広く利用することができる。

１……投影装置、２……投影部、３……物体検出部、４……映像処理部、５……制御部、１００……映像投影システム、１０１……プロジェクタ装置、１０２……スクリーン、１０２Ａ……投影面、１１０……ＣＰＵ、１１３……映像処理部、１１６……投影部、１１７……撮像部。

Claims (15)

1. 被投影体に主映像を投影する投影部と、
   上記投影部と上記被投影体との間に存在する物体を検出する物体検出部と、
   上記物体検出部により検出された物体には上記主映像がそのまま投影されないよう当該主映像に対する処理を行う映像処理部と、
   上記投影部を制御する制御部と
   を具える投影装置。
2. 上記映像処理部は、
   上記主映像から、上記物体検出部により検出された物体に投影される部分を切り取る処理を行い、
   上記制御部は、
   上記物体に投影される部分が切り取られた上記主映像を上記被投影体に投影するよう上記投影部を制御する
   請求項１に記載の投影装置。
3. 上記映像処理部は、
   上記主映像の上記物体検出部により検出された物体に投影される部分を、他の部分よりも薄い色合いにする処理を行い、
   上記制御部は、
   上記物体に投影される部分が他の部分よりも薄い色合いの上記主映像を上記被投影体に投影するよう上記投影部を制御する
   請求項１に記載の投影装置。
4. 上記物体検出部は、
   上記被投影体を撮像して得られる映像と、上記被投影体に投影する主映像とを比較することで、上記投影部と上記被投影体との間に存在する物体を検出する
   請求項２に記載の投影装置。
5. 上記物体検出部は、
   上記被投影体を撮像して得られる映像を解析することで、上記投影部と上記被投影体との間に存在する物体を検出する
   請求項２に記載の投影装置。
6. 上記制御部は、
   上記物体検出部により検出された物体に、上記主映像とは異なる副映像を投影するよう上記投影部を制御する
   請求項４に記載の投影装置。
7. 上記物体検出部は、
   上記投影部と上記被投影体との間に存在する物体として、ユーザの手を検出する
   請求項６に記載の投影装置。
8. 上記制御部は、
   上記物体検出部により検出された手の甲に、上記副映像を投影するよう上記投影部を制御する
   請求項７に記載の投影装置。
9. 上記物体検出部は、
   上記投影部と上記被投影体との間に存在するユーザの手の動きを検出し、
   上記制御部は、
   上記物体検出部により検出された手の動きに応じて、各種処理を実行する
   請求項８に記載の投影装置。
10. 上記制御部は、
    所定画面の映像を主映像として上記被投影体に投影するよう上記投影部を制御し、
    上記物体検出部により、上記所定画面に配置されているオブジェクトを操作するような手の動きが検出されると、当該オブジェクトの操作に対応する処理を実行する
    請求項９に記載の投影装置。
11. 上記制御部は、
    上記物体検出部により、上記所定画面に配置されているオブジェクトを操作するような手の動きが検出されると、当該オブジェクトの操作に対応する映像を副映像として、当該手の甲に投影するよう上記投影部を制御する
    請求項１０に記載の投影装置。
12. 上記制御部は、
    上記物体検出部により、上記手の甲に投影されている副映像を、もう一方の手で操作するような手の動きが検出されると、当該副映像の操作に対応する処理を実行する
    請求項１１に記載の投影装置。
13. 上記制御部は、
    所定画面の映像を主映像として上記被投影体に投影するよう上記投影部を制御し、
    上記物体検出部により、上記所定画面に配置されているオブジェクトを選択するような手の動きが検出され、さらに当該オブジェクトを選択している手に対して、もう一方の手で所定のジェスチャ操作を行うような手の動きが検出されると、当該オブジェクトに対して当該ジェスチャ操作に対応する処理を実行する
    請求項９に記載の投影装置。
14. 制御部が、投影部を制御して被投影体に主映像を投影する投影ステップと、
    物体検出部が、上記投影部と上記被投影体との間に存在する物体を検出する検出ステップと、
    映像処理部が、上記検出ステップで検出された物体には上記主映像がそのまま投影されないよう、当該主映像に対する処理を行う処理ステップと
    を具える投影方法。
15. 投影装置に対し、
    制御部が、投影部を制御して被投影体に主映像を投影する投影ステップと、
    物体検出部が、上記投影部と上記被投影体との間に存在する物体を検出する検出ステップと、
    映像処理部が、上記検出ステップで検出された物体には上記主映像がそのまま投影されないよう、当該主映像に対する処理を行う処理ステップと
    を実行させるための投影プログラム。

Images