JP2009064109A - 画像投影装置及びその制御方法 - Google Patents

Abstract

【課題】 投影画像上のユーザ操作を検出可能な画像投影装置及びその制御方法において、ユーザの操作性を向上させる。
【解決手段】 ユーザがユーザインタフェースの操作に用いる操作物体（例えば手）が投影画像上へ／から移動する方向を、例えば投影画像を含む投影面の領域を撮像した画像から検出する。そして、検出した方向に応じて、ユーザインタフェースの表示位置又は表示方向を決定し、投影させる。
【選択図】 図７

Description

本発明は画像を投影する画像投影装置及びその制御方法に関し、特には投影画像を画像投影装置を操作するためのユーザインタフェースとして利用可能な画像投影装置及びその制御方法に関する。

従来、プロジェクタを代表とする画像投影装置は、コンピュータやメディアプレイヤー等の出力する映像を投影して視聴に供する目的で、会議室や店舗はもとより、家庭内でも用いられている。
従来のプロジェクタは、大画面に投影することを目的としているため、比較的大型であり、天井に固定したり、机や床に置いたりして使用する形態のものが多い。

このようなプロジェクタの操作は、本体に設けられた各種のボタンや、プロジェクタの付属品として提供されたリモコンを用いて行うのが一般的である。
一方、４、５人程度の少人数で画像を鑑賞するために、小型の画像投影装置を携帯電話機に内蔵させることが提案されている（特許文献１参照）。

特開２００５−２３６７４６

携帯電話機に内蔵された画像投影装置を用いて映像を投影する際には、携帯電話機を手で持って保持していることが想定される。そして、例えば画像を切り替えたり、画像投影装置の設定を変更したりといったように、投影中に画像投影装置を操作する必要が生じたとする。

この場合、一般的に携帯電話機で採用されているような、電話機が有するボタンやキーを用いて操作することが考えられる。しかしながら、携帯電話機を手に持ちながら投影している状態でボタンやキーを操作すると、投影場所が変動したり、投影画像の大きさが変動したりして、使い勝手が良くないであろう。

また、携帯電話に対し、画像投影装置を操作するためのリモコンを別途提供することは現実的ではない。
この様に、従来は、画像投影装置が例えば手持ちで用いる程度に小型化された場合まで考慮して、ユーザ操作を容易にするための提案がなされていなかった。

本発明はこのような従来技術の課題に鑑みされたものであり、画像を投影中であっても、容易に操作することができる画像投影装置及びその制御方法を提供することを目的とする。

上述の目的は、画像を投影面に投影する投影手段と、投影面に関する所定の操作物体の位置に関する情報を検出する位置検出手段と、位置検出手段が検出した操作物体の位置に関する情報から、操作物体の移動方向を判定する移動方向判定手段と、位置検出手段による検出結果と、移動方向判定手段による判定結果とに基づき、投影手段を用いて投影させるユーザインタフェース画像の表示位置及び表示方向の少なくとも一方を決定する決定手段と、決定手段が決定した表示位置及び表示方向の少なくとも一方に基づいて投影手段を制御し、ユーザインタフェース画像を画像とともに投影させる制御手段と、ユーザインタフェース画像が投影された投影面において位置検出手段により検出された操作物体の位置に関する情報に基づいて操作を検出する操作検出手段とを有することを特徴とする画像投影装置によって達成される。

また、上述の目的は、投影手段により画像を投影面に投影する投影工程と、投影面に関する所定の操作物体の位置に関する情報を検出する位置検出工程と、位置検出工程で検出された操作物体の位置に関する情報から、操作物体の移動方向を判定する移動方向判定工程と、位置検出工程による検出結果と、移動方向判定工程による判定結果とに基づき、投影手段を用いて投影させるユーザインタフェース画像の表示位置及び表示方向の少なくとも一方を決定する決定工程と、決定工程で決定された表示位置及び表示方向の少なくとも一方に基づいて投影手段を制御し、ユーザインタフェース画像を画像とともに投影させる制御工程と、ユーザインタフェース画像が投影された投影面において位置検出工程により検出された操作物体の位置に関する情報に基づいて操作を検出する操作検出手段とを有することを特徴とする画像投影装置の制御方法によっても達成される。

このような構成により、本発明によれば、投影画像上のユーザ操作を検出可能な画像投影装置及びその制御方法において、ユーザの操作性を向上させることができる。

以下、添付図面を参照して、本発明の好適かつ例示的な実施形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像投影装置１０の構成例を示すブロック図である。

画像投影装置１０において、投影部１００は、光源、レンズ、表示デバイス等を含み、投影画像生成部１０１から供給される画像を投影する。投影画像生成部１０１は、メモリカード等の記憶媒体１０２に記憶された画像データから、投影画像を生成し、投影部１００に供給する。システム制御部１０３は例えばＣＰＵ、ＲＯＭ及びＲＡＭを含むマイクロプロセッサであり、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読出して実行することにより、画像投影装置１０の動作を制御する。

撮像部１０４は例えば動画像を撮影可能なカメラであり、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子と、撮像素子に光学被写体像を結像するためのレンズを含む。なお、本実施形態において、撮像部１０４は赤外光領域のみを撮影可能な赤外線カメラであるものとする。また、本実施形態において撮像部１０４の撮像範囲は投影部１００の投影範囲を包含する範囲であるものとする。撮像部１０４は、撮像画像を手領域検出部１０５へ供給する。

手領域検出部１０５は、撮像部１０４から供給される撮像画像から、予め定められた特定の被写体の一例として、人間の手、具体的には人間の手と判別される画像領域（手領域）を検出する。検出した手領域に関する情報は、ユーザ操作検出部１０６及び挿入方向判定部１０７へ与えられる。

ユーザ操作検出部１０６は、手領域に関する情報に基づいて、ユーザの操作を検出する。移動方向判定手段としての挿入方向判定部１０７は、手領域に関する情報に基づいて、操作物体である手の移動方向を挿入方向として判定し、判定結果をメニュー表示制御部１０８へ出力する。メニュー表示制御部１０８は、投影画像上の手の挿入方向に基づいてメニュー表示を制御する。

図２は、図１に示した画像投影装置１０の外観と使用状態の例を模式的に示す図である。図２に示す例では、投影面２１０は机又はテーブルで形成される水平面であり、投影面２１０上に投影画像２１１が投影された状態を示している。

（画像投影動作）
再度図１を参照して、本実施形態の画像投影装置の画像投影動作について説明する。
記憶媒体１０２には複数の画像データが記録されている。システム制御部１０３は記憶媒体１０２に記録された複数の画像データのいずれかを指定し、投影画像生成部１０１へ読み出し要求を出す。投影画像生成部１０１は指定された画像データを記憶媒体１０２から読み出し、例えば画像データが符号化されていれば復号化処理を行なうなど、投影部１００に表示するための画像データ（表示用画像データ）を生成する処理を行なう。表示用画像データは投影部１００に供給され、投影部１００は表示用画像データに基づく画像を投影する。

なお、投影する画像は、例えば記憶媒体１０２に記憶されている複数の画像データの中からユーザが指定しても良い。この指定は基本ソフトが提供するファイルブラウザを用いるなど、周知の任意の方法を用いて行いうる。

（ユーザ操作検出動作）
次に、本実施形態の画像投影装置１０におけるユーザ操作の検出動作について説明する。
上述のように、撮像部１０４は赤外光領域のみを撮影可能な赤外線カメラであり、投影範囲、すなわち投影画像を含む投影面上の領域を撮像する。撮像部１０４は、撮像により得られた画像データを、例えばフレーム単位で手領域検出部１０５に出力する。

手領域検出部１０５では、撮像部１０４から供給される画像データから、予め定められた被写体に対応する領域、ここでは一例としてユーザの手に対応する領域（手領域）を検出する。図３（ａ）は投影面３００上の投影画像３０１にユーザが手３０２をかざした（挿入した）状態の例を示す。

手領域検出部１０５は例えば特許文献１と同様の方法により、赤外線画像からユーザの手領域を抽出することができる。具体的には、撮像部１０４は赤外線カメラであるため、ユーザの手領域からの放射光を測定し、温度が所定の範囲（人間の体温の近傍である３０℃〜３４℃程度）にある被写体だけを抽出する。そのため、撮像画像にはユーザの手領域のみが写る。手領域検出部１０５は、撮像部１０４から供給される撮影画像データに対して、ノイズ除去処理などを行った後、手領域および手の指先位置をパターンマッチングにより検出する。図３（ｂ）は図３（ａ）の状態で撮像部１０４が撮像した画像３１０から検出された手領域３１１と指先位置３２０〜３２４を示している。

手領域検出部１０５は、検出した手領域に関する情報として、例えば手領域の範囲を示す情報と指先位置を示す情報とを、ユーザ操作検出部１０６、挿入方向判定部１０７及びメニュー表示制御部１０８に出力する。

（挿入方向判定動作）
挿入方向判定部１０７は、操作物体の移動方向を判定する移動方向判定手段である。具体的には、投影画像に対し、ユーザの手がどの方向から挿入されているのかを判定する。以下、挿入方向判定部１０７の動作を図４及び図５を用いて説明する。図４は、挿入方向判定動作を説明するためのフローチャートである。また、図５は、本実施形態における、予め定められた被写体の移動方向（以下、挿入方向と呼ぶ）の判定例を説明するための図である。

Ｓ４０１で、挿入方向判定部１０７は、手領域検出部１０５から入力される、手領域に関する情報に基づいて、手領域の重心位置を算出する。重心位置は例えば、手領域検出部１０５で検出された手領域に含まれる画素の平均座標として算出することができる。或いは、手領域の外接四角形の重心位置として求めるなど、他の方法を用いても良い。

Ｓ４０２で、挿入方向判定部１０７は、代表指先位置を検出する。前述したように手領域検出部１０５において指先位置は検出済みであるが、複数の指先位置の中から、ユーザインタフェース画像の操作を行う位置として用いる代表指先位置を決定する。ここでは、重心位置との距離が最も大きい指先位置を代表指先位置とする。

図５（ａ）は、手領域５０１に対して算出された重心位置５０２及び代表指先位置５０３の例を示す図である。
Ｓ４０３で、挿入方向判定部１０７は、手の挿入角度を算出する。具体的には、図５（ｂ）に示すように、手の重心位置５０２から代表指先位置５０３へ延びるベクトルｖの、投影画像の底辺に対する角度θを挿入角度として算出する。ベクトルｖを挿入方向ベクトルと呼ぶ。

Ｓ４０４で、挿入方向判定部１０７は、挿入方向ベクトルｖの角度に応じて、予め定められた挿入方向のうち、最も近いと判断される挿入方向を決定する。例えば、予め定められた挿入方向が、図５（ｃ）に示すように、上方向（１）、左方向（２）、下方向（３）及び、右方向（４）のいずれかであるとする。この場合、各方向に対応するベクトルの角度は９０°、１８０°、２７０°、０°である。

挿入方向ベクトルｖが図５（ｂ）に示す角度θを有する場合、上方向（１）が最も近い挿入方向であると決定される。なお、挿入方向ベクトルｖの角度が４５°、１３５°、２２５°、３１５°のように、予め定められた方向に対応する角度の中央値である場合の決定方法は、適宜定めておけばよい。
このようにして、挿入方向判定部１０７は手の挿入方向を判定し、判定結果をメニュー表示制御部１０８へ出力する。

なお、上述した手領域検出及び挿入方向判定の各処理は、撮像部１０４が撮像する全画像に対して実行しても良いし、予め定められた一定期間毎に実行しても良い。例えば撮像部１０４が毎秒１５フレームの画像を撮影する場合、１５フレーム中の１フレームについて手領域の検出及び挿入方向判定を行うことができる。処理頻度は、システム負荷と必要とされる検出精度との兼ね合いで適宜決定すればよい。

（メニュー表示制御）
図６はメニュー表示制御部１０８の動作の一例を示すフローチャートである。
なお、ここでの「メニュー」とは、投影画像に重畳表示させ、投影画像に対する操作によってユーザが画像投影装置１０に指示を行うためのユーザインタフェース画像である操作メニューを意味する。メニュー表示制御部１０８は、手領域検出部１０５の検出結果及び挿入方向判定部１０７の判定結果に基づき、メニューの表示位置及び表示方向の少なくとも一方を決定する。

Ｓ６０１でメニュー表示制御部１０８は、ユーザインタフェース画像を操作するための操作物体（もしくは予め定められた被写体）としての手が、投影画像上に一定時間以上存在するか（挿入されているか）否かを判定する。具体的には、メニュー表示制御部１０８は、挿入方向判定部１０７から一定時間以上継続して挿入方向が供給されるかどうかによって判定することができる。あるいは、手領域検出部１０５からの手領域に関する情報から、手領域が一定時間以上継続して検出されているかどうかによっても同様の判定を行うことができる。

Ｓ６０１で、投影画像上に手が一定時間以上存在すると判断される場合、メニュー表示制御部１０８は、処理をＳ６０２へ進める。一方、手の挿入が検出されないか、一定時間以上継続して検出されていないと判断される場合には、手が挿入されていないと見なし、処理を終了する。

Ｓ６０２で、メニュー表示制御部１０８は、挿入方向判定部１０７から与えられる挿入方向に応じて、メニューの回転角度（表示角度）を決定する。

図７は、本実施形態における、判定された挿入方向とメニューの回転角度との関係の一例を示す図である。
図７（ａ）〜（ｄ）は、図５（ｃ）に示した、予め定められた挿入方向（１）〜（４）に対応したメニューの回転角度の例を示している。メニュー７０１〜７０４は、手の挿入方向に応じた角度て回転表示される。例えば、挿入方向が図５（ｃ）の（２）のように、投影画像の右側から（左方向）であると判定された場合、メニュー表示制御部１０８は、図７（ｂ）に示すように、投影画像の左端が上になるようにメニューを９０°回転して表示させる。すなわち、メニュー表示制御部１０８は、手の挿入方向とメニューの上方が常に一致するようにメニューの回転角度を決定する。

次に、Ｓ６０３で、メニュー表示制御部１０８は、手の位置に応じてメニューの表示位置を決定する。

図８は手の位置とメニューの表示位置の関係の一例を示す図である。
図８（ａ）及び図８（ｃ）は、本実施形態の画像投影装置１０において、メニューを重畳表示させることのできる位置の例を示す図であり、図８（ｂ）及び図８（ｄ）は、手の位置と、手の位置に応じて決定されたメニュー表示位置を示す図である。

本実施形態の画像投影装置１０は、図８（ａ）及び図８（ｃ）に示すような、予め定められた表示位置の選択肢の中から、代表指先位置の近傍で、かつ手の挿入方向に離間した最も近い位置をメニュー表示位置として決定する。

例えば、図８（ａ）は、手の挿入方向が図５（ｃ）の（１）の方向のときの表示位置候補８１０〜８１２を示している。例えば、図８（ｂ）に示すように、代表指先位置８０１から手の挿入方向（ここでは上方向）で最も近い表示位置候補８１０をメニュー８０２の表示位置として決定する。

同様に、図８（ｃ）は、手の挿入方向が図５（ｃ）の（４）の方向のときの表示位置候補８２０〜８２４を示している。例えば、図８（ｄ）に示すように、代表指先位置８０３から手の挿入方向（ここでは右方向）に離間したで最も近い表示位置候補８２２をメニュー８０４の表示位置として決定する。

なお、上記の条件を満たす表示位置候補がない場合は、代表指先位置に最も近い表示位置候補や、手の挿入方向側で最も投影画像端に近い表示位置候補を表示位置に決定する。つまり、例えば、図８（ａ）の場合は表示位置候補８１０、図８（ｃ）の場合は表示位置候補８２４を表示位置に決定する。

また、より多くの表示位置候補を設定しても良いし、表示位置候補を特に設定せず、手の代表指先位置の近傍で、挿入方向に所定の距離だけ離間した位置を表示位置として決定しても良い。

Ｓ６０４で、メニュー表示制御部１０８は、メニューを投影画像に重畳表示する要求をシステム制御部１０３へ送る。また、決定したメニュー表示位置と回転角度の情報もシステム制御部１０３へ送る。

システム制御部１０３は、メニュー表示制御部１０８からのメニュー表示要求を受けると、メニュー表示位置と回転角度情報を投影画像生成部１０１に送る。投影画像生成部１０１は、予め登録されているメニュー画像を、回転角度情報に基づき回転させる。そして投影画像生成部１０１は、記憶媒体１０２からの画像上の、メニュー表示位置に対応する位置にメニュー画像を重畳合成して表示用画像データを生成し、投影部１００へ出力する。これにより、投影部１００からは、メニューが重畳された画像が投影される。

メニュー表示結果の例を図９に示す。図９（ａ）はユーザの手が投影画像９０１上に挿入されておらず、投影画像が記憶媒体１０２から読み出された画像だけで構成されている状態を示す。図９（ｂ）はユーザの手が投影画像９０１上に一定時間挿入され、投影画像９０１には、手の挿入方向および手の位置に応じた表示位置にメニュー９０２が重畳されている状態を示す。

ユーザ操作検出部１０６は、手領域検出部１０５からの手領域に関する情報に基づいてユーザの指示動作を検出し、検出した指示動作の情報をシステム制御部１０３へ出力する。ユーザの指示動作とは例えば図９（ｃ）に示すようなユーザの手による指差し動作である。指差し動作は、例えば指先位置情報の数が１つであることや、手領域の形状の特徴などに基づいて検出することができる。ユーザ操作検出部１０６はユーザの指差し動作を検出すると、指先位置情報をシステム制御部１０３へ出力する。

システム制御部１０３は、表示したメニューの項目に対し、ユーザの指示動作が所定時間以上続いているかを判定する。即ち、図９（ｃ）に示すように、メニュー９０２に含まれるボタンの領域内に指先位置が所定時間以上に渡って存在し続けているか調べる。所定時間以上に渡って指先位置がメニュー項目の領域内に存在し続けていると判断される場合、システム制御部１０３は、そのメニュー項目をユーザが操作していると判断し、メニュー項目に応じた動作を行う。

図９（ｃ）の例は、メニュー９０２に含まれるボタン９０３の領域に、指先位置９０４が所定時間以上に渡って存在している状態を示している。この場合、システム制御部１０３は、ボタン９０３が操作されたものと判断し、ボタン９０３に応じた動作を行う。

例えば、ボタン９０３が投影画像を記憶媒体１０２に記憶された次の画像に切り替えるボタンであるとすると、システム制御部１０３は、投影画像生成部１０１を制御して、次の画像を読み出させ、メニュー９０２を重畳させた表示用画像データを生成させる。この結果、投影画像が例えば図９（ｄ）に示すように切り替わる。

なお、メニュー項目が操作されたものと判断されたことを、音声等によりユーザに知らせてもよい。それにより、ユーザは、いつまでもメニュー項目を指し続ける必要がなく、使い勝手がよい。
また、メニューを表示した後、撮影した画像中に手の画像を一定時間継続して検出しなかった場合、メニューの表示を停止する。

以上説明したように、本実施形態における画像投影装置は、投影画像上に挿入されたユーザの手の挿入方向を検出する手挿入方向検出部と、手の挿入方向に応じてメニュー表示の位置、回転角度を決定するメニュー表示制御部を備える。

そのため、様々な方向から手が挿入された場合であっても、ユーザから正しく見える方向でメニューが表示される可能性が高くなるので、視認性が向上し、誤操作を抑制することができる。また、挿入した手の位置に応じて、投影するメニューの位置を変更するため、ユーザの手の位置にメニューが重なって表示されることによる視認性の悪化や誤操作を抑制することが可能となる。

（変形例１）
上述した例では、説明及び理解を容易にするため、手の挿入方向と位置に応じてメニュー表示の向きと位置を制御する構成を例示した。しかしながら、メニューだけでなく、メニューを重畳させる画像（記憶媒体１０２から読み出した画像）についても、手の挿入方向に応じて回転させるようにしてもよい。

図１０は手の挿入方向に応じて、メニューと画像の両方を回転して投影した場合の例を示す図である。図１０（ａ）は手の挿入方向が図５（ｃ）の（３）場合の例を、また、図１０（ｂ）は手の挿入方向が図５（ｃ）の（４）の場合の例を示す。何れも手の挿入方向が上になるように画像とメニューを回転させて表示する。

具体的には、投影画像生成部１０１が、システム制御部１０３からの回転情報に基づいて、記憶媒体１０２からの画像にメニューを重畳させた合成画像（表示画像データ）を回転させることによって、図１０の表示が実現できる。

（変形例２）
また、上述した例において、挿入方向判定部１０７は、手領域の代表指先位置と重心位置から手の挿入方向を判定した。しかし、手の挿入方向の判定は任意の条件に基づいて行うことができる。例えば、代表指先位置の経時変化に基づいて、代表指先位置の移動方向を挿入方向と判定してもよい。

また、図１１に示すように、代表指先位置と、手領域と投影画像の辺との位置関係から手の挿入方向を判定してもよい。図１１（ａ）において、手領域検出部１０５で手領域１１００と代表指先位置１１０１が検出されているとする。この場合、手領域が投影画像１１０５の辺と接触している領域１１０２の中心１１０３から、代表指先位置１１０１へ向かう方向を手の挿入方向であると判定することができる。

また、図１１（ｂ）の例では、手領域が接触部１１１２及び１１１３で投影画像１１０５の２辺と接している。このような場合は、接触部１１１２及び１１１３のうち長い方（この例では接触部１１１２）の中心点１１１４から、代表指先位置１１１１へ向かう方向を手の挿入方向であると判断することができる。

（他の変形例）
また、手の挿入方向を図５（ｃ）に示した予め定められた挿入方向（１）〜（４）のいずれかに決定する構成についてのみ説明したが、より多くの挿入方向を予め定め、５つ以上の挿入方向のいずれかに決定することもできる。この場合、メニューの回転角度についても挿入方向に対応した５つ以上の角度となる。

また、撮像部１０４が赤外線カメラであることは必須でない。例えば、可視光領域を撮像するカメラを用いることも可能であり、この場合、手領域の検出は撮像画像中の肌色画素領域を抽出し、形状パターンとのパターンマッチングを行うことなどにより実現することができる。可視光領域を撮像するカメラを撮像部１０４に用いた場合には、撮像した画像を記憶媒体１０２に記録する制御を行うことも可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態の画像投影装置の構成は図１に示した第１の実施形態の構成と同じでよいため、ここでは説明を省略する。また、第２の実施形態の画像投影装置の動作は、メニュー表示制御部１０８の制御動作以外は第１の実施形態と同じでよいため、以下はメニュー表示制御部１０８の動作についてのみ説明する。

本実施形態におけるメニュー表示制御部１０８の動作について、図１２に示すフローチャートに基づき説明する。
Ｓ１２０１でメニュー表示制御部１０８は、挿入方向判定部１０７から出力される手の位置情報に基づき、投影画像上に手が一定時間以上存在した（挿入された）後、投影画像上に存在しなくなった（離れた）かを判定する。具体的には、手が一定時間挿入されていたかどうかは、第１の実施形態における図６のＳ６０１と同様にして判定可能である。また、手領域が検出できなくなったことをもって手が投影画像上から離れたと判定することができる。また、メニュー表示制御部１０８は、手の挿入方向として、手が投影画像上から離れたと判定された時点より前で、最後に検出されていた挿入方向を最終的な挿入方向と判断する。

Ｓ１２０２でメニュー表示制御部１０８は、手の挿入方向に応じてメニューの回転角度を決定する。ここでの処理は、図６のＳ６０２での制御と同様である。
Ｓ１２０３でメニュー表示制御部１０８は、手の挿入方向に応じてメニューの表示位置を決定する。本実施形態では手が投影画面上にない状態でメニュー表示を行うため、投影画面の端部のうち、かつ手に近いと考えられる端部を表示位置として決定する。

本実施形態の画像投影装置１０におけるメニューの表示位置候補の例を図１３（ａ）に示す。図１３（ａ）において、メニューの表示位置候補１３０１〜１３０４は、投影画像１３００の４辺近傍に配置されており、図５（ｃ）に示した（１）〜（４）の挿入方向とそれぞれ対応している。メニューの表示位置を示している。例えば手の挿入方向が図５（ｃ）の（１）の場合には表示位置候補１３０１が、手の挿入方向が図５（ｃ）の（３）の場合には表示位置候補１３０３がそれぞれ表示位置として決定される。図１３（ｂ）は、表示位置候補１３０１〜１３０４のそれぞれにメニューが表示された状態を示した図である。

Ｓ１２０４で、メニュー表示制御部１０８は、図６のＳ６０４と同様に、メニューを投影画像に重畳表示する要求をシステム制御部１０３へ送る。また、決定したメニュー表示位置と回転角度の情報もシステム制御部１０３へ送る。

システム制御部１０３は、メニュー表示制御部１０８からのメニュー表示要求を受けると、メニュー表示位置と回転角度情報を投影画像生成部１０１に送る。投影画像生成部１０１は、予め登録されているメニュー画像を、回転角度情報に基づき回転させる。そして投影画像生成部１０１は、記憶媒体１０２からの画像上の、メニュー表示位置に対応する位置にメニュー画像を重畳合成して表示用画像データを生成し、投影部１００へ出力する。これにより、投影部１００からは、メニューが重畳された画像が投影される。これらの処理も第１の実施形態と同様である。

メニュー表示結果の例を図１４に示す。図１４（ａ）はユーザの手が投影画像１４０１上に挿入されている状態を示している。図１４（ｂ）は、挿入されていたユーザの手が投影画像上から出た（離れた）状態を示している。図１４（ｂ）に示すように、ユーザの手が投影画像上から出た場合、メニュー表示制御部１０８は最後に検出されていた挿入方向を保持しておく。そして、手が投影画像上から出た、即ち手領域が検出されなくなると、メニュー表示制御部１０８からメニュー表示要求がシステム制御部１０３に送られる。そして、図１４（ｃ）に示すように、投影画像中の、挿入方向に応じた位置にメニューが重畳表示される。

ユーザ操作検出部１０６は、手領域検出部１０５からの手領域に関する情報に基づいてユーザの指示動作を検出し、検出した指示動作の情報をシステム制御部１０３へ出力する。ユーザの指示動作の検出は第１の実施形態と同様に行うことができる。ユーザ操作検出部１０６はユーザの指差し動作を検出すると、指先位置情報をシステム制御部１０３へ出力する。

システム制御部１０３は、第１の実施形態と同様にして、表示したメニューの項目に対し、ユーザの指示動作が所定時間以上続いているかを判定する。所定時間以上に渡って指先位置がメニュー項目の領域内に存在し続けていると判断される場合、システム制御部１０３は、そのメニュー項目をユーザが操作していると判断し、メニュー項目に応じた動作を行う。
また、システム制御部１０３は、一定時間、ユーザによる指示動作が無い場合は、メニューを非表示にし、再度ユーザの手が投影画像上から離れるのを待つ。

以上説明したように、本実施形態における画像投影装置は、投影画像上に挿入されていた手が投影画像上から離れた際にメニュー表示を行う。また、メニューの回転角度と表示位置を、手が投影画像上から離れる直前の手の挿入方向に応じて制御する。

このように、一度挿入していた手が離れた際にメニューを出すように制御することにより、ユーザの手の位置にメニューが重なって表示されることによる視認性の悪化や誤動作を低減させることが可能となる。また、メニューを投影画像の端部に表示するようにしたため、それまで表示していた投影画像をメニューや手で隠さずにすむ効果がある。

なお、本実施形態では、手が投影画像上から離れたと判断される直前に検出した手の挿入方向を手の挿入方向としたが、他の方法で挿入方向を判定しても良い。例えば、手が挿入されていた一定時間の中で、最も長い期間（最も多い回数）で検出された挿入方向を最終的な手の挿入方向として決定するなどの方法をとることも可能である。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
本実施形態の画像投影装置は、投影方向に応じてメニューの表示位置と回転角度を制御することを特徴とする。

図１５は、本実施形態の画像投影装置の構成例を示すブロック図であり、第１の実施形態と同様の構成については図１と同一の参照数字を付し、重複する説明を省略する。本実施形態の画像投影装置１１は、投影部１００の投影方向が少なくとも水平方向と垂直方向とから選択可能に構成されている。そして、投影部１００の投影方向を検出するための投影方向判定部１５１０が追加されている点で第１及び第２の実施形態と異なる。また、メニュー表示制御部１０８の動作が第１及び第２の実施形態と異なる。

投影方向判定部１５１０は、投影部１００の投影方向が水平、垂直どちらであるかを判定する。図１６は、投影部１００の取りうる投影方向を模式的に示した図である。
図１６において、投影部１００ａは、壁などの垂直面に投影している状態を、投影部１００ｂは、机などの水平面に投影している状態を、それぞれ模式的に示している。

投影方向判定部１５１０は投影部１００の傾きを検出する傾きセンサ、例えばジャイロセンサを備えている。そして、傾きセンサから出力される投影部１００の傾きに基づいて、投影部１００の投影方向（垂直面に投影しているか水平面に投影しているか）を判断する。具体的には、投影部の投影光学系の光軸が閾値よりも下向きに傾いていると判定した場合は水平面に投影していると判定し、それ以外の傾きの場合には垂直面に対して投影していると判断する。投影方向判定部１５１０は、投影方向の判断結果をメニュー表示制御部１０８に出力する。

また、メニュー表示制御部１０８には第１の実施形態と同様に挿入方向判定部１０７から手の位置および手の挿入方向情報が出力される。

図１７は、本実施形態におけるメニュー表示制御部１０８の動作の一例を示すフローチャートである。
Ｓ１７０１で、メニュー表示制御部１０８は、投影画像上に手が一定時間以上挿入されているかどうかを判定する。手が一定時間以上挿入されていると判定される場合、メニュー表示制御部１０８は処理をＳ１７０２へ進める。一定時間以上手が挿入されていない場合はメニューを表示しないため、処理を終了する。

Ｓ１７０２で、メニュー表示制御部１０８は、投影方向判定部１５１０から出力された投影方向情報に基づいて、投影部１００が水平面に対して投影しているか判定する。水平面に対して投影している場合は手の挿入方向に応じてメニューの表示方向を回転させるため、メニュー表示制御部１０８は処理をＳ１７０３へ進める。一方、水平面に対して投影していない場合、すなわち垂直面に対して投影している場合は、メニューの表示方向の制御は行わないため、メニュー表示制御部１０８は処理をＳ１７０４に進める。

ここで、垂直面に対して投影していると判定される際に、メニューの表示方向の制御を行わない理由について説明する。図１８は画像投影装置１１（投影部１００）が垂直面に対して投影している状態を模式的に示す図である。

垂直面に投影している場合、ユーザ１８０２が見る投影画像１８０１の向きは常に一定である。そのため、図１８に示すように投影画像の左右から手が挿入された場合に第１の実施形態で説明したようにメニューの表示方向を回転させてしまうと、ユーザにとっては逆にメニューの視認性が悪化する。そこで、本実施形態では、垂直面に投影していると判定される場合はメニューの表示方向を制御しない。すなわち、操作物体の移動方向に関わらず一定の表示方向を決定する。

Ｓ１７０３で、メニュー表示制御部１０８は、挿入方向判定部１０７から出力される手の位置と挿入方向に応じて、メニューの回転角度を決定する。ここでは第１の実施形態で説明した図６のＳ６０２と同様の処理を行う。

Ｓ１７０４で、メニュー表示制御部１０８は、手の位置に応じてメニューの表示位置を決定する。メニューの表示位置は第１の実施形態で説明した図６のＳ６０３と同様の処理により、即ち、図８に示した例のように決定する。

垂直面に対して投影している場合のメニュー表示の例を図１９に示す。図１９においては、投影画像１９０１の右側から手が挿入された際の状態を示している。メニュー１９０２が投影画像１９０１の右端部分に重畳表示されるが、垂直面に投影されているため、第１の実施形態（図７（ｂ））とは異なり、メニュー１９０２は回転されていない。また、メニュー１９０２の各項目は縦並びに配置される。

Ｓ１７０５で、メニュー表示制御部１０８は、メニューを投影画像にオーバーレイして表示する要求をシステム制御部１０３へ送る。ここでの処理は図６のＳ６０３での制御と同様である。

図１５に戻り、システム制御部１０３は、メニュー表示制御部１０８からのメニュー表示要求を受け、投影画像生成部１０１を制御してメニューを重畳表示させる。また、システム制御部１０３は、ユーザ操作検出部１０６が検出したユーザ操作に応じた処理を行う。これらの処理は第１の実施形態での処理と同様であるため詳細な説明は省略する。

以上説明したように、本実施形態によれば、投影方向を判定する投影方向判定部を備え、水平面に対して投影している場合と、垂直面に対して投影している場合でメニューの表示方法を切り替える。このため、投影されるメニューの視認性や操作性を向上することが可能となる。

なお、本実施形態では、第１の実施形態と同様に、手が挿入されたときにメニューを表示する場合を例に説明した。しかし、第２の実施形態で説明したように、一度投影画像上に挿入された手が投影画像から離れた場合にメニューを表示するように制御する構成であってもよい。

また、本実施形態では、投影方向判定部１５１０はジャイロセンサによる傾き情報に基づき投影方向を判定する場合について説明したが、投影方向の検出はこれに限定するものではない。例えば、水平面、垂直面のどちらに投影するのか、ユーザからの設定を受け付ける設定部を設け、設定された情報に基づきどちらに投影しているのかを判定してもよい。

（他の実施形態）
上述の実施形態ではいずれも、メニューの操作に用いられる操作物体として、手を予め定められた被写体に設定し、撮像画像中で検出された手領域の位置及び挿入方向に応じてメニューの表示制御を行う場合を例に説明した。しかし、例えばユーザが直接手でメニューを操作しない場合であっても、本発明を適用可能である。例えば、ペンや指示棒などを用いてユーザがメニューの操作を行う場合には、手の代わりにペンや指示棒を特定の被写体として検出するように構成すればよい。このように、本発明は本質的に、メニューを操作するために用いられる操作物体とその位置を検出できれば、操作物体の形状や位置の検出方法はどのようなものであっても良い。

従って、メニューを操作するために用いられる操作物体の検出に、投影画像を含む範囲を撮像した撮像画像を用いることも必須ではなく、他の任意の方法で検出することができる。例えば、ユーザの手に位置センサを取り付け、位置センサが検出する位置及びその変化に基づいて手の位置及びその移動方向を判定しても良い。この場合、撮像部の代わりに位置センサを用い、手領域検出部１０５の代わりに位置センサの出力から位置を検出する位置検出部を設ける。また、挿入方向判定部１０７は、検出された位置の時間的な変化に応じて挿入方向を判定すればよい。

本発明の第１の実施形態に係る画像投影装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る画像投影装置の外観と使用状態の例を模式的に示す図である。 本発明の第１の実施形態に係る画像投影装置の手領域抽出部の動作を説明する図である。 本発明の第１の実施形態に係る画像投影装置の挿入方向判定部の動作を説明するためのフローチャートである。 本発明の第１の実施形態に係る画像投影装置における挿入方向判定例を示す図である。 本発明の第１の実施形態に係る画像投影装置のメニュー表示制御部の動作を説明するためのフローチャートである。 本発明の第１の実施形態に係る画像投影装置における、判定された挿入方向とメニューの回転角度との関係の一例を示す図である。 本発明の第１の実施形態に係る画像投影装置における、手の位置とメニューの表示位置の関係の一例を示す図である。 本発明の第１の実施形態に係る画像投影装置における、メニュー表示結果の例を示す図である。 本発明の第１の実施形態に係る画像投影装置において、手の挿入方向に応じて、メニューと画像の両方を回転して投影した場合の例を示す図である。 本発明の第１の実施形態に係る画像投影装置において、代表指先位置と、手領域と投影画像の辺との位置関係から手の挿入方向を判定する例について説明する図である。 本発明の第２の実施形態に係る画像投影装置のメニュー表示制御部の動作を説明するためのフローチャートである。 本発明の第２の実施形態に係る画像投影装置におけるメニュー表示位置候補の例を示す図である。 本発明の第２の実施形態に係る画像投影装置における、メニュー表示結果の例を示す図である。 本発明の第３の実施形態に係る画像投影装置の構成例を示すブロック図である。 本発明の第３の実施形態に係る画像投影装置の投影部が取りうる投影方向を模式的に示した図である。 本発明の第３の実施形態に係る画像投影装置のメニュー表示制御部の動作を説明するためのフローチャートである。 本発明の第３の実施形態に係る画像投影装置が垂直面に対して投影している状態を模式的に示す図である。 本発明の第３の実施形態に係る画像投影装置が垂直面に対して投影している場合のメニュー表示の例を示す図である。

Claims (9)

1. 画像を投影面に投影する投影手段と、
   前記投影面に関する所定の操作物体の位置に関する情報を検出する位置検出手段と、
   前記位置検出手段が検出した前記操作物体の位置に関する情報から、前記操作物体の移動方向を判定する移動方向判定手段と、
   前記位置検出手段による検出結果と、前記移動方向判定手段による判定結果とに基づき、前記投影手段を用いて投影させるユーザインタフェース画像の表示位置及び表示方向の少なくとも一方を決定する決定手段と、
   前記決定手段が決定した前記表示位置及び表示方向の少なくとも一方に基づいて前記投影手段を制御し、前記ユーザインタフェース画像を前記画像とともに投影させる制御手段と、
   前記ユーザインタフェース画像が投影された前記投影面において前記位置検出手段により検出された前記操作物体の位置に関する情報に基づいて操作を検出する操作検出手段とを有することを特徴とする画像投影装置。
2. 前記位置検出手段が、前記投影手段が投影した画像を含む前記投影面を撮像した撮像画像を用いて前記操作物体を検出し、前記操作物体の位置に関する情報を検出することを特徴とする請求項１記載の画像投影装置。
3. 前記決定手段が、前記操作物体の移動方向と前記インタフェース画像の上方が一致するように前記インタフェース画像の表示方向を決定することを特徴とする請求項１又は請求項２記載の画像投影装置。
4. 前記決定手段が、前記操作物体の近傍で、前記操作物体の移動方向に離間した位置を前記表示位置として決定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像投影装置。
5. 前記決定手段が、前記投影面に投影された画像上に前記操作物体が予め定められた時間以上存在すると判断された場合に、前記決定を行うことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像投影装置。
6. 前記決定手段が、前記投影面に投影された画像上に前記操作物体が予め定められた時間以上存在したのち、存在しなくなったと判断された場合に、前記決定を行うことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像投影装置。
7. 前記決定手段が、前記操作物体が存在しなくなったと判断される前に判定された移動方向に基づいて前記表示位置及び表示方向の決定を行うことを特徴とする請求項６記載の画像投影装置。
8. さらに、前記投影手段の投影方向を判定する投影方向判定手段を有し、
   前記投影方向判定手段により、前記投影手段が垂直面に対して投影しているものと判定される場合、前記決定手段が、前記操作物体の移動方向に関わらず一定の表示方向を決定することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像投影装置。
9. 投影手段により画像を投影面に投影する投影工程と、
   前記投影面に関する所定の操作物体の位置に関する情報を検出する位置検出工程と、
   前記位置検出工程で検出された前記操作物体の位置に関する情報から、前記操作物体の移動方向を判定する移動方向判定工程と、
   前記位置検出工程による検出結果と、前記移動方向判定工程による判定結果とに基づき、前記投影手段を用いて投影させるユーザインタフェース画像の表示位置及び表示方向の少なくとも一方を決定する決定工程と、
   前記決定工程で決定された前記表示位置及び表示方向の少なくとも一方に基づいて前記投影手段を制御し、前記ユーザインタフェース画像を前記画像とともに投影させる制御工程と、
   前記ユーザインタフェース画像が投影された前記投影面において前記位置検出工程により検出された前記操作物体の位置に関する情報に基づいて操作を検出する操作検出手段とを有することを特徴とする画像投影装置の制御方法。

Images