JP2017146927A - 制御装置、制御方法及びプログラム - Google Patents

Abstract

【課題】画像がどこに投影されるかに依存して、投影画像を活用するユーザインタフェースのモードを適応的に変化させること。
【解決手段】プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えるＵＩ制御部と、を備える制御装置を提供する。
【選択図】図７

Description

本開示は、制御装置、制御方法及びプログラムに関する。

従来、画像を投影面へ投影するプロジェクタが知られている。特許文献１は、画像を単に投影面へ投影してユーザに見せるだけでなく、ユーザにより投影面上に書き加えられる情報をカメラを通じて取得し、投影画像に取得した情報をリンク付けして記録する手法を提案している。

特開２００３−０４４８３９号公報

本開示に係る技術の発明者らは、引用文献１により提案された手法が投影画像を介するユーザインタフェースにも応用可能であることを認識している。しかしながら、画像がどこに投影されるかに依存して、どのような方式のユーザインタフェースが望ましいかは様々である。

本開示によれば、プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えるＵＩ制御部と、を備える制御装置が提供される。

また、本開示によれば、プロジェクタによる投影面への画像の投影を制御する投影制御装置において、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えること、を含む制御方法が提供される。

また、本開示によれば、投影制御装置のプロセッサを、プロジェクタによる投影面への画像の投影を制御する投影制御部と、前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えるＵＩ制御部と、として機能させるためのプログラムが提供される。

本開示に係る技術によれば、投影面に対するプロジェクタの位置関係に合わせた望ましい方式のユーザインタフェースをユーザに提供することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

一実施形態に係る投影制御装置の外観を示す概略図である。 投影制御装置の第１の設置姿勢について説明するための説明図である。 投影制御装置の第２の設置姿勢について説明するための説明図である。 第１ユーザ入力検出系において採用され得るタッチ入力検出方式の概要について説明するための説明図である。 第１ユーザ入力検出系の詳細な構成の一例を示すブロック図である。 図４に示した偏光ビームスプリッタの作用について説明するための説明図である。 探査画像を用いたタッチ位置の検出について説明するための説明図である。 一実施形態に係る投影制御装置の構成の一例を示すブロック図である。 投影面に対するプロジェクタの位置関係に基づくＵＩモードの切り替えの第１の例について説明するための説明図である。 投影面に対するプロジェクタの位置関係に基づくＵＩモードの切り替えの第２の例について説明するための説明図である。 投影面に対するプロジェクタの位置関係に基づくＵＩモードの切り替えの第３の例について説明するための説明図である。 第１ユーザ入力検出系により検出され得るユーザ入力の一例を示す説明図である。 第２ユーザ入力検出系により検出され得るユーザ入力の第１の例を示す説明図である。 第２ユーザ入力検出系により検出され得るユーザ入力の第２の例を示す説明図である。 投影画像を回転させるためのユーザインタフェースの一例について説明するための説明図である。 ユーザ入力に依存しない入力条件に基づいて変化する投影画像の一例について説明するための説明図である。 一実施形態に係るユーザインタフェース制御処理の流れの一例を示すフローチャートである。 ＵＩモード選択処理の詳細な流れの第１の例を示すフローチャートである。 ＵＩモード選択処理の詳細な流れの第２の例を示すフローチャートである。 ＵＩモード選択処理の詳細な流れの第３の例を示すフローチャートである。 ＵＩモード選択処理の詳細な流れの第４の例を示すフローチャートである。 ＵＩモード選択処理の詳細な流れの第５の例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．装置の概要
１−１．装置の外観
１−２．様々な設置姿勢
１−３．タッチ入力検出系の仕組み
２．装置の構成
２−１．全体的な構成
２−２．ＵＩモードの切り替え
２−３．ユーザ入力の例
２−４．ユーザ入力に依存しない入力条件
３．処理の流れ
３−１．ＵＩ制御処理
３−２．ＵＩモード選択処理
４．まとめ

＜１．装置の概要＞
［１−１．装置の外観］
図１は、一実施形態に係る投影制御装置１００の外観を示している。投影制御装置１００は、画像を装置の外部に存在する投影面へと投影する、いわゆるプロジェクタである。図１の例では、投影制御装置１００は、直方体の形状をしており、いずれかの面を底面として何らかの平面上に載置されることができる。なお、図１に示した投影制御装置１００の形状は、一例に過ぎない。投影制御装置１００は、実空間内で安定的に設置されることが可能である限り、いかなる形状をしていてもよい。

投影制御装置１００の筐体の一面は射出面１０ａである。射出面１０ａには、投影光用の開口１１及び探査光用の開口１２が設けられる。投影制御装置１００は、さらに、カメラ１３、マイクロフォン１４及びスピーカ１５を有する。投影制御装置１００は、投影光用の開口１１を通じて投影光を投影面へ投影することにより、投影面上に投影画像を形成する。また、投影制御装置１００は、後に詳しく説明するように、探査光用の開口１２を通じてプロジェクタ近傍の探査領域へ向けて探査光を射出することにより、ユーザによるタッチ入力を検出する。

本実施形態において、投影制御装置１００は、２つのユーザ入力検出系１７、１８を備える。第１ユーザ入力検出系１７は、上述した探査光を用いて、ユーザによるタッチ入力を相対的に高い検出精度で検出する。第２ユーザ入力検出系１８は、第１ユーザ入力検出系よりも粗いタッチ検出精度を有し、又はタッチ検出不能であってもよい。第２ユーザ入力検出系１８は、例えば、カメラ１３により撮像される画像に基づきユーザからのジェスチャ入力を検出してもよく、又はマイクロフォン１４により集音される音声に基づきユーザからの音声入力を検出してもよい。

［１−２．様々な設置姿勢］
投影制御装置１００は、様々な設置姿勢で実空間内に設置されることができる。本項では、投影制御装置１００の典型的な２つの設置姿勢について説明する。

図２Ａは、投影制御装置１００の第１の設置姿勢について説明するための説明図である。図２Ａを参照すると、投影制御装置１００は、テーブル表面３ａ上に第１の設置姿勢で載置されている。第１の設置姿勢において、投影制御装置１００の射出面１０ａは、設置面であるテーブル表面３ａと略直交する。即ち、テーブル表面３ａが水平面である場合には、射出面１０ａは鉛直面となる。第１の設置姿勢において、投影制御装置１００は、テーブル表面３ａ上に投影画像２ａを投影することができる。この場合、投影制御装置１００の下方において、テーブル表面３ａが投影面となる。図２Ａの例では、３人のユーザがテーブルを囲んでおり、各ユーザはテーブル表面３ａ上の投影画像２ａを見ることができる。

図２Ｂは、投影制御装置１００の第２の設置姿勢について説明するための説明図である。図２Ｂを参照すると、投影制御装置１００は、床面上に第２の設置姿勢で設置されている。第２の設置姿勢において、投影制御装置１００の射出面１０ａは、投影制御装置１００の上面となる。即ち、床面が水平面である場合には、射出面１０ａもまた水平面となる。第２の設置姿勢において、投影制御装置１００は、壁面３ｂ上に投影画像２ｂを投影することができる。図２Ｂの例では、投影制御装置１００を基準として壁面３ｂの反対側にユーザが位置しており、当該ユーザは壁面３ｂ上の投影画像２ｂを見ることができる。

図２Ａの第１の設置姿勢と図２Ｂの第２の設置姿勢とを比較すると、第１の設置姿勢では、ユーザにとって、投影面であるテーブル表面３ａへのタッチをより行い易いのに対し、第２の設置姿勢では、投影面である壁面３ｂへのタッチを行うことはそれほど簡単ではない。他の設置姿勢の例として、投影制御装置１００が第１の設置姿勢とは天地逆さまに設置されると、投影制御装置１００は、天井面へ投影画像を投影することができる。この場合にも、ユーザにとって、投影面である天井面へのタッチを行うことはそれほど簡単ではない。

このように、投影面に対するプロジェクタの位置関係に依存して、投影面へのタッチ入力がユーザインタフェース（ＵＩ）のために適しているケースもあれば、そうしたタッチ入力がＵＩのために適していないケースもある。そこで、本開示に係る技術は、本明細書において詳しく説明するように、画像がどこに投影されるかに依存して、投影画像を活用するユーザインタフェースの方式を適応的に変化させる仕組みを取り入れる。

［１−３．タッチ入力検出系の仕組み］
ここでは、投影面へのタッチ入力を検出するためのタッチ検出方式の一例を説明する。なお、ここで説明する方式は一例に過ぎず、他のタッチ検出方式が使用されてもよい。

（１）タッチ入力検出方式の概要
図３は、第１ユーザ入力検出系１７において採用され得るタッチ入力検出方式の概要について説明するための説明図である。図３では、図２Ａの例と同様に、投影制御装置１００がテーブル表面３ａ上に第１の設置姿勢で載置されている。投影制御装置１００は、投影光用の開口１１を通じて投影光を射出することにより、投影画像２１をテーブル表面３ａ上へ投影する。さらに、投影制御装置１００は、探査光用の開口１２を通じてプロジェクタ近傍の探査領域へ向けて探査光を射出することにより、探査面２２を形成する。探査光は、例えば、赤外光などの非可視光であってよい。

探査光用の開口１２は、例えば、第１の設置姿勢における投影制御装置１００の底面からわずかに上方に設けられる（例えば、底面からの高さは数ｍｍ〜数１０ｍｍ程度であってよい）。探査光の軌跡により形成される探査面２２は、例えば投影制御装置１００の底面に対して略平行であってよく、この場合、探査面２２は投影面であるテーブル表面３ａに対してわずかな距離だけ離れて略平行な平面となる。こうした探査面２２は、投影画像２１を覆う、探査光の軌跡からなるバリア膜であると理解されてもよい。通常、投影面は平坦である（但し、投影面が必ずしも平坦でないケースにも、本開示に係る技術は適用可能である）。投影面上又はその近傍に遮蔽物が無ければ、探査光は遮蔽されることなく投影画像２１上を通過する。しかし、ユーザが指又はその他の操作子で投影画像をタッチすると、探査光は当該操作子により拡散反射され、四方八方へ向かう。投影制御装置１００の第１ユーザ入力検出系１７は、このように反射される探査光を、投影光用の開口１１を通じて受け入れ、プロジェクタのライトバルブと光学的に共役の位置に配設されるイメージセンサで検出する。それにより、投影制御装置１００は、投影画像上のどこがタッチされたか（ポインティングされたか）を、例えば抵抗膜型又は静電容量型といった一般的なタイプのタッチセンサに近い精度で検出することができる。

（２）検出系の構成
図４は、第１ユーザ入力検出系１７の詳細な構成の一例を示すブロック図である。図４の例において、第１ユーザ入力検出系１７は、プロジェクタモジュール１１０の一部である。プロジェクタモジュール１１０は、画像投影系１６、第１ユーザ入力検出系１７、偏光ビームスプリッタ４６、投影レンズ４７、及びプロジェクタコントローラ５５を有する。画像投影系１６は、第１光源４１、ライトバルブ４２及び第１信号処理部４３を含む。
第１ユーザ入力検出系１７は、第２光源３１、検出用レンズユニット５１、イメージセンサ５２及び第２信号処理部５３を含む。第２光源３１は、探査光用の開口１２に連接するプロジェクタサブモジュール１１０ａ内に配設される一方、図４に示したプロジェクタモジュール１１０の残りの構成要素は、投影光用の開口１１に連接するプロジェクタサブモジュール１１０ｂ内に配設される。

第１光源４１は、可視光を生成する光源であり、生成した可視光を偏光ビームスプリッタ４６を介してライトバルブ４２へ向けて照射する。第１光源４１により生成される可視光は、例えば、赤、緑及び青という３つの色成分を含むレーザ光であってよい。ライトバルブ４２は、例えばＬＣＯＳ（Liquid Crystal On Silicon）などの反射型液晶デバイスであってよい。ライトバルブ４２は、例えば、第１光源４１から入射する可視光の第１偏光成分（例えば、後述のｓ偏光成分Ｌｓ１）を、第１信号処理部４３から入力される画像信号に基づいて変調し、第２偏光成分（例えば、後述のｐ偏光成分Ｌｐ２）へと回転させる。そして、第２偏光成分を有する可視光（変調光）が、偏光ビームスプリッタ４６を介して投影レンズ４７に向けて出射する。なお、ライトバルブ４２は、入射する可視光の第１偏光成分をそのままの偏光状態で反射することにより、黒色を表現することもできる。

投影レンズ４７は、ライトバルブ４２から偏光ビームスプリッタ４６を介して入射する変調光２１ａを、投影光用の開口１１を通じて投影面へ向けて投影することにより、投影面に投影画像２１を形成する。さらに、投影レンズ４７には、変調光２１ａの進行方向とは逆方向から、（何らかの操作子において反射した）探査光２２ｂが投影光用の開口１１を通じて入射する。探査光２２ｂは、投影レンズ４７を介して偏光ビームスプリッタ４６へとさらに入射する。

偏光ビームスプリッタ４６は、入射した探査光を第１偏光成分（例えばｓ偏光成分）及び第２偏光成分（例えばｐ偏光成分）へと分離し、それぞれを互いに異なる方向へ向かわせる。例えば、探査光の第１偏光成分は、偏光ビームスプリッタ４６において選択的に反射され、検出用レンズユニット５１へ入射する。一方、探査光の第２偏光成分は、偏光ビームスプリッタ４６において選択的に透過され、ライトバルブ４２へと入射する。なお、偏光ビームスプリッタ４６の代わりに、ワイヤーグリッドなどの他のタイプの偏光分離素子が使用されてもよい。

図５を用いて、図４に示した偏光ビームスプリッタの作用についてさらに説明する。偏光ビームスプリッタ４６は、第１光学面４６ａ、第２光学面４６ｂ、第３光学面４６ｃ及び第４光学面４６ｄ、並びに偏光分離面４６ｅを有する。第１光学面４６ａと第３光学面４６ｃとは図中で左右方向において背中合わせに配置され、第２光学面４６ｂと第４光学面４６ｄとは図中で上下方向において背中合わせに配置されている。第１光学面４６ａは、第１光源４１（図５には示さず）に対面する。第２光学面４６ｂは、ライトバルブ４２に対面する。第３光学面４６ｃは、検出用レンズユニット５１に対面する。第４光学面４６ｄは、投影レンズ４７（図５には示さず）に対面する。

第１光源４１から照射される可視光Ｌ１は、第１光学面４６ａへと入射し、可視光Ｌ１の第１偏光成分（ｓ偏光成分Ｌｓ１）が偏光分離面４６ｅにおいて反射して第２光学面４６ｂから出射する。可視光Ｌ１の第２偏光成分（ｐ偏光成分Ｌｐ１）は、偏光分離面４６ｅを通過して第３光学面４６ｃから出射する。ライトバルブ４２からの変調光Ｌｐ２は、第２光学面４６ｂへと入射し、変調光Ｌｐ２の第２偏光成分（ｐ偏光成分Ｌｐ２）が第４光学面４６ｄから出射する。

一方、探査光Ｌ３は第４光学面４６ｄへと入射し、探査光Ｌ３の第１偏光成分（ｓ偏光成分Ｌｓ３）が偏光分離面４６ｅにおいて反射して第３光学面４６ｃから出射する。探査光Ｌ３の第２偏光成分（ｐ偏光成分Ｌｐ３）は、偏光分離面４６ｅを通過して第２光学面４６ｂから出射する。探査光Ｌ３の第１偏光成分Ｌｓ３は、検出用レンズユニット５１のリレーレンズ５１ａ及び５１ｂ、並びに図示しない可視光カットフィルタ及びバンドパスフィルタを通過して、イメージセンサ５２へと到達する。バンドパスフィルタは、（探査光の波長を含む）特定の波長領域の光を選択的に通過させる。

再び図４を参照すると、第２光源３１は、タッチ入力のために使用される操作子を探査するための探査光２２ａを生成する光源であり、生成した探査光をプロジェクタの近傍の探査領域へ向けて照射する。上述したように、探査光２２ａは、赤外光（例えば、近赤外光）などの非可視光であってよい。第２光源３１からの探査光２２ａは、例えば、探査光用の開口１２を通じて、図３の例における投影制御装置１００の底面と略平行な探査面２２を形成するように、放射状に射出される。そして、投影画像２１にタッチした操作子において反射した探査光２２ｂの第１偏光成分が、上述したように、偏光ビームスプリッタ４６においてさらに反射して検出用レンズユニット５１へと到達する。

検出用レンズユニット５１は、ライトバルブ４２と光学的に共役な位置に探査光２２ｂの像を結像させる１つ以上のリレーレンズを含む。イメージセンサ５２を小型化する目的で、検出用レンズユニット５１は、探査光２２ｂの像を縮小して、探査光２２ｂの像を等価的に縮小してもよい。イメージセンサ５２は、ライトバルブ４２と光学的に共役な位置に結像される探査光２２ｂの像を撮像して、探査画像信号を生成する。イメージセンサ５２は、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）などのいかなるタイプの撮像素子であってもよい。

第２信号処理部５３は、イメージセンサ５２から出力される探査画像信号について、現像及びノイズ除去といった所定の信号処理を実行する。そして、第２信号処理部５３は、処理後の探査画像信号をプロジェクタコントローラ５５へ出力する。

第１信号処理部４３は、プロジェクタコントローラ５５を介して入力される投影画像信号に従って、ライトバルブ４２のドライバ回路にライトバルブ４２の各画素へと電圧を供給させる。その結果、上述した可視光（投影光）の変調が行われ、投影面上で投影画像２１が再生される。

プロジェクタコントローラ５５は、プロジェクタモジュール１１０の外部から供給される投影画像信号を第１信号処理部４３へ出力し、画像投影系１６を通じて投影面上に投影画像２１を投影させる。プロジェクタコントローラ５５は、オートフォーカス及び台形補正といった、一般的な投影制御機能を実行してもよい。さらに、本実施形態において、プロジェクタコントローラ５５は、第１ユーザ入力検出系１７から入力される探査画像信号により表現される探査画像に基づいて、投影画像上へのタッチ入力を検出する。

図６は、探査画像を用いたタッチ位置の検出について説明するための説明図である。図６の例においても、投影画像２１を覆うように探査面２２が形成されている。ユーザは、例えば指で投影画像２１上の位置Ｐ_ｐｒｊをタッチする。位置Ｐ_ｐｒｊをタッチした指において反射した探査光は、イメージセンサ５２により捕捉され、探査画像２３内で操作子像Ｒ_ｆｉｎを形成する。プロジェクタコントローラ５５は、例えば、こうした操作子像Ｒ_ｆｉｎについて公知の特徴点検出法を実行し、探査画像２３内のタッチ位置Ｐ_ｔｏｕを検出する。特徴点位置（即ち、タッチ位置）は、例えば、指の先端の位置又は操作子像Ｒ_ｆｉｎの重心位置などであってよい。上述したように、探査画像は、ライトバルブ４２と実質的に光学的に共役な位置に配置されるイメージセンサ５２により撮像されるため、探査画像２３におけるタッチ位置Ｐ_ｔｏｕの座標は、投影画像２１におけるタッチ位置Ｐ_ｐｒｊの座標に整合する。

上述したような第１ユーザ入力検出系１７を用いることで、投影面上へのタッチ入力を高い検出精度で検出することができる。特に、図２Ａに示した第１の設置姿勢においては、通常、投影面のごく近傍でのみ操作子が探査光を反射するため、一般的なタイプのタッチセンサに近いレベルのタッチ入力の検出精度が達成され得る。一方、図２Ｂに示した第２の設置姿勢においては、探査面は必ずしも投影面の近傍に無く、ユーザが仮に投影面上をタッチしたとして、そのタッチ位置を第１の設置姿勢のケースと同等の精度で検出することは容易ではない。操作子以外の障害物（例えば、ユーザの体の一部）が、投影面とプロジェクタとの間に介在する結果として、タッチ検出が阻害されてしまうかもしれない。次節で詳細に説明する実施形態では、こうした事情を考慮して、投影面に対するプロジェクタの位置関係が動的に判定され、その判定結果に基づいて、ユーザインタフェースのモードが、２つ以上のＵＩモードの間で切り替えられる。

＜２．装置の構成＞
［２−１．全体的な構成］
図７は、一実施形態に係る投影制御装置１００の構成の一例を示すブロック図である。図７を参照すると、投影制御装置１００は、図１に示したカメラ１３、マイクロフォン１４及びスピーカ１５に加えて、プロジェクタモジュール１１０、認識モジュール１２０、センサモジュール１３０、ソフトウェアモジュール１４０、通信インタフェース１５０及び統合制御部１６０を備える。プロジェクタモジュール１１０は、上述した画像投影系１６及び第１ユーザ入力検出系１７を有する。カメラ１３、マイクロフォン１４及びスピーカ１５は、認識モジュール１２０と共に、第２ユーザ入力検出系１８を構成する。

（１）プロジェクタモジュール
プロジェクタモジュール１１０は、投影面への画像の投影と、その投影の制御とを行うモジュールである。プロジェクタモジュール１１０の詳細な構成の一例は、図４及び図５を用いて説明した通りである。プロジェクタモジュール１１０は、例えば、統合制御部１６０による制御の下で、後述するソフトウェアモジュール１４０により生成される画像を、画像投影系１６を通じて投影面へ向けて投影する。投影される画像は、静止画であってもよく、又は動画を構成するフレームの各々であってもよい。

プロジェクタモジュール１１０の第１ユーザ入力検出系１７は、上述したように、投影制御装置１００の近傍の探査領域へ向けて射出される探査光を用いて、ユーザによるタッチ位置を検出することができる。探査領域は、投影制御装置１００が上述した第１の設置姿勢で設置されている場合、設置面と略平行な探査面を形成する。一方、投影制御装置１００が上述した第２の設置姿勢で設置されている場合、探査領域は、設置面と略直交する探査面を形成する。投影面が探査面に対して略平行であって、投影面と探査面との間の距離が小さい場合、第１ユーザ入力検出系１７は、十分なレベルのタッチ検出精度を達成することができる。投影面が探査面に対して略平行とは、それら面が互いに厳密に平行であることに加えて、それら面がなす角度に起因するタッチ検出誤差が（例えば、後述するタッチ入力適応型ソフトウェアにとって）許容し得る範囲内であることを含む。第１ユーザ入力検出系１７は、タッチ入力を検出すると、タッチイベントの発生を統合制御部１６０へ通知する。タッチイベント情報は、タッチ、タップ、ダブルタップ、フリック、ピンチイン又はピンチアウトなどのイベントタイプと、当該イベントに関連付けられる１つ以上のタッチ位置座標とを含み得る。あるＵＩモードにおいて、第１ユーザ入力検出系１７は、主たる入力インタフェースとして利用され得る。他のＵＩモードにおいて、第１ユーザ入力検出系１７は、補助的な入力インタフェースとして利用されてもよく、又は無効化されてもよい。

（２）認識モジュール
認識モジュール１２０は、第２ユーザ入力検出系１８におけるユーザ入力を検出するための認識処理を実行するモジュールである。認識モジュール１２０は、例えば、カメラ１３からの画像入力に基づいてユーザ入力を検出してもよい。カメラ１３は、典型的には、投影制御装置１００の第２の設置姿勢においてユーザが存在すると想定される方向へ向かう画角を有するように、投影制御装置１００に配設される。図２Ｂの例では、カメラ１３は、投影制御装置１００を基準として投影面とは反対側の面に配設されている。他の例において、カメラ１３は、投影面に対して直角をなす側面に配設されてもよい。また、カメラ１３は、全天周カメラ又は半天周カメラであってもよい。認識モジュール１２０は、例えば、カメラ１３から入力される撮像画像に映るユーザのジェスチャを認識することにより、ユーザ入力としてジェスチャ入力を検出してもよい。また、認識モジュール１２０は、カメラ１３から入力される撮像画像に映るユーザの眼の動きを認識することにより、ユーザ入力として視線入力を検出してもよい。こうした画像入力に基づいてユーザ入力が検出される場合、ユーザ入力によって投影画像上の点を仮想的にタッチ（又はポインティング）することが仮に可能であるとしても、そのタッチ検出精度（ポインティング精度）は第１ユーザ入力検出系１７と比較して相対的に粗いものとなる。状況によっては、タッチ検出（所望の点のポインティング）は不能である。

追加的に又は代替的に、認識モジュール１２０は、例えば、マイクロフォン１４からの音声入力に基づいてユーザ入力を検出してもよい。認識モジュール１２０は、例えば、マイクロフォン１４により集音される音声に含まれる所定の音声パターンを認識することにより、ユーザ入力として音声コマンドを検出し得る。こうした音声入力に基づいてユーザ入力が検出される場合、投影面上の所望の点のポインティングは不能である。

認識モジュール１２０は、ジェスチャ入力、視線入力又は音声コマンドに相当し得るユーザ入力を検出すると、ユーザ入力イベントの発生を統合制御部１６０へ通知する。なお第２ユーザ入力検出系１８において検出され得るユーザ入力の種類は、上述した例に限定されない。例えば、第２ユーザ入力検出系１８は、装置上に配設されるボタン、スイッチ若しくはレバーといった機械式インタフェースを介してユーザ入力を検出してもよく、又は装置の振動若しくはユーザの呼気などの認識を通じてユーザ入力を検出してもよい。

（３）センサモジュール
センサモジュール１３０は、投影面に対する投影制御装置１００の位置関係を判定するために利用される１つ以上のセンサを含む。一例として、センサモジュール１３０は、投影制御装置１００の姿勢を測定する姿勢センサ１３１を含み得る。姿勢センサ１３１は、例えば、加速度センサ又はジャイロセンサであってよい。姿勢センサ１３１は、投影制御装置１００の基準姿勢に対する、その時点の投影制御装置１００の傾き角を測定し、その測定結果を統合制御部１６０へ出力する。

他の例として、センサモジュール１３０は、姿勢センサ１３１の代わりに又は姿勢センサ１３１に加えて、投影制御装置１００から投影面までの距離（以下、投影面の深度という）を測定する深度センサ１３３を含み得る。深度センサ１３３は、例えば、ステレオカメラ型又はＴＯＦ（Time of Flight）型などのいかなるタイプの深度センサであってもよい。深度センサ１３３は、典型的には、投影制御装置１００の位置を基準として、投影面の深度を測定し、その測定結果を統合制御部１６０へ出力する。

（４）ソフトウェアモジュール
ソフトウェアモジュール１４０は、ＣＰＵ（Central Processing Unit）などのプロセッサと、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含み得るメモリとを有し、投影されるべき画像を生成するソフトウェアを実行する。一例として、ソフトウェアモジュール１４０は、統合制御部１６０による制御の下で、タッチ入力適応型ソフトウェア１４１及びタッチ入力非適応型ソフトウェア１４３を選択的に実行する。タッチ入力適応型ソフトウェア１４１は、タッチ入力適応型の基本ソフトウェア（例えば、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ又はＷｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）などのモバイル向けオペレーティングシステム）を含んでもよい。また、タッチ入力適応型ソフトウェア１４１は、タッチ入力適応型のアプリケーションソフトウェアを含んでもよい。タッチ入力適応型のアプリケーションソフトウェアは、例えば、スマートフォン又はタブレットＰＣ（Personal Computer）といったモバイルデバイス上で動作するように設計された、Ｗｅｂブラウザ、メーラ、テキストエディタ又はインスタントメッセンジャなどといった様々なソフトウェアを含んでよい。

タッチ入力非適応型ソフトウェア１４３は、動作するために精細なポインティングを要しない、いかなるソフトウェアであってもよい。タッチ入力非適応型ソフトウェア１４３もまた、基本ソフトウェア及びアプリケーションソフトウェアのいかなる組合せを含んでもよい。タッチ入力非適応型ソフトウェア１４３のいくつかの例について、後にさらに説明する。

（５）通信インタフェース
通信インタフェース１５０は、投影制御装置１００と他の装置との間の通信を仲介する。通信インタフェース１５０は、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）若しくはＢｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してもよい。また、通信インタフェース１５０は、ＵＳＢ（Universal Serial Bus）又はＨＤＭＩ（High-Definition Multimedia Interface）などの有線通信プロトコルを実装してもよい。プロジェクタモジュール１１０は、ソフトウェアモジュール１４０において生成される画像の代わりに、通信インタフェース１５０を介して他の装置から受信される画像を投影面へ投影してもよい。

（６）統合制御部
統合制御部１６０は、ＣＰＵなどのプロセッサと、ＲＯＭ及びＲＡＭを含み得るメモリとを有し、投影制御装置１００の動作全般を制御する。例えば、統合制御部１６０は、投影制御装置１００が起動されると、ソフトウェアモジュール１４０にいずれかのソフトウェアを実行させる。また、統合制御部１６０は、実行されたソフトウェアにより生成される画像（例えば、オペレーティングシステムの画像又はアプリケーションの画像）を、プロジェクタモジュール１１０に投影面へと投影させる。また、統合制御部１６０は、第１ユーザ入力検出系１７又は第２ユーザ入力検出系１８から何らかのユーザ入力イベントが通知されると、そのユーザ入力イベントを、実行中のソフトウェアへ受け渡す。統合制御部１６０は、通知されたユーザ入力イベントが特定のユーザ入力を示す場合には、ユーザ入力イベントをソフトウェアへ受け渡す代わりに、自らユーザ入力イベントを処理してもよい（例えば、動作停止を指示する音声コマンドに応じて、投影制御装置１００の電源をオフするなど）。

本実施形態において、統合制御部１６０は、投影面に対する投影制御装置１００の位置関係を判定し、その判定結果に基づいて、投影される画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替える。第１のＵＩモードは、第１ユーザ入力検出系１７を主たる入力インタフェースとして利用するモードである。第２のＵＩモードは、第１ユーザ入力検出系１７を主たる入力インタフェースとして利用しないモードである。以下の説明では、第１のＵＩモードを「タッチモード」、第２のＵＩモードを「非タッチモード」という。

統合制御部１６０は、タッチモード及び非タッチモードのいずれを選択したかに依存して、ソフトウェアモジュール１４０に異なるソフトウェアを実行させてもよい。例えば、統合制御部１６０は、タッチモードを選択した場合、ソフトウェアモジュール１４０にタッチ入力適応型ソフトウェア１４１を実行させ得る。また、統合制御部１６０は、非タッチモードを選択した場合、ソフトウェアモジュール１４０にタッチ入力非適応型ソフトウェア１４３を実行させ得る。

［２−２．ＵＩモードの切り替え］
統合制御部１６０は、典型的には、投影面に対する投影制御装置１００の位置関係から、第１ユーザ入力検出系１７があるレベルのタッチ検出精度を達成できると判定される場合に、タッチモードを選択する。例えば、図２Ａに例示したように、投影制御装置１００が第１の設置姿勢でテーブル表面上に載置されており、テーブル表面へと画像が投影される場合、探査面が投影画像の近傍で投影画像を覆うように形成されるため、第１ユーザ入力検出系１７は、タッチ入力適応型ソフトウェア１４１にとって十分なレベルのタッチ検出精度を達成することができる。そこで、統合制御部１６０は、この場合、タッチモードを選択し得る。こうした選択は、投影面が投影制御装置１００の下方で略水平に位置するという、姿勢センサ１３１又は深度センサ１３３を用いた簡易な判定に基づいてなされてもよい。一方、図２Ｂに例示したように、投影制御装置１００が第２の設置姿勢で設置されている場合、投影制御装置１００の探査面と投影面との間にはある程度の距離があり、第１ユーザ入力検出系１７は十分なレベルのタッチ検出精度を達成しないと推定され得る。そこで、統合制御部１６０は、この場合、非タッチモードを選択し得る。

位置関係の判定の第１の例として、統合制御部１６０は、姿勢センサ１３１から入力される投影制御装置１００の姿勢の測定結果が、探査面が略水平であることを示す場合に、投影制御装置１００が投影面上に上述した第１の設置姿勢で設置されていると推定してもよい。図８Ａは、投影面に対するプロジェクタの位置関係に基づくＵＩモードの切り替えの第１の例について説明するための説明図である。ここでは、図１を用いて説明した射出面１０ａと直交する投影制御装置１００の筐体の面のうち、探査光用の開口１２に最も近い（図中で下側の）面１０ｂが、姿勢測定の基準面であるものとする。基準面１０ｂは、探査面に対して略平行である。図８Ａの左において、姿勢センサ１３１から入力される測定結果は、基準面１０ｂが水平であること、及び基準面１０ｂの法線が重力方向を向いていることを示す。この測定結果は、投影制御装置１００がテーブル表面のような水平面上に第１の設置姿勢で設置されていることを意味し得る。そこで、統合制御部１６０は、この測定結果に基づいてタッチモードを選択し得る。一方、図８Ａの右において、姿勢センサ１３１から入力される測定結果は、基準面１０ｂが水平面に対して垂直であることを示す。この測定結果は、投影制御装置１００が第１の設置姿勢で設置されていないことを意味し得る。そこで、統合制御部１６０は、この測定結果に基づいて非タッチモードを選択し得る。表１は、こうしたプロジェクタの姿勢に基づくＵＩモードの選択の枠組みを示している。

位置関係の判定の第２の例として、統合制御部１６０は、深度センサ１３３から入力される投影面の深度を示す測定結果が探査面と投影面との間の距離が小さいことを示す場合に、投影制御装置１００が投影面上に上述した第１の設置姿勢で設置されていると簡易に判定してもよい。図８Ｂは、投影面に対するプロジェクタの位置関係に基づくＵＩモードの切り替えの第２の例について説明するための説明図である。ここでは、深度センサ１３３は、基準面１０ｂの法線方向の深度を測定する。図８Ｂの左において、深度センサ１３３から入力される測定結果は、基準面１０ｂの直下にテーブル表面のような設置面が存在することを意味する、ある閾値よりも小さい深度を示す。そこで、統合制御部１６０は、この測定結果に基づいてタッチモードを選択し得る。一方、図８Ｂの右において、深度センサ１３３から入力される測定結果は、基準面１０ｂがいかなる物体にも接していないため、ある閾値よりも大きい深度を示す。そこで、統合制御部１６０は、この測定結果に基づいて非タッチモードを選択し得る。表２は、こうした投影面の深度に基づくＵＩモードの選択の枠組みを示している。

なお、上述した第２の例によれば、例えば図８Ｂに示した状況において基準面１０ｂに他のオブジェクトが偶然にも接しているような場合に、深度センサ１３３の測定結果が閾値よりも小さい深度を示し、統合制御部１６０が誤ってタッチモードを選択してしまう可能性がある。しかし、ユーザは、意図しないＵＩモードが選択された場合、障害となったオブジェクトを移動させることにより簡単に投影制御装置１００にＵＩモードを再選択させることができる。よって、こうした誤選択の可能性は、上述した手法の有用性を損なうものではない。

第３の例として、統合制御部１６０は、姿勢センサ１３１からの第１の測定結果及び深度センサ１３３からの第２の測定結果の双方に基づいて、投影面に対する投影制御装置１００の位置関係を判定してもよい。図９は、投影面に対するプロジェクタの位置関係に基づくＵＩモードの切り替えの第３の例について説明するための説明図である。図９の左において、姿勢センサ１３１から入力される第１の測定結果は、基準面１０ｂが水平であること、及び基準面１０ｂの法線が重力方向を向いていることを示す。そこで、統合制御部１６０は、この測定結果に基づいてタッチモードを選択し得る。図９の右上において、姿勢センサ１３１から入力される測定結果は、基準面１０ｂが水平面に対して垂直であることを示す。そこで、統合制御部１６０は、投影面の深度を示す深度センサ１３３からの第２の測定結果をさらに取得する。そして、統合制御部１６０は、取得した第２の測定結果がある閾値よりも小さい深度を示しているため、投影制御装置１００の探査面は投影面の十分に近傍にあり、第１ユーザ入力検出系１７は十分なレベルのタッチ検出精度を達成できると判定し得る。そこで、統合制御部１６０は、この場合、タッチモードを選択し得る。一方、図９の右下のように、深度センサ１３３から取得した第２の測定結果が閾値よりも大きい深度を示している場合、統合制御部１６０は、第１ユーザ入力検出系１７は十分なレベルのタッチ検出精度を達成しないと判定し得る。そこで、統合制御部１６０は、この場合、非タッチモードを選択し得る。表３は、こうしたプロジェクタの姿勢及び投影面の深度の双方に基づくＵＩモードの選択の枠組みを示している。

なお、表３に示したＵＩモードの選択の枠組みは、一例に過ぎない。他の例において、統合制御部１６０は、投影面の深度を示す深度センサ１３３からの第２の測定結果がある閾値よりも大きい深度を示している場合に、基準面の姿勢に関わらず非タッチモードを選択してもよい。そして、統合制御部１６０は、当該第２の測定結果が閾値よりも小さい深度を示している場合に、姿勢センサ１３１から第１の測定結果を取得し、基準面の法線が重力方向を向いていることを第１の測定結果が示す場合にタッチモードを、そうではない場合に非タッチモードを選択してもよい。このような例によれば、投影制御装置１００が設置されている面と投影面との間に段差があり、投影面の近傍に探査面が形成されないような状況において、十分なタッチ検出精度が達成されないにも関わらずタッチモードが選択されてしまうという不都合な事態を回避することができる。また、投影面の深度が小さくても、壁面に画像を投影すると指の影が大きくなりタッチ入力の操作性が低下するという状況において、タッチモードではなく非タッチモードが選択されるという利点もあり得る。表４は、表３とは異なるこうしたＵＩモードの選択の枠組みを示している。

ここまで、２つのＵＩモードの間でモードが切り替えられる例を説明したが、統合制御部１６０は、投影面に対する投影制御装置１００の位置関係に基づいて、３つ以上のＵＩモードの間でモードを切り替えてもよい。例えば、テーブル表面が投影面である場合の「テーブルモード」、壁面が投影面である場合の「壁モード」、及び天井面が投影面である場合の「天井モード」という３つのＵＩモードが存在してもよい。テーブルモード及び壁モードは、上述したタッチモード及び非タッチモードにそれぞれ対応し得る。天井モードもまた非タッチモードに対応し得る。但し、「天井モード」においてはユーザ入力に基づく投影画像の回転が有効化されるのに対し、「壁モード」においては投影画像の回転が無効化され得る。統合制御部１６０は、例えば、姿勢センサ１３１から入力される測定結果が、基準面１０ｂが水平であり、但し基準面１０ｂの法線が重力方向とは逆方向を向いていることを示す場合、こうした天井モードを選択してよい。

［２−３．ユーザ入力の例］
上述したように、統合制御部１６０は、タッチモードにおいて、第１ユーザ入力検出系１７を主たる入力インタフェースとして利用する。即ち、統合制御部１６０は、タッチモードにおいて、第１ユーザ入力検出系１７を有効化する。そして、統合制御部１６０は、第１ユーザ入力検出系１７によりタッチ入力が検出されると、第１ユーザ入力検出系１７から通知されるタッチイベントを実行中のソフトウェアへ受け渡す。

図１０は、第１ユーザ入力検出系１７により検出され得るユーザ入力の一例を示す説明図である。図１０を参照すると、３人のユーザに囲まれたテーブルの上に、投影制御装置１００が載置されている。投影制御装置１００は、投影画像Ｉｍ１０をテーブル表面３ａ上へ投影している。投影画像Ｉｍ１０は、モバイル向けオペレーティングシステム上で動作する、タッチ入力適応型のＷｅｂブラウザの画像である。例えば、ユーザＵａは、Ｗｅｂブラウザにより表示されるページを所望のリンク先のＷｅｂページへと遷移させるために、投影画像Ｉｍ１０上の位置Ｐ_１０をタップする。すると、第１ユーザ入力検出系１７は、位置Ｐ_１０をタップしたユーザＵａの像を探査光により捕捉し、位置Ｐ_１０がタップされたことを示すタッチイベントを統合制御部１６０へ通知する。統合制御部１６０は、通知されたタッチイベントを（オペレーティングシステムを介して）実行中のＷｅｂブラウザへと受け渡し、その結果、ユーザＵａの所望のリンク先のＷｅｂページがＷｅｂブラウザにより表示される。タッチモードにおいて、第１ユーザ入力検出系１７は十分なタッチ検出精度を達成するため、ユーザは、あたかもスマートフォン又はタブレットＰＣのタッチセンサ上で操作を行っているかのような感覚で、投影画像を介して、実行中のソフトウェアと自在にインタラクションすることができる。

統合制御部１６０は、非タッチモードにおいては、第２ユーザ入力検出系１８を主たる入力インタフェースとして利用する第２のＵＩモードを選択する。そして、統合制御部１６０は、第２ユーザ入力検出系１８により何らかのユーザ入力が検出されると、第２ユーザ入力検出系１８から通知されるユーザ入力イベントを実行中のソフトウェアへ受け渡す。

図１１は、第２ユーザ入力検出系１８により検出され得るユーザ入力の第１の例を示す説明図である。図１１を参照すると、壁面３ｂとユーザＵｂとの間に、投影制御装置１００が設置されている。投影制御装置１００は、投影画像Ｉｍ１１を壁面３ｂ上へ投影している。投影画像Ｉｍ１１は、タッチ入力非適応型のコンテンツビューワの画像である。例えば、ユーザＵｂは、手を右又は左へと動かすジェスチャＧ１を演じる。ジェスチャＧ１は、いわゆるスワイプとして解釈されてもよい。すると、第２ユーザ入力検出系１８の認識モジュール１２０は、カメラ１３から入力される撮像画像に映るジェスチャＧ１を認識し、ジェスチャ入力イベントを統合制御部１６０へ通知する。統合制御部１６０は、通知されたジェスチャ入力イベントをコンテンツビューワへと受け渡し、その結果、投影画像におけるコンテンツの表示がジェスチャ入力に対応する方向へとスクロールされる。

認識モジュール１２０は、上述したスワイプに加えて（又はその代わりに）、手を挙げる、手を振る、両手を合わせる及び両手を離すなど、いかなる種類のジェスチャを認識してもよい。こうしたジェスチャインタフェースにおいて、第２ユーザ入力検出系１８は、例えば撮像画像内の手の位置及び面積の変化に基づいて、タッチ（又はポインティング）を検出することができるかもしれない。しかし、その検出精度は、第１ユーザ入力検出系１７により達成可能なレベルの精度よりも粗い。撮像画像から認識されるユーザの視線がユーザ入力として用いられる場合にも、タッチ（又はポインティング）は不能であるか、又は不能ではないとしても粗いタッチ検出精度しか達成されない。

図１２は、第２ユーザ入力検出系１８により検出され得るユーザ入力の第２の例を示す説明図である。図１２においても、壁面３ｂとユーザＵｂとの間に、投影制御装置１００が設置されている。例えば、ユーザＵｂは、カレンダーを呼び出すための音声コマンドＣ１を発声する。すると、第２ユーザ入力検出系１８の認識モジュール１２０は、マイクロフォン１４から入力される音声に含まれる音声コマンドＣ１を認識し、音声入力イベントを統合制御部１６０へ通知する。統合制御部１６０は、通知された音声入力イベントに応じてソフトウェアモジュール１４０にカレンダーアプリケーションを起動させる。その結果、カレンダーアプリケーションにより生成されるカレンダーを表示する投影画像Ｉｍ１２が、壁面３ｂ上へ投影される。カレンダーアプリケーションは、タッチ入力非適応型のアプリケーションソフトウェアであり、例えばジェスチャ入力又は音声入力を通じてユーザにより操作され得る。認識モジュール１２０は、いかなる種類の音声コマンドを認識してもよい。音声コマンドを用いるユーザインタフェースは、通常、タッチ検出不能である。

なお、図１１及び図１２の例に限定されず、第２ユーザ入力検出系１８は、いかなる種類のユーザ入力手段を含んでもよい。例えば、数１０ｃｍのレンジ内の人体の存在を検出する人感センサが、オン／オフの２値でユーザ入力を検出するユーザ入力手段として第２ユーザ入力検出系１８に含まれてもよい。

図１１及び図１２では、タッチ入力非適応型ソフトウェアの画像として、コンテンツビューワ及びカレンダーアプリケーションの画像が示されている。しかしながら、タッチ入力非適応型ソフトウェアは、かかる例に限定されない。例えば、時計、予定表又はホームエネルギー管理など、様々な目的を有するタッチ入力非適応型ソフトウェアが実装されてもよく、そうしたソフトウェアのどのような画像が非タッチモードにおいて投影されてもよい。

統合制御部１６０は、タッチモードを選択した場合に、第１ユーザ入力検出系１７に加えて、図１１及び図１２を用いて説明したような第２ユーザ入力検出系１８をも入力インタフェースとして利用してよい。一方、統合制御部１６０は、非タッチモードを選択した場合に、ユーザが意図しない誤ったタッチ操作を防止するために、第１ユーザ入力検出系１７を無効化してもよい（例えば、探査光の照射を停止するなど）。また、統合制御部１６０は、非タッチモードを選択した場合に、第２ユーザ入力検出系１８に加えて、第１ユーザ入力検出系１７をも入力インタフェースとして利用してもよい。非タッチモードにおいては、投影面と探査面との間の距離の大きさに起因して、タッチ入力を通じた精細なポインティングは困難であり得る。しかし、手で探査光を遮るか否かといった簡易なユーザ入力手段（例えば、オン／オフの２値を検出する）として第１ユーザ入力検出系１７を利用することは、依然として可能である。

統合制御部１６０は、投影面が略水平であると判定される場合に、投影画像を回転させるためのユーザインタフェース（以下、回転ＵＩという）を有効化し、投影面が略垂直であると判定される場合に、回転ＵＩを無効化してもよい。回転ＵＩは、投影画像と共に表示されるＧＵＩ（(Graphical User Interface）及び音声ＵＩのうちの１つ以上を含み得る。

図１３は、回転ＵＩの一例について説明するための説明図である。図１３の左を参照すると、２人のユーザに囲まれたテーブルの上に、投影制御装置１００が載置されている。投影制御装置１００は、投影画像Ｉｍ１３ａをテーブル表面３ａ上へ投影している。投影画像Ｉｍ１３ａは、モバイル向けオペレーティングシステム上で動作する、タッチ入力適応型のＷｅｂブラウザの画像である。投影画像Ｉｍ１３ａの四隅には、ボタンＪ１ａ、Ｊ１ｂ、Ｊ１ｃ及びＪ１ｄが表示されている。これらボタンＪ１ａ、Ｊ１ｂ、Ｊ１ｃ及びＪ１ｄは、投影画像を回転させるためのＧＵＩアイテムである。例えば、ユーザＵｃがボタンＪ１ｂをタップすると、第１ユーザ入力検出系１７は、ボタンＪ１ｂの位置がタップされたことを示すタッチイベントを統合制御部１６０へ通知する。統合制御部１６０は、通知されたタッチイベントに応じて、Ｗｅｂブラウザの表示を時計回りに９０°回転させる。その結果、図１３の右に示したように、ユーザＵｃによる閲覧に適する向きでＷｅｂページを表示する投影画像Ｉｍ１３ｂが投影される。

回転ＵＩが音声ＵＩである場合、その音声（sound）は、音響であってもよく又はユーザの発話であってもよい。例えば、ユーザがテーブルを叩いた際に生じる音響が、投影画像を回転させるための音声入力として利用されてもよい。また、第２ユーザ入力検出系１８は、アレイ型マイクロフォンを用いて認識される音声の到来方向から、投影画像をどの方向へと回転させるべきかを判定してもよい。

［２−４．ユーザ入力に依存しない入力条件］
非タッチモードにおいては、粗いタッチ検出精度でのタッチしか可能ではなく、又はタッチ入力が不能である。そこで、統合制御部１６０は、非タッチモードにおけるユーザ体験をよりリッチにするために、ユーザ入力に依存しない入力条件に基づいて投影画像を変化させるタッチ入力非適応型ソフトウェアを、ソフトウェアモジュール１４０に実行させてもよい。ここでのユーザ入力に依存しない入力条件とは、例えば、日付、時刻、天候、プロジェクタの設置場所、及び認識されたユーザ、のうちの少なくとも１つに関連する条件であってよい。

図１４は、ユーザ入力に依存しない入力条件に基づいて変化する投影画像の一例について説明するための説明図である。図１４を参照すると、投影制御装置１００は、壁面３ｂの手前に第２の設置姿勢で設置されている。図１４の左において、時計は昼の時刻を示し、天候は晴れであるものとする。統合制御部１６０は、例えば、通信インタフェース１５０を介して外部サーバから取得される天候データから、天候を知得し得る。統合制御部１６０は、こうした入力条件に基づいて、日中の晴れの屋外の様子を表現する背景を表示する投影画像を壁面３ｂへ投影させる。図１４の右において、時計は夜の時刻を示し、天候は曇りであるものとする。統合制御部１６０は、時刻及び天候データにより示されるこうした入力条件に基づいて、夜間の曇りの屋外の様子を表現する背景を表示する投影画像を壁面３ｂへ投影させる。

認識モジュール１２０は、顔認識、指紋認証又は虹彩認証などの公知の個人認識技術を用いて、投影画像を閲覧するユーザを識別してもよい。非タッチモードにおいてカレンダーアプリケーション又は時計アプリケーションが実行される場合、それらアプリケーションは、識別されたユーザについて事前に登録済みの予定の情報を、カレンダー又は時計の画像に重畳してもよい。また、認識モジュール１２０は、ＧＰＳ（Global Positioning System）センサ又はPlaceEngine（登録商標）などの測位センサから入力される位置測定結果に基づいて、プロジェクタの設置場所を認識してもよい。非タッチモードにおいて、例えば、投影制御装置１００が家庭内のリビングに位置する場合には、カレンダー又は時計の画像が投影され、一方で投影制御装置１００がキッチンに位置する場合には推薦される料理レシピの情報が投影されてもよい。

＜３．処理の流れ＞
本節では、上述した投影制御装置１００により実行され得る処理の流れの例を、いくつかのフローチャートを用いて説明する。なお、フローチャートに複数の処理ステップが記述されるが、それら処理ステップは、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

［３−１．ＵＩ制御処理］
図１５は、一実施形態に係るユーザインタフェース制御処理の流れの一例を示すフローチャートである。ここでは、投影制御装置１００のプロジェクタモジュール１１０が既に起動済みであるものとする。

図１５を参照すると、まず、統合制御部１６０は、投影面に対する投影制御装置１００の位置関係に基づいてＵＩモードを選択するために、ＵＩモード選択処理を実行する（ステップＳ１１０）。ここで実行されるＵＩモード選択処理のより詳細ないくつかの例について、後にさらに説明する。その後の処理は、ＵＩモード選択処理においてタッチモードが選択されたか否かに依存して分岐する（ステップＳ１３０）。

ＵＩモードとしてタッチモードが選択された場合、ソフトウェアモジュール１４０において、タッチ入力適応型ソフトウェア１４１が実行され、タッチ入力適応型ソフトウェア１４１の画像が生成される（ステップＳ１４０）。プロジェクタモジュール１１０は、生成されたタッチ入力適応型ソフトウェア１４１の画像を投影面へ投影する（ステップＳ１４０）。

次に、統合制御部１６０は、プロジェクタモジュール１１０の第１ユーザ入力検出系１７によりタッチ入力が検出されたか否かを判定する（ステップＳ１４５）。第１ユーザ入力検出系１７によりタッチ入力が検出された場合、統合制御部１６０は、第１ユーザ入力検出系１７から通知されるタッチイベントを、実行中のタッチ入力適応型ソフトウェア１４１へ受け渡す（ステップＳ１５０）。その結果、タッチ入力適応型ソフトウェア１４１は、タッチイベントに応じた処理（例えば、タップされたリンクの先のＷｅｂページの読み込みなど）を実行し、新たな投影画像を生成し得る。タッチ入力が検出されなかった場合には、処理はステップＳ１６５へ進み得る。

ステップＳ１１０においてＵＩモードとして非タッチモードが選択された場合、ソフトウェアモジュール１４０において、タッチ入力非適応型ソフトウェア１４３が実行され、タッチ入力非適応型ソフトウェア１４３の画像が生成される（ステップＳ１５５）。プロジェクタモジュール１１０は、生成されたタッチ入力非適応型ソフトウェア１４３の画像を投影面へ投影する（ステップＳ１６０）。

次に、統合制御部１６０は、プロジェクタモジュール１１０の第２ユーザ入力検出系１８により何らかのユーザ入力が検出されたか否かを判定する（ステップＳ１６５）。第２ユーザ入力検出系１８により何らかのユーザ入力が検出された場合、統合制御部１６０は、第２ユーザ入力検出系１８から通知されるユーザ入力イベントを、実行中のソフトウェアへ受け渡す（ステップＳ１７０）。その結果、実行中のソフトウェアによりユーザ入力イベントに応じた処理が実行され、新たな投影画像が生成され得る。

次に、統合制御部１６０は、ＵＩモードを変更するか否かを判定する（ステップＳ１８０）。例えば、センサモジュール１３０から入力される測定結果が投影制御装置１００の姿勢若しくは投影面の深度が変化したことを示す場合、又はＵＩモードの変更を指示するユーザ入力が検出された場合には、統合制御部１６０は、ＵＩモードを変更すると判定してよい。統合制御部１６０がＵＩモードを変更すると判定した場合、図１５のユーザインタフェース制御処理は、ステップＳ１１０へ戻る。統合制御部１６０がＵＩモードを変更しないと判定した場合、図１５のユーザインタフェース制御処理はステップＳ１３０へ戻り、上述したソフトウェア画像の生成及び投影、並びにユーザ入力のモニタリングが繰り返される。

［３−２．ＵＩモード選択処理］
（１）第１の例
図１６は、図１５に示したＵＩモード選択処理の詳細な流れの第１の例を示すフローチャートである。図１６を参照すると、まず、統合制御部１６０は、投影面に対する投影制御装置１００の位置関係についての測定結果を、センサモジュール１３０から取得する（ステップＳ１１３）。次に、統合制御部１６０は、取得した測定結果に基づいて、投影面が投影制御装置１００の下方で略水平に位置するか否かを判定する（ステップＳ１１５）。

そして、統合制御部１６０は、投影面が投影制御装置１００の下方で略水平に位置すると判定した場合、ＵＩモードとしてタッチモードを選択する（ステップＳ１２０）。一方、統合制御部１６０は、そうではない場合、ＵＩモードとして非タッチモードを選択する（ステップＳ１２８）。

（２）第２の例
図１７Ａは、図１５に示したＵＩモード選択処理の詳細な流れの第２の例を示すフローチャートである。図１７Ａを参照すると、まず、統合制御部１６０は、投影制御装置１００の姿勢についての測定結果を、姿勢センサ１３１から取得する（ステップＳ１１４）。次に、統合制御部１６０は、取得した測定結果に基づいて、投影制御装置１００が投影面上に設置されているか否かを判定する（ステップＳ１１６）。

例えば、統合制御部１６０は、基準面１０ｂが水平であることを姿勢センサ１３１からの測定結果が示す場合、投影制御装置１００が投影面上に第１の設置姿勢で設置されていると判定し得る。統合制御部１６０は、このように投影制御装置１００が投影面上に設置されていると判定した場合、ＵＩモードとしてタッチモードを選択する（ステップＳ１２０）。

一方、統合制御部１６０は、例えば基準面１０ｂが水平ではないことを姿勢センサ１３１からの測定結果が示す場合、投影面の深度を示す測定結果をさらに深度センサ１３３から取得する（ステップＳ１２２）。次に、統合制御部１６０は、取得した測定結果に基づいて、第１ユーザ入力検出系１７の探査面と投影面との間の距離（即ち、投影面の深度）が閾値を下回るか否かを判定する（ステップＳ１２４）。そして、統合制御部１６０は、投影面の深度が閾値を下回ると判定した場合、ＵＩモードとしてタッチモードを選択する（ステップＳ１２０）。一方、統合制御部１６０は、投影面の深度が閾値を下回らないと判定した場合、非タッチモードを選択する（ステップＳ１２８）。

（３）第３の例
図１７Ｂは、図１５に示したＵＩモード選択処理の詳細な流れの第３の例を示すフローチャートである。図１７Ｂを参照すると、まず、統合制御部１６０は、投影面の深度を示す測定結果を深度センサ１３３から取得する（ステップＳ１２２）。次に、統合制御部１６０は、取得した測定結果に基づいて、投影面の深度が閾値を下回るか否かを判定する（ステップＳ１２４）。統合制御部１６０は、投影面の深度が閾値を下回らないと判定した場合、非タッチモードを選択する（ステップＳ１２８）。

一方、統合制御部１６０は、投影面の深度が閾値を下回ると判定した場合、投影制御装置１００の姿勢についての測定結果を、姿勢センサ１３１からさらに取得する（ステップＳ１２５）。次に、統合制御部１６０は、姿勢センサ１３１からの測定結果に基づいて、投影制御装置１００の基準面１０ｂが水平であるか否かを判定する（ステップＳ１２６）。

そして、統合制御部１６０は、基準面１０ｂが水平であることを姿勢センサ１３１からの測定結果が示す場合、ＵＩモードとしてタッチモードを選択する（ステップＳ１２７）。一方、統合制御部１６０は、基準面１０ｂが水平ではないことを姿勢センサ１３１からの測定結果が示す場合、ＵＩモードとして非タッチモードを選択する（ステップＳ１２８）。

（４）第４の例
図１８は、図１５に示したＵＩモード選択処理の詳細な流れの第４の例を示すフローチャートである。図１８を参照すると、まず、統合制御部１６０は、投影面の深度を示す測定結果をセンサモジュール１３０の深度センサ１３３から取得する（ステップＳ１２２）。次に、統合制御部１６０は、取得した測定結果に基づいて、探査面と直交する方向に投影面が存在するか否かを判定する（ステップＳ１２３）。統合制御部１６０は、探査面と直交する方向に投影面が存在しない場合、ＵＩモードとして非タッチモードを選択する（ステップＳ１２８）。

一方、探査面と直交する方向に投影面が存在する場合、統合制御部１６０は、深度センサ１３３から取得した測定結果に基づいて、投影面の深度が閾値を下回るか否かを判定する（ステップＳ１２４）。そして、統合制御部１６０は、投影面の深度が閾値を下回ると判定した場合、ＵＩモードとしてタッチモードを選択する（ステップＳ１２７）。一方、統合制御部１６０は、投影面の深度が閾値を下回らないと判定した場合、非タッチモードを選択する（ステップＳ１２８）。

（５）第５の例
ここまでに説明した第１、第２、第３及び第４の例はいずれも、統合制御部１６０がセンサデータを用いて自律的にＵＩモードを選択することを前提としている。しかしながら、ユーザが明示的にＵＩモードを指定した場合には、自律的に選択されるＵＩモードよりもユーザにより指定されたＵＩモードが優先されてよい。

図１９は、図１５に示したＵＩモード選択処理の詳細な流れの第５の例を示すフローチャートである。図１９を参照すると、まず、統合制御部１６０は、自律的にＵＩモードを選択するか否かを判定する（ステップＳ１１１）。統合制御部１６０は、例えば、ＵＩモードを指定するユーザ入力が検出されていない場合には、自律的にＵＩモードを選択すると判定し得る。

統合制御部１６０は、自律的にＵＩモードを選択すると判定した場合、センサモジュール１３０の姿勢センサ１３１から、投影制御装置１００の姿勢についての測定結果を取得する（ステップＳ１１４）。次に、統合制御部１６０は、取得した測定結果に基づいて、投影制御装置１００が投影面上に設置されているか否かを判定する（ステップＳ１１６）。統合制御部１６０は、投影制御装置１００が投影面上に設置されていると判定した場合、ＵＩモードとしてタッチモードを選択する（ステップＳ１２０）。一方、統合制御部１６０は、投影制御装置１００が投影面上に設置されていないと判定した場合、ＵＩモードとして非タッチモードを選択する（ステップＳ１２８）。

また、統合制御部１６０は、ステップＳ１１１において自律的にＵＩモードを選択しないと判定した場合、第１ユーザ入力検出系１７又は第２ユーザ入力検出系１８を介して検出され得るユーザ入力に基づいて、ＵＩモードを選択する（ステップＳ１２９）。なお、このようなユーザ入力に基づくＵＩモードの選択は、上述したＵＩモード選択処理の第１〜第４の例のいずれと組み合わされてもよい。

＜４．まとめ＞
ここまで、図１〜図１９を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、プロジェクタにより投影面へ画像が投影される場合に、投影面に対するプロジェクタの位置関係に基づいて、投影画像に関連するＵＩモードが２つ以上のＵＩモードの間で切り替えられる。従って、投影面に対するプロジェクタの位置関係に合わせた望ましい方式のユーザインタフェースをユーザに提供することが可能となる。例えば、ユーザが投影面へタッチしようとすると操作子ではない障害物がタッチ検出を阻害する可能性が高い場合には、タッチ入力以外のユーザ入力を主として利用することで、円滑なユーザインタラクションを確保することができる。

また、ある実施例によれば、投影面がプロジェクタの下方で略水平に位置する場合に、投影面へのタッチ入力を検出する第１ユーザ入力検出系が主たる入力インタフェースとして利用され得る。例えば、ポータブル型のプロジェクタがテーブル表面のような水平面に載置されてテーブル表面へ画像を投影する場合、こうした位置関係がプロジェクタに内蔵される姿勢センサを用いて簡易に推定され得る。この場合、プロジェクタ及び投影面がタッチ入力に適した位置関係にあるか否かを判定する仕組みを、小型な姿勢センサを用いて低コストで構築することができる。

また、ある実施例によれば、上記プロジェクタは、プロジェクタ近傍の探査領域へ向けて射出される探査光を用いてユーザによるタッチ位置を検出する第１ユーザ入力検出系、を備える。こうした探査光を用いる方式は、投影面に対してプロジェクタが特定の位置関係にある場合に、投影画像の近傍で投影画像を覆うように探査面を形成して高いタッチ検出精度を達成し得る。よって、当該方式は、投影面に対するプロジェクタの位置関係に基づいてＵＩモードを切り替える上述した手法に適している。例えば、第１ユーザ入力検出系が十分なレベルのタッチ検出精度を達成できると上記位置関係から判定される場合にのみ第１ユーザ入力検出系を主として利用することで、探査光を用いる方式の利便性をできる限り活用しつつ、タッチ検出精度低下に起因するユーザ体験の劣化をも回避することができる。

また、ある実施例によれば、上述した探査光を用いる方式において形成される探査面がプロジェクタの設置面と略直交する場合（この場合、設置面が水平であるとすれば、探査面は垂直であり、投影面もまた垂直である）、プロジェクタを基準とする投影面の深度に基づくさらなる判定が行われ得る。そして、投影面の深度が閾値よりも大きいときには、第１ユーザ入力検出系が十分なレベルのタッチ検出精度を達成しないと判定され、第１ユーザ入力検出系の代わりに第２ユーザ入力検出系が主として利用され得る。従って、例えば部屋の壁面に大画面状に大きくコンテンツを投影してユーザがコンテンツを視聴するような用途において、ユーザが投影面をタッチすることが困難であることを的確に判定し、そうした用途にふさわしいユーザインタフェース（例えば、ジェスチャＵＩ、音声ＵＩ又は視線ＵＩなど）をユーザに提供することができる。

また、ある実施例によれば、上記プロジェクタは、選択されるＵＩモードに依存して、タッチ入力適応型ソフトウェア及びタッチ入力非適応型ソフトウェアを選択的に実行し得る。従って、第１ユーザ入力検出系が十分なレベルのタッチ検出精度を達成できると判定される場合には、例えばスマートフォン又はタブレットＰＣのようなモバイルデバイス上で動作するように設計されたソフトウェアの実行を許容しつつ、そうではない場合には代替的なソフトウェアを自動的に実行することが可能である。

なお、本明細書において説明した様々な処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書において説明した装置の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図７に例示した通信インタフェースを介して送信され又は受信され得る。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
プロジェクタによる投影面への画像の投影を制御する投影制御部と、
前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えるＵＩ制御部と、
を備える制御装置。
（２）
前記ＵＩ制御部は、前記投影面が前記プロジェクタの下方で略水平に位置する場合に、前記投影面へのタッチ入力を検出する第１ユーザ入力検出系を主たる入力インタフェースとして利用する第１のＵＩモードを選択する、前記（１）に記載の制御装置。
（３）
前記プロジェクタは、前記プロジェクタの近傍の探査領域へ向けて射出される探査光を用いて、ユーザによるタッチ位置を検出する第１ユーザ入力検出系、を備える、前記（１）又は前記（２）に記載の制御装置。
（４）
前記ＵＩ制御部は、前記第１ユーザ入力検出系があるレベルのタッチ検出精度を達成できると前記位置関係から判定される場合に、前記第１ユーザ入力検出系を主たる入力インタフェースとして利用する第１のＵＩモードを選択する、前記（３）に記載の制御装置。
（５）
前記プロジェクタの第１の設置姿勢において、前記探査領域は、前記プロジェクタの設置面と略平行な探査面を形成し、
前記ＵＩ制御部は、前記プロジェクタが前記投影面上に前記第１の設置姿勢で設置されている場合に、前記第１ユーザ入力検出系が前記レベルのタッチ検出精度を達成できると判定する、
前記（４）に記載の制御装置。
（６）
前記ＵＩ制御部は、前記プロジェクタの姿勢センサからの第１の測定結果に基づいて、前記投影面に対する前記プロジェクタの前記位置関係を判定する、前記（３）〜（５）のいずれか１項に記載の制御装置。
（７）
前記ＵＩ制御部は、前記姿勢センサからの前記第１の測定結果が前記探査領域により形成される探査面が略水平であることを示す場合に、前記第１ユーザ入力検出系を主たる入力インタフェースとして利用する第１のＵＩモードを選択する、前記（６）に記載の制御装置。
（８）
前記プロジェクタの第２の設置姿勢において、前記探査領域は、前記プロジェクタの設置面と略直交する探査面を形成し、
前記ＵＩ制御部は、前記プロジェクタが前記第２の設置姿勢で設置されている場合において、前記投影面の深度が閾値よりも大きいときに、前記第１ユーザ入力検出系が前記レベルのタッチ検出精度を達成しないと判定する、
前記（５）に記載の制御装置。
（９）
前記ＵＩ制御部は、前記プロジェクタの深度センサからの第２の測定結果に基づいて、前記投影面の深度を取得する、前記（８）に記載の制御装置。
（１０）
前記プロジェクタは、前記第１ユーザ入力検出系よりも粗いタッチ検出精度を有し又はタッチ検出不能な第２ユーザ入力検出系、をさらに備え、
前記ＵＩ制御部は、前記第１ユーザ入力検出系が主として利用されない第２のＵＩモードにおいて、前記第２ユーザ入力検出系を主たる入力インタフェースとして利用する、
前記（２）〜（９）のいずれか１項に記載の制御装置。
（１１）
前記第２ユーザ入力検出系は、ユーザのジェスチャ、音声及び視線のうちの１つ以上をユーザ入力として検出する、前記（１０）に記載の制御装置。
（１２）
前記プロジェクタは、前記第２のＵＩモードが選択される場合にユーザが存在すると想定される方向へ向かう画角を有するカメラ、をさらに備え、
前記第２ユーザ入力検出系は、前記カメラからの画像入力に基づいてユーザ入力を検出する、
前記（１１）に記載の制御装置。
（１３）
前記プロジェクタは、選択的に実行されるタッチ入力適応型ソフトウェア又はタッチ入力非適応型ソフトウェアの前記画像を前記投影面へ投影し、
前記第１ユーザ入力検出系が主として利用される第１のＵＩモードにおいて、前記タッチ入力適応型ソフトウェアが実行される、
前記（２）〜（１２）のいずれか１項に記載の制御装置。
（１４）
前記タッチ入力適応型ソフトウェアは、タッチ入力適応型の基本ソフトウェア及びタッチ入力適応型のアプリケーションソフトウェアのうちの１つ以上を含む、前記（１３）に記載の制御装置。
（１５）
前記タッチ入力非適応型ソフトウェアは、ユーザ入力に依存しない入力条件に基づいて、投影画像を変化させる、前記（１３）又は前記（１４）に記載の制御装置。
（１６）
ユーザ入力に依存しない前記入力条件は、日付、時刻、天候、前記プロジェクタの設置場所、及び認識されたユーザ、のうちの少なくとも１つに関連する、前記（１５）に記載の制御装置。
（１７）
前記ＵＩ制御部は、前記投影面が略水平であると判定される場合に、投影画像を回転させるためのＵＩを有効化する、前記（１）〜（１６）のいずれか１項に記載の制御装置。
（１８）
前記投影画像を回転させるための前記ＵＩは、前記画像と共に表示されるＧＵＩ及び音声ＵＩのうちの１つ以上を含む、前記（１７）に記載の制御装置。
（１９）
プロジェクタによる投影面への画像の投影を制御する投影制御装置において、
前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えること、
を含む制御方法。
（２０）
投影制御装置のプロセッサを、
プロジェクタによる投影面への画像の投影を制御する投影制御部と、
前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えるＵＩ制御部と、
として機能させるためのプログラム。

２ａ，２ｂ 投影画像
３ａ，３ｂ 投影面
１１ 投影光用の開口
１２ 探査光用の開口
１３ カメラ
１４ マイクロフォン
１５ スピーカ
１６ 画像投影系
１７ 第１ユーザ入力検出系
１８ 第２ユーザ入力検出系
２１ 投影画像
２１ａ 投影光
２２ 探査面
２２ａ，２２ｂ 探査光
２３ 探査画像
１００ 投影制御装置
１１０ プロジェクタモジュール
１２０ 認識モジュール
１３０ センサモジュール
１３１ 姿勢センサ
１３３ 深度センサ
１４０ ソフトウェアモジュール
１４１ タッチ入力適応型ソフトウェア
１４３ タッチ入力非適応型ソフトウェア
１５０ 通信インタフェース
１６０ 統合制御部

Claims (20)

1. プロジェクタによる投影面への画像の投影を制御する投影制御部と、
   前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えるＵＩ制御部と、
   を備える制御装置。
2. 前記ＵＩ制御部は、前記投影面が前記プロジェクタの下方で略水平に位置する場合に、前記投影面へのタッチ入力を検出する第１ユーザ入力検出系を主たる入力インタフェースとして利用する第１のＵＩモードを選択する、請求項１に記載の制御装置。
3. 前記プロジェクタは、前記プロジェクタの近傍の探査領域へ向けて射出される探査光を用いて、ユーザによるタッチ位置を検出する第１ユーザ入力検出系、を備える、請求項１に記載の制御装置。
4. 前記ＵＩ制御部は、前記第１ユーザ入力検出系があるレベルのタッチ検出精度を達成できると前記位置関係から判定される場合に、前記第１ユーザ入力検出系を主たる入力インタフェースとして利用する第１のＵＩモードを選択する、請求項３に記載の制御装置。
5. 前記プロジェクタの第１の設置姿勢において、前記探査領域は、前記プロジェクタの設置面と略平行な探査面を形成し、
   前記ＵＩ制御部は、前記プロジェクタが前記投影面上に前記第１の設置姿勢で設置されている場合に、前記第１ユーザ入力検出系が前記レベルのタッチ検出精度を達成できると判定する、
   請求項４に記載の制御装置。
6. 前記ＵＩ制御部は、前記プロジェクタの姿勢センサからの第１の測定結果に基づいて、前記投影面に対する前記プロジェクタの前記位置関係を判定する、請求項３に記載の制御装置。
7. 前記ＵＩ制御部は、前記姿勢センサからの前記第１の測定結果が前記探査領域により形成される探査面が略水平であることを示す場合に、前記第１ユーザ入力検出系を主たる入力インタフェースとして利用する第１のＵＩモードを選択する、請求項６に記載の制御装置。
8. 前記プロジェクタの第２の設置姿勢において、前記探査領域は、前記プロジェクタの設置面と略直交する探査面を形成し、
   前記ＵＩ制御部は、前記プロジェクタが前記第２の設置姿勢で設置されている場合において、前記投影面の深度が閾値よりも大きいときに、前記第１ユーザ入力検出系が前記レベルのタッチ検出精度を達成しないと判定する、
   請求項５に記載の制御装置。
9. 前記ＵＩ制御部は、前記プロジェクタの深度センサからの第２の測定結果に基づいて、前記投影面の深度を取得する、請求項８に記載の制御装置。
10. 前記プロジェクタは、前記第１ユーザ入力検出系よりも粗いタッチ検出精度を有し又はタッチ検出不能な第２ユーザ入力検出系、をさらに備え、
    前記ＵＩ制御部は、前記第１ユーザ入力検出系が主として利用されない第２のＵＩモードにおいて、前記第２ユーザ入力検出系を主たる入力インタフェースとして利用する、
    請求項２に記載の制御装置。
11. 前記第２ユーザ入力検出系は、ユーザのジェスチャ、音声及び視線のうちの１つ以上をユーザ入力として検出する、請求項１０に記載の制御装置。
12. 前記プロジェクタは、前記第２のＵＩモードが選択される場合にユーザが存在すると想定される方向へ向かう画角を有するカメラ、をさらに備え、
    前記第２ユーザ入力検出系は、前記カメラからの画像入力に基づいてユーザ入力を検出する、
    請求項１１に記載の制御装置。
13. 前記プロジェクタは、選択的に実行されるタッチ入力適応型ソフトウェア又はタッチ入力非適応型ソフトウェアの前記画像を前記投影面へ投影し、
    前記第１ユーザ入力検出系が主として利用される第１のＵＩモードにおいて、前記タッチ入力適応型ソフトウェアが実行される、
    請求項２に記載の制御装置。
14. 前記タッチ入力適応型ソフトウェアは、タッチ入力適応型の基本ソフトウェア及びタッチ入力適応型のアプリケーションソフトウェアのうちの１つ以上を含む、請求項１３に記載の制御装置。
15. 前記タッチ入力非適応型ソフトウェアは、ユーザ入力に依存しない入力条件に基づいて、投影画像を変化させる、請求項１３に記載の制御装置。
16. ユーザ入力に依存しない前記入力条件は、日付、時刻、天候、前記プロジェクタの設置場所、及び認識されたユーザ、のうちの少なくとも１つに関連する、請求項１５に記載の制御装置。
17. 前記ＵＩ制御部は、前記投影面が略水平であると判定される場合に、投影画像を回転させるためのＵＩを有効化する、請求項１に記載の制御装置。
18. 前記投影画像を回転させるための前記ＵＩは、前記画像と共に表示されるＧＵＩ及び音声ＵＩのうちの１つ以上を含む、請求項１７に記載の制御装置。
19. プロジェクタによる投影面への画像の投影を制御する投影制御装置において、
    前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えること、
    を含む制御方法。
20. 投影制御装置のプロセッサを、
    プロジェクタによる投影面への画像の投影を制御する投影制御部と、
    前記投影面に対する前記プロジェクタの位置関係に基づいて、投影される前記画像に関連するユーザインタフェース（ＵＩ）のモードを、２つ以上のＵＩモードの間で切り替えるＵＩ制御部と、
    として機能させるためのプログラム。
    

Images