JP2014138257A - 画像投影装置、画像投影システム、制御方法およびプログラム - Google Patents

Abstract

【課題】投影映像の視認性を確保するとともに直感的で分かり易い操作を提供可能な画像投影装置、画像投影システム、制御方法およびプログラムを提供する。
【解決手段】本発明に係る画像投影装置は、検知部と認識部と出力部とを備える。検知部は、画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する。認識部は、検知部による検知対象の検知に基づいて、ユーザによる指示動作を認識する。出力部は、前記対象空間内において前記認識部により認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う。
【選択図】図３

Description

本発明は、画像投影装置、画像投影システム、制御方法およびプログラムに関する。

従来、プロジェクタが投影した映像（画像）に対して、タッチパネルのような感覚で直接映像に触れることや、プロジェクタに対して何らかのジェスチャ（手を動かすなどの動作）を行うことにより、プロジェクタやその他プロジェクタに接続された機器をより直感的に操作する技術が知られている。

例えば特許文献１には、操作者がより直感的に操作できるようにする目的で、プロジェクタの投影面（画像が投影される面）をカメラで撮影して、ユーザの動作を検知し、投影面をタッチパネルのように利用するための構成が開示されている。

また、例えば特許文献２には、投影面に対して操作者の影を映りこませないようにする目的で、投影方向とは異なる向きにジェスチャを認識するための装置を取り付け、ジェスチャを認識する構成が開示されている。

しかしながら、特許文献１に開示された技術では、投影面に触れて操作する場合に、プロジェクタが投影面の手前にあると、操作者の影が投影面に映り込んでしまい、映像の視認性が低下するという問題がある。

一方、特許文献２に開示された技術では、操作者の影が投影面に映り込んでしまうことはないものの、操作者は、投影方向とは異なる方向に向かって操作をすることになるので、自身の操作と投影面との対応が分かりづらく、操作性が低下してしまうという問題がある。

本発明は、上記に鑑みてなされたものであって、投影映像の視認性を確保するとともに直感的で分かり易い操作を提供可能な画像投影装置、画像投影システム、制御方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、投影対象物に画像を投影する画像投影装置であって、前記画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する検知部と、前記検知部による検知対象の検知に基づいて、ユーザによる指示動作を認識する認識部と、前記対象空間内において前記認識部により認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う出力部と、を備えることを特徴とする画像投影装置である。

また、本発明は、投影対象物に画像を投影する画像投影装置と、前記画像投影装置と接続される情報処理装置とを備える画像投影システムであって、前記情報処理装置は、前記画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する検知部と、前記検知部による検知対象の検知に基づいて、ユーザによる指示動作を認識する認識部と、前記対象空間内において前記認識部により認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う出力部と、を備えることを特徴とする画像投影システムである。

また、本発明は、画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する検知ステップと、前記検知ステップによる検知対象の検知に基づいて、ユーザによる指示動作を認識する認識ステップと、前記対象空間内において前記認識ステップにより認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う出力ステップと、を含むことを特徴とする制御方法である。

さらに、本発明は、コンピュータに、画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する検知ステップと、前記検知ステップによる検知対象の検知に基づいて、ユーザによる指示動作を認識する認識ステップと、前記対象空間内において前記認識ステップにより認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う出力ステップと、を実行させるためのプログラムである。

本発明によれば、投影映像の視認性を確保するとともに直感的で分かり易い操作を提供できるという有利な効果を奏する。

図１は、全体の概観を説明するための模式図である。 図２は、全体外観を側面から見た場合の模式図である。 図３は、実施形態に係るプロジェクタの構成例を示すブロック図である。 図４は、プロジェクタを上方から俯瞰した模式図である。 図５は、撮像センサーで撮像した画像を模式的に示す図である。 図６は、投影領域のサイズの算出方法を説明するための図である。 図７は、起動してから指示領域を決定するまでのプロジェクタ１の動作例を示すフローチャートである。 図８は、第１モードの場合の画像投影装置の動作例を示すフローチャートである。 図９は、指示領域内に検知対象が存在するか否かを判断する方法を説明するための図である。 図１０は、第２モードの場合の画像投影装置の動作例を示すフローチャートである。 図１１は、ＵＩ画像の生成例を説明するための図である。 図１２は、ＵＩ画像の生成例を説明するための図である。 図１３は、ＵＩ画像の生成例を説明するための図である。 図１４は、ドラッグ操作を表すＵＩ画像の別の生成例を説明するための図である。 図１５は、実施形態に係るプロジェクタが、ユーザによる指示動作に応じてＵＩ画像を生成してユーザに提示するときの動作例を示すフローチャートである。 図１６は、実施形態に係るプロジェクタのハードウェア構成例を示す図である。 図１７は、変形例に係る画像投影システムの構成例を示す図である。

以下、添付図面を参照しながら、本発明に係る画像投影装置、画像投影システム、制御方法およびプログラムの実施の形態を詳細に説明する。以下では、本発明が適用される画像投影装置として、超短焦点プロジェクタを例に挙げて説明するが、これに限られるものではなく、例えば本発明が適用される画像投影装置として、短焦点プロジェクタや長焦点プロジェクタが採用されてもよい。

ここで、焦点とは、投写面から光学位置までの距離（例えば、投影光が出射される投影口から、画像が投影される投影対象物までの距離）を指す投写距離と同義である。超短焦点プロジェクタの投写距離は短焦点プロジェクタの投写距離よりも短く、短焦点プロジェクタの投写距離は長焦点プロジェクタの投写距離よりも短い。例えば超焦点距離の投写距離を「１１．７〜２４．９ｃｍ」、短焦点プロジェクタの投写距離を「０．７〜１４．６ｍ」、長焦点プロジェクタの投写距離を「１．３ｍ〜３２．４ｍ」として設定することもできる。

図１は、全体の概観を説明するための模式図である。図２は、全体外観を側方から見た場合の模式図である。図１および図２に示すように、本実施形態に係るプロジェクタ１は、画像が投影される投影対象物（この例では壁面）２に近接して配置される。プロジェクタ１の上部には、撮像センサー１００と、投影光を出射する投影口５とが異なる位置に設けられている。撮像センサー１００は、プロジェクタ１によって投影された画像に対応する空間を示す対象空間を撮像する装置である。この例では、対象空間は、プロジェクタ１の上方の空間であって、投影対象物２のうち画像が投影される領域を示す投影領域３の上端を少なくとも含む空間である。本実施形態では、撮像センサー１００は、カメラで構成されているが、これに限らず、例えば撮像センサー１００は、赤外線カメラ、ステレオカメラ等の機器を用いることができる。要するに、撮像センサー１００は、上述の対象空間を撮像可能で、対象空間のうちユーザによる指示動作が行われる指示領域４内の物体の距離を計測可能な装置であればよい。

後述するように、本実施形態では、対象空間のうち、プロジェクタ１から出射される投影光に干渉せず、かつ、投影領域３と対向する領域を、出力させたい内容に応じた指示動作を行うことが可能な指示領域４として決定する。指示領域４のうち投影領域３と向かい合う面のサイズは、投影領域３と等しいサイズであってもよいし、投影領域３のサイズと一致していなくてもよい。例えば表示するコンテンツによって、指示領域４のサイズが可変に設定されてもよい。

図３は、本実施形態に係るプロジェクタ１の構成例を示すブロック図である。図３に示すように、プロジェクタ１は、撮像センサー１００と、制御ユニット２００と、画像投影部３００とを備える。

制御ユニット２００は、検知部２０１と、認識部２０２と、第１算出部２０３と、第２算出部２０４と、決定部２０５と、判断部２０６と、機器設定部２０７と、操作出力部２０８と、ＵＩ生成部２０９と、映像入力部２１０と、合成部２１１と、を備える。検知部２０１、認識部２０２、第１算出部２０３、第２算出部２０４、決定部２０５、判断部２０６、機器設定部２０７、操作出力部２０８、ＵＩ生成部２０９、映像入力部２１０、および、合成部２１１の各々は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

検知部２０１は、前述の対象空間に存在する検知対象（例えばユーザの手など）を検知する。本実施形態では、検知部２０１は、撮像センサー１００の撮像により得られた画像データを取得し、取得した画像データに基づいて、検知対象を検知する。

認識部２０２は、検知部２０１による検知対象の検知に基づいて、ユーザによる指示動作（例えば手を動かすなどの動作）を認識する。例えば手を動かすなどの動作を認識する方法としては、公知の様々な技術を利用することができる。そして、認識部２０２は、認識した指示動作に関する情報（指示動作情報）を、後述の判断部２０６へ送る。指示動作情報には、検知対象の３次元空間上の座標などが含まれていてもよい。

第１算出部２０３は、撮像センサー１００による撮像で得られた画像データに基づいて、プロジェクタ１と、投影対象物２との間の距離を算出する。以下、第１算出部２０３による距離の算出方法について説明する。図４は、プロジェクタ１を上方から俯瞰した模式図である。図４の例では、投影口５がプロジェクタ１の右側、撮像センサー１００がプロジェクタ１の左側に配置されている。また、図５は、撮像センサー（この例ではカメラ）１００の撮像により得られた画像データを模式的に示す図である。本実施形態では、プロジェクタ１の上部において、投影口５と撮像センサー１００が水平方向に離れて配置されているので、例えばプロジェクタ１が投影対象物２から離れると、図５に示すように、画像データ内の投影領域は、カメラの見かけ上、左方向にシフトする。この移動量（シフト量）から、プロジェクタ１と投影対象物２との距離を計算することができる。見方を変えれば、第１算出部２０３は、撮像センサー１００による撮像で得られた画像データ内の投影領域の位置に応じて、プロジェクタ１と、投影対象物２との間の距離を算出していると捉えることもできる。

図３に戻って説明を続ける。第２算出部２０４は、第１算出部２０３により算出された距離に基づいて、投影領域のサイズを算出する。以下、第２算出部２０４による投影領域のサイズの算出方法について説明する。図６は、投影領域のサイズの算出方法を説明するための図である。図６は、プロジェクタ１を側方から見た場合の模式図である。図６からも理解されるように、投影領域の高さｈは、以下の式１で表すことができる。
ｈ＝Ｄ×（ａ２×ａ１）＋ｂ２×ｂ１ ・・・（式１）

上記式１において、Ｄは、プロジェクタ１と投影対象物２との間の距離を表す。また、ａ２は、投影領域の上端へ入射する投影光の傾きを表し、ａ１は、投影領域の下端へ入射する投影光の傾きを表す。さらに、ｂ１は、プロジェクタ１の投影対象物２側の端面から投影対象物２と平行に上方に延びる直線Ｋのうち、投影口５から投影領域の下端へ入射する投影光を表す直線との交点に相当する切片を表す。また、ｂ２は、図６に示す直線Ｋのうち、投影口５から投影領域の上端へ入射する投影光を表す直線との交点に相当する切片を表す。上記ａ１、ａ２、ｂ１およびｂ２の各々の値は、プロジェクタ１に採用されるミラー６の特性等に応じて予め決められている。

また、投影領域の幅は、画面のアスペクト比から計算することができる。以上のようにして、第２算出部２０４は、投影領域の高さと幅を算出し、投影領域のサイズ（＝高さ×幅）を算出することができる。

再び図３に戻って説明を続ける。決定部２０５は、対象空間のうち、プロジェクタ１の投影光に干渉せず、かつ、投影領域と対向する領域を、出力させたい内容に応じた指示動作を行うことが可能な指示領域として決定する。本実施形態では、図１および図２に示すように、決定部２０５は、プロジェクタ１の上方の、投影光に干渉しないで投影領域３と対向する、投影対象物２の法線方向の一定範囲を占める直方体形状の領域を、指示領域４として決定するが、指示領域４の形状はこれに限られるものではなく、任意に変更可能である。なお、指示領域のおよその位置をユーザに把握させるために、例えばプロジェクタ１の上面や床面などに目印（指示領域のおよその位置を知らせることができる情報であればよい）を付けておくことも可能である。

判断部２０６は、認識部２０２からの指示動作情報を元に、認識部２０２により認識された指示動作が、決定部２０５により決定された指示領域内で行われたか否かを判断する。判断部２０６による判断に関する情報（例えば指示動作情報などが含まれてもよい）は、機器設定部２０７または操作出力部２０８へ送信される。

ここで、本実施形態のプロジェクタ１は、動作モードとして、第１モードと第２モードを有する。第１モードにおいては、判断部２０６により、指示領域内で指示動作が行われたと判断された場合、指示動作に応じてＵＩ画像を生成してユーザに提示するとともに、指示動作に応じて機器（プロジェクタ１）の設定（例えば画面の明るさの設定等）を行う。また、第２モードにおいては、判断部２０６により、指示領域内で指示動作が行われたと判断された場合、認識された指示動作による操作を示す情報を、外部装置（例えばプロジェクタ１と接続されるＰＣやサーバ装置等）に送信する。そして、外部装置が、プロジェクタ１から受信した情報に応じた処理を実行することになる。この例では、モードの切り替え（第１モード→第２モード、あるいは、第２モード→第１モード）は、権限を有する管理者の設定操作により行われるが、これに限られるものではない。例えば、特に権限を有さないユーザの入力に応じて、モードを切り替える機能がプロジェクタ１に搭載されていてもよい。

図３に示す機器設定部２０７は、第１モードにおいて、判断部２０６により、指示領域領域内で指示動作が行われたと判断された場合、その情報（判断部２０６からの情報）を元に、認識された指示動作に応じてＵＩ画像を生成してユーザに提示する制御を行う。また、機器設定部２０７は、認識された指示動作による操作（例えばボタンのＵＩ画像を押す操作など）に応じて、実際の機器の設定を行う。

操作出力部２０８は、第２モードにおいて、判断部２０６により、指示領域内で指示動作が行われたと判断された場合、その情報を元に、認識された指示動作による操作を示す情報を外部機器に出力（送信）する。また、操作出力部２０８は、指示動作を適切に認識したということを直ちにユーザに知らせるために、認識された指示動作に応じてＵＩ画像を生成してユーザに提示する制御を行うこともできる。例えば第２モードにおいて、ユーザが、指示領域内で手（指）を右方向に動かすという指示動作を行った場合、操作出力部２０８は、その指示動作による操作を示す情報を外部装置へ出力するとともに、その指示動作の内容を表すＵＩ画像（動きを表す画像でもよいし、テキスト画像でもよい）を生成してユーザに提示する制御を行うこともできる。

ＵＩ生成部２０９は、機器設定部２０７または操作出力部２０８の制御の下、指示領域内の指示動作に応じてユーザに提示するＵＩ画像を生成する。この例では、ＵＩ生成部２０９は、請求項の「生成部」に対応していると捉えることもできる。また、例えば機器設定部２０７または操作出力部２０８と、ＵＩ生成部２０９との組が、請求項の「生成部」に対応していると捉えることもできる。映像入力部２１０は、外部からの入力映像を取得する。合成部２１１は、映像入力部２１０により取得された入力映像と、ＵＩ生成部２０９により生成されたＵＩ画像とを合成し、その合成した画像を、画像投影部３００へ供給する。そして、画像投影部３００は、合成部２１１から供給される画像を投影対象物２に投影する。

ここでは、プロジェクタ１は、前述の対象空間（より具体的には指示領域）内において認識部２０２により認識された指示動作と、プロジェクタ１によって投影された画像とに基づいて、その指示動作に応じた出力を行う出力部を備えていると捉えることができる。この例では、機器設定部２０７、操作出力部２０８、ＵＩ生成部２０９、映像入力部２１０、合成部２１１および画像投影部３００が、請求項の「出力部」に対応していると捉えることができる。なお、これに限らず、例えば操作出力部２０８が設けられない（第２モードが設けられない）形態においては、機器設定部２０７、ＵＩ生成部２０９、映像入力部２１０、合成部２１１および画像投影部３００が、請求項の「出力部」に対応していると捉えることもできる。

次に、起動してから指示領域を決定するまでのプロジェクタ１の動作例を説明する。図７は、起動してから指示領域を決定するまでのプロジェクタ１の動作例を示すフローチャートである。図７に示すように、まず、第１算出部２０３は、検知部２０１により取得された画像データに基づいて、プロジェクタ１と、投影対象物２との間の距離を算出する（ステップＳ１）。次に、第２算出部２０４は、ステップＳ１で算出された距離に基づいて、投影領域のサイズを算出する（ステップＳ２）。次に、決定部２０５は、ステップＳ２で算出された投影領域のサイズに基づいて、指示領域のサイズを決定した上で（ステップＳ３）、指示領域を決定する。そして、認識部２０２は、電源がＯＦＦされるか、ジェスチャ機能をＯＦＦされるまで、指示動作認識待機状態で待機する（ステップＳ４）。なお、前述したように、投影領域のサイズは、プロジェクタ１と投影対象物２との間の距離に応じて変化するので、指示領域も、プロジェクタ１と投影対象物２との間の距離に応じて変化する。例えばプロジェクタ１の移動を検知するセンサーがプロジェクタ１に搭載されている構成においては、当該センサーによりプロジェクタ１の移動が検知された場合は、上記ステップＳ１〜ステップＳ３の処理をやり直してもよい。

次に、指示動作認識待機状態に移行した後のプロジェクタ１の動作例を、第１モードと第２モードに分けて説明する。図８は、第１モードの場合の動作例を示すフローチャートである。図８に示すように、まず認識部２０２が、ユーザによる指示動作を認識した場合（ステップＳ１０：ＹＥＳ）、判断部２０６は、認識部２０２からの指示動作情報を元に、検知対象（例えばユーザの手など）の座標が、決定部２０５により決定された指示領域内に存在するか否かを判断する（ステップＳ１１）。見方を変えれば、判断部２０６は、指示領域内において、認識部２０２により認識された指示動作が行われたか否かを判断していると捉えることもできる。なお、本実施形態では、指示動作認識待機状態において、カメラにより撮像された画像データに検知対象が写り込んでいて、検知部２０１により検知対象が検知された場合、認識部２０２は、ユーザによる指示動作の認識を行い、認識した指示動作を示す指示動作情報を判断部２０６へ送る。前述したように、指示動作情報には、検知対象の３次元空間上の座標などが含まれていてもよい。

図９は、指示領域内に検知対象が存在するか否かを判断する方法を説明するための図である。カメラ（撮像センサー１００）で計測できるのは、カメラの垂直上方における検知対象の位置（角度）と、検知対象までの距離である。この二つが分かれば、第２算出部２０４により算出された投影領域の位置と、決定部２０５により決定された指示領域の奥行き（投影対象物２の法線方向の寸法）から、検知対象が、指示領域内に存在するかどうかを判断することができる。この例では、カメラの垂直上方における検知対象の位置（角度）と、検知対象までの距離を示す情報は、認識部２０２からの指示動作情報に含まれている。また、判断部２０６は、第２算出部２０４から、投影領域の位置を示す情報を受け取り、決定部２０５から、指示領域の奥行きを示す情報を受け取る。そして、判断部２０６は、これらの情報を元に、指示領域内に検知対象が存在するか否かを判断する。

図８に戻って説明を続ける。上述のステップＳ１１において、検知対象の座標が指示領域内に存在すると判断された場合（ステップＳ１１：ＹＥＳ）、機器設定部２０７は、認識された指示動作に応じてＵＩ画像を生成してユーザに提示する制御を行い、認識された指示動作による操作に応じて機器の設定を行う（ステップＳ１２）。

図１０は、第２モードの場合の動作例を示すフローチャートである。図１０のステップＳ２０およびステップＳ２１の処理内容は、図８のステップＳ１０およびステップＳ１１の処理内容と同様なので、詳細な説明は省略する。ステップＳ２２において、操作出力部２０８は、認識された指示動作による操作を示す情報を外部装置へ出力するとともに、その認識された指示動作に応じてＵＩ画像を生成してユーザに提示する制御を行う。

次に、本実施形態におけるＵＩ画像の生成例を説明する。以下においては、第１モードの場合を例に挙げて説明する。ＵＩ生成部２０９は、機器設定部２０７の制御の下、検知対象と、投影領域との位置関係に応じて、ＵＩ画像を生成する。

より具体的には、ＵＩ生成部２０９は、図１１に示すように、投影領域のうち検知対象に対応する位置に、ボタンの画像が表示されている場合、検知対象が投影領域に近づくほど、ボタンが徐々に押されていくことを表すようにＵＩ画像を生成する。そして、ＵＩ生成部２０９は、検知対象と投影領域との間の距離が閾値以下に到達した場合は、操作を完了したことを表すようにＵＩ画像を生成する。以下の説明では、指示領域のうち、投影領域までの距離（投影対象物２の法線方向の距離）が閾値を超える領域を第１領域２２０、閾値以下の領域を第２領域２３０と表記する。図１１の例では、検知対象であるユーザの手が第１領域２２０内に存在する場合は、そのユーザの手が投影領域に近づくほど、プッシュボタンが徐々にへこんでいくことを表すようにＵＩ画像が生成されてユーザに提示される（フィードバックされる）。つまり、第１領域２２０内のユーザの手の侵入量に応じて、ボタンのＵＩ画像が変化していく。ユーザの手が第２領域２３０内に到達すると、操作の完了をユーザに報知するために、ボタンが一度奥に引っ込んでから元の位置に戻るなどといった動作を表すようにＵＩ画像が生成されてユーザに提示される。

また、ＵＩ生成部２０９は、図１２に示すように、投影領域のうち検知対象に対応する位置に、重なり合った階層構造のメニューの画像が表示される場合、検知対象が投影領域に近づくほど、下層のメニューが徐々に広がることを表すようにＵＩ画像を生成する。そして、ＵＩ生成部２０９は、検知対象と投影領域との間の距離が閾値以下に到達した場合は、階層構造のメニューが同一平面上に配置されるとともに、操作を完了したことを表すようにＵＩ画像を生成する。図１２の例では、検知対象であるユーザの手が第１領域２２０内に存在する場合は、そのユーザの手が投影領域に近づくほど、下の階層のメニュー（図１２の例では、メニュー１−１〜１−３）が広がっていき、ユーザの手が第２領域２３０内に到達すると、全てのメニューが広がり切る（同一平面上に配置される）ことを表すようにＵＩ画像が生成されてユーザに提示される。また、図１１の例と同様に、ユーザの手が第２領域２３０内に入ると、操作の完了をユーザに報知するためのＵＩ画像が生成されてユーザに提示されてもよい。

さらに、ＵＩ生成部２０９は、図１３に示すように、投影領域のうち検知対象に対応する位置にドラッグ可能なオブジェクトが表示される場合、検知対象が投影領域に近づくほど、オブジェクトがユーザ側に向かって徐々に浮き上がることを表すようにＵＩ画像を生成する。そして、ＵＩ生成部２０９は、検知対象と投影領域との間の距離が閾値以下に到達した場合は、指示領域のうち、投影領域までの距離が閾値以下となる領域内における検知対象の動きに追従してオブジェクトが移動することを表すようにＵＩ画像を生成する。その後、ＵＩ生成部２０９は、検知対象と投影領域との間の距離が閾値を超えた場合は、検知対象の動きに対する追従を停止したオブジェクトを表すようにＵＩ画像を生成する。図１３の例では、検知対象であるユーザの手が第１領域２２０内に存在する場合は、そのユーザの手が投影領域に近づくほど、投影領域のうちユーザの手に対応する位置に表示されるオブジェクトが徐々にユーザ側に浮き上がることを表すようにＵＩ画像が生成されてユーザに提示される。そして、ユーザの手が第２領域２３０内に到達すると、そのオブジェクトがドラッグ可能となり、そのオブジェクトは、第２領域２３０内におけるユーザの手の動きに追従して移動することを表すようにＵＩ画像が生成されてユーザに提示される。ユーザの手が再度第１領域２２０内に戻ると、ユーザの手の動きに対する追従を停止したオブジェクトを表すようにＵＩ画像が生成されてユーザに提示される。

なお、例えばＵＩ生成部２０９は、図１４に示すように、投影領域のうち検知対象に対応する位置にオブジェクトが表示され、かつ、検知対象と投影領域との間の距離が閾値以下である場合は、オブジェクトがユーザ側に向かって浮き上がることを表すようにＵＩ画像を生成し、その後、指示領域のうち、投影領域までの距離が閾値を越える領域内における検知対象の動きに追従してオブジェクトが移動することを表すようにＵＩ画像を生成し、検知対象と投影領域との間の距離が再び閾値以下になった場合は、オブジェクトが検知対象の動きに対する追従を停止し、浮き上がる前の状態に戻ることを表すようにＵＩ画像を生成してもよい。図１４の例では、投影領域のうちユーザの手に対応する位置にオブジェクトが表示され、かつ、ユーザの手が第２領域２３０内に存在する場合（そのオブジェクトを押す動作が行われたと捉えることもできる）、そのオブジェクトがユーザ側に向かって浮き上がることを表すようにＵＩ画像が生成されてユーザに提示される。その後、ユーザの手が第１領域２２０に戻ると、ドラッグ可能となったオブジェクトは、第１領域２２０内におけるユーザの手の動きに追従して移動することを表すようにＵＩ画像が生成されてユーザに提示される。その後、再びユーザの手が第２領域２３０に到達した場合（再びオブジェクトを押す動作が行われた場合）、オブジェクトは、ユーザの手の動きに対する追従を停止し、浮き上がる前の状態に戻ることを表すようにＵＩ画像が生成されてユーザに提示される。

図１５は、本実施形態のプロジェクタ１が、ユーザによる指示動作に応じてＵＩ画像を生成してユーザに提示するときの動作例を示すフローチャート（図１１〜図１３の動作フロー）である。図１５に示すように、まず、プロジェクタ１は、検知対象が第１領域２２０内に存在するか否かを判断する（ステップＳ３０）。検知対象が第１領域２２０内に存在すると判断した場合（ステップＳ３０：ＹＥＳ）、プロジェクタ１は、投影領域のうち検知対象（この例ではユーザの手）に対応する位置に、ボタンの画像が表示されるか否かを判断する（ステップＳ３１）。

上述のステップＳ３１において、投影領域のうち検知対象に対応する位置に、ボタンの画像が表示されると判断した場合（ステップＳ３１：ＹＥＳ）、プロジェクタ１は、第１領域２２０内における検知対象の侵入量に応じてボタン表示が変化するようにＵＩ画像を生成し（ステップＳ３２）、生成したＵＩ画像と入力映像とを合成した画像を投影対象物に投影して表示する。次に、プロジェクタ１は、検知対象が第２領域２３０内に到達したか否かを判断する（ステップＳ３３）。検知対象が第２領域２３０内に到達したと判断した場合（ステップＳ３３：ＹＥＳ）、操作完了を意味するボタンのアニメーションを表すＵＩ画像を生成し（ステップＳ３４）、生成したＵＩ画像と入力映像とを合成した画像を投影対象物に投影して表示する。その後は、ステップＳ３０以降の処理を繰り返す。

一方、上述のステップＳ３１において、投影領域のうち検知対象に対応する位置に、ボタンの画像が表示されないと判断した場合（ステップＳ３１：ＮＯ）、投影領域のうち検知対象に対応する位置に、階層構造のメニューが表示されるか否かを判断する（ステップＳ４０）。

上述のステップＳ４０において、投影領域のうち検知対象に対応する位置に、階層構造のメニューが表示されると判断した場合（ステップＳ４０：ＹＥＳ）、第１領域２２０内における検知対象の侵入量に応じてメニュー表示が変化するようにＵＩ画像を生成し（ステップＳ４１）、生成したＵＩ画像と入力映像とを合成した画像を投影対象物に投影して表示する。次に、プロジェクタ１は、検知対象が第２領域２３０内に到達したか否かを判断する（ステップＳ４２）。検知対象が第２領域２３０内に到達したと判断した場合（ステップＳ４２：ＹＥＳ）、操作完了を意味するボタンのアニメーションを表すＵＩ画像を生成し（ステップＳ４３）、生成したＵＩ画像と入力映像とを合成した画像を投影対象物に投影して表示する。その後は、ステップＳ３０以降の処理を繰り返す。

一方、上述のステップＳ４０において、投影領域のうち検知対象に対応する位置に、階層構造のメニューが表示されないと判断した場合（ステップＳ４０：ＮＯ）、投影領域のうち検知対象に対応する位置に、ドラッグ操作可能なオブジェクトが表示されるか否かを判断する（ステップＳ５０）。投影領域のうち検知対象に対応する位置に、ドラッグ操作可能なオブジェクトが表示されると判断した場合（ステップＳ５０：ＹＥＳ）、第１領域２２０内における検知対象の侵入量に応じてオブジェクト表示が変化するようにＵＩ画像を生成し（ステップＳ５１）、生成したＵＩ画像と入力映像とを合成した画像を投影対象物に投影して表示する。

次に、プロジェクタ１は、検知対象が第２領域２３０内に到達したか否かを判断する（ステップＳ５２）。検知対象が第２領域２３０内に到達したと判断した場合（ステップＳ５２：ＹＥＳ）、第２領域２３０内の検知対象の動きに追従してオブジェクトが移動することを表すようにＵＩ画像を生成する（ステップＳ５３）。次に、プロジェクタ１は、検知対象が再び第１領域２２０に移動したか否かを判断する（ステップＳ５４）。検知対象が再び第１領域２２０に移動したと判断した場合（ステップＳ５４：ＹＥＳ）、検知対象の動きに対する追従を停止したオブジェクトの表示が、第１領域２２０内における検知対象の侵入量に応じて変化するようにＵＩ画像を生成し（ステップＳ５５）、生成したＵＩ画像と入力映像とを合成した画像を投影対象物に投影して表示する。

次に、プロジェクタ１は、検知対象が第１領域２２０から出たか否かを判断する（ステップＳ５６）。検知対象が第１領域２２０から出ていないと判断した場合（ステップＳ５６：ＮＯ）、上述のステップＳ５２以降の処理を繰り返す。一方、検知対象が第１領域２２０から出たと判断した場合（ステップＳ５６：ＹＥＳ）、上述のステップＳ３０以降の処理を繰り返す。

次に、本実施形態に係るプロジェクタ１のハードウェア構成例を説明する。図１６は、プロジェクタ１のハードウェア構成例を示すブロック図である。図１６に示すように、プロジェクタ１は、ＣＰＵ１０と、メモリコントローラ２０と、メインメモリ３０と、ホスト−ＰＣＩブリッジ４０とを備えている。メモリコントローラ２０は、ＣＰＵ１０、メインメモリ３０、及びホスト−ＰＣＩブリッジ４０とホスト・バス１１０で接続されている。

ＣＰＵ１０は、プロジェクタ１の全体制御を行うものである。メモリコントローラ２０は、メインメモリ３０に対する読み書きなどを制御する。メインメモリ３０は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、描画用メモリなどとして用いるシステムメモリである。

ホスト−ＰＣＩブリッジ４０は、周辺デバイスやＰＣＩ（Peripheral Component Interconnect）デバイス５０を接続するためのブリッジである。ホスト−ＰＣＩブリッジ４０は、メモリカード６０とＨＤＤ Ｉ／Ｆ１２０で接続されている。また、ホスト−ＰＣＩブリッジ４０は、ＰＣＩデバイス５０とＰＣＩバス１３０で接続されている。また、ホスト−ＰＣＩブリッジは４０、通信カード７０、無線通信カード８０、及びビデオカード９０などとＰＣＩバス１３０及びＰＣＩスロット１４０を介して接続されている。

メモリカード６０は、ＯＳのブートデバイスとして利用される。通信カード７０及び無線通信カード８０は、ＬＡＮなどのネットワークや通信回線との接続に利用される。ビデオカード９０は、画像の投影に利用され、映像信号をディスプレイ出力に出力する。なお、本実施形態のプロジェクタ１で実行される制御プログラムは、メインメモリ３０の格納用メモリ等に予め組み込まれて提供される。

以上に説明したように、本実施形態では、プロジェクタ１の上方の空間を示す対象空間のうち、プロジェクタ１からの投影光に干渉せず、かつ、投影領域と対向する領域を、出力させたい内容に応じた指示動作を行うことが可能な指示領域として決定するので、操作者の影が投影画像に映り込んでしまうことはない上、操作者は、投影対象物に投影された画像と対向する領域内で指示動作を行うことになるので、自身の操作と投影画像との対応を直感的に理解することができる。したがって、本実施形態によれば、投影画像の視認性を確保するとともに直感的で分かり易い操作を提供できるという特有の効果を奏する。

ここで、本実施形態の対比例として、カメラなどの撮像センサーで投影領域を撮影してユーザの動作を検知し、投影領域をタッチパネルのように利用する構成（例えば特許文献１のような構成）を想定する。投影領域を撮像するための撮像センサーとして、例えば水平画角＝６０°、垂直画角＝５０°のカメラを用い、仮想操作面からカメラまでの水平距離＝８５ｃｍとすると、仮想操作面の水平幅×垂直幅＝１００ｃｍ×１００ｃｍとなる。このサイズは、投影画面サイズ（４８インチなら１００ｃｍ×６０ｃｍ）を包含しているので、安価なカメラで済むが、例えば超短焦点プロジェクタの場合は、前述したように投写距離が「１１．７〜２４．９ｃｍ」となるので、超短焦点プロジェクタに搭載されるカメラと仮想操作面（対比例においては投影領域とみなすことができる）との距離も上記の場合に比べて大幅に短くなり、上記カメラにより撮像される仮想操作面のサイズが投影画面のサイズに収まらなくなる。このため、対比例の技術を、例えば超短焦点プロジェクタなどの投写距離が所定の基準値（例えば８５ｃｍ）を下回るプロジェクタに適用する場合は、より画角の大きい（視野角の広い）カメラを用いる必要があるので、コストアップに繋がるという問題がある。

これに対して、上述の本実施形態では、プロジェクタ１に搭載された撮像センサー１００に要求される機能としては、プロジェクタ１の上方の空間を示す対象空間のうち、プロジェクタ１からの投影光に干渉せず、かつ、投影領域と対向する領域を示す指示領域を撮像する機能だけで済む（つまり、対比例のように投影領域全体を撮像する必要は無い）ので、超短焦点プロジェクタの場合であっても、プロジェクタに搭載される撮像センサー１０は安価なカメラで済むという利点がある上、上述した特有の効果も達成できる。したがって、本発明は、例えば超短焦点プロジェクタなどの投写距離が所定の基準値を下回るプロジェクタに適用する場合において格別に有効である。ただし、これに限らず、本発明は、投写距離が所定の基準値以上のプロジェクタに適用することも可能であり、この場合であっても、上述した特有の効果を達成できることは勿論である。

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

例えば上述の実施形態においては、プロジェクタ１が撮像センサー１００を備える構成（プロジェクタ１と撮像センサー１００とが一体である構成）を例に挙げて説明したが、これに限らず、例えば撮像センサー１００が、プロジェクタ１とは別に（独立して）設けられる形態であってもよい。

また、例えば、本発明は、投影対象物に画像を投影する画像投影装置と、画像投影装置と接続される情報処理装置とを備える画像投影システムに対して適用することもできる。図１７は、本発明が適用された画像投影システム１０００の構成例を示す図である。図１７に示すように、画像投影システム１０００は、撮像センサー１００と、情報処理装置４００と、画像投影装置５００とを備える。情報処理装置４００は、上述の検知部２０１、認識部２０２、第１算出部２０３、第２算出部２０４、決定部２０５、判断部２０６、ＵＩ生成部２０９、および、合成部２１１を備え、さらに、画像出力部２５０を備える。上述の情報処理装置４００が有する各部（検知部２０１、認識部２０２、第１算出部２０３、第２算出部２０４、決定部２０５、判断部２０６、ＵＩ生成部２０９、合成部２１１、および、画像出力部２５０）の機能は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

図１７の例では、機器設定部２０７、および、操作出力部２０８は設けられず、ＵＩ生成部２０９は、判断部２０６からの情報を元に、ユーザによる指示動作に応じたＵＩ画像を生成する。合成部２１１は、ＵＩ生成部２０９により生成されたＵＩ画像と、情報処理装置４００が有する映像（不図示のメモリ等に格納された映像データ）とを合成する。画像出力部２５０は、合成部２１１により合成された画像を、画像投影装置５００に出力する。そして、画像投影装置５００は、情報処理装置４００から供給される画像を投影対象物に投影して表示する。この例では、情報処理装置４００のＵＩ生成部２０９、合成部２１１、および、画像出力部２５０が、請求項１０の「出力部」に対応すると捉えることもできる。

なお、上述のプロジェクタ１または情報処理装置４００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上述のプロジェクタ１または情報処理装置４００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述のプロジェクタ１または情報処理装置４００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ プロジェクタ
２ 投影対象物
３ 投影領域
４ 指示領域
５ 投影口
６ ミラー
１００ 撮像センサー
２００ 制御ユニット
２０１ 取得部
２０２ 認識部
２０３ 第１算出部
２０４ 第２算出部
２０５ 決定部
２０６ 判断部
２０７ 機器設定部
２０８ 操作出力部
２０９ ＵＩ生成部
２１０ 映像入力部
２１１ 合成部
２２０ 第１領域
２３０ 第２領域
２５０ 画像出力部
３００ 画像投影部
４００ 情報処理装置
５００ 画像投影装置
１０００ 画像投影システム

特開２０１２−００３５２１号公報 特開２００８−２８７１４２号公報

Claims (13)

1. 投影対象物に画像を投影する画像投影装置であって、
   前記画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する検知部と、
   前記検知部による検知対象の検知に基づいて、ユーザによる指示動作を認識する認識部と、
   前記対象空間内において前記認識部により認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う出力部と、を備える、
   ことを特徴とする画像投影装置。
2. 前記対象空間のうち、前記画像投影装置から出射される投影光に干渉せず、かつ、前記投影対象物のうち前記画像が投影される領域を示す投影領域と対向する領域を、前記ユーザによる指示動作が行われる指示領域として決定する決定部をさらに備える、
   ことを特徴とする請求項１に記載の画像投影装置。
3. 前記画像投影装置のうち、前記投影光が出射される投影口とは異なる位置に配置されるとともに、前記投影領域の上端を含む前記対象空間を撮像する撮像センサーと、
   前記撮像センサーによる撮像で得られた前記画像データ内の前記投影領域の位置に応じて、前記画像投影装置と、前記投影対象物との間の距離を算出する第１算出部と、
   前記第１算出部により算出された距離に基づいて、前記投影領域のサイズを算出する第２算出部と、をさらに備え、
   前記検知部は、前記撮像センサーによる撮像で得られた画像データに基づいて、前記検知対象を検知し、
   前記決定部は、前記第２算出部により算出された前記投影領域のサイズに基づいて、前記指示領域のサイズを決定する、
   ことを特徴とする請求項２に記載の画像投影装置。
4. 前記出力部は、
   前記指示領域内の前記指示動作に応じて、前記ユーザに提示するＵＩ画像を生成する生成部と、
   入力映像と、前記生成部により生成された前記ＵＩ画像とを合成する合成部と、
   前記合成部により合成された画像を前記投影対象物に投影する投影部と、を含む、
   ことを特徴とする請求項２または請求項３に記載の画像投影装置。
5. 前記生成部は、前記検知対象と、前記投影領域との位置関係に応じて、前記ＵＩ画像を生成する、
   ことを特徴とする請求項４に記載の画像投影装置。
6. 前記生成部は、前記投影領域のうち前記検知対象に対応する位置に、ボタンの画像が表示される場合、前記検知対象が前記投影領域に近づくほど、前記ボタンが徐々に押されていくことを表すように前記ＵＩ画像を生成し、前記検知対象と前記投影領域の距離が閾値以下に到達した場合は、操作を完了したことを表すように前記ＵＩ画像を生成する、
   ことを特徴とする請求項５に記載の画像投影装置。
7. 前記生成部は、前記投影領域のうち前記検知対象に対応する位置に、重なり合った階層構造のメニューの画像が表示される場合、前記検知対象が前記投影領域に近づくほど、下層のメニューが徐々に広がることを表すように前記ＵＩ画像を生成し、前記検知対象と前記投影領域の距離が閾値以下に到達した場合は、階層構造のメニューが同一平面上に配置されるとともに、操作を完了したことを表すように前記ＵＩ画像を生成する、
   ことを特徴とする請求項５に記載の画像投影装置。
8. 前記生成部は、前記検知対象が前記投影領域に近づくほど、前記投影領域のうち前記検知対象に対応する位置に表示されるオブジェクトが前記ユーザ側に向かって徐々に浮き上がることを表すように前記ＵＩ画像を変化させ、前記検知対象と前記投影領域の距離が閾値以下に到達した場合は、前記指示領域のうち、前記投影領域までの距離が前記閾値以下となる領域内における前記検知対象の動きに追従して前記オブジェクトが移動するように前記ＵＩ画像を変化させ、その後、前記検知対象と前記投影領域の距離が前記閾値を超えた場合は、前記検知対象の動きに対する追従を停止した前記オブジェクトを表すように前記ＵＩ画像を生成する、
   ことを特徴とする請求項５に記載の画像投影装置。
9. 前記生成部は、前記投影領域のうち前記検知対象に対応する位置にオブジェクトが表示され、かつ、前記検知対象と前記投影領域の距離が閾値以下である場合は、前記オブジェクトが前記ユーザ側に向かって浮き上がることを表すように前記ＵＩ画像を生成し、その後、前記指示領域のうち、前記投影領域までの距離が前記閾値を越える領域内における前記検知対象の動きに追従して前記オブジェクトが移動することを表すように前記ＵＩ画像を生成し、前記検知対象と前記投影領域の距離が再び前記閾値以下になった場合は、前記オブジェクトが前記検知対象の動きに対する追従を停止し、浮き上がる前の状態に戻ることを表すように前記ＵＩ画像を生成する、
   ことを特徴とする請求項５に記載の画像投影装置。
10. 前記画像投影装置から出射される投影光が出射される投影口から前記投影対象物までの距離を指す投写距離は、所定の基準値を下回る値に設定される、
    ことを特徴とする請求項１乃至９のうちの何れか１項に記載の画像投影装置。
11. 投影対象物に画像を投影する画像投影装置と、前記画像投影装置と接続される情報処理装置とを備える画像投影システムであって、
    前記情報処理装置は、
    前記画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する検知部と、
    前記検知部による検知対象の検知に基づいて、ユーザによる指示動作を認識する認識部と、
    前記対象空間内において前記認識部により認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う出力部と、を備える、
    ことを特徴とする画像投影システム。
12. 画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する検知ステップと、
    前記検知ステップによる検知対象の検知に基づいて、ユーザによる指示動作を認識する認識ステップと、
    前記対象空間内において前記認識ステップにより認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う出力ステップと、を含む、
    ことを特徴とする制御方法。
13. コンピュータに、
    画像投影装置によって投影された画像に対応する対象空間に存在する検知対象を検知する検知ステップと、
    前記検知ステップによる検知対象の検知に基づいて、ユーザによる指示動作を認識する認識ステップと、
    前記対象空間内において前記認識ステップにより認識された前記指示動作と、前記画像投影装置によって投影された画像とに基づいて、前記指示動作に応じた出力を行う出力ステップと、を実行させるためのプログラム。

Images