JP2017040840A - 情報処理装置、情報処理方法および投影装置 - Google Patents
情報処理装置、情報処理方法および投影装置 Download PDFInfo
- Publication number
- JP2017040840A JP2017040840A JP2015163370A JP2015163370A JP2017040840A JP 2017040840 A JP2017040840 A JP 2017040840A JP 2015163370 A JP2015163370 A JP 2015163370A JP 2015163370 A JP2015163370 A JP 2015163370A JP 2017040840 A JP2017040840 A JP 2017040840A
- Authority
- JP
- Japan
- Prior art keywords
- information
- area
- hand
- user
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】3次元センサを介してジェスチャ認識を行う際にユーザが3次元空間中における操作可能な領域を容易に把握することができる情報処理装置を提供する。【解決手段】投影装置100は、所定の領域を撮像するカメラ108を有する。また、撮像結果に含まれるオブジェクト(ユーザの手)を抽出して、所定の領域におけるユーザの手の相対的な位置に応じた所定の映像をガイド情報として生成するコントローラ120を有する。また、コントローラ120が生成したガイド情報をユーザの手に向けて投影するプロジェクタ107を有する。【選択図】図2
Description
本発明は、UI画面上で人が操作を行う際に参考となるガイド情報の表示制御に関する。
コンピュータの操作は、例えば表示装置の表示画面に表示されたUI(User Interface)上のアイコンなどをユーザがマウスカーソルを用いて動かすことなどにより行われている。ユーザがマウスを一定量動かした場合、画面サイズの小さな表示装置ではUI操作によるカーソルの移動距離は小さく、画面が大きな表示装置ではそれが大きくなるように制御される。
また近年、3次元センサを介して現実世界上のユーザの手の動きを観測し、ユーザがどのような操作を行っているかを認識(ジェスチャ認識)することにより、現実世界上に存在するものを操作対象にするデバイスが登場している。例えば、机上に置かれた本の上にプロジェクタで投影されたアイコンなどを操作できるものがある。このような場合、ユーザは表示画面を意識することなく、例えばキーボードなどを介さずにコンピュータに情報を入力したり、あるいは情報を引き出したりすることが可能になる。なお、現実世界のオブジェクトの1つに「ユーザの手」が挙げられる。
例えば、特許文献1に開示された投影装置では、ユーザがどのような操作を行っているかを示すガイド情報をユーザの手の甲に投影する。これにより、本来プロジェクタで投影面に対して情報を投影する際の阻害要因となるユーザの手を有効活用する、というものである。
しかしながら、3次元センサを介してジェスチャ認識を行うデバイスは、3次元センサの観測範囲(カバー範囲)は有限である。そのため、ジェスチャ認識可能な範囲には限界がある。つまり、プロジェクタ等で操作可能な範囲を明示的に表示しない限り、机上のどこが操作可能なのかをユーザは把握することはできない。また、仮に明示的に表示した場合であっても、立体物に対して操作を行うなど空中(3次元空間中)でジェスチャ操作を行う用途においては、空中には情報を投影することはできない。そのため、ユーザは空中のどこが操作可能なのかをユーザは把握することはできない、という課題が残る。
本発明は、3次元センサを介してジェスチャ認識を行う際にユーザが3次元空間中における操作可能な領域を容易に把握することができる情報処理装置を提供することを、主たる目的とする。
本発明の情報処理装置は、所定の領域を撮像する撮像手段と、前記撮像手段の撮像結果に含まれるオブジェクトを抽出して、前記所定の領域における当該オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成する生成手段と、前記生成手段が生成したガイド情報を前記オブジェクトに向けて投影する投影手段と、を有することを特徴とする。
本発明によれば、ユーザは3次元センサを介してジェスチャ認識を行う際に3次元空間中における操作可能な領域を容易に把握することができる。
以下、図面を参照しながら実施形態を説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。また、本実施形態では、本発明に係る情報処理装置を投影装置として適用した場合の例を挙げて説明を進める。
[第1実施形態]
図1は、本実施形態に係る投影装置の外観の一例を示す模式図である。
図1に示す投影装置100は、プロジェクタ107、カメラ108を含んで構成される。なお、図中に示す領域Aは、プロジェクタ107が映像の投影を行うことができる投影可能領域の一例を表す。また、図中に示す領域Bは、カメラ108が例えばユーザの手の動きなどを計測(観測)することができる計測可能領域の一例を表す。これらの領域は、プロジェクタ107、カメラ108の種別・解像精度等に応じて規定される。なお、投影装置100は、図1に示すように机上に載置されているものとして説明を進める。
図1は、本実施形態に係る投影装置の外観の一例を示す模式図である。
図1に示す投影装置100は、プロジェクタ107、カメラ108を含んで構成される。なお、図中に示す領域Aは、プロジェクタ107が映像の投影を行うことができる投影可能領域の一例を表す。また、図中に示す領域Bは、カメラ108が例えばユーザの手の動きなどを計測(観測)することができる計測可能領域の一例を表す。これらの領域は、プロジェクタ107、カメラ108の種別・解像精度等に応じて規定される。なお、投影装置100は、図1に示すように机上に載置されているものとして説明を進める。
図2は、投影装置100の機能構成の一例を説明するためのハードウェアブロック図である。
投影装置100は、プロジェクタ107、カメラ108、コントローラ120を含んで構成される。また、コントローラ120は、CPU(Central Processing Unit)101、グラフィックコントローラ102、メモリコントローラ103、メインメモリ104、I/Oコントローラ105を含んで構成される。コントローラ120は、また、記憶装置の一種であるHDD(ハードディスクドライブ)106、内部バス110を有する。
投影装置100は、プロジェクタ107、カメラ108、コントローラ120を含んで構成される。また、コントローラ120は、CPU(Central Processing Unit)101、グラフィックコントローラ102、メモリコントローラ103、メインメモリ104、I/Oコントローラ105を含んで構成される。コントローラ120は、また、記憶装置の一種であるHDD(ハードディスクドライブ)106、内部バス110を有する。
投影装置100が有するカメラ108は、例えば赤外線エミッタ内蔵のカメラであり、撮影した撮像画像をRGB輝度情報のデジタル信号に変換する。また、カメラ108は、赤外線の撮像素子を有する。このようにカメラ108は、撮像手段として機能する。なお、カメラ108は、I/Oコントローラ105を介して情報の送受信を行う。
プロジェクタ107は、ユーザに視覚的に知らせるべき情報を可視光により対象物(例えば、ユーザの手の甲)に投影する。プロジェクタ107はI/Oコントローラ105、グラフィックコントローラ102を介して情報の送受信を行う。
CPU101は、投影装置100が有する各構成機器を制御する。グラフィックコントローラ102は、プロジェクタ107による投影動作を制御する。メモリコントローラ103は、メインメモリ104に対するメモリアクセス全般を統括制御する。メインメモリ104は、例えば揮発性メモリである。メインメモリ104にはHDD106に記憶されている情報や一時的に使用する情報を格納することもできる。
内部バス110は、メモリコントローラ103、I/Oコントローラ105などの各構成機器間における情報伝達を仲介する。I/Oコントローラ105は、内部バス110を介して接続している各構成機器間の情報の送受信を制御する。HDD106は、ブートローダプログラム及び投影装置制御プログラムなどの各種プログラム、及び、各種情報を格納する。
CPU101は、投影装置100の電源投入時にブートローダプログラムを読み出して実行する。また、CPU101は、HDD106に格納されている投影装置の制御プログラムを取得してメインメモリ104に格納する。そして、CPU101がメインメモリ104に格納された投影装置制御プログラムを実行する。これにより、投影装置100の有する各機能が実行される。
例えば、CPU101がこの投影装置制御プログラムを実行して三次元計測を行う際には、カメラ108の赤外線エミッタから赤外線を被写体に向けて投射させ、カメラ108はその反射光を撮像する。これにより、撮像結果から3Dモデルデータを生成したり、人が行うジェスチャ(例えば、ユーザの手の動作)を解釈したり、プロジェクタ107を介してユーザに提供する情報を投影するなどの投影装置100が有する機能が実現される。
また、CPU101は、赤外線投射時刻と反射光の撮影時刻に基づいてカメラ108と被写体との距離を算出する。この距離算出方法は、TOF(Time-of-Flight)法として広く知られている技術であるため詳細な説明は割愛する。
また、CPU101は、赤外線投射時刻と反射光の撮影時刻に基づいてカメラ108と被写体との距離を算出する。この距離算出方法は、TOF(Time-of-Flight)法として広く知られている技術であるため詳細な説明は割愛する。
このように構成された投影装置100では、カメラ108の撮像結果に基づいて人のジェスチャを解釈することができる。しかし、投影装置100のユーザは、カメラ108の内蔵する赤外線エミッタが発する赤外光を視認することができない。そのため、投影装置100を机上に置いて使用する場合、ユーザはジェスチャ操作を行える操作可能領域、つまり三次元計測が可能な範囲を把握することができない。しかし、本実施形態に係る投影装置100では、カメラ108により計測可能な範囲をユーザに一目でわかるように示すことができる。以下、この点を中心に説明を進める。
図3は、投影装置100の動作概要を説明するための図である。
投影装置100は、図中に示す三次元空間(x、y、z)の操作可能領域Cにおいてユーザのジェスチャ操作を検出することができる。操作可能領域Cは、図3に示すように、カメラ108の計測可能領域B(図1参照)からカメラ108へ向けて所定距離離れた立体的な空間からなる領域である。なお、操作可能領域Cは実際にはユーザの目には見えないため図3においては模式的に図示している。
投影装置100は、図中に示す三次元空間(x、y、z)の操作可能領域Cにおいてユーザのジェスチャ操作を検出することができる。操作可能領域Cは、図3に示すように、カメラ108の計測可能領域B(図1参照)からカメラ108へ向けて所定距離離れた立体的な空間からなる領域である。なお、操作可能領域Cは実際にはユーザの目には見えないため図3においては模式的に図示している。
また、カメラ108と計測対象物(例えば、ユーザの手)との距離が近すぎる場合、赤外線反射光が強すぎることなどから正常に計測が行えずに計測誤差が大きくなることがある。そのため、本実施形態に係る投影装置100では、ユーザにストレスのない操作感を提供するために、ユーザが行うジェスチャ操作を検出する領域をカメラ108から所定距離離れた領域に設定する。これにより、ジェスチャ操作の検出精度を高めることができる。
また、図3中に示す位置bは、ユーザの手が操作可能領域Cの内側(領域内)にあることを模式的に表している。この場合、ジェスチャ操作が可能であることをユーザに通知するために、投影装置100はガイド情報として、プロジェクタ107を介してユーザの手に向かって例えば黄色の光を照射する。
また、図3中に示す位置cは、ユーザの手が操作可能領域Cの縁にあることを模式的に表している。この場合、これ以上操作可能領域Cから手が離れるとジェスチャ操作が行えなくなることをユーザに通知するために、投影装置100はガイド情報として、プロジェクタ107を介してユーザの手に向かって例えば赤色の点滅光を照射する。
また、図3中に示す位置dと位置eは、ユーザの手が操作可能領域Cの外にあることを模式的に表している。この場合、ジェスチャ操作が不可能であることをユーザに通知するために、投影装置100はプロジェクタ107を制御して、例えばユーザの手に対して何も投影しないようにする。
なお、本実施形態の説明では、ユーザの手と操作可能領域の相対的な位置性に応じて、黄色、赤色の点滅といった色や発光パターンを介してユーザにガイド情報を提供しているが、それに限定するものではない。その他にも例えば、ユーザの手が操作可能領域中心から外に向かって移動している時に警告の文言を投影し、操作可能領域外から中心に向かって移動している時には警告を投影しない、などと制御しても良い。
図4は、投影装置100による事前処理の処理手順の一例を示すフローチャートである。また、図5は、投影装置100によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャートである。なお、図4、図5に示す各処理は、主としてCPU101により実行される。
CPU101は、カメラ108を介して机上に向けて赤外光の投射及び撮像を開始する(S401)。CPU101は、撮像結果に基づいて、TOF法による計測を行い机上の三次元座標情報を生成する(S402)。CPU101は、カメラ108を介した計測が可能な机上の領域B(図1参照)を決定する(S403)。CPU101は、机上の領域Bを基準にして操作可能領域C(図3参照)を決定する(S404)。このようにして、一連の事前処理を終了する。次に、ガイド情報投影に係るメイン処理について図5を用いて説明する。
CPU101は、カメラ108を介して机上に向けて赤外光の投射及び撮像を開始する(S501)。CPU101は、撮像結果に基づいて、TOF法による計測を行い机上の三次元座標情報を生成する(S502)。CPU101は、生成した三次元座標情報に含まれる手(ユーザの手)に関する三次元座標情報を抽出する(S503)。CPU101は、抽出した情報に基づいて操作可能領域Cにおける手の位置を判別する(S504)。
CPU101は、ユーザの手の位置が操作可能領域C内にあると判別した場合(S504:領域内)、ユーザの手に関する三次元座標情報に基づいてこの手の形状にあわせた黄色の塗りつぶし領域をガイド情報として生成する(S505)。CPU101は、ステップS505の処理において生成したガイド情報を、プロジェクタ107を介してユーザの手に向けて投影する(S508)。
また、CPU101は、手の位置が領域端にあると判別した場合(S504:領域端)、ユーザの手に関する三次元座標情報に基づいてこの手の形状にあわせた赤色点滅領域をガイド情報として生成する(S506)。CPU101は、ステップS506の処理において生成したガイド情報を、プロジェクタ107を介してユーザの手に向けて投影する(S508)。
また、CPU101は、手の位置が領域外にあると判別した場合(S504:領域外)、ガイド情報をクリアする(S507)。なお、この場合、ステップS508の処理ではユーザの手には何も投影されないことになる。投影装置100では、図5に示す一連の処理を例えば1秒間に30回などのパターンで定期的に繰り返し行うように制御される。これにより、ユーザの手の動きに追従したガイド情報の投影を行うことができる。
なお、ここでは投影装置100が1つのプロジェクタ107、1つのカメラ108を有するものとして説明した。これに限らず、例えば2つのプロジェクタ、2つのカメラを有する投影装置100が2つのカメラの計測可能領域に基づいて操作可能領域を決定するように構成しても良い。また、操作可能領域を示す情報を2つのプロジェクタでユーザの手に向けてガイド情報を投影するように構成しても良い。
このように、本実施形態に係る投影装置100では、例えばユーザが手を動かしてジェスチャ操作を行う場合、3次元空間中の操作可能領域、つまり装置がジェスチャを認識することができる領域を容易に把握することができる。
[第2実施形態]
第1実施形態では、カメラ108の計測可能領域に基づいて操作可能領域を決定する構成を例に挙げて説明した。ここでは、机上の任意の場所にユーザが操作可能領域を設定し、さらにこれらの領域に対して制約条件が設定可能に構成された投影装置100について説明する。なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。
第1実施形態では、カメラ108の計測可能領域に基づいて操作可能領域を決定する構成を例に挙げて説明した。ここでは、机上の任意の場所にユーザが操作可能領域を設定し、さらにこれらの領域に対して制約条件が設定可能に構成された投影装置100について説明する。なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。
例えば、店舗で投影装置100を置いたテーブルをはさんで店員とお客様が座っているような状況を考える。この場合、投影装置100のプロジェクタ107が投影するUIにおいて、例えば発注メニューなどは店員のみ操作が許可され、お客様には操作が許可されないようにしたいことがある。
例えば、机上に侵入してきた手や腕の方向(侵入方向)に基づいてジェスチャ操作者を識別し、さらにUIボタンに設定された操作権限に応じて操作可否を切り替えるなど方法がある。しかし、お客様にはどのUIボタンを自分が操作可能か否かを知り得ない。
本実施形態に係る投影装置100では、ユーザ毎に操作の許可/不許可が設定された操作可能領域に基づいて、それぞれのユーザの操作可能領域が一目で把握できるようになる。以下、この点を中心に説明を進める。
例えば、机上に侵入してきた手や腕の方向(侵入方向)に基づいてジェスチャ操作者を識別し、さらにUIボタンに設定された操作権限に応じて操作可否を切り替えるなど方法がある。しかし、お客様にはどのUIボタンを自分が操作可能か否かを知り得ない。
本実施形態に係る投影装置100では、ユーザ毎に操作の許可/不許可が設定された操作可能領域に基づいて、それぞれのユーザの操作可能領域が一目で把握できるようになる。以下、この点を中心に説明を進める。
図6は、本実施形態に係る投影装置における設定画面の一例を示す図である。投影装置100では、設定画面Fを介して操作可能領域と属性情報が設定される。この設定画面Fは、投影装置100がプロジェクタ107を介して机上に投影する。なお、属性情報とは、例えばユーザ毎の操作の許可/不許可を表す情報である。
ユーザは、設定画面Fを介して、ジェスチャ操作により操作可能領域を設定したい場所を指定する。例えば、ユーザが図中の地点p(開始点)を指先でタッチした場合、UIの中心位置を基準にして地点pの座標情報(−300,−300)が参考情報としてmm単位系で表示される。そして、ユーザがタッチしたままの状態で図中の地点q(終了点)まで指先を動かしてタッチを終了した場合、UIの中心点を基準にして地点qの座標情報(−10, −300)が参考情報としてmm単位系で表示される。
また、設定画面Fでは、ユーザが指定した操作可能領域に対する属性情報を設定するためのダイアログが表示される。ユーザは、机上を基準位置として、ダイアログを介してジェスチャ操作を検知可能な範囲を特定する。検知可能な範囲の特定は、例えば机上からの高さの情報(距離情報)を設定する。また、ユーザの掌の大きさ情報(サイズ情報)、手の差し入れ方向(挿入方向)などを設定する。このようにして、指定した操作可能領域と、この領域に対する操作の許可/不許可とを関連付けることができる。なお、操作可能領域の位置情報と属性情報の対応関係は、例えば後述するUI空間操作条件テーブル(表)に情報として格納されてメインメモリ104内に保持される。
例えば、操作可能領域に手を差し入れたユーザが子供の場合、掌の大きさ情報に基づいて子供向けのガイド情報を表示するなどの制御が可能になる。なお、掌の大きさは、カメラ108で計測したユーザの手の三次元座標情報を元に算出することで求められる。
また、図6に示す属性情報の設定例では、ジェスチャ操作が地点pと地点qが対角をなす矩形領域の机上高さ200[mm]までの空間内で、且つ、投影装置100から見て右側から差し入れられた掌の面積が160[mm^2]以上の手であれば操作を受け付けると設定している。
また、図6に示す属性情報の設定例では、ジェスチャ操作が地点pと地点qが対角をなす矩形領域の机上高さ200[mm]までの空間内で、且つ、投影装置100から見て右側から差し入れられた掌の面積が160[mm^2]以上の手であれば操作を受け付けると設定している。
図7は、UI空間操作条件テーブル(表)の一例を示す図である。図7に示すUI空間操作条件テーブルでは、操作可能領域の位置情報と属性情報の対応関係を規定する。
図中に示すテーブルの1行目には、図6を用いて説明した、ユーザが指定した操作可能領域と属性情報とが関連付けて設定されていることが見て取れる。また、2行目に示された場合では、指定された操作可能領域において手の差し入れられた方向は関係なく、掌の面積が160[mm^2]以上の手であれば操作を許可するように設定されていることが見て取れる。
図中に示すテーブルの1行目には、図6を用いて説明した、ユーザが指定した操作可能領域と属性情報とが関連付けて設定されていることが見て取れる。また、2行目に示された場合では、指定された操作可能領域において手の差し入れられた方向は関係なく、掌の面積が160[mm^2]以上の手であれば操作を許可するように設定されていることが見て取れる。
図8、図9、図10は、本実施形態に係る投影装置の動作概要を説明するための図である。
図8では、投影装置100を基準にして図左側に存在する店員がジェスチャ操作を行っている様子を示している。図中に示す領域gは、例えば図7において説明したテーブル1行目のように設定された操作可能領域であり、店員のみに操作が許可されている領域である。
また、図中に示す領域hは、例えば図7において説明したテーブル2行目のように設定された操作可能領域であり、掌の面積が160[mm^2]以上の手であれば操作が許可される領域である。ここでは、大人の手であれば誰でも操作が許可される領域であるとする。
図8では、投影装置100を基準にして図左側に存在する店員がジェスチャ操作を行っている様子を示している。図中に示す領域gは、例えば図7において説明したテーブル1行目のように設定された操作可能領域であり、店員のみに操作が許可されている領域である。
また、図中に示す領域hは、例えば図7において説明したテーブル2行目のように設定された操作可能領域であり、掌の面積が160[mm^2]以上の手であれば操作が許可される領域である。ここでは、大人の手であれば誰でも操作が許可される領域であるとする。
また、図中に示す位置iにおいては店員の手は領域gに入っており、店員はこの領域でジェスチャ操作が許可される。この場合、投影装置100はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ107を介して店員の手に向けて黄色の光を照射する。
また、図中に示す位置jでは、店員の手は領域hに入っており、店員はこの領域でもジェスチャ操作が許可される。この場合、同様に投影装置100はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ107を介して店員の手に向けて黄色の光を照射する。
また、図中に示す位置jでは、店員の手は領域hに入っており、店員はこの領域でもジェスチャ操作が許可される。この場合、同様に投影装置100はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ107を介して店員の手に向けて黄色の光を照射する。
図9は、投影装置100を基準にして図右側に存在するお客様がジェスチャ操作を行っている様子を示している。上記の通り、図中の領域gは店員のみ操作が許可されている領域であり、図中の領域hは、大人であれば誰でも操作が許可される領域である。
図中の位置kにおいてはお客様の手が領域hに入っており、お客様はこの領域でジェスチャ操作が許可される。この場合、投影装置100はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ107を介してお客様の手に向けて黄色の光を照射する。
図中の位置kにおいてはお客様の手が領域hに入っており、お客様はこの領域でジェスチャ操作が許可される。この場合、投影装置100はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ107を介してお客様の手に向けて黄色の光を照射する。
また、図中に示す位置lでは、お客様の手が領域gに入っている。しかしながら、この領域ではお客様のジェスチャ操作は許可されていない。この場合、投影装置100はジェスチャ操作が許可されていないことを通知するために、例えばプロジェクタ107を制御してお客様の手には何も投影されないようにする。
図10は、投影装置100を基準にして図右側に存在する子供が領域hに手を差し入れている様子を示している。上記の通り、図中の領域gは店員のみ操作が許可されている領域であり、図中の領域hは、大人であれば誰でも操作が許可される領域である。
図中の位置mにおいては、子供の手が領域hに入っている。しかしながら、子供はこの領域hにおいてジェスチャ操作が許可されていない。投影装置100は差し入れられた手の掌の大きさから子供であると判別した場合、子供の注意が領域h外に向かうように、例えばプロジェクタ107を介してガイド情報を机上と子供の手に投影する。例えば、領域h内から外に向かって移動する虫のアニメーション画像n(第2の映像)を机上に投影し、子供の手には図中の吹き出しに示した様な虫網画像(第1の映像)などを投影する。これは、操作の受け付けを拒否するときのガイド情報となる。
図中の位置mにおいては、子供の手が領域hに入っている。しかしながら、子供はこの領域hにおいてジェスチャ操作が許可されていない。投影装置100は差し入れられた手の掌の大きさから子供であると判別した場合、子供の注意が領域h外に向かうように、例えばプロジェクタ107を介してガイド情報を机上と子供の手に投影する。例えば、領域h内から外に向かって移動する虫のアニメーション画像n(第2の映像)を机上に投影し、子供の手には図中の吹き出しに示した様な虫網画像(第1の映像)などを投影する。これは、操作の受け付けを拒否するときのガイド情報となる。
図11は、本実施形態に係る投影装置による事前処理の処理手順の一例を示すフローチャートである。また、図12は、本実施形態に係る投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャートである。また、図13は、本実施形態に係る投影装置によるガイド情報生成・投影処理の処理手順の一例を示すフローチャートである。
CPU101は、カメラ108を介して机上に向けて赤外光の投射及び撮像を開始する(S1101)。CPU101は、TOF法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する(S1102)。CPU101は、三次元座標情報に含まれる手の情報を抽出してジェスチャ認識を行う(S1103)。
CPU101は、ジェスチャ操作の種別を判別する(S1104)。ジェスチャ種別が机上をタッチする開始点選択のジェスチャ操作であると判別した場合(S1104:開始点選択)、CPU101は、開始点をメインメモリ104に記憶する(S1105)。また、タッチ終了による終了点選択のジェスチャ操作であると判別した場合(S1104:終了点選択)、終了点をメインメモリ104に記憶する(S1106)。また、属性情報を設定するためのダイアログ操作ジェスチャであると判別した場合(S1104:属性情報設定)、属性情報をメインメモリ104に記憶する(S1107)。
CPU101は、ジェスチャ操作の種別を判別する(S1104)。ジェスチャ種別が机上をタッチする開始点選択のジェスチャ操作であると判別した場合(S1104:開始点選択)、CPU101は、開始点をメインメモリ104に記憶する(S1105)。また、タッチ終了による終了点選択のジェスチャ操作であると判別した場合(S1104:終了点選択)、終了点をメインメモリ104に記憶する(S1106)。また、属性情報を設定するためのダイアログ操作ジェスチャであると判別した場合(S1104:属性情報設定)、属性情報をメインメモリ104に記憶する(S1107)。
CPU101は、開始点、終了点、属性情報に係る情報が揃ったか否かを判断する(S1108)。揃っている場合(S1108:Yes)、CPU101は、開始点、終了点、属性情報の各情報をUI空間操作条件テーブルに格納する(S1109)。また、そうでない場合(S1108:No)、ステップS1101の処理に戻る。
以下、ガイド情報投影に係るメイン処理の処理手順について、図12を用いて説明する。
以下、ガイド情報投影に係るメイン処理の処理手順について、図12を用いて説明する。
CPU101は、カメラ108を介して机上に向けて赤外光の投射及び撮像を開始する(S1201)。CPU101は、TOF法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する(S1202)。CPU101は、三次元座標情報に含まれる1又は複数の手の情報を抽出する(S1203)。
CPU101は、UI空間操作条件テーブルを参照して、抽出した手の情報に基づいてこれに該当する属性情報を読み出す(S1204)。CPU101は、ガイド情報生成・投影処理を実行する(S1205)。
なお、図12に示す処理は、投影装置100が例えば1秒間に30回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影を行うことができる。
以下、ステップS1205の処理であるガイド情報生成・投影処理の詳細について、図13を用いて説明する。
CPU101は、UI空間操作条件テーブルを参照して、抽出した手の情報に基づいてこれに該当する属性情報を読み出す(S1204)。CPU101は、ガイド情報生成・投影処理を実行する(S1205)。
なお、図12に示す処理は、投影装置100が例えば1秒間に30回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影を行うことができる。
以下、ステップS1205の処理であるガイド情報生成・投影処理の詳細について、図13を用いて説明する。
CPU101は、操作可能領域に差し入れられた手が属性情報に合致するか否かを判別する(S1301)。合致する場合(S1301:Yes)、CPU101は、手の形状にあわせた黄色の塗りつぶし領域をガイド情報として生成し(S1302)、生成したガイド情報をプロジェクタ107を介して投影する(S1303)。また、そうでない場合(S1301:No)、CPU101は、属性情報に合致しない理由が掌の面積が足りないためであるか否かを判別する(S1304)。
掌の面積が足りないと判別した場合(S1304:Yes)、CPU101は、差し入れられた手が子供の手であると見なして、虫が飛ぶアニメーション画像nと虫網画像をガイド情報として生成する(S1305)。CPU101は、プロジェクタ107を介して虫が飛ぶアニメーション画像と虫網画像を投影する(S1306)。また、そうでない場合(S1304:No)、ガイド情報をクリアする(S1307)。
なお、図13に示す処理は、図12に示すステップS1203の処理において複数の手が抽出された場合、それぞれの手に対して個別に処理を行う。これにより、例えば複数名が手を差し入れた場合に、それぞれの手に対するガイド情報の投影を行うことが可能になる。
なお、図13に示す処理は、図12に示すステップS1203の処理において複数の手が抽出された場合、それぞれの手に対して個別に処理を行う。これにより、例えば複数名が手を差し入れた場合に、それぞれの手に対するガイド情報の投影を行うことが可能になる。
[第3実施形態]
ここまでは、属性を設定する操作可能領域の位置を、ジェスチャ操作による矩形領域を指定することにより行う場合の例を説明した。しかしながら、操作可能領域の属性を設定する手段はこれに限るものではない。以下、UIボタン毎に属性を指定するように構成された投影装置100について説明する。なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。
ここまでは、属性を設定する操作可能領域の位置を、ジェスチャ操作による矩形領域を指定することにより行う場合の例を説明した。しかしながら、操作可能領域の属性を設定する手段はこれに限るものではない。以下、UIボタン毎に属性を指定するように構成された投影装置100について説明する。なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。
図14は、本実施形態に係る投影装置における設定画面の一例を示す図である。
図14に示す設定画面Pは、投影装置100がプロジェクタ107を介して机上に投影する。ユーザは、属性情報を設定したいUIボタンをジェスチャ操作で指定する。例えば、ユーザが図中の領域qに示すUIボタン(ID:02)を指先でタッチすると、この操作可能領域に対して属性情報を設定するためのダイアログが表示される。ユーザはダイアログを介してジェスチャ操作を検知可能とする机上からの高さの情報、この操作可能領域を操作可能なユーザの掌の大きさ情報、手の差し入れ方向などを設定する。このようにして操作受け付けの可否を指定することができる。
図14に示す設定画面Pは、投影装置100がプロジェクタ107を介して机上に投影する。ユーザは、属性情報を設定したいUIボタンをジェスチャ操作で指定する。例えば、ユーザが図中の領域qに示すUIボタン(ID:02)を指先でタッチすると、この操作可能領域に対して属性情報を設定するためのダイアログが表示される。ユーザはダイアログを介してジェスチャ操作を検知可能とする机上からの高さの情報、この操作可能領域を操作可能なユーザの掌の大きさ情報、手の差し入れ方向などを設定する。このようにして操作受け付けの可否を指定することができる。
図15は、本実施形態に係るUI空間操作条件テーブル(表)の一例を示す図である。図15に示すUI空間操作条件テーブルでは、操作可能領域の個々のUIボタンを示すUIボタンIDと属性情報の対応関係を規定する。
図中に示すテーブルの2行目には、UIボタンID01に対して図14を用いて説明した属性情報が関連付けて設定されていることが見て取れる。UIボタンID01、ID02は、本体右側から差し入れられた手でボタン上空200[mm]以内にあり、且つ、掌の面積が160[mm^2]以上の手であれば操作が許可されることを示している。UIボタンID03、ID04は、手の差し入れられた方向は関係なく、掌の面積が160[mm^2]以上の手であれば操作が許可されることを示している。
図中に示すテーブルの2行目には、UIボタンID01に対して図14を用いて説明した属性情報が関連付けて設定されていることが見て取れる。UIボタンID01、ID02は、本体右側から差し入れられた手でボタン上空200[mm]以内にあり、且つ、掌の面積が160[mm^2]以上の手であれば操作が許可されることを示している。UIボタンID03、ID04は、手の差し入れられた方向は関係なく、掌の面積が160[mm^2]以上の手であれば操作が許可されることを示している。
図16は、各操作可能領域に設定された属性情報を可視化した模式図である。
図中に示す領域rは、UIボタンID01に対応する操作可能領域、領域sは、UIボタンID02に対応する操作可能領域であり、共に店員のみ操作が許可された領域である。
また、図中に示す領域tは、UIボタンID03に対応する操作可能領域、領域uは、UIボタンID04に対応する操作可能領域であり、共に大人であれば誰でも操作が許可される領域である。
図中に示す領域rは、UIボタンID01に対応する操作可能領域、領域sは、UIボタンID02に対応する操作可能領域であり、共に店員のみ操作が許可された領域である。
また、図中に示す領域tは、UIボタンID03に対応する操作可能領域、領域uは、UIボタンID04に対応する操作可能領域であり、共に大人であれば誰でも操作が許可される領域である。
図17は、本実施形態の投影装置による事前処理の処理手順の一例を示すフローチャートである。また、図18は、本実施形態の投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャートである。
CPU101は、カメラ108を介して机上に向けて赤外光の投射及び撮像を開始する(S1701)。CPU101は、TOF法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する(S1702)。CPU101は、三次元座標情報に含まれる手の情報を抽出してジェスチャ認識を行う(S1703)。CPU101は、ジェスチャ操作の種別を判別する(S1704)。
ジェスチャ操作の種別が机上をタッチするUIボタン選択のジェスチャ操作であると判別した場合(S1704:ボタン選択)、CPU101は、選択されたUIボタンの情報をメインメモリ104に記憶する(S1705)。また、属性情報を設定するためのダイアログ操作ジェスチャであると判別した場合(S1705:属性情報設定)、属性情報をメインメモリ104に記憶する(S1706)。
CPU101は、選択されたUIボタンの情報、属性情報が揃ったか否かを判別する(S1707)。揃っている場合(S1707:Yes)、選択されたUIボタンの情報、属性情報の各情報をUI部品操作条件テーブルに格納する(S1708)。また、そうでない場合(S1707:No)、ステップS1701の処理に戻る。
CPU101は、カメラ108を介して机上に向けて赤外光の投射及び撮像を開始する(S1801)。CPU101は、TOF法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する(S1802)。CPU101は、三次元座標情報に含まれる1又は複数の手の情報を抽出する(S1803)。
CPU101は、UI部品操作条件テーブルを参照して、抽出した手の情報に基づいてこれに該当する属性情報を読み出す(S1804)。CPU101は、ガイド情報生成投影処理(図13参照)を実行する(S1805)。
なお、図18に示す処理は、投影装置100が例えば1秒間に30回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影が行える。また、図13に示す処理は、図18に示すステップS1803の処理において複数の手が抽出された場合、それぞれの手に対して個別に処理を行う。これにより、例えば複数名が手を差し入れた場合に、それぞれの手に対するガイド情報の投影を行うことが可能になる。
CPU101は、UI部品操作条件テーブルを参照して、抽出した手の情報に基づいてこれに該当する属性情報を読み出す(S1804)。CPU101は、ガイド情報生成投影処理(図13参照)を実行する(S1805)。
なお、図18に示す処理は、投影装置100が例えば1秒間に30回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影が行える。また、図13に示す処理は、図18に示すステップS1803の処理において複数の手が抽出された場合、それぞれの手に対して個別に処理を行う。これにより、例えば複数名が手を差し入れた場合に、それぞれの手に対するガイド情報の投影を行うことが可能になる。
[第4実施形態]
ここでは、机上に立体物が載置され、この立体物に対してユーザがジェスチャ操作を行う場合を例に挙げて説明する。例えば、投影装置100がプロジェクタ107を介して立体物に向けて映像を投影しており、投影先である立体物の周囲で行われるユーザのジェスチャ操作に応じてこの立体物に投影されている映像を切り替える、というような使用例を想定する。
このように、本実施形態では、立体物に対して行うジェスチャ操作の操作可能な領域をユーザが認識することができる投影装置100について説明する。
なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。
ここでは、机上に立体物が載置され、この立体物に対してユーザがジェスチャ操作を行う場合を例に挙げて説明する。例えば、投影装置100がプロジェクタ107を介して立体物に向けて映像を投影しており、投影先である立体物の周囲で行われるユーザのジェスチャ操作に応じてこの立体物に投影されている映像を切り替える、というような使用例を想定する。
このように、本実施形態では、立体物に対して行うジェスチャ操作の操作可能な領域をユーザが認識することができる投影装置100について説明する。
なお、既に説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。
図19は、本実施形態に係る投影装置の動作概要を説明するための図である。
図中に示す立体物Vは、例えば机上に載置された模型などの立体物である。図中に示す領域wは、立体物の外表面を基準にしてジェスチャ操作が行える操作可能領域を模式的に表わしている。
図中に示す立体物Vは、例えば机上に載置された模型などの立体物である。図中に示す領域wは、立体物の外表面を基準にしてジェスチャ操作が行える操作可能領域を模式的に表わしている。
図中に示す位置xにおいてはユーザの手が領域wに入っており、ユーザはこの領域でジェスチャ操作が許可される。この場合、投影装置100はジェスチャ操作が可能であることを通知するために、例えばプロジェクタ107を介してユーザの手に向けて黄色の光を照射する。
また、図中に示す位置yにおいてはユーザの手が領域w外、つまり操作可能領域の外に存在する。この場合、投影装置100はジェスチャ操作が可能な領域をユーザに通知するために、プロジェクタ107を介してユーザの手に向けて、例えば手の位置から最も近いジェスチャ操作が可能な領域の方向を示す矢印画像zを投影する。
また、図中に示す位置yにおいてはユーザの手が領域w外、つまり操作可能領域の外に存在する。この場合、投影装置100はジェスチャ操作が可能な領域をユーザに通知するために、プロジェクタ107を介してユーザの手に向けて、例えば手の位置から最も近いジェスチャ操作が可能な領域の方向を示す矢印画像zを投影する。
図20は、投影装置によるガイド情報投影に係るメイン処理の処理手順の一例を示すフローチャートである。
CPU101は、カメラ108を介して机上に向けて赤外光の投射及び撮像を開始する(S2001)。CPU101は、TOF法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する(S2002)。CPU101は、三次元座標情報に含まれるオブジェクトの情報を抽出するジェスチャ認識を行う(S2003)。CPU101は、オブジェクトの種別を判別する(S2004)。
CPU101は、カメラ108を介して机上に向けて赤外光の投射及び撮像を開始する(S2001)。CPU101は、TOF法による計測を行い、空間に存在するオブジェクトの三次元座標情報を生成する(S2002)。CPU101は、三次元座標情報に含まれるオブジェクトの情報を抽出するジェスチャ認識を行う(S2003)。CPU101は、オブジェクトの種別を判別する(S2004)。
手以外であると判別した場合(S2004:手以外)、抽出したオブジェクトの三次元情報に基づいて、オブジェクトから所定距離までに含まれる領域を操作可能領域としてメインメモリ104に記憶する(S2005)。その後、ステップS2001の処理に戻る。
また、手であると判別した場合(S2004:手)、ステップS2003の処理において抽出した操作可能領域に対する手の位置が操作可能領域に入っているか否かを判別する(S2006)。
また、手であると判別した場合(S2004:手)、ステップS2003の処理において抽出した操作可能領域に対する手の位置が操作可能領域に入っているか否かを判別する(S2006)。
手の位置が操作可能領域に入っていると判別した場合(S2006:領域内)、手の形状にあわせた黄色の塗りつぶし領域をガイド情報として生成し(S2007)、プロジェクタ107を介してガイド情報を手に向けて投影する(S2009)。
また、そうでない場合(S2006:領域外)、例えば手の位置から最も近い操作可能領域の方向を示す矢印画像zをガイド情報として生成し(S2008)、プロジェクタ107を介してガイド情報を手に向けて投影する(S2009)。
なお、図20に示す処理は、投影装置100が例えば1秒間に30回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影が行うことができる。
また、そうでない場合(S2006:領域外)、例えば手の位置から最も近い操作可能領域の方向を示す矢印画像zをガイド情報として生成し(S2008)、プロジェクタ107を介してガイド情報を手に向けて投影する(S2009)。
なお、図20に示す処理は、投影装置100が例えば1秒間に30回などの間隔で定期的に繰り返し行う。これにより、ユーザの手の動きに追従したガイド投影が行うことができる。
上記説明した実施形態は、本発明をより具体的に説明するためのものであり、本発明の範囲が、これらの例に限定されるものではない。
100・・・投影装置、120・・・コントローラ、107・・・プロジェクタ、108・・・カメラ。
Claims (10)
- 所定の領域を撮像する撮像手段と、
前記撮像手段の撮像結果に含まれるオブジェクトを抽出して、前記所定の領域における当該オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成する生成手段と、
前記生成手段が生成したガイド情報を前記オブジェクトに向けて投影する投影手段と、を有することを特徴とする、
情報処理装置。 - 前記所定の領域は、前記撮像手段が三次元空間において前記オブジェクトを検知可能な範囲を特定するための領域であることを特徴とする、
請求項1に記載の情報処理装置。 - 前記所定の領域において1又は複数の領域を操作可能領域として設定し、この操作可能領域それぞれに対して操作受け付けの可否を含む属性情報を個別に設定する設定手段を有し、
前記生成手段は、前記操作可能領域それぞれに設定された属性情報、及び、この操作可能領域における前記オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成することを特徴とする、
請求項1又は2に記載の情報処理装置。 - 前記オブジェクトは、1又は複数のユーザの手であることを特徴とする、
請求項1、2又は3に記載の情報処理装置。 - 前記属性情報は、前記所定の領域における基準位置から前記撮像手段までの間において前記オブジェクトを検知させる範囲を特定するための距離情報、前記ユーザの掌のサイズ情報、前記領域に対する当該手の差し入れ方向を表す情報の少なくとも一つの情報を含んでいることを特徴とする、
請求項4に記載の情報処理装置。 - 前記ガイド情報は、前記オブジェクトによる操作の受け付けの可否を表す情報であることを特徴とする、
請求項1乃至5いずれか一項に記載の情報処理装置。 - 前記操作の受け付けを拒否するときのガイド情報が、前記オブジェクトに向けて投影される第1の映像と、前記領域内からその外に向けて投影される第2の映像とを含んで構成されることを特徴とする、
請求項6に記載の情報処理装置。 - 前記所定の領域は、前記投影手段による映像の投影先である立体物の外表面から所定の距離だけ離れた領域であることを特徴とする、
請求項1乃至7いずれか1項に記載の情報処理装置。 - 情報処理装置が行う情報処理方法であって、
所定の領域を撮像する工程と、
前記撮像の結果に含まれるオブジェクトを抽出して、前記所定の領域における当該オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成する工程と、
前記生成したガイド情報を前記オブジェクトに向けて投影する工程と、を有することを特徴とする、
情報処理方法。 - 所定の領域を撮像する撮像手段と、
前記オブジェクトに向けて映像を投影する投影手段と、
前記撮像手段の撮像結果に含まれるオブジェクトを抽出して、前記所定の領域における前記オブジェクトの相対的な位置に応じた所定の映像をガイド情報として生成する生成手段と、
前記生成手段が生成したガイド情報を前記オブジェクトに向けて投影する投影手段と、を有することを特徴とする、
投影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015163370A JP2017040840A (ja) | 2015-08-21 | 2015-08-21 | 情報処理装置、情報処理方法および投影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015163370A JP2017040840A (ja) | 2015-08-21 | 2015-08-21 | 情報処理装置、情報処理方法および投影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017040840A true JP2017040840A (ja) | 2017-02-23 |
Family
ID=58206305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015163370A Pending JP2017040840A (ja) | 2015-08-21 | 2015-08-21 | 情報処理装置、情報処理方法および投影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017040840A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11252387B2 (en) | 2018-07-02 | 2022-02-15 | Casio Computer Co., Ltd | Projection apparatus, projection method and storage medium |
-
2015
- 2015-08-21 JP JP2015163370A patent/JP2017040840A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11252387B2 (en) | 2018-07-02 | 2022-02-15 | Casio Computer Co., Ltd | Projection apparatus, projection method and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10511778B2 (en) | Method and apparatus for push interaction | |
TWI534661B (zh) | 畫像辨識裝置及操作判定方法以及電腦程式 | |
EP3283938B1 (en) | Gesture interface | |
KR102508924B1 (ko) | 증강 또는 가상 현실 환경에서의 객체의 선택 | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
US10762706B2 (en) | Image management device, image management method, image management program, and presentation system | |
WO2013180151A1 (ja) | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム | |
KR101514170B1 (ko) | 입력 장치, 입력 방법 및 기록 매체 | |
KR20150133585A (ko) | 3차원 영상의 단면 탐색 시스템 및 방법 | |
CN108594995A (zh) | 一种基于手势识别的电子设备操作方法及电子设备 | |
JP4678428B2 (ja) | 仮想空間内位置指示装置 | |
JP4345755B2 (ja) | 入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システム | |
JP2013161406A (ja) | データ入力装置、表示装置、データ入力方法、及びデータ入力プログラム | |
JP2005063225A (ja) | 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム | |
JP6230666B2 (ja) | データ入力装置、データ入力方法、及びデータ入力プログラム | |
CN109144598A (zh) | 基于手势的电子面罩人机交互方法与系统 | |
JP2017040840A (ja) | 情報処理装置、情報処理方法および投影装置 | |
KR101609861B1 (ko) | 사용자 동작에 기초한 입력 제어 시스템 및 방법 | |
JP2018010589A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6256545B2 (ja) | 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム | |
KR101268640B1 (ko) | 대형 스크린을 위한 디스플레이 시스템 및 그 시스템의 동작 방법 | |
CN114706511B (zh) | 交互处理方法、装置及电子设备 | |
JP2005050120A (ja) | 仮想空間内位置指示装置 | |
JP2017103607A (ja) | 画像処理装置、画像処理方法及びプログラム |