JP2015043154A5 - - Google Patents

Description

近年では、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）やＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）といった環境において、物理的には存在しない操作面（仮想面）に対するタッチ操作が行われる場面がある。また、プロジェクションによってユーザインタフェース（以下、ＵＩ）を壁や机など任意の操作面に投影し、投影したＵＩに対してタッチ操作が行われる場面がある。このような場面においては、ステレオカメラや距離画像センサ等を用い、操作面と、操作を行う指示部として認識すべき認識対象（例えばユーザの指先）との間の距離に基づく判断により、両者が接触しているか否かを判断することが多い。具体的には、操作面と、ユーザの指先との間の距離に所定の閾値を設ける。そして、当該距離が閾値より小さければ、操作面がタッチされている状態を示す「タッチ状態」、閾値より大きければ操作面がタッチされていない状態を示す「非タッチ状態（リリース状態）」であるという判定を行う。そして、非タッチ状態からタッチ状態に移行した時点での指先の位置を、タッチ位置と推定する。そして、タッチ状態から非タッチ状態に移行した時点での指先の位置を、タッチが終了する位置リリース位置と推定する。

上記課題を解決するため、本発明に係る情報処理装置は、操作面と所定の物体との近接状態が所定の条件を満たしている間、前記操作面が前記所定の物体によってタッチされていると判定する状態判定手段と、前記所定の物体によって示される指示位置を検出する位置検出手段と、前記状態判定手段により、前記操作面が前記所定の物体によってタッチされていると判定されている間に、前記位置検出手段によって検出された指示位置が静止したとみなされる位置を、前記所定の物体によってタッチされた前記操作面上の位置であると特定する特定手段と、を備えることを特徴とする。

推定部３０７は、位置検出部３０２が検出している指示位置の動きを追跡し、タッチ状態の間の１以上の通過点から、所定の条件に基づいて、タッチの開始位置と終了位置とを推定する。本実施形態では、タッチ状態の間に指示位置が静止したとみなされる時の位置を、タッチの開始位置あるいは終了位置と推定する。両者は一致する場合もある。本実施形態の推定部３０７は、まず画像取得部３００によって取得された前のフレームの赤外強度画像から検出された指示位置と、最新のフレームの赤外強度画像から検出された指示位置との差分を、指示位置の移動距離として取得する。そして、取得した移動距離が所定の距離の閾値よりも小さい場合に、指示位置が静止したとみなし、最新のフレームの赤外強度画像から検出された指示位置を、タッチ位置であると推定する。このような推定方法を用いることで、指示位置が静止したとみなせるか否かを判定するために保持しておくべき情報が、少なくてすむ。ただし、連続するフレームについて指示位置が静止し続けているとみなされる場合には、再び動き始めるまでをまとめて指示位置が静止した回数は１回であると捉えてもよい。

上述したように、一般的に操作面とユーザの指先との間の距離に閾値を設けてタッチ判定する場合、当該距離が閾値以下ならばタッチ状態、閾値より大きいなら非タッチ状態と判定される。そして、非タッチ状態からタッチ状態に移行した時点での指先の位置がタッチ位置であると推定される。また、タッチ状態から非タッチ状態に移行した時点での指先の位置が、リリース位置であると推定される。また、タップ操作に係るタップ位置は、タッチ位置によって定義されることが多い。このとき使用される閾値は、距離を検出する手段の分解能に適した値が設定される。例えば、分解能に一致する値とすれば、操作面が触れられているか否かをより厳密に区別することになる。また例えば、ユーザの使い勝手に合わせて、分解能より大きい値（数ｃｍ）とすることで、必ずしも操作面に触れなくとも、操作面に指先をある程度近づけた段階でタッチ状態と判定することができるようになる。

次に、ステップＳ２０３において、変換部３０５は、算出した指先輝度を指先と赤外カメラ２０８間の垂直距離Ｌｆに変換する。本実施例では、空間上での座標が既知である複数の点群の輝度を予め測定しておくことによって、任意の座標に位置する指先の輝度から垂直距離Ｌｆを取得する。つまり、変換式を作成して垂直距離Ｌｆを算出する。また、赤外カメラ２０８からテーブル１０１までの垂直距離Ｌｔも予め分かっているので、指先とテーブル間の垂直距離ｈＬ（高さ）は、以下の式１で求められる。

次に、図７は、ユーザによってムーブ操作が行われた場合に本実施形態の情報処理装置１００が行う処理の流れと、推定されるムーブ操作の開始位置、終了位置を説明する図である。図６と同名称、及び同番号で示されるものの定義は図６に準ずる。図７（Ｂ）は、ユーザがｐｏｓ１からｐｏｓ２までのムーブ操作する際に、指先がｒ２⇒ｒ３⇒ｒ４の経路を通過することを示す。ムーブ操作の場合も、まずユーザの指先が、点線７００で示される闘値１を通過する。このとき取得される垂直距離ｈＬは、図７（Ｃ）の点７０５に対応する。図６のタップ操作の場合と同様の処理により、この段階で「タッチ」イベントが通知される（ステップＳ２０７）。

以上説明したように、本実施形態では、ユーザの指先が、タッチの開始時および終了時に動きを静止する性質を利用して、タッチ入力の開始位置と終了位置を推定する。従ってタッチの対象が、任意の平面であって、当該平面とユーザの指先の間の距離に闘値を設けてタッチ判定を行う場合でも、タッチ位置（タッチ入力の開始位置と終了位置）の検出精度を向上させることができる。なお、タッチの開始時および終了時にユーザが指先を静止させる傾向は、ユーザが無意識のうちに生じているため、必ずしも起こりえるものではなく、静止する時間も検出の分解能に適した時間であるとは限らない。従って本実施形態では、ユーザの指先が静止したとみなされる位置が検出できなかった場合は、近接開始位置（点７０５に相当）から近接終了位置（点７０６に相当）までがムーブ操作がなされた区間として補完される。従って、ユーザの指先が静止した位置を検出できなかったとしても、ムーブ操作が検出不能となることはない。従って、ユーザが無意識に指を静止させなったからと言って、突然ムーブ操作ができなくなるといった不便を生じさせることはない。

Claims (21)

1. 操作面と所定の物体との近接状態が所定の条件を満たしている間、前記操作面が前記所定の物体によってタッチされていると判定する状態判定手段と、
   前記所定の物体によって示される指示位置を検出する位置検出手段と、
   前記状態判定手段により、前記操作面が前記所定の物体によってタッチされていると判定されている間に、前記位置検出手段によって検出された指示位置が静止したとみなされる位置を、前記所定の物体によってタッチされた前記操作面上の位置であると特定する特定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記特定手段は、前記状態判定手段により、前記操作面が前記所定の物体によってタッチされていると判定されている間に、前記位置検出手段によって検出された指示位置が初めに静止したとみなされる位置を、前記所定の物体によるタッチ入力が開始された前記操作面上の位置であると特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、さらに、前記状態判定手段により、前記操作面が前記所定の物体によってタッチされていると判定されている間に、前記位置検出手段によって検出された指示位置が最後に静止したとみなされる位置を、前記所定の物体によるタッチ入力が終了された位置であると特定すること
   を特徴とする請求項２に記載の情報処理装置。
4. 前記特定手段は、前記状態判定手段により前記操作面が前記所定の物体によってタッチされていると判定されている間に、前記位置検出手段によって検出された指示位置が静止したとみなされる位置が発生しない場合、前記操作面と前記所定の物体との近接状態が前記所定の条件を満たすようになった時点での前記指示位置を、前記所定の物体によるタッチ入力が開始された前記操作面上の位置であると特定することを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記特定手段は、前記状態判定手段により前記操作面が前記所定の物体によってタッチされていると判定されている間に、前記位置検出手段によって検出された指示位置が静止したとみなされる位置が発生しない場合、前記操作面と前記所定の物体との近接状態が前記所定の条件を満たさなくなった時点での前記指示位置を、前記所定の物体によるタッチ入力が終了された前記操作面上の位置であると特定することを特徴とする請求項３に記載の情報処理装置。
6. 前記位置検出手段は、前記所定の物体によって示される指示位置の３次元位置情報を検出し、
   前記状態判定手段は、検出された前記指示位置の３次元位置情報に基づいて特定される前記操作面と前記所定の物体との間の距離が所定の条件を満たしている間、前記操作面が前記所定の物体によってタッチされている状態であると判定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記特定手段は、前記状態判定手段により、前記操作面が前記所定の物体によってタッチされていると判定されている間に、前記位置検出手段によって検出された指示位置が静止したとみなされる位置の３次元位置情報のうち、前記操作面に平行な成分で示される２次元位置情報を、前記所定の物体によってタッチされた前記操作面上の位置であると特定することを特徴とする請求項６に記載の情報処理装置。
8. 前記状態判定手段は、前記操作面と前記所定の物体との間の距離が、第１の閾値より小さくなってから、第２の閾値より大きくなるまでの間、前記操作面が前記所定の物体によってタッチされていると判定することを特徴とする請求項６又は７に記載の情報処理装置。
9. 前記第２の閾値は、前記第１の閾値よりも大きいことを特徴とする請求項８に記載の情報処理装置。
10. 前記第１の閾値と前記第２の閾値の大きさは等しいことを特徴とする請求項８に記載の情報処理装置。
11. 前記特定手段によって、前記所定の物体によるタッチ入力が開始された位置であると特定された位置と、前記所定の物体によるタッチ入力が終了された位置であると特定された位置が一致する場合に、タップ操作が入力されたと認識する認識手段を更に備えることを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
12. 前記認識手段は、前記特定手段によって、前記所定の物体によるタッチ入力が開始された位置であると特定された位置と、前記位置検出手段によって最後に検出された指示位置との間の距離が、所定の閾値より大きい場合に、ムーブ操作が開始されたと認識することを特徴とする請求項１１に記載の情報処理装置。
13. 前記認識手段は、ムーブ操作が開始されたと認識した後、前記位置検出手段によって検出された指示位置が最後に静止したとみなされる位置を、前記ムーブ操作の終了位置と認識することを特徴とする請求項１２に記載の情報処理装置。
14. 前記認識手段は、前記特定手段によって、前記所定の物体によるタッチ入力が開始された位置であると特定された位置と、前記所定の物体によるタッチ入力が終了された位置であると特定された位置が、一致しない場合に、ムーブ操作が入力されたと認識することを特徴とする請求項１１に記載の情報処理装置。
15. 前記操作面に表示される画像を制御する表示制御手段を更に備え、
    前記表示制御手段は、前記認識手段により、タップ操作が入力されたと認識された場合、前記特定手段によって特定された前記タッチ入力が開始された位置に表示されたオブジェクトに対応する画像を前記操作面に表示させることを特徴とする請求項１１乃至１４のいずれか１項に記載の情報処理装置。
16. 前記表示制御手段は、前記認識手段により、ムーブ操作が開始されたと認識された場合、前記特定手段によって特定された前記タッチ入力が開始された位置に表示されたオブジェクトを、前記位置検出手段によって最後に検出された指示位置に移動させることを特徴とする請求項１５に記載の情報処理装置。
17. 撮像部が撮像した入力画像から、前記所定の物体が写る移動領域を検出する領域検出手段を更に備え、
    前記位置検出手段は、前記領域検出手段によって検出された移動領域の形状に基づいて、前記所定の物体によって示される指示位置を検出することを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。
18. 前記撮像部は、赤外光を撮像する赤外カメラであって、前記入力画像は、前記赤外カメラによって検出された赤外光の輝度値によって構成される情報であることを特徴とする請求項１７に記載の情報処理装置。
19. 状態判定手段により、操作面と所定の物体との近接状態が所定の条件を満たしている間、前記操作面が前記所定の物体によってタッチされていると判定する状態判定工程と、
    位置検出手段により、前記所定の物体によって示される指示位置を検出する位置検出工程と、
    前記操作面が前記所定の物体によってタッチされていると判定されている間に、検出された指示位置が静止したとみなされる位置を、特定手段により、前記所定の物体によってタッチされた前記操作面上の位置であると特定する特定工程と、
    を有することを特徴とする情報処理装置の制御方法。
20. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１に記載の情報処理装置の各手段として機能させるプログラム。
21. 請求項２０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。