JP2006040271A5 - - Google Patents

Claims (42)

1. イメージが表示されるインタラクティブディスプレイシステムに関連してジェスチャを使用するための方法であって、前記インタラクティブディスプレイシステム上またはその近傍に配置されるオブジェクトは光学的に検出可能であり、前記方法は、
   （ａ）前記インタラクティブディスプレイシステムの表示面の上方に配置されるオブジェクトから反射される光によってイメージを形成し、このように反射された前記光は、前記表示面を通過した後に検出されるステップと、
   （ｂ）前記イメージを処理して、前記オブジェクトを使用してユーザによって行われたジェスチャを認識し、
   （ｉ）検出された前記イメージ内の前記オブジェクトに対応する形状を識別すること、および、
   （ｉｉ）前記イメージ内で、所定の閾値を超える強度を有する隣接する複数のピクセルを含む少なくとも１つの連結コンポーネントを検出することのうち一方に応答して、前記ジェスチャが認識されるステップと、
   （ｃ）認識された前記ジェスチャに応じて、前記ジェスチャにあらかじめ関連付けられた応答を自動的に作成し、前記応答は前記インタラクティブディスプレイシステムの状態を変更するステップとを備え、
   前記オブジェクトは、ユーザの体のアペンデージの少なくとも一部分を含み、前記少なくとも１つの連結コンポーネントを検出するステップは、前記ユーザの前記アペンデージの方向性をおおまかに決定するために、複数のタッチ連結コンポーネントおよび少なくとも１つのホバー連結コンポーネントを検出し、それによって、前記ジェスチャが正しく認識することを可能にするステップを含むことを特徴とする方法。
2. 前記形状を識別するステップは、前記形状を所定のテンプレートと比較するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記オブジェクトは、ユーザが前記ユーザの手に前記オブジェクトを握ることによって操作されることを特徴とする請求項１に記載の方法。
4. 前記ジェスチャは、おおまかに定義された経路に沿った前記オブジェクトの動きを含むことを特徴とする請求項１に記載の方法。
5. 前記ジェスチャは、前記表示面付近の前記アペンデージの前記少なくとも一部分のポーズを含むことを特徴とする請求項１に記載の方法。
6. 前記少なくとも１つの連結コンポーネントは、前記オブジェクトによる前記表示面への接触に対応する少なくとも１つのタッチ連結コンポーネントを含むことを特徴とする請求項１に記載の方法。
7. 前記少なくとも１つの連結コンポーネントは、前記ユーザの指および手のうち少なくとも１つに対応することを特徴とする請求項２に記載の方法。
8. 自動的に作成される前記応答は、前記ジェスチャに関連付けられたソフトウェアアプリケーションを前記インタラクティブディスプレイシステム上で実行するステップを含むことを特徴とする請求項１に記載の方法。
9. 前記ジェスチャは、前記ソフトウェアアプリケーションに関係するアルファベット文字を定義することを特徴とする請求項８に記載の方法。
10. 自動的に作成される前記応答は、前記インタラクティブディスプレイシステムによって実行されているアプリケーションにおいて、ある機能を実行するステップを含むことを特徴とする請求項１に記載の方法。
11. 前記応答は、前記機能が実行されたとき、前記機能に関係する変数が変更される程度を指し示すために、ユーザが前記オブジェクトを動かすことを可能にするステップをさらに含むことを特徴とする請求項１０に記載の方法。
12. 自動的に作成される前記応答は、前記インタラクティブディスプレイシステムの前記表示面上での前記ジェスチャによって定義される領域を選択するステップを含むことを特徴とする請求項１に記載の方法。
13. 自動的に作成される前記応答は、前記表示面上に提示されるイメージおよびバーチャルオブジェクトのうち１つを選択するステップを含むことを特徴とする請求項１に記載の方法。
14. 前記応答は、前記オブジェクトを前記表示面上で動かすことによって、ユーザが前記イメージおよび前記バーチャルオブジェクトのうち１つをサイズ変更することを可能にするステップをさらに含むことを特徴とする請求項１３に記載の方法。
15. 前記応答は、前記表示面にバーチャルオブジェクトを提示するステップを含み、前記オブジェクトは、前記ジェスチャに関連付けられていることを特徴とする請求項１に記載の方法。
16. 前記複数のタッチ連結コンポーネントは、前記表示面に接触している前記ユーザの指に対応し、前記少なくとも１つのホバー連結コンポーネントは、前記表示面近傍の前記ユーザの手の部分に対応することを特徴とする請求項１に記載の方法。
17. 前記複数のタッチ連結コンポーネントは、前記表示面に接触している複数の指を識別し、かつ前記複数の指がユーザの１つの手に属することを決定するために使用されることを特徴とする請求項１に記載の方法。
18. （ａ）前記タッチ連結コンポーネントが時間が経過するにつれて変化するのに伴う前記複数のタッチ連結コンポーネントの時間パターンを解析するステップと、
    （ｂ）前記表示面に接触している複数の指のグループ化を識別するステップと、
    （ｃ）前記連結コンポーネントの方向性およびそれらの時間パターンに基づいて、前記複数の指は、特定のユーザの手に結合していることを決定するステップとをさらに備えることを特徴とする請求項１に記載の方法。
19. （ａ）前記タッチ連結が時間の経過につれて変化するのに伴うタッチ連結コンポーネントの複数のセットの時間パターンを解析するステップと、
    （ｂ）複数の異なる各ユーザのアペンデージを識別するステップであって、前記アペンデージは、前記表示面付近でホバーしているステップと、
    （ｃ）各アペンデージの方向性、および前記時間パターンに基づいて、前記表示面に接触している複数の指のグループ化が、前記アペンデージのうちの特定のいくつかに属ししたがって特定のユーザに属することを決定するステップとをさらに備えることを特徴とする請求項１に記載の方法。
20. 前記決定するステップは、前記表示面周辺での前記特定のユーザの位置に関する知識に基づいて、アペンデージ、および複数指のグループ化が、ある特定のユーザに属していることを決定するステップを含むことを特徴とする請求項１９に記載の方法。
21. 請求項１に記載のステップ（ｂ）〜（ｄ）を実行するためのマシン命令を格納することを特徴とする記憶媒体。
22. オブジェクトによって行われるジェスチャに応答するインタラクティブディスプレイシステムであって、
    （ａ）それに接してまたはその付近にオブジェクトを配置し操作することができる対話側、および反対側を有する表示面と、
    （ｂ）光を、前記表示面の前記反対側に向け、前記表示面を通して、前記対話側に送る光源と、
    （ｃ）前記表示面を通りオブジェクトから反射される光を受け取り検知するために配置され、前記表示面に接触しているまたは近傍にあるオブジェクトのイメージに対応する信号を生成する光センサと、
    （ｄ）前記光センサと通信するプロセッサと、
    （ｅ）前記プロセッサと通信するメモリとを備え、前記メモリは、前記プロセッサに複数の機能を実行させるデータおよびマシン命令を格納し、前記複数の機能は、
    （ｉ）前記オブジェクトを用いて前記ユーザによって行われたジェスチャを認識するために、前記イメージを処理することであって、前記ジェスチャは
    （１）前記イメージにおいて、前記オブジェクトに対応する形状を識別すること、および、
    （２）前記イメージにおいて、所定の閾値を超える強度を有する隣接する複数のピクセルを含む少なくとも１つの連結コンポーネントを、検出することのうち一方に応答して認識されること、ならびに、
    （ｉｉ）認識された前記ジェスチャに応じて、前記メモリ内で、前記ジェスチャにあらかじめ関連付けられた、応答を自動的に作成することであって、前記応答は、前記インタラクティブディスプレイシステムの状態を変更することを含み、
    前記オブジェクトは、ユーザのアペンデージの少なくとも一部分を含み、前記マシン命令は、前記ユーザの前記アペンデージの方向性をおおまかに決定するために、前記プロセッサに、複数のタッチ連結コンポーネントおよび少なくとも１つのホバー連結コンポーネントを検出させ、それによって、前記ジェスチャが正しく認識することを可能にすることを特徴とするインタラクティブディスプレイシステム。
23. 前記形状は、前記形状を所定のテンプレートと比較することによって識別されることを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
24. 前記オブジェクトは、ユーザの手に握られることを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
25. 前記ジェスチャは、おおまかに定義された経路に沿った前記オブジェクトの動きを含むことを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
26. 前記ジェスチャは、前記表示面付近のアペンデージの少なくとも一部分のポーズを含むことを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
27. 前記少なくとも１つの連結コンポーネントは、前記オブジェクトによる前記表示面への接触に対応する少なくとも１つのタッチ連結コンポーネントを含むことを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
28. 前記少なくとも１つの連結コンポーネントは、ユーザの指および手のうち少なくとも１つに対応することを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
29. 前記自動的に作成される応答は、前記プロセッサを使用して、前記ジェスチャに関連付けられるソフトウェアアプリケーション実行していることを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
30. 前記ジェスチャは、前記ソフトウェアアプリケーションに関係するアルファベット文字を定義することを特徴とする請求項２９に記載のインタラクティブディスプレイシステム。
31. 自動的に作成される前記応答は、前記プロセッサによって実行されているソフトウェアアプリケーションにおける機能を実行することを含むことを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
32. 前記応答は、前記プロセッサによって前記機能が実行されているとき、ユーザが、前記機能に関係する変数を変化させる程度を指し示すように前記オブジェクトを動かすことを可能にすることをさらに含むことを特徴とする請求項３１に記載のインタラクティブディスプレイシステム。
33. 自動的に作成される前記応答は、前記表示面上で前記ジェスチャによって定義される領域を選択することを含むことを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
34. 自動的に作成される前記応答は、前記ジェスチャによって決定されるように、表示面に提示されるイメージおよびバーチャルオブジェクトのうち１つを選択することを含むことを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
35. 前記応答は、前記表示面上にわたり前記オブジェクトを動かすことにより、ユーザが前記イメージおよび前記バーチャルオブジェクトのうち１つをサイズ変更することを可能にすることをさらに含むことを特徴とする請求項３４に記載のインタラクティブディスプレイシステム。
36. 前記応答は、バーチャルオブジェクトを前記表示面に提示することを含み、前記バーチャルオブジェクトは、前記ジェスチャに関連付けられていることを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
37. 前記複数のタッチ連結コンポーネントは、前記表示面に接触しているユーザの指に対応し、前記少なくとも１つのホバー連結コンポーネントは、前記表示面近傍のユーザの手の部分に対応することを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
38. 前記複数のタッチ連結コンポーネントは、前記表示面に接触している複数の指を識別し、前記複数の指がユーザの１つの手に属することを決定するために使用されることを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
39. 前記マシン命令はさらに、前記プロセッサが、前記タッチ連結コンポーネントが時間が経過するにつれて変化するのに伴う前記複数のタッチ連結コンポーネントの時間パターンを解析し、前記表示面に接触している複数の指のグループ化を識別し、前記接続コンポーネントおよびそれらの時間パターンの前記方向性に基づいて、前記複数の指が特定のユーザの手に結合していることを決定するようにさせることを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
40. 前記マシン命令はさらに、前記プロセッサが、前記タッチ連結コンポーネントが時間の経過につれて変化するのに伴うタッチ連結コンポーネントの複数のセットの時間パターンを解析し、前記表示面付近でホバーしている複数の異なる各ユーザのアペンデージを識別し、各アペンデージの方向性、および前記時間パターンに基づいて、前記表示面に接触している複数の指のグループ化が、前記アペンデージのうちの特定のいくつかに属ししたがって特定のユーザに属することを決定するようにさせることを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。
41. 前記マシン命令はさらに、前記プロセッサに、前記表示面周辺での前記特定のユーザの位置に関する知識に基づいて、アペンデージ、および複数指のグループ化が、ある特定のユーザに属していることを決定させることを特徴とする請求項４０に記載のインタラクティブディスプレイシステム。
42. 前記光源は、赤外光を発光し、前記光センサは、オブジェクトから反射された赤外光を検知することを特徴とする請求項２２に記載のインタラクティブディスプレイシステム。