JP2014501413A - ジェスチャ認識のためのユーザ・インタフェース、装置および方法 - Google Patents

Abstract

ジェスチャ認識のためのユーザ・インタフェース、装置、および方法は、以前にユーザによって実行された１つ以上のサブジェスチャに基づいてこの装置に対する１つ以上の可能なコマンドを予測し、この１つ以上の可能なコマンドを示すことを含む。
【選択図】図１

Description

本発明は、一般的には、ジェスチャ認識に関し、より具体的には、電子システムにおけるジェスチャ認識のためのユーザ・インタフェース、装置、および方法に関する。

コンピュータを用いて成し遂げることができるアクティビティの範囲の広がりに伴い、ユーザとマシンとの間のインタフェースを提供する新たな革新的な方法がしばしば開発され、より自然なユーザ体験を提供している。例えば、タッチ感応スクリーンは、マウスおよび／またはキーボード無しでユーザがコンピュータに入力を提供できるようにし、その結果、コンピュータの操作に机での領域が必要とはならないようにする。また、ジェスチャ認識は、サイン言語認識、多様な人間とコンピュータとのインタラクション、仮想現実、および、ロボット制御において、それを潜在的に使用できる可能性があるため、より多くの注目を集めるようになっている。

ジェスチャ認識は、コンピュータの世界において、急速に発達している領域であり、装置がユーザの特定のハンド・ジェスチャを認識できるようにして、そのジェスチャに基づいて装置の特定の機能を実行できるようにする。コンピュータ・ビジョンに基づくジェスチャ認識システムは、より「自然な（ｎａｔｕｒａｌ）」、効率的かつ効果的な、ユーザとマシンとの間のインタフェースを実現するために提案されている。コンピュータ・ビジョンにおいては、ジェスチャ認識の正確性を向上させるために、カメラからキャプチャされた関連するビデオをスクリーン上に表示することが必要である。さらに、このタイプのビデオは、ユーザに対し、自己のジェスチャが正確に認識されるかどうか、さらに、ユーザが自己の位置に対し、何らかの調節を必要としているかどうかを示すことに役立つことができる。しかしながら、カメラからキャプチャされたビデオを表示すると、通常、ユーザにとって、スクリーン上の現在の番組の視聴にマイナスの影響が及ぼされることになる。従って、スクリーン上で現在の番組の表示が阻害されることを最低限にし、それと同時に、高精度の認識を維持する方法を見出すことが必要である。

その一方で、近年、（グラブ・アンド・ドロップ（ｇｒａｂ ａｎｄ ｄｒｏｐ）などの）より多くのジェスチャを組み合わせた複合ジェスチャがユーザ・インタフェース（ＵＩ）に適用されている。これらの複合ジェスチャは、通常、複数のサブジェスチャを含み、単純なジェスチャよりも認識が困難になっている。２００８年８月２２日付で出願されたＨ．ｋｉｅｔｈ Ｎｉｓｈｉｈａｒａ氏らの米国特許出願公開第２０１０／００５０１３３号「複合ジェスチャ認識（Ｃｏｍｐｏｕｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）」は、複数のカメラを備え、異なるサブジェスチャを検出し、これを異なる装置のための異なる入力に変換しようと試行する方法を提案している。しかしながら、複数のカメラのコスト、さらに、複数のカメラを配備することで、家庭内でこの方法を適用することには制限が伴う。

従って、ユーザ・インタフェース・システムにおける複合ジェスチャ認識を研究することが重要となっている。

本発明は、ジェスチャ認識システムにおけるユーザ・インタフェースであって、以前にユーザによって実行され、ジェスチャ認識システムによって受信されている少なくとも１つのサブジェスチャに従って、少なくとも１つのジェスチャ・コマンドの後続するサブジェスチャを示すように構成されたディスプレイ・ウインドウを含む、このユーザ・インタフェースに関する。

本発明は、さらに、装置であって、以前にユーザによって実行された１つ以上のサブジェスチャに基づいて、この装置に対する１つ以上の可能なコマンドを予測するように構成されたジェスチャ予測ユニットと、１つ以上の可能なコマンドを示すように構成されたディスプレイと、を含む、この装置に関する。

本発明は、さらに、ジェスチャ認識のための方法であって、以前にユーザによって実行された１つ以上のサブジェスチャに基づいて装置に対する１つ以上の可能なコマンドを予測するステップと、１つ以上の可能なコマンドを示すステップと、を含む、この方法に関する。

本発明のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付図面と併せて、実施形態の以下の説明より明らかになるであろう。

本発明の原理の実施形態に従った、ジェスチャ認識システムの例を示すブロック図である。 本発明を説明するために使用されるハンド・ジェスチャの図である。 本発明を説明するために使用されるハンド・ジェスチャの図である。 本発明を説明するために使用されるハンド・ジェスチャの図である。 本発明の実施形態に従ったユーザ・インタフェースのディスプレイ・ウインドウの例を示す図である。 本発明の実施形態に従ったディスプレイ・スクリーン内のユーザ・インタフェースの領域を示す図である。 本発明の実施形態に従ったディスプレイ・スクリーン内のユーザ・インタフェースの領域を示す図である。 ディスプレイ・ウインドウの不透明度の制御方法を示すフローチャートである。 本発明の実施形態に従ったジェスチャ認識のための方法を示すフローチャートである。

図面は開示内容の概念を例示するためのものであり、必ずしも、開示内容を例示する想定可能な構成が図面に限定されるものではないことを理解すべきである。

以下の詳細な説明において、ジェスチャ認識のためのユーザ・インタフェース、装置、および方法についての記載は、本発明の完全な理解のためのものである。しかしながら、当業者であれば、本発明が、これらの特定の詳細な記載内容によることなく、あるいは、その均等物を用いて実施される場合があることが理解できよう。本発明の態様が不必要に曖昧になることを避けるために、他の例において、公知な方法、手順、コンポーネント、および回路については詳細に説明しない。

ユーザは、シミュレートされた入力をコンピュータ、ＴＶ，または、他の電子機器に与えることができる。シミュレートされた入力は、複合ジェスチャによってあたえられることもあれば、単一ジェスチャによって与えられることもあれば、ユーザによって行われるどのようなボディ・ジェスチャによって与えられることさえもあることを理解すべきである。例えば、ユーザは、ジェスチャ認識環境において、所定の動きを含むジェスチャを提供することがある。ユーザは、例えば、ユーザの片手または両手で、あるいは、棒状の道具、スタイラス、ポインティング・スティックで、あるいは、ユーザがジェスチャを行うことができる他の様々な装置でジェスチャ入力を行う。シミュレートされた入力は、例えば、表示された視覚コンテンツに対する参照を設定し、参照物の参照する視覚コンテンツの部分に対してコマンドを実行するような、シミュレートされたマウス入力であろう。

図１は、本発明の実施形態に従ったジェスチャ認識システム１００の例を示すブロック図である。図１に示されているように、ジェスチャ認識システム１００は、カメラ１０１と、ディスプレイ・スクリーン１０２と、スクリーン１０８−１と、スクリーン１０８−２と、ディスプレイ・コントローラ１０４と、ジェスチャ予測器１０５と、ジェスチャ認識ユニット１０６と、ジェスチャ・データベース１０７とを含む。例として、カメラ１０１は、ディスプレイ・スクリーン１０２の上方に取り付けられ、スクリーン１０８−１および１０８−２は、それぞれ、ディスプレイ・スクリーン１０２の左側および右側に配置されている。

ディスプレイ・スクリーン１０２の前にいるユーザは、入力オブジェクトによってシミュレートされた入力をジェスチャ認識システム１００に与えることができる。実施形態においては、入力オブジェクトはユーザの手として示されており、シミュレートされた入力はハンド・ジェスチャを通じて与えることできる。ハンド・ジェスチャを通じてシミュレートされた入力を与えるための手の使用は、ジェスチャ認識システム１００の１つの例示的な実施態様であることを理解すべきである。さらに、シミュレートされた入力を与えるための入力オブジェクトとしてのユーザの手を通じてジェスチャを行う例においては、ユーザの手は、グローブおよび／または指先および指関節のセンサを含むことも、ユーザの素手であることもある。

図１の実施形態において、カメラ１０１は、例えば、毎秒３０回でユーザのハンド・ジェスチャの複数の静止写真画像を高速に撮影し、それらの静止写真画像は、ユーザのジェスチャを認識するために、ジェスチャ認識ユニット１０６に供給される。ジェスチャ認識は、近年、サイン言語認識、多様な人間とコンピュータとのインタラクション、仮想現実、および、ロボット制御において、それを潜在的に使用できる可能性があるため、より多くの注目を集めるようになっている。大抵の従来技術のジェスチャ認識方法は、観察された画像シーケンスをトレーニング・サンプルまたはモデルと一致させるものである。入力シーケンスは、サンプルまたはモデルの一致が最良であるクラスとして分類される。動的時間伸縮法（ＤＴＷ）、連続動的計画法（ＣＤＰ）、隠れマルコフモデル（ＨＭＭ）、および条件付き確率場（ＣＲＦ）は、従来技術におけるこのカテゴリーの方法の例である。ＨＭＭは、ジェスチャ認識のために最も広く使用されている技術である。サブジェスチャのための詳細な認識方法は、ここでは説明しない。

ジェスチャ認識ユニット１０６、ジェスチャ予測器１０５、ディスプレイ・コントローラ１０４、およびジェスチャ・データベース１０７は、入力オブジェクトに関連付けられた各画像を処理してディスプレイ・スクリーン１０２のディスプレイ・ウインドウ１０３に示される制御命令を生成するようにするために、例えば、コンピュータ（図示せず）内、または組み込みプロセッサに設けることができる。

実施形態によれば、ユーザによる単一ジェスチャおよび複合ジェスチャの入力を認識することができる。複合ジェスチャは、複数のサブジェスチャが用いられて複数の関連する装置入力を与えるジェスチャとすることができる。例えば、１番目のサブジェスチャを視覚コンテンツの部分を参照する参照ジェスチャとし、２番目のサブジェスチャを１番目のサブジェスチャの直後に連続的に実行される実行ジェスチャとすることができ、その２番目のサブジェスチャが１番目サブジェスチャが参照する視覚コンテンツの部分に対するコマンドを実行するためなどである。単一ジェスチャは、単に、１つのサブジェスチャを含み、サブジェスチャが識別された直後に実行される。図２は、本発明を説明するために使用される例示的なハンド・ジェスチャを示している。

図２に示されているように、複合ジェスチャは、幾つかのサブジェスチャ（このジェスチャは、後続（ｓｕｂｓｅｑｕｅｎｔ）ジェスチャと呼ばれることもある）を含み、この複合ジェスチャが表す機能に依存する。最初のサブジェスチャをヘッド・ジェスチャと呼び、最後のサブジェスチャをテール・ジェスチャと呼ぶ。三次元ユーザ・インタフェース（３Ｄ ＵＩ）においては、同じ最初のジェスチャを共有する多くの機能が存在する。例えば、典型的な複合ジェスチャは、「グラブ（つかむ）とドロップ（落とす）」である。この場合、ユーザは、自己のハンド・ジェスチャを使用してＴＶ番組からのシーン・コンテンツをグラブし（つかみ）、それをＤＲＯＰのハンド・ジェスチャを行うことによって、近傍のピクチャ・フレームまたは装置スクリーンにドロップする。ここで、複合ジェスチャの定義は、３つの部分（サブジェスチャ）、すなわち、グラブ、ドロップ、およびドロップする場所を含む。例えば、図１に示されているように、ユーザのリビング・ルームにおいて、ＴＶセットと、ＴＶの右側と左側にそれぞれ配置された２つのタブレット装置とが存在する。そして、これらの２つのタブレット装置は、既にシステムに登録されており、ジェスチャ・データベース１０７に結合されている。従って、「グラブとドロップ」の複合ジェスチャは、２つのタイプを含む。一方のタイプは、図２（ｂ）に示されているような、２つのサブジェスチャ「グラブして左側にドロップする」を有し、これは、ユーザによって示されたスクリーン・コンテンツが左側のタブレット装置にドロップされ、データベース１０７から左側のタブレット装置１０８−１に送信されることを意味する。他方のタイプは、図２（ａ）に示されているような、「グラブして右側にドロップする」であり、これは、ユーザによって示されたスクリーン・コンテンツが右側のタブレット装置にドロップされ、データベース１０７から右側のタブレット装置１０８−２に送信されることを意味する。これらの２つのタイプは、同じ１番目のサブジェスチャ「グラブ」を共有する。勿論、図２（ｃ）に示されているように、２番目のサブジェスチャが依然として、１番目のジェスチャ「グラブ」と同じ「グラブ」である場合には、「グラブ」が１秒よりも長く保持される。これは、この複合ジェスチャが１つのサブジェスチャ「グラブ」のみを含んでおり、スクリーン・コンテンツがローカルで保存、ドロップされることを意味する。

図１に戻ると、ジェスチャ認識システム１００のジェスチャ予測器１０５は、ジェスチャ認識ユニット１０６によって以前に認識された１つ以上のユーザのジェスチャおよびその順序または順番に基づいて、装置に対する１つ以上の可能なジェスチャ・コマンドを予測するように構成される。予測を実行するために、別のユニットとしての複合ジェスチャ・データベース１０７が必要であり、この複合ジェスチャ・データベース１０７は、特定のコマンド機能を有する所定のジェスチャを記憶するように構成される。

カメラ１０１によって取得されるジェスチャ画像がジェスチャ認識ユニット１０６によって認識されると、認識結果、例えば、所定のサブジェスチャがジェスチャ予測器１０５に入力される。そこで、認識結果に基づいてジェスチャ・データベース１０７を参照することによって、ジェスチャ予測器１０５は、１つ以上の可能なジェスチャ・コマンドを予測し、可能なジェスチャ・コマンドの後続するサブジェスチャがディスプレイ・ウインドウ１０３にインジケーションとして表示される。例えば、１番目のサブジェスチャ「グラブ」が認識されると、データベース１０７を参照することによって、予測器は、この複合ジェスチャに対して３つの可能な候補、「グラブして左側にドロップ」、「グラブして右側にドロップ」、および「グラブのみ」が存在するとの結論を下す。

データベース１０７内には、以下のような、さらに他の単一ジェスチャ、複合ジェスチャが存在する。ヘッド・ジェスチャが「右手を振る」の場合、テール・ジェスチャは、それぞれ、「右手を振る」、「両手を振る」、「右手を挙げる」、または、「静止する」となることがある。例えば、ヘッド・ジェスチャは、ＴＶセットの電源をオンにすることを意味する。テール・ジェスチャが「右手を振る」である場合、これは、ＴＶセットがセット・トップ・ボックスから番組を再生することを意味する。テール・ジェスチャが「両手を振る」である場合には、これは、ＴＶセットがメディア・サーバから番組を再生することを意味する。テール・ジェスチャが「右手を挙げる」である場合、これは、ＴＶセットがＤＶＤ（ディジタル・ビデオ・ディスク）から番組を再生することを意味する。テール・ジェスチャが「両手を振る」である場合、これは、ＴＶセットがメディア・サーバから番組を再生することを意味する。テール・ジェスチャが「静止する」である場合、これは、ＴＶセットが番組を何も再生しないことを意味する。複合ジェスチャ「グラブとドロップ」および２つのステップのサブジェスチャを例にとって本発明を説明しているが、この例は、本発明を限定するものとみなされるべきではない。

実施形態によれば、ジェスチャ認識システム１００のユーザ・インタフェースを提供するディスプレイ・ウインドウ１０３を使用することにより、ジェスチャ予測器１０５によって取得される１つ以上の可能なコマンドの後続するサブジェスチャを、完全に可能なコマンドの後続するジェスチャの実行の仕方についての情報と共に示す。図３は、本発明の実施形態に従ったディスプレイ・ウインドウ１０３の例を示す図である。ここで、当業者によって、必要に応じてディスプレイ・ウインドウのサイズおよび位置を選択し、ディスプレイ・スクリーン１０２上の画像またはスクリーン全体を覆うようにすることもできるし、画像に対して透過的にすることもできる。

ディスプレイ・スクリーン１０２上のディスプレイ・ウインドウ１０３は、ディスプレイ・コントローラ１０４によって制御される。ディスプレイ・コントローラ１０４は、データベース１０７のリスト内の所定のジェスチャに従ってジェスチャ予測器１０５によって予測される各複合ジェスチャに対して後続するサブジェスチャの実行の仕方について、幾らかのインジケーションまたは命令を提供し、これらのインジケーションまたは命令は、コマンドについての情報と共に、ヒント（暗示）により、ディスプレイ・ウインドウ１０３に表示される。例えば、ディスプレイ・スクリーン１０２上のディスプレイ・ウインドウ１０３は、ユーザが自己の後続するサブジェスチャに進むのに役立つように、スクリーン上の領域をディスプレイ・ウインドウとしてハイライトすることができる。この領域においては、幾つかのヒント、例えば、点線矢印、または、点線で描かれた曲線の使用により、可能なコマンドの後続するサブジェスチャを示している。コマンドについての情報は、手を左側に移動させるようにユーザをガイドする「グラブして左側にドロップ」、手を右側に移動させるようにユーザをガイドする「グラブして右側にドロップ」、さらに、このグラブのジェスチャを保持するようにユーザをガイドする「グラブのみ」を含む。さらに、ジェスチャ認識システム１００によって受信されるサブジェスチャのインジケーションもまた、ディスプレイ・ウインドウ１０３におけるヒントに対応する場所に表示されている。そこで、インジケーションは、システムによって受信される画像でもよく、サブジェスチャを表すどのような画像でもよい。Ａｄｏｂｅ（登録商標） Ｆｌａｓｈ（商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標） Ｓｉｌｖｅｒｌｉｇｈｔ（登録商標）、およびＪａｖａＦＸ（商標）は、全て、このような種類のアプリケーションをディスプレイ・ウインドウ１０３におけるインジケーションとして実施するために、ディスプレイ・コントローラによって使用することができる。さらに、ヒントは、上述したものに限定されるものではなく、ヒントがユーザにとって、そのうちの１つに従うことで、ジェスチャ・コマンドを完了させるために役立つ限り、当業者によって、必要に応じて他のどのようなインジケーションとして実施することもできる。

図４は、実施形態に従ったディスプレイ・スクリーン１０２における領域を示す図である。図４に示されているように、上記インジケーションおよび命令を表示する不透明度は、ジェスチャ認識処理を次第により明らかにしていくのに役立つ重要なパラメータである。例えば、「ＲＧＢＡ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ａｌｐｈａ）」技術におけるアルファ値は、ブレンディング値（０〜１）であり、領域の不透明度（０〜１）を記述してジェスチャ認識の進行を反映させ、ジェスチャ認識処理を次第により明らかにしてゆくのに役立たせるために使用される。例えば、グラブの１番目のサブジェスチャが認識され、ヒントがディスプレイ・ウインドウに示されると、ユーザは、ヒントのうちの１つに従うことにより、複合ジェスチャ「グラブして左側にドロップ」を実行する。この複合ジェスチャもまた、認識ユニットによって認識される。ディスプレイ・ウインドウにおけるジェスチャ「グラブして右側にドロップ」および「グラブのみ」のヒントは、図４（ａ）に示されているように消える。同時に、ディスプレイ・ウインドウの不透明度は、図４（ｂ）に示されたようなジェスチャ「グラブして左側にドロップ」の実行の進行とともに、減少する。

図５は、上記複合ジェスチャ「グラブとドロップ」を例にとった、ディスプレイ・コントローラ１０４によって使用されるディスプレイ・ウインドウの不透明度の制御方法を示すフローチャートである。ステップ５０１において、グラブ・ジェスチャがユーザによって実行されるかどうかを調べるための判定が行われる。これは、グラブ・ジェスチャが認識ユニットによって認識されるかどうかを意味する。グラブ・ジェスチャがユーザによって実行されない場合（いいえの場合）は、方法は、ステップ５１０に進み、コントローラは待機する。グラブ・ジェスチャがユーザによって実行される場合は、ステップ５０２において全ての近傍のサブジェスチャのステップおよび現在のサブジェスチャのステップに対する方向ラインまたはドロップのヒントのアルファ・ブレンディング値が１に設定される。すなわち、ディスプレイ・ウインドウ内の全ての情報が明確に表示されている。次に、ステップ５０３において、認識ユニットの認識結果に従って、グラブ・ジェスチャが特定の期間静止した状態を保持しているかどうかを判定する。グラブ・ジェスチャが特定の期間静止した状態を保持していると判定された場合（はいの場合）、すなわち、「グラブのみ」が実行されている場合は、ステップ５０６において全ての近傍のサブジェスチャのステップに対する方向ラインまたはドロップのヒントのアルファ・ブレンディング値が０に設定される。すなわち、ウインドウ内の全ての近傍のサブジェスチャが消える。さらに、ステップ５０３における判定結果がいいえである場合には、方法は、ステップ５０５に進み、グラブ・ジェスチャの移動方向を判定する。認識結果に従ってジェスチャが１つの方向に移動すると、他の方向に対する方向ラインまたはドロップのヒントのアルファ・ブレンディング値がステップ５０７において０に設定される。そして、ステップ５０８において、認識結果に従ってドロップ・ジェスチャが実行される場合には、現在の方向に対する方向ラインまたはドロップのヒントのアルファ・ブレンディング値がステップ５０９において０に設定されるか、次第に０に減少する。その一方で、「グラブのみ」ジェスチャが実行され、ドロップまたは記憶ステップが実行されている場合には、そのヒントのアルファ・ブレンディング値もまた、０に設定されるか、次第に０に減少する。

図６は、本発明の実施形態に従ったジェスチャ認識のための方法を示すフローチャートである。本発明の実施形態に従って、手の位置および手のその他の特徴に基づいて１番目のサブジェスチャが認識されると、どのジェスチャ・コマンドが行われるかについての推定がデータベースにおける全てのジェスチャ定義についての情報に基づいて実行される。次に、１つのウインドウがディスプレイ・スクリーンに現われ、推定されたジェスチャ・コマンドに対するジェスチャおよびヒントを表示する。次に、２番目のサブジェスチャが認識されると、１番目および２番目のサブジェスチャの認識結果に基づいてジェスチャ・コマンドの推定結果の数が変化する。通常、この数は、１番目のサブジェスチャのみに基づくものよりも小さい。上記段落における記載と同様に、新たな推定結果が分析され、コマンドの後続するサブジェスチャの終了の仕方についてのヒントが与えられる。さらに、推定結果の数が減少すると、ウインドウの不透明度もまた、減少する。ウインドウの不透明度の変化は、複合ジェスチャ認識のための別のタイプのヒントであると理解することができる。

図６に示されているように、１番目のサブジェスチャなどのユーザのジェスチャは、ステップ６０１において、ジェスチャ認識ユニット１０６によって認識される。次に、ステップ６０２において、予測器１０５は、ステップ６０１において認識された１つ以上のサブジェスチャに基づいてシステムに対する１つ以上の可能なコマンドを予測する。少なくとも１つの可能なコマンドの後続するサブジェスチャは、ステップ６０３において、ディスプレイ・ウインドウにおけるユーザ・インタフェースによって示される。次に、１つのコマンドのさらなるサブジェスチャが実行されている場合には、ステップ６０４において、ユーザ・インタフェースから他のものが消え、ステップ６０５において、ディスプレイ・ウインドウの不透明度が減少する。次に、ユーザがジェスチャ・コマンドを終了すると、ステップ６０６において、ディスプレイ・ウインドウもまた消える。

本実施形態は、１番目のサブジェスチャおよび２番目のサブジェスチャに基づいて説明しているが、さらなるサブジェスチャの認識およびユーザ・インタフェースに示されたコマンドの後続するサブジェスチャのヒントもまた、本発明の実施形態に適用可能である。さらなるサブジェスチャが受信されない、または、ジェスチャ・コマンドが終了する場合には、スクリーン上でディスプレイ・ウインドウが消える。

上述した内容は、本発明の実施形態を例示しているだけに過ぎず、従って、当業者であれば、本明細書中で明示的に記載されていなくとも、本発明の原理を実施し、本発明の精神および範囲に含まれる多くの代替的な構成を企図することが可能であることが理解できよう。

Claims (15)

1. ジェスチャ認識システムにおけるユーザ・インタフェースであって、
   以前にユーザによって実行され、前記ジェスチャ認識システムによって認識されている少なくとも１つのサブジェスチャおよびその順序に従って、少なくとも１つのジェスチャ・コマンドの後続するサブジェスチャを示すように構成されたディスプレイ・ウインドウを含む、前記ユーザ・インタフェース。
2. 前記後続するサブジェスチャは、前記少なくとも１つのジェスチャ・コマンドを完了させるための前記後続するジェスチャの仕方についての情報と共に、ヒントによって示される、請求項１に記載のユーザ・インタフェース。
3. 前記ジェスチャ認識システムによって認識される少なくとも１つのサブジェスチャのインジケーションもまた、前記ディスプレイ・ウインドウ内の前記ヒントに対応する位置に表示される、請求項２に記載のユーザ・インタフェース。
4. １つのジェスチャ・コマンドの前記後続するサブジェスチャが前記ユーザによって実行され、前記ジェスチャ認識システムによって認識されると、他のジェスチャ・コマンドの後続するサブジェスチャが前記ディスプレイ・ウインドウから消える、請求項１〜３のいずれか１項に記載のユーザ・インタフェース。
5. 前記ヒントおよび少なくとも１つのサブジェスチャの前記インジケーションを有する前記ディスプレイ・ウインドウは、不透明度を有し、当該不透明度は、前記後続するサブジェスチャが前記ユーザによって実行され、前記ジェスチャ認識システムによって認識されていると、次第に減少する、請求項４に記載のユーザ・インタフェース。
6. 前記後続するサブジェスチャは、前にユーザによって実行され、前記ジェスチャ認識システムによって認識された前記少なくとも１つのサブジェスチャと同一である、請求項１〜５のいずれか１項に記載のユーザ・インタフェース。
7. 装置であって、
   以前にユーザによって実行され、ジェスチャ認識システムによって認識されている１つ以上のサブジェスチャおよびその順序に基づいて、当該装置に対する１つ以上の可能なコマンドを予測するように構成されたジェスチャ予測ユニットと、
   ユーザ・インタフェースにおいて前記１つ以上の可能なコマンドの後続するサブジェスチャを示すように構成されたディスプレイと、を含む、前記装置。
8. 前記後続するサブジェスチャは、前記コマンドを完了させるための前記後続するジェスチャの仕方についての情報と共に、ヒントによって前記ユーザ・インタフェースにおいて示される、請求項７に記載の装置。
9. 前記ディスプレイは、さらに、当該装置によって認識される前記１つ以上のサブジェスチャを示すように構成されている請求項７または８に記載の装置。
10. １つの可能なコマンドの前記後続するサブジェスチャがユーザによって実行され、当該装置によって認識されていると、他の可能なコマンドの後続するサブジェスチャが前記ユーザ・インタフェースにおいて消える、請求項７〜９のいずれか１項に記載の装置。
11. 前記ディスプレイにおける前記ヒントおよび１つ以上の可能なコマンドの前記インジケーションは不透明度を有し、当該不透明度は、前記１つ以上の可能なコマンドが前記ユーザによって実行され当該装置によって認識されると次第に減少する、請求項７〜１０のいずれか１項に記載の装置。
12. 装置におけるジェスチャ認識のための方法であって、
    前記装置によって以前に認識された１つ以上のサブジェスチャに基づいて前記装置に対する１つ以上の可能なコマンドを予測するステップと、
    ユーザ・インタフェースによって前記１つ以上の可能なコマンドの後続するサブジェスチャを示すステップと、を含む、前記方法。
13. 前記後続するサブジェスチャは、前記ユーザ・インタフェース内に表示されるヒントによって表示され、前記ユーザによって実行される前記１つ以上のサブジェスチャのインジケーションもまた、前記ユーザ・インタフェース内に表示されている、請求項１２に記載の方法。
14. １つの可能なコマンドの前記後続するサブジェスチャが、前記装置によって認識されていると、前記ユーザ・インタフェースにおける他の可能なコマンドの前記後続するサブジェスチャを削除するステップをさらに含む、請求項１２または１３に記載の方法。
15. 前記ヒントは、前記少なくとも１つのコマンドを完了させるために、前記後続するサブジェスチャの仕方についての情報と共に表示される、請求項１２〜１４のいずれか１項に記載の方法。

Images