JP2012108885A - 物理モデルに基づくジェスチャ認識 - Google Patents

Abstract

【課題】物理シミュレーション及び状態機械の２つの主要要素を用いるジェスチャ認識を提供する。
【解決手段】モバイル機器においてジェスチャを認識するためのジェスチャ認識システムが、感知したジェスチャに応じてセンサデータを受信する。そのセンサデータは、力または衝撃を含む。力または衝撃が、シミュレートした物理的実体に加えられ、シミュレートした物理的実体の状態が監視される。シミュレートした物理的実体の監視状態に少なくとも基づいた入力がアプリケーションに供される。
【選択図】図８

Description

本発明は、モバイル機器に関し、特に、モバイル機器のためのジェスチャ認識に関する。

一般に、コンピュータシステム及び他の機器のためのジェスチャ認識は、数学アルゴリズムによって人のジェスチャを解釈することを伴う。ジェスチャは、あらゆる身体の動作や状態から発生し、一般には顔や手から発生しうる。サインランゲージを解釈するために、カメラ及びコンピュータによる視覚アルゴリズムを用いて数々の取り組みがなされている。しかし、姿勢、歩き方及び人間行動の識別及び認識もまた、ジェスチャ認識技術の主題である。

一種のジェスチャ認識は、ユーザーが保持したり、操作したりするコントローラまたは携帯／モバイル機器に依存する。これらのコントローラは、身体の延長部分として働き、これにより、ジェスチャが行われると、その動作のいくつかをソフトウェアによって好都合に捕らえることができる。マウスジェスチャは、その一例であり、マウスの動きと、人の手によって描かれるシンボルに相関関係がある。別の例は、任天堂から市販されているＷｉｉ（登録商標）リモートであり、加速度の経時変化を学習してジェスチャを表すことができる。一般に、これらの方法は、ジェスチャを認識するために加速度計データの統計解析または信号処理を実行する。
しかし、統計解析は通常、例えば、ビデオゴルフゲームと対話するコントローラを使用する場合、ゴルフクラブを振るときの動作などの単一種類の動作に特化していることが、１つの欠点である。

本発明の一実施形態は、モバイル機器においてジェスチャを認識するジェスチャ認識システムである。システムは、モバイル機器において感知したジェスチャに応じてセンサデータを受信する。センサデータは、力または衝撃を含む。力または衝撃は、シミュレートした物理的実体に加えられ、シミュレートした物理的実体の状態が監視される。入力は、シミュレートした物理的実体の監視状態に少なくとも基づいて、アプリケーションに提供される。

本発明の一実施形態によるモバイル機器の斜視図 本発明の一実施形態によるジェスチャ認識システムのブロック図 本発明の一実施形態でシミュレートした物理的実体の一例の説明図 一実施形態によるボールをシミュレートした運動を示す説明図 一実施形態に従って、手の動作／ジェスチャによって空間で動かされるモバイル機器の斜視図 一実施形態に従ってジェスチャを認識するために、シミュレートした物理的実体を監視する有限状態機械または「オブザーバ」のブロック図 一実施形態に従って、２つの閾値を含むコンテナ内のシミュレートした物理的実体を示す説明図 アプリケーションと連動してジェスチャを認識する場合の一実施形態によるジェスチャ認識モジュールの機能に関するフローチャート

本発明の一実施形態として、アプリケーションに機能を追加し、ユーザインタフェースを提供するためにジェスチャ認識を組み込んだモバイル機器が挙げられる。
この機器は、シミュレートした物理系と、物理系の監視によって決まる状態遷移を有する状態機械とを含む。各状態は、認識したジェスチャに対応させてもよく、認識したジェスチャに基づいて触覚効果を生成してもよい。

図１は、本発明の一実施形態によるモバイル機器５０の斜視図である。図に示すモバイル機器５０は携帯電話である。しかし、他の実施形態における機器５０は、ポータブルデジタルアシスタント（ＰＤＡ）、ポータブルメディアプレーヤ、ポータブルゲーム機などを含むあらゆる種類の携帯端末であってよい。
機器５０は、ユーザーと、機器５０において実行するソフトウェアアプリケーションとを相互作用させることが可能なユーザインタフェース（ＵＩ）６０を含む。さらに、機器５０は、手５５を使って機器５０を操作するなどの意味のある方法で、ユーザーと機器５０及びＵＩ６０が相互作用することが可能なジェスチャ認識システム（図示せず）を含み、以下に、さらに詳細を開示する。

図２は、本発明の一実施形態によるジェスチャ認識システム１０のブロック図である。
システム１０は、図１のモバイル機器５０の一部であり、ジェスチャ認識機能を提供する。システム１０の機能は、単一のシステムとして示しているが、分散システムとして実装することもできる。システム１０は、情報を通信するためのバス１２または他の通信機構と、バス１２に接続され、情報を処理するためのプロセッサ２２とを含む。プロセッサ２２は、あらゆる種類の一般目的用または特定目的用のプロセッサであってよい。さらに、システム１０は、情報と、プロセッサ２２によって実行される命令とを保存するメモリ１４を含む。メモリ１４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、磁気ディスクもしくは光ディスクなどの静的記憶装置または他のあらゆる種類のコンピュータ可読媒体のあらゆる組み合わせから成ることができる。

コンピュータ可読媒体は、プロセッサ２２によってアクセスできるあらゆる利用可能な媒体であってよく、揮発性媒体、不揮発性媒体、取り外し可能な媒体ならびに取り外し不可能な媒体及び通信媒体を含む。通信媒体は、搬送波または他の搬送機構などの変調されたデータ信号に、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、あらゆる情報配信媒体を含む。

本実施例では、メモリ１４は、プロセッサ２２によって実行される場合に機能を提供するソフトウェアモジュールを保存する。モジュールは、機器５０の他の部分と同じように、システム１０にオペレーティングシステム機能を提供するオペレーティングシステム１５を含む。さらに、モジュールは、ユーザーのジェスチャを認識するジェスチャ認識モジュール１６を含み、以下に、さらに詳細に開示する。システム１０は通常、触覚効果を生成するアプリケーションや、アプリケーションへの入力として認識したジェスチャを使用できるように、モジュール１６と対話するアプリケーションなどの追加機能を含むために、１または複数の追加アプリケーションモジュール１８を含むことができる。

システム１０は、リモートソースからデータを送信及び／または受信する実施形態では、赤外線、無線、Ｗｉ−Ｆｉ（登録商標）またはセルラネットワーク通信などの移動無線ネットワーク通信を提供するネットワークインタフェースカードなどの通信装置２０をさらに含む。他の実施形態では、通信装置２０は、イーサネット（登録商標）接続またはモデムなどの有線ネットワーク接続を提供する。

さらに、プロセッサ２２は、ユーザーに対して画像表現またはユーザインタフェースを表示するための液晶ディスプレイ（ＬＣＤ）などのディスプレイ２４に、バス１２を介して接続される。ディスプレイ２４は、プロセッサ２２から信号を送受信するように構成されたタッチスクリーンなどのタッチセンサ式入力装置であってよく、マルチタッチのタッチスクリーンであってよい。

さらに、システム１０は、１または複数のアクチュエータ２６を含む。プロセッサ２２は、触覚効果を順に出力するアクチュエータ２６に、触覚効果に関連した触覚信号を送信してもよい。アクチュエータ２６は、例えば、電気モータ、電磁アクチュエータ、ボイスコイル、圧電アクチュエータ、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（ＥＲＭ）またはリニア振動アクチュエータ（ＬＲＡ）であってよい。

さらに、システム１０は、１または複数のセンサ２８を含む。センサ２８は、加速度計、ジャイロスコープ、全地球測位システム（ＧＰＳ）センサ、タッチセンサ式入力装置（例えば、タッチスクリーン、タッチパッド）、テクスチャスタイラス、画像センサまたはいくつかの他の種類のセンサを含んでよい。センサ２８は、加速、傾斜、慣性または位置の変化を検知するように構成してもよい。また、センサ２８は、位置センサ、回転速度センサ、光センサ、圧力センサ、テクスチャセンサ、カメラ、マイクロホンまたは他の種類のセンサを含んでもよい。

図１のモバイル機器５０が、ジェスチャの結果としてユーザーによって動かされると、センサ２８は、これらの動きを検知し、機器５０の動きに少なくとも一部基づいてセンサ信号を生成することができる。ジェスチャは、加速度計、ジャイロスコープまたはいくつかの他のセンサによって測定される三次元ジェスチャを含んでもよい。三次元ジェスチャは、回転、軽打、突きまたはその他の方法で機器全体５０を動かすことを含んでもよい。

本実施例では、ジェスチャ認識システム１０は、モバイル機器５０の物理動作によって力を受ける物理的実体をシミュレートし、「オブザーバ」は、ジェスチャを判定するために、シミュレートした物理的実体の状態を追跡する。判定されたジェスチャは、入力として関連ソフトウェアアプリケーションに提供可能であり、ジェスチャに応じてユーザーにフィードバックを与えるように、アプリケーションに触覚効果を生成させることができる。物理シミュレーションは、認識されるジェスチャに類似したものであってよく、１次元世界における質点を有する単一の実体程度の単純なものであってよく、あるいは、用途に応じてさらに複雑なものであってよい。

図３は、本発明の一実施形態でシミュレートした物理的実体の一例に関するブロック図である。
この例では、ジェスチャ認識システム１０は、ＵＩ６０に画像で示す壁面スイッチなどの「スイッチ」が上／オンまたは下／オフであるかを判定するために、ジェスチャを認識する。本実施例では、シミュレートした物理的実体は、チューブまたはコンテナ１０６に入ったボール１０２である。ボール１０２は、ボール１０２がスライド上にあるかのように、矢印１０４で示す上下運動に制限される。ボール１０２は、常に、軸ｘ（ｘ）と速度（ｖ）、即ち（ｘ，ｖ）に関する位置によって特徴付けられる。

図４は、一実施形態によるボール１０２をシミュレートした運動を示す図である。
力が加わっていない場合、ボール１０２は、線１０５で示すコンテナ１０６の中心に留まっている。ポテンシャル関数Ｕ（ｘ）の空間導関数によって表されるように、一定のバックグラウンド力がボール１０２に加わる。図４に示すポテンシャルでは、コンテナ１０６の中心に正味ゼロのバックグラウンド力がある。シミュレートした物理系では、下向き方向に加わる力によって、ポテンシャルＵ（ｘ）の勾配に従い、ボール１０２がコンテナ１０６の底部に摺動する。同じように、力が上向き方向に加わると、ボール１０２はコンテナ１０６の上部に摺動する。加わる力は、ポテンシャル関数Ｕ（ｘ）の導関数ｄ／ｄｘとして特徴付けることができ、これは、各ｘで実体１０２に加わる力であり、ｘは実体の空間位置である。この力は、図４の例のように線形であってよく、周期多様体（例えば、ｘが角度の場合）、あらゆる他の関数Ｕ（ｘ）、または、パラメータ化された群の関数Ｕ（ｘ，ｐ）（式中、ｐはパラメータ）であってもよい。バックグラウンド力の特定は、アルゴリズムが捕らえるジェスチャの種類を判定するのに有用である。

図５は、一実施形態に従って、例えば、手の動作／ジェスチャによって空間で動かされるモバイル機器５０の斜視図である。
図３及び４の例に関しては、加速度計がＹ軸（軸１１０）方向の加速度を測定するのは、これがＵＩ６０に示すスイッチをオンまたはオフに軽打するジェスチャに関係している方向であるからである。加速度は、「ａ_ｙ」で示す。

図６は、一実施形態に従ってジェスチャを認識するために、シミュレートした物理的実体１０２を監視する有限状態機械６００または「オブサーバ」のブロック図である。
本実施例では、図６の有限状態機械６００の機能及び図８のフローチャートは、メモリまたは他のコンピュータ可読媒体もしくは有形媒体に保存され、プロセッサによって実行されるソフトウェアによって実施される。
他の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの使用による）またはハードウェアとソフトウェアのあらゆる組み合わせによって実行することができる。

図７は、一実施形態に従って、２つの閾値ｘ（ｘ_ｕｐ及びｘ_ｄｏｗｎ）を含むコンテナ１０６内のシミュレートした物理的実体を示す。閾値ｘは、シミュレートしたスイッチが上または下にあるかを判定するために、有限状態機械６００によって使用される。

６０２では、実体１０２は、位置ｘ＝０及び速度ｖ＝０に初期化される。

６０４では、実体１０２の位置ｘと速度ｖが監視される。本実施例では、以下の擬似コードが、６０４の監視状態を実装する。
ｇｅｔ ｓｅｎｓｏｒ ｄａｔａ（）
ｃｏｎｖｅｒｔ ｓｅｎｓｏｒｓ ｔｏ ｆｏｒｃｅｓ（）
ａｐｐｌｙ ｆｏｒｃｅｓ ｔｏ ｏｂｊｅｃｔ（）
ｔｉｍｅ ｓｔｅｐ ｐｈｙｓｉｃｓ（）
ｉｆ（ｃｏｌｌｉｓｉｏｎ），ｐｌａｙ ｈａｐｔｉｃ ｅｆｆｅｃｔ
ｏｂｓｅｒｖｅ ｐｈｙｓｉｃａｌ ｓｔａｔｅ（）
上記の擬似コードは、センサ２８からセンサデータを得て、シミュレートした物理的実体１０２の力または衝撃にセンサデータをマッピングし、数値積分器を使用して、力または衝撃をシミュレートし（ｔｉｍｅ ｓｔｅｐ ｐｈｙｓｉｃｓ）、実体の位置と速度軌道を算出する。力によって、実体１０２がコンテナ１０６の端部に衝突する場合、本実施例では、衝突を知らせる振動などの触覚効果を生成する。以下に、上記の擬似コードの機能の実装例をいくつか示す。

Ｃｏｎｖｅｒｔ ｓｅｎｓｏｒｓ ｔｏ ｆｏｒｃｅｓ（）
本実施例では、加速度値ａ_ｙは、一連の増分閾値に対して値を比較することによって、速度衝撃にマッピングされる。特定の閾値を超えていて、次に高い閾値未満の加速度であれば、シミュレートした物理的実体１０２の衝撃（速度の不連続変化）を生成することになる。

Ａｐｐｌｙ ｆｏｒｃｅｓ ｔｏ ｏｂｊｅｃｔ（）
本実施例では、力は、ニュートンの運動の法則を使用して力の和に加算される。

また、任意に、シミュレートした物理的実体に連続力を加える重力などの力場があってもよい。この力場は、センサに関連していてもよく、シミュレーションに結びつくＵＩ要素に何らかの方法で関係するポテンシャル障壁を実体にもたらすように設計されてもよい。

Ｔｉｍｅ ｓｔｅｐ ｐｈｙｓｉｃｓ（）
本実施例では、シミュレートした物理的実体の位置及び速度を算出するために、前進オイラー法、ルンゲクッタ法または後退微分公式（ＢＤＦ（登録商標））などの標準の数値積分法が使用される。

Ｃｏｌｌｉｓｉｏｎｓ
実体の衝突は、シミュレーションコンテナ１０６の及ぶ範囲に対する位置を監視することによって算出される。実体のｘ値が、シミュレートしたコンテナの端部からシミュレートした円の半径未満である場合は、実体は境界に衝突したと考えられる。この衝突により、実体がシミュレートしたコンテナの物理的限界を超えて運動しないように、必要に応じてさらに力または衝撃が生成される。いくつかの実施形態では、境界との衝突または対象とする他の位置または速度に応じて、モバイル機器が内部に実体を含む印象をユーザーに与える触覚フィードバックを誘発してもよい。

また、木製の傾斜、鋼製の傾斜または他の材料の上を転がるボールをシミュレートするかのように、実体が動作するような触覚フィードバックを生成してもよい。シミュレートした傾斜の幾何学的特徴は、ポテンシャル関数Ｕ（ｘ）の変動であると考えることができ、ボールがポテンシャルによって動作するような触知フィードバックをもたらすことができる。

６０４では、実体１０２の位置がｘ_ｄｏｗｎ未満の場合は、６０６で「下の状態」が入力され、スイッチは押し下げられているとみなされる。「下」イベントが、図２のプロセッサ２２に送信され、アプリケーションへの入力として提供され、スイッチが下がることをＵＩ６０に表示させる。さらに、本実施例では、プロセッサ２２は、スイッチが「下の状態」に動いたことを示すために、アクチュエータ２６に振動などの触覚効果を生成させる。その後、フローは６０４に戻る。

６０４では、実体１０２の位置がｘ_ｕｐを超えている場合は、６０８で「上の状態」が入力され、スイッチは押し上げられているとみなされる。「上」イベントが、図２のプロセッサ２２に送信され、アプリケーションへの入力として提供され、スイッチが上がることをＵＩ６０に表示させる。さらに、本実施例では、プロセッサ２２は、スイッチが「上の状態」に動いたことを示すために、アクチュエータ２６に振動などの触覚効果を生成させる。その後、フローは６０４に戻る。

図に示すように、上記の例において、１種類以上の触覚効果を生成してもよい。一方の種類の触覚効果によって、スイッチが上の状態から下の状態に、あるいはその逆に動作したことを知らせる。もう一方の触覚効果では、ボール１０２がコンテナ１０６の端部と衝突したかどうかなど、監視状態よりむしろ実体／ボール１０２の物理状態を知らせる。

他の実施形態では、シミュレートした物理的実体は、ＵＩ６０でシミュレートした物理的実体に対応または実質的に類似している。例えば、ＵＩ６０及びその基本的なアプリケーションは、ユーザーが、ページをめくるジェスチャでページを変えることができるフリップブックを表示してもよい。この例では、シミュレートした物理的実体１０２はフリップブックであると考えられ、オブザーバ６００はモバイル機器５０に加わる力に応じてシミュレートしたフリップブックの状態を監視することになる。その動きによって、シミュレートしたフリップブックのページをめくることになる場合、ＵＩ６０で表示されるフリップブックはめくられるページを示すことになり、触覚効果を生成してめくられるページを示してもよい。

別の実施形態では、ＵＩ６０は、ユーザーのジェスチャによって上または下にスクロールできる連絡先リストを表示する。連絡先リストの一部のみが一度に提示され、ユーザーはモバイル機器５０をめくり上げ、あるいは、めくり下げてリストのスクロールを開始することができる。ユーザーがモバイル機器５０を止めると、スクロールは、減速し、最終的には停止する。

この実施形態では、シミュレートした物理装置は、実体がラチェッティング部に沿って滑り降り、最終的には、速度を落としてスロットに入るラチェッティング装置であってよい。このシミュレートした物理装置は、ボールである実体を備えるルーレット盤と類似していてもよい。オブザーバは、回転している状態と、実体／ボールが、スクロールの減速方法を判定するタイミングで、最終的にスクロールを止めようとするところに入る状態とを監視することができる。触覚効果は、ラチェッティングを反映するように生成することができる。連絡先リストの端部に達すると、リストが逆方向にスクロールし始めるように、跳ね返りをシミュレートすることができる。

他の実施形態では、ポテンシャル関数Ｕ（ｘ）は、特定の時間周波数で装置が上下運動することを必要とする反復ジェスチャに対応しうるｓｉｎ（ｘ）などの周期関数であってよい。さらに、システムは、二次元であり、２つの加速度計信号（すなわちａ_ｘ及びａ_ｙ）からセンサ入力を取り込むことが可能である。そのようなシステムは、特定の状態を達成するように、二次元のさらに複雑な空間運動を必要としてもよい。これは、振動、傾転及び周期的な空間運動に反応しうるメディアプレーヤなど、さらに多くの基本制御を備えるアプリケーションのジェスチャ制御に有用でありうる。

別の実施形態では、物理系は、マッピングさせる多次元センサによる複数のポテンシャル関数のカルテシアン積でありうる。上記の実施形態のように、このシステムは、さまざまな複雑な空間運動または他の感知されたジェスチャを可能にし、ゲーム、生産性アプリケーション、電話ダイヤラなどを含む複雑なＵＩの制御を提供する。

図８は、アプリケーションと連動してジェスチャを認識する場合の一実施形態によるジェスチャ認識モジュール１６の機能に関するフローチャートである。

８０２では、シミュレートした物理的実体を作製する。本実施例では、シミュレートした物理的実体は、アプリケーションによって実装した実体に関係する。例えば、アプリケーションがＵＩ上のフリップブックの表示部である場合、シミュレートした物理的実体は、フリップブックであってよい。

８０４では、モバイル機器を動かす手などのジェスチャに応じて、シミュレートした物理的実体に力または衝撃を加える。モバイル機器のセンサによって、力または衝撃をセンサデータの形式で生成する。

８０６では、シミュレートした物理的実体の、力に応じた状態を監視する。本実施例では、オブザーバは有限状態機械である。

８０８では、シミュレートした物理的実体の状態変化に基づいてアプリケーションに入力を提供する。アプリケーションは、機能を提供するためにこの入力を用いることができ、それに応じて、１または複数の触覚効果を生成してもよい。

以上のように、本実施例では、物理シミュレーション及び状態機械の２つの主要要素を用いるジェスチャ認識を提供する。物理シミュレーションは、認識されるジェスチャに類似したものであってよく、１次元世界における質点を有する単一の実体程度の単純なものであってよく、あるいは、用途に応じてさらに複雑なものであってよい。システムの状態機械構成要素は、有限状態機械インフラストラクチャとオブザーバ構成要素とから成る。オブザーバ構成要素は、物理シミュレーションの１または複数の物理パラメータを監視し、これらを用いて、ＵＩ要素、アプリケーションの状態または他のジェスチャの応答への変化をもたらしうる状態遷移を誘発する。さらに、状態遷移は、離散的であり、あるいは、監視される物理パラメータの１または複数の関数である多様な触覚聴覚フィードバックを生成してもよい。
最後に、各状態は実体に加わる力である関数Ｕ（ｘ）を変更してもよく、あるいは、他の変化を物理系に導入してもよい。例えば、装置の傾斜角を用いてパラメータ化された群の関数Ｕ（ｘ）から関数を選択することが可能である。得られる結果は、複雑な統計解析に依存せず、アプリケーションに特異的に適合しないジェスチャ認識のための一般的なフレームワークである。

本明細書にいくつかの実施例を明確に示し記載した。本発明の趣旨から逸脱しない範囲で、実施形態の変更や変形が可能である。

５０ モバイル機器
５５ 手
６０ ユーザインタフェース
１０２ ボール
１０４ 矢印
１０５ 線
１０６ コンテナ
１１０ 軸
６００ 有限状態機械

Claims (17)

1. コンピュータで可読な媒体であって、その中に命令が保存されていて、その命令は、プロセッサによって実行されると、そのプロセッサにモバイル機器においてジェスチャ認識を実行させる命令である構成において、
   ジェスチャ認識が、
   シミュレートした物理的実体を作製し、
   モバイル機器において、感知したジェスチャに応じてセンサデータを受信し、そのセンサデータには、力または衝撃を含み、
   その力または衝撃を、シミュレートした物理的実体に加え、
   加えた力または衝撃に応じて、シミュレートした物理的実体の状態を監視し、
   シミュレートした物理的実体の監視状態に少なくとも基づいた入力を、アプリケーションに供する
   ことを特徴とするコンピュータ可読媒体。
2. アプリケーションへの入力が、ユーザインタフェースとの対話を含む
   請求項１に記載のコンピュータ可読媒体。
3. ユーザインタフェースが、シミュレートした物理的実体に実質的に類似する画像を表示する
   請求項２に記載のコンピュータ可読媒体。
4. ユーザインタフェースが、対話に応じて変更される画像を表示し、その画像が、押ボタン、スライダまたはスクロールリストの少なくとも１つを含む
   請求項２に記載のコンピュータ可読媒体。
5. アプリケーションが、入力に応じて触覚効果を生成する
   請求項１に記載のコンピュータ可読媒体。
6. 触覚効果が、シミュレートした物理的実体の監視状態のフィードバックを含む
   請求項５に記載のコンピュータ可読媒体。
7. 触覚効果が、シミュレートした物理的実体の物理状態のフィードバックを含む
   請求項５に記載のコンピュータ可読媒体。
8. 触覚効果が、モバイル機器において、アクチュエータによって生成される振動を含む
   請求項５に記載のコンピュータ可読媒体。
9. シミュレートした物理的実体が、コンテナ内のボールであり、１次元運動に拘束される
   請求項１に記載のコンピュータ可読媒体。
10. 力または衝撃が、加速度計によって感知される
    請求項１に記載のコンピュータ可読媒体。
11. アプリケーションが、監視状態をジェスチャとして認識する
    請求項１に記載のコンピュータ可読媒体。
12. コンピュータに実装され、モバイル機器においてジェスチャ認識を実行する方法であって、
    シミュレートした物理的実体を作製し、
    モバイル機器において、感知したジェスチャに応じてセンサデータを受信し、そのセンサデータには、力または衝撃を含み、
    その力または衝撃を、シミュレートした物理的実体に加え、
    加えた力または衝撃に応じて、シミュレートした物理的実体の状態を監視し、
    シミュレートした物理的実体の監視状態に少なくとも基づいた入力を、アプリケーションに供する
    ことを特徴とするコンピュータ実装方法。
13. アプリケーションが、入力に応じて触覚効果を生成する
    請求項１２に記載のコンピュータ実装方法。
14. シミュレートした物理的実体が、コンテナ内のボールであり、１次元運動に拘束される
    請求項１２に記載のコンピュータ実装方法。
    アプリケーションが、監視状態をジェスチャとして認識する
    請求項１２に記載のコンピュータ実装方法。
15. プロセッサと、プロセッサに接続されるメモリと、プロセッサに接続されジェスチャを感知するセンサとを備えたシステムであって、
    メモリが、命令を含み、その命令がプロセッサによって実行されると、
    シミュレートした物理的実体を作製し、
    ジェスチャに応じてセンサから力を受信し、
    その力を、シミュレートした物理的実体に加え、
    加えた力に応じて、シミュレートした物理的実体の状態を監視し、
    シミュレートした物理的実体の監視状態に少なくとも基づいた入力を、アプリケーションに供する
    ことを特徴とするシステム。
16. プロセッサに接続されるアクチュエータを備え、
    アプリケーションが、入力に応じてアクチュエータに触覚効果を生成させる
    請求項１５に記載のシステム。
17. シミュレートした物理的実体が、コンテナ内のボールであり、１次元運動に拘束される
    請求項１５に記載のシステム。

Images