JP2008159032A - 操作制御方法およびシステム - Google Patents

Abstract

【課題】操作制御方法とシステムを提供する。
【解決手段】本発明は、タッチ検出手段上の複数のポインタの接触を検出し、動きを検出し、その動きに基づいて操作命令を決定する。本発明の操作制御方法は、タッチ検出手段上の複数のポインタに各々対応する接触を検出するステップ、各接触の動きを検出するステップ及び各接触の動きに基づいて操作命令を決定するステップを含む。本発明の操作制御システムは、タッチ検出手段及びタッチ検出手段上の複数のポインタに対応する接触を検出し、その接触の動きを検出し、動きに基づいて操作命令を決定する処理モジュールを含む。
【選択図】 図１

Description

本発明は、操作制御方法およびシステムに関し、特に、タッチ検出手段（touch-sensitive mechanism）上の複数の接触に基づいて特定のオブジェクトの操作を制御する、タッチ検出手段と統合された操作制御方法およびシステムに関するものである。

近年、いくつかのシステムにおいて使用者が所望の処理、操作を実行するために、タッチ検出手段が提供されている（例えば特許文献１参照）。これらのシステムでは、使用者は、キーパッドを通して命令を入力することなく、タッチ検出手段上に接触することで、直接、制御を行うことができる。
特開２００６−３１７６８２号公報

タッチ検出手段は、タッチセンサーの技術を用いて、タッチ検出手段上のポインタ（使用者の指、またはスタイラスなど）の接触位置を検出することができる。キャパシタンスセンシング技術は、通常のタッチセンサー技術である。行と列に配列された電極マトリクスが静電容量式のタッチ検出手段にセットされ、ポインタがタッチ検出手段の表面に接触、または近接した時、接触位置の静電容量が変えられる。タッチ検出手段の制御ユニットは、静電容量の変化量を検出することができ、検出した変化量をその接触の状態を示す量としての当該接触に対応したセンシング量に変換し、接触位置を特定し、それに応じてその接触が有効かどうかを決定する。

タッチ検出手段の利便性と多様性により、タッチ検出手段は、新たに開発された装置の中で評判の良い、必要な入力インターフェースとなっている。しかし、タッチ検出手段のための従来の操作制御構造は、選択とドラッグ機能のみを提供し、種々の装置やアプリケーションのための制御要求を十分に満たしていない。

本発明は、新たな操作制御方法とシステムを提供する。

操作制御方法の実施例としては、タッチ検出手段上の少なくとも２つのポインタにそれぞれ対応する接触が検出され、タッチ検出手段上の接触の動きが検出され、前記動きに基づいて操作命令が決定される。

操作制御システムの実施例は、タッチ検出手段と処理モジュールを含む。処理モジュールは、タッチ検出手段上の少なくとも２つのポインタにそれぞれ対応する接触を検出する。処理モジュールは、タッチ検出手段上の接触の動きを検出し、動きに基づいて操作命令を決定する。

いくつかの実施例では、タッチ検出手段上の２つのポインタに対応する接触の動きが互いから離れた場合、決定された操作命令は、特定オブジェクトを開ける。タッチ検出手段上の２つのポインタに対応する接触の動きが互いに近寄った場合、決定された操作命令は、特定オブジェクトを閉める。タッチ検出手段上の２つのポインタに対応する接触が交互に現れ、接触の動きが生じない場合、決定された操作命令が特定オブジェクトに人物のステップ（足踏み、歩行）とドラム（太鼓を叩くように物品を叩いたり、足をばたつかせたり、床を踏み鳴らす等の行為）の操作などの特定操作を行わせる。タッチ検出手段上の２つのポインタに対応する接触が交互に現れ、接触の動きが生じた場合、決定された操作命令が特定オブジェクトに人物のスライドなどの特定操作を行わせる。

本発明の操作制御方法とシステムは、有形メディア（ｔａｎｇｉｂｌｅ ｍｅｄｉａ）に統合されたプログラムコードの形式を取ることができる。プログラムコードが機械にロードされて実行された時、この機械は、本発明の方法を実行する装置となることができる。

本発明についての目的、特徴、長所が一層明確に理解されるよう、以下に実施形態を例示し、図面を参照にしながら、詳細に説明する。

図１は、操作制御システムの実施例を表す概略図である。

操作制御システム１００は、タッチ検出手段１１０、処理モジュール１２０、ホストプロセッサ１３０と、表示ユニット１４０を含む。タッチ検出手段１１０は、タッチ表面を有する。この実施例では、タッチ検出手段１１０は、少なくとも二次元センサーを含むがこれを限定するものではない。また、タッチ検出手段１１０は、任意のタッチセンサー技術を用いて、タッチ検出手段上のポインタ（使用者の指、またはスタイラスなど）の接触位置と対応するセンシング量を検出することができる。センシング量は、その接触の状態を示す量であって、例えばタッチ検出手段が静電容量式のタッチパネルである場合には接触による静電容量の変化量を変換して得られる量であり、その静電容量の変化量そのものであってもよい。処理モジュール１２０は、タッチ検出手段上のポインタに対応する接触の動きに基づいて操作命令を決めることができる。ホストプロセッサ１３０は、操作命令に基づいて、特定のオブジェクトに処理、操作、作業（本出願において単に操作と言う場合には、これらを総称するものである。）を行わせることができる。

また、表示ユニット１４０は、特定のオブジェクトと特定のオブジェクトによって実行された操作を表示することができる。いくつかの実施例では、ホストプロセッサ１３０は、表示ユニット１４０を通して一連のフレームを再生し、操作命令を完成することができる。いくつかの実施例では、タッチ検出手段１１０は、表示ユニット１４０の上に貼り付けられるＩＴＯ（インジウムスズ酸化物）の透明なタッチ表面を有することができる。ポインタがタッチ検出手段１１０の表面に接触した時、接触は、特定のオブジェクトの特定部位にそれぞれ対応つけられる。

図２は、表示ユニットの例を表す概略図である。タッチ検出手段１１０は、表示ユニット１４０の任意の面に貼り付けられることができ、図２に示す例ではタッチ検出手段は表示ユニット１４０の表示画面上に貼り付けられている。図２に示す例では、表示ユニット１４０には、両手の端２１０と２２０を有する人物（特定のオブジェクト）２００が表示されている。この実施例において、仮に２本の指が図示のようにタッチ検出手段１１０の表面に接触した時、その接触は、その接触したタッチ検出手段上の位置と表示されている人物２００の表示ユニット１４０上の位置との対応に基づいて、人物２００の両手の端２１０と２２０にそれぞれ対応付けられる。このような方法により、接触の検出と表示とが同期して制御された結果が得られる。なお、いくつかの実施例では、処理モジュール１２０は、タッチ検出手段１１０の制御ユニットであることができる。いくつかの実施例では、処理モジュール１２０は、ＣＰＵまたはマイクロプロセッサなどのコントローラーであることができる。

図３は、操作制御方法の実施例の流れ図である。

ステップＳ３１０では、タッチ検出手段上の指、またはスタイラスなどの少なくとも２つの指の接触が検出される。ステップＳ３２０では、各接触のセンシング量が得られる。ステップＳ３３０では、各センシング量がスレッショルド値を超えるかどうかが判断される。センシング量がスレッショルド値を超えない場合、ポインタが誤ってタッチ検出手段に接触された可能性があり、そのためにこの接触が削除され、手順がステップＳ３１０に戻る。センシング量がスレッショルド値を超える場合、ステップＳ３４０では、２つのポインタに対応する接触の動きが検出される。ステップＳ３５０では、動きに基づいて操作命令が決定される。ステップＳ３６０では、操作命令がホストプロセッサに出力されて実行される。なお、操作命令の実行中、ホストプロセッサ１３０は、表示ユニット１４０に関連した操作を更に表示する。

いくつかの実施例では、各種の操作命令は、タッチ検出手段上のポインタの動きに基づいて決定することができる。例えば、操作命令を決定する方法は、２つの接触の位置の間の第１距離を計算し、続いて、接触が維持された状態で動くかどうかを判断する。接触が維持されているかどうかの判断は、それぞれの接触に対応するセンシング量と、センシング量がスレッショルド値を超えるかどうかによって判断される。
センシング量がスレッショルド値を超える場合、タッチ検出手段の表面に維持されている接触と、２つの接触の位置の間の第２距離が再計算される。そして、第２距離が第１距離より大きいかどうかが判断される。第２距離が第１距離より大きい場合、操作命令は、接触の位置と距離の一方又は両方に基づいて、特定のオブジェクトを開けることであると決定される。第２距離が第１距離より大きくない場合、操作命令は、接触の位置と距離の一方又は両方に基づいて特定のオブジェクトを閉めることであると決定される。
特定のオブジェクトを開ける、または閉めるための方法と程度は、接触の位置と距離の一方又は両方に基づいて決定することができる。いくつかの実施例では、特定のオブジェクトを開ける動作は、ドアを開ける、または両手を広げる操作を含むことができる。
同様に、特定のオブジェクトを閉めるための方法と程度は、接触の位置と距離の一方又は両方に基づいて決定することができる。いくつかの実施例では、特定のオブジェクトを閉める動作は、ドアを閉める、または両手を閉じる操作を含むことができる。

いくつかの実施例では、２つの接触間の距離の変化速度を更に検出して記録することができる。特定オブジェクトを開ける、または閉める方法と程度は、速度に基づいて決定されてよく、速度が異なる場合はその行為（ｂｅｈａｖｉｏｒ）を異ならせることができる。

図４（Ａ）と図４（Ｂ）は、両手を広げる操作例を表す概略図である。

図４（Ａ）に示すように、左右両手の指がタッチ検出手段に接触した時、対応するセンシング量（ＬとＲ）が得られる。５１０は、Ｘ軸のセンシング量の曲線を表しており、５２０は、Ｙ軸のセンシング量の曲線を表している。２つの指の接触位置の間の距離ｄ１は、Ｘ軸の曲線から得られることができる。２つの指がタッチ検出手段に接触したままで動いた場合、２つの指の接触位置の間の新しい距離ｄ２は、Ｘ軸の曲線から再度、得られることができる。この例では、左右両手の指が互いから離れることでｄ２＞ｄ１になり、操作命令は、図４（Ｂ）に示すように、特定のオブジェクト（例えば人物の手）を広げる。同様に、２つの指が互いに近寄った場合、ｄ２＜ｄ１になり、操作命令は、人物の手を閉じる。

３つのポインタを備えるいくつかの実施例では、操作命令を決定する方法は、任意の２つの接触の位置の間の元の距離を計算し、接触が維持された状態で動くかどうかを判断する。接触が位置されているかどうかの判断は、それぞれの接触に対応するセンシング量がスレッショルド値を超えるかどうかによって判断される。センシング量がスレッショルド値を超える場合、任意の２つの接触の間の新しい距離は、再計算され、任意の２つの接触の間の新しい距離が対応する元の距離より小さいかどうか判断する。そうである場合、操作命令は、特定オブジェクトを捕まえることを決定する。特定のオブジェクトを捕まえる方法と程度は、接触位置、接触の間の距離と、または接触の距離変化の速度に基づいて決定されることができる。

図５（Ａ）と５（Ｂ）は、オブジェクトを捕まえる操作例を表す概略図である。

図５（Ａ）に示すように、左指、中指と、右指がタッチ検出手段に接触した場合、対応するセンシング量（Ｌ、Ｍと、Ｒ）が得られる。５１０は、Ｘ軸のセンシング量の曲線を表しており、５２０は、Ｙ軸のセンシング量の曲線を表している。左指と中指の接触位置の間の距離ｄ１、中指と右指の接触位置の間の距離ｄ２と、左指と右指の接触位置の間の距離ｄ３は、Ｘ軸の曲線から得られることができる。３本の指がタッチ検出手段に接触したままで動いた場合、左指と中指の接触位置の間の新しい距離ｄ１１、中指と右指の接触位置の間の新しい距離ｄ２２と、左指と右指の接触位置の間の新しい距離ｄ３３は、Ｘ軸の曲線から再度、得られることができる。この例では、３本の指が互いに近寄ることでｄ１１＜ｄ１、ｄ２２＜ｄ２、またはｄ３３＜ｄ３になり、図５（Ｂ）に示すように、操作命令は、例えば、特定オブジェクトを捕まえる、キャッチ行為（ｃａｔｃｈ ｂｅｈａｖｉｏｒ）であることができる。

いくつかの例では、操作命令を決定する方法は、２つのポインタにそれぞれ対応する接触が交互に現れるかどうかを判断する。そうである場合、接触が現れた時、動いたかかどうかが判断される。動きが生じなかった場合、操作命令が特定オブジェクトに人物のステップ（ｃｈａｒａｃｔｅｒ ｓｔｅｐｐｉｎｇ）またはドラム（ｃｈａｒａｃｔｅｒ ｄｒｕｍｍｉｎｇ）を含む操作例を行わせるように決定される。動きが生じた場合、操作命令が特定オブジェクトに人物のスライド（ｃｈａｒａｃｔｅｒ ｓｌｉｄｉｎｇ）を含む操作例を行わせるように決定される。

図６は、特定操作が人物のステップ／ドラム、または人物のスライドかどうかを決定する方法の実施例の流れ図である。

ステップ６０２では、第１ポインタに対応する接触が検出される。ステップ６０４では、第１ポインタに対応する接触が動くかどうかが判断される。動かない場合（ステップ６０４でＮＯの場合）、ステップ６０６では、第１ポインタに対応する接触が第１時間を超えるかどうかが判断される。超えない場合、手順が終了する。超える場合、ステップ６０８では、第１ポインタに対応する接触の終了（第１ポインタがタッチ検出手段の表面から離れる）が検出される。
ステップ６１０では、第３時間が経過したかどうかが判断される。経過した場合、ステップ６１２では、第２ポインタに対応する接触が検出される。
ステップ６１４では、第２ポインタに対応する接触が第２時間を超えるかどうかが判断される。超えない場合、手順が終了する。超える場合、ステップ６１６では、特定操作が人物のステップまたはドラムとして決定される。
第１ポインタに対応する接触が動いた時（ステップ６０４でＹＥＳの場合）、ステップ６１８では、第１ポインタに対応する接触が第１時間を超えるかどうかが判断される。超えない場合、手順が終了する。超える場合、ステップ６２０では、第１ポインタに対応する接触の終了が検出される。
ステップ６２２では、第３時間が経過したかどうかが判断される。経過した場合、ステップ６２４では、第２ポインタに対応する接触が検出される。
ステップ６２６では、第２ポインタに対応する接触が動くかどうかが判断される。動かない場合、手順が終了する。動く場合、ステップ６２８では、第２ポインタに対応する接触が第２時間を超えるかどうかが判断される。超えない場合、手順が終了する。超える場合、ステップ６３０では、特定操作が人物のスライドとしてとして決定される。

図７（Ａ）と７（Ｂ）は、人物のステップの操作例を表す概略図である。

図７（Ａ）に示すように、第１ポインタは、タッチ検出手段に接触し、対応するセンシング量（Ｌ）を得る。第１ポインタは、時間Ｔ１の後、タッチ検出手段を離れる。時間Ｔ２の後、図７（Ｂ）に示すように、第２ポインタは、タッチ検出手段に接触し、対応するセンシング量（Ｒ）を得る。第２ポインタは、時間Ｔ３の後、タッチ検出手段を離れる。Ｔ１は、所定の第１時間を超えなければならず、Ｔ２は、所定の第３時間を超えなければならず、Ｔ３は、所定の第２時間を超えなければならない。上述の動作が終了した後、人物がステップの行為を行う。

図８（Ａ）と８（Ｂ）は、人物のスライドの操作例を表す概略図である。

図８（Ａ）に示すように、第１ポインタは、タッチ検出手段に接触し、対応するセンシング量（Ｌ）を得る。第１ポインタは、タッチ検出手段に維持されて、Ｐ１からＰ２に動く。第１ポインタの動きは、Ｙ軸５２０のセンシング量の曲線から検出されることができる。第１ポインタは、時間Ｔ１の後、タッチ検出手段を離れる。時間Ｔ２の後、図８（Ｂ）に示すように、第２ポインタは、タッチ検出手段に接触し、対応するセンシング量（Ｒ）を得る。第２ポインタは、タッチ検出手段に維持され、Ｐ３からＰ４に動く。第２ポインタの動きは、Ｙ軸５２０のセンシング量の曲線から検出されることができる。第２ポインタは、時間Ｔ３の後、タッチ検出手段を離れる。同様に、Ｔ１は、所定の第１時間を超えなければならず、Ｔ２は、所定の第３時間を超えなければならず、Ｔ３は、所定の第２時間を超えなければならない。上述の動作が終了した後、人物がスライドの行為を行う。

本発明に係る操作制御方法とシステム、または特定の態様またはその部分は、例えば、フレキシブル磁気ディスク、ＣＤ−ＲＯＭＳ、ハードドライブ、または任意のその他の機械可読な記録媒体に記録された（有形メディア（ｔａｎｇｉｂｌｅ ｍｅｄｉａ）に統合された）プログラムコード（即ち、実行可能命令）の形式を取ることができる。プログラムコードがコンピュータなどの機械にロードされて実行された時、この機械は、本発明の方法を実行する装置となる。
また、本発明の方法は、電線、またはケーブルなどのいくつかの伝送媒体に伝送されるプログラムコードの形式で、光ファイバーによって、または任意のその他の伝送形式によって実施することもでき、プログラムコードがコンピュータなどの機械に受けられ、ロードされて実行された時、この機械は、本発明の方法を実行する装置となる。汎用プロセッサに実施される時、プログラムコードは、プロセッサと組み合わせられ、特定用途向けロジック回路と同じように操作する固有の装置を提供する。

以上、本発明の好適な実施例を例示したが、これは本発明を限定するものではなく、本発明の精神及び範囲を逸脱しない限りにおいては、当業者であれば行い得る少々の変更や修飾を付加することは可能である。従って、本発明が保護を請求する範囲は、特許請求の範囲を基準とする。

操作制御システムの実施例を表す概略図である。 表示ユニットの例を表す概略図である。 操作制御方法の実施例の流れ図である。 両手を広げる操作例を表す概略図である。 オブジェクトを捕まえる操作例を表す概略図である。 特定操作が人物のステップ／ドラム、または人物のスライドかどうかを決定する方法の実施例の流れ図である。 人物のステップの操作例を表す概略図である。 人物のスライドの操作例を表す概略図である。

符号の説明

１００ 操作制御システム
１１０ タッチ検出手段
１２０ 処理モジュール
１３０ ホストプロセッサ
１４０ 表示ユニット
２００ 人物
２１０、２２０ 手の端
２３０、２４０ 指
Ｓ３１０〜Ｓ３６０ ステップ
５１０ Ｘ軸のセンシング量の曲線
５２０ Ｙ軸のセンシング量の曲線
Ｓ６０２〜Ｓ６３０ ステップ
Ｐ１、Ｐ２、Ｐ３、Ｐ４ 位置

Claims (19)

1. タッチ検出手段上の少なくとも２つのポインタにそれぞれ対応する接触を検出するステップ、
   前記タッチ検出手段上の前記各接触の動きを検出するステップ、および
   前記各接触の動きに基づいて操作命令を決定するステップを含む操作制御方法。
2. 前記各ポインタに対応する前記接触の状態を示す量であるセンシング量がスレッショルド値を超えるかどうかを判断するステップ、および
   超えない場合、前記タッチ検出手段上の前記ポインタに対応する前記接触を無視するステップを更に含む請求項１に記載の方法。
3. 前記少なくとも２つの各接触の位置の間の第１距離を計算し、前記接触が維持された状態で動いた場合、前記接触の位置の間の第２距離を再計算するステップ、および
   前記第２距離が前記第１距離を超えるかどうかを判断するステップを更に含む請求項１に記載の方法。
4. 前記第２距離が前記第１距離を超えた場合、前記操作命令は、前記接触の位置またはそれらの距離に基づいて、ドアまたは手を開く操作を含む特定のオブジェクトを開けることであると決定するステップ、および
   前記第２距離が前記第１距離を超えない場合、前記操作命令は、前記接触の位置またはそれらの距離に基づいて、ドアまたは手を閉じる操作を含む特定のオブジェクトを閉じることであると決定するステップを更に含む請求項３に記載の方法。
5. 前記ポインタに対応する前記接触が交互に現れるかどうかを判断し、現れた場合、前記操作命令は、特定オブジェクトに特定操作を行わせるものであると決定するステップ、および
   前記接触が動くかどうかを判断し、動かない場合、人物のステップ操作、及び、太鼓を叩くように物品を叩いたり床を踏み鳴らすドラムの操作を含む特定操作を決定し、動いた場合、人物のスライドの操作を含む特定操作を決定するステップを更に含む請求項１に記載の方法。
6. 前記タッチ検出手段上の前記接触の前記動きの検出は、
   第１ポインタに対応する接触を検出するステップ、
   前記第１ポインタに対応する前記接触の終了を検出するステップ、
   第２ポインタに対応する接触を検出するステップ、および
   前記第２ポインタに対応する前記接触の終了を検出するステップを含み、 前記接触の１つが一度、前記タッチ検出手段上に現れた時に、
   前記第１ポインタに対応する前記接触が第１時間を超えるかどうかを判断するステップ、
   前記第２ポインタに対応する前記接触が第２時間を超えるかどうかを判断するステップ、および
   前記第１ポインタに対応する前記接触が第１時間を超え、前記第２ポインタに対応する前記接触が第２時間を超えた場合、前記操作命令を決定するステップを含む請求項５に記載の方法。
7. 前記第１ポインタに対応する前記接触の終了から前記第２ポインタに対応する前記接触の存在までの間隔が第３時間を超えるかどうかを判断するステップ、および
   超える場合、前記操作命令を決定するステップを更に含む請求項６に記載の方法。
8. 前記少なくとも２つのポインタは、第１ポインタ、第２ポインタと、第３ポインタを含み、
   前記方法は、
   前記第１ポインタと前記第２ポインタに対応する前記接触の位置、前記第２ポインタと前記第３ポインタに対応する前記接触の位置と、前記第１ポインタと前記第３ポインタに対応する前記接触の位置の間の元の距離を計算するステップ、
   前記接触が維持された状態で動く場合、前記第１ポインタと前記第２ポインタに対応する前記接触の位置、前記第２ポインタと前記第３ポインタに対応する前記接触の位置と、前記第１ポインタと前記第３ポインタに対応する前記接触の位置の間の新しい距離を再計算するステップ、
   前記第１ポインタと前記第２ポインタに対応する前記接触の位置、前記第２ポインタと前記第３ポインタに対応する前記接触の位置、または前記第１ポインタと前記第３ポインタに対応する前記接触の位置の間の新しい距離がその間の前記元の距離より小さいかどうかを判断するステップ、および
   小さい場合、特定オブジェクトを捕まえる前記操作命令を決定するステップを更に含む請求項１に記載の方法。
9. 前記操作命令をホストプロセッサに出力するステップ、および
   表示ユニットに特定オブジェクトを表示し、前記ホストプロセッサが前記特定オブジェクトに前記操作命令に対応する動きを前記表示ユニット上において行わせることで前記操作命令を完成するステップを含み、
   前記タッチ検出手段は、前記表示ユニットに貼り付けられ、
   前記接触は、前記特定オブジェクトの所定の部位にそれぞれ対応させて検出する請求項１に記載の方法。
10. タッチ検出手段、および
    前記タッチ検出手段上の少なくとも２つのポインタにそれぞれ対応する接触を検出し、前記タッチ検出手段上の前記接触の動きを検出し、前記動きに基づいて操作命令を決定する処理モジュールを含む操作制御システム。
11. 前記処理モジュールは、前記各ポインタに対応する前記接触の状態を示す量であるセンシング量がスレッショルド値を超えるかどうかを更に判断し、超えない場合、前記タッチ検出手段上の前記ポインタに対応する前記接触を無視する請求項１０に記載のシステム。
12. 前記処理モジュールは、前記少なくとも２つの各接触の間の第１距離を更に計算し、前記接触が維持された状態で動いた場合、前記接触の位置の間の第２距離を再計算し、前記第２距離が前記第１距離を超えるかどうかを判断する請求項１０に記載のシステム。
13. 前記処理モジュールは、前記第２距離が前記第１距離を超えた場合、前記操作命令は、前記接触の位置またはそれらの距離に基づいて、ドアまたは手を開く操作を含む特定のオブジェクトを開けることであると決定し、前記第２距離が前記第１距離を超えない場合、前記操作命令は、前記接触の位置またはそれらの距離に基づいて、ドアまたは手を閉じる操作を含む特定のオブジェクトを閉じることであると決定する請求項１２に記載のシステム。
14. 前記処理モジュールは、前記ポインタに対応する前記接触が交互に現れるかどうかを更に判断し、現れた場合、前記操作命令は、特定オブジェクトに特定操作を行わせるものであると決定し、前記接触が動くかどうかを判断し、動かない場合、人物のステップの操作、及び、太鼓を叩くように物品を叩いたり床を踏み鳴らすドラムの操作を含む特定操作を決定し、動いた場合、人物のスライドの操作を含む特定操作を決定する請求項１０に記載のシステム。
15. 前記処理モジュールは、第１ポインタに対応する接触を検出し、前記第１ポインタに対応する前記接触の終了を検出し、第２ポインタに対応する接触を検出し、前記第２ポインタに対応する前記接触の終了を検出することによって前記タッチ検出手段上の前記接触の前記動きを検出し、前記接触の１つが一度、前記タッチ検出手段上に現れた時に、前記第１ポインタに対応する前記接触が第１時間を超えるかどうかを判断し、前記第２ポインタに対応する前記接触が第２時間を超えるかどうかを判断し、前記第１ポインタに対応する前記接触が第１時間を超え前記第２ポインタに対応する前記接触が第２時間を超えた場合前記操作命令を決定する請求項１４に記載のシステム。
16. 前記処理モジュールは、前記第１ポインタに対応する前記接触の終了から前記第２ポインタに対応する前記接触の存在までの間隔が第３時間を超えるかどうかを更に判断し、超える場合、前記操作命令を決定する請求項１５に記載のシステム。
17. 前記少なくとも２つのポインタは、第１ポインタ、第２ポインタと、第３ポインタを含み、前記処理モジュールは、前記第１ポインタと前記第２ポインタに対応する前記接触の位置、前記第２ポインタと前記第３ポインタに対応する前記接触の位置と、前記第１ポインタと前記第３ポインタに対応する前記接触の位置の間の元の距離を更に計算し、前記接触が維持された状態で動く場合、前記第１ポインタと前記第２ポインタに対応する前記接触の位置、前記第２ポインタと前記第３ポインタに対応する前記接触の位置と、前記第１ポインタと前記第３ポインタに対応する前記接触の位置の間の新しい距離を再計算し、前記第１ポインタと前記第２ポインタに対応する前記接触の位置、前記第２ポインタと前記第３ポインタに対応する前記接触の位置、または前記第１ポインタと前記第３ポインタに対応する前記接触の位置の間の新しい距離がその間の前記元の距離より小さいかどうかを判断し、小さい場合、特定オブジェクトを捕まえる前記操作命令を決定する請求項１０に記載のシステム。
18. ホストプロセッサと表示ユニットを更に含み、前記処理ユニットは、前記操作命令を前記ホストプロセッサに更に出力し、前記ホストプロセッサは、前記表示ユニットに特定オブジェクトを表示し、前記特定オブジェクトに前記操作命令に対応する動きを前記表示ユニット上において行わせることで前記操作命令を完成し、前記タッチ検出手段は、前記表示ユニットに貼り付けられ、前記接触は、前記特定オブジェクトの所定の部位にそれぞれ対応させて検出する請求項１０に記載のシステム。
19. タッチ検出手段上の少なくとも２つのポインタにそれぞれ対応する接触を検出するステップ、
    前記タッチ検出手段上の前記各接触の動きを検出するステップ、および
    前記各接触の動きに基づいて操作命令を決定するステップ
    を含む操作制御方法を装置に実行させるコンピュータプログラムが、当該装置に読み取り可能に記録された記録媒体。

Images