JP2013510370A - シングルタッチタッチ面上でマルチタッチジェスチャを実施する方法 - Google Patents

シングルタッチタッチ面上でマルチタッチジェスチャを実施する方法 Download PDF

Info

Publication number
JP2013510370A
JP2013510370A JP2012537895A JP2012537895A JP2013510370A JP 2013510370 A JP2013510370 A JP 2013510370A JP 2012537895 A JP2012537895 A JP 2012537895A JP 2012537895 A JP2012537895 A JP 2012537895A JP 2013510370 A JP2013510370 A JP 2013510370A
Authority
JP
Japan
Prior art keywords
touch event
stored
touch
location
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012537895A
Other languages
English (en)
Inventor
スリ・ヴェンカテシュ・ゴーダーヴァリ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2013510370A publication Critical patent/JP2013510370A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Abstract

マルチタッチでないコンピューティングデバイスのタッチ面上のマルチタッチによる対話を認識し処理することによってマルチタッチ機能を活動化する方法。コンピューティングデバイスは、第1のタッチイベントの発生位置からのジャンプを検出して、描かれているタッチジェスチャを判定することができる。仮想タッチイベントは、検出されて記憶される。数式を用いて、初期およびその後の仮想タッチイベントの発生位置に基づいてパラメータを計算することができる。これらのパラメータに基づいて、ズームまたは回転機能などのマルチタッチ機能が決定される。変換係数を決定し、画像ディスプレイに適用することができる。

Description

本発明は、一般にコンピューティングシステム用のユーザインターフェースシステムに関し、より詳細にはタッチセンシティブなユーザインターフェース面を用いたジェスチャリングに関する。
コンピューティングデバイスとのマルチタッチによる対話は、近年かなりの注目を受けている。今日、マルチタッチタッチセンシティブデバイスは、携帯情報端末(PDA)およびラップトップコンピュータなどの多くのポータブルコンピューティングデバイスに見られる。これらのタッチセンシティブデバイスは、ユーザがマルチタッチジェスチャを用いて、表示画像のズームまたは回転などの機能を行うことを可能にする。しかし現在利用可能なマルチタッチ準拠のタッチセンシティブデバイスには多くの欠点がある。たとえばマルチタッチジェスチャを認識することができるタッチセンシティブデバイスは、現在は製造および実施にコストがかかる特殊な技術およびハードウェアを必要とする。さらにこの特殊な技術は、大多数のコンピューティングデバイスで用いられる多くの現在利用可能なタッチ面デバイスと互換性がない。結果として、現在利用可能なマルチタッチ技術は新しく高価であるので、市場にすでにある大多数のコンピューティングデバイスはマルチタッチ能力を有しない。
様々な態様は、タッチ面ユーザ入力デバイスを有するコンピューティングデバイス上でマルチタッチジェスチャを実施する方法を含み、方法は、タッチ面上の第1のタッチイベントを検出するステップと、タッチ面上の第1のタッチイベントの発生位置を記憶するステップと、タッチアップイベントを検出することなしにタッチ面上のタッチイベントの発生位置のジャンプを検出するステップと、検出したジャンプの後のタッチイベントの発生位置を記憶するステップと、新しいタッチイベントの発生位置を取得するステップと、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップと、決定したグラフィカルユーザインターフェース機能を実施するステップとを含む。
方法の様々な態様では、決定されるグラフィカルユーザインターフェース機能は、たとえば変換機能、画像ズーム変換機能、および画像回転変換機能とすることができる。決定したグラフィカルユーザインターフェース機能が変換機能である態様では、方法はさらに、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて変換係数を決定するステップを含むことができる。決定したグラフィカルユーザインターフェース機能が画像ズーム変換機能である態様では、方法はさらに、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて拡大変換係数を決定するステップを含むことができ、決定したグラフィカルユーザインターフェース機能を実施するステップは、決定した拡大変換係数に基づいて、表示された画像にズーム拡大を適用するステップを含む。決定したグラフィカルユーザインターフェース機能が画像回転変換機能である態様では、方法はさらに記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて回転変換係数を決定するステップを含むことができ、決定したグラフィカルユーザインターフェース機能を実施するステップは、決定した回転変換係数に基づいて、表示された画像を回転するステップを含む。
方法の様々な態様では、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップは、多様なやり方で達成することができる。一態様では、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップは、記憶された第1のタッチイベントの発生位置から検出したジャンプの後の記憶されたタッチイベントの発生位置までの距離と、記憶された第1のタッチイベントの発生位置から新しいタッチイベントの発生位置までの距離との差を計算するステップを含むことができる。一態様では、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップは、記憶された第1のタッチイベントの発生位置から検出したジャンプの後の記憶されたタッチイベントの発生位置までの直線と、記憶された第1のタッチイベントの発生位置から新しいタッチイベントの発生位置までの直線との間の角度を計算するステップを含むことができる。他の態様では、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップは、記憶された第1のタッチイベントの発生位置から検出したジャンプの後の記憶されたタッチイベントの発生位置までの距離と、記憶された第1のタッチイベントの発生位置から新しいタッチイベントの発生位置までの距離との差を計算するステップと、記憶された第1のタッチイベントの発生位置から検出したジャンプの後の記憶されたタッチイベントの発生位置までの直線と、記憶された第1のタッチイベントの発生位置から新しいタッチイベントの発生位置までの直線との間の角度を計算するステップとを含むことができる。他の態様では、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップは、オペレーティングシステムによって、またはアプリケーションプログラミングインターフェース(API)によって行うことができる。他の態様では、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップは、記憶された第1のタッチイベントの発生位置、および検出したジャンプの後の記憶されたタッチイベントの発生位置に基づいて第2のタッチのタッチ位置を推定するステップを含むことができる。他の態様では、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップは、記憶された第1のタッチイベントの発生位置から検出したジャンプの後の記憶されたタッチイベントの発生位置までの第1の距離を計算するステップと、記憶された第1のタッチイベントの発生位置から新しいタッチイベントの発生位置までの第2の距離を計算するステップと、第1の距離が第2の距離と異なるかどうかを判定するステップと、第1の距離と第2の距離が異なる場合はグラフィカルユーザインターフェース機能はズーム変換機能であると決定するステップと、第2の距離と第1の距離の比に基づいて拡大変換係数を計算するステップとを含むことができ、決定したグラフィカルユーザインターフェース機能を実施するステップは、計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用するステップを含む。他の態様では、記憶された第1のタッチイベントの発生位置、検出したジャンプの後の記憶されたタッチイベントの発生位置、および新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップは、第1のタッチの記憶位置から検出したジャンプの後の記憶されたタッチイベントの発生位置までの距離に基づいて、記憶された第1のタッチイベントの発生位置から第2のタッチ位置までの第1の距離を計算するステップと、第1のタッチの記憶位置から新しいタッチイベントの発生位置までの距離に基づいて、記憶された第1のタッチイベントの発生位置から新しい第2のタッチ位置までの第2の距離を計算するステップと、第1の距離が第2の距離と異なるかどうかを判定するステップと、第1の距離と第2の距離が異なる場合は、グラフィカルユーザインターフェース機能はズーム変換機能であると決定するステップと、第2の距離と第1の距離の比に基づいて拡大変換係数を計算するステップとを含むことができ、決定したグラフィカルユーザインターフェース機能を実施するステップは、計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用するステップを含む。
他の態様ではコンピューティングデバイスは、プロセッサと、プロセッサに結合されたユーザインターフェースタッチ面デバイスと、プロセッサに結合されたメモリと、プロセッサに結合されたディスプレイとを含み、プロセッサは、プロセッサ実行可能命令を用いて様々な態様の方法を行うように構成される。
他の態様ではコンピューティングデバイスは、様々な態様の方法の処理機能を達成する手段を含む。
他の態様ではコンピュータプログラム製品は、様々な態様の方法のプロセスを達成するための少なくとも1つの命令が記憶されたコンピュータ可読媒体を含む。
本明細書に組み込まれその一部を構成する添付の図面は、本発明の例示の態様を示す。上述の全体的な説明および以下の詳細な説明と共に、図面は本発明の特徴を説明するのに役立つ。
非マルチタッチタッチ面入力デバイス上のマルチタッチジェスチャの処理を示す、モバイル装置の正面図である。 様々な態様のマルチタッチジェスチャを実施する例示の方法の処理フロー図である。 一態様による、表示画像に対してズームインするように活動化されたピンチジェスチャ機能を示す、コンピューティングデバイスの正面図である。 一態様による、表示画像に対してズームインするように活動化されたピンチジェスチャ機能を示す、コンピューティングデバイスの正面図である。 一態様による、表示画像を回転するように活動化された回転ジェスチャ機能を示す、コンピューティングデバイスの正面図である。 一態様による、表示画像を回転するように活動化された回転ジェスチャ機能を示す、コンピューティングデバイスの正面図である。 一態様によるズームおよび回転ジェスチャ機能を示す、コンピューティングデバイスの正面図である。 一態様によるズームおよび回転ジェスチャ機能を示す、コンピューティングデバイスの正面図である。 様々な態様によるマルチタッチジェスチャ、および第1のタッチイベントおよび平均された仮想タッチイベントの座標に基づく計算を示す、非マルチタッチ面タッチ入力デバイスの正面図である。 一態様によるピンチジェスチャを示す、非マルチタッチ面タッチ入力デバイスの正面図である。 一態様によるピンチジェスチャを示す、非マルチタッチ面タッチ入力デバイスの正面図である。 一態様による回転ジェスチャを示す、非マルチタッチ面タッチ入力デバイスの正面図である。 一態様による、タッチイベントパラメータおよびジェスチャタイプを機能にリンクさせるデータテーブルである。 一態様による、ゲーム用途に用いられるマルチタッチジェスチャを示す、コンピューティングデバイスの正面図である。 タッチイベントがどのようにアプリケーションソフトウェアに通信されるかを示す、典型的なモバイル装置のハードウェア/ソフトウェアアーキテクチャを示す図である。 第2のタッチイベントの発生位置を用いてマルチタッチジェスチャを実施する一態様の方法の処理フロー図である。 仮想タッチイベントの発生位置を用いてマルチタッチジェスチャを実施する一態様の方法の処理フロー図である。 様々な態様で用いるのに適した例示のコンピューティングデバイスの構成要素ブロック図である。 様々な態様で用いるのに適した例示のコンピュータの回路ブロック図である。
様々な態様について、添付の図面を参照して詳しく述べる。図面の全体にわたって可能な限り、同じまたは同様な同じ部分を指すのに同じ参照番号を用いる。特定の実施例および実装形態への言及は例示の目的のためであり、本発明または「特許請求の範囲」の範囲を限定するものではない。
本明細書では「例示の」という語は、「実施例、事例、または例証として役立つ」ことを意味するために用いられる。本明細書では「例示」として述べられる実施形態は、必ずしも他の実施形態より好ましいまたは有利であると解釈されるものではない。
本明細書で用いる「タッチスクリーン」とは、関連する画像ディスプレイを有するタッチ検知入力デバイスまたはタッチセンシティブ入力デバイスである。本明細書で用いる「タッチパッド」とは、関連する画像ディスプレイがないタッチ検知入力デバイスである。たとえばタッチパッドは、画像表示領域の外側の電子デバイスの任意の面に実装することができる。タッチスクリーンおよびタッチパッドは、本明細書では一般に「タッチ面」と呼ぶ。タッチ面は、タッチスクリーンディスプレイなどの電子デバイスの一体の部分とすることができ、または有線または無線データリンクによって電子デバイスに結合することができるタッチパッドなどの、個別のモジュールとすることができる。以下では、タッチスクリーン、タッチパッド、およびタッチ面は同義的に用いることができる。
本明細書で用いる「パーソナル電子デバイス」、「コンピューティングデバイス」、および「ポータブルコンピューティングデバイス」という用語は、セルラ電話、携帯情報端末(PDA)、パームトップコンピュータ、ノートブックコンピュータ、パーソナルコンピュータ、無線電子メール受信機、およびセルラ電話受信機(たとえば、Blackberry(登録商標)およびTreo(登録商標))、マルチメディアインターネット対応セルラ電話(たとえば、Blackberry Storm(登録商標))、およびプログラマブルプロセッサ、メモリ、および接続されたまたは一体化されたタッチ面または他のポインティングデバイス(たとえば、コンピュータマウス)を含む同様な電子デバイスの、任意1つまたはすべてを指す。本発明の様々な態様を示すために用いられる一実施例では、電子デバイスは一体化タッチスクリーンディスプレイである。しかし本態様は、単に様々な態様のうちの1つの例示の実施形態として示すものであり、したがって「特許請求の範囲」に記載の本主題の他の可能な実装形態を除外するものではない。
本明細書で用いる「タッチイベント」とは、タッチの位置または相対位置に関する情報を含むことができる、タッチ面上で検出されたユーザ入力を指す。たとえばタッチスクリーン上またはタッチパッドユーザインターフェースデバイス上では、タッチイベントとは、ユーザがデバイスに触れたことの検出を指し、触れられたデバイス上の位置に関する情報を含むことができる。
現在利用可能なマルチタッチ技術は、特殊で高価なタイプのマルチタッチ対応のタッチセンシティブデバイスを使用するコンピューティングデバイス上でのみ利用可能である。現在、マルチタッチジェスチャを実施するには、ユーザは、ユーザのマルチタッチでないコンピューティングデバイスを放棄して、新しいマルチタッチ対応のタッチセンシティブデバイスを備えた高価なコンピューティングデバイスを購入しなければならない。
様々な態様の方法およびシステムは、任意のタッチセンシティブデバイス上のマルチタッチジェスチャを認識するユーザインターフェースシステムを提供し、それによって非マルチタッチセンシティブデバイスがマルチタッチジェスチャをサポートするのを可能にする。様々な態様の方法は、非マルチタッチタッチセンシティブデバイスを備えた多くのコンピューティングデバイスに実施することができる。さらに様々な態様は、簡単なソフトウェアアップグレードにより、現在のマルチタッチでないコンピューティングデバイスに実施することができる。
現在利用可能なマルチタッチでないデバイスは、マルチタッチ対話の仕様を妨げるいくつかの制限を有する。ユーザが2本の指を用いて、マルチタッチでないコンピューティングデバイス上の表面に触れたときは、2つ(またはそれ以上)のタッチ位置は平均されて単一のタッチ位置を示す。結果としてすべてのマルチタッチイベントは、平均されたタッチ位置の座標を有するシングルタッチイベントとして解釈される。
図1は、2本の指102、104によって触れられている非マルチタッチタッチ面100を示す。この図では、最初に1本の指102がP1にてタッチ面100に触れ、その後に第2の指104がP2にてタッチ面100に触れたと仮定する。第1のタッチ位置P1はタッチ面座標(X1、Y1)にあり、第2のタッチ位置P2はタッチ面座標(X2、Y2)にある。第2の指104がタッチ面100の表面に触れるとすぐに、タッチ面100(たとえばタッチ面ハードウェア、およびそのドライバソフトウェア)は、2つの実際のタッチ位置P1とP2の平均を表す座標(X3、Y3)にて、単一の仮想タッチP3を報告することになる。したがって従来のコンピューティングデバイスは、P3の座標のみを認識することにより、マルチタッチイベントをシングルタッチイベントとして扱い、P1およびP2での実際のタッチの位置を特定することはできない。この挙動により、従来型のマルチタッチでないコンピューティングデバイスは標準のマルチタッチジェスチャを認識することができないが、この挙動を利用し、本発明のマルチタッチジェスチャを可能にすることができる。具体的には、ユーザが第1の指102で触れたときはタッチ面は、第1の位置P1を記録するが、ユーザが第2の指104で触れたときは、タッチ位置は、タッチアップイベントなしに突然、仮想タッチ位置P3にジャンプする。様々な態様は、この特定の挙動をマルチタッチイベントを示すものとして認識し、既知の第1のタッチ位置P1、および仮想タッチ位置P3、すなわち外挿された実際の第2のタッチ位置P2を用いて、実施されるべきグラフィカルユーザインターフェース機能を決定する。
マルチタッチグラフィカルユーザインターフェース機能(たとえば、ズームまたは回転)を活動化するために、様々な態様によるコンピューティングデバイスのプロセッサは、上述のタッチパターンを認識し、そのタッチパターンをマルチタッチジェスチャとして扱うように、プロセッサ実行可能命令を用いてプログラムすることができる。様々な態様によれば、2本の指を用いて非マルチタッチタッチ面100上でマルチタッチジェスチャを行うためには、ユーザはタッチ面100を最初に1本の指102で触れ、その後に第2の指104で触れる必要がある。コンピューティングデバイスは、第1のタッチ(P1)の座標を検出して記憶し、平均された仮想タッチ座標(P3)へのタッチ位置の突然のジャンプ(たとえばタッチアップイベントなしの突然の動き)を認識し、仮想タッチP3の座標に基づいて第2のタッチ(P2)の座標を計算するように構成することができる。様々な態様によるマルチタッチジェスチャの実行時には、ユーザは、第2の指104を動かしながら、第1の指102を基本的に静止させてタッチ面100に触れたまま保つ必要がある。第1の指102を常に静止させておくことにより、コンピューティングデバイスは、P3にて検知された仮想タッチの位置に基づいて、P2での第2の指の位置の変化を計算することが可能になる。第1のタッチ位置P1が動いていないと仮定することにより、コンピューティングデバイスは、実行されたマルチタッチジェスチャを識別し、適切なマルチタッチジェスチャ機能を実施することができる。
たとえば、表示画像にズームアウト(すなわち縮小)機能を適用するようにピンチジェスチャを行うには、ユーザはタッチ面100に最初に1つの指102で触れ、その後に短い距離だけ離れて第2の指104で触れることができる。グラフィカルユーザインターフェースのズームイン機能を行うには、ユーザは第1の指102を静止させておき、第1の指102と第2の指104の間の距離を増加するピンチジェスチャにて第1の指102から遠ざかるように第2の指104を動かすことができる。同様に回転機能を行うには、ユーザは第1の指102を静止させておき、P1での第1の指102の位置によってその中心が定義される円の円周に沿うように第2の指104を動かすことができる。第1の指102に対して円弧を通って時計方向に第2の指104を動かすことは、コンピューティングデバイスが時計方向の表示画像の回転を実施する、マルチタッチジェスチャとして解釈することができる。同様に第2の指104を反時計方向に動かすことにより、コンピューティングデバイスに表示画像を反時計方向に回転させることができる。
様々な態様の方法は、マルチタッチでないコンピューティングデバイスに課される技術的制限を克服し、それらがグラフィカルユーザインターフェースのコマンドとしてマルチタッチジェスチャを認識し処理することを可能にする。したがって様々な態様の方法は、図2に示す方法200を実施することにより、タッチ面100を備えるすべてのコンピューティングデバイスに実施することができる。方法200ではブロック200で、コンピューティングデバイスは、第1の指102による第1のタッチを検出し、第1のタッチ位置の座標をメモリに記憶することができる。コンピューティングデバイスは、ブロック202で第2の指104がタッチ面100に触れたときに仮想タッチ位置を検出し、判定ブロック203でタッチ面のタッチ位置が第1のタッチイベントの発生位置から仮想タッチイベントの発生位置まで(すなわち、P1からP3まで)突然ジャンプしたことを判定することができる。コンピューティングデバイスは、タッチイベントの発生位置のジャンプのパラメータに基づいて、マルチタッチ機能を活動化するように構成することができる。ジャンプの距離は、第1のタッチイベントと仮想タッチイベントの間の距離に基づいて計算することができる。ジャンプの距離を計算するのに用いることができる数式は、図6に関連して以下で詳しく述べる。タッチ面上の通常の指の軌跡を区別するために、判定ブロック203でコンピューティングデバイスは、タッチイベントの発生位置における計算したジャンプの距離が所定の閾値距離「X」より大きいかどうかを判定することができる。瞬間的なジャンプの距離が閾値距離より小さい場合は(すなわち、判定ブロック203=「いいえ」)、マルチタッチジェスチャ機能は使用されず、タッチイベントの通常のグラフィカルユーザインターフェースを実施することができる。瞬間的なジャンプの距離が閾値距離以上である場合は(すなわち、判定ブロック203=「はい」)、コンピューティングデバイスはマルチタッチ機能を活動化し、ブロック204で仮想タッチ位置P3をメモリに記憶することができる。
タッチ位置の位置の突然のジャンプに基づいてマルチタッチイベントを検出することは、実施することができる1つの例示の方法に過ぎない。他の態様ではコンピューティングデバイスは、触れられた表面積の総計、タッチ面内の2つの異なる領域内でのタッチ位置、タッチ面によって測定された静電容量または抵抗の総計、またはタッチ面が利用し得る他の機構または測定など、他の測定可能なパラメータに基づいてタッチ面上で2本の指でタッチされたことを検出するように構成することができる。マルチタッチイベントを検出するためのこのような代替の機構は、図2の判定ブロック203の代わりとなり得る。
ユーザがタッチ面上で第2の指104を動かしたときは、平均された仮想タッチ位置P3の座標はそれに対応して変化する。コンピューティングデバイスは、ブロック206で次の新しい仮想タッチ位置を取得し(すなわち、次のタッチ面リフレッシュにて)、ブロック208で新しい仮想タッチ位置を、記憶されたP3座標と比較するように構成することができる。ブロック210でコンピューティングデバイスは、記憶された仮想タッチ座標からの現在のタッチイベントの変化を計算し、ブロック212で実施すべき適切なグラフィカルユーザインターフェース機能を決定することができる。たとえばグラフィカルユーザインターフェース機能は、表示された画像を決定した変換係数だけ変換するための機能とすることができる。適用できるグラフィカルユーザインターフェース変換機能の例としては、決定した量だけ画像をズームイン(すなわち拡大)すること、決定した量だけ画像をズームアウト(すなわち縮小)すること、決定した角度数だけ時計方向または反時計方向に回転すること、および決定した量だけ左、右、上、または下にスキャンすることが含まれる。次いでブロック214ではコンピューティングデバイスは、ブロック214で、表示された画像を変換する、またはユーザ入力を開いているアプリケーションに供給するなどの、決定したグラフィカルユーザインターフェース機能を適用することができる。決定されるグラフィカルユーザインターフェース機能は、アプリケーションに応じて変わり得る。たとえば同じマルチタッチジェスチャは、地図アプリケーションでは画像をズームアウトするグラフィカルユーザインターフェース機能に関係付けることができ、ゲームアプリケーションでは仮想的な乗り物の加速を引き起こす。
様々な態様のコンピューティングデバイスは、グラフィカルユーザインターフェース機能として異なるタイプのマルチタッチジェスチャを認識するように構成することができる。2つの一般に用いられるグラフィカルユーザインターフェースマルチタッチジェスチャは、ピンチジェスチャおよび回転ジェスチャを含む。ピンチジェスチャは、ユーザが画像、ファイル、またはアプリケーションをズームインまたはズームアウトできるようにするグラフィカルユーザインターフェースズーム機能に関連付けることができる。回転ジェスチャは、ユーザが時計方向または反時計方向に画像を回転できるようにする、またはゲームアプリケーションが理解し得る回転ユーザ入力として、グラフィカルユーザインターフェース回転機能に関連付けることができる。
一部の態様ではマルチタッチジェスチャ機能は、マルチタッチジェスチャと混同され得るユーザインターフェースジェスチャを使用するアプリケーションによって、自動的にディスエーブルすることができる。他の態様ではユーザは、ユーザ入力に基づくデバイスユーザ設定(たとえば仮想ボタンおよび構成メニューの活動化)の一部として、マルチタッチジェスチャ機能を活動化および非活動化することができる。
一部の態様ではマルチタッチジェスチャは、手動でイネーブルすることができる。アプリケーションにおいてマルチタッチジェスチャを手動でイネーブルまたは活動化するには、ユーザは、ボタンを押すことにより、またはGUI表示上のアイコンを活動化することによってマルチタッチジェスチャを選択および活動化することができる。たとえばインデックス動作をソフトキーに割り当てることができ、ユーザは(たとえば押圧またはクリックすることにより)ソフトキーを活動化して、マルチタッチジェスチャ機能を開始することができる。他の実施例としてマルチタッチジェスチャ機能は、ユーザコマンドによって活動化することができる。たとえばユーザは、「インデックスを活動化する」などの音声コマンドを用いてマルチタッチジェスチャ機能をイネーブルすることができる。活動化された後は、マルチタッチジェスチャ機能は本明細書で述べるように用いることができる。
マルチタッチジェスチャ機能は、任意のタッチ面100に実施することができる。タッチスクリーンディスプレイは、タッチスクリーンがマルチタッチジェスチャを用いて操作できる表示画像を示すことができることを考えれば、特に有用な実装形態となる。このような用途ではユーザは、2本の指でタッチスクリーンディスプレイに触れることにより、画像と対話することができる。
マルチタッチジェスチャ(すなわち、タッチ面への2本の指のタッチ)が検出されたときは、リンクされたグラフィカルユーザインターフェース機能またはジェスチャ機能を活動化することができる。マルチタッチジェスチャにリンクされたすなわち関連付けられたグラフィカルユーザインターフェース機能は、アプリケーションによって規定される、かつ/またはユーザの好みの設定によって設定されるコンピューティングデバイスのグラフィカルユーザインターフェースにおいて確立することができる。このようなマルチタッチジェスチャグラフィカルユーザインターフェース機能の一部の実施例は、本明細書で述べるような表示画像をズームまたは回転することを含むことができる。たとえばリンクされた機能がズーム機能として規定される場合は、コンピューティングデバイスのプロセッサは、ユーザが所望のパラメータを満足するピンチジェスチャを描くのに応答して、表示画像をズームインまたはズームアウトすることができる。
図3Aは、ユーザがコンピューティングデバイス300のタッチ面100上でピンチアウトジェスチャを行う際のズームイン機能を示す。マルチタッチジェスチャを開始するには、ユーザは、タッチ面100を第1の指102で触れ、少し後で第2の指104で触れることができる。ディスプレイ306内の画像上でズームインするようにピンチアウトジェスチャを描くには、ユーザは第1の指102を静止させておき、第1の指102から遠ざかるように第2の指104を(点線および矢印302で示すように)動かす。この点線および矢印302は、この態様により、ピンチアウトジェスチャを描くために動かすことができる第2の指104の方向を示す例示用でありディスプレイ上には現れない。
図3Bは、ユーザがピンチアウトジェスチャを完了した後のコンピューティングデバイス300を示し、ここではコンピューティングデバイス300は、このマルチタッチジェスチャをズームイン機能と解釈し、表示画像を大きくすることにより、表示画像にそれを適用する。
図4Aは、回転機能マルチタッチジェスチャを示す。様々な態様のように、マルチタッチジェスチャを開始するには、ユーザはタッチ面100を第1の指102で触れ、少し後で第2の指104で触れることができる。ユーザは、第1の指102を静止させておき、第2の指104を時計方向に回転させて表示画像を時計方向に回転することができる。点線の曲線および矢印402は、第2の指104を回転することができる方向を示す。コンピューティングデバイス300は、ジェスチャを回転ジェスチャとして認識し、図4Bに示すように表示画像を時計方向に回転することができる。
図5Aおよび5Bに示すように、一態様によればコンピューティングデバイス300は、一時に2つ以上のジェスチャを認識し処理するように構成することができる。たとえばユーザは、タッチ面100上で第1の指102を静止させておき、点線および矢印302の方向に第1の指102から遠ざかるように第2の指104を動かし、点線の曲線および矢印402の方向に時計方向に第2の指104を回転することにより、指を用いてピンチジェスチャおよび回転ジェスチャの両方を描くことができる。点線および矢印302、および点線の曲線および矢印402は説明のためだけであり、この態様による表示の一部ではない。コンピューティングデバイス300は、これらのジェスチャを認識し、表示された画像を時計方向に回転しながら、画像をズームインするように構成することができる。
コンピューティングデバイス300は、様々な態様のマルチタッチジェスチャを認識し処理するために、いくつかの数学的計算を行うように構成することができる。異なるマルチタッチジェスチャがユーザによってコンピューティングデバイス300のタッチ面100上で行われる際に、それらの適切なグラフィカルユーザインターフェース効果を決定するのに、異なる数式を用いることできる。例示の数式については、図6〜7を参照して以下で述べる。
コンピューティングデバイスが非マルチタッチ面上でマルチタッチジェスチャを受けたときに行うことができる、いくつかの計算を図6に示す。上述のようにユーザがタッチ面100に触れたときは、コンピューティングデバイス300は、第1のタッチイベントP1を検出し、第1のタッチの座標(X、Y)をメモリに記憶することができる。2回目にユーザがタッチ面を点P2(座標X2、Y2を有する)にて触れたときは、コンピューティングデバイス300は、単一の点P3(座標X3、Y3を有する)にてタッチ面が触れられたことを検出する。
コンピューティングデバイス300は、P1座標およびP3座標を用いて、P2の実際の座標、およびP1とP2の間の距離(すなわち、距離d)、またはP1とP3の間の距離(すなわち、距離c)を計算するように構成することができる。既知の座標P1(X1、Y1)、およびP3(X3、Y3)を用いてP2の位置を求めるために、以下の数式を用いることができる。
式1
P2=(2×P3)-P1
P2=((2X3-X1)、(2Y3-Y1))
P1座標およびP3座標(すなわち(X1、Y1)、および(X3、Y3))を用いてコンピューティングデバイス300はまた、各タッチ位置P1とP3の間の距離(すなわち、距離c)、およびP1とP2の間の距離(すなわち、距離d)を計算することができる。距離cを計算するのに、以下の数式を用いることができる。
式2
c2=a2+b2
ただし
a=(X3-X1)、および
b=(Y3-Y1)
結果として
Figure 2013510370
距離dは、以下の数式を用いて計算することができる。
式3
d=2c
P1座標およびP3座標を用いて計算できるもう1つのパラメータは角度θ1であり、以下の数式を用いる。
式4
θ1=arcTan(b/a)
ただし、
a=(X3-X1)、および
b=(Y3-Y1)
結果として、
θ1=arcTan[(Y3-Y1)/(X3-X1)]
これらの数式に基づいて計算されたパラメータは、マルチタッチジェスチャによって示されるグラフィカルユーザインターフェース機能、および機能において適用すべき大きさ(たとえば、ズーム比)を決定するために用いることができる。たとえば現在のアプリケーションおよび表示されている媒体の性質に応じて、P1とP3の間の距離が増加(すなわち、長さcが増加)した場合は、これはピンチジェスチャが表示された画像に対してズームインを描いていることを示すことができる。P3の座標が、第1の指102に対する第2の指104の反時計方向の動きに一致して変化する場合は、これは回転ジェスチャが表示画像を反時計方向に回転するように描いていることを示すことができる。
図7Aおよび7Bは、タッチ面100を用いたマルチタッチピンチジェスチャを検出する一態様の方法を示す。図7Aに示されるように、2回目にユーザが点P2(座標X2、Y2を有する)にてタッチ面に触れたときは、コンピューティングデバイス300は、単一の点P3(座標X3、Y3を有する)にてタッチ面が触れられたことを検出する。上述の式1〜4を用いてコンピューティングデバイス300は、P2タッチの座標を求め、第1のタッチ位置P1からの距離d、および第1のタッチ位置P1から報告された仮想タッチ位置P3までの距離cを計算することができる。ユーザは第2の指104を、点線および矢印502の方向に第1の指102から遠ざかって、タッチ面100上の新しい点へ動かすことによりジェスチャを描くことができる。
図7Bに示すようにコンピューティングデバイス300は、タッチ面が仮想タッチ位置P3'にて触れられていることを検出することになる。新しいP3'座標を用いて、コンピューティングデバイスは、第2の指のタッチP2'の位置を求め、P1とP3'の間の距離(すなわち、c')、またはP1とP2'の間の距離(すなわち、d')を計算することができる。
コンピューティングデバイス300は、メモリに記憶されたP1と、タッチ面によって示されるP3との間の距離の変化(すなわち、距離cからc')、またはP1とP2の間の距離の変化(すなわち、距離dからd')があったかどうかを判定することにより、ユーザがピンチジェスチャを描いたことを判定することができる。P1とP3の間の距離が増加した場合は(すなわち、c'>c)、コンピューティングデバイス300はユーザがピンチアウトジェスチャを描いていると判定することができる。しかしP1とP3の間の距離が減少した場合は(すなわち、c'<c)、コンピューティングデバイス300はユーザがピンチインジェスチャを描いていると判定することができる。コンピューティングデバイス300は、数式5を用いて、cとc'の差を計算することによってこの判定を行うことができる。
同様に、メモリに記憶されたP1と、現在のP3に基づいて計算したP2との間の距離が増加した場合は(すなわち、d'>d)、コンピューティングデバイス300は、ユーザがピンチアウトジェスチャを描いていると判定することができる。しかしP1とP2の間の距離が減少した場合は(すなわち、d'<d)、コンピューティングデバイス300は、ユーザがピンチインジェスチャを描いていると判定することができる。
コンピューティングデバイスは、第2の指のタッチの位置(すなわち、P2)を計算することができるが、マルチタッチジェスチャは記録された第1のタッチ位置P1と現在の測定したタッチ位置P3のみに基づいて認識し実施できるので、この計算は必要ないことに留意されたい。P1からP3までの距離の変化は、P1からP2までの距離の変化の半分となる。したがってピンチタイプのグラフィカルユーザインターフェースジェスチャの場合は、変換係数(これは、2本の指が互いに近付いたまたは遠ざかった距離に基づく)は、2倍に増加されなければならない。しかし回転タイプのグラフィカルユーザインターフェースジェスチャの場合は、調整は必要ない。
距離cおよびc'、またはdおよびd'が計算された後は、コンピューティングデバイス300は数式5を用いて、cとc'の差、またはdとd'の差を計算することができる。計算した差は後に、表示画像をそれに基づいて変換することができる変換係数を決定するために用いることができる。変換係数については以下でより詳しく述べる。
式5
Δ=c'-c、または
Δ=d'-d
図8は、タッチ面100を備えるコンピューティングデバイス300を用いてマルチタッチ回転ジェスチャを検出する一態様の方法を示す。2回目にユーザが点P2(座標X2、Y2を有する)にてタッチ面に触れたときは、コンピューティングデバイス300はタッチ面が単一の点P3(座標X3、Y3を有する)にて触れられていることを検出する。最初のマルチタッチタッチイベントに基づいて、コンピューティングデバイスは、図6に関連して上述した式1〜4を用いてP2タッチイベントの座標を求め、θ1、C、およびEを計算するように構成することができる。次いでユーザは、第2の指104を時計方向または反時計方向に動かすことにより、回転ジェスチャを描くことができる。この態様では、ユーザは点線および矢印702で示されるように第2の指104を反時計方向に動かしている。
描かれた動きが回転ジェスチャかどうかの判定において、コンピューティングデバイス300は、P2とP2'の間の距離(すなわち、距離E')を求めることにより、またはP3とP3'の間の距離(すなわち、横軸(すなわちX軸)に沿った距離C')を求めることにより、角度Dを計算することによってP3からP3'への動きによって内在される角度を計算することができる。Dの値の変化、あるいは距離Cまたは距離Eの変化は、回転ジェスチャの軌跡を意味することができる。
角度Dは以下の数式に従って計算することができる。
式6
D=θ2-θ1、
ただし、
θ2=180-θ3、
および、
θ3=arcTan[(Y3'-Y1)/(X3'-X1)]
コンピューティングデバイス300はまた、仮想タッチイベントP3とP3'の間の移動した距離(すなわち、距離C')を求め、かつCとC'の間の変化を計算するように構成することができる。距離C'は以下の数式を用いて計算することができる。
式7
C'2=a2+b2-(2ab×cosD)
ただし、
Figure 2013510370
および
Figure 2013510370
CとC'の間の距離の変化は、以下の数式を用いて計算することができる。
式8
Δ=C'-C
ただし、
Figure 2013510370
第2の指104がX軸に沿ってP2からP2'まで移動した距離(すなわち、距離E')も、計算することができる。またEとE'の間の距離の変化は、以下の数式用いて計算することができる。
式9
Δ=E'-E
ただし、
Figure 2013510370
および、
E'2=a2+b2-(2ab×cosD)
ただし、
Figure 2013510370
および、
Figure 2013510370
あるいは、E'は以下を用いて計算することができ、
E'2=a'2+b'2-(2a'b'×cosD)
ただし、
Figure 2013510370
および、
Figure 2013510370
計算(すなわち角度Dの計算、あるいは距離CからC'またはEからE'の変化の計算)の結果は、表示された画像に適用すべき変換係数を決定するために用いることができる。変換係数については以下でより詳しく述べる。
コンピューティングデバイス300はまた、上記の式に基づいて計算したパラメータを用いて、描かれたジェスチャの上方向および下方向、ならびに時計方向および反時計方向を判定するように構成することができる。これは、変化するP3位置のXおよびY座標値の簡単な引き算により達成することができる。このような値は、様々な態様を用いて開発することができる異なるマルチタッチジェスチャにおいて有用となり得る。
一態様ではコンピューティングデバイス300は、図9にその一実施例が示されるジェスチャデータテーブル800を参照することにより、描かれたジェスチャのタイプを判定するように構成することができる。データテーブルは、パラメータ、ジェスチャ、およびP2またはP3が動く方向についての情報を含み、パラメータ値に関連付けられた特定の表示機能を識別するように構成することができる。たとえば行802では、コンピューティングデバイスは、距離cが距離c'より小さいときは、表示画像をズームインするために用いられるピンチジェスチャを識別することができる。行804に示される別の例では、角度Dがゼロより大きい値に等しいときは、コンピューティングデバイスは、P2またはP3の動きの方向が反時計方向であると判定し、コンピューティングデバイスは表示画像を反時計方向に回転することができる。図9に示されるように、ジェスチャのタイプおよび機能を判定するために他のパラメータおよび方向を用いることもできる。
描かれたマルチタッチジェスチャのグラフィカルユーザインターフェースタイプまたは変換機能が決定された後は、コンピューティングデバイス300は、対応する変換係数(すなわち、Δ)を決定するように構成することができる。変換係数は、コンピューティングデバイス300が、マルチタッチジェスチャによって示されるユーザの意図に一致して表示画像を変換するために用いる変換機能において用いられるための、数などの値とすることができる。たとえば画像が表示されているときにユーザがピンチジェスチャを実行したならば、変換機能は拡大となり、変換係数は画像が拡大される程度となる。したがって決定した変換係数が10であれば、コンピューティングデバイスは表示された画像を10倍に拡大する。同様に決定した変換係数が-10であれば、コンピューティングデバイスは表示画像を1/10に縮小する。回転変換機能の場合ならば、変換係数は、画像に適用されるべき回転の度数またはラジアン数となる。したがってたとえば、決定した変換係数が10である回転ジェスチャならば、コンピューティングデバイスは表示画像を時計方向に10度だけ回転し、決定した変換係数が-10であれば、コンピューティングデバイスは表示画像を反時計方向に10度だけ回転する。
上述のように変換係数は、マルチタッチジェスチャの間でのタッチ位置の変化の大きさに基づいて決定することができる。図7Aおよび7Bを参照すると、ズーム機能が表示画像に適用されるピンチジェスチャでは、変換係数は、ジェスチャの開始と終了での2本の指の間の距離の比に基づいて決定することができる。たとえば変換係数は次式によって計算することができる。
Δ=d'/d
または、P3とP1の間の距離の変化は、P2とP1の間のそれの半分であるので、変換係数は次式によって計算することができる。
Δ=c'/c
別法としてコンピューティングデバイス300は、測定または計算したパラメータに基づいて、使用する変換係数Δを決定するのにズーム比ルックアップテーブルを用いるように構成することができる。たとえばズーム比ルックアップテーブルは、+1cmのP1〜P3の分離距離の変化は、10%のズーム比に対応することを示すことができる。
次に図8を参照すると、回転変換係数は、単にタッチジェスチャの間にP3が回転した角度Dに基づいて計算することができ、または距離Cおよび/または距離Eの変化を変換係数として用いることができる。コンピューティングデバイス300は、線形的に変換係数だけ画像を回転する回転機能を適用することにより、表示画像を変換するように構成することができる。したがって回転角度(D)が時計方向に30度と決定された場合は、コンピューティングデバイスは表示画像を時計方向に30度回転することができる。コンピューティングデバイスはまた、ジェスチャによって形成される角度が増加するに従って、マルチタッチジェスチャにおいて広げられる角度当たりに、画像に適用される回転の大きさが増加するように、非線形の回転変換係数を適用するように構成することができる。たとえば、5度の回転角度Dは5度の画像の回転変換に等しくすることができ、15度の回転角度Dは35度の画像の回転変換に等しくすることができる。別法としてコンピューティングデバイス300は、測定または計算したパラメータに基づいて用いるべき変換係数を決定するのに、テーブルルックアップ手順を用いるように構成することができる。たとえばCとC'の間の距離の時計方向の1cmの変化は、10度の画像の回転変換に等しくすることができる。
図8を参照すると回転ジェスチャでは、変換係数はまた、θ1/θ2、C/C'、およびE/E'の比を計算することによって計算することができる。コンピューティングデバイス300は、これらの計算した比を用いて変換係数を決定することができる。このような比に基づいた回転変換係数は、画像に適用される回転変換機能において線形にまたは非線形に適用することができる。
マルチタッチジェスチャが認識された後は、コンピューティングデバイス300は、適切なグラフィカルユーザインターフェース機能を決定することができる。グラフィカルユーザインターフェース機能が変換機能である場合は、コンピューティングデバイス300は、現在のアプリケーションによって決まるやり方で表示された画像を変換するように、決定した変換係数を用いて適切な変換機能を適用することができる。
マルチタッチジェスチャが、アプリケーションへのグラフィカルユーザインターフェース入力である場合は、適切な入力を開いているアプリケーションに渡すことができる。たとえば図10は、様々な態様のマルチタッチジェスチャが、ドライブゲームアプリケーションにグラフィカルユーザインターフェース入力を供給する一態様を示す。この実施例ではゲームアプリケーションは、コンピューティングデバイス300によって計算されたマルチタッチパラメータを、操向および加速などのゲーム機能入力に翻訳するようにプログラムすることができる。たとえば図10に示すようなドライブゲームでは、コンピューティングデバイス300は、P3の位置の変化を追跡して、風の強い道路と通る仮想自動車に適用するための操向入力を決定することができる。コンピューティングデバイス300は、第1の指102の位置を記憶し、ユーザが道路に沿って自動車の巧みな運転を試みながら第2の指104の動きによって引き起こされる、仮想タッチ位置の動きを検出するのに従って様々なパラメータ(たとえば、cおよびθ)を計算することができる。この例示のアプリケーションでは、ユーザは、第2の指104を矢印付き点線904の方向に動かして、仮想ステアリングホイール902を用いて自動車を左または右に操向することができる。
たとえば仮想自動車を右に操向するときは、コンピューティングデバイス300は、ディスプレイ306の右側へ向かう仮想タッチ位置P3の動きを検出し、様々なパラメータ(たとえば、a、b、c、c'、θ1、θ2、θ3、D、C、C'、E、E'の1つまたは複数のパラメータ)を計算することができ、または動きに関連付けられた適切なグラフィカルユーザインターフェース入力を供給することができる。次いでドライブアプリケーションは、これらのパラメータの一部またはすべてを用いて、またはこれらのパラメータから導出されるグラフィカルユーザインターフェース入力を用いて、適切なゲーム応答を決定することができる。たとえばドライブアプリケーションは、θ1とθ2の間の変化を用いてユーザが意図する操向の方向と大きさを決定することができる。同様にアプリケーションは、指の間の距離の変化(すなわち、CからC')を計算して、仮想自動車に印加されるべき加速度を決定することができる。
従来、タッチ面100は、タッチ面100上のタッチイベントを、コンピューティングデバイス300およびそのアプリケーションソフトウェアが解釈できる電気信号に変換することによって機能する。図11は、タッチイベントがどのようにアプリケーションソフトウェアに通信されるかを示す、典型的なコンピューティングデバイス300のハードウェア/ソフトウェアアーキテクチャを示す。抵抗性および容量性タッチ面など、様々なタイプのタッチ面100が利用可能である。これらのタッチ面100のそれぞれは、異なる方法でタッチイベントを検出するように機能することができる。たとえば抵抗性タッチ面パネルは、いくつかの層から構成され、その内の最も重要なものは、狭い間隙によって隔てられた2つの薄い金属の導電層である。指などの物体がパネルの外側表面上の点に押し下げられると、その点で2つの金属層は接続される。次いでパネルは、接続された出力を有する1対の分圧器のように動作する。これによりタッチイベントとして示される電流の変化が引き起こされ、処理のためにコントローラに送られる。
容量性タッチ面は、通常はインジウム錫酸化物などの材料で被覆されたガラスからなる。このタイプのセンサは、極板が格子パターンの水平および垂直軸の間の重なる領域であるコンデンサのように動作する。人体も電気を導通するので、センサの表面上に触れることは電界に影響を与え、デバイスの静電容量に測定可能な変化を生じる。これらのセンサは近接で働き、トリガするために直接触れる必要はない。
タッチ面100のタッチからの電気信号は、ハードウェアドライバ1002によって処理することができる。ハードウェアドライバ1002は、特定のモバイル装置300に応じて、回路、ソフトウェア、またはハードウェアとソフトウェアの混合とすることができる。ハードウェアドライバ1002は、タッチ面100から受け取った電気信号を、モバイル装置300上で稼働しているソフトウェアプリケーションが解釈できるフォーマットに変換する。たとえばハードウェアドライバは、電気信号をタッチイベントの座標に変換することができる。この信号は、割り込みまたはアプリケーションソフトウェアによってアクセス可能なメモリテーブル内の記憶値の形態にあるものとすることができる。このような割り込みまたはメモリテーブル内の記憶値は、オペレーティングシステム(OS)1004によって受け取ることができる。
一態様では、本明細書で述べるマルチタッチ機能は、オペレーティングシステム1004の一部として、補助ソフトウェアプリケーションとして、またはマルチタッチアプリケーションプログラミングインターフェース(API)1006として実施することができる。オペレーティングシステム1004、またはマルチタッチAPI1006は、ハードウェアドライバ1002から受け取ったデータを用いて、c、c'、θ1、およびθ2、またはc/c'、θ1/θ2などの変換係数など、適切なマルチタッチジェスチャ機能を決定するのに用いられるパラメータを計算することができる。次いで計算したパラメータを用いてオペレーティングシステム1004またはマルチタッチAPI1006は、タッチイベントメッセージなどの形態で、検出したマルチタッチイベントに基づいて適切なフォーマットおよび変換係数をアプリケーションレイヤ1008に伝えることができる。タッチイベントはまた、特定のタッチイベントに関連付けられた値を表示するなどのために、ユーザインターフェースレイヤ1010に通信することができる。
図12は一態様による、マルチタッチジェスチャを検出し処理する例示の方法1100を示す。方法1100ではブロック1102で、コンピューティングデバイス300は、第1のタッチイベントを検出し、ブロック1104でそのタッチの位置を取得し記憶する。判定ブロック1106では、コンピューティングデバイス300は、ユーザがすべての指をタッチ面100から持ち上げたときに生じるタッチアップがあるかどうかを判定することができる。タッチイベントがタッチアップイベントの場合は(すなわち、判定1106=「はい」)、コンピューティングデバイス300は、次のタッチイベントを受け取るためにブロック1102に進む前に、ブロック1124で通常のグラフィカルユーザインターフェース(GUI)機能を行うことができる。
タッチイベントがタッチアップイベントでない場合は(すなわち、判定1106=「いいえ」)、コンピューティングデバイス300は、判定ブロック1108で、所定の値「x」より大きなタッチ位置の突然のジャンプがあったかどうかを判定することができる。これは、ユーザが第2の指104でスクリーンに触れたときに起こり得る。タッチ位置ジャンプの距離は、第1のタッチイベントの発生位置と次のタッチイベントの発生位置との間の距離を計算することによって求めることができる。所定の閾値「x」は、タッチ面に押し当てられた平均的な人の指先のサイズより大きな距離などの、任意の距離とすることができる。タッチ位置の位置の変化が閾値Xより小さい場合は(すなわち、判定ブロック1108=「いいえ」)、コンピューティングデバイスは、次のタッチイベントを受け取るためにブロック1102に進む前に、ブロック1124で通常のグラフィカルユーザインターフェース機能を行うことができる。
タッチ位置の位置の変化が、閾値Xより大きい場合は(すなわち、判定ブロック1108=「はい」)、コンピューティングデバイス300は、ブロック1110で仮想タッチイベントの発生位置を記憶し、ブロック1112で仮想タッチイベントの発生位置および第1のタッチ位置に基づいて、第2のタッチイベントの発生位置を計算し記憶することができる。上記のように第2のタッチイベントの発生位置を計算する動作は、図13を参照して以下で述べるように任意選択である。コンピューティングデバイス300は、ブロック1114でタッチイベントの発生位置を取得し、判定ブロック1106でイベントがタッチアップイベントであるかどうかを判定することができる。イベントがタッチアップイベントである場合は(すなわち、判定ブロック1106=「はい」)、コンピューティングデバイス300は、次のタッチイベントを受け取るためにブロック1102に進む前に、ブロック1124で通常の(すなわち、非マルチタッチ)グラフィカルユーザインターフェース機能を行うことができる。イベントがタッチアップイベントでない場合は(すなわち、判定ブロック1106=「いいえ」)、コンピューティングデバイス300は、ブロック1118で新しいタッチイベントの発生位置を取得し、ブロック1119で記憶された第2のタッチイベントの発生位置データおよび新しい第2のタッチイベントの発生位置データを用いて本明細書で述べるようにマルチタッチジェスチャパラメータを計算することができる。ブロック1120ではコンピューティングデバイス300は、計算したパラメータに基づいて、適用すべき変換機能および変換係数を決定し、ブロック1122で表示された画像または現在稼働しているアプリケーションに、変換係数を用いて変換機能を適用することができる。次いでコンピューティングデバイス300は、ブロック1114で次のタッチイベントの発生位置を取得し、タッチアップイベントが検出される(すなわち、判定ブロック1106=「はい」)まで処理を繰り返すことができる。
図13は、一態様によるマルチタッチジェスチャを検出し処理する一実施例の方法1200を示す。方法1200ではブロック1102で、コンピューティングデバイス300は、第1のタッチイベントを検出し、ブロック1104でそのタッチの位置を取得し記憶する。判定ブロック1106でコンピューティングデバイス300は、ユーザがタッチ面100からすべての指を持ち上げたときに発生するタッチアップがあったかどうかを判定することができる。タッチイベントがタッチアップイベントである場合は(すなわち、判定1106=「はい」)、コンピューティングデバイス300は、次のタッチイベントを受け取るためにブロック1102に進む前に、ブロック1124で通常のグラフィカルユーザインターフェース機能を行うことができる。
タッチイベントがタッチアップイベントでない場合は(すなわち、判定1106=「いいえ」)、コンピューティングデバイス300は、判定ブロック1108で所定の値「x」より大きなタッチ位置の突然のジャンプがあったかどうかを判定することができる。タッチ位置の位置の変化が閾値Xより小さい場合(すなわち、判定ブロック1108=「いいえ」)は、コンピューティングデバイスは、次のタッチイベントを受け取るためにブロック1102に進む前に、ブロック1124で通常のグラフィカルユーザインターフェース機能を行うことができる。タッチ位置の位置の変化が閾値Xより大きい場合は(すなわち、判定ブロック1108=「はい」)、コンピューティングデバイス300は、ブロック1110で平均された仮想タッチイベントの発生位置を記憶することができる。ブロック1111でコンピューティングデバイス300は、仮想タッチイベントの発生位置に関する本明細書で述べる様々なマルチタッチジェスチャパラメータを計算し記憶することができる。ブロック1114でコンピューティングデバイス300は、新しい仮想タッチイベントの発生位置を取得し、判定ブロック1106でイベントがタッチアップイベントであるかどうかを判定することができる。イベントがタッチアップイベントである場合は(すなわち、判定1106=「はい」)、コンピューティングデバイス300は、次のタッチイベントを受け取るためにブロック1102に進む前に、ブロック1124で通常のグラフィカルユーザインターフェース機能を行うことができる。イベントがタッチアップイベントでない場合は(すなわち、判定1106=「いいえ」)、コンピューティングデバイス300は、ブロック1201で新しいタッチイベントに関係する新しいマルチタッチジェスチャパラメータを計算することができる。ブロック1202でコンピューティングデバイスは、計算したマルチタッチジェスチャパラメータを、記憶された仮想タッチイベントの発生位置および新しい仮想タッチイベントの発生位置に対して比較し、ブロック1120で変換機能および関連する変換係数を決定することができる。ブロック1122でコンピューティングデバイス300は、表示された画像または動作しているアプリケーションに、変換係数を用いて変換機能を適用することができる。次いでコンピューティング
デバイス300は、ブロック1114で次のタッチイベントの発生位置を取得し、タッチアップイベントが検出される(すなわち、判定ブロック1106=「はい」)まで、処理を繰り返すことができる。
上述の態様は、任意の多様なコンピューティングデバイス300に実施することができる。通常はこのようなコンピューティングデバイス300は、共通して図14に示す構成要素を有する。たとえばコンピューティングデバイス300は、内部メモリ195に結合されたプロセッサ191、およびタッチ面入力デバイス100またはディスプレイ306を含むことができる。タッチ面入力デバイス100は、抵抗検知タッチスクリーン、静電容量検知タッチスクリーン、赤外線検知タッチスクリーン、音響/圧電検知タッチスクリーンなど、任意のタイプのタッチスクリーンディスプレイでよい。様々な態様は、いずれの特定のタイプのタッチスクリーンディスプレイまたはタッチパッド技術にも限定されない。さらにコンピューティングデバイス300は、無線データリンクに接続された、電磁放射を送信し受信するためのアンテナ194、および/またはプロセッサ191に結合されたセルラ電話送受信器192を有することができる。タッチ面入力デバイス100を含まない、(通常は、ディスプレイ306を含む)コンピューティングデバイス300は、通常はキーパッド196または小型キーボード、およびメニュー選択キー、またはポインティングデバイスとして働くロッカスイッチ197を含む。プロセッサ191はさらに、プロセッサ191を外部タッチパッドまたはタッチ面、または外部ローカルエリアネットワークに接続するためのユニバーサルシリアルバス(USB)またはFireWire(登録商標)コネクタソケットなどの、有線ネットワークインターフェース198に接続することができる。
一部の実装形態ではタッチ面は、タッチ面100またはディスプレイ306の外側のコンピューティングデバイス300の領域内に設けることができる。たとえばキーパッド196は、埋め込み型容量性タッチセンサを有するタッチ面100を含むことができる。他の実装形態ではタッチスクリーンディスプレイ306で完全なGUIを提供するように、キーパッド196はなくすことができる。他の実装形態ではタッチ面100は、ケーブルコネクタ198へのケーブルまたはプロセッサ191に結合された無線送受信器(たとえば送受信器192)によってコンピューティングデバイス300に接続することができる、外部タッチパッドとすることができる。
上述のいくつかの態様はまた、図15に示すノートブックコンピュータ2000などの、任意の多様なコンピューティングデバイスで実施することができる。このようなノートブックコンピュータ2000は、通常は、揮発性メモリ2462に結合され、ディスク装置2463などの大容量不揮発性メモリに結合されたプロセッサ2461を含んだ、ハウジング2466を含む。コンピュータ2000はまた、プロセッサ2461に結合されたフレキシブルディスク装置2464およびコンパクトディスク(CD)装置2465を含むことができる。コンピュータハウジング2466はまた通常は、タッチパッド2467、キーボード2468、およびディスプレイ2469を含む。
コンピューティングデバイスプロセッサ191、2461は、上述の様々な態様の機能を含む多様な機能を行うようにソフトウェア命令(アプリケーション)によって構成することができる任意のプログラマブルマイクロプロセッサ、マイクロコンピュータ、またはマルチプロセッサチップでよい。一部のポータブルコンピューティングデバイス300、2000は、無線通信機能専用の1つのプロセッサ、および他のアプリケーションを稼働するための専用の1つのプロセッサなどの、複数のプロセッサ191、2461を設けることができる。プロセッサはまた、通信チップセットの一部として含むことができる。
様々な態様は、上述の方法またはプロセスの1つまたは複数を実施するように構成されたソフトウェア命令を実行する、コンピュータプロセッサ191、2461によって実施することができる。このようなソフトウェア命令は、一態様の方法またはプロセスを実施する別個のアプリケーションとしてまたはコンパイルされたソフトウェアとして、ハードディスクメモリ2463内のメモリ192、2462内に、有形記憶媒体上に、またはネットワーク(図示せず)を通じてアクセス可能なサーバ上に、記憶することができる。さらにソフトウェア命令は、ランダムアクセスメモリ192、2462、ハードディスクメモリ2463、フレキシブルディスク(フレキシブルディスク装置2464で読み出すことができる)、コンパクトディスク(CD装置2465で読み出すことができる)、電気的消去可能/プログラマブル読出し専用メモリ(EEPROM)、読出し専用メモリ(FLASHメモリなど)、および/または、外部メモリチップまたUSBネットワークポートに差し込まれたまたはUSB接続可能な外部メモリ(たとえば「フラッシュドライブ」)などの、コンピューティングデバイス300、2000に差し込まれたメモリモジュール(図示せず)を含む、任意の形態の有形のプロセッサ可読メモリに記憶することができる。この説明のためにメモリという用語は、プロセッサ191、2461自体にメモリを含むプロセッサ191、2461によってアクセス可能なすべてのメモリを指す。
上記の方法の説明および処理フロー図は例示のみのために示され、様々な態様が示された順序で実行されなければならないことを必要とするまたは意味するものではない。当業者には理解されるように、上記の態様におけるブロックおよびプロセスの順序は、任意の順序で実行することができる。「その後に(thereafter)」、「次いで(then)」、「次(next)」などの語はプロセスの順序を限定するものではなく、単に方法の説明を通して読者を導くために用いられる。さらにたとえば冠詞「a」、「an」、または「the」を用いた単数形の請求要素へのいずれの参照も、その要素が単数に限定されると解釈されるべきではない。
本明細書で開示される態様に関連して述べた様々な論理ブロック、モジュール、回路、アルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実施することができる。このハードウェアとソフトウェアが互いに互換できることを明らかに示すために、様々な例示の構成要素、ブロック、モジュール、回路、およびアルゴリズムは、一般にそれらの機能の観点から上述した。このような機能がハードウェアとして実施されるかまたはソフトウェアとして実施されるかは、特定の用途、およびシステム全体に課される設計上の制約に依存する。当業者なら、述べられた機能を、それぞれの特定の用途に対して様々なやり方で実施することができるが、このような実施の決定は本発明の範囲からの逸脱を生じるものと解釈されるべきではない。
本明細書に開示される態様に関連して述べた様々な例示のロジック、論理ブロック、モジュール、および回路を実施するために用いられるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェア構成要素、または本明細書で述べた機能を行うように設計されたこれらの任意の組み合わせを用いて、実装または実行することができる。汎用プロセッサはマイクロプロセッサとすることができるが、代替としてプロセッサは任意の通常のプロセッサ、コントローラ、マイクロコントローラ、または状態機械でもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、たとえばDSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと併用される1つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として、実施することができる。あるいは一部のプロセスまたは方法は、所与の機能に固有な回路によって実行することができる。
1つまたは複数の例示の態様では、述べた機能は、ハードウェア、ソフトウェア、またはそれらの任意の組み合わせで実施することができる。ソフトウェアで実施される場合は機能は、コンピュータ可読媒体上の1つまたは複数の命令またはコードとして、記憶するまたは伝送することができる。本明細書で開示される方法のプロセスまたはアルゴリズムは、コンピュータ可読媒体上に存在することができるプロセッサ実行可能ソフトウェアモジュール内に実施することができる。コンピュータ可読媒体は、コンピュータ記憶媒体と、1つの場所から他の場所へのコンピュータプログラムの移動を容易にする任意の媒体を含む通信媒体との両方を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体でよい。たとえば非限定的にこのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または光ディスク記憶、磁気ディスク記憶または他の磁気記憶装置、または命令またはデータ構造の形態の所望のプログラムコードを担うまたは記憶するために用いることができコンピュータによってアクセスできる他の任意の媒体を、含むことができる。また任意の接続も適切に、コンピュータ可読媒体と呼ばれる。たとえばソフトウェアが、ウェブサイト、サーバまたは他の遠隔供給源から同軸ケーブル、光ファイバケーブル、撚線対、デジタル加入者回線(DSL)、あるいは赤外線、無線およびマイクロ波などの無線技術を用いて伝送される場合は同軸ケーブル、光ファイバケーブル、撚線対、DSL、または赤外線、無線およびマイクロ波などの無線技術も、媒体の定義に含まれる。本明細書で用いる「disk」および「disc」は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクを含み、「diskは」通常はデータを磁気的に再生し、「disc」はレーザを用いてデータを光学的に再生する。また上記の組み合わせもコンピュータ可読媒体の範囲に含められるべきである。さらに方法の動作およびアルゴリズムは、コードおよび/または機械可読媒体および/またはコンピュータ可読媒体上に記憶された命令の1つ、または組み合わせ、または組として存在することができ、これらはコンピュータプログラム製品内に組み込むことができる。
様々な態様についての上記の説明は、当業者が本発明を製造しまたは使用するのを可能にするように示した。当業者にはこれらの態様に対する様々な変更形態は容易に明らかとなり、本発明の範囲を逸脱せずに、本明細書に記載の一般的な原理を他の態様に応用することができる。したがって本発明は、本明細書に示した態様に限定されるものではなく、「特許請求の範囲」には本明細書に開示された原理および新規な特徴と一致した最も広い範囲が与えられるべきである。
100 タッチ面
102 第1の指
104 第2の指
191 プロセッサ
192 セルラ電話送受信器、送受信器、メモリ
194 アンテナ
195 内部メモリ
196 キーパッド
197 ロッカスイッチ
198 有線ネットワークインターフェース、ケーブルコネクタ
300 コンピューティングデバイス
306 ディスプレイ
800 ジェスチャデータテーブル
902 ステアリングホイール
1002 ハードウェアドライバ
1004 オペレーティングシステム
1006 マルチタッチアプリケーションプログラミングインターフェース(API)
1008 アプリケーション
1010 ユーザインターフェース
2000 ノートブックコンピュータ、コンピューティングデバイス
2461 プロセッサ
2462 揮発性メモリ、メモリ
2463 ディスク装置、ハードディスクメモリ
2464 フレキシブルディスク装置
2465 コンパクトディスク(CD)装置
2466 ハウジング
2467 タッチパッド
2468 キーボード
2469 ディスプレイ

Claims (48)

  1. タッチ面ユーザ入力デバイスを有するコンピューティングデバイス上でマルチタッチジェスチャを実施する方法であって、
    前記タッチ面上の第1のタッチイベントを検出するステップと、
    前記タッチ面上の前記第1のタッチイベントの発生位置を記憶するステップと、
    タッチアップイベントを検出することなしに前記タッチ面上の前記タッチイベントの発生位置のジャンプを検出するステップと、
    前記検出したジャンプの後の前記タッチイベントの発生位置を記憶するステップと、
    新しいタッチイベントの発生位置を取得するステップと、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定するステップと、
    決定したグラフィカルユーザインターフェース機能を実施するステップと
    を含む方法。
  2. 前記決定したグラフィカルユーザインターフェース機能が変換機能であり、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて変換係数を決定するステップをさらに含む、請求項1に記載の方法。
  3. 前記決定したグラフィカルユーザインターフェース機能が画像ズーム変換機能であり、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて拡大変換係数を決定するステップをさらに含み、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記ステップが、前記決定した拡大変換係数に基づいて、表示された画像にズーム拡大を適用するステップを含む、請求項1に記載の方法。
  4. 前記決定したグラフィカルユーザインターフェース機能が画像回転変換機能であり、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて回転変換係数を決定するステップをさらに含み、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記ステップが、決定した回転変換係数に基づいて、表示された画像を回転するステップを含む、請求項1に記載の方法。
  5. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記ステップが、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの距離との差を計算するステップを含む、請求項1に記載の方法。
  6. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記ステップが、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの直線と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの直線との間の角度を計算するステップを含む、請求項1に記載の方法。
  7. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記ステップが、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの距離との差を計算するステップと、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの直線と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの直線との間の角度を計算するステップと
    を含む請求項1に記載の方法。
  8. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記ステップが、オペレーティングシステムによって行われる、請求項1に記載の方法。
  9. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記ステップが、アプリケーションプログラミングインターフェース(API)によって行われる、請求項1に記載の方法。
  10. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記ステップが、
    前記記憶された第1のタッチイベントの発生位置、および前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置に基づいて第2のタッチのタッチ位置を推定するステップを含む、請求項1に記載の方法。
  11. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記ステップが、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの第1の距離を計算するステップと、
    前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの第2の距離を計算するステップと、
    前記第1の距離が前記第2の距離と異なるかどうかを判定するステップと、
    前記第1の距離と前記第2の距離が異なる場合は、前記グラフィカルユーザインターフェース機能はズーム変換機能であると決定するステップと、
    前記第2の距離と前記第1の距離の比に基づいて拡大変換係数を計算するステップと
    を含み、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記ステップは、前記計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用するステップを含む、請求項1に記載の方法。
  12. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記ステップが、
    前記第1のタッチの前記記憶位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離に基づいて、前記記憶された第1のタッチイベントの発生位置から第2のタッチ位置までの第1の距離を計算するステップと、
    前記第1のタッチの前記記憶位置から前記新しいタッチイベントの発生位置までの距離に基づいて前記記憶された第1のタッチイベントの発生位置から新しい第2のタッチ位置までの第2の距離を計算するステップと、
    前記第1の距離が前記第2の距離と異なるかどうかを判定するステップと、
    前記第1の距離と前記第2の距離が異なる場合は、前記グラフィカルユーザインターフェース機能はズーム変換機能であると決定するステップと、
    前記第2の距離と前記第1の距離の比に基づいて拡大変換係数を計算するステップと
    を含み、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記ステップは、前記計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用するステップを含む、請求項1に記載の方法。
  13. プロセッサと、
    前記プロセッサに結合された、ユーザインターフェースタッチ面デバイスと、
    前記プロセッサに結合されたメモリと、
    前記プロセッサに結合されたディスプレイと
    を備え、前記プロセッサは、プロセッサ実行可能命令を用いて、
    前記タッチ面上の第1のタッチイベントを検出し、
    前記タッチ面上の前記第1のタッチイベントの発生位置を記憶し、
    タッチアップイベントを検出することなしに前記タッチ面上の前記タッチイベントの発生位置のジャンプを検出し、
    前記検出したジャンプの後の前記タッチイベントの発生位置を記憶し、
    新しいタッチイベントの発生位置を取得し、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定し、
    前記決定したグラフィカルユーザインターフェース機能を実施すること
    を含む処理を行うように構成されている、コンピューティングデバイス。
  14. 前記決定したグラフィカルユーザインターフェース機能が変換機能であり、
    前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて変換係数を決定することをさらに含む処理を実行するように構成されている、請求項13に記載のコンピューティングデバイス。
  15. 前記決定したグラフィカルユーザインターフェース機能が画像ズーム変換機能であり、
    前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて拡大変換係数を決定することをさらに含む処理を実行するように構成され、
    前記決定したグラフィカルユーザインターフェース機能を実施することは、前記決定した拡大変換係数に基づいて、表示された画像にズーム拡大を適用することを含む、請求項13に記載のコンピューティングデバイス。
  16. 前記決定したグラフィカルユーザインターフェース機能が画像回転変換機能であり、
    前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて回転変換係数を決定することをさらに含む処理を実行するように構成され、
    前記プロセッサは、プロセッサ実行可能命令を用いて、前記決定したグラフィカルユーザインターフェース機能が、前記決定した回転変換係数に基づいて、表示された画像を回転することを含むように構成されている、請求項13に記載のコンピューティングデバイス。
  17. 前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定することが、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの距離との差を計算すること
    を含むように処理を実行するように構成されている、請求項13に記載のコンピューティングデバイス。
  18. 前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定することが、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの直線と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの直線との間の角度を計算すること
    を含むように処理を実行するように構成されている、請求項13に記載のコンピューティングデバイス。
  19. 前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定することが、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの距離との差を計算し、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの直線と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの直線との間の角度を計算すること
    を含むように処理を実行するように構成されている、請求項13に記載のコンピューティングデバイス。
  20. 前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定することが、オペレーティングシステムによって実行されるように構成されている、請求項13に記載のコンピューティングデバイス。
  21. 前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記タッチイベントの前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定することが、アプリケーションプログラミングインターフェース(API)によって実行されるように、処理を実行するように構成されている、請求項13に記載のコンピューティングデバイス。
  22. 前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定することが、
    前記記憶された第1のタッチイベントの発生位置、および前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置に基づいて第2のタッチのタッチ位置を推定することを含むように処理を実行するように構成されている、請求項13に記載のコンピューティングデバイス。
  23. 前記プロセッサが、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定することが、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの第1の距離を計算し、
    前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの第2の距離を計算し、
    前記第1の距離が前記第2の距離と異なるかどうかを判定し、
    前記第1の距離と前記第2の距離が異なる場合は、前記グラフィカルユーザインターフェース機能はズーム変換機能であると決定し、
    前記第2の距離と前記第1の距離の比に基づいて拡大変換係数を計算すること
    を含み、
    前記決定したグラフィカルユーザインターフェース機能を実施することは、前記計算した拡大変換係数に基づいて、表示された画像をズーム拡大することを含むように、処理を実行するように構成されている、請求項13に記載のコンピューティングデバイス。
  24. 前記プロセッサは、プロセッサ実行可能命令を用いて、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定することが、
    前記第1のタッチの前記記憶位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離に基づいて、前記記憶された第1のタッチイベントの発生位置から第2のタッチ位置までの第1の距離を計算し、
    前記第1のタッチの前記記憶位置から前記新しいタッチイベントの発生位置までの距離に基づいて、前記記憶された第1のタッチイベントの発生位置から新しい第2のタッチ位置までの第2の距離を計算し、
    前記第1の距離が前記第2の距離と異なるかどうかを判定し、
    前記第1の距離と前記第2の距離が異なる場合は、前記グラフィカルユーザインターフェース機能はズーム変換機能であると決定し、
    前記第2の距離と前記第1の距離の比に基づいて拡大変換係数を計算すること
    を含み、
    前記決定したグラフィカルユーザインターフェース機能を実施することは、前記計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用することを含むように、処理を実行するように構成されている、請求項13に記載のコンピューティングデバイス。
  25. タッチ面上の第1のタッチイベントを検出する手段と、
    前記タッチ面上の前記第1のタッチイベントの発生位置を記憶する手段と、
    タッチアップイベントを検出することなしに前記タッチ面上の前記タッチイベントの発生位置のジャンプを検出する手段と、
    前記検出したジャンプの後の前記タッチイベントの発生位置を記憶する手段と、
    新しいタッチイベントの発生位置を取得する手段と、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する手段と、
    前記決定したグラフィカルユーザインターフェース機能を実施する手段と
    を備えるコンピューティングデバイス。
  26. 前記決定したグラフィカルユーザインターフェース機能が変換機能であり、前記コンピューティングデバイスは、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて変換係数を決定する手段をさらに備える、請求項25に記載のコンピューティングデバイス。
  27. 前記決定したグラフィカルユーザインターフェース機能が画像ズーム変換機能であり、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて拡大変換係数を決定する手段をさらに備え、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記手段は、前記決定した拡大変換係数に基づいて、表示された画像にズーム拡大を適用する手段を備える、請求項25に記載のコンピューティングデバイス。
  28. 前記決定したグラフィカルユーザインターフェース機能が画像回転変換機能であり、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて回転変換係数を決定する手段をさらに備え、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記手段は、前記決定した回転変換係数に基づいて、表示された画像を回転する手段を備える、請求項25に記載のコンピューティングデバイス。
  29. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する前記手段が、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの距離との差を計算する手段を備える、請求項25に記載のコンピューティングデバイス。
  30. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する前記手段が、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの直線と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの直線との間の角度を計算する手段を備える、請求項25に記載のコンピューティングデバイス。
  31. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する前記手段が、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの距離との差を計算する手段と、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの直線と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの直線との間の角度を計算する手段と
    を備える、請求項25に記載のコンピューティングデバイス。
  32. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する前記手段が、オペレーティングシステムの一部として、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する手段を備える、請求項25に記載のコンピューティングデバイス。
  33. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する前記手段が、アプリケーションプログラミングインターフェース(API)として、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する手段を備える、請求項25に記載のコンピューティングデバイス。
  34. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する前記手段が、
    前記記憶された第1のタッチイベントの発生位置、および前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置に基づいて第2のタッチのタッチ位置を推定する手段を備える、請求項25に記載のコンピューティングデバイス。
  35. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する前記手段が、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの第1の距離を計算する手段と、
    前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの第2の距離を計算する手段と、
    前記第1の距離が前記第2の距離と異なるかどうかを判定する手段と、
    前記第1の距離と前記第2の距離が異なる場合は、前記グラフィカルユーザインターフェース機能はズーム変換機能であると決定する手段と、
    前記第2の距離と前記第1の距離の比に基づいて拡大変換係数を計算する手段と
    を備え、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記手段は、前記計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用する手段を備える、請求項25に記載のコンピューティングデバイス。
  36. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて実施すべきグラフィカルユーザインターフェース機能を決定する前記手段が、
    前記第1のタッチの前記記憶位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離に基づいて、前記記憶された第1のタッチイベントの発生位置から第2のタッチ位置までの第1の距離を計算する手段と、
    前記第1のタッチの前記記憶位置から前記新しいタッチイベントの発生位置までの距離に基づいて、前記記憶された第1のタッチイベントの発生位置から新しい第2のタッチ位置までの第2の距離を計算する手段と、
    前記第1の距離が前記第2の距離と異なるかどうかを判定する手段と、
    前記第1の距離と前記第2の距離が異なる場合は、前記グラフィカルユーザインターフェース機能はズーム変換機能であると決定する手段と、
    前記第2の距離と前記第1の距離の比に基づいて拡大変換係数を計算する手段と、
    を備え、
    前記決定したグラフィカルユーザインターフェース機能を実施する手段は、前記計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用する手段を備える、請求項25に記載のコンピューティングデバイス。
  37. プロセッサにより実行可能な命令を含むコンピュータプログラムであって、
    タッチ面上の第1のタッチイベントを検出する少なくとも1つの命令と、
    前記タッチ面上の前記第1のタッチイベントの発生位置を記憶する少なくとも1つの命令と、
    タッチアップイベントを検出することなしに前記タッチ面上の前記タッチイベントの発生位置のジャンプを検出する少なくとも1つの命令と、
    前記検出したジャンプの後の前記タッチイベントの発生位置を記憶する少なくとも1つの命令と、
    新しいタッチイベントの発生位置を取得する少なくとも1つの命令と、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する少なくとも1つの命令と、
    前記決定したグラフィカルユーザインターフェース機能を実施する少なくとも1つの命令と
    を含む、コンピュータプログラム。
  38. 前記決定したグラフィカルユーザインターフェース機能が変換機能であり、前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて変換係数を決定する、少なくとも1つの命令をさらに含む、請求項37に記載のコンピュータプログラム。
  39. 前記決定したグラフィカルユーザインターフェース機能が画像ズーム変換機能であり、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて拡大変換係数を決定する、少なくとも1つの命令をさらに含み、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記少なくとも1つの命令は、前記決定した拡大変換係数に基づいて、表示された画像にズーム拡大を適用する少なくとも1つの命令を含む、請求項37に記載のコンピュータプログラム。
  40. 前記決定したグラフィカルユーザインターフェース機能が画像回転変換機能であり、
    前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて回転変換係数を決定する、少なくとも1つの命令をさらに含み、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記少なくとも1つの命令は、前記決定した回転変換係数に基づいて、表示された画像を回転する少なくとも1つの命令を含む、請求項37に記載のコンピュータプログラム。
  41. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記少なくとも1つの命令が、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの距離との差を計算する少なくとも1つの命令を含む、請求項37に記載のコンピュータプログラム。
  42. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記少なくとも1つの命令が、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの直線と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの直線との間の角度を計算する少なくとも1つの命令を含む、請求項37に記載のコンピュータプログラム。
  43. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記少なくとも1つの命令が、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの距離との差を計算する少なくとも1つの命令と、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの直線と、前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの直線との間の角度を計算する少なくとも1つの命令とを含む、請求項37に記載のコンピュータプログラム。
  44. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記少なくとも1つの命令が、オペレーティングシステム内に実施される、請求項37に記載のコンピュータプログラム。
  45. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記少なくとも1つの命令が、アプリケーションプログラミングインターフェース(API)として実施される、請求項37に記載のコンピュータプログラム。
  46. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記少なくとも1つの命令が、
    前記記憶された第1のタッチイベントの発生位置、および前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置に基づいて第2のタッチのタッチ位置を推定する、少なくとも1つの命令を含む、請求項37に記載のコンピュータプログラム。
  47. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記少なくとも1つの命令が、
    前記記憶された第1のタッチイベントの発生位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの第1の距離を計算する少なくとも1つの命令と、
    前記記憶された第1のタッチイベントの発生位置から前記新しいタッチイベントの発生位置までの第2の距離を計算する少なくとも1つの命令と、
    前記第1の距離が前記第2の距離と異なるかどうかを判定する少なくとも1つの命令と、
    前記第1の距離と前記第2の距離が異なる場合は、前記グラフィカルユーザインターフェース機能はズーム変換機能であると決定する、少なくとも1つの命令と、
    前記第2の距離と前記第1の距離の比に基づいて拡大変換係数を計算する少なくとも1つの命令とを含み、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記少なくとも1つの命令は、前記計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用する、少なくとも1つの命令を含む、請求項37に記載のコンピュータプログラム。
  48. 前記記憶された第1のタッチイベントの発生位置、前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置、および前記新しいタッチイベントの発生位置に基づいて、実施すべきグラフィカルユーザインターフェース機能を決定する前記少なくとも1つの命令は、
    前記第1のタッチの前記記憶位置から前記検出したジャンプの後の前記記憶されたタッチイベントの発生位置までの距離に基づいて、前記記憶された第1のタッチイベントの発生位置から第2のタッチ位置までの第1の距離を計算する少なくとも1つの命令と、
    前記第1のタッチの前記記憶位置から前記新しいタッチイベントの発生位置までの距離に基づいて、前記記憶された第1のタッチイベントの発生位置から新しい第2のタッチ位置までの第2の距離を計算する少なくとも1つの命令と、
    前記第1の距離が前記第2の距離と異なるかどうかを判定する少なくとも1つの命令と、
    前記第1の距離と前記第2の距離が異なる場合は、前記グラフィカルユーザインターフェース機能はズーム変換機能であると決定する少なくとも1つの命令と、
    前記第2の距離と前記第1の距離の比に基づいて、拡大変換係数を計算する少なくとも1つの命令とを含み、
    前記決定したグラフィカルユーザインターフェース機能を実施する前記少なくとも1つの命令は、前記計算した拡大変換係数に基づいて、表示された画像にズーム拡大を適用する、少なくとも1つの命令を含む、請求項37に記載のコンピュータプログラム。
JP2012537895A 2009-11-03 2010-10-15 シングルタッチタッチ面上でマルチタッチジェスチャを実施する方法 Pending JP2013510370A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/611,549 2009-11-03
US12/611,549 US8957918B2 (en) 2009-11-03 2009-11-03 Methods for implementing multi-touch gestures on a single-touch touch surface
PCT/US2010/052921 WO2011056387A1 (en) 2009-11-03 2010-10-15 Methods for implementing multi-touch gestures on a single-touch touch surface

Publications (1)

Publication Number Publication Date
JP2013510370A true JP2013510370A (ja) 2013-03-21

Family

ID=43567795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012537895A Pending JP2013510370A (ja) 2009-11-03 2010-10-15 シングルタッチタッチ面上でマルチタッチジェスチャを実施する方法

Country Status (6)

Country Link
US (1) US8957918B2 (ja)
EP (1) EP2497016A1 (ja)
JP (1) JP2013510370A (ja)
KR (1) KR20120093322A (ja)
CN (1) CN102640100B (ja)
WO (1) WO2011056387A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014010649A (ja) * 2012-06-29 2014-01-20 Rakuten Inc 情報処理装置、認証装置、情報処理方法及び情報処理プログラム
JP2014519125A (ja) * 2011-06-05 2014-08-07 アップル インコーポレイテッド 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
JP2015170228A (ja) * 2014-03-07 2015-09-28 コニカミノルタ株式会社 データ処理装置、操作受付方法およびコンテンツ表示プログラム
JP2016110343A (ja) * 2014-12-04 2016-06-20 キヤノン株式会社 情報処理装置、情報処理装置における情報処理方法、並びにプログラム
US10986252B2 (en) 2015-06-07 2021-04-20 Apple Inc. Touch accommodation options
US11947792B2 (en) 2011-12-29 2024-04-02 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input

Families Citing this family (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8466879B2 (en) 2008-10-26 2013-06-18 Microsoft Corporation Multi-touch manipulation of application objects
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) * 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9009612B2 (en) 2009-06-07 2015-04-14 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US20120327009A1 (en) * 2009-06-07 2012-12-27 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US11704473B2 (en) * 2009-09-30 2023-07-18 Georgia Tech Research Corporation Systems and methods to facilitate active reading
KR101137387B1 (ko) * 2009-11-05 2012-04-20 삼성모바일디스플레이주식회사 기준 전압 설정 장치를 포함한 조도 측정 장치와 디스플레이 장치
JP4947668B2 (ja) * 2009-11-20 2012-06-06 シャープ株式会社 電子機器、表示制御方法、およびプログラム
TW201122969A (en) * 2009-12-17 2011-07-01 Weltrend Semiconductor Inc Multi-touch command detecting method for touch surface capacitive touch panel
KR20110088727A (ko) * 2010-01-29 2011-08-04 삼성전자주식회사 휴대용 단말기에서 출력 이미지를 회전시키기 위한 장치 및 방법
JP5356272B2 (ja) * 2010-02-05 2013-12-04 パナソニック株式会社 座標入力装置、座標入力方法、座標入力プログラム、及び携帯端末
US8717317B2 (en) * 2010-02-22 2014-05-06 Canon Kabushiki Kaisha Display control device and method for controlling display on touch panel, and storage medium
TWI430141B (zh) * 2010-02-25 2014-03-11 Egalax Empia Technology Inc 判斷旋轉手勢的方法與裝置
JP5486977B2 (ja) * 2010-03-24 2014-05-07 株式会社日立ソリューションズ 座標入力装置及びプログラム
TW201135550A (en) * 2010-04-14 2011-10-16 Qisda Corp System and method for enabling multiple-point actions based on single-point touch panel
EP2395413B1 (en) * 2010-06-09 2018-10-03 The Boeing Company Gesture-based human machine interface
US9285983B2 (en) * 2010-06-14 2016-03-15 Amx Llc Gesture recognition using neural networks
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
JP5664147B2 (ja) * 2010-09-06 2015-02-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8514252B1 (en) * 2010-09-22 2013-08-20 Google Inc. Feedback during crossing of zoom levels
JP5269851B2 (ja) * 2010-09-27 2013-08-21 富士フイルム株式会社 画像編集装置及びその画像編集方法並びにそのプログラム
US9496841B2 (en) * 2010-10-21 2016-11-15 Nokia Technologies Oy Recording level adjustment using a distance to a sound source
US20120113044A1 (en) * 2010-11-10 2012-05-10 Bradley Park Strazisar Multi-Sensor Device
KR101932688B1 (ko) * 2010-11-29 2018-12-28 삼성전자주식회사 휴대기기 및 이에 적용되는 ｕｉ 모드 제공 방법
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US20120169671A1 (en) * 2011-01-03 2012-07-05 Primax Electronics Ltd. Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and an imaging sensor
US8830192B2 (en) * 2011-01-13 2014-09-09 Elan Microelectronics Corporation Computing device for performing functions of multi-touch finger gesture and method of the same
US20120256846A1 (en) * 2011-04-05 2012-10-11 Research In Motion Limited Electronic device and method of controlling same
US8872773B2 (en) 2011-04-05 2014-10-28 Blackberry Limited Electronic device and method of controlling same
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US8902222B2 (en) 2012-01-16 2014-12-02 Autodesk, Inc. Three dimensional contriver tool for modeling with multi-touch devices
US9182882B2 (en) 2011-04-12 2015-11-10 Autodesk, Inc. Dynamic creation and modeling of solid models
US8947429B2 (en) 2011-04-12 2015-02-03 Autodesk, Inc. Gestures and tools for creating and editing solid models
JP5097288B2 (ja) * 2011-04-28 2012-12-12 シャープ株式会社 画像形成装置
US8773374B2 (en) * 2011-05-13 2014-07-08 Blackberry Limited Identification of touch point on touch screen device
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304131A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US20120304107A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
US8860675B2 (en) * 2011-07-12 2014-10-14 Autodesk, Inc. Drawing aid system for multi-touch devices
KR101328054B1 (ko) * 2011-08-09 2013-11-08 엘지전자 주식회사 실감 진동을 발생시키는 영상표시장치 및 실감 진동 구현방법
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9851889B2 (en) * 2011-09-16 2017-12-26 Kt Corporation Apparatus and method for rotating a displayed image by using multi-point touch inputs
US9507454B1 (en) * 2011-09-19 2016-11-29 Parade Technologies, Ltd. Enhanced linearity of gestures on a touch-sensitive surface
JP5460679B2 (ja) * 2011-11-28 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
KR20130061993A (ko) * 2011-12-02 2013-06-12 (주) 지.티 텔레콤 터치스크린 상의 화면조작방법
JP2013117885A (ja) * 2011-12-02 2013-06-13 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
CN102566908A (zh) * 2011-12-13 2012-07-11 鸿富锦精密工业（深圳）有限公司 电子设备及其页面缩放方法
CN103186341B (zh) * 2012-01-03 2017-08-29 深圳富泰宏精密工业有限公司 在触控屏幕上控制文件缩放及旋转的系统及方法
US9652132B2 (en) * 2012-01-27 2017-05-16 Google Inc. Handling touch inputs based on user intention inference
US20130194194A1 (en) * 2012-01-27 2013-08-01 Research In Motion Limited Electronic device and method of controlling a touch-sensitive display
WO2013121459A1 (ja) * 2012-02-16 2013-08-22 古野電気株式会社 情報表示装置、表示モード切替方法及び表示モード切替プログラム
TW201334843A (zh) * 2012-02-20 2013-09-01 Fu Li Ye Internat Corp 具有觸控面板媒體的遊戲控制方法及該遊戲媒體
EP2823642B1 (en) 2012-03-09 2024-04-24 InterDigital Madison Patent Holdings, SAS Distributed control of synchronized content
CN103309596B (zh) * 2012-03-13 2016-12-14 深圳市世纪光速信息技术有限公司 一种输入法键盘的调整方法及其移动终端
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
KR20130119129A (ko) * 2012-04-23 2013-10-31 삼성전자주식회사 윈도우 크기를 조절하기 위한 방법 및 그 전자 장치
JP2013232119A (ja) * 2012-04-27 2013-11-14 Panasonic Corp 入力装置、入力支援方法及びプログラム
US8923483B2 (en) * 2012-06-05 2014-12-30 Carestream Health, Inc. Rotation of an x-ray image on a display
US9077896B2 (en) * 2012-06-11 2015-07-07 Lg Electronics Inc. Mobile terminal for capturing image and controlling method thereof
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
CN103529976B (zh) * 2012-07-02 2017-09-12 英特尔公司 手势识别系统中的干扰消除
US9075460B2 (en) * 2012-08-10 2015-07-07 Blackberry Limited Method of momentum based zoom of content on an electronic device
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
JP5840302B2 (ja) * 2012-10-15 2016-01-06 シャープ株式会社 タッチパネル付き表示装置およびプログラム
US8539387B1 (en) * 2012-10-22 2013-09-17 Google Inc. Using beat combinations for controlling electronic devices
US9495097B2 (en) * 2012-11-09 2016-11-15 Pitcher AG Touch-sensitive electric apparatus and window operation method thereof
US9645734B2 (en) * 2012-11-21 2017-05-09 Wistron Corp. Optical touch devices and operation method thereof
US9285972B2 (en) * 2012-12-18 2016-03-15 Sap Se Size adjustment control for user interface elements
US20140249906A1 (en) * 2013-03-01 2014-09-04 Apple Inc. Media item collection pre-order fulfillment
WO2014165278A1 (en) * 2013-03-12 2014-10-09 Roger Marks Extended packet switch and method for remote forwarding control and remote port identification
US9082223B2 (en) * 2013-03-15 2015-07-14 Dreamworks Animation Llc Smooth manipulation of three-dimensional objects
KR20140122682A (ko) * 2013-04-10 2014-10-20 주식회사 지니틱스 접촉면이 회전하는 터치이벤트 처리방법 및 이를 위한 장치
US9756288B2 (en) 2013-04-10 2017-09-05 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
WO2014168431A1 (ko) * 2013-04-10 2014-10-16 주식회사 지니틱스 터치이벤트 처리방법 및 이를 위한 장치
US20140325418A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Automatically manipulating visualized data based on interactivity
FI20135508L (fi) * 2013-05-14 2014-11-15 Rovio Entertainment Ltd Kehittynyt kosketuskäyttöliittymä
KR20140140407A (ko) * 2013-05-29 2014-12-09 한국전자통신연구원 단말 및 상기 단말에서의 멀티 터치 동작을 제어하는 방법
US9396697B2 (en) * 2013-06-01 2016-07-19 Apple Inc. Intelligently placing labels
CN104395870B (zh) * 2013-06-05 2017-05-24 展讯通信（上海）有限公司 触摸检测方法及装置
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US20140375572A1 (en) * 2013-06-20 2014-12-25 Microsoft Corporation Parametric motion curves and manipulable content
KR20160022307A (ko) 2013-06-20 2016-02-29 톰슨 라이센싱 콘텐츠의 분산 재생의 동기화를 지원하기 위한 시스템 및 방법
US8930877B1 (en) 2013-06-27 2015-01-06 Zipalog, Inc. Method and system of change evaluation of an electronic design for verification confirmation
KR101553119B1 (ko) * 2013-07-17 2015-09-15 한국과학기술원 연속적인 터치를 이용한 사용자 인터페이스 방법 및 장치
US9612736B2 (en) * 2013-07-17 2017-04-04 Korea Advanced Institute Of Science And Technology User interface method and apparatus using successive touches
DE102013107766A1 (de) * 2013-07-22 2015-01-22 Claas Selbstfahrende Erntemaschinen Gmbh Landmaschinensimulator
US9177362B2 (en) * 2013-08-02 2015-11-03 Facebook, Inc. Systems and methods for transforming an image
US20150049026A1 (en) * 2013-08-14 2015-02-19 Htc Corporation Handheld electronic device and input operation method of the same
KR102205906B1 (ko) * 2013-12-09 2021-01-22 삼성전자주식회사 이미지 내 오브젝트 윤곽선의 수정 방법 및 시스템
US9851880B2 (en) * 2014-03-14 2017-12-26 Adobe Systems Incorporated Image rotation based on touch gestures
CN107210950A (zh) 2014-10-10 2017-09-26 沐择歌有限责任公司 用于共享用户交互的设备
US9684447B2 (en) 2014-11-03 2017-06-20 Snap-On Incorporated Methods and systems for displaying vehicle data parameters with drag-and-drop inputs
US9933915B2 (en) 2014-11-03 2018-04-03 Snap-On Incorporated Methods and systems for displaying vehicle data parameter graphs in different display orientations
US9632656B2 (en) 2014-11-03 2017-04-25 Snap-On Incorporated Methods and systems for displaying vehicle data parameters with a uniform cursor movement
US9880707B2 (en) 2014-11-03 2018-01-30 Snap-On Incorporated Methods and systems for displaying vehicle data parameters with operating condition indicators
US10956003B2 (en) * 2014-11-03 2021-03-23 Snap-On Incorporated Methods and systems for displaying vehicle data parameters with pinch-and-expand inputs
WO2016080596A1 (ko) 2014-11-21 2016-05-26 스튜디오씨드코리아 주식회사 프로토타이핑 툴을 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
AU2016252993B2 (en) 2015-04-23 2018-01-04 Apple Inc. Digital viewfinder user interface for multiple cameras
US10503264B1 (en) * 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US9740384B2 (en) * 2015-06-25 2017-08-22 Morega Systems Inc. Media device with radial gesture control and methods for use therewith
US10782863B2 (en) * 2015-07-17 2020-09-22 Samsung Electronics Co., Ltd. Control interface
US10318128B2 (en) * 2015-09-30 2019-06-11 Adobe Inc. Image manipulation based on touch gestures
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US10698601B2 (en) * 2016-11-02 2020-06-30 Ptc Inc. Second touch zoom control
CN106648378A (zh) * 2017-01-04 2017-05-10 北京奇虎科技有限公司 图像显示方法、装置及移动终端
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107688432A (zh) * 2017-09-04 2018-02-13 中国电子科技集团公司第四十研究所 一种基于触控技术的电子测量仪器人机交互系统架构
JP6418299B1 (ja) * 2017-09-15 2018-11-07 株式会社セガゲームス 情報処理装置及びプログラム
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
JP2019166218A (ja) * 2018-03-26 2019-10-03 株式会社バンダイナムコエンターテインメント プログラム及びゲーム装置
CN109753215B (zh) * 2018-04-02 2020-03-27 北京字节跳动网络技术有限公司 一种窗口分屏显示方法、装置及设备
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR20200119427A (ko) * 2019-04-02 2020-10-20 현대자동차주식회사 차량 및 그 제어방법
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
KR102359654B1 (ko) * 2019-12-10 2022-02-08 인천대학교 산학협력단 디지털 길이 측정 장치
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163031A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
JP2008508601A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのジェスチャ
JP2008102179A (ja) * 2006-10-17 2008-05-01 Matsushita Electric Ind Co Ltd 情報処理装置
JP2009146374A (ja) * 2007-12-11 2009-07-02 J Touch Corp マルチポイントタッチコントローラの制御方法
JP2009176114A (ja) * 2008-01-25 2009-08-06 Mitsubishi Electric Corp タッチパネル装置及びユーザインタフェース装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914624A (en) * 1988-05-06 1990-04-03 Dunthorn David I Virtual button for touch screen
JPH10232734A (ja) * 1997-02-20 1998-09-02 Sharp Corp 仮想キーボード
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7138983B2 (en) * 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
US7023427B2 (en) * 2002-06-28 2006-04-04 Microsoft Corporation Method and system for detecting multiple touches on a touch-sensitive screen
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
WO2005022372A1 (en) * 2003-08-29 2005-03-10 Nokia Corporation Method and device for recognizing a dual point user input on a touch based user input device
JP4903371B2 (ja) * 2004-07-29 2012-03-28 任天堂株式会社 タッチパネルを用いたゲーム装置およびゲームプログラム
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8368653B2 (en) * 2007-01-31 2013-02-05 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
US8106892B2 (en) * 2007-10-29 2012-01-31 Sigmatel, Inc. Touch screen driver for resolving plural contemporaneous touches and methods for use therewith
JP2011503709A (ja) 2007-11-07 2011-01-27 エヌ−トリグ リミテッド デジタイザのためのジェスチャ検出
JP2010086230A (ja) * 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8723988B2 (en) * 2009-07-17 2014-05-13 Sony Corporation Using a touch sensitive display to control magnification and capture of digital images by an electronic device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163031A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
JP2008508601A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのジェスチャ
JP2008102179A (ja) * 2006-10-17 2008-05-01 Matsushita Electric Ind Co Ltd 情報処理装置
JP2009146374A (ja) * 2007-12-11 2009-07-02 J Touch Corp マルチポイントタッチコントローラの制御方法
JP2009176114A (ja) * 2008-01-25 2009-08-06 Mitsubishi Electric Corp タッチパネル装置及びユーザインタフェース装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014519125A (ja) * 2011-06-05 2014-08-07 アップル インコーポレイテッド 物理的なタッチ機能のないタッチユーザインタフェースを制御するためのデバイス、方法及びグラフィカルユーザインタフェース
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US10120566B2 (en) 2011-06-05 2018-11-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US10732829B2 (en) 2011-06-05 2020-08-04 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US11354032B2 (en) 2011-06-05 2022-06-07 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US11775169B2 (en) 2011-06-05 2023-10-03 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US11947792B2 (en) 2011-12-29 2024-04-02 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
JP2014010649A (ja) * 2012-06-29 2014-01-20 Rakuten Inc 情報処理装置、認証装置、情報処理方法及び情報処理プログラム
JP2015170228A (ja) * 2014-03-07 2015-09-28 コニカミノルタ株式会社 データ処理装置、操作受付方法およびコンテンツ表示プログラム
JP2016110343A (ja) * 2014-12-04 2016-06-20 キヤノン株式会社 情報処理装置、情報処理装置における情報処理方法、並びにプログラム
US10986252B2 (en) 2015-06-07 2021-04-20 Apple Inc. Touch accommodation options
US11470225B2 (en) 2015-06-07 2022-10-11 Apple Inc. Touch accommodation options

Also Published As

Publication number Publication date
CN102640100B (zh) 2015-11-25
CN102640100A (zh) 2012-08-15
KR20120093322A (ko) 2012-08-22
US20110102464A1 (en) 2011-05-05
EP2497016A1 (en) 2012-09-12
US8957918B2 (en) 2015-02-17
WO2011056387A1 (en) 2011-05-12

Similar Documents

Publication Publication Date Title
JP2013510370A (ja) シングルタッチタッチ面上でマルチタッチジェスチャを実施する方法
JP5893060B2 (ja) 連続的なズーム機能を提供するユーザーインターフェイスの方法
US8970503B2 (en) Gestures for devices having one or more touch sensitive surfaces
WO2018157662A1 (zh) 一种移动终端的显示控制方法及移动终端
EP3745303B1 (en) Implementation of biometric authentication with error condition detection and display of an error indication
EP2631766B1 (en) Method and apparatus for moving contents in terminal
EP3557395B1 (en) Information processing apparatus, information processing method, and computer program
JP6062913B2 (ja) タッチに基づいた対象動作制御システム及びその方法
US20090243998A1 (en) Apparatus, method and computer program product for providing an input gesture indicator
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
TW201329835A (zh) 顯示控制裝置、顯示控制方法及電腦程式
US20150062027A1 (en) Electronic device and method for controlling screen
US20120120004A1 (en) Touch control device and touch control method with multi-touch function
US20130257768A1 (en) Method and apparatus for providing flexible bezel
TW201319921A (zh) 觸控螢幕畫面控制方法及觸控螢幕畫面顯示方法
US20180181257A1 (en) Method for user interface of foldable display apparatus
EP2780785A1 (en) Method and apparatus for performing a zooming action
JP2015141526A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6401220B2 (ja) タッチに基づいた対象動作制御システム及びその方法
US20140085340A1 (en) Method and electronic device for manipulating scale or rotation of graphic on display
JP6484859B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101165387B1 (ko) 터치 스크린 및 포인팅 디바이스가 구비된 단말장치의 화면 제어 방법
KR20150102364A (ko) 압력감지가 가능한 터치 기반 사용자 인터페이스 제어 장치 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140526