JP2006085703A - フリックジェスチャ - Google Patents

フリックジェスチャ Download PDF

Info

Publication number
JP2006085703A
JP2006085703A JP2005263907A JP2005263907A JP2006085703A JP 2006085703 A JP2006085703 A JP 2006085703A JP 2005263907 A JP2005263907 A JP 2005263907A JP 2005263907 A JP2005263907 A JP 2005263907A JP 2006085703 A JP2006085703 A JP 2006085703A
Authority
JP
Japan
Prior art keywords
gesture
flick
pointing device
speed
gestures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005263907A
Other languages
English (en)
Other versions
JP2006085703A5 (ja
Inventor
Emily K Rimas-Ribikauskas
ケー リマス−リビカウスカス エミリー
Jeffrey W Pettiross
ダブリュー.ペティロス ジェフリー
Leroy B Keely
ビー.ケリー リロイ
Matthew R Lerner
ルビン ラーナー マシュー
Rick Duncan
ダンカン リック
Robert J Jarrett
ジェー.ジャレット ロバート
Sriram Viji
ビジ スリラム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2006085703A publication Critical patent/JP2006085703A/ja
Publication of JP2006085703A5 publication Critical patent/JP2006085703A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu

Abstract

【課題】フリックジェスチャが生じたか否かを判定するシステムおよび方法を説明する。
【解決手段】フリックジェスチャは、容易に検出することができる単純なジェスチャであり、他のアプリケーションまたは他のジェスチャへの干渉が最小であることを特徴とする。
【選択図】図4

Description

本発明の態様は、コンピューティングシステムに関する。より具体的には、本発明の態様は、手書きジェスチャが生じたときを判定するプロセスに関する。
コンピューティングシステムは、様々な入力を受容する。コンピュータアプリケーションの中には、ポインティングデバイスによって形成されたジェスチャを受容し、アプリケーションの制御およびナビゲーションをより容易にできるものがある。しかし、従来のジェスチャレコグナイザに伴う難点は、あまりにも多くの偽陽性および偽陰性を提供することである。ユーザが、ポインティングデバイス(例えば、スタイラスまたはスタイラスベースのコンピュータでの指またはマウス)を使用しているときに、システムが、ポインティングデバイスからの通常のアクションをジェスチャと解釈し、そのジェスチャに関連した機能を実行する場合があり、ユーザを当惑させる。同様に、ユーザが、あるジェスチャを実行しようとして、そのコンピューティングシステムがユーザの努力をジェスチャとして認識しないときに、ユーザは、不満を抱くこともある。場合によっては、ジェスチャは、別々の動作に分けられ、その場合、ユーザは、あるジェスチャが認識される前にモードの変更を余儀なくされる。例えば、オペラ(Opera)ブラウザ(ノルウェー、オスロのオペラソフトウエアASA社製、Opera Software ASA)では、マウスのジェスチャを使用して、ブラウザの動作を制御することができる。同様のマウスジェスチャは、ファイアーフォックス(Firefox)ブラウザ(モジラオーガニゼーション、カリフォルニア州、マウンテンビュー、the Mozilla Organization)のプラグインによって、利用することが可能である。これらのブラウザはジェスチャを認識するが、ユーザは、ジェスチャを実行することをブラウザに明確に通知するために、ブラウザの動作モードを切替える必要がある。オペラおよびファイアーフォックスの両方において、動作モードは、ジェスチャの実行前にユーザが右(または補助)のマウスボタンをクリックすることによって、切替えられる。ここでの問題は、全ジェスチャを完了するために複数のステップを実行しなければならないこと、つまり右のマウスボタンを押し、次にマウスをドラッグしなければならないことである。スタイラスの使用時、これらのブラウザでは、スタイラスが代わりの入力モードを入力すること、つまり(スタイラスがスタイラスボタンを有する場合)スタイラスボタンを押すことが必要である。これらの複数のステップは、ジェスチャを扱い難くする。さらに、これらのブラウザは、マウスまたはスタイラスのボタンを押下している間、直線から構成されたジェスチャを認識することができるが、非読取専用の環境(例えば、ワードプロセッシング環境)に適用されたときに、あまりにも多くの偽陽性を生じかねないので、ブラウザ上で受容可能なジェスチャは、一般的に、より多くの環境では使用できない。
ジェスチャを認識し、ジェスチャに機能を割当てるコンピュータシステムまたはコンピュータアプリケーションにおいて、一般的に形状のみを使用して、ジェスチャが生じたか否かを判定する。形状のみを使用することの問題は、スタイラスまたはマウスの扱いが遅いユーザは、ジェスチャではないというユーザの意図にもかかわらず、ジェスチャと認識されるアクションを実行する傾向があり得ることである。
マーキングメニュー(ラジアルメニューとも呼ばれる)とは、ポインティングデバイスを用いる対話によってアクセスすることができるメニューである。カナダオンタリオ州トロントのエイリアス システムズ コーポレーション(Alias Systems Corp.)のMayaアプリケーションおよびAliasアプリケーションは、マーキングメニューの例を提供する。これらは、開始位置および停止位置を含む点でジェスチャに類似するが、マーキングメニューは、ユーザ入力の関連部分が、ボタンまたはスタイラスのアップイベントの位置であり、その位置への実際のパスの形状ではないメニューであると考えられる。
ジェスチャレコグナイザによって容易に認識され、さらにユーザによって容易に実行される改良したジェスチャが必要である。
本発明の態様は、上述した1つまたは複数の課題に対処することによって、ジェスチャを確実に認識するプロセスを提供する。
本発明は、同様の参照番号が類似した要素を示す添付図面において、制限ではなく例として図示される。
本発明の態様はフリックジェスチャの認識に関する。
読者にわかり易いように、本明細書をいくつかの小節に分ける。これらの小節には、インクの特徴、用語、汎用コンピューティング環境、ジェスチャ、フリックジェスチャ、フリックジェスチャの判定、トレーニング、および具体的な実装が含まれる。
下記の説明において、要素間での各種の接続が述べられることに留意されたい。特に指定されない限り、一般にこれらの接続は、直接的または間接的なものであること、本明細書は、この点において制限することを意図したものではないことに留意されたい。
インクの特徴
インクペンを使用しているユーザにとって周知なように、物理的なインク(インク溜の付いたペンを使用して、紙の上に書き付けられるようなインク)は、一連の座標を線分で結んだものに比べてより多くの情報を伝達できる。例えば、物理的なインクは、ペン圧(インクの濃さによる)、ペンの角度(線分もしくは曲線分の形状、およびインク周囲の細かな点のできかたによる)、ならびにペン先の速度(直線性、線幅および直線または曲線全体での線幅の変化による)を表すことができる。さらなる例は、インクが置かれた紙の繊維または他の表面にインクが吸収される方法も含む。これら微妙な特徴もまた、上記のリストした特性を伝達するのに役立つ。これらの特性が加わることにより、点の間を均一な線幅で結ぶ場合に比べて、感情、個性、強調等をより即時的に伝達することができる。
電子インク(またはインク)は、ユーザがスタイラスベースの入力装置を使用するときに、キャプチャされた電子情報をキャプチャおよび表示することに関係する。電子インクとは、ストロークのシーケンスまたは任意の集合のことであり、各ストロークは、点のシーケンスからなる。ストロークは、同時に、描かれるか、集められてもよい。または、個別の時間および位置で個別の理由のために描かれるか、集められてもよい。デカルト座標(X,Y)、極座標(r、Θ)および当業者が周知のその他技術を含む様々な既知の技術を使って、点を表現することができる。電子インクは、圧、角度、速度、色、スタイラスのサイズおよびインクの不透明度を含む実際のインクの特性の表現を含むことができる。電子インクは、インクをページに付着させた順番(ほとんどの西洋の言語については、左から右、次いで下のラスタパターン)、タイムスタンプ(インクが付着した時間を示す)、インクの作者の表示、および発生装置(インクが描かれた機械の少なくとも1つの識別、またはインクを付着に使用したペンの少なくとも1つの識別)を他の情報のうちに含む他の特性をさらに含むこともできる。
用語
インク 特性を持つストロークのシーケンスまたはセット。ストロークのシーケンスには、ストロークが順序付けられた形で含まれ得る。シーケンスは、キャプチャされた時間によって、またはページ上のどこにストロークが現れたかによって順序付けるか、またはインクの作者による共同作業の形で順序付けることができる。その他の順番も可能である。ストロークのセットには、ストロークのシーケンスまたは順序付けされていないストローク、またはその組合せが含まれ得る。さらに、特性の中には、ストローク中の各ストロークまたは各点に一意な特性(例えば、圧力、速度、角度など)があってもよい。これら特性はストロークまたは点のレベルで保存できるが、インクのレベルでは保存できない。
インクオブジェクト 特性あり、または特性なしでインクを記憶するデータ構造。
ストローク キャプチャされた点のシーケンスまたはセット。例えば、レンダリングされたときに、ポイントのシーケンスを線で結ぶことができる。あるいは、次の点の方向に向いた点もしくはベクターとして、ストロークを表すこともできる。要するに、ストロークとは、基礎となる点および/または点を結ぶものの基本的な表現に関係なく、インクに関する点または線分のあらゆる表現を包含するものである。
点 空間中のある位置を定義する情報。例えば、点を、キャプチャ空間(例えば、デジタイザ上の複数の点)、仮想インク空間(キャプチャしたインクを置く空間内の座標)、および/またはディスプレイ空間(ディスプレイ装置の複数の点または複数のピクセル)に関連して定義することができる。
文書 視認可能な表現および内容を有する電子ファイル。文書には、ウェブページ、ワードプロセッシング文書、ノートページもしくはノートパッド、スプレッドシート、ビジュアル・プレゼンテーション、データベースの記録、画像ファイル、およびその組合せが含まれ得る。
フリック あるコンピュータシステムのポインティングデバイスの短く、迅速で直線的な移動。ポインティングデバイスが、スタイラスまたは指の場合、フリックは、スタイラスが使用可能なコンピュータの表面上か、またはその表面より上に生じる[occur]ことができる。ポインティングデバイスがマウスの場合は、移動は、マウスボタンを下方にホールド、またはホールドしない状態で、生じることができる。フリックは上に定義したようなストロークを作成することができる。ストロークは、ポインティングデバイスを用いたドローイングまたはインキングを含むが、これに限定されない他の作業によっても、同様に作成できることに留意されたい。スタイラスを使用してフリックジェスチャを実行する利点は、ペンが使用できるコンピュータ(アクティブペンおよびスタティックペンを用いる)との組み合わせでフリックジェスチャを使用することが可能になることである。マウスを用いてフリックジェスチャを実行する利点は、マウスの使用は容易であり、ほとんどのコンピュータに共通して備わっていることである。指を使ってフリックジェスチャを実行する利点は、一部のユーザは、ペンを基本としたコンピュータでは、ユーザの中には、スタイラスよりも指を用いることを好むユーザがいることであり、ユーザが自分の指を使用してフリックを実行できることによって、追加のハードウエアを使用せずにフリックの機能性をユーザに提供できることである。
汎用コンピューティング環境
図1は、本発明を実装することができる適当なコンピューティングシステム環境100の例を示す。コンピューティングシステム環境100は、適当なコンピューティングシステム環境の一例にすぎず、本発明の使用または機能性の範囲について何らかの制限を示すことを意図したものではない。コンピューティングシステム環境100は、例示的な動作環境100に示したコンポネートのいずれか1つまたは組合せに関する何らかの依存性または要件を有するものとして解釈されてはならない。
本発明は多数の他の汎用または専用のコンピューティングシステム環境または構成で動作する。本発明とともに使用するのに適当な公知のコンピューティングシステム、環境、および/または構成の例には、これに限定されないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド装置またはラップトップ装置、多重プロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記システムまたは装置などのいずれかを含む分散コンピューティング環境が含まれる。
本発明は、プログラムモジュールなどのコンピュータによって実行されるコンピュータ実行可能命令の一般的なコンテクストにおいて説明される。一般に、プログラムモジュールには、特定のタスクを実行するか、特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポネート、データ構造などが含まれる。本発明は、通信ネットワークを通してリンクされたリモート処理装置によってタスクを実行する分散コンピューティング環境において実行されてよい。分散コンピューティング環境では、プログラムモジュールは、メモリストレージを含むローカルおよびリモートコンピュータストレージ媒体に配置される。
図1を参照すると、本発明を実装するシステム例には、コンピュータ110の形の汎用コンピューティング装置110が含まれる。コンピュータ110のコンポネートには、これに限定されないが、処理ユニット120、システムメモリ130、およびシステムメモリを含む各種システムコンポネートを処理ユニット120に結合するシステムバス121が含まれ得る。システムバス121は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルカバスを含む数種のバス構造のいずれかであってよい。制限ではなく例として、このようなアーキテクチャには、ISA(Industry Standard Architecture)バス、MCA(Micro Channel Architecture)バス、EISA(Enhanced ISA)バス、VESA(Video Electronics Association)ローカルカバス、およびメザニンバスとしても知られるPCI(Peripheral Component Interconnect)バスが含まれてよい。
コンピュータ110は、様々なコンピュータ可読媒体を典型的に含む。コンピュータ可読媒体は、コンピュータ110によってアクセスできる任意の利用可能な媒体であってよく、また揮発性および不揮発性媒体、リムーバブルおよび固定の媒体の両方を含む。制限ではなく例として、コンピュータ可読媒体は、コンピュータストレージ媒体および通信媒体を含むことができる。コンピュータストレージ媒体には、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなど情報のストレージ方法または技術で実装した揮発性および不揮発性媒体、リムーバブルかつ固定の媒体の両方が含まれる。コンピュータストレージ媒体には、これに限定されないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)または他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージ装置、または所望の情報を格納するのに使用することができ、コンピュータ110によってアクセスすることができる任意の他の媒体が含まれる。通信媒体は、典型的に、コンピュータ可読命令、データ構造、プログラムモジュールまたは搬送波または他の搬送機構などの被変調データ信号の他のデータを具体化しかついずれかの情報送出媒体を含む。用語「被変調データ信号(modulated data signal)」は信号の情報を符号化するような方法で設定または変更された1つまたは複数のその特徴を有する信号を意味する。制限でなく一例として、通信媒体は有線ネットワークまたは直接有線接続などの有線媒体、および音響、RF、赤外線および他の無線媒体などの無線媒体を含む。上記のいずれかの組合せもコンピュータ可読媒体の範囲内に含まれなければならない。
システムメモリ130は、読取専用メモリ(ROM)131およびランダムアクセスメモリ(RAM)132などの揮発性および/または不揮発性メモリの形のコンピュータストレージ媒体を含む。始動中などに、コンピュータ110内の要素間の情報の伝送を助ける基本ルーチンを含む基本入/出力システム133(BIOS)は、典型的に、ROM131に格納される。RAM132は、直ちにアクセス可能であり、かつ/または処理ユニット120で動作しているデータおよび/またはプログラムモジュールを典型的に含む。制限ではなく例として、図1は、オペレーティングシステム134、アプリケーションプログラム135、他のプログラムモジュール136、およびプログラムデータ137を示す。
コンピュータ110には、他のリムーバブル/固定で、揮発性/不揮発性のコンピュータストレージ媒体も含まれてよい。例に過ぎないが、図1は、固定で不揮発性の磁気媒体から読取りまたはそこに書込むハードディスクドライブ141、リムーバブルで不揮発性の磁気ディスク152から読取りまたはそこに書込む磁気ディスクドライブ151、およびCD−ROMまたは他の光媒体などのリムーバブル、固定の光ディスク156から読取りまたはそこに書込む光ディスクドライブ155を示す。動作環境例において使用することができる他のリムーバブル/固定で、揮発性/不揮発性のコンピュータストレージ媒体には、これに限定されないが、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、固体RAM、固体ROMなどが含まれる。ハードディスクドライブ141は、典型的に、インターフェース140などの固定のメモリインターフェースを通してシステムバス121へ接続され、磁気ディスクドライブ151および光ディスクドライブ155は、典型的に、インターフェース150などのリムーバブルなメモリインターフェースによってシステムバス121へ接続される。
上述し図1に示したドライブおよびドライブに関連付けられたコンピュータストレージ媒体は、コンピュータ110に、コンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータのストレージを提供する。例えば、図1では、ハードディスクドライブ141は、オペレーティングシステム144、アプリケーションプログラム145、他のプログラムモジュール146、およびプログラムデータ147を格納するものとして示される。これらのコンポネートは、オペレーティングシステム134、アプリケーションプログラム135、他のプログラムモジュール136、およびプログラムデータ137と同じであるか、異なることに留意されたい。本明細書において、オペレーティングシステム144、アプリケーションプログラム145、他のプログラムモジュール146、およびプログラムデータ147は、異なる番号を与えられ、少なくともそれらが異なる複製品であることを示している。キーボード162およびマウス、トラックボール、またはタッチパッドなどと一般的に呼ばれるポインティングデバイス161によって、ユーザはコマンドおよび情報をコンピュータ20に入力することができる。他の入力装置(図示せず)には、マイクロフォン、ジョイステイック、ゲームパッド、衛星パラボラアンテナ、またはスキャナなどが含まれる。これらおよび他の入力装置は、システムバスに結合されるユーザ入力インターフェース160を通して処理ユニット120へ接続されることが多いが、パラレルポート、ゲームポートまたはユニバーサルシリアルバス(USB)など他のインターフェースおよびバス構造によって接続されてもよい。また、ビデオインターフェース190などのインターフェースを介して、モニタ191または他種のディスプレイ装置が、システムバス121に接続される。モニタに加え、コンピュータには、出力周辺インターフェース195を通して接続することができるスピーカ196およびプリンタ197などの他の周辺出力装置が含まれてもよい。
コンピュータ110は、リモートコンピュータ180などの1つまたは複数のリモートコンピュータへの論理接続を使用するネットワーク環境で動作する。リモートコンピュータ180は、パーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ピア装置または他の共通ネットワークノードであり、図1には1つのメモリストレージ181のみが示されているが、コンピュータ110に関する上述した要素の多くまたはすべてを典型的に含む。図1に示した論理接続には、ローカルエリアネットワーク(LAN)171および広域エリアネットワーク(WAN)173を含むが、他のネットワークも含む。このようなネットワーク環境はオフィス、企業規模のコンピュータネットワーク、イントラネットおよびそのインターネットで通常のものである。
LANネットワーキング環境で使用される場合、コンピュータ110は、ネットワークインターフェースおよびアダプタ170を通してLAN171へ接続される。WANネットワーキング環境で使用される場合、コンピュータ110は典型的に、モデム172またはそのインターネットなどのWAN173上に通信を確立するための他の手段を含む。内部または外部モデム172がユーザ入力インターフェース160、または他の適切な機構を介してシステムバス121へ接続される。ネットワーク環境では、コンピュータ110またはその一部に関連して示したプログラムモジュールがリモートメモリストレージに格納される。制限ではなく例として、図1は、メモリ装置181に常駐するものとしてリモートアプリケーションプログラム185を示す。示されたネットワーク接続は、例であり、コンピュータ間に通信リンクを確立する他の手段を使用してもよいことが理解されよう。
いくつかの態様では、フリーハンドの入力をデジタルでキャプチャするために、ペンデジタイザ165およびこれに付随するペンまたはスタイラス166を提供する。ペンデジタイザ165とユーザ入力インターフェース160との間の直接接続を示すが、実際には、無線での技法を含む任意の技法によって、ペンデジタイザ165は、処理ユニット110、パラレルポートまたは他のインターフェースおよびシステムバス121に直接結合されてもよい。また、ペン166は、それに関連付けられたカメラおよびカメラによってキャプチャされた画像情報を無線でバス121とやり取りするインターフェースへ無線で送信するためのトランシーバを有する。さらに、ペンはカメラの他にまたはその代わりに、加速度計、磁力計、および回転儀を含む電子インクのストロークを判定するための他の感知システムを有する。
示されたネットワーク接続は、例示的であり、コンピュータ間の通信リンクを確立するための他の技法を使用することができることが理解されよう。TCP/IP、イーサネット(登録商標)(Ethernet(登録商標))、FTP、およびHTTPなどの様々な周知のプロトコルのいずれかの存在が前提とされ、システムはクライアント−サーバ構成で動作することで、ユーザがウェブベースのサーバからウェブページを検索することが可能になる。従来の各種ウェブブラウザのいずれかを使用してウェブページ上にデータを表示させ、操作することができる。
図2は、本発明の各種態様に係り、使用することができる具体的なタブレットPC201を示す。図1のシステムにおける機構、サブシステム、および機能のいずれかまたはすべてが、図2のコンピュータに含まれることができる。タブレットPC201は、例えばデジタルフラットパネルディスプレイであり、好ましくは液晶ディスプレイ画面である大型のディスプレイ面202を含み、複数のウインドウ203をディスプレイ面202に表示する。スタイラス204を使用すると、ユーザは、デジタル化表示面202に、選択、強調表示および/または書込みをすることができる。適切なデジタルディスプレイ面202の例には、ムトー(Mutoh)またはワコム(Wacom)のペンデジタイザのような電磁的なペンデジタイザが含まれる。他の種類のペンデジタイザ、例えば、光デジタイザを使用してもよい。タブレットPC201は、データの操作、テキストの入力、図面の作成、および/または表計算プログラム、ワードプロセッシングプログラムなどの従来のコンピュータアプリケーションのタスクの実行のために、スタイラス204を使用して行われたジェスチャを解釈する。
スタイラス204には、1つまたは複数のボタンまたは他の機構を装備し、その選択能力を補助してもよい。一実施形態において、その一端が書込み部[筆記部]を、もう一端が「消しゴム」端部を構成する「鉛筆」または「ペン」としてスタイラス204を実装することもでき、ディスプレイを消しゴムが横断すると、ディスプレイの一部分が消去されるということを示す。マウス、トラックボールなど他の種類の入力装置を使用することも可能である。さらに、ユーザ自身の指をスタイラス204にすることも可能であり、タッチセンシティブまたは近接センシティブなディスプレイ上に表示された画像のある部分を選択または示すことを可能である。結果的に、「ユーザ入力装置」という用語は、ここで使用されるように、広い定義を有することを目的としており、スタイラス204のような公知の入力装置の多くの変形を包含する。領域205は、ユーザが、スタイラス204が表示面202と接触する場所を決定することを可能にするフィードバック領域または接触領域を示す。
各種実施形態において、本システムは、インクをキャプチャし、処理し、記憶するためにアプリケーションプログラムが使用できる、1組のCOM(コンポーネントオブジェクトモデル)サービスとして、インクプラットフォームを提供する。1つのサービスによって、1つのアプリケーションが、開示されたインクの表現を使用して、インクを読み取ること、および書き込むことができる。インクプラットフォームは拡張マークアップ言語(XML)に似た言語を含むマークアップ言語を含むこともできる。さらに、システムは、別の実装として別のDCOMを使用してもよい。マイクロソフトコーポレーション(Microsoft Corporation)のWin32プログラミングモデルおよびNetプログラミングモデルを含むさらに他の実装を使用してもよい。
ジェスチャ
ジェスチャとは、あるアクションを呼び出す方法であり、ツールバーのボタンをクリックすることか、またはキーボードのショートカットをタイプすることに類似している。ジェスチャは、(これに制限されないが、マウス、スタイラス、および/または指を含む)ポインティングデバイスで実行することもできる。ジェスチャは、ポインティングデバイスに関連した形状を有する。形状は、点(例えば、マウスのボタンをクリックすること)のように簡単であってもよく、あるいは一連の動きのように複雑であってもよい。ジェスチャは、形状に関連した位置も有する。この位置を使用してジェスチャの範囲、目標、および/または意味を決定づけることもできる。
フリックジェスチャ
ジェスチャは、何年もの間、コンピューティングシステムで使用されてきた。しかし、多くの開発者およびエンドユーザは、その難しさおよび複雑さのためにジェスチャを利用することができない。例えば、ジェスチャ認識エンジンは、ジェスチャを認識するときに、あまりにも多くの偽陽性および偽陰性に煩わされる。これらの偽陽性(ユーザの入力がジェスチャとして意図されていないときに、システムがその入力をジェスチャであると判定する場合)および偽陰性(ユーザがジェスチャを実行しようと試みたときに、システムがユーザの入力をジェスチャではないと判定する場合)は、開発者およびエンドユーザを一様に苛立たせる。
本明細書において説明したように、フリックジェスチャは、ポインティングデバイスの単一な動きを含む簡単なジェスチャである。フリックジェスチャは、ユーザにとって記憶および実行することが容易である。ユーザがフリックジェスチャを習得すると、ジェスチャを複数の使用法に応用し、異なるタスクを達成することができる。また、フリックジェスチャは、システムが認識しやすく、他のアクション(ドラッグ、選択など)と区別することも容易である。
開発者および/またはユーザはフリックジェスチャと動作を関連させることができる。これらの動作は、前方、後方へのナビゲーション、上方または下方へのスクロール、アプリケーションの変更、右クリック(スタイラスベースのシステムでは、常に存在しても、あるいは存在しなくてもよい)、および任意のアプリケーションコマンドを含む。任意のアプリケーションコマンドとは、アプリケーションに関するコマンドであり、アプリケーション自体に固有で、他のアプリケーションには一般的に使用できないコマンドである。さらに、フリックジェスチャは、所定の意味を有する必要はなく、むしろ開発者またはユーザがカスタマイズして、ユーザがキーボードショートカットまたはマクロに素早くアクセスできるようにキーまたはキーの組合せを実行することもできる。ジェスチャを有効にすることの1つの利点は、ジェスチャによってユーザが、より高い生産性を感じることができることであり、キーボードを使用しないときに感じる非生産的な感情を解消することができることである。
オペレーティングシステム内の全アプリケーションとフリックジェスチャの関連した機能を一致させてもよい。あるいは、フリックジェスチャは、それに関連する機能のコンテクストであってもよい(フリックジェスチャに関連し結果として起こる動作は、フリックジェスチャが生じたアプリケーションに基づいて変わる)。
また、フリックジェスチャは、アプリケーション内の位置(例えば、タイトルバー内)特有であるか、または選択が行われたか否か(例えば、ジェスチャは、カット、コピー、ペーストおよび/またはペーストの特別な動作を実行してもよい)に特有であってもよい。さらに、またはあるいは、フリックジェスチャに関連付けられたどのアクションを実行すべきか判定するのにコンピュータの状態を使用してもよい。例えば、現在選択されているオブジェクトの色、どのユーザがシステムにログインしているか、システムに外部のモニタが接続されているか否か、など、要するに、コンピューティングシステムまたはオブジェクトのあらゆるの状態または状態のあらゆる組合せを使用して、あるフリックジェスチャに応じ、どのアクションを実行するかを判定することができる。
さらに、異なる入力装置が、フリックジェスチャに関連付けられたアクションを変更し得る。例えば、スタイラスによって実行したときのフリックジェスチャとアクションの第1のセットを関連付けることができる。別のポインティングデバイスによって実行したときのフリックジェスチャとアクションの第2のセットを関連付けることができる。アクションのセットの数は、異なる入力装置の数によって変えることができる。
さらに、ホットゾーン内のあるフリックが、さらに別の動作を有する場合に、そのホットゾーンを有効にしても、しなくてもよい。ホットゾーンは、ディスプレイメニューおよび/またはラジアルメニューの特定の領域を含んでもよい。
フリックジェスチャは方向独立型でもよく、または方向特定型でもよい。方向特定型である場合は、フリックが描かれる方向によってその結果を判定する。フリックジェスチャの特徴は、方向に基づいて変わってもよく、または変わらなくともよい。例えば、システムは、フリックジェスチャを認識するパラメータを1セットだけ有することができる。あるいは、システムは、フリックの方向に応じて変わる任意の数のパラメータを有し、左右の利き手、スタイラスの角度等を適応させることができる。これらのパラメータを変更して、ある特定の方向のフリックジェスチャを実行しやすくさせてもよい。
ユーザがフリックジェスチャの実行方法を習得すると、ユーザには、利用可能な各々の方向に関連付けられたアクションを学ぶことだけが求められる。各々の方向に関連付けられたアクションは、カスタマイズすることが可能であり、ユーザは、パーソナライズされ最適化された経験を有することができる。
フリックジェスチャは、単独で使用してもよい。あるいはフリックジェスチャは、組み合わせて追加のアクションを実行してもよい。例えば、上向きのフリックジェスチャが、ページアップのアクションを実行し、両方とも上方向の2回のフリックジェスチャが、文書最上部に移動する移動アクションを実行してもよい。
代替実施形態では、任意の移動および時間閾値を満たしつつ、スタイラスのボタンを押すことによってか、またはマウスの右マウスボタン(補助的なマウスボタン)を押すことによって、フリックジェスチャを可能にすることができる。しかし、フリックジェスチャの1つの利点は、モードを変更することなく、左マウスボタンクリックまたはスタイラスまたは指でフリックジェスチャを実行できることである。フリックジェスチャは、ユーザの生産性を上げること、またユーザが、これまでに可能であったレベルより効果的なレベルで、デスクトップおよびアプリケーションと対話できるようにすることができる。ジェスチャは、ユーザが顕著な利益を得るのに最低限のレベルのトレーニング/記憶さえすればよいように設計される。すなわち、ユーザがジェスチャを習得すると、ユーザには、方向−アクションの関連付けを習得することのみが求められる。通常のマウスまたはスタイラスの動きとフリックジェスチャとは、様々な判定基準およびフリックジェスチャが受ける制約に基づいて区別することができる。
フリックジェスチャによって、ユーザが、スクロールバーまたはナビゲーションボタンによるターゲッティングを不要にすることができる。これは、ハイパーリンクがある文書の読取もしくはナビゲート、またはハイパーリンクがない文書の読取もしくはナビゲートを含んでもよい。この種類の文書を読取ることは、オンラインおよびオフラインで実行できる。加えて、カット、コピーおよびペーストを含む一般のアクションもフリックジェスチャを使用して実行することができる。
フリックジェスチャの判定
フリックジェスチャは、ユーザが、ペンを画面に対して単にフリックするだけで実行でき、実装部(先端または底部)によって、ペンのいずれかの有効部分を使用することもできる。例えば、ユーザがフリックジェスチャを実行する間、ペンボタンをホールドするように求めるモード要求をする場合はあるが、いずれかのモードを入力することをユーザに求めず、自然なモードでフリックジェスチャを実行することができる。フリックジェスチャは、8方向(例えば)で行うことができ、各フリックはこの8方向のうちの1つになる。フリックジェスチャの発生を、物理的または論理的なxおよびy座標のプロファイルと、時間に対する図表で示された圧力(または位置)に基づき判定することができる。要するに、フリックジェスチャが起こったか判定するのに使用することができる3つの基本的な特徴には、フリックの方向、フリックの動き、およびフリックのタイミングが含まれる。動きの閾値は、例えば、1cmより大きく、時間の閾値は0.2msより大きくてよい。当然、これらの変数は、全ユーザに適応するよう変えることができる。これらの特徴を使用して、システムは閾値と比較してより迅速にフリックの他の面を計算できる。例えば、システムは、速度、加速度、曲率、揚程等を計算することができ、これら導出値または数値のセットを用いて、ユーザがフリックジェスチャを実行したか否かを判定する。
フリックジェスチャは、二重作動(ダブルタップまたはダブルクリック)、プレスアンドホールド、ホールドアンドドラッグ、および他のジェスチャを含む他のアクションとは別に判定されてもよい。
ニューラルネットワークといった他の方法を用いて、3つの基本特性から導出された入力特徴の組合せに基づきフリックジェスチャを分類することもできる。
これらの判定基準を用いてフリックジェスチャが起こったか否かを判定することの利点の1つは、フリックジェスチャの検出時間を最小にすると同時に、偽陰性および偽陽性も最小にすることである。これら利点は、組合わさって、システムの応答性を全体として向上させる。例えば、あるフリックが生じたか否かを判定する手順は、あるフリックがフリックジェスチャの資格を満たさないことを迅速に判定し、入力装置の動きが入力装置の通常の動きとして取り扱われることができるように、組織されてもよい。
本発明の態様には、システムが、フリックが本当にフリックジェスチャであるか否かを判定している間に、入力装置の通常のアクションと関連付けられたフリックの動きおよび/またはアクションをレンダリングすることが含まれる。または、本発明の態様は、システムが、フリックジェスチャが起こったか否かを判定するまで、(ユーザが動作させたポインティングデバイスより受け取った)入力情報の処理またはレンダリングを阻むことを含んでもよい。後者のアプローチは、ユーザへのフィードバックに僅かな視覚的な遅れを起こすことがあるが、これにより通常の入力で操作されるオブジェクトが存在する状態で、ユーザがフリックジェスチャを実行する能力を高めることができる。例えば、オブジェクトの上方で実行されたフリックは、通常の入力として処理され、その結果、フリックジェスチャが意図されていても、オブジェクトはドラッグおよびドロップされる。従って、これらの本発明の代替態様では、システムは、パケットがフリックジェスチャであるか否かを判定するまで、(フリックジェスチャである可能性、またはフリックジェスチャでない可能性のある)パケットをホールドすることができる。
図3はフリックジェスチャに使用できる様々な方向例を示す。全方向のグループが、領域301により示される。4つの基本領域302〜305と、4つの対角領域306〜309を示す。システムは、フリックジェスチャが移動した方向の判定に関して、8つの領域全てを同一のものとして処理してよい。あるいはいくつかの領域(例えば、主要な方向)について、ユーザの入力が、対角方向のものがこれらの方向のいずれか1つに入るように分類するようにバイアスをかけてもよい。異なる方向の数は、固定されても、変更可能であってもよい。例えば、6または12、あるいはいずれかの方向数を、ユーザが利用できる方向数として交互に用いることもできる。
フリック方向を判定するために、ペンダウン点は、円の中心を表し、例えば、それぞれが円の45度部分である、中心を囲む8つの同形で等しく区切られた領域がある。これらの領域はタブレットの方向性には依存しておらず、従ってタブレットが回転しても回転しない。
領域は45度に制限される必要はなく、アプリケーションに応じてより大きくも、または小さくもできる。しかし、システム全体を通してデフォルトとして使用するものは、当初45度に設定することができる。
フリックジェスチャは、定義によれば、ペンダウン(または左マウスクリック)点が中心であることから、図3に示す円の中心から開始され、フリックと呼ばれる短く、迅速で、直線のストロークをペンダウン点に向けて引かれる。フリックが短く、直線であると定義されていることから、フリックは領域の1つの中に収まる。線が引かれた領域がどこであっても、始動したアクションを判定することができる。フリック領域は、ストロークがフリックの資格を満たしている場合(本明細書に記載したような直線性、長さおよび速度要件を含んでも、含まなくともよい)に、画面と接触しているストロークの開始点と終点とを結ぶことで決定される。フリックが領域を分離している完全線にかかった場合に、フリックは領域、非対角領域、または水平または垂直方向を表す領域に初期設定されてもよい。
フリックジェスチャを正しく認識された後、直ちにフィードバックがユーザに対し行われても、または行われなくともよいが、この場合フィードバックはユーザが実行したフリックジェスチャが認識されたこと、およびメッセージがオペレーティングシステムまたはアプリケーションに送られることを示す。フィードバックはまた、始動したアクションを示してもよい。このフィードバックは、これから起こるアクションを意味するものではなく、成功したフリックが認識され、送られることのみを意味している。例えば、ユーザがページダウンフリックジェスチャを実行し続け、ユーザがページの一番下に達すると、ユーザはページをそれ以上下向きにスクロールできないためにアクションは生じないものの、それでもユーザは正確なフィードバックを得るだろう。
このフィードバックは、ジェスチャが成功裏に認識されると直ちに現れることもあり、短時間の間(ほぼ500ms)留まることがあっても、時間がたつのに伴い消滅する。代わりに、フィードバックが提供されなくてもよい。さらに、追加の代替的な態様においては、フィードバックは、アニメーション化されてもよく、フリックジェスチャが成功裏に認識されたことを直ちにユーザに伝えることができる。アニメーションは、認識したフリックジェスチャに関連した方向のフィードバックをユーザに提供しても、しなくてもよい。
図4は、フリックが生じたか否かを判定する手順を示す。ステップ401において、ペンダウンイベントか、またはボタンダウンイベントが生じる。次のステップ404において、システムは、動きの閾値を超える(例えば、2〜5cmを超える)動きがあったか否かを判定する。このような動きがない場合、システムは、受信している入力が、ステップ405に示されたような何か他のアクションまたは選択であると判定することができる。ステップ404から閾値を超える動きがあった場合、システムは、入力装置の速度が閾値(例えば、最速速度より20%以下か、または毎秒5cm以下)未満であるか否かを判定する。この速度の低下は、短い間隔(10〜200ミリ秒)での速度の低下にセンシティブであっても、なくてもよい。代わりに、プロセスは、認識したジェスチャの速度が低下しているか否かを判定してもよい。
ステップ406で速度が低下しない場合、ステップ407において、別のもう1つのアクションまたは選択が判定される。ステップ406で速度が低下している場合、ステップ408でフリックジェスチャが生じたと判定する。現在の位置は、フリックのパスに沿ったすべて(いずれか)の位置であると考えてもよく、その位置は、これに限定されないが、スタイラスまたは指を画面から持ち上げた位置か、スタイラスまたは指をマウスボタンから放した位置を含む。
下記に、図4のプロセスに任意で追加できることを説明する。ステップ401から、システムは、ペンが置かれた位置がインク領域内であったか否かを判定することもできる。インク領域内であった場合、システムは、ペンを置くイベントがあったとして、ステップ403に示したように、インクの作成と関連付ける。これは、追加動作(例えば、実際にインクを作成すること、インクを選択すること、またはインクを消去すること)を含んでも、含まなくてもよい。
別の任意のステップは、ステップ409を含む。ステップ409において、システムは、フリックジェスチャのパスが相対的に直線であるか否かを判定する場合がある。これは、そのジェスチャの全ポイントが、最初の接触ポイントから所定の角度内にあるか否かを判定することを含んでもよい。最初の角度は、45度以下の角度を含む場合がある。ポイントが所定の位置内にない場合、プロセスは、ステップ401の入力が、フリックジェスチャではないと結論づける。
さらに別の任意のステップの一組(411と412)は、ポインティングデバイスが画面に接触する前および/または接触した後に、その運動を分析することを含む。例えば、スタイラスが画面に先をつけるか、画面から離れた後に、そのスタイラスがいくらかの間隔を直線の状態であり続けることを通知することによって、検出アルゴリズムの精度を上げることもできる。ステップ409および412の手法は、フリックジェスチャではないフリックを素早く除外するのに役立つ。代わりに、(この代替的な手法は、以前に拒絶したフリックジェスチャとしてフリックを解釈することができるために)より複雑で機能的には遅くなるが、ステップ409および411の手法は、ユーザの動きへの許容度を大きくしてもよい。
成功したフリックが行われると、システムは、システムの他の態様またはアプリケーションに、フリックジェスチャが生じたことを知らせることができる。アプリケーションが、このアクションに関連した挙動を行うことができるように、メッセージが送られ、挙動が割当てられていない場合、フリックアーキテクチャは、アプリケーションが解釈するためのデフォルト値を送る場合がある。例えば、バックコマンドがアプリケーションに送られた場合、これを、ブラウザでのバックコマンドとしてか、またはデータベースアプリケーションでの以前のエントリとして解釈することができる。具体的には、さまざまな異なるアプローチをフリックジェスチャの扱いに適用することができる。第1に、オペレーティングシステムは、フリックジェスチャを解釈し、扱うことができる。セマンティックへの所与の方向からのマッピングは、システムによって実行または省略されてよい。第2に、フリックアクションへのフリックのマッピングは、オペレーティングシステム内でなされてもよいが、アプリケーションまたはフリックを扱うためのアプリケーションに送られてもよい。システムは、(所定の領域かフリックの正確な検出角度のどちらかを示すことによって)フリックのオリジナルの方向のみを1つまたは複数のアプリケーションプログラムに渡してもよく、セマンティックを渡してもよい。あるいは、方向とセマンティックの両方を渡してもよい。第3に、システムは、フリックをアプリケーションに渡してもよい。または、1つのアプリケーションまたは複数のアプリケーションが、フリックをフリックジェスチャとして解釈するアプリケーションにフリックを渡してもよい。アプリケーションプログラムまたは複数のプログラムにより、所定の領域、正確な角度、セマンティックメッセージ、または3つのうちの何らかの組合せを解釈することができる。次いで、1つのアプリケーションまたは複数のアプリケーションは、フリックジェスチャを扱うか、またはその扱いのためにオペレーティングシステムへ送り返すことができる。
フリックジェスチャは、フリックのペンダウン位置か、または現在の焦点、フォアグラウンドアプリケーション、もしくはカーソルの位置に適用されてよい。フリックジェスチャを、ナビゲーションに限定せず、他の動作を行うために使用することもできる。例えば、スタイラスが接触している画面の位置で右クリック動作を実行するフリックジェスチャをユーザが望む場合がある。
開発者は、アプリケーション内またはスクロールバーなどのアプリケーションの特定のエリア内でフリックジェスチャをオフにすることも可能である。加えて、開発者は、フリックジェスチャをカスタマイズすることを防止するか、または代わりに、フリックジェスチャをカスタマイズすることを可能にしてアプリケーション内で特定のアクションを起こすようにすることができる。さらに、フリックジェスチャは、アプリケーション内で、カスタムフィードバックを提供することが可能であっても、可能でなくてもよい。
トレーニング
図5は、フリックジェスチャを行うことができるように、ユーザをトレーニングする例示的なプロセスを示す。いくつものプロセスを使用して、フリックジェスチャを行うためにユーザをトレーニングすることができ、その多数のプロセスを、直接のステップおよび任意のステップを用いて図5に示す。さらに、システムは、フリックジェスチャをどのように行うかについてのトレーニングを提供することなく、本明細書中で説明したようにフリックジェスチャを行ってもよい。
ステップ501において、システムは、個別指導プロセスを始める。ステップ505において、システムは、ユーザがフリックジェスチャをN回(5回か10回程度)実行したか否かを判定する。実行した場合、システムは、個別指導プロセスをステップ510で終了する。ステップ505において実行していないと判定した場合、システムは、ユーザをトレーニングするために、より多くのフリックジェスチャを要求する。あるいは、ステップ509で、ユーザが、さらなるトレーニングから抜け出ることを認めてもよい。
図5は、トレーニングステップに含まれる多数の任意の追加コンポーネントも示す。ステップ502において、システムは、ユーザがフリックを練習できるエリアを提供することができる。ステップ503において、システムは、フリックジェスチャの実行の仕方をユーザに命令することができる。ステップ504と508において、システムは、図4の閾値を修正して、フリックジェスチャの認識を容易にするか、またはユーザが実行しているアクションに近いモデルにすることができる。ステップ506において、システムは、ジェスチャを繰り返すことをユーザに要求してもよい。ステップ506でジェスチャを繰り返す要求の代わりに、または要求に加えて、システムは、ジェスチャが正しく実行されたことを示すものを表示してもよい。ステップ507において、システムは、フリックジェスチャの適切な実行の仕方に関するユーザへの命令を繰り返すこともできる。この命令は、一般的であってよく、またはフリックジェスチャを実行することへの以前の一つあるいは複数の試みに基づき、ユーザができる特定の改善についての説明を含んでもよい。例えば、プロセスは、フリックジェスチャが適切に実行されたことを示してもよい。あるいは、フリックジェスチャにフリックを成功裏に実行するのを支援するヒント(フリックをより速く、またはフリックをより真直ぐになど)を提供する。
例示的な実装
図6は、ジェスチャレコグナイザを、他のコンポーネントとどのように統合するかについての例を示す。図6は、スタイラスまたはリアルタイムの他の入力装置からの入力を処理しようと試みるリアルタイムのスタイラスコンポーネント601を示す。
リアルタイムスタイラス(RTS)は、所与のウインドウハンドル上のリアルタイムスタイラスイベントを所与のウインドウ入力の長方形内に提供するオブジェクトである。リアルタイムスタイラスは、追加機能を扱うプラグインのオブジェクトを加えるためのフレームワークをも考慮することができる。プラグインオブジェクトを、リアルタイムスタイラスの所望の機能性が変化するのに伴って加えること、および除去することができる。リアルタイムスタイラスは、1つまたは複数のインターフェースを有することができる。2つのインターフェースの場合、1つは同期インターフェースであり、1つは非同期インターフェースであってよい。これらのインターフェースは、プラグインがリアルタイムスタイラスに接続される位置を提供する。これらのインターフェースは、例示目的のために過ぎない。他のインターフェースを使用することもできる。
プラグインは、同期インターフェースおよび非同期インターフェースに取り付けることができる。プラグインとは、リアルタイムスタイラスのオブジェクトに加えることのできる機能的なコンポーネントである。リアルタイムスタイラスのオブジェクトの同期インターフェースにプラグインを取り付ける場合、これを同期プラグインと呼ぶことができる。リアルタイムスタイラスのオブジェクトの非同期インターフェースにプラグインを取り付ける場合、これを非同期プラグインと呼ぶことができる。
プラグインは、コレクションにグループ化されてもよい。1つまたは複数のグループで、RTSに取り付けられたプラグインのコレクションで、2つのコレクションが存在する場合、2つのコレクションは、RTSの同期インターフェースと非同期インターフェースのそれぞれと関連付けられる。各コレクションを順番に実行することができる。2つ以上のコレクションが存在する場合、そのコレクションは、RTS(または複数のRTS)の異なるインターフェースに取り付けられているので、互いに独立してコレクションを実行することができる。各プラグインによって扱われた後で、データがRTSに戻す。コレクション内のプラグインの順番は、コレクションの出力に影響を与える場合がある。
リアルタイムスタイラスコンポーネント601は、同期プラグイン602〜604と非同期プラグイン605〜606を含むことができる。プラグインは、プラグインコレクションにグループ化される。同期プラグイン602〜604(例えばダイナミックレンダラを含む)は、迅速に入力を処理する必要があるプラグインに関する。非同期プラグイン605〜606は、リアルタイムスタイラスからの情報を非同期ベースで処理することができる。
ジェスチャレコグナイザ605にフリックジェスチャレコグナイザを配置することができ、非同期スレッドで処理することができる。代わりに、フリックジェスチャレコグナイザは、他の同期プラグインとともに同期スレッドに配置することもできる。同期スレッドに配置した場合、フリックジェスチャレコグナイザ603は、リアルタイムスタイラス601から入力された情報が追加のプラグインによって処理され、同期スレッドに送られる前に、この入力を直ちに処理することができる。フリックジェスチャとして認識されなかったジェスチャは、非同期スレッドのジェスチャレコグナイザ605によって認識されねばならない。
本発明を、好ましく例示的な実施形態の観点から説明した。この開示を参照することによって、当業者は、添付請求項の範囲および精神から逸脱しない多数の他の実施形態、変更形態、および変形形態を考案することができる。
本発明の態様に係る汎用コンピューティング環境の具体例を示す図である。 本発明の態様に係るタブレットコンピュータの具体例を示す図である。 本発明の態様に係るフリックジェスチャが生じたと判定される可能性のある各種領域を示す図である。 本発明の態様に係るフリックジェスチャが生じたか否かを判定するプロセスを示す図である。 本発明の態様に係る命令をユーザに提供する具体的な個別指導プロセスを示す図である。 本発明の態様に係るジェスチャレコグナイザとともに使用することもできる具体的な各種コンポーネントを示す図である。
符号の説明
100 コンピューティングシステム環境
110 コンピュータ
120 処理ユニット
121 システムバス
130 システムメモリ
131 ROM
133 BIOS
134 オペレーティングシステム
135 アプリケーションプログラム
136 他のプログラムモジュール
137 プログラムデータ
140 固定不揮発性メモリインターフェース
141 ハードディスクドライブ
144 オペレーティングシステム
145 アプリケーションプログラム
146 他のプログラムモジュール
147 プログラムデータ
150 リムーバブルな不揮発性インターフェース
151 磁気ディスクドライブ
152 磁気ディスク
155 光ディスクドライブ
156 光ディスク
160 ユーザ入力インタフェース
161 マウス
162 キーボード
165 デジタイザ
166 ペンまたはスタイラス
170 ネットワークインターフェース
171 ローカルエリアネットワーク
172 モデム
173 広域エリアネットワーク
180 リモートコンピュータ
181 メモリ
185 アプリケーションプログラム
190 ビデオインターフェース
191 モニタ
195 出力周辺インターフェース
196 スピーカ
197 プリンタ
201 タブレットPC
202 ディスプレイ面
203 複数のウインドウ
204 スタイラス
205 領域
301 領域
302 基本領域
303 基本領域
304 基本領域
305 基本領域
306 対角領域
307 対角領域
308 対角領域
309 対角領域
601 リアルタイムスタイラスコンポーネント
602 動的表現装置
603 フリックジェスチャレコグナイザ
604 他の同期プラグイン
605 ジェスチャレコグナイザ
606 他の非同期プラグイン

Claims (22)

  1. ポインティングデバイスによって作成されたジェスチャを認識するプロセスであって、
    前記ポインティングデバイスの動きからフリックジェスチャが生じたことを判定するステップ
    を備えることを特徴とするプロセス。
  2. 前記ポインティングデバイスは、マウスを含み、かつ接触は、マウスボタンの動作を含むことを特徴とする請求項1に記載のプロセス。
  3. ポインティングデバイスにより生成されたジェスチャを認識するプロセスであって、
    前記ポインティングデバイスの動きがコンピュータによって生成された表示との接触後、第一の動きの閾値を超えて生ずるか否かを判定するステップと、
    前記ポインティングデバイスの速度が低下しなかったか否かを判定するステップと、
    前記判定ステップに基づいて、ジェスチャが生じたと判定されるステップとを備えることを特徴とするプロセス。
  4. 前記ポインティングデバイスは、マウスを含みかつ前記接触はマウスボタンの動作を含むことを特徴とする請求項3に記載のプロセス。
  5. 前記ポインティングデバイスは、スタイラスを含み、かつ前記接触は、前記コンピュータによって生成された表示全体にわたって表面との物理的な接触を含むことを特徴とする請求項3に記載のプロセス。
  6. 前記ポインティングデバイスは、ユーザの指を含み、かつ接触は、前記コンピュータによって生成された表示上の表面との物理的な接触を含むことを特徴とする請求項3に記載のプロセス。
  7. 前記速度判定ステップは、前記速度が初期速度に関連した割合で低下したか否かを判定するステップを含むことを特徴とする請求項3に記載のプロセス。
  8. 前記速度判定ステップは、前記速度が第一の速度の閾値以下に低下したか否かを判定するステップを含むことを特徴とする請求項3に記載のプロセス。
  9. 前記プロセスは、
    前記ジェスチャのパスの直線性を判定するステップをさらに備え、
    前記ジェスチャは、前記直線性の判定に基づいて生じたと判定されることを特徴とする請求項3に記載のプロセス。
  10. 前記プロセスは、前記ジェスチャの開始がインク付け可能な領域で生ずるステップをさらに含み、
    前記ジェスチャは前記インク付け可能な領域で行われない場合に、前記ジェスチャが生じたと判定されることを特徴とする請求項3に記載のプロセス。
  11. ポインティングデバイスによって生成されたジェスチャを認識するシステムであって、
    前記ポインティングデバイスの動きがコンピュータによって生成された表示との接触後、第一の動きの閾値を超えて生じたか否かを判定する手段と、
    前記ポインティングデバイスの速度が低下しなかったか否かを判定する手段と、
    前記判定ステップに基づいて、ジェスチャが生じたことを判定する手段とを備えることを特徴とするシステム。
  12. 前記ポインティングデバイスは、マウスを含み、かつ前記接触は、マウスボタンの動作を含むことを特徴とする請求項11に記載のシステム。
  13. 前記ポインティングデバイスは、スタイラスを含み、かつ前記接触は、前記コンピュータによって生成された表示全体にわたって表面との物理的な接触を含むことを特徴とする請求項11に記載のシステム。
  14. 前記ポインティングデバイスは、ユーザの指を含み、かつ前記接触は、前記コンピュータによって生じした表示全体にわたって表面との物理的な接触を含むことを特徴とする請求項11に記載のシステム。
  15. 前記速度判定手段は、前記速度が初期速度に関連した割合で低下したか否かを判定する手段を含むことを特徴とする請求項3に記載のプロセス。
  16. 前記速度判定手段は、前記速度が第一の速度の閾値以下に低下したか否かを判定する手段を含むことを特徴とする請求項11に記載のシステム。
  17. 前記ジェスチャのパスの直線性を判定する手段をさらに備え、前記ジェスチャは、前記直線性の判定に基づいて生じたと判定されることを特徴とする請求項11に記載のシステム。
  18. 前記ジェスチャの開始は、インク付け可能な領域で生ずるか否かを判定する手段を含み、
    前記ジェスチャが前記インク付け可能な領域で生じないとき、前記ジェスチャが生じたと判定されることを特徴とする請求項11に記載のシステム。
  19. コンピューティングシステムであって、
    ストレージと、
    少なくとも3つのジェスチャを認識するプロセッサであって、前記ジェスチャは、
    プレスアンドホールドジェスチャ、
    ダブル作動ジェスチャ、および
    フリックジェスチャを含む
    プロセッサとを備えることを特徴とするコンピューティングシステム。
  20. 前記プロセッサは、少なくとも4つめのジェスチャを認識し、前記4つめのジェスチャは、ホールドおよびドラッグ動作を含むことを特徴とする請求項19に記載のコンピューティングシステム。
  21. 前記ダブル作動ジェスチャは、マウスボタンのダブルクリックであることを特徴とする請求項19に記載のコンピューティングシステム。
  22. 前記ダブル作動ジェスチャは、スタイラスのダブルタップであることを特徴とする請求項19に記載のコンピューティングシステム。
JP2005263907A 2004-09-13 2005-09-12 フリックジェスチャ Pending JP2006085703A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/938,882 US7761814B2 (en) 2004-09-13 2004-09-13 Flick gesture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011232054A Division JP5542774B2 (ja) 2004-09-13 2011-10-21 フリックジェスチャ

Publications (2)

Publication Number Publication Date
JP2006085703A true JP2006085703A (ja) 2006-03-30
JP2006085703A5 JP2006085703A5 (ja) 2008-10-30

Family

ID=35787956

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2005263907A Pending JP2006085703A (ja) 2004-09-13 2005-09-12 フリックジェスチャ
JP2011232054A Expired - Fee Related JP5542774B2 (ja) 2004-09-13 2011-10-21 フリックジェスチャ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011232054A Expired - Fee Related JP5542774B2 (ja) 2004-09-13 2011-10-21 フリックジェスチャ

Country Status (5)

Country Link
US (4) US7761814B2 (ja)
EP (1) EP1645942B1 (ja)
JP (2) JP2006085703A (ja)
KR (1) KR101183381B1 (ja)
CN (1) CN1758205B (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151691A (ja) * 2007-12-21 2009-07-09 Sony Corp 情報処理装置及びタッチ動作認識方法
JP2011048525A (ja) * 2009-08-26 2011-03-10 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
WO2011152386A1 (ja) * 2010-05-31 2011-12-08 東京アナグラム株式会社 検索装置、検索条件生成方法及びプログラム
JP2012503228A (ja) * 2008-09-17 2012-02-02 ノキア コーポレイション 拡張現実のためのユーザインターフェース
JP2012128830A (ja) * 2010-11-24 2012-07-05 Canon Inc 情報処理装置およびその動作方法
JP2013065291A (ja) * 2011-08-29 2013-04-11 Kyocera Corp 装置、方法、及びプログラム
JP2013518349A (ja) * 2010-01-26 2013-05-20 アップル インコーポレイテッド ジェスチャ認識を制御及び変更するためのデリゲートを有するジェスチャ・レコグナイザ
JP2013242916A (ja) * 2012-04-27 2013-12-05 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP2013254467A (ja) * 2012-06-06 2013-12-19 Areson Technology Corp マウスを用いてタッチスクリーン操作をシミュレーションする方法
JP2014098953A (ja) * 2012-11-13 2014-05-29 Sharp Corp 情報処理装置、ソフトウェアキーボードの生成方法およびプログラム
JP2014132414A (ja) * 2013-01-07 2014-07-17 Tokai Rika Co Ltd タッチ操作型入力装置
JP2015172913A (ja) * 2014-03-12 2015-10-01 アルプス電気株式会社 入力装置及び車両用操作装置
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US9524029B2 (en) 2012-08-23 2016-12-20 Casio Computer Co., Ltd Indeterminable gesture recognition using accumulated probability factors
US9665265B2 (en) 2007-01-07 2017-05-30 Apple Inc. Application programming interfaces for gesture operations
US9690481B2 (en) 2008-03-04 2017-06-27 Apple Inc. Touch event model
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
US9965177B2 (en) 2009-03-16 2018-05-08 Apple Inc. Event recognition
JP2018163705A (ja) * 2008-03-12 2018-10-18 イマージョン コーポレーションImmersion Corporation 触覚的にイネーブルにされるユーザインタフェース
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US10261630B2 (en) 2012-04-27 2019-04-16 Panasonic Intellectual Property Corporation Of America Input device, input support method, and program
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling

Families Citing this family (265)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US7533338B2 (en) * 2003-08-21 2009-05-12 Microsoft Corporation Electronic ink processing
US8250493B2 (en) * 2005-02-05 2012-08-21 Samsung Electronics Co., Ltd. User interface method, medium, and apparatus with gesture-recognition
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US20100026652A1 (en) * 2005-09-01 2010-02-04 David Hirshberg System and method for user interface
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US20070174416A1 (en) * 2006-01-20 2007-07-26 France Telecom Spatially articulable interface and associated method of controlling an application framework
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US7940250B2 (en) * 2006-09-06 2011-05-10 Apple Inc. Web-clip widgets on a portable multifunction device
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US20080062137A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Touch actuation controller for multi-state media presentation
US8243017B2 (en) 2006-09-11 2012-08-14 Apple Inc. Menu overlay including context dependent menu icon
US9565387B2 (en) * 2006-09-11 2017-02-07 Apple Inc. Perspective scale video with navigation menu
US20080066135A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Search user interface for media device
US20080065722A1 (en) * 2006-09-11 2008-03-13 Apple Computer, Inc. Media device playlists
KR100869950B1 (ko) * 2006-12-01 2008-11-24 삼성전자주식회사 휴대 단말기의 확장형 대기화면 배치 구조 및 표시 방법
US8689132B2 (en) 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US8788954B2 (en) * 2007-01-07 2014-07-22 Apple Inc. Web-clip widgets on a portable multifunction device
US8451232B2 (en) 2007-01-07 2013-05-28 Apple Inc. Portable multifunction device, method, and graphical user interface for interacting with user input elements in displayed content
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
KR100815523B1 (ko) * 2007-02-08 2008-03-20 삼성전자주식회사 단말의 음악 재생 및 표시 방법과 이를 이용한 장치
EP2150893A4 (en) 2007-04-24 2012-08-22 Oblong Ind Inc PROTEINS, POOLS AND SLAWX IN PROCESSING ENVIRONMENTS
KR20080097553A (ko) * 2007-05-02 2008-11-06 (주)멜파스 접촉 감지 패드를 이용하여 전자 기기의 절전 모드를해제하는 방법 및 장치
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US9772751B2 (en) * 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
EP2045700A1 (en) 2007-10-04 2009-04-08 LG Electronics Inc. Menu display method for a mobile communication terminal
US9083814B2 (en) * 2007-10-04 2015-07-14 Lg Electronics Inc. Bouncing animation of a lock mode screen in a mobile communication terminal
KR101570368B1 (ko) * 2008-08-22 2015-11-20 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US20090100383A1 (en) * 2007-10-16 2009-04-16 Microsoft Corporation Predictive gesturing in graphical user interface
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
KR20090052673A (ko) * 2007-11-21 2009-05-26 엘지전자 주식회사 단말기, 그 제어 방법 및 이를 위한 기록 매체
US20090138800A1 (en) * 2007-11-23 2009-05-28 Mckesson Financial Holdings Limited Apparatus, method and computer-readable storage medium for directing operation of a software application via a touch-sensitive surface
EP2227737A2 (en) * 2007-11-28 2010-09-15 Koninklijke Philips Electronics N.V. Sensing device and method
US8390579B2 (en) * 2008-03-14 2013-03-05 France Telecom System for classifying gestures
CN101556501B (zh) * 2008-04-11 2012-10-17 深圳富泰宏精密工业有限公司 计算机鼠标模拟系统及方法
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US8849753B2 (en) * 2008-05-20 2014-09-30 Microsoft Corporation Automating asynchronous programming in single threaded systems
US8566717B2 (en) * 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
US20090327886A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Use of secondary factors to analyze user intention in gui element activation
JP4636131B2 (ja) * 2008-07-04 2011-02-23 ソニー株式会社 情報提供装置、情報提供方法、およびプログラム
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8300020B2 (en) * 2008-08-15 2012-10-30 Apple Inc. Hybrid inertial and touch sensing input device
US8769427B2 (en) * 2008-09-19 2014-07-01 Google Inc. Quick gesture input
US20100087230A1 (en) * 2008-09-25 2010-04-08 Garmin Ltd. Mobile communication device user interface
US9482755B2 (en) 2008-11-17 2016-11-01 Faro Technologies, Inc. Measurement system having air temperature compensation between a target and a laser tracker
US8775971B2 (en) 2008-12-05 2014-07-08 Microsoft Corporation Touch display scroll control
JP5134517B2 (ja) * 2008-12-08 2013-01-30 キヤノン株式会社 情報処理装置及び方法
US8543975B2 (en) * 2008-12-18 2013-09-24 Microsoft Corporation Behavior-first event programming model
US20100162181A1 (en) * 2008-12-22 2010-06-24 Palm, Inc. Interpreting Gesture Input Including Introduction Or Removal Of A Point Of Contact While A Gesture Is In Progress
JP4702475B2 (ja) * 2008-12-25 2011-06-15 ソニー株式会社 入力装置、ハンドヘルド装置及び制御方法
JP2010152761A (ja) * 2008-12-25 2010-07-08 Sony Corp 入力装置、制御装置、制御システム、電子機器及び制御方法
US9250788B2 (en) * 2009-03-18 2016-02-02 IdentifyMine, Inc. Gesture handlers of a gesture engine
US8468466B2 (en) * 2009-03-27 2013-06-18 International Business Machines Corporation Radial menu selection with gestures
US8627233B2 (en) * 2009-03-27 2014-01-07 International Business Machines Corporation Radial menu with overshoot, fade away, and undo capabilities
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
JP5698733B2 (ja) * 2009-05-04 2015-04-08 オブロング・インダストリーズ・インコーポレーテッド 三空間入力の検出、表現、および解釈:自由空間、近接、および表面接触モードを組み込むジェスチャ連続体
US9436380B2 (en) * 2009-05-19 2016-09-06 International Business Machines Corporation Radial menus with variable selectable item areas
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
KR20100134153A (ko) * 2009-06-15 2010-12-23 삼성전자주식회사 터치스크린을 구비한 장치의 터치 인식 방법
EP3855297A3 (en) * 2009-09-22 2021-10-27 Apple Inc. Device method and graphical user interface for manipulating user interface objects
US9310907B2 (en) 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8264471B2 (en) * 2009-09-22 2012-09-11 Sony Mobile Communications Ab Miniature character input mechanism
US8799826B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8766928B2 (en) * 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
KR101117481B1 (ko) * 2009-10-12 2012-03-07 라오넥스(주) 멀티터치 방식 입력제어 시스템
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8924893B2 (en) 2009-10-14 2014-12-30 At&T Mobility Ii Llc Locking and unlocking of an electronic device using a sloped lock track
US9424444B2 (en) * 2009-10-14 2016-08-23 At&T Mobility Ii Llc Systems, apparatus, methods and computer-readable storage media for facilitating integrated messaging, contacts and social media for a selected entity
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US8698845B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
US8621380B2 (en) 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US8736561B2 (en) 2010-01-06 2014-05-27 Apple Inc. Device, method, and graphical user interface with content display modes and display rotation heuristics
CN101770303A (zh) * 2010-01-19 2010-07-07 中兴通讯股份有限公司 一种实现光学手指鼠标方向识别的方法及移动终端
US8539385B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US8683363B2 (en) * 2010-01-26 2014-03-25 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements
US8539386B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for selecting and moving objects
US8677268B2 (en) * 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
US20110252376A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US8422034B2 (en) 2010-04-21 2013-04-16 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US9377885B2 (en) 2010-04-21 2016-06-28 Faro Technologies, Inc. Method and apparatus for locking onto a retroreflector with a laser tracker
US9772394B2 (en) 2010-04-21 2017-09-26 Faro Technologies, Inc. Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker
US8724119B2 (en) 2010-04-21 2014-05-13 Faro Technologies, Inc. Method for using a handheld appliance to select, lock onto, and track a retroreflector with a laser tracker
US8537371B2 (en) 2010-04-21 2013-09-17 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
CN101853133B (zh) * 2010-05-31 2013-03-20 中兴通讯股份有限公司 一种自动识别手势的方法及移动终端
JPWO2011152224A1 (ja) * 2010-06-01 2013-07-25 日本電気株式会社 端末、処理選択方法、制御プログラムおよび記録媒体
US8773370B2 (en) 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
US9098182B2 (en) 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US9007304B2 (en) 2010-09-02 2015-04-14 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
WO2012030872A1 (en) 2010-09-02 2012-03-08 Edge3 Technologies Inc. Method and apparatus for confusion learning
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US9710154B2 (en) 2010-09-03 2017-07-18 Microsoft Technology Licensing, Llc Dynamic gesture parameters
EP2614426A2 (en) 2010-09-08 2013-07-17 Telefonaktiebolaget L M Ericsson (publ) Gesture-based control of iptv system
US9164670B2 (en) 2010-09-15 2015-10-20 Microsoft Technology Licensing, Llc Flexible touch-based scrolling
US9747270B2 (en) 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
US9021402B1 (en) 2010-09-24 2015-04-28 Google Inc. Operation of mobile device interface using gestures
CA2811253C (en) 2010-09-24 2018-09-04 Research In Motion Limited Transitional view on a portable electronic device
WO2012037664A1 (en) * 2010-09-24 2012-03-29 Research In Motion Limited Portable electronic device and method of controlling same
US9141256B2 (en) 2010-09-24 2015-09-22 2236008 Ontario Inc. Portable electronic device and method therefor
CN101963863B (zh) 2010-09-30 2015-07-08 华为终端有限公司 用户触摸操作模式自适应的方法和装置
US8587547B2 (en) 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US8754860B2 (en) 2010-11-05 2014-06-17 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
US20120131513A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Gesture Recognition Training
KR101725550B1 (ko) * 2010-12-16 2017-04-10 삼성전자주식회사 광학식 터치 패드를 구비하는 휴대용 단말기 및 상기 휴대용 단말기의 데이터 제어방법
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
US9092132B2 (en) 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
US10365819B2 (en) 2011-01-24 2019-07-30 Apple Inc. Device, method, and graphical user interface for displaying a character input user interface
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
GB2518769A (en) 2011-03-03 2015-04-01 Faro Tech Inc Target apparatus and method
US9134899B2 (en) * 2011-03-14 2015-09-15 Microsoft Technology Licensing, Llc Touch gesture indicating a scroll on a touch-sensitive display in a single direction
CN102693123B (zh) 2011-03-24 2017-09-22 微软技术许可有限责任公司 提示信息的控制方法及控制装置
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9164173B2 (en) 2011-04-15 2015-10-20 Faro Technologies, Inc. Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light
US9686532B2 (en) 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
WO2012141868A1 (en) 2011-04-15 2012-10-18 Faro Technologies, Inc. Enhanced position detector in laser tracker
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9069459B2 (en) 2011-05-03 2015-06-30 Microsoft Technology Licensing, Llc Multi-threaded conditional processing of user interactions for gesture processing using rendering thread or gesture processing thread based on threshold latency
US8732569B2 (en) 2011-05-04 2014-05-20 Google Inc. Predicting user navigation events
US10120561B2 (en) * 2011-05-05 2018-11-06 Lenovo (Singapore) Pte. Ltd. Maximum speed criterion for a velocity gesture
US8726191B2 (en) 2011-05-23 2014-05-13 International Business Machines Corporation Ephemeral object selections and fast-path gesturing for device control
US9189077B2 (en) 2011-05-24 2015-11-17 Microsoft Technology Licensing, Llc User character input interface with modifier support
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP2012252642A (ja) * 2011-06-06 2012-12-20 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US9769285B2 (en) 2011-06-14 2017-09-19 Google Inc. Access to network content
KR101162223B1 (ko) * 2011-06-14 2012-07-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8788711B2 (en) 2011-06-14 2014-07-22 Google Inc. Redacting content and inserting hypertext transfer protocol (HTTP) error codes in place thereof
US8745212B2 (en) 2011-07-01 2014-06-03 Google Inc. Access to network content
US8650139B2 (en) 2011-07-01 2014-02-11 Google Inc. Predicting user navigation events
US8566696B1 (en) * 2011-07-14 2013-10-22 Google Inc. Predicting user navigation events
US8744988B1 (en) 2011-07-15 2014-06-03 Google Inc. Predicting user navigation events in an internet browser
US8806369B2 (en) 2011-08-26 2014-08-12 Apple Inc. Device, method, and graphical user interface for managing and interacting with concurrently open software applications
US20130067366A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Establishing content navigation direction based on directional user gestures
US8600921B2 (en) 2011-09-15 2013-12-03 Google Inc. Predicting user navigation events in a browser using directed graphs
US8655819B1 (en) 2011-09-15 2014-02-18 Google Inc. Predicting user navigation events based on chronological history data
JP6091829B2 (ja) * 2011-09-28 2017-03-08 京セラ株式会社 装置、方法、及びプログラム
US9104664B1 (en) 2011-10-07 2015-08-11 Google Inc. Access to search results
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9360940B2 (en) * 2011-11-14 2016-06-07 Google Inc. Multi-pane interface
US8856675B1 (en) * 2011-11-16 2014-10-07 Google Inc. User interface with hierarchical window display
KR101390083B1 (ko) * 2011-11-28 2014-04-28 에스케이씨앤씨 주식회사 포인터 이동을 기반으로 그래픽 버튼을 선택하는 사용자 인터페이스 방법 및 이를 적용한 전자장치
US9584579B2 (en) 2011-12-01 2017-02-28 Google Inc. Method and system for providing page visibility information
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8793235B2 (en) 2012-01-19 2014-07-29 Google Inc. System and method for improving access to search results
CN104094081A (zh) 2012-01-27 2014-10-08 法罗技术股份有限公司 利用条形码识别的检查方法
JP5991509B2 (ja) * 2012-03-02 2016-09-14 コニカミノルタ株式会社 情報処理装置、プログラム
JP5563108B2 (ja) * 2012-03-27 2014-07-30 富士フイルム株式会社 撮影装置、撮影方法およびプログラム
CN102662576B (zh) * 2012-03-29 2015-04-29 华为终端有限公司 基于触摸的信息发送方法及装置
US9529486B2 (en) * 2012-03-29 2016-12-27 FiftyThree, Inc. Methods and apparatus for providing a digital illustration system
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
JP5958059B2 (ja) * 2012-05-09 2016-07-27 コニカミノルタ株式会社 フリック操作を受け付ける装置、フリック操作受付方法およびフリック操作受付プログラム
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
JP6024193B2 (ja) * 2012-05-15 2016-11-09 富士ゼロックス株式会社 画像表示装置及びプログラム
US9946792B2 (en) 2012-05-15 2018-04-17 Google Llc Access to network content
US9229539B2 (en) 2012-06-07 2016-01-05 Microsoft Technology Licensing, Llc Information triage using screen-contacting gestures
US8887239B1 (en) 2012-08-08 2014-11-11 Google Inc. Access to network content
US9507513B2 (en) 2012-08-17 2016-11-29 Google Inc. Displaced double tap gesture
US9141722B2 (en) 2012-10-02 2015-09-22 Google Inc. Access to network content
US8584049B1 (en) 2012-10-16 2013-11-12 Google Inc. Visual feedback deletion
JP5768799B2 (ja) * 2012-10-29 2015-08-26 コニカミノルタ株式会社 表示装置、画像形成装置、表示装置の制御方法、および表示装置の制御プログラム
US8949735B2 (en) 2012-11-02 2015-02-03 Google Inc. Determining scroll direction intent
JP2014109885A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 表示装置及び通知方法
US9389717B2 (en) * 2012-12-14 2016-07-12 Microsoft Technology Licensing, Llc Reducing latency in ink rendering
EP2936285A1 (en) * 2012-12-23 2015-10-28 Microsoft Technology Licensing, LLC Touchscreen computing device and method
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
AU2013368440B2 (en) 2012-12-29 2017-01-05 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN103019611A (zh) * 2012-12-31 2013-04-03 传聚互动(北京)科技有限公司 屏幕触控方法和装置
JP5862967B2 (ja) * 2013-01-16 2016-02-16 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US20140218343A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Stylus sensitive device with hover over stylus gesture functionality
US9785228B2 (en) * 2013-02-11 2017-10-10 Microsoft Technology Licensing, Llc Detecting natural user-input engagement
CN104035692B (zh) * 2013-03-04 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
KR20140112911A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법
KR102157332B1 (ko) * 2013-03-15 2020-09-17 삼성전자주식회사 전자 장치에서 줌 기능을 제어하기 위한 방법 및 장치
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9658740B2 (en) 2013-03-15 2017-05-23 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
CN110851034B (zh) * 2013-03-15 2024-03-15 苹果公司 用于管理用户界面的方法和电子设备
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9715282B2 (en) * 2013-03-29 2017-07-25 Microsoft Technology Licensing, Llc Closing, starting, and restarting applications
CN103218062A (zh) * 2013-04-24 2013-07-24 伍斌 基于加速度传感器和动作识别的人机交互方法及其设备
US20140372856A1 (en) * 2013-06-14 2014-12-18 Microsoft Corporation Natural Quick Functions Gestures
US10664652B2 (en) 2013-06-15 2020-05-26 Microsoft Technology Licensing, Llc Seamless grid and canvas integration in a spreadsheet application
US20150067536A1 (en) * 2013-08-30 2015-03-05 Microsoft Corporation Gesture-based Content Sharing Between Devices
RU2013146467A (ru) * 2013-10-17 2015-04-27 ЭлЭсАй Корпорейшн Способ и устройство распознавания жестов с использованием асинхронной многопоточной обработки
JP6062351B2 (ja) * 2013-11-28 2017-01-18 京セラ株式会社 電子機器
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
JP6305147B2 (ja) * 2014-03-25 2018-04-04 キヤノン株式会社 入力装置、操作判定方法、コンピュータプログラム、及び記録媒体
US20170117891A1 (en) 2014-06-02 2017-04-27 Xyz Interactive Technologies Inc. Touch-less switching
US9395174B2 (en) 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
US20160070455A1 (en) * 2014-09-10 2016-03-10 International Business Machines Corporation Toggle graphic object
CA2963578A1 (en) 2014-10-07 2016-04-14 Xyz Interactive Technologies Inc. Device and method for orientation and positioning
US10151600B2 (en) 2014-11-25 2018-12-11 Google Llc Systems and methods for controlling viewport movement in view of user context
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10613732B2 (en) 2015-06-07 2020-04-07 Apple Inc. Selecting content items in a user interface display
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
JP6559045B2 (ja) * 2015-10-29 2019-08-14 キヤノン株式会社 情報処理装置、方法、コンピュータプログラム及び記憶媒体
US10437410B2 (en) 2016-03-31 2019-10-08 Cisco Technology, Inc. Conversation sub-window
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US11216119B2 (en) 2016-06-12 2022-01-04 Apple Inc. Displaying a predetermined view of an application
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
CN107885450B (zh) * 2017-11-09 2019-10-15 维沃移动通信有限公司 实现鼠标操作的方法和移动终端
US10719230B2 (en) * 2018-09-27 2020-07-21 Atlassian Pty Ltd Recognition and processing of gestures in a graphical user interface using machine learning
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11256822B2 (en) * 2019-07-22 2022-02-22 Whitestar Communications, Inc. Systems and methods of gesture triggered automatic erasure on a private network
JP6651275B1 (ja) * 2019-08-01 2020-02-19 株式会社ディスコ 加工装置
US11403064B2 (en) 2019-11-14 2022-08-02 Microsoft Technology Licensing, Llc Content capture experiences driven by multi-modal user inputs
JP2022090171A (ja) * 2020-12-07 2022-06-17 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法
US11893174B1 (en) 2022-10-28 2024-02-06 Dell Products L.P. Information handling system mouse gesture to support transfer of visual images in a multi-display configuration

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131110A (ja) * 1992-10-21 1994-05-13 Sharp Corp 情報処理装置
JPH0816314A (ja) * 1994-06-29 1996-01-19 Internatl Business Mach Corp <Ibm> 異常信号がシステムに入力されるのを防止するシステムおよび方法
JPH08286807A (ja) * 1995-04-18 1996-11-01 Canon Inc データ処理装置及びそのジェスチャ認識方法
JPH09237149A (ja) * 1996-03-01 1997-09-09 Matsushita Electric Ind Co Ltd 携帯端末装置および携帯端末装置におけるショートカット処理方法
JPH1069344A (ja) * 1996-06-14 1998-03-10 Internatl Business Mach Corp <Ibm> コンピュータでジェスチャと手書き文字を区別する方法及びシステム
JPH1083245A (ja) * 1996-06-14 1998-03-31 Internatl Business Mach Corp <Ibm> コンピュータでジェスチャと手書き文字を区別する方法及びシステム
JP2000137571A (ja) * 1998-10-29 2000-05-16 Casio Comput Co Ltd 手書き入力装置及び手書き入力処理プログラムを記録した記録媒体
JP2001117686A (ja) * 1999-10-20 2001-04-27 Toshiba Corp ペン入力装置およびペン入力装置のポインティング処理方法
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1223366A (en) 1984-09-27 1987-06-23 Abijah S. Fox System for automatic adjustment and editing of handwritten text images
JP2540652B2 (ja) 1990-06-01 1996-10-09 株式会社東芝 半導体装置
US5347295A (en) * 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5428805A (en) 1992-12-22 1995-06-27 Morgan; Michael W. Method and apparatus for recognizing and performing handwritten calculations
US5511135A (en) * 1993-11-29 1996-04-23 International Business Machines Corporation Stylus-input recognition correction manager
JPH07200155A (ja) * 1993-12-10 1995-08-04 Microsoft Corp ペン型コンピュータシステムの非目的結果検出
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5929840A (en) * 1994-03-04 1999-07-27 Microsoft Corporation System and method for computer cursor control
US5495566A (en) * 1994-11-22 1996-02-27 Microsoft Corporation Scrolling contents of a window
JP3161936B2 (ja) * 1995-04-25 2001-04-25 シャープ株式会社 電子機器
CN1155876A (zh) 1995-04-28 1997-07-30 伊尔默瑙玻璃技术有限公司 硼硅酸盐玻璃
US5730602A (en) 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
US5689667A (en) 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
US5694150A (en) * 1995-09-21 1997-12-02 Elo Touchsystems, Inc. Multiuser/multi pointing device graphical user interface system
US5874936A (en) * 1996-12-20 1999-02-23 International Business Machines Corporation Method and apparatus for automatic scrolling by remote control
US6268857B1 (en) * 1997-08-29 2001-07-31 Xerox Corporation Computer user interface using a physical manipulatory grammar
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
KR100595924B1 (ko) * 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US6104317A (en) * 1998-02-27 2000-08-15 Motorola, Inc. Data entry device and method
CA2330133C (en) * 1998-04-24 2008-11-18 Natural Input Solutions Inc. Pen based edit correction interface method and apparatus
KR100553671B1 (ko) 1998-06-27 2006-05-10 삼성전자주식회사 컴퓨터 시스템의 포인팅 장치 구동 방법
GB2340265B (en) 1998-07-31 2003-04-23 Sony Uk Ltd Data processing
US20010036619A1 (en) * 1999-10-28 2001-11-01 Kerwin Patrick A. Training method
CN1276336C (zh) * 2000-07-21 2006-09-20 拉发耶尔·巴赫曼 实现快速书写系统的方法和快速书写机
US20020015064A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6897853B2 (en) * 2000-11-10 2005-05-24 Microsoft Corp. Highlevel active pen matrix
JP2002244794A (ja) * 2001-02-19 2002-08-30 Sony Corp 情報入力装置
US6738045B2 (en) * 2001-02-26 2004-05-18 Microsoft Corporation Method and system for accelerated data navigation
US6621483B2 (en) * 2001-03-16 2003-09-16 Agilent Technologies, Inc. Optical screen pointing device with inertial properties
US6938222B2 (en) 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
JP4031255B2 (ja) 2002-02-13 2008-01-09 株式会社リコー ジェスチャコマンド入力装置
KR100902740B1 (ko) 2002-06-27 2009-06-15 주식회사 케이티 마우스의 움직임을 이용한 클릭신호 자동 입력 장치 및 그방법
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US7088861B2 (en) * 2003-09-16 2006-08-08 America Online, Inc. System and method for chinese input using a joystick
US7436535B2 (en) * 2003-10-24 2008-10-14 Microsoft Corporation Real-time inking
US7365737B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
US20060001656A1 (en) * 2004-07-02 2006-01-05 Laviola Joseph J Jr Electronic ink system
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131110A (ja) * 1992-10-21 1994-05-13 Sharp Corp 情報処理装置
JPH0816314A (ja) * 1994-06-29 1996-01-19 Internatl Business Mach Corp <Ibm> 異常信号がシステムに入力されるのを防止するシステムおよび方法
JPH08286807A (ja) * 1995-04-18 1996-11-01 Canon Inc データ処理装置及びそのジェスチャ認識方法
JPH09237149A (ja) * 1996-03-01 1997-09-09 Matsushita Electric Ind Co Ltd 携帯端末装置および携帯端末装置におけるショートカット処理方法
JPH1069344A (ja) * 1996-06-14 1998-03-10 Internatl Business Mach Corp <Ibm> コンピュータでジェスチャと手書き文字を区別する方法及びシステム
JPH1083245A (ja) * 1996-06-14 1998-03-31 Internatl Business Mach Corp <Ibm> コンピュータでジェスチャと手書き文字を区別する方法及びシステム
JP2000137571A (ja) * 1998-10-29 2000-05-16 Casio Comput Co Ltd 手書き入力装置及び手書き入力処理プログラムを記録した記録媒体
JP2001117686A (ja) * 1999-10-20 2001-04-27 Toshiba Corp ペン入力装置およびペン入力装置のポインティング処理方法
JP2001202174A (ja) * 2000-01-21 2001-07-27 Canon Inc 画像表示装置、方法および記憶媒体

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665265B2 (en) 2007-01-07 2017-05-30 Apple Inc. Application programming interfaces for gesture operations
US11954322B2 (en) 2007-01-07 2024-04-09 Apple Inc. Application programming interface for gesture operations
US11449217B2 (en) 2007-01-07 2022-09-20 Apple Inc. Application programming interfaces for gesture operations
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling
US10613741B2 (en) 2007-01-07 2020-04-07 Apple Inc. Application programming interface for gesture operations
US10175876B2 (en) 2007-01-07 2019-01-08 Apple Inc. Application programming interfaces for gesture operations
US10168888B2 (en) 2007-12-21 2019-01-01 Sony Corporation Information processing device and touch operation detection method
JP2009151691A (ja) * 2007-12-21 2009-07-09 Sony Corp 情報処理装置及びタッチ動作認識方法
US9720594B2 (en) 2008-03-04 2017-08-01 Apple Inc. Touch event model
US9690481B2 (en) 2008-03-04 2017-06-27 Apple Inc. Touch event model
US11740725B2 (en) 2008-03-04 2023-08-29 Apple Inc. Devices, methods, and user interfaces for processing touch events
US10936190B2 (en) 2008-03-04 2021-03-02 Apple Inc. Devices, methods, and user interfaces for processing touch events
US10521109B2 (en) 2008-03-04 2019-12-31 Apple Inc. Touch event model
US9971502B2 (en) 2008-03-04 2018-05-15 Apple Inc. Touch event model
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
JP2018163705A (ja) * 2008-03-12 2018-10-18 イマージョン コーポレーションImmersion Corporation 触覚的にイネーブルにされるユーザインタフェース
JP2012503228A (ja) * 2008-09-17 2012-02-02 ノキア コーポレイション 拡張現実のためのユーザインターフェース
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US11755196B2 (en) 2009-03-16 2023-09-12 Apple Inc. Event recognition
US11163440B2 (en) 2009-03-16 2021-11-02 Apple Inc. Event recognition
US9965177B2 (en) 2009-03-16 2018-05-08 Apple Inc. Event recognition
US10719225B2 (en) 2009-03-16 2020-07-21 Apple Inc. Event recognition
JP2011048525A (ja) * 2009-08-26 2011-03-10 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2013518349A (ja) * 2010-01-26 2013-05-20 アップル インコーポレイテッド ジェスチャ認識を制御及び変更するためのデリゲートを有するジェスチャ・レコグナイザ
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US10732997B2 (en) 2010-01-26 2020-08-04 Apple Inc. Gesture recognizers with delegates for controlling and modifying gesture recognition
JP2014139816A (ja) * 2010-01-26 2014-07-31 Apple Inc ジェスチャ認識を制御及び変更するためのデリゲートを有するジェスチャ・レコグナイザ
WO2011152386A1 (ja) * 2010-05-31 2011-12-08 東京アナグラム株式会社 検索装置、検索条件生成方法及びプログラム
JP2011253230A (ja) * 2010-05-31 2011-12-15 Tokyo Anagram Co Ltd 検索装置、検索条件生成方法及びプログラム
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US9459789B2 (en) 2010-11-24 2016-10-04 Canon Kabushiki Kaisha Information processing apparatus and operation method thereof for determining a flick operation of a pointer
JP2012128830A (ja) * 2010-11-24 2012-07-05 Canon Inc 情報処理装置およびその動作方法
JP2013065291A (ja) * 2011-08-29 2013-04-11 Kyocera Corp 装置、方法、及びプログラム
JP2013065290A (ja) * 2011-08-29 2013-04-11 Kyocera Corp 装置、方法、及びプログラム
JP2013242916A (ja) * 2012-04-27 2013-12-05 Panasonic Corp 入力装置、入力支援方法及びプログラム
US10261630B2 (en) 2012-04-27 2019-04-16 Panasonic Intellectual Property Corporation Of America Input device, input support method, and program
JP2013254467A (ja) * 2012-06-06 2013-12-19 Areson Technology Corp マウスを用いてタッチスクリーン操作をシミュレーションする方法
TWI501116B (ja) * 2012-06-06 2015-09-21
US9524029B2 (en) 2012-08-23 2016-12-20 Casio Computer Co., Ltd Indeterminable gesture recognition using accumulated probability factors
JP2014098953A (ja) * 2012-11-13 2014-05-29 Sharp Corp 情報処理装置、ソフトウェアキーボードの生成方法およびプログラム
JP2014132414A (ja) * 2013-01-07 2014-07-17 Tokai Rika Co Ltd タッチ操作型入力装置
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US11429190B2 (en) 2013-06-09 2022-08-30 Apple Inc. Proxy gesture recognizer
JP2015172913A (ja) * 2014-03-12 2015-10-01 アルプス電気株式会社 入力装置及び車両用操作装置

Also Published As

Publication number Publication date
US20060055662A1 (en) 2006-03-16
US7761814B2 (en) 2010-07-20
CN1758205A (zh) 2006-04-12
KR20060051265A (ko) 2006-05-19
US20100251116A1 (en) 2010-09-30
JP5542774B2 (ja) 2014-07-09
US7614019B2 (en) 2009-11-03
EP1645942A3 (en) 2006-08-02
US20060055685A1 (en) 2006-03-16
KR101183381B1 (ko) 2012-09-14
JP2012014746A (ja) 2012-01-19
EP1645942B1 (en) 2018-04-18
EP1645942A2 (en) 2006-04-12
US7627834B2 (en) 2009-12-01
US9417701B2 (en) 2016-08-16
US20060055684A1 (en) 2006-03-16
CN1758205B (zh) 2013-03-27

Similar Documents

Publication Publication Date Title
JP5542774B2 (ja) フリックジェスチャ
US8147248B2 (en) Gesture training
EP3180711B1 (en) Detecting selection of digital ink
JP4694606B2 (ja) ジェスチャ判定方法
US8957854B2 (en) Zero-click activation of an application
US7925987B2 (en) Entry and editing of electronic ink
EP0660218B1 (en) User interface apparatus for computing system
JP4295602B2 (ja) 言語をペン先idに関連付ける方法、入力デバイスを使用して電子インクを処理装置に入力する方法および電子インクを受け取るための装置
US20030214531A1 (en) Ink input mechanisms
JP2019507915A (ja) ジェスチャを用いたノートテイキングのための装置および方法
JP2004303207A (ja) ジェスチャの動的フィードバック
JP2003303047A (ja) 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
KR20060115321A (ko) 동적으로 확장하는 입력 패널로 사용자 입력을 추가하는방법
CN109002201B (zh) 在电子呈现系统中拒绝无关触摸输入
US20040189721A1 (en) Multiple handwriting recognition engine selection
US20240004532A1 (en) Interactions between an input device and an electronic device
WO2023121728A9 (en) Multidirectional gesturing for on-display item identification and/or further action control

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111021

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20111024

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20111024