JP2014505937A - コンピュータデバイスにおけるタッチイベント予測 - Google Patents

コンピュータデバイスにおけるタッチイベント予測 Download PDF

Info

Publication number
JP2014505937A
JP2014505937A JP2013547621A JP2013547621A JP2014505937A JP 2014505937 A JP2014505937 A JP 2014505937A JP 2013547621 A JP2013547621 A JP 2013547621A JP 2013547621 A JP2013547621 A JP 2013547621A JP 2014505937 A JP2014505937 A JP 2014505937A
Authority
JP
Japan
Prior art keywords
touch
hand
user
predicted
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013547621A
Other languages
English (en)
Other versions
JP5955861B2 (ja
JP2014505937A5 (ja
Inventor
バークス オットー
ガイガー アヴィ
イー．アムダー メレディス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2014505937A publication Critical patent/JP2014505937A/ja
Publication of JP2014505937A5 publication Critical patent/JP2014505937A5/ja
Application granted granted Critical
Publication of JP5955861B2 publication Critical patent/JP5955861B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

コンピュータデバイスにおけるタッチイベントの予測のためのシステム及び方法が提供される。コンピュータデバイスは、手の位置及び／または動きを検出するように構成されているセンサを含むマルチタッチセンサ式ディスプレイを含むことができる。複数の実行可能なタッチ入力を含む状態を有するグラフィカルユーザインタフェース（ＧＵＩ）を表示することができる。コンピュータデバイスは、検出された手の位置及び／または動き、並びに複数の実行可能なユーザ入力を有するＧＵＩの状態に基づいて、１または複数の予測タッチ入力を演算するように構成されているタッチイベント予測モジュールをさらに含むことができる。コンピュータデバイスは、予測タッチ入力のうちの１つに合致する実際のタッチ入力の検出において予測タッチ入力の各々に関するデータを事前処理するように構成されている事前処理モジュールをさらに含み、ＧＵＩ上の実際のタッチ入力に関する事前処理データを表示することができる。

Description

本発明は、コンピュータデバイスにおけるタッチイベントの予測のためのシステム及び方法に関し、より詳細には、手の位置及び／または動きを検出するように構成されているセンサを含むマルチタッチセンサ式ディスプレイを含むコンピュータデバイスに関する。
携帯電話及びタブレットコンピュータの等のタッチセンサ式のコンピュータデバイスは、より小さなプロセッサ及びメモリデバイスの進歩とともにさらに携帯性が向上している。さらに、消費者は、このようなデバイス上で実行される、電子メール、ゲーム、写真、映像及び様々な他のアプリケーションを含む、さらなる複雑なソフトウェアを求めている。さらに、これらのタッチセンサ式のコンピュータデバイスは、通常、ジェスチャベースの入力を用いており、これは処理電力を消費する。これらのタスクを扱うために、さらに高性能なプロセッサ及びメモリが、小さなフットプリントと共に継続的に開発されている。
それにも関わらず、ソフトウェア及びハードウェアは、時々ユーザのペースについて行くことができない。その結果、ユーザは、時々タイムラグを経験し、タイムラグの間、タッチセンサ式のデバイスは、ユーザがスクリーンにおいてグラフィカルユーザインタフェースのオプションを選択するかまたはジェスチャをスワイプした直後に「考えている」ように見える。このタイムラグは、ユーザをイライラさせる。なぜなら、ユーザは、デバイスが適切に機能しているか、ジェスチャ入力が適切に受けられているのかもしくは再入力が必要なのか、デバイスがネットワーク接続の問題に見舞われているのか等が分からない故である。この不確定な間において、ユーザはしばしば画面を見つめ、しばらくイライラしたままで、コンピュータ環境内におけるタスクを進行させることができず、自身の周りの環境とやりとりに戻ることができない。このことは、タッチセンサ式デバイスを用いるユーザ経験を悪化させ、潜在的にこのようなデバイスの採用を阻害し、ユーザと、ユーザの周りにいる人々との社会的交流に悪影響を与える。
コンピュータデバイスにおけるタッチイベントの予測のシステム及びその方法が提供される。このコンピューティングデバイスは、手の位置及び／または動きを検知するように構成されたセンサを含むマルチタッチセンサ式ディスプレイを含むことができる。グラフィカルユーザインタフェース（ＧＵＩ）を表示することができ、ＧＵＩが複数の実行可能なタッチ入力を含む状態を有している。このコンピュータデバイスは、検出された手の位置及び／または動き、並びに複数の実行可能なユーザ入力をともなうＧＵＩの状態に基づいて、１または複数の予測されるタッチ入力を演算するように構成されたタッチイベント予測モジュールをさらに含むことができる。コンピュータデバイスは、予測されたタッチ入力に対するデータを事前処理し、予測タッチ入力のうちの１つに合致するユーザから受信された実際のタッチ入力の検出において、ＧＵＩ上に実際のタッチ入力に対する事前処理されたデータを表示するように構成された事前処理モジュールをさらに含むことができる。
この発明の概要は、発明を実施するための形態において以下でさらに説明されるいくつかのコンセプトを、単純な形式で紹介するために提供されている。この発明の概要は、本願特許請求の範囲に記載された発明の重要な特徴または本質的な特徴を特定することを目的としておらず、本願特許請求の範囲に記載された発明の範囲を限定することを目的としていない。さらに、本願特許請求の範囲に記載された発明は、本開示の任意の部分に記載されている任意のまたは全ての欠点を解決する実施例に限定されない。
１または複数のタッチイベントの予測のために構成されたコンピュータデバイスの１の実施形態を示す斜視図である。 図１のコンピュータデバイスのソフトウェア及びハードウェア構成を示す概略図である。 コンピュータデバイスの上での第１の手の動きとともに、図１のコンピュータデバイスを示す上面図である。 コンピュータデバイスの上での第２の手の動きとともに、図１のコンピュータデバイスを示す上面図である。 コンピュータデバイスの上での第３の手の動きとともに、図１のコンピュータデバイスを示す上面図である。 コンピュータデバイスの上での第４の手の動きとともに、図１のコンピュータデバイスを示す上面図である。 １または複数のタッチイベントの予測のための方法の実施形態を示すフロー図である。
図１は、１または複数のタッチイベントの予測のために構成されたコンピュータデバイス１０の１つの実施形態を示している。ユーザがタッチ入力を行う用意をしている際に、ユーザの手５は、コンピュータデバイス１０のタッチセンサ式ディスプレイ１２に接近する。タッチセンサ式ディスプレイ１２は、以下に説明する様々な検出技術を用いて、ユーザの手５がディスプレイの表面からギャップ１４だけ離間していてもユーザの手５を検出するように構成される。ディスプレイ１２から見て、手はディスプレイ１２上において検出される影１６を投げかけるように見え得る。コンピュータデバイスは、手の位置及び動きを解釈して、発生するであろう１または複数の予測されるタッチ入力（予測タッチ入力）の予測を生成し、その後、予測されたタッチ入力のうちの１つをユーザが実際に実行した際に遅延を減少するように事前処理を行うよう構成されている。結果として、予測タッチ入力に対するコンピュータデバイスの応答時間を向上することができ、コンピュータデバイスのユーザ経験が向上し、例えば、ユーザがさらに迅速にコンピュータタスクを終了させて他者との交流を再開することが可能になる。
図２に示すように、コンピュータデバイス１０は、ユーザの手５の手の位置２０及び／または手の動き２２を検出するように構成されたセンサ１８を含むマルチタッチセンサ式ディスプレイ１２を通常含んでいる。いくつかの実施形態において、センサ１８は、手５がディスプレイ１２に接触している場合の実際タッチ入力４８、及び同様に手がディスプレイの表面からある距離をもって離間している場合の手の位置及び／または動きを示す離間入力４６を検出するように構成されていてもよい。いくつかの実施形態において、センサ１８は、手全体と同様に、手の１または複数の指の位置及び動作を検出してそれらを区別するように構成されていてもよい。さらに、センサを、手に保持されているスタイラスペンの位置または動きを検出し、かつ手からスタイラスペンを区別するように構成できる。
センサ１８は、１または複数の様々なタイプのセンサを用いることができる。例えば、センサ１８は、インピクセル（in-pixel）光学センサ、容量式タッチセンサ、抵抗式タッチセンサ、赤外線センサ、圧力センサ、または他のタイプのセンサであるかまたはこれらの１または複数を含んでいてもよい。センサ１８はディスプレイ１２内に一体化されるか、または破線で示されているようにディスプレイ１２と別に形成されてもよい。例えば、容量式、抵抗式及びインピクセルセンサは、通常はディスプレイに一体化され、カメラ等の光学センサは、ディスプレイと別個に形成されてディスプレイ上方の領域の視野に向けられる。
コンピュータデバイス１０は、大容量記憶装置２４内に保存されており、メモリ２８の一部を用いてプロセッサ２６を介して実行され、センサ１８から受信したセンサ入力３０を処理して、ディスプレイ１２において表示するために処理結果を出力する１または複数のプログラム及びモジュールを含む。プロセッサ２６、メモリ２８及び大容量記憶装置２４は、１または複数のデータバス２９を介して、互いに及びディスプレイ１２と通信できる。様々なプロセッサ、メモリ及び大容量記憶装置構成を使用できる。いくつかの実施形態において、例えば、コンピュータデバイスは、携帯電話及び／またはタブレットコンピュータデバイスとして構成され、メモリ及び大容量記憶装置は両方とも半導体とすることもできる。他の実施形態において、例えば、コンピュータデバイスは、ラップトップコンピュータ、デスクトップコンピュータ、テーブルトップコンピュータ、キオスクコンピュータ等であってもよく、大容量記憶装置はハードドライブでもよい。
大容量記憶装置２４に保存されているプログラム３２は、ディスプレイ１２におけるグラフィカルユーザインタフェース（ＧＵＩ）３６を生成して表示するように構成されたグラフィカルユーザインタフェースモジュール３４を含むアプリケーションプログラム、オペレーティングシステムコンポーネント、または他のプログラムとすることができる。グラフィカルユーザインタフェースは、複数の実行可能なタッチ入力を含む状態３８を通常は含んでいる。図１に示されている例において、ディスプレイ１２に表示されているＧＵＩ３６は、タイルパターンで配されている複数の選択可能アイコンを含んでいる。アイコンの各々は、実行可能なタッチ入力をユーザに対して表示している。１または複数の実行可能なタッチ入力を各々が表示する、ボタン、プルダウンメニュー、スライダ、スクロールバー、ハイパーリンク、リスト、ラジオボタン等、多数の他のＧＵＩ構成がとられ得る。
コンピュータデバイス１０は、大容量記憶装置２４に保存されているタッチイベント予測モジュール４０をさらに含む。実行の際に、タッチイベント予測モジュール４０は、検出されたユーザの手の位置２０及び／または手の動き２２、並びに複数の実行可能なユーザ入力を伴うＧＵＩ３６の状態３８に基づいて１または複数の予測タッチ入力４２を演算するように構成されている。通常、タッチイベント予測モジュール４０は、ディスプレイ１２からギャップ１４だけ離間している手の離間入力４６から、検出された手の位置２０及び手の動き２２に基づいて予測タッチ入力４２を演算する。
コンピューティングデバイス１０は、大容量記憶装置２４に保存されている事前処理モジュール４４をさらに含んでいる。事前処理モジュール４４は、予測タッチ入力４２の各々に対して事前処理データ５４を生成するように構成されている。例えば、事前処理モジュール４４は、予測されたタッチイベントの実現時に表示されるようにかつ／または予測タッチイベントに対する事前演算５２を実行するために、データをプリロードキャッシュ５０にプリロードするように構成されていてもよい。
ディスプレイ１２へのユーザの手の接触による、予測タッチ入力４８のうちの１つと合致するユーザによる実際のタッチ入力４８の検出の際に、事前処理モジュール４４は、実際のタッチ入力４８に対して事前処理データがグラフィカルユーザインタフェースに表示されるように構成されている。実際のタッチイベントを、１つの実施形態においてタッチイベント予測モジュールによって検出することができ、また、他の実施形態において別個のジェスチャ認識モジュールによって検出することができることが理解されるだろう。事前処理モジュールは、例えば、事前処理データ５４が利用可能なプログラム３２と通信し、タッチイベント予測モジュールによって、あるいは上記したジェスチャ認識モジュールによって実際のタッチイベントが知らされた後に、プログラムが予定の場所から事前処理データを取得して表示することを可能とすることによって、事前処理データ５４を表示させることができる。
図示されている実施形態において、タッチイベント予測モジュールは、統計エンジン５６を含む。統計エンジン５６は、以前の使用データに基づいて予測ユーザ入力４８の各々が選択される推定可能性５８を演算し、事前処理モジュールに、プリロードキャッシュ５０及び事前演算５２のためのロジック等の事前処理リソースを、選択可能性の高い１または複数の予測ユーザ入力４８に割り当てて、他の予測ユーザ入力４８の事前処理をせずに済ますように命令するように構成される。以前の使用データを、例えば、コンピュータデバイスの個々のユーザに関して、またはコンピュータデバイスの全てのユーザに関して演算できる、またはコンピュータネットワークを介して中央データベースからダウンロードされた広範囲のユーザグループに関する集計された使用統計とすることができる。
タッチイベント予測モジュールの予測エンジン６０を、離間入力４６の手の位置２０及び手の動き２２をセンサ１８から受信し、ＧＵＩ状態３８情報をＧＵＩモジュール３４から受信し、かつ可能性を統計エンジン５６から受信して、発生の推定可能性に従ってランク付けされた予測タッチ入力４２のランクリストを演算するように構成することができる。事前処理モジュールは、コンピュータデバイス上の利用可能なメモリ及びプロセッサ使用率を分析して、実行可能な事前処理動作に対する利用可能なリソース閾値を判定し、利用可能リソース閾値に達するまでランクリストにおける予測タッチ入力のサブセットに対する事前処理データ５４を生成することを選択してもよい。この態様において、コンピュータデバイス１０に過負荷を与えずにリソースの効率的な利用がなされ得る。
コンピュータデバイスが、様々なプログラムがオペレーティングシステムリソースと通信してこれを利用するために用いられるアプリケーションプログラムインタフェースを含むオペレーティングシステムを含むことができることが理解されるだろう。従って、１つの実施形態において、タッチイベント予測モジュール４０及び事前処理モジュール４４は、コンピュータデバイスにおいてプログラムをオペレーティングシステムに機能的にリンクさせるアプリケーションプログラムインタフェースの一部とすることができる。他の実施形態において、タッチイベント予測モジュール４０及び事前処理モジュール４４は、コンピュータデバイス１０においてユーザセッションに亘るバックグラウンドにおいて実行されるサービス等の実行可能プログラムである。
図３には、コンピュータデバイス１０のディスプレイ１２から離間してディスプレイ１２の上方に表されている第１の手の動きとともにコンピュータデバイス１０が示されている。手５は、人差し指が伸びた状態で、かつ右から左へ、５で示されている第１の位置から５Ａで示されている第２の位置に移動している状態で示されている。破線で示されているタイル状のウインドウ枠の全てがＧＵＩ３６における実行可能なタッチ入力である別個の選択可能アイコンを表しているのに対して、伸びた人差し指を伴う手のこの右から左の動きの検出において、人差し指が一番左の２つのアイコンを選択する可能性が高くかつＧＵＩ３６上の残りの実行可能な入力を通り過ぎて動いたために、図示されているように、タッチイベント予測モジュール４０を、一番左の２つのアイコンが予測タッチ入力４２であると判定するように構成することができる。
図４には、コンピュータデバイス１０のディスプレイ１２から離間してディスプレイ１２上に表されている第２の手の動きとともにコンピュータデバイス１０が示されている。手５の指は、伸びておりかつ左から右へ、５で示されている手の指の第１の位置から５Ａで示されている手の指の第２の位置へ移動しているように示されている。伸びた指のこの左から右への動きの検出において、伸びている人差し指が一番右の２つのアイコンを選択する可能性が高くかつＧＵＩ３６上の残りの実行可能な入力を通り過ぎて動いたために、図示されているように、タッチイベント予測モジュール４０を、一番右の２つのアイコンが予測タッチ入力４２であると判定するように構成することができる。
図５には、コンピュータデバイス１０のディスプレイ１２から離間してディスプレイ１２上に表されている第３の手の動きとともにコンピュータデバイス１０が示されている。手５は、ディスプレイに向かって下方に曲げられ、右から左へ、５に示されている第１の位置から５Ａに示されている第２の位置まで移動しているように示されている。右から左に移動してきてこの位置に停止してホバリングしている手の検出において、タッチイベント予測モジュール４０を、手が左手であること、人差し指及び中指が選択アイコンに関与する可能性が高く、人差し指と中指が予測タッチ入力４２として示される３つのアイコン上に配されていることを判定するように構成できる。残りの実行可能な入力は、人差し指及び中指の到達範囲外にある。従って、残りの３つの実行可能な入力は、予測タッチ入力４２と判定されない。
図６には、コンピュータデバイス１０のディスプレイ１２から離間してディスプレイ１２上に表されている第４の手の動きとともにコンピュータデバイス１０が示されている。この図において、伸びた指はディスプレイ１２に、紙面に対して垂直に接近している。手の指によって投じられた影は、５に示されるように手の指の第１の位置において大きく広がって示され、５Ａに示されるように手の指の第２の位置においてシャープにかつ小さく示されている。ディスプレイに対する手のこの垂直な移動の検出において、他の実行可能なユーザ入力が選択される可能性が低いために、図示されているように、タッチイベント予測モジュール４０を、手の第２の位置の直下のアイコンのみが予測タッチ入力４２であると判定するように構成することができる。
いくつかの実施形態において、予測タッチ入力は、ディスプレイ上の表示を通したフィードバックとしてユーザに提供され得る。例えば、予測タッチ入力であると判定された１または複数のアイコンは、ディスプレイにおいて他のアイコンよりも明るくされかつ／または他のアイコンと色が変えられてもよい。他の例において、予測タッチ入力であると判定された１または複数のアイコンが可視状態にされて他のアイコンがディスプレイから徐々に消されるかまたは非表示にされてもよい。アイコンは、手の動き（例えば、図３−６に示されている第１、第２、第３及び／または第４の手の動き）に対応してリアルタイムで可逆的な表示を提供してもよい。この態様にて、ユーザが予測タッチ入力に関連するフィードバックを受けてもよい。
図７は、コンピュータデバイスにおける１または複数のタッチイベントの予測の方法１００の１つの実施形態を表すフロー図である。方法１００を、上述のコンピュータデバイス１０のソフトウェア及びハードウェアコンポーネントによって、または他の適切なハードウェア及びソフトウェアコンポーネントによって実行できることが理解されるだろう。
方法１００は、符号１０２において、コンピュータデバイスのマルチタッチセンサ式ディスプレイ等のタッチセンサ式ディスプレイ上の複数の実行可能なタッチ入力を有する状態を含むグラフィカルユーザインタフェースの表示を含む。符号１０４において、本方法は、コンピュータデバイスのセンサを介したユーザの手の位置及び／または動きの検出を含む。例えば、この検出を、上述したようなインピクセル光学センサ、容量式タッチセンサ、抵抗式タッチセンサ及び赤外線センサを含むグループから選択されたセンサによって実行できる。あるいは、他のセンサ技術を使用できる。
符号１０６において示されているように、ユーザの手の位置及び／または動きの検出は、手がディスプレイの表面からある距離離間している場合における、手の位置及び／または動きの検出をさらに含むことができる。さらに、符号１０８において示されているように、ユーザの手の位置及び／または動きの検出は、１または複数の手の指の位置及び動きの検出をさらに含むことができる。これは、本方法において、右手と左手の間の差異、手の個々の指の間の差異を区別することを可能にすることができ、この方法は、人差し指と中指の位置及び予測される動きを判定する場合に有用であり、タッチ入力を実行する可能性が最も高いと見なすことができる。さらに、いくつかの実施形態において、符号１１０において示されているように、ユーザの手の位置及び／または動きの検出は、手によって保持されているスタイラスペンの位置または動きの検出をさらに含むことができ、この検出を、予測入力のさらに正確な予測に使用することができる。
符号１１２において、この方法は、検出されたユーザの手の位置及び／または動き、並びに複数の実行可能なタッチ入力を有するユーザインタフェースの状態に基づいた１または複数のタッチ入力の演算をさらに含むことができる。この演算を、以下に詳細に説明するように、予測エンジンによって実行することができ、かつ以前の使用データに基づくことができる。
符号１１６において、この方法は、予測タッチ入力の各々に対するデータの事前処理を含んでもよい。符号１１８に示されているように、データの事前処理は、予測タッチイベントの各々の実行において表示されるべきデータのキャッシュ内へのプリロードを含むことができる。さらに、符号１２０に示されているように、データの事前処理は、予測タッチイベントの各々に対する事前演算の実行を含むことができる。符号１１６おける事前処理から生成された事前処理データは、リクエストプログラムと通信可能な既知の場所に保存され、プログラムが後に事前処理データにアクセスして事前処理データを表示することができる。
符号１２４において、この方法は、予測タッチ入力のうちの１つと合致する実際のタッチ入力の検出を含んでもよい。実際のタッチ入力は、通常は、ユーザによって、手の指及び／または掌がディスプレイの表面へ接触することによって入力されるジェスチャである。この検出は、上述の予測モジュールによって実行されるか、または代替的にコンピュータデバイス１０上で実行される独立したジェスチャ認識モジュールによって実行されてもよい。
符号１２６において、この方法は、実際のタッチ入力に対するグラフィカルユーザインタフェース上の事前処理データの表示を含む。事前処理データの表示を、事前処理データが既知の場所において利用可能でありかつ表示する準備ができているという事前処理モジュールからの通信を受信した後に、グラフィカルユーザインタフェースを表示するプログラムのグラフィカルユーザインタフェースモジュールによって実行することができる。事前処理データの表示によって、遅延を低減することができる。すなわち、ＧＵＩ要素のユーザ選択とディスプレイ上の順次データの表示との間のラグが低減され、ユーザ経験の向上という付随の利点が得られる。
いくつかの実施形態において、方法１００は、上述のように、符号１１４において、予測ユーザ入力の各々が選択される推定可能性の演算であって以前の使用データに基づいた演算を含むことができ、符号１２２において、より高い可能性を伴う予測ユーザ入力に対するデータの事前処理を実行して、より低い可能性を伴う予測ユーザ入力の事前処理をせずに済ますことを含むことができる。
いくつかの実施形態において、方法１００は、ユーザへの予測タッチ入力の表示を任意に含むことができる。この表示は、上述のように、ユーザのタッチ予測に応答して、ＧＵＩの部分を明るくする、色を変化させる、徐々に消す及び／または非表示にする変化を含むことができる。
符号１１２における１または複数のタッチ入力の演算ステップ、符号１１４における推定可能性の演算ステップ、及び／または符号１１６における予測タッチ入力の各々に対するデータの事前処理ステップを、上述のように、プログラムをオペレーティングシステムへコンピュータデバイス上で機能的にリンクさせているアプリケーションプログラムインタフェースによって全体としてまたは少なくとも部分的に実行することができることが理解されるだろう。
上述のシステム及び方法を、コンピュータデバイス上のタッチセンサ式ディスプレイのグラフィカルユーザインタフェースとのユーザインタラクション（user interaction）における遅延を低減するために使用することができ、それによってタスクのさらに迅速な完了を可能にしてユーザ経験を向上させることができる。
用語「モジュール」、「プログラム」及び「エンジン」は、本明細書において、コンピュータデバイスのプロセッサによって実行される際に１または複数の特定の機能を実行するソフトウェアをいう。これらの用語は、例えば、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコードの各々またはこれらのグループ包含するように意図されている。本明細書に記載されている実施形態は、これらのモジュール、プログラム及びエンジンの構成の一例を示しているが、本明細書に記載されている機能が異なる構成のソフトウェアコンポーネントによって達成されてもよいことが理解されるべきである。
数値的な変更が可能であるので、本明細書に記載されている構成及び／またはアプローチは、例示的な性質のものであり、これらの特定の実施形態または実施例は、限定的な意味ではないことが理解されるべきである。本明細書に記載されている特定の動作または方法は、多数の処理戦略の１または複数を表していてもよい。よって、記載されている様々な動作は、記載されている順序で、他の順序で、もしくは並列で実行されてもよく、いくつかの場合において省略されてもよい。同様に、上述の処理の順序は変更されてもよい。
本開示の発明の内容は、本明細書に開示されている様々な処理、システム及び構成、並びに他の特徴、機能、動作、及び／または特性の新規かつ非自明な組み合わせ及び下位組み合わせの全て、及びこれらの全ての均等範囲を含んでいる。

Claims (10)

  1. コンピュータデバイスであって、
    ユーザの手の位置及び／または動きを検出するように構成されているセンサを含むマルチタッチセンサ式ディスプレイと、
    前記ディスプレイ上に表示されるグラフィカルユーザインタフェースであって、複数の実行可能タッチ入力を含んでいる状態を有するグラフィカルユーザインタフェースと、
    前記検出されたユーザの手の位置及び／または動き、並びに前記複数の実行可能ユーザ入力に基づいて１または複数の予測タッチ入力を演算するように構成されたタッチイベント予測モジュールと、
    前記予測タッチ入力の各々に関する事前処理データを生成し、前記ユーザから受信した前記予測タッチ入力の１つと合致する実際のタッチ入力の検出において、前記実際のタッチ入力に対する前記事前処理データを前記グラフィカルユーザインタフェース上に表示させるように構成された事前処理モジュールと、
    を含むことを特徴とするコンピュータデバイス。
  2. 前記事前処理モジュールは予測タッチイベントにおいて表示されるべきデータをキャッシュにプリロードするように、及び／または予測タッチイベントに対する事前演算を実行するように構成され、前記タッチイベント予測モジュールは、前記予測ユーザ入力の各々が選択される推定可能性を、以前の使用データに基づいて演算し、かつより高い選択可能性を有する１または複数の予測ユーザ入力に事前処理リソースを割り当てて他の予測ユーザ入力の事前処理をせずに済ませるように前記事前処理モジュールに指示するように構成された統計エンジンを含むことを特徴とする請求項１に記載のコンピュータデバイス。
  3. 前記センサは、インピクセル光学センサ、容量式タッチセンサ、抵抗式タッチセンサ、圧力センサ、または赤外線センサであり、前記センサは、前記手が前記ディスプレイの表面から離間している場合に前記手の位置及び／または動きを検出するように構成されており、前記センサは、前記手の１または複数の指及び／または前記手によって保持されているスタイラスペンの位置及び／または動きを検出するように構成されていることを特徴とする請求項１に記載のコンピュータデバイス。
  4. 前記タッチイベント予測モジュール及び前記事前処理モジュールは、プログラムをオペレーティングシステムに前記コンピュータデバイス上で機能的にリンクさせるアプリケーションプログラムインタフェースの一部であることを特徴とする請求項１に記載のコンピュータデバイス。
  5. 前記コンピュータデバイスは、前記予測タッチ入力を前記ユーザに表示するように構成されており、前記表示は、前記予測タッチ入力のユーザフィードバックを提供するために前記グラフィカルユーザインタフェースの部分を明るくする、色を変更する、徐々に消す及び／または非表示にする変化を含むことを特徴とする請求項１に記載のコンピュータデバイス。
  6. 演算方法であって、
    コンピュータデバイスのタッチセンサ式ディスプレイ上に複数の実行可能なタッチ入力を有する状態を含むグラフィカルユーザインタフェースを表示することと、
    前記コンピュータデバイスのセンサを介してユーザの手の位置及び／または動きを検出することと、
    前記検出されたユーザの手の位置及び／または動き、並びに複数の実行可能なタッチ入力を有する前記ユーザインタフェースの前記状態に基づいて、１または複数の予測タッチ入力を演算することと、
    前記予測タッチ入力の各々に関するデータを事前処理することと、
    前記予測タッチ入力のうちの１つに合致する実際のタッチ入力を検出することと、
    前記実際のタッチ入力に対して前記グラフィカルユーザインタフェース上に前記事前処理されたデータを表示することと
    を含むことを特徴とする方法。
  7. 前記データを事前処理することは、前記予測タッチイベントの各々の実行において表示されるべきデータをキャッシュ内にプリロードすることと、前記予測タッチイベントの各々に対する事前演算を実行することとを含むことを特徴とする請求項６に記載の方法。
  8. 前記予測ユーザ入力が選択される推定可能性を以前の使用データに基づいて演算することと、
    より高い可能性を有する予測ユーザ入力に関するデータの事前処理を実行して、より低い可能性を有する予測ユーザ入力の事前処理をせずに済ますことと
    を含み、
    前記１または複数の予測タッチ入力を演算すること及び前記予測ユーザ入力の各々に関するデータを事前処理することは、前記コンピュータデバイス上でプログラムをオペレーティングシステムに機能的にリンクさせるアプリケーションプログラムインタフェースによって少なくとも部分的に実行されることを特徴とする請求項６に記載の方法。
  9. 前記検出することは、インピクセル光学センサ、容量式タッチセンサ、抵抗式タッチセンサ、及び赤外線センサからなるグループから選択されるセンサによって実行され、前記ユーザの手の位置及び／または動きを検出することは、
    前記手が前記ディスプレイの表面から離間している場合に前記手の位置及び／または動きを検出することと、
    前記手の１または複数の指の位置及び／もしくは動き、または前記手によって保持されているスタイラスペンの位置及び／もしくは動きを検出することとをさらに含むことを特徴とする請求項６に記載の方法。
  10. 前記ディスプレイ上の前記予測タッチ入力を前記ユーザに表示することをさらに含み、前記表示は、前記予測タッチ入力のユーザフィードバックを提供するために前記グラフィカルユーザインタフェースの部分を明るくする、色を変更する、徐々に消す及び／または非表示にする変化を含むことを特徴とする請求項６に記載の方法。
JP2013547621A 2010-12-29 2011-12-27 コンピュータデバイスにおけるタッチイベント予測 Active JP5955861B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/981,184 2010-12-29
US12/981,184 US9354804B2 (en) 2010-12-29 2010-12-29 Touch event anticipation in a computing device
PCT/US2011/067419 WO2012092291A2 (en) 2010-12-29 2011-12-27 Touch event anticipation in a computing device

Publications (3)

Publication Number Publication Date
JP2014505937A true JP2014505937A (ja) 2014-03-06
JP2014505937A5 JP2014505937A5 (ja) 2015-02-12
JP5955861B2 JP5955861B2 (ja) 2016-07-20

Family

ID=46380342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013547621A Active JP5955861B2 (ja) 2010-12-29 2011-12-27 コンピュータデバイスにおけるタッチイベント予測

Country Status (8)

Country Link
US (1) US9354804B2 (ja)
EP (1) EP2659341B1 (ja)
JP (1) JP5955861B2 (ja)
KR (1) KR101892315B1 (ja)
CN (1) CN102609130B (ja)
HK (1) HK1171829A1 (ja)
TW (1) TWI544369B (ja)
WO (1) WO2012092291A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016110285A (ja) * 2014-12-03 2016-06-20 日本電気株式会社 入力予測装置、入力予測方法および入力予測プログラム
JP2016110296A (ja) * 2014-12-03 2016-06-20 株式会社ゼンリンデータコム ウェアラブルデバイス、情報処理方法及びプログラム

Families Citing this family (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8028090B2 (en) 2008-11-17 2011-09-27 Amazon Technologies, Inc. Request routing utilizing client location information
US7991910B2 (en) 2008-11-17 2011-08-02 Amazon Technologies, Inc. Updating routing information based on client location
US7962597B2 (en) 2008-03-31 2011-06-14 Amazon Technologies, Inc. Request routing based on class
US8321568B2 (en) 2008-03-31 2012-11-27 Amazon Technologies, Inc. Content management
US7970820B1 (en) 2008-03-31 2011-06-28 Amazon Technologies, Inc. Locality based content distribution
US8447831B1 (en) 2008-03-31 2013-05-21 Amazon Technologies, Inc. Incentive driven content delivery
US8533293B1 (en) 2008-03-31 2013-09-10 Amazon Technologies, Inc. Client side cache management
US8601090B1 (en) 2008-03-31 2013-12-03 Amazon Technologies, Inc. Network resource identification
US8156243B2 (en) 2008-03-31 2012-04-10 Amazon Technologies, Inc. Request routing
US8606996B2 (en) 2008-03-31 2013-12-10 Amazon Technologies, Inc. Cache optimization
US7925782B2 (en) 2008-06-30 2011-04-12 Amazon Technologies, Inc. Request routing using network computing components
US9912740B2 (en) 2008-06-30 2018-03-06 Amazon Technologies, Inc. Latency measurement in resource requests
US9407681B1 (en) 2010-09-28 2016-08-02 Amazon Technologies, Inc. Latency measurement in resource requests
US8065417B1 (en) 2008-11-17 2011-11-22 Amazon Technologies, Inc. Service provider registration by a content broker
US8122098B1 (en) 2008-11-17 2012-02-21 Amazon Technologies, Inc. Managing content delivery network service providers by a content broker
US8073940B1 (en) 2008-11-17 2011-12-06 Amazon Technologies, Inc. Managing content delivery network service providers
US8060616B1 (en) 2008-11-17 2011-11-15 Amazon Technologies, Inc. Managing CDN registration by a storage provider
US8521880B1 (en) 2008-11-17 2013-08-27 Amazon Technologies, Inc. Managing content delivery network service providers
US8732309B1 (en) 2008-11-17 2014-05-20 Amazon Technologies, Inc. Request routing utilizing cost information
US8756341B1 (en) 2009-03-27 2014-06-17 Amazon Technologies, Inc. Request routing utilizing popularity information
US8688837B1 (en) 2009-03-27 2014-04-01 Amazon Technologies, Inc. Dynamically translating resource identifiers for request routing using popularity information
US8412823B1 (en) 2009-03-27 2013-04-02 Amazon Technologies, Inc. Managing tracking information entries in resource cache components
US8521851B1 (en) 2009-03-27 2013-08-27 Amazon Technologies, Inc. DNS query processing using resource identifiers specifying an application broker
US8782236B1 (en) 2009-06-16 2014-07-15 Amazon Technologies, Inc. Managing resources using resource expiration data
US8397073B1 (en) 2009-09-04 2013-03-12 Amazon Technologies, Inc. Managing secure content in a content delivery network
US8433771B1 (en) 2009-10-02 2013-04-30 Amazon Technologies, Inc. Distribution network with forward resource propagation
US9495338B1 (en) 2010-01-28 2016-11-15 Amazon Technologies, Inc. Content distribution network
US8756272B1 (en) 2010-08-26 2014-06-17 Amazon Technologies, Inc. Processing encoded content
US10097398B1 (en) 2010-09-28 2018-10-09 Amazon Technologies, Inc. Point of presence management in request routing
US10958501B1 (en) 2010-09-28 2021-03-23 Amazon Technologies, Inc. Request routing information based on client IP groupings
US8924528B1 (en) 2010-09-28 2014-12-30 Amazon Technologies, Inc. Latency measurement in resource requests
US9003035B1 (en) 2010-09-28 2015-04-07 Amazon Technologies, Inc. Point of presence management in request routing
US8938526B1 (en) 2010-09-28 2015-01-20 Amazon Technologies, Inc. Request routing management based on network components
US9712484B1 (en) 2010-09-28 2017-07-18 Amazon Technologies, Inc. Managing request routing information utilizing client identifiers
US8577992B1 (en) 2010-09-28 2013-11-05 Amazon Technologies, Inc. Request routing management based on network components
US8819283B2 (en) 2010-09-28 2014-08-26 Amazon Technologies, Inc. Request routing in a networked environment
US8930513B1 (en) 2010-09-28 2015-01-06 Amazon Technologies, Inc. Latency measurement in resource requests
US8468247B1 (en) 2010-09-28 2013-06-18 Amazon Technologies, Inc. Point of presence management in request routing
US8452874B2 (en) 2010-11-22 2013-05-28 Amazon Technologies, Inc. Request routing processing
US9391949B1 (en) 2010-12-03 2016-07-12 Amazon Technologies, Inc. Request routing processing
US8717318B2 (en) * 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
US8751564B2 (en) * 2011-04-19 2014-06-10 Echostar Technologies L.L.C. Reducing latency for served applications by anticipatory preprocessing
US10467042B1 (en) 2011-04-27 2019-11-05 Amazon Technologies, Inc. Optimized deployment based upon customer locality
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130047100A1 (en) * 2011-08-17 2013-02-21 Google Inc. Link Disambiguation For Touch Screens
US20130063368A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Touch-screen surface temperature control
WO2013095678A1 (en) 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
US8904009B1 (en) 2012-02-10 2014-12-02 Amazon Technologies, Inc. Dynamic content delivery
US10021179B1 (en) 2012-02-21 2018-07-10 Amazon Technologies, Inc. Local resource delivery network
US9172674B1 (en) 2012-03-21 2015-10-27 Amazon Technologies, Inc. Managing request routing information utilizing performance information
US9015682B1 (en) 2012-03-28 2015-04-21 Google Inc. Computer code transformations to create synthetic global scopes
US10623408B1 (en) 2012-04-02 2020-04-14 Amazon Technologies, Inc. Context sensitive object management
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
JP6273263B2 (ja) 2012-05-09 2018-01-31 アップル インコーポレイテッド ユーザ接触に応答して追加情報を表示するための、デバイス、方法、及びグラフィカルユーザインタフェース
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
EP2847658B1 (en) 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
US20150205585A1 (en) * 2012-06-04 2015-07-23 Google Inc. Delayed compiling of scripting language code
US9154551B1 (en) 2012-06-11 2015-10-06 Amazon Technologies, Inc. Processing DNS queries to identify pre-processing information
US20140035828A1 (en) * 2012-07-31 2014-02-06 Elwha LLC, a limited liability company of the State of Delaware Adjusting a displayed widget or delineated touch-selectable area of a touch screen display in response to an approaching user-appendage
SE537553C2 (sv) 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
GB201214663D0 (en) * 2012-08-17 2012-10-03 Spencer Michael D User interaction method for input selection
WO2014032239A1 (zh) * 2012-08-29 2014-03-06 华为终端有限公司 一种终端设备获取指令的方法及终端设备
US9525659B1 (en) 2012-09-04 2016-12-20 Amazon Technologies, Inc. Request routing utilizing point of presence load information
US9323577B2 (en) 2012-09-20 2016-04-26 Amazon Technologies, Inc. Automated profiling of resource usage
US9135048B2 (en) 2012-09-20 2015-09-15 Amazon Technologies, Inc. Automated profiling of resource usage
CN102929532B (zh) * 2012-09-29 2015-07-22 东莞宇龙通信科技有限公司 应用程序的启动方法及通信终端
JP6000797B2 (ja) * 2012-10-17 2016-10-05 シャープ株式会社 タッチパネル式入力装置、その制御方法、および、プログラム
GB2507556A (en) * 2012-11-05 2014-05-07 Ibm Configuring a keyboard model
US10205698B1 (en) 2012-12-19 2019-02-12 Amazon Technologies, Inc. Source-dependent address resolution
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
CN105264479B (zh) 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
US8814683B2 (en) 2013-01-22 2014-08-26 Wms Gaming Inc. Gaming system and methods adapted to utilize recorded player gestures
KR102043148B1 (ko) 2013-02-19 2019-11-11 엘지전자 주식회사 이동 단말기 및 그의 터치 좌표 예측 방법
JP5991538B2 (ja) * 2013-02-20 2016-09-14 富士ゼロックス株式会社 データ処理装置、データ処理システム及びプログラム
US20140253427A1 (en) * 2013-03-06 2014-09-11 Qualcomm Mems Technologies, Inc. Gesture based commands
US9164609B2 (en) * 2013-03-13 2015-10-20 Amazon Technologies, Inc. Managing sensory information of a user device
KR102117450B1 (ko) * 2013-03-26 2020-06-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20140317428A1 (en) * 2013-04-23 2014-10-23 Htc Corporation Pre-processing Operation Method and Related Electronic Device
US9294391B1 (en) 2013-06-04 2016-03-22 Amazon Technologies, Inc. Managing network computing components utilizing request routing
JP2016522502A (ja) * 2013-07-01 2016-07-28 インテル・コーポレーション クイックレスポンス静電容量方式タッチスクリーンデバイス
KR20150014679A (ko) * 2013-07-30 2015-02-09 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10722789B2 (en) * 2013-08-20 2020-07-28 Microsoft Technology Licensing, Llc Integrated game development cloud computing platform
US9086749B2 (en) 2013-08-30 2015-07-21 Qualcomm Incorporated System and method for improved processing of touch sensor data
KR20160058117A (ko) * 2013-09-18 2016-05-24 텍추얼 랩스 컴퍼니 미래 사용자 입력을 예측한 상태 변화에 관한 정보를 사용하는 사용자 입력에 대한 반응을 제공하는 시스템 및 방법
KR101532581B1 (ko) 2013-11-27 2015-07-01 주식회사 지니틱스 터치입력위치 오류의 보정방법 및 이를 위한 장치
US9501183B2 (en) * 2013-12-02 2016-11-22 Nokia Technologies Oy Method, apparatus and computer program product for distinguishing a touch event from a gesture
KR101485907B1 (ko) * 2014-01-03 2015-02-11 연세대학교 산학협력단 확률모델에 기반한 데이터 프리로드 방법 및 장치
US9372577B2 (en) 2014-02-21 2016-06-21 Google Technology Holdings LLC Method and device to reduce swipe latency
US20170039076A1 (en) * 2014-04-30 2017-02-09 Empire Technology Development Llc Adjusting tap position on touch screen
US9406025B2 (en) * 2014-06-04 2016-08-02 International Business Machines Corporation Touch prediction for visual displays
CN104035714B (zh) * 2014-06-24 2017-05-03 中科创达软件股份有限公司 一种基于安卓系统的触摸事件处理方法、装置和设备
US10025427B2 (en) * 2014-06-27 2018-07-17 Microsoft Technology Licensing, Llc Probabilistic touch sensing
CN104238941A (zh) * 2014-09-01 2014-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
WO2016044807A1 (en) 2014-09-18 2016-03-24 Tactual Labs Co. Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US9483134B2 (en) 2014-10-17 2016-11-01 Elwha Llc Systems and methods for actively resisting touch-induced motion
TWI575429B (zh) * 2014-11-24 2017-03-21 義隆電子股份有限公司 電容式觸控面板模組之操作模式切換方法
US10091096B1 (en) 2014-12-18 2018-10-02 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10097448B1 (en) 2014-12-18 2018-10-09 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US10033627B1 (en) 2014-12-18 2018-07-24 Amazon Technologies, Inc. Routing mode and point-of-presence selection service
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
AU2016101437B4 (en) * 2015-03-08 2017-04-27 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
EP3879392A1 (en) * 2015-03-13 2021-09-15 Telefonaktiebolaget LM Ericsson (publ) Device for handheld operation and method thereof
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US10225326B1 (en) 2015-03-23 2019-03-05 Amazon Technologies, Inc. Point of presence based data uploading
US9887932B1 (en) 2015-03-30 2018-02-06 Amazon Technologies, Inc. Traffic surge management for points of presence
US9887931B1 (en) 2015-03-30 2018-02-06 Amazon Technologies, Inc. Traffic surge management for points of presence
US9819567B1 (en) 2015-03-30 2017-11-14 Amazon Technologies, Inc. Traffic surge management for points of presence
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9832141B1 (en) 2015-05-13 2017-11-28 Amazon Technologies, Inc. Routing based request correlation
US10185464B2 (en) 2015-05-28 2019-01-22 Microsoft Technology Licensing, Llc Pausing transient user interface elements based on hover information
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US10616179B1 (en) 2015-06-25 2020-04-07 Amazon Technologies, Inc. Selective routing of domain name system (DNS) requests
US10097566B1 (en) 2015-07-31 2018-10-09 Amazon Technologies, Inc. Identifying targets of network attacks
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9933901B2 (en) * 2015-08-24 2018-04-03 Apple Inc. Reduction of media application response time through prediction of remote controller input data
US10114499B2 (en) * 2015-08-24 2018-10-30 Apple Inc. Enhanced handling of remote controller touchpad input data
CN105204764B (zh) * 2015-09-06 2020-08-21 惠州Tcl移动通信有限公司 具有悬浮屏的手持终端、显示设备及遥控方法
US9774619B1 (en) 2015-09-24 2017-09-26 Amazon Technologies, Inc. Mitigating network attacks
US9794281B1 (en) 2015-09-24 2017-10-17 Amazon Technologies, Inc. Identifying sources of network attacks
US9742795B1 (en) 2015-09-24 2017-08-22 Amazon Technologies, Inc. Mitigating network attacks
US10270878B1 (en) 2015-11-10 2019-04-23 Amazon Technologies, Inc. Routing for origin-facing points of presence
US10257307B1 (en) 2015-12-11 2019-04-09 Amazon Technologies, Inc. Reserved cache space in content delivery networks
US10049051B1 (en) 2015-12-11 2018-08-14 Amazon Technologies, Inc. Reserved cache space in content delivery networks
US10348639B2 (en) 2015-12-18 2019-07-09 Amazon Technologies, Inc. Use of virtual endpoints to improve data transmission rates
CN105653085B (zh) * 2015-12-23 2018-07-24 小米科技有限责任公司 触摸响应方法和装置
US10809842B2 (en) 2016-05-26 2020-10-20 Microsoft Technology Licensing, Llc Active touch input device pairing negotiation
US10228781B2 (en) * 2016-05-31 2019-03-12 Microsoft Technology Licensing, Llc Resistive force sensor
US10075551B1 (en) 2016-06-06 2018-09-11 Amazon Technologies, Inc. Request management for hierarchical cache
US10110694B1 (en) 2016-06-29 2018-10-23 Amazon Technologies, Inc. Adaptive transfer rate for retrieving content from a server
US10353478B2 (en) 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
CN107688478A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 终端、应用信息的显示方法及装置
US9992086B1 (en) 2016-08-23 2018-06-05 Amazon Technologies, Inc. External health checking of virtual private cloud network environments
US10033691B1 (en) 2016-08-24 2018-07-24 Amazon Technologies, Inc. Adaptive resolution of domain name requests in virtual private cloud network environments
US10514799B2 (en) * 2016-09-08 2019-12-24 Google Llc Deep machine learning to perform touch motion prediction
US10505961B2 (en) 2016-10-05 2019-12-10 Amazon Technologies, Inc. Digitally signed network address
US10372499B1 (en) 2016-12-27 2019-08-06 Amazon Technologies, Inc. Efficient region selection system for executing request-driven code
US10831549B1 (en) 2016-12-27 2020-11-10 Amazon Technologies, Inc. Multi-region request-driven code execution system
US10507385B2 (en) 2017-01-25 2019-12-17 Kieran S. Lyden Game controller
US10938884B1 (en) 2017-01-30 2021-03-02 Amazon Technologies, Inc. Origin server cloaking using virtual private cloud network environments
US10503613B1 (en) 2017-04-21 2019-12-10 Amazon Technologies, Inc. Efficient serving of resources during server unavailability
US11075987B1 (en) 2017-06-12 2021-07-27 Amazon Technologies, Inc. Load estimating content delivery network
US10447648B2 (en) 2017-06-19 2019-10-15 Amazon Technologies, Inc. Assignment of a POP to a DNS resolver based on volume of communications over a link between client devices and the POP
US10742593B1 (en) 2017-09-25 2020-08-11 Amazon Technologies, Inc. Hybrid content request routing system
CN107967058B (zh) * 2017-12-07 2021-04-13 联想(北京)有限公司 信息处理方法、电子设备和计算机可读存储介质
CN108055405B (zh) * 2017-12-26 2020-12-15 重庆传音通讯技术有限公司 唤醒终端的方法及终端
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US10592578B1 (en) 2018-03-07 2020-03-17 Amazon Technologies, Inc. Predictive content push-enabled content delivery network
US10862852B1 (en) 2018-11-16 2020-12-08 Amazon Technologies, Inc. Resolution of domain name requests in heterogeneous network environments
US11025747B1 (en) 2018-12-12 2021-06-01 Amazon Technologies, Inc. Content request pattern-based routing system
US10684725B1 (en) 2019-02-01 2020-06-16 Microsoft Technology Licensing, Llc Touch input hover
US11354969B2 (en) * 2019-12-20 2022-06-07 Igt Touch input prediction using gesture input at gaming devices, and related devices, systems, and methods
WO2023120809A1 (en) * 2021-12-22 2023-06-29 Samsung Electronics Co., Ltd. Methods and systems for identification of an unintended touch at a user interface of a device
US11720205B2 (en) 2021-12-27 2023-08-08 Stmicroelectronics Ltd. Touch report rate of touchscreen
KR20230131020A (ko) * 2022-03-04 2023-09-12 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005912A (ja) * 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2009238087A (ja) * 2008-03-28 2009-10-15 Casio Comput Co Ltd サーバ装置、クライアント装置、サーバベースコンピューティングシステムおよびプログラム
JP2010176329A (ja) * 2009-01-28 2010-08-12 Sony Corp 情報処理装置、アニメーション付加方法、及びプログラム
JP2010199349A (ja) * 2009-02-26 2010-09-09 Toshiba Corp 半導体装置の製造方法
JP2011170834A (ja) * 2010-01-19 2011-09-01 Sony Corp 情報処理装置、操作予測方法及び操作予測プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4986280A (en) 1988-07-20 1991-01-22 Arthur D. Little, Inc. Hand position/measurement control system
JP3560670B2 (ja) 1995-02-06 2004-09-02 富士通株式会社 適応的認識システム
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
KR100595925B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7240299B2 (en) * 2001-04-26 2007-07-03 International Business Machines Corporation Method for improving usage of a graphic user interface pointing device
KR100444074B1 (ko) 2002-10-04 2004-08-12 현대자동차주식회사 터치 스크린 시스템
GB0315151D0 (en) * 2003-06-28 2003-08-06 Ibm Graphical user interface operation
JP2006178625A (ja) 2004-12-21 2006-07-06 Canon Inc 座標入力装置及びその制御方法、並びにプログラム
KR101085447B1 (ko) 2004-12-31 2011-11-21 삼성전자주식회사 터치 위치 검출 장치 및 이의 터치 위치 검출 방법과,이를 구비한 터치 스크린 표시 장치
US7802202B2 (en) * 2005-03-17 2010-09-21 Microsoft Corporation Computer interaction based upon a currently active input device
CN100583013C (zh) 2005-09-23 2010-01-20 鸿富锦精密工业（深圳）有限公司 用户操作控制装置及其方法
US7747749B1 (en) * 2006-05-05 2010-06-29 Google Inc. Systems and methods of efficiently preloading documents to client devices
WO2008093332A2 (en) 2007-01-30 2008-08-07 Zvi Feldman Systems and methods for producing clip-ons for a primary eyewear
US8065624B2 (en) 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
JP4372188B2 (ja) * 2007-12-21 2009-11-25 株式会社東芝 情報処理装置および表示制御方法
KR20090089254A (ko) * 2008-02-18 2009-08-21 세이코 엡슨 가부시키가이샤 센싱 장치, 표시 장치, 전자 기기 및, 센싱 방법
JP2009217416A (ja) 2008-03-10 2009-09-24 Sanyo Electric Co Ltd タッチパネル入力装置、及びタッチパネル入力装置におけるボタン特定方法
US20110029185A1 (en) 2008-03-19 2011-02-03 Denso Corporation Vehicular manipulation input apparatus
US20090278816A1 (en) * 2008-05-06 2009-11-12 Next Holdings Limited Systems and Methods For Resolving Multitouch Scenarios Using Software Filters
JP5448370B2 (ja) 2008-05-20 2014-03-19 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体
TW201019191A (en) 2008-11-07 2010-05-16 Pixart Imaging Inc Touch system and method for obtaining position of pointer thereof
US20100134424A1 (en) 2008-12-02 2010-06-03 At&T Mobility Ii Llc Edge hand and finger presence and motion sensor
US8583421B2 (en) 2009-03-06 2013-11-12 Motorola Mobility Llc Method and apparatus for psychomotor and psycholinguistic prediction on touch based device
US8355007B2 (en) * 2009-05-11 2013-01-15 Adobe Systems Incorporated Methods for use with multi-touch displays for determining when a touch is processed as a mouse event
KR20100122383A (ko) 2009-05-12 2010-11-22 삼성전자주식회사 좌표 예측을 통한 이미지의 출력 속도 향상 방법 및 장치
KR101562792B1 (ko) * 2009-06-10 2015-10-23 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005912A (ja) * 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2006236143A (ja) * 2005-02-25 2006-09-07 Sony Ericsson Mobilecommunications Japan Inc 入力処理プログラム、携帯端末装置、及び入力処理方法
JP2009238087A (ja) * 2008-03-28 2009-10-15 Casio Comput Co Ltd サーバ装置、クライアント装置、サーバベースコンピューティングシステムおよびプログラム
JP2010176329A (ja) * 2009-01-28 2010-08-12 Sony Corp 情報処理装置、アニメーション付加方法、及びプログラム
JP2010199349A (ja) * 2009-02-26 2010-09-09 Toshiba Corp 半導体装置の製造方法
JP2011170834A (ja) * 2010-01-19 2011-09-01 Sony Corp 情報処理装置、操作予測方法及び操作予測プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016110285A (ja) * 2014-12-03 2016-06-20 日本電気株式会社 入力予測装置、入力予測方法および入力予測プログラム
JP2016110296A (ja) * 2014-12-03 2016-06-20 株式会社ゼンリンデータコム ウェアラブルデバイス、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US9354804B2 (en) 2016-05-31
EP2659341A4 (en) 2017-09-06
WO2012092291A3 (en) 2012-11-22
WO2012092291A2 (en) 2012-07-05
EP2659341B1 (en) 2019-04-03
KR101892315B1 (ko) 2018-08-27
TWI544369B (zh) 2016-08-01
JP5955861B2 (ja) 2016-07-20
KR20130133225A (ko) 2013-12-06
US20120169646A1 (en) 2012-07-05
CN102609130B (zh) 2015-02-25
CN102609130A (zh) 2012-07-25
EP2659341A2 (en) 2013-11-06
HK1171829A1 (en) 2013-04-05
TW201227438A (en) 2012-07-01

Similar Documents

Publication Publication Date Title
JP5955861B2 (ja) コンピュータデバイスにおけるタッチイベント予測
US11675476B2 (en) User interfaces for widgets
US9041660B2 (en) Soft keyboard control
US9292194B2 (en) User interface control using a keyboard
JP4295280B2 (ja) タッチベースユーザ入力装置で２点ユーザ入力を認識する方法および装置
RU2501068C2 (ru) Интерпретация неоднозначных вводов на сенсорном экране
TW201224850A (en) Gesture recognition
US8935638B2 (en) Non-textual user input
WO2020222873A1 (en) Intended input to a user interface from detected gesture positions
US10345932B2 (en) Disambiguation of indirect input
CN107077272B (zh) 响应于用户动作而确定启用直接操纵的命中测试
US20170228128A1 (en) Device comprising touchscreen and camera
US20240184441A1 (en) Systems and Methods for Providing Continuous-Path and Delete Key Gestures at a Touch-Sensitive Keyboard

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141218

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160615

R150 Certificate of patent or registration of utility model

Ref document number: 5955861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250