JP2015536008A - 低レイテンシのユーザー入力処理およびフィードバックのためのハイブリッドシステムおよび方法 - Google Patents
低レイテンシのユーザー入力処理およびフィードバックのためのハイブリッドシステムおよび方法 Download PDFInfo
- Publication number
- JP2015536008A JP2015536008A JP2015535843A JP2015535843A JP2015536008A JP 2015536008 A JP2015536008 A JP 2015536008A JP 2015535843 A JP2015535843 A JP 2015535843A JP 2015535843 A JP2015535843 A JP 2015535843A JP 2015536008 A JP2015536008 A JP 2015536008A
- Authority
- JP
- Japan
- Prior art keywords
- user input
- data
- latency
- processing
- subsystem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 364
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000004044 response Effects 0.000 claims abstract description 243
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims description 70
- 238000012800 visualization Methods 0.000 claims description 52
- 238000012360 testing method Methods 0.000 claims description 42
- 238000005286 illumination Methods 0.000 claims description 16
- 238000009877 rendering Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 description 14
- 239000000523 sample Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000004043 responsiveness Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000035045 associative learning Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012938 design process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Advance Control (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本出願は、高速マルチタッチセンサーのようなユーザーインターフェース、および、以下で開示された他のインターフェースに関する:「Low−Latency Touch Sensitive Device」と題し、2013年3月15日に出願された米国特許出願13/841,436号、「Fast Multi−Touch Stylus」と題し、2013年3月15日に出願された米国特許出願61/798,948号、「Fast Multi−Touch Sensor With User−Identification Techniques」と題し、2013年3月15日に出願された米国特許出願61/799,035号、「Fast Multi−Touch Noise Reduction」と題し、2013年3月15日に出願された米国特許出願61/798,828号、
「Active Optical Stylus」と題し、2013年3月15日に出願された米国特許出願61/798,708号、「Hybrid Systems And Methods For Low−Latency User Input Processing And Feedback」と題し、2013年3月15日に出願された米国特許出願61/710,256号、「Fast Multi−Touch Post Processing」と題し、2013年7月12日に出願された米国特許出願61/845,892号、「Reducing Control Response Latency With Defined Cross−Control Behavior」と題し、2013年7月12日に出願された米国特許出願61/845,879号、および、「Systems And Methods For Providing Response To User Input Using Information About State Changes And Predicting Future User Input」と題し、2013年9月18日に出願された米国特許出願61/879,245号。これらの出願の全開示物は引用することによって本明細書に組み込まれる。
様々な実施形態では、ユーザー入力装置とその入力を処理するシステムのレイテンシは、以下を含む多くのソースを有することがあり得る:
(1)タッチ事象を捕捉する物理センサー
(2)タッチ事象を処理し、表示される出力を生成するソフトウェア
(3)ディスプレイそのもの
(4)バスを含む部品間でのデータ伝送
(5)メモリー記憶装置または短緩衝記憶装置のいずれかでのデータ内部記憶装置
(6)システムリソースの割り込みと競争
(7)回路類の他のソースがレイテンシを導入することができること
(8)光の速度などの物理的な制約と回路類構造におけるその影響
(9)抵抗型タッチセンサーがその「中立な」状態に曲げ戻すのにかかる時間といった機械的な制約
研究は、ユーザーが直接的なタッチインタフェースのどの程度のレイテンシを本質的に瞬間的なものとして認識するかを決定するために行われた。図4のブロック図で表わされたプロトタイプ装置は、プロトタイプの高性能なタッチシステム(400)の基本的構造の実例となる実施形態を示す。ある実施形態では、高速入力装置(420)は、24cmx16cmのアクティブ領域を有するマルチタッチの抵抗型タッチセンサーであり、超高速な操作を可能にする電子機器である。このセンサーによる遅れはわずかに1ミリ秒未満である。ある実施形態では、タッチデータは、光リンクを介して連続的に送信されることもある。
ある実施形態では、アプリケーション開発者がツールキットベースのアプリケーション設計プロセスを使用し続けることを可能にするが、低レイテンシシステムの存在を考慮して、こうしたツールキットが非常に低レイテンシでフィードバックを与えることを可能にする、ソフトウェアインターフェースが設計されてもよい。ある実施形態では、本開示で概説されたシステムと方法は、多くのUIツールキットのベースになっているUI開発のモデルビューコントローラ(「MVC」)モデル上で実行されることもある。MVCによって、アプリケーション論理はアプリケーションの視覚的な表示から分離することができる。ある実施形態では、MVCは、アプリケーションに対する第2のオーバーレイされた事実上のビューを含むこともある。特に、ある実施形態では、タッチ入力は、タッチ時点のアプリケーションの状態に部分的に基づくUI制御からの即時応答を受け取る。目的は基礎となるアプリケーションに文脈的にリンクされる実質的に即時の応答を提供することである。
・情報:入力に対するシステムの応答を形成するために、高レイテンシサブシステムから必要とされる任意の情報または処理は、そのような情報または処理が、例えば、あらかじめレンダリングされるか、または、あらかじめ保存されていなければ、必ず、レイテンシは高くなるであろう。
・性能:低レイテンシで応答を形成するのに充てる時間は必ず限定される。ハードウェアで加速したとしても、応答の設計は、応答が所望のレイテンシを必ず満たすように、慎重に性能の影響を受けるものでなければならない。
・忠実度:レンダリングされた低レイテンシ画像の忠実度は、高レイテンシレンダリングとは判別不能なこともあり(実際に、それは高レイテンシシステムによってあらかじめレンダリングされることもある)、性能を改善するために、例えば、視覚要素は単色のみであるということ、および/または、視覚的なプリミティブに限定される、および/または、音声または触覚による応答の持続期間または特徴が限定されることなどの追加の制約が忠実度に課されることもある。この種の制約は、加速ハードウェアを含むシステムの様々な要素によって、または、出力ハードウェア(ディスプレイ、触覚型の出力装置、またはスピーカーなど)によって取り入れられることもある。
・非干渉:応答が混成した組み合わせである実施形態では、アプリケーションの応答の一部が高レイテンシ層において生成されることもあれば、低レイテンシ層で生成されるものもあり、検討事項は、例えば、ユーザーの入力に対してよどみのない応答を提供するためにこの2つをどのように混合するのかということである。ある実施形態では、低レイテンシ応答は、必ず後で生じるであろう任意の起こりうるアプリケーション応答に干渉しない。ある実施形態では、干渉は、低レイテンシ応答と従来の応答の間に生じることもあるが、その干渉は、設計によってまたは応答の混成によって処理されることもある。
・要素の種類(例えば、ボタン、ドラッグ可能な対象、スクロール可能なリストなど)
・境界寸法(例えば、x位置、y位置、幅、高さなど)
・条件付きである:追加のプリミティブ情報(例えば、スクロール可能なリストなどの場合にはリストのアイテムの大きさ)。
ある実施形態では、第1と第2の図形処理および出力システムによって受け取られるユーザー入力信号は、区別して処理された。
・レイテンシの差:低レイテンシ応答は、応答を同期させるために、高レイテンシ層と低レイテンシ層の間のレイテンシの差に関する情報を使用することもある。ある実施形態では、これらのレイテンシの値は静的であり、したがってFPGAに事前にプログラムされる。レイテンシの値が一方のサブシステムで異なることもある実施形態では、同期されなくなることもある動的値を有するよりもむしろ常に達成可能な一定値でレイテンシ値を固定するか、あるいは、明確な同期機構を提供する方が有利なこともある。レイテンシの値が一方のサブシステムで異なることもある実施形態では、動的値が使用されてもよいが、同期されなくなることがないように注意を払わなければならない。レイテンシの値が一方のサブシステムで異なることもある実施形態では、明確な同期機構がサブシステム(940)と(950)の間に設けられてもよい。
・ヒットテスト:ヒットテストの決定は、目に見えるUI要素の視覚的な階層と特性に関するデータを条件としていることが多い。ある実施形態では、この考慮すべき事項は、UIの平らな「ヒットテストフレンドリーな」マップを要求して、重複する境界を示す長方形(bounding rectangles)を却下とすることによって、解決することができる。ある実施形態では、個別のヒットテストは低レイテンシサブシステムに必要な情報(対象の状態、zオーダー、および、受信者(listeners))を提供することもある。ある実施形態では、低レイテンシサブシステムと高レイテンシサブシステムは、ヒットテストを平行して行うこともある。ある実施形態では、低レイテンシサブシステムはヒットテストを行い、高レイテンシサブシステムに結果を供給する。
・条件付の応答:多くのインターフェースビジュアライゼーションは、即時のユーザー入力だけでなく、アプリケーション論理で定義されたさらなる意思決定論理を条件としている。
本発明の実施形態では、入力ハードウェアからの低レイテンシ入力データは、入力事象の急激なストリームへと最小限に処理される。事象のこのストリームは、さらなる処理のために低レイテンシサブシステムに直接送られる。その後、この同じストリームからの事象は削除されることもあれば、あるいは、高レイテンシサブシステムに送られる前に、当該ストリームがそれ以外の方法で減らされるか、フィルタ処理にかけられることもある。事象は、低レイテンシサブシステム(940)と高レイテンシサブシステム(950)について異なる速度で生成されることもある。というのも、低レイテンシサブシステムは、高レイテンシサブシステムよりも速い事象を処理することができるからであり、速い速度で高レイテンシサブシステムに事象を送ることは、そのサブシステムを圧倒することもあるからである。したがって、ユーザー入力に対する低レイテンシサブシステムと高レイテンシサブシステムの応答は、独立していることもあるが調整されることもある。
a.ある実施形態では、低レイテンシサブシステムは、すべてのユーザー入力に即座に応答することができるが、高レイテンシシステムに入力を与える前に、ユーザーが入力を止める(例えば、指またはペンを上げてジェスチャーを終える)のを待つことができる。これは、データの全体性を依然として処理しつつ、ユーザーとの対話の間にシステムを妨害しないようにするという長所を有する。
b.ある実施形態では、低レイテンシシステムは、ほぼリアルタイムで減少した入力の推定値を与えることができ、随意に必要に応じて高レイテンシシステムで利用可能な完全な入力待ち行列を保存することもある。
c.ある実施形態では、ユーザーフィードバックは2つの工程に分けられてもよい。第1の低レイテンシフィードバックは、図11のユーザー入力(1130)の大まかな即時表示を提供するであろう。高レイテンシシステムが、例えば、ペン(1150)の先端を持ち上げた後に、正確な応答を計算することができるときにはいつでも、第2の高レイテンシシステム応答(1140)は第1の(1130)を鳥空けることができる。代替的に、高レイテンシフィードバックは、低レイテンシフィードバックに連続的に追い付く(できる限り組み入れる)ことができる。
d.ある実施形態では、低レイテンシシステムは、入力ストリームから簡単なジェスチャー作用を推測し、したがって、生の事象に加えて、または、生の事象の代わりに、入力待ち行列に含まれるジェスチャーの事象を生成することができる。
e.ある実施形態では、IPUまたは低レイテンシサブシステムは、将来の入力位置を予想するために、複数の入力位置を使用することができる。この予測が高レイテンシサブシステムに伝えられ、その有効なレイテンシを短くすることができる。
f.ある実施形態では、追加のサンプルまたは初期の検出から利益を得ることもあるアルゴリズムは、IPUまたは低レイテンシサブシステム内で実行される。ある実施形態では、これらの事象の実行は時間を制限することができる。例えば、最初の50の事象を用いて、入力を特定の指として分類するか、あるいは、指とペンの入力を区別することができる。ある実施形態では、これらのアルゴリズムは連続的に作動可能である。
g.ある実施形態では、さもなければ無関係な入力であると誤って判断されることもある、さらなる連続的なまたは同時の関連する入力を受け取って処理するために、事象のストリームを高レイテンシサブシステム伝える低レイテンシサブシステムのプロセスを遅らせることもある。例えば、文字「t」は、2つの別々である関連するストロークとして描かれることも多い。正常な過程では、低レイテンシシステムから高レイテンシシステムまで伝えられた入力ストリームの一部は、最初の線を描いた最後に「ペンを持ち上げる(pen Up)」信号を含むことになる。ある実施形態では、減少プロセスは、ペンがサンプルウインドウ内のディスプレイで再度検出される場合に、サンプルウインドウ内の入力のまさに最後のフレームが「up」という事象を伝えるのを待ち、それによって、事象を必要としなくなる。
ある実施形態では、データはシステムの構成要素を通る2つの重複する経路を通って、高レイテンシフィードバックと低レイテンシフィードバックをサポートする。図12は、入力装置(1210)、IPU(1220)、システムバス(1230)、CPU(1240)、および、ディスプレイ(1290)に接続されたGPU(1280)を含むそのような1つのシステムを示している。ユーザー(1200)は入力装置(1210)を用いて入力を行う。この入力はIPU(1220)によって検知され、これは、様々な実施形態で、FPGA、ASIC、または、GPU(1280)、MPU、またはSoCに統合された追加のソフトウェアおよびハードウェア論理のいずれかであり得る。この点で、制御流れは二叉に分かれ、システムを通る2つの別々の経路を辿る。低レイテンシ応答が入力するために、IPU(1220)は、CPU(1240)を迂回して、システムバス(1230)を介してGPU(1280)に入力事象を送る。その後、GPU(1280)は、ユーザー(1200)に対して迅速にフィードバックを表示する。高レイテンシ応答が入力するために、IPU(1220)は、システムバス(1230)を介してCPU(1240)に入力事象を送り、CPU(1240)はグラフィックアプリケーションを起動させ、他のシステムコンポーネントと相互に作用してもよい。その後、CPU(1240)はユーザー(1200)にグラフィックフィードバックを供給するために、システムバス(1230)によってGPU(1280)にコマンドを送る。入力装置(1210)からIPU(1220)まで、GPU(1280)まで、システムバス(1230)までの低レイテンシ経路は主にハードウェアであり、低レイテンシで動作する。入力装置(1210)からIPU(1220)まで、システムバス(1230)まで、システムバス(1230)まで、CPU(1240)まで、GPU(1280)までの高レイテンシ経路は、本記載に以前に述べられた因子によってレイテンシは高い。関連する実施形態では、入力装置(1210)は、GPU(1280)と直接通信し、システムバス(1230)を迂回する。
Claims (226)
- ユーザー入力を処理するためのシステムであって、
ユーザーインターフェースのビジュアライゼーションを含むディスプレイ、
タッチ入力とペン入力からなる群から選択される少なくとも1つを含み、ユーザー入力に対応する出力信号に適したユーザー入力装置、
ユーザー入力装置に動作可能に接続された入力処理システムであって、ユーザー入力に対応する信号を受け取り、受け取った信号に対応する信号を発するのに適した入力処理システム、
ソフトウェアスタックで動作しているソフトウェアを含む第1の図形処理および出力システムであって、発せられた信号の少なくともいくつかを受け取り、ディスプレイ上でのユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの高いデータを生成し、および、発せられた信号の少なくともいくつかに応答してディスプレイによって用いられるレイテンシの高いデータを出力するのに適した、第1の図形処理および出力システム、
ハードウェアで少なくとも部分的に実行される第2の図形処理および出力システムであって、発せられた信号の少なくともいくつかを実質的に同時に受け取り、ディスプレイ上でのユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータを生成し、および、発せられた信号の少なくともいくつかに応答してディスプレイによって用いられる生成されたレイテンシの低いデータを出力するのに適した、第2の図形処理および出力システム、
を備え、
発せられた信号の少なくともいくつかの応答に関して、第2の図形処理および出力システムは、第1の図形処理および出力システムによるレイテンシの高いデータの出力と比較して、低レイテンシで生成されたレイテンシの低いデータを出力するのに適しており、および、
ディスプレイは、ユーザーインターフェースのビジュアライゼーションで、レイテンシの低いデータの少なくともいくつかとレイテンシの高いデータの少なくともいくつかを表示するように構成される、
システム。 - レイテンシの低いデータは、発せられた信号の少なくともいくつかの1つ以上と、定義された応答に対応するデータを関連付けることによって生成される、請求項1に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータは、発せられた信号の少なくともいくつかの1つ以上に対する応答をレンダリングすることによって生成される、請求項1に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは実質的に等しい忠実度を有する、請求項1に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項1に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータの少なくともいくつかは、対応するレイテンシの低いデータよりも忠実度が高い、請求項5に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、マイクロコントローラ、図形処理装置(GPU)、または、チップ上のシステム(SoC)の群から選択される少なくとも1つにおいて、少なくとも部分的に、実行される、請求項1に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、コンピューティングシステムの既存の構成要素に統合された論理において実行される、請求項1に記載のユーザー入力を処理するためのシステム。
- コンピューティングシステムの既存の構成要素は、図形処理装置(GPU)、入力装置コントローラー、中央処理装置(CPU)、マイクロコントローラ、または、チップ上のシステム(SoC)の群から選択される少なくとも1つを含む、請求項8に記載のユーザー入力を処理するためのシステム。
- 第1の図形処理および出力システムは、第1の図形処理および出力システムの少なくとも1つの状態を反映する状態情報を含み、第2の図形処理および出力システムの応答は前記状態情報に依存する、請求項1に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、ユーザーインターフェース要素論理を含む、請求項1に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含むUI要素データをさらに含み、
第2の図形処理および出力システムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項11に記載のユーザー入力を処理するためのシステム。 - 発せられた信号は、第1と第2の図形処理および出力システムにストリームで送られ、第2の図形処理および出力システムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、第1の図形処理および出力システムによって受け取られる受信データに対応する発せられた信号の少なくともいくつかの一部にならないようにする、請求項1に記載のユーザー入力を処理するためのシステム。
- ディスプレイによって使用されるレイテンシの高いデータに対応する発せられた信号の少なくともいくつかは、レイテンシの低いデータに対応する発せられた信号の少なくともいくつかとは異なる、請求項1に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、対応する発せられた信号を受け取る10ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項1に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、対応する発せられた信号を受け取って5ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項1に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、対応する発せられた信号を受け取る1ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項1に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置をさらに含み、発せられた信号の少なくともいくつかに応答して、第2の図形処理および出力システムは、追加の出力装置によって使用される追加の出力データを生成する、請求項1に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項18に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータの間の差は、ユーザーに認識可能である、請求項1に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータの少なくともいくつかは、ユーザーによって認識できない方法で混合される、請求項1に記載のユーザー入力を処理するためのシステム。
- アプリケーション論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項1に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いシステム応答の形態は、聴覚応答、視覚応答、および触覚応答からなる群から選択された応答または一連の応答を含む、請求項1に記載のユーザー入力を処理するためのシステム。
- システム論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項1に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、抵抗式、直接照明、漏れ全反射、拡散照明、投影型静電容量、容量結合、音波、および、画素内センサーからなる群から選択された技術の少なくとも1つを使用する直接タッチ入力装置を含む、請求項1に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは少なくとも1つのあらかじめレンダリングされた視覚的要素を含み、および、レイテンシの低いデータは、少なくとも1つのあらかじめレンダリングされた視覚的要素の1つ以上に対応する、請求項2に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項26に記載のユーザー入力を処理するためのシステム。
- 第1の図形処理および出力システムは、第1の図形処理および出力システムの少なくとも1つの状態を反映する状態情報を含み、第2の図形処理および出力システムの応答は状態情報に依存する、請求項26に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
第2の図形処理および出力システムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項26に記載のユーザー入力を処理するためのシステム。 - 発せられた信号は、第1と第2の図形処理および出力システムにストリームで送られ、第2の図形処理および出力システムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、第1の図形処理および出力システムによって受け取られる受信データに対応する発せられた信号の少なくともいくつかの一部にならないようにする、請求項26に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置をさらに含み、発せられた信号の少なくともいくつかに応答して、第2の図形処理および出力システムは、追加の出力装置によって使用される追加の出力データを生成する、請求項26に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項31に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムの応答は、第1の図形処理および出力システムには依存しない、請求項1に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムの応答は、第1の図形処理および出力システムに依存し、状態情報は、第1の図形処理および出力システムから第2の図形処理および出力システムまで伝達される、請求項1に記載のユーザー入力を処理するためのシステム。
- 第1の図形処理および出力システムから第2の図形処理および出力システムへと伝達されたデータは、ユーザーインターフェース内の図形要素の1つ以上を記載したデータの1つ以上のピースから構成され、伝達されたデータは、サイズ、場所、外観、代替的な外観、ユーザー入力に対する応答、および、ユーザーインターフェース内の図形要素の種類からなる群から選択される、請求項34に記載のユーザー入力を処理するためのシステム。
- 第1の図形処理および出力システムから第2の図形処理および出力システムまで伝達されたデータは、ボタン、スライダー、ドラッグ可能なまたはサイズ変更可能なGUI要素、スクロール可能なリスト、スピナー、ドロップダウンリスト、メニュー、ツールバー、コンボボックス、移動可能なアイコン、固定されたアイコン、ツリー表示、グリッド表示、スクロールバー、スクロール可能なウインドウ、または、ユーザーインターフェース要素の外観および/または働きについて記載している、請求項31に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いおよびレイテンシの低いビジュアライゼーションは、2つの投影映像を重ねること、表示バッファ内のビジュアライゼーションを論理的に結合させること、各々がレイテンシの高いおよびレイテンシの低いビジュアライゼーションの1つを表示することができる2つの透明な層を重ねること、一部がレイテンシの低いビジュアライゼーションから満たされ、一部がレイテンシの高いビジュアライゼーションから満たされるように、ディスプレイのピクセルをインタレースすること、あるいは、一部がレイテンシの低いビジュアライゼーションから満たされ、一部がレイテンシの高いビジュアライゼーションから満たされるように、ディスプレイのフレームをインタレースすること:の少なくとも1つによって単一のディスプレイ上で組み合わされる、請求項1に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、第1の図形処理および出力システムの忠実度と比較して、忠実度の低い事象を処理するように構成される、請求項1に記載のユーザー入力を処理するためのシステム。
- 入力処理システムは、ユーザー入力信号が第1または第2の図形処理および出力システムの1つまたは両方によって受け取られる前に、ユーザー入力信号上でデシメーションを行う、請求項1に記載のユーザー入力を処理するためのシステム。
- 第1と第2の図形処理および出力システムによって受け取られたユーザー入力信号は、区別して処理される、請求項1に記載のユーザー入力を処理するためのシステム。
- ユーザー入力を処理するためのシステムであって、
ユーザーインターフェースのビジュアライゼーションを含むディスプレイ、
ユーザー入力に対応する信号を出力するのに適したユーザー入力装置、
ユーザー入力装置に動作可能に接続された入力処理システムであって、ユーザー入力に対応する信号を受け取り、受信信号の少なくともいくつかに対応する信号のストリームを放射するのに適した、入力処理システム、
第1の図形処理および出力システムであって、信号のストリームの少なくとも一部を受け取り、ディスプレイ上のユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの高いデータを生成し、および、第1の図形処理および出力システムによって受け取られた信号のストリームの少なくとも一部の信号の少なくとも一部に応答して、ディスプレイによって使用されるレイテンシの高いデータを出力するのに適した、第1の図形処理および出力システム、
第2の図形処理および出力システムであって、信号のストリームの少なくとも一部を受け取り、ディスプレイ上のユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータを生成し、および、第2の図形処理および出力システムによって受け取られた信号のストリームの少なくとも一部の信号の少なくとも一部に応答して、ディスプレイによって使用される生成されたレイテンシの低いデータを出力するのに適しており、第1の図形処理および出力システムによって受け取られるレイテンシの高いデータの出力と比較して、低レイテンシで、生成されたレイテンシの低いデータを出力するように構成された、第2の図形処理および出力システム、および、
ユーザーインターフェースのビジュアライゼーション上で、レイテンシの低いデータの少なくともいくつかと、レイテンシの高いデータの少なくともいくつかをマージするように構成されたディスプレイ、
を含むシステム。 - レイテンシの低いデータは、第2の図形処理および出力システムによって受け取られた信号のストリームの少なくとも一部における信号の少なくとも一部の1つ以上と、定義された応答に対応するデータを関連付けることによって生成される、請求項41に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータはレンダリングによって生成される、請求項41に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは実質的に等しい忠実度を有する、請求項41に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項41に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータの少なくともいくつかは、対応するレイテンシの低いデータよりも高い忠実度を有する、請求項45に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、マイクロコントローラ、図形処理装置(GPU)、または、チップ上のシステム(SoC)の群から選択される少なくとも1つにおいて、少なくとも部分的に、実行される、請求項41に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、コンピューティングシステムの既存の構成要素に統合された論理において実行される、請求項41に記載のユーザー入力を処理するためのシステム。
- コンピューティングシステムの既存の構成要素は、図形処理装置(GPU)、入力装置コントローラー、中央処理装置(CPU)、マイクロコントローラ、または、チップ上のシステム(SoC)の群から選択される少なくとも1つを含む、請求項48に記載のユーザー入力を処理するためのシステム。
- 第1の図形処理および出力システムは、第1の図形処理および出力システムの少なくとも1つの状態を反映する状態情報を含み、第2の図形処理および出力システムの応答は前記状態情報に依存する、請求項41に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、ユーザーインターフェース要素論理を含む、請求項41に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含むUI要素データをさらに含み、
第2の図形処理および出力システムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項51に記載のユーザー入力を処理するためのシステム。 - 第2の図形処理および出力システムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、第1の図形処理および出力システムによって受け取られる受信データの少なくとも一部に対応する信号のストリームの少なくともいくつかの一部にならないようにする、請求項41に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータに対応する発せられた信号のストリームの少なくとも一部は、レイテンシの低いデータに対応する信号の少なくとも一部とは異なる、請求項41に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは、対応する発せられた信号を受け取る5ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項41に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置をさらに含み、信号のストリームの少なくとも一部の1つ以上の信号に応答して、第2の図形処理および出力システムは、追加の出力装置によって使用される追加の出力データを生成する、請求項41に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項56に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータとの間の差は、ユーザーに認識可能である、請求項41に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータの少なくともいくつかは、ユーザーによって認識できない方法で混合される、請求項41に記載のユーザー入力を処理するためのシステム。
- アプリケーション論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項41に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いシステム応答の形態は、聴覚応答、視覚応答、および触覚応答からなる群から選択された応答または一連の応答を含む、請求項60に記載のユーザー入力を処理するためのシステム。
- システム論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項41に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、抵抗式、直接照明、漏れ全反射、拡散照明、投影型静電容量、容量結合、音波、および、画素内センサーからなる群から選択された技術の少なくとも1つを使用する直接タッチ入力装置を含む、請求項41に記載のユーザー入力を処理するためのシステム。
- 第2の図形処理および出力システムは少なくとも1つのあらかじめレンダリングされた視覚的要素を含み、および、レイテンシの低いデータは、少なくとも1つのあらかじめレンダリングされた視覚的要素の1つ以上に対応する、請求項42に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項64に記載のユーザー入力を処理するためのシステム。
- 第1の図形処理および出力システムは、第1の図形処理および出力システムの少なくとも1つの状態を反映する状態情報を含み、第2の図形処理および出力システムの応答は状態情報に依存する、請求項64に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
第2の図形処理および出力システムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項64に記載のユーザー入力を処理するためのシステム。 - 発せられた信号は、第1と第2の図形処理および出力システムにストリームで送られ、第2の図形処理および出力システムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、第1の図形処理および出力システムによって受け取られる受信データに対応する発せられた信号の少なくともいくつかの一部にならないようにする、請求項64に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置をさらに含み、発せられた信号の少なくともいくつかに応答して、第2の図形処理および出力システムは、追加の出力装置によって使用される追加の出力データを生成する、請求項64に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、視覚出力装置および視覚データ、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項69に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、タッチ、マルチタッチ、ペン、目の動き、視線追跡、空中ジェスチャー、音声、マウス、キーボード、および、変動する圧力からなる群から選択される少なくとも1つの形態でユーザー入力を受け取るように構成される、請求項41に記載のユーザー入力を処理するためのシステム。
- ユーザー入力を処理するためのシステムであって、
入力装置、
入力処理装置、
レイテンシの高いサブシステム、
ハードウェアで少なくとも一部実行されるレイテンシの低いサブシステム、
ユーザー入力に応答して信号を生成するための入力処理ユニットソフトウェア、および、
出力装置を備え、
レイテンシの低いサブシステムは、信号を受け取り、レイテンシの高いサブシステムと比較して、低レイテンシで、少なくとも1つのレイテンシの低い出力を生成し、レイテンシの高いサブシステムは、信号の少なくともいくつかを処理し、レイテンシの低いサブシステムと比較して、高レイテンシで、少なくとも1つのレイテンシの高い出力を生成し、
入力装置、入力処理ユニット、レイテンシの高いサブシステム、レイテンシの低いサブシステム、入力処理ユニットソフトウェア、および、出力装置は、レイテンシの低い処理サブシステムが、レイテンシの高い処理サブシステムとは無関係に、かつ、レイテンシの高い処理サブシステムと並行して、動作するように配され、
ユーザー入力信号の少なくともいくつかは、レイテンシの低いサブシステムとレイテンシの高いサブシステムの両方によって処理され、レイテンシの低いサブシステムは、低レイテンシで、与えられたユーザー入力信号に対する応答を出力装置に出力し、レイテンシの高いサブシステムは、高レイテンシで、与えられたユーザー入力信号に対する応答を出力装置に出力する、
システム。 - レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、定義された応答に対応するデータを、レイテンシの低いサブシステムによって受け取られた信号のストリームの少なくとも一部の信号の少なくともいくつかの1つ以上と関連付けることによって生成される、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されるレイテンシの高いデータは、レンダリングによって生成される、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、実質的に等しい忠実度を有する、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、忠実度が異なる、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いデータを生成し、レイテンシの低いサブシステムはレイテンシの低いデータを生成し、レイテンシの高いデータの少なくともいくつかは、対応するレイテンシの低いデータよりも忠実度が高い、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、マイクロコントローラ、図形処理装置(GPU)、または、チップ上のシステム(SoC)の群から選択される少なくとも1つにおいて、少なくとも部分的に、実行される、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、コンピューティングシステムの既存の構成要素に統合された論理において実行される、請求項72に記載のユーザー入力を処理するためのシステム。
- コンピューティングシステムの既存の構成要素は、図形処理装置(GPU)、入力装置コントローラー、中央処理装置(CPU)、マイクロコントローラ、または、チップ上のシステム(SoC)の群から選択される少なくとも1つを含む、請求項79に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、ユーザーインターフェース要素論理を含む、請求項72に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項82に記載のユーザー入力を処理するためのシステム。 - レイテンシの低いサブシステムはストリームから信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データの少なくともいくつかに対応する信号のストリームの少なくともいくつかの一部にならないようにする、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータに対応する信号のストリームの少なくとも一部は、レイテンシの低いデータに対応する信号の少なくとも一部とは異なる、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、対応する発せられた信号を受け取る5ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項72に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、信号のストリームの少なくとも一部の1つ以上の信号に応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項72に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項87に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータとの間の差は、ユーザーに認識可能である、請求項72に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータの少なくともいくつかは、ユーザーによって認識できない方法で混合される、請求項72に記載のユーザー入力を処理するためのシステム。
- アプリケーション論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いシステム応答の形態は、聴覚応答、視覚応答、および触覚応答からなる群から選択された応答または一連の応答を含む、請求項91に記載のユーザー入力を処理するためのシステム。
- システム論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項72に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、抵抗式、直接照明、漏れ全反射、拡散照明、投影型静電容量、容量結合、音波、および、画素内センサーからなる群から選択された技術の少なくとも1つを使用する直接タッチ入力装置を含む、請求項72に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは少なくとも1つのあらかじめレンダリングされた視覚的要素を含み、および、レイテンシの低いデータは、少なくとも1つのあらかじめレンダリングされた視覚的要素の1つ以上に対応する、請求項73に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項95に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項95に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項95に記載のユーザー入力を処理するためのシステム - 発せられた信号は、レイテンシの高いサブシステムとレイテンシの低いサブシステムにストリームで送られ、レイテンシの低いサブシステムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データに対応する発せられた信号の少なくともいくつかの一部にならないようにする、請求項95に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、発せられた信号のストリームの少なくともいくつかに応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項95に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、視覚出力装置および視覚データ、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項100に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、タッチ、マルチタッチ、ペン、目の動き、視線追跡、空中ジェスチャー、音声、マウス、キーボード、および、変動する圧力からなる群から選択される少なくとも1つの形態でユーザー入力を受け取るように構成される、請求項72に記載のユーザー入力を処理するためのシステム。
- ユーザー入力を処理するためのシステムであって、
入力装置、
入力処理装置、
ソフトウェアスタックで実行されるレイテンシの高いサブシステム、
レイテンシの低いサブシステム、
ユーザー入力に応答して信号を生成するのに適した入力処理ユニットソフトウェア、および、
出力装置を備え、
レイテンシの低いサブシステムは、レイテンシの高いサブシステムと比較して、低レイテンシで出力を生成し、レイテンシの高いサブシステムは、レイテンシの低いサブシステムと比較して、高レイテンシで、ユーザー入力事象を処理し、
レイテンシの低いサブシステムは、信号を受け取り、レイテンシの高いサブシステムと比較して、低レイテンシで、少なくとも1つのレイテンシの低い出力を生成し、レイテンシの高いサブシステムは、信号の少なくともいくつかを処理し、レイテンシの低いサブシステムと比較して、高レイテンシで、少なくとも1つのレイテンシの高い出力を生成し、
入力装置、入力処理ユニット、レイテンシの高いサブシステム、レイテンシの低いサブシステム、入力処理ユニットソフトウェア、および、出力装置は、レイテンシの低い処理サブシステムが、レイテンシの高い処理サブシステムとは無関係に、かつ、レイテンシの高い処理サブシステムと並行して、動作するように配され、
ユーザー入力信号の少なくともいくつかは、レイテンシの低いサブシステムとレイテンシの高いサブシステムの両方によって処理され、レイテンシの低いサブシステムは、低レイテンシで、与えられたユーザー入力信号に対する応答を出力装置に出力し、レイテンシの高いサブシステムは、高レイテンシで、与えられたユーザー入力信号に対する応答を出力装置に出力する、
システム。 - レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、定義された応答に対応するデータを、レイテンシの低いサブシステムによって受け取られた信号のストリームの少なくとも一部の信号の少なくともいくつかの1つ以上と関連付けることによって生成される、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されるレイテンシの高いデータは、レンダリングによって生成される、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、実質的に等しい忠実度を有する、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、忠実度が異なる、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いデータを生成し、レイテンシの低いサブシステムはレイテンシの低いデータを生成し、レイテンシの高いデータの少なくともいくつかは、対応するレイテンシの低いデータよりも忠実度が高い、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、マイクロコントローラ、図形処理装置(GPU)、または、チップ上のシステム(SoC)の群から選択される少なくとも1つにおいて、少なくとも部分的に、実行される、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、コンピューティングシステムの既存の構成要素に統合された論理において実行される、請求項103に記載のユーザー入力を処理するためのシステム。
- コンピューティングシステムの既存の構成要素は、図形処理装置(GPU)、入力装置コントローラー、中央処理装置(CPU)、マイクロコントローラ、または、チップ上のシステム(SoC)の群から選択される少なくとも1つを含む、請求項110に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、ユーザーインターフェース要素論理を含む、請求項103に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項113に記載のユーザー入力を処理するためのシステム。 - レイテンシの低いサブシステムはストリームから信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データに対応する信号のストリームの少なくとも一部にならないようにする、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータに対応する信号のストリームの少なくとも一部は、レイテンシの低いデータに対応する信号の少なくとも一部とは異なる、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、対応する発せられた信号を受け取る5ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項103に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、信号のストリームの少なくとも一部の1つ以上の信号に応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項103に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項103に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータとの間の差は、ユーザーに認識可能である、請求項103に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータの少なくともいくつかは、ユーザーによって認識できない方法で混合される、請求項103に記載のユーザー入力を処理するためのシステム。
- アプリケーション論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いシステム応答の形態は、聴覚応答、視覚応答、および触覚応答からなる群から選択された応答または一連の応答を含む、請求項122に記載のユーザー入力を処理するためのシステム。
- システム論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項103に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、抵抗式、直接照明、漏れ全反射、拡散照明、投影型静電容量、容量結合、音波、および、画素内センサーからなる群から選択された技術の少なくとも1つを使用する直接タッチ入力装置を含む、請求項103に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは少なくとも1つのあらかじめレンダリングされた視覚的要素を含み、および、レイテンシの低いデータは、少なくとも1つのあらかじめレンダリングされた視覚的要素の1つ以上に対応する、請求項104に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項126に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項126に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項126に記載のユーザー入力を処理するためのシステム。 - 発せられた信号は、レイテンシの高いサブシステムとレイテンシの低いサブシステムにストリームで送られ、レイテンシの低いサブシステムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データに対応する発せられた信号の少なくともいくつかの一部にならないようにする、請求項126に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、発せられた信号のストリームの少なくともいくつかに応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項126に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、視覚出力装置および視覚データ、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項131に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、タッチ、マルチタッチ、ペン、目の動き、視線追跡、空中ジェスチャー、音声、マウス、キーボード、および、変動する圧力からなる群から選択される少なくとも1つの形態でユーザー入力を受け取るように構成される、請求項103に記載のユーザー入力を処理するためのシステム。
- ユーザー入力を処理するためのシステムであって、
入力装置を含む入力サブシステムであって、入力装置に対する複数のユーザー入力に応答して、入力に関する情報を含む信号を出力するのに適した入力サブシステム、
信号を受け取り、信号の1つ以上に応答してレイテンシの低い応答を生成し、および、レイテンシの高いサブシステムに信号の少なくとも1つを送るのに適したレイテンシの低いサブシステム、
信号の少なくとも1つを受け取り、信号の少なくとも1つの1つ以上に応答してレイテンシの高い応答を生成するのに適したレイテンシの高いサブシステム、および、
レイテンシの低いサブシステムとレイテンシの高いサブシステムに動作可能に接続され、レイテンシの低い応答とレイテンシの高い応答を混合するように構成された出力装置、
を備え、
レイテンシの低いサブシステムは、レイテンシの高いサブシステムと比較して、低レイテンシでレイテンシの低い応答を生成し、レイテンシの高いサブシステムは、レイテンシの低いサブシステムと比較して、高レイテンシで、レイテンシの高い応答を生成する、
システム。 - レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、定義された応答に対応するデータを、レイテンシの低いサブシステムによって受け取られた信号のストリームの少なくとも一部の信号の少なくともいくつかの1つ以上と関連付けることによって生成される、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されるレイテンシの高いデータは、レンダリングによって生成される、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、実質的に等しい忠実度を有する、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、忠実度が異なる、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いデータを生成し、レイテンシの低いサブシステムはレイテンシの低いデータを生成し、レイテンシの高いデータの少なくともいくつかは、対応するレイテンシの低いデータよりも忠実度が高い、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、マイクロコントローラ、図形処理装置(GPU)、または、チップ上のシステム(SoC)の群から選択される少なくとも1つにおいて、少なくとも部分的に、実行される、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、コンピューティングシステムの既存の構成要素に統合された論理において実行される、請求項134に記載のユーザー入力を処理するためのシステム。
- コンピューティングシステムの既存の構成要素は、図形処理装置(GPU)、入力装置コントローラー、中央処理装置(CPU)、マイクロコントローラ、または、チップ上のシステム(SoC)の群から選択される少なくとも1つを含む、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、ユーザーインターフェース要素論理を含む、請求項134に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項144に記載のユーザー入力を処理するためのシステム。 - レイテンシの低いサブシステムはストリームから信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの低いサブシステムによって受け取られる受信データに対応する信号のストリームの少なくとも一部にならないようにする、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータに対応する信号のストリームの少なくとも一部は、レイテンシの低いデータに対応する信号の少なくとも一部とは異なる、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、対応する発せられた信号を受け取る5ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項134に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、信号のストリームの少なくとも一部の1つ以上の信号に応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項134に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項149に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータとの間の差は、ユーザーに認識可能である、請求項134に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータの少なくともいくつかは、ユーザーによって認識できない方法で混合される、請求項134に記載のユーザー入力を処理するためのシステム。
- アプリケーション論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いシステム応答の形態は、聴覚応答、視覚応答、および触覚応答からなる群から選択された応答または一連の応答を含む、請求項153に記載のユーザー入力を処理するためのシステム。
- システム論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項134に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、抵抗式、直接照明、漏れ全反射、拡散照明、投影型静電容量、容量結合、音波、および、画素内センサーからなる群から選択された技術の少なくとも1つを使用する直接タッチ入力装置を含む、請求項134に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは少なくとも1つのあらかじめレンダリングされた視覚的要素を含み、および、レイテンシの低いデータは、少なくとも1つのあらかじめレンダリングされた視覚的要素の1つ以上に対応する、請求項135に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項157に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項157に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項157に記載のユーザー入力を処理するためのシステム。 - 発せられた信号は、レイテンシの高いサブシステムとレイテンシの低いサブシステムにストリームで送られ、レイテンシの低いサブシステムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データに対応する発せられた信号の少なくともいくつかの一部にならないようにする、請求項157に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、発せられた信号のストリームの少なくともいくつかに応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項157に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、視覚出力装置および視覚データ、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項162に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、タッチ、マルチタッチ、ペン、目の動き、視線追跡、空中ジェスチャー、音声、マウス、キーボード、および、変動する圧力からなる群から選択される少なくとも1つの形態でユーザー入力を受け取るように構成される、請求項134に記載のユーザー入力を処理するためのシステム。
- 低レイテンシでユーザー入力を処理するためのシステムであって、
入力装置、
入力処理装置、
レイテンシの高いサブシステム、
レイテンシの低いサブシステム、
ユーザー入力に応答して信号を生成するのに適した入力処理ユニットソフトウェア、および、
出力装置を備え、
レイテンシの低いサブシステムは、レイテンシの高いサブシステムと比較して、低レイテンシで複数の信号を処理し、レイテンシの高いサブシステムは、レイテンシの低いサブシステムと比較して、高レイテンシで、複数の信号を処理し、
入力装置、入力処理ユニット、レイテンシの高いサブシステム、レイテンシの低いサブシステム、入力処理ユニットソフトウェア、および、出力装置は、入力信号の少なくともいくつかがレイテンシの低いサブシステムとレイテンシの高いサブシステムによって並行して処理され、レイテンシの低いサブシステムが低レイテンシで、出力装置で出力されるプログラム可能な応答を作成し、レイテンシの高いサブシステムが高レイテンシで、出力装置で出力される応答を作成する、ように配され、
出力装置は、レイテンシの低いサブシステムからの応答と、レイテンシの高いサブシステムからの応答が出力されると、これらの応答を出力する、
システム。 - レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、定義された応答に対応するデータを、レイテンシの低いサブシステムによって受け取られた信号のストリームの少なくとも一部の信号の少なくともいくつかの1つ以上と関連付けることによって生成される、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されるレイテンシの高いデータは、レンダリングによって生成される、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、実質的に等しい忠実度を有する、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、忠実度が異なる、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いデータを生成し、レイテンシの低いサブシステムはレイテンシの低いデータを生成し、レイテンシの高いデータの少なくともいくつかは、対応するレイテンシの低いデータよりも忠実度が高い、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、マイクロコントローラ、図形処理装置(GPU)、または、チップ上のシステム(SoC)の群から選択される少なくとも1つにおいて、少なくとも部分的に、実行される、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、コンピューティングシステムの既存の構成要素に統合された論理において実行される、請求項165に記載のユーザー入力を処理するためのシステム。
- コンピューティングシステムの既存の構成要素は、図形処理装置(GPU)、入力装置コントローラー、中央処理装置(CPU)、マイクロコントローラ、または、チップ上のシステム(SoC)の群から選択される少なくとも1つを含む、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムは状態情報に依存する、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、ユーザーインターフェース要素論理を含む、請求項165に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項175に記載のユーザー入力を処理するためのシステム。 - レイテンシの低いサブシステムはストリームから信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データの少なくともいくつかに対応する信号のストリームの少なくとも一部にならないようにする、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータに対応する信号のストリームの少なくとも一部は、レイテンシの低いデータに対応する信号の少なくとも一部とは異なる、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、対応する発せられた信号を受け取る5ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項165に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、信号のストリームの少なくとも一部の1つ以上の信号に応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項165に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項180に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータとの間の差は、ユーザーに認識可能である、請求項165に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータの少なくともいくつかは、ユーザーによって認識できない方法で混合される、請求項165に記載のユーザー入力を処理するためのシステム。
- アプリケーション論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いシステム応答の形態は、聴覚応答、視覚応答、および触覚応答からなる群から選択された応答または一連の応答を含む、請求項184に記載のユーザー入力を処理するためのシステム。
- システム論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項165に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、抵抗式、直接照明、漏れ全反射、拡散照明、投影型静電容量、容量結合、音波、および、画素内センサーからなる群から選択された技術の少なくとも1つを使用する直接タッチ入力装置を含む、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは少なくとも1つのあらかじめレンダリングされた視覚的要素を含み、および、レイテンシの低いデータは、少なくとも1つのあらかじめレンダリングされた視覚的要素の1つ以上に対応する、請求項165に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項188に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項188に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項188に記載のユーザー入力を処理するためのシステム。 - 発せられた信号は、レイテンシの高いサブシステムとレイテンシの低いサブシステムにストリームで送られ、レイテンシの低いサブシステムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データに対応する発せられた信号の少なくともいくつかの一部にならないようにする、請求項188に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、発せられた信号のストリームの少なくともいくつかに応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項188に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、視覚出力装置および視覚データ、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項193に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、タッチ、マルチタッチ、ペン、目の動き、視線追跡、空中ジェスチャー、音声、マウス、キーボード、および、変動する圧力からなる群から選択される少なくとも1つの形態でユーザー入力を受け取るように構成される、請求項165に記載のユーザー入力を処理するためのシステム。
- 低レイテンシでユーザー入力を処理するためのシステムであって、
入力装置、
出力装置、
入力処理装置、
ユーザー入力に応答して信号を生成するのに適した入力処理ユニットソフトウェア、
信号の少なくともいくつかに対するレイテンシの高い応答を作成するのに適したレイテンシの高い応答サブシステム、
ハードウェアで少なくとも部分的に実行されるレイテンシの低い応答サブシステムであって、信号の少なくともいくつかに対するレイテンシの低い応答を作成するのに適し、レイテンシの低い応答に影響を与える1つ以上のパラメーターを含む、レイテンシの低い応答サブシステム、を備え、
レイテンシの低い応答はレイテンシの高い応答よりもレイテンシが高く、レイテンシの高い応答は、共通の信号に対して、レイテンシの低い応答よりもレイテンシが低く、
入力装置、出力装置、入力処理ユニット、入力処理ユニットソフトウェア、レイテンシの高い応答サブシステム、および、レイテンシの低い応答サブシステムは、ユーザー入力信号が、レイテンシの低いサブシステムとレイテンシの高いサブシステムによって並行して処理され、出力装置がレイテンシの高い応答とレイテンシの低い応答を出力するように、配されており、
アプリケーションソフトウェアは、レイテンシの低い応答に影響を与える1つ以上のパラメーターを変えることができる、
システム。 - レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、定義された応答に対応するデータを、レイテンシの低いサブシステムによって受け取られた信号のストリームの少なくとも一部の信号の少なくともいくつかの1つ以上と関連付けることによって生成される、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されるレイテンシの高いデータは、レンダリングによって生成される、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、実質的に等しい忠実度を有する、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムによって生成されたレイテンシの高いデータと、レイテンシの低いサブシステムによって生成されたレイテンシの低いデータは、忠実度が異なる、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いデータを生成し、レイテンシの低いサブシステムはレイテンシの低いデータを生成し、レイテンシの高いデータの少なくともいくつかは、対応するレイテンシの低いデータよりも忠実度が高い、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、マイクロコントローラ、図形処理装置(GPU)、または、チップ上のシステム(SoC)の群から選択される少なくとも1つにおいて、少なくとも部分的に、実行される、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、コンピューティングシステムの既存の構成要素に統合された論理において実行される、請求項196に記載のユーザー入力を処理するためのシステム。
- コンピューティングシステムの既存の構成要素は、図形処理装置(GPU)、入力装置コントローラー、中央処理装置(CPU)、マイクロコントローラ、または、チップ上のシステム(SoC)の群から選択される少なくとも1つを含む、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、ユーザーインターフェース要素論理を含む、請求項196に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項206に記載のユーザー入力を処理するためのシステム。 - レイテンシの低いサブシステムはストリームから信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データの少なくともいくつかに対応する信号のストリームの少なくとも一部にならないようにする、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータに対応する信号のストリームの少なくとも一部は、レイテンシの低いデータに対応する信号の少なくとも一部とは異なる、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは、対応する発せられた信号を受け取る5ミリ秒以内に、ディスプレイによって使用される生成されたレイテンシの低いデータを出力する、請求項196に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、信号のストリームの少なくとも一部の1つ以上の信号に応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項196に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項211に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータとの間の差は、ユーザーに認識可能である、請求項196に記載のユーザー入力を処理するためのシステム。
- ユーザーインターフェースのビジュアライゼーションに影響を与え得るレイテンシの低いデータの少なくともいくつかと、ユーザーインターフェースのビジュアライゼーションに影響を与え得る対応するレイテンシの高いデータの少なくともいくつかは、ユーザーによって認識できない方法で混合される、請求項196に記載のユーザー入力を処理するためのシステム。
- アプリケーション論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いシステム応答の形態は、聴覚応答、視覚応答、および触覚応答からなる群から選択された応答または一連の応答を含む、請求項215に記載のユーザー入力を処理するためのシステム。
- システム論理によって指示される形態のレイテンシの低いシステム応答を提供するように構成される、請求項196に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、抵抗式、直接照明、漏れ全反射、拡散照明、投影型静電容量、容量結合、音波、および、画素内センサーからなる群から選択された技術の少なくとも1つを使用する直接タッチ入力装置を含む、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの低いサブシステムは少なくとも1つのあらかじめレンダリングされた視覚的要素を含み、および、レイテンシの低いデータは、少なくとも1つのあらかじめレンダリングされた視覚的要素の1つ以上に対応する、請求項196に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いデータとレイテンシの低いデータは忠実度が異なる、請求項219に記載のユーザー入力を処理するためのシステム。
- レイテンシの高いサブシステムはレイテンシの高いサブシステムの少なくとも1つの状態を反映する状態情報を含み、レイテンシの低いサブシステムの応答は状態情報に依存する、請求項219に記載のユーザー入力を処理するためのシステム。
- 目に見えるUI要素の視覚的な階層と特性に関するデータを含んでいるUI要素データをさらに含み、
レイテンシの低いサブシステムは、UI要素データ中の情報に基づいてヒットテストを行うのに適している、請求項219に記載のユーザー入力を処理するためのシステム。 - 発せられた信号は、レイテンシの高いサブシステムとレイテンシの低いサブシステムにストリームで送られ、レイテンシの低いサブシステムは、ストリームから、発せられた信号の1つ以上を取り除くのに適しており、取り除いた信号が、レイテンシの高いサブシステムによって受け取られる受信データに対応する発せられた信号の少なくともいくつかの一部にならないようにする、請求項219に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置を含み、発せられた信号のストリームの少なくともいくつかに応答して、レイテンシの低いサブシステムは、追加の出力装置によって使用される追加の出力データを生成する、請求項219に記載のユーザー入力を処理するためのシステム。
- 追加の出力装置と追加の出力データは、視覚出力装置および視覚データ、音声出力装置および音声データ、ならびに、触覚フィードバック装置および触覚フィードバックデータを含む群から選択される、請求項224に記載のユーザー入力を処理するためのシステム。
- ユーザー入力装置は、タッチ、マルチタッチ、ペン、目の動き、視線追跡、空中ジェスチャー、音声、マウス、キーボード、および、変動する圧力からなる群から選択される少なくとも1つの形態でユーザー入力を受け取るように構成される、請求項196に記載のユーザー入力を処理するためのシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261710256P | 2012-10-05 | 2012-10-05 | |
US61/710,256 | 2012-10-05 | ||
PCT/US2013/063569 WO2014055942A1 (en) | 2012-10-05 | 2013-10-04 | Hybrid systems and methods for low-latency user input processing and feedback |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015536008A true JP2015536008A (ja) | 2015-12-17 |
JP2015536008A5 JP2015536008A5 (ja) | 2016-10-20 |
JP6293763B2 JP6293763B2 (ja) | 2018-03-14 |
Family
ID=50435494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015535843A Active JP6293763B2 (ja) | 2012-10-05 | 2013-10-04 | 低レイテンシのユーザー入力処理およびフィードバックのためのハイブリッドシステムおよび方法 |
Country Status (13)
Country | Link |
---|---|
US (5) | US9507500B2 (ja) |
EP (1) | EP2904484A4 (ja) |
JP (1) | JP6293763B2 (ja) |
KR (1) | KR101867494B1 (ja) |
CN (1) | CN104903832B (ja) |
AU (1) | AU2013326854A1 (ja) |
BR (1) | BR112015007617A2 (ja) |
CA (1) | CA2885184A1 (ja) |
HK (1) | HK1213663A1 (ja) |
IL (1) | IL238127B (ja) |
MX (1) | MX347342B (ja) |
SG (2) | SG10201601697SA (ja) |
WO (1) | WO2014055942A1 (ja) |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
EP2847661A2 (en) | 2012-05-09 | 2015-03-18 | Apple Inc. | Device, method, and graphical user interface for moving and dropping a user interface object |
WO2013169842A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting object within a group of objects |
WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
WO2013169854A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object |
WO2013169851A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for facilitating user interaction with controls in a user interface |
WO2013169843A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for manipulating framed graphical objects |
CN105260049B (zh) | 2012-05-09 | 2018-10-23 | 苹果公司 | 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面 |
KR101683868B1 (ko) | 2012-05-09 | 2016-12-07 | 애플 인크. | 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스 |
WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
JP6082458B2 (ja) * | 2012-05-09 | 2017-02-15 | アップル インコーポレイテッド | ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース |
EP3410287B1 (en) | 2012-05-09 | 2022-08-17 | Apple Inc. | Device, method, and graphical user interface for selecting user interface objects |
SG10201601697SA (en) * | 2012-10-05 | 2016-04-28 | Tactual Labs Co | Hybrid systems and methods for low-latency user input processing and feedback |
KR101905174B1 (ko) | 2012-12-29 | 2018-10-08 | 애플 인크. | 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
JP6093877B2 (ja) | 2012-12-29 | 2017-03-08 | アップル インコーポレイテッド | 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース |
JP6097843B2 (ja) | 2012-12-29 | 2017-03-15 | アップル インコーポレイテッド | コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース |
US9483171B1 (en) * | 2013-06-11 | 2016-11-01 | Amazon Technologies, Inc. | Low latency touch input rendering |
JP2016528612A (ja) * | 2013-07-12 | 2016-09-15 | タクチュアル ラブズ シーオー. | 定義されたクロス制御挙動による制御応答レイテンシの短縮 |
GB2519118A (en) * | 2013-10-10 | 2015-04-15 | Ibm | Web page reload |
US9342331B2 (en) | 2013-10-21 | 2016-05-17 | International Business Machines Corporation | Secure virtualized mobile cellular device |
US10156976B2 (en) * | 2014-01-30 | 2018-12-18 | Samsung Display Co., Ltd. | System and method in managing low-latency direct control feedback |
US9892556B2 (en) | 2014-03-11 | 2018-02-13 | Amazon Technologies, Inc. | Real-time exploration of video content |
US10939175B2 (en) | 2014-03-11 | 2021-03-02 | Amazon Technologies, Inc. | Generating new video content from pre-recorded video |
US9894405B2 (en) * | 2014-03-11 | 2018-02-13 | Amazon Technologies, Inc. | Object discovery and exploration in video content |
US9747727B2 (en) | 2014-03-11 | 2017-08-29 | Amazon Technologies, Inc. | Object customization and accessorization in video content |
US9933880B2 (en) | 2014-03-17 | 2018-04-03 | Tactual Labs Co. | Orthogonal signaling touch user, hand and object discrimination systems and methods |
US9507845B1 (en) * | 2014-03-27 | 2016-11-29 | EMC IP Holding Company, LLC | Virtual splitter |
US9912562B2 (en) * | 2014-03-31 | 2018-03-06 | Microsoft Technology Licensing, Llc | Measuring latency in an interactive application |
US9710098B2 (en) * | 2014-03-31 | 2017-07-18 | Samsung Display Co., Ltd. | Method and apparatus to reduce latency of touch events |
US9508166B2 (en) | 2014-09-15 | 2016-11-29 | Microsoft Technology Licensing, Llc | Smoothing and GPU-enabled rendering of digital ink |
US10088952B2 (en) | 2014-09-18 | 2018-10-02 | Tactual Labs Co. | Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency |
US9633466B2 (en) | 2014-09-29 | 2017-04-25 | Microsoft Technology Licensing, Llc | Low latency ink rendering pipeline |
US20160117080A1 (en) * | 2014-10-22 | 2016-04-28 | Microsoft Corporation | Hit-test to determine enablement of direct manipulations in response to user actions |
WO2016081610A1 (en) * | 2014-11-18 | 2016-05-26 | Tactual Labs Co. | System and method for performing hit testing in a graphical user interface |
US9721365B2 (en) | 2014-12-09 | 2017-08-01 | Synaptics Incorporated | Low latency modification of display frames |
KR102320771B1 (ko) * | 2015-01-15 | 2021-11-02 | 삼성디스플레이 주식회사 | 데이터 구동회로 및 이를 이용한 표시장치 |
US10089291B2 (en) | 2015-02-27 | 2018-10-02 | Microsoft Technology Licensing, Llc | Ink stroke editing and manipulation |
US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
US20170045981A1 (en) | 2015-08-10 | 2017-02-16 | Apple Inc. | Devices and Methods for Processing Touch Inputs Based on Their Intensities |
US10152208B2 (en) | 2015-04-01 | 2018-12-11 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
US9779466B2 (en) | 2015-05-07 | 2017-10-03 | Microsoft Technology Licensing, Llc | GPU operation |
US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
US11194398B2 (en) * | 2015-09-26 | 2021-12-07 | Intel Corporation | Technologies for adaptive rendering using 3D sensors |
US20170168966A1 (en) * | 2015-12-10 | 2017-06-15 | Qualcomm Incorporated | Optimal latency packetizer finite state machine for messaging and input/output transfer interfaces |
WO2017136540A1 (en) * | 2016-02-02 | 2017-08-10 | Tactual Labs Co. | Area filtering for low-latency and high-latency input event paths from a single touch sensor |
CA2920914C (en) * | 2016-02-17 | 2017-07-18 | Cae Inc | Portable computing device and method for transmitting instructor operating station (ios) filtered information |
US10203860B2 (en) * | 2016-03-18 | 2019-02-12 | Ebay Inc. | Graphical user interface element adjustment |
CN106919285B (zh) * | 2017-02-28 | 2021-01-15 | 北京小米移动软件有限公司 | 一种终端 |
US20190279100A1 (en) * | 2018-03-09 | 2019-09-12 | Lattice Semiconductor Corporation | Low latency interrupt alerts for artificial neural network systems and methods |
DE112019007085T5 (de) | 2019-03-27 | 2022-01-20 | Intel Corporation | Intelligente Anzeigetafeleinrichtung und verwandte Verfahren |
US20200371616A1 (en) * | 2019-05-20 | 2020-11-26 | Brydge Global Pte Ltd. | Wireless Multi-Touch Device Systems and Methods |
US11379016B2 (en) | 2019-05-23 | 2022-07-05 | Intel Corporation | Methods and apparatus to operate closed-lid portable computers |
CN110609645B (zh) | 2019-06-25 | 2021-01-29 | 华为技术有限公司 | 一种基于垂直同步信号的控制方法及电子设备 |
US11543873B2 (en) | 2019-09-27 | 2023-01-03 | Intel Corporation | Wake-on-touch display screen devices and related methods |
US11733761B2 (en) | 2019-11-11 | 2023-08-22 | Intel Corporation | Methods and apparatus to manage power and performance of computing devices based on user presence |
FR3105686A1 (fr) * | 2019-12-18 | 2021-06-25 | Sagemcom Broadband Sas | Equipement décodeur à double liaison audio |
US11809535B2 (en) | 2019-12-23 | 2023-11-07 | Intel Corporation | Systems and methods for multi-modal user device authentication |
US11360528B2 (en) | 2019-12-27 | 2022-06-14 | Intel Corporation | Apparatus and methods for thermal management of electronic user devices based on user activity |
US11706656B2 (en) * | 2020-06-29 | 2023-07-18 | Qualcomm Incorporated | Downlink data prioritization for time-sensitive applications |
KR20220155679A (ko) * | 2021-05-17 | 2022-11-24 | 삼성전자주식회사 | 제어 방법 및 그 방법을 이용하는 장치 |
US11751799B1 (en) * | 2023-02-08 | 2023-09-12 | Lanny Leo Johnson | Methods and systems for diagnosing cognitive conditions |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09190275A (ja) * | 1996-01-12 | 1997-07-22 | Nec Corp | 手書き入力表示装置 |
JP2008269059A (ja) * | 2007-04-17 | 2008-11-06 | Nintendo Co Ltd | 描画処理プログラムおよび描画処理装置 |
US20100277429A1 (en) * | 2009-04-30 | 2010-11-04 | Day Shawn P | Operating a touch screen control system according to a plurality of rule sets |
JP2011242940A (ja) * | 2010-05-17 | 2011-12-01 | Canon Inc | 情報処理装置、表示装置、表示システム、情報処理装置の制御方法、及び表示装置の制御方法 |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5691974A (en) * | 1995-01-04 | 1997-11-25 | Qualcomm Incorporated | Method and apparatus for using full spectrum transmitted power in a spread spectrum communication system for tracking individual recipient phase, time and energy |
US6292857B1 (en) * | 1997-06-05 | 2001-09-18 | Microsoft Corporation | Method and mechanism for coordinating input of asynchronous data |
US6538667B1 (en) * | 1999-07-23 | 2003-03-25 | Citrix Systems, Inc. | System and method for providing immediate visual response to user input at a client system connected to a computer system by a high-latency connection |
BR0014954A (pt) | 1999-10-22 | 2002-07-30 | Activesky Inc | Sistema de vìdeo baseado em objetos |
US7483042B1 (en) * | 2000-01-13 | 2009-01-27 | Ati International, Srl | Video graphics module capable of blending multiple image layers |
US6539354B1 (en) * | 2000-03-24 | 2003-03-25 | Fluent Speech Technologies, Inc. | Methods and devices for producing and using synthetic visual speech based on natural coarticulation |
US6882346B1 (en) * | 2000-11-17 | 2005-04-19 | Hewlett-Packard Development Company, L.P. | System and method for efficiently rendering graphical data |
JP4011320B2 (ja) * | 2001-10-01 | 2007-11-21 | 株式会社半導体エネルギー研究所 | 表示装置及びそれを用いた電子機器 |
JP3853637B2 (ja) * | 2001-11-02 | 2006-12-06 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、方法及びコンピュータプログラム |
US7292629B2 (en) * | 2002-07-12 | 2007-11-06 | Rambus Inc. | Selectable-tap equalizer |
US9756349B2 (en) * | 2002-12-10 | 2017-09-05 | Sony Interactive Entertainment America Llc | User interface, system and method for controlling a video stream |
KR100506086B1 (ko) * | 2002-12-26 | 2005-08-03 | 삼성전자주식회사 | 영상의 재현 품질 향상 장치 및 그 방법 |
US20060114836A1 (en) * | 2004-08-20 | 2006-06-01 | Sofie Pollin | Method for operating a combined multimedia -telecom system |
US7233164B2 (en) * | 2003-12-17 | 2007-06-19 | Rambus Inc. | Offset cancellation in a multi-level signaling system |
EP1603108B1 (en) * | 2004-06-02 | 2017-03-22 | BlackBerry Limited | Mixed Monochrome and Colour Display Driving Technique |
US20060031565A1 (en) * | 2004-07-16 | 2006-02-09 | Sundar Iyer | High speed packet-buffering system |
GB0419346D0 (en) | 2004-09-01 | 2004-09-29 | Smyth Stephen M F | Method and apparatus for improved headphone virtualisation |
GB0502891D0 (en) | 2005-02-12 | 2005-03-16 | Next Device Ltd | User interfaces |
US9135951B2 (en) * | 2006-10-10 | 2015-09-15 | Qualcomm Incorporated | System and method for dynamic audio buffer management |
US7917784B2 (en) | 2007-01-07 | 2011-03-29 | Apple Inc. | Methods and systems for power management in a data processing system |
US8766955B2 (en) * | 2007-07-25 | 2014-07-01 | Stmicroelectronics, Inc. | Methods and apparatus for latency control in display devices |
WO2010010723A1 (ja) * | 2008-07-22 | 2010-01-28 | トヨタ自動車株式会社 | マルチコアシステム、車両用電子制御ユニット、タスク切り替え方法 |
US8243970B2 (en) * | 2008-08-11 | 2012-08-14 | Telefonaktiebolaget L M Ericsson (Publ) | Virtual reality sound for advanced multi-media applications |
US20100201636A1 (en) | 2009-02-11 | 2010-08-12 | Microsoft Corporation | Multi-mode digital graphics authoring |
US8171154B2 (en) | 2009-09-29 | 2012-05-01 | Net Power And Light, Inc. | Method and system for low-latency transfer protocol |
US8073995B2 (en) * | 2009-10-19 | 2011-12-06 | Research In Motion Limited | Efficient low-latency buffer |
EP2625591A4 (en) | 2010-10-05 | 2014-04-30 | Citrix Systems Inc | TOUCH SUPPORT FOR REMOTE APPLICATIONS |
US8804794B2 (en) * | 2010-12-04 | 2014-08-12 | Aquantia Corporation | Adjustable latency transceiver processing |
US20120215531A1 (en) | 2011-02-18 | 2012-08-23 | Nuance Communications, Inc. | Increased User Interface Responsiveness for System with Multi-Modal Input and High Response Latencies |
US9274746B2 (en) * | 2011-02-18 | 2016-03-01 | Nuance Communications, Inc. | Latency hiding techniques for multi-modal user interfaces |
CN102651001B (zh) * | 2011-02-28 | 2016-07-27 | 腾讯科技(深圳)有限公司 | 一种图片浏览的方法及装置 |
US9292116B2 (en) | 2011-11-21 | 2016-03-22 | Microsoft Technology Licensing, Llc | Customizing operation of a touch screen |
US10296205B2 (en) | 2011-12-12 | 2019-05-21 | Sony Corporation | User interface for controlling a display scale of an image |
US20130155018A1 (en) | 2011-12-20 | 2013-06-20 | Synaptics Incorporated | Device and method for emulating a touch screen using force information |
US10504485B2 (en) | 2011-12-21 | 2019-12-10 | Nokia Tehnologies Oy | Display motion quality improvement |
CN103186329B (zh) | 2011-12-27 | 2017-08-18 | 富泰华工业(深圳)有限公司 | 电子设备及其触摸输入控制方法 |
SG10201601697SA (en) * | 2012-10-05 | 2016-04-28 | Tactual Labs Co | Hybrid systems and methods for low-latency user input processing and feedback |
-
2013
- 2013-10-04 SG SG10201601697SA patent/SG10201601697SA/en unknown
- 2013-10-04 CA CA2885184A patent/CA2885184A1/en not_active Abandoned
- 2013-10-04 US US14/046,819 patent/US9507500B2/en active Active
- 2013-10-04 WO PCT/US2013/063569 patent/WO2014055942A1/en active Application Filing
- 2013-10-04 KR KR1020157011748A patent/KR101867494B1/ko active IP Right Grant
- 2013-10-04 AU AU2013326854A patent/AU2013326854A1/en not_active Abandoned
- 2013-10-04 CN CN201380052371.8A patent/CN104903832B/zh active Active
- 2013-10-04 EP EP13844123.3A patent/EP2904484A4/en not_active Ceased
- 2013-10-04 BR BR112015007617A patent/BR112015007617A2/pt not_active IP Right Cessation
- 2013-10-04 JP JP2015535843A patent/JP6293763B2/ja active Active
- 2013-10-04 MX MX2015004244A patent/MX347342B/es active IP Right Grant
- 2013-10-04 US US14/046,823 patent/US9927959B2/en active Active
- 2013-10-04 SG SG11201502619UA patent/SG11201502619UA/en unknown
-
2015
- 2015-04-02 IL IL238127A patent/IL238127B/en active IP Right Grant
-
2016
- 2016-02-12 HK HK16101562.8A patent/HK1213663A1/zh unknown
- 2016-11-23 US US15/360,039 patent/US10222952B2/en active Active - Reinstated
-
2019
- 2019-03-01 US US16/290,119 patent/US20190196681A1/en not_active Abandoned
-
2021
- 2021-09-08 US US17/469,109 patent/US20220253185A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09190275A (ja) * | 1996-01-12 | 1997-07-22 | Nec Corp | 手書き入力表示装置 |
JP2008269059A (ja) * | 2007-04-17 | 2008-11-06 | Nintendo Co Ltd | 描画処理プログラムおよび描画処理装置 |
US20100277429A1 (en) * | 2009-04-30 | 2010-11-04 | Day Shawn P | Operating a touch screen control system according to a plurality of rule sets |
JP2011242940A (ja) * | 2010-05-17 | 2011-12-01 | Canon Inc | 情報処理装置、表示装置、表示システム、情報処理装置の制御方法、及び表示装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
MX347342B (es) | 2017-04-21 |
US20140139456A1 (en) | 2014-05-22 |
US9927959B2 (en) | 2018-03-27 |
BR112015007617A2 (pt) | 2017-07-04 |
US20140143692A1 (en) | 2014-05-22 |
KR101867494B1 (ko) | 2018-07-17 |
HK1213663A1 (zh) | 2016-07-08 |
AU2013326854A1 (en) | 2015-04-30 |
US9507500B2 (en) | 2016-11-29 |
KR20150087210A (ko) | 2015-07-29 |
IL238127B (en) | 2018-02-28 |
US10222952B2 (en) | 2019-03-05 |
US20190196681A1 (en) | 2019-06-27 |
CN104903832A (zh) | 2015-09-09 |
MX2015004244A (es) | 2015-09-23 |
WO2014055942A1 (en) | 2014-04-10 |
CA2885184A1 (en) | 2014-04-10 |
JP6293763B2 (ja) | 2018-03-14 |
SG11201502619UA (en) | 2015-05-28 |
EP2904484A4 (en) | 2016-06-01 |
US20220253185A1 (en) | 2022-08-11 |
EP2904484A1 (en) | 2015-08-12 |
US20170235457A1 (en) | 2017-08-17 |
CN104903832B (zh) | 2020-09-25 |
SG10201601697SA (en) | 2016-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6293763B2 (ja) | 低レイテンシのユーザー入力処理およびフィードバックのためのハイブリッドシステムおよび方法 | |
JP6659644B2 (ja) | 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理 | |
Ng et al. | Designing for low-latency direct-touch input | |
JP6382261B2 (ja) | 高度なカメラをベースとした入力 | |
US9830014B2 (en) | Reducing control response latency with defined cross-control behavior | |
US9965039B2 (en) | Device and method for displaying user interface of virtual input device based on motion recognition | |
JP2016528612A5 (ja) | ||
EP3019943A1 (en) | Reducing control response latency with defined cross-control behavior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160831 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6293763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |