CN107408117A - 用于手持操作的设备及其方法 - Google Patents

用于手持操作的设备及其方法 Download PDF

Info

Publication number
CN107408117A
CN107408117A CN201580077783.6A CN201580077783A CN107408117A CN 107408117 A CN107408117 A CN 107408117A CN 201580077783 A CN201580077783 A CN 201580077783A CN 107408117 A CN107408117 A CN 107408117A
Authority
CN
China
Prior art keywords
equipment
touch
elements
user
touched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580077783.6A
Other languages
English (en)
Other versions
CN107408117B (zh
Inventor
皮特·奥奎斯特
戴维·林德格伦
托米·阿格伦
提尔·伯科特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN107408117A publication Critical patent/CN107408117A/zh
Application granted granted Critical
Publication of CN107408117B publication Critical patent/CN107408117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供了用于手持操作的设备(100)。该设备包括触摸屏(110)和操作为在触摸屏上显示多个用户界面(UI)元素(121～124)的处理装置(111)，其中，每个UI元素与响应于触摸UI元素而执行的动作相关联；基于触摸图案(130)来确定设备的用户(150，151)可能触摸的所显示的UI元素中的一个或多个，并对所确定的UI元素中的至少一个执行与UI元素相关联的动作。该动作可以例如包括从服务器(180)预取用户可能请求的内容。基于触摸图案来执行诸如预取之类的动作是有利的，因为触摸图案反映了用户触摸触摸屏的特定位置或区域的相对概率，从而减少了时延。

Description

用于手持操作的设备及其方法
技术领域
本发明涉及用于手持操作的设备、用于手持操作的设备的方法、相应的计算机程序和相应的计算机程序产品。
背景技术
使用需要向诸如移动终端、移动电话、智能电话或平板设备之类的移动设备发送数据的网络或其他服务可能是一种混合体验。在取回网页或服务器提供的其他内容时的较长响应时间可能会导致用户体验差和不满。通过预取内容可以改善与通过无线通信网络(移动设备通过该无线通信网络连接到互联网)取回数据有关的时延。
预取诸如网页之类的内容基于在用户例如通过选择在移动设备上呈现的网页上的链接来实际请求内容之前预测可能由移动设备的用户请求的内容。用于预测要预取的内容的已知策略经常基于针对所请求内容的统计信息。此外，可以考虑用户特定行为，例如浏览器历史。预取还可以基于移动设备的地理位置，因为与有关远程位置的文章相比，用户更可能读取本地新闻文章。
发明内容
本发明的目的是提供对于以上技术和现有技术的改进的备选方案。
更具体地，本发明的一个目的是提供用于减少借助于基于触摸屏的用户界面来操作的设备的时延的解决方案，特别是当访问在由设备可访问的通信网络上提供的内容时。
如由独立权利要求所定义的，通过本发明的不同方面的手段来实现本发明的这些目的和其他目的。从属权利要求表征本发明的实施例。
根据本发明的第一方面，提供了一种用于手持操作的设备。该设备包括触摸屏和处理装置。处理装置可操作以在触摸屏上显示多个用户界面(UI)元素。每个显示的UI元素与响应于触摸UI元素而执行的动作相关联。处理装置进一步可操作以确定设备的用户可能触摸的所显示的UI元素中的一个或多个。基于触摸图案来确定设备的用户可能触摸的所显示的UI元素中的所述一个或多个。所述处理装置进一步可操作以针对所述设备的用户可能触摸的所述一个或多个UI元素中的至少一个来执行与所述UI元素相关联的动作。
根据本发明的第二方面，提供了一种用于手持操作的设备的方法。该设备包括触摸屏。该方法包括在触摸屏上显示多个UI元素。每个显示的UI元素与响应于触摸UI元素而执行的动作相关联。该方法还包括确定设备的用户可能触摸的所显示的UI元素中的一个或多个。基于触摸图案来确定设备的用户可能触摸的所显示的UI元素中的所述一个或多个。所述方法还包括针对所述设备的用户可能触摸的所述一个或多个UI元素中的至少一个来执行与所述UI元素相关联的动作。
根据本发明的第三方面，提供了一种计算机程序。该计算机程序包括计算机可执行指令，其用于当所述计算机可执行指令在设备中包括的处理单元上执行时使得设备执行根据本发明第二方面的实施例的方法。
根据本发明的第四方面，提供了一种计算机程序产品。计算机程序产品包括计算机可读存储介质，其具有体现于其中的根据本发明的第三方面的计算机程序。
为了阐明本发明，用于手持操作的设备应被理解为被设计为由设备的用户的单手或双手握住和操作的设备。本发明的实施例涉及提供基于触摸屏的用户界面的设备，其允许用户通过用一个或多个手指触摸和/或执行手势来操作设备。在本上下文中，用于手持操作的设备可以例如是移动终端、移动设备、移动电话、智能电话、用户设备(UE)或平板设备。根据设备的几何形状，它可以由一只手操作，称为单手操作，即，用一只手握住该设备，且同一只手的手指(通常是拇指)与触摸屏交互。具有智能电话尺寸的设备通常是这种情况，例如苹果的iPhone或三星的Galaxy。具有较大尺寸的设备(例如苹果的iPad或三星的Tab)通常用一只手握住，而另一只手与触摸屏进行交互。注意，根据设备的几何形状和用户的手的解剖结构，设备可以单手操作或用双手操作。UI元素是用户可以触摸以控制设备的图形对象，例如虚拟按钮或键、链接或图标，如通过苹果的iOS、Android、Symbian、Windows Mobile等提供的基于触摸屏的用户界面所知。
本发明利用以下理解：即基于触摸屏的设备的触摸图案可以用于在用户实际请求动作之前根据与触摸图案有关的UI元素的位置来执行、发起或准备动作，该动作与触摸屏上显示的UI元素相关联。触摸图案反映了用户触摸触摸屏的特定位置或区域的相对可能性。因此，执行的动作是与UI元素相关联的动作，根据触摸图案，该UI元素最可能被用户触摸。可选地，可以确定可能被触摸的多个UI元素，并执行与其相关联的动作。在本领域中，触摸图案用于分析和可视化用户与网页或用户界面的交互，并且也被称为触摸热图(touchheatmap)。
基于触摸图案来执行诸如从服务器预取内容或预加载一段软件之类的动作是有利的，因为操作基于触摸屏的设备的用户的触摸图案在触摸屏的整个区域上并不表现出均匀的触摸概率分布。相反，触摸屏上的不同位置或区域具有被用户的手指触摸的不同的相对概率。这是因为触摸图案反映了设备的几何形状、用户手的解剖结构、用户握住和操作设备的方式(例如用单手或用双手)、以及用户的触摸习惯。特别是对于单手操作，触摸图案显著地受到触摸屏上可由握住设备的手的拇指尖端访问的有限区域的影响。
通过在用户实际请求动作之前基于触摸图案来执行与UI元素相关联的动作，时延减少，并且用户体验到设备的更快的响应。当确定设备的用户可能触摸的所显示的UI元素中的一个或多个时，选择具有最高被触摸概率的所述一个或多个UI元素。通过在触摸图案上查找UI元素在触摸屏上的位置来确定每个UI元素的触摸概率。具有最高被触摸概率的一个或多个UI元素可以仅仅是最可能的UI元素、前两个或前三个最可能的UI元素、或任何其他数量的最可能的UI元素。备选地，本发明的实施例可以初始执行与最可能的UI元素相关联的动作，并且随后根据降低的触摸概率来执行动作，直到用户触摸屏幕以实际请求动作为止。
根据本发明的实施例，触摸图案是用户特定的。这是有利的，因为考虑到用户特定的触摸习惯来预测最可能的一个或多个UI元素。此外，对于单手操作，触摸图案至少部分地由用户的手的解剖结构来确定。备选地，触摸图案可以是通过对一组用户的触摸图案求平均而导出的通用触摸图案。
根据本发明的实施例，触摸图案取决于所显示的UI元素，特别是其在触摸屏上的布置。通常，UI元素的单列列表的触摸图案与以网格方式布置的UI元素的触摸图案不同。有利地，使用取决于所显示的UI元素的触摸图案导致对最可能的一个或多个UI元素的更可靠的预测。
根据本发明的实施例，该动作包括经由设备可操作地访问的通信网络来请求由服务器提供的内容。通信网络可以是有线或无线或其组合，诸如以太网、局域网(LAN)、无线LAN(WLAN)或Wi-Fi网络、互联网或蜂窝移动网络。可以例如通过与UI元素相关联的网络地址(诸如统一资源定位符(URL))来标识内容。可选地，设备还可以操作以检测用户对设备的用户可能触摸的一个或多个UI元素中的一个的触摸，并呈现所请求的与所触摸的UI元素相关联的内容。通过预取用户可能请求的内容，可以在用户实际请求内容之前，由设备取回(例如下载或流传输)用于开始呈现内容所需的数据。这样，减少了用于呈现所请求内容的时延。如果在用户触摸相关联的UI元素之前所请求的内容被成功地取回则将其呈现。如果触摸的UI元素不在被确定为可能的UI元素之中，则设备请求与被触摸的UI元素相关联的内容，并且可以丢弃预取的内容。
根据本发明的实施例，所述动作包括将存储在所述设备的第一存储器中的计算机可执行指令加载到所述设备的第二存储器中，其中所述第二存储器具有比所述第一存储器更短的访问时间。第二存储器可以例如包括设备的处理器中通常包括的高速缓存存储器。可选地，设备还可以操作以检测用户对设备的用户可能触摸的一个或多个UI元素中的一个的触摸，并且执行与被触摸的UI元素相关联的加载的计算机可执行指令。通过预加载指令集，即一段软件，在用户请求时，执行软件(应用程序或app、或应用程序或app的特定功能)所需的时间减少，并且用户体验到设备的操作更快。如果触摸的UI元素不在被确定为可能的UI元素之中，则设备加载与所触摸的UI元素相关联的计算机可执行指令。
根据本发明的实施例，处理装置还可以操作以检测用户对所显示的UI元素中的一个的触摸，并且基于被触摸的UI元素在触摸屏上的位置来更新触摸图案。通过响应于检测触摸来更新触摸图案，改善了设备的触摸图案并随着时间变得更加特定于用户，从而改进了对可能被触摸的UI元素的预测。
根据本发明的实施例，处理装置可操作以响应于检测正在进行的滚动运动即将停止而确定设备的用户可能触摸的一个或多个UI元素。例如，处理装置可以操作以检测用户已经释放了她滚动的所显示的图形对象，例如网页，使滚动对象变慢，或者用户已经通过触摸触摸屏以停止滚动对象而停止正在进行的滚动运动。可选地，处理装置可操作以基于当滚动运动停止时所显示的UI元素要停留的相应位置来确定设备的用户可能触摸的一个或多个UI元素。有利地，通过检测正在进行的滚动运动即将停止，并且当滚动运动停止时确定在触摸屏上可见的UI元素的相应位置，实现对最可能被触摸的UI元素的改进预测。这是基于以下理解：基于触摸屏的设备的用户培养出何时停止或减慢正在进行的滚动运动的感觉，使得期望的UI元素，即用户打算触摸的UI元素将会在用户的手指(特别是在单手操作期间用户的拇指)舒适地访问的位置停留。
根据本发明的实施例，处理装置可操作以响应于检测设备的特征运动、设备取向的特征变化、或这二者来确定设备的用户可能触摸的所述一个或多个UI元素。这是运动和/或取向变化，设备将该运动和/或取向改变与伸展拇指以够到更难于访问的触摸屏的区域的用户相关联，从而有效地修改触摸图案。可选地，触摸图案还可以取决于特征运动和/或特征取向变化。有利的是，通过使用特征运动和/或特征取向变化作为用于预测最可能的一个或多个UI元素的触发，并且使用特征运动和/或特征取向变化作为对于预测的附加输入，可以进行更加准确的预测。
尽管已经在一些情况下参考本发明的第一方面的实施例描述了本发明的优点，但是相应的推理适用于本发明的其它方面的实施例。
当研读以下的详细公开、附图和所附的权利要求时，本发明的附加目的、特征和优点将变得显而易见。本领域技术人员意识到可以组合本发明的不同特征来创建不同于以下描述的实施例的实施例。
附图说明
将通过以下参照附图对本发明的实施例的说明性且非限制性的详细描述来更好地理解本发明的以上目的、特征和优点以及附加目的、特征和优点，在附图中：
图1示出了根据本发明的实施例的用于手持操作的设备。
图2示出了根据本发明的另一实施例的用于手持操作的设备。
图3示出了根据本发明的实施例的触摸图案。
图4示出了根据本发明的实施例的用于手持操作的设备的处理单元。
图5示出了根据本发明的实施例的用于手持操作的设备的方法。
图6示出了根据本发明的另一实施例的用于手持操作的设备的处理单元。
所有附图是示意性的，不一定按比例绘制，并且通常仅示出为了阐明本发明所必需的部分，其中可以省略或仅仅建议其他部分。
具体实施方式
现在将参考附图在下文中更全面地描述本发明，附图中示出了本发明的某些实施例。然而，本发明可以以许多不同的形式实施，并且不应解释为限于本文所阐述的实施例。相反，通过示例的方式给出这些实施例，使得本公开将是透彻和完整的，并且向本领域技术人员充分地传达本发明的范围。
在图1中，示出了用于手持操作的设备的实施例100。设备100包括触摸屏110和处理装置111。可选地，设备100还可以包括用于与诸如互联网、局域网(LAN)、公司网络等的通信网络160进行通信的装置113。装置133可以例如是包括无线电收发器在内的无线电单元，无线电收发器可操作用于实现与无线电接入网络(RAN)170(诸如WLAN或Wi-Fi网络)或蜂窝通信网络(诸如全球移动通信系统(GSM)网络、通用移动电信系统(UMTS)网络或长期演进(LTE)网络)的无线通信。本领域技术人员将理解，本发明的实施例不限于无线通信。因此，装置113可以是使得设备100能够通过诸如以太网(图1中未示出)的有线通信链路与通信网络160进行通信的有线网络接口。设备100可以例如是移动终端、移动电话、UE或智能电话。
触摸屏110可操作用于提供基于触摸屏的用户界面，使得用户能够通过用一个或多个手指151触摸和/或执行手势来操作设备100，如从苹果的iOS、Android、Symbian、Windows Mobile、以及其他支持触摸屏的用户界面的操作系统可知的。各种类型的触摸屏是已知的，例如电阻式触摸屏、表面声波触摸屏和电容式触摸屏。
处理装置111可操作以在触摸屏110上显示多个用户界面(UI)元素121～124。UI元素121～124是用户可以触摸以控制设备100或输入信息的图形对象。UI元素121～124可以例如是虚拟按钮或键、链接122、图标121或123、或图像124。每个UI元素121～124与响应于触摸UI元素而被执行的动作相关联。应当理解，处理装置111可操作以在触摸屏110上显示与任何动作无关的附加UI元素，诸如文本、图像或其他图形对象。这样的附加UI元素不能用于控制设备100的操作。
处理装置111进一步操作以基于触摸图案来确定所述设备的用户可能触摸的所显示的UI元素121～124中的一个或多个，这里也称为可能的UI元素。优选地，这些是具有被设备100的用户触摸的最高概率的一个或多个UI元素。通过在触摸图案上查找UI元素在触摸屏上的位置来确定每个UI元素的触摸概率。触摸图案反映了用户触摸触摸屏110上的特定位置或其区域的相对概率。触摸图案可被存储在设备100的数据存储器中，例如处理装置111(参见图4，下面进一步描述)所包括的存储器430中，或者存储在设备100通过通信网络160(设备100可操作以访问该通信网络160)可以访问的数据存储器，例如网络附加存储(NAS)或云存储器中。在本领域中也被称为热图的这种触摸图案将在下面参考图3进一步详细描述。它们反映了设备100的几何形状、用户手150的解剖结构、用户握住和操作设备100的方式(例如单手或用双手)、以及用户的触摸习惯。特别是对于单手操作，当用手150握住设备100时，触摸图案显著地受到可由拇指151的尖端访问的触摸屏110的有限区域130的影响。
处理装置111进一步操作以对设备100的用户可能触摸的一个或多个UI元素中的至少一个执行与UI元素相关联的动作。为此，执行的动作是与根据触摸图案、最可能被用户触摸的UI元素相关联的动作。可选地，可以确定可能被触摸的多个UI元素，并执行与其相关联的动作。作为备选，处理装置111可以操作以初始执行与最可能的UI元素相关联的动作，并且随后根据被用户触摸的概率降低来执行与其他可能的UI元素相关联的一个或多个动作。
例如，链接122可以例如与请求由服务器180提供的内容(例如网页、视频或应用或app)的动作相关联。可以通过可经由通信网络160访问的网络地址(诸如指向web服务器180、媒体服务器180等的URL)来识别内容。
为此，设备100通过对用户可能通过触摸链接122请求的数据进行请求和取回来预取内容。处理装置111还可以操作以检测用户对被确定为可能被设备100的用户触摸的一个或多个UI元素中的一个的触摸，并且呈现所请求的与所触摸的UI元素相关联的内容。也就是说，如果在用户触摸相关联的UI元素之前成功取回所请求的内容，则在设备100上显示或呈现该内容。例如，所请求的网页可以通过在设备100上执行的网络浏览器来呈现，并且所请求的视频可以通过在设备100上执行的视频播放器来呈现。如果只有一部分内容在用户触摸相关联的UI元素之前被取回，并且根据所请求的内容的类型，处理装置111可以在取回剩余部分的同时开始呈现内容。此外，如果触摸的UI元素不在被确定为可能的UI元素中，则设备100请求与被触摸的UI元素相关联的内容，并且可以丢弃预取的内容。
作为另一示例，图标121或123可以与将存储在设备100的第一存储器中的计算机可执行指令加载到设备100的第二存储器中的动作相关联，其中第二存储器具有比第一存储器更短的访问时间。例如，计算机可执行指令，即一段软件或软件或计算机程序、应用程序或app的一部分可以从诸如随机存取存储器(RAM)之类的主存储器430加载到处理装置111(下面进一步描述的图4所示)的处理器420中包括的高速缓存存储器421中。通常，这样的高速缓存存储器被提供为与执行指令的处理器相邻并且经常被包含在与执行指令的处理器相同的集成电路(IC)中，导致与其它类型的数据存储器(例如主存储器、硬盘驱动器、NAS或云存储器)相比较的更短的访问时间。通过预加载指令，降低了时延，并且用户一旦在触摸与预加载指令相关联的图标之后会体验到设备100的操作更快捷。处理装置111还可以操作以检测用户对被确定为可能被设备100的用户触摸的一个或多个UI元素中的一个的触摸，并执行被预加载到第二存储器(例如高速缓存存储器421)的计算机可执行指令。如果被触摸的UI元素不在被确定为可能的UI元素之中，则处理装置111将与被触摸的UI元素相关联的计算机可执行指令加载到第二存储器中，并且预加载的指令可以被丢弃或覆盖。
此外，参照图1，处理装置111可以进一步操作以检测用户对所显示的UI元素121～124中的一个的触摸，并且基于所触摸的UI元素的位置来更新触摸图案。也就是说，设备100可以连续地、偶尔地或在训练阶段期间，通过基于用户与设备100的实际交互(即，用户触摸触摸屏110)来更新触摸图案从而学习用户的触摸习惯。这是有利的，因为对用户最可能触摸的一个或多个UI元素的预测变得更准确。作为备选，处理装置111可操作以基于用户交互的位置(即，手150的手指151触摸触摸屏110的位置)以及指示预测(即确定用户可能触摸的所显示的UI元素121～124中的一个或多个)是否成功的信息来更新触摸图案。作为又一实施例，代替使用用户特定的触摸图案，设备100的实施例可以利用通用触摸图案或通过对一组用户的触摸交互求平均而导出的触摸图案。
再进一步参考图1，处理装置111可操作以响应于检测正在进行的滚动运动即将停止来确定设备100的用户可能触摸的一个或多个UI元素。例如，处理装置111可操作以检测设备100的用户已经释放了她滚动的所显示的图形对象(例如网页)，使滚动的对象变慢直到其停止为止。备选地，处理装置111可操作以通过触摸触摸屏以停止滚动对象来检测设备100的用户已经停止正在进行的滚动运动。
可选地，处理装置111可操作以响应于检测到正在进行的滚动运动将要停止而启动定时器，并且在定时器已经失效之后执行相关联的一个或多个动作。换句话说，并非在检测到正在进行的滚动运动即将停止之后立即确定用户可能触摸的所显示的UI元素121～124中的一个或多个并随后执行与所述一个或多个可能的UI元素相关联的一个或多个动作，而是处理装置111可操作以延迟执行相关联的一个或多个动作，以避免在短持续时间之后用户继续滚动的情况下徒劳地执行动作。如果用户一旦在手指151到达触摸屏110的周缘(例如触摸屏110的上端或下端)时抬起用于滚动图形对象的手指151，使得手指151的尖端移动离开周缘以便继续滚动时，可能会是这种情况。定时器的持续时间可以由设备100的用户配置，或者预设为固定值。应当理解，定时器的最佳持续时间取决于用户的习惯，特别是取决于用户在滚动时移动她的手指151的速度。通常，定时器的持续时间在几十毫秒到几百毫秒的数量级。还可以设想本发明的实施例，其可操作以在由用户操作设备100的期间学习定时器的最佳值。更具体地说，处理装置111可操作以连续地、偶尔地或在训练阶段期间测量在检测正在进行的滚动运动将要停止的时间与用户触摸触摸屏110以继续滚动或触摸UI元素之间的持续时间，以便发起诸如预取或预加载之类的动作。基于测量的持续时间的数据集，处理装置111可操作以选择定时器的最佳持续时间，使得至少在一定程度上避免在用户继续滚动的情况下执行相关联的动作。例如，如果所测量的持续时间呈现双峰分布(bimodal distribution)，使得较短持续时间模式可以与用户触摸触摸屏110以继续滚动相关联，并且较长持续时间的第二模式可以与用户触摸触摸屏110上所显示的UI元素121～124相关联，则最佳定时器持续时间是介于两种模式之间的值。
优选地，处理装置111可操作以基于当滚动运动停止时所显示的UI元素停留的相应位置来确定设备的用户可能触摸的一个或多个UI元素。这涉及当用户滚动在显示时大于触摸屏110的图形对象(例如网页、文本或图像集合)的情况。在这种情况下，只有图形对象的一部分在触摸屏110上可见，例如报纸网页的一部分呈现简短摘要以及与指向深入文章的链接。基于触摸屏的设备(例如设备100)的用户培养出何时释放滚动对象的感觉，使得他们打算触摸的UI元素停留在当该滚动对象停留时易于访问的触摸屏的区域中。例如，如果滚动报纸网页，则当用户认为指向有趣的文章的链接在触摸屏110的底部可见时，用户可以释放滚动的网页。一旦滚动的网页停留下来，链接(例如链接122)被显示在易于访问的触摸屏110的区域130中，并且用户可以通过触摸链接来请求链接的文章。本发明的实施(例如设备100)的优点在于，可以预取所链接的文章以及可选地可以通过停留在具有高触摸概率的触摸屏110的区域中的链接来请求的其它内容，如前所述。
可选地，处理装置111还可以操作以响应于检测设备100的特征运动、设备100的特征取向变化或以上两者来确定设备100的用户可能触摸的一个或多个UI元素。这是设备100的运动和/或取向变化，其发生在用户将她的拇指151伸展到触摸屏110的更难以访问的区域时，从而有效地修改触摸图案。为了检测设备100的运动和/或取向变化，该设备可选地设置有适于检测设备的运动、取向变化或这二者的传感器112，例如加速度计或陀螺仪。通过在用户触摸触摸屏110之前检测设备100的运动和/或取向变化，由例如设备100的特定位移、加速度或倾斜来表征的特定运动和/或取向变化与特定的触摸图案之间的关联可以被导出并存储以供将来使用。以这种方式，获得取决于设备100的特征运动和/或特征取向变化的触摸图案。这样的触摸图案是有利的，因为它们提供对用户可能触摸的UI元素的更准确的预测。由于用户可以将其拇指伸展到难以到达的触摸屏110的某些区域，因此会是这种情况。与触摸屏110的区域130相比，这些区域相当小，可以在不伸展拇指151的情况下进行访问。因此，响应于检测设备100的特征运动和/或特征取向变化，可以以改进的准确度来确定最可能的UI元素。
本领域技术人员将理解，尽管图1中的设备100被示出为被设计为由设备100的用户的一只手150操作，但是本发明的实施例不限于单手操作。相反，取决于用于手持操作的设备的实施例的几何形状，它可以由一只手(即单手)或用双手操作。为了说明利用用户的双手150和155操作，图2中示出了用于手持操作的设备的备选实施例200。设备200类似于设备100，并且包括触摸屏110、处理装置111、用于经由RAN 170与通信网络160通信的装置113、以及可选地用于检测设备200的运动的传感器112。与设备100相反，且由于与设备100相比设备200的尺寸较大，因此设备200被示出为由用户的一只手150握持，而用户的另一只手155使用手155的手指(例如食指152)与触摸屏110交互。设备200可以例如是平板设备。有关详细信息，请参考上文所述内容。
在下文中，根据本发明的实施例，参考图3来描述触摸图案。
在图3中，示出了四种示例性触摸图案，在本领域中也称为触摸热图。触摸图案反映了诸如设备100或200之类的设备的用户在特定位置处触摸设备的触摸屏110的相对概率。注意，图3所示的触摸图案被示出为具有与设备100的触摸屏110相同的纵横比，但是可以容易地设想具有其他纵横比的对应触摸图案，例如设备200的触摸屏110的触摸图案。
触摸图案310和320被示出为利用用于描述触摸概率的两个直方图311/312和321/322，针对触摸屏110的每个轴或边有一个直方图。使用包括概率值在内的两个向量(针对两个直方图中的每个直方图有一个向量)，这样的触摸图案可以存储在设备100或200的数据存储器中(例如，作为处理装置111的存储器430中的触摸图案432，参见图4)或存储在可由设备100或200访问的数据存储器(例如，可通过通信网络160访问的NAS或云存储器)中。备选地，如触摸图案330所示，可以将优选相等尺寸的区域或单元的网格331分配给触摸屏110，并且可以将每个区域的概率值排列在这种数据存储器所存储的矩阵中。在这种情况下，包含概率值在内的矩阵表示反映触摸概率的二维直方图。作为另一备选方案，也可以使用本领域已知的任何合适格式将相对触摸概率存储为轮廓图341，如触摸图案340所示。应当理解，可以使用适合于描述设备的用户触摸设备的触摸屏的特定区域的相对概率的任何其他格式来存储根据本发明的实施例的触摸图案。
如上所述，本发明的实施例使用的触摸图案可以是用户特定的。这是有利的，因为对用户可能触摸的UI元素的预测考虑了用户的习惯以及用户的单手或双手的解剖结构。此外，可以通过基于用户与触摸屏的实际交互来更新触摸图案，从而随着时间的推移改善用户特定的触摸图案。
除了是用户特定的之外，或者代替用户特定的，触摸图案还可以取决于所显示的UI元素121～124，特别是其在触摸屏110上的布置。
这在图3中示出，图3例示了UI元素的单列布置(例如链接列表)的触摸图案310，而触摸图案320反映了以网格形式布置的UI元素(诸如图像或图标集合)的触摸概率。
本发明的实施例还可以利用与取决于所显示的UI元素和/或取决于设备的特征运动，和/或取决于所述设备的特征取向变化相结合的用户特定的触摸图案。
还将理解，触摸图案可以在不同的设备之间共享，特别是在同一用户的不同设备之间共享。这是有利的，因为用户已经在一个设备上训练的触摸图案可以根据本发明的实施例用于在另一设备上预测最可能的UI元素。不同的设备可以具有相同或不同的类型，并且可以包括具有相同、相似或不同的尺寸和宽高比的触摸屏。可以通过将描述触摸图案的数据，诸如向量、矩阵或轮廓图之类，存储在网络数据存储器上而不是存储在设备的数据存储器中或者另外也存储在设备的数据存储器中来实现设备之间的触摸图案共享。网络数据存储器可以例如是NAS或云存储器，设备可操作以经由通信网络160(图1和图2中未示出，但类似于服务器180)对其进行访问。
本发明的实施例可以包括用于实现上文所描述的特征的不同装置，并且这些特征在某些情况下可以根据多个备选方案实现。例如，显示UI元素可以例如由处理装置111执行，可能与触摸屏110协作地执行设备100或200的操作系统。关于在多个设备之间共享触摸图案，如上所述，应当理解，贯穿本公开描述的功能的至少部分可以在网络计算资源上执行，例如不同设备可通过通信网络160访问的服务器(图1和图2中未示出，但类似于服务器180)。更具体地，响应于设备100或200检测用户触摸所显示的UI元素中的一个，可以在这样的服务器处而不是设备100或200处执行基于触摸的UI元素的位置来更新触摸图案。在这种情况下，将与被触摸的UI元素相关的信息从设备100或200发送到服务器，服务器响应于接收到与所触摸的UI元素相关的信息来更新触摸图案。通过推送经更新的触摸图案或根据设备之一的请求，服务器向不同的设备提供经更新的触摸图案。还将理解，维护和更新触摸图案可以被提供为云服务。
在图4中，示出了处理装置111的实施例400。处理装置400包括处理器420(例如通用处理器)、包含指令431(即，计算机程序)在内的存储器430、以及一个或多个接口410(图4中的“I/O”)，所述接口操作以从触摸屏110以及可选地从传感器112和/或无线电单元113接收信息并对其执行控制。计算机程序431可由处理器420执行，由此设备100或200可操作以根据本发明的实施例进行操作，如上文参照图1至3所述。处理装置400还可操作以将一个或多个触摸图案432存储在存储器430中，并且可选地更新所存储的触摸图案432，如前所述。图4中还示出了处理器420所具有的高速缓存存储器421。高速缓存存储器421的访问时间比存储器430短。在本发明的实施例中，如果确定与计算机可执行指令431相关联的UI元素可能被设备100或200的用户触摸，则存储在存储器430中的计算机可执行指令431至少部分地被加载到高速缓存存储器421中。
图5中示出了用于手持操作的设备(例如设备100或200)的方法的实施例500的流程图。方法500包括在设备的触摸屏上显示510多个UI元素，其中所显示的UI元素中的每一个与响应于触摸UI元素而执行的动作相关联。方法500还包括：基于触摸图案来确定530设备的用户可能触摸的所显示的UI元素中的一个或多个，并且对设备的用户可能触摸的一个或多个UI元素中的至少一个执行540与UI元素相关联的动作。触摸图案可以可选地是用户特定的和/或取决于所显示的UI元素，特别是所显示的UI元素在设备的触摸屏上的布置。
例如，该动作可以包括经由设备可操作地访问的通信网络来请求541(即预取)由服务器提供的内容。可选地，可以通过与UI元素相关联的网络地址(例如URL)来识别内容。进一步可选地，方法500可以包括检测542用户对设备的用户可能触摸的一个或多个UI元素中的一个的触摸，并且呈现543所请求的与触摸的UI元素相关联的内容。
作为备选，所述动作可以包括：将设备中包括的第一存储器中存储的计算机可执行指令加载545到该设备所包括的第二存储器中，其中第二存储器具有比第一存储器更短的访问时间。第二存储器可以例如包括高速缓存存储器。可选地，方法500还可以包括：检测546用户对设备的用户可能触摸的一个或多个UI元素中的一个的触摸，并且执行547所加载的与被触摸的UI元素相关联的计算机可执行指令。
可选地，方法500还可以包括：检测550用户对所显示的UI元素中的一个的触摸，并且基于所触摸的UI元素的位置来更新560触摸图案。
进一步可选地，响应于检测521正在进行的滚动运动即将停止，可以确定530设备的用户可能触摸的一个或多个UI元素。在这种情况下，可以基于在滚动运动停止时所显示的UI元素停留的相应位置来确定530设备的用户可能触摸的一个或多个UI元素。
备选地，可以响应于检测522设备的特征运动、设备的特征取向变化或以上两者来确定530设备的用户可能触摸的一个或多个UI元素。可选地，触摸图案可以取决于特征运动、特征取向变化或以上两者。
应当理解，方法500可以包括根据上文所描述的附加或修改的步骤。方法500的实施例可以被实现为将由设备中包括的处理器(诸如参考图4描述的处理器420)执行的软件(诸如计算机程序431)，由此该设备可操作以按照具有本发明的实施例进行操作。
在图6中示出了处理装置111的备选实施例600。处理装置600包括一个或多个接口模块610(图6中的“I/O”)，该接口模块可操作以从触摸屏110以及可选地从传感器112和/或无线电单元113接收信息并对其执行控制。处理装置600还包括显示模块611、触摸图案模块612、以及动作模块613，其中显示模块611可操作以在触摸屏110上显示多个UI元素，触摸图案模块612可操作以基于触摸图案来确定设备的用户可能触摸的所显示的UI元素中的一个或多个，以及动作模块613可操作以对设备的用户可能触摸的一个或多个UI元素中的至少一个执行与UI元素相关联的动作。触摸图案可以可选地是用户特定的和/或取决于所显示的UI元素，特别是所显示的UI元素在设备的触摸屏上的布置。
例如，动作模块613可操作以经由设备可操作地访问的通信网络来请求(即预取)由服务器提供的内容。可选地，可以由与UI元素相关联的网络地址(例如URL)来识别内容。进一步可选地，动作模块613可操作以检测用户对设备的用户可能触摸的一个或多个UI元素中的一个的触摸，并呈现所请求的与所触摸的UI元素相关联的内容。
作为备选，动作模块613可操作以将设备所包括的第一存储器中存储的计算机可执行指令加载到设备所包括的第二存储器中，其中第二存储器具有比第一存储器更短的访问时间。第二存储器可以例如包括高速缓存存储器。可选地，动作模块613还可操作以检测用户对设备的用户可能触摸的一个或多个UI元素中的一个的触摸，并且执行所加载的与所触摸的UI元素相关联的计算机可执行指令。
如上所述，处理装置600可以包括用于实现根据本发明的实施例的附加或修改的特征的附加模块。例如，处理装置600可以包括学习模块614，其可操作以响应于检测用户对所显示的UI元素之一的触摸以及基于所触摸的UI元素的位置来更新触摸图案。
作为另一示例，处理装置600可以包括滚动模块615，其可操作以检测正在进行的滚动运动即将停止。因此，触摸图案模块612可以可选地操作以响应于检测正在进行的滚动运动即将停止时，确定设备的用户可能触摸的一个或多个UI元素。触摸图案模块612可进一步操作以基于当滚动运动停止时所显示的UI元素停留的相应位置来确定设备的用户可能触摸的一个或多个UI元素。
作为又一个示例，处理装置600可以包括运动模块616，运动模块616可操作以基于从传感器113接收到的信息，响应于检测设备的特征运动、设备的特征取向变化或以上两者，来确定设备的用户可能触摸的一个或多个UI元素。可选地，触摸图案可以取决于特征运动、特征取向变化或以上两者。
应当理解，模块611～616以及处理装置600中包括的任何附加模块可以由任何种类的电子电路(例如模拟电子电路、数字电子电路和执行合适的计算机程序的处理装置中的任何一个或组合)来实现。
本领域技术人员意识到本发明绝不限于上述实施例。相反，在所附权利要求的范围内，许多修改和变化是可能的。

Claims (34)

1.一种用于手持操作的设备(100；200)，所述设备包括：
触摸屏(110)，以及
处理装置(111；400；600)，其操作为：
在触摸屏上显示多个用户界面“UI”元素(121～124)，所述多个UI元素中的每一个与响应于触摸UI元素而执行的动作相关联，
基于触摸图案(310，320，330，340)来确定所述设备的用户(150～152，155)可能触摸的所显示的UI元素中的一个或多个，以及
对所述设备的用户可能触摸的所述一个或多个UI元素中的至少一个执行与所述UI元素相关联的动作。
2.根据权利要求1所述的设备，其中，所述触摸图案是用户特定的。
3.根据权利要求1或2所述的设备，其中，所述触摸图案取决于所显示的UI元素。
4.根据权利要求1至3中任一项所述的设备，其中，所述动作包括：经由所述设备能够操作访问的通信网络(160，170)来请求由服务器(180)提供的内容。
5.根据权利要求1至4中任一项所述的设备，其中，所述内容是通过与所述UI元素相关联的网络地址来识别的。
6.根据权利要求4或5所述的设备，所述处理装置还操作为：
检测用户对所述设备的用户可能触摸的所述一个或多个UI元素中的一个的触摸，以及
呈现所请求的与所触摸的UI元素相关联的内容。
7.根据权利要求1至3中任一项所述的设备，其中，所述动作包括将所述设备的第一存储器(430)中存储的计算机可执行指令(432)加载到所述设备的第二存储器(421)中，所述第二存储器具有比第一存储器更短的访问时间。
8.根据权利要求7所述的设备，其中，所述第二存储器包括高速缓存存储器。
9.根据权利要求7或8所述的设备，所述处理装置还操作为：
检测用户对所述设备的用户可能触摸的所述一个或多个UI元素中的一个的触摸，以及
执行所加载的与所触摸的UI元素相关联的计算机可执行指令。
10.根据权利要求1至9中任一项所述的设备，所述处理装置还操作以：
检测用户对所显示的UI元素之一的触摸，以及
基于所触摸的UI元素的位置来更新触摸图案。
11.根据权利要求1至10中任一项所述的设备，所述处理装置操作为响应于检测到正在进行的滚动运动即将停止来确定所述设备的用户可能触摸的所述一个或多个UI元素。
12.根据权利要求11所述的设备，所述处理装置操作为基于滚动运动停止时所显示的UI元素停留的相应位置来确定所述设备的用户可能触摸的所述一个或多个UI元素。
13.根据权利要求1至12中任一项所述的设备，所述处理装置操作为响应于检测到所述设备的特征运动或特征取向变化中的至少一个来确定所述设备的用户可能触摸的所述一个或多个UI元素。
14.根据权利要求13所述的设备，其中，所述触摸图案取决于特征运动和/或特征取向变化。
15.根据权利要求1至14中任一项所述的设备，其中，所述设备被配置为单手操作。
16.根据权利要求1至15中任一项所述的设备，其中，所述设备是移动终端、智能电话和平板设备之一。
17.一种用于手持操作的设备的方法(500)，所述设备包括触摸屏，所述方法包括：
在触摸屏上显示(510)多个用户界面“UI”元素，所述多个UI元素中的每一个与响应于触摸UI元素而执行的动作相关联，
基于触摸图案来确定(530)所述设备的用户可能触摸的所显示的UI元素中的一个或多个，以及
对所述设备的用户可能触摸的所述一个或多个UI元素中的至少一个执行(540)与所述UI元素相关联的动作。
18.根据权利要求17所述的方法，其中，所述触摸图案是用户特定的。
19.根据权利要求17或18所述的方法，其中，所述触摸图案取决于所显示的UI元素。
20.根据权利要求17至19中任一项所述的方法，其中，所述动作包括：经由所述设备能够操作访问的通信网络来请求(541)由服务器提供的内容。
21.根据权利要求17至20中任一项所述的方法，其中，所述内容是通过与所述UI元素相关联的网络地址来识别的。
22.根据权利要求20或21所述的方法，还包括：
检测(542)用户对所述设备的用户可能触摸的所述一个或多个UI元素中的一个的触摸；以及
呈现(543)所请求的与所触摸的UI元素相关联的内容。
23.根据权利要求17至19中任一项所述的方法，其中，所述动作包括：将所述设备中包括的第一存储器中存储的计算机可执行指令加载(545)到所述设备中包括的第二存储器中，所述第二存储器具有比第一存储器更短的访问时间。
24.根据权利要求23所述的方法，其中，所述第二存储器包括高速缓存存储器。
25.根据权利要求23或24所述的方法，还包括：
检测(546)用户对所述设备的用户可能触摸的所述一个或多个UI元素中的一个的触摸；以及
执行(547)所加载的与所触摸的UI元素相关联的计算机可执行指令。
26.根据权利要求17至25中任一项所述的方法，还包括：
检测(550)用户对所显示的UI元素中的一个的触摸，以及
基于所触摸的UI元素的位置来更新(560)触摸图案。
27.根据权利要求17至26中任一项所述的方法，其中，响应于检测到(521)正在进行的滚动运动即将停止，确定所述设备的用户可能触摸的所述一个或多个UI元素。
28.根据权利要求27所述的方法，其中，基于在滚动运动停止时所显示的UI元素停留的相应位置来确定(530)所述设备的用户可能触摸的所述一个或多个UI元素。
29.根据权利要求17至28中任一项所述的方法，其中，响应于检测到(522)所述设备的特征运动或特征取向变化中的至少一个，确定所述设备的用户可能触摸的所述一个或多个UI元素。
30.根据权利要求29所述的方法，其中，所述触摸图案取决于特征运动和/或特征取向变化。
31.根据权利要求17至30中任一项所述的方法，其中，所述设备被配置为单手操作。
32.根据权利要求17至31中任一项所述的方法，其中，所述设备是移动终端、智能电话和平板设备之一。
33.一种计算机程序(432)，包括计算机可执行指令，用于当在所述设备中包括的处理单元(420)上执行所述计算机可执行指令时，使所述设备执行根据权利要求17至32中任一项所述的方法。
34.一种计算机程序产品，包括计算机可读存储介质(430)，所述计算机可读存储介质中具有根据权利要求33所述的计算机程序(432)。
CN201580077783.6A 2015-03-13 2015-03-13 用于手持操作的设备及其方法 Active CN107408117B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2015/050283 WO2016148610A1 (en) 2015-03-13 2015-03-13 Device for handheld operation and method thereof

Publications (2)

Publication Number Publication Date
CN107408117A true CN107408117A (zh) 2017-11-28
CN107408117B CN107408117B (zh) 2021-01-12

Family

ID=53039556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580077783.6A Active CN107408117B (zh) 2015-03-13 2015-03-13 用于手持操作的设备及其方法

Country Status (10)

Country Link
US (2) US10691170B2 (zh)
EP (2) EP3879392A1 (zh)
KR (1) KR102127270B1 (zh)
CN (1) CN107408117B (zh)
AU (1) AU2015387254B2 (zh)
CA (1) CA2979658A1 (zh)
MX (1) MX2017011692A (zh)
RU (1) RU2693905C2 (zh)
WO (1) WO2016148610A1 (zh)
ZA (1) ZA201706199B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111492346A (zh) * 2018-08-24 2020-08-04 谷歌有限责任公司 动态可配置的应用控制元素

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3879392A1 (en) * 2015-03-13 2021-09-15 Telefonaktiebolaget LM Ericsson (publ) Device for handheld operation and method thereof
WO2019145013A1 (en) 2018-01-23 2019-08-01 Telefonaktiebolaget Lm Ericsson (Publ) Communications device for handheld operation and method thereof
US10536857B1 (en) * 2019-06-24 2020-01-14 Bank Of America Corporation Systems and methods for pre-authenticating a user on a mobile device
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) * 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060294223A1 (en) * 2005-06-24 2006-12-28 Microsoft Corporation Pre-fetching and DNS resolution of hyperlinked content
US20090271723A1 (en) * 2008-04-24 2009-10-29 Nintendo Co., Ltd. Object display order changing program and apparatus
CN102609130A (zh) * 2010-12-29 2012-07-25 微软公司 计算设备中的触摸事件预期
US20120265978A1 (en) * 2011-04-13 2012-10-18 Research In Motion Limited System and Method for Context Aware Dynamic Ribbon
US20130076645A1 (en) * 2011-09-23 2013-03-28 Motorola Solutions, Inc. Fixed display system interaction with a communication device
US20140022285A1 (en) * 2012-07-20 2014-01-23 Thomas Jan Stovicek Handheld device with ergonomic display features
US20140149935A1 (en) * 2012-11-28 2014-05-29 Michael Dudley Johnson User-Intent-Based Chrome

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714791B2 (en) * 2001-02-23 2004-03-30 Danger, Inc. System, apparatus and method for location-based instant messaging
US7310676B2 (en) * 2004-02-09 2007-12-18 Proxpro, Inc. Method and computer system for matching mobile device users for business and social networking
KR100608576B1 (ko) * 2004-11-19 2006-08-03 삼성전자주식회사 휴대 단말기 제어 장치 및 방법
WO2006126055A2 (en) * 2005-05-23 2006-11-30 Nokia Corporation Improved pocket computer and associated methods
US7747749B1 (en) 2006-05-05 2010-06-29 Google Inc. Systems and methods of efficiently preloading documents to client devices
US20090109183A1 (en) * 2007-10-30 2009-04-30 Bose Corporation Remote Control of a Display
KR101612283B1 (ko) * 2009-09-10 2016-04-15 삼성전자주식회사 휴대용 단말기에서 사용자의 입력 패턴을 판단하기 위한 장치 및 방법
JP4719804B2 (ja) * 2009-09-24 2011-07-06 富士通東芝モバイルコミュニケーションズ株式会社 携帯端末
US8407608B1 (en) * 2010-05-27 2013-03-26 Amazon Technologies, Inc. Touch input assist
US8892594B1 (en) * 2010-06-28 2014-11-18 Open Invention Network, Llc System and method for search with the aid of images associated with product categories
JP5381945B2 (ja) * 2010-09-21 2014-01-08 アイシン・エィ・ダブリュ株式会社 タッチパネル式操作装置、タッチパネルの操作方法及びコンピュータプログラム
US8732569B2 (en) 2011-05-04 2014-05-20 Google Inc. Predicting user navigation events
US10504485B2 (en) * 2011-12-21 2019-12-10 Nokia Tehnologies Oy Display motion quality improvement
US8849731B2 (en) * 2012-02-23 2014-09-30 Microsoft Corporation Content pre-fetching for computing devices
KR101403025B1 (ko) * 2012-02-29 2014-06-11 주식회사 팬택 터치 디스플레이를 구비한 디바이스 및 터치 오동작 방지 방법
EP2645218A1 (en) 2012-03-29 2013-10-02 Sony Mobile Communications AB Method for operating an electronic device
KR20150022003A (ko) * 2012-06-18 2015-03-03 유롱 컴퓨터 텔레커뮤니케이션 테크놀로지즈 (셴첸) 코., 엘티디. 단말 및 인터페이스 조작 관리 방법
KR101414237B1 (ko) 2012-10-11 2014-07-01 연세대학교 산학협력단 데이터 프리로드를 통한 단말의 gui 반응 속도 증대 방법 및 그 단말
US8554283B1 (en) * 2013-02-19 2013-10-08 Fawzi Q. M. A. O. A. Behbehani Locating software for smartphone and PC
KR200468960Y1 (ko) 2013-02-20 2013-09-09 황지아 남성용 기능성 팬티
US9207972B2 (en) * 2013-03-14 2015-12-08 International Business Machines Corporation Meta-application management in a multitasking environment
US9244592B2 (en) * 2013-06-18 2016-01-26 Microsoft Technology Licensing, Llc User interface coalescing heuristics
EP2960750B1 (en) * 2014-06-27 2019-02-20 Samsung Electronics Co., Ltd Portable terminal and display method thereof
WO2016044807A1 (en) * 2014-09-18 2016-03-24 Tactual Labs Co. Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US10503377B2 (en) * 2014-11-24 2019-12-10 Facebook, Inc. Dynamic status indicator
EP3879392A1 (en) * 2015-03-13 2021-09-15 Telefonaktiebolaget LM Ericsson (publ) Device for handheld operation and method thereof
US11025565B2 (en) * 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US9967390B2 (en) * 2016-08-30 2018-05-08 Google Llc Device-orientation controlled settings

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060294223A1 (en) * 2005-06-24 2006-12-28 Microsoft Corporation Pre-fetching and DNS resolution of hyperlinked content
US20090271723A1 (en) * 2008-04-24 2009-10-29 Nintendo Co., Ltd. Object display order changing program and apparatus
CN102609130A (zh) * 2010-12-29 2012-07-25 微软公司 计算设备中的触摸事件预期
US20120265978A1 (en) * 2011-04-13 2012-10-18 Research In Motion Limited System and Method for Context Aware Dynamic Ribbon
US20130076645A1 (en) * 2011-09-23 2013-03-28 Motorola Solutions, Inc. Fixed display system interaction with a communication device
US20140022285A1 (en) * 2012-07-20 2014-01-23 Thomas Jan Stovicek Handheld device with ergonomic display features
US20140149935A1 (en) * 2012-11-28 2014-05-29 Michael Dudley Johnson User-Intent-Based Chrome

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林藠头: "Heatmap.ps：用热图帮开发者了解用户的触控行为", 《雷锋网：HTTPS://WWW.LEIPHONE.COM/NEWS/201406/HEATMAP-HELP-DEVELOPER-ACCESS-USERS.HTML》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111492346A (zh) * 2018-08-24 2020-08-04 谷歌有限责任公司 动态可配置的应用控制元素

Also Published As

Publication number Publication date
ZA201706199B (en) 2019-01-30
BR112017019319A2 (pt) 2018-06-05
US10691170B2 (en) 2020-06-23
AU2015387254A1 (en) 2017-10-05
RU2017135383A (ru) 2019-04-08
WO2016148610A1 (en) 2016-09-22
EP3879392A1 (en) 2021-09-15
RU2693905C2 (ru) 2019-07-05
EP3268853A1 (en) 2018-01-17
US20200264665A1 (en) 2020-08-20
KR102127270B1 (ko) 2020-06-26
KR20170126499A (ko) 2017-11-17
EP3268853B1 (en) 2021-05-05
US11347264B2 (en) 2022-05-31
CN107408117B (zh) 2021-01-12
RU2017135383A3 (zh) 2019-04-08
US20180052492A1 (en) 2018-02-22
MX2017011692A (es) 2017-11-10
CA2979658A1 (en) 2016-09-22
AU2015387254B2 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
CN107408117A (zh) 用于手持操作的设备及其方法
US9298341B2 (en) Apparatus and method for switching split view in portable terminal
CN107291356B (zh) 文件传输显示控制方法、装置及相应的终端
KR101892315B1 (ko) 컴퓨팅 디바이스 내의 터치 이벤트의 예상
CN107943825A (zh) 页面访问的数据处理方法、装置及电子设备
KR101995278B1 (ko) 터치 디바이스의 ui 표시방법 및 장치
Lee et al. Fingerstroke time estimates for touchscreen-based mobile gaming interaction
US20090243998A1 (en) Apparatus, method and computer program product for providing an input gesture indicator
US10506292B2 (en) Video player calling method, apparatus, and storage medium
US20170277364A1 (en) User interface with dynamic refinement of filtered results
CN104898936B (zh) 一种翻页方法和移动设备
CN103562820A (zh) 目标歧义消除和校正
CN105677314B (zh) 滚动事件的处理方法、装置和设备
KR20150039803A (ko) 특히 터치 제스처 오프셋에 관한 방법, 저장매체 및 시스템
US9383858B2 (en) Method and device for executing an operation on a mobile device
CN107390923A (zh) 一种屏幕防误触方法、装置、存储介质和终端
CN107450841A (zh) 交互对象控制方法及装置
CN104049896B (zh) 一种显示方法及装置
EP2387009A1 (en) Mobile device, method and system for providing game on idle screen
EP2520076A1 (en) An apparatus, method, computer program and user interface
CN108628509A (zh) 图文信息的位置调整方法、移动终端及可读存储介质
WO2015160765A1 (en) Displaying a plurality of selectable actions
CN107728900A (zh) 虚拟按键的手势操作方法、移动终端及存储介质
CN108885508A (zh) 在任意时间到系统的异步交互移交
JP2012230563A (ja) 電子機器、制御方法および制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant