CN107683457B - 基于悬停信息来暂停瞬时用户界面元素 - Google Patents

基于悬停信息来暂停瞬时用户界面元素 Download PDF

Info

Publication number
CN107683457B
CN107683457B CN201680031164.8A CN201680031164A CN107683457B CN 107683457 B CN107683457 B CN 107683457B CN 201680031164 A CN201680031164 A CN 201680031164A CN 107683457 B CN107683457 B CN 107683457B
Authority
CN
China
Prior art keywords
display surface
user interface
transient
computer system
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680031164.8A
Other languages
English (en)
Other versions
CN107683457A (zh
Inventor
A·佩雷拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107683457A publication Critical patent/CN107683457A/zh
Application granted granted Critical
Publication of CN107683457B publication Critical patent/CN107683457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

各实施例涉及使用悬停信息来暂停瞬时用户界面特征。在一个场景中，计算机系统检测计算机系统的显示表面处或附近物体的存在。计算机系统标识物体相对于显示表面的位置并基于所标识的物体的位置来确定物体将在何处接触显示表面。计算机系统还标识正被显示在物体被确定为接触显示表面处的瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素。

Description

基于悬停信息来暂停瞬时用户界面元素
背景
移动设备(包括智能电话、平板以及可穿戴设备)已在当今社会中变得普遍。这些设备通过应用和硬件组件来提供许多不同种类的功能。这些应用通常具有允许用户与应用进行交互的用户界面(“UI”)。UI可具有静态元素以及随时间变化的瞬时元素。在一些情况下，瞬时元素可能在用户不期望的时间变化。
简要概述
本文描述的实施例涉及使用悬停信息来暂停瞬时用户界面特征。在一个实施例中，计算机系统检测计算机系统的显示表面处或附近物体的存在。计算机系统标识物体相对于显示表面的位置并基于所标识的物体的位置来确定物体将在何处可能接触显示表面。计算机系统还标识正被显示在物体被确定为接触显示表面处的瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素。暂停瞬时用户界面元素使得用户界面更可靠，因为用户能确保接触他或她希望接触的元素并且获得该接触的预期结果。这还使得用户界面更高效，因为用户不必撤销由于瞬时用户界面元素的突然变化而导致的错误执行的动作。
在另一实施例中，提供了一种计算机系统，其包括以下组件：处理器，显示器，物体检测器，用于检测所述计算机系统的显示表面处或附近物体的存在，位置标识模块，用于标识所述物体相对于所述显示表面的位置，轨迹确定模块，用于确定所检测到的物体相对于所述显示器的表面的当前轨迹，接触点确定模块,用于基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点，标识模块，用于标识正被显示在所确定的所述显示表面上的接触点处的瞬时用户界面元素，以及暂停模块，用于暂停所标识的瞬时用户界面元素。
在另一实施例中，提供了一种用于使用悬停信息来暂停瞬时用户界面特征的替代方法。计算机系统检测计算机系统的显示表面处或附近物体的存在，并且标识所述物体相对于所述显示表面的位置。计算机系统进一步确定所检测到的物体相对于所述显示器的表面的当前轨迹，并且基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点。计算机系统还标识正被显示在被确定为显示表面上的接触点处的瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
本发明的附加特征和优点将在以下描述中叙述，且其一部分根据本描述对本领域的技术人员将是显而易见的，或可通过对此处的原理的实践来获知。此处所描述的各实施例的特征和优点可通过在所附权利要求书中特别指出的工具和组合来实现和获得。通过下列描述以及所附的权利要求，此处所描述的各实施例的特征将变得更加显而易见。
附图简述
为进一步阐明此处所描述的各实施例的上述及其它特征，将参考附图，呈现更具体的描述。应该理解，这些附图只描述了此处所描述的各实施例的示例，因此，不应该被视为限制其范围。将通过使用附图并利用附加特征和细节来描述和解释各实施例，在附图中：
图1例示了其中本文描述的实施例可操作的计算机架构，实施例包括使用悬停信息来暂停瞬时用户界面特征。
图2例示了用于使用悬停信息来暂停瞬时用户界面特征的示例方法的流程图。
图3例示了其中相对于设备表面检测物体的实施例。
图4A和4B例示了其中相对于设备表面检测物体以及暂停瞬时元素的实施例。
图5例示了用户的手指和阈值距离，在该阈值距离内用户的期望的接触点将被确定。
图6例示了显示器的实施例，其包括具有包括静态和瞬时元素两者在内的多个元素的用户界面。
图7例示了显示器的实施例，其中物体悬停在多个瞬时用户界面元素上方。
图8例示了用于使用悬停信息来暂停瞬时用户界面特征的替代示例方法的流程图。
详细描述
本文描述的实施例涉及使用悬停信息来暂停瞬时用户界面特征。在一个实施例中，计算机系统检测计算机系统的显示表面处或附近物体的存在。计算机系统标识物体相对于显示表面的位置。在一些情况下，计算机系统可基于所标识的物体的位置来确定物体将在何处接触显示表面。然而，在一些情况下，这一确定可被省略。例如，计算机系统可标识物体在距显示器的表面的阈值距离内的存在并且暂停屏幕上所有的UI对象。因此，在这些情况下，计算机系统可在不确定物体将在何处接触显示表面的情况下暂停UI元素。
计算机系统还标识正被显示在物体被确定为接触显示表面处的瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素。暂停瞬时用户界面元素使得用户界面更合用并且更可靠，因为用户能确保接触他或她希望接触的元素并且获得该接触的预期结果。这还使得用户界面更高效，因为用户不必撤销由于瞬时用户界面元素的突然变化而导致的错误执行的动作。
在另一实施例中，提供了一种计算机系统，其包括以下组件：处理器，显示器，物体检测器，用于检测所述计算机系统的显示表面处或附近物体的存在，位置标识模块，用于标识所述物体相对于所述显示表面的位置，轨迹确定模块，用于确定所检测到的物体相对于所述显示器的表面的当前轨迹，接触点确定模块,用于基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点，标识模块，用于标识正被显示在所确定的所述显示表面上的接触点处的瞬时用户界面元素，以及暂停模块，用于暂停所标识的瞬时用户界面元素。
在另一实施例中，提供了一种用于使用悬停信息来暂停瞬时用户界面特征的替代方法。计算机系统检测计算机系统的显示表面处或附近物体的存在，并且标识所述物体相对于所述显示表面的位置。计算机系统进一步确定所检测到的物体相对于所述显示器的表面的当前轨迹，并且基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点。计算机系统还标识正被显示在被确定为显示表面上的接触点处的瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素。
下面的讨论现在涉及可被执行的多个方法和方法动作。值得注意的是，虽然可以以某一顺序讨论或在流程图中按特定顺序发生而示出了方法动作，但是，没有特定顺序是一定需要的，除非特别声明，或者是必需的，因为在一个动作被执行之前该动作取决于另一动作被完成。
本文中描述的实施例可实现各种类型的计算机系统。这些计算机系统现在越来越多地采取多种多样的形式。例如，计算机系统可以是手持式设备(诸如智能电话或功能电话)、电器、膝上型计算机、可穿戴设备、台式计算机、大型机、分布式计算机系统、或甚至常规上不被认为是计算机系统的设备。在本说明书以及权利要求书中，术语“计算机系统”被广义地定义为包括任何设备或系统(或其组合)，该设备或系统包含至少一个物理且有形的硬件处理器以及其上能具有可由处理器执行的计算机可执行指令的物理且有形的硬件或固件存储器。计算机系统可以分布在网络环境中，并可包括多个组分计算机系统。
如图1所示，计算机系统101通常包括至少一个处理单元102和存储器103。存储器103可以是物理系统存储器，该物理系统存储器可以是易失性的、非易失性的、或两者的某种组合。术语“存储器”也可在此用来指示诸如物理存储介质或物理存储设备这样的非易失性大容量存储器。如果计算机系统是分布式的，则处理、存储器和/或存储能力也可以是分布式的。
如本文中所使用的，术语“可执行模块”或“可执行组件”可以指可以在计算机系统上执行的软件对象、例程或方法。此处所描述的不同组件、模块、引擎以及服务可以实现为在计算机系统上执行的对象或进程(例如，作为分开的线程)。
在随后的描述中，参考由一个或多个计算机系统执行的动作描述了各实施例。如果这样的动作是以软件实现的，则执行动作的相关联计算机系统的一个或多个处理器响应于已经执行了计算机可执行指令来引导计算机系统的操作。例如，这样的计算机可执行指令可以在形成计算机程序产品的一个或多个计算机可读介质或计算机可读硬件存储设备上实现。这样的操作的示例涉及对数据的操纵。计算机可执行指令(以及被操纵的数据)可以存储在计算机系统101的存储器103中。计算机系统101还可包含允许计算机系统101通过有线或无线网络与其它消息处理器通信的通信信道。这类通信信道可包括基于硬件的接收机、发射机或收发机，其被配置成接收数据、发射数据或执行接收和发射两者。
在此描述的各实施例可包括或利用专用或通用计算机系统，该专用或通用计算机系统包括诸如例如一个或多个处理器和系统存储器等计算机硬件，如以下更详细讨论的。系统存储器可被包括在整体存储器103内。系统存储器还可被称为“主存储器”，并且包括可被至少一个处理单元102在存储器总线上被寻址的存储器位置，在这种情况下地址位置被声明在存储器总线自身上。系统存储器传统上是易失性的，但本文中描述的原理还应用于其中系统存储器部分或者甚至全部是非易失性的情况。
本文中描述的各实施例还包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令和/或数据结构的计算机可读介质或存储设备是计算机存储介质或计算机存储设备。承载计算机可执行指令和/或数据结构的计算机可读介质是传输介质。由此，作为示例而非限制，本文中描述的各实施例可包括至少两种显著不同的计算机可读介质：计算机存储介质和传输介质。
存储计算机可执行指令和/或数据结构的计算机存储介质是物理硬件存储介质。物理硬件存储介质包括计算机硬件，诸如RAM、ROM、EEPROM、固态驱动器(“SSD”)、闪存、相变存储器(“PCM”)、光盘存储、磁盘存储或其它磁存储设备、或可用于存储计算机可执行指令或数据结构形式的程序代码的任何其它硬件存储介质，其可由通用或专用计算机系统访问来实现本发明公开的功能。数据结构可包括原始类型(例如，字符、双字、浮点)、合成类型(例如，阵列、记录、并集等)、抽象数据类型(例如，容器、列表、集合、堆栈、树等)、散列、图或任何其它类型的数据结构。
传输介质可包括可用于携带计算机可执行指令或数据结构形式的程序代码并可由通用或专用计算机系统访问的网络和/或数据链路。“网络”被定义为使得电子数据能够在计算机系统和/或模块和/或其它电子设备之间传输的一个或多个数据链路。当信息通过网络或另一个通信连接(硬连线、无线、或者硬连线或无线的组合)传输或提供给计算机系统时，该计算机系统将该连接视为传输介质。上述的组合应当也被包括在计算机可读介质的范围内。
此外，在到达各种计算机系统组件之后，计算机可执行指令或数据结构形式的程序代码可从传输介质自动传输到计算机存储介质(或反之亦然)。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可以在网络接口模块(例如，“NIC”)内的RAM中被缓冲，然后最终被传输至计算机系统RAM和/或计算机系统处的较不易失性的计算机存储介质。因而，应当理解，计算机存储介质可被包括在还利用(或甚至主要利用)传输介质的计算机系统组件中。
计算机可执行指令例如包括，当在一个或多个处理器处执行时使通用计算机系统、专用计算机系统、或专用处理设备执行某一功能或某组功能的指令和数据。计算机可执行指令可以是例如二进制代码、诸如汇编语言之类的中间格式指令、或甚至源代码。
本领域的技术人员将理解，本文中描述的原理可以在具有许多类型的计算机系统配置的网络计算环境中实践，这些计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、平板、寻呼机、路由器、交换机等等。本文的各实施例也可在其中通过网络链接(或者通过硬连线数据链路、无线数据链路，或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统两者都执行任务的分布式系统环境中实施。如此，在分布式系统环境中，计算机系统可包括多个组成部分计算机系统。在分布式系统环境中，程序模块可以位于本地和远程存储器存储设备二者中。
本领域技术人员还将理解本文的各实施例可在云计算环境中实践。云计算环境可以是分布式的，但这不是必须的。在分布时，云计算环境可以国际性地分布在一个组织内，和/或具有跨多个组织拥有的组件。在本说明书和下面的权利要求书中，“云计算”被定义为用于允许对可配置计算资源(例如，网络、服务器、存储、应用和服务)的共享池的按需网络访问的模型。“云计算”的定义不限于可从这样的模型(在被合适地部署时)中获得的任何其它多个优点。
更进一步，此处所描述的系统架构可包括多个独立组件，每一组件都对作为整体的系统的功能有贡献。当开始考虑平台可伸缩性的问题时，此模块性允许提高灵活性，为此，提供各种优点。可以通过使用带有有限的功能范围的较小规模部件，比较轻松地管理系统复杂性和增长。通过使用这些松散耦合的模块，增强平台容错。随着业务需要规定，单个组件可以增量地增长。对于新的功能，模块化开发还转换为缩短的上市时间。可以添加或减去新功能，而不会影响核心系统。
图1示出了其中可以采用至少一个实施例的计算机架构100。计算机架构100包括计算机系统101。计算机系统101可以是包括云计算系统的任何类型的本地或分布式计算机系统。计算机系统101包括用于执行各种不同的功能的模块。例如，通信模块104可被配置成于其他计算系统通信。通信模块104可包括任何能够从其它计算机系统接收数据和/或向其发射数据的有线或无线通信装置。通信模块104可被配置成于数据库、移动计算设备(诸如移动电话或平板设备)、嵌入式计算系统或其它类型的计算机系统交互。
计算机系统101可进一步包括检测显示器表面附近的物体的物体检测器105。例如，显示器113可以是具有显示表面114的触摸屏设备，该显示表面114对物体(诸如手指、指示笔、或其它物体)的触摸敏感。物体检测器105可包括用于检测物体的硬件、软件、固件或其组合。在一些情况下，显示表面114可以是电容式表面，其检测电容的变化以记录触摸、轻叩、拖动或其它手势。显示表面可以是电阻式触摸表面，其响应于物体触摸处的电阻的变化。附加地或替代地，物体检测器105可实现相机，诸如安装在在显示表面114上或嵌入在其内。其它物体检测技术也可被单独使用或与以上提到的示例组合使用。
物体检测器可被配置成检测物体(例如，115)沿x轴、y轴以及z轴的相对于显示表面的位置。事实上，在一些情况下，物体检测器可以能够检测物体距离显示表面114有多远，并且可进一步检测何时物体朝向该表面移动或者远离表面移动。这类沿z轴的变化可通过电容或电阻的变化来检测(当物体更靠近表面时变化将更强烈)或者可使用相机或其它物体检测硬件组件来检测。
计算机系统101的位置标识模块106可确定物体115当前相对于显示器113的显示表面114位于何处。轨迹确定模块107可确定物体115正移动的方向。这一轨迹可以是二维或三维的。当用户117提供显示表面上的输入116(例如，经由手指或指示笔)时，接触点确定模块108可确定用户117将最有可能接触显示表面114的位置所在处的接触点109。接触点确定模块108可使用分别由模块106和107确定的当前位置和计算出的轨迹。
在显示表面114处接收的来自用户117的输入116可结合显示器113上显示的一个或多个用户界面(UI)元素来提供。例如，用户可在显示表面上看到瞬时或其它UI元素111，并且可能希望与那些元素交互(例如，以便键入文本消息或浏览因特网)。是临时的或者其功能、动作、结果随时间改变、或者仅被显示一小段时间的元素可被称为“瞬时”UI元素。在一些情况下，这些瞬时UI元素可引入可用性问题，因为这些元素可能在其被用户117选择之前很快地变化或消失。
例如，当用户正在打字时，自动的建议可被提供以移除打字错误。随着用户键入，建议出现在下拉菜单或类似的UI特征中。这些自动的建议可经过异步的重新排序。作为结果，UI可能在用户接触之前立刻或同时改变，这导致错误建议的意外提交。相应地，本文的实施例确定用户将要在何时及在何处轻叩，并且暂停该区域中或整个屏幕上的瞬时UI元素以确保UI保持静态(即，UI不改变位置、状态或功能)。这可增加触摸屏设备的可用性，因为用户被避免错误地选择他们并无意选择的选项。
许多如今的智能电话、平板、膝上型和可穿戴设备具有能够检测物体何时悬停在设备的显示器上的能力。与物体有关的信息(诸如其距屏幕的距离、其轨迹、其选择物体的意图等)在本文中被称为悬停信息。悬停信息因此包括用户可能使用手指、指示笔或其它物体来轻叩的位置的指示。计算机系统101的物体检测器105可检测是否有手指位于距屏幕113的表面114的某个阈值距离内。更复杂的实现可以某个频率对悬停距离信息进行采样，并且可因此检测手指何时正移动地更靠近屏幕。接触点确定模块108可随后推断物体将作出接触的位置。这一检测步骤也可被配置成将即将发生的轻叩与手指可能具有的直接在触摸屏上方的其它移动(例如，扫动)相区分。
一旦计算机系统101确定轻叩或其它触摸即将发生，计算机系统的暂停模块112可直接暂停瞬时UI元素111，或者可发信号通知操作系统(OS)瞬时元素要被暂停(至少是暂时的)。如上文所提到的，瞬时UI元素可以是触摸屏GUI的以与用户输入异步的方式改变位置和/或改变状态和/或改变功能的任何元素。瞬时UI元素111可被单独或全体地暂停，并且至少在一些情况下，仅仅在用户接触显示表面114的区域附近被暂停。应当注意，虽然显示器113被示出为与计算机系统101分开并且连接到计算机系统101，但是显示器可以被直接集成在计算机系统101中(诸如像是智能电话或平板)。下面将分别进一步参考图2和8的方法200和800来说明所描述的这些概念。
鉴于上文所描述的系统和架构，参考图2和8的流程图，将更好地理解可以根据所公开的主题实现的方法。为了简洁起见，作为一系列框示出和描述了方法。然而，应了解和明白，所要求保护的主题不受方框的顺序的限制，因为某些方框可以按不同的顺序进行，和/或与此处所描绘和描述的其它方框同时进行。此外，并非所有的所示出的方框都是实现下面所描述的方法所必需的。
图2例示了用于使用悬停信息来暂停瞬时用户界面特征的方法200的流程图。现在将频繁地参考环境100的组件以及数据来描述方法200。
方法200包括检测计算机系统的显示表面处或附近物体的存在(210)。例如，计算机系统101的物体检测器105可检测显示器113的表面114附近物体115的存在。物体可以在表面附近或者可与表面114接触。物体可以是可被用于控制显示在显示器113上的界面的几乎任何物品。
在一些实施例中，位置标识模块106可确定物体在显示器的表面附近并且在无需进行任何进一步的确定的情况下暂停。例如，物体检测器105可检测显示器113的表面114附近物体115的存在并且可自动暂停屏幕上的所有(或至少瞬时)UI元素403。暂停模块112可暂停这些UI元素，无论是否标识了物体将实际(或最有可能)碰到屏幕的位置。如图3中所示，指示笔303可位于显示器301(诸如平板)附近。一旦指示笔303(或其它物体)位于显示器301的阈值距离302内，暂停模块112可自动暂停显示在显示器上的UI元素，而无需进行进一步确定。
方法200还包括标识物体相对于显示表面的位置(220)并基于所标识的物体的位置来确定物体将在何处接触显示表面(230)。位置标识模块106可标识物体115在x轴、y轴和/或z轴上相对于显示表面的位置。在一些情况下，轨迹确定模块107可确定物体115相对于显示表面114的轨迹。接触点确定模块108可使用所标识的位置和/或所标识的轨迹来确定物体最有可能在何处接触表面114。
物体115的当前轨迹可通过标识x轴坐标、y轴坐标以及z轴坐标之间的变化来确定。这些变化可随时间监视。例如，可以某个频率来对变化进行采样。电容、电阻的改变或由相机所测得的深度的改变可被用于标识物体的当前轨迹。例如，如图4A中所示，显示器401可具有包括瞬时UI元素403的多个UI元素。在这一实施例中，瞬时UI元素是已被显示在错误拼写的单词“briwn”上方的自动纠正框。自动纠正框已建议了正确的拼写“brown”。图1的物体检测器105可能已检测到物体404的存在，并且轨迹确定模块107可能已检测到该物体的当前轨迹405。检测到的物体的当前位置由点线框表示。如图4B中所示，这一点线框已移动了位置，并且现在在瞬时UI元素403上。如以下将进一步描述的，暂停模块112可暂停瞬时UI元素403以确保其在被用户选择之前不改变。
在其中显示表面402包括基于电容的触摸屏的情况下，z轴坐标可通过检测显示表面上的电容的变化来确定。检测物体404的z轴坐标可允许计算机系统确定物体何时仅仅悬停以及物体何时真正准备触摸显示表面。例如，如图5中所示，显示器501可检测何时用户的手或手指504位于距显示表面阈值距离内。阈值距离503可以是指示用户或物体真的要触摸该表面的预配置距离。该阈值可被配置成更大或更小，这取决于所确定的设备的轨迹502。
例如，物体的轨迹是慢的(即，物体正缓慢地朝显示器移动)，则阈值502可被扩展到更长，以确保用户不仅仅悬停在表面上方。更长的阈值可因此有助于移除假肯定(即，用户就像他们准备触摸屏幕而实际上没有接触屏幕那样行动的情形)。阈值距离503的确定指示何时物体处于距显示表面的阈值距离内，并且结合轨迹502，可以高可能性指示用户是否想要触摸显示器501。相反，如果物体504的轨迹是快的(即，物体正快速地朝显示器移动)，则阈值502可被缩短，以确保移动被记录为有意触摸，并且不被作为潜在的假肯定而移除。
轨迹还可被确定位于指定范围内(或外)。例如，轨迹可被确定为以90度直角向显示器笔直而来。替代地，轨迹可被确定为倾斜的20度(其中，0度将不会接触显示器(即悬停))或某个其它测量值。如果轨迹被确定为更直，则与显示器接触的可能性增加，而如果轨迹被确定为不太直，则与显示器接触的可能性降低。
返回图2，方法200包括标识正被显示在物体被确定为接触显示表面(240)处的一个或多个瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素(250)。图1的标识模块110可标识正显示在显示表面114上的瞬时UI元素(例如，111I)。在一些情况下，标识模块110可标识页面上的所有瞬时UI元素，或者可具体地标识处于用户(或物体)触摸显示器的区域附近的那些元素。
例如，如图6中所示，显示器601可包括具有多个UI元素603A、603B以及603C的用户界面602。UI元素603A具有静态属性604，而UI元素603B和603C具有瞬时元素605。用户可触摸UI元素603A-C附近的显示器601，并且图1的暂停模块112可暂停用户的触摸附近的瞬时元素605，而独自留下静态元素604。图7例示了具有显示器701的显示表面702上的多个瞬时UI元素703A－D的场景。检测到的物体704可在由点线所指示的位置处触摸显示表面702。点线重叠瞬时UI元素703A和703C，但是不触摸瞬时UI元素703B或703D。在一些情况下，仅那些被实际触摸的UI元素(即，703A和703C)被暂停，而在其它情况下，更宽范围的UI元素可被暂停。在这类情况下，除了703A和703C，元素703B可被暂停。更进一步，在一些情况下，当检测到触摸或接触时，所有的瞬时UI元素可被暂停。在那些情况下，所有的瞬时元素703A－D将在检测到表面702上的物体704之际被暂停。
当瞬时UI元素被暂停时，他们可被暂停特定量的时间，并且随后在该特定量时间结束后被自动取消暂停。因此，当特定量的时间已到达后，瞬时UI元素可像其正常时将会做的那样改变。在其它情况下，当瞬时元素被暂停时，它们可被暂停，直到特定事件发生。随后，当特定事件发生时，瞬时UI元素被取消暂停并且可自由变化。在瞬时UI元素被暂停直到特定事件发生的情况下，可适时存在一个超时，如果在等待事件发生时已逝去足够长的时间，将自动取消暂停UI元素。
在一些情况下，每一个用户界面元素(或仅仅瞬时元素)可被标记一特定标签。再次参考图6，UI元素603A、603B和603C中的每一个可具有指示其静态或瞬时属性的标签。UI元素603A可被标记为静态元件604，而UI元素603B和603C可被标记为瞬时元素605。标签可令计算机系统101知晓当瞬时元素要被暂停时哪些元素要暂停。瞬时UI元素可由计算机系统101上运行的应用或操作系统来暂停。因此，以此方式，用户的输入116可被检测，并且基于该输入，瞬时UI元素可被暂停以确保用户选择他们想要选择的对象或菜单项目。这使得触摸屏GUI能够更可靠并且更准确地反映用户的真实意图。
图8例示了用于使用悬停信息来暂停瞬时用户界面特征的方法800的流程图。现在将频繁地参考环境100的组件以及数据来描述方法800。
方法800包括检测计算机系统的显示表面处或附近物体的存在(810)。例如，计算机系统101的物体检测器105可检测显示器113的显示表面114处或附近物体115的存在。物体的位置、距表面的距离(沿z轴)、以及当前轨迹可以是被用于暂停瞬时UI特征的悬停信息的部分。悬停信息可进一步包括物体是什么(例如，手指还是指示笔或其它物体)的指示。
位置标识模块106可标识物体115相对于显示表面114的位置(820)，而轨迹确定模块107确定检测到的物体相对于显示器的表面的当前轨迹(830)。随后，基于所标识的物体115的位置并且进一步基于所确定的物体的轨迹，接触点确定模块108确定物体将接触显示表面的接触点(840)。标识模块110标识正被显示在所确定的显示表面上的接触点处(或附近)的一个或多个瞬时用户界面元素(850)，并且基于该确定，暂停模块112暂停所标识的瞬时用户界面元素(860)。
在一些情况下，运行在计算机系统101上的应用可被配置成从计算机系统的硬件、固件或软件组件收集悬停信息。应用可随后被用于标识瞬时用户界面元素并暂停那些被标识的瞬时用户界面元素。在其它情况下，运行在计算机系统101上的操作系统从硬件、固件或软件收集悬停信息，并且标识瞬时UI元素并暂停那些标识的瞬时UI元素。更进一步，应用和OS可一起工作以标识悬停信息，确定哪些UI元素要被暂停，并随后暂停所标识的UI元素。因此，以此方式，应用、操作系统或一起工作的两者可被用于标识悬停信息并且相应地暂停瞬时UI元素。
在一个特定实施例中，提供了一种计算机系统，其包括以下组件：处理器102，显示器113，物体检测器105，用于检测所述计算机系统的显示表面114处或附近物体115的存在，位置标识模块106，用于标识所述物体相对于所述显示表面的位置，轨迹确定模块107，用于确定所检测到的物体相对于所述显示器的表面的当前轨迹，接触点确定模块108,用于基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点109，标识模块110，用于标识正被显示在所确定的所述显示表面上的接触点处的瞬时用户界面元素，以及暂停模块112，用于暂停所标识的瞬时用户界面元素111I。这一计算机系统可被实现以执行本文所描述的实施例中的任意一个。
在一些情况下，计算机系统101的标识模块110通过(例如，在与UI元素相关联的元数据中)查找与元素相关联的瞬时UI标签来标识瞬时UI元素。在其它情况下，标识模块110可通过标识在指定时间窗口内已改变了的那些UI元素来标识瞬时UI元素。例如，如果UI元素最初未作为UI的一部分被显示，并且随后在稍晚时候被UI显示，则该元素可被标识为瞬时。附加地或替代地，如果UI元素最初作为UI的一部分被显示，并且随后改变(例如，其文本改变，或其图形改变，或其外观以某种其它形式改变)，则该元素可被标识为瞬时UI元素。因此，瞬时UI元素可以各种不同方式被标识。
瞬时UI元素可在一开始就被标识(诸如通过元数据标签)，或者可在物体检测器检测到显示表面114的表面附近的物体115之际被实时标识。在一些情况下，物体检测器105检测到的在所述计算机系统101的显示表面114处或附近的物体是手指或指示笔。位置标识模块106可标识物体的当前位置，而轨迹确定模块107可确定物体的当前路径和朝向显示表面114的速度。暂停模块112可暂停被确定为是瞬时的那些UI元素。
在一些情况下，如在图7中概括示出，所述暂停模块112可暂停那些位于所述显示表面114上的检测到的物体115的阈值距离内的瞬时用户界面元素。在其它情况下，暂停模块112可暂停正被显示在显示表面上的每一个瞬时元素，无论瞬时元素被显示在显示表面114上的何处。以此方式，瞬时UI元素可被标识并在检测到触摸或即将到来的触摸或接触时被暂停。因此，提供了使用悬停信息来暂停瞬时用户界面特征的方法、计算机系统和计算机程序产品。
权利要求支持：在一个实施例中，提供了一种在包括至少一个处理器和显示表面的计算机系统中实现的用于使用悬停信息来暂停瞬时用户界面特征的方法。所述方法包括：检测所述计算机系统101的显示表面114处或附近物体115的存在，标识所述物体相对于所述显示表面的位置，基于所标识的物体的位置来确定所述物体将在何处接触109所述显示表面，标识正被显示在所述物体被确定为接触所述显示表面处的一个或多个瞬时用户界面元素111，以及暂停所标识的瞬时用户界面元素111I。
在该方法中，所标识的瞬时元素被暂停特定量的时间，并且在所述特定量时间结束后被自动取消暂停。在一些情况下，所标识的瞬时元素被暂停直到指定事件发生，并且在所述指定事件发生之际被自动取消暂停。在该方法中，确定物体将在何处接触显示表面包括确定所述物体的当前轨迹以及实现所确定的轨迹以确定所述物体将在何处接触显示表面。物体的当前轨迹通过标识x轴坐标、y轴坐标以及z轴坐标之间的变化来确定。
显示表面包括基于电容的触摸屏，并且z轴坐标通过检测显示表面上的电容的变化来确定。确定物体将在何处接触显示表面包括确定物体何时位于距显示表面的阈值距离内。在一些情况下，方法进一步包括使用指示物体何时位于距显示表面的阈值距离内的阈值确定来移除一个或多个假肯定。确定物体将在何处接触显示表面还包括确定物体何时位于相对于显示表面的指定轨迹范围内。
在另一实施例中，提供了一种计算机系统，其包括以下组件：至少一个处理器102，显示器113，物体检测器105，用于检测所述显示器的显示表面114处或附近物体115的存在，位置标识模块106，用于标识所述物体相对于所述显示表面的位置，轨迹确定模块107，用于确定所检测到的物体相对于所述显示器的表面的当前轨迹，接触点确定模块108,用于基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点109，标识模块110，用于标识正被显示在所确定的所述显示表面上的接触点处的一个或多个瞬时用户界面元素111，以及暂停模块112，用于暂停所标识的瞬时用户界面元素111I。
标识瞬时用户界面元素的所述标识模块标识在特定时间窗口内已改变了的那些用户界面元素。所述检测器检测到的在所述计算机系统的显示表面处或附近的物体是手指或指示笔中的一个。所述暂停模块暂停那些被标识的位于所述显示表面上的检测到的物体的阈值距离内的瞬时用户界面元素。
在另一实施例中，提供了一种用于实现用于使用悬停信息来暂停瞬时用户界面特征的方法的计算机程序产品。一种包括其上存储有计算机可执行指令的一个或多个计算机存储介质的计算机程序产品，所述计算机可执行指令在由计算机系统的一个或多个处理器执行时，使得所述计算机系统执行一种方法，所述方法包括：检测计算机系统显示器113的显示表面114处或附近物体115的存在，标识所述物体相对于所述显示表面的位置，确定所检测到的物体相对于所述显示器的表面的当前轨迹，基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点109，标识正被显示在所确定的所述显示表面上的接触点处的一个或多个瞬时用户界面元素111，以及暂停所标识的瞬时用户界面元素111I。在一些情况下，运行在所述计算机系统上的应用从硬件收集悬停信息，标识瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素。
本文中描述的概念和特征可以其他具体形式来具体化，而不背离其精神或描述性特征。所描述的实施例在所有方面都应被认为仅是说明性而非限制性的。从而，本发明的范围由所附权利要求书而非前述描述指示。落入权利要求书的等效方案的含义和范围内的所有改变应被权利要求书的范围所涵盖。

Claims (19)

1.一种在包括至少一个处理器和显示表面的计算机系统中实现的用于使用悬停信息来暂停瞬时用户界面特征的方法，所述方法包括：
检测所述计算机系统的显示表面处或附近物体的存在；
标识所述物体相对于所述显示表面的位置；
确定所述物体的当前轨迹；
基于所标识的物体的位置以及所确定的物体的当前轨迹来确定所述物体将在何处接触所述显示表面；
标识正被显示在所述物体被确定为接触所述显示表面处的一个或多个瞬时用户界面元素，所述瞬时用户界面元素随时间变化；以及
暂停所标识的瞬时用户界面元素。
2.如权利要求1所述的方法，其特征在于，所标识的瞬时元素被暂停特定量的时间，并且在所述特定量时间结束后被自动取消暂停。
3.如权利要求1所述的方法，其特征在于，所标识的瞬时元素被暂停直到指定事件发生，并且在所述指定事件发生之际被自动取消暂停。
4.如权利要求1所述的方法，其特征在于，所述物体的当前轨迹通过标识x轴坐标、y轴坐标以及z轴坐标之间随时间的变化来确定。
5.如权利要求4所述的方法，其特征在于，所述显示表面包括基于电容的触摸屏，并且其中所述z轴坐标通过检测所述显示表面上的电容的变化来确定。
6.如权利要求1所述的方法，其特征在于，确定所述物体将在何处接触所述显示表面进一步包括确定所述物体何时位于距显示表面的阈值距离内。
7.如权利要求6所述的方法，其特征在于，进一步包括使用指示所述物体何时位于距显示表面的阈值距离内的阈值确定来移除一个或多个假肯定。
8.如权利要求1所述的方法，其特征在于，确定所述物体将在何处接触所述显示表面还包括确定所述物体何时位于相对于所述显示表面的指定轨迹范围内。
9.如权利要求1所述的方法，其特征在于，所述瞬时用户界面元素是使用与瞬时用户界面元素相关联的标志来标识的。
10.如权利要求1所述的方法，其特征在于，所标识的瞬时元素被运行在瞬时计算机系统上的应用和操作系统中的至少一者暂停。
11.一种计算机系统，包括：
至少一个处理器；
显示器；
物体检测器，用于检测所述显示器的显示表面处或附近物体的存在；
位置标识模块，用于标识所述物体相对于所述显示表面的位置；
轨迹确定模块，用于确定所检测到的物体相对于所述显示器的表面的当前轨迹；
接触点确定模块，用于基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点；
标识模块，用于标识正被显示在所确定的所述显示表面上的接触点处的一个或多个瞬时用户界面元素，所述瞬时用户界面元素随时间变化；以及
暂停模块，用于暂停所标识的瞬时用户界面元素。
12.如权利要求11所述的计算机系统，其特征在于，标识瞬时用户界面元素的所述标识模块标识在特定时间窗口内已改变了的那些用户界面元素。
13.如权利要求11所述的计算机系统，其特征在于，所述物体检测器检测到在所述计算机系统的显示表面处或附近的物体是手指或指示笔中的一个。
14.如权利要求11所述的计算机系统，其特征在于，所述暂停模块暂停那些被标识的位于所述显示表面上的检测到的物体的阈值距离内的瞬时元素。
15.如权利要求11所述的计算机系统，其特征在于，所述暂停模块暂停正被显示在所述显示表面上的每一个瞬时元素，无论瞬时元素被显示在所述显示表面上的何处。
16.如权利要求11所述的计算机系统，其特征在于，所述位置标识模块包括以指定频率对所述物体相对于所述显示表面的位置进行采样的硬件。
17.一种其上存储有计算机可执行指令的计算机可读存储介质，所述指令在被计算机系统的一个或多个处理器执行时，致使所述计算机系统执行一种用于使用悬停信息来暂停瞬时用户界面特征的方法，所述方法包括：
检测计算机系统显示器的显示表面处或附近物体的存在；
标识所述物体相对于所述显示表面的位置；
确定所检测到的物体相对于所述显示器的表面的当前轨迹；
基于所标识的物体的位置并且进一步基于所确定的物体的轨迹来确定所述物体将接触显示表面的接触点；
标识正被显示在所确定的所述显示表面上的接触点处的一个或多个瞬时用户界面元素，所述瞬时用户界面元素随时间变化；以及
暂停所标识的瞬时用户界面元素。
18.如权利要求17所述的计算机可读存储介质，其特征在于，运行在所述计算机系统上的应用从硬件收集悬停信息，标识瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素。
19.如权利要求17所述的计算机可读存储介质，其特征在于，运行在所述计算机系统上的操作系统从硬件收集悬停信息，标识瞬时用户界面元素，并且暂停所标识的瞬时用户界面元素。
CN201680031164.8A 2015-05-28 2016-05-04 基于悬停信息来暂停瞬时用户界面元素 Active CN107683457B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/724,561 2015-05-28
US14/724,561 US10185464B2 (en) 2015-05-28 2015-05-28 Pausing transient user interface elements based on hover information
PCT/US2016/030620 WO2016191052A1 (en) 2015-05-28 2016-05-04 Pausing transient user interface elements based on hover information

Publications (2)

Publication Number Publication Date
CN107683457A CN107683457A (zh) 2018-02-09
CN107683457B true CN107683457B (zh) 2021-08-03

Family

ID=55971210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680031164.8A Active CN107683457B (zh) 2015-05-28 2016-05-04 基于悬停信息来暂停瞬时用户界面元素

Country Status (4)

Country Link
US (1) US10185464B2 (zh)
EP (1) EP3304262B1 (zh)
CN (1) CN107683457B (zh)
WO (1) WO2016191052A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102249745B1 (ko) * 2014-06-20 2021-05-10 삼성전자 주식회사 전자 장치 및 이의 제어 방법
EP3510474B1 (en) * 2016-10-21 2021-12-01 Hewlett-Packard Development Company, L.P. Virtual reality input
US10656955B1 (en) * 2019-05-15 2020-05-19 Capital One Services, Llc Modifying readable and focusable elements on a page during execution of automated scripts

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102841703A (zh) * 2011-05-26 2012-12-26 索尼公司 信息处理装置、显示控制方法和程序

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US8099664B2 (en) 2006-03-17 2012-01-17 Microsoft Corporation Dynamic help user interface control with secured customization
CN101578570B (zh) * 2007-07-04 2011-09-21 索尼株式会社 输入设备、控制设备、控制系统、控制方法、以及手持设备
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US9520031B2 (en) * 2008-07-07 2016-12-13 Etasse Limited Slot machine game with symbol lock-in
US8253713B2 (en) 2008-10-23 2012-08-28 At&T Intellectual Property I, L.P. Tracking approaching or hovering objects for user-interfaces
JP2012003742A (ja) * 2010-05-18 2012-01-05 Panasonic Corp 入力装置、入力方法、プログラム及び記録媒体
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
JP2012032852A (ja) 2010-07-28 2012-02-16 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
US9098138B2 (en) 2010-08-27 2015-08-04 Apple Inc. Concurrent signal detection for touch and hover sensing
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US20120167146A1 (en) * 2010-12-28 2012-06-28 White Square Media Llc Method and apparatus for providing or utilizing interactive video with tagged objects
US9354804B2 (en) 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device
US9285950B2 (en) 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
US8745024B2 (en) 2011-04-29 2014-06-03 Logitech Europe S.A. Techniques for enhancing content
CN102802055B (zh) * 2011-05-25 2016-06-01 阿里巴巴集团控股有限公司 一种基于在线视频的数据交互方法及装置
US20120311494A1 (en) 2011-06-03 2012-12-06 Apple Inc. Persistently Displaying Transient Content
US9594499B2 (en) 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US20130222329A1 (en) * 2012-02-29 2013-08-29 Lars-Johan Olof LARSBY Graphical user interface interaction on a touch-sensitive device
US8843858B2 (en) 2012-05-31 2014-09-23 Microsoft Corporation Optimization schemes for controlling user interfaces through gesture or touch
US20140089099A1 (en) * 2012-09-25 2014-03-27 Overstock.Com, Inc. Interactive social media ticker
US20140267094A1 (en) * 2013-03-13 2014-09-18 Microsoft Corporation Performing an action on a touch-enabled device based on a gesture
KR20150024246A (ko) 2013-08-26 2015-03-06 삼성전자주식회사 전자 장치에서 쿼지 사용자 인터페이스를 운용하기 위한 방법 및 시스템
US10025489B2 (en) 2013-09-16 2018-07-17 Microsoft Technology Licensing, Llc Detecting primary hover point for multi-hover point device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102841703A (zh) * 2011-05-26 2012-12-26 索尼公司 信息处理装置、显示控制方法和程序

Also Published As

Publication number Publication date
EP3304262A1 (en) 2018-04-11
CN107683457A (zh) 2018-02-09
EP3304262B1 (en) 2019-11-13
US20160349959A1 (en) 2016-12-01
WO2016191052A1 (en) 2016-12-01
US10185464B2 (en) 2019-01-22

Similar Documents

Publication Publication Date Title
US10168855B2 (en) Automatic detection of user preferences for alternate user interface model
EP3028123B1 (en) Electronic device and method of recognizing input in electronic device
KR102311221B1 (ko) 오브젝트 운용 방법 및 이를 지원하는 전자 장치
US9323443B2 (en) Drilling of displayed content in a touch screen device
KR102544780B1 (ko) 필기 입력에 따른 사용자 인터페이스 제어 방법 및 이를 구현한 전자 장치
EP3055762B1 (en) Apparatus and method of copying and pasting content in a computing device
US10614120B2 (en) Information search method and device and computer readable recording medium thereof
CN106095261B (zh) 一种在电子设备上添加笔记的方法和装置
CN107077295A (zh) 一种快速分屏的方法、装置、电子设备、显示界面以及存储介质
US20140362003A1 (en) Apparatus and method for selecting object by using multi-touch, and computer readable recording medium
US10496193B1 (en) Digital pen with three-dimensional input interface
US20150084873A1 (en) Integrating multiple different touch based inputs
US20140245229A1 (en) Method and apparatus for operating object in user device
CN103210366A (zh) 用于基于邻近的输入的装置和方法
CN102968338A (zh) 用于电子设备的应用程序分类的方法、装置及电子设备
US9575651B2 (en) Touchscreen selection of graphical objects
US20140267095A1 (en) Electronic device with function for searching for icons representing applications and method thereof
US9671949B2 (en) Method and apparatus for controlling user interface by using objects at a distance from a device without touching
EP3241100B1 (en) Method and apparatus for processing notifications on a mobile computing device
US20190324621A1 (en) System and Methods for Utilizing Multi-Finger Touch Capability to Efficiently Perform Content Editing on a Computing Device
US20120221969A1 (en) Scrollable list navigation using persistent headings
KR102125212B1 (ko) 전자 필기 운용 방법 및 이를 지원하는 전자 장치
US20150309690A1 (en) Method and system for searching information records
CN106775182A (zh) 一种悬浮控件的处理方法和装置
WO2014190862A1 (en) Method and apparatus for controlling application on intelligent terminal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant