CN107077297A - 用于基于手指压力和方向来控制光标的系统和方法 - Google Patents

用于基于手指压力和方向来控制光标的系统和方法 Download PDF

Info

Publication number
CN107077297A
CN107077297A CN201580060867.9A CN201580060867A CN107077297A CN 107077297 A CN107077297 A CN 107077297A CN 201580060867 A CN201580060867 A CN 201580060867A CN 107077297 A CN107077297 A CN 107077297A
Authority
CN
China
Prior art keywords
touch
virtual mouse
processor
user
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580060867.9A
Other languages
English (en)
Inventor
J·杜
B·周
N·毕
J·M·高
J·H·翁
H·道莱特
S·贾利勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107077297A publication Critical patent/CN107077297A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

所公开的是用于实现虚拟鼠标的方法和装置。在一个实施例中，所实现的功能包括激活虚拟鼠标，确定与该虚拟鼠标相关联的光标图标的位置，以及停用该虚拟鼠标。在各实施例中，虚拟鼠标的位置是由处理器基于触摸触摸屏的手指的取向或位置，以及测得的或计算所得的由该手指向该触摸屏施加的压力来确定的。

Description

用于基于手指压力和方向来控制光标的系统和方法
相关申请
本申请要求于2014年11月11日提交的题为“Virtual Mouse Based on ImproveTouch Shape Feature(基于改进的触摸形状特征的虚拟鼠标)”的美国临时申请No.62/078,356的优先权权益，其全部内容通过援引纳入于此。
领域
本公开一般涉及电子设备。各实施例涉及用于操作电子设备上的图形用户界面(GUI)的方法。
背景
将智能电话设备拿在一只手里，并仅用拿着该智能电话设备的手的拇指来与该智能电话设备的触摸屏显示器上显示的图形用户界面(GUI)交互在许多情况下可能是使用智能电话设备的优选的模式。然而，随着智能电话设备的触摸屏显示器的大小的增加，至少出于考虑到有限的手的大小的原因，此类单手使用可能变得繁琐或者甚至不可能，用拿着该设备的手的拇指来触及每个角落，特别是触摸屏显示器的顶部区域可能成为一个挑战。
概述
各实施例的系统、方法和设备可以使得配置有触摸屏的计算设备通过在用户单手使用计算设备期间激活虚拟鼠标、确定虚拟鼠标在触摸屏上的位置、以及使用所计算的向量将光标图标投射到触摸屏上而在触摸屏上实现虚拟鼠标。在一些实施例中，所投射的光标图标可以被放置成延伸超过单手使用期间用户的拇指或手指的范围。在一些实施例中，确定虚拟鼠标在触摸屏上的位置可包括标识与用户触摸事件相关联的触摸区域，从所标识的触摸区域收集触摸数据，确定与该用户触摸事件相关联的压力和方向参数，以及基于与该用户触摸事件相关联的压力和方向参数计算标识该虚拟鼠标的位置的向量。
在一些实施例中，激活虚拟鼠标可包括检测该计算设备的触摸屏显示器的预定虚拟鼠标激活区域中的触摸事件。一些实施例可进一步包括当该虚拟鼠标被激活时，确定在该预定虚拟鼠标激活区域中是否检测到触摸事件，以及当该虚拟鼠标被激活时，响应于确定在预定虚拟鼠标激活区域中已检测到触摸事件而停用该虚拟鼠标。
在一些实施例中，激活该虚拟鼠标可包括在检测到该计算设备被用户用与由该用户进行单手使用一致的方式拿着之际自动发起激活。在一些实施例中，确定与该用户触摸事件相关联的方向可至少部分地基于拟合所述触摸区域的椭圆的长轴的取向。在一些实施例中，确定与该用户触摸事件相关联的该压力参数可以至少部分基于拟合触摸区域的椭圆的区域，以及触摸压力中的至少一者，以及计算该虚拟鼠标的位置可包括计算表示该虚拟鼠标的位置的向量，其中所计算的向量的量值可至少部分基于所确定的压力参数。
一些实施例可进一步包括确定当所投射的光标图标被置于显示在该触摸屏上的图形用户界面(GUI)元素之上时该用户触摸事件是否已经结束，以及响应于确定当所投射的光标图标被置于所显示的GUI元素之上时该用户触摸事件已经结束而执行与该GUI元素相关联的操作。一些实施例可进一步包括在执行与该GUI元素相关联的操作之后自动停用该虚拟鼠标。
一些实施例可进一步包括检测所投射的光标图标是否被置于离显示在该触摸屏上的可操作图形用户界面(GUI)元素的阈值距离内，以及响应于检测到所投射的光标图标被置于该阈值距离内而将所投射的光标图标绘制到该可操作GUI元素。一些实施例可进一步包括检测所投射的光标图标是否已经从当前选择的可操作图形用户界面(GUI)元素移动超过预定非零距离，以及响应于检测到该光标已经从当前选择的可操作GUI元素移动超过预定非零距离而取消选择该可操作GUI元素。
各实施例包括一种配置有触摸屏并包括配置有处理器可执行指令以执行以上描述的方法的操作的处理器的计算设备。各实施例还包括其上存储处理器可执行指令的非瞬态处理器可读介质，这些指令被配置成使计算设备的处理器执行以上描述的方法的操作。各实施例包括一种计算设备，其具有用于执行以上描述的方法的功能的装置。
附图简述
纳入本文且构成本说明书一部分的附图解说了示例性实施例，并与以上给出的一般描述和下面给出的详细描述一起用来解释权利要求的特征。
图1A是解说适用于各实施例的智能电话设备的框图。
图1B是解说根据各实施例的用于在设备上实现虚拟鼠标系统的示例系统的框图。
图2是根据各实施例的智能电话设备的常规单手使用的解说。
图3A是解说根据各实施例的用以计算光标移动的示例触摸参数的示意图。
图3B和3C是根据各实施例的示出用以确定虚拟鼠标位置的计算的示例智能电话设备的解说。
图4A-4C是根据各实施例的示出使用示例虚拟鼠标界面的示例智能电话触摸屏显示器的解说。
图5是解说根据各实施例的用于实现虚拟鼠标的示例方法的过程流程图。
图6A和6B是解说根据各实施例的用于实现虚拟鼠标的示例方法的过程流程图。
详细描述
将参照附图详细描述各种实施例。在可能之处，相同附图标记将贯穿附图用于指代相同或类似部分。对指定示例和实现作出的引述用于解说性目的，而无意限定权利要求的范围。
各实施例的系统、方法和设备通过为启用触摸屏的设备提供虚拟鼠标指针而改进了移动设备的用户体验。具体而言，在各实施例中，虚拟鼠标界面(也被称为“虚拟鼠标”)可以缓解由于显示器的大小和用户的手的大小之间的不匹配而引起的智能电话的单手使用的不便。虚拟鼠标提供了可以由单个手指(例如，拇指或其他手指)控制的光标。虚拟鼠标可以与显示在触摸屏显示器的各位置上的GUI元素交互。这可以包括在单手使用期间不可由手指或拇指方便地达到的GUI元素。
在操作中，用户可以例如通过轻击对应于触摸屏上显示的表示虚拟鼠标(例如，虚拟鼠标图标)的GUI元素的触摸屏的部分来激活虚拟鼠标。当虚拟鼠标被激活时，光标图标可以由触摸屏显示。所显示的光标图标可以参照GUI元素来指示虚拟鼠标位置。触摸屏上的用户的手指或拇指的属性可以由智能电话的处理器来计算。使用从触摸屏接收到的信号的处理器可以计算用户的手指的触摸压力和取向(其中，取向是指用户的手指的角方位)。虚拟鼠标的位置可以至少部分基于所计算的用户手指的触摸压力和取向来确定。在一些实施例中，虚拟鼠标的位置可以被计算为从被手指触摸的触摸屏的部分的中心点延伸到触摸屏上的远端部分的向量。该向量可以具有基于所计算的触摸压力来计算的长度或量值。该向量可以具有基于所计算的手指的取向的角取向。光标图标可以被放置在触摸屏显示器上所计算的向量的远端。当虚拟鼠标在可选GUI元素附近时，光标图标可以被绘制到GUI元素(例如，图标)，该GUI元素可以同时在显示在触摸屏上的GUI内被放大和/或突出显示。GUI元素可通过在物理上将手指提离触摸屏(即，离开智能电话)来选择。当光标在对象上时将手指提离触摸屏可以提示智能电话的处理器启动相关联的应用或其他动作。用户还可以通过将手指移回虚拟鼠标图标(即，返回至对应于表示虚拟鼠标的GUI元素的触摸屏的部分)来停用虚拟鼠标。
如本文中所使用的，术语“智能电话设备”、“智能电话”和“移动计算设备”是指具有可能进行单手操作的大小的任何各种各样的移动计算设备，诸如蜂窝电话、平板计算机、个人数字助理(PDA)、可穿戴设备(例如，手表、头戴式显示器、虚拟现实眼镜等)，掌上计算机、笔记本计算机、膝上型计算机、无线电子邮件接收器和蜂窝电话接收器、启用多媒体因特网的蜂窝电话、启用多媒体的智能电话(例如，和Apple)，以及包括可编程处理器、存储器和触摸屏显示器/用户界面的类似的电子设备。图1A是可以适用于虚拟鼠标的移动计算设备的组件示图。智能电话特别适用于实现各种实施例，并因此被用作各实施例的附图和描述中的示例。然而，权利要求并不旨在限于智能电话(除非明确阐述)并涵盖大小适合单手使用的任何移动计算设备。
智能电话设备100被示为包括可经由总线105被电耦合(或可在恰适的情况下以其他方式处于通信中)的硬件元件。这些硬件元件可包括一个或多个(诸)处理器110，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如，数字信号处理芯片、图形加速处理器和/或诸如此类等)，一个或多个输入设备，其包括触摸屏115，并进一步包括但不限于鼠标、键盘、按键板、相机、话筒和/或诸如此类等；以及一个或多个输出设备120，其可包括但不限于用于耦合到外部输出设备的接口120(例如，通用串行总线(USB))、显示设备、扬声器116、打印机和/或诸如此类等。
智能电话设备100可进一步包括一个或多个非瞬态存储设备125(和/或与其处于通信中)，这些非瞬态存储设备可包括但不限于本地和/或网络可访问存储，和/或可包括但不限于盘驱动器、驱动器阵列、光学存储设备、固态存储设备(诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，其可以是可编程的、可快闪更新的，和/或诸如此类等。此类存储设备可被配置成实现任何恰适的数据存储，包括但不限定于各种文件系统、数据库结构、和/或诸如此类等。
智能电话设备100还可包括通信子系统130，其可包括但不限于调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或芯片组(诸如，蓝牙设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施等)，和/或类似系统。通信子系统130可准许与网络、其他设备和/或本文中描述的任何其他设备交换数据。在一个实施例中，设备100可进一步包括存储器135，其可包括RAM或ROM设备，如上文所描述的。智能电话设备100可以是移动设备或非移动设备，并可具有无线和/或有线连接。
智能电话设备100可以包括耦合至处理器102的电源122，诸如一次性或可充电电池。可充电电池还可以耦合至外围设备连接端口以从智能电话设备100外部的源接收充电电流。
智能电话设备100还可包括软件元件，软件元件被示为当前位于工作存储器135内，包括操作系统140、设备驱动程序、可执行库、和/或其他代码，诸如一个或多个应用程序145，此类软件元件可包括和/或可被设计成实现由实施例提供的方法、和/或配置由实施例提供的系统，如将在本文中所述的。仅仅作为示例，针对以下所讨论的(诸)方法描述的一个或多个规程可以被实现为可由智能电话设备100(和/或智能电话设备100内的(诸)处理器110)执行的代码和/或指令。在一个实施例中，此类代码和/或指令可以被用来配置和/或适配通用计算机(或者其他设备)来执行根据描述的方法的一个或多个操作。
这些指令和/或代码的集合可被存储在非瞬态计算机可读存储介质(诸如以上所述的(诸)存储设备125)上。在一些情形中，该存储介质可被纳入在设备(诸如智能电话设备100)内。在其他实施例中，该存储介质可以是与设备分开的(例如，可移除介质，诸如压缩碟)，和/或在安装包中提供，以使得该存储介质可被用来以存储于其上的指令/代码来编程、配置和/或适配通用计算机。这些指令可采取可由智能电话设备100执行的可执行代码的形式，和/或可采取源和/或可安装代码的形式，源和/或可安装代码一旦在智能电话设备100上进行编译和/或安装(例如使用各种各样的通常可用的编译器、安装程序、压缩/解压缩实用程序等)就呈可执行代码的形式。应用程序145可包括适用于虚拟鼠标的一个或多个应用。应当领会，诸应用的功能性可以替换地用硬件或不同层级软件(诸如操作系统(OS)140、固件、计算机视觉模块等)来实现。
图1B是根据各实施例的示出可以用于实现虚拟鼠标界面的元件的智能电话150的功能框图。根据各实施例，智能电话150可类似于参照图1所描述的智能电话设备100。如所示出的，智能电话150包括至少一个控制器(诸如(诸)通用处理器152(例如，110))，其可以耦合到至少一个存储器154(例如，135)。存储器154可以是存储处理器可执行指令的非瞬态有形计算机可读存储介质。存储器154可以存储操作系统(OS)(140)、以及用户应用软件和可执行指令。
智能电话150还可包括触摸屏115(也被称作“触摸屏系统”和/或“触摸屏显示器”)，该触摸屏115包括一个或多个(诸)触摸传感器158和显示设备160。(诸)触摸传感器158可以配置成用触敏表面来感测由用户引起的触摸接触。例如，触敏表面可以基于电容性感测、光学感测、电阻性感测、电场感测、表面声波感测、压力感测和/或其他技术。在一些实施例中，触摸屏系统156可以配置成识别触摸，以及触敏表面上的触摸的位置和量级。
显示设备160可以是发光二极管(LED)显示器、液晶显示器(LCD)(例如，有源矩阵、无源矩阵)和类似显示器。替换地，显示设备160可以是监视器，诸如单色显示器、彩色图形适配器(CGA)显示器、增强图形适配器(EGA)显示器、可变图形阵列(VGA)显示器、超级VGA显示器、阴极射线管(CRT)和类似显示器。显示设备还可对应于等离子显示器或用电子墨水实现的显示器。
在各实施例中，显示设备160一般可以配置成显示实现计算机系统的用户和运行于该计算机系统上的操作系统或应用之间的交互的图形用户界面(GUI)。GUI可以用图形图像来表示程序、文件和操作选项。图形图像可包括窗口、域、对话框、菜单、图标、按钮、光标、滚动条等。此类图像可以按预定布局安排，或者可以动态创建以服务用户所采取的特定动作。在操作期间，用户可以选择和激活各图形图像从而发起与之相关联的功能和任务。作为示例，用户可以选择打开、关闭、最小化或最大化窗口的按钮，或运行特定程序的图标。
各实施例中的触摸屏系统可以耦合到触摸屏输入/输出(I/O)控制器162，该控制器162实现从(诸)传感器158的信息输入(例如，触摸事件)以及去往显示设备160(例如，GUI呈现)的信息输出。在各实施例中，触摸屏I/O控制器可以基于用户的触摸而从(诸)触摸传感器158接收信息，以及可以向配置成由(诸)通用处理器152执行的特定模块发送信息从而转译触摸事件。在各实施例中，可以转译单点触摸和多点触摸。本文中使用的术语“单点触摸”是指由与单个手指(或仪器)的单个部分的交互来定义的触摸事件，虽然该交互可以随时间发生。单点触摸输入的示例包括简单触摸(例如，单次敲击)、触摸并拖曳，以及双触摸(例如，双击—快速相继的两次敲击)。“多点触摸”是指由不同手指或不同部分的组合所定义的触摸事件。
在各实施例中，智能电话可包括结合或独立于触摸屏系统156的其他输入/输出(I/O)设备，这些输入/输出(I/O)设备可以配置成将数据转移到智能电话中。例如，触摸屏I/O控制器162可以用于针对显示设备上的GUI执行追踪并作出选择，以及发布命令。此类命令可以与缩放、平遥、滚动、分页、旋转、调整大小等等。进一步，这些命令还可以与运行特定程序、打开文档或文件、查看菜单、作出选择、执行指令、登录计算机系统、加载与用户的优选安排相关联的用户简档相关联。在一些实施例中，此类命令可涉及触发激活虚拟鼠标管理器，如以下进一步具体讨论的。
当通过触摸屏I/O控制器162接收到触摸输入时，通用处理器152可以实现存储在存储器154中的一个或多个程序模块来标识/转译触摸事件并控制智能电话的各组件。例如，触摸标识模块164可以标识对应于用于执行存储在存储器154中的应用166中的动作的命令的事件，从而修改显示设备160上示出的GUI元素、修改存储在存储器154中的数据等等。在一些实施例中，触摸标识器模块可以将输入标识为触摸屏系统156上的单点触摸事件。
在一些实施例中，触摸输入可以例如基于邻近于表示虚拟鼠标的GUI元素(例如，图标)的光标的位置而被标识为触发激活虚拟鼠标。一旦被激活，智能电话中的光标的控制可以被传递到虚拟鼠标管理器168。在各实施例中，虚拟鼠标管理器168可以是存储在存储器154中的程序模块，该程序模块可以由一个或多个控制器(例如，(诸)通用处理器152)来执行。
在各实施例中，单点触摸可以发起光标追踪和/或选择。在追踪期间，光标移动可以通过用户在触摸屏系统156的触敏表面上移动单个手指来控制。当虚拟鼠标未活动时，此类追踪可以涉及由触摸标识器模块164转译触摸事件，并生成用于产生光标图标在显示设备160上的对应移动的信号。
当虚拟鼠标活动时，虚拟鼠标管理器168可以转译触摸事件并生成用于产生光标图标在显示设备160上的经缩放移动的信号。在各实施例中，当虚拟鼠标被激活时转译触摸事件可涉及从触摸数据(例如，触摸的次数、触摸的位置和形状等)以及计算参数(例如，触摸压力和/或对于触摸区域的最佳拟合椭圆等)提取特征。在各实施例中，此类触摸数据和计算参数可以由触摸屏I/O接口162来计算。进一步，光标计算模块170可以使用从触摸屏I/O接口162获得的所测量的/感测的触摸数据以及计算参数来确定光标位置。其他功能(包括过滤信号并转换成不同格式，以及当虚拟鼠标未激活时转译触摸事件)可以使用存储在存储器154中的各种各样的附加程序/模块中的任何附加程序/模块来执行。
在一些实施例中，(诸)通用处理器152、存储器154、和触摸屏I/O控制器162可以被包括在片上系统设备172中。一个或多个订户身份模块(SIM)和对应的(诸)接口可以在片上系统设备172的外部，并且各外围设备(例如，附加的输入和/或输出设备)可以耦合到片上系统设备172的组件，诸如接口或控制器。
将智能电话设备拿在一只手里，并仅用拿着该智能电话设备的手的拇指来与该智能电话设备的触摸屏显示器上显示的GUI交互可能在许多情况下是使用智能电话设备的优选的模式。然而，随着智能电话设备的触摸屏显示器的大小的增加，此类单手使用可能变得繁琐或者甚至不可能。用拿着该设备的手的拇指或其他手指来触及触摸屏显示器的所有部分，特别是触摸屏显示器的顶部区域的问题可能变为一个挑战，特别是对于那些手较小的人而言。
图2是智能电话设备200的常规单手使用的解说。根据各实施例，智能电话设备200可类似于参照图1A-1B所描述的智能电话设备100、150。智能电话设备200可以配置有触摸屏显示器220(例如，显示设备160)。将智能电话设备200拿在一只手230里，并仅用手230的拇指240(或其他手指)来与该智能电话设备的触摸屏显示器220上显示的GUI交互可能在许多情况下是使用智能电话设备的优选的模式。然而，触摸屏显示器220越大，用单个手指触及每个角落就越困难。触摸屏显示器220的上部区域可能特别难以用拿着智能电话设备的手230的拇指240(或其他手指)触及。例如，图2解说了拇指240可容易地触及的触摸屏显示器220的第一区域250，以及拇指240难以触及的触摸屏显示器220的第二区域260。
各实施例利用通过处理由触摸屏生成的触摸事件数据变得可用的附加输入来实现虚拟鼠标，从而克服由触摸屏显示器的大小和手的大小之间的不匹配引起的智能电话设备的单手使用的不便。虚拟鼠标包括可以与GUI的不同元素交互的光标/图标。光标可以通过拇指在触摸屏显示器上对应的旋转和移动和/或压力改变而在触摸屏显示器的整个区域中可移动。使用实现本公开的实施例的智能电话设备，用户可以使用虚拟鼠标的光标/图标来与在单手使用场景中不容易触及的触摸屏显示器上的GUI元素交互，同时将拇指保持在容易触及的触摸屏显示器的区域内。
虚拟鼠标可以由与用户的单点触摸相关联的多个属性中的任何属性来控制。在各实施例中，取决于智能电话的特定配置、设置和能力，此类属性可以使用多种机制来确定。虚拟鼠标可以通过将光标图标投射到触摸屏上来实现，其中位置是基于来自触摸屏的数据来计算的。位置可以例如基于根据数据确定的触摸的取向和压力来计算。例如，在一些实施例中，智能电话可以配置有能够测量实际触摸压力的压敏触摸屏。此类压敏触摸屏可以利用电容性触摸和红外光感测的组合来确定触摸力。在其他实施例中，压力可以基于手指与触摸屏表面接触的区域面积来间接计算。即，触摸面积的相对大小可以用作触摸压力的指标，其中越大的面积转换成越大的压力。用这种方式，代替实际的压力测量，智能电话可以基于触摸面积来计算估计的压力，藉此避免设备上附加硬件或感测电路系统的需要。
用户触摸的方向可以基于触摸区域近似的椭圆的长轴的取向来确定。替换地，该方向可以基于源自屏幕的最近隅角并延伸通过触摸位置的直线或向量来确定。
在一些实施例中，触摸方向可以基于触摸区域边界近似的椭圆的形状的计算来确定。替换地，该方向可以基于触摸区域相对于触摸屏的最近隅角的中心来确定。
虽然光标的位置的计算可以在实现期间发生，但是各实施例中所引用的各方程可以不在本发明的实现期间计算，而是相反提供描述本发明实现的各组成部分之间的关系的模型。如上文所讨论的，当虚拟鼠标被激活时，对触摸屏的输入的属性可以通过感测/测量触摸屏上与用户的手指(例如，拇指)相关联的触摸区域的数据(即，“触摸数据”)来确定。在各实施例中，此类触摸数据可包括形成触摸区域的边界的点的位置，以及触摸区域的中心。在一些实施例中，推导自触摸数据的属性可包括最佳拟合触摸区域的边界的椭圆函数，并且这可以使用非线性回归分析来标识。例如，最佳拟合椭圆可用式1来定义：
其中a表示椭圆的长半轴且b表示椭圆的短半轴，其中长半轴和短半轴在x和y笛卡尔轴上对齐，其中椭圆中心在原点(0,0)处。
在各实施例中，最佳拟合椭圆函数的长轴可以通过求解a来确定，其中长轴等于2a。进一步，基于触摸面积的大小的估计压力可以通过使用式2计算最佳拟合椭圆的面积来确定
面积＝π*ab 式2
其中a表示椭圆的长半轴，且b表示椭圆的短半轴。
图3A是示出各实施例中对应于用户手指的触摸区域的示例椭圆函数300的示图。常规触摸屏技术仅提供了触摸事件的定位(即，x、y坐标)。在各实施例中，对于每个触摸事件，除了触摸区域的位置之外，还可以提供触摸区域的取向和与触摸事件相关联的压力。椭圆函数300拟合到邻近触摸区域310，并基于长半轴320和短半轴330来表征。除了触摸区域310的位置之外，触摸区域310的取向可以确定为正x轴和对应于触摸区域310的长轴340的线段之间的角度312。利用长轴的取向来确立触摸方向并假设用户从位于最接近触摸屏底部的边沿处拿着智能电话设备，那么光标图标可以沿朝主椭圆上的最接近于触摸屏顶部的点向外投射的线放置。因此，如关于触摸区域310所示出的，使用左手可以提供0度(即，手指完全水平)和90度(例如，手指完全垂直)之间的角度312。在使用右手(未示出)的实施例中，角度312可以在90度(即，手指完全垂直)和180度(即，手指完全水平)之间。
进一步，还可以提供与触摸事件相关联的压力。在一些实施例中，触摸区域310的大小可以被用以估计压力，因为当触摸事件由可扩展对象(诸如，手指)创建时，触摸区域随着触摸压力的增加而扩大。
虚拟鼠标可以被显示在触摸屏上的基于各触摸参数计算的位置处。在一些实施例中，虚拟鼠标的位置可以被计算为基于各触摸属性计算的向量。光标图标(或其他图标)可以被显示以表示虚拟鼠标的位置。
在各实施例中，用于计算虚拟鼠标位置的触摸属性可以表示为向量。例如，最佳拟合椭圆的长轴的取向可以基于指向触摸屏的顶部边沿的方向和/或背离虚拟鼠标激活区域的方向由向量f来表示。在另一示例中，用户手指的触摸位置可以由从起始或参考点到触摸区域的中心点的向量c来表示。类似地，实际触摸位置的最近隅角的位置可以由从开始参考点到最近隅角的向量r来表示。在各实施例中，向量c和r的起始或初始参考点可以与所计算的虚拟鼠标向量向外投射到触摸屏上的投射点相同—即，在虚拟鼠标激活区域的点。
在一些实施例中，虚拟鼠标的位置可以使用式3来计算：
虚拟鼠标位置＝c+kpf 式3
其中c表示去往实际触摸点的中心点(即，笛卡尔空间中的位置)的向量，f表示对应于最佳拟合触摸区域的边界的椭圆的长轴的取向的向量，p是压力测量，且k是缩放系数，从而虚拟鼠标覆盖整个触摸屏。
图3B解说了使用式3进行的智能电话设备350上的虚拟鼠标位置的代表性确定。根据各实施例，智能电话设备350可类似于参照图1A-2所描述的智能电话100、150、200。智能电话设备350可以配置有触摸屏显示器352(例如，160、220)，而用户可以仅用一个手指354与显示在触摸屏显示器352上的GUI交互。在触摸屏显示器352上，向量356提供了从初始参考点到手指354的触摸区域310的中心的方向和距离，对应于式3中的c。虽然触摸屏352的左上角被用作图3中所示实施例的初始参考点，但是初始参考点的位置是任意的，因为触摸屏显示器352上的任何隅角或其他点都可以提供初始参考点。向量358提供了表示最佳拟合触摸区域310的边界的椭圆(例如，300)的长轴340的取向的方向，对应于式3中的f。在一些实施例中，向量358的量值可以是长轴340的实际长度。在其他实施例中，向量358的量级可以是类似于缩放系数k的固定表示值。
触摸屏显示器352上的向量360是从将向量358乘以标量所得的结果向量，并对应于式3中的kpf。将向量360与向量356相加，结果向量362提供了触摸屏显示器352上从初始参考点到虚拟鼠标位置363的方向和距离。即，向量362对应于式3中c+kpf的计算。
在其他实施例中，虚拟鼠标的位置可以使用式4来计算：
虚拟鼠标位置＝c+kp(c-r) 式4
其中r表示去往最接近于实际触摸位置(即，笛卡尔空间中的位置)的触摸屏的隅角的向量。
图3C解说了用于使用式4确定智能电话设备350上的虚拟鼠标位置的向量c-r的代表性计算。如参照图3B所描述的，向量356提供了从触摸屏显示器352的左上角处的初始参考点到触摸区域的中心的方向和距离。类似于式3，向量356对应于式4中的c。在图3C中的触摸屏显示器352上，向量364提供了从初始参考点到最接近于实际触摸位置的隅角的方向和距离，对应于式4中的r。从向量356减去向量364提供了结果向量366，该结果向量366对应于式4中的c-r。
触摸屏显示器352上的向量368是将向量366乘以标量并转换其位置所得的向量，对应于式4中的kp(c-r)。将向量368与向量356相加得到向量370，该向量370提供了触摸屏显示器352上从初始参考点到虚拟鼠标位置372的方向和距离。即，向量372对应于式4中c+kp(c-r)的计算。
图4A和4B解说了其中实现了本公开的实施例的智能电话设备400。智能电话设备400包括触摸屏显示器410，其上显示了GUI。在各实施例中，触摸屏显示器410上的预定区域420被指定为虚拟鼠标激活区域。如将在以下具体描述的，用户可以通过用例如拇指触摸激活区域420并保持触摸(例如，通过不移开拇指)来激活虚拟鼠标。在图4A和4B中，虚拟鼠标激活区域420在触摸屏显示器410的右下角。在一些实施例中虚拟鼠标激活区域的实际放置可以是可用户定制的。例如，想要用右手操作智能电话设备410的用户可以指定右下角作为虚拟鼠标激活区域，而想要用左手操作智能电话设备410的用户可以指定左下角作为虚拟鼠标激活区域。在一些实施例中，用户可以附加地或替换地通过在触摸屏显示器410上的任何区域施加足量的力来激活虚拟鼠标。例如，虚拟鼠标可以响应于检测到具有大于阈值的量的压力的触摸输入而被激活。
一旦虚拟鼠标被激活，光标图标430就可以被显示在触摸屏显示器410上来表示虚拟鼠标被激活。由虚拟鼠标选择的(诸)GUI元素可以由光标图标430的位置来指示，该光标图标430的位置如将在以下所描述的可以由例如拇指进行的旋转和移动和/或维持的触摸的压力变化控制。在一些实施例中，当处理器确定智能电话设备400正被用与单手使用一致的方式拿在手中时，虚拟鼠标可以被自动激活。
图4C解说了其中虚拟鼠标被激活的智能电话设备400。如上文所描述的，用户可以例如通过用手指440(例如，拇指)触摸虚拟鼠标激活区域并保持手指440和触摸屏显示器410之间的接触来激活虚拟鼠标。用户可能希望在用户想要操作手指440不容易触及的触摸屏显示器410的区域上的GUI元素时激活虚拟鼠标。一旦虚拟鼠标被激活且光标图标430被显示，用户就可以通过旋转手指440以及改变手指440在触摸屏显示器410上的至少一个位置和/或触摸压力来控制光标图标430的位置。在一些实施例中，光标图标430的位置(例如，从虚拟鼠标激活区域到光标图标430的当前位置的向量的尾端)可以通过评估表达式c+kpf(式3)或c+kp(c–r)(式4)来确定。如先前所注意到的，在式3和4中，c是表示触摸区域的位置的向量(例如，从虚拟鼠标激活区域或初始参考点到当前触摸区域的中心的向量)。如先前所注意到的，在式4中，r是表示触摸屏的最近隅角的位置的向量(例如，从虚拟鼠标激活区域或初始参考点到最接近c的隅角的向量)。如先前所注意到的，在式3中，f是表示触摸区域的取向的向量(例如，指示触摸区域的取向的单位向量)。如先前所注意到的，在式3和4中，p是触摸压力，且k是选择成使得用户可以用拇指440在触摸屏显示器410的容易触及的区域内的移动将光标图标430移动到触摸屏显示器410的最远隅角的缩放系数。
因此，在示例实施例中，当前触摸区域的位置、当前触摸区域的取向、以及当前触摸压力在光标图标430位置的确定中都被考虑在内。在另一实施例中，在光标图标430的位置的确定中仅考虑了当前触摸区域的位置和取向(即，c+kpf或c+kp(c–r)中的p为常数)。在又一实施例中，在光标图标430的位置的确定中仅考虑了当前触摸区域的取向和当前触摸压力(即，c+kpf中的c为常数)。在所有实施例中，用户可以将光标图标430移动到触摸屏显示器410的最远隅角，同时将拇指保持在容易触及的触摸屏显示器410的区域内。
在一些实施例中，以上虚拟鼠标位置计算中可以利用的缩放系数k可以被校准以按照用户手指的移动调整光标位置的改变量。在一些实施例中，用户从触摸屏显示器接收所显示的光标图标位置的改变的形式的恒定视觉反馈。因此，用户可以调节用户所采用的相对力和/或移动来达成期望的结果。在一些实施例中，在首次上电之际，智能电话可以被配置成执行与用户的一些训练，从而检测用户的手指大小和按压活动的属性。用这种方式，缩放系数可以被调节以容适每个用户的相关输入特征。
智能电话可以为用户(例如，在用户简档内)存储每个用户定制缩放系数以供未来使用，并可以随着有关特定触摸模式的具体信息被收集而随时间演进用户的缩放系数。在一些实施例中，制造商可以基于特定显示器的大小以及平均人类触摸输入的相对大小和强度而指定预设最大和最小缩放系数(即，缩放系数范围)。尽管这些范围被初始使用，但是一些实施例也提供了缩放系数的基于用户的随时间的最终定制，从而有效地用特定形成的值代替通用的缩放系数。此类定制还可以变得可用于虚拟鼠标移动的敏感度和/或速度，该虚拟鼠标移动的敏感度和/或速度可以通过应用指数函数来代替压力值(即，用px来代替p，其中x随着时间基于用户训练和/或定制而可配置)来改变。在一些实施例中，用户可以诸如经由各种用户输入机制来手动调节参数，诸如缩放系数k，应用到压力p的指数函数，和/或用于选择和/或取消选择GUI元素的阈值等。
在一些实施例中，一旦光标图标430在GUI上的期望位置处，就可以针对在该光标的位置处的GUI元素执行操作。在一些实施例中，处理器可以基于虚拟鼠标的速度的减小或用户触摸的压力超过阈值来确定光标图标430在GUI上的期望位置处。
在一些实施例中，当光标图标430在期望位置处时所执行的操作可以是对使得应用(例如，游戏应用)被运行的图标的选择。在另一示例中，该操作可以引起对项目的选择(例如，文本的选择、菜单项选择等)。在一些实施例中，该操作可以响应于针对光标图标430的附加用户输入而被执行。此类附加的用户输入可包括，例如，在光标图标430在GUI上的期望位置处之后的阈值时间内接收到的手指的识别手势(例如，点击、双击、滑动等)。在另一示例中，附加的用户输入可以是从用户的另一个手指接收到的手势(例如，点击、双击、滑动等)。
在另一示例中，触发执行操作的附加用户输入可以是由用户手指所施加的触摸力的增加(即，压力的增加)。例如，可以出于不同目的来识别触摸屏显示器410上不同等级的力，包括响应于检测到超过阈值的输入力来通过GUI执行操作。在压力被用来指示用于移动虚拟鼠标的距离的实施例中，触摸力可以被用来提示操作(例如，运行应用等)的执行提供了用来区分虚拟鼠标移动和操作的区分器。例如，触摸压力的简短停顿被用作区分器。在另一示例中，将光标图标430保持在一个位置长达阈值时间量可以区分用于执行操作的触摸压力和用来计算光标图标430位置的压力。
在一些实施例中，用户可以通过智能电话设备400上的设置来配置触发操作的一个或多个附加手势。在另一示例中，可以响应于检测到光标图标430的移动的终止(例如，由用于将拇指从触摸屏显示器410移离来指示)而执行操作。
在各实施例中，处理器可以在由触摸终止而引起的触摸压力的突然减小(指示用户想要执行GUI操作)和由用户有意改变触摸压力从而(在恰适时)移动光标图标430引起的触摸压力的逐渐改变之间进行区分。
在一些实施例中，智能电话的处理器可以被配置成当光标图标430被移近可操作GUI元素(诸如用于运行应用或其他项(例如，文本，菜单项)的图标)(即，在阈值距离内)时，光标图标430可以被自动“绘制”到可操作GUI元素。一旦光标图标430在其上方以表示选择，可操作GUI元素就可以被处理器放大和/或突出显示。在一些进一步的实施例中，已经被选中的可操作GUI元素(即，光标图标430位于其上的可操作GUI元素)可以仅在光标图标430已经从GUI元素移离达预定非零距离之后被取消选择，从而补偿触摸中的抖动。
在一些实施例中，虚拟鼠标可以基于经由GUI接收到附加用户输入而被停用。例如，在一个实施例中，用户可以通过将手指移动到GUI上的区域(例如，激活区域420)，并将手指从触摸屏显示器410移离而停用虚拟鼠标。在另一实施例中，虚拟鼠标可以响应于用户将手指从触摸屏显示器410移离、同时光标图标430位于不在距离任何可操作GUI元素的阈值距离内的GUI上的区域中而被停用。
在一些实施例中，虚拟鼠标可以在执行操作(例如，选择应用或项目)之后自动停用。在其他实施例中，用户可以通过在触摸屏显示器410上执行特定识别手势而停用虚拟鼠标。例如，处理器可以配置成响应于触摸屏显示器410上的双击、向左滑动、向右滑动、其组合等等而停用虚拟鼠标。在一些实施例中，用户可以预设一个或多个特定手势来触发虚拟鼠标的停用。
图5解说了根据一些实施例的用于在智能电话上实现虚拟鼠标的方法500。方法500的操作可以由智能电话设备(例如，100、150)的一个或多个处理器(诸如通用处理器(例如152))来实现。在各实施例中，方法500的操作可以由可耦合到存储器(例如，154)、触摸屏(例如，115)以及一个或多个处理器(例如，110)的单个控制器(未示出)来实现。
在框510，虚拟鼠标可以由智能电话的处理器激活。在一些实施例中，虚拟鼠标可以由处理器在触摸屏显示器上的虚拟鼠标激活区域中检测到触摸事件之际激活，该虚拟鼠标可以与后续的触摸接触耦合。在其他实施例中，虚拟鼠标可以由处理器在检测到智能电话设备正被用与单手使用一致的方式拿在手中之际自动激活。光标或图标可以由处理器显示以表示虚拟鼠标的激活。
在框520，与虚拟鼠标相关联的光标或图标的位置可以由处理器计算或以其他方式确定。在一些实施例中，光标/图标的位置可以由处理器通过评估表达式c+kpf(式3)或者表达式c+kp(c–r)(式4)来确定，这二者都会产生至光标/图标的位置的向量(例如，从初始参考点到光标图标的当前位置的向量)。
如先前所注意到的，在式3和4中，c是触摸区域的位置(例如，从初始参考点到当前触摸区域的向量)，r是触摸屏的最近隅角的位置(例如，从初始参考点到c的最近隅角的向量)，f是触摸区域的取向向量(例如，指示触摸区域的取向的单位向量)，p是触摸压力，以及k是缩放系数，k被选择成使得用户可以用拇指440在触摸屏显示器410的容易触及区域内的移动而将光标图标430移动到触摸屏显示器410的最远隅角。
因此，光标图标的位置可以由处理器至少部分基于触摸区域的取向，以及1)触摸区域的位置和2)触摸压力中的至少一者来计算或以其他方式确定。在一些实施例中，所计算的光标或图标的位置被用来在显示器上显示光标或图标。显示器上的光标或图标的位置可以被持续计算直到在框530虚拟鼠标被处理器停用。虚拟鼠标可以在GUI操作(诸如应用运行)已经执行之后通过用户结束在光标图标在可操作GUI元素之上时的触摸而被处理器自动停用。虚拟鼠标还可以在检测到用户已请求停用虚拟鼠标之际由处理器停用。例如，处理器可以检测用户已经执行了指示虚拟鼠标的停用的操作(例如，用户已将他的手指移回触摸屏显示器上的虚拟鼠标激活区域和/或结束触摸)。
图6A和6B解说了根据各实施例的用于提供虚拟鼠标的方法600。参照图1-6B，在各实施例中，方法600的操作可以由智能电话(例如，100、150)的一个或多个处理器(例如，110)(诸如，(诸)通用处理器(例如110、152))来实现。在各实施例中，方法600的操作可以由可耦合到存储器(例如，154)、触摸屏(例如，115)以及一个或多个处理器152的单个控制器(未示出)来实现。
在框602，智能电话的处理器可以监视智能电话上的触摸传感器输入(例如经由触摸屏I/O控制器162接收的至(诸)触摸传感器158的输入)。在确定框604，处理器可以确定是否检测到激活虚拟鼠标的触发。此类触发可以是例如选择显示器的GUI中的虚拟鼠标图标的单点触摸的输入。只要未检测到虚拟鼠标激活的触发(即，确定框604＝“否”)，处理器就可继续在框602监视智能电话上的触摸传感器输入。
响应于确定检测到激活虚拟鼠标的触发(即，确定框604＝“是”)，在框606处理器可以标识与用户的手指相关联的触摸区域，该触摸区域可以是通过(诸)触摸传感器(例如，158)在触敏表面上检测到的输入的位置。在框608，处理器可以收集所标识的触摸区域中的触摸数据。例如，数据可由触摸屏系统156感测/测量，该数据包括触摸区域的大小和形状，用户的手指所施加的压力(若使用压敏设备)等。
在框610，处理器可以基于从触摸屏接收到的信息来确定触摸压力和方向参数。如上文所讨论的，在一些实施例中，若智能电话配置有压敏触摸屏，触摸压力可以被确定为实际压力。在其他实施例中，触摸压力可以是基于计算拟合触摸区域的边界的椭圆的面积而估计的压力值。进一步，如上文所讨论的，方向参数可以基于此类椭圆函数的长轴的取向，或者可以基于参照触摸屏的最近隅角的触摸区域的中心的位置。在框612，处理器可以基于压力和方向参数来计算虚拟鼠标的位置。
在框614，处理器可以使用所计算的位置在触摸屏上显示光标图标。在确定框616，处理器可以诸如通过可以被配置的任何数目的停用触发确定虚拟鼠标是否已被停用。
响应于确定虚拟鼠标被停用(即，确定框616＝“是”)，处理器可以返回至框602，并且在框602监视触摸屏系统上的传感器输入。响应于确定虚拟鼠标被停用，处理器还可以终止显示在框614显示的图标。
响应于确定虚拟鼠标未被停用(即，确定框616＝“否”)，处理器可以在确定框618(图6B)确定触摸屏上的光标图标位置是否在GUI元素的阈值距离内(即，足够近以供可能的选择)。响应于确定光标图标未在GUI元素的阈值距离内(即，确定框618＝“否”)，处理器可以重复框608-614(图6A)的操作以确定光标的位置并显示光标图标。
响应于确定光标图标在GUI元素的阈值距离内(即，确定框618＝“是”)，在框619处理器可以将所投射的光标图标绘制到GUI元素。在确定框620，处理器可以确定是否检测到操作输入(例如，点击、触摸释放、预定手势等)，该操作输入可以被用来发起涉及该GUI元素的操作。响应于确定检测到操作输入(即，确定框620＝“是”)，在框622，处理器可以执行对应于GUI选择的动作，例如，在智能电话上打开应用、进入另一模式等。
响应于确定未检测到操作输入(即，确定框620＝“否”)，在确定框624，处理器可以确定光标图标是否已从所选GUI元素移动了超过预定距离。只要光标图标未从所选GUI元素移动超过预定距离(即，确定框624＝“否”)，在确定框620，处理器就可以继续确定是否检测到操作输入。
响应于确定光标图标已经从所选GUI元素移动超过预定距离(即，确定框624＝“是”)，在框626处理器可以取消选择GUI元素，并返回至确定框618来确定光标图标是否在GUI元素的阈值距离内。
使用本文中描述的本公开的实施例使得当用户正在用单手操作智能电话设备时，用户能够通过用户手指在可容易触及的触摸屏显示器的区域内的有效触摸和移动来与显示在难以直接触及的触摸屏显示器的区域上的GUI的元素进行交互。已经关于智能电话设备描述了各实施例，但是对于智能电话的援引仅为了促成各实施例的描述且并不旨在限定本公开或权利要求的范围。
在先前已经具体描述了虚拟鼠标的各种实现。应当领会，虚拟鼠标应用或系统(如先前所描述的)可以被实现为软件、固件、硬件、其组合等等。在一个实施例中，先前描述的功能可以由智能电话设备100的一个或多个处理器(例如，(诸)处理器110)来实现以达成先前期望的功能(例如，图5和6的方法操作)。
本文中的教导可被纳入各种装置(例如，设备)中(例如，在装置内实现或由装置执行)。例如，本文所教导的一个或多个实施例可以被纳入到通用设备、桌面计算机、移动计算机、移动设备、电话(例如，蜂窝电话)、个人数字助理、平板、膝上型计算机、平板、娱乐设备(例如，音乐或视频设备)、耳机(例如，头戴式受话器、听筒等)、医疗设备(例如，生物特征传感器、心率监视器、计步器、心电描记“EKG”设备等)、用户I/O设备、计算机、服务器、销售点设备、娱乐设备、机顶盒、可穿戴设备(例如，手表，耳戴式显示器、虚拟现实眼镜等等)、汽车内的电子设备或其他任何合适的设备。
在一些实施例中，智能电话设备可包括通信系统的接入设备(例如，Wi-Fi接入点)。此类接入设备可提供例如经由有线或无线通信链路通过收发机至另一网络(例如广域网，诸如因特网或蜂窝网络)的连通性。因此，接入设备可使得另一设备(例如，Wi-Fi站)能接入该另一网络或某些其他功能性。此外应领会，这些设备中的一者或两者可以是便携式的，或者在一些情形中为相对非便携式的。
应当领会，当实现各实施例的设备是移动或智能电话设备时，此类设备可以经由一个或多个无线通信链路通过基于或以其他方式支持任何合适的无线通信技术的无线网络进行通信。例如，在一些实施例中，智能电话设备与其他设备可以与包括无线网络的网络相关联。在一些实施例中，网络可包括体域网或个域网(例如，超宽带网络)。在一些实施例中，网络可包括局域网或广域网。智能电话设备可以支持或以其他方式使用各种各样的无线通信技术、协议或标准中的一种或多种，诸如，举例而言，3G、长期演进(LTE)、高级LTE、4G、码分多址(CDMA)、时分多址(TDMA)、正交频分复用(OFDM)、正交频分多址(OFDMA)、WiMAX和Wi-Fi。类似地，智能电话设备可支持或以其他方式使用各种相对应的调制或复用方案中的一种或多种。智能电话设备由此可包括合适组件(例如，空中接口)来使用以上或其他无线通信技术建立一条或多条无线通信链路并经由这一条或多条无线通信链路来通信。例如，设备可包括具有相关联的发射机和接收机组件(例如，发射机和接收机)的无线收发机，这些发射机和接收机组件可包括促成无线介质上的通信的各种组件(例如，信号发生器和信号处理器)。众所周知地，智能电话设备因此可无线地与其他移动设备、蜂窝电话、其他有线或无线的计算机、因特网web站点等通信。
信息和信号可使用各种各样的不同技艺和技术中的任一种来表示。例如，贯穿上面说明始终可能被述及的数据、指令、命令、信息、信号、比特、码元、和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或其任何组合来表示。
结合本文中所公开的实施例来描述的各种解说性逻辑块、模块、引擎、电路、和算法操作可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、块、模块、引擎、电路、和操作在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于特定应用和施加于整体系统的设计约束。技术人员可针对每种应用以不同方式来实现所描述的功能性，但此类实现决策不应被解读为致使脱离权利要求的范围。
结合本文公开的实施例描述的各个解说性逻辑框、模块、以及电路可用设计成执行本文中描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。
结合本文所公开的实施例描述的方法或算法的各步骤可直接用硬件、由处理器执行的软件模块或这两者的组合来实现。软件模块可驻留在随机存取存储器(RAM)、闪存存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、压缩碟只读存储器(CD-ROM)、或本领域中所知的任何其他形式的存储介质中。示例存储介质被耦合到处理器以使得该处理器能从/向该存储介质读和写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能或模块可以作为一条或多条指令或代码存储在非瞬态计算机可读介质上或藉由其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类非瞬态计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。以上的组合也应被包括在非瞬态计算机可读介质的范围内。
提供所公开的实施例的先前描述是为了使本领域任何技术人员皆能制作或使用本权利要求。对这些实施例的各种修改对于本领域技术人员而言将是显而易见的，并且本文中定义的通用原理可被应用于其他实施例而不会脱离权利要求的范围。由此，本公开并非旨在被限定于本文中示出的实施例，而是应被授予与本文中公开的原理和新颖性特征一致的最广的范围。

Claims (30)

1.一种在处理器中实现的用于在计算设备的触摸屏上实现虚拟鼠标的方法，包括：
在用户单手使用所述计算设备期间激活所述虚拟鼠标；
通过以下操作确定所述虚拟鼠标在所述触摸屏上的位置：
标识与用户触摸事件相关联的触摸区域；
收集来自所标识的触摸区域的触摸数据；
确定与所述用户触摸事件相关联的压力和方向参数；以及
基于与所述用户触摸事件相关联的所述压力和方向参数来计算所述触摸屏上的位置；以及
在所述触摸屏上所确定的所述虚拟鼠标的位置处显示光标图标。
2.如权利要求1所述的方法，其特征在于，所显示的光标图标被配置成延伸超出单手使用期间用户手指的触及范围。
3.如权利要求1所述的方法，其特征在于，激活所述虚拟鼠标包括检测所述计算设备的触摸屏显示器的预定虚拟鼠标激活区域中的触摸事件。
4.如权利要求1所述的方法，其特征在于，激活所述虚拟鼠标包括在检测到所述计算设备被用户用与由该用户进行单手使用一致的方式拿着之际自动发起激活。
5.如权利要求3所述的方法，其特征在于，进一步包括：
当所述虚拟鼠标被激活时，确定所述计算设备上是否检测到停用事件；以及
响应于确定检测到所述停用事件而停用所述虚拟鼠标。
6.如权利要求5所述的方法，其特征在于，当所述虚拟鼠标被激活时，确定在所述计算设备上是否检测到停用事件包括确定在所述预定虚拟鼠标激活区域是否检测到触摸事件。
7.如权利要求1所述的方法，其特征在于，确定与所述用户触摸事件相关联的方向至少部分地基于拟合所述触摸区域的椭圆的长轴的取向。
8.如权利要求7所述的方法，其特征在于：
基于拟合所述触摸区域的所述椭圆的面积，以及触摸压力中的至少一者确定与所述用户触摸事件相关联的所述压力参数；以及
计算所述虚拟鼠标的位置包括计算表示所述虚拟鼠标的所述位置的向量，其中所计算向量的量值至少部分地基于所确定的压力参数。
9.如权利要求8所述的方法，其特征在于，计算表示所述虚拟鼠标的所述位置的向量包括计算以下等式的结果向量：
c+kpf，其中：
c表示从初始参考点到拟合所述触摸区域的椭圆的中心点的向量；
k表示缩放系数；
p表示所确定的压力参数；以及
f表示对应于所述拟合所述触摸区域的椭圆的长轴的取向的向量。
10.如权利要求8所述的方法，其特征在于，计算表示所述虚拟鼠标的所述位置的向量包括计算以下等式的结果向量：
c+kp(c-r)，其中：
c表示从初始参考点到拟合所述触摸区域的椭圆的中心点的向量；
r表示从所述初始参考点到最接近于所述椭圆的所述中心点的触摸屏显示器的隅角的向量；
k表示缩放系数；以及
p表示所确定的压力参数，以及f表示对应于所述拟合所述触摸区域的椭圆的长轴的取向的向量。
11.如权利要求1所述的方法，其特征在于，进一步包括：
确定当所投射的光标图标位于在所述触摸屏上显示的图形用户界面(GUI)元素的阈值距离内时，是否接收到选择输入；以及
响应于确定当所投射的光标图标位于在所述触摸屏上显示的图形用户界面(GUI)元素的阈值距离内时，接收到所述选择输入而执行与所述GUI元素相关联的操作。
12.如权利要求11所述的方法，其特征在于，进一步包括在执行与所述GUI元素相关联的操作之后自动停用所述虚拟鼠标。
13.如权利要求1所述的方法，其特征在于，进一步包括：
检测所投射的光标图标是否被置于离显示在所述触摸屏上的可操作图形用户界面(GUI)元素的阈值距离内；以及
响应于检测到所述光标图标被置于所述阈值距离内而将所投射的光标图标绘制到所述可操作GUI元素。
14.如权利要求1所述的方法，其特征在于，进一步包括：
检测所投射的光标图标是否已经从当前选择的可操作图形用户界面(GUI)元素移动超过预定非零距离；以及
响应于检测到所投射的光标图标已经从当前选择的可操作GUI元素移动超过所述预定非零距离而取消选择所述可操作GUI元素。
15.一种计算设备，包括：
触摸屏；
存储器；以及
耦合到所述触摸屏和所述存储器的处理器，其中所述处理器配置有执行以下操作的处理器可执行指令：
在用户单手使用所述计算设备期间激活虚拟鼠标；
通过以下操作确定所述虚拟鼠标在所述触摸屏上的位置：
标识与用户触摸事件相关联的触摸区域；
收集来自所标识的触摸区域的触摸数据；
确定与所述用户触摸事件相关联的压力和方向参数；以及
基于与所述用户触摸事件相关联的所述压力和方向参数来计算所述触摸屏上的位置；以及
在所述触摸屏上所确定的所述虚拟鼠标的位置处显示光标图标，
其中所投射的光标图标被放置成延伸超出单手使用期间用户的拇指或手指的触及范围。
16.如权利要求15所述的计算设备，其特征在于，所述处理器配置有执行操作使得所显示的光标图标被配置成延伸超出单手使用期间用户的手指的触及范围的处理器可执行指令。
17.如权利要求15所述的计算设备，其特征在于，所述处理器配置有执行操作使得激活所述虚拟鼠标包括检测所述计算设备的触摸屏显示器的预定虚拟鼠标激活区域中的触摸事件的处理器可执行指令。
18.如权利要求15所述的计算设备，其特征在于，所述处理器配置有执行操作使得激活所述虚拟鼠标包括在检测到所述计算设备被用户用与由该用户进行单手使用一致的方式拿着之际自动发起激活的处理器可执行指令。
19.如权利要求17所述的计算设备，其特征在于，所述处理器配置有用于执行进一步包括以下动作的操作的处理器可执行指令：
当所述虚拟鼠标被激活时，确定所述计算设备上是否检测到停用事件；以及
响应于确定检测到所述停用事件而停用所述虚拟鼠标。
20.如权利要求19所述的计算设备，其特征在于，所述处理器配置有使得当所述虚拟鼠标被激活时确定在所述计算设备上是否检测到停用事件包括确定在所述预定虚拟鼠标激活区域是否检测到触摸事件的处理器可执行指令。
21.如权利要求15所述的计算设备，其特征在于，所述处理器配置有使得确定与所述用户触摸事件相关联的方向至少部分地基于拟合所述触摸区域的椭圆的长轴的取向的处理器可执行指令。
22.如权利要求21所述的计算设备，其中所述处理器用处理器可执行指令配置成使得：
基于拟合所述触摸区域的所述椭圆的面积、以及触摸压力中的至少一者确定与所述用户触摸事件相关联的所述压力参数；以及
计算所述虚拟鼠标的位置包括计算表示所述虚拟鼠标的所述位置的向量，其中所计算的向量的量值至少部分地基于所确定的压力参数。
23.如权利要求22所述的计算设备，其特征在于，所述处理器配置有使得计算表示所述虚拟鼠标的所述位置的所述向量包括计算以下等式的结果向量的处理器可执行指令：
c+kpf，其中：
c表示从初始参考点到拟合所述触摸区域的椭圆的中心点的向量；
k表示缩放系数；
p表示所确定的压力参数；以及
f表示对应于所述拟合所述触摸区域的椭圆的长轴的取向的向量。
24.如权利要求22所述的计算设备，其特征在于，所述处理器配置有使得计算表示所述虚拟鼠标的位置的所述向量包括计算以下等式的结果向量的处理器可执行指令：
c+kp(c-r)，其中：
c表示从初始参考点到拟合所述触摸区域的椭圆的中心点的向量；
r表示从所述初始参考点到最接近于所述椭圆的所述中心点的触摸屏显示器的隅角的向量；
k表示缩放系数；以及
p表示所确定的压力参数，以及f表示对应于所述拟合所述触摸区域的椭圆的长轴的取向的向量。
25.如权利要求15所述的计算设备，其特征在于，所述处理器配置有用于执行进一步包括以下动作的操作的处理器可执行指令：
确定当所投射的光标图标位于在所述触摸屏上显示的图形用户界面(GUI)元素的阈值距离内时，是否接收到选择输入；以及
响应于确定当所投射的光标图标位于在所述触摸屏上显示的图形用户界面(GUI)元素的阈值距离内时，接收到所述选择输入而执行与所述GUI元素相关联的操作。
26.如权利要求15所述的计算设备，其特征在于，所述处理器配置有用以执行进一步包括在执行与所述GUI元素相关联的所述操作之后自动停用所述虚拟鼠标的操作的处理器可执行指令。
27.如权利要求15所述的计算设备，其特征在于，所述处理器配置有用于执行进一步包括以下动作的操作的处理器可执行指令：
检测所投射的光标图标是否被置于离显示在所述触摸屏上的可操作图形用户界面(GUI)元素的阈值距离内；以及
响应于检测到所投射的光标图标被置于所述阈值距离内而将所投射的光标图标绘制到所述可操作GUI元素。
28.如权利要求15所述的计算设备，其特征在于，所述处理器配置有用于执行进一步包括以下动作的操作的处理器可执行指令：
检测所投射的光标图标是否已经从当前选择的可操作图形用户界面(GUI)元素移动超过预定非零距离；以及
响应于检测到所投射的光标图标已经从当前选择的可操作GUI元素移动超过所述预定非零距离而取消选择所述可操作GUI元素。
29.一种计算设备，包括：
触摸屏；
用于在用户单手使用所述计算设备期间激活虚拟鼠标的装置；
用于确定所述虚拟鼠标在所述触摸屏上的位置的装置，其包括：
用于标识与用户触摸事件相关联的触摸区域的装置；
用于收集来自所标识的触摸区域的触摸数据的装置；
用于确定与所述用户触摸事件相关联的压力和方向参数的装置；以及
用于基于与所述用户触摸事件相关联的所述压力和方向参数来计算所述触摸屏上的位置的装置；以及
用于在所述触摸屏上所确定的所述虚拟鼠标的位置处显示光标图标的装置。
30.一种其上存储有处理器可执行指令的非瞬态处理器可读存储介质，所述指令被配置成使计算设备的处理器执行以下操作，包括：
在用户单手使用所述计算设备期间激活虚拟鼠标；
通过以下操作确定所述虚拟鼠标在触摸屏上的位置：
标识与用户触摸事件相关联的触摸区域；
收集来自所标识的触摸区域的触摸数据；
确定与所述用户触摸事件相关联的压力和方向参数；以及
基于与所述用户触摸事件相关联的所述压力和方向参数来计算所述触摸屏上的位置；以及
在所述触摸屏上所确定的所述虚拟鼠标的位置处显示光标图标。
CN201580060867.9A 2014-11-11 2015-11-11 用于基于手指压力和方向来控制光标的系统和方法 Pending CN107077297A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462078356P 2014-11-11 2014-11-11
US62/078,356 2014-11-11
US14/937,306 2015-11-10
US14/937,306 US20160132139A1 (en) 2014-11-11 2015-11-10 System and Methods for Controlling a Cursor Based on Finger Pressure and Direction
PCT/US2015/060073 WO2016077414A1 (en) 2014-11-11 2015-11-11 System and methods for controlling a cursor based on finger pressure and direction

Publications (1)

Publication Number Publication Date
CN107077297A true CN107077297A (zh) 2017-08-18

Family

ID=55912208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580060867.9A Pending CN107077297A (zh) 2014-11-11 2015-11-11 用于基于手指压力和方向来控制光标的系统和方法

Country Status (6)

Country Link
US (1) US20160132139A1 (zh)
EP (1) EP3218792A1 (zh)
JP (1) JP2017534993A (zh)
KR (1) KR20170083545A (zh)
CN (1) CN107077297A (zh)
WO (1) WO2016077414A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471522A (zh) * 2017-09-08 2019-03-15 三星电子株式会社 用于在虚拟现实中控制指示器的方法和电子设备
CN111443860A (zh) * 2020-03-25 2020-07-24 维沃移动通信有限公司 触控方法和电子设备
CN112162631A (zh) * 2020-09-18 2021-01-01 聚好看科技股份有限公司 一种交互设备、数据处理方法及介质
CN112351324A (zh) * 2020-10-27 2021-02-09 深圳Tcl新技术有限公司 模拟鼠标控制方法、装置、设备及计算机可读存储介质
CN113703571A (zh) * 2021-08-24 2021-11-26 梁枫 一种虚拟现实人机交互的方法、装置、设备和介质

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
AU2013368440B2 (en) 2012-12-29 2017-01-05 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP3238008A4 (en) * 2014-12-22 2018-12-26 Intel Corporation Multi-touch virtual mouse
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
JP6569546B2 (ja) * 2016-01-28 2019-09-04 富士通コネクテッドテクノロジーズ株式会社 表示装置、表示制御方法、および表示制御プログラム
CN107145289A (zh) * 2016-03-01 2017-09-08 富泰华工业（深圳）有限公司 可切换输入法的电子装置及其输入法切换方法、系统
CN107526513A (zh) * 2016-06-20 2017-12-29 中兴通讯股份有限公司 一种触摸屏终端上模拟鼠标操作的方法及装置
CN107728910B (zh) * 2016-08-10 2021-02-05 深圳富泰宏精密工业有限公司 电子装置、显示屏控制系统及方法
CN106790994A (zh) * 2016-11-22 2017-05-31 努比亚技术有限公司 控件的触发方法及移动终端
US10546109B2 (en) * 2017-02-14 2020-01-28 Qualcomm Incorporated Smart touchscreen display
WO2018166023A1 (zh) * 2017-03-13 2018-09-20 华为技术有限公司 一种图标显示方法和终端设备
JP2018200494A (ja) * 2017-05-25 2018-12-20 シナプティクス・ジャパン合同会社 タッチコントローラ、表示システム及びホスト装置
SE542090C2 (en) * 2017-05-31 2020-02-25 Izettle Merchant Services Ab Touch input device and method
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US11216160B2 (en) 2018-04-24 2022-01-04 Roku, Inc. Customizing a GUI based on user biometrics
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
CN109164950B (zh) * 2018-07-04 2020-07-07 珠海格力电器股份有限公司 一种移动终端系统界面设置方法、装置、介质和设备
US11157152B2 (en) * 2018-11-05 2021-10-26 Sap Se Interaction mechanisms for pointer control
JP7309466B2 (ja) * 2019-06-11 2023-07-18 キヤノン株式会社 電子機器およびその制御方法
CN112445406A (zh) * 2019-08-29 2021-03-05 中兴通讯股份有限公司 终端屏幕操作方法及终端和存储介质
CN112558825A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 一种信息处理方法及电子设备
US11934589B2 (en) 2019-10-10 2024-03-19 Microsoft Technology Licensing, Llc Configuring a mouse device through pressure detection
CN110825242B (zh) * 2019-10-18 2024-02-13 亮风台（上海）信息科技有限公司 一种用于输入的方法与设备
CN113093973B (zh) * 2019-12-23 2023-09-26 鹤壁天海电子信息系统有限公司 一种移动终端的操作方法、存储介质及移动终端
US11481069B2 (en) * 2020-09-15 2022-10-25 International Business Machines Corporation Physical cursor control in microfluidic display devices
US11644972B2 (en) * 2021-09-24 2023-05-09 Htc Corporation Virtual image display device and setting method for input interface thereof
US11693555B1 (en) * 2022-01-12 2023-07-04 Adobe Inc. Pressure value simulation from contact area data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040155870A1 (en) * 2003-01-24 2004-08-12 Middleton Bruce Peter Zero-front-footprint compact input system
US20140071049A1 (en) * 2012-09-11 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for providing one-handed user interface in mobile device having touch screen
US20140168128A1 (en) * 2009-04-01 2014-06-19 Perceptive Pixel, Inc. 3d manipulation using applied pressure
CN103988159A (zh) * 2011-12-22 2014-08-13 索尼公司 显示控制装置、显示控制方法以及计算机程序

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7499058B2 (en) * 2005-04-22 2009-03-03 Microsoft Corporation Programmatical access to handwritten electronic ink in a tree-based rendering environment
JP2010102474A (ja) * 2008-10-23 2010-05-06 Sony Ericsson Mobile Communications Ab 情報表示装置、携帯情報端末、表示制御方法及び表示制御プログラム
US20100214218A1 (en) * 2009-02-20 2010-08-26 Nokia Corporation Virtual mouse
US20120200539A1 (en) * 2009-10-22 2012-08-09 Sharp Kabushiki Kaisha Display device and display device driving method
US9619056B1 (en) * 2010-03-26 2017-04-11 Open Invention Network Llc Method and apparatus for determining a valid touch event on a touch sensitive device
US8328378B2 (en) * 2010-07-20 2012-12-11 National Changhua University Of Education Package, light uniformization structure, and backlight module using same
US9052772B2 (en) * 2011-08-10 2015-06-09 Lester F. Ludwig Heuristics for 3D and 6D touch gesture touch parameter calculations for high-dimensional touch parameter (HDTP) user interfaces
GB2509651B (en) * 2011-10-11 2015-07-08 Ibm Object designation method, device and computer program
US9195502B2 (en) * 2012-06-29 2015-11-24 International Business Machines Corporation Auto detecting shared libraries and creating a virtual scope repository
US9483146B2 (en) * 2012-10-17 2016-11-01 Perceptive Pixel, Inc. Input classification for multi-touch systems
JP6137453B2 (ja) * 2013-02-08 2017-05-31 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 制御装置及び制御プログラム
KR102056316B1 (ko) * 2013-05-03 2020-01-22 삼성전자주식회사 터치 스크린 동작 방법 및 그 전자 장치
WO2014186010A1 (en) * 2013-05-13 2014-11-20 Ohio University Motion-based identity authentication of an individual with a communications device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040155870A1 (en) * 2003-01-24 2004-08-12 Middleton Bruce Peter Zero-front-footprint compact input system
US20140168128A1 (en) * 2009-04-01 2014-06-19 Perceptive Pixel, Inc. 3d manipulation using applied pressure
CN103988159A (zh) * 2011-12-22 2014-08-13 索尼公司 显示控制装置、显示控制方法以及计算机程序
US20140071049A1 (en) * 2012-09-11 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for providing one-handed user interface in mobile device having touch screen

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471522A (zh) * 2017-09-08 2019-03-15 三星电子株式会社 用于在虚拟现实中控制指示器的方法和电子设备
CN109471522B (zh) * 2017-09-08 2023-11-28 三星电子株式会社 用于在虚拟现实中控制指示器的方法和电子设备
CN111443860A (zh) * 2020-03-25 2020-07-24 维沃移动通信有限公司 触控方法和电子设备
CN111443860B (zh) * 2020-03-25 2021-06-22 维沃移动通信有限公司 触控方法和电子设备
CN112162631A (zh) * 2020-09-18 2021-01-01 聚好看科技股份有限公司 一种交互设备、数据处理方法及介质
CN112162631B (zh) * 2020-09-18 2023-05-16 聚好看科技股份有限公司 一种交互设备、数据处理方法及介质
CN112351324A (zh) * 2020-10-27 2021-02-09 深圳Tcl新技术有限公司 模拟鼠标控制方法、装置、设备及计算机可读存储介质
CN113703571A (zh) * 2021-08-24 2021-11-26 梁枫 一种虚拟现实人机交互的方法、装置、设备和介质
CN113703571B (zh) * 2021-08-24 2024-02-06 梁枫 一种虚拟现实人机交互的方法、装置、设备和介质

Also Published As

Publication number Publication date
KR20170083545A (ko) 2017-07-18
JP2017534993A (ja) 2017-11-24
EP3218792A1 (en) 2017-09-20
WO2016077414A1 (en) 2016-05-19
US20160132139A1 (en) 2016-05-12

Similar Documents

Publication Publication Date Title
CN107077297A (zh) 用于基于手指压力和方向来控制光标的系统和方法
US10394328B2 (en) Feedback providing method and electronic device for supporting the same
CN109564498B (zh) 电子设备和识别电子设备中的触摸的方法
KR102332015B1 (ko) 터치 처리 방법 및 이를 지원하는 전자 장치
KR102429740B1 (ko) 터치 이벤트 처리 방법 및 그 장치
US9582091B2 (en) Method and apparatus for providing user interface for medical diagnostic apparatus
CN107918760A (zh) 具有多个指纹感测模式的电子装置及其控制方法
US10198118B2 (en) Operating method and electronic device for processing method thereof
KR102386480B1 (ko) 전자 기기의 입력 식별 방법 및 장치
JP2014502763A5 (zh)
KR20160014481A (ko) Idle 모드에서 동작하는 전자 장치 및 방법
KR102294705B1 (ko) 유저 입력에 기초한 오브젝트 속성을 제어하는 전자 장치 및 방법
CN110326277A (zh) 用于多任务的界面提供方法和实施该方法的电子设备
EP2983068B1 (en) Electronic device and method for processing letter input in electronic device
CN106415474A (zh) 用于控制显示和电子设备的方法
US10747362B2 (en) Touch device with suppression band
CN107924286B (zh) 电子设备及电子设备的输入方法
US20140111452A1 (en) Terminal and method of controlling touch operations in the terminal
KR102272343B1 (ko) 전자 펜 운용 방법 및 이를 지원하는 전자 장치
CN107015752A (zh) 用于处理视图层上的输入的电子设备和方法
US10528248B2 (en) Method for providing user interface and electronic device therefor
KR102601905B1 (ko) 터치 패드 운용 방법 및 이를 지원하는 전자 장치
KR102408032B1 (ko) 전자장치 및 이를 사용하여 디스플레이에 연동된 생체 센서의 제어 방법
KR20160022541A (ko) 지문 인식 방법 및 장치
CN104516668A (zh) 手持式电子装置及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818

WD01 Invention patent application deemed withdrawn after publication