CN102999290A - 在显示器上呈现目标项的方法和计算机系统 - Google Patents

在显示器上呈现目标项的方法和计算机系统 Download PDF

Info

Publication number
CN102999290A
CN102999290A CN2012103351640A CN201210335164A CN102999290A CN 102999290 A CN102999290 A CN 102999290A CN 2012103351640 A CN2012103351640 A CN 2012103351640A CN 201210335164 A CN201210335164 A CN 201210335164A CN 102999290 A CN102999290 A CN 102999290A
Authority
CN
China
Prior art keywords
target item
display
selection
user
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103351640A
Other languages
English (en)
Other versions
CN102999290B (zh
Inventor
P·巴蒂舒
K·P·欣克利
R·萨林
E·B·柯特雷
A·D·威尔森
D·沃格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102999290A publication Critical patent/CN102999290A/zh
Application granted granted Critical
Publication of CN102999290B publication Critical patent/CN102999290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Telephone Function (AREA)

Abstract

本发明提供了用于在显示器上呈现目标项的方法和计算机系统。在所述显示器的第一部分上接收对所述目标项的选择;确定对所述目标项的选择是否满足预定条件;以及当对所述目标项的选择满足所述预定条件时,在所述显示器的第二部分上显示所述目标项的表示。

Description

在显示器上呈现目标项的方法和计算机系统
本申请是国际申请号为PCT/US2007/086707、国际申请日为2007年12月7日、中国国家申请日为2007年12月7日、中国国家申请号为200780045422.9、发明名称为“操作触摸屏界面”的发明专利申请的分案申请。
技术领域
本发明涉及操作触摸屏界面,尤其涉及在显示器上呈现目标项的方法和计算机系统。
背景技术
诸如个人数字助理(PDA)、移动电话-PDA混合体和超移动个人计算机(UMPC)等许多设备利用基于笔的输入来帮助用户清楚地定义屏幕上的选择点并且它们还支持触摸输入。笔或指示笔通常很细,并且还帮助在用户的手和屏幕之间创建垂直偏移以使得出现在该屏幕上的目标不会被用户的手指或手遮挡。然而,取出指示笔花费时间并且例如在单手操作的情境中可能不方便,或者例如在短时间/间歇交互的情境中会是低效的。
在对指示笔的使用是低效的或不方便时,用户有时使用其手指或其他“触摸输入”来选择显示在设备屏幕上的对象。例如,这对于诸如验证会议时间、导航地图或控制媒体播放器等间歇的或短时间的交互而言经常是这样的情况。
发明内容
提供了一种移位定点技术,其被设计成通过在用户使用触摸来操作触摸屏设备时防止遮挡并定义清楚的选择点来允许用户用诸如其手指等选择实体来操作用户界面。当用户试图选择显示在触敏显示设备的屏幕上的小目标时,移位定点技术创建并显示示出被遮挡的屏幕区域的表示的标注并将该被遮挡的屏幕区域的表示放置在未遮挡屏幕位置。遮挡区域是被用户的手指或其他选择实体遮挡的触摸屏区域。该标注还显示表示用户的手指或其他选择实体的当前选择点的指针。通过使用标注所提供的视觉反馈,用户可通过在触摸屏上移动(例如,拖拽或滚动)其手指或其他选择实体来将指针引导至目标。用户然后可通过将其手指或其他选择实体从设备的屏幕抬起来提交目标获取(例如,选择小目标)。相反,当用户试图选择触摸屏设备的屏幕上的较大目标时,不创建标注并且用户享受未经更改的触摸屏的全部性能。
因此,除偏移指针之外,移位定点技术还偏移屏幕内容以提供好得多的定标性能。这些技术可允许用户以比无辅助的触摸屏低得多的出错率选择小目标,并且可减少由于目标被用户的手指(或其他选择实体)遮挡而导致的差错以及关于手指(或其他选择实体)的哪一部分定义显示器或屏幕上的选择点的模糊性。由此,可在对触摸屏设备使用触摸输入时减少出错率。
提供本概述是为了以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或本质特征,也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
可通过在结合附图考虑时参考详细描述和权利要求书来获得对一示例实施例的更完整的理解,附图中相同的附图标记指示类似的元素。
图1是根据一个示例性实现的示例计算机系统的简化的示意性表示;
图2是根据一个示例性实现的触摸屏设备的前视图的简化的示意性表示;
图3是根据一个示例性实现的用于使用触摸输入来选择显示在触摸屏设备的屏幕上的所需目标的技术的示例性流程图;
图4(a)-4(e)是示出根据一个示例性实现的用于使用触摸输入来选择显示在触摸屏设备的屏幕上的相对较小的目标的升级(escalation)或“移位定点(shiftpointing)”技术的一系列示例性示图;
图5(a)-5(b)是示出根据另一个示例性实现的用于使用触摸输入来选择显示在触摸屏设备的屏幕上的较大目标的常规技术的一系列示例性示图;
图6(a)是示出在用户试图选择目标时用户手指的接触区域的示图;
图6(b)是示出比值SF/ST可如何使用对数函数来映射到停留超时的曲线图;
图7(a)-(d)是示出标注和指针相对于用户的手指在触摸屏设备的屏幕上的不同位置的示例性定位的示图;
图8(a)是示出从用户的观点来看的目标、用户的手指和输入点的示图;
图8(b)是示出从硬件的观点来看的目标、用户的手指的接触区域和输入点的示图;以及
图9是示出可在用户试图选择小目标时应用于标注的缩放增强的示图。
具体实施方式
以下详细描述本质上仅是示例性的,而非旨在限制本发明或本申请以及本发明的用途。在此使用的词语“示例性”意味着“用作示例、实例或说明”。在此被描述为“示例性”的任何实现并不一定要被解释为相比其它实现更优选或有利。以下所描述的所有实现都是被提供以使本领域的技术人员能够做出或使用本发明的示例性实现,而非旨在限制由所附权利要求书所定义的本发明的范围。
各示例实施例在此可按照各功能和/或逻辑块组件以及各处理步骤来描述。应当理解,这些块组件可由被配置成执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如,一实施例可采用可在一个或多个微处理器或其他控制设备的控制下执行各种功能的多种集成电路组件,例如,存储元件、数字信号处理元件、逻辑元件、查寻表等。此外,本领域技术人员可以理解,各实践实施例可结合任何数量的数据传输协议来实施并且此处所描述的系统仅仅是一个示例实施例。
为简明起见,关于计算设备操作、触摸屏操作、图形在显示元件上的呈现以及系统(以及该系统的各个操作组件)的其他功能方面的常规技术可不在此详细描述。此外,此处所包含的各附图中所示的连接线旨在表示各元件之间的示例功能关系和/或物理耦合。应当注意,在示例实施例中可能存在许多替换或附加功能关系或物理连接。
图1是用于实现触摸屏设备的示例计算机系统100的简化的示意性表示。计算机系统100只是合适的计算环境的一个示例,并不旨在对此处所描述的各实现的使用范围或功能提出任何限制。可适用于这些实现的其他公知的计算系统、环境和/或配置包括,但不限于,个人计算机、服务器计算机、手持式或膝上型设备、个人数字助理、移动电话、诸如自动提款机(ATM)和飞行中的娱乐系统等基于服务台的计算机、零售产品信息系统、全球定位系统(GPS)导航设备、位置地图、建筑物目录、便携式媒体播放器、电子书、通行服务台、博物馆信息显示器、多处理器系统、基于微处理器的系统、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述系统或设备中的任一个的分布式计算环境等。
计算机系统100可以在由一个或多个计算机或其他设备执行的诸如程序模块等计算机可执行指令的通用上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和/或其他元件等等。一般,程序模块的功能可按需在各个实现中组合或分布。
计算机系统100通常具有至少某种形式的计算机可读介质。计算机可读介质可以是可由计算机系统100和/或由计算机系统100执行的应用程序来访问的任何可用介质。作为示例而非局限,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括,但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机系统100访问的任何其它介质。通信介质通常以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据,并包括任意信息传送介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制,通信介质包括有线介质,诸如有线网络或直接线连接,以及无线介质,诸如声学、RF、红外线和其它无线介质。上述中任一组合也应包括在计算机可读介质的范围之内。
再次参考图1,在其最基本的配置中,计算机系统100通常包括至少一个处理单元102以及适量的存储器104。取决于计算系统100的确切配置和类型,存储器104可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或是两者的某种组合。该最基本配置在图1中由附图标记106来标识。另外,计算机系统100还可具有附加特征/功能。例如,计算机系统100还可包含附加存储(可移动和/或不可移动),包括但不限于磁盘、光盘或磁带。这样的另外的存储在图1中由可移动存储108和不可移动存储110示出。存储器104、可移动存储108和不可移动存储110都是如以上所定义的计算机存储介质的示例。
计算机系统100还可包含允许该系统与其它设备进行通信的通信连接112。通信连接112可以与如以上所定义的对通信介质的处理相关联。
计算机系统100还可包括输入设备114,诸如键盘、鼠标或其他定点设备、语音输入设备、笔、指示笔或其他输入设备等,或与输入设备114进行通信。在以下参考图2描述的示例实施例中,计算机系统100包括可接受触摸输入并允许用户选择显示在屏幕上的特定对象的屏幕、显示器或其他用户界面(UI)。尽管此处所描述的示例实施例利用触摸输入,但此处所描述的各实施例可被等效地配置成也支持任何等价的基于触摸的输入,诸如在使用笔或指示笔的情况下发生的输入等。计算机系统100还可包括诸如显示器、扬声器、打印机等输出设备116或与其进行通信。所有这些设备在本领域中是公知的并且不必在此详细讨论。
概览
虽然方便,但使用触摸输入可增加定标时间和出错率。不幸的是,针对笔或指示笔输入设计的用户界面通常包含小目标,并且在这些情况下用手指的选择可变得缓慢且容易出错。例如,使用手指或其他形式的“触摸输入”遮挡小目标,从而迫使在没有视觉反馈的情况下完成目标选择和获取。这使得选择和获取容易出错。
虽然手指在精细控制方面稍比指示笔不精确,但精确度并非是与触摸输入相关联的高出错率的唯一原因。与触摸输入相关联的高出错率的其他原因是由于手指的接触区域结合目标的遮挡所造成的模糊选择点。例如,用户在选择大小小于手指接触区域的目标时难以确定他们是否已获取了该目标。不幸的是,用户的手指还遮挡了小于手指的接触区域的目标,由此妨碍用户看见视觉反馈。
泛言之,提供了可改善诸如PDA或UMPC等基于笔的或触摸屏设备的操作的技巧和技术。这些技巧和技术可允许在用户的手指或其他选择实体(例如,另一身体部分)触摸触摸屏设备的屏幕以试图选择显示在屏幕上的对象时进行触摸输入。在用户试图选择目标时,可在屏幕的未遮挡的屏幕区域内呈现标注。该标注包括被用户的手指(或其他选择实体)遮挡的屏幕区域的表示。在某些实现中,“被遮挡的屏幕区域的表示”可包括被用户的手指(或其他选择实体)遮挡的屏幕区域的副本。
在以下描述中,升级或“移位定点”技术将参考其中用户试图使用其手指来选择目标的情形来描述。然而,可以理解,通常只要用户试图使用任何“选择实体”来选择目标就可应用升级或“移位定点”技术。如此处所使用的,术语“选择实体”可包括诸如手指或手指甲等身体部分或其他选择器具,其在用户试图使用该选择实体来选择显示在遮挡区域中的目标时阻挡或遮挡触摸屏设备的一区域。
图2是触摸屏设备200的前视图的简化的示意性表示。触摸屏设备200可以在例如计算机系统100的任何合适地配置的计算设备或系统中实现。
触摸屏设备200包括用于显示包括用户想要选择的所需目标的信息的触摸屏202。如此处所使用的,术语“触摸屏”指的是屏幕、显示器或其他UI,其被配置或设计成允许通过按压屏幕、显示器或其他UI的一区域以选择显示在屏幕、显示器或其他UI上的对象来进行触摸输入。例如,用户可用诸如指示笔或笔来按压屏幕,或用用户的手指或其他附属物来触摸屏幕。触摸屏设备可在多种电子设备中的任一种中实现,包括例如,用于任何数量的不同应用的便携式电器,诸如蜂窝电话、PDA、膝上型计算机、视频游戏机、电子玩具、电子控制垫等;用于信息分发的固定服务台,诸如ATM等。
在用户试图选择显示在触摸屏202上的所需目标(未在图2中示出)时,该用户可将他或她的手指放在触摸屏202上的所需目标上。被用户的手指覆盖的触摸屏202的区域可被称为触摸屏202的遮挡屏幕区域204。该遮挡屏幕区域204包括被用户的手指覆盖并包括该用户试图选择的所需目标的屏幕202的区域。所需目标占据了屏幕202上处于遮挡屏幕区域204内的第一区域。
在用户的手指触摸触摸屏202的表面以试图选择显示在屏幕202上的所需目标时,触摸屏设备200中的一个或多个模块与处理单元102协同操作以确定遮挡对于所需目标(在用户的手指下)是否成问题。
当确定遮挡对于用户的手指下的所需目标可能成问题时,可显示或呈现标注206和指针208。显示或呈现标注206和指针208的决定可被称为“升级”。用于确定是否显示或呈现标注206和指针208(或“升级”)的示例性技术可包括,但不限于例如,基于用户输入的触发、基于停留定时器的触发或基于目标大小的触发。这些用于确定是否升级的技术将在以下更详细地描述。
如此处所使用的,术语“标注”指的是遮挡屏幕区域的经移位表示(其通常包括所需目标的表示)。在某些实现中,“被遮挡的屏幕区域的表示”可包括被用户的手指(或其他选择实体)遮挡的屏幕区域的副本。在某些实现中,标注可响应于输入移动、显示更新或出于其他原因而移动,并由此不必被静态放置。标注通常可以具有任何合适的大小和任何合适的形状。在该特定示例中,如图2所示,标注206的复制部分被示为具有圆形的形状或框,然而,该复制部分可具有矩形的形状或框、正方形的形状或框、椭圆形的形状或框、卡通气泡形状或框或其任意组合。标注206还可位于或置于(或转换到)未遮挡屏幕区域(在图2中用交叉影线示出)中的任何合适的位置。标注放置的示例将在以下参考图7来提供。此外,标注206可取决于实现而与遮挡区域的大小相同、小于遮挡区域或大于遮挡区域。在以下参考图9描述的一个示例性“缩放”实现中,标注206大于遮挡区域。该实现在所需目标特别小并难以选择的情况下尤其有帮助。
如此处所使用的,术语“指针”指的是诸如用户的手指等输入设备所指定的当前系统输入坐标,并表示屏幕上的实际接触或选择点。在一个实现中,所移位的指针208和手指下的实际接触点如图2所示地用虚线来连接。实际接触点表示用户的手指在遮挡屏幕区域204内的当前实际接触或选择点。因此,除了偏移指针208之外,标注206偏移被遮挡屏幕内容的表示,这可导致好得多的定标性能。
当做出升级的决定时,触摸屏设备200中的一个或多个模块与处理单元102协同操作以执行用于在触摸屏202的未遮挡屏幕区域(在图2中用交叉影线示出)中显示或呈现标注206和指针208的计算机指令。
指针208可以在用户试图选择所需目标时移动以使得指针208可通过在屏幕202的表面上移动手指来移动。标注206提供给用户的视觉反馈允许用户在显示在标注206中的所需目标的表示上移动指针208。例如,用户可通过将其手指保持在触摸屏202的遮挡屏幕区域204上并通过在触摸屏202的表面上(遮挡屏幕区域204中)移动或滚动其手指来引导指针208直到指针208处于所需目标的表示的上方,来将指针208引导至显示在标注206中的所需目标的表示的上方。
为了选择所需目标,用户通过在指针208处于显示在标注206中的所需目标的表示的上方时将其手指从屏幕202的表面上抬起来提交目标获取。在一个实现中,成功的目标获取可用点击声音来确认,而不成功的目标获取尝试可导致出错声音。触摸屏设备200中的一个或多个模块与处理单元102协同操作以便在用户将其手指从触摸屏202的表面上抬起时移除标注206和指针208。
图3是根据一个示例性实现的用于使用触摸输入来选择显示在触摸屏设备的屏幕上的所需目标的技术的示例性流程图300。图3将参考图4(a)-4(e)和图5(a)-5(b)来描述以示出图3的技术如何能够在一个示例性实现中应用。图4(a)-4(e)是示出根据一个示例性实现的用于使用触摸输入来选择显示在触摸屏设备的屏幕上的相对较小目标的升级或“移位定点”技术的一系列示例性示图400。图5(a)-5(b)是示出根据另一个示例性实现的用于使用触摸输入来选择显示在触摸屏设备的屏幕上的较大目标的常规技术的一系列示例性示图500。
在步骤310,用户试图通过用其手指来触摸设备显示器表面(例如,设备的表面)来获取或选择显示在触摸屏设备的显示器或屏幕上的所需目标。例如,如图4(a)和图5(a)所示,用户用其手指410、510(或者包括其他身体部分或设备的其他对象)来按压屏幕表面以试图选择所需目标401、501。在图4(a)中,所需目标410占据了显示在屏幕上的、在用户的手指401下的第一、小区域。所需目标410在多个其他可能的目标(被示为小矩形)附近。被用户的手指401覆盖(并且包括所需目标410和其他可能的目标)的屏幕区域以下被称为用户无法看见的“遮挡”区域。在图5(a)中,所需目标510占据了显示在屏幕上的、未被用户的手指501完全覆盖的相对较大的区域。换言之,在图5(a)中,所需目标510只是被部分地遮挡,因为所需目标510的某些部分仍然可见。
条件升级克服了遮挡问题并允许用户可靠地选择小目标。该升级或移位定点技术帮助确保交互开销被限于其中交互开销实在是必需的情况(例如,小目标),这可节省大量的时间。在步骤320,触摸屏设备中的处理器或其他模块确定对于特定所需目标是否需要“升级”。一般而言,给定显示在用户的手指下的遮挡屏幕区域中的可能目标,触摸屏设备中的处理器或其他模块确定遮挡是否成问题。可使用任何数量的不同技术来确定是否要执行升级(例如,确定是否显示或呈现标注和指针)。这些技术可包括,但不限于例如,基于用户输入的触发、基于停留定时器的触发或基于目标大小的触发。这些技术将在以下描述。
如果确定不需要升级(例如,遮挡对于用户的手指下的所需目标不成问题),则在步骤325,触摸屏设备继续以像未经修改的触摸屏(例如,不调用升级)的其普通或常规方式操作。过程300等待下一个所需目标,并循环返回到步骤310。在图5(a)和5(b)所描绘的示例性情况下,在用户试图选择触摸屏设备的屏幕上的较大目标时不创建或显示标注。通过立即抬起他们的手指,用户如同使用无辅助触摸屏一样做出选择。在此,无辅助的触摸屏输入的简单性使其对于较大的目标足够。
升级或移位定点技术也如触摸屏用户所期望的那样工作,这表现在它允许用户对准实际目标本身。通过允许用户对准实际目标,升级或移位定点技术保持与常规笔和触摸输入兼容。该兼容性当在笔和触摸输入之间来回切换时使交互保持一致。这还使得易于在走动(walk-up)的情况下部署该升级或移位定点技术或翻新现有系统。
如果确定需要升级(例如,遮挡对于用户的手指下的所需目标成问题),则在步骤330,可在屏幕的未遮挡区域上呈现或显示标注和指针。
升级或移位定点技术也如触摸屏用户所期望的那样工作,这表现在它允许用户对准实际目标本身。通过允许用户对准实际目标,升级或移位定点技术保持与常规笔和触摸输入兼容。该兼容性当在笔和触摸输入之间来回切换时使交互保持一致。这还使得易于在走动(walk-up)的情况下部署该升级或移位定点技术或翻新现有系统。
标注和指针可帮助消除与遮挡相关联的问题,并且还可帮助减少与实际接触或选择点模糊性相关联的问题。例如,如图4(b)所示,可在屏幕的未遮挡区域中提供或显示标注406和指针408。标注406在屏幕的未遮挡区域上显示遮挡屏幕区域(例如,被用户的手指410覆盖的区域)的表示。该遮挡屏幕区域的表示可包括例如,所需目标401的副本401’。指针408表示用户的手指在屏幕上的实际接触或选择点。在指针408初始显示时,指针408不与所需目标401的副本401’重合。
此外,应当理解,虽然标注406的位置被示为显示在目标和用户的手指的上方,但如将在以下参考图6描述的,标注406可被定位在屏幕的未遮挡区域内相对于或者目标或者用户的手指的任何方便位置。标注和指针的放置应以可帮助最小化遮挡并最大化可预测性以加速视觉重定向的方式完成。
在步骤340,用户将指针引导至所需目标的表示的上方以选择该所需目标。例如,如图4(c)所示,在保持其手指410与屏幕接触的同时,用户可基于标注406所提供的视觉反馈来引导指针408的位置。用户可通过在屏幕的表面上移动其手指直到指针408处于显示在屏幕的未遮挡屏幕区域中的所需目标401的副本401’的上方来做出正确的移动并精细地调整指针位置。
当指针处于所需目标的表示上时,在步骤350,用户提交所需目标的目标获取。例如,如图4(d)所示,为了选择所需目标,用户通过在指针408处于显示在未遮挡的屏幕区域中的所需目标401的副本401’的上方时将其手指410从屏幕的表面抬起(例如,拿开(take-off)选择)来提交所需目标401的目标获取。在一个实现中,成功的目标获取可用点击声音来确认,而不成功的目标获取尝试可导致出错声音。在另一实现中,一旦在视觉上验证了正确的位置,抬起手指410选择目标401,就可导致短暂的星星余晖并完成该选择。
在步骤360,当用户将其手指从屏幕的表面抬起时移除标注和指针。例如,如图4(e)所示,标注406和指针408在用户将其手指(未示出)从屏幕的表面抬起时移除,并且所需目标已被选择。
用于确定是否要执行升级的技术
在一个实现中,可使用基于用户输入的触发来触发升级或“移位定点技术”。例如,用户可按下一按钮或选择另一输入设备来触发升级。
在另一个实现中,可使用基于目标大小的触发来触发升级或“移位定点技术”。处理器或其他模块可基于所需目标相对于选择实体(例如,用户的手指)的接触区域的大小来确定遮挡对于所需目标是否成问题。例如,因为遮挡在所需目标的最小尺寸小于典型的手指接触直径时会成问题,所以处理器或其他模块可确定是否存在足够小以至被手指遮挡的目标(例如,所需目标包括相对于选择实体(例如,用户的手指)的接触区域的小目标)。在一个实现中,存在其中遮挡使得选择较小的目标容易出错的近似阈值大小或“遮挡阈值”。当用户使用其手指来按压屏幕的表面以试图选择所需目标(例如,触摸遮挡屏幕区域并对其施压)时,触摸屏设备中的处理器或其他模块确定所需目标是否小于遮挡阈值。如果所需目标小于遮挡阈值,则实现升级或移位定点技术。相反,遮挡在用户试图选择屏幕上的较大目标时通常将不会成问题。由此,对于大于遮挡阈值的目标而言,升级或移位定点技术不在屏幕上呈现或显示标注,而是如同未经修改的触摸屏那样工作。
在又一个实现中,可使用基于停留定时器的触发来触发升级或“移位定点技术”。例如,处理器或其他模块确定用户的手指是否已与显示器接触超过阈值时间。如果用户的手指已与显示器接触超过阈值时间,则处理器或其他模块确定应实现升级或移位定点。如果用户的手指已与显示器接触了少于或等于阈值时间,则处理器或其他模块确定不应实现升级或移位定点并且应实现常规、无辅助的触摸屏。
基于停顿和选择模糊性的升级
在又一实现中,在即将到来的定标尝试中决定是否升级并使用“移位定点”技术时可组合来自两个实现的概念,而不是仅以基于目标大小的触发或基于停留定时器的触发作为是否升级的决定的基础。
通过使用停留时间,关于是否升级的最终决定被留给用户。例如,在完全缺少关于目标大小和位置的附加知识的情况下,可使用固定停留超时(例如,300毫秒)。当该固定停留超时期满时,应实现升级或移位定点。然而,当触摸屏设备提供关于目标大小和位置的信息时,移位定点技术可基于“选择模糊性”来确定或计算停留超时。在以下参考图6(a)和6(b)描述的一个实施例中,可定义屏幕接触与升级之间的停留超时。停留超时的持续时间可根据用户的手指下的目标的大小而变化,并且选择模糊性可通过将在用户的手指下发现的最小目标大小与遮挡阈值进行比较来确定或估计。
当目标相比于遮挡阈值较小时,选择模糊性就相对较高,并且停留超时可被设置成非常短暂的持续时间并且升级几乎立即发生。然而,如果目标比遮挡阈值大得多,则遮挡不是问题。在这种情况下,升级并非是必需的,因而停留超时可被设置成较长的时间,从而使得用户能够利用简单的、直接的触摸。由此,对于相对较大的目标,停留超时相对较长并且用户能够在没有升级的情况下获取目标,从而导致与未经修改的触摸屏相同的性能。
对于大小大致与遮挡阈值相同的目标,选择模糊程度本身是模糊的(用户可取决于他们对其选择的置信度而需要或不需要升级)。在这种情况下,停留超时在仅仅足够长以控制带有停顿的升级调用的短暂延迟后发生。如果用户想要升级或调用移位定点技术,则该用户可通过将其手指保持在屏幕的表面上达一段时间来停顿。为了避免升级,用户可立即将其手指从屏幕表面抬起。
图6(a)是示出在用户试图选择目标601时用户手指610的接触区域605的示图。图6(a)还示出遮挡阈值(SF)、以及在用户的手指610下发现的最小目标601的最小尺寸(ST)。在一个实现中,遮挡阈值(SF)是用户的手指610的接触区域605的最大尺寸。遮挡阈值(SF)和最小目标601的最小尺寸(ST)可用于计算遮挡阈值(SF)与在手指下发现的最小目标的最小尺寸(ST)的比值。
图6(b)是示出比值SF/ST可如何使用对数函数来映射到停留超时的曲线图。对数函数由数学公式来定义:
P ( t ) = a · 1 + me - t / τ 1 + n e - t τ
a、m、n和τ是实数参数。
遮挡阈值(SF)与在手指下发现的最小目标的最小尺寸(ST)的比值可使用该对数函数来映射到停留时间。在一个实现中,这些实数参数可被设置为a=1、m=0、n=4且τ=3。如图6B所示,当这些实数参数在该对数函数中使用时,这产生一平滑曲线,该曲线将小目标映射到约0毫秒,将大目标映射到约1500毫秒,且将接近遮挡阈值的目标映射到约300毫秒。换言之,该曲线对于非常小的目标命中(hit)接近0毫秒的最短延迟时间;该曲线对于大目标命中约1500毫秒的最长延迟时间;并且对于大小接近遮挡阈值的目标,该曲线命中接近300毫秒的延迟时间。
估计遮挡阈值
遮挡阈值(SF)大致上与手指接触区域相关,但通常在PDA和UMPC上使用的触敏屏幕只报告单个输入点而不是手指接触区域。随着时间推移对遮挡阈值(SF)的估计可基于对其使用升级的目标大小以及未对其使用升级的目标大小来确定。以初始猜测SF开始,然后如果用户在SF<ST时升级,则使遮挡阈值(SF)增大s,而如果用户未升级且SF>ST,则使遮挡阈值(SF)减小s,其中s=w|SF-ST|,并且其中w是用于随着时间的推移平滑估计的手动调整的权重。在一个实现中,等于0.125的权重(w)可用于提供平滑性和学习速率之间的良好平衡。
该方案的潜在好处是如果用户优选使用其手指甲(而不是其手指或指尖)来选择目标,则遮挡阈值(SF)将缩小以使得升级仅对于非常小的目标是即时的。对于能够传感指示笔是否在设备槽中的设备而言,该方法允许分别对于手指和笔学习独立的遮挡阈值(SF)值。在缺少该传感器数据的情况下,将权重(w)设置成相对较大的值允许快速学习新的遮挡阈值(SF)以响应用户的输入风格的变化。
图7(a)-(d)是示出标注706和指针708相对于用户的手指710在触摸屏设备的屏幕上的不同位置的示例性定位的示图。图7(a)-(d)示出升级或移位定点技术未导致任何不可访问的屏幕区域。标注的位置可被显示在屏幕的未遮挡区域中相对于所需目标701和/或用户的手指710的任何位置。例如,在图7(a)所示的图中,标注706A被直接偏移在屏幕的未遮挡区域内的、用户的手指710A和所需目标701A的上方。在图7(b)中,为了避免在屏幕边缘处剪切,标注706B被偏移到屏幕的未遮挡区域内的、用户的手指710B和所需目标701B的右上方。进一步向着屏幕中间定位标注706B可帮助避免在边缘附近剪切。在图7(c)中,为了避免在屏幕的顶端边缘处剪切,所需目标701C在显示器的顶端边缘附近。由此,为了避免剪切,标注706C可被偏移到屏幕的未遮挡区域内的、用户的手指710C的左侧并稍微在所需目标701C的下面。可以理解,如果不可能将标注706C偏移到左侧,则标注706C可如图7(d)所示地被偏移到屏幕的未遮挡区域内的、用户的手指710D的右侧并略低于所需目标701D。通过调整相对的标注706位置,升级或移位定点技术在屏幕上的任何地方处理目标701,并且可防止本可能在屏幕的边缘处发生的剪切问题。另外,可以理解,可使用“用手习惯(handedness)检测”来为左撇子用户颠倒标注706的放置或定位。
对用户所感知到的输入点的校正
图8(a)是示出从用户的观点来看的目标801、用户的手指810和输入点807的示图。在许多触摸屏设备中,计算单个选择点并将其大致放置在手指接触区域的中间。图8(b)是示出从硬件的观点来看的目标801、用户手指的接触区域809和输入点807’的示图。对于某些用户,接触点经常略低于预期目标。移位定点技术显示相对于初始接触点的指针位置。在某些实现中,可调整相对于初始接触点的指针位置以反映用户所感知到的接触点。
例如,在一个实现中,移位定点技术可基于单个接触点来调整输入位置。可定期计算对校正向量(V)的估计,该校正向量(V)将硬件输入点807’映射到用户所感知到的输入点807。例如,在一个实现中,对校正向量(V)的估计可通过在经校正的最终抬起点(P2)和初始接触点(P1)之间添加加权向量来更新:Vt+1=Vt+w(P2-P1),其中w是经手动调整的权重。在一个实现中,经手动调整的权重(w)可被设置成约等于0.33以平滑估计而不使得迭代细化过于缓慢。这减少了估计V收敛之后的精细调整时间,从而允许用户简单地验证所选目标而无需进一步的调整。但与其他手指不同,拇指的接触形状往往取决于显示器上的接触位置而变化。这使得单个调整向量是不够的。位置专用调整向量之间的线性内插可缓解该问题。
标注放大或“缩放”
升级或移位定点技术的一个目的是使用户能够通过避免目标遮挡来获取目标。在某些用例中,目标可能特别小。例如,虽然上述移位定点技术对于获取6个像素或更多像素(约2.6毫米)的目标运行良好,但在某些情况下,用户可能想要获取小于6个像素的目标。在某些实现中,移位定点技术可用控制显示(CD)比操纵的缩放和增益操纵来增强以增强定标精度并允许高精度定点准确度。
图9是示出可应用于在用户试图选择小目标时由升级或移位定点技术产生的标注906的缩放增强的示图。对于特别小的目标,上述技术还可通过放大标注906并提高标注906对该标注906再现的遮挡屏幕区域的显示比来实现缩放功能。当实现缩放功能时,显示在标注906中的遮挡屏幕区域的再现的大小大于被用户的手指遮挡的实际区域以使得标注906呈现放大版本的遮挡屏幕区域。
在某些实现中,可修改标注906以使其现在类似于跟踪菜单地与手指一起行进,使得用户能够达到超出标注的内容。因为手指不再直接与指针908位置对应,所以移动标注906以使其在校正阶段不变成被遮挡的。标注906的初始位置可相对于初始接触点来放置。如果接触点移动超过了阈值直径,则标注906类似于跟踪菜单地连同手指一起移动。给定增加的缩放空间(或具有高CD比的增加运动空间),这允许在初始接触点离所需目标太远的情况下超出框所覆盖的初始区域进行精细调整。
在该特定示例中,执行升级并且已放大显示在标注906中的遮挡屏幕区域的表示。可以理解,可取决于显示器的大小、遮挡区域的大小或特定目标的大小来使用任何合适的放大因数。标注的放大率越高,标注显示的内容就越少。虽然这一放大将保证像素大小的目标的可见性,但它可能不足以容许可靠的目标获取。在某些实现中,缩放还可用控制显示(CD)比的增强来完善。
控制显示(CD)比增强
控制显示(CD)比是真实的手指移动(“控制”)与系统指针在显示器上的移动(“显示”)之间的映射。通过将CD比增加到1以上,手指需要比指针移动得更远以覆盖某一指针距离。通过将CD比减小到1以下,手指可移动比指针更短的距离以覆盖某一指针距离。该操纵也被称为“增益”,其是CD比的逆。给定某一控制移动,增益增加或减少所引起的指针移动。如果增益较低,则指针移动少于某一控制移动。
为了允许用户对准目标,许多触摸屏设备以CD比1来操作。例如,指针位置可以与手指输入位置1:1对应。然而,一旦用户的手指与屏幕接触,就可显示指针从而向用户提供视觉反馈。然后,手指移动能够以指针比引导它的手指移动得快或慢的相对方式来控制指针。为了解决这一点,在增强版的移位定点技术中,CD比可以在升级时被调整为至多8:1。指针在整个屏幕上的移动被减缓,从而将1个像素的目标扩大到运动空间中的8个像素。在替换实现中,CD比可以用类似缩图仪的图柄(handle)或出于稳定性的目的基于离初始触摸点的距离来调整。
如以上所讨论的,不管目标的初始位置在哪里,定位标注以避免被手指遮挡。在某些情况下,移动手指使得原始目标位置不再被遮挡。因为触敏显示器的输入区域有限,所以将CD比增加到1以上会将“运动空间”的范围减小至显示空间的1/CD。控制空间中的手指移动可被称为“运动空间”移动,因为人们用他们的认知运动过程来控制该移动。这在初始接触点离显示器边缘X个像素并且还远离目标不止X/CD个像素情况下会成问题。因为移位定点技术采用抬起选择,所以用户无法选择该目标。为了解决该问题,移位定点技术可被修改成咬合到其中可选择所有中间像素的更靠近边缘的点或者使用指针加速以使得快速连续的长-慢和短-快移动可模拟离合。
虽然以上详细描述已经给出了至少一个示例实施例,但应当理解,存在庞大数量的变体。也应理解,此处所描述的一个或多个示例实施例并不旨在以任何方式限制各系统、方法或设备的范围、适用性或配置。相反,以上详细描述将为本领域的技术人员提供用于实现所述一个或多个实施例的方便的路线图。应当理解,可对各元件的功能和排列做出各种改变而不背离由权利要求书定义的范围,这些改变包括已知的等效方案以及在提交本专利申请时可预见的等效方案。

Claims (20)

1.一种用于在显示器上呈现目标项的方法,所述方法包括:
在所述显示器的第一部分上接收对所述目标项的选择;
确定对所述目标项的选择是否满足预定条件;以及
当对所述目标项的选择满足所述预定条件时,在所述显示器的第二部分上显示所述目标项的表示。
2.如权利要求1所述的方法,其特征在于,确定对所述目标项的选择是否满足预定条件包括确定与在所述显示器上对所述目标项的选择相关联的输入是否超出输入阈值。
3.如权利要求2所述的方法,其特征在于,所述输入阈值与时间阈值相关联。
4.如权利要求1所述的方法,其特征在于,确定对所述目标项的选择是否满足预定条件包括确定所述目标项的大小是否不超过大小阈值。
5.如权利要求1所述的方法,其特征在于,在所述显示器的所述第二部分中所述目标项的表示比所述显示器的所述第一部分中的所述目标项大。
6.如权利要求1所述的方法,其特征在于,还包括基于接收到的输入调整所述显示器的所述第二部分的位置。
7.如权利要求1所述的方法,其特征在于,还包括在对所述目标项的选择不再被接收到时去除在所述显示器的所述第二部分中所述目标项的所述表示。
8.一种编码了计算可执行指令的计算机存储介质,所述计算可执行指令在由至少一个处理器执行时,执行一种用于在显示器上呈现目标项的方法,所述方法包括:
在所述显示器的第一部分上接收对所述目标项的选择;
确定对所述目标项的选择是否满足预定条件;以及
当对所述目标项的选择满足所述预定条件时,在所述显示器的第二部分上显示所述目标项的表示。
9.如权利要求8所述的计算机可读存储介质,其特征在于,确定对所述目标项的选择是否满足预定条件包括确定与在所述显示器上对所述目标项的选择相关联的输入是否超出输入阈值。
10.如权利要求9所述的计算机可读存储介质,其特征在于,所述输入阈值与时间阈值相关联。
11.如权利要求8所述的计算机可读存储介质,其特征在于,确定对所述目标项的选择是否满足预定条件包括确定所述目标项的大小是否不超过大小阈值。
12.如权利要求8所述的计算机可读存储介质,其特征在于,在所述显示器的所述第二部分中所述目标项的表示比所述显示器的所述第一部分中的所述目标项大。
13.如权利要求8所述的计算机可读存储介质,其特征在于,还包括基于接收到的输入调整所述显示器的所述第二部分的位置。
14.如权利要求8所述的计算机可读存储介质,其特征在于,还包括在对所述目标项的选择不再被接收到时去除在所述显示器的所述第二部分中所述目标项的所述表示。
15.一种用于在显示器上呈现目标项的计算机系统,所述系统包括:
一个或多个处理器;以及
耦合到所述一个或多个处理器的存储器,所述存储器用于存储指令,所述指令在被所述一个或多个处理器执行时使得所述一个或多个处理器执行一种用于在显示器上呈现目标项的方法,所述方法包括:
在所述显示器的第一部分上接收对所述目标项的选择;
确定对所述目标项的选择是否满足预定条件;以及
当对所述目标项的选择满足所述预定条件时,在所述显示器的第二部分上显示所述目标项的表示。
16.如权利要求15所述的计算机系统,其特征在于,确定对所述目标项的选择是否满足预定条件包括确定与在所述显示器上对所述目标项的选择相关联的输入是否超出输入阈值。
17.如权利要求16所述的计算机系统,其特征在于,所述输入阈值与时间阈值相关联。
18.如权利要求15所述的计算机系统,其特征在于,确定对所述目标项的选择是否满足预定条件包括确定所述目标项的大小是否不超过大小阈值。
19.一种用于在显示器上呈现目标项的方法,所述方法包括:
在所述显示器的第一部分上接收对所述目标项的选择;
响应于接收对所述目标项的选择,在所述显示器的第二部分中显示所述目标项的表示;以及
在对所述目标项的选择不再被接收到时去除在所述显示器的所述第二部分中所述目标项的所述表示。
20.一种编码了计算可执行指令的计算机存储介质,所述计算可执行指令在由至少一个处理器执行时,执行一种用于在显示器上呈现目标项的方法,所述方法包括:
在所述显示器的第一部分上接收对所述目标项的选择;
响应于接收对所述目标项的选择,在所述显示器的第二部分中显示所述目标项的表示;以及
在对所述目标项的选择不再被接收到时去除在所述显示器的所述第二部分中所述目标项的所述表示。
CN201210335164.0A 2006-12-07 2007-12-07 在显示器上呈现目标项的方法和计算机系统 Active CN102999290B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/635,730 2006-12-07
US11/635,730 US7692629B2 (en) 2006-12-07 2006-12-07 Operating touch screen interfaces
CN2007800454229A CN101553775B (zh) 2006-12-07 2007-12-07 操作触摸屏界面

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2007800454229A Division CN101553775B (zh) 2006-12-07 2007-12-07 操作触摸屏界面

Publications (2)

Publication Number Publication Date
CN102999290A true CN102999290A (zh) 2013-03-27
CN102999290B CN102999290B (zh) 2017-12-05

Family

ID=39492631

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007800454229A Active CN101553775B (zh) 2006-12-07 2007-12-07 操作触摸屏界面
CN201210335164.0A Active CN102999290B (zh) 2006-12-07 2007-12-07 在显示器上呈现目标项的方法和计算机系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2007800454229A Active CN101553775B (zh) 2006-12-07 2007-12-07 操作触摸屏界面

Country Status (16)

Country Link
US (1) US7692629B2 (zh)
EP (1) EP2126672B1 (zh)
JP (1) JP4790847B2 (zh)
KR (2) KR101486688B1 (zh)
CN (2) CN101553775B (zh)
AU (1) AU2007329261B2 (zh)
BR (1) BRPI0717968B1 (zh)
CA (1) CA2668207C (zh)
IL (1) IL198055A (zh)
MX (1) MX2009004905A (zh)
MY (1) MY151816A (zh)
NO (1) NO20092538L (zh)
RU (2) RU2464624C2 (zh)
TW (2) TWI506504B (zh)
WO (1) WO2008070815A1 (zh)
ZA (1) ZA200900784B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016078568A1 (zh) * 2014-11-18 2016-05-26 夏普株式会社 对象操作方法和电子设备

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
KR100830467B1 (ko) 2006-07-13 2008-05-20 엘지전자 주식회사 터치 패널을 갖는 영상기기 및 이 영상기기에서 줌 기능을수행하는 방법
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US7924271B2 (en) * 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US20090077459A1 (en) * 2007-09-19 2009-03-19 Morris Robert P Method And System For Presenting A Hotspot In A Hypervideo Stream
JP2009193423A (ja) * 2008-02-15 2009-08-27 Panasonic Corp 電子機器の入力装置
US8342847B2 (en) * 2008-04-15 2013-01-01 International Business Machines Corporation Interactive recipe preparation instruction delivery to disabled indiviuals
US8323026B2 (en) * 2008-04-15 2012-12-04 International Business Machines Corporation Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback
US8419434B2 (en) * 2008-04-15 2013-04-16 International Business Machines Corporation Interactive recipe preparation using interactive cooking device to communicate with kitchen appliances
US8419433B2 (en) * 2008-04-15 2013-04-16 International Business Machines Corporation Monitoring recipe preparation using interactive cooking device
US8992225B2 (en) * 2008-04-15 2015-03-31 International Business Machines Corporation Monitoring recipe preparation using instructive device and generating an alert to provide feedback
JP4650549B2 (ja) * 2008-10-06 2011-03-16 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP2228668A1 (en) * 2009-03-09 2010-09-15 Agfa HealthCare Method of eliminating the effect of afterglow on a radiation image read out of a photostimulable phosphor screen.
US9367216B2 (en) * 2009-05-21 2016-06-14 Sony Interactive Entertainment Inc. Hand-held device with two-finger touch triggered selection and transformation of active elements
JP5218293B2 (ja) * 2009-06-22 2013-06-26 ソニー株式会社 情報処理装置、表示制御方法、およびプログラム
US9372614B2 (en) * 2009-07-09 2016-06-21 Qualcomm Incorporated Automatic enlargement of viewing area with selectable objects
US8531410B2 (en) * 2009-08-18 2013-09-10 Fuji Xerox Co., Ltd. Finger occlusion avoidance on touch display devices
TWI416369B (zh) * 2009-09-18 2013-11-21 Htc Corp 資料選取方法及系統,及其電腦程式產品
KR101630754B1 (ko) * 2009-10-16 2016-06-24 삼성전자주식회사 디스플레이 장치 및 인터페이스 방법
TW201115454A (en) * 2009-10-29 2011-05-01 Htc Corp Data selection and display methods and systems, and computer program products thereof
JP2011134273A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
TWI410842B (zh) * 2009-12-31 2013-10-01 Acer Inc 觸控顯示系統
US8782556B2 (en) 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
US20110221684A1 (en) * 2010-03-11 2011-09-15 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, mobile device and method for operating a touch-sensitive input device
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
US8799815B2 (en) 2010-07-30 2014-08-05 Apple Inc. Device, method, and graphical user interface for activating an item in a folder
US8826164B2 (en) 2010-08-03 2014-09-02 Apple Inc. Device, method, and graphical user interface for creating a new folder
JP5614173B2 (ja) 2010-08-25 2014-10-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5732783B2 (ja) * 2010-09-02 2015-06-10 ソニー株式会社 情報処理装置、情報処理装置の入力制御方法及びプログラム
JP5703873B2 (ja) * 2011-03-17 2015-04-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120238254A1 (en) * 2011-03-17 2012-09-20 Ebay Inc. Video processing system for identifying items in video frames
FR2973899B1 (fr) * 2011-04-07 2013-04-26 Archos Procede de selection d'un element d'une interface utilisateur et dispositif mettant en oeuvre un tel procede.
US9519369B2 (en) 2011-04-19 2016-12-13 Hewlett-Packard Development Company, L.P. Touch screen selection
US9389764B2 (en) * 2011-05-27 2016-07-12 Microsoft Technology Licensing, Llc Target disambiguation and correction
US9990003B2 (en) 2011-06-03 2018-06-05 Microsoft Technology Licensing, Llc Motion effect reduction for displays and touch input
US9404767B2 (en) * 2011-06-10 2016-08-02 The Boeing Company Methods and systems for performing charting tasks
WO2012169106A1 (ja) * 2011-06-10 2012-12-13 Necカシオモバイルコミュニケーションズ株式会社 入力装置およびタッチパネルの制御方法
US8832588B1 (en) * 2011-06-30 2014-09-09 Microstrategy Incorporated Context-inclusive magnifying area
KR20130017241A (ko) 2011-08-10 2013-02-20 삼성전자주식회사 터치 스크린 단말기에서 입출력 방법 및 장치
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9612670B2 (en) 2011-09-12 2017-04-04 Microsoft Technology Licensing, Llc Explicit touch selection and cursor placement
US9939888B2 (en) 2011-09-15 2018-04-10 Microsoft Technology Licensing Llc Correlating movement information received from different sources
CN102508601B (zh) * 2011-10-12 2018-01-16 李锐 控制电子终端中的菜单导航的设备和方法
US8490008B2 (en) 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
US9122672B2 (en) 2011-11-10 2015-09-01 Blackberry Limited In-letter word prediction for virtual keyboard
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
RU2658790C2 (ru) 2011-11-21 2018-06-22 Никон Корпорейшн Устройство отображения и программа управления отображением
US9524097B2 (en) * 2011-12-22 2016-12-20 International Business Machines Corporation Touchscreen gestures for selecting a graphical object
TWI480768B (zh) * 2012-01-04 2015-04-11 Aver Information Inc 具調校功能之顯示方法與系統
TWI518580B (zh) 2012-01-15 2016-01-21 仁寶電腦工業股份有限公司 可攜式裝置與其操作方法
US9977876B2 (en) 2012-02-24 2018-05-22 Perkinelmer Informatics, Inc. Systems, methods, and apparatus for drawing chemical structures using touch and gestures
EP2631758B1 (en) 2012-02-24 2016-11-02 BlackBerry Limited Touchscreen keyboard providing word predictions in partitions of the touchscreen keyboard in proximate association with candidate letters
WO2013128935A1 (ja) * 2012-03-01 2013-09-06 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、操作状況通知方法及び非一時的なコンピュータ可読媒体
JP5754410B2 (ja) * 2012-04-13 2015-07-29 トヨタ自動車株式会社 表示装置
CN102681779A (zh) * 2012-04-25 2012-09-19 中兴通讯股份有限公司南京分公司 触摸屏操作方法及装置
US10025487B2 (en) * 2012-04-30 2018-07-17 Blackberry Limited Method and apparatus for text selection
CN103425311A (zh) * 2012-05-25 2013-12-04 捷达世软件(深圳)有限公司 移动对象点选定位方法及系统
US11073959B2 (en) 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
US9116552B2 (en) 2012-06-27 2015-08-25 Blackberry Limited Touchscreen keyboard providing selection of word predictions in partitions of the touchscreen keyboard
US9032335B2 (en) * 2012-08-14 2015-05-12 Christopher V. Beckman User interface techniques reducing the impact of movements
CN103631506B (zh) * 2012-08-24 2018-09-04 腾讯科技(深圳)有限公司 基于终端的阅读方法及相应的终端
JP2014044605A (ja) * 2012-08-28 2014-03-13 Fujifilm Corp タッチ検知ディスプレイにおける入力制御装置および方法並びにプログラム
CN103677594B (zh) * 2012-09-04 2018-04-27 中兴通讯股份有限公司 文本处理方法和装置
TWI467458B (zh) * 2012-09-21 2015-01-01 Touchplus Information Corp 電容式觸控裝置
US10114445B2 (en) * 2012-10-29 2018-10-30 Facebook, Inc. Screen timeout duration
US20140118268A1 (en) * 2012-11-01 2014-05-01 Google Inc. Touch screen operation using additional inputs
US9535583B2 (en) * 2012-12-13 2017-01-03 Perkinelmer Informatics, Inc. Draw-ahead feature for chemical structure drawing applications
KR20140105689A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
US9436357B2 (en) * 2013-03-08 2016-09-06 Nook Digital, Llc System and method for creating and viewing comic book electronic publications
US10412131B2 (en) 2013-03-13 2019-09-10 Perkinelmer Informatics, Inc. Systems and methods for gesture-based sharing of data between separate electronic devices
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
US8854361B1 (en) 2013-03-13 2014-10-07 Cambridgesoft Corporation Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information
US8812995B1 (en) 2013-04-10 2014-08-19 Google Inc. System and method for disambiguating item selection
US9430127B2 (en) * 2013-05-08 2016-08-30 Cambridgesoft Corporation Systems and methods for providing feedback cues for touch screen interface interaction with chemical and biological structure drawing applications
US9751294B2 (en) 2013-05-09 2017-09-05 Perkinelmer Informatics, Inc. Systems and methods for translating three dimensional graphic molecular models to computer aided design format
US9489774B2 (en) * 2013-05-16 2016-11-08 Empire Technology Development Llc Three dimensional user interface in augmented reality
CN104423863A (zh) * 2013-08-30 2015-03-18 宏碁股份有限公司 被遮蔽画面投影方法及应用该方法的可携式电子装置
CN104461312A (zh) * 2013-09-17 2015-03-25 联想(北京)有限公司 一种显示控制方法及电子设备
WO2015065402A1 (en) 2013-10-30 2015-05-07 Bodhi Technology Ventures Llc Displaying relevant use interface objects
US9239648B2 (en) * 2014-03-17 2016-01-19 Google Inc. Determining user handedness and orientation using a touchscreen device
JP2015191259A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 入力インターフェイスおよびその制御方法およびその制御プログラム、および入力インターフェイスを有する情報端末およびその制御方法およびその制御プログラム
KR102281133B1 (ko) * 2014-06-12 2021-07-26 엘지전자 주식회사 와치 타입 단말기 및 그것의 제어 방법
KR102422417B1 (ko) 2014-07-07 2022-07-18 브레빌 유에스에이 인코포레이티드 맞춤식 요리 지도 제공 시스템, 물품, 및 방법
DE112015005709T5 (de) 2014-12-22 2017-09-14 ChefSteps, Inc. Nahrungsmittelzubereitungsführungs-system
JP6385272B2 (ja) * 2014-12-26 2018-09-05 株式会社バンダイナムコエンターテインメント 入力処理装置及びプログラム
CN104598112B (zh) * 2015-01-23 2019-01-18 小米科技有限责任公司 按钮交互方法和装置
WO2016123355A1 (en) 2015-01-30 2016-08-04 ChefSteps, Inc. Food preparation control system
CN106293444B (zh) * 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
CN108027953B (zh) 2015-07-21 2022-10-14 布瑞威利美国公司 食物制备控制系统
US10444723B2 (en) 2015-11-16 2019-10-15 ChefSteps, Inc. Data aggregation and personalization for remotely controlled cooking devices
US9791833B1 (en) 2016-04-13 2017-10-17 Google Inc. Physical watch hands for a computerized watch
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10572054B2 (en) * 2016-10-28 2020-02-25 Nanning Fugui Precision Industrial Co., Ltd. Interface control method for operation with one hand and electronic device thereof
CN106527948A (zh) * 2016-11-14 2017-03-22 珠海市魅族科技有限公司 一种屏幕触控方法以及装置
US10289300B2 (en) * 2016-12-28 2019-05-14 Amazon Technologies, Inc. Feedback animation for touch-based interactions
US10409480B2 (en) 2016-12-28 2019-09-10 Amazon Technologies, Inc. Interruption and resumption of feedback animation for touch-based interactions
US10922743B1 (en) 2017-01-04 2021-02-16 Amazon Technologies, Inc. Adaptive performance of actions associated with custom user interface controls
US10521854B1 (en) 2017-01-04 2019-12-31 Amazon Technologies, Inc. Selection and display of custom user interface controls
KR101920332B1 (ko) * 2017-01-06 2018-11-20 김찬기 터치스크린을 포함하는 스마트 디바이스 상에서의 문자 편집 방법 및 이를 구현한 스마트 디바이스
CA3055172C (en) 2017-03-03 2022-03-01 Perkinelmer Informatics, Inc. Systems and methods for searching and indexing documents comprising chemical information
CN107278368B (zh) 2017-04-24 2023-08-11 北京小米移动软件有限公司 屏幕控制方法及装置
CN107783747B (zh) * 2017-10-19 2020-04-28 维沃移动通信有限公司 一种界面显示处理方法及移动终端
US11442591B2 (en) * 2018-04-09 2022-09-13 Lockheed Martin Corporation System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment
US11440767B2 (en) 2018-07-30 2022-09-13 Otis Elevator Company Dynamic assignment of selection buttons on a destination entry system of an elevator
US11213158B2 (en) 2018-08-29 2022-01-04 Breville USA, Inc. Cooking system
JP6717901B2 (ja) * 2018-09-12 2020-07-08 株式会社メルカリ プログラム、表示方法および情報処理装置
JP6876086B2 (ja) * 2019-04-01 2021-05-26 日精樹脂工業株式会社 動作設定装置を備えた射出成形機
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11554323B2 (en) * 2020-09-11 2023-01-17 Riot Games, Inc. System and method for precise positioning with touchscreen gestures
CN115779424B (zh) * 2023-02-08 2023-04-28 广州三七极耀网络科技有限公司 一种导航网格寻路方法、装置、设备及介质
CN116166165B (zh) * 2023-04-25 2023-06-27 福昕鲲鹏(北京)信息科技有限公司 可视化的文本选择方法、装置及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994029788A1 (en) 1993-06-15 1994-12-22 Honeywell Inc. A method for utilizing a low resolution touch screen system in a high resolution graphics environment
IL132183A (en) * 1998-02-26 2004-06-20 Monec Mobile Network Computing Electronic device, especially e-book
AU5087800A (en) 1999-06-02 2000-12-28 Ncr International, Inc. Self-service terminal
US7075512B1 (en) * 2002-02-07 2006-07-11 Palmsource, Inc. Method and system for navigating a display screen for locating a desired item of information
DE10209087A1 (de) * 2002-03-01 2003-09-11 Siemens Ag Verfahren zur optischen Hervorhebung von Informationen eines Bereichs der Benutzeroberfläche einer Computer-Anwenderstation
WO2004051392A2 (en) 2002-11-29 2004-06-17 Koninklijke Philips Electronics N.V. User interface with displaced representation of touch area
CN100432912C (zh) * 2004-05-07 2008-11-12 索尼株式会社 便携式电子设备及其显示方法和图形用户接口装置
RU44200U1 (ru) * 2004-09-08 2005-02-27 Моисеев Борис Викторович Устройство для управления отображением данных на экране дисплея

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016078568A1 (zh) * 2014-11-18 2016-05-26 夏普株式会社 对象操作方法和电子设备
CN105677193A (zh) * 2014-11-18 2016-06-15 夏普株式会社 对象操作方法和电子设备

Also Published As

Publication number Publication date
NO20092538L (no) 2009-07-06
AU2007329261A1 (en) 2008-06-12
IL198055A0 (en) 2009-12-24
EP2126672A4 (en) 2016-01-06
ZA200900784B (en) 2010-05-26
RU2464624C2 (ru) 2012-10-20
US7692629B2 (en) 2010-04-06
TWI506504B (zh) 2015-11-01
MX2009004905A (es) 2009-05-19
CN101553775A (zh) 2009-10-07
AU2007329261B2 (en) 2011-09-01
KR101486688B1 (ko) 2015-01-29
BRPI0717968B1 (pt) 2019-08-13
RU2623181C2 (ru) 2017-06-27
CA2668207C (en) 2013-10-08
BRPI0717968A8 (pt) 2018-07-31
CA2668207A1 (en) 2008-06-12
BRPI0717968A2 (pt) 2013-11-05
CN101553775B (zh) 2012-11-14
KR101311018B1 (ko) 2013-09-24
MY151816A (en) 2014-07-14
EP2126672A1 (en) 2009-12-02
WO2008070815A1 (en) 2008-06-12
TWI450136B (zh) 2014-08-21
RU2012130086A (ru) 2014-01-27
CN102999290B (zh) 2017-12-05
JP2010512587A (ja) 2010-04-22
KR20090094360A (ko) 2009-09-04
KR20130098431A (ko) 2013-09-04
IL198055A (en) 2014-03-31
TW200834397A (en) 2008-08-16
JP4790847B2 (ja) 2011-10-12
TW201403424A (zh) 2014-01-16
EP2126672B1 (en) 2019-10-16
US20080136785A1 (en) 2008-06-12
RU2009121545A (ru) 2010-12-10

Similar Documents

Publication Publication Date Title
CN101553775B (zh) 操作触摸屏界面
JP6328725B2 (ja) ユーザインタフェースオブジェクトを移動させるための機器、方法、及びグラフィカルユーザインタフェース
NL2017005B1 (en) Canned answers in messages
US9383921B2 (en) Touch-sensitive display method and apparatus
US9292161B2 (en) Pointer tool with touch-enabled precise placement
KR101436226B1 (ko) 사용자 손가락 사이즈에 대해 가상 키보드 치수들을 동적으로 상관시키는 장치 및 방법
US9323386B2 (en) Pen system and method for performing input operations to mobile device via the same
AU2013259614A1 (en) Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
CN110121693A (zh) 多层显示系统中的内容碰撞
CN110448904B (zh) 游戏视角的控制方法及装置、存储介质、电子装置
US20120023426A1 (en) Apparatuses and Methods for Position Adjustment of Widget Presentations
US12014043B2 (en) Systems for accessible digital painting
JP5427331B1 (ja) タイピング訓練システム、タイピング訓練方法、及びタイピング訓練プログラム
CN115113796B (zh) 基于人机交互的物品处理方法、装置及终端设备
CN116010008A (zh) 按钮调整方法、装置、计算机设备及存储介质
AU2016203054A1 (en) Operating touch screen interfaces
AU2014201232A1 (en) Operating touch screen interfaces
JP2015053026A (ja) タイピング訓練システム、タイピング訓練方法、及びタイピング訓練プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1181861

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150729

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150729

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1181861

Country of ref document: HK