CN104932810B - 用于在触摸屏图形接口中使用的目标获取系统 - Google Patents

用于在触摸屏图形接口中使用的目标获取系统 Download PDF

Info

Publication number
CN104932810B
CN104932810B CN201410373720.2A CN201410373720A CN104932810B CN 104932810 B CN104932810 B CN 104932810B CN 201410373720 A CN201410373720 A CN 201410373720A CN 104932810 B CN104932810 B CN 104932810B
Authority
CN
China
Prior art keywords
finger
target
roi
targets
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410373720.2A
Other languages
English (en)
Other versions
CN104932810A (zh
Inventor
区建忠
苏晓君
刘永雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
City University of Hong Kong CityU
Original Assignee
City University of Hong Kong CityU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by City University of Hong Kong CityU filed Critical City University of Hong Kong CityU
Publication of CN104932810A publication Critical patent/CN104932810A/zh
Application granted granted Critical
Publication of CN104932810B publication Critical patent/CN104932810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于在触摸屏图形用户接口中使用的目标获取系统，用于从多个潜在可选择目标选择期望目标，该目标获取系统包括：a)用于限定预定义形状和面积的局部感兴趣区域(ROI)的装置；b)用户的手指在触摸屏上接触时允许ROI的激活的装置；c)用于将ROI内的潜在可选择目标排序到一维(1‑D)顺序列表中的装置；d)用于映射手指在触摸屏上的运动的装置；以及e)用于从多个潜在可选择目标选择期望目标的装置。该系统被配置成允许以单个触摸动作来操作步骤a)中的限定、步骤b)中的激活、步骤c)中的排序、步骤d)中的映射以及步骤e)中的选择。

Description

用于在触摸屏图形接口中使用的目标获取系统
技术领域
本发明涉及一种用于在计算机或移动装置(例如智能手机和平板电脑)的触摸屏图形接口中使用的目标获取(或指示)系统。
背景技术
由于移动装置(例如智能手机和平板电脑)的流行，触摸输入在过去的十年中越来越流行。虽然使用我们的手指作为输入机制代替传统的鼠标来与这种装置交互是非常方便且直观的，但是其存在一个限制。人的手指具有相当大的指尖尺寸，通常称为“胖手指”问题，这使得对于至少一些用户来说，由于以下两种困难，从密集的目标群集(cluster)获取小的目标是有挑战性的任务。首先，胖指尖问题导致低输入精度。其次，胖指尖问题在目标获取任务中造成遮挡(occlusion)。当装置的屏幕尺寸小时，这两种困难尤其明显。
本发明旨在克服上述问题，或者至少给大众提供有用的选择方案。
发明内容
根据本发明的一方案，提供了一种用于在触摸屏图形用户接口中使用的目标获取系统，用于从多个潜在可选择目标选择期望目标，该目标获取系统包括：a)用于限定预定义形状和面积的局部感兴趣区域(ROI)的装置；b)用户的手指在触摸屏上接触时允许ROI的激活的装置；c)用于将ROI内的潜在可选择目标排序到一维(1-D)顺序列表中的装置；d)用于映射手指在触摸屏上的运动的装置；以及e)用于从多个潜在可选择目标选择期望目标的装置，其中该系统被配置成允许以单个触摸动作来操作步骤a)中的限定、步骤b)中的激活、步骤c)中的排序、步骤d)中的映射以及步骤e)中的选择。将局部区域内的潜在可选择目标排序到一维(1-D)顺序列表中允许按照先后顺序选中(focusing)目标。单个触摸动作表示该动作要求手指在特定任务中连续与屏幕保持接触。将屏幕与指尖接触并且然后将指尖拖动一段距离的动作是单个触摸动作，利用指尖在屏幕上双击不是单个触摸动作。
优选地，该系统可以包括通过手指接触触摸屏并在触摸屏上拖动手指来触发其激活的装置。
该局部区域可以由手指的第一触点限定。该第一触点是ROI的参考点。ROI可以包含多个潜在可选择目标，并且该多个潜在可选择目标是触摸屏上的任何地点的视觉元素。该参考点可以是局部区域的中心。
在一实施例中，ROI的尺寸可以由屏幕分辨率、用户偏好以及使用该系统的计算机应用这些因素的至少之一确定。
在一个实施例中，局部区域可以是圆形的。
该系统可以包括用来给ROI内的潜在可选择目标的每一个分配唯一指数的装置。对潜在可选择目标的排序可以由选自包括与触摸屏接触的手指的初始运动方向、潜在可选择目标的尺寸、潜在可选择目标的形状、潜在可选择目标离一参考点或该参考点的距离以及从潜在可选择目标提取的结构信息的组的一个或多个因素确定。对潜在可选择目标的排序可以由从潜在可选择目标提取的其它信息确定。该系统可以包括用于将手指的触点的移动距离映射到一个潜在可选择目标的唯一指数的装置。
潜在可选择目标排序装置可以包括用于记录用户的手指在触摸屏上的运动或动作的信息的装置，该信息包括手指的位置信息、移动方向信息以及移动速度信息。该映射可以是使在触点的任何距离内仅一个潜在可选择目标被选中并因此被选择的映射。该映射可以由每一个潜在可选择目标的足够大的距离间隔限定，这允许用户在手指拖动操作期间一次仅选中于潜在可选择目标之一。所有的潜在可选择目标的距离间隔可以是相同的。可选择地，潜在可选择目标的距离间隔可以是不同的，这允许一些潜在可选择目标被更加有效地选中。
在该系统中，手指在触摸屏上的移动距离可以由手指的当前触点与第一触点之间的距离限定。
在该系统中，手指在触摸屏上的移动距离可以由当前触点与第一触点之间的距离限定，但是投射在手指的初始移动方向。
在该系统中，当期望目标被选中时，通过从触摸屏释放手指，可以使期望目标的选择生效。该系统可以包括用于执行预定义操作的装置，该操作包括激活上下文菜单并显示已被选择的期望目标的信息。
该系统还可以包括为了更好的视觉反馈而用于ROI的视觉放大的装置。局部区域的显示的尺寸可以由视觉放大装置的放大比确定。
该系统可以包括用于目标选择的取消的装置，该取消装置通过沿大体正交于接触触摸屏的手指的顺序的初始移动方向的方向移动手指的方式而生效。
该系统可以包括用于目标选择的取消的装置，该取消装置通过在预定义时间段内轻击触摸屏的任何地点而生效。
附图说明
现在将参考附图说明本发明的一些实施例，其中：
图1通过示例的方式示出数字装置的用户接口中不均匀的目标分布，其中：图1a是在其它目标中示出餐厅和车站的地图应用；图1b示出文本编辑器中的菜单和工具图标；图1c示出网络游戏中成群的人物角色；以及图1d示出文本编辑器中文档的单词和字符；
图2示出本发明的目标获取系统的实施例的操作(在下文中，称为线性拖拽)，其中：图2a示出一群集组的可选择对象；图2b示出线性拖拽的激活；图2c示出当用户继续拖动他/她的手指时的操作；以及图2d示出在目标被选中之后的目标的选择；
图3示出线性拖拽的操作，其中：图3a示出沿任何方向拖动手指以激活线性拖拽；图3b示出屏幕内的缩放的感兴趣区域(ROI)；图3c示出目标的选择的取消和线性拖拽的解除；
图4示出将手指拖动动作映射到潜在目标的扫描速度的映射功能的两个实施例，其中：图4a示出恒定有效宽度的线性映射的第一实施例；以及图4b示出对离初始触点更近的目标的有效宽度较大的非线性映射；
图5示出不同操作模式的群集布置；其中：图5a示出双手模式；图5b示出单手模式；以及图5c是移位(Shift)系统的例示；以及图5d是逃逸(Escape)系统的例示；
图6a和图6b示出双手模式下按左图的尺寸以及右图的计数分组的包括线性拖拽的不同技术的选择次数的比较；以及
图7a和图7b示出单手操作模式下按左图的尺寸以及右图的计数分组的包括线性拖拽的不同技术的选择次数的比较。
具体实施方式
为了阐述本发明，并且为了通过比较的方式阐述本发明，首先说明一些现有目标获取系统。下文的例示参考在说明书最后列出的参考文献，并且这些参考文献用数字1到25来标记。
存在一些被引入来解决在电子装置的触摸屏接口中获取小目标时的输入精度和遮挡问题的技术。Grossman等人和Parker等人的参考文献【9，18】教导了使用Voronoi分割(Voronoi tessellation)将整个屏幕空间划分成呈多区块的可选择区域，以使小目标获取变容易。虽然这个方法在稀疏的目标布局中被证明是有用的，然而当目标被群集为使得没有空间延伸时，该方法显示出微小的效果。遗憾的是，目标的群集出现在许多应用中，例如网络地图中的可选择项目(参见图1a)、文本编辑器的群集的UI元素(参见图1b)、网络游戏中的成群的人物角色(图1c)以及文本编辑器中文档的作为可选择目标的单词和字符(图1d)。为了促进群集目标的获取，等人的参考文献阐述了Starburst【2】，通过扩大群集目标来划分屏幕空间以形成可选择区域。然而，这常产生长且薄的可选择区域，使得在用户获取这些可选择区域时给用户带来了困难。Yatani等人的参考文献阐述了逃逸【25】，采用接触位置和滑动(swipe)方向以消除对密集的群集中的目标的选择。然而，这些途径都需要作为目标选择的视觉线索的辅助视觉元素，这导致了不期望的视觉干扰以及极其密集的目标分布(如文本文件中的字符)时性能的潜在下降。
一些其它技术通过利用不同的映射方法显示遮挡的局部区域或控制虚拟光标来解决遮挡问题。Vogel等人的参考文献阐述了移位【23】，于附近空的空间中显示指尖所遮挡的局部区域。用户可以在偏移显示中执行精确控制以在局部区域内选择小的目标。Potter等人、Sears等人、Karlson等人以及Roudaut等人的参考文献【20，22，11，21】教导的一些虚拟光标技术示出将触点的运动映射到虚拟光标动作，使得用户可以控制光标并选择期望目标而不会遮挡目标区域。然而，当在目标小且群集的情况下工作时，所有的这些技术仍然需要精确的二维(2D)触摸控制。
本发明涉及命名为线性拖拽的新颖目标获取系统，该目标获取系统是用于小且群集的目标的集成单手指目标获取技术。除了仅使用触点确定所选择的目标之外，线性拖拽允许用户利用单个触摸-拖拽-释放操作在密集的群集组中容易地选择目标，而不需要准确地指向期望目标。如果第一触点能够明白地识别单个目标，则用户仅提升接触手指来选择该目标，即通过轻击来选择。然而，如果触点周围的局部区域内存在多个项目，则用户可以简单拖动手指来探索并选择期望目标，如图2所示。局部区域内的所有潜在目标根据手指移动方向被排序，并且与等宽的有效区域相关联。这将2D选择问题转换成1D选择问题，消除了对精确2D触摸控制的需求。因此，线性拖拽不依赖目标分布。另外，由于不具有手指遮挡并且不引入辅助视觉元素，因而不会给用户造成视觉干扰。因此，该建议方法尤其适合于具有密集目标和富裕视觉元素的应用。进行了评估不同条件下线性拖拽性能的用户研究，并且据发现，当选择小的目标时，在具有类似误差率的情况下，线性拖拽执行得快于逃逸和移位。
目标扩大
目标扩大是促进利用指示装置获取小目标的常见途径。该途径的方法被Worden等人和Blanch等人的参考文献【24，5】教导过。这些方法采用动态控制显示比。Grossman等人、Moscovich等人以及Chapuis等人的参考文献【9，15，6】教导了能够通过应用区域光标增加目标的有效宽度的不同系统。Cutwin等人和Pietriga等人的参考文献【10，19】是基于视觉空间的缩放的选择方案。
在触摸屏上，Parker等人和Baudisch等人的参考文献【18，2】阐述的目标扩大技术通过将屏幕空间划分成多个区块来增大小目标的有效尺寸，每一个区块对应于单个目标。用户可以点击区块内部的任何地方以选择目标。在Parker等人的参考文献【18】中，Voronoi分割用于屏幕划分，使得离触点最近的目标总是被选择。然而，在群集的目标的区块小的情况下，这一途径的性能高度依赖于目标的分布。这使得难以获取小的目标。Baudisch等人的参考文献【2】阐述的Starburst(星暴)通过将所有群集的目标的区块从该群集延伸到周围空的空间来划分屏幕空间，导致了薄且长的路径。因此，Starburst的可选择区域必须被明确指定，并且用户必须视觉追踪目标的区域。当许多目标被群集在紧密的区域中时，这可能不是容易的任务。另外，绘画成颜色叠加的可选择区域或区域边界的显示引入了不期望的视觉干扰。
缩放是扩大目标尺寸的另一种常见的途径，用于更容易的探索和选择。如Benkoet等人的参考文献【3】所教导的，建议了具有双手交互的精确的指示技术。次要手指帮助调节放大水平，主要手指可以在缩放的区域执行精确的选择。类似地，如Olwal等人的参考文献【16】所教导的，建议了双手缩放方法，利用次要手指通过轻击来操作缩放。等人的参考文献【12】所介绍的称为FingerGlass的多点触摸技术，其中用户利用第一个手的两个接触手指限定局部区域，并且放大的局部区域被弹出以使用第二个手进行精确的选择。虽然所有的这些方法提供了直观交互，然而双手操作在许多情况下是不现实的，例如利用手持装置工作时。
还存在仅涉及单指交互的缩放技术。在Olwal等人的参考文献【16】中，触碰手势(rubbing gesture)被引入用于缩放，该触碰手势能够与仅使用单个手指的平移操作集成。在Roudant等人的参考文献【21】中，建议了两个阶段的选择方法。用户首先在屏幕上轻击以弹出局部区域的放大视窗，并且然后再次轻击以在该视窗内选择目标。Fekete等人的参考文献【7】中阐述的偏心标记(Excentric Labeling)是在使人眼舒适的布局中标记光标周围的对象的领域(neighborhood)的技术。其能够使用分层操作被转换成目标获取技术。这些技术的主要缺陷在于缩放和目标选择必须在分开的步骤中执行。相反，本发明的线性拖拽将缩放和目标选择集成到单个单手指操作和单个触摸动作中，这减少了操作复杂性，并且可适用于几乎所有的选择场景。单个触摸动作表示该动作要求手指在特定任务中与屏幕保持接触。将屏幕与指尖接触并且然后将指尖拖动一段距离的动作是单个触摸动作，利用指尖在屏幕上双击不是单个触摸动作。
遮挡的避免
遮挡是触摸屏交互的常见问题-由于指尖的尺寸，可选择对象在目标选择期间能够容易地被接触手指所遮挡。Potter等人的参考文献【20】中阐述的偏移光标技术是解决该问题的早期的著名成果之一。该技术将移置光标放置在实际触点上方，并且当用户释放手指时，光标下方的项目被选择。在Sears等人的参考文献【22】中，建议了一种用于使偏移光标提供对小目标的更快且更准确的选择的稳定技术。然而，偏移光标的主要缺陷在于直到手指触摸到屏幕之前精确的光标位置都是未知的，并且由于偏移位置总是在手指上方，因而不可能选择屏幕底部的目标。在Vogel等人的参考文献【23】中，介绍了称为移位的改进技术。该技术显示附近位置处手指所遮挡的局部区域的副本。选择热点处于指尖下方。用户可以在观看偏移显示的同时选择手指下方的任何小的对象。用户研究的结果显示与对小目标的传统手指选择相比，移位更加准确，并且与对较大目标的原始偏移光标相比，移位更快。
存在涉及手指手势与光标动作之间的复杂映射的其它虚拟光标技术。在Benko等人的参考文献【3】中，建议了位于两个接触手指的中点的偏移光标。在Roudaut等人的参考文献【21】中，建议了称为MagStick的避免遮挡方法。用户按压屏幕上的任意位置来限定参考点和虚拟光标。该虚拟光标然后将被接触手指的拖动动作控制，使得光标动作相对于参考点与拖动动作相反。在Parker等人的参考文献【18】中，对齐目标(snap-to-target)技术被应用于虚拟光标以增加动作空间的目标尺寸。Karlson等人的参考文献【11】中阐述的拇指空间(Thumbspace)是允许用户使用拇指从小的输入区域达到大的屏幕空间的技术。该技术将输入区域映射到整个屏幕并将输入区域中的用户的手指动作放大为所映射的屏幕。虽然拇指空间和MagStick解决了遮挡问题，但类似于偏移光标，拇指空间和MagStick需要精确的二维(2D)触摸控制以获取小的目标。
精度细化
触摸屏交互的另一个问题在于人的手指由于胖指尖而具有有限的精度。为了获取密集且小的目标，建议了精度细化方法以使目标选择容易化。在Albinsson等人的参考文献中【1】，介绍了十字杆(Cross-Lever)和精密把手(Precision-Handle)，以增加虚拟光标在触摸屏上的动作空间。十字杆涉及对两条交叉线之间的交点的控制。十字杆提供了高精度控制，但是使用起来比较耗费时间。精密把手涉及将接触手指动作的部分映射到虚拟光标，因此增大了运动的空间并提高了选择精度。对于区域选择、精确的把手控制以及选择确认，这两种技术都要求分开的操作步骤，这可能潜在地降低选择性能和用户体验。
在Yatani等人的参考文献【25】中，建议了称为逃逸的精度细化技术。通过目标位置和外观给的提示，该精度细化技术允许用户通过滑动手势选择目标。通过沿预定义方向之一滑动指尖，利用该滑动方向指定的最近对象将被选择。在Moscovich等人的参考文献【14】中，滑动手势被应用于触摸屏小部件以通过将不同的滑动方向分配给相邻的小部件来解决不明确性。Findlater等人的参考文献【8】中阐述的增强型区域光标允许用户首先指定粗略区域并且然后通过利用滑动手势调用角菜单(angular menu)来选择该区域内的期望目标。然而，由于这些技术具有有限个可能的滑动方位，在极其密集的目标分布的情况下，沿滑动方向的不明确性可能不能被完全避免。由于滑动手势不能超出屏幕的边缘，因而对于靠近屏幕的边界的目标，滑动方向被进一步限制。为了表明所有可选择对象的滑动方向，引入了特殊的颜色方针和图标设计。然而，这导致了视觉干扰并限制了自定义符号和标签的使用，例如图1a所示的地图应用。Kopper等人的参考文献中阐述的SQUAD是一种用于3D空间中的目标获取的先进的细化技术。该细化技术通过应用一连串的细化操作以过滤掉不必要的目标来解决3D目标选择中的密集目标和遮挡问题。
在各种目标获取系统的背景技术以及本发明与考虑到的这些系统之间的主要差异的情况下，现在下文中描述本发明的线性拖拽的不同实施例的设计和实施细节。
通过沿任何方向远离用户的指定初始区域拖动手指来激活线性拖拽(参见图2)。当用户的手指首先触摸到屏幕时，限定感兴趣区域(ROI)。在一个实施例中，ROI被预定义为圆形区域，其中心是手指的第一触点。ROI的半径是可编程并且可调节的，并且其优化值取决于屏幕尺寸和用户组的指尖的平均尺寸。ROI内的所有的可选择目标被考虑为一套潜在可选择目标。为了例示的目的，认为这些目标之一是用户的期望目标。
图2是线性拖拽的概况。图2a示出难以从一群集组的可选择对象中选择目标。图2b示出当手指触摸并在触摸屏上拖动时，激活本发明的线性拖拽。接触位置限定包含用户的期望目标的感兴趣区域(ROI)。图2c示出随着用户继续拖动他的手指，线性拖拽逐一扫描ROI内的潜在目标。在任何时候，仅一个潜在目标被选中，如潜在可选择目标中的突出目标所示。扫描顺序由初始拖动方向确定。图2d示出用户简单地提升手指以使对期望目标的选择生效。
用户拖动手指以逐一线性扫描(并且突出)潜在目标(参见图2b)。扫描的顺序由接触手指的移动方向确定。随着用户保持远离第一触点拖动手指，其从相反一端开始并且沿着手指动作的方向扫描(参见图2c)。用户可以通过向上提升接触手指来随时选择突出目标(参见图2d)。当手指拖动并离开ROI时，ROI的缩放被调用。这促进了小目标情况下更好的视觉反馈。为了使视觉干扰最小化并避免不必要的焦点切换，图2、图3以及图4有关激活区域的所有的视觉元素(即，虚线、阴影区以及数字)仅为了举例说明的目的，这些视觉元素不在屏幕上示出。
接触手指的当前位置与第一触点之间的距离确定哪一个潜在目标被选中并突出。这本质上限定了潜在目标的排序列表与接触手指离第一触点的移动距离之间均匀的一维(1D)映射。用户可以通过沿扫描方位拖动接触手指来逐一直观地扫描潜在目标。该1D映射为所有的潜在目标提供恒定的有效宽度并避免了二维(2D)空间中的精确选择需要，这是诸如Roudat等人的参考文献【21】中阐述的MagStick和Karlson等人的参考文献【11】中阐述的拇指空间等方法所需要的。
用户可沿任何方向自由移动接触手指以激活线性拖拽。移动方向可以取决于用户的偏好或ROI在屏幕上的位置。这允许用户选择屏幕上的任何目标，包括那些靠近屏幕的边界/边角的目标(参见图3b)。
图3a示出用户沿任何方向拖动手指以激活线性拖拽。图3b示出即使原始的ROI可能靠近屏幕边界，然而缩放的ROI位于该屏幕内。图3c示出用户通过沿原始拖动方向的正交方向移动手指来取消选择并解除线性拖拽。
如上文所示，线性拖拽具有以下特点。
·单手单指交互-线性拖拽仅要求一个手指来操作，其非常适合在一个手持握且单个手指操作的小型移动装置中使用。
·单个动作-其将激活、选择以及解除结合到单个触摸动作中。
·使用直观-通过将潜在目标重新映射到线性列表中，其提供简单的1D选择范例。
·对目标分布不敏感-目标的有效宽度不依赖于目标密度和分布。用户能够在无精确操作的情况下容易地获取小且群集的目标。
·无手指遮挡-接触手指总是远离ROI拖动，因此无手指遮挡发生。
·无视觉干扰-因不显示额外的小部件/元素，所以其不引入任何视觉干扰。(要注意，缩放的ROI可能导致视觉干扰，但是该缩放特征是可选的并且不影响线性拖拽的选择操作。)
·适合于不同的屏幕尺寸-线性拖拽能够利用任何手指和不同的装置持握手势来操作。因此，其适用于大型平板电脑或甚至墙壁大小的触摸屏。
取消机制
两种不同的机制被设置以使用户解除线性拖拽并取消选择。第一机制在用户通过提升接触手指选择了潜在目标之后采用额外的等待步骤。在等待期内，用户可以在任何位置轻击屏幕以取消选择并解除选中的ROI。虽然能够根据用户偏好指定等待时间，然而研究显示大体一秒钟的额外等待期足够长到使用户确认所选择的目标或必要时取消选择。然而，该额外的等待期和轻击步骤引入了额外的用户交互和较长的操作时间。
第二取消机制被设置并且仅要求简单的步骤来取消选择。在线性拖拽被激活之后，用户可以取消选择并且通过沿大致与原始拖动方向正交的方向移动接触手指来解除线性拖拽(参见图3c)。该设计保留了简单的触摸-拖拽-释放交互的特征。
已经进行了测试这些取消机制的用户效率的研究。结果显示正交拖动方法通常给出更好的性能。
与目标扩大技术的集成
本发明可以与一些现存的目标获取系统结合使用或可以被应用于一些现存的目标获取系统。线性拖拽能够被容易地集成到现存的目标扩大技术。实验显示线性拖拽能够被集成到Grossman等人的参考文献【9】中阐述的泡沫光标的对齐目标途径中，其连续地为离光标地点最近的目标设定选择焦点。该途径使用Voronoi分割有效地划分屏幕空间。
本发明的一个实施例采用泡沫光标途径，使得对于稀疏的区域，用户可以通过在其上轻击直接地选择目标或附近的空间，而不存在不明确性。对于密集的区域，用户可以通过简单的拖动操作激活线性拖拽以帮助选择目标。
实施
线性拖拽将接触手指的一维(1D)运动映射到潜在目标的焦点切换。这是使用户利用直观可控制的输入有效地访问ROI中的所有潜在目标的关键。我们已经在实施中实验了两种不同的映射功能。第一种使用恒定的有效宽度，如之前描述的。这是建立在假设所有的潜在目标都同等重要的基础上。第二种使用成线性比例的有效宽度。其建立在假设离第一触点更近的潜在目标更可能是预定目标的基础上。
第一种映射功能使用恒定的有效宽度，如图2和图3所示。该映射功能使得目标扫描容易控制。具体地，其用公式表示为：
其中k是当前选中目标的基于1的指数。d是从当前触点到第一触点的投射距离。dmin是最小距离阈值。EWbase是预定义的有效宽度(参见图4a)。投射距离被定义为d＝(p-p0)·v，其中p和p0分别是当前触点和第一触点的位置，并且v是通过几个手指运动取样计算的初始移动方向的正规化向量。阈值距离dmin控制在开始扫描之前应当将手指拖动多长，并且由于接触手指不应当在扫描和选择期间遮挡ROI，因而阈值距离dmin还取决于手指的尺寸。在实验中，因该尺寸接近指尖的平均尺寸，所以为主要测试装置设定dmin＝100像素(大约13.5mm)。
恒定的有效宽度给出更加可预测的控制。然而，用户有时可能比较希望离第一触点更近的目标比ROI中的其它目标容易选择。因此，在替代实施例中，提供了成线性比例的有效宽度，该有效宽度将不同的有效宽度与不同的潜在目标相关联，离第一触点更近的目标具有更大的有效宽度，即更容易被选择。具体地，额外扩大被添加到每一个目标的有效宽度，使得最近的目标接收最大的扩大EWex，并且该扩大沿着排序列表的两侧线性减少(参见图4b)。
已经进行了评估这两种映射机制或方法如何影响线性拖拽的性能的研究。结果显示恒定的有效宽度通常给出更好的性能，并且所有的参与者由于其可预测的控制而更喜欢该映射方法。由于无可视化支持而使激活区域在实验期间被隐藏，因而用户发现难以利用成线性比例的映射方法执行选择并对激活区域的不均匀尺寸感到困惑。
图4示出用于将手指动作映射到潜在目标的扫描速度的两种映射功能。图4a示出具有恒定的有效宽度的线性映射，以及图4b示出将较大的有效宽度给予离初始触点更近的目标的非线性映射。
为了促进更好的视觉反馈，ROI的视觉空间的局部扩大可以被设置为选项。参见图2和图3。缩放比被距离d控制(参见上文方程1)，使得放大的区域将占据当前手指位置与原始ROI之间的空的空间。具体地，缩放比r被定义为：
其中s确定缩放的速度。rmax是最大缩放比。在实验中，设定rmax＝2.5和s＝dmin。
如果正交拖动方法被采用于选择的取消，则需要确定何时用户沿与原始拖动方向正交的方向移动接触手指。对运动向量的正交分量的大小与预先指定的阈值进行比较：|(p-p0)×v|＞τ。在所有的实验中，设定τ＝50像素(或6.75mm)。
实验
实验1：ROI的尺寸
在将线性拖拽与其它基于触摸的目标获取技术比较之前，进行了评估ROI的尺寸如何影响建议方法的性能的研究。
设备
对宏碁W3-810平板电脑进行了实验，其中8.1”(20.6cm)的触摸屏运行MSWindows8。屏幕为17.5cm×11cm并且具有1280×800(73.6像素/厘米)的分辨率。参与者可以任意方式自由持握该平板电脑或将其放置在桌子上。实验应用使用C#和.Net Framework实现，并且以全屏模式显示。
参与者
招募了年龄在24岁和29岁之间的八个参与者(男4名和女4名)。这八个参与者主要是研究生。所有参与者都有计算机、触摸屏平板电脑和智能手机方面的经验，并且刚好都是用右手的。所有参与者都是从大学招募来的(张贴了招募海报来进行公开招募)。八个参与者中每一个都被赠予13美元的礼券来作为对参与用户研究的回报。
流程和设计
在任务开始的时候，在屏幕的右中部显示2cm×2cm的按钮。一旦参与者轻击该按钮，则直径为12像素(1.6mm)的12个圆形候选目标被随意分布在直径为100像素(13.5mm)的圆形区域内，使得目标不会彼此重叠。在每一个任务中，参与者被要求尽可能准确且快速地在候选目标中选择期望目标。期望目标用蓝色突出显示，而其它候选目标被填充黑色。除了该圆形区域内的群集目标之外，尺寸与该群集目标相同的20个干扰目标被随意放置在剩余空的空间中(图5a，图中期望目标被显示为灰色)。每一个参与者在两个分开的阶段(session)中执行该实验。一个阶段被分成直径为26和40像素(或3.6mm和5.4mm)的两个ROI尺寸配置。另一个阶段被分成直径为52、66以及80像素(或7.2mm、9.0mm以及10.8mm)的三个ROI尺寸配置。对于每一个ROI尺寸配置，每一个参与者被要求执行50个选择任务。每一个参与者在两个阶段上总共花了大约一个小时。
基于【17】的有关对象的尺寸应当为至少9.2mm×9.2mm以将选择误差率保持较低的这一发现，来选择ROI的尺寸。因此，采用了具有类似参考尺寸(直径为9mm)的ROI，另外在该实验中还有一较大的尺寸和三个较小的尺寸(该参考的40％至120％)。
记录用户轻击开始按钮与目标选择任务完成时之间的持续时间。允许参与者使用正交拖动机制来取消选择过程。如果参与者选择了错误的目标或在选择期望目标之前取消了该选择，则任务将被重新开始直到选择了正确的目标，并且将累积记录的时间。在实验之前，会说明流程的详细内容并给予参与者5到10分钟的短暂时间来熟悉接口。在该实验中执行总共8×5×50＝2000个选择任务，每一个参与者要完成250个任务。
结果
当ROI的尺寸被设定为26、40、52、66以及80像素(3.6/5.4/7.2/9.0/10.8mm)时，平均选择时间是3180ms、2740ms、2280ms、3230ms以及3520ms，并且相应的误差率分别是12.1％、9.3％、4.6％、11.3％以及13.7％。这对平均选择时间(F(4，28)＝25.32，p＜0.001)和误差率(F(4，28)＝5.71，p＜0.001)存在显著的影响。
讨论
据观察，当ROI的尺寸是52像素时，选择时间和误差率都处于最小。这可能由于较大的ROI尺寸会使得更多的目标被包括在扫描中这一事实。因此，参与者需要仔细查看更多的候选目标，这导致了较长的选择时间和较大的误差率。另一方面，如果ROI的尺寸太小，则参与者更难以指定ROI来将期望目标包括。因此，参与者需要重做选择，这影响了整体性能。如此，对于文件呈现的剩余实验，我们将ROI的尺寸固定为52像素(7.2mm)，除非上下文另有规定。
实验2：取消机制
我们还进行评估两个建议的取消机制的另一个初步研究。要注意，ROI的直径被设定为在初步研究1中叙述的52像素(7.2mm)。
设备和参与者
与初步实验1中的那些相同。
流程和设计
参与者被要求在这个实验中执行两个不同类型的任务。
在第一阶段中，评估取消机制的选择性能。使用了与实验1中描述的相同的选择任务。参与者被要求使用指定的取消机制选择期望目标。注意的是，在正交拖动机制中，仅单个触摸-拖拽-释放操作用于选择，而对于另一个机制，需要额外的等待时间来验证该选择。每一个参与者在一个阶段中执行两组50个选择任务，每一组使用一个取消机制。
实验的第二阶段是评估取消机制的精确性。在与第一阶段相同设定的情况下，我们要求参与者在选中期望目标之后利用指定的取消方法来取消选择。(因此，如果在执行取消之前期望目标是最后突出显示的目标，则完成任务。)如同初步研究1，整个实验持续大约一小时，在每一个阶段提供了具体说明之后，参与者可以实践短暂的时间。在这个实验中，执行总共8×2×50＝800个选择任务和8×2×50＝800个取消任务。记录所有选择任务的完成时间和取消任务的成功率。
结果
实验结果显示使用正交拖动的平均选择时间是2310ms，取消准确性是97.5％，而使用额外轻击的平均选择时间是3400ms，取消准确性是99.4％。变量的重复测量分析显示不同的取消机制对选择时间(F(1，7)＝15.30，p＜0.001)具有显著影响，但是对取消准确性没有显著影响。
讨论
据显示，对于目标选择任务，使用额外轻击比使用正交拖动慢大约1s。这主要是由系统需要额外的等待时间来验证目标选择所造成的。由于它们类似的准确性但不同的性能，如同线性拖拽中的取消机制，正交拖动是优选机制。
实验3(主要实验)：性能比较
在确定ROI的尺寸和取消机制之后，进行定量地评估本发明的线性拖拽的性能的主要实验。我们将其与未受协助的(unaided)触摸指示的直接触摸(其用作基准线)、Grossman等人的参考文献【9】中阐述的泡沫光标(其是用于选择小目标的常见目标扩大途径)、Vogel等人的参考文献【23】中阐述的移位和Yatani等人的参考文献【25】中阐述的逃逸(它们是支持高精度选择的两个替代单触摸目标选择技术)进行比较。
选择移位(Shift)、逃逸(Escap)以及泡沫(Bubble)作为比较方法的一个主要原因在于像线性拖拽一样，这三种方法全都仅涉及单个触摸-拖拽-释放操作。注意的是，当在触摸输入装置上使用泡沫时，即使突出显示的目标可能被触摸手指所遮挡，用户也可以拖动触摸手指来突出显示不同的目标(即，离触摸点最近的目标)。另一方面，存在涉及多个操作的技术，例如Roudant等人的参考文献【21】中阐述的TapTap(双击)，该TapTap涉及分开的缩放和选择操作，并且显示出其优于移位。虽然将线性拖拽与这类的方法进行比较让人感兴趣，然而该用户研究的主要焦点是使用相同的触摸-拖拽-释放操作评估目标选择方法的性能，并且我们将这个问题留作未来的工作。
为了更好地评估不同操作场景的性能，还介绍了作为实验的因素之一的操作模式。参与者被指示使用双手(双手模式)或单手(单手模式)来执行选择任务。具体地，在双手模式中，参与者需要利用非惯用的那只手持握装置并且利用惯用的那只手执行选择。在单手模式中，参与者需要利用同一只手持握装置并执行任务。在这两种操作模式中，参与者自由使用指定手的任何手指来完成选择任务。
设备
与实验1和2中的相同。
参与者
招募了年龄在24岁和29岁之间的十二个成人参与者(女8名和男4名)。所有参与者刚好都是用右手的，并且在使用具有触摸屏的计算机、平板电脑以及智能手机方面具有经验。所有参与者都是从大学招募来的(张贴了招募海报来进行公开招募)。这些参与者中每一个都被赠予13美元的礼券来作为对参与用户研究的回报。
流程和设计
接下来是与实验1相同的常规流程。参与者被要求从一群集的候选目标中选择用蓝色突出显示的期望目标。参数计数被用来控制该群集的目标的总数量。该群集的目标位于直径为100像素(13.5mm)的圆形区域内，使得目标不会彼此重叠。在双手模式中，该圆形区域被放置在触摸屏的中心(图5a)，并且在单手模式中，该圆形区域被放置在右下方四分之一处(分别离右边和底边35mm和70mm)，以促进利用持握装置的手的拇指来选择。另外，尺寸与该群集的目标相同的20个干扰目标被放置在该圆形区域之外的空的空间中。
该实验是在利用以下因素的受試者内設計(within-participant design)5×4×3×2：(1)五个进行比较的技术TECH：线性拖拽、直接触摸、泡沫、逃逸以及移位。(2)四个目标尺寸：6、12、18以及24像素(0.8/1.6/2.4/3.2mm)。(3)群集目标计数的三个数量为：8、12以及16。(因为如果太多的目标被设定到直径为13.6mm的群集区域中，这些目标有可能彼此重叠和遮挡，所以最大数量的群集目标被设定为16。)(4)两个操作模式：双手模式和单手模式。
每一个参与者在不同操作模式的2个阶段中执行该实验，每一个会话被分成5组不同的技术。每一个TECH组被进一步分成12个分组的不同的尺寸和计数组合。在每一个分组内，每一个参与者需要完成20个选择任务。在该实验中，模式被平衡，TECH(除了直接触摸之外)以平衡的拉丁方(Latin-square)进行排序，总是在最后使用直接触摸，并且分组的顺序是随意的。总共28800个选择任务被包括在该实验中。类似于初步研究，在使用每一个操作模式和技术之前，参与者被指示并被给予5-10分钟热身阶段来熟悉该技术和任务。
实现了Vogel等人的参考文献【23】中阐述的零升级时间(escalation time)的移位。这是因为，在每一个试验中，所有群集的目标都是被封装在小区域内的相同小尺寸(3.2mm的最大尺寸)。因此，假设所遮挡的区域的弹出总是被参与者所需要。然而，由于我们想要在包括对触摸位置非常敏感的直接触摸和泡沫的所有技术中提供一致的触点精度和控制，因而不使用触摸位置的细化或修正。Tantani等人的参考文献【25】中阐述的逃逸利用8个方向的喙形目标来实现。要注意，与【25】中的原始设计不同，由于我们想要所有的测试技术具有类似的显示复杂性和样式，因而我们不将任何颜色方案应用为视觉线索。(所有的目标是黑色的，而期望目标是蓝色的。图5中期望目标被显示为灰色)图5c示出遮挡区域的弹出的局部副本，并且图5d示出具有喙形指示符的同一组的群集目标。对于线性拖拽，ROI的尺寸被设定为52像素(7.2mm)并且使用正交拖动取消机制。为了对线性拖拽有一个公平的评估，目标扩大特征(即，泡沫光标途径)在主要实验中被禁用。
图5示出不同操作模式的群集布置。具体地，图5a示出双手模式和单手模式。在图5c的移位【23】和图5d的逃逸【25】示出两个替代选择技术的显示样式的例示。
图6a和图6b示出双手操作模式下按尺寸(左图)和计数(右图)分组的不同技术的选择次数。误差条处于95％的置信水平。
图7a和图7b示出单手操作模式下按尺寸(左图)和计数(右图)分组的不同技术的选择次数。误差条处于95％的置信水平。
结果
选择时间
重复的测量分析示出TECH(F(4，44)＝32.4，p＜0.0001；F(4，44)＝48.72，p＜0.0001)、尺寸(F(3，33)＝5.0，p＝0.0022；F(3，33)＝7.91，p＜0.0001)以及计数(F(2，22)＝3.31，p＝0.0481；F(2，22)＝3.35，p＝0.0371)分别对双手模式和单手模式两者显著的主要影响。线性拖拽的平均选择时间是2557ms，直接触摸的平均选择时间是8336ms，泡沫的平均选择时间是3989ms，逃逸的平均选择时间是4384ms以及移位的平均选择时间是3574ms。还观察到了以下显著的交互：分别对于双手模式和单手模式，TECH×尺寸(F(12，132)＝2.72，p＝0.0021；F(12，132)＝2.68，p＜0.0001)以及TECH×计数(F(8，88)＝2.54，p＝0.0113；F(8，88)＝2.30，p＝0.0230)。
图6a-6b和图7a-7b示出分别使用双手模式和单手模式通过尺寸和计数划分的不同技术的平均选择时间。据观察，线性拖拽在大部分情况下具有的平均选择时间最短。直接触摸在所有的选择技术中具有的性能最差，尤其当目标尺寸小时。据发现，参与者使用直接触摸选择尺寸为6像素(0.8mm)的目标几乎是不可能的。因此，我们为每一个选择任务增加了最大运动时间(在我们的设定中为30s)，以确保参与者能够在合理的时间量内完成该阶段，并且如果不可能及时完成的话则终止任务。由于使用直接触摸并且目标尺寸为6像素(0.8mm)时80％以上的选择任务不可能及时顺利地完成，因而在平均运动时间和误差率的运算中，决定跳过直接触摸这一组合。由于直接触摸在我们的实验中仅充当基准线，因而这不影响整体评估。为了得到对测量的详尽理解，进行TukeyHSD后期测试来评估性能差异的重要性。后期测试分析不同技术之间的性能差异的重要性。我们按以下方式提出了后期测试结果。如果并且只有后期测试显示在给定场景下T1显著优于T2，则技术T1具有高于另一个技术T2的等级。
表1中示出的后期测试结果表明在目标尺寸小于18像素(2.4mm)的情况下，线性拖拽明显快于所有其它方法。当目标尺寸被设定为24像素(3.2mm)时，双手操作模式中的线性拖拽、泡沫以及移位之间的平均选择时间没有显著差异。表2中示出的后期测试结果表明在两种操作模式中，当计数被设定为8时，线性拖拽和逃逸执行最佳并且明显快于直接触摸、泡沫以及移位。然而，当计数增加时，逃逸的性能极大退化。
误差率
变量的重复测量分析显示分别对于双手模式和单手模式，误差率显著受到TECH(F(4，44)＝8.31，p＜0.0001；F(4，，44)＝10.82，p＜0.0001)影响。线性拖拽的平均误差率是7.2％，直接触摸的平均误差率是35.3％，泡沫的平均误差率是8.5％，逃逸的平均误差率是29.1％以及移位的平均误差率是9.7％。还分别观察了双手模式和单手模式下显著的交互TECH×计数(F(8，88)＝5.42，p＜0.0001；F(8，88)＝4.93，p＜0.0001)。
LG＝线性拖拽，DT＝直接触摸，B＝泡沫，E＝逃逸，S＝移位
表1：对于双手(顶部)模式和单手模式(底部)，尺寸对TECH中平均选择时间的显著差异。
LG＝线性拖拽，DT＝直接触摸，B＝泡沫，E＝逃逸，S＝移位
表2：对于双手(顶部)和单手(底部)模式，计数对TECH中平均选择时间的显著差异。
讨论
通过比较图6a-6b和图7a-7b，我们发现单手模式中的目标选择花的时间多于双手模式中的目标选择花的时间。这能够被容易地解释为使用双手的目标选择比使用单手提供了对装置更稳定的控制。此外，由于移位要求精确的触摸控制，因而这种效果对于移位尤其重要，而其它技术(除了直接触摸之外)能够承受较为嘈杂的触摸输入。
从表1所示的后期测试结果，我们发现移位的性能与目标尺寸相关——当目标尺寸增大时，移位的选择时间明显减少。这是由于移位的操作类似于直接触摸但不存在遮挡问题的这一事实。因此，移位的性能直接与目标的有效尺寸相关。
从表2所示的后期测试结果，可看出逃逸依赖于将可区分的滑动方向分配给成群的目标。当计数变得大于可行的滑动方向的数量时，群集中的多个目标将被分配有相同的滑动方向，使得更加难以被选择。另一方面，由于直接触摸和泡沫都不能解决遮挡问题，它们都产生了相当数量的选择误差。正如预期的，由于目标的有效面积在密集的群集中变小并且经常被指尖遮挡，因而泡沫的性能在密集的目标分布的情况下退化。
定性结果
参与者被要求在后期问卷中按主观偏好将这些技术分等级。八个参与者将线性拖拽作为他们优选的技术，四个参与者将移位作为他们优选的技术并将线性拖拽作为他们第二优选的技术。大部分参与者评论说当其计数小于8时喜欢逃逸，但对于较大的群集尺寸来说，逃逸不是很有用。
结论
这篇论文介绍了线性拖拽，一种用于小且群集的目标的新型单指目标获取技术。本发明一个新的贡献是利用简单的触摸-拖拽-释放操作将2D目标选择问题转换成1D选择问题的一种映射途径。这一新颖技术给予了所有候选目标恒定的有效宽度，其不依赖于目标分布。这得到了可预测并可控制的选择接口。我们的控制实验的结果显示线性拖拽是一种有前途的用于触摸装置的目标获取技术，并且在选择时间和误差率方面，线性拖拽比涉及单个触摸操作的现存的流行选择技术表现得要好。
我们的控制实验的结果显示当选择小的目标时，在保持合理的误差率的情况下，与不使用任何技术的目标获取以及使用涉及单个触摸操作的最先进目标获取技术相比，线性拖拽花的选择时间分别少了大约70％和30％。
应当理解，本发明的为了清晰起见在分开的实施例的内容中描述的特定特征可以被设置为结合在单个实施例中。反之，本发明的为了简明而在单个实施例的内容中描述的各种特征可以被分开设置在任何合适的子组合中。注意的是，实施例的特定特征通过非限制性示例的方式示出。而且，本领域熟练技术人员知道为了简明的目的而未在上文描述的现有技术。
在上述说明中提到了许多参考文献，并且其内容和下文列出的引用整体并于此处。
参考文献
1.Albinsson，P.-A.，and Zhai，S.High precision touch screeninteraction.In Proc.ACM SIGCHI(2003)，105-112.
2.Baudisch，P.，Zotov，A.，Cutrell，E.，and Hinckley，K.Starburst：a targetexpansion algorithm for non-uniform target distributions.In Proc.WorkingConference on Advanced VisualInterfaces(2008)，129-137.
3.Benko，H.，Wilson，A.，and Baudisch，P.Precise selection techniques formulti-touch screens.In Proc.ACM SIGCHI(2006)，1263-1272.
4.Bi，X.，Li，Y.，and Zhai，S.Fitts law：Modeling finger touch with fitts’law.In Proc.ACM SIGCHI(2013)，1363-1372.
5.Blanch，R.，Guiard，Y.，and Beaudouin-Lafon，M.Semantic pointing：improving target acquisition with control-display ratio adaptation.InProc.ACM SIGCHI(2004)，519-526.
6.Chapuis，O.，Labrune，J.-B.，and Pietriga，E.Dynaspot：speed-dependentarea cursor.In Proc.ACM SIGCHI(2009)，1391-1400.
7.Fekete，J.-D.，and Plaisant，C.Excentric labeling：Dynamic neighborhoodlabeling for data visualization.In Proe.ACM SIGCHI(1999)，512-519.
8.Findlater，L.，Jansen，A.，Shinohara，K.，Dixon，M.，Kamb，P.，Rakita，J.，andWobbrock，J.Enhanced area cursors：reducing fine pointing demands for peoplewith motor impairments.In Proc.ACM UIST(2010)，153-162.
9.Grossman，T.，and Balakrishnan，R.The bubble cursor：enhancing targetacquisition by dynamic resizing of the cursor’s activation area.In Proc.ACMSIGCHI(2005)，281-290.
10.Gutwin，C.Improving focus targeting in interactive fisheye views.InProc.ACM SIGCHI(2002)，267-274.
11.Karlson，A.，and Bederson，B.Thumbspace：generalized one-handed inputfor touchscreen-based mobile devices.In Proc.INTERACT，Springer(2007)，324-338.
12.D.，Agrawala，M.，and Pauly，M.Fingerglass：efficient multiscaleinteraction on multitouch screens.In Proc.ACM SIGCHI(2011)，1601-1610.
13.Kopper，R.，Bacim，F.，and Bowman，D.Rapid and accurate 3D selection byprogressive refinement.In Proc..IEEE Symp.3D User Interfaces(2011)，67-74.
14.Moscovich，T.Contact area interaction with sliding widgets.InProc.ACM UIST(2009)，13-22.
15.Moscovich，T.，and Hughes，J.Multi-finger cursor techniques.InProc.Graphics Interface(2006)，1-7.
16.Olwal，A.，Feiner，S.，and Heyman，S.Rubbing and tapping for preciseand rapid selection on touch-screen displays.In Proc.ACM SIGCHI(2008)，295-304.
17.Parhi，P.，Karlson，A.，and Bederson，B.Target size study for one-handed thumb use on small touchscreen devices.In Proc.MobileHCI(2006)，203-210.
18.Parker，J.，Mandryk，R.，Nunes，M.，and Inkpen，K.Improving targetacquisition for pointing input on tabletop displays.In Proc.INTERACT(2005)，80-93.
19.Pietriga，E.，and Appert，C.Sigma lenses：focus-context transitionscombining space，time and translucence.In Proc.ACM SIGCHI(2008)，1343-1352.
20.Potter，R.，Weldon，L.，and Shneiderman，B.Improving the accuracy oftouch screens：an experimental evaluation of three strategies.In Proc.ACMSIGCHI(1988)，27-32.
21.Roudaut，A.，Huot，S.，and Lecolinet，E.Taptap and magstick：improvingone-handed target acquisition on small touch-screens.In Proc.WorkingConference on Advanced VisualInterfaces(2008)，146-153.
22.Sears，A.，and Shneiderman，B.High precision touchscreens：designstrategies and comparisons with a mouse.International Journalof Man-MachinceStudies34，4(Apr.1991)，593-613.
23.Vogel，D.，and Baudisch，P.Shift：a technique for operating pen-basedinterfaees using touch.In Proc.ACM SIGCHI(2007)，657-666.
24.Worden，A.，Walker，N.，Bharat，K.，and Hudson，S.Making computers easierfor older adults to use：area cursors and sticky icons.In Proc.ACM SIGCHI(1997)，266-271.
25.Yatani，K.，Partridge，K.，Bern，M.，and Newman，M.Escape：a targetselection technique using visually-cued gestures.In Proc.ACM SIGCHI(2008)，285-294.

Claims (24)

1.一种用于在触摸屏图形用户接口中使用的目标获取系统，用于从多个潜在可选择目标选择期望目标，包括：
a)用于限定预定义形状和面积的局部感兴趣区域ROI的装置；
b)用户的手指在所述触摸屏上接触时允许所述ROI的激活的装置；
c)用于将所述ROI内的所述潜在可选择目标排序到一维1-D顺序列表中的装置；
d)用于映射所述手指在所述触摸屏上的运动的装置；以及
e)用于从所述多个潜在可选择目标选择所述期望目标的装置，
其中所述系统被配置成允许以单个触摸动作来操作步骤a)中的所述限定、步骤b)中的所述激活、步骤c)中的所述排序、步骤d)中的所述映射以及步骤e)中的所述选择；
其中对所述潜在可选择目标的排序由选自包括与所述触摸屏接触的所述手指的初始运动方向、所述潜在可选择目标的尺寸、所述潜在可选择目标的形状、所述潜在可选择目标离一参考点或所述参考点的距离以及从所述潜在可选择目标提取的结构信息的组的一个或多个因素确定。
2.根据权利要求1所述的系统，包括通过所述手指接触所述触摸屏并在所述触摸屏上拖动所述手指来触发其激活的装置。
3.根据权利要求1所述的系统，其中所述ROI由所述手指的第一触点限定。
4.根据权利要求3所述的系统，其中所述第一触点是所述ROI的参考点。
5.根据权利要求3所述的系统，其中所述ROI包含所述多个潜在可选择目标，并且所述多个潜在可选择目标是所述触摸屏上的任何位置的视觉元素。
6.根据权利要求4所述的系统，其中所述参考点是所述ROI的中心。
7.根据权利要求1所述的系统，其中所述ROI的尺寸由包括屏幕分辨率、用户偏好以及使用所述系统的计算机应用的至少一个或多个因素确定。
8.根据权利要求1所述的系统，其中所述ROI是圆形。
9.根据权利要求1所述的系统，包括用来给所述ROI内的所述潜在可选择目标的每一个分配唯一指数的装置。
10.根据权利要求1所述的系统，其中对所述潜在可选择目标的排序由从所述潜在可选择目标提取的其它信息确定。
11.根据权利要求1所述的系统，包括用于将所述手指的触点的移动距离映射到一个潜在可选择目标的唯一指数的装置。
12.根据权利要求1所述的系统，其中所述潜在可选择目标排序装置包括用于记录所述用户的手指在所述触摸屏上的运动或动作的信息的装置，所述信息包括所述手指的位置信息、移动方向信息以及移动速度信息。
13.根据权利要求11所述的系统，其中所述映射是使在任何一次在所述触点的任何距离内仅一个潜在可选择目标被选中并因此被选择的映射。
14.根据权利要求13所述的系统，其中所述映射由每一个潜在可选择目标的足够大的距离间隔限定，这允许用户在手指拖动操作中选中所述潜在可选择目标的任何一个。
15.根据权利要求14所述的系统，其中所有的所述潜在可选择目标的所述距离间隔是相同的。
16.根据权利要求14所述的系统，所述潜在可选择目标的所述距离间隔是不同的，这允许一些所述潜在可选择目标被更加有效地选中。
17.根据权利要求11所述的系统，其中所述手指在所述触摸屏上的所述移动距离由所述手指的当前触点与第一触点之间的距离限定。
18.根据权利要求11所述的系统，其中所述手指在所述触摸屏上的所述移动距离由当前触点与第一触点之间的距离限定，但是投射在所述手指的初始移动方向。
19.根据权利要求1所述的系统，其中当所述期望目标被选中时，通过从所述触摸屏释放所述手指，使所述期望目标的选择生效。
20.根据权利要求19所述的系统，包括用于执行预定义操作的装置，所述操作包括激活上下文菜单并显示已被选择的所述期望目标的信息。
21.根据权利要求1所述的系统，包括为了更好的视觉反馈而用于所述ROI的视觉放大的装置。
22.根据权利要求21所述的系统，其中所述ROI的显示的尺寸由所述视觉放大装置的放大比确定。
23.根据权利要求1所述的系统，包括用于目标选择的取消的装置，所述取消装置通过沿大体正交于所述手指的初始移动方向的方向移动所述手指的方式而生效。
24.根据权利要求1所述的系统，包括用于目标选择的取消的装置，所述取消装置通过在预定义时间段内轻击所述触摸屏的任何位置而生效。
CN201410373720.2A 2014-03-18 2014-07-31 用于在触摸屏图形接口中使用的目标获取系统 Active CN104932810B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/218,154 US9250730B2 (en) 2014-03-18 2014-03-18 Target acquisition system for use in touch screen graphical interface
US14/218,154 2014-03-18

Publications (2)

Publication Number Publication Date
CN104932810A CN104932810A (zh) 2015-09-23
CN104932810B true CN104932810B (zh) 2019-12-13

Family

ID=54119993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410373720.2A Active CN104932810B (zh) 2014-03-18 2014-07-31 用于在触摸屏图形接口中使用的目标获取系统

Country Status (2)

Country Link
US (1) US9250730B2 (zh)
CN (1) CN104932810B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474345B2 (en) * 2014-04-04 2019-11-12 Shawn SHEY User interfaces and methods for displaying content
US11205075B2 (en) * 2018-01-10 2021-12-21 Quantum Interface, Llc Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same
US10372317B1 (en) 2015-06-12 2019-08-06 Google Llc Method for highly accurate selection of items on an axis with a quadrilateral control surface
JP6794838B2 (ja) * 2017-01-13 2020-12-02 コニカミノルタ株式会社 医用画像表示装置
CN108509133B (zh) * 2017-02-27 2023-05-02 腾讯科技（深圳）有限公司 搜索组件展示方法和装置
CN107578009B (zh) * 2017-09-02 2020-04-10 宜宾学院 多手指远端指间关节纹路的识别方法
AU2017276290A1 (en) 2017-12-14 2019-07-04 Canon Kabushiki Kaisha Method, system and apparatus for selecting items in a graphical user interface
US11157152B2 (en) * 2018-11-05 2021-10-26 Sap Se Interaction mechanisms for pointer control
US12014020B2 (en) 2020-07-13 2024-06-18 Dassault Systemes Solidworks Corporation Self-activating progressive-offset cursor for precise finger selection on touch devices
US11554323B2 (en) * 2020-09-11 2023-01-17 Riot Games, Inc. System and method for precise positioning with touchscreen gestures
CN112433661B (zh) * 2020-11-18 2022-02-11 上海幻电信息科技有限公司 交互对象选择方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101821763A (zh) * 2007-10-19 2010-09-01 雅虎公司 用于包括基于地图的显示的特定于地理的搜索结果的方法和装置
CN102426483A (zh) * 2011-12-27 2012-04-25 中国科学院软件研究所 一种面向触控设备的多通道精确目标定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639612B2 (en) * 2001-10-11 2003-10-28 International Business Machines Corporation Ad hoc check box selection
JP4161814B2 (ja) * 2003-06-16 2008-10-08 ソニー株式会社 入力方法および入力装置
US20080235627A1 (en) * 2007-03-21 2008-09-25 Microsoft Corporation Natural interaction by flower-like navigation
KR20100038688A (ko) * 2008-10-06 2010-04-15 엘지전자 주식회사 이동 단말기 및 이동 단말기의 유저 인터페이스
US20100295793A1 (en) * 2009-05-19 2010-11-25 Sudharshan Srinivasan Two stroke touch panel data entry system
JP4950321B2 (ja) * 2010-04-26 2012-06-13 京セラ株式会社 文字入力装置、文字入力方法および文字入力プログラム
US9116609B2 (en) * 2011-03-30 2015-08-25 Mckesson Financial Holdings Methods, apparatuses and computer program products for generating regions of interest using gestures via a user interface
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US9134893B2 (en) * 2012-12-14 2015-09-15 Barnes & Noble College Booksellers, Llc Block-based content selecting technique for touch screen UI

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101821763A (zh) * 2007-10-19 2010-09-01 雅虎公司 用于包括基于地图的显示的特定于地理的搜索结果的方法和装置
CN102426483A (zh) * 2011-12-27 2012-04-25 中国科学院软件研究所 一种面向触控设备的多通道精确目标定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
shift a technique for operating pen-based interfaces using touch;Daniel Vogel 等;《CHI’07 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems》;20070429;657-666 *

Also Published As

Publication number Publication date
US20150268744A1 (en) 2015-09-24
US9250730B2 (en) 2016-02-02
CN104932810A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN104932810B (zh) 用于在触摸屏图形接口中使用的目标获取系统
Olwal et al. Rubbing and tapping for precise and rapid selection on touch-screen displays
Roth et al. Bezel swipe: conflict-free scrolling and multiple selection on mobile touch screen devices
Sadana et al. Designing and implementing an interactive scatterplot visualization for a tablet computer
Roudaut et al. TapTap and MagStick: improving one-handed target acquisition on small touch-screens
US10324602B2 (en) Display of 3D images
Bezerianos et al. The vacuum: facilitating the manipulation of distant objects
CN104285195B (zh) 过扫描显示设备以及使用该过扫描显示设备的方法
US9223471B2 (en) Touch screen control
US20140109016A1 (en) Gesture-based cursor control
US20100251112A1 (en) Bimodal touch sensitive digital notebook
US20120151397A1 (en) Access to an electronic object collection via a plurality of views
Käser et al. FingerGlass: efficient multiscale interaction on multitouch screens
US20110304557A1 (en) Indirect User Interaction with Desktop using Touch-Sensitive Control Surface
Lü et al. Gesture avatar: a technique for operating mobile user interfaces using gestures
Rivu et al. GazeButton: enhancing buttons with eye gaze interactions
Au et al. LinearDragger: a linear selector for one-finger target acquisition
Matejka et al. The design and evaluation of multi-finger mouse emulation techniques
Chen et al. BezelCopy: an efficient cross-application copy-paste technique for touchscreen smartphones
Suzuki et al. Fix and slide: Caret navigation with movable background
US10073617B2 (en) Touchscreen precise pointing gesture
Kwon et al. Two-mode target selection: Considering target layouts in small touch screen devices
Su et al. 2D-Dragger: unified touch-based target acquisition with constant effective width
Tu et al. Text Pin: Improving text selection with mode-augmented handles on touchscreen mobile devices
Webb et al. Layerfish: Bimanual layering with a fisheye in-place

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant