CN102272697B - 用于响应于非离散定向输入动作和智能内容分析而选择显示区的计算装置和方法 - Google Patents

用于响应于非离散定向输入动作和智能内容分析而选择显示区的计算装置和方法 Download PDF

Info

Publication number
CN102272697B
CN102272697B CN200980153507.8A CN200980153507A CN102272697B CN 102272697 B CN102272697 B CN 102272697B CN 200980153507 A CN200980153507 A CN 200980153507A CN 102272697 B CN102272697 B CN 102272697B
Authority
CN
China
Prior art keywords
content
display
user
optional data
data items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980153507.8A
Other languages
English (en)
Other versions
CN102272697A (zh
Inventor
丹尼尔·希普拉科夫
格雷戈里·西蒙
伦基·拉朱
马蒂亚斯·杜阿尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102272697A publication Critical patent/CN102272697A/zh
Application granted granted Critical
Publication of CN102272697B publication Critical patent/CN102272697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

本发明提供一种计算装置，其包含显示表面、人机接口特征和处理资源。所述人机接口特征使得所述计算装置的用户能够录入非离散定向输入动作。所述处理资源执行以：(i)在所述显示表面上提供内容；(ii)检测所述用户执行所述输入动作；(ii)根据所述输入动作来确定向量；以及(iv)基于所述向量来选择所述显示表面的区。

Description

用于响应于非离散定向输入动作和智能内容分析而选择显示区的计算装置和方法
技术领域
所揭示的实施例涉及用于计算装置的显示接口。更明确地说，所揭示的实施例涉及一种用于响应于非离散输入动作和/或智能内容分析而选择显示区的计算装置和方法。
背景技术
计算装置(特别是手持式和便携式装置)已演化为包含大量类型的人机接口特征。其中，装置现在并入有触敏显示器和传感器，以便增强与所述装置的人机交互。传感器的实例包含加速计和近程传感器，其检测关于移动或计算装置正被留于何处的信息。
装置日益变小，且更加智能。因此，虽然显示器大小是有限的，但可在相对较小的显示屏上显示的东西却正日益复杂。举例来说，移动计算装置可例行地从一个显示器显示网络内容、视频和实况电视内容。
除较小的大小和增加的处理之外，计算装置还允许更多种类的用户输入和动作。举例来说，手势输入是在并入有触敏显示屏的移动计算装置上允许的一种类型的输入。存在其它装置，其可检测用户的移动，例如通过手臂或手的运动。
附图说明
图1说明根据一实施例的用于允许在计算装置上智能滚动或导航显示对象的特征的简化框图架构。
图2说明根据实施例的用于使用非离散输入动作来选择所显示的内容以供重新显示的方法。
图3A到图3C说明用户的非离散定向输入动作到向量的变换。
图4A和图4B说明在其上实施用于响应于非离散定向输入动作来选择其若干部分的实施例的用户接口面板。
图5说明在其上实施用于响应于定向输入动作来选择显示对象的另一实施例的另一用户接口面板。
图6说明在其上实施用于响应于定向输入动作来选择显示对象的另一实施例的又一用户接口面板。
图7说明根据一实施例的用于重新显示并入有超过指定准则的可选数据项目的显示器的区的方法。
图8A和图8B表示作为图7所描绘的实施例的实施方案的用户接口面板。
图9说明经配置以实施一个或一个以上实施例的计算装置的硬件图。
具体实施方式
本文所描述的实施例通过使用来自用户的非离散输入而增强了用户在计算装置上滚动或导航所显示的内容的能力。明确地说，一个或一个以上实施例使用逻辑或智能来增强用户使用非离散定向输入动作来作出对所显示内容的选择的能力。如所描述，实施例通过允许响应于用户的非离散输入动作而选择内容，来增强用户与计算装置的交互。
本文所述的实施例包含一种计算装置，其具有显示表面、人机接口特征和处理资源。所述人机接口特征使得所述计算装置的用户能够录入非离散定向输入动作。所述处理资源执行以：(i)在显示表面上提供内容；(ii)检测用户执行的动作；(ii)根据输入动作确定向量；以及(iv)基于所述向量选择显示表面的区。
在另一实施例中，计算装置包含显示区和处理资源，所述处理资源经配置以在显示表面上呈现内容，包含显示表面的子区上的多个可选数据项目。所述处理资源进一步经配置以分析显示器上的内容的包含所述多个可选数据项目的至少一部分，以确定所述多个数据项目中的至少一些项目之间的间距。响应于确定可选数据项目之间的间距小于预定阈值，处理资源执行以重新显示所述内容的至少一部分，以增强用户选择所要数据项目且不会无意中选择非所要数据项目的能力。举例来说，可重新显示触敏显示表面上含有紧密排列的链接的内容以在所述链接上放大，从而使用户可区分出所述链接以用于触摸选择。
本文所描述的一个或一个以上实施例规定在程序中或作为计算机实施的方法而执行计算装置所执行的方法、技术和动作。在程序中表示通过使用代码或计算机可执行指令。在程序中执行的步骤可为自动的或可不为自动的。
可使用模块来实施本文所描述的一个或一个以上实施例。模块可包含能够执行一个或一个以上所陈述任务或功能的程序、子例程、程序的一部分或软件组件或硬件组件。如本文所使用，模块可独立于其它模块而存在于硬件组件上，或模块可为其它模块、程序或机器的共享元件或进程。
此外，可通过使用可由一个或一个以上处理器执行的指令来实施本文所述的一个或一个以上实施例。这些指令可在计算机可读媒体上运载。以下图中所展示的机器提供可在其上运载和/或执行用于实施本发明的实施例的指令的处理资源和计算机可读媒体的实例。明确地说，与本发明的实施例一起展示的众多机器包含处理器和用于保持数据和指令的各种形式的存储器。计算机可读媒体的实例包含永久存储器存储装置，例如个人计算机或服务器上的硬盘驱动器。计算机存储媒体的其它实例包含便携式存储单元(例如CD或DVD单元)、快闪存储器(例如运载于许多手机和个人数字助理(PDA)上)，以及磁性存储器。计算机、终端、具有网络功能的装置(例如移动装置，例如手机)是利用处理器、存储器和存储在计算机可读媒体上的指令的机器和装置的所有实例。
系统架构
图1说明根据一实施例的用于允许在计算装置上智能滚动或导航显示对象的特征的简化框图架构。在一实施例中，系统100在计算装置上实施，且包含一个或一个以上模块或组件，其操作以提供选择器110、人机接口组件104、呈现组件120以及到从其产生内容以供显示的应用程序136的接口128。如结合图9的实施例所描述，可在各种装置(包含无线消息接发和电话装置，或无线/蜂窝式多功能装置)上实施系统100。还可跨多种类型的装置实施系统100。因此，可在运行应用程序136以在装置的显示器上产生内容的计算装置900(图9)上实施系统100。在图1所示的实施例中，应用程序136对应于网络浏览器，且在显示装置上产生的内容为网络内容。然而，应用程序136可对应于其它种类的应用程序，使得可呈现其它形式的内容供系统100使用。举例来说，应用程序136可对应于地图绘制应用程序(例如谷歌地球(GOOGLEEARTH)，或通常与GPS一起显示的地图)、PDF浏览器、图像浏览器或文档显示应用程序。
人机接口组件104可采取各种形式。在实施例中，人机接口组件104由并入计算装置900(图9)的显示组合件920中的触摸传感器提供。触摸传感器检测对应于非离散输入动作125的手指运动或手势。然而，可使用其它装置或接口类型来检测此些定向输入动作。如下文所提供，非离散动作可对应于用户要求取样或类似处理以便由计算机解译或处理的动作。此些动作可与(例如)致动开关的按钮按压或动作区分开来，因为按钮和开关是离散输入机构，且不要求计算机理解取样。人机接口组件104可进一步包含或使用逻辑(例如，由集成电路或由CPU提供)来根据定向输入动作125计算向量123。向量123可提供输入的线性化版本，其使得能够将用户的定向动作125外推到计算装置900(见图9)的显示表面上的区。
在一实施例中，接口128向选择器110提供内容显示信息127。在其中应用程序136为网络浏览器的实施例中，内容显示信息127对应于文档对象模型(DOM)信息，其识别(例如)各种显示对象和内容项目在给定网页或资源上的存在和相对位置。可使用各种其它形式的内容显示信息127，尤其是针对其它类型的应用程序。
选择器110使用向量123来导航或滚动显示器上呈现的内容。明确地说，一实施例规定选择器110使用向量123来导航或滚动到计算装置的显示表面上当前正显示的显示对象或内容区。明确地说，系统100的模块处理动作125以确定向量123，且接着使用向量123来作出内容选择121。内容选择121可对应于(i)显示器上的内容区，或(ii)作为显示器上的内容的一部分而出现的显示对象或对象集合。对于内容选择121，呈现组件120执行动作以重新显示内容选择121。
在一个实施例中，选择器110通过使用向量123根据所显示内容上的焦点的当前位置外推到新的位置来处理输入动作125。向量123指定外推的方向，以及任选地指定将线性外推延伸到什么程度的量值。可根据输入动作125(例如手指滑动)的速度或此移动或动作的力/加速度来确定量值。因此，向量123可带有方向信息以及量值信息(例如，力、速度或其组合)。
在一实施例中，选择器110根据向量123来识别显示器上的内容子区。所述子区可对应于(例如)屏幕显示器的象限或区段，例如所再现网页的顶部部分。作为替代或添加，选择器110基于向量123识别待重新显示的显示对象。显示对象的实例包含图像、文本框或链接。
在确定待重新显示的显示对象或子区时，实施例规定选择器110使得计算装置的显示过程能够从显示器上的内容的一个聚焦区导航或滚动到选定区或显示对象。可通过以下方式来识别现有聚焦区，例如根据默认值(例如从显示区的中心开始)、根据指针或导航装置的位置，或根据选定显示对象或区的先前位置(如例如根据先前向量输入确定而确定)。因此，例如，响应于确定向量123，选择器110可致使装置的处理资源将其显示焦点从网页的一部分横越到网页上现有的显示对象。
呈现组件120使用选择确定121来加以更改后重新显示现有的内容，且/或聚焦在选定子区或显示内容上(如由选择器110确定)。在一实施例中，呈现组件120增强所显示内容的提供选定子区或显示对象的部分。所述增强可采取放大选定部分的形式。作为替代或添加，所述增强可包含(例如)加亮、背照或增亮选定部分处的所显示内容，从而更改所述部分处的粒度或焦距，使选定内容居中，且/或呈现对焦的选定子部分。
呈现组件120可直接或间接地与应用程序和/或其它显示组件介接。在一个实施方案中，呈现组件120发送数据131，用于向应用程序136的接口128产生选定子区或显示对象的增强显示。举例来说，当应用程序136对应于网络浏览器时，呈现组件120将呈现数据131发送到其接口128。接口128可接着重新显示选定子区或显示对象，来代替已经在显示器上的内容的现有部分。举例来说，可放大选定内容以覆盖显示屏上的其它内容。或者，呈现组件120可将呈现数据131直接传送到应用程序，或传送到创建显示内容以覆盖或替代已经在显示器上的内容的另一应用程序。
在一实施例中，系统100包含反馈组件140，其用信号向输出机构142通知触觉和/或可听反馈129，以与重新显示或以其它方式呈现选定内容的呈现组件120一致。在选择器110识别显示对象的实施例中，呈现组件120可立即横越到选定对象，以便抓取和重新显示选定对象。为了增强抓取效果，反馈组件140使反馈信号129同步或以其它方式对反馈信号129进行计时，以与选定显示对象的选择和重新显示一致。在其它实施例中，机构140及其反馈信号129可经配置以用在显示器上重新显示内容区(而不是选定对象，或增强抓取效果)的动作来触发。输出机构142可对应于在接收信号129时产生振动或移动的组件。作为变体，输出机构142可产生可听声音以模拟物理效果，例如“滴答”或“咔哒”声。输出机构142可与显示器集成，或与接触或以其它方式与用户交互的装置表面集成。举例来说，输出机构140可与在用户作出手势输入时接纳用户的手指的显示表面集成。作为变体，输出机构140可集成到由用户握持的计算装置(其上实施系统100)的外壳中。
方法
图2说明根据实施例的用于使用非离散输入动作来选择所显示的内容以供重新显示的方法。可使用例如图1所述的组件或例如图9所述的硬件元件来实施例如图2所述的实施例。因此，图1或图9所述的对元件作出的任何参考意在说明用于执行正描述的步骤或子步骤的合适元件或组件。
在步骤210中，以非离散输入动作的形式接收输入。非离散输入动作可对应于用户的自由形式动作，例如手指(即，放置为与表面接触)或肢体的移动，其可与例如按钮按压或用户操纵的开关等离散输入动作区分开来。在一个实施例中，以模拟形式检测非离散输入动作。取样可用于处理输入。
根据一实施例，可分析非离散输入动作以推断用户的方向意图。此输入动作可称为是定向的。输入动作可由人机接口组件104接收。接口组件104可对应于可监视(例如)某些类型的用户活动的传感器与逻辑的组合(例如以集成电路的形式)。举例来说，在显示器的表面上，传感器可经定位以检测人类皮肤的接触，且进一步检测关于在给定时刻或随着时间的过去皮肤的接触位置的信息。另一形式的输入可并入有光学传感器的使用，所述光学传感器可用于检测(例如)手指或物体在计算装置的区上的移动。其它传感器可包含加速计，其可放置于条形码读入器或其它装置上，以在用户将条形码读入器丢弃在周围时报告条形码读入器的位置。还存在针对可如何实施非离散输入动作的大量其它实施方案。举例来说，滚轮球输入机构(或有时称为跟踪球)可带有呈量值和/或方向形式的非离散输入。甚至开关式输入机构也可经结构化以检测和使用与动作的量值有关的信息。量值的检测可借助于检测与(例如)开关事件相关联的非离散动作或特性。
任选子步骤212到218说明可对应于与一个或一个以上实施例一起使用的定向输入的各种种类的非离散输入动作。在子步骤212中，输入动作可对应于通过用户的手指或用户引导的物体(例如触控笔或笔)与计算装置的接口组件交互而作出的手势输入。接口组件可对应于(例如)计算装置的触摸板或触摸屏。子步骤214规定非离散定向动作可对应于用户的移动。举例来说，用户可移动手或肢体或头。接口组件可对应于并入用户在移动肢体或其它身体部位时所使用的装置中的传感器。举例来说，加速计和/或位置传感器的组合可用于使装置能够移动条形码读入器。可在计算装置上接收来自条形码读入器的传感器信息，且接着将其解译成手势或移动输入。
子步骤216规定非离散输入动作对应于用户的眼睛移动。可使用(例如)眼睛扫描仪/检测器来监视用户的眼睛移动。在一个实施方案中，跟踪用户的眼睛以解译类似手势的输入。用户可将其视线引导到所显示内容的区域，或显示屏区，以便使其眼睛移动被记录为定向输入动作。
更进一步，任选子步骤218规定非离散输入动作对应于话音命令和/或音调变化(inflection)。用户可说出某些指示方向的词语(例如，“向上”、“北”、“东北”、“距中心30度”等)。还可使用音调变化来指示量值。计算装置的接口组件可对应于麦克风，其使用语音辨识逻辑来将说出的词语转换成定向输入。为了检测音调变化，麦克风可分析音量，如与基线(例如，用户的正常语音闲聊、背景噪声等)相比，以确定命令是被响亮地还是轻柔地说出的(可能依据相对程度)。
在步骤220中，根据用户的非离散输入动作来确定向量(例如，使用输入动作125来产生向量123)。向量是非离散输入的线性化。由此，向量带有对应于方向的信息。任选的是，子步骤222规定产生向量以带有包含对用户的定向动作(如可由人机接口组件104检测)中的量值的指示的信息。可使用(例如)测量例如手势/移动中的速度或力或话音命令中的音调变化等特性的传感器或其它组件来确定此量值。
在步骤230中，使用向量来选择在显示器上或用于显示器的内容区。可使用向量来基于向量的现有假定位置或原点而外推或确定内容的一部分。此位置可对应于(例如)用户对内容的先前选择、指针装置或特征的位置(例如，停留或聚焦在特定内容项目上、鼠标指针(或等效位置))，或默认原点(例如，显示器的中心、停留在特定内容上等)。子步骤232描述一个实施方案，其中选定区对应于正显示或以其它方式准备显示的现有内容的子区。可将子区选择为面板，对所述面板内的(例如)特定内容项目的边界不加选择。举例来说，内容可以地图或所再现网页的形式显示。响应于用户的手势输入，选择器110选择地图的象限或其它区段，其可或可不在所述时刻离开显示器(地图的在显示器的边界上看不见的部分)。在地图的情况下，可选择地图内容上表现的地理区或粒度，例如平方英里或城市街区。更进一步，选定区可带有相对于周围内容的其它部分勾画出区的特性。举例来说，选定区可为可与周围区中所显示的数据区分开来的一组经结构化数据的一部分。
在子步骤232的变体中，子步骤234规定根据向量来选择显示对象。显示对象的实例是图像、文本框或其它条目。不是选择(例如)面板的区段或由区段再现的内容，而是执行分析以识别特定内容项目。在一个实施例中，显示器上的内容为网页或其它网络内容。选择器110使用(例如)DOM信息来识别网页上的显示对象(例如文本框、图像)。在其它实施方案中，可使用其它形式的内容分析来检测其它内容项目。举例来说，在文档中，图形或媒体的插入和位置是可容易检测的。还可执行阴影或色彩分析来检测图像的存在。举例来说，接口组件128可与浏览器或网页介接，以将DOM信息提供给选择器110。
在选择显示对象的变化形式中，可如下执行作出选择的方式。作为子步骤234的一部分，在子步骤235中识别选定显示对象的边界。可根据(例如)(i)DOM信息(当正显示的内容为网页时)或其等效物(对于其它形式的再现内容)、(ii)图像分析，例如图像文件的发现或对阴影或色彩的变化的检测，(iii)网格/地图信息识别此类边界。
一旦确定选定内容，步骤240就规定对选定内容执行动作。如果内容已经在显示，那么此动作可对应于加以更改后重新显示所述内容，例如加以放大(子步骤242)、色化更改、增强或相对于内容的其余部分划界(使用色彩或其它视觉效果来将内容的其余部分呈现为背景)。
在选定内容为显示对象的实施方案中，实施例规定在步骤244中，抓取且接着重新显示选定显示对象。抓取是指一种图形用户接口感觉，其中对于用户来说，作为一个整体来选择选定显示对象。在一个实施方案中，执行抓取，使得原点与选定对象之间的对象或显示表面不被选择，而是自动将选定显示对象置于预选定或重新显示状态。选定显示对象的重新显示可呈放大或其它增大/更改的形式，例如上文所述。
更进一步，可执行抓取以确定被认为经结构化且与其它内容分离(但由动作的向量指示)的内容边缘的边界。可在显示器上抓住或对准此内容。对准可包含(例如)在显示器上呈现所有有界物，使有界内容居中或仅将其重新定位在呈现中。
以下提供例如图2和本文其它地方描述的实施例的实例。
实例：网络浏览器可在使用触敏显示器的移动计算装置上再现来自新闻站点的内容。当显示来自所述站点的页时，显示器上的内容包含通过图像和其它区块而分离的文章。当用户希望将计算装置的焦点引导到在给定时刻出现在显示屏的角落中的特定文章时，用户可将呈线条形式的手势输入到屏幕上。视实施方案而定，可远离或朝向所要内容引导线条手势。计算装置可接着向量化所述输入以确定向量。在计算装置上运行的选择器识别所要文章，且显示器抓取所述文章。在抓取文章时，选定文章可根据位置(居中)、对准(例如与显示屏的边缘)且/或根据大小(放大)而重新显示。可在选择内容时提供触觉反馈以提供物理选中指示(physicaltick)。还可使用可听声音(例如滴答声)。
实例：在使用GPS信息显示地图的装置上，用户可录入指示方向的话音命令。实例包含“下一街区向上”或“东北”或“向北的下一城市”。使用户的输入向量化，接着选择显示器上的地图的选定地理区，且向用户重新显示。
非离散定向动作的线性化
图3A到图3C说明用户的非离散定向输入动作到向量的变换。在一实施例中，非离散定向输入由手势302(例如，手指敲击显示器区域或表面)或移动(用户在空中移动手指或肢体)提供。如所提及，非离散动作可与较传统的输入动作(例如按钮按压或开关操作)区分开来，因为(i)非离散动作可能要求处理器对输入进行取样以解译或理解所述输入，且/或(ii)使用户的动作能够为自由形式，前提是其以可由传感器检测的方式执行。非离散输入动作最初可作为模拟输入而接收。
如所描绘的图3A到图3C的实施例说明向量310与用户手势的移动在同一方向上。在其它实施方案中，可确定向量处于用户手势或运动的相反方向上。差异在感知和实施的方式上。当向量对准在手势或移动的相反方向上时，用户的动作可等效于拉动所要内容，而不是移动到所要内容。如所提及，可利用任一实施方案。
根据手势302，计算装置的处理资源确定样本点。实施例规定使用适当算法来使样本点线性化，以确定所得向量。在图3B的实施方案中，通过使用并入有所有经取样点的线条拟合算法来执行线性化。接着可将线条外推到向量310中。可使用许多可能技术中的任一者来确定向量310，例如线性曲线拟合、绘制第一点和最后点、选择特定经取样点且接着绘制穿过其中的线条，或确定多个向量，且接着平均化或取样多个向量。
在从触摸屏幕或表面的用户取样若干个手势的实施例中，可将重点放在经取样点的尾端，作为用户意图的最准确反映。在图3C中，将手势的最后一组经取样点308(例如五个)用于线性化过程，以确定输入的向量310。作为变体，实施例可假定当输入手势输入时，用户的手指可自然地逐渐变弱而消失。通过此假定，一个实施例可丢弃最后取样的点，同时依靠样本点的尾端来确定向量310。
取样用户接口面板和实例
图4A和图4B说明在其上实施用于响应于非离散定向输入动作来选择其若干部分的实施例的用户接口面板。在图4A中，面板400是计算机产生的，且提供于计算装置的显示表面上。面板400显示来自(例如)网络浏览器、地图应用程序(例如从GPS输出)、文档应用程序(例如PDF浏览器、文字处理器、图像浏览器)或其它应用程序的内容。如图4A中所描绘，面板400的状态对应于刚接收到用户的非离散定向输入且将其处理成向量410(即，图2的步骤220)的状态。虽然以视觉方式展示向量410，但应理解，其仅为由提供面板的计算装置的处理资源贯彻的用程序确定的表示。可任选地向用户显示向量410。可相对原点432来参考向量410，原点432可默认确定，或对应于确定向量410时的当前焦点。
图4A进一步描绘至少部分地基于向量410的定向分量来选择面板400的区412。在一个实施方案中，向量410是程序外推工具。向量410的量值分量可(i)为假定的或不在使用中，(ii)根据定向动作的非定向特性而确定。具体参考手势输入，非定向特性包含(例如)手势的持续时间、手势的总长度或向量的速度或加速度。
如图4B中所指示，使用向量来选择区412。在选择区412时，可使用区的一个或一个以上特性来识别所述区。在一实施例中，根据所述区而分析的特性而相对于内容的周围部分勾画出所述区。举例来说，显示区412可包含可见边界或标记，其指示显示区的至少一实质部分为同一结构化数据集合(例如显示对象)的一部分。
如图4B所示，选定区412以经更改形式重新显示。在一实施例中，放大选定区412以配合面板的至少一实质部分。因此，例如，可放大地图或所显示文档，以描绘基于所确定向量而被确定为用户感兴趣的区。
图5说明在其上实施用于响应于定向输入动作来选择显示对象的另一实施例的另一用户接口面板。举例来说，面板500可对应于带有文本/视觉内容的所再现网页，所述文本/视觉内容可包含多个显示对象，包含文本项目(例如文章)和图像项目。举例来说，面板500可对应于所再现的新闻文章页或包含如显示对象、多篇文章、图像和标题的页。用户可通过使用常规滚动或导航来起始浏览，以遍历文章(例如在线报纸的文章)。面板500可从对象导航到对象(例如从一篇文本文章导航到另一篇文本文章)。
根据一实施例，将呈来自用户的手势506的形式的非离散定向动作产生为向量510，其用于选择作为正呈现的内容的一部分的显示对象520。显示对象510可对应于由结构化数据集合形成的呈现。可使用任何一个或一个以上参数组合来作出显示对象520的选择。举例来说，选定显示对象520可对应于(i)与所确定向量510成一直线的最近显示对象；(ii)与所确定向量成一直线的特定种类的最近显示对象。在确定最近显示对象520时，向量510可从原点外推。在所示的实施方案中，原点可与对焦的文章508的中心或区重合，或与指针特征的一部分重合。如(例如)图6的实施例所述，可任选地确定其它手势特性，且将其并入到(例如)向量510的量值中。
图6说明在其上实施用于响应于定向输入动作来选择显示对象的另一实施例的又一用户接口面板。如同本文所述的其它实例一样，面板600可包含一起出现在一个面板上的文本项目、图像或其它形式的显示对象的组合。在所示的实施方案中，根据手势606确定向量610。图6的实施例描绘将向量610用于选择面板600上的显示对象620，其中显示对象由向量的方向指示，但通过一个或一个以上中间显示对象而与原点612分离。因此，当正确定选定显示对象(或显示部分)的确定时，跳过中间显示对象608。在一个实施例中，使用以向量610带有的量值信息来跳过中间显示对象。可根据手势(或其它定向动作)确定量值信息。可(例如)根据输入手势的速度或加速度、手势的持续时间或手势的长度来确定量值信息。
显示密集链接散布和其它可选对象
作为对产生向量以选择待显示内容的实施例的补充或替代，其它实施例可用于分析内容，以便响应于某些条件的存在而选择性地放大或以其它方式增强其特定内容或部分。在一实施例中，分析显示器上(或可用于显示器)的内容，以检测可选数据项目的存在。可选数据项目对应于链接、图标或其它活动数据项目，其在被选定时，将用户导航或滚动到另一内容目的地，或调用用户的计算机终端上的程序动作。
根据一实施例，分析显示器上的内容，以确定可选数据项目是否在空间上可区分，以可容易由用户通过触摸接口而选择。明确地说，在小形状因子计算装置的情况下，显示屏幕的尺寸是有限的。此外，此些计算装置使用户能够与显示屏交互以提供输入，包含用于使用户能够选择链接或其它可选数据项目的输入。当内容适合此类小形状因子计算装置时，可选数据项目特别可能变得难以使用。在因小形状因子计算装置而导致的问题当中，当过多可选数据项目(例如，链接)存在于给定区中时，无法容易地从其它链接选择数据项目，尤其是通过触摸。举例来说，用户可能不容易能够通过触摸正显示个别链接的显示屏来选择一个链接而不选择另一链接，因为用户手指的尺寸横跨两个或两个以上链接。
图7说明根据一实施例的用于重新显示并入有超过指定准则的可选数据项目的显示器的区的方法。作为替代或补充，可使用(例如)图1所述的系统的组件来实施例如所述的实施例。因此，可参考图1的元件，以说明用于执行正描述的步骤或子步骤的合适元件。
在步骤710中，分析供显示的内容，以确定(i)出现(或将要出现)在所显示内容的至少给定区中的个别可选数据项目的相对位置，以及(ii)个别数据项目的总计数。作为使用向量的替代或变化，选择器110(图1)可分析所显示的内容或其若干部分，以识别链接数目或其它活动数据项目，包含个别数据项目相对于所显示内容上的其它数据项目的相对位置。内容显示信息127(图1)可由选择器110用来检测个别可选显示对象的存在和位置。举例来说，在一个实施方案中，所再现的内容是网页，且选择器110使用DOM信息来确定可选链接或其它显示项目在网页上的存在和位置。
步骤720规定进行密度或接近度计算，以用于确定出现在所显示内容中的可选显示对象之中或之间的间距。可使用任何一种或一种以上技术来进行密度/接近度计算，例如(i)对所显示内容的给定区中的可选显示项目的数目进行计数，以确定此类项目在所述区中的密度，和/或(ii)计算如显示于计算装置的显示屏上的可选显示项目之间的接近度或空间距离。在一个实施方案中，选择器110可分析DOM信息或其它内容显示信息720，以便作出确定。可针对变焦和文本大小来调整所述确定。
在步骤725中，作出是否触发关于得出链接在显示器上散布过密的结论的预定阈值的确定。所述阈值可对应于(例如)(i)所显示区的至少一部分中的可选显示项目之间的最小间距，和/或(ii)所显示内容的给定区中的可选显示项目的数目。在一个实施例中，确定可为设计参数，且受显示屏大小以及用户使用触摸来区分和选择邻近链接或数据项目的能力影响。
作为变体，还可使用试探法来设置关于链接或其它可选数据项目何时间隔过密的阈值。举例来说，所述装置可跟踪用户选择链接接着立即命中返回以返回到前一页时的情况。此类事件可被认为是无意中选择了错误的链接。可监视此链接选择的情形(例如网页上的变焦因子)，且可将其再次出现用作阈值的一部分。
可响应于以下事件来执行步骤710到725中的任一者：例如(i)正产生内容以供显示(例如正再现网页以供显示)，(ii)用户选择导航、滚动或以其它方式选择显示器上的内容的显示区(例如与先前实施例一起描述，响应于非离散输入动作)。因此，例如，用户可再现网页，输入手势或其它非离散定向输入动作以滚动到网页的不同部分，且接着在运行中或响应于动作而执行步骤720/725中所描述的分析。
如果确定是满足密度确定的阈值，那么步骤730规定被视为所确定密度的一部分的可选数据项目中的至少一些以使所述项目分离的方式重新显示。通过使数据项目分离，用户更容易地能够通过在重新显示的链接或数据项目的位置处接触装置的显示屏来选择个别链接。否则，如果链接的间距或散布不是太密集，那么步骤740规定不对所显示的内容以及如何显示可选显示项目进行任何更改。
图8A和图8B表示用户接口面板，其为图7中所描绘的实施例的实施方案。在图8A中，面板部分810显示于(例如)具有相对紧凑或较小形状因子的显示屏的移动计算装置上。所显示的面板部分810可呈(例如)具有呈链接或活动图标形式的可选显示项目812的再现网页的形式。如在其它实施例中提及，可用其它形式的内容(例如图像、地图、文档等的表示)来实施实施例。在例如图8A所示的实施例中，针对存在和位置而识别可选链接812或其它数据项目的群集。如图所示，链接是紧密排列的，以致被认为紧密度超过阈值(例如图7所述)。当紧密呈现时，所述链接可能不容易区分以通过触摸或基于内容的输入来选择。作为特定实例，小形状因子装置有时使用对触摸或接触敏感的显示器作为用于使用户能够录入输入的机构，特别是在作出可选数据项目(例如网页上所显示的链接)的选择的情况下。当链接在此些装置上过密地呈现时，人的手指可能不能够容易地在链接之间进行区分。密度阈值可为预定的，以与链接被视为过密呈现时一致。
图8B说明可选链接群集以放大形式822重新显示，使得个别链接在呈现时是分开的。在重新显示形式中，用户更能够通过在对应于重新显示的链接的位置处触摸显示屏来选择群集中的个别链接。
根据一实施例，可响应于指定显示器的某一区以用于分析链接或其它可选显示项目的某一用户动作来执行例如所描述的方法。举例来说，如图1和图2以及其它地方的实施例所描述，可响应于识别(i)特定数据项目或紧密群集的数据项目集合，或(ii)显示器上含有经群集数据项目的内容区的非离散定向输入动作来执行例如所描述的密度或接近度分析。
关于图7、图8A和图8B的实施例，将可选显示项目的接近度视为过近或过密的阈值可部分地基于所选的变焦因子。举例来说，在给定网页上，如果用户已选择过小的变焦因子，那么可将所有链接视为密集呈现。因此，可在所述变焦因子下重新显示网页的含有链接的任何部分。相反，较大变焦因子可不要求实施将页的一部分中的链接重新显示为放大或分离的实施例。
硬件图
图9说明经配置以实施本文所述的一个或一个以上实施例的计算装置的硬件图。计算装置900可经配置以实施(例如)图1所述的系统，或例如图2和图7所述的计算机实施的方法。根据一个或一个以上实施例，计算装置900对应于具有越过话音或数据信道的话音电话和消息接发能力的移动和/或多功能装置。此些计算装置的实例为蜂窝式电话/消息接发装置。此些装置常配备有辅助功能性，例如图像/视频捕捉、媒体重放和全球定位系统(例如用于导航)。通常，此些装置使用支持(例如)GSM、CDMA、Edge、3G网络的蜂窝式发射协议和网络来实现呈蜂窝式发射中的一者的形式的无线通信。更进一步，此些装置常具有使用其它形式的无线通信媒体进行通信的能力，例如经由(i)无线保真度(即，“WiFi”或802.11(b)、(g)或802.11(n))，(ii)全球微波互联接入(WiMAX)，(iii)或例如无线USB或蓝牙等本地无线通信来提供。
并入此些话音电话装置中的典型功能性包含消息接发，例如文本(例如由短消息服务(SMS)或即时消息接发提供)、媒体消息接发(例如多媒体消息接发服务(MMS))或电子邮件应用程序和服务。其它形式的无线或有线通信是可能的。举例来说，在一个实施例中，可在计算装置与另一装置之间实现专有感应数据交换。作为另一实例，装置可配备有声学电路，以使其能够与另一电路或元件通信。在移动计算装置背景中，电话服务可由蜂窝式载波和网络或因特网协议话音(VoIP)连接(例如，其可通过WiFi或其它网络连接性实现)提供。
本文所述的实施例也可在其它类型的计算装置上实施。实例包含桌上型或个人计算机，或具有网络功能的平板电脑或计算机。其它形式的计算装置包含定向为媒体播放器、全球定位装置或汽车计算机系统的装置。
计算装置的形状因子可改变。典型实例包含桌上型计算机、膝上型或折叠计算机、超移动计算机、平板计算机、便携式或手持式装置、手指大小的计算装置或集成环境(家庭、汽车)下的计算装置。作为单个计算装置的替代，所描述的系统本身可实施和分布在装置集合上，其中的至少一些装置包含处理能力。
因此，在一实施例中，装置900包含处理资源(包含至少一处理器910)，以及存储器资源915、显示组合件920、一个或一个以上无线通信子系统930，以及机械输入特征940。计算装置900包含各种输入机构，包含(例如)按钮或开关908。所述输入机构中的一者可包含用于检测非离散定向输入动作(例如手势)的接口组件905。在一实施例中，接口组件使用或对应于一个或一个以上传感器922，其检测用户对计算装置表面的触摸，以形成手势或其它触摸输入。在一个实施方案中，接口组件905的至少一部分(例如传感器922)与显示组合件920集成或耦合，以便形成触敏显示组合件。手势可对应于用户在计算装置的显示表面上形成形状或线条。作为变体，一个或一个以上传感器922可集成到计算装置的另一表面中，例如在集成到计算装置中的前面板或触摸板上。因此，人机接口组件104(见图1)可集成或嵌入到计算装置的其它组件中，例如计算装置的显示器或外表面。
在一实施例中，无线通信子系统930中的至少一者经由数据信道902和话音信道904发送和接收蜂窝式数据。经由SMS和MMS输送的消息经由话音信道904而传送。电子邮件和即时消息经由数据信道902而传送。通常，电子邮件和即时消息接发可由蜂窝式媒体或替代媒体(例如，WiFi、WiMAX、有线线路)而传送，但无需为此情况。为适应一个以上输送媒体，装置900可包含一个以上无线子系统。
处理器910配置有软件和/或其它逻辑，以执行例如图2或图7所述的实施例所描述的一个或一个以上进程、步骤和其它功能。另外，处理器910可产生由各种所描述面板(例如由图4A、图4B、图5、图6以及图8A和图8B提供)表示的面板和功能性。因此，处理器910可配置有存储在存储器资源915中的指令和数据，以实施例如图2和图7所述的系统100(如图1所述)或计算机实施的方法。在一个实施方案中，接口组件905接收非离散输入动作911，其由接口组件或处理器910的逻辑向量化。根据确定，选择器110(在处理器910上执行)选择显示对象921或区，其接着在显示器920上再现。
虽然针对移动计算装置而说明图9，但可在其它类型的装置上实施一个或一个以上实施例，包含多功能装置(例如具有相机或GPS功能的装置，其使得能够在不同输送器上进行消息接发)或全功能计算机，例如膝上型计算机。
尽管本文已参考附图详细描述了本发明的说明性实施例，但将理解，本发明不限于那些精确实施例。由此，所属领域的技术人员将明白许多修改和变化。因此，希望本发明的范围由所附权利要求书及其等效物界定。此外，预期个别地或作为实施例的一部分而描述的特定特征可与其它个别描述的特征或其它实施例的部分组合，即使其它特征和实施例未提到所述特定特征也是如此。因此，即使不存在描述的组合，也不应妨碍发明人主张对此些组合的权利。

Claims (12)

1.一种用于操作计算装置的方法，包括：
在显示器的显示表面上呈现内容，包含响应于用户在所述显示表面的子区上的非离散定向输入动作的多个可选数据项目；
分析所述显示表面上的内容的包含所述多个可选数据项目的至少一部分，以确定所述多个数据项目中的至少一些之间的间距，所述间距通过至少部分地基于所述子区中的数据项目的数目执行密度计算来确定；
响应于基于所述密度计算确定所述可选数据项目之间的所述间距小于预定阈值，重新显示所述内容的至少一部分，以增强用户选择所要数据项目且不会无意中选择非所要数据项目的能力。
2.根据权利要求1所述的方法，其中分析内容的至少一部分包括针对个别可选数据项目确定最近可选数据项目的接近度。
3.根据权利要求1所述的方法，其中所述可选数据项目对应于个别链接。
4.根据权利要求1所述的方法，其中分析内容的至少一部分以确定所述多个数据项目中的至少一些之间的间距包括使用由在所述计算装置上运行的浏览器提供的文档对象模型信息。
5.一种用于操作计算装置的装置，包括：
用于在显示器的显示表面上呈现内容的模块，包含响应于用户在所述显示表面的子区上的非离散定向输入动作的多个可选数据项目；
用于分析所述显示表面上的内容的包含所述多个可选数据项目的至少一部分，以确定所述多个数据项目中的至少一些之间的间距的模块，所述间距通过至少部分地基于所述子区中的数据项目的数目执行密度计算来确定；
用于响应于基于所述密度计算确定所述可选数据项目之间的所述间距小于预定阈值，重新显示所述内容的至少一部分，以增强用户选择所要数据项目且不会无意中选择非所要数据项目的能力的模块。
6.根据权利要求5所述的装置，其中所述用于分析内容的至少一部分的模块包括用于针对个别可选数据项目确定最近可选数据项目的接近度的模块。
7.根据权利要求5所述的装置，其中所述可选数据项目对应于个别链接。
8.根据权利要求5所述的装置，其中所述分析内容的至少一部分以确定所述多个数据项目中的至少一些之间的间距的模块包括用于使用由在所述计算装置上运行的浏览器提供的文档对象模型信息的模块。
9.一种计算装置，包括：
显示器；
处理器，其经配置以：
在所述显示器的显示表面上呈现内容，包含响应于用户在所述显示表面的子区上的非离散定向输入动作的多个可选数据项目；
分析所述显示表面上的内容的包含所述多个可选数据项目的至少一部分，以确定所述多个数据项目中的至少一些之间的间距，所述间距通过至少部分地基于所述子区中的数据项目的数目执行密度计算来确定；
响应于基于所述密度计算确定所述可选数据项目之间的所述间距小于预定阈值，重新显示所述内容的至少一部分，以增强用户选择所要数据项目且不会无意中选择非所要数据项目的能力。
10.根据权利要求9所述的计算装置，其中所述处理器经配置以通过针对个别可选数据项目确定最近可选数据项目的接近度，来分析内容的至少一部分。
11.根据权利要求9所述的计算装置，其中所述可选数据项目对应于个别链接。
12.根据权利要求9所述的计算装置，其中所述处理器通过使用由在所述计算装置上运行的浏览器提供的文档对象模型信息，来确定所述间距。
CN200980153507.8A 2008-12-31 2009-12-18 用于响应于非离散定向输入动作和智能内容分析而选择显示区的计算装置和方法 Active CN102272697B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/347,873 2008-12-31
US12/347,873 US8291348B2 (en) 2008-12-31 2008-12-31 Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis
PCT/US2009/068832 WO2010078086A2 (en) 2008-12-31 2009-12-18 Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis

Publications (2)

Publication Number Publication Date
CN102272697A CN102272697A (zh) 2011-12-07
CN102272697B true CN102272697B (zh) 2016-02-24

Family

ID=42286422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980153507.8A Active CN102272697B (zh) 2008-12-31 2009-12-18 用于响应于非离散定向输入动作和智能内容分析而选择显示区的计算装置和方法

Country Status (4)

Country Link
US (2) US8291348B2 (zh)
EP (1) EP2377000A4 (zh)
CN (1) CN102272697B (zh)
WO (1) WO2010078086A2 (zh)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760187B2 (en) * 2004-07-30 2010-07-20 Apple Inc. Visual expander
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US9274807B2 (en) 2006-04-20 2016-03-01 Qualcomm Incorporated Selective hibernation of activities in an electronic device
US8683362B2 (en) 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US20090278806A1 (en) * 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8650507B2 (en) * 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8159469B2 (en) * 2008-05-06 2012-04-17 Hewlett-Packard Development Company, L.P. User interface for initiating activities in an electronic device
US8411046B2 (en) 2008-10-23 2013-04-02 Microsoft Corporation Column organization of content
US8086275B2 (en) 2008-10-23 2011-12-27 Microsoft Corporation Alternative inputs of a mobile communications device
US9489131B2 (en) * 2009-02-05 2016-11-08 Apple Inc. Method of presenting a web page for accessibility browsing
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
JP4888502B2 (ja) * 2009-03-06 2012-02-29 カシオ計算機株式会社 グラフ表示制御装置およびプログラム
US8786556B2 (en) 2009-03-12 2014-07-22 Nokia Corporation Method and apparatus for selecting text information
US20100235784A1 (en) * 2009-03-16 2010-09-16 Bas Ording Methods and Graphical User Interfaces for Editing on a Multifunction Device with a Touch Screen Display
US8238876B2 (en) 2009-03-30 2012-08-07 Microsoft Corporation Notifications
US8175653B2 (en) 2009-03-30 2012-05-08 Microsoft Corporation Chromeless user interface
US8836648B2 (en) 2009-05-27 2014-09-16 Microsoft Corporation Touch pull-in gesture
JP5440222B2 (ja) * 2010-02-03 2014-03-12 富士ゼロックス株式会社 情報処理装置及びプログラム
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
US20120042263A1 (en) 2010-08-10 2012-02-16 Seymour Rapaport Social-topical adaptive networking (stan) system allowing for cooperative inter-coupling with external social networking systems and other content sources
KR101731843B1 (ko) * 2010-09-02 2017-05-02 삼성전자 주식회사 아이템 디스플레이하는 방법 및 장치
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
TW201217995A (en) 2010-10-29 2012-05-01 Ibm Mechanism for facilitating navigation of a webpage on computer device
US20120159383A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Customization of an immersive environment
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
KR101830962B1 (ko) 2010-12-29 2018-02-22 삼성전자주식회사 휴대용 단말기에서 출력 화면을 제어하기 위한 장치 및 방법
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US8766936B2 (en) 2011-03-25 2014-07-01 Honeywell International Inc. Touch screen and method for providing stable touches
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US8937603B2 (en) 2011-04-01 2015-01-20 Analog Devices, Inc. Method and apparatus for haptic vibration response profiling and feedback
US9354899B2 (en) * 2011-04-18 2016-05-31 Google Inc. Simultaneous display of multiple applications using panels
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
JP2012247960A (ja) * 2011-05-27 2012-12-13 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US8661339B2 (en) 2011-05-31 2014-02-25 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US9619567B2 (en) * 2011-06-06 2017-04-11 Nfluence Media, Inc. Consumer self-profiling GUI, analysis and rapid information presentation tools
US8687023B2 (en) 2011-08-02 2014-04-01 Microsoft Corporation Cross-slide gesture to select and rearrange
US9087455B2 (en) * 2011-08-11 2015-07-21 Yahoo! Inc. Method and system for providing map interactivity for a visually-impaired user
US20130047100A1 (en) * 2011-08-17 2013-02-21 Google Inc. Link Disambiguation For Touch Screens
US8812980B2 (en) * 2011-08-26 2014-08-19 Microsoft Corporation Objectizing and animating images
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US9293107B2 (en) 2011-09-20 2016-03-22 Microsoft Technology Licensing, Llc Adjusting user interfaces based on entity location
US20130104089A1 (en) * 2011-10-20 2013-04-25 Fuji Xerox Co., Ltd. Gesture-based methods for interacting with instant messaging and event-based communication applications
GB2497951A (en) * 2011-12-22 2013-07-03 Nokia Corp Method and System For Managing Images And Geographic Location Data
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
US20130169649A1 (en) * 2012-01-04 2013-07-04 Microsoft Corporation Movement endpoint exposure
US9128605B2 (en) 2012-02-16 2015-09-08 Microsoft Technology Licensing, Llc Thumbnail-image selection of applications
KR101919008B1 (ko) * 2012-02-24 2018-11-19 삼성전자주식회사 정보 제공 방법 및 이를 위한 이동 단말기
US9733707B2 (en) 2012-03-22 2017-08-15 Honeywell International Inc. Touch screen display user interface and method for improving touch interface utility on the same employing a rules-based masking system
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
US20130307796A1 (en) * 2012-05-16 2013-11-21 Chi-Chang Liu Touchscreen Device Integrated Computing System And Method
EP2850610B1 (en) * 2012-05-18 2020-11-04 BlackBerry Limited Systems and methods to manage zooming
US10061759B2 (en) 2012-06-07 2018-08-28 Microsoft Technology Licensing, Llc Progressive loading for web-based spreadsheet applications
CN102799273B (zh) * 2012-07-11 2015-04-15 华南理工大学 交互控制系统及其交互控制方法
US9423871B2 (en) * 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
US9348512B2 (en) * 2012-08-08 2016-05-24 Nuance Communications, Inc. Methods for facilitating text entry
KR20140042280A (ko) * 2012-09-28 2014-04-07 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
CN103793164A (zh) * 2012-10-31 2014-05-14 国际商业机器公司 用于触摸屏显示处理的方法、装置和浏览器
US9128580B2 (en) 2012-12-07 2015-09-08 Honeywell International Inc. System and method for interacting with a touch screen interface utilizing an intelligent stencil mask
US9575653B2 (en) 2013-01-15 2017-02-21 Blackberry Limited Enhanced display of interactive elements in a browser
JP5991538B2 (ja) * 2013-02-20 2016-09-14 富士ゼロックス株式会社 データ処理装置、データ処理システム及びプログラム
US9785240B2 (en) * 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US9450952B2 (en) 2013-05-29 2016-09-20 Microsoft Technology Licensing, Llc Live tiles without application-code execution
CN104346001B (zh) * 2013-07-24 2017-05-17 晶门科技（深圳）有限公司 用于识别触摸板上的手指触摸并确定其位置的方法
KR102298602B1 (ko) 2014-04-04 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 확장가능한 애플리케이션 표시
WO2015154273A1 (en) 2014-04-10 2015-10-15 Microsoft Technology Licensing, Llc Collapsible shell cover for computing device
KR20160143784A (ko) 2014-04-10 2016-12-14 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 컴퓨팅 디바이스용 슬라이더 커버
US9547433B1 (en) * 2014-05-07 2017-01-17 Google Inc. Systems and methods for changing control functions during an input gesture
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10642365B2 (en) 2014-09-09 2020-05-05 Microsoft Technology Licensing, Llc Parametric inertia and APIs
CN106662891B (zh) 2014-10-30 2019-10-11 微软技术许可有限责任公司 多配置输入设备
US10825069B2 (en) * 2014-11-14 2020-11-03 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for intuitive content browsing
WO2016077670A1 (en) 2014-11-14 2016-05-19 The Joan and Irwin Jacobs Technion-Cornell Innovation Institute Techniques for embedding virtual points of sale in electronic media content
US10739972B2 (en) 2016-06-10 2020-08-11 Apple Inc. Device, method, and graphical user interface for managing electronic communications
US10809956B1 (en) * 2016-11-17 2020-10-20 Pinterest, Inc. Supplemental content items
DK180359B1 (en) 2019-04-15 2021-02-03 Apple Inc Accelerated scrolling and selection
CN116468859B (zh) * 2023-06-19 2023-09-08 之江实验室 适用于声速非均匀分布的三维光声断层成像方法、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221048A (zh) * 2007-01-11 2008-07-16 三星电子株式会社 web浏览器的导航系统及其方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061050A (en) 1995-10-27 2000-05-09 Hewlett-Packard Company User interface device
US6407757B1 (en) 1997-12-18 2002-06-18 E-Book Systems Pte Ltd. Computer-based browsing method and computer program product for displaying information in an electronic book form
WO1999022314A1 (fr) 1997-10-29 1999-05-06 Sharp Kabushiki Kaisha Dispositif de commande d'affichage et dispositif de reproduction d'affichage pour livres electroniques
US6154205A (en) * 1998-03-25 2000-11-28 Microsoft Corporation Navigating web-based content in a television-based system
US6211856B1 (en) * 1998-04-17 2001-04-03 Sung M. Choi Graphical user interface touch screen with an auto zoom feature
US6643824B1 (en) * 1999-01-15 2003-11-04 International Business Machines Corporation Touch screen region assist for hypertext links
WO2000075766A1 (en) * 1999-06-02 2000-12-14 Ncr International, Inc. Self-service terminal
US6614455B1 (en) * 1999-09-27 2003-09-02 Koninklijke Philips Electronics N.V. Directional navigation within a graphical user interface
JP2001265481A (ja) 2000-03-21 2001-09-28 Nec Corp ページ情報表示方法及び装置並びにページ情報表示用プログラムを記憶した記憶媒体
US7249325B1 (en) 2000-05-11 2007-07-24 Palmsource, Inc. Automatically centered scrolling in a tab-based user interface
US7170500B2 (en) 2000-08-29 2007-01-30 Palm, Inc. Flip-style user interface
US7496831B2 (en) * 2001-02-22 2009-02-24 International Business Machines Corporation Method to reformat regions with cluttered hyperlinks
US6943773B2 (en) 2001-05-11 2005-09-13 Palmone, Inc. Page flicking mechanism for electronic display devices that paginate content
AUPR963001A0 (en) * 2001-12-19 2002-01-24 Canon Kabushiki Kaisha Selecting moving objects on a system
US7075512B1 (en) 2002-02-07 2006-07-11 Palmsource, Inc. Method and system for navigating a display screen for locating a desired item of information
US7305242B2 (en) * 2002-07-17 2007-12-04 Nokia Corporation System, apparatus, and method for facilitating link selection on electronic devices
US7231609B2 (en) * 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
EP1528460A1 (en) * 2003-10-30 2005-05-04 GIRAUD, Pierre Method and system for generating cursor control data in relation to a users input action
TW200622893A (en) 2004-07-09 2006-07-01 Nokia Corp Cute user interface
US7692627B2 (en) 2004-08-10 2010-04-06 Microsoft Corporation Systems and methods using computer vision and capacitive sensing for cursor control
US20060097983A1 (en) * 2004-10-25 2006-05-11 Nokia Corporation Tapping input on an electronic device
US8250493B2 (en) * 2005-02-05 2012-08-21 Samsung Electronics Co., Ltd. User interface method, medium, and apparatus with gesture-recognition
KR100754211B1 (ko) 2006-03-15 2007-09-03 삼성전자주식회사 멀티태스킹을 위한 사용자 인터페이스 방법 및 그 방법을수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
US20070245263A1 (en) 2006-03-29 2007-10-18 Alltel Communications, Inc. Graphical user interface for wireless device
US8373655B2 (en) * 2007-01-05 2013-02-12 Apple Inc. Adaptive acceleration of mouse cursor
US8214768B2 (en) 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
US8078641B2 (en) * 2007-04-25 2011-12-13 Mitac International Corporation Adjusting spatial operations based on map density
US9740386B2 (en) 2007-06-13 2017-08-22 Apple Inc. Speed/positional mode translations
KR100922493B1 (ko) * 2007-06-27 2009-10-20 삼성전자주식회사 줌을 이용한 브라우저 탐색 방법 및 장치
US20090058820A1 (en) * 2007-09-04 2009-03-05 Microsoft Corporation Flick-based in situ search from ink, text, or an empty selection region
KR20090024541A (ko) * 2007-09-04 2009-03-09 삼성전자주식회사 하이퍼링크 선택 방법 및 이를 이용하는 이동통신 단말기
US8294669B2 (en) * 2007-11-19 2012-10-23 Palo Alto Research Center Incorporated Link target accuracy in touch-screen mobile devices by layout adjustment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221048A (zh) * 2007-01-11 2008-07-16 三星电子株式会社 web浏览器的导航系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《definitions for features used in online pen gesture recognition》;willems etc;《none》;20080819;1-4，17-19 *

Also Published As

Publication number Publication date
EP2377000A2 (en) 2011-10-19
US20100169766A1 (en) 2010-07-01
US8291348B2 (en) 2012-10-16
EP2377000A4 (en) 2017-08-09
WO2010078086A2 (en) 2010-07-08
CN102272697A (zh) 2011-12-07
WO2010078086A3 (en) 2010-11-11
US20120317522A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
CN102272697B (zh) 用于响应于非离散定向输入动作和智能内容分析而选择显示区的计算装置和方法
US11550447B2 (en) Application menu for video system
JP2021180049A (ja) 入力デバイス及びユーザインターフェース対話
KR101844978B1 (ko) 연속성
WO2019120191A1 (zh) 多段文本复制方法及移动终端
US8433828B2 (en) Accessory protocol for touch screen device accessibility
KR102113272B1 (ko) 전자장치에서 복사/붙여넣기 방법 및 장치
JP5918144B2 (ja) 携帯用装置のユーザーインターフェース提供方法及び装置
US10133543B2 (en) Devices, methods, and graphical user interfaces for media playback control using intensity-based user inputs
US20070236477A1 (en) Touchpad-based input system and method for portable device
CN108496150A (zh) 一种屏幕截图和读取的方法及终端
CN104007842B (zh) 用于在电子装置中提供光标的设备及其方法
US11635938B2 (en) Spatial management of audio
CN107683470A (zh) 用于web浏览器的音频控制
JP2011526707A (ja) モバイルコンピューティングデバイス上の運動制御ビュー
WO2019120013A1 (zh) 视频编辑方法、装置及智能移动终端
US11863954B2 (en) Wireless headphone interactions
US8429556B2 (en) Chunking data records
KR102346565B1 (ko) 다중 스테이지 사용자 인터페이스
WO2021104268A1 (zh) 内容分享方法及电子设备
US11360579B2 (en) Capturing pen input by a pen-aware shell
CN110781371B (zh) 一种内容处理方法及电子设备
US9817566B1 (en) Approaches to managing device functionality
KR102466219B1 (ko) 사용자 행위에 기반한 컨텐츠 연관 정보를 제공하는 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: PAM SA

Free format text: FORMER OWNER: HEWLETT PACKARD CO.

Effective date: 20131230

Owner name: HEWLETT PACKARD DEVELOPMENT CO., LIMITED LIABILITY

Free format text: FORMER OWNER: PAM SA

Effective date: 20131230

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20131230

Address after: Texas, USA

Applicant after: HEWLETT-PACKARD DEVELOPMENT Co.,L.P.

Address before: California, USA

Applicant before: PALM, Inc.

Effective date of registration: 20131230

Address after: California, USA

Applicant after: PALM, Inc.

Address before: Texas, USA

Applicant before: Hewlett-Packard Development Co.,L.P.

ASS Succession or assignment of patent right

Owner name: QUALCOMM INC.

Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT CO.

Effective date: 20140312

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140312

Address after: California, USA

Applicant after: QUALCOMM Inc.

Address before: Texas, USA

Applicant before: HEWLETT-PACKARD DEVELOPMENT Co.,L.P.

C14 Grant of patent or utility model
GR01 Patent grant