CN102112944A - 用于表面计算的用户定义的姿势集 - Google Patents

用于表面计算的用户定义的姿势集 Download PDF

Info

Publication number
CN102112944A
CN102112944A CN2009801307739A CN200980130773A CN102112944A CN 102112944 A CN102112944 A CN 102112944A CN 2009801307739 A CN2009801307739 A CN 2009801307739A CN 200980130773 A CN200980130773 A CN 200980130773A CN 102112944 A CN102112944 A CN 102112944A
Authority
CN
China
Prior art keywords
posture
user
motion
data
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801307739A
Other languages
English (en)
Inventor
M·J·莫里斯
J·O·沃伯布罗克
A·D·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102112944A publication Critical patent/CN102112944A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所要求保护的主题提供促进生成用于表面计算的直观的姿势集合的系统和/或方法。姿势集创建器可以用所显示数据的一部分的潜在影响提示两个或更多个用户。界面组件可以响应于提示的潜在影响，接收来自用户的至少一个表面输入。表面检测组件可以利用计算机基于视觉的传感技术跟踪表面输入。姿势集创建器收集来自两个或更多个用户的表面输入，以便基于相应的表面输入之间的关联，标识用户定义的姿势，其特征在于，用户定义的姿势被定义为启动所显示数据的一部分的潜在影响的输入。

Description

用于表面计算的用户定义的姿势集
背景
计算设备的技术能力越来越高，其中，这样的设备可以在有限的设备空间内提供多种功能。计算设备可以是，但不限于，移动通信设备、台式计算机、膝上型计算机、蜂窝电话、PDA、寻呼机、平板计算机、信使设备、手持式设备、袖珍翻译器、条形码扫描仪、智能电话、扫描仪、便携式手持式扫描仪，以及允许进行数据交互的任何其他计算设备。虽然对于用户而言，每一个设备都采用特定功能，但是设备已经被开发成允许重叠功能，以便吸引消费者的需要。换言之，计算设备已经结合了多个特征和/或应用程序，以使得设备侵犯了彼此的功能。例如，蜂窝电话可以提供蜂窝服务、电话簿、日历、游戏、语音邮件、寻呼、web浏览、视频捕捉、图像捕捉、声音便笺、语音识别、高端移动电话(例如，智能电话在特征和功能方面越来越类似于便携式计算机/膝上型计算机)等等。
结果，个人计算设备已结合了用于输入信息的各种技术和/或方法。个人计算设备便于使用诸如，但不限于，键盘、键区、触摸板、触摸屏、扬声器、指示笔(例如，识别笔(wand))、书写板等等之类的设备来输入信息。然而，诸如键区、扬声器和书写板之类的输入设备产生用户个性化(其中每一个用户都可以不类似地利用数据输入技术(例如，声音，和/或写入))缺陷。例如，在美国使用书写识别的消费者可以用英语写，可是具有相异/不同的字母变体。
此外，还可以使用计算设备来经由这样的上文所描述的技术进行数据通信或数据交互。在计算设备内发展的特定技术是常常被称为表面计算的交互式表面或相关的有形用户界面。表面计算允许用户在物理上与所显示数据以及检测到的物理对象进行交互以便提供更直观的数据交互。例如，可以检测照片，并用数字数据对其进行注释，其中用户可以对此类真实的照片和/或注释数据进行操纵或与之交互。如此，这样的输入技术允许标识、跟踪对象，并用数字信息对它们进行增补。此外，用户可能不会发现对于大多数表面计算系统直观的常规数据交互技术或姿势。例如，许多表面计算系统使用由系统设计人员所创建的不反映典型的用户行为的姿势。换言之，用于表面计算系统的数据交互的典型姿势不直观且呆板，其没有从非技术用户的角度考虑问题。
概述
下面呈现了本发明的摘要，以便提供此处所描述的某些方面的基本概念。此概述不是所要求保护的主题的详尽的概述。既没有指出所要求保护的主题的关键性元素，也没有描述本发明的范围。唯一的目的是以简化形式呈现所要求保护的主题的某些概念，作为稍后呈现的比较详细的描述的前奏。
本发明涉及促进收集表面输入数据以便生成用户定义的姿势集的系统和/或方法。姿势集创建器可以对响应于数据影响的来自用户的表面输入进行评估，其中姿势集创建器可以基于两个或更多个用户的表面输入来生成用户定义的姿势。具体而言，可以用对所显示数据的影响来提示一组用户，并可以跟踪响应，以便针对此类影响标识用户定义的姿势。例如，影响可以是数据选择、数据集选择、组选择、数据移动、数据平移、数据旋转、数据剪切、数据粘贴、数据复制、数据删除、接受、帮助请求、拒绝、菜单请求、撤消、数据放大、数据收缩、推近、拉远、打开、最小化、下一或前一这些操作中的一个。在所要求保护的主题的其他方面，提供了用于与表面计算一起实现的促进标识来自两个或更多个用户的姿势集的方法。
下面的描述和附图详细地阐述了所要求保护的主题的某些说明性方面。然而，这些方面只是表示可以使用本发明的原理的各种方式中的一些方式，并且所要求保护的主题旨在包括所有这些方面和等效内容。通过与附图一起阅读下面的本发明的详细描述，所要求保护的主题的其他优点和新颖的特点将变得显而易见。
附图简述
图1示出了促进收集表面输入数据以便生成用户定义的姿势集的示例性系统的框图。
图2示出了用于与表面计算一起实现的促进标识来自两个或更多个用户的姿势集的示例性系统的框图。
图3示出了促进标识用户定义的姿势并提供关于此类姿势的使用的说明的示例性系统的框图。
图4示出了促进与所显示数据的一部分进行交互的示例性姿势的框图。
图5示出了促进与所显示数据的一部分进行交互的示例性姿势的框图。
图6示出了促进自动地标识来自不同的用户的各种表面输入之间的关联以便创建用户定义的姿势集的示例性系统的框图。
图7示出了用于收集表面输入数据以便生成用户定义的姿势集的示例性方法。
图8示出了促进结合表面计算来创建用户定义的姿势集并使用它们的示例性方法。
图9示出了其中可以使用所要求保护的主题的新颖方面的示例性网络环境。
图10示出了根据所要求保护的主题的可以使用的示例性操作环境。
详细描述
现在参考附图来描述所要求保护的主题，在所有附图中使用相同的附图标记来指代相同的元素。在以下描述中，为解释起见，阐明了众多具体细节以提供对本发明的全面理解。然而，很明显，所要求保护的主题可以在没有这些具体细节的情况下实施。在其他情况下，以框图形式示出了各个已知的结构和设备以便于描述本发明。
如此处所使用的，术语“组件”、“系统”、“数据存储”、“创建器”、“评估器”、“提示器”等等旨在是指计算机相关实体，无论是硬件、软件(例如，运行中的软件)和/或固件。例如，组件可以是，在处理器上运行的进程、处理器、对象、可执行码、程序、函数、库、子例程，和/或计算机或者软件和硬件的组合。作为例示，在服务器上运行的应用程序和服务器两者都可以是组件。一个或多个组件可以驻留在进程中，且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
此外，所要求保护的主题可以使用用于产生控制计算机以实现所公开的主题的软件、固件、硬件或其任意组合的标准编程和/或工程技术来实现为方法、装置或制品。在此使用的术语“制品”旨在涵盖可以从任何计算机可读设备、载体或介质访问的计算机程序。例如，计算机可读介质可以包括，但不仅限于，磁存储设备(例如，硬盘、软盘、磁条…)、光盘(例如，紧致盘(CD)、数字多功能盘(DVD)…)、智能卡，以及闪存设备(例如，卡、棒、键驱动器...)。另外，应该理解，可以使用载波来携带计算机可读电子数据，诸如在传输和接收电子邮件或在访问诸如因特网或局域网(LAN)之类的网络时所使用的那些。当然，本领域的技术人员将会认识到，可在不背离所要求保护的主题的范围或精神的情况下对此配置进行许多修改。此外，在此使用词语“示例性”意指用作示例、实例或说明。此处作为“示例性的”所描述的任何方面或设计不一定被理解为优于或胜于其他方面或设计。
现在转向附图，图1示出了促进收集表面输入数据以便生成用户定义的姿势集的系统100。系统100可包括姿势集创建器102，该姿势集创建器102可以聚合来自用户106的表面输入数据，以便标识用于与表面检测组件104一起实现的用户定义的姿势。具体而言，用户106可以响应于例如所提示的与所显示数据相关联的影响，经由界面组件108提供一个表面输入或多个表面输入。可以由姿势集创建器102收集和分析这样的表面输入，以便针对所提示的影响标识用户定义的姿势，其中两个或更多个用户定义的姿势可以是用户定义的姿势集。姿势集创建器102可以提示用户106或向用户106提供所显示数据的潜在影响，其中用户106可以经由表面输入提供他的或她的响应。这样的表面输入响应可以指示用户106就如何经由针对所显示数据的表面输入实现潜在影响的直观响应。此外，表面检测组件104可以检测来自用户、有形对象或其任何合适组合中的至少一个的表面输入。一旦检测到这样的表面输入，表面检测组件104就可以探知此类表面输入的位置。
表面检测组件104可以被用来捕捉触摸事件、表面输入、和/或表面接触。可以理解，这样的捕捉到或检测到的事件、输入或接触可以是姿势、手的运动、手的交互、对象交互，和/或与一部分数据的任何其他合适的交互。例如，可以将手的交互转换成显示器上相对应的数据交互。在另一示例中，用户可以在物理上与在物理上存在和检测到的立方体进行交互，其中这样的交互可以允许对现实世界中的此类立方体以及所显示的或与此类检测到的立方体相关联的数据进行操纵。可以理解，表面检测组件104可以利用任何合适的感测技术(例如，基于视觉的、基于非视觉的等等)。例如，表面检测组件104可以提供电容性感测、多触摸感测等等。
例如，可以向用户提供删除所显示对象的一部分的所提示的影响，其中用户可以经由表面输入提供他的或她响应。基于对两个或更多个用户以及相应的表面输入的评估，可以针对删除所显示数据的一部分标识用户定义的姿势。换言之，所提示的影响和收集的结果允许基于对用户输入的评估来生成用户定义的姿势集。
可以理解，可以以任何合适的方式将所提示的影响传递给用户，所提示的影响可以是，但不仅限于，音频的一部分、视频的一部分、文本的一部分、图形的一部分等等。例如，经由言语指令向用户示出所提示的影响。此外，可以理解，姿势集创建器102可以监视、跟踪、记录等等除表面输入响应之外的来自用户106的响应。例如，可以对用户106进行视频录像，以便通过检查言语响应、面部表情、物理行为等等来评估对响应的信心。
另外，系统100可包括任何合适的和/或所需的接口组件108(此处被称为“界面108”)，该组件提供各种适配器、连接器、信道、通信路径等等，以将姿势集创建器102集成到几乎任何操作系统和/或数据库系统和/或彼此集成。另外，界面108可以提供各种适配器、连接器、信道、通信路径等等，它们提供与姿势集创建器102、表面检测组件104、用户106、表面输入，以及与系统100相关联的任何其他设备和/或组件的交互。
图2示出了用于与表面计算一起实现的促进标识来自两个或更多个用户的姿势集的系统200。系统200可包括姿势集创建器102，该姿势集创建器102可以从两个或更多个用户106收集表面输入(通过界面108接收到并由表面检测组件104跟踪)并进行分析，以便提取反映所显示数据的潜在影响的一致性的用户定义的姿势。在标识两个或更多个用户定义的姿势之后，这样的姿势可被称为用户定义的姿势集。一旦定义，表面检测组件104(例如，计算机基于视觉的活动感测、表面计算等等)可以检测至少一个用户定义的姿势，并启动该姿势被指派到或链接到的影响。
可以理解，可以将对所显示数据的任何合适的影响呈现给用户106，以便标识用户定义的姿势。例如，影响可以是，但不仅限于，数据选择、数据集或组选择、数据移动、数据平移、数据旋转、数据剪切、数据粘贴、数据复制、数据删除、接受、帮助、拒绝、菜单、撤消、数据放大、数据收缩、推近、拉远、打开、最小化、下一、前一等等。此外，用户定义的姿势可以通过任何合适的姿势或手的一部分(例如，整只手、手掌、一根手指、两根手指等等)来实现。
系统200还可以包括可存储与系统200有关的各种数据的数据存储204。例如，数据存储204可包括与姿势集创建器102、表面检测组件104、两个或更多个用户106、界面108、用户202等等有关的任何合适的数据。例如，数据存储204可以存储数据，诸如，但不仅限于，用户定义的姿势、用户定义的姿势集、所收集的与所提示的影响相对应的表面输入、所显示数据的影响、提示技术(例如，音频、视频、言语等等)、辅导数据、关联数据、表面输入收集技术、表面计算数据、表面检测技术、用户偏好、用户数据等等。
数据存储204可以是，例如，易失性存储器或非易失性存储器，或者可包括易失性和非易失性存储器两者。作为例示，而不是限制，非易失性存储器可包括只读存储器(ROM)、可编程序ROM(PROM)、电可编程序ROM(EPROM)、电可擦可编程序ROM(EEPROM)或闪存。易失性存储器可包括充当外部高速缓冲存储器的随机存取存储器(RAM)。作为例示而非限制，RAM可以有许多形式，如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强的SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、直接存储器总线(Rambus)RAM(RDRAM)，直接存储器总线(Rambus)动态RAM(DRDRAM)，以及存储器总线(Rambus)动态RAM(RDRAM)。本系统和方法的数据存储204旨在包括，但不仅限于，这些以及任何其他合适类型的存储器和/或存储。另外，还可以理解，数据存储204可以是服务器、数据库、关系数据库、硬盘驱动器、笔式驱动器等等。
图3示出了促进标识用户定义的姿势和提供关于此类姿势的使用的说明的系统300。系统300可包括姿势集创建器102，该姿势集创建器102可以从多个用户106接收试验性表面数据或表面输入，以便基于与此类接收到的数据相关联的相关性生成用户定义的姿势集。可以理解，用户定义的姿势和/或用户定义的姿势集可结合表面计算技术(例如，桌面、交互式桌面、交互式用户界面、表面检测组件104、表面检测系统等等)来使用。
系统300还可以包括提示器和评估器302。提示器和评估器302可以提供下列各项中的至少一项：与对所显示数据的潜在影响有关的提示；或对聚合的测试表面输入数据(例如，测试或实验阶段中响应于所提示的影响的表面输入)的评估。提示器和评估器302可以将数据的任何合适部分传达到至少一个用户106，以便经由表面检测组件104和/或界面108生成响应。具体而言，提示可以是对潜在姿势可能对所显示数据所具有的潜在影响的传达。此外，可以理解，提示可以是音频的一部分、视频的一部分、图形的一部分、文本的一部分、言语指令的一部分等等。此外，提示器和评估器302还可以提供比较性分析和/或一致性计算(例如，如下面更详细地讨论的)，以便标识来自用户106的可以反映用户定义的姿势的类似表面输入(例如，用户响应于潜在影响提供类似的表面输入可以被标识为用户定义的姿势)。另外，可以理解，提示器和评估器302可以分析从所提示的影响收集的任何合适的数据，诸如，但不限于，表面输入、用户反应、言语响应等等。
系统300还可以包括辅导组件304，该辅导组件304可以提供一部分指令，以便向用户通知或教育所生成的用户定义的姿势集。例如，辅导组件304可以提供音频的一部分、视频的一部分、图形的一部分、文本的一部分，等等，以便向用户通知由姿势集创建器102创建的至少一个用户定义的姿势。例如，辅导可以是提供关于姿势的示例和此类姿势对所显示数据的影响的简短视频。
许多表面计算原型使用了由系统设计人员创建的姿势。虽然这样的姿势适用于早期的调查，但是，它们不一定反映用户行为。本发明提供用于设计桌面姿势的方法，该方法依赖于通过首先描绘姿势的影响，并在随后要求用户执行其动机来从非技术用户诱发姿势。总计起来，来自20个参与者的1080个姿势被记录，分析，并与利用1和/或2只手执行的27个命令的“有声思维(think-aloud)”数据相配对。所要求保护的主题可以提供指示以下的结论：用户很少在乎他们使用的手指的数量、一只手优于两只、桌面习语强烈地影响用户的思维模式、以及一些命令诱发小的姿势一致性，这暗示需要屏幕上的窗口小部件。本发明进一步提供完整的用户定义的姿势集，定量的一致性分数，表面技术的含义，以及表面姿势分类学。
为研究这些特性，使用可猜测性研究方法，该方法向参与者呈现姿势的影响，并诱发打算调用它们的动机。例如，通过使用有声思维协议和视频分析，可以获得例示用户的思维模式的丰富的定性数据。通过使用采用在表面计算系统/组件上详细记日志的自定义软件，可以获得关于姿势定时、活动和/或偏好的定量度量。结果是用户定义的姿势以及伴随它们的思维模式和性能的详细图片。由本发明实现的关于姿势定义的原则性方法是在形成姿势集的过程中首先利用用户，而并非原理。此外，显式地招募了以前没有使用触摸屏设备经验的非技术用户，希望这样的用户将以与设计人员和系统制造者不同的方式操作交互式桌面并就其进行推理。
本发明将下列各项贡献于表面计算：(1)用户定义的表面姿势的定量的和定性特征，包括分类学，(2)用户定义的姿势集，(3)当作出表面姿势时，对用户的思维模式进行了解，(4)对表面计算技术和用户界面设计的含义的理解。以用户为中心的设计可以是人-计算机交互的基石。但是，用户不是设计人员；因此，务必诱发对设计有利的用户行为。
人对交互式计算机系统的使用包括用户-计算机对话，以输入和输出的语言为中介的谈话。如在任何对话中那样，反馈对进行此谈话是必不可少的。当人们之间误解某些东西时，可以对它进行重新表述。对于用户-计算机对话，同样如此。反馈，或没有反馈，要么认可要么阻止用户的动作，从而导致用户改变他的或她的思维模式，并可能地采取新的动作。
在开发用于表面计算的用户定义的姿势集时，影响用户行为的姿势识别的兴衰变迁对于其影响而言是有限的。换言之，从对话中消除了执行的隔阂，在本质上造成了其中用户行为是可接受的“独白”环境。这使得可以观察到用户的不正确行为，并驱使系统设计适应它。检查用户的不正确行为的另一个原因在于，交互式桌面(例如，表面检测系统、表面计算等等)可以用于其中立即可用性的重要性非常高的公共空间中。
可以由本发明来生成用户定义的姿势集。特定姿势集是通过让20个非技术参与者利用表面计算系统(例如，交互式桌面、交互式界面等等)执行姿势来创建的。为避免偏差，没有使用或示出为特定操作系统所特有的元素。类似地，假设没有特定应用领域。相反，参与者在2D形状的简单积木世界中操作。每一个参与者都看到姿势的影响(例如，对象在桌子或表面上移动)，并被要求执行他或她认为将导致该影响的姿势(例如，利用左手食指按住对象，而同时利用右手食指轻击目的地)。在语言学术语中，姿势的影响是姿势符号引用的所指对象。呈现了二十七个所指对象，并针对1只和2只手诱发姿势。系统300跟踪并记录手与桌子的接触。参与者使用有声思维协议，并且被视频录像，并提供主观偏好。
根据参与者在为每一个命令选择姿势时表现出的一致性或相关性，开发最终的用户定义的姿势集。对给定命令使用相同姿势的参与者越多，更可能将该姿势指派给该命令。最后，用户定义的姿势集表现为根据实际用户行为建立的惊人一致的集合。
本发明向20个参与者或用户呈现27个命令的影响(例如，所指对象)，并在随后要求他们选择对应的姿势(例如，符号)。命令是从现有桌面和桌面系统获得的应用程序不可知的。一些在概念上是简单的，而另一些比较复杂。在参与者作出姿势之前，对每一所指对象的概念复杂性进行评级。
可以理解，可以利用任何合适的数量的用户来创建姿势集。此外，每一个用户都可以具有各种特征或特质。例如，可以使用20个有报酬的参与者，其中，十一个是男性，9个女性，且平均年龄是43.2岁(sd＝15.6)。从公众中招募了参与者，它们不是计算机科学家或用户界面设计人员。
用户定义的姿势集的生成可以在表面检测组件104和/或任何其他合适的表面计算系统(例如，交互式桌面、交互式界面、表面视觉系统等等)上实现。例如，可以使用应用程序来向用户呈现例示27个所指对象的所记录动画和语音，但是，可以理解，本发明可以使用任何合适的数量的所指对象。例如，对于平移(pan)所指对象，录音可以说，“平移。假装你正移动屏幕的视野来展示隐藏的屏幕内容。这是示例。(Pan.Pretend you are moving the view of thescreen to reveal hidden off-screen content.Here′s an example.)”在录音结束之后，软件使对象区域从左向右移动地活动起来。在动画之后，软件示出对象在平移影响之前的模样，并等待用户执行姿势。
系统300可以从桌子或表面的下面监视参与者的手，并报告接触信息。可以将接触和/或表面输入记录为具有毫秒时间戳的椭圆形。然后，解析这些记录，以计算试验级别的度量。也可以从例如四个角度对参与者的手进行视频录像。另外，用户还观察每一会话，并进行详细的记录，特别是关于有声思维数据。
系统300随机地向参与者呈现27个所指对象。对于每一个所指对象，参与者在有声思维的同时执行1只手和2只手的姿势。在每一姿势之后，向参与者示出了两个7点李克特式量表(Likert scales)。在针对所指对象执行了1只手和2只手姿势之后，还询问参与者他们偏好几只手。20个参与者，27个所指对象，以及1只和2只手，总共作出20×27×2＝1080个姿势。在这些姿势中，由于参与者混淆，可以丢弃6个。
本发明可以基于用户的行为确定表面姿势的通用分类学。在完成收集到的数据时，系统300可以反复开发这样的分类学，以帮助捕捉表面姿势的设计空间。作者或用户可以沿着以下四个维度手动分类每一姿势：形状、特征、绑定、以及流。在每一维度内，有多个类别，这在下面的表1中示出。
Figure BPA00001309542200111
表1
形状维度的范围在一只手内。它分别适用于2只手的姿势中的每一只手。一点触摸和一点路径分别是静态姿态以及静态姿态和路径的特殊情况。由于它们与鼠标动作相似，因此这些是可区别的。即使用户偶然用一个以上的手指在同一点触摸，如参与者常常做的那样，姿势仍被视为一点触摸或路径。这样的情况在听取报告期间进行研究，从而发现用户的姿势的思维模式只需要一点。
在特征维度中，符号姿势可以是视觉描绘。示例是划一个脱字符号(″^″)以执行插入，或者在桌子上形成O.K.姿态
Figure BPA00001309542200122
来表示接受。物理姿势在表面上可以对带有物理对象的桌子具有相同的影响。当姿势起作用、以某种方式行事或类似的别的东西时，可以发生比喻姿势。示例是用手指划一个圆圈以模仿“滚动环”，使用两根手指在屏幕上“行走”，假装手是放大镜，如同翻动书页那样挥刷，或只是敲击虚构按钮。姿势本身可能不足以揭示其比喻特征；答案在于用户的思维模式。
在绑定维度中，以对象为中心的姿势需要有关他们影响或产生的对象的信息。示例是在对象的顶部将两根手指夹在一起来表示收缩。依赖于世界的姿势是关于世界定义的，诸如在显示器的右上角敲击，或将对象拖到屏幕外。独立于世界的姿势不需要有关世界的信息，且一般可以在任何地方发生。此类别可包括可以在除不是世界特征的临时对象之外的任何地方发生的姿势。最后，对于在某一方面是独立于世界但是在另一方面是依赖于世界的或以对象为中心的姿势，发生混合依赖性。对于2只手姿势，这有时会发生，其中，一只手作用于对象，而另一只手作用于任何地方。
如果姿势作为事件被执行、划界，识别，响应，则姿势流会是离散的。示例是划一个问号(“？”)以显示帮助。如果需要正在进行的识别，诸如在大多数参与者的调整大小姿势期间，流是连续的。
本发明可以创建用户定义的姿势集。下面讨论用来创建该姿势集的过程和该姿势集的属性。与先前用于表面计算的姿势集不同，此姿势集基于观察到的用户行为，并将姿势链接到命令。在所有20个参与者(例如，可以使用任何合适的数量的参与者)都提供针对每一个所指对象的一只手和两只手的姿势之后，聚集每一所指对象内的姿势，以便每一集群都持有匹配姿势。可以理解，可由系统300(例如，提示器和评估器302，姿势集创建器102，等等)实现任何合适的一致性或相关性。然后，使用集群大小来计算一致性分数A，该一致性分数A以单一数字反映参与者之间的一致性程度：
A = Σ r ∈ R Σ P i ⊆ P r ( | P i | | P r | ) 2 | R | - - - ( 1 )
在等式1中，r是所有所指对象集合R中的一个所指对象，Pr是所指对象r的提议姿势集合，而Pi是来自Pr的相同的姿势的子集。A的范围是[|Pr|-1，1]。作为示例，考虑移动很少(2只手)和选择单个(1只手)的一致性分数。两者都可以具有四个集群。前者具有大小为12、3、3和2的集群；后者具有大小为11、3、3和3的集群。对于移动很少，计算下面的等式：
Figure BPA00001309542200132
对于选择单个，计算下面的等式：
Figure BPA00001309542200141
1只手和2只手的姿势的总的一致性分别是A1H＝0.323和A2H＝0.285。
一般而言，通过取每一个所指对象的大集群，并将那些集群的姿势指派到所指对象来开发用户定义的姿势集。然而，在使用相同姿势来执行两个不同的命令的情况下，会发生冲突。在此情况下，最大的集群获胜。由本发明所生成和提供的结果的用户定义的姿势集是无冲突的，并涵盖所提议的所有姿势的57.0％。
已出示了别名来显著地提高输入的可猜测性。在用户定义的集中，对10个所指对象指派1个姿势，4个所指对象具有2个姿势，3个所指对象具有3个姿势，4个所指对象具有4个姿势，而1个所指对象具有5个姿势。在最终的集中，有48个姿势。在这些姿势中，31个(64.6％)是用一只手执行的，而17个(35.4％)是用两只手执行的。
令人满意地，在我们的用户定义的集中存在高度的一致性与并行性。二叉所指对象使用可逆的姿势，且对于类似的操作，重复使用相同的姿势。例如，对一对象执行可以用4个不同的姿势实现的放大，但是如果在背景中执行，可以使用相同的4个姿势来进行推近，或者，如果在容器(例如，文件夹)上执行，则用于打开。另外，还允许灵活性：手指的数量无关紧要，且常常可以使用手指、手掌或手的边缘来取得相同效果。
或许不令人吃惊地，所指对象的概念复杂性与姿势计划时间显著相关(R2＝.51，F1，25＝26.04，p＜.0001)，如由所指对象的A/V提示的结束和参与者与表面的首次接触之间的时间所度量的。一般而言，所指对象越复杂，参与者开始明确表达他们的姿势所花的时间越多。简单所指对象大约要花8秒来进行计划。复杂的所指对象大约要花15秒。然而，概念复杂性却不与姿势表达时间显著相关联。
在执行每一姿势之后，参与者可以在两个李克特式量表上对它进行评级。第一表明“我挑选的姿势对于其预期目的而言是良好匹配的”。第二表明，“我挑选的姿势易于执行”。两个量表请求从1＝强烈不同意到7＝强烈同意的序数响应。
是给定所指对象的较大的集群的成员的姿势具有显著更高的良好性等级(χ2＝42.34，df＝1，p＜.0001)，这指示事实上流行度确实标识胜于较差的姿势的更好姿势。此发现对验证在此方法对姿势设计的假设大有帮助。
所指对象的概念复杂性显著影响了参与者关于他们的姿势的良好性的感觉(χ2＝19.92，df＝1，p＜.0001)。比较简单的所指对象被评级为大约5.6，而比较复杂的被评级为大约4.9，这暗示复杂的所指对象诱发参与者对于其感觉不太自信的姿势。
计划时间也显著影响了参与者关于他们的姿势的良好性的感觉(χ2＝33.68，df＝1，p＜.0001)。一般而言，随着计划时间缩短，良好性等级提高，这暗示好的姿势对参与者更显而易见。
与计划时间不同，表达时间不会显著影响参与者的良好性等级，但是，它确实影响他们对简易性的感知(χ2＝4.38，df＝1，p＜.05)。花比较长的时间执行的姿势被评级为更加容易，或许因为它们比较平稳或不太仓促。被评级为困难的姿势大约要花1.5秒，而那些被评级为容易的姿势大约要花3.7秒。
姿势中的触摸事件的数量显著影响其对简易性的感知(χ2＝24.11，df＝1，p＜.0001)。带有最少的触摸活动的姿势被评级为是最难的(例如，1)或者最容易的(例如，7)。带有比较多的活动的姿势被评级为是中等简易性范围。
总的说来，参与者对于25个所指对象偏好1只手的姿势，并被对于其他两个，均匀地划分。没有指称对象诱发总的说来偏好两只手的姿势。对于1只手和2只手诱发相等偏好的所指对象是插入和最大化，插入和最大化没有被包括在用户定义的姿势集中，因为它们重用现有的姿势。
如上文所指出的，用户设计的集具有31(64.6％)个1只手姿势和17(35.4％)个2只手姿势。虽然参与者对1只手姿势的偏好是清楚的，但是一些2只手姿势具有良好的一致性分数，并很好地补充1只手版本。
二叉所指称对象的示例是收缩/放大、前一/下一、推近/拉远等等。人们一般对于二叉所指对象使用可逆姿势，尽管学习软件很少按顺序呈现这些所指对象。此行为反映在最终用户设计的姿势集中，其中，二叉所指对象使用可逆的姿势。
指称对象的根据概念复杂性的排序顺序和所指对象的根据降序的1只手的一致性的顺序可能不相同。如此，参与者和作者并不总是认为相同所指对象是复杂的。参与者常常作出简化假设。一个参与者在被提示推近之际，说，“啊，这与放大相同”。对于放大和最大化，收缩和最小化，以及平移和移动，会出现类似的思维模式。这允许我们基于姿势发生的位置，例如，它们位于对象上还是位于背景上，来统一姿势集，并消除姿势的影响的歧义。
一般而言，似乎是利用1-3根手指的触摸通常被视为“单点”，5根手指或整个手掌是更加有意的。另一方面，四根手指构成“灰色区域”，其中，它被混合，而不用管手指的数量。假定以前的桌面系统基于手指的数量具有有区别的姿势，这些发现是相关的。
多人设想桌子的投射屏幕的边缘以外的世界。例如，他们从屏幕外的位置拖动到屏幕上，将它当作剪贴板。他们还拖到屏幕外的区域，作为用于删除和拒绝的没有返回的位置。一个参与者设想表示不同的东西的不同的屏幕外的区域：拖出顶部以外是删除，而拖出左侧以外是剪切。对于粘贴，她确保从左边拖入，从而有意地试图将粘贴与剪切相关联。可以理解，系统300可以使用这样的姿势(例如，屏幕外，剪贴板复制姿势等等)。
本发明消除了了用户和系统之间的对话，以洞察用户的“自然的”行为，而没有由于识别性能和技术限制所造成的不可避免的偏差和行为变化。在一个示例中，可以验证用户定义的姿势集。
转向图4和图5，图4示出了姿势集400，而图5示出了姿势集500。姿势集400和姿势集500促进与所显示数据的一部分进行交互。可以理解，潜在影响可被称为所指对象。图4中的姿势集400可包括第一选择单个姿势402、第二选择单个姿势404、选择组姿势406、第一移动姿势408、第二移动姿势410、平移姿势412、剪切姿势414、第一粘贴姿势416、第二粘贴姿势418、旋转姿势420，以及复制姿势422。图5中的姿势集500可包括删除姿势502、接受姿势504、拒绝姿势506、帮助姿势508、菜单姿势510、撤消姿势512、第一放大/收缩姿势514、第二放大/收缩姿势516、第三放大/收缩姿势518、第四放大/收缩姿势520、打开姿势522、推近/拉远姿势524、最小化姿势526，以及下一/前一姿势528。
下表(表2)进一步描述了所指对象、潜在的影响，和/或用户定义的姿势
Figure BPA00001309542200171
Figure BPA00001309542200181
Figure BPA00001309542200191
表2
图6示出了使用智能来促进自动地标识来自完全不同的用户的各种表面输入之间的关联以便创建用户定义的姿势集的系统600。系统600可包括姿势集创建器102、表面检测组件104、表面输入，和/或界面108，它们可以基本上类似于前面附图中所描述的相应的组件、界面，以及表面输入。系统600还包括智能组件602。智能组件602可以被姿势集创建器102用来结合表面计算促进数据交互。例如，智能组件602可以推断姿势、表面输入、提示、辅导、个人设置、用户偏好、表面检测技术、用户对于表面输入的意图、所指对象等等。
智能组件602可以使用信息价值(VOI)计算，以便基于接收到的表面输入来标识用户定义的姿势。例如，通过利用VOI计算，可以标识与检测到的输入(例如，表面输入等等)相关的最理想和/或适当的用户定义的姿势。此外，还可以理解，智能组件602可以通过经由事件和/或数据捕捉到的一组观察结果推理或推断出系统、环境和/或用户的状态。可以使用推断来识别特定上下文或操作，也可以生成例如状态上的概率分布。推断可以是概率性的——即，基于对数据和事件的考虑来计算在感兴趣状态上的概率分布。推断也可以是指用于从一组事件和/或数据构成较高级事件的技术。这样的推断导致从一组观察到的事件和/或存储的事件数据构建新的事件或操作，而不管事件在时间接近度上是否紧密相关，以及事件和数据是来自一个还是若干个事件和数据源。可以与结合所要求保护的主题执行的自动和/或推断操作相结合地使用各种分类(显式地和/或隐式地训练的)方案和/或系统(例如，支持向量机、神经网络、专家系统、贝叶斯信任网络、模糊逻辑、数据融合引擎，等等)。
分类器是将输入属性矢量x＝(x1，x2，x3，x4，xn)映射到该输入属于某一个类的置信度的函数，即，f(x)＝置信度(类)。这样的分类可以使用基于概率和/或统计的分析(例如，分解成分析效用和成本)来预测或推断用户希望自动地执行的动作。支持矢量机(SVM)是可以使用的分类器的一个示例。SVM通过发现可能的输入的空间中的超曲面来操作，该超曲面试图将触发准则与非触发事件分离。直观地，这使得分类可以校正与训练数据接近但又不完全相同的测试数据。其他有向和无向模型分类方法包括，例如，朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型，且也可以使用提供不同独立性模式的概率分类模型。如这里所使用的分类还包括被用来开发优先级模型的统计回归。
姿势集创建器102还可以利用呈现组件604，该呈现组件604提供各种类型的用户界面，以便于用户和耦合到姿势集创建器102的任何组件之间的交互。如所描绘的，呈现组件604是可以与姿势集创建器102一起使用的分开的实体。然而，可以理解，呈现组件604和/或类似的查看组件可以被结合到姿势集创建器102中和/或作为独立单元。呈现组件604可以提供一个或多个图形用户界面(GUI)、命令行界面等等。例如，可以向用户呈现提供用于加载、导入、读取等等数据的区域或手段，并可包括呈现这样的操作的结果的区域的GUI。这些区域可以包括已知文本和/或图形区域，包括对话框、静态控件、下拉菜单、列表框、弹出式菜单，编辑控件、组合框、单选按扭、复选框、按钮，以及图形框。另外，还可以使用便于呈现的实用程序，诸如用于导航的垂直和/或水平滚动条以及工具条按扭以确定某一区域是否可查看。例如，用户可以与耦合到和/或结合到姿势集创建器102的组件中的一个或多个进行交互。
用户还可以与区域进行交互以经由各种设备(诸如，例如，鼠标、滚球、触摸板、键区、键盘、触摸屏、笔和/或话音激话、人体运动检测)来选择和提供信息。通常，可以使用诸如按钮或键盘上的回车键之类的机构来连续输入信息。然而，可以理解，所要求保护的主题没有这样的限制。例如，只突出显示复选框可以发起信息传达。在另一示例中，可以使用命令行界面。例如，命令行界面可以经由提供文本消息向用户(例如，经由显示器上的文本消息和音频音调)提示信息。然后，用户可以提供合适的信息，如与界面提示中所提供的选项相对应字母数字输入或对在提示中提出的问题的回答。可以理解，可结合GUI和/或API使用命令行界面。另外，还可以结合具有有限图形支持和/或低带宽通信信道的硬件(例如，视频卡)和/或显示器(例如，黑白、EGA、VGA、SVGA等等)来使用命令行界面。
图7-8示出了根据所要求保护的主题的方法和/或流程图。出于简洁起见，方法被描绘并描述为一系列动作。可以理解和明白，本发明不仅限于所示出的动作和/或动作的顺序。例如，一些动作可以按各种顺序和/或并发地进行，并带有此处未呈现和描述的其他动作。此外，并非所有的所示出的动作都是实现根据所要求保护的主题的方法所必需的。另外，本领域的技术人员将了解和明白，方法也可以替代地经由状态图或事件表示为一系列相互相关联的状态。另外，还应该进一步理解，下面以及整个说明书中所公开的方法能够被存储在一种制品中，以促进将这样的方法传送和传输到计算机中。在此使用的术语“制品”旨在涵盖可以从任何计算机可读设备、载体、或介质访问的计算机程序。
图7示出了促进收集表面输入数据以便生成用户定义的姿势集的方法700的框图。在附图标记702，可以用对所显示数据的影响提示用户。例如，提示可以是用户尝试经由表面输入和表面计算系统/组件复制对所显示数据的影响的指令。在附图标记704，可以响应于所提示的影响，从用户那里接收表面输入，其中响应是对复制影响的尝试。例如，影响可以是，但不仅限于，数据选择、数据集或组选择、数据移动、数据平移、数据旋转、数据剪切、数据粘贴、数据复制、数据删除、接受、帮助、拒绝、菜单、撤消、数据放大、数据收缩、推近、拉远、打开、最小化、下一、前一等等。
在附图标记706，对于该影响，可以聚合来自两个或更多个用户的两个或更多个表面输入。一般而言，可以提示和跟踪任何合适数量的用户，以便收集表面输入数据。在附图标记708，可以基于对两个或更多个表面输入之间的关联的评估来对于该影响生成用户定义的姿势。换言之，可以基于响应于该影响提供相关联的表面输入数据的两个或更多个用户之间的关联来标识用户定义的姿势。可以利用用户定义的姿势以便执行对所显示数据的一部分的影响。例如，可以提示诸如移动数据之类的影响，以便接收用户的表面输入(例如，在数据上的拖动运动)，其中可以通过完全不同的用户来评估这样的数据以便标识通用的用户定义的姿势。
图8示出了用于结合表面计算创建用户定义的姿势集的方法800。在附图标记802，可以指令用户利用至少一个表面输入来复制对所显示数据的一部分的影响。可以理解，表面输入可以是，但不仅限于，触摸事件、输入、接触、姿势、手的运动、手的交互、对象交互，和/或与所显示数据的一部分的任何其他合适的交互。
在附图标记804，可以分析交互式表面上来自用户的表面输入，以便创建链接到影响的用户定义的姿势。例如，用户定义的姿势可以是，但不仅限于，第一选择单个姿势、第二选择单个姿势、选择组姿势、第一移动姿势、第二移动姿势、平移姿势、剪切姿势、第一粘贴姿势、第二粘贴姿势、旋转姿势、复制姿势、删除姿势、接受姿势、拒绝姿势、帮助姿势、菜单姿势、撤消姿势、第一放大/收缩姿势、第二放大/收缩姿势、第三放大/收缩姿势、第四放大/收缩姿势、打开姿势、推近/拉远姿势、最小化姿势、以及下一/前一姿势等等。
在附图标记806，可以向用户提供一部分指令，其中该一部分指令可以涉及影响和用户定义的姿势。例如，该一部分指令可以提供用户定义的姿势和/或对所显示数据的影响的简洁说明。在附图标记808，可以检测用户定义的姿势，并可以执行影响。
为了提供用于实现所要求保护的主题的各个方面的附加上下文，图9-10以及下面的讨论旨在提供其中可以实现本发明的各个方面的合适计算环境的简要的、一般描述。例如，可以在这样的合适计算环境中实现姿势集创建器，该姿势集创建器响应于传达的影响来评估用户表面输入，以便生成用户定义的姿势集，如前面的图形所描述。尽管以上已在可以在本地计算机和/或远程计算机上运行的计算机程序的计算机可执行指令的一般上下文中描述了所要求保护的主题的，但是，本领域技术人员将认识到，也可结合其他程序模块来实现本发明。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。
此外，本领域技术人员将了解，可以利用其他计算机系统配置来实施本发明的方法，包括单处理器和/或多处理器计算机系统，小型计算机、大型计算机，以及个人计算机，手持式计算设备、基于微处理器和/或可编程消费电子产品等等，上述每一种设备都可以可操作地与一个或多个相关联的设备进行通信。所要求保护的主题的所说明的方面也可以在其中某些任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。然而，本发明的某些方面，如果不是所有方面的话，可以在独立计算机上实施。在分布式计算环境中，程序模块可以位于本地和/或远程存储器存储设备中。
图9是所要求保护的主题可以与其进行交互的示例计算环境900的示意框图。系统900包括一个或多个客户机910。客户机910可以是硬件和/或软件(例如，线程、进程、计算设备)。系统900还包括一个或多个服务器920。服务器920可以是硬件和/或软件(例如，线程、进程、计算设备)。服务器920可以，例如，通过使用本发明来保存执行变换的线程。
客户机910和服务器920之间的一种可能的通信可以是适于在两个或更多个计算机进程之间传输的数据包的形式。系统900包括通信框架940，该通信框架940可以被用来促进客户机910和服务器920之间的通信。类似地，客户机910可操作地连接到一个或多个客户机数据存储950，这些数据存储可用于存储客户机910本地的信息。类似地，服务器920可操作地连接到一个或多个服务器数据存储930，这些数据存储可用于存储服务器920本地的信息。
参考图10，用于实现所要求保护的主题的各方面的示例性环境1000可以包括计算机1012。计算机1012包括处理单元1014、系统存储器1016，以及系统总线1018。系统总线1018将系统组件——包括但不仅限于系统存储器1016——耦合到处理单元1014。处理单元1014可以是各种处理器中的任一种。还可以使用双微处理器及其他多处理器体系结构作为处理单元1014。
系统总线1018可以是若干类型的总线结构中的任一种，包括使用各种可用的总线体系结构中的任一种的存储器总线或存储器控制器、外围总线或外部总线，以及局部总线，总线体系结构包括，但不仅限于，工业标准体系结构(ISA)、微通道体系结构(MCA)、扩展的ISA(EISA)、智能驱动器电子(IDE)、VESA局部总线(VLB)、外围组件互连(PCI)、卡总线、通用串行总线(USB)、高级图形端口(AGP)、个人计算机存储器卡国际联合会总线(PCMCIA)、火线(IEEE 1394)，以及小型计算机系统接口(SCSI)。
系统存储器1016包括易失性存储器1020和非易失性存储器1022。基本输入/输出系统(BIOS)被存储在非易失性存储器1022中，包含例如在启动过程中帮助在计算机1012内的元件之间传输信息的基本例程。作为说明，而不是限制，非易失性存储器1022可包括只读存储器(ROM)、可编程序ROM(PROM)、电可编程序ROM(EPROM)、电可擦可编程序ROM(EEPROM)或闪存。易失性存储器1020包括充当外部高速缓冲存储器的随机存取存储器(RAM)。作为说明而不是限制，RAM可以有许多形式，如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDR SDRAM)、增强的SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、直接型存储器总线(Rambus)RAM(RDRAM)，直接型存储器总线(Rambus)动态RAM(DRDRAM)，以及存储器总线(Rambus)动态RAM(RDRAM)。
计算机1012还包括可移动的/不可移动的，易失性/非易失性的计算机存储介质。图10示出了例如磁盘存储1024。磁盘存储器1024包括但不限于，诸如磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪存卡或记忆棒之类的设备。另外，磁盘存储器1024可包括存储介质——分开地或与其他存储介质相结合——包括，但不限于，诸如紧致盘ROM设备之类的光盘驱动器(CD-ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字多功能盘ROM驱动器(DVD-ROM)。为便于磁盘存储设备1024连接到系统总线1018，通常使用诸如接口1026之类的可移动或不可移动接口。
可以理解，图10描述了在合适的操作环境1000中在用户和所描述的基本计算机资源之间充当中介的软件。这样的软件包括操作系统1028。可以存储在磁盘存储器1024上的操作系统1028用于控制和分配计算机系统1012的资源。系统应用程序1030利用由操作系统1028通过存储在系统存储器1016或者存储在磁盘存储器1024上的程序模块1032和程序数据1034对资源的管理。可以理解，所要求保护的主题可以利用各种操作系统或操作系统的组合来实现。
用户通过输入设备1036向计算机1012输入命令或信息。输入设备1036包括，但不限于，诸如鼠标、跟踪球、指示笔、触摸板之类的指示设备、键盘、麦克风、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪、TV调谐器卡、数码相机、数字视频摄像机、网络摄像头等等。这些及其他输入设备通过系统总线1018经由接口端口1038连接到处理单元1014。接口端口1038包括，例如，串行端口、并行端口、游戏端口，以及通用串行总线(USB)。输出设备1040与输入设备1036使用一些相同类型的端口。如此，例如，可以使用USB端口来向计算机1012提供输入，以及从计算机1012向输出设备1040输出信息。提供了输出适配器1042，以示出有诸如监视器、扬声器、以及打印机之类的一些输出设备1040，还有需要专用适配器的其他输出设备1040。输出适配器1042包括，作为说明而不是限制，在输出设备1040和系统总线1018之间提供连接手段的视频卡和声卡。应该注意，其他设备和/或设备的系统提供诸如远程计算机1044之类的输入和输出两种能力。
计算机1012可以使用到诸如远程计算机1044之类的一个或多个远程计算机的逻辑连接来在联网环境中操作。远程计算机1044可以是个人计算机、服务器、路由器、网络PC、工作站、基于微处理器的电器、对等设备或其他公共网络节点等等，并且通常包括就计算机1012所描述的许多或全部元件。出于简洁起见，与远程计算机1044一起，只示出了存储器设备1046。远程计算机1044通过网络接口1048在逻辑上连接到计算机1012，然后，经由通信连接1050在物理上连接。网络接口1048包含诸如局域网(LAN)和广域网(WAN)之类的有线或无线通信网络。LAN技术包括光纤分布式数据接口(FDDI)、铜线分布式数据接口(CDDI)、以太网、令牌环等等。WAN技术包括，但不限于，点对点链路、电路交换网，如综合业务数字网(ISDN)及其变体，分组交换网络，以及数字订户线(DSL)。
通信连接1050是指用来将网络接口1048连接到总线1018的硬件/软件。尽管为清楚起见通信连接1050被示为在计算机1012内部，但是，它也可以位于计算机1012外部。连接到网络接口1048所需的硬件/软件包括，只作示例，内部和外部技术，诸如，调制解调器，包括常规电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器，以及以太网卡。
上文所描述的包括本发明的示例。当然，不可能出于描述所要求保护的主题的目的而描述组件或方法的每个可构想的组合，但是，本领域普通技术人员可以认识到，本发明的许多进一步的组合和置换都是可能的。因此，所要求保护的主题旨在包含在所附权利要求书的精神和范围内的所有这样的更改、修改和变化。
具体来说，对于由上述组件、设备、电路、系统等等执行的各种功能，除非另外指明，否则用于描述这些组件的术语(包括对“装置”的引用)旨在对应于执行所描述的执行此处在所要求保护的主题的示例性方面所示的功能的组件的指定功能(例如，功能上等效)的任何组件，即使这些组件在结构上不等效于所公开的结构。关于这一点，还应认识到，本发明还包括了具有用于执行所要求保护的主题的各种方法的动作和/或事件的计算机可执行指令的系统以及计算机可读介质。
有多种实现本发明的方式，例如，使应用程序和服务能使用本发明的广告技术的适当的API、工具包、驱动程序代码、操作系统、控件、独立或可下载的软件对象等等。所要求保护的主题构想从API(或其他软件对象)的观点来看，以及从根据本发明的根据广告技术操作的软件或硬件对象来看的用途。如此，此处所描述的本发明的各种实现可以具有完全以硬件，部分以硬件且部分以软件，以及以软件来实现的方面。
如前所述的系统是利用多个组件之间的交互来描述的。可以了解，这样的系统和组件可以包括这些组件或其中指定的子组件，某些指定的组件或子组件，和/或附加的组件，并根据前述的内容的各种置换和组合。子组件也可以作为可通信地耦合到其他组件的组件来实现，而不是包括在父组件内(层次性)。另外，应该注意，一个或多个组件也可以组合到提供聚合功能的单个组件中，或者也可以分成若干个单独的子组件，并且可以提供诸如管理层之类的任何一个或更多中间层，以可通信地耦合到这样的子组件，从而提供集成的功能。此处所描述的任何组件也可以与此处没有专门描述的但本领域技术人员广泛地知道的一个或多个其他组件进行交互。
另外，尽管可相对于若干实现中的仅一个实现来公开本发明的一个特定特征，但是这一特征可以如对任何给定或特定应用所需且有利地与其它实现的一个或多个其它特征相组合。此外，就在“具体实施方式”或者权利要求书中使用术语“包括”、“具有”、“包含”或其变体，以及其他类似的词语而言，这些术语旨在以与术语“包括”相似的方式为包含性的，作为开放的过渡词，而不会排除任何额外的或其他的元素。

Claims (20)

1.一种促进生成用于与表面计算联用的直观的姿势集合的系统，包括：
用所显示数据的一部分的潜在影响来提示两个或更多个用户的姿势集创建器(102，106)；
响应于所提示的潜在影响，接收来自用户的至少一个表面输入的界面组件(108)，所述表面输入响应是所尝试的对所述潜在影响的复制；
跟踪所述表面输入的表面检测组件(104)；
所述姿势集创建器收集来自所述两个或更多个用户的所述表面输入，以便基于相应的表面输入之间的关联来标识用户定义的姿势，其中所述用户定义的姿势被定义为发起所显示数据的一部分的潜在影响的输入(102)。
2.如权利要求1所述的系统，其特征在于，所述表面输入是触摸事件、输入、与同所述表面检测组件有关的表面的接触、姿势、手的运动、手的交互、对象交互、与表面进行交互的手的一部分，或有形对象中的至少一个。
3.如权利要求1所述的系统，其特征在于，所述潜在影响是数据选择、数据集选择、组选择、数据移动、数据平移、数据旋转、数据剪切、数据粘贴、数据复制、数据删除、接受、帮助请求、拒绝、菜单请求、撤消、数据放大、数据收缩、推近、拉远、打开、最小化、下一或前一这些操作中的至少一个。
4.如权利要求1所述的系统，其特征在于，所述表面检测组件检测对所显示数据的所述一部分执行所述潜在影响的所述用户定义的姿势。
5.如权利要求1所述的系统，其特征在于，所述潜在影响被作为口头指令的一部分、视频的一部分、音频的一部分、文本的一部分，或图形的一部分中的至少一个传达给所述用户。
6.如权利要求1所述的系统，其特征在于，所述表面检测组件是桌面交互式表面、有形的用户界面、与表面计算有关的界面、表面计算系统、背投表面检测系统、前投表面检测系统或允许与数据的一部分进行物理交互的图形用户界面中的至少一个。
7.如权利要求1所述的系统，其特征在于，还包括两个或更多个用户定义的姿势，所述两个或更多个用户定义的姿势是用户定义的姿势集，所述用户定义的姿势集包括第一选择单个姿势、第二选择单个姿势、选择组姿势、第一移动姿势、第二移动姿势、平移姿势、剪切姿势、第一粘贴姿势、第二粘贴姿势、旋转姿势、复制姿势、删除姿势、接受姿势、拒绝姿势、帮助姿势、菜单姿势、撤消姿势、第一放大/收缩姿势、第二放大/收缩姿势、第三放大/收缩姿势、第四放大/收缩姿势、打开姿势、推近/拉远姿势、最小化姿势、以及下一/前一姿势。
8.如权利要求1所述的系统，其特征在于，所述用户定义的姿势是下列各项中的至少一个：
接受姿势，其是在表面的背景上绘制的勾标记；
帮助姿势，其是在表面的背景上绘制的问号标记；
下一姿势，其是从左到右在表面的背景上开始和结束并穿过目标数据地绘制的线；
前一姿势，其是从右到左在表面的背景上开始并在所述背景上结束并且穿过目标数据地绘制的线；
菜单姿势，其是按住对象并将一只手的手指拖出所述对象，同时仍用不同的手指按住对象；
第一拒绝姿势，其是在表面的背景上绘制的“X”；
第二拒绝姿势，其是利用跳跃将对象移动到表面位置之外；
第三拒绝姿势，其是利用拖动将对象移动到表面位置之外；或
撤消姿势，其是表面的背景上的之字形涂鸦运动。
9.如权利要求1所述的系统，其特征在于，所述用户定义的姿势是下列各项中的至少一个：
平移姿势，其是通过手掌在表面的背景上的拖动运动；
第一推近姿势是在表面的背景上通过手执行的拉开运动；
第二推近姿势是通过手指在表面的背景上执行的展开；
第三推近姿势是在表面的背景上执行的逆反的夹紧运动；
第四推近姿势是在表面的背景上执行的张开运动；
第一放大姿势是将五个手指并拢放在对象上，并将五指张开；
第二放大姿势是将拇指和食指并拢放在对象上，并将所述拇指和食指张开；
第三放大姿势是将数个手指并拢放在对象上，并在相反的方向上移动所述数个手指中的每一个；
第四放大姿势是将两只手整个地并拢放在对象上，并在相反的方向上移动所述两只手；
最大化姿势是针对对象的放大姿势；
第一最小化姿势是通过跳跃运动将目标对象移动到表面的底部边缘；
第二最小化姿势是通过拖动运动，将目标对象移动到表面的底部边缘；或者
旋转姿势是按住对象的边角并通过圆弧运动拖动对象的运动。
10.如权利要求1所述的系统，其特征在于，所述用户定义的姿势是下列各项中的至少一个：
第一拉远姿势是通过手的挤压在背景上执行的收缩运动；
第二拉远姿势是通过第一只手上的第一手指和第二只手上的第二手指的夹紧在背景上执行的收缩运动；
第三拉远姿势是通过一只手上的手指的夹紧在背景上执行的收缩运动；
第四拉远姿势是通过逆反的张开在背景上执行的收缩运动；
第一收缩姿势是通过拇指和食指在对象上张开和夹紧的运动；
第二收缩姿势是通过五个手指在对象上径向地张开然后将它们并拢的运动；
第三收缩姿势是通过第一只手的第一手指和第二只手的第二根手指在对象上张开然后将它们并拢的运动；或
第四收缩姿势是通过两只手在对象上张开然后将它们并拢的运动。
11.如权利要求1所述的系统，其特征在于，所述用户定义的姿势是下列各项中的至少一个：
第一打开姿势是在对象上拉开手的运动；
第二打开姿势是在对象上张开两个或更多个手指的运动；
第三打开姿势是在对象上逆反的夹紧的运动；
第四打开姿势是在对象上的双轻击运动；
第五打开姿势是在对象上的张开运动；
第一删除姿势是通过跳跃运动将目标对象移动到表面的屏幕之外的运动；
第二删除姿势是通过拖动运动将目标对象移动到表面的屏幕之外的运动；或
第三删除姿势是将目标对象移动到指定的删除图标的运动。
12.如权利要求1所述的系统，其特征在于，所述用户定义的姿势是下列各项中的至少一个：
第一选择姿势是轻击对象的运动；
第二选择姿势是围绕对象绘制一套索的运动；
第一选择组姿势是轻击组中的两个或更多个对象的运动；
第二选择组姿势是围绕组中的两个或更多个对象绘制一套索的运动；或者
第三选择组姿势是用第一只手按住组中的对象并使用第二只手轻击并选择所述组的另外对象。
13.如权利要求1所述的系统，其特征在于，所述用户定义的姿势是下列各项中的至少一个：
剪切姿势是在背景上绘制斜线的运动；
复制姿势是对对象进行第一次轻击然后在目的地的背景上进行第二次轻击的运动；
第一移动姿势是在对象上的拖动运动；
第二移动姿势是按住对象并在表面上轻击所述对象的目的地的运动；
第一粘贴姿势是通过跳跃运动自屏幕外而来的运动；
第二粘贴姿势是通过拖动运动自屏幕外而来的运动；或者
第三粘贴姿势是，如果未选择不同的对象，则是背景上的轻击运动。
14.如权利要求1所述的系统，其特征在于，还包括关于至少一个用户定义的姿势提供一部分指令的辅导组件。
15.如权利要求14所述的系统，其特征在于，所述一部分指令是视频的一部分、音频的一部分、文本的一部分，或图形的一部分中的至少一个。
16.如权利要求1所述的系统，其特征在于，所述姿势集创建器至少部分地基于历史数据收集来提供对所生成的用户定义的姿势集的周期性调整。
17.一种结合表面计算来促进在物理上与所显示数据的一部分进行交互的计算机实现的方法，包括：
用对所显示数据的影响来提示用户(702，802)；
响应于所述提示的影响，接收来自所述用户的表面输入，所述响应是来自所述用户的对复制所述影响的尝试(704，802，804)；
对于所述影响，聚合来自两个或更多个用户的两个或更多个表面输入(706，804)；以及
基于对所述两个或更多个表面输入之间的关联的评估来对所述影响生成用户定义的姿势(708，804)。
18.如权利要求17所述的方法，其特征在于，还包括：
指令所述用户复制对所显示数据的一部分的所述影响；以及
向用户提供一部分指令，所述一部分指令与所述影响以及所述用户定义的姿势有关。
19.如权利要求17所述的方法，其特征在于，还包括：
检测所述用户定义的姿势；以及
基于所述检测到的用户定义的姿势来执行所述影响。
20.一种促进用于与表面计算联用的直观的姿势集合的计算机实现的系统，包括：
用于从用户处接收针对所显示数据的一部分的至少一个表面输入的的装置(108，704，804)；
用于跟踪所述表面输入的装置(104，704，804)；
用于从所述用户收集所述表面输入以便标识用户定义的姿势集内的用户定义的姿势的装置，所述用户定义的姿势集包括第一选择单个姿势、第二选择单个姿势、选择组姿势、第一移动姿势、第二移动姿势、平移姿势、剪切姿势、第一粘贴姿势、第二粘贴姿势、旋转姿势、复制姿势、删除姿势、接受姿势、拒绝姿势、帮助姿势、菜单姿势、撤消姿势、第一放大/收缩姿势、第二放大/收缩姿势、第三放大/收缩姿势、第四放大/收缩姿势、打开姿势、推近/拉远姿势、最小化姿势、以及下一/前一姿势(102，104，706，708，804)；以及
用于执行由所述标识的用户定义的姿势触发的对显示的部分的潜在影响的装置(102，708，804)。
CN2009801307739A 2008-08-04 2009-07-23 用于表面计算的用户定义的姿势集 Pending CN102112944A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/185,166 2008-08-04
US12/185,166 US20100031202A1 (en) 2008-08-04 2008-08-04 User-defined gesture set for surface computing
PCT/US2009/051603 WO2010017039A2 (en) 2008-08-04 2009-07-23 A user-defined gesture set for surface computing

Publications (1)

Publication Number Publication Date
CN102112944A true CN102112944A (zh) 2011-06-29

Family

ID=41609625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801307739A Pending CN102112944A (zh) 2008-08-04 2009-07-23 用于表面计算的用户定义的姿势集

Country Status (5)

Country Link
US (2) US20100031202A1 (zh)
EP (1) EP2329340A4 (zh)
JP (1) JP2011530135A (zh)
CN (1) CN102112944A (zh)
WO (1) WO2010017039A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176734A (zh) * 2011-11-14 2013-06-26 三星电子株式会社 启用触摸屏的终端及其应用控制方法
CN103218069A (zh) * 2012-01-21 2013-07-24 飞宏科技股份有限公司 触控简报系统及其执行方法
CN103365529A (zh) * 2012-04-05 2013-10-23 腾讯科技（深圳）有限公司 一种图标管理方法及移动终端
CN103870095A (zh) * 2012-12-12 2014-06-18 广州三星通信技术研究有限公司 基于触摸屏的用户界面操作方法和使用该方法的终端设备
CN104335591A (zh) * 2012-06-30 2015-02-04 英特尔公司 用于基于上下文的媒体的自适应递送的系统
CN106406507A (zh) * 2015-07-30 2017-02-15 株式会社理光 图像处理方法以及电子设备
CN107273019A (zh) * 2011-09-20 2017-10-20 谷歌公司 基于协同姿势的输入语言
CN114527881A (zh) * 2015-04-07 2022-05-24 英特尔公司 化身键盘

Families Citing this family (233)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US9164654B2 (en) 2002-12-10 2015-10-20 Neonode Inc. User interface for mobile computer unit
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US9563890B2 (en) * 2002-10-01 2017-02-07 Dylan T X Zhou Facilitating mobile device payments using product code scanning
US9576285B2 (en) * 2002-10-01 2017-02-21 Dylan T X Zhou One gesture, one blink, and one-touch payment and buying using haptic control via messaging and calling multimedia system on mobile and wearable device, currency token interface, point of sale device, and electronic payment card
US8416217B1 (en) 2002-11-04 2013-04-09 Neonode Inc. Light-based finger gesture user interface
US9207717B2 (en) 2010-10-01 2015-12-08 Z124 Dragging an application to a screen using the application manager
US9223426B2 (en) 2010-10-01 2015-12-29 Z124 Repositioning windows in the pop-up window
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US8683362B2 (en) * 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8600816B2 (en) * 2007-09-19 2013-12-03 T1visions, Inc. Multimedia, multiuser system and associated methods
US9965067B2 (en) 2007-09-19 2018-05-08 T1V, Inc. Multimedia, multiuser system and associated methods
US9953392B2 (en) 2007-09-19 2018-04-24 T1V, Inc. Multimedia system and associated methods
US20100073318A1 (en) * 2008-09-24 2010-03-25 Matsushita Electric Industrial Co., Ltd. Multi-touch surface providing detection and tracking of multiple touch points
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US8413075B2 (en) * 2008-01-04 2013-04-02 Apple Inc. Gesture movies
US8952894B2 (en) 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
WO2010021240A1 (ja) * 2008-08-21 2010-02-25 コニカミノルタホールディングス株式会社 画像表示装置
US8341557B2 (en) * 2008-09-05 2012-12-25 Apple Inc. Portable touch screen device, method, and graphical user interface for providing workout support
US8810522B2 (en) * 2008-09-29 2014-08-19 Smart Technologies Ulc Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method
US9250797B2 (en) * 2008-09-30 2016-02-02 Verizon Patent And Licensing Inc. Touch gesture interface apparatuses, systems, and methods
KR20100039024A (ko) * 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
KR101555055B1 (ko) * 2008-10-10 2015-09-22 엘지전자 주식회사 이동단말기 및 그 디스플레이방법
KR101526995B1 (ko) * 2008-10-15 2015-06-11 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
KR101569176B1 (ko) 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
WO2010057057A1 (en) * 2008-11-14 2010-05-20 Wms Gaming, Inc. Storing and using casino content
KR101027566B1 (ko) * 2008-11-17 2011-04-06 (주)메디슨 초음파 진단기 및 초음파 진단기에서의 명령 신호 생성 방법
US8610673B2 (en) * 2008-12-03 2013-12-17 Microsoft Corporation Manipulation of list on a multi-touch display
US9477649B1 (en) * 2009-01-05 2016-10-25 Perceptive Pixel, Inc. Multi-layer telestration on a multi-touch display device
KR101544364B1 (ko) * 2009-01-23 2015-08-17 삼성전자주식회사 듀얼 터치 스크린을 구비한 휴대 단말기 및 그 컨텐츠 제어방법
US8917239B2 (en) 2012-10-14 2014-12-23 Neonode Inc. Removable protective cover with embedded proximity sensors
US8643628B1 (en) 2012-10-14 2014-02-04 Neonode Inc. Light-based proximity detection system and user interface
WO2010097171A1 (en) * 2009-02-25 2010-09-02 Nokia Corporation Method and apparatus for phrase replacement
TW201032101A (en) * 2009-02-26 2010-09-01 Qisda Corp Electronic device controlling method
JP5229084B2 (ja) * 2009-04-14 2013-07-03 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
KR101545881B1 (ko) * 2009-04-22 2015-08-20 삼성전자주식회사 휴대 단말기의 입력 처리 장치 및 방법
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US8473862B1 (en) * 2009-05-21 2013-06-25 Perceptive Pixel Inc. Organizational tools on a multi-touch display device
KR101576292B1 (ko) * 2009-05-21 2015-12-09 엘지전자 주식회사 이동 통신 단말기에서의 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기
US8407623B2 (en) * 2009-06-25 2013-03-26 Apple Inc. Playback control using a touch interface
JP4843696B2 (ja) * 2009-06-30 2011-12-21 株式会社東芝 情報処理装置およびタッチ操作支援プログラム
WO2011004135A1 (en) * 2009-07-07 2011-01-13 Elliptic Laboratories As Control using movements
US20120151415A1 (en) * 2009-08-24 2012-06-14 Park Yong-Gook Method for providing a user interface using motion and device adopting the method
EP3260969B1 (en) 2009-09-22 2021-03-03 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US9310907B2 (en) 2009-09-25 2016-04-12 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
CN102812426A (zh) * 2009-09-23 2012-12-05 韩鼎楠 一套人机交互方法及界面
US8832585B2 (en) 2009-09-25 2014-09-09 Apple Inc. Device, method, and graphical user interface for manipulating workspace views
US8799775B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for displaying emphasis animations for an electronic document in a presentation mode
US8766928B2 (en) * 2009-09-25 2014-07-01 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8799826B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for moving a calendar entry in a calendar application
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
KR20110064334A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 휴대용 단말기에서 사용자 인터페이스 설정을 위한 장치 및 방법
EP2333651B1 (en) * 2009-12-11 2016-07-20 Dassault Systèmes Method and system for duplicating an object using a touch-sensitive display
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US8502789B2 (en) * 2010-01-11 2013-08-06 Smart Technologies Ulc Method for handling user input in an interactive input system, and interactive input system executing the method
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US8539385B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for precise positioning of objects
US8677268B2 (en) * 2010-01-26 2014-03-18 Apple Inc. Device, method, and graphical user interface for resizing objects
US8539386B2 (en) * 2010-01-26 2013-09-17 Apple Inc. Device, method, and graphical user interface for selecting and moving objects
US8717317B2 (en) * 2010-02-22 2014-05-06 Canon Kabushiki Kaisha Display control device and method for controlling display on touch panel, and storage medium
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8423911B2 (en) 2010-04-07 2013-04-16 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
JP5529616B2 (ja) * 2010-04-09 2014-06-25 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、操作入力装置、情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US20130088450A1 (en) * 2010-04-09 2013-04-11 Sony Computer Entertainment Inc. Information processing system, operation input device, information processing device, information processing method, program, and information storage medium
JP5558899B2 (ja) * 2010-04-22 2014-07-23 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
KR101699739B1 (ko) * 2010-05-14 2017-01-25 엘지전자 주식회사 휴대 단말기 및 그 동작방법
WO2011151501A1 (en) * 2010-06-01 2011-12-08 Nokia Corporation A method, a device and a system for receiving user input
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8635555B2 (en) 2010-06-08 2014-01-21 Adobe Systems Incorporated Jump, checkmark, and strikethrough gestures
US8416187B2 (en) 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) * 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US8773370B2 (en) * 2010-07-13 2014-07-08 Apple Inc. Table editing systems with gesture-based insertion and deletion of columns and rows
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US8972879B2 (en) 2010-07-30 2015-03-03 Apple Inc. Device, method, and graphical user interface for reordering the front-to-back positions of objects
US9081494B2 (en) 2010-07-30 2015-07-14 Apple Inc. Device, method, and graphical user interface for copying formatting attributes
US9098182B2 (en) 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
WO2012024022A2 (en) * 2010-08-20 2012-02-23 University Of Massachusetts Hand and finger registration for control applications
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
TWI564757B (zh) 2010-08-31 2017-01-01 萬國商業機器公司 具有觸控螢幕的電腦裝置與其操作方法及電腦可讀媒體
JP2012058857A (ja) * 2010-09-06 2012-03-22 Sony Corp 情報処理装置、操作方法及び情報処理プログラム
US9372618B2 (en) 2010-10-01 2016-06-21 Z124 Gesture based application management
US8797283B2 (en) * 2010-11-22 2014-08-05 Sony Computer Entertainment America Llc Method and apparatus for performing user-defined macros
US8997025B2 (en) * 2010-11-24 2015-03-31 Fuji Xerox Co., Ltd. Method, system and computer readable medium for document visualization with interactive folding gesture technique on a multi-touch display
US20120151397A1 (en) * 2010-12-08 2012-06-14 Tavendo Gmbh Access to an electronic object collection via a plurality of views
CN102591549B (zh) * 2011-01-06 2016-03-09 海尔集团公司 触控删除处理系统及方法
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
KR20120080922A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US8610682B1 (en) 2011-02-17 2013-12-17 Google Inc. Restricted carousel with built-in gesture customization
KR101841121B1 (ko) * 2011-02-17 2018-05-04 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
US9053574B2 (en) * 2011-03-02 2015-06-09 Sectra Ab Calibrated natural size views for visualizations of volumetric data sets
CN102694942B (zh) * 2011-03-23 2015-07-15 株式会社东芝 图像处理装置、操作方法显示方法及画面显示方法
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
KR20140053885A (ko) * 2011-04-18 2014-05-08 아이시360, 인코포레이티드 모바일 컴퓨팅 디바이스에서의 파노라마 비디오 이미징을 위한 장치 및 방법
KR101199618B1 (ko) * 2011-05-11 2012-11-08 주식회사 케이티테크 화면 분할 표시 장치 및 방법
US9292948B2 (en) * 2011-06-14 2016-03-22 Nintendo Co., Ltd. Drawing method
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
US8810533B2 (en) 2011-07-20 2014-08-19 Z124 Systems and methods for receiving gesture inputs spanning multiple input devices
US9292112B2 (en) * 2011-07-28 2016-03-22 Hewlett-Packard Development Company, L.P. Multimodal interface
WO2013027292A1 (ja) * 2011-08-25 2013-02-28 パイオニア株式会社 タッチパネル装置、および、これを用いた情報処理方法
KR101962445B1 (ko) 2011-08-30 2019-03-26 삼성전자 주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 사용자 인터페이스 제공 방법
US9886189B2 (en) 2011-09-09 2018-02-06 Cloudon Ltd. Systems and methods for object-based interaction with cloud-based applications
US10063430B2 (en) 2011-09-09 2018-08-28 Cloudon Ltd. Systems and methods for workspace interaction with cloud-based applications
US9606629B2 (en) 2011-09-09 2017-03-28 Cloudon Ltd. Systems and methods for gesture interaction with cloud-based applications
US9965151B2 (en) 2011-09-09 2018-05-08 Cloudon Ltd. Systems and methods for graphical user interface interaction with cloud-based applications
US20130080932A1 (en) 2011-09-27 2013-03-28 Sanjiv Sirpal Secondary single screen mode activation through user interface toggle
US9594504B2 (en) 2011-11-08 2017-03-14 Microsoft Technology Licensing, Llc User interface indirect interaction
AU2013257423B2 (en) * 2011-11-30 2015-04-23 Neonode Inc. Light-based finger gesture user interface
CA2781742A1 (en) * 2011-12-08 2012-09-11 Exopc User interface and method for providing same
JP5846887B2 (ja) * 2011-12-13 2016-01-20 京セラ株式会社 携帯端末、編集制御プログラムおよび編集制御方法
WO2013095679A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013095677A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
WO2013095678A1 (en) 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
US9189073B2 (en) 2011-12-23 2015-11-17 Intel Corporation Transition mechanism for computing system utilizing user sensing
KR101655876B1 (ko) * 2012-01-05 2016-09-09 삼성전자 주식회사 메시지 기반의 대화 기능 운용 방법 및 이를 지원하는 단말기
US20130205201A1 (en) * 2012-02-08 2013-08-08 Phihong Technology Co.,Ltd. Touch Control Presentation System and the Method thereof
US9600169B2 (en) * 2012-02-27 2017-03-21 Yahoo! Inc. Customizable gestures for mobile devices
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
JP5978660B2 (ja) * 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
US9612663B2 (en) 2012-03-26 2017-04-04 Tata Consultancy Services Limited Multimodal system and method facilitating gesture creation through scalar and vector data
WO2013151322A1 (en) * 2012-04-06 2013-10-10 Samsung Electronics Co., Ltd. Method and device for executing object on display
US9146655B2 (en) 2012-04-06 2015-09-29 Samsung Electronics Co., Ltd. Method and device for executing object on display
US9377937B2 (en) 2012-04-06 2016-06-28 Samsung Electronics Co., Ltd. Method and device for executing object on display
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
EP2658227B1 (en) * 2012-04-27 2018-12-05 LG Electronics Inc. Exchange of hand-drawings on touch-devices
JP2013230265A (ja) * 2012-04-27 2013-11-14 Universal Entertainment Corp ゲーミングマシン
JP5672262B2 (ja) * 2012-04-27 2015-02-18 コニカミノルタ株式会社 画像処理装置、その制御方法、および、その制御プログラム
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
JP2013254463A (ja) * 2012-06-08 2013-12-19 Canon Inc 情報処理装置及びその制御方法、プログラム
KR101392936B1 (ko) * 2012-06-29 2014-05-09 한국과학기술연구원 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
CN104246680B (zh) * 2012-07-24 2018-04-10 慧与发展有限责任合伙企业 发起帮助特征
US9298295B2 (en) * 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct
CN103677591A (zh) * 2012-08-30 2014-03-26 中兴通讯股份有限公司 终端自定义手势的方法及其终端
US9218064B1 (en) * 2012-09-18 2015-12-22 Google Inc. Authoring multi-finger interactions through demonstration and composition
JP6221214B2 (ja) * 2012-09-26 2017-11-01 富士通株式会社 システム、端末装置および画像処理方法
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US10324565B2 (en) 2013-05-30 2019-06-18 Neonode Inc. Optical proximity sensor
CN103777857A (zh) * 2012-10-24 2014-05-07 腾讯科技（深圳）有限公司 实现视频画面转动的方法和装置
US9575562B2 (en) 2012-11-05 2017-02-21 Synaptics Incorporated User interface systems and methods for managing multiple regions
US9654426B2 (en) 2012-11-20 2017-05-16 Dropbox, Inc. System and method for organizing messages
US9935907B2 (en) 2012-11-20 2018-04-03 Dropbox, Inc. System and method for serving a message client
US9729695B2 (en) 2012-11-20 2017-08-08 Dropbox Inc. Messaging client application interface
US9904414B2 (en) * 2012-12-10 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
WO2014092437A1 (en) * 2012-12-10 2014-06-19 Samsung Electronics Co., Ltd. Mobile device of bangle type, control method thereof, and ui display method
DE102013200512A1 (de) * 2013-01-15 2014-07-17 Hella Kgaa Hueck & Co. Beleuchtungsvorrichtung und Verfahren zum Betätigen der Beleuchtungsvorrichtung
US10809865B2 (en) 2013-01-15 2020-10-20 Microsoft Technology Licensing, Llc Engaging presentation through freeform sketching
US9759420B1 (en) 2013-01-25 2017-09-12 Steelcase Inc. Curved display and curved display support
US11327626B1 (en) 2013-01-25 2022-05-10 Steelcase Inc. Emissive surfaces and workspaces method and apparatus
US9261262B1 (en) 2013-01-25 2016-02-16 Steelcase Inc. Emissive shapes and control systems
US20140223382A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Z-shaped gesture for touch sensitive ui undo, delete, and clear functions
EP2961185B1 (en) * 2013-02-20 2020-03-04 Panasonic Intellectual Property Corporation of America Control method for information apparatus and program
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
US9377318B2 (en) 2013-06-27 2016-06-28 Nokia Technologies Oy Method and apparatus for a navigation conveyance mode invocation input
US9665259B2 (en) * 2013-07-12 2017-05-30 Microsoft Technology Licensing, Llc Interactive digital displays
US9524139B2 (en) 2013-10-29 2016-12-20 Dell Products, Lp System and method for positioning an application window based on usage context for dual screen display device
US9727134B2 (en) 2013-10-29 2017-08-08 Dell Products, Lp System and method for display power management for dual screen display device
EP3063608B1 (en) 2013-10-30 2020-02-12 Apple Inc. Displaying relevant user interface objects
US9686581B2 (en) 2013-11-07 2017-06-20 Cisco Technology, Inc. Second-screen TV bridge
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US20160019360A1 (en) 2013-12-04 2016-01-21 Apple Inc. Wellness aggregator
US9613202B2 (en) 2013-12-10 2017-04-04 Dell Products, Lp System and method for motion gesture access to an application and limited resources of an information handling system
US9390726B1 (en) 2013-12-30 2016-07-12 Google Inc. Supplementing speech commands with gestures
US9213413B2 (en) 2013-12-31 2015-12-15 Google Inc. Device interaction with spatially aware gestures
US9577902B2 (en) 2014-01-06 2017-02-21 Ford Global Technologies, Llc Method and apparatus for application launch and termination
US9317129B2 (en) 2014-03-25 2016-04-19 Dell Products, Lp System and method for using a side camera for a free space gesture inputs
US9197590B2 (en) 2014-03-27 2015-11-24 Dropbox, Inc. Dynamic filter generation for message management systems
US9537805B2 (en) * 2014-03-27 2017-01-03 Dropbox, Inc. Activation of dynamic filter generation for message management systems through gesture-based input
EP3123421A1 (en) 2014-03-27 2017-02-01 Dropbox, Inc. Activation of dynamic filter generation for message management systems through gesture-based input
US10222935B2 (en) 2014-04-23 2019-03-05 Cisco Technology Inc. Treemap-type user interface
US10222865B2 (en) 2014-05-27 2019-03-05 Dell Products, Lp System and method for selecting gesture controls based on a location of a device
US10521074B2 (en) 2014-07-31 2019-12-31 Dell Products, Lp System and method for a back stack in a multi-application environment
US9619008B2 (en) 2014-08-15 2017-04-11 Dell Products, Lp System and method for dynamic thermal management in passively cooled device with a plurality of display surfaces
DE112015002326B4 (de) 2014-09-02 2021-09-23 Apple Inc. Monitor für physische Aktivität und Training
US10671275B2 (en) 2014-09-04 2020-06-02 Apple Inc. User interfaces for improving single-handed operation of devices
US10101772B2 (en) 2014-09-24 2018-10-16 Dell Products, Lp Protective cover and display position detection for a flexible display screen
US9996108B2 (en) 2014-09-25 2018-06-12 Dell Products, Lp Bi-stable hinge
US10317934B2 (en) 2015-02-04 2019-06-11 Dell Products, Lp Gearing solution for an external flexible substrate on a multi-use product
JP6281520B2 (ja) * 2015-03-31 2018-02-21 京セラドキュメントソリューションズ株式会社 画像形成装置
EP3337583B1 (en) 2015-08-20 2024-01-17 Apple Inc. Exercise-based watch face
CN106484213B (zh) * 2015-08-31 2019-11-01 深圳富泰宏精密工业有限公司 应用程序图标操作系统与方法
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
US20170285931A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Operating visual user interface controls with ink commands
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US11216119B2 (en) 2016-06-12 2022-01-04 Apple Inc. Displaying a predetermined view of an application
US10736543B2 (en) 2016-09-22 2020-08-11 Apple Inc. Workout monitor interface
US10440346B2 (en) * 2016-09-30 2019-10-08 Medi Plus Inc. Medical video display system
US10372520B2 (en) 2016-11-22 2019-08-06 Cisco Technology, Inc. Graphical user interface for visualizing a plurality of issues with an infrastructure
US10739943B2 (en) 2016-12-13 2020-08-11 Cisco Technology, Inc. Ordered list user interface
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
US10845955B2 (en) 2017-05-15 2020-11-24 Apple Inc. Displaying a scrollable list of affordances associated with physical activities
US20190079591A1 (en) * 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
CN112286434B (zh) 2017-10-16 2021-12-10 华为技术有限公司 一种悬浮按钮显示方法及终端设备
US10783352B2 (en) 2017-11-09 2020-09-22 Mindtronic Ai Co., Ltd. Face recognition system and method thereof
CN107831969A (zh) * 2017-11-16 2018-03-23 宁波萨瑞通讯有限公司 一种添加应用到文件夹的方法及系统
US10862867B2 (en) 2018-04-01 2020-12-08 Cisco Technology, Inc. Intelligent graphical user interface
DK201870378A1 (en) 2018-05-07 2020-01-13 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
US10953307B2 (en) 2018-09-28 2021-03-23 Apple Inc. Swim tracking and notifications for wearable devices
CN109831579B (zh) * 2019-01-24 2021-01-08 维沃移动通信有限公司 一种内容删除方法、终端及计算机可读存储介质
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
US11277485B2 (en) 2019-06-01 2022-03-15 Apple Inc. Multi-modal activity tracking user interface
EP4085321A4 (en) 2019-12-31 2024-01-24 Neonode Inc. CONTACTLESS TOUCHLESS INPUT SYSTEM
DK202070613A1 (en) 2020-02-14 2021-10-15 Apple Inc User interfaces for workout content
US11869650B2 (en) 2021-01-12 2024-01-09 Tandem Diabetes Care, Inc. Remote access for medical device therapy
CN113066190A (zh) * 2021-04-09 2021-07-02 四川虹微技术有限公司 一种基于桌面真三维的文物交互方法
EP4323992A1 (en) 2021-05-15 2024-02-21 Apple Inc. User interfaces for group workouts
CN114489328B (zh) * 2021-12-30 2024-04-05 重庆特斯联智慧科技股份有限公司 一种基于手势分布模板动作识别的机器人控制方法和系统
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces
US20230390626A1 (en) 2022-06-05 2023-12-07 Apple Inc. User interfaces for physical activity information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125803A1 (en) * 2001-02-10 2006-06-15 Wayne Westerman System and method for packing multitouch gestures onto a hand
US20070283263A1 (en) * 2006-06-02 2007-12-06 Synaptics, Inc. Proximity sensor device and method with adjustment selection tabs
US20080168403A1 (en) * 2007-01-06 2008-07-10 Appl Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US20080170776A1 (en) * 2007-01-12 2008-07-17 Albertson Jacob C Controlling resource access based on user gesturing in a 3d captured image stream of the user

Family Cites Families (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
US5459489A (en) * 1991-12-05 1995-10-17 Tv Interactive Data Corporation Hand held electronic remote control device
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US6339767B1 (en) * 1997-06-02 2002-01-15 Aurigin Systems, Inc. Using hyperbolic trees to visualize data generated by patent-centric and group-oriented data processing
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5828369A (en) * 1995-12-15 1998-10-27 Comprehend Technology Inc. Method and system for displaying an animation sequence for in a frameless animation window on a computer display
US6115028A (en) * 1996-08-22 2000-09-05 Silicon Graphics, Inc. Three dimensional input system using tilt
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6469633B1 (en) * 1997-01-06 2002-10-22 Openglobe Inc. Remote control of electronic devices
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6920619B1 (en) * 1997-08-28 2005-07-19 Slavoljub Milekic User interface for removing an object from a display
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US6269172B1 (en) * 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6151595A (en) * 1998-04-17 2000-11-21 Xerox Corporation Methods for interactive visualization of spreading activation using time tubes and disk trees
US7309829B1 (en) * 1998-05-15 2007-12-18 Ludwig Lester F Layered signal processing for individual and group output of multi-channel electronic musical instruments
JP3753882B2 (ja) * 1999-03-02 2006-03-08 株式会社東芝 マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法
DE19933524A1 (de) * 1999-07-16 2001-01-18 Nokia Mobile Phones Ltd Verfahren zur Eingabe von Daten in ein System
US7149690B2 (en) * 1999-09-09 2006-12-12 Lucent Technologies Inc. Method and apparatus for interactive language instruction
WO2001075568A1 (en) * 2000-03-30 2001-10-11 Ideogramic Aps Method for gesture based modeling
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7000200B1 (en) * 2000-09-15 2006-02-14 Intel Corporation Gesture recognition system recognizing gestures within a specified timing
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US20020061217A1 (en) * 2000-11-17 2002-05-23 Robert Hillman Electronic input device
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
JP2002251235A (ja) * 2001-02-23 2002-09-06 Fujitsu Ltd 利用者インタフェースシステム
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6888960B2 (en) * 2001-03-28 2005-05-03 Nec Corporation Fast optimal linear approximation of the images of variably illuminated solid objects for recognition
US6907581B2 (en) * 2001-04-03 2005-06-14 Ramot At Tel Aviv University Ltd. Method and system for implicitly resolving pointing ambiguities in human-computer interaction (HCI)
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US7202791B2 (en) * 2001-09-27 2007-04-10 Koninklijke Philips N.V. Method and apparatus for modeling behavior using a probability distrubution function
US20030067537A1 (en) * 2001-10-04 2003-04-10 Myers Kenneth J. System and method for three-dimensional data acquisition
JP3907509B2 (ja) * 2002-03-22 2007-04-18 株式会社エクォス・リサーチ 緊急通報装置
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US7123770B2 (en) * 2002-05-14 2006-10-17 Microsoft Corporation Incremental system for real time digital ink analysis
US20040001113A1 (en) * 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
US20040233172A1 (en) * 2003-01-31 2004-11-25 Gerhard Schneider Membrane antenna assembly for a wireless device
US6998987B2 (en) * 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US7565295B1 (en) * 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US7577655B2 (en) * 2003-09-16 2009-08-18 Google Inc. Systems and methods for improving the ranking of news articles
US20050089204A1 (en) * 2003-10-22 2005-04-28 Cross Match Technologies, Inc. Rolled print prism and system
WO2005064275A1 (ja) * 2003-12-26 2005-07-14 Matsushita Electric Industrial Co., Ltd. ナビゲーション装置
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US20050181347A1 (en) * 2004-01-16 2005-08-18 Barnes Phineas A. Instructional gaming methods and apparatus
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
WO2005084209A2 (en) * 2004-02-27 2005-09-15 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US20050212753A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
US7180500B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7365736B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US7301526B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US20060061545A1 (en) * 2004-04-02 2006-03-23 Media Lab Europe Limited ( In Voluntary Liquidation). Motion-activated control with haptic feedback
JP4708422B2 (ja) * 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7372993B2 (en) * 2004-07-21 2008-05-13 Hewlett-Packard Development Company, L.P. Gesture recognition
US7374103B2 (en) * 2004-08-03 2008-05-20 Siemens Corporate Research, Inc. Object localization
US7724242B2 (en) * 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US6970098B1 (en) * 2004-08-16 2005-11-29 Microsoft Corporation Smart biometric remote control with telephony integration method
US7761814B2 (en) * 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
JP2006082490A (ja) * 2004-09-17 2006-03-30 Canon Inc 記録媒体及び印刷装置
US7904913B2 (en) * 2004-11-02 2011-03-08 Bakbone Software, Inc. Management interface for a system that provides automated, real-time, continuous data protection
WO2006058129A2 (en) * 2004-11-23 2006-06-01 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US8147248B2 (en) * 2005-03-21 2012-04-03 Microsoft Corporation Gesture training
JP4628421B2 (ja) * 2005-03-30 2011-02-09 パイオニア株式会社 誘導装置、サーバーコンピュータ、誘導方法、誘導プログラム、および記録媒体
WO2006103676A2 (en) * 2005-03-31 2006-10-05 Ronen Wolfson Interactive surface and display system
US20060223635A1 (en) * 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
US7584099B2 (en) * 2005-04-06 2009-09-01 Motorola, Inc. Method and system for interpreting verbal inputs in multimodal dialog system
US7499027B2 (en) * 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
KR100735663B1 (ko) * 2005-10-06 2007-07-04 삼성전자주식회사 이동통신 단말기에서 패널입력의 패턴인식을 이용한 명령일괄처리 방법
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
WO2007065019A2 (en) * 2005-12-02 2007-06-07 Hillcrest Laboratories, Inc. Scene transitions in a zoomable user interface using zoomable markup language
JP4064446B2 (ja) * 2005-12-09 2008-03-19 松下電器産業株式会社 情報処理システム、情報処理装置および方法
US20090278806A1 (en) * 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
CA2646015C (en) * 2006-04-21 2015-01-20 Anand Agarawala System for organizing and visualizing display objects
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
WO2008011075A2 (en) * 2006-07-18 2008-01-24 Barry Katz A response scoring system for verbal behavior within a behavioral stream with a remote central processing system and associated handheld communicating devices
US8291042B2 (en) * 2006-07-31 2012-10-16 Lenovo (Singapore) Pte. Ltd. On-demand groupware computing
US8441467B2 (en) * 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7813774B2 (en) * 2006-08-18 2010-10-12 Microsoft Corporation Contact, motion and position sensing circuitry providing data entry associated with keypad and touchpad
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US8842074B2 (en) * 2006-09-06 2014-09-23 Apple Inc. Portable electronic device performing similar operations for different gestures
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US20080167960A1 (en) * 2007-01-08 2008-07-10 Topcoder, Inc. System and Method for Collective Response Aggregation
US8714987B2 (en) * 2007-03-28 2014-05-06 Breakthrough Performancetech, Llc Systems and methods for computerized interactive training
US20080250314A1 (en) * 2007-04-03 2008-10-09 Erik Larsen Visual command history
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
WO2009059065A1 (en) * 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US9082117B2 (en) * 2008-05-17 2015-07-14 David H. Chin Gesture based authentication for wireless payment by a mobile electronic device
US8194921B2 (en) * 2008-06-27 2012-06-05 Nokia Corporation Method, appartaus and computer program product for providing gesture analysis
US7870496B1 (en) * 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US8654234B2 (en) * 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US8356045B2 (en) * 2009-12-09 2013-01-15 International Business Machines Corporation Method to identify common structures in formatted text documents
US20110263946A1 (en) * 2010-04-22 2011-10-27 Mit Media Lab Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125803A1 (en) * 2001-02-10 2006-06-15 Wayne Westerman System and method for packing multitouch gestures onto a hand
US20070283263A1 (en) * 2006-06-02 2007-12-06 Synaptics, Inc. Proximity sensor device and method with adjustment selection tabs
US20080168403A1 (en) * 2007-01-06 2008-07-10 Appl Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US20080170776A1 (en) * 2007-01-12 2008-07-17 Albertson Jacob C Controlling resource access based on user gesturing in a 3d captured image stream of the user

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273019A (zh) * 2011-09-20 2017-10-20 谷歌公司 基于协同姿势的输入语言
CN107273019B (zh) * 2011-09-20 2020-12-01 谷歌有限责任公司 基于协同姿势的输入语言
CN103176734A (zh) * 2011-11-14 2013-06-26 三星电子株式会社 启用触摸屏的终端及其应用控制方法
CN103218069A (zh) * 2012-01-21 2013-07-24 飞宏科技股份有限公司 触控简报系统及其执行方法
CN103365529A (zh) * 2012-04-05 2013-10-23 腾讯科技（深圳）有限公司 一种图标管理方法及移动终端
CN103365529B (zh) * 2012-04-05 2017-11-14 腾讯科技（深圳）有限公司 一种图标管理方法及移动终端
CN104335591A (zh) * 2012-06-30 2015-02-04 英特尔公司 用于基于上下文的媒体的自适应递送的系统
CN103870095B (zh) * 2012-12-12 2017-09-29 广州三星通信技术研究有限公司 基于触摸屏的用户界面操作方法和使用该方法的终端设备
CN103870095A (zh) * 2012-12-12 2014-06-18 广州三星通信技术研究有限公司 基于触摸屏的用户界面操作方法和使用该方法的终端设备
CN114527881A (zh) * 2015-04-07 2022-05-24 英特尔公司 化身键盘
CN114527881B (zh) * 2015-04-07 2023-09-26 英特尔公司 化身键盘
CN106406507A (zh) * 2015-07-30 2017-02-15 株式会社理光 图像处理方法以及电子设备
CN106406507B (zh) * 2015-07-30 2020-03-27 株式会社理光 图像处理方法以及电子设备

Also Published As

Publication number Publication date
US20100031202A1 (en) 2010-02-04
EP2329340A4 (en) 2016-05-18
WO2010017039A3 (en) 2010-04-22
US20100031203A1 (en) 2010-02-04
JP2011530135A (ja) 2011-12-15
WO2010017039A2 (en) 2010-02-11
EP2329340A2 (en) 2011-06-08

Similar Documents

Publication Publication Date Title
CN102112944A (zh) 用于表面计算的用户定义的姿势集
Huynh et al. Discovery of activity patterns using topic models
US8165974B2 (en) System and method for assisted document review
CN102067079B (zh) 在用户界面显示上呈现教导动画
US20150082224A1 (en) Computer graphical user interface system, and method for project mapping
CN109582798A (zh) 自动问答方法、系统及设备
Scoditti et al. A novel taxonomy for gestural interaction techniques based on accelerometers
CN102609083B (zh) 实现基于文化的姿势的全局设定
CN101540022A (zh) 项目环境中的知识转移
Sluÿters et al. Consistent, continuous, and customizable mid-air gesture interaction for browsing multimedia objects on large displays
Magrofuoco et al. Gelicit: a cloud platform for distributed gesture elicitation studies
US20200233523A1 (en) Sequential two-handed touch typing on a mobile device
Ottley Adaptive and personalized visualization
Virvou Artificial Intelligence and User Experience in reciprocity: Contributions and state of the art
Sluÿters et al. Quantumleap, a framework for engineering gestural user interfaces based on the leap motion controller
CN114357951A (zh) 生成标准报告的方法、装置、设备及存储介质
Hollan et al. An introduction to HITS: Human interface tool suite
Stanik et al. Which app features are being used? Learning app feature usages from interaction data
Mentis et al. Using touchpad pressure to detect negative affect
KR20150017977A (ko) 지능적 정보 제공 방법 및 장치
US9870063B2 (en) Multimodal interaction using a state machine and hand gestures discrete values
Kules et al. Immediate usability: Kiosk design principles from the CHI 2001 photo library
KR102207514B1 (ko) 맞춤형 필터링 기능이 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
US11894941B1 (en) Real-time tone feedback in video conferencing
Alavi A Framework for Optimal In-Air Gesture Recognition in Collaborative Environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110629