CN102736845B - 针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置 - Google Patents

针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置 Download PDF

Info

Publication number
CN102736845B
CN102736845B CN201210083805.8A CN201210083805A CN102736845B CN 102736845 B CN102736845 B CN 102736845B CN 201210083805 A CN201210083805 A CN 201210083805A CN 102736845 B CN102736845 B CN 102736845B
Authority
CN
China
Prior art keywords
user interface
hand
finger
equipment
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210083805.8A
Other languages
English (en)
Other versions
CN102736845A (zh
Inventor
A·克里希纳斯瓦米
D·K·马科利纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of CN102736845A publication Critical patent/CN102736845A/zh
Application granted granted Critical
Publication of CN102736845B publication Critical patent/CN102736845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置。可以在多点触摸显示器设备上提供用户界面，该用户界面根据在人类手部周围构建的局部坐标系而显示。用户可以使用自然的手势将所有的五个手指的指尖放置多点触摸用户界面上以提供五个输入点；该方法检测哪个输入点对应于哪个手指，并且基于输入点构建针对手部的局部坐标系。用户界面元素(例如控制)可以继而被指派给每个手指并且在多点触摸显示器上显示。用户可以继而根据需要经由与特定控制相关联的一个或多个手势来选择性地操纵一个或多个所显示的控制。

Description

针对支持多点触摸的设备提供局部坐标系用户界面的方法和 装置
背景技术
作为诸如按钮和滑动条之类的传统的用户界面(UI)元素的替代，通常在支持多点触摸的设备中使用手势以用于调取动作。例如，可以使用扫动手势(在一个位置放下手指并且跨设备地扫动)替代用于执行一些动作(例如翻页)的按钮。另一示例可以是同时放下两个手指，并且使用两个手指之间的距离以应用缩放(更被熟知为“放缩(pinch)”手势)。这些手势以及其他一些常规的手势具有某些共同点。例如，常规地，手势并不知晓使用哪个手指或哪些手指以执行手势。此外，支持多点触摸的设备本身并不知晓使用哪个手指或哪些手指用于手势，并且无法检测使用哪个手指或哪些手指。这些设备并不能将一个手指的按压与另一手指的按压进行区别。此外，常规上，通常使用手势以执行单个动作。
发明内容
描述了针对支持多点触摸的设备提供局部坐标系(coordinate frame)用户界面的方法和装置的各种实施方式。一些实施方式可以在多点触摸显示设备上提供用户界面，该用户界面根据在人类手部周围构建的局部坐标系而显示。在一些实施方式中，用户可以使用自然的手势将所有五个手指(称为食指、中指、无名指和小拇指的四个手指以及大拇指)的指尖放置在多点触摸用户界面上，以提供五个输入点；该方法检测哪个输入点对应于哪个手指，并且基于输入点构建针对手部的局部坐标系。可以称为化身(avatar)的用户界面元素(例如控制)可以继而被指派给每个手指并且在多点触摸显示器上显示。用户可以继而根据期望经由与特定控制相关联的一个或多个手势来选择性地操纵一个或多个显示控制。
在局部坐标系用户界面的操作方法中，可以检测在支持多点触摸的设备上的多指触摸手势(例如四指或五指触摸手势)。支持多点触摸的设备可以是提供多点触摸手势输入机制的任何计算设备。可以根据所检测的多指输入构建针对手部的局部坐标系。显示两个或多个用户界面元素(称为化身)，每个化身被指派给手指中的特定手指并且每个代表与其中实现界面的应用相关的动作或调整。可以检测选择所显示的用户界面元素中的特定元素的事件。选择与特定手指相关联的特定化身的事件例如可以是抬升其他手指。例如，为了选择与大拇指相关联的化身，用户可以抬升除大拇指外的所有的手指。在至少一些实施方式中，可以在用户从支持多点触摸的设备抬升所有手指时维持所显示的化身；用户可以继而通过触摸靠近期望化身的屏幕或在期望化身上的屏幕来选择特定化身。用户可以继而根据与所选用户界面元素(化身)相关的触摸或多点触摸来应用一个或多个动作或调整。
附图说明
图1是根据至少一些实施方式的局部坐标系用户界面的操作方法的高层流程图。
图2A是根据至少一些实施方式的支持多点触摸设备的图形表示，并且示出了用于构建针对手部的局部坐标系的启发式技术，该手部用于应用五指触摸手势以调取局部坐标系用户界面。
图2B显示了根据至少一些实施方式的值的示例阵列或表，该值可以在如图2A和图3中示出的启发式技术中使用。
图3是根据至少一些实施方式的用于构建局部坐标系的启发式技术的流程图。
图4A示出了根据至少一些实施方式的示例局部坐标系用户界面，其中关于用户左手的、用于执行五指触摸手势的五个手指中的每个手指显示单独的控制或化身。
图4B示出了用户可以移动或旋转他们的手部，并且根据触摸点的经更新的定位以及针对手部的之前确定的局部坐标系来调整所显示的用户界面元素。
图4C示出了根据至少一些实施方式使用右手执行五指触摸手势。
图5A图形示出了根据至少一些实施方式的用户抬升除一个手指外的所有手指，在该示例中抬升除了食指外的所有手指。
图5B和图5C示出了根据至少一些实施方式与在所有其他手指提升时留下与多点触敏屏接触的手指对应的控制操纵。
图6示出了根据至少一些实施方式的示例，其中，大拇指可以用于基于多个不同手势执行各种动作，该手势可以在其他四个手指已被提升时由大拇指做出。
图7示出了根据至少一些实施方式的一个示例，其中根据针对手部的向上矢量来定向与手指相关联的所有控制。
图8A示出了根据至少一些实施方式的图示，其中用户已从图7中示出的显示器移开所有五个手指以调取局部坐标系用户界面的持续模式。
图8B示出了根据至少一些实施方式的图示，其中用户已选择并且正在操纵与特定手指相关联的局部坐标系用户界面的特定控制。
图8C示出了根据至少一些实施方式的用户已选择并且正在操纵局部坐标系用户界面的另一控制。
图8D示出了根据至少一些实施方式的用户已选择并且正在操纵局部坐标系用户界面的大拇指控制。
图9示出了根据至少一些实施方式的使用具有诸如绘图工具之类的其他用户界面工具的局部坐标系用户界面。
图10示出了一个示例艺术应用中的局部坐标系用户界面(UI)模块，该模块实现如图1至图9中描述的局部坐标系用户界面技术。
图11示出了根据至少一些实施方式的图示，其中示出了在实现如图10所示的应用的、支持多点触摸的便携式设备上创建输出并且将输出发送给另一更强大设备960以用于附加处理。
图12示出了可以在一些实施方式中使用的示例计算机系统。
虽然本文针对若干实施方式和说明性附图通过示例描述了本发明，但是本领域技术人员将认识到本发明并不限于所述的实施方式或附图。应该理解，本发明的附图和具体描述并不旨在将本发明限制到所公开的特定形式，而是相反地，本发明旨在覆盖落入本发明的精神和范围内的所有修改、等同物和备选物。本文所用的标题仅用于组织性目的并且无意于限制描述的范围。如本申请全文中所使用的那样，词语“可以”在允许性的意义上使用(即意指有可能)而在非强制性的意义上使用(即意指必须)。类似地，词语“包括”和“包含”意指包括而非限制。
具体实施方式
在下面的具体描述中，阐述了众多具体细节以提供对权利要求主题的完整理解。然而，本领域技术人员将理解可以在不具有这些具体细节的情形下实践权利要求的主题。在其他一些实例中，为了不混淆权利要求的主题，没有详细描述本领域技术人员将知晓的方法、装置或系统。
下面详细描述的一些部分以关于存储在特定装置或特定用途的计算设备或平台的存储器内的二进制数字信号的操作的算法或字符表示来呈现。在该特定说明书的上下文中，术语特定装置等包括一般用途的计算机，一旦该计算机被编程则根据来自程序软件的指令执行特定功能。算法描述或字符表示是信号处理或相关领域中技术人员所使用的、用于将他们工作的实质传达给该领域中其他技术人员的技术示例。此处的算法一般被认为是导致期望的结果的操作或类似信号处理的自洽序列。在该上下文中，操作或处理涉及对物理量的物理操纵。典型地，虽然并非必然地，这类量可以采取能够被存储、传送、组合、比较或以其他方式被操纵的电信号或磁信号的形式。已经表明，有时主要出于通常使用的目的，便于将这类信号指代为比特、数据、值、元素、符号、字符、项、号码、数字等。然而应该理解，所有这些项或类似项与适当的物理量相关联并且仅为方便的标记。除非另有明确表述，否则如下面论述所显而易见的那样，可以理解在本说明书全文中利用诸如“处理”、“计算”、“确定”等的术语的论述指代具体装置的动作或处理，该具体装置诸如特殊用途计算机或类似的特殊用户电子计算设备。因此在本说明书的上下文中，特殊用途计算机或类似特殊用途电子计算设备能够操纵或转换特殊用途计算机或类似特殊用途电子计算设备的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的通常表示为物理电学或磁性量的信号。
描述了用于为支持多点触摸的设备提供局部坐标系用户界面的方法和装置的各种实施方式。一些实施方式可以提供在多点触摸显示设备上根据围绕人类手部构建的局部坐标系显示的用户界面。在一些实施方式中，用户可以使用自然的手势将所有的五个手指(本文称为食指、中指、无名指和小拇指的四个手指以及大拇指)的指尖放置在多点触摸用户界面上以提供五个输入点；该方法检测哪个输入点对应于哪个手指，并且基于输入点构建针对手部的局部坐标系。可以称为化身的用户界面元素(例如控制)可以继而被指派给每个手指，并且在多点触摸显示器上显示。用户可以继而根据期望经由与特定控制相关联的一个或多个手势选择性地操纵一个或多个所显示的控制。
启发式技术被描述为可以在一些实施方式中用于从五个输入点计算局部坐标系。可以以相对于手指并无特定顺序来接收五个输入点。关于输入点对于启发式技术的顺序或值不存在隐含性假设。可以相对于整个手部和/或相对于每个单独的手指来计算局部坐标系。启发式技术并不知晓设备的定向和针对那只手(左手或右手)来使用。因此，用户可以使用左手或右手以调取局部坐标系用户界面，并且可以以相对于设备本身的不同定向来进行。此外，该技术可以基本上连续地检测手指在多点触摸设备上的动作，并且响应于该动作更新相对于该设备的局部坐标系；因此，用户可以移动或旋转他们的手部，并且所显示的用户界面相应地更新以相对于设备调整手部的新位置。此外，启发式技术可以从手指输入点推断手部的手掌的相对位置，从而允许用户界面显示各种用户界面元素，其中元素很有可能可见，而不是被用户的手部遮挡，或者相反地有目的地显示用户界面元素，其中该元素将被手掌遮挡直至用户移开他们的手部。
一些实施方式可以检测如下事件，该事件选择与特定手指相关联的所显示的化身。选择与特定手指相关联的特定化身的事件例如可以是其他四个手指的抬升。例如，为了选择与食指相关联的化身，用户可以抬升所有其他手指和大拇指。在至少一些实施方式中，当用户从支持多点触摸的设备抬升所有的五个手指时，可以维持所显示的化身；继而用户可以通过触摸靠近化身的屏幕或化身上的屏幕来选择特定化身。
描述了用于多点触摸设备的应用中的局部坐标系用户界面的示例使用情形。使用情形包括如下示例，在该示例中局部坐标系用户界面可以与用于多点触摸的设备的应用中的例如手写输入之类的其他输入组合使用。
局部坐标系用户界面的一些实施方式可以在支持多点触摸输入的设备上多点触摸输入的任何应用中实现，以显示相对于特定手指的一个或多个界面元素。其中可以实现实施方式的应用的示例分类是数字照片调整、艺术、图形设计以及图像处理应用，或更具体而言为其中用户可以经由支持多点触摸的用于艺术或其他目的的应用，与支持多点触摸的设备进行交互的应用。局部坐标系用户界面的一些实施方式例如可以实现为应用的模块，其作为包括但不限于艺术、图形设计以及图像处理应用的应用的插件，和/或作为可以被包括但不限于艺术、图形设计和图像处理应用的其他一些应用调用的库函数或函数。其中可以实现实施方式的应用或技术的具体示例包括但不限于技术、技术、技术以及After技术。“Adobe”、“Photoshop”、“Flash”、“Illustrator”和“After Effects”是在美国和/或其他国家组成公司的奥多比(Adobe)系统的注册商标或商标。
在申请号为13/029,036、名称为“Methods and Apparatus for Simulation OfFluid Motion Using Procedural Shape Growth”的美国专利申请中，描述了其中可以实现局部坐标系用户界面的实施方式的示例艺术应用，该申请通过引用整体并入本文。
可以通过存储在计算机可读存储介质中并且可由一个或多个处理器(例如一个或多个CPU和/或GPU)执行的程序指令所实现的一个模块或多个模块来实现或实施经由用户界面提供的、手指专用化身支持的局部坐标系用户界面和动作或调整的实施方式。在一些实施方式中，由经由用户界面提供的手指专用化身支持的局部坐标系用户界面和动作或者调整中的至少一些组件可以在一个或者多个图形处理单元(GPU)上实现。在图10中示出了如本文所述的可以实现一些实施方式的示例模块和可以实现该模块的示例应用。在图12中示出了可以在其上实现实施方式的示例计算机系统。
虽然局部坐标系用户界面的一些实施方式总体描述为响应于五指手势而被调取，但是在至少一些实施方式中，可以使用其他手势输入来调取界面，例如使用四指手势或使用跨越支持多点触摸的设备进行扫动。这些其他手势输入例如可以允许手部缺乏灵巧性或手部缺失一个或多个手指的用户调取界面。
局部坐标系用户界面的高层操作
图1是根据至少一些实施方式的局部坐标系用户界面的操作方法的高层流程图。如10处所示，可以在支持多点触摸的设备上检测多指触摸手势(例如四指或五指触摸手势)。支持多点触摸的设备例如可以是台式计算机、笔记本或膝上型计算机、诸如之类的支持多点触摸的便携式设备或类似设备、或是一般的可以提供支持多点触摸输入机制的任何计算设备。如20处所示，可以通过经检测的多指输入构建针对手部的局部坐标系。如30处所示，显示了两个或更多个用户界面元素(称为化身)，每个化身被指派给特定手指，并且每个化身表示与其中实现界面的应用相关的动作或者调整。如40处所示，可以检测选择所显示的用户界面元素中的特定元素的事件。选择与特定手指相关联的特定化身的事件例如可以是抬升其他手指。例如，为了选择与大拇指相关联的化身，用户可以抬升除了大拇指之外的所有手指。在至少一些实施方式中，当用户从支持多点触摸的设备抬升所有的手指时，可以维持所显示的化身。继而用户可以通过触摸靠近期望化身的屏幕或期望化身上的屏幕来选择特定化身。如在50处所示，继而用户可以根据相对于所选的用户界面元素(化身)的触摸或多点触摸来应用一个或多个动作或调整。
构建局部坐标系
图2A至图2B和图3示出了根据至少一些实施方式的用于构建局部坐标系的启发式技术。图3是根据至少一些实施方式的用于构建局部坐标系的启发式技术的流程图。如在200处所示，该方法可以检测在支持多点触摸的设备上的五指触摸手势。图2A是包括多点触敏屏102的支持多点触摸的设备100的图形表示。如图所示，用户可以向多点触敏屏102应用五指的自然手势。在设备100上实现的局部坐标系用户界面模块(未示出)可以检测或接收五指触摸手势的指示。局部坐标系用户界面模块可以确定或获得对应于五指手势输入的五个触摸点104。五个触摸点104可以表示为相对于屏幕102上的某个点的笛卡尔坐标((x，y)坐标，如图2B的第一栏所示)，通常是相对于屏幕102的角落之一。
如图3的202处所示，可以使用触摸点的笛卡尔坐标来计算每个触摸点104之间的欧几里得距离。参见图2A，局部坐标系用户界面模块可以确定每个触摸点104之间的欧几里得距离106，并且可以构建记录五个触摸点和从触摸点104中每个到每个其他触摸点104的欧几里得距离106的表或阵列。在图2B中示出了这样的表或阵列的示例。在图2B中，“d(a，b)”条目表示至另一触摸点104的欧几里得距离106的值。“-”条目表示从触摸点从接触点到其自身的距离为空或零。注意，此时五个接触点104(1至5)并未与任何特定手指相关联。
如图3的204处所示，该方法可以计算阵列中每个触摸点的均值距离(meandistance)。例如，触摸点1的均值距离是从触摸点1到触摸点2至5中每一个的距离之和除以4。在图2B中，经计算的均值显示为“M(a)”条目。
如206处所示，该方法可以指派具有最大均值距离的触摸点作为大拇指触摸距离。对于大多数用户而言，在假设如图2A所示的自然、放松的触摸手势的情形下，从大拇指到其他四个手指的均值距离将大于从任何其他手指到其他四个手指的均值距离。
在指派大拇指触摸点之后，继而启发式方法可以指派触摸点给四个手指中的每一个。如208处所示，该方法可以继而选择具有到指派给大拇指的触摸点的最小欧几里得距离的触摸点作为食指触摸点(或简单称为食指)。如210处所示，该方法继而可以选择具有到食指触摸点(并非大拇指触摸点)的最小欧几里得距离的触摸点为中指触摸点(或简单称为中指)。如212处所示，该方法继而可以选择具有至中指触摸点(并非大拇指触摸点或食指触摸点)的最小欧几里得距离的触摸点为无名指触摸点(或简单称为无名指)。如214处所示，该方法可以继而选择剩余的触摸点作为小拇指触摸点(或简单称为小拇指)。
如216处所示，该方法可以通过所确定的手指触摸点估算手掌定位。在至少一些实施方式中，如图2A所示，为了确定手掌定位，该方法可以采用小拇指触摸点和大拇指触摸点之间的中点作为对手掌定位的近似。对于大多数用户而言，在假设如图2A所示的自然手势的情形下，这将是对手掌的定位的良好近似。然而可以使用其他一些方法根据所确定的手指触摸点来确定手掌定位。例如，在一些实施方式中，可以通过计算全部五个触摸点的图心来确定手掌的定位。
如218处所示，该方法可以确定是否使用左手或右手执行五指触摸手指，以及如图2A所示的针对手部的“向上”方向或向上矢量。在至少一些实施方式中，可以通过采用来自两个手指至另一手指的单位矢量并且使用这些矢量的方向，确定向上方向来做出该决定。例如，在一些实施方式中，该方法可以采用来自食指触摸点至大拇指触摸点的单位矢量以及从中指触摸点至大拇指触摸点的单位矢量，并且使用这些矢量所指向的方向来推断向上方向或矢量。
使用中指作为示例，该方法可以采用中指触摸点和食指触摸点之间的矢量以及无名指触摸点和中指触摸点之间的矢量，计算矢量的正交量，并且采用正交量的平均作为向上矢量。该方法提供了对于中指而言哪个方向是向上方向的良好近似，这继而可以用于用作针对作为整体的手部的向上矢量。
然而，显示设备的坐标系统是相对于在显示器上某个位置处的原点。对于大多数这类设备而言，原点位于左上角。因此，所确定的向上矢量可以对于一个手部是负向，但是对于另一手部是正向。为了对此进行调整，可以对负向情形中的矢量进行反向。在至少一些实施方式中，为了执行该调整，该方法可以确定针对手指的矢量(例如针对中指或食指)，并且采用该矢量与从大拇指至另一手指(例如无名指)的矢量的点积。如果这两个矢量的点积为负，则反向或翻转向上矢量。使用该技术，针对所有手指的向上矢量可以指向正确的向上方向，无论手部是左手或是右手。
图3描述了用于确定针对执行五指触摸手势的手部的局部坐标系的启发式方法。该方法并不可知使用哪个手部，确定哪个接触点对应于哪个手指与使用左手或是右手提供输入无关。此外，该方法并不可知手部相对于支持多点触摸设备100的定向。然而注意，在一些实施方式中可以运用其他方法或技术将五个输入触摸点映射至特定手指，并且执行确定局部坐标系方面的其他任务。
五个触摸点的笛卡尔坐标、指派给每个触摸点的特定手指、手掌的经估算的定位、左手或右手确定以及所确定的向上矢量共同提供了针对执行五指触摸手势的手部的局部坐标系。一旦该方法确定了局部坐标系，则可以通过在显示屏102上追踪五个手指的定位来更新局部坐标系，而无需将触摸点重新映射至特定手指、确定手掌定位、向上方向等。
显示局部坐标系用户界面
在例如使用图3中所示的方法确定了针对手部的局部坐标系之后，局部坐标系用户界面模块可以相对于经确定的局部坐标系显示一个或多个用户界面元素。图4A示出了一个示例，在该示例中相对于用户左手的用于执行五指触摸手势的五个手指中的每个手指而显示了单独控制或化身。该示例显示了用户界面元素为大拇指控制110、食指控制112、中指控制114、无名指控制116和小拇指控制118。虽然图4A示出了针对五个手指中每个手指显示的用户界面元素或化身，但是在一些实施方式中用户界面元素或化身可以针对手指中的仅一些而显示，例如针对大拇指和食指和中指。在图4A中所示的示例中，例如，大拇指控制110代表用于挑选针对工具或所选对象的颜色的颜色选取器控制，食指控制112代表用于调整工具或所选对象的不透明度的不透明度控制，并且中指114代表用于调整工具或所选对象的尺寸的尺寸控制，而无名指控制116和小拇指控制118未被定义。在至少一些实施方式中，所显示的控制可以是未激活的，直至通过用户选择特定控制执行动作。
为了显示针对每个手指的用户界面元素或控制，该方法可以确定针对该手指的局部坐标系。在至少一些实施方式中，针对手指的局部坐标系可以简洁地表示为二维向上矢量。图4A中带箭头的虚线表示了针对5个手指的示例向上矢量，还示出了代表针对手部的总体局部坐标系的向上矢量。可以使用类似但是不同的技术来构建针对每个单独手指的局部坐标系(向上矢量)。下面描述了可以在至少一些实施方式中使用的用于计算对应于每个手指的向上矢量的示例技术。
为了确定针对大拇指的向上矢量，可以使用如下技术，该技术采用从大拇指触摸点至食指触摸点的矢量，并且计算与其正交的矢量。该矢量继而被用作针对大拇指的向上矢量。
为了确定针对食指的向上矢量，可以使用如下技术，该技术采用从食指触摸点至大拇指触摸点的矢量和从食指触摸点至中指触摸点的矢量。这两个矢量可以被平均，而经平均的矢量的正交量可以被用作针对食指的向上矢量。
为了确定针对中指的向上矢量，可以使用如下技术，该技术采用从中指触摸点至大拇指触摸点的矢量和从中指触摸点至无名指触摸点的矢量。这两个矢量可以被平均，而经平均的矢量的正交量可以被用作针对中指的向上矢量。
为了确定针对无名指的向上矢量，可以使用如下技术，该技术采用从无名指触摸点至小拇指触摸点的矢量和从无名指触摸点至中指触摸点的矢量。这两个矢量可以被平均，而经平均的矢量的正交量可以被用作针对无名指的向上矢量。
对于小拇指而言，该方法可以使用从小拇指接触点至无名指触摸点的矢量的正交量作为向上矢量。
针对手部的总体局部坐标系还可以简洁地表示为二维向上矢量。在至少一些实施方式中，为了计算针对手部的总体局部坐标系，该技术可以使用针对食指和中指的向上矢量的平均作为针对手部的向上矢量。
可以使用其他一些技术来确定和/或表示针对手指的局部坐标系和针对手部的总体局部坐标系。
在图4A中，可以假设用户的五个手指仍与多点触敏屏102接触。然而，在至少一些实施方式中，可以继续显示相对于针对手部的局部坐标系的用户界面元素，并且根据需要更新该用户界面元素，只要至少两个手指保持与多点触敏屏102接触。图4B示出了用户可以移动或旋转他们的手部，以及根据之前确定的针对手部的局部坐标系和触点的已更新定位来调整所显示的用户界面元素。在至少一些实施方式中，只要多于一个手指保持与多点触敏屏102接触，则在被显示和更新时对应于手指的所有控制可以保持未激活，从而使得用户手部的动作并不导致应用对应的动作或调整。
虽然图4A和图4B示出了执行五指多点触摸手势的左手，但是图4C示出了根据至少一些实施方式的使用右手执行手势。在图4C中，针对右手正确确定局部坐标系，并且用户界面元素或化身被显示为对应于正确的手指。因此，例如，针对左手的食指控制112对应于针对右手的食指控制112，在该示例中这两者均为不透明度控制。
激活和使用控制
图5A根据至少一些实施方式示意地示出了用户抬升除了一个手指外的所有手指，在该示例中抬升除了食指外的所有手指。一旦用户抬升四个手指(仅留下一个手指仍与多点触敏屏102接触)，则该方法可以计算或使用之前针对剩余手指计算的局部坐标系，并且激活根据该系对应的用户界面元素或化身。可以移除和/或禁用对应于已抬升的手指的其他用户界面元素或化身。就这一点而言，用户执行的任何动作或手势可以应用至对应于与该手指相关联的用户界面元素或化身的具体动作或调整。在图4A中所示的示例中，用户抬升除了食指之外的所有手指，并且因而显示和激活食指控制112(在该示例中为不透明度控制)。
图5B和图5C示出了根据至少一些实施方式的对应于如下手指的控制操纵，该手指在所有的其他手指被提升时保持与多点触敏屏102接触。使用针对食指的局部坐标系，可以以如下方式使用手指执行调整或动作，该方式对于相应手指的定向是自然的。例如，如图5B所示，通过执行其中食指相对于食指的局部坐标系向下移动的手势130A，可以增加与食指控制112相关联的参数值。如图5C所示，通过执行其中食指相对于食指的局部坐标系向下移动的手势130B，可以降低与食指控制112相关联的参数值。通过具有针对每个手指的不同的局部坐标系，可以以对于手部而言是自然的方式而不是以取决于设备定向的方式，分别执行关于每个手指的移动。
如图5B和5C所示，在至少一些实施方式中，对于至少一些控制而言，可以响应于操纵当前活跃的控制的手势而显示指示器120，该指示器120提供相关反馈给用户。在图5B和图5C中示出的示例中，指示器120可视地示出了使用食指控制112调高和调低不透明度的结果。为了显示指示器120，该方法可以确定屏幕的区域，在该区域中根据针对手部的局部坐标系信息(之前已被计算出并且可以随着用户移动他们的手部而被调整)来显示不太可能被用户手部遮挡的指示器。
其他手势和控制的一些示例
虽然图5B和图5C示出了使用与控制(例如食指控制112)有关的向上和向下手势来上调或下调对应于该控制的参数值，可以在局部坐标系用户界面中支持其他类型的控制和其他手势，以执行各种动作或调整。
图6示出了根据至少一些实施方式的示例，在该示例中，一旦其他四个手指已被提升，则可以基于使用大拇指作出的多个不同的手势，来作出各种动作。在该示例中，可以确定从大拇指接触点至食指接触点的矢量，或者备选地确定从大拇指接触点至手掌定位或一些其他手指的接触点的矢量。使用大拇指在多点触敏屏102上的在该方向上的扫动手势可以发起第一动作(例如撤销操作)。相反方向的扫动手势可以发起第二操作(例如重做操作)。与该方向垂直的扫动(与从大拇指触摸点至食指触摸点或一些其他点的矢量正交)可以发起第三操作(例如清除屏幕操作)。虽然图6示出了正由右手执行的该技术，但是可以使用左手执行相同技术，但是其中从大拇指触摸点至食指触摸点的矢量的定向被反向。
作为另一示例，局部坐标系用户界面可以显示诸如颜色轮盘之类的用户界面元素，当从多点触敏屏移开除了一个手指之外的所有手指或所有手指时，可以显示和激活该用户界面元素。用户可以继而应用选择手势至用户界面元素(诸如触摸该元素并沿环状运动或以其他方式运动来移动手指)以从该轮盘选择一些值(例如颜色)。图8C示出了颜色轮盘用户界面元素的示例。
作为另一示例，用户可以抬升除一个手指之外的所有手指，例如除食指之外的所有手指。使用另一手指轻击多点触敏屏102或使用一个或多个其他手指的其他动作(诸如放缩动作)可以继而被解读为用于执行特定动作或调整的特定手势。
以上内容均通过示例给出，而并非旨在限制。一些实施方式可以适配为显示各种用户界面控制以及接收和解读各种手势以初始对应于这些控制的动作。
控制的定向
在图4A至图4C中所示的示例中，根据相应索引的局部坐标系或向上矢量对各个控制或化身定向。在至少一些实施方式中，作为根据相应索引的向上矢量对控制或化身定向的替代，可以均根据相同向上矢量(例如根据针对手部的整体局部坐标系)对控制进行定向。如前所述，整体局部坐标系可以简洁地表示为针对手部的二维向上矢量。图7和图8A至图8D示出了一个示例，其中根据图7中所示的针对手部的向上矢量定位所有控制(大拇指控制110、食指控制112、中指控制114、无名指控制116和小拇指控制118)。在至少一些实施方式中，为了计算该向上矢量，可以使用如下技术，该技术采用针对食指和中指的向上矢量的平均作为针对手部的向上矢量。在一些实施方式中，局部坐标系用户界面可以提供用户可选的选项，用户可以经由该选项指定这些定向模式中的哪个模式是用户希望运用的。
持续模式和瞬态模式
在一些实施方式中，局部坐标系用户界面可以提供持续模式或瞬态模式中的一种或两种。在瞬态模式中，当用户从多点触敏屏102抬升所有的五个手指时，所显示的用户界面元素可以在仅数秒之后淡出或可以立即消失。仅至少一个控制或化身可见，只要用户让至少一个手指与多点触敏屏102接触。在持续模式中，当用户从多点触敏屏102抬升所有的五个手指时，所显示的用户界面元素可以持续至少一段时间(若干秒)，并且用户界面可以继而允许用户选择和操纵所显示的控制中的一个。在图4A至图4C和图5A至图5C中表示瞬态模式中的局部坐标系用户界面的操作。图7和图8A至图8D示出了持续模式中的局部坐标系用户界面。
在图7中，用户使用左手应用五指触摸手势至多点触敏屏102。显示对应于各个索引的控制(大拇指控制110、食指控制112、中指控制114、无名指控制116以及小拇指控制118)。在该示例中，控制根据共同的向上矢量而定向，但是瞬态模式也可以与其他定向模式一起工作。此外，在多点触敏屏120的已被确定为不太可能被用户手部遮挡的区域中显示所示出的指示器120。
在图8A中，用户已移开所有五个手指与多点触敏屏102的接触。注意，在该示例中，在之前至少部分地被用户手部遮挡的区域中显示另一控制122。该控制122可能之前已显示过，或者备选地可能仅响应于用户从多点触敏屏102移开至少一些手指而显示。作为另一备选，控制122可能仅在用户选择与特定手指相关联的控制之一(例如与食指相关联的颜色控制)时显示。
在图8B中，用户已使用手指(在该示例中，右手的食指)选择中指控制114。选择控制或化身可以激活控制或化身。用户可以继而执行与选定控制相关联的一个或多个手势以发起与选定控制相关联的动作或调整。可以更新指示器120以提供对控制的反馈。
在图8C中，用户使用手指(在该示例中，左手的食指)操纵控制122。例如，控制122可以是颜色轮盘，并且用户可以在该颜色轮盘上移动手指以选择特定颜色。虽然未示出，但是还可以显示一个或多个色卡用户界面元素，并且用户可以执行手势(例如轻击)以指派在颜色轮盘上选择的颜色给特定色卡用户界面元素。
在图8D中，用户正使用手指(在该示例中，右手的食指)以操纵大拇指控制110。注意，未显示控制122。在该示例中，使用手指在从大拇指触摸点至手掌的相应矢量的特定方向上的扫动可以调取不同的动作，例如撤销、重做、以及擦除之前描述的所有动作。
在图8B至图8D中，任何一只手部上的任何手指(或者用于要求多于一个手指的手势的手指组合)可以用于选择和操纵控制。当处于持续模式中，用户无需使用激活局部坐标系用户界面的同一手部操纵控制。虽然在这些附图中未示出，但是当选择和激活特定控制时，可以隐藏、改变或移动局部坐标系用户界面的一个或多个其他控制或化身。此外，当选择特定控制时，可以显示和激活一个或多个其他控制。一个示例是颜色轮盘或其他颜色选择控制，这可以在用户选择与特定手指相关联的颜色控制化身时显示。
对工具或对象的控制应用
在上面示例中的控制的各种控制可以通过实现局部坐标系用户界面的应用被应用于在多点触敏屏102上显示的对象，和/或被应用于实现局部坐标系用户界面的应用的工具。例如，可以提供控制以调整用户之前已在屏幕102上绘画的艺术对象的不透明度、颜色或一些其他特性。作为另一示例，可以提供控制以调整可以用于在屏幕102上绘画对象的工具(例如笔刷)的不透明度、颜色、尺寸或一些其他属性。作为又一示例，可以提供控制以使用工具撤销之前对屏幕的输入操作、重做被撤销的操作和/或擦除或清除屏幕102。
控制的其他一些示例
除了所提供的示例之外的其他一些类型的控制或用户界面元素可以与特定手指相关联。例如，“设置”控制可以与手指相关联，例如小拇指，从而用户可以针对实现局部坐标系用户界面的应用调取各种设置的显示。用户可以继而根据需要或期望使用手势或其他输入方法以调整用于应用的一个或多个设置。
与其他应用工具结合地使用局部坐标系用户界面
在至少一些实施方式中，局部坐标系用户界面可以与由实现界面的应用所提供的其他一些工具结合地使用。例如，在绘画、数字图片编辑、3D建模或其他图形输入和编辑应用中，用户可以使用利用笔刷或其他工具应用的笔触来绘制或修改图形对象、绘画或执行其他图形输入和编辑操作，并且使用可以是钢笔或用户手指中的一个手指的触端在多点触敏屏102上执行其他输入和编辑操作，或可以执行应用的其他触摸或多点触摸操作。备选地，用户可以使用光标执行应用的操作，使用诸如鼠标之类的光标控制设备操纵该光标。在使用一个手部执行这些各种操作以创建或编辑图形艺术品时，用户可以使用另一手部调取和操纵局部坐标系用户界面。
如图9所示，可以如所述地使用一个手部调取局部坐标系用户界面150，同时用户使用另一手部执行其他操作，例如使用所选的笔刷工具向屏幕102应用绘笔刷触。图9显示用户使用左手调取局部坐标系用户界面150，同时使用右手绘画。在该示例中，用户可以调整笔刷尺寸、不透明度、或颜色，可以执行撤销、重做、或清除操作，或者可以在使用一个手部应用笔触之前、期间或之后使用另一手部经由界面150改变设置。使用这种组合的图形输入和编辑方法，用户可以使用一个手部经由局部坐标系用户界面150快速地调整所选工具和/或绘制的对象的各种属性(颜色、尺寸、不透明度等等)、切换绘制工具或者模式并且执行各种其他调整和动作，同时使用另一手部执行其他动作(例如绘制或者绘画)。此外，用户可以使用局部坐标系用户界面150(例如使用允许用户以相对于定向矢量不同的方向扫动从而执行如图6所示的各种动作的大拇指控制)快速地撤销或重做之前的操作，或可以执行其他调整或动作。
用于调取局部坐标系用户界面的其他方法
一些用户可能难于做出五指触摸手势以调取局部坐标系用户界面，或者可能根本无法做出手势。例如，手部缺失手指或欠缺熟练度的用户可能难于做出手势，或者可能根本无法做出手势。因此在至少一些实施方式中，例如如图4A和图8A所示，可以提供一种或多种方法以调取显示多个用户界面元素的局部坐标系用户界面，每个元素与特定手指相关联。如上所述，可以以持续模式显示如此调取的局部坐标系用户界面。例如在至少一些实施方式中，除了五指触摸手势之外的手势可以被用于调取持续模式的用户界面。可以使用的示例手势可以取决于设备的定向。假设用户惯用右手，并且使用左手持握设备，从屏幕的右上部向屏幕中间的扫动可以调取右手模式中的持续用户界面。在相反情形中，从左上部向中间的扫动可以调取左手模式中的持续用户界面。然而注意，可以使用其他手势或其他技术以调取持续用户界面。作为可以用于调取储蓄用户界面的另一手势的示例，对于装配有加速器的设备而言，用户可以摇动设备以调取界面。
示例性实现方式
一些实施方式可以包括用于显示和操纵显示多个用户界面元素的局部坐标系用户界面的装置，其中每个元素与特定手指相关联。例如，局部坐标系用户界面模块可以接收指示五指触摸手势的多点触摸输入，并且可以构建局部坐标系并显示多个用户界面元素，每个元素如本文所述地根据局部坐标系与特定手指相关联。局部坐标系用户界面模块在一些实施方式中可以通过计算装置的非暂态、计算机可读存储介质和一个或多个处理器(例如CPU和/或GPU)来实现。计算机可读存储介质可以存储由一个或多个处理器可执行的程序指令，从而使得计算装置执行：接收指示五指触摸手势的多点触摸输入、构建局部坐标系以及显示多个用户界面元素，每个元素如本文所述地根据局部坐标系与特定手指相关联。模块的其他一些实施方式可以至少部分地由硬件电路和/或例如存储在非易失性存储器中的固件实现。
图10示出了局部坐标系用户界面(UI)模块，该模块实现如图1至图9中所述的在示例艺术应用中实现的局部坐标系用户界面技术。图12示出了在其上可以实现应用900的实施方式的示例计算机系统，该应用900包括局部坐标系UI模块920。应用900可以是基于多点触摸手势的应用，例如其中用户经由一个或多个工具(例如画笔工具)通过多点触摸界面904和实现绘画和其他应用操作的一个或多个其他模块906，向工作画布902应用颜料的绘画或图像编辑应用。工作画布902可以作为输入图像910接收，或者可以在应用900内生成。模块910经由接口904接收作为初始输入912的五指触摸手势、或调取UI的一些其他手势。模块920确定局部坐标系、显示对应于一个或多个手指的UI化身922、响应于手部的移动调整所显示的UI等等。模块920可以经由接口904接收用户输入912，从而选择或激活化身之一，例如瞬态模式中除一个手指之外的所有手指的抬升、或持续模式中所有五个手指的抬升以及选择化身之一。用户可以激活不同的化身以执行一些其他的动作或调整。用户可以经由多点触摸界面904和其他模块906，利用经由化身922应用至其他应用动作中至少一些的调整和动作，来执行其他应用动作(例如绘画动作)，例如调整工作或对象的颜色、尺寸、或不透明度，或者进行诸如撤销和重做操作之类的其他操作。应用900生成作为输出的一个或多个输入图像930。输出图像930例如可以存储至存储介质940和/或可以在设备的显示器950上显示，存储介质940诸如系统存储器、硬盘、DVD、CD等，应用900在该设备上执行。
如图10所示，在一些实施方式中，输出930可以被发送至用于进一步处理的一些其他设备960。图11示出了在支持多点触摸的便携式设备100上创建输出930，并且发送输出930给另一更强大的设备960以用于附加的处理，该设备100实现如图10所示的应用900。例如，如图10所述的应用900可以是专用于便携式、相对小的、支持多点触摸的设备(诸如或类似设备)的应用。这些设备可以具有相对有限的分辨率和用于创建和编辑的图形图像的其他资源。因此，应用900可以以相对较低分辨率的格式创建和编辑艺术品，以一种格式生成输出930(其可以被具有较为有限资源的另一设备960上另一应用读出，该资源包括分辨率能力)，并且将输出930传送给其他设备960上的其他应用。其他应用可以继而根据接收自应用900的输入生成较高分辨率图像。
示例系统
局部坐标系用户界面(UI)模块和/或实现局部坐标系UI模块或如本文所述的技术的应用的实施方式可以在一个或多个计算机系统上执行，该计算机系统可以与各种其他设备交互。图12示出了一种这类计算机系统。在不同的实施方式中，计算机系统1000可以是各种类型设备中的任一种，该设备包括但不限于支持多点触摸的便携式设备、个人计算机系统、台式计算机、膝上型计算机、笔记本、或笔记本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、照相机、机顶盒、移动设备、消费电子设备、视频游戏控制器、手持式视频游戏设备、应用服务器、存储设备、诸如交换机、调制解调器、路由器之类的外围设备、或一般的任何类型计算或电子设备。
在示出的实施方式中，计算机系统1000包括经由输入/输出(I/O)接口1030耦合至系统存储器1020的一个或多个处理器1010。计算机系统1000可以还包括耦合至I/O接口1030的有线和/或无线网络接口1040，并且可以包括一个或多个输入/输出设备1050，诸如光标控制设备1060、键盘1070、显示器1080和诸如支持多点触摸的屏幕之类的多点触摸界面1090。在一些实施方式中，构思了可以使用单个实例的计算机系统1000实现的实施方式，而在其他一些实施方式中，构成计算机系统1000的多个这类系统或多个节点可以被配置成主控实施方式的不同部分或实例。例如，在一个实施方式中，可以经由计算机系统1000的一个或多个节点实现一些元素，该一个或多个节点与实现其他元素的节点不同。
在各种实施方式，计算机系统1000可以是包括一个处理器1010的单处理器系统，或是包括若干个处理器1010(例如两个、四个、八个或另一合适数目)的多处理器系统。处理器1010可以是能够执行指令的任何合适的处理器。例如，在各种实施方式中，处理器1010可以是实现多种指令集架构(ISA)中任一种的通用或嵌入式处理器，该ISA诸如x86、PowerPC、SPARC或MIPS ISA、任何其他合适的ISA。在多处理器系统中，各个处理器1010可以通常但并不必然地实现同一ISA。
在一些实施方式中，至少一个处理器1010可以是图形处理单元。图形处理单元或GPU可以被认为是用于个人计算机、工作站、游戏控制器或其他计算或电子设备的专用图形渲染设备。现代GPU在操纵和显示计算机图形方面可以非常高效，并且它们的高度并行结构可以使得它们在复杂图形算法领域中比常规CPU更为有效。例如，图形处理器可以以如下方式实现多个图形图元操作，该方式使得相比于使用主控中央处理单元(CPU)在屏幕上直接绘制，执行该图形图元操作更加快速。在各种实施方式中，本文公开的方法和技术可以至少部分地由配置用于在两个或多个这类GPU之一上执行、或在两个或多个这类GPU上并行执行的程序指令实现。GPU可以实现允许程序员调取GPU功能性的一个或多个应用程序员接口(API)。合适的GPU可以在商业上购自诸如NVIDIA Corporation、ATI Technologies(AMD)等之类的卖主。
系统存储器1020可以配置成存储可由处理器1010访问的程序指令和/或数据。在各种实施方式中，可以使用任何合适的存储器技术(诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪速类型存储器或任何其他类型的存储器)实现系统存储器1020。在示出的实施方式中，实现期望功能的程序指令和数据(诸如上文针对局部坐标系UI模块和/或实现局部坐标系UI模块或技术的实施方式描述的那些指令和数据)被示出为在系统存储器1020内分别作为程序指令1025和数据存储器1035存储。在其他一些实施方式中，可以接收、发送程序，或者可以在不同类型的计算机可访问介质或与系统存储器1020或计算机系统1000分离的类似介质上存储该指令和/或数据。一般而言，计算机可访问介质可以包括经由I/O接口1020耦合至计算机系统1000的存储介质或存储器介质，诸如磁介质或光介质，例如盘或CD/DVD-ROM。经由计算机可访问介质存储的程序指令和数据可以通过诸如电信号、电磁信号或数字信号之类的传输介质或信号传输，该信号可以经由诸如网络和/或无线链路之类的通信介质传送，诸如可以经由网络接口1040实现。
在一个实施方式中，I/O接口1030可以配置成协调在处理器1010、系统存储器1020以及该设备中包括的任何外围接口(包括网络接口1040或者其他外围接口，诸如输入/输出设备1050)之间的I/O业务。在一些实施方式中，I/O接口1030可以执行任何必须的协议、定时或用于将来自一个部件(例如系统存储器1020)的数据信号转换成适于供另一部件(例如处理器1010)使用的格式的其他数据变换。在一些实施方式中，I/O接口1030可以包括对于通过各种类型外围总线(诸如例如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变体)附接的设备的支持。在一些实施方式中，I/O接口1030的功能可以划分成两个或更多个单独部件，诸如例如北桥和南桥。此外，在一些实施方式中，I/O接口1030的功能性的一些或所有(诸如对系统存储器1020的接口)可以直接并入处理器1010。
网络接口1040可以配置成允许数据在计算机系统1000和附接至网络的其他设备(诸如其他计算机系统)之间交换，或在计算机系统1000的节点之间交换。在各种实施方式中，网络接口1040可以支持经由有线或无线通用数据数据网络(诸如例如任何合适类型的以太网)、经由电信/电话网络(诸如模拟语音网络或数字光纤通信网络)、经由光纤通道SAN之类的存储区域网络或经由任何其他合适类型网络和/或协议的通信。
在一些实施方式中，输入/输出设备1050可以包括一个或多个显示终端、键盘、小键盘、触摸板、扫描设备、语音或光学识别设备、或适于由一个或多个计算机系统1000录入或检索数据的任何其他设备。多输入/输出设备1050可以存在于计算机系统1000，或可以在计算机系统的各种节点上分布。在一些实施方式中，类似的输入/输出设备可以与计算机系统1000分离，并且可以通过诸如网络接口1040之类的有线或无线连接与计算机系统1000的一个或多个节点交互。
如图12所示，存储器1020可以包括程序指令1025和数据存储1035，程序指令1025配置成实现局部坐标系UI模块和/或实现如本文所述的局部坐标系UI模块或技术的应用的实施方式，数据存储1035包括可由程序指令1025访问的各种数据。在一个实施方式中，程序指令1025可以包括局部坐标系UI模块和/或实现如上图所示的局部坐标系UI模块或技术的应用的实施方式的软件元件。数据存储1035可以包括可以在一些实施方式中使用的数据。在其他一些实施方式2中，可以包括其他或不同软件元件和数据。
本领域技术人员将理解，计算机系统1000仅是说明性的，而非旨在限制局部坐标系UI模块和/或实现如本文所述的局部坐标系UI模块或技术的应用的范围。具体而言，计算机系统和设备可以包括可以执行所示功能的硬件或软件的任何组合，其包括计算机、个人计算机系统、台式计算机、膝上型计算机、笔记本或笔记本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、照相机、机顶盒、移动设备、网络设备、因特网转换器、PDA、无线手机、寻呼机、消费设备、视频游戏控制器、手持式视频游戏设备、应用服务器、存储设备、外围设备(诸如交换机、调制解调器、路由器)或一般的任何类型的计算或电子设备。计算机系统1000还可以连接至其他未示出的设备，或取代地可以作为单机系统操作。此外，在一些实施方式中，由示出的部件提供的功能性可以组合成更少的部件或在附件的部件中分布。类似地，在一些实施方式中，可能并不提供示出的部件的一些的功能性和/或其他附加的功能性可能可用。
本领域技术人员还将理解，虽然各种项示出为存储在存储器中或存储在正被使用的存储上，但是出于存储器管理和数据完整性的目的，它们的这些项或部分可以在存储器和其他存储设备之间传输。备选地，在其他一些实施方式中，软件部件中的一些或全部可以在另一设备上的存储器中执行，并且经由计算机间通信与示出的计算机系统通信。系统部件或数据结构中的一些或全部还可以被存储(例如作为指令或结构化的数据)在计算机可访问的介质上或便携物品上以供适当驱动读取，已在上文中描述了各种示例。在一些实施方式中，存储在与计算机系统1000分离的计算机可访问的介质上的指令可以经由传输介质或信号(诸如经由诸如网络和/或无线链路之类的通信介质传送的电、电磁或数字信号)被传输给计算机系统1000。各种实施方式还可以包括接收、发送或在计算机可访问介质上存储根据前面的描述实现的指令和/或数据。相应地，可以使用其他计算机系统配置实践本发明。
结论
各种实施方式可以还包括接收、发送或在计算机可访问介质上存储根据前面的描述实现的指令和/或数据。一般而言，计算机可访问的介质可以包括存储介质或存储器介质(诸如磁介质或光介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等)以及传输介质或信号(诸如经由通信介质(诸如网络和/或无线链路)传送的电、电磁或数字信号)。
在附图中示出和在本文中描述的各种方法表示了方法的示例实施方式。方法可以在软件、硬件或其组合中实现。方法的顺序可以改变，并且可以添加、重新排序、组合、省略、修改各种元素等。
对于从本公开获利的本领域技术人员显然的是可以做出各种修改和改变。本发明旨在涵盖所有这类修改和改变，并且上面的描述因此被认为是说明性而非限制性的。

Claims (12)

1.一种支持多点触摸的设备，包括：
至少一个处理器；
多点触敏屏；以及
包括程序指令的存储器，其中所述程序指令由所述至少处理器可执行以：
接收指示人类手部的多个手指与所述多点触敏屏的接触的多点触摸手势输入；
根据所述多点触摸手势输入构建针对所述手部的局部坐标系；
显示两个或更多个用户界面元素，每个用户界面元素对应于特定手指，其中根据针对所述手部的所述局部坐标系显示所述用户界面元素，从而使得所述用户界面元素不被执行所述多点触摸手势输入的所述手部遮挡；
检测选择所述两个或更多个用户界面元素中的特定用户界面元素的事件，所述事件包括从所述设备的所述多点触敏屏移开除了对应于所选择的用户界面元素的手指之外的所有手指；以及
其中根据对应于所述用户界面元素的特定手指的向上矢量对所显示的所述两个或更多个用户界面元素中的每个进行定向，其中根据针对所述手部的所述局部坐标系确定针对每个手指的向上矢量。
2.根据权利要求1所述的支持多点触摸的设备，其中所述多点触摸手势输入指示四个或五个手指与所述多点触敏屏的接触。
3.根据权利要求1所述的支持多点触摸的设备，其中所述程序指令可以由所述至少一个处理器进一步可执行以：
在所述支持多点触摸设备上接收手势输入，所述手势输入操纵所选择的用户界面元素以对应于所选择的用户界面元素而执行动作或应用调整。
4.根据权利要求1所述的支持多点触摸的设备，其中选择所述用户界面元素的事件是，在手指与所述多点触敏屏的接触靠近所选择的用户界面元素之后，从所述设备的所述多点触敏屏移开所有手指。
5.根据权利要求1所述的支持多点触摸的设备，其中所述两个或更多个用户界面元素中的每个是用于调整在所述支持多点触摸的设备上实现的应用的特定参数的控制，或者是用于执行所述应用的动作的控制。
6.根据权利要求1所述的支持多点触摸的设备，其中根据所述手部的向上矢量对所显示的所述两个或更多个用户界面元素中的每个进行定向，其中根据针对所述手部的所述局部坐标系确定所述向上矢量。
7.根据权利要求1所述的支持多点触摸的设备，其中所述程序指令由所述至少一个处理器进一步可执行以：
在所述支持多点触摸的设备上接收输入，所述输入指示所述多个手指在所述设备上的所述多点触敏屏上的移动；以及
根据所指示的移动调整所显示的两个或更多个用户界面元素。
8.根据权利要求1所述的支持多点触摸的设备，其中所述手部是左手或是右手，并且其中根据使用哪个手部来定向所述局部坐标系，从而使得根据所述左手或所述右手适当地显示所述用户界面元素。
9.根据权利要求1所述的支持多点触摸的设备，其中所述程序指令由所述至少一个处理器进一步可执行以：
根据所述局部坐标系确定所述支持多点触摸的设备的未被手部遮挡的区域；以及
在所述支持多点触摸的设备上显示一个或多个其他用户界面元素，其中所述一个或多个其他用户界面元素中的至少一个被显示在未被遮挡的区域中。
10.一种用于支持多点触摸的方法，包括：
在支持多点触摸的设备上接收多点触摸手势输入，所述多点触摸手势输入指示人类手部的多个手指与所述设备的多点触敏屏的接触；
根据所述多点触摸手势输入构建针对所述手部的局部坐标系；
在所述支持多点触摸的设备上显示两个或更多个用户界面元素，每个用户界面元素对应于特定手指，其中根据用于所述手部的所述局部坐标系显示所述用户界面元素，从而使得所述用户界面元素不被执行所述多点触摸手势输入的所述手部遮挡；
检测选择所述两个或更多个用户界面元素中的特定用户界面元素的事件，所述事件包括从所述设备的所述多点触敏屏移开除了对应于所选择的用户界面元素的手指之外的所有手指；以及
根据对应于所述用户界面元素的特定手指的向上矢量对所显示的所述两个或更多个用户界面元素中的每个进行定向，其中根据针对所述手部的所述局部坐标系确定针对每个手指的向上矢量。
11.根据权利要求10所述的方法，还包括：
在所述支持多点触摸的设备上接收手势输入，所述手势输入操纵所选择的用户界面元素对应于所选择的用户界面元素而执行动作或应用调整。
12.一种其中体现有程序指令的计算机可访问的存储介质，所述程序指令由至少一个处理器可执行以便使得所述至少一个处理器执行如下：
在支持多点触摸的设备上接收多点触摸手势输入，所述多点触摸手势输入指示人类手部的多个手指与所述设备的多点触敏屏的接触；
根据所述多点触摸手势输入构建针对手部的局部坐标系；
在所述设备上显示两个或更多个用户界面元素，每个用户界面元素对应于特定手指，其中根据用于所述手部的所述局部坐标系显示所述用户界面元素，从而使得所述用户界面元素不被执行所述多点触摸手势输入的所述手部遮挡；
检测选择所述两个或更多个用户界面元素中的特定用户界面元素的事件，所述事件包括从所述设备的所述多点触敏屏移开除了对应于所选择的用户界面元素的手指之外的所有手指；以及
根据对应于所述用户界面元素的特定手指的向上矢量对所显示的所述两个或更多个用户界面元素中的每个进行定向，其中根据针对所述手部的所述局部坐标系确定针对每个手指的向上矢量。
CN201210083805.8A 2011-03-22 2012-03-22 针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置 Active CN102736845B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/069,196 2011-03-22
US13/069,196 US8593421B2 (en) 2011-03-22 2011-03-22 Local coordinate frame user interface for multitouch-enabled devices

Publications (2)

Publication Number Publication Date
CN102736845A CN102736845A (zh) 2012-10-17
CN102736845B true CN102736845B (zh) 2018-02-06

Family

ID=45874730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210083805.8A Active CN102736845B (zh) 2011-03-22 2012-03-22 针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置

Country Status (4)

Country Link
US (1) US8593421B2 (zh)
EP (1) EP2503441B1 (zh)
KR (1) KR20120107884A (zh)
CN (1) CN102736845B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9298287B2 (en) * 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
WO2013009413A1 (en) 2011-06-06 2013-01-17 Intellitact Llc Relative touch user interface enhancements
US9658715B2 (en) 2011-10-20 2017-05-23 Microsoft Technology Licensing, Llc Display mapping modes for multi-pointer indirect input devices
US9274642B2 (en) * 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US8933896B2 (en) 2011-10-25 2015-01-13 Microsoft Corporation Pressure-based interaction for indirect touch input devices
US9389679B2 (en) 2011-11-30 2016-07-12 Microsoft Technology Licensing, Llc Application programming interface for a multi-pointer indirect touch input device
CH705918A2 (de) * 2011-12-19 2013-06-28 Ralf Trachte Feld-Analysen für flexible Computer-Eingabe.
CN103176724A (zh) * 2011-12-21 2013-06-26 富泰华工业（深圳）有限公司 可切换左右手使用模式的操作界面的电子设备及方法
JP5264007B1 (ja) * 2012-10-01 2013-08-14 善郎 水野 コントローラ
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
KR102102663B1 (ko) * 2012-10-05 2020-04-22 삼성전자주식회사 휴대단말기의 사용 방법 및 장치
JP5705885B2 (ja) * 2013-01-09 2015-04-22 シャープ株式会社 入力表示装置
GB2510333A (en) 2013-01-30 2014-08-06 Ibm Emulating pressure sensitivity on multi-touch devices
CN103135929A (zh) * 2013-01-31 2013-06-05 北京小米科技有限责任公司 控制应用界面移动的方法、装置和终端设备
WO2014121523A1 (en) 2013-02-08 2014-08-14 Motorola Solutions, Inc. Method and apparatus for managing user interface elements on a touch-screen device
US9075507B2 (en) * 2013-03-14 2015-07-07 Cellco Partnership Silence reminder
US11422695B2 (en) * 2013-03-27 2022-08-23 Texas Instruments Incorporated Radial based user interface on touch sensitive screen
US9292145B2 (en) 2013-07-08 2016-03-22 Elo Touch Solutions, Inc. Multi-user multi-touch projected capacitance touch sensor
US20150062057A1 (en) * 2013-08-30 2015-03-05 Nokia Corporation Method and Apparatus for Apparatus Input
WO2015082211A1 (en) * 2013-12-03 2015-06-11 Koninklijke Philips N.V. Method of operating a multi-touch device and multi-touch device therefore
CN104793835B (zh) * 2014-01-17 2018-11-27 深圳市艾酷通信软件有限公司 一种更换界面色彩的系统及其实现方法
CN105874411B (zh) * 2014-12-03 2019-09-20 华为技术有限公司 一种处理操作方法及终端
US20170010733A1 (en) * 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc User-identifying application programming interface (api)
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US10579216B2 (en) * 2016-03-28 2020-03-03 Microsoft Technology Licensing, Llc Applications for multi-touch input detection
KR101875181B1 (ko) 2016-09-12 2018-07-06 에스케이텔레콤 주식회사 멀티터치 디스플레이 장치 및 그 터치 인식 방법
US20190250722A1 (en) * 2016-09-26 2019-08-15 Muv Interactive Ltd. Multi-sensing trigger for hand-held device
WO2018112803A1 (zh) * 2016-12-21 2018-06-28 华为技术有限公司 触摸屏手势识别的方法及装置
US10991349B2 (en) 2018-07-16 2021-04-27 Samsung Electronics Co., Ltd. Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces
CN109582205A (zh) * 2018-11-22 2019-04-05 Oppo广东移动通信有限公司 输入控制方法及电子装置
US10838544B1 (en) * 2019-08-21 2020-11-17 Raytheon Company Determination of a user orientation with respect to a touchscreen device
CN114625255B (zh) * 2022-03-29 2023-08-01 北京邮电大学 面向可视化视图构建的徒手交互方法、可视化视图构建装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
CN1666170A (zh) * 2002-07-04 2005-09-07 皇家飞利浦电子股份有限公司 自适应虚拟键盘
CN101410781A (zh) * 2006-01-30 2009-04-15 苹果公司 利用多点感测设备进行的手势操作
CN101563666A (zh) * 2006-12-22 2009-10-21 松下电器产业株式会社 用户界面装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1380710A (en) 1970-12-29 1975-01-15 Kawasaki Heavy Ind Ltd Rotary wing aircraft
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
IL137478A (en) 1998-01-26 2005-11-20 Westerman Wayne Method and apparatus for integrating manual input
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US20050122313A1 (en) * 2003-11-11 2005-06-09 International Business Machines Corporation Versatile, configurable keyboard
US7697729B2 (en) 2004-01-29 2010-04-13 Authentec, Inc. System for and method of finger initiated actions
EP1865404A4 (en) 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM
US8144271B2 (en) 2006-08-03 2012-03-27 Perceptive Pixel Inc. Multi-touch sensing through frustrated total internal reflection
WO2008095137A2 (en) 2007-01-31 2008-08-07 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
US8766910B2 (en) 2007-07-04 2014-07-01 Cypress Semiconductor Corporation Capacitive sensing control knob
US8125458B2 (en) 2007-09-28 2012-02-28 Microsoft Corporation Detecting finger orientation on a touch-sensitive device
US20090183098A1 (en) 2008-01-14 2009-07-16 Dell Products, Lp Configurable Keyboard
JP5203797B2 (ja) * 2008-05-13 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及び情報処理装置の表示情報編集方法
US8743091B2 (en) 2008-07-31 2014-06-03 Apple Inc. Acoustic multi-touch sensor panel
EP2338154A1 (en) 2008-09-20 2011-06-29 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
FR2936326B1 (fr) 2008-09-22 2011-04-29 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
US20100073303A1 (en) 2008-09-24 2010-03-25 Compal Electronics, Inc. Method of operating a user interface
US20100079413A1 (en) 2008-09-29 2010-04-01 Denso Corporation Control device
US8446374B2 (en) 2008-11-12 2013-05-21 Apple Inc. Detecting a palm touch on a surface
US8502787B2 (en) 2008-11-26 2013-08-06 Panasonic Corporation System and method for differentiating between intended and unintended user input on a touchpad
US8462134B2 (en) 2009-06-29 2013-06-11 Autodesk, Inc. Multi-finger mouse emulation
US20110102333A1 (en) 2009-10-30 2011-05-05 Wayne Carl Westerman Detection of Gesture Orientation on Repositionable Touch Surface
US9104308B2 (en) * 2010-12-17 2015-08-11 The Hong Kong University Of Science And Technology Multi-touch finger registration and its applications
EP2686758B1 (en) 2011-03-17 2020-09-30 Laubach, Kevin Input device user interface enhancements
US8553001B2 (en) 2011-03-22 2013-10-08 Adobe Systems Incorporated Methods and apparatus for determining local coordinate frames for a human hand
US20130132903A1 (en) 2011-03-22 2013-05-23 Aravind Krishnaswamy Local Coordinate Frame User Interface for Multitouch-Enabled Applications
WO2013009413A1 (en) 2011-06-06 2013-01-17 Intellitact Llc Relative touch user interface enhancements

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
CN1666170A (zh) * 2002-07-04 2005-09-07 皇家飞利浦电子股份有限公司 自适应虚拟键盘
CN101410781A (zh) * 2006-01-30 2009-04-15 苹果公司 利用多点感测设备进行的手势操作
CN101563666A (zh) * 2006-12-22 2009-10-21 松下电器产业株式会社 用户界面装置

Also Published As

Publication number Publication date
EP2503441A1 (en) 2012-09-26
US8593421B2 (en) 2013-11-26
EP2503441B1 (en) 2021-05-05
KR20120107884A (ko) 2012-10-04
CN102736845A (zh) 2012-10-17
US20120242586A1 (en) 2012-09-27

Similar Documents

Publication Publication Date Title
CN102736845B (zh) 针对支持多点触摸的设备提供局部坐标系用户界面的方法和装置
US20130132903A1 (en) Local Coordinate Frame User Interface for Multitouch-Enabled Applications
US20130127733A1 (en) Methods and Apparatus for Determining Local Coordinate Frames for a Human Hand
US8896579B2 (en) Methods and apparatus for deformation of virtual brush marks via texture projection
US8854342B2 (en) Systems and methods for particle-based digital airbrushing
US20190347865A1 (en) Three-dimensional drawing inside virtual reality environment
US9645664B2 (en) Natural media painting using proximity-based tablet stylus gestures
US9268418B2 (en) Simulation of an erodible tip in a natural media drawing and/or painting simulation
JP6233314B2 (ja) 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
US20140240215A1 (en) System and method for controlling a user interface utility using a vision system
TWI827633B (zh) 具有廣泛使用性的三維圖形使用者介面的系統及方法與對應的可讀式媒體
CN109791468A (zh) 用于双手控制的用户界面
US20140229873A1 (en) Dynamic tool control in a digital graphics system using a vision system
CN106716493A (zh) 对内容样式化的方法和对内容样式化的触摸屏设备
Jang et al. Incorporating kinesthetic creativity and gestural play into immersive modeling
Leal et al. 3d sketching using interactive fabric for tangible and bimanual input
US20180165877A1 (en) Method and apparatus for virtual reality animation
Ismail et al. Real Hand Gesture in Augmented Reality Drawing with Markerless Tracking on Mobile
US10181223B2 (en) Selecting and transferring material properties in a virtual drawing space
CN102270086B (zh) 即时通讯工具中展现联系人的方法及即时通讯客户端
Ismail et al. Augmented reality real-time drawing application with a hand gesture on a handheld interface
Shen et al. CoR2Ds
Gillette Digital Painting and Rendering for Theatrical Design: Using Digital Tools to Create Scenic, Costume, and Media Renderings
Kin Investigating the design and development of multitouch applications
Lin et al. Uncle sand: A sand drawing application in ipad

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant