CN103890704A - 通过多点触摸输入执行三维物体约束操作的系统和方法 - Google Patents

通过多点触摸输入执行三维物体约束操作的系统和方法 Download PDF

Info

Publication number
CN103890704A
CN103890704A CN201280052158.2A CN201280052158A CN103890704A CN 103890704 A CN103890704 A CN 103890704A CN 201280052158 A CN201280052158 A CN 201280052158A CN 103890704 A CN103890704 A CN 103890704A
Authority
CN
China
Prior art keywords
touch
axis
constraint
point
dimensional body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280052158.2A
Other languages
English (en)
Inventor
戴秋兰
区建忠
傅红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong University of Science and Technology HKUST
Original Assignee
Hong Kong University of Science and Technology HKUST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong University of Science and Technology HKUST filed Critical Hong Kong University of Science and Technology HKUST
Publication of CN103890704A publication Critical patent/CN103890704A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

本文所述的是将无控件及无按钮的多点触摸界面用于三维物体约束操作的系统和方法。无控件的多点触摸用户界面可以将不同的多点触摸手势与不同的三维操作任务关联起来，从而使用户可以直接操作三维物体，而不需要操作控件、执行模式切换或选择不同的工具。通过使用同时指定变换约束、变换类型和变换幅度并对所关注的物体施加变换的单个触摸动作，用户交互可以被大大简化。此外，基于轴线的约束操作还支持主动贴合和轴线转移。通过主动贴合，用户可以画一条连接两个三维物体的自由触摸路径以使这两个物体贴合，避免了标准变换操作所需的繁琐工作。轴线转移则提供了一个简单的方案来实现物体之间的相对变换操作，从而使一个物体可沿另一物体的预先定义的具体轴线进行变换。

Description

通过多点触摸输入执行三维物体约束操作的系统和方法
相关申请的交叉引用
本申请要求2011年10月27日提交的标题为“Multi-TouchInterfaces for3D Object Manipulation”的美国临时专利申请No.61/552,413的优先权，其整体通过引用并入于此。
技术领域
本公开一般地涉及三维(3D)物体的操作，具体地涉及能够根据触摸手势使三维物体的操作任务变得容易的多点触摸输入设备。
背景技术
在工程、设计、娱乐等行业中，三维建模是重要的工具。通过三维建模，用户可以在虚拟空间中创建、放置、缩放以及定向三维物体。现有的三维建模解决方案一般受限于平面显示器以及单点二维输入设备(例如鼠标，手写笔等)。由于这些限制，三维建模软件包往往很难使用，它们依赖于一些小的控件以及一大组键盘快捷键或模式切换按钮来实现复杂的操作。
许多新的数字设备都配备了触摸板、触摸屏或类似的输入设备，这些输入设备与基于键盘、鼠标、和手写笔的输入设备具有极其不同的输入属性。由于输入属性如此不同，因此传统的三维操作界面必须被重新设计，以便适应触感模式(tactile paradigm)。此外，由于触摸设备的“胖手指”问题，即指尖接触范围比输入分辨率大，因此标准界面所采用的小控件以及一大组模式切换按钮在多点触摸输入设备上是难以操作的。
上述的传统三维操作界面在触摸输入设备上的不足仅旨在提供现有技术的一些问题的概述，并非旨在详尽无遗的描述。通过以下详细的描述，现有技术的其它问题以及本文所述的多种非限制性实施例中的一些实施例的相应优势变得更加清晰明了。
发明内容
以下的概述提供了本文描述的一些方面的基本理解。此概述不是所公开的主题内容的详细描述。它并非旨在指出所公开的主题内容的关键要素，也不旨在描述本主题公开的范围。此概述仅扼要描述了所公开的主题内容的一些构思，更详细的描述将在后文提出。
本文所描述的用户界面可以直接将不同的多点触摸手势与不同的三维操作任务对应起来。一般来说，这些用户界面无需控件或者按钮，取而代之的是采用少量的多点触摸手势。利用多点触摸手势而非控件，消除了传统屏幕上的杂乱控件，同时实现了对操作约束(即，轴线或平面)以及模式(即，平移、旋转或缩放)的简单、流畅的控制。这避免了诸如传统建模情形中的模式/工具切换之类的繁琐的编辑步骤。
本文描述的用户界面可以采用允许直接将多点触摸手势与不同三维操作任务/工作对应的方法。通过这个方法，可以选择关注的物体。然后，可以通过判断至少两个触摸点的方向来选择轴线。之后，可以通过判断至少两个触摸点相对于已选中轴线的运动来确定对物体进行的变换模式(例如，平移、旋转、缩放)以及变换的量(例如，位移、旋转角度)。这样，用户可以利用基于单个多点触摸手势(一系列手指向下、移动、手指向上的触摸动作)的刚性变换和缩放来操作三维环境中的三维物体，而无需借助于任何操作控件。由编辑物体定义的轴线、平面以及任意其它几何元素或由用户定义的任何约束可以被选为约束。还可以通过使用与手势的触摸路径相关联的位置和切线信息来贴合(snap)或连接三维物体。所选的约束也可以转移到其它三维物体，使得关于与另一三维物体相关联的约束来完成对这些物体的刚性变换和缩放。
以下的描述和附图将详细阐述所公开的主题的某些示例性方面。但是，这些方面仅指示了可以采用发明原理的多种方式中的一些方式。所公开的主题旨在包括所有这些以及其等同的方面。结合附图，所公开的主题的其它优势以及显著的特征将在以下对发明的详细介绍中得到变得清晰。
附图说明
参照以下附图来描述本公开的非限制性和非穷举性的实施例。其中除非另有规定，否则在各图中相同的标号始终表示相同的部分。
图1是比较了传统的基于控件的三维操作界面和本文所述的用于约束操作的无控件多点触摸用户界面的示意图。
图2是三种轴线约束变换(平移、缩放和旋转)的示意图。
图3是三维约束操作的方法的示意性处理流程图。
图4是在多点触摸设备上便于三维约束操作的系统的示意性系统框图。
图5是基于轴线的变换操作的多点触摸手势的示意图。
图5b是可以用于基于轴线的变换操作的不同轴线集的示例的示意图。
图6是用于平面约束操作的多点触摸手势的示意图。
图7是用于贴合操作的手势的示意图。
图8是用于轴线和基点借用的多点触摸手势的示意图。
图9是可以实现本文所述的各个实施例的计算环境的示例。
图10是可以实现本文所述的各个实施例的计算机网络的示例。
具体实施方式
在下面的描述中，为了提供对各实施例的透彻理解，对许多具体细节进行了阐述。然而相关领域的技术人员会认识到，本文描述的技术可以在没有其中的一项或多项具体细节的情况下，或者在使用其它方法、组件、材料等的情况下来实践。在其他实例中，众所周知的结构、材料、或操作并没有被详细示出或描述，以避免模糊所公开的主题的某些方面。
本文描述了一种三维建模方案，其针对三维空间内的三维物体的约束性操作，提供了丰富、直观的控制，并且无需来自小控件、按钮等的输入。利用此建模方案，用户能够通过对任意尺寸的多点触摸输入设备执行简单的手势输入来操作三维物体。多点触摸输入设备(例如触摸屏、触摸板以及类似设备)如今已被广泛用于数码设备上。本文所描述的建模方案不使用小控件、键盘快捷键或模式切换按钮，取而代之的是使用单一的手势输入，该手势输入使得三维模型的轴线或平面约束平移、旋转和缩放变得容易，提供了对三维物体的流畅、直观和情境感知的操作以及简单的主动贴合和轴线转移功能。
在整个说明书中引用“多种实施例”、“一个实施例”、或“实施例”意味着结合实施例描述的特定的特征、结构、或特性包括在至少一个实施例内。因此，在本说明书中的各个位置出现的短语“在一个实施例中”、或“在实施例中”不一定全都指代同一实施例。此外，可以以任何合适的方式组合一个或多个实施例中的特定的特征、结构、或特性。
在本文中，词语“示例性”和“示例”用于表示用作示例、实例、或例证。为避免疑义，本文所述的主题不受限于这些示例。另外，本文中描述为“示例性”的任何方面或设计不一定都被理解为优于或胜于其它方面或设计，也并非意味着排除了本领域普通技术人员所公知的等同结构和技术。而且，对于在详细的说明书或权利要求中使用的术语“包含”、“具有”、“含有”以及其它类似词语，这些术语意为包含性的，与作为开放性过渡词的术语“包括”类似，不排除任何另外的或其它的元素。
为了简化说明，本文中描述为“方法”的任何对象均被描绘或描述为一系列行为。系统、设备或装置可以执行这些方法(例如，借助于处理器)以执行这些行为。系统、设备或装置可以具有存储在存储器中的“组件”，其有助于各种方法、元件、行为、工具等的执行。
要理解并认识到的是，各个实施例不受限于所示的行为和/或行为的顺序。例如，各行为可以按各种顺序和/或同时发生，并且可以与本文中未呈现或描述的其它行为一起发生。而且，实现本文所述的组件、方法或算法并非需要所有示出的行为。此外，本领域技术人员将理解并认识到，所述方法还可以选择性地通过状态图或事件被表示为一系列相关的状态。所述组件和方法可以存储在存储器或其它非易失性计算机可读存储介质中，并且由处理器执行，从而便于实现附图中示出的行为。
现在参照图1，其中展示的是传统的基于控件的三维操作界面102和本文所述的无控件的三维操作界面104之间的示意性比较100。传统的三维操作界面102和无控件的多点触摸三维操作界面104均可以方便对三维物体的约束操作。
传统的三维操作界面102采用变换控件(transformationwidget)来帮助对三维物体的约束操作。在许多三维应用程序中，这些约束操作常用来进行精细的操作。对于变换控件，其定义特征是能够提供单一的交互点或句柄(handle)，以实现对三维物体的直接操作。变换控件往往包含多个用于不同操作目的的可视的句柄(例如，元件106)，其要求每个单击精确地落在对应的句柄内。由于变换控件主要是针对基于鼠标的系统设计的，因此对于多点触摸界面，它们并不容易使用。
在多点触摸设备上，例如由于指尖接触范围的输入分辨率(“胖手指”问题)和手指遮挡等问题，将标准的变换控件直接改为与多点触摸输入设备一起采用的触感模式并不能取得很好的效果。尽管针对触摸屏来重新设计控件的外观可以减轻胖手指问题的影响，但是这些重新设计的控件依然会采用很多句柄，这些句柄在几乎每次触摸时均要求受到视觉上的关注，因为每次点击都需要精确且直接地点在控件的正确元件上。
无控件的多点触摸三维操作界面的设计在很大程度上是与传统三维操作界面102中的传统变换控件的设计无关的，这消除了用户界面里所有可视控件，从而避免了繁琐的控件操作。作为替换，利用无控件的多点触摸三维操作界面104，在多点触摸输入设备上通过不同的多点触摸手势可以实现不同的功能。无控件的多点触摸三维操作界面104利用了候选轴线，这些轴线仅用于可视化，而不是用于直接操作。这种设计可以很大程度上减少视觉上的混乱，同时能够容许不精确的触摸输入。
由于多点触摸输入(手势)包含丰富的方向(多个触摸点的相对位置)和变换(触摸点的运动轨迹)的信息，它们很满足要求多维度输入的三维操作的需要。无控件的多点触摸三维操作用户界面104引入了一小组易用的多点触摸手势来替代传统的控件句柄，这些触摸手势受限于以下准则：(1)为了避免使用需要精确操作的控件，不应提供任何用于直接操作的可视句柄；(2)为了使手势更加有效，多点触摸手势的识别必须与刻度和位置无关；以及(3)提供的功能可以涉及操作约束(例如，轴线或平面)或模式(例如，平移、旋转、或缩放(参见图2，平移202、缩放204、旋转206))。此外，物体间的相对操作包括贴合和借用另一个物体的轴线，可以通过直观的触摸手势来实现。
大部分现有的三维建模方案(例如传统的三维操作界面102)通常支持三维物体的两种三维操作机制：无约束操作和约束操作。无约束操作允许沿任意轴线的三维变换，并且通常对粗略的操作有用(例如用于三维定位操作的各种虚拟轨迹球)。而约束操作支持精细的三维操作。
利用多点触摸输入，现有的多点触摸技术能够支持多个自由度(DOF)的同时操作，进而实现无约束操作。然而，这些现有的多点触摸技术并不适用于约束操作以及精细的三维操作。
约束的三维操作包括三个基本的行为，如图3所示。在单元302处，可以选择约束。此约束可以是轴线、平面或由编辑物体所定义的其他几何元素或由用户定义的任何约束。在单元304处，可以指定变换模式。如图2所示，变换模式可以包括平移、旋转和缩放。在单元306处，变换操作可以基于约束、变换模式和鼠标∕触摸的移动量而发生。变换的幅度可以在变换操作306的过程中例如通过鼠标和∕或触摸点的移动量来确定。在传统的三维操作界面(如工具102)中，这些行为都是通过控件来实现的。而在无控件的多点触摸三维操作界面中，这些行为可通过单一的手势顺畅的执行，而无需控件的帮助。
传统三维操作工具102可以通过三维变换控件来进行约束变换。尽管这些变换控件的外观设计和实现细节可以各有不同，但它们的设计思想和功能大致相同：(1)利用三轴标准框架作为基本组件，用于各轴线约束操作(“约束”)的独立控制；以及(2)对可同时进行显示的平移、旋转和缩放的多自由度控制(“DOF控制”)。一个成功的操作依赖于精确的约束选择和自由度控制
传统的三维变换控件主要设计为与键盘和单点式设备(如鼠标或手写笔)一起使用，并且依赖于大量的键盘快捷键或模式切换按钮。由于多点触摸输入设备跟传统的基于键盘、鼠标和手写笔的输入系统在输入特性上有很大的不同，因此传统的三维操作工具102需要被重新设计，以适应触感模式。现有的解决方案主要尝试通过重新设计控件的形式和配置来解决如何使变换控件更容易地被指尖选中和操作的问题。然后，和标准的变换控件一样，重新设计的控件直接将不同的变换工具与不同的控件组件相关联，因此在调用适当的工具时，需要进行小心的触摸定位。而无控件多点触摸三维操作用户界面去除了所有的控件，仅倚靠手势输入。
无控件多点触摸三维操作界面所使用的手势受限于以下约束。为了使手势易于掌握，它们的使用应足够简单和直观。手势的数量不应太多。此外，大多数操作应能够通过单手手势来实现，这是因为许多时候另一只手需要做其他的事情(例如，握住多点触摸输入设备)。为了使标准变换控件所提供的所有可用的交互都能被一小组简单的手势涵盖，应允许手势的重复使用，并且它们可以被解释为情境感知的操作。
现参照图4，图中展示的系统400有助于用于三维操作的无控件多点触摸三维操作用户界面。该系统可以包括选择组件402，它能够接收以点击手势对要操作的关注物体的选中。点击手势可以是单对的手指放下和手指提起的触摸动作。
该系统还可以包括约束组件404，其便于基于触摸屏幕的两个手指的方向，从所选物体的候选约束中选择一个约束(参见图5)。约束选择可以确定执行变换将参照的轴线或平面。变换模式可以是平移、旋转或缩放。轴线的选择可以通过两个触摸点的方向来判断。两个触摸点的方向也可以选择平面约束以在平面内执行平移/缩放。由编辑物体所定义的任何其它几何元素或由用户定义的任何约束均可以被选中作为约束。对于使一个物体贴合另外一个物体的贴合平面约束，可以根据触摸路径两端的位置和切线来选择。
该系统还可以包括模式识别组件406，其可以基于两个触摸点相对于约束组件404所选中的约束的移动来确定变换模式。该系统可以进一步包括变换组件408，其根据两个接触点的运动(例如手指的移动量)来确定变换量，之后根据所识别的变换模式和变换量来进行变换。
图5是用于轴线约束变换操作的多点触摸手势的示意图。在单元502中，可以选择用于操作的物体。一旦选择了用于操作的物体，可以显示其预设的轴线集合。在单元504中，用户可以基于两个触摸点(本例中的圆圈)所定义的方向来选择其感兴趣的轴线(由较粗的线显示)。轴线的选择可以由两个触摸点的初始方向来确定，而变换模式可以由两个触摸点相对于所选轴线的后续运动来确定。因此，单个多点触摸动作(例如，手指放下、移动和手指提起的一系列触摸移动)足以用来确定相对于期望轴线进行的期望的变换(平移、旋转或缩放)。此类动作并不需要用于直接操作的任何复杂的变换控件。候选轴线是为了视觉辅助而提供，而不是用于直接操作。
和标准的变换控件一样，对于选定为编辑对象的物体，可以保持一组预设的候选轴线。这些候选轴线可以利用简单的方法(例如，和物体方向一致的包围盒(object-oriented bounding box)、面向法向和主曲率方向(face normal and principal curvaturedirections)等)来获得，或者利用更加复杂的形状分析(例如，反射对称轴、垂直方向等)来获得。通过将每条候选轴线向视平面进行投影，可以将每条轴与二维线对应起来。因此，使用两点触摸足以指定感兴趣的轴线：如果一条候选轴线投影后的方向与两个触摸点位置所确定的方向最接近，那么这条轴线将用作用于操作的轴线约束(如图中突出显示的轴线)。候选轴线只是为了可视化需要而被显示，并不是用于直接操作的可触摸句柄。两个手指可以放在屏幕上的任何位置，使所做的手势与具体位置和刻度无关。对于几乎平行于视线方向的轴线，它们将不会被选择，这是因为沿这些所选轴线进行平移或缩放一般来说是很难预测结果的。
一旦感兴趣的轴线被选中，则可以根据两个手指相对于所选轴线的移动(沿着轴线或垂直轴线)来确定变换模式(例如平移、旋转或缩放)，而变换的量可以根据位移来计算。指定变换模式和进行变换的整个过程是顺畅的，仅涉及单个多点触摸手势。
在单元506中，两个手指沿着所选轴线的平移手势可以对应于轴线约束平移。在单元508中，轴线约束旋转可以通过垂直于所选轴线的两指平移手势来实现。其中平移和旋转的量均可以根据屏幕上两个接触点的平均位移来进行计算。这种情境感知的手势是直观易用的，因为它类似于标准变换控件的运动模式(即，根据明确指定的轴线和操作模式，沿着轴线移动来实现平移和垂直轴线移动来实现旋转)。
在单元510中，两个手指沿着轴线的捏合(pinch)可以对应于轴线约束缩放。两个手指可以是捏合在一起或分开。缩放的量可由两个接触点的当前距离和初始距离之间的比例来确定。
可以根据两个接触点的初始方向和相对于所选轴线的后续移动来容易地识别手势。在接触点的位移大于给定的阈值时(例如任何大于手部简单抖动的位移)，手势才会被识别。一旦某个手势被识别，相应的变换模式将会被激活，并保持不变，直到手指不再接触多点触摸输入设备为止。通过采用幅度过滤的想法，有可能能够以单一的触摸动作在不同的变换模式之间进行切换。
操作可受世界空间的轴线、屏幕空间的轴线以及类似的轴线的约束。如图5b所示，各组轴线可以以任何使它们可区分的方法来显示，例如使用不同的颜色(例如，蓝色为物体空间、红色为世界空间、绿色为屏幕空间)。这些轴线都穿过所选取物体的形心(centroid)，这样，它们的相对投影方向(角度差)是即时可见的，如单元512所示。
如图6所示，基于单轴线的变换不是约束操作的唯一类型。平面约束操作是另外一个例子。平面约束允许在给定的三维平面内进行物体操作，这可以通过选择垂直于平面的轴线来指定。为了与轴线选择模式进行区分，平面选择模式可以采用不同的手势来指定，比如采用二指点击(例如，两个手指快速触摸和提起)手势。在单元602中，可以显示半透明平面来显现所选平面约束。
平面约束操作可以包括平面上的平移和统一缩放。平面约束可以通过沿平面法线方向(加粗的线)的两指点击602(如作为示例的圆圈所示)来选择。类似于单轴线平移，在平面上的平移可以通过两指的平移(未示出)来执行。手指的运动将被投影到平面上，并沿着平面上的两个轴线进行分解，以确定相对于各轴线的平移量。平面604上的统一缩放(沿平面法线方向没有缩放)可以通过两指捏合来实现，缩放的量由两个接触点之间的距离的变化来确定。物体的缩放相对于平面是统一的。注意，在平面上旋转是多余的，因为它相当于沿平面法线进行旋转。
理论上来说，轴线约束操作和平面约束操作足以构成任何三维刚性变换。然而，所有的刚性变换总是被限制在固定于所操作的物体处的轴线或平面上。对于多个物体(例如，物体组合)的操作，可以利用交互技术，该技术可以采用来自其他物体的约束，因此可以支持相对于任何任意物体的操作。
一个这样的交互技术就是贴合。贴合提供了有效的方法来实现物体之间的精确关系。贴合可以主动或被动地实现。被动贴合依赖于引导线或引导面的自动检测，因此，通常只能用于附近的物体。主动贴合通常通过用户绘制的连接两个物体的路径来实现，因此物体可以彼此远离。两个物体会自动联系在一起(glue)，使它们的位置和/或方向是一致的。
考虑到触摸交互从本质上来说是不精确的，因此对应于贴合采用了一个新的、主要基于运动路径的形状而不是触摸点的精确位置的手势。这些手势如图7所示。曲线(触摸路径)两端处的切线方向决定了当源物体被变换并贴合于目标物体时哪两条轴线将被对齐(例如，单元704展示了基于单元702的曲线的贴合；单元708展示了基于单元706的曲线的贴合)。对于贴合，使用预先定义的候选轴线的集合来定义贴合代理(这也适用于光滑表面)。对于每个轴线，一对平行的、同时垂直于轴线的边界平面可以被定义为候选贴合平面。
触摸路径的起始点和结束点处的切线方向分别被用以自动确定所选物体和目标物体处的贴合平面。这种技术不需要指定触摸路径的精确位置，而且非常灵活，仅依赖于所绘制曲线的两端处的切线方向。即使当前的取景视野中看不到贴合面(例如，702中的目标贴合平面)，物体贴合仍然被允许施行，这样大大减少了控制取景(camera)的工作量。
变换所选物体使得贴合平面的中线与法线对齐。源物体还有一个自由度：绕贴合平面的对齐的法线进行旋转。一个简单的策略可以用来决定最佳旋转，使得尽量多的初始可视面保持可视。具体来讲，是通过计算源物体的每个轴线和视线方向的内积，并选择一个对齐方向，使得贴合之前和之后的内积差异的总和最小。注意贴合后，用户有调整该旋转角度的自由。总的来说，贴合操作避免了其它繁琐的物体操作，提供了一个方便的用于多个物体操作的界面。
设定任意的轴线或枢轴通常是繁琐和耗时的。然而，在很多情况下，一个物体的期望操作约束存在于另一个场景物体的候选约束中。本文所述的建模系统支持简单交互，以借用另一个物体的轴线和中心进行操作，从而允许对一个物体进行相对于任何物体的相对操作。
使用另一个物体的轴线来操作所选物体时，用户只需通过单指长按来标记提供所需轴线的物体。一组新的轴线将会以所选物体为中心来显示，然后用户可以相对于这组新的轴线来操作所选物体。重新单指长按提供轴线的物体会切换到另一个模式，在此模式下，提供轴线的物体将同时提供轴线组和中心用于操作。由于正在使用提供轴线和中心的物体的中心，因此借用的轴线仍然会绘制在提供这些轴线以及中心的物体上。
图8中所示为轴线和中心借用的一个例子。图8中，后腿相对于身体的中心和轴线旋转。注意，这类似于其他交互式操作系统中的枢轴物体，但是这个系统允许任何物体来提供轴或中心，并且没有明显地区分可编辑物体和枢轴物体。
如图8所示，腿部被选中用于操作(802)。通过单指长按身体，身体的轴线组可以被借来用于操作腿部(804)。两指触摸选中轴线约束(806)，然后前脚被复制并被沿着所选中的轴线平移(808)。另一个单指长按切换到另一个模式，在这个模式下，身体的轴线组和中心同时被借用(810)。因为提供轴线和中心的物体的中心正在被使用，因此借用的轴线仍然会绘制在提供轴线和中心的物体上。后腿相对于借用的中心和轴线旋转(812)。
可以使用其他的操作来支持本文所述的三维建模技术的操作。这些支持操作和前文所介绍的操作组成了用于基本三维建模和组成的完整系统。以下的一些操作依赖于实时的手指和手掌注册技术，每当三个或更多个触摸点被检测到时，该技术可以自动判断用户的哪一只手正在触摸、以及哪个触摸点属于哪个手指。
手指和手掌注册可以包括检测至少与拇指、食指和中指对应的至少三个接触点以及检测是左手还是右手。之后，这至少三个接触点会与一个参考点相连接，该参考点是基于接触点计算出的，然后利用参考点为顶点来计算接触点之间的跨度角(spanning angle)。可以基于跨度角来确定拇指(拇指对应于最大的跨度角)。拇指旁边的手指可以被标记为食指。根据食指是出现在拇指的顺时针方向还是逆时针方向，可以确定正在触摸的是右手还是左手。根据右手和左手手指的顺时针或逆时针方向，可以做出剩余的接触点与中指、无名指和小指的关联。手指注册信息可以被用来将进一步的手势与其他的操作相关联。
其中一个操作是取景控制。所采用的是透视取景。对于取景轨迹，可以使用一个手指的移动(从空白处开始)来触发虚拟轨迹球界面。可分别使用五个手指的滑动和捏合手势来实现平移和缩放。
另一个操作是物体选择。对于物体的选择和取消选择，可通过在物体上单指点击来实现。单指双击一个物体将把点击的物体置于屏幕空间的中心。对于选择多个物体，可以通过双指点击另一物体来把它添加到已选集合中。在空白处点击可以取消选择所有物体。
另一个操作是统一缩放。给定一个所关注的物体(即被选中的物体)，例如左手五指捏合可以被识别为统一缩放的操作。
另一个操作是屏幕空间旋转。当屏幕空间的任何轴线被选中时，两个手指的旋转将被识别为屏幕空间旋转的操作，物体将会沿着视线的方向旋转。
另一种操作是物体复制。复制操作可以通过三指的平移来激活。根据被选中的是一个还是两个物体，所复制的物体经过轴线约束平移(由三个手指的移动来确定平移的轴线)或基于两个所选物体之间的相对变换来被直接变换。
上述系统和方法可以通过软件、硬件、或它们的组合来实现。图9和图10提供了上述装置、用户界面和方法的硬件关联。图9示出了可结合上述装置、用户界面和方法而使用的计算环境900。图10示出了可方便上述系统和方法而使用的计算网络1000。应当理解，也可以利用人工智能来实现本文所描述的系统和方法。
现在参照图9，图9示出了合适的计算系统环境900的一个例子，其中可以实现一个或多个实施例。计算系统环境900仅仅是一个合适的计算环境的例子，并非旨在对任何实施例的使用或功能的范围提出任何限制。计算环境900也不应解释为具有与示例性操作环境900中所示的任何一个组件或各组件的组合相关的任何依赖性或要求。
参照图9，计算系统环境900被示为手持式计算机910。然而，计算机不必为手持式计算机。计算机只需要能够与多点触摸输入设备交互和/或接收多点触摸输入即可。多点触摸输入设备也不必是手持式的。然而，计算系统环境900可以是具有执行本文所述方法的处理器和多点触摸显示器的任何其它计算装置，如台式计算机、膝上型计算机、移动电话、移动互联网设备、平板电脑等等。手持式计算机910的组件可包括(但不限于)处理单元920、系统存储器930和系统总线921，系统总线921将包括系统存储器在内的各种系统组件耦接到处理单元920。例如，本文所述的方法可存储在系统存储器930中，并由处理单元920执行。
手持式计算机910也可以包括包含有形计算机可读存储介质在内的各种计算机可读介质，并且可以是可由计算机910访问的任何可用介质。系统存储器930可以包括易失性和/或非易失性存储器形式的计算机存储介质，例如，只读存储器(ROM)和/或随机存取存储器(RAM)。作为示例，而不是限制，存储器930还可以包括操作系统、应用程序、其它程序模块和程序数据。
用户可以通过输入设备940将命令和信息输入到计算机910，例如通过对多点触摸输入设备执行的手势来输入命令。显示器或其它类型的显示设备也可以经由诸如输出接口950之类的接口连接到系统总线921。
计算机910可以利用与一个或多个诸如远程计算机970之类的远程计算机的逻辑连接来工作在联网或分布式环境中。远程计算机970可以是个人计算机、服务器、路由器、网络PC、对端设备或其它公共网络节点、或任何其他远程媒体消费或传输装置，并且远程计算机970可以包括任何或所有上述与计算机910相关的元件。图9所示的逻辑连接包括诸如局域网络(LAN)或广域网(WAN)之类的网络971，但是也可以包括其它网络/总线。这样的网络环境常见于家庭、办公室、企业范围内的计算机网络、内联网和互联网。
现在参照图10，图10示出了示例性的联网或分布式计算环境1000的示意图。图10的手持式计算机可以运行在图10的网络中。分布式计算环境包括计算对象1010、1012等和计算对象或设备1020、1022、1024、1026、1028等，其可以包括由应用程序1030、1032、1034、1036、1038表示的程序、方法、数据存储、可编程逻辑等。可以理解，对象1010、1012等和计算对象或设备1020、1022、1024、1026、1028等可以包括不同的设备，如遥控器、个人数字助理(PDA)、音频/视频设备、移动电话、MP3播放器、笔记本计算机等。
每个对象1010、1012等和计算对象或设备1020、1022、1024、1026、1028等可以与一个或多个其他对象1010、1012等和计算对象或设备1020、1022、1024、1026、1028等通过通信网络1040直接或间接地通信。虽然在图10中示为单个单元，但网络1040可以包括为图10的系统提供服务的其它计算对象和计算设备，和/或可以代表未示出的多个互连网络。每个对象1010、1012等或1020、1022、1024、1026、1028等也可以包含诸如应用程序1030、1032、1034、1036、1038之类的可利用API的应用程序、或适合与根据各实施例提供的延迟交互模型进行通信或适合于实现根据各实施例提供的延迟交互模型的其他对象、软件、固件和/或硬件。
有很多种支持分布式计算环境的系统、组件和网络配置。例如计算系统可以通过有线或无线系统、通过本地网络或广泛分布的网络连接在一起。尽管任何网络基础设施均可以用于各实施例中描述的技术所附带的示例性通信，但是目前，很多网络耦接到互联网上，互联网为广泛分布的计算提供了基础设施并且包括许多不同的网络。
作为进一步的非限制性的例子，本文所述的各种实施例适用于任何手持式、便携式和其它计算设备，并且所有类型的计算对象拟用于本文所述的各种实施例，即，用于设备可以请求基于指向的服务的任何地方。因此，以下图10中描述的通用远程计算机只是一个例子，本主题公开的实施例可以通过具有网络/总线互操作性和交互作用的任何客户端来实现。
虽然不是必需的，但是任何实施例都可以部分地通过操作系统来实现从而被设备或对象的服务开发人员使用，和/或包含在与可操作组件一起操作的应用软件内。可以在诸如程序模块之类的由一个或多个计算机(例如，客户端工作站、服务器或其它设备)执行的计算机可执行指令的一般意义下来描述软件。本领域技术人员将会理解，可以利用各种计算机系统配置和协议来实践网络交互。
以上对示出实施例的描述(包括摘要中描述的内容)并非旨在穷举或将所公开的实施例限制为所公开的精确形式。虽然为了说明的目的在本公开中描述了特定的实施例和示例，但本领域技术人员可以认识到，可以进行各种修改，这些修改均被认为是在所述实施例和示例的范围内。
在这方面，尽管已结合适用的各种实施例和相应的附图描述了公开的主题，但要理解的是，还可使用其它类似的实施例，或者在不偏离所公开的主题的情况下对所述实施例进行修改和添加来执行所公开的主题的相同、类似、可选、或替代功能。因此，所公开的主题不应限制于本文所述的任何单个实施例，而应解释为根据所附权利要求的广度和范围。

Claims (20)

1.一种方法，包括：
利用第一触摸手势在多点触摸显示设备上选择关注的三维物体；
基于涉及至少两个触摸点的第二触摸手势的方向在所述多点触摸显示设备上选择用来操作所关注的三维物体的约束；
基于所述第二触摸手势的触摸点的运动信息来判断操作类型；
基于所述第二触摸手势的触摸点的运动信息来设置约束操作的幅度；以及
以所述幅度来对所关注的三维物体进行约束操作。
2.根据权利要求1所述的方法，其中选择约束操作的步骤进一步包括选择基于轴线的操作。
3.根据权利要求2所述的方法，其中选择基于轴线的操作的步骤进一步包括：
根据所述第二触摸手势的触摸点的方向来选择轴线约束；以及
根据所述第二触摸手势的触摸点的运动信息来确定操作类型，其中所述操作类型包括平移、旋转或缩放。
4.根据权利要求1所述的方法，其中选择约束操作的步骤进一步包括选择平面约束操作。
5.根据权利要求4所述的方法，其中选择平面约束操作的的步骤进一步包括：
根据所述第二触摸手势的触摸点的方向来选择平面约束；以及
根据所述第二触摸手势的运动信息来确定操作类型，其中所述操作类型包括在所述平面内的平移或统一缩放。
6.根据权利要求1所述的方法，其中选择的步骤还包括选择轴线转移来关于第二物体操作所关注的三维物体。
7.根据权利要求1所述的方法，其中选择约束操作的步骤进一步包括利用连接所关注的三维物体和第二物体的曲线手势来选择贴合操作。
8.一种存储有指令的计算机可读存储介质，其响应于指令的执行而方便计算机系统的行为，所述行为包括：
基于触摸运动改变虚拟三维环境中的视察参数；
基于触摸运动通过约束来操作三维物体；以及
基于触摸路径输入的方向和几何信息，把所述三维物体向第二三维物体贴合。
9.根据权利要求8所述的计算机可读存储介质，其中所述行为还包括：
在多点触摸显示设备上检测至少三个触摸点；
基于所述触摸点计算参考点；
利用所述参考点计算各触摸点之间的跨度角；
基于各触摸点之间的跨度角和距离，将拇指和食指与所述触摸点相关联；
基于拇指和食指的方向，将左手或右手与所述触摸点相关联；以及
基于右手或左手的顺时针或逆时针的手指顺序，将中指、无名指和小指与其它接触点相关联。
10.根据权利要求9所述的计算机可读存储介质，其中所述行为还包括：
检测与所述触摸点相关联的运动和路径。
11.根据权利要求8所述的计算机可读存储介质，其中所述行为还包括：
基于所述触摸运动来判断操作类型
12.根据权利要求8所述的计算机可读存储介质，其中所述行为还包括：
基于所述触摸运动来调整视点。
13.根据权利要求8所述的计算机可读存储介质，其中所述行为还包括：
基于所述触摸运动来调整视线方向。
14.一种系统，包括：
选择组件，其被构造为基于触摸手势接收对所关注的用于操作的物体的选择；
约束组件，其被构造为有助于根据基于所述触摸手势确定的至少两个接触点的方向，从所述三维物体的一组候选约束中选择一个约束；
模式识别组件，其被构造为基于所述至少两个接触点相对于所选约束的运动路径来确定变换模式。
变换组件，其被构造为以基于触摸运动的量的变换幅度来施加约束变换。
15.根据权利要求14所述的系统，其中所述手势是两指多点触摸手势。
16.根据权利要求14所述的系统，其中所述约束是选自一组轴线的轴线。
17.根据权利要求14所述的系统，其中所述变换模式是关于轴线的。
18.根据权利要求17所述的系统，其中所述变换模式为平移、旋转或缩放。
19.根据权利要求14所述的系统，其中所述变换模式是关于平面的。
20.根据权利要求19所述的系统，其中所述变换模式是平移或缩放。
CN201280052158.2A 2011-10-27 2012-02-07 通过多点触摸输入执行三维物体约束操作的系统和方法 Pending CN103890704A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161552413P 2011-10-27 2011-10-27
US61/552,413 2011-10-27
PCT/CN2012/000150 WO2013060085A1 (en) 2011-10-27 2012-02-07 System and method for constrained manipulations of 3d objects by multitouch inputs

Publications (1)

Publication Number Publication Date
CN103890704A true CN103890704A (zh) 2014-06-25

Family

ID=48167085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280052158.2A Pending CN103890704A (zh) 2011-10-27 2012-02-07 通过多点触摸输入执行三维物体约束操作的系统和方法

Country Status (3)

Country Link
US (1) US9542068B2 (zh)
CN (1) CN103890704A (zh)
WO (1) WO2013060085A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038682A (zh) * 2016-02-03 2017-08-11 上海源胜文化传播有限公司 一种三维人体模型的缩放系统及方法
CN108780383A (zh) * 2016-03-24 2018-11-09 微软技术许可有限责任公司 基于第二输入选择第一数字输入行为
CN110456974A (zh) * 2019-07-25 2019-11-15 广州彩构网络有限公司 一种基于多点触控面板的三维产品展示交互方法及系统
WO2022141886A1 (zh) * 2020-12-31 2022-07-07 杭州群核信息技术有限公司 一种家装素材调整方法、装置、计算机设备和存储介质

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11264139B2 (en) * 2007-11-21 2022-03-01 Edda Technology, Inc. Method and system for adjusting interactive 3D treatment zone for percutaneous treatment
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
US9324188B1 (en) * 2012-04-30 2016-04-26 Dr Systems, Inc. Manipulation of 3D medical objects
JP2014241030A (ja) * 2013-06-11 2014-12-25 カシオ計算機株式会社 グラフ表示装置およびプログラムおよびサーバ装置
US9329750B2 (en) * 2013-09-10 2016-05-03 Google Inc. Three-dimensional tilt and pan navigation using a single gesture
US10445946B2 (en) * 2013-10-29 2019-10-15 Microsoft Technology Licensing, Llc Dynamic workplane 3D rendering environment
US10318101B2 (en) * 2014-01-30 2019-06-11 Mental Canvas LLC Gesture-based user interface and method for navigating in three-dimensional space
CA2893586C (en) * 2014-06-17 2021-01-26 Valorisation-Recherche, Limited Partnership 3d virtual environment interaction system
CN105335118B (zh) * 2014-08-08 2019-03-19 北京搜狗科技发展有限公司 一种电子设备控件的显示方法和装置
US10254939B2 (en) * 2015-06-07 2019-04-09 Apple Inc. Device, method, and graphical user interface for providing and interacting with a virtual drawing aid
EP3182306A1 (en) * 2015-12-16 2017-06-21 Dassault Systèmes Topological change in a constrained asymmetrical subdivision mesh
EP3182378B1 (en) * 2015-12-16 2021-08-11 Dassault Systèmes Modification of a constrained asymmetrical subdivision mesh
US10311182B2 (en) 2015-12-16 2019-06-04 Dassault Systemes Topological change in a constrained asymmetrical subdivision mesh
WO2017139509A1 (en) 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
CN106126085A (zh) * 2016-06-13 2016-11-16 华南理工大学 一种面向移动设备的多点触控手势交互三维建模方法
US10649615B2 (en) 2016-10-20 2020-05-12 Microsoft Technology Licensing, Llc Control interface for a three-dimensional graphical object
US10983661B2 (en) 2016-10-24 2021-04-20 Microsoft Technology Licensing, Llc Interface for positioning an object in three-dimensional graphical space
SE544511C2 (en) * 2017-03-15 2022-06-28 Katam Tech Ab Improved manner of adapting size of an object such as a detected tree
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
JP6526851B2 (ja) * 2018-01-29 2019-06-05 株式会社東芝 図形処理装置および図形処理プログラム
JP7155053B2 (ja) * 2019-03-15 2022-10-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20200310622A1 (en) * 2019-03-28 2020-10-01 Christie Digital Systems Usa, Inc. Orthographic projection planes for scene editors
EP3796267A1 (en) * 2019-09-23 2021-03-24 Dassault Systèmes A computer-implemented method for assisting a positioning of a 3d object in a 3d scene

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1710566A (zh) * 2005-06-16 2005-12-21 上海交通大学 虚拟环境中装配工具库建立的方法
CN1725168A (zh) * 2004-07-24 2006-01-25 三星电子株式会社 三维运动图形用户接口和提供其的方法和设备
CN101963886A (zh) * 2009-07-21 2011-02-02 Lg电子株式会社 移动终端及控制该移动终端的方法
US20110041098A1 (en) * 2009-08-14 2011-02-17 James Thomas Kajiya Manipulation of 3-dimensional graphical objects or view in a multi-touch display
CN102087571A (zh) * 2009-12-07 2011-06-08 联想(北京)有限公司 操作对象的操作控制的方法及终端设备
CN102141891A (zh) * 2011-03-23 2011-08-03 友达光电股份有限公司 一种触摸面板的操作方法
CN102187309A (zh) * 2008-08-22 2011-09-14 谷歌公司 移动设备上的三维环境中的导航

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300062B2 (en) * 2005-04-18 2012-10-30 Steve Tsang Method, system and computer program for using a suggestive modeling interface
US8799821B1 (en) * 2008-04-24 2014-08-05 Pixar Method and apparatus for user inputs for three-dimensional animation
KR101531363B1 (ko) * 2008-12-10 2015-07-06 삼성전자주식회사 이차원 인터랙티브 디스플레이에서 가상 객체 또는 시점을 제어하는 방법
US8493384B1 (en) * 2009-04-01 2013-07-23 Perceptive Pixel Inc. 3D manipulation using applied pressure
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
EP2542296A4 (en) * 2010-03-31 2014-11-26 St Jude Medical Atrial Fibrill INTUITIVE USER INTERFACE CONTROL FOR REMOTE CATHETER NAVIGATION AND 3D CARTOGRAPHY AND VISUALIZATION SYSTEMS
US20110285666A1 (en) * 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
US9547752B2 (en) * 2010-12-31 2017-01-17 St. Jude Medical, Atrial Fibrillation Division, Inc. Automated catheter guidance system
US8581901B2 (en) * 2011-07-28 2013-11-12 Adobe Systems Incorporated Methods and apparatus for interactive rotation of 3D objects using multitouch gestures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1725168A (zh) * 2004-07-24 2006-01-25 三星电子株式会社 三维运动图形用户接口和提供其的方法和设备
CN1710566A (zh) * 2005-06-16 2005-12-21 上海交通大学 虚拟环境中装配工具库建立的方法
CN102187309A (zh) * 2008-08-22 2011-09-14 谷歌公司 移动设备上的三维环境中的导航
CN101963886A (zh) * 2009-07-21 2011-02-02 Lg电子株式会社 移动终端及控制该移动终端的方法
US20110041098A1 (en) * 2009-08-14 2011-02-17 James Thomas Kajiya Manipulation of 3-dimensional graphical objects or view in a multi-touch display
CN102087571A (zh) * 2009-12-07 2011-06-08 联想(北京)有限公司 操作对象的操作控制的方法及终端设备
CN102141891A (zh) * 2011-03-23 2011-08-03 友达光电股份有限公司 一种触摸面板的操作方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038682A (zh) * 2016-02-03 2017-08-11 上海源胜文化传播有限公司 一种三维人体模型的缩放系统及方法
CN107038682B (zh) * 2016-02-03 2020-06-26 上海源胜文化传播有限公司 一种三维人体模型的缩放系统及方法
CN108780383A (zh) * 2016-03-24 2018-11-09 微软技术许可有限责任公司 基于第二输入选择第一数字输入行为
CN108780383B (zh) * 2016-03-24 2021-10-26 微软技术许可有限责任公司 基于第二输入选择第一数字输入行为
CN110456974A (zh) * 2019-07-25 2019-11-15 广州彩构网络有限公司 一种基于多点触控面板的三维产品展示交互方法及系统
WO2022141886A1 (zh) * 2020-12-31 2022-07-07 杭州群核信息技术有限公司 一种家装素材调整方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2013060085A1 (en) 2013-05-02
US20140229871A1 (en) 2014-08-14
US9542068B2 (en) 2017-01-10

Similar Documents

Publication Publication Date Title
CN103890704A (zh) 通过多点触摸输入执行三维物体约束操作的系统和方法
Bezerianos et al. The vacuum: facilitating the manipulation of distant objects
US8866781B2 (en) Contactless gesture-based control method and apparatus
Bowman et al. An introduction to 3-D user interface design
Liu et al. Gunslinger: Subtle arms-down mid-air interaction
US10275145B2 (en) Drawing support tool
CN109791468A (zh) 用于双手控制的用户界面
Bragdon et al. Code space: touch+ air gesture hybrid interactions for supporting developer meetings
US10013143B2 (en) Interfacing with a computing application using a multi-digit sensor
Au et al. Multitouch gestures for constrained transformation of 3d objects
CN202433853U (zh) 信息处理设备
Millette et al. DualCAD: integrating augmented reality with a desktop GUI and smartphone interaction
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
CN104137043A (zh) 用于在图形用户界面(gui)上进行人机交互的方法
Huang et al. Ubii: Towards seamless interaction between digital and physical worlds
US20060267966A1 (en) Hover widgets: using the tracking state to extend capabilities of pen-operated devices
Gesslein et al. Pen-based interaction with spreadsheets in mobile virtual reality
CN104024983B (zh) 用于间接交互设备的交互模型
Kang et al. Editing 3D models on smart devices
US10031641B2 (en) Ordering of objects displayed by a computing device
CN102566916B (zh) 图表的创建、编辑和导航
CN110427139A (zh) 文本处理方法及装置、计算机存储介质、电子设备
JP2010526367A (ja) 入力データを処理するための装置
Tian et al. An exploration of pen tail gestures for interactions
CN205910672U (zh) 三维鼠标及三维鼠标组件

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140625

RJ01 Rejection of invention patent application after publication