CN113534950B - 一种基于混合现实技术的虚拟物体交互方法 - Google Patents

一种基于混合现实技术的虚拟物体交互方法 Download PDF

Info

Publication number
CN113534950B
CN113534950B CN202110338973.6A CN202110338973A CN113534950B CN 113534950 B CN113534950 B CN 113534950B CN 202110338973 A CN202110338973 A CN 202110338973A CN 113534950 B CN113534950 B CN 113534950B
Authority
CN
China
Prior art keywords
hand
interactive
gesture
user
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110338973.6A
Other languages
English (en)
Other versions
CN113534950A (zh
Inventor
沈旭昆
卢亚光
胡勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110338973.6A priority Critical patent/CN113534950B/zh
Publication of CN113534950A publication Critical patent/CN113534950A/zh
Application granted granted Critical
Publication of CN113534950B publication Critical patent/CN113534950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种基于混合现实技术的虚拟物体交互方法，采用面向对象的菜单界面作为交互操作选择界面，包括步骤：(1)选择交互对象：采用眼动追踪方法获得用户当前凝视点；采用手势识别方法识别用户特定手势预定手势；使用主要交互手做出并保持特定手势预定手势，用于选择该虚拟物体作为交互对象；(2)进入菜单界面：使用未做出任意特定手势预定手势的次要交互手做出特定手势预定手势；(3)选择交互操作：通过移动主要交互手位置或改变主要交互手姿态，选择菜单界面中目标操作所对应的菜单选项；(4)进入操作界面：用户使用次要交互手做出特定手势预定手势，或使用主要交互手在相反方向上进行移动达到阈值，进入操作界面；步骤(5)完成交互操作。

Description

一种基于混合现实技术的虚拟物体交互方法
技术领域
本发明涉及计算机图形交互技术领域，尤其是一种基于混合现实技术的虚拟物体交互方法。
背景技术
混合现实：混合现实技术(Mixed Reality)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
混合现实技术通过将计算机生成的虚拟信息叠加到真实场景中的方式，把物理世界与数字世界联系在一起。常见的混合现实设备包括智能手机、智能眼镜、混合现实头戴式显示器等。用户可以通过使用这些设备实现与虚拟物体或虚拟场景的直接交互。例如，用户可以做出预定手势的方式选择目标物体，并通过改变手部姿态的方式对目标物体执行旋转、平移、缩放等交互操作。
随着混合现实交互应用的增加，同一种手势或手部姿态在相同应用场景中可以表示的操作类型也在增多，用户在与虚拟物体进行交互时需要对当前所要执行的操作进行选择。混合现实菜单界面是一种常见的操作选择方式。现有的混合现实菜单界面主要面向操作，用户在使用菜单界面选择操作类型后可以选择虚拟物体执行已选择的特定的操作。
利用虚拟眼睛凝视互动袖标(Virtual Eye-gaze Interaction Armband，VEIA)交互技术，用户可以在虚拟前臂点击选项，以激活凝视+捏功能。VEIA交互利用用户身体的空间感进行有效的UI布局，当用户看前臂时，菜单会在0.5秒后逐渐出现。它提供了在不同的交互式工具和应用程序之间切换的顶级选项。这种放置方式不太容易分散注意力，并且可以让双手自由地进行主要的互动。VEIA的菜单设计基于3D标记菜单，扩展到凝视+捏输入方式。三维与二维标记菜单的优点是通过使用三维(即左、右、上、下、前、后)支持更多模式。
然而，进行连续的操作选择时需要改变当前手势，效率较低。
EyeSeeThrough技术利用眼睛跟踪和三维中对象和工具相对对齐的能力来合并操作物体过程中的操作选择和操作执行这两个步骤。用户通过视觉方式将工具与目标对齐，然后进行确认来应用工具。对齐基于视图中半透明层上显示的工具相对于背景中目标的显式移动。用户只需在将工具放置在目标上时查看目标，当用户确认对齐时，三维凝视光线确定工具和目标，并且在虚拟场景中执行动作。因此，两个连续的选择统一到一个交互中，类似于在执行射击任务中用户将枪的十字准线与目标对齐并触发动作。眼睛在视觉对齐任务中起着重要的作用。该技术通过在三维中观察用户的注视光线与物体和工具的交集，推断出工具和物体的对齐方式，从而隐式地使用注视进行交互。虽然凝视的使用类似于指向机制，但这种技术不需要用户在对象和工具之间移动眼睛，而是允许用户在对齐工具的同时保持对所需对象的视觉注意力。凝视是用来同时指向两个目标的，我们相信这会把额外的指向步骤转移到其他方式上，比如用手把工具带到视线上。然而该技术应用于虚拟现实环境而非混合现实环境；该技术需要额外的硬件支持。
发明内容
本发明所要解决的技术问题是：使用面向操作的菜单界面对虚拟物体进行操作缺乏连续性，用户在对单一虚拟物体执行一次包含多种操作的任务过程中需要多次对目标物体进行选择，造成执行任务的效率降低。
为此本发明提供了一种基于混合现实技术的虚拟物体交互方法，以解决混合现实环境中用户与虚拟物体连续交互效率降低的问题。该交互方法采用面向对象的菜单界面作为交互操作选择界面，菜单界面包括菜单选项和选择提示。该交互方法包括步骤：
步骤(1)选择交互对象：采用眼动追踪方法获得用户当前凝视点；采用手势识别方法识别用户预定手势；当用户当前凝视点停留于虚拟物体上时，用户需选择任意一只手作为主要交互手，选择另一只手作为次要交互手，使用主要交互手做出并保持预定手势，用于选择该虚拟物体作为交互对象；
步骤(2)进入菜单界面：保持选择虚拟物体状态，使用未做出预定手势的次要交互手做出预定手势；或使用主要交互手在用户所面向方向上进行移动使得移动距离达到阈值，进入选择菜单界面；
步骤(3)选择交互操作：保持操作选择界面显示状态，通过移动主要交互手位置或改变主要交互手姿态，选择菜单界面中目标操作所对应的菜单选项；通过菜单界面中的选择提示确认已选择的交互操作；
步骤(4)进入操作界面：与步骤(2)进入菜单界面相似地，用户使用未做出任意预定手势的次要交互手做出预定手势，或使用主要交互手在步骤(2)中移动方向的相反方向上进行移动达到阈值，进入操作界面；
步骤(5)完成交互操作：保持选择虚拟物体状态，移动主要交互手位置或改变主要交互手姿态，执行交互操作；操作执行的程度与主要交互手位置或姿态改变的幅度存在映射关系；对于仅包含单一操作的交互任务，在操作达到用户预期目标后，解除主要交互手预定手势，完成交互操作；对于包含多个不同操作的交互任务，在当前操作达到用户对于该操作的预期目标后，重复步骤(2)至步骤(4)，直到达到全部操作预期目标，完成交互操作。
进一步的，所述菜单界面采用同心环状设计，包含内环、外环和目标映射三部分，外环包含沿外环排列的菜单选项，内环在外环菜单选项对应位置处包含对于该选项的选择提示，目标映射为主要交互手的当前位置在菜单界面的映射。
进一步的，所述凝视点表现为在虚拟物体表面的一个半透明球体。
进一步的，所述预定手势为使用拇指与食指接触，形成“捏”的手势。
进一步的，所述用户面向方向为用户面部朝向。
进一步的，所述主要交互手移动是指用户主要交互手的当前位置与用户主要交互手做出预定手势时位置在用户面向方向上的投影。
进一步的，所述主要交互手在用户所面向方向上进行移动的阈值为由用户预先规定的主要交互手移动距离。
进一步的，所述操作界面包含阈值提示，用于表示主要交互手的当前位置在操作界面的映射与阈值之间的相对关系。
有益效果：
使用本发明提供的一种基于混合现实技术的虚拟物体交互方法，可以在不改变手势的情况下对目标虚拟物体进行连续操作，适用于需要执行不简断的连续操作混合现实场景，同时能够有效减少复杂任务中的手势改变次数，显著提高用户与虚拟物体的连续交互效率。
附图说明
图1使用主要交互手在用户所面向方向上进行移动达到阈值的方式(左)，或使用次要交互手做出预定手势的方式(右)实现本发明提供的基于混合现实技术的虚拟物体交互方法；
图2完成一次交互任务流程图；
图3菜单界面示意图，其中1表示菜单选项，2表示选择提示；
图4操作界面示意图，其中3表示可操作区域可视化提示，2表示选择提示。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
根据本发明的实施例，使用本发明提供的基于混合现实技术的虚拟物体交互方法实现改变一个虚拟物体的三维尺寸，规定右手为主要交互手，左手为次要交互手；“捏”手势为预定手势，使用次要交互手做出“捏”手势作为界面切换方式；用户使用头戴式显示设备Hololens2观察混合现实场景；以平行于地面方向为x轴，垂直于地面方向为y轴，用户面向方向为z轴建立三维直角坐标系；虚拟物体为一个长方体A，记其当前的长、宽、高在上述直角坐标系中的值分别为xα、yα、zα，目标长、宽、高的值分别为xβ、yβ、zβ。
参见图2，为本发明的交互方法的操作流程，进一步结合图1右侧，使用次要交互手做出预定手势的方式(右)实现本发明提供的基于混合现实技术的虚拟物体交互方法；
首先利用Hololens2集成的眼动追踪功能得到凝视点，用户通过凝视虚拟物体A的方式将凝视点移动至该虚拟物体的表面；使用右手做出“捏”的手势实现对于目标物体的选择，并保持该手势，此时用户可以自由选择注视的目标，无需持续凝视虚拟物体A；使用左手做出“捏”的手势，并在完成拇指与食指的接触后结束“捏”的手势，进入菜单界面，如图3所示，其中1表示菜单选项，2表示选择提示；将右手保持“捏”的手势状态下进行的移动映射至菜单界面，由在菜单界面上的光标表示右手移动的相对位置；当光标移动至菜单界面中的某个未被选择的菜单选项时，该菜单选项所对应的选择提示被激活；当光标移动至菜单界面中的某个已经被选择的菜单选项时，该菜单选项所对应的选择提示解除激活状态；在菜单界面状态中，使用左手做出“捏”的手势，并在完成拇指与食指的接触后结束“捏”的手势，进入操作界面，如图4所示，其中3表示可操作区域可视化提示，2表示选择提示；此时，可以同时执行所有选择提示处于激活状态的操作，右手在x轴方向上的移动与操作的程度存在映射关系，例如假设映射系数为γ，假设当前处于激活状态的操作包括x轴方向上的缩放和y轴方向上的缩放，虚拟物体A的长、宽、高在上述直角坐标系中的值分别为xα、yα、zα，则当右手保持“捏”的手势在x轴正方向上的移动Δx距离时，虚拟物体A在x轴方向上和y轴方向上的长宽高的值分别为xα+γ·Δx，yα+γ·Δx，zα；重复上述操作，直至将虚拟物体A的长、宽、高调整为xβ、yβ、zβ；右手解除“捏”的手势，完成对于虚拟物体A的操作。
根据本发明的又一实施例，如图1左侧，可以使用主要交互手在用户所面向方向上进行移动达到阈值的方式(左)，实现本发明提供的基于混合现实技术的虚拟物体交互方法。
进一步的，如图3所示，所述菜单界面采用同心环状设计，包含内环、外环和目标映射三部分，外环包含沿外环排列的菜单选项，内环在外环菜单选项对应位置处包含对于该选项的选择提示，目标映射为主要交互手的当前位置在菜单界面的映射。
进一步的，所述凝视点表现为在虚拟物体表面的一个半透明球体。
进一步的，所述预定手势为使用拇指与食指接触，形成“捏”的手势。
进一步的，所述用户面向方向为用户面部朝向。
进一步的，所述主要交互手移动是指用户主要交互手的当前位置与用户主要交互手做出预定手势时位置在用户面向方向上的投影。
进一步的，所述主要交互手在用户所面向方向上进行移动的阈值为由用户预先规定的主要交互手移动距离。
进一步的，所述操作界面包含阈值提示，用于表示主要交互手的当前位置在操作界面的映射与阈值之间的相对关系。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (8)

1.一种基于混合现实技术的虚拟物体交互方法，采用面向对象的菜单界面作为交互操作选择界面，菜单界面包括菜单选项和选择提示，其特征在于，该交互方法包括步骤：
步骤(1)选择交互对象：采用眼动追踪方法获得用户当前凝视点；采用手势识别方法识别用户预定手势；当用户当前凝视点停留于虚拟物体上时，用户需选择任意一只手作为主要交互手，选择另一只手作为次要交互手，使用主要交互手做出并保持预定手势，用于选择该虚拟物体作为交互对象；
步骤(2)进入菜单界面：保持选择虚拟物体状态，使用未做出预定手势的次要交互手做出预定手势；或使用主要交互手在用户所面向方向上进行移动使得移动距离达到阈值，进入选择菜单界面；
步骤(3)选择交互操作：保持操作选择界面显示状态，通过移动主要交互手位置或改变主要交互手姿态，选择菜单界面中目标操作所对应的菜单选项；通过菜单界面中的选择提示确认已选择的交互操作；
步骤(4)进入操作界面：与步骤(2)进入菜单界面相似地，用户使用未做出任意预定手势的次要交互手做出预定手势，或使用主要交互手在步骤(2)中移动方向的相反方向上进行移动达到阈值，进入操作界面；
步骤(5)完成交互操作：保持选择虚拟物体状态，移动主要交互手位置或改变主要交互手姿态，执行交互操作；操作执行的程度与主要交互手位置或姿态改变的幅度存在映射关系；对于仅包含单一操作的交互任务，在操作达到用户预期目标后，解除主要交互手预定手势，完成交互操作；对于包含多个不同操作的交互任务，在当前操作达到用户对于该操作的预期目标后，重复步骤(2)至步骤(4)，直到达到全部操作预期目标，完成交互操作。
2.根据权利要求1所述的一种基于混合现实技术的虚拟物体交互方法，其特征在于：
所述菜单界面采用同心环状设计，包含内环、外环和目标映射三部分，外环包含沿外环排列的菜单选项，内环在外环菜单选项对应位置处包含对于该选项的选择提示，目标映射为主要交互手的当前位置在菜单界面的映射。
3.根据权利要求1所述的一种基于混合现实技术的虚拟物体交互方法，其特征在于：
所述凝视点表现为在虚拟物体表面的一个半透明球体。
4.根据权利要求1所述的一种基于混合现实技术的虚拟物体交互方法，其特征在于：
所述预定手势为使用拇指与食指接触，形成“捏”的手势。
5.根据权利要求1所述的一种基于混合现实技术的虚拟物体交互方法，其特征在于：
所述用户面向方向为用户面部朝向。
6.根据权利要求1所述的一种基于混合现实技术的虚拟物体交互方法，其特征在于：
所述主要交互手移动是指用户主要交互手的当前位置与用户主要交互手做出预定手势时位置在用户面向方向上的投影。
7.根据权利要求1所述的一种基于混合现实技术的虚拟物体交互方法，其特征在于：
所述主要交互手在用户所面向方向上进行移动的阈值为由用户预先规定的主要交互手移动距离。
8.根据权利要求1所述的一种基于混合现实技术的虚拟物体交互方法，其特征在于：
所述操作界面包含阈值提示，用于表示主要交互手的当前位置在操作界面的映射与阈值之间的相对关系。
CN202110338973.6A 2021-03-30 2021-03-30 一种基于混合现实技术的虚拟物体交互方法 Active CN113534950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110338973.6A CN113534950B (zh) 2021-03-30 2021-03-30 一种基于混合现实技术的虚拟物体交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110338973.6A CN113534950B (zh) 2021-03-30 2021-03-30 一种基于混合现实技术的虚拟物体交互方法

Publications (2)

Publication Number Publication Date
CN113534950A CN113534950A (zh) 2021-10-22
CN113534950B true CN113534950B (zh) 2023-07-18

Family

ID=78094375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110338973.6A Active CN113534950B (zh) 2021-03-30 2021-03-30 一种基于混合现实技术的虚拟物体交互方法

Country Status (1)

Country Link
CN (1) CN113534950B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116107419A (zh) * 2021-11-10 2023-05-12 华为技术有限公司 一种与电子设备进行交互的方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914993A (zh) * 2015-05-15 2015-09-16 北京航空航天大学 一种手势控制民机客舱座椅调整的体验式设计方法
EP3079041A1 (de) * 2015-04-10 2016-10-12 Airbus Defence and Space GmbH Verfahren und system zur bereitstellung einer virtual-reality-umgebung für passagiere von land- und luftfahrzeugen

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10969937B2 (en) * 2019-01-11 2021-04-06 Microsoft Technology Licensing, Llc Context-aware system menu behavior for mixed reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3079041A1 (de) * 2015-04-10 2016-10-12 Airbus Defence and Space GmbH Verfahren und system zur bereitstellung einer virtual-reality-umgebung für passagiere von land- und luftfahrzeugen
CN104914993A (zh) * 2015-05-15 2015-09-16 北京航空航天大学 一种手势控制民机客舱座椅调整的体验式设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟现实的人机交互综述;张凤军;戴国忠;彭晓兰;;中国科学:信息科学(第12期);全文 *

Also Published As

Publication number Publication date
CN113534950A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
Weimer et al. A synthetic visual environment with hand gesturing and voice input
KR100832355B1 (ko) 3차원 포인팅 방법, 3차원 표시제어방법, 3차원 포인팅장치, 3차원 표시 제어장치, 3차원 포인팅 프로그램, 및3차원 표시제어 프로그램
Ren et al. 3D selection with freehand gesture
Grossman et al. Multi-finger gestural interaction with 3d volumetric displays
Wacker et al. Arpen: Mid-air object manipulation techniques for a bimanual ar system with pen & smartphone
Poupyrev et al. Manipulating objects in virtual worlds: Categorization and empirical evaluation of interaction techniques
Benko et al. Cross-dimensional gestural interaction techniques for hybrid immersive environments
Millette et al. DualCAD: integrating augmented reality with a desktop GUI and smartphone interaction
Kratz et al. PalmSpace: continuous around-device gestures vs. multitouch for 3D rotation tasks on mobile devices
Mardanbegi et al. Eyeseethrough: Unifying tool selection and application in virtual environments
Hachet et al. Navidget for easy 3d camera positioning from 2d inputs
US20080180406A1 (en) Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
Telkenaroglu et al. Dual-finger 3d interaction techniques for mobile devices
Forsberg et al. ErgoDesk: a framework for two-and three-dimensional interaction at the ActiveDesk
Hürst et al. Multimodal interaction concepts for mobile augmented reality applications
Ren et al. 3D marking menu selection with freehand gestures
CN113534950B (zh) 一种基于混合现实技术的虚拟物体交互方法
Yang et al. Mobile augmented reality authoring tool
Reiter et al. Look & turn: One-handed and expressive menu interaction by gaze and arm turns in vr
CN112068757B (zh) 一种用于虚拟现实的目标选择方法及系统
Sun et al. Phonecursor: Improving 3d selection performance with mobile device in ar
Schlünsen et al. A VR study on freehand vs. widgets for 3D manipulation tasks
Walther-Franks et al. A multi-touch system for 3D modelling and animation
EP4345583A1 (en) Gesture interaction method and system based on artificial reality
Sun et al. Selecting and Sliding Hidden Objects in 3D Desktop Environments.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant