CN113330393A - 用于在头戴式显示器上输出平视显示的方法和装置 - Google Patents

用于在头戴式显示器上输出平视显示的方法和装置 Download PDF

Info

Publication number
CN113330393A
CN113330393A CN202080011817.2A CN202080011817A CN113330393A CN 113330393 A CN113330393 A CN 113330393A CN 202080011817 A CN202080011817 A CN 202080011817A CN 113330393 A CN113330393 A CN 113330393A
Authority
CN
China
Prior art keywords
hud
user
gesture
head
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080011817.2A
Other languages
English (en)
Inventor
R·王尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN113330393A publication Critical patent/CN113330393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种虚拟平视显示（HUD）（1）利用头戴式显示器（HMD）（2）被显示给用户（3），其中所述HUD的至少一些元素即使在头部运动的情况下也基本上在头部坐标中位置固定地被显示在用户的视野的边缘处。跟踪设备（21）将所述用户的至少一个手运动和/或手指运动检测为手势。所述手势被识别并处理为与HUD的至少一个元素的交互。用裸手的直接交互使用户能够即使靠近其面部前面也非常直观地操作HUD的元素。借助手势与HUD的直接交互意味着迄今为止的用于针对VR和AR应用实施HUD的方案的颠覆性突破。代替在现有技术中所追求的对信息置于头部坐标中的抛弃，基于手势的交互的增加的人体工程学实现使用HUD来显示应始终可用的信息。使用户能够直观地用裸手在其面部前面操作这样的菜单。

Description

用于在头戴式显示器上输出平视显示的方法和装置
技术领域
本发明涉及平视显示（HUD）在头戴式显示器（HMD）上的输出。
背景技术
在下文中，术语“平视显示”（HUD）在计算机游戏中常用的意义上被使用。在此上下文中，HUD表示至少主要定位于用户的视野的边缘处的虚拟控制元素和/或显示。
在此情况下，用户的视野表示如下区域，在所述区域之内用户仅通过眼球运动、即在无头部运动的情况下能够凝视、即用其视觉中心清晰地看到对象。
术语“头戴式显示器”（Head Mounted Display（HMD））表示戴在头上的视觉输出设备、例如VR眼镜（例如HTC Vive）或AR眼镜（例如Microsoft Hololens），所述眼镜被配置用于通过显示三维图像视觉输出虚拟或增强现实。
在传统计算机游戏中，位置固定地在屏幕的边缘区域处显示HUD。在利用HMD输出HUD时，可能必须探索新途径。在下文中，术语“平视显示”（HUD）也应在此上下文中表示至少主要定位于用户的视野的边缘处的虚拟控制元素和/或显示。这意味着，HUD的大多数元素基本上在头部坐标中位置固定地定位在用户的视野的侧面，并在头部运动时相应地被一起携带。HMD在此情况下形成头部坐标系的原点。由于所述元素跟随头部运动，因此HUD的元素完全独立于同样可以处于用户的视野中的世界坐标中的虚拟或真实对象运动。
例如，虚拟控制元素和/或显示例如是基本上从图形用户界面已知的元素。合适的控制元素例如是符号、菜单、按钮、复选框、选择字段或列表字段。合适的显示例如是文本字段、图形状态显示或图像。虚拟控制元素和/或显示可以被设计为二维（平面）或三维显示。
在现有技术中，HUD利用HMD向用户的输出在虚拟现实领域中被感受为干扰性的，其中HUD的至少一些元素即使在头部运动的情况下也基本上位置固定地在头部坐标中显示在用户的视野的边缘处，因为所述元素可能限制视场。因此过渡到使HUD的元素附于世界坐标中的对象上，而不是定位在头部坐标中。这种方案例如在Joost Peters的 “Designing aHUD for a Third-Person VR Game”（Virtual Reality Developers Conference，2016年11月，作为视频在2019年1月9日在互联网上以https://youtu.be/f8an45s_-qs可用的演讲）中予以解释。
发明内容
通过本发明应提供现有技术的替代方案。
该任务根据本发明通过如下方式来解决：计算单元利用HMD将HUD输出给用户，其中HUD的至少一些元素即使在头部运动的情况下也基本上在头部坐标中位置固定地显示在用户的视野的边缘处。该方法的特征在于，跟踪设备将用户的至少一个手运动和/或手指运动检测为手势，并且计算单元将该手势识别和处理为与HUD的至少一个元素的交互。
用于利用HMD输出HUD的装置包含HMD和计算单元，该计算单元被编程用于利用HMD将HUD输出给用户，其中HUD的至少一些元素的输出即使在头部运动的情况下也基本上在头部坐标中位置固定地布置在用户的视野的边缘处。该装置的特征在于跟踪设备，该跟踪设备被配置用于将用户的至少一个手运动和/或手指运动检测为手势。计算单元被编程用于将手势识别和处理为与HUD的至少一个元素的交互。
在下文中所提到的优点不一定必须通过独立权利要求的主题来实现。更确切地说，在此情况下也可以涉及仅仅通过各个实施方式、变型方案或改进方案实现的优点。同样内容适用于随后的解释。
用户的基于手势的交互是与HUD的直接交互。与在用户的面部前面一臂长之内的控制器的间接交互将是不舒服的、不符合人体工程学的并且也不精确的。因此，从未尝试借助VR控制器来操控布置在头部坐标中的对象。利用裸手的直接交互使用户能够即使靠近其面部前面也非常直观地操作HUD的元素。通过精确跟踪裸手的手指进行直接操作通过最近才在市场上出现的跟踪设备、如Leap Motion或Microsoft Hololens的跟踪系统已变为可能。
借助手势与HUD的直接交互意味着迄今为止的用于针对VR和AR应用实施HUD的方案的颠覆性突破。代替在现有技术中所追求的对信息置于头部坐标中的抛弃，基于手势的交互的增加的人体工程学实现使用HUD来显示应始终可用的信息。使用户能够直观地用裸手在其面部前面操作这样的菜单。
该装置的计算单元例如是处理器、笔记本电脑或PC。处理器例如是微处理器或微控制器、片上系统或可编程数字模块、例如“现场可编程门阵列”(FPGA)。
根据一种实施方式，交互在于根据手势改变HUD的元素的布置。
该实施方式意味着现有技术的颠覆性抛弃，在现有技术中HUD被设计和实施为静态布置。通过该实施方式对于用户而言变为可能的是，通过直接的基于手势的交互来移动和重新布置HUD的元素。
在一个改进方案中，HUD的元素被显示在距用户不超过用户的手可到达的范围的距离处。用户触摸HUD的元素作为手势，其中交互尤其操作或选择元素。
该元素例如是通过手势触摸的按钮。
根据一种实施方式，用户在HUD的元素前面或上实施滑动手势作为手势，其中交互移动和/或放大或缩小元素。
该实施方式提供如下优点：用户可以直接通过手势将HUD的对于其而言相关的元素突出地置于其视野中，而其可以将HUD的对其而言不重要的元素移走到外围中。
在一个改进方案中，HUD的元素被显示在用户前面的不同距离处。
根据一种实施方式，用户在HUD的元素前面或上实施召唤手势作为手势，其中交互使元素更靠近用户和/或放大所述元素。
在一个改进方案中，用户在HUD的元素前面或上实施驱逐手势作为手势，其中交互将元素从用户移开和/或缩小该元素。
这两个改进方案和该实施方式提供如下优点：可以为用户提供具有多个元素的非常复杂的HUD，而不会使用户的视野堆满。类似于文件在书桌上的堆叠的空间交错导致附加的安排。
根据一种实施方式，HUD的元素以处于400ms和1200ms之间的时间延迟跟随用户的头部运动。这被可视化，其方式是，在从头部运动开始起的时间延迟的持续时间内，在头部坐标中与运动方向相反地使元素恢复。
400ms和1200ms之间的时间延迟引起人体工程学方面的显著提升，因为HUD的视觉印象对用户而言变得更自然。
在一个改进方案中，跟踪设备安装在HMD上。
适合于此的跟踪设备是Leap Motion产品。
在计算机可读的数据载体上存储计算机程序，所述计算机程序在其在处理器中被执行时实施该方法。
该计算机程序在处理器中被执行并且在此实施该方法。
附图说明
在下文中借助图更详细地解释本发明的实施例。在这些图中，除非另有说明，相同的或功能相同的元素就配备有相同的附图标记。
图1示出HUD 1，该HUD 利用HMD 2被输出给用户3，
图2示出手势4，用户利用该手势操作HUD的第三元素13，
图3示出手势4，用户利用该手势将HUD的第三元素13移动到其视野31的中心，
图4示出手势4，用户利用该手势将HUD的第三元素13从其视野31的中心移除，以及
图5示出手势4，用户利用该手势从背景中召唤HUD的第三元素13。
具体实施方式
图1示出HUD 1，该HUD利用HMD 2被输出给用户3。HUD 1以三维方式显示在用户3前面的虚拟显示区域10之内。HUD由多个平面字段或窗口组成，所述平面字段或窗口在头部坐标中布置在用户3的面部前面的空间上交错的平面中。
HMD 2具有跟踪设备21，用户3的手和/或手指运动能够利用该跟踪设备作为手势被检测和识别。为此例如适合的是被置于VR眼镜外部的Leap Motion产品，或者MicrosoftHololens的跟踪技术。
跟踪设备21使用户3能够借助于其手和/或手指运动直接与HUD 1的元素交互，以例如重新布置这些元素。
图2示出手势4，用户利用该手势用其手32操作或移动HUD的第三元素13。在此情况下，第三元素13与第一元素11、第二元素12、第五元素15、第六元素16和第七元素17一起在一个平面中显示在用户前面。该平面靠近用户的面部前面布置，使得用户可以用指尖舒适地达到该平面。利用图2中所示出的手势4，用户用其裸手在其面部前面触摸第三元素13。被分配给该手势的交互例如可以是为了将来的目的而选择第三元素13、拖放操作或按钮的操作。
图3示出手势4、这里滑动手势，利用该手势，作为交互41，HUD的第三元素13被移动到用户的视野31的中心。除了图2中的元素之外，还绘出了第四元素14和第八元素18。在实施交互41之后，第三元素13不必位于用户的视野31的中央。该第三元素也可以继续位于视野31的边缘处，然而比更强地位于外围中的其他元素更中间。用户例如执行手势4，以便能够更好地聚焦和阅读显示在第三元素13中的文本。以此方式，用户可以使其视野31基本上畅通并且只将最重要的元素、如第三元素13移动到中心。不需要的元素也可以几乎在外围中消失，在外围处用户不再能够凝视不需要的元素；如在图3中所示出的，大多数元素仅仅一半位于用户的视野中。然而，用户也在眼角中不清晰地看到另一半，只要 HMD的视场允许这一点。在任何情况下，用户可以通过相应的手势将相应的元素取回到其视野31中，以便更准确地观察所述元素。
这些元素例如包含如从图形用户界面已知的控制元素或显示。合适的控制元素例如是符号、菜单、按钮、复选框、选择字段或列表字段。合适的显示例如是文本字段、图形状态显示或图像。这些元素可以被设计为二维（平面）或三维显示。
图4示出手势4，用户利用该手势将HUD的第三元素13从其视野31中至少部分地移除。相应地识别和实施的交互41作为箭头示出。
图5示出另一手势4，用户利用该手势从背景中召唤HUD的第三元素13。在通过跟踪设备21识别出该手势之后，作为相关联的交互41，第三元素13的提取被识别并被实施。相反，用户可以使用驱逐手势将元素移动到背景中。以此方式，用户也可以与最初不位于其手可到达的范围中的元素进行交互。此外，用户可以以此方式组织元素的堆叠，由此附加地构造HUD，并且使用户的视野更好地畅通。
尽管本发明通过实施例详细地来图示和描述，但本发明并不受所公开的示例限制。其他变化可以由本领域技术人员从中导出，而不离开本发明的保护范围。所描述的实施例、变型方案、实施方式和改进方案也可以自由地彼此组合。

Claims (12)

1.一种用于利用HMD（2）输出HUD（1）的方法，
- 其中计算单元利用HMD（2）将HUD（1）输出给用户（3），其中所述HUD的至少一些元素（11，...，18）即使在头部运动的情况下也基本上在头部坐标中位置固定地被显示在所述用户的视野（31）的边缘处，
其特征在于，
- 跟踪设备（21）将所述用户的至少一个手运动和/或手指运动检测为手势（4），以及
- 所述计算单元将所述手势识别并处理为与所述HUD的至少一个元素的交互（41）。
2.根据权利要求1所述的方法，
- 其中所述交互在于，根据所述手势改变所述HUD的元素的布置。
3.根据上述权利要求中任一项所述的方法，
- 其中所述HUD的元素被显示在距所述用户不超过所述用户的手可到达的范围的距离处，以及
- 其中所述用户触摸所述HUD的元素作为手势，其中所述交互尤其操作或选择所述元素。
4.根据上述权利要求中任一项所述的方法，
- 其中所述用户在所述HUD的元素前面或上实施滑动手势作为手势，其中所述交互移动和/或放大或缩小所述元素。
5.根据上述权利要求中任一项所述的方法，
- 其中所述HUD的元素被显示在所述用户前面的不同距离处。
6.根据权利要求5所述的方法，
- 其中所述用户在所述HUD的元素前面或上实施召唤手势作为手势，其中所述交互使所述元素更靠近所述用户和/或放大所述元素。
7.根据权利要求5或6所述的方法，
- 其中所述用户在所述HUD的元素前面或上实施驱逐手势作为手势，其中所述交互将所述元素从所述用户移开和/或缩小所述元素。
8.根据上述权利要求中任一项所述的方法，
- 其中所述HUD的元素以处于400ms和1200ms之间的时间延迟跟随所述用户的头部运动，以及
- 其中这通过如下方式可视化：在从所述头部运动开始起的所述时间延迟的持续时间内，在头部坐标中与运动方向相反地使所述元素恢复。
9.一种用于利用HMD（2）输出HUD（1）的装置，
- 具有HMD（2），
- 具有计算单元，所述计算单元被编程用于利用所述HMD （2）将HUD（1）输出给用户（3），其中所述HUD的至少一些元素（11，...，18）的输出即使在头部运动的情况下也基本上在头部坐标中位置固定地布置在所述用户的视野（31）的边缘处，
其特征在于
跟踪设备（21），所述跟踪设备被配置用于将所述用户的至少一个手运动和/或手指运动检测为手势（4），以及
- 所述计算单元被编程用于将所述手势识别和处理为与所述HUD的至少一个元素的交互（41）。
10.根据权利要求9所述的装置，
- 其中所述跟踪设备安装在所述HMD上。
11.一种计算机可读的数据载体，
- 在所述数据载体上存储有计算机程序，所述计算机程序当其在处理器中被执行时实施根据权利要求1至8中任一项所述的方法。
12.一种计算机程序，
- 所述计算机程序在处理器中被执行并且在此实施根据权利要求1至8中任一项所述的方法。
CN202080011817.2A 2019-01-30 2020-01-20 用于在头戴式显示器上输出平视显示的方法和装置 Pending CN113330393A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102019201175.6 2019-01-30
DE102019201175 2019-01-30
DE102019202512.9A DE102019202512A1 (de) 2019-01-30 2019-02-25 Verfahren und Anordnung zur Ausgabe eines HUD auf einem HMD
DE102019202512.9 2019-02-25
PCT/EP2020/051273 WO2020156854A1 (de) 2019-01-30 2020-01-20 Verfahren und anordnung zur ausgabe eines head up display auf einem head mounted display

Publications (1)

Publication Number Publication Date
CN113330393A true CN113330393A (zh) 2021-08-31

Family

ID=71524683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080011817.2A Pending CN113330393A (zh) 2019-01-30 2020-01-20 用于在头戴式显示器上输出平视显示的方法和装置

Country Status (5)

Country Link
US (1) US20220091662A1 (zh)
EP (1) EP3903172A1 (zh)
CN (1) CN113330393A (zh)
DE (1) DE102019202512A1 (zh)
WO (1) WO2020156854A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061163A1 (zh) * 2022-09-19 2024-03-28 北京字跳网络技术有限公司 人机交互方法、显示方法、装置、设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112655024B (zh) * 2020-10-30 2022-04-22 华为技术有限公司 一种图像标定方法及装置
CN114839782B (zh) * 2022-06-07 2023-08-18 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统
DE102023204274B3 (de) 2023-05-09 2024-10-31 Volkswagen Aktiengesellschaft Verfahren, System und Computerprogramm zur augmentierten Bedienung eines Fahrzeugsystems eines Kraftfahrzeugs

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293506A1 (en) * 2009-11-10 2012-11-22 Selex Sistemi Integrati S.P.A. Avatar-Based Virtual Collaborative Assistance
US20140078176A1 (en) * 2012-09-14 2014-03-20 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
CN104335142A (zh) * 2012-06-14 2015-02-04 高通股份有限公司 用于透明头戴式显示器的用户接口交互
US20150084857A1 (en) * 2013-09-25 2015-03-26 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
CN105408837A (zh) * 2013-06-18 2016-03-16 微软技术许可有限责任公司 Hmd上的混合世界/身体锁定的hud
CN105830351A (zh) * 2014-06-23 2016-08-03 Lg电子株式会社 移动终端及其控制方法
WO2016209604A1 (en) * 2015-06-24 2016-12-29 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US20190018498A1 (en) * 2017-07-12 2019-01-17 Unity IPR ApS Methods and systems for displaying ui elements in mixed reality environments

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6776155B2 (ja) * 2017-02-28 2020-10-28 株式会社コロプラ 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293506A1 (en) * 2009-11-10 2012-11-22 Selex Sistemi Integrati S.P.A. Avatar-Based Virtual Collaborative Assistance
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN104335142A (zh) * 2012-06-14 2015-02-04 高通股份有限公司 用于透明头戴式显示器的用户接口交互
US20140078176A1 (en) * 2012-09-14 2014-03-20 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
CN105408837A (zh) * 2013-06-18 2016-03-16 微软技术许可有限责任公司 Hmd上的混合世界/身体锁定的hud
US20150084857A1 (en) * 2013-09-25 2015-03-26 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
CN105830351A (zh) * 2014-06-23 2016-08-03 Lg电子株式会社 移动终端及其控制方法
WO2016209604A1 (en) * 2015-06-24 2016-12-29 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US20190018498A1 (en) * 2017-07-12 2019-01-17 Unity IPR ApS Methods and systems for displaying ui elements in mixed reality environments

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024061163A1 (zh) * 2022-09-19 2024-03-28 北京字跳网络技术有限公司 人机交互方法、显示方法、装置、设备

Also Published As

Publication number Publication date
DE102019202512A1 (de) 2020-07-30
US20220091662A1 (en) 2022-03-24
WO2020156854A1 (de) 2020-08-06
EP3903172A1 (de) 2021-11-03

Similar Documents

Publication Publication Date Title
AU2021349381B2 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
Biener et al. Breaking the screen: Interaction across touchscreen boundaries in virtual reality for mobile knowledge workers
EP3055755B1 (en) Scaling of visual elements on a user interface
CN113330393A (zh) 用于在头戴式显示器上输出平视显示的方法和装置
EP3311250B1 (en) System and method for spawning drawing surfaces
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
US9274608B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
CN111033572B (zh) 用于检测用作虚拟衬底的平面和/或四叉树的方法和设备
US9857971B2 (en) System and method for receiving user input and program storage medium thereof
US10591988B2 (en) Method for displaying user interface of head-mounted display device
US20060181519A1 (en) Method and system for manipulating graphical objects displayed on a touch-sensitive display surface using displaced pop-ups
US9841821B2 (en) Methods for automatically assessing user handedness in computer systems and the utilization of such information
US10521101B2 (en) Scroll mode for touch/pointing control
WO2012171116A1 (en) Visual feedback by identifying anatomical features of a hand
Burstyn et al. FlexView: an evaluation of depth navigation on deformable mobile devices
JP2015506033A (ja) モバイル・デバイスにおける完全な３ｄ対話
CN108027655A (zh) 信息处理系统、信息处理设备、控制方法和程序
CN114647317A (zh) 由外围设备启用的远程触摸检测
WO2023049767A2 (en) Methods for moving objects in a three-dimensional environment
Park et al. Handposemenu: Hand posture-based virtual menus for changing interaction mode in 3d space
Liu et al. Three-dimensional PC: toward novel forms of human-computer interaction
Han et al. Designing touch gestures using the space around the smartwatch as continuous input space
KR20240127470A (ko) 콘텐츠의 탐색 및 입력 또는 수정을 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP4439241A1 (en) Improved touchless pointer operation during typing activities using a computer device
Vanoni Human-centered interfaces for large, high-resolution visualization systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination