CN114089827A - 切换输入装置方法、头戴式显示器及计算机可读存储介质 - Google Patents

切换输入装置方法、头戴式显示器及计算机可读存储介质 Download PDF

Info

Publication number
CN114089827A
CN114089827A CN202011046873.8A CN202011046873A CN114089827A CN 114089827 A CN114089827 A CN 114089827A CN 202011046873 A CN202011046873 A CN 202011046873A CN 114089827 A CN114089827 A CN 114089827A
Authority
CN
China
Prior art keywords
input device
distance
physical input
threshold
less
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011046873.8A
Other languages
English (en)
Other versions
CN114089827B (zh
Inventor
林圣成
刘建欣
林石隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN114089827A publication Critical patent/CN114089827A/zh
Application granted granted Critical
Publication of CN114089827B publication Critical patent/CN114089827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种用于切换输入装置的方法、头戴式显示器(HMD)及计算机可读存储介质。所述方法包括：提供视觉内容，其中第一实体输入装置在所述视觉内容中是可见的；判断位于特定对象与所述第一实体输入装置之间的第一特定距离是否小于第一阈值；响应于判定所述第一特定距离小于所述第一阈值，启用所述第一实体输入装置；响应于判定所述第一特定距离不小于所述第一阈值，禁用所述第一实体输入装置。借此，可让用户在不同的输入装置之间直观地进行切换。

Description

切换输入装置方法、头戴式显示器及计算机可读存储介质
技术领域
本公开大致涉及用于控制输入装置的机制，特别是涉及用于切换输入装置的方法、头戴式显示器(head-mounted display，HMD)及计算机可读存储介质。
背景技术
随着混合现实(mixed reality，MR)技术的发展，当前的HMD能够进行现实访问。对于光学透视或视频通过(optical see through or video pass through)现实体验，因为大多数虚拟内容是空间中真实对象的延伸，因此手势是主要的输入方法。
为与这些内容进行交互作用，让用户接近这些现实世界的对象并伸出手来作为控制的手段是有意义的。在完全虚拟的沉浸式状态下，手势仅限于遵守现实世界物理学的简单操作，然而，举例来说，电影控制面板浏览(movie dashboard browsing)的距离操作(distance operation)仍优选通过额外的物理控制器实现。虽可针对此类场景设计复杂的手势语言，但其需要大量的机器学习及高用户学习曲线。并且，即便学习了所有的语言，真实控制器的触觉反馈及控制精度也无法复制。
目前，手部追踪与虚拟6自由度(6degree of freedom，6dof)控制器之间的切换发生在虚拟应用程序的开始。如果偏好手势操作，那么用户可在菜单层手动切换。然而，当MR内容趋于成熟，手势、虚拟控制器、并且甚至二维(two-dimensional，2D)虚拟输入控制器(例如，键盘及鼠标)之间的切换将会更加频繁，并且期望可被同时利用。
因此，设计一种在这些不同的输入装置之间进行切换的直观方式是至关重要的。
发明内容
因此，本公开涉及一种用于切换输入装置的方法、HMD及计算机可读存储介质。
本公开提供一种用于切换输入装置的方法，所述方法适用于头戴式显示器(HMD)。所述方法包括：提供视觉内容，其中第一实体输入装置在所述视觉内容中是可见的；判断位于特定对象与所述第一实体输入装置之间的第一特定距离是否小于第一阈值；响应于判定所述第一特定距离小于所述第一阈值，启用所述第一实体输入装置；响应于判定所述第一特定距离不小于所述第一阈值，禁用所述第一实体输入装置。
本公开提供一种计算机可读存储介质，所述计算机可读存储介质记录将由头戴式显示器(HMD)加载的可执行计算机程序，以执行以下步骤：提供视觉内容，其中第一实体输入装置在所述视觉内容中是可见的；判断特定对象与所述第一实体输入装置之间的第一特定距离是否小于第一阈值；响应于判定所述第一特定距离小于所述第一阈值，启用所述第一实体输入装置；响应于判定所述第一特定距离不小于所述第一阈值，禁用所述第一实体输入装置。
本公开提供一种头戴式显示器(HMD)，所述头戴式显示器包括显示器、存储电路及处理器。所述存储电路存储多个模块。所述处理器耦合到所述显示器及所述存储电路，并访问所述模块以实行以下步骤：控制所述显示器以提供视觉内容，其中第一实体输入装置在所述视觉内容中是可见的；判断特定对象与所述第一实体输入装置之间的第一特定距离是否小于第一阈值；响应于判定所述第一特定距离小于所述第一阈值，启用所述第一实体输入装置；响应于判定所述第一特定距离不小于所述第一阈值，禁用所述第一实体输入装置。
附图说明
包括附图以提供对本公开的进一步理解，并且附图并入本说明书并构成本说明书的一部分。附图示出本公开的实施例，并且与描述一起用于阐释本公开的原理。
图1示出根据本公开实施例的HMD的示意图。
图2示出根据本公开实施例的用于切换输入装置的方法的流程图。
图3A到图3C是根据本公开第一实施例的应用场景。
附图标记列表
100：头戴式显示器(HMD)
102：存储电路
104：显示器
106：处理器
310：视觉内容
D1：第一实体输入装置
D2：第二实体输入装置
H1：手
S210、S220、S230、S240：步骤
VO1、VO2：对象
具体实施方式
现在将详细参照本公开的当前优选实施例，其实例在附图中示出。尽可能在附图与说明书中使用相同的参考编号来指代相同或相似的部件。
参见图1，其示出根据本公开实施例的HMD的示意图。在图1中，HMD100包括存储电路102、显示器104及处理器106。
存储电路102是固定或移动随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存、硬盘或任何其他类似装置中的一者或其组合，并且记录可由处理器106执行的多个模块。
在本公开的实施例中，显示器104可以是光学透视显示器。也就是说，显示器104中所示的视觉内容可包括虚拟内容及实体内容，其中虚拟内容可包括虚拟现实内容，且实体内容可包括HMD 100前方的现实世界对象，但本公开不限于此。
处理器106可与存储电路102及显示器104耦合，且处理器106可以是例如通用处理器、专用处理器、常规处理器、数字信号处理器(digital signal processor，DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)电路、任何其他类型的集成电路(integrated circuit，IC)、状态机、基于ARM的处理器等。
在本公开的实施例中，处理器106可访问存储在存储电路102中的模块，以实施本公开中提供的用于切换输入装置的方法，此将在下文进行进一步论述。
参见图2，其示出根据本公开实施例的用于切换输入装置的方法的流程图。此实施例的方法可由图1中的HMD 100执行，并且图2中的每个步骤的细节将在下文用图1中示出的组件来描述。此外，为更好地理解本公开的概念，将使用图3A到图3C作为实例，其中图3A到图3C是根据本公开第一实施例的应用场景。
在图3A中，处理器106可实行步骤S210以控制显示器104来提供视觉内容310。在一个实施例中，视觉内容310可以是包括虚拟对象(例如，对象VO1及VO2)及现实世界对象(例如，第一实体输入装置D1、第二实体输入装置D2及HMD 100的穿戴者的手H1)的MR内容。也就是说，第一实体输入装置D1、第二实体输入装置D2及HMD 100的穿戴者的手H1在视觉内容310中是可见的。
在本公开的实施例中，第一实体输入装置D1(例如，键盘)及第二实体输入装置D2(例如，控制器)可配对于HMD 100。
在一个实施例中，当启用第一实体输入装置D1时，HMD 100的穿戴者可使用第一实体输入装置D1来实行对HMD 100的输入操作(例如，键入词语)，而当禁用第一实体输入装置D1时，HMD 100的穿戴者可不使用第一实体输入装置D1来实行对HMD 100的输入操作。类似地，当启用第二实体输入装置D2时，HMD 100的穿戴者可使用第二实体输入装置D2来实行对HMD 100的输入操作，而当禁用第二实体输入装置D2时，HMD 100的穿戴者可不使用第二实体输入装置D2来实行对HMD 100的输入操作。
在一个实施例中，当第一实体输入装置D1及第二实体输入装置D2两者都被启用时，HMD 100的穿戴者可使用第一实体输入装置D1及第二实体输入装置D2来实行对HMD 100的输入操作。另一方面，当第一实体输入装置D1及第二实体输入装置D2两者都被禁用时，HMD 100的穿戴者可使用手H1经由手势实行对HMD 100的输入操作，但本公开不限于此。
接着，在步骤S220中，处理器106可判断特定对象与第一实体输入装置D1之间的第一特定距离是否小于第一阈值。
在各种实施例中，处理器106可使用下文讨论的机制来实行步骤S220。
具体来说，在本公开的第一实施例中，特定对象可以是图3A中的手H1，但本公开不限于此。在此种情况下，处理器106可经由由内向外追踪(inside-out tracking)机制获得对应于特定对象(即，手H1)的特定3D对象(例如，手形3D对象)及对应于第一实体输入装置D1的第一3D对象(例如，键盘形3D对象)。在各种实施例中，由内向外追踪机制的细节可参考相关的常规文档，并且在此对其细节不再予以赘述。接下来，处理器106可将特定3D对象与第一3D对象之间的第一距离定义为第一特定距离，并判断第一距离是否小于第一阈值。
在各种实施例中，第一阈值可基于设计者的要求被设计为任何距离值，例如3厘米、5厘米或任何所需值。
在本公开的第二实施例中，第一实体输入装置D1可设置有与HMD 100连接的第一接近传感器。在一些实施例中，第一接近传感器可以是第一实体输入装置D1的内置元件或连接到第一实体输入装置D1的外部软件狗(dongle)，但本公开不限于此。
在第二实施例中，处理器106可使用第一接近传感器来检测第一接近传感器与接近对象(例如，手H1)之间的第二距离。接下来，处理器106可将第二距离定义为特定对象与第一实体输入装置D1之间的第一特定距离，并判断第二距离是否小于第一阈值。
在第三实施例中，HMD 100可连接到第二接近传感器，其中第二接近传感器可穿戴在手H1(例如，特定对象)上，但本公开不限于此。
在此种情况下，处理器106可对视觉内容310实行图像识别(例如，谷歌透镜TM(Google lensTM))，以识别视觉内容310中对应于特定对象的特定2D对象(例如，手形2D对象)及对应于第一实体输入装置D1的第一2D对象(例如，键盘形2D对象)。接下来，处理器106可判断特定2D对象与第一2D对象之间的第三距离是否小于特定阈值(其可由设计者任意选择)。如果判定特定2D对象与第一2D对象之间的第三距离小于特定阈值，那么其表示特定对象可能靠近第一实体输入装置D1。因此，处理器106可进一步使用第二接近传感器来检测第二接近传感器与接近对象(例如，第一实体输入装置D1)之间的第四距离。之后，处理器106可将第四距离定义为特定对象与第一实体输入装置D1之间的第一特定距离，并判断第四距离是否小于第一阈值。
在一个实施例中，响应于判定第一特定距离小于第一阈值，处理器106可实行步骤S230以启用第一实体输入装置D1。在此种情况下，HMD 100的穿戴者可使用HMD 100的第一实体输入装置D1。
在一些实施例中，在启用第一实体输入装置D1之后，处理器106可进一步禁用手势识别。因此，HMD 100的穿戴者可能不被允许用他/她的手(例如，手H1)对HMD 100实行输入操作，但本公开不限于此。
另一方面，响应于判定第一特定距离不小于第一阈值，处理器106可实行步骤S240以禁用第一实体输入装置D1。在此种情况下，HMD 100的穿戴者可不使用HMD 100的第一实体输入装置D1。
简而言之，处理器106可判断特定对象(例如，手H1)是否足够靠近第一实体输入装置D1。响应于判定特定对象足够靠近第一实体输入装置D1(例如，第一特定距离小于第一阈值)，处理器106可相应地启用第一实体输入装置D1使HMD 100的穿戴者能够实行输入操作，如图3A所示。
另一方面，响应于判定特定对象不靠近第一实体输入装置D1(例如，第一特定距离不小于第一阈值)，处理器106可相应地禁用第一实体输入装置D1，使得HMD 100的穿戴者不能使用第一实体输入装置D1来实行输入操作，如图3B所示，但本公开不限于此。
在其他实施例中，处理器106可基于特定对象(例如，手H1)有多靠近第二实体输入装置D2来判断是否启用/禁用第二实体输入装置D2。
具体来说，处理器106可经配置以：判断特定对象与第二实体输入装置D2之间的第二特定距离是否小于第二阈值。响应于判定第二特定距离小于第二阈值，处理器106可相应地启用第二实体输入装置使HMD 100的穿戴者能够实行输入操作，如图3C所示。另一方面，响应于判定第二特定距离不小于第二阈值，处理器106可相应地禁用第二实体输入装置D2，使得穿戴者不能使用第二实体输入装置D2来实行输入操作，如图3B所示。相关细节可参考上述实施例中的教示内容，在此不再对其予以赘述。
在一些实施例中，如果与HMD 100配对的所有实体输入装置都被禁用，那么处理器106可启用手势识别，使得处理器106可对特定对象(例如，手H1)实行手势识别。因此，HMD100的穿戴者将被允许通过实行各种手势来实行对HMD 100的输入操作，但本公开不限于此。举例而言，穿戴者例如可透过手势操作(例如翻转/移动等)视觉内容310中的3D虚拟对象(例如图3B所示的圆形3D虚拟物体)，而HMD 100可因应于穿戴者所输入的手势而调整所述3D虚拟对象的显示方式(例如相应地翻转/移动等)，但可不限于此。
本公开还提供一种用于执行切换输入装置的方法的计算机可读存储介质。计算机可读存储介质由在其中实施的多个程序指令(例如，设置程序指令及部署程序指令)构成。这些程序指令可被加载到HMD 100中，并由HMD 100执行，以执行上述用于切换输入装置的方法及HMD 100的功能。
概括来说，在本公开提供的方法中，可判断特定对象是否足够靠近与HMD配对的实体输入装置。响应于判定特定对象足够靠近实体输入装置，HMD可相应地启用实体输入装置使HMD的穿戴者能够通过实体输入装置实行输入操作。
另一方面，响应于判定特定对象不靠近实体输入装置，HMD可相应地禁用实体输入装置，使得HMD的穿戴者不能使用实体输入装置来实行输入操作。因此，本公开为HMD的穿戴者切换输入装置提供了新颖、方便与直观的方式。
对于所属领域中的技术人员来说将显而易见的是，在不脱离本公开的范围或精神的情况下，可对本公开的结构作出各种修改及变化。鉴于前述内容，旨在使本公开涵盖对本公开的修改及变化，只要所述修改及变化落于以上权利要求书及其等效形式的范围内即可。

Claims (20)

1.一种用于切换输入装置的方法，适用于头戴式显示器，包括：
提供视觉内容，其中第一实体输入装置在所述视觉内容中是可见的；
判断位于特定对象与所述第一实体输入装置之间的第一特定距离是否小于第一阈值；
响应于判定所述第一特定距离小于所述第一阈值，启用所述第一实体输入装置；
响应于判定所述第一特定距离不小于所述第一阈值，禁用所述第一实体输入装置。
2.根据权利要求1所述的方法，其中所述第一实体输入装置配对于所述头戴式显示器，并且所述判断所述特定对象与所述第一实体输入装置之间的所述第一特定距离是否小于所述第一阈值的步骤包括：
经由由内向外追踪机制获得对应于所述特定对象的特定三维对象及对应于所述第一实体输入装置的第一三维对象；
将所述特定三维对象与所述第一三维对象之间的第一距离定义为所述第一特定距离，并且判断所述第一距离是否小于所述第一阈值。
3.根据权利要求1所述的方法，其中所述第一实体输入装置配对于所述头戴式显示器并且设置有第一接近传感器，所述头戴式显示器与所述第一接近传感器连接，并且所述判断所述特定对象与所述第一实体输入装置之间的所述第一特定距离是否小于所述第一阈值的步骤包括：
使用所述第一接近传感器检测所述第一接近传感器与所接近对象之间的第二距离；
将所述第二距离定义为所述特定对象与所述第一实体输入装置之间的所述第一特定距离，并且判断所述第二距离是否小于所述第一阈值。
4.根据权利要求1所述的方法，其中所述头戴式显示器配对于所述第一实体输入装置并连接到第二接近传感器，并且所述判断所述特定对象与所述第一实体输入装置之间的所述第一特定距离是否小于所述第一阈值的步骤包括：
对所述视觉内容实行图像识别，以识别所述视觉内容中对应于所述特定对象的特定二维对象及对应于所述第一实体输入装置的第一二维对象；
响应于判定所述特定二维对象与所述第一二维对象之间的第三距离小于特定阈值，使用所述第二接近传感器来检测所述第二接近传感器与接近对象之间的第四距离；
将所述第四距离定义为所述特定对象与所述第一实体输入装置之间的所述第一特定距离，并且判断所述第四距离是否小于所述第一阈值。
5.根据权利要求4所述的方法，其中所述第二接近传感器穿戴在所述特定对象上。
6.根据权利要求1所述的方法，其中所述头戴式显示器配对于第二实体输入装置，所述第二实体输入装置在所述视觉内容中是可见的，并且所述方法还包括：
判断所述特定对象与所述第二实体输入装置之间的第二特定距离是否小于第二阈值；
响应于判定所述第二特定距离小于所述第二阈值，启用所述第二实体输入装置；
响应于判定所述第二特定距离不小于所述第二阈值，禁用所述第二实体输入装置。
7.根据权利要求1所述的方法，其中所述视觉内容是混合现实(MR)内容。
8.根据权利要求1所述的方法，其中所述特定对象是手，并且响应于禁用所述第一实体输入装置，所述方法还包括：
对所述特定对象实行手势识别。
9.根据权利要求1所述的方法，其中在所述启用所述第一实体输入装置的步骤之后，所述方法还包括：
禁用手势识别。
10.一种计算机可读存储介质，记录将由头戴式显示器加载的可执行计算机程序，以执行以下步骤：
提供视觉内容，其中第一实体输入装置在所述视觉内容中是可见的；
判断特定对象与所述第一实体输入装置之间的第一特定距离是否小于第一阈值；
响应于判定所述第一特定距离小于所述第一阈值，启用所述第一实体输入装置；
响应于判定所述第一特定距离不小于所述第一阈值，禁用所述第一实体输入装置。
11.一种头戴式显示器，包括：
显示器；
存储电路，存储多个模块；
处理器，耦合到所述显示器及所述存储电路，访问所述模块以实行以下步骤：
控制所述显示器提供视觉内容，其中第一实体输入装置在所述视觉内容中是可见的；
判断特定对象与所述第一实体输入装置之间的第一特定距离是否小于第一阈值；
响应于判定所述第一特定距离小于所述第一阈值，启用所述第一实体输入装置；
响应于判定所述第一特定距离不小于所述第一阈值，禁用所述第一实体输入装置。
12.根据权利要求11所述的头戴式显示器，其中所述第一实体输入装置配对于所述头戴式显示器，并且所述处理器经经配置以：
通过由内向外追踪机制获得对应于所述特定对象的特定三维对象及对应于所述第一实体输入装置的第一三维对象；
将所述特定三维对象与所述第一三维对象之间的第一距离定义为所述第一特定距离，并且判断所述第一距离是否小于所述第一阈值。
13.根据权利要求11所述的头戴式显示器，其中所述第一实体输入装置配对于所述头戴式显示器并且设置有第一接近传感器，所述头戴式显示器与所述第一接近传感器连接，并且所述处理经配置以：
使用所述第一接近传感器来检测所述第一接近传感器与接近对象之间的第二距离；
将所述第二距离定义为所述特定对象与所述第一实体输入装置之间的所述第一特定距离，并判断所述第二距离是否小于所述第一阈值。
14.根据权利要求11所述的头戴式显示器，其中所述头戴式显示器配对于所述第一实体输入装置并连接到第二接近传感器，并且所述处理器经配置以：
对所述视觉内容实行图像识别，以识别所述视觉内容中对应于所述特定对象的特定二维对象及对应于所述第一实体输入装置的第一二维对象；
响应于判定所述特定二维对象与所述第一二维对象之间的第三距离小于特定阈值，使用所述第二接近传感器来检测所述第二接近传感器与接近对象之间的第四距离；
将所述第四距离定义为所述特定对象与所述第一实体输入装置之间的所述第一特定距离，并判断所述第四距离是否小于所述第一阈值。
15.根据权利要求14所述的头戴式显示器，其中所述第二接近传感器穿戴在所述特定对象上。
16.根据权利要求11所述的头戴式显示器，其中所述头戴式显示器配对于第二实体输入装置，所述第二实体输入装置在所述视觉内容中是可见的，并且所述处理器还经配置以：
判断所述特定对象与所述第二实体输入装置之间的第二特定距离是否小于第二阈值；
响应于判定所述第二特定距离小于所述第二阈值，启用所述第二实体输入装置；
响应于判定所述第二特定距离不小于所述第二阈值，禁用所述第二实体输入装置。
17.根据权利要求11所述的头戴式显示器，其中所述视觉内容是混合现实(MR)内容。
18.根据权利要求11所述的头戴式显示器，其中所述特定对象是手，并且响应于禁用所述第一实体输入装置，所述处理器还经配置以：
对所述特定对象实行手势识别。
19.根据权利要求11所述的头戴式显示器，其中在启用所述第一实体输入装置后，所述处理器还经配置以禁用手势识别。
20.根据权利要求11所述的头戴式显示器，其中所述特定对象是手。
CN202011046873.8A 2020-08-04 2020-09-29 切换输入装置方法、头戴式显示器及计算机可读存储介质 Active CN114089827B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/984,164 US11249314B1 (en) 2020-08-04 2020-08-04 Method for switching input devices, head-mounted display and computer readable storage medium
US16/984,164 2020-08-04

Publications (2)

Publication Number Publication Date
CN114089827A true CN114089827A (zh) 2022-02-25
CN114089827B CN114089827B (zh) 2023-08-25

Family

ID=80113738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046873.8A Active CN114089827B (zh) 2020-08-04 2020-09-29 切换输入装置方法、头戴式显示器及计算机可读存储介质

Country Status (3)

Country Link
US (1) US11249314B1 (zh)
CN (1) CN114089827B (zh)
TW (1) TWI761960B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024090721A1 (ko) 2022-10-28 2024-05-02 삼성전자주식회사 외부 전자 장치 내 센서를 이용하여 시각적 객체를 표시하는 웨어러블 장치 및 그 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130147712A1 (en) * 2010-08-24 2013-06-13 Lenovo (Beijing) Co., Ltd. Information Processing Device And Control Method Thereof
US20160018985A1 (en) * 2014-07-15 2016-01-21 Rotem Bennet Holographic keyboard display
CN107479717A (zh) * 2016-04-29 2017-12-15 姚秉洋 屏幕键盘的显示方法及其计算机程序产品
CN107533374A (zh) * 2015-08-26 2018-01-02 谷歌有限责任公司 虚拟现实中的头部、手势和触摸输入的动态切换和合并
CN107533373A (zh) * 2015-08-04 2018-01-02 谷歌有限责任公司 虚拟现实中经由手与对象的场境敏感碰撞的输入
US20180348860A1 (en) * 2017-06-02 2018-12-06 Htc Corporation Immersive headset system and control method thereof
US20190050062A1 (en) * 2017-08-10 2019-02-14 Google Llc Context-sensitive hand interaction
US20190362557A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
US20200225735A1 (en) * 2019-01-10 2020-07-16 Microsoft Technology Licensing, Llc Techniques for multi-finger typing in mixed-reality

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8912979B1 (en) * 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
CN104300950A (zh) * 2014-09-23 2015-01-21 青岛歌尔声学科技有限公司 一种集成复位功能的自动触发开机电路及hmd设备
WO2018039277A1 (en) * 2016-08-22 2018-03-01 Magic Leap, Inc. Diffractive eyepiece
CN115665236B (zh) * 2016-11-21 2024-10-01 北京嘀嘀无限科技发展有限公司 基于位置信息执行动作的系统与方法
CN109478120B (zh) * 2016-12-28 2022-03-25 英华达（上海）科技有限公司 电子设备的输入方法及系统
US11126258B2 (en) * 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch
CN109753196A (zh) * 2017-11-06 2019-05-14 阿里巴巴集团控股有限公司 处理方法、装置、设备和机器可读介质
JP7059619B2 (ja) * 2017-12-22 2022-04-26 セイコーエプソン株式会社 処理装置、表示システム、及びプログラム
WO2020033875A1 (en) * 2018-08-10 2020-02-13 Compound Photonics Limited Apparatus, systems, and methods for foveated display
US10778953B2 (en) * 2018-12-10 2020-09-15 Universal City Studios Llc Dynamic convergence adjustment in augmented reality headsets
CN111309142A (zh) * 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
CN109756723B (zh) * 2018-12-14 2021-06-11 深圳前海达闼云端智能科技有限公司 获取影像的方法和装置，存储介质和电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130147712A1 (en) * 2010-08-24 2013-06-13 Lenovo (Beijing) Co., Ltd. Information Processing Device And Control Method Thereof
US20160018985A1 (en) * 2014-07-15 2016-01-21 Rotem Bennet Holographic keyboard display
CN107533373A (zh) * 2015-08-04 2018-01-02 谷歌有限责任公司 虚拟现实中经由手与对象的场境敏感碰撞的输入
CN107533374A (zh) * 2015-08-26 2018-01-02 谷歌有限责任公司 虚拟现实中的头部、手势和触摸输入的动态切换和合并
CN107479717A (zh) * 2016-04-29 2017-12-15 姚秉洋 屏幕键盘的显示方法及其计算机程序产品
US20180348860A1 (en) * 2017-06-02 2018-12-06 Htc Corporation Immersive headset system and control method thereof
US20190050062A1 (en) * 2017-08-10 2019-02-14 Google Llc Context-sensitive hand interaction
US20190362557A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Transmodal input fusion for a wearable system
US20200225735A1 (en) * 2019-01-10 2020-07-16 Microsoft Technology Licensing, Llc Techniques for multi-finger typing in mixed-reality

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄俊;景红;: "基于Leap Motion的手势控制技术初探", 计算机系统应用, no. 10, pages 261 - 265 *

Also Published As

Publication number Publication date
US11249314B1 (en) 2022-02-15
TWI761960B (zh) 2022-04-21
TW202207009A (zh) 2022-02-16
US20220043264A1 (en) 2022-02-10
CN114089827B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN110633008B (zh) 用户交互解释器
US11797145B2 (en) Split-screen display method, electronic device, and computer-readable storage medium
CN103038728B (zh) 例如在移动电话上使用触摸屏的多模式文本输入系统
EP4300430A2 (en) Device, method, and graphical user interface for composing cgr files
CN109891368A (zh) 活动对象在增强和/或虚拟现实环境中的切换
US20140306898A1 (en) Key swipe gestures for touch sensitive ui virtual keyboard
US11630576B2 (en) Electronic device and method for processing letter input in electronic device
AU2016200885B2 (en) Three-dimensional virtualization
CN105094557A (zh) 一种显示控制方法及装置、电子设备
KR20140100547A (ko) 모바일 장치상의 풀 3d 상호작용
CN105630363B (zh) 虚拟按钮的显示方法及其电子装置与显示虚拟按钮的装置
US9317199B2 (en) Setting a display position of a pointer
EP2816456A1 (en) Information processing device, information processing method, and computer program
CN109460179A (zh) 虚拟对象控制方法及装置、电子设备、存储介质
CN113769375B (zh) 游戏控件的处理方法、装置、终端设备和可读存储介质
JP2023552659A (ja) インターフェース表示状態の調整方法及び装置、デバイス、記憶媒体
CN106796810A (zh) 在用户界面上从视频选择帧
US20230229240A1 (en) Method for inputting letters, host, and computer readable storage medium
WO2024174977A1 (zh) 一种眼镜、指令的获取方法以及相关设备
CN114089827B (zh) 切换输入装置方法、头戴式显示器及计算机可读存储介质
US20170351374A1 (en) Input device control using distance
CN112534390B (zh) 用于提供虚拟输入工具的电子装置及其方法
JP6340420B2 (ja) テキスト選択箇所段落スナップ
US20160085347A1 (en) Response Control Method And Electronic Device
US11762464B1 (en) Method for inputting characters with eye gazes, host, and computer readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant