CN113545112A - Ar/vr应用的辅链路 - Google Patents

Ar/vr应用的辅链路 Download PDF

Info

Publication number
CN113545112A
CN113545112A CN202080019769.1A CN202080019769A CN113545112A CN 113545112 A CN113545112 A CN 113545112A CN 202080019769 A CN202080019769 A CN 202080019769A CN 113545112 A CN113545112 A CN 113545112A
Authority
CN
China
Prior art keywords
console
link
threshold
wearable display
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080019769.1A
Other languages
English (en)
Inventor
卢刚
樊宇婷
威廉·路易斯·阿尔伯特
郑东
瞿麒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN113545112A publication Critical patent/CN113545112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/03—Reselecting a link using a direct mode connection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/22—Alternate routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/24—Reselection being triggered by specific parameters
    • H04W36/30—Reselection being triggered by specific parameters by measured or perceived connection quality data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H04W40/16—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality based on interference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/22—Communication route or path selection, e.g. power-based or shortest path routing using selective relaying for reaching a BTS [Base Transceiver Station] or an access point
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/18—Selecting a network or a communication service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/15—Setup of multiple wireless link connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/30—Connection release
    • H04W76/34—Selective release of ongoing connections
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/0005—Control or signalling for completing the hand-off
    • H04W36/0083—Determination of parameters used for hand-off, e.g. generation or modification of neighbour cell lists
    • H04W36/0085—Hand-off measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/14—Reselecting a network or an air interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/24—Reselection being triggered by specific parameters
    • H04W36/30—Reselection being triggered by specific parameters by measured or perceived connection quality data
    • H04W36/302—Reselection being triggered by specific parameters by measured or perceived connection quality data due to low signal strength

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本文公开了一种用于在AR/VR应用的主链路和辅链路之间进行选择的系统、方法和设备。控制台可以通过头部可佩戴显示器向用户提供VR/AR会话。控制台可以确定控制台和头部可佩戴显示器之间的主链路的第一测量值小于第一阈值。第一测量值可以包括主链路的质量度量。控制台可以激活控制台和头部可佩戴显示器之间的辅链路。控制台可以确定控制台和头部可佩戴显示器之间的主链路的第二测量值是否小于第二阈值。当第二测量值小于第二阈值时，控制台可以将主链路上的流量转移到激活的辅链路。

Description

AR/VR应用的辅链路
相关申请的交叉引用
本申请要求2019年3月8日提交的美国申请第62/815,849号和2020年1月27日提交的美国申请第16/773,515号的优先权，出于所有目的，其内容通过引用以其整体结合于此。
公开领域
本公开总体上涉及显示系统和方法，包括但不限于用于为虚拟现实(VR)或增强现实(AR)应用提供辅链路(secondary link)的系统和方法。
背景
可佩戴显示技术可以向佩戴相应显示设备的用户提供虚拟现实或增强现实体验。它们可以提供一系列计算机生成的图像，以允许用户与相应的图像进行交互。例如，显示设备可以包括位于用户视场之上或之内的头戴式设备，使得显示设备的视场代替用户自然视场。
概述
本文公开了用于确定对于VR或AR应用是使用主链路(primary link)还是辅链路的设备、系统和方法的实施例。头部可佩戴显示器可以与控制台连接，以向头部可佩戴显示器的用户提供VR或AR应用(例如，VR/AR体验)。控制台和头部可佩戴显示器可以通过至少一个主链路和/或辅链路连接。在一些实施例中，主链路可以提供或支持完整的VR/AR体验，并且辅链路可以为主链路提供补充或备份覆盖(back-up coverage)，或者可以支持有限/最小使用情况。例如，响应于主链路的质量降低(例如，延迟、故障、检测到/经历的阻塞(blockage))，可以激活辅链路来支持控制台和头部可佩戴显示器之间的流量(traffic)。控制台可以部分地基于主链路的使用类型和/或链路质量来确定使用主链路还是辅链路。
在至少一个方面，提供了一种方法。该方法可以包括由控制台确定控制台和头部可佩戴显示器之间的主链路的第一测量值小于第一阈值。第一测量值可以包括或对应于主链路的质量度量。该方法可以包括响应于第一测量值小于第一阈值，由控制台激活控制台和头部可佩戴显示器之间的辅链路。该方法可以包括由控制台确定控制台和头部可佩戴显示器之间的主链路的第二测量值是否小于第二阈值。第二阈值可以小于第一阈值。该方法可以包括当第二测量值小于第二阈值时，由控制台将主链路上的流量转移到激活的辅链路。
在一些实施例中，质量度量可以包括或包含主链路的信噪比。该方法可以包括当第二测量值大于第二阈值时，由控制台保持主链路上的流量。该方法可以包括响应于第二测量值小于第二阈值，由控制台以第一确定的间隔执行主链路的测量。该方法可以包括响应于第二测量值之后的第三测量值小于第二阈值，由控制台以第二确定的间隔执行主链路的附加测量。在一些实施例中，第二确定的间隔中的每一个可以大于第一确定的间隔中的每一个。
该方法可以包括由控制台确定主链路的第三测量值大于第三阈值。第三阈值可以大于第二阈值并且小于第一阈值。该方法可以包括由控制台识别主链路的第一候选波束。该方法可以包括由控制台确定第一候选波束的失败(failure)。该方法可以包括由控制台启动确定的时段，以暂停对主链路的第二候选波束的搜索。该方法可以包括响应于第三测量值大于第三阈值，由控制台将辅链路上的流量转移到使用第一候选波束的主链路。该方法可以包括响应于第四测量值大于第四阈值，由控制台去激活(de-activate)辅链路。第四阈值可以大于第一阈值。该方法可以包括由控制台根据控制台和头部可佩戴显示器之间的流量类型，为控制台和头部可佩戴显示器之间的流量选择主链路或辅链路。
在至少一个方面，提供了一种控制台。该控制台可以包括一个或更多个处理器。一个或更多个处理器可以被配置成确定控制台和头部可佩戴显示器之间的主链路的第一测量值小于第一阈值。第一测量值可以对应于主链路的质量度量。一个或更多个处理器可以被配置为响应于第一测量值小于第一阈值，激活控制台和头部可佩戴显示器之间的辅链路。一个或更多个处理器可以被配置成确定控制台和头部可佩戴显示器之间的主链路的第二测量值是否小于第二阈值。第二阈值可以小于第一阈值。一个或更多个处理器可以被配置为当第二测量值小于第二阈值时，将主链路上的流量转移到激活的辅链路。
在一些实施例中，质量度量可以包括或包含主链路的信噪比。
在一些实施例中，控制台或一个或更多个处理器可以被配置为当第二测量值大于第二阈值时保持主链路上的流量。控制台或一个或更多个处理器可以被配置成响应于第二测量值小于第二阈值，以第一确定的间隔执行主链路的测量。控制台或一个或更多个处理器可以被配置成响应于第二测量值之后的第三测量值小于第二阈值，以第二确定的间隔执行主链路的附加测量。在一些实施例中，第二确定的间隔中的每一个可以大于第一确定的间隔中的每一个。
控制台或一个或更多个处理器可以被配置成确定主链路的第三测量值大于第三阈值。第三阈值可以大于第二阈值并且小于第一阈值。控制台或一个或更多个处理器可以被配置为识别主链路的第一候选波束。控制台或一个或更多个处理器可以被配置成确定候选波束的失败。控制台或一个或更多个处理器可以被配置为启动确定的时段来暂停对主链路的第二候选波束的搜索。控制台或一个或更多个处理器可以被配置为响应于第三测量值大于第三阈值，将辅链路上的流量转移到使用第一候选波束的主链路。
在至少一个方面，提供了一种存储指令的非暂时性计算机可读介质。当由一个或更多个处理器执行时，指令可以使一个或更多个处理器确定控制台和头部可佩戴显示器之间的主链路的第一测量值小于第一阈值。第一测量值可以对应于主链路的质量度量。当由一个或更多个处理器执行时，该指令可以使得一个或更多个处理器响应于第一测量值小于第一阈值，激活控制台和头部可佩戴显示器之间的辅链路。当由一个或更多个处理器执行时，指令可以使一个或更多个处理器确定控制台和头部可佩戴显示器之间的主链路的第二测量值是否小于第二阈值。第二阈值可以小于第一阈值。当由一个或更多个处理器执行时，指令可以使得一个或更多个处理器在第二测量值小于第二阈值时，将主链路上的流量转移到激活的辅链路。
在一些实施例中，当由一个或更多个处理器执行时，指令可以使一个或更多个处理器根据控制台和头部可佩戴显示器之间的流量类型，为控制台和头部可佩戴显示器之间的流量选择主链路或辅链路。
应当理解，被讨论为适合包含在本文描述的任何方面中的任何特征也适合以任何组合包含在任何其他方面中。
下面详细讨论这些和其他方面和实现。前述信息和以下详细描述包括各种方面和实现的说明性示例，并且提供了用于理解所要求保护的方面和实现的性质和特征的概述或框架。附图提供了对各种方面和实施方式的说明和进一步理解，并且被结合在本说明书中并构成本说明书的一部分。
附图简述
附图不意在按比例绘制。不同附图中相同的附图标记和名称表示相同的元件。为了清楚起见，并非每个组件都可以在每个图中进行标记。在附图中：
图1A是根据本公开的示例实现，用于在人工现实应用的主链路和辅链路之间进行选择的系统的实施例的框图。
图1B是根据本公开的示例实现的头部可佩戴显示器的示意图。
图2A是根据本公开的示例实现，用于在AR/VR应用的主链路和辅链路之间进行选择的调度间算法(inter-scheduling algorithm)的示意图。
图2B是根据本公开的示例实现，使用链路质量AR/VR应用在主链路和辅链路之间进行选择的内部决策循环(inner decision loop)的示意图。
图3A-图3E包括示出根据本公开的示例实现的用于在AR/VR应用的主链路和辅链路之间进行选择的过程或方法的流程图。
图4是根据本公开的示例实现的计算环境的框图。
详细描述
在转向详细示出某些实施例的附图之前，应当理解，本公开不限于说明书中阐述的或附图中示出的细节或方法。还应该理解，本文使用的术语仅仅是为了描述的目的，不应该被认为是限制性的。
为了阅读下文对本发明各种实施例的描述，对说明书各节及其各自内容的以下描述可能是有帮助的：
节A描述了用于在AR/VR应用的主链路和辅链路之间进行选择的设备、系统和方法的实施例。
节B描述了计算系统的实施例。
A.AR/VR应用的辅链路
本公开的主题涉及用于人工现实(例如，AR、VR、混合现实(MR))应用的辅链路。在一些实施例中，本申请提出了与手持游标器(puck)(或控制台)配对的护目镜/眼镜(或头部可佩戴显示器)的无线AR/VR/MR配置，其中使用60GHz无线链路(例如，主链路)主要在护目镜和手持游标器之间传输。在涉及严重阻塞的情况下(例如，由于身体引起的损耗、偏振不匹配)，60GHz链路可能会丢失或严重降级(degrade)。为了支援这样的情况，可以激活并引入辅链路，以提供一定程度的最小覆盖，作为主要的60GHz链路的备份。例如，最小覆盖可以包括支持检查时间、接收文本消息或电子邮件、拨打/接听语音电话、执行语音引导/控制、收听在线音乐、检查天气/股票信息。
在一些方面，辅链路可以被配置为提供高可用性和可靠性(例如，不需要太多的视距(line-of-sight))，提供足够的范围(例如，16m x 16m)，并且可以永远在线(always-on)(例如，待机(standby))或者可以快速接通和建立。辅链路可以是低功耗、低成本的，并且可以支持具有良好延迟的中低吞吐量，例如，用于支持基本文本和渲染、控制命令、音频，以及用于控制响应、音频等。在各种实施例中，辅链路可以包括经典蓝牙(Bluetooth Classic)、低功耗蓝牙(BLE)或低功耗WiFi。基于传输速率，可以实现具有最佳功率效率的选项。该解决方案的一个实施例涉及主链路和辅链路共享手持游标器上的单个WiFi/BT芯片/器件，假设在两个链路之间存在有限或可接受水平的流量带宽竞争。另一个实施例可以涉及具有独立的无线电芯片/器件来支持辅链路，其中BT是确保与主WiFi链路良好隔离的优选选项。
在一些实施例中，本文描述的系统、设备和方法可以包括调度间算法，以激活主链路和第二链路，并在这些链路之间切换。在一个实施例中，调度间算法可以包括或涉及2阶段的链路间(inter-link)切换和/或调度过程，该过程包括外部(或第一)决策循环，其中链路是基于使用情况来选择或确定的，例如，如果需要完全使用情况(full use case)(例如，支持完整的AR体验)，则选择主链路，而如果只需要最小使用情况，则选择辅链路。在内部(或第二)决策循环中，链路间调度可以基于链路质量。例如，如果主链路质量低于某个阈值，则系统(头部可佩戴显示器和/或控制台)可以在主链路质量仍然下降的情况下调出(bring up)辅链路，并且可以将流量移动到用户体验减少的辅链路。可以在主链路上执行周期性测量，并且如果主链路的链路状况恢复到某个可接受的水平，则可以切换回主链路。
现在参考图1A，提供了用于在AR/VR应用的主链路和辅链路之间进行选择的示例人工现实系统100。简而言之，系统100可以包括控制台102和头部可佩戴显示器130。头部可佩戴显示器130(例如，护目镜、眼镜、头戴式设备)可以与控制台102(例如，手持游标器)配对，以在头部可佩戴显示器130和控制台102之间传送或传输数据，例如，用于头部可佩戴显示器130的用户的至少一个用户会话。用户会话可以包括经由头部可佩戴显示器130的VR体验、AR体验或MR体验。控制台102和/或头部可佩戴显示器130可以部分地基于使用类型(例如，流量类型、流量优先级)和/或控制台102和头部可佩戴显示器130之间的链路质量来确定通过主链路108和/或辅链路110进行通信。
在一些实施例中，人工现实系统环境100包括由用户佩戴的头部可佩戴显示器130，以及向头部可佩戴显示器130提供人工现实内容的控制台102。头部可佩戴显示器130可以检测其位置和/或头部可佩戴显示器130的取向，并将检测到的头部可佩戴显示器130的位置和/或取向提供给控制台102。控制台102可以根据检测到的头部可佩戴显示器130的位置和/或取向以及用于人工现实的用户输入来生成指示人工现实的图像的图像数据，并且将图像数据传输到头部可佩戴显示器130用于呈现。在一些实施例中，人工现实系统环境100包括比图1A所示更多、更少或不同的组件。在一些实施例中，人工现实系统环境100的一个或更多个组件的功能可以以不同于这里描述的方式分布在组件中。例如，控制台102的一些功能可以由头部可佩戴显示器130来执行。例如，头部可佩戴显示器130的一些功能可以由控制台102执行。在一些实施例中，控制台102被集成为头部可佩戴显示器130的一部分。
人工现实系统100的各种组件和元件可以在图4所示并随后描述的计算环境的组件或元件上实现或使用在图4所示并随后描述的计算环境的组件或元件来实现。例如，控制台102和头部可佩戴显示器130可以包括或结合类似于图4所示并随后描述的计算系统414的计算系统。控制台102和头部可佩戴显示器130可以包括一个或更多个处理单元416、存储装置418、网络接口420、用户输入设备422和/或用户输出设备424。
控制台102可以包括计算系统或WiFi设备。在一些实施例中，控制台102可以被实现为例如可佩戴计算设备(例如，智能手表、智能眼镜、头部可佩戴显示器)、智能手机、其他移动电话、设备(例如，消费设备(consumer device))、台式计算机、膝上型计算机、虚拟现实(VR)手持游标器、VR个人计算机(PC)、VR计算设备、头戴式设备，或者用分布式计算设备实现。控制台102可以被实现为提供VR、增强现实(AR)和/或混合现实(MR)体验。在一些实施例中，控制台102可以包括传统的、专用的或定制的计算机组件，例如处理器104、存储设备106、网络接口、用户输入设备和/或用户输出设备。在实施例中，控制台102可以包括图4所示并随后描述的设备的一些元件。
头部可佩戴显示器130可以包括计算系统或WiFi设备。头部可佩戴显示器(HWD，head wearable display)可以被称为、包括头戴式显示器(HMD，head mounted display)、头戴式设备(HMD，head mounted device)、头部可佩戴设备(HWD，head wearable device)、头部佩戴显示器(HWD，head worn display)或头部佩戴设备(HWD，head worn device)或者作为头戴式显示器(HMD)、头戴式设备(HMD)、头部可佩戴设备(HWD)、头部佩戴显示器(HWD)或头部佩戴设备(HWD)的一部分。在一些实施例中，头部可佩戴显示器130可以被实现为例如可佩戴计算设备(例如，智能手表、智能眼镜、头部可佩戴显示器)、智能手机、其他移动电话、设备(例如，消费设备)、台式计算机、膝上型计算机、虚拟现实(VR)手持游标器、VR个人计算机(PC)、VR计算设备、头戴式设备，或者用分布式计算设备实现。头部可佩戴显示器130可以被实现为向头部可佩戴显示器130的用户(例如，佩戴显示器的用户)提供VR、增强现实(AR)和/或混合现实(MR)体验。在一些实施例中，头部可佩戴显示器130可以包括传统的、专用的或定制的计算机组件，例如处理器104、存储设备106、网络接口、用户输入设备和/或用户输出设备。在实施例中，头部可佩戴显示器130可以包括图4所示并随后描述的设备的一些元件。
控制台102和头部可佩戴显示器130可以包括一个或更多个处理器104。一个或更多个处理器104可以包括用于预处理控制台102和/或头部可佩戴显示器130的输入数据和/或用于后处理控制台102和/或头部可佩戴显示器130的输出数据的任何逻辑、电路和/或处理组件(例如，微处理器)。一个或更多个处理器104可以提供用于配置、控制和/或管理控制台102和/或头部可佩戴显示器130的一个或更多个操作的逻辑、电路、处理组件和/或功能。例如，处理器104可以接收数据和度量，包括但不限于控制台102和头部可佩戴显示器130之间的主链路108和/或辅链路110的一个或更多个测量值112。
控制台102和头部可佩戴显示器130可以包括存储设备106。存储设备106可以被设计或实现为存储、保存或维护与控制台102和头部可佩戴显示器130相关联的任何类型或形式的数据。例如，控制台102和头部可佩戴显示器130可以存储一个或更多个测量值112、阈值120和质量度量124。存储设备106可以包括控制台102内部的静态随机存取存储器(SRAM)或内部SRAM。在实施例中，存储设备106可以包括在控制台102的集成电路中。存储设备106可以包括存储器(例如，存储器、存储器单元、存储设备等)。存储器可以包括一个或更多个设备(例如，RAM、ROM、闪存、硬盘存储器等)，用于存储数据和/或计算机代码，以完成或促进本公开中描述的各种过程、层和模块。存储器可以是或包括易失性存储器或非易失性存储器，并且可以包括数据库组件、目标代码组件、脚本组件或用于支持本公开中描述的各种活动和信息结构的任何其他类型的信息结构。根据示例实施例，存储器经由处理电路可通信地连接到处理器104，并且包括用于(例如，由处理电路和/或处理器)执行本文描述的一个或更多个过程或方法(例如，方法300)的计算机代码。
控制台102可以建立到头部可佩戴显示器130的一个或更多个主链路108。在一些实施例中，头部可佩戴显示器130可以建立到控制台102的一个或更多个主链路108。主链路108可以包括在控制台102和头部可佩戴显示器130之间建立的连接(例如，无线连接)、会话(例如，用户和/或应用会话)和/或信道。主链路108可以包括在控制台102和头部可佩戴显示器130之间建立的高容量、低延迟且节能的连接。在一些实施例中，主链路可以包括但不限于使用毫米波频谱或频率范围从30GHz到100GHz的链路。在一些实施例中，主链路108可以包括但不限于60GHz频率连接(例如，60GHz WiFi、IEEE 802.11ay/ad)。主链路108可用于为头部可佩戴显示器130的用户提供或支持完整的VR体验、AR体验或MR体验。
控制台102可以建立到头部可佩戴显示器130的一个或更多个辅链路110。在一些实施例中，头部可佩戴显示器130可以建立到控制台102的一个或更多个辅链路110。辅链路110可以包括在控制台102和头部可佩戴显示器130之间建立的连接(例如，无线连接)、会话和/或信道。辅链路110可以包括在控制台102和头部可佩戴显示器130之间建立的高可用性、高可靠性和/或低功耗的连接。在一些实施例中，辅链路110可以被配置为提供足够的范围(例如，16m x 16m)，并且可以永远在线(例如，至少处于待机模式)或者可以快速接通和建立。辅链路110可以被配置为支持具有良好延迟的中低吞吐量。例如，辅链路110可以被激活或用于支持最小使用情况，例如但不限于，检查时间、接收文本消息或电子邮件、拨打/接听语音电话、执行语音引导/控制、收听在线音乐、检查天气/股票信息。
可以使用不同形式的短距离无线通信技术来建立辅链路110，这些短距离无线通信技术包括但不限于蓝牙(BT)、低功耗蓝牙(BLE)和/或低功耗WiFi。在一些实施例中，辅链路110部分地基于控制台102和头部可佩戴显示器130之间的连接或信道的属性。例如，对于从每秒1兆比特(1Mbps)到2Mbps的范围内的连接速度，可以使用BT建立辅链路110。对于从2Mbps到10Mbps的范围内的连接速度，可以使用低功耗WiFi建立辅链路110。在一些实施例中，对于24Mbps或更高的连接速度，可以使用802.11ax标准建立辅链路110。
控制台102和/或头部可佩戴显示器130可以在主链路108和/或辅链路110上进行或执行测量112，以确定链路的各种特性或属性(例如，状态、质量、流量水平)。测量112可以包括状态测量(例如，开、关、激活)、相应链路的可用性、连接速度、信噪比、延迟值、功耗值和/或相应链路的可靠性。在一些实施例中，测量112可以包括相应链路的质量测量。例如，控制台102和/或头部可佩戴显示器130可以在主链路108和/或辅链路110上进行或执行测量112，以确定主链路108和/或辅链路110的一个或更多个质量度量124。质量度量124可以包括主链路108和/或辅链路110的信噪比和/或调制和编码方案(MCS)值，以确定相应链路的质量是否大于特定阈值120。
控制台102和/或头部可佩戴显示器130可以生成或建立一个或更多个阈值120，以确定链路是否能够支持特定类型的使用和/或验证链路的质量。例如，在一些实施例中，响应于主链路的测量值112小于阈值120，控制台102和头部可佩戴显示器130之间的流量可以从主链路108转移到辅链路110。在一些实施例中，响应于主链路的测量值112大于阈值120，控制台102和头部可佩戴显示器130之间的流量可以从辅链路110转移到主链路108。阈值120可以包括或对应于主链路108或辅链路110的不同质量度量(例如，信噪比值)，以确定各个链路是否可以向头部可佩戴显示器130的用户提供或支持一种或更多种不同类型的使用或服务水平。控制台102和/或头部可佩戴显示器130可以生成或建立单个阈值120或多个阈值120。
控制台102和/或头部可佩戴显示器130可以生成或建立一个或更多个间隔122。间隔122可以包括或对应于进行或执行主链路108和/或辅链路110的测量112的特定时间段。间隔122可以包括时间段、时间范围和/或时间值。在一些实施例中，间隔122可以包括或对应于不同测量112之间的时间长度或持续时间，并且间隔可以具有不同的时间值。例如，第一确定的间隔122可以不同于(例如，更短的时间段、更长的时间段)第二确定的间隔122。
主链路108和/或辅链路110可以包括对应于控制台102和头部可佩戴显示器130之间的通信路径(例如，传输路径、信号路径)的一个或更多个波束114(例如，候选波束114)。在一些实施例中，控制台102和/或头部可佩戴显示器130可以从多个可用波束114中选择至少一个波束114或候选波束114来支持控制台102和/或头部可佩戴显示器130之间的主链路108或辅链路110。在一些实施例中，控制台102和/或头部可佩戴显示器130可以执行或使用波束成形(beamforming)来选择至少一个波束114或候选波束114，以支持控制台102和/或头部可佩戴显示器130之间的主链路108或辅链路110。
控制台102可以包括一个或更多个芯片116，以支持主链路108和辅链路110。芯片116可以包括但不限于嵌入或设置在控制台102内的集成电路或射频集成电路，以支持主链路108和辅链路110。在一些实施例中，主链路108和辅链路110可以共享单个芯片116的功能和/或过程。例如，在一个实施例中，控制台102可以包括第一芯片116，第一芯片116被配置为分别支持主链路108和辅链路110在控制台102处的WiFi连接和BT连接。第一芯片可以支持互联网链路(internet link)和来自控制台102的辅链路110(例如，链路内(intra-link)连接)。在一些实施例中，控制台102可以包括支持主链路108的第一芯片116和支持辅链路110的不同的第二芯片116。例如，控制台102可以包括被配置为支持主链路108的WiFi连接的第一芯片116和支持辅链路110的BT连接的第二芯片116。
在一些实施例中，头部可佩戴显示器130是可以由用户佩戴并可以向用户呈现或提供人工现实体验的电子组件。头部可佩戴显示器130可以呈现一个或更多个图像、视频、音频或其某种组合，以向用户提供人工现实体验。在一些实施例中，音频经由外部设备(例如，扬声器和/或耳机)呈现，该外部设备从头部可佩戴显示器130、控制台102或两者接收音频信息，并基于该音频信息呈现音频。在一些实施例中，头部可佩戴显示器130包括传感器142、眼睛跟踪器144、手跟踪器146、通信接口148、图像渲染器(render)150、电子显示器152、透镜154和补偿器(compensator)156。这些组件可以一起操作来检测头部可佩戴显示器130的位置和佩戴头部可佩戴显示器130的用户的凝视方向，并且在人工现实中呈现与检测到的头部可佩戴显示器130的位置和/或取向相对应的视图的图像。在其他实施例中，头部可佩戴显示器130包括比图1A所示更多、更少或不同的组件。
在一些实施例中，传感器142包括检测头部可佩戴显示器130的位置和取向的电子组件或电子组件和软件组件的组合。传感器142的示例可以包括：一个或更多个成像传感器、一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、或者检测运动和/或位置的另一种合适类型的传感器。例如，一个或更多个加速度计可以测量平移运动(例如，向前/向后、向上/向下、向左/向右)，并且一个或更多个陀螺仪可以测量旋转运动(例如，俯仰、偏航、滚动)。在一些实施例中，传感器142检测平移运动和旋转运动，并确定头部可佩戴显示器130的取向和位置。在一个方面，传感器142可以检测相对于头部可佩戴显示器130的先前取向和位置的平移运动和旋转运动，并且通过对检测到的平移运动和/或旋转运动进行累积或积分来确定头部可佩戴显示器130的新取向和/或位置。例如，假设头部可佩戴显示器130朝向与参考方向成25度的方向，响应于检测到头部可佩戴显示器130已经旋转20度，传感器142可以确定头部可佩戴显示器130现在面向或朝向与参考方向成45度的方向。作为另一个示例，假设头部可佩戴显示器130在第一方向上距离参考点两英尺，响应于检测到头部可佩戴显示器130已经在第二方向上移动了三英尺，传感器142可以确定头部可佩戴显示器130现在位于第一方向上的两英尺和第二方向上的三英尺的矢量相乘(vectormultiplication)处。
在一些实施例中，眼睛跟踪器144包括确定头部可佩戴显示器130的用户的凝视方向的电子组件或电子组件和软件组件的组合。在一些实施例中，头部可佩戴显示器130、控制台102或它们的组合可以结合头部可佩戴显示器130的用户的凝视方向，以生成用于人工现实的图像数据。在一些实施例中，眼睛跟踪器144包括两个眼睛跟踪器，其中每个眼睛跟踪器144捕获相应眼睛的图像并确定眼睛的凝视方向。在一个示例中，眼睛跟踪器144根据捕获的眼睛图像来确定眼睛的角度旋转、眼睛的平移、眼睛扭转(torsion)的变化和/或眼睛形状的变化，并且根据确定的角度旋转、平移和眼睛扭转的变化来确定相对于头部可佩戴显示器130的相对凝视方向。在一种方法中，眼睛跟踪器144可以在眼睛的一部分上照射或投射预定的参考或结构化图案，并且捕获眼睛的图像以分析投射在眼睛的一部分上的图案，从而确定眼睛相对于头部可佩戴显示器130的相对凝视方向。在一些实施例中，眼睛跟踪器144结合头部可佩戴显示器130的取向和相对于头部可佩戴显示器130的相对凝视方向来确定用户的凝视方向。例如，假设头部可佩戴显示器130以与参考方向成30度的方向定向，并且头部可佩戴显示器130相对于头部可佩戴显示器130的相对凝视方向为-10度(或350度)，眼睛跟踪器144可以确定用户的凝视方向与参考方向成20度。在一些实施例中，头部可佩戴显示器130的用户可以(例如，通过用户设置)配置头部可佩戴显示器130来启用或禁用眼睛跟踪器144。在一些实施例中，头部可佩戴显示器130的用户被提示启用或禁用眼睛跟踪器144。
在一些实施例中，手跟踪器146包括跟踪用户的手的电子组件或电子组件和软件组件的组合。在一些实施例中，手跟踪器146包括或耦合到成像传感器(例如，照相机)和图像处理器，该图像处理器可以检测手的形状、位置和取向。手跟踪器146可以生成指示检测到的手的形状、位置和取向的手部跟踪测量结果。
在一些实施例中，通信接口148包括与控制台102通信的电子组件或电子组件和软件组件的组合。通信接口148可以通过通信链路与控制台102的通信接口118通信。通信链路可以是无线链路。无线链路的示例可以包括蜂窝通信链路、近场通信链路、Wi-Fi、蓝牙、60GHz无线链路或任何通信无线通信链路。通过通信链路，通信接口148可以向控制台102发送指示以下项的数据：头部可佩戴显示器130的确定的位置和/或取向、用户的确定的凝视方向和/或手部跟踪测量结果。此外，通过通信链路，通信接口148可以从控制台102接收指示或对应于要渲染的图像的图像数据以及与该图像相关联的附加数据。
在一些实施例中，图像渲染器150包括例如根据人工现实的空间视图的变化生成一个或更多个图像用于显示的电子组件或电子组件和软件组件的组合。在一些实施例中，图像渲染器150被实现为处理器(或图形处理单元(GPU))，其执行指令以执行本文描述的各种功能。图像渲染器150可以通过通信接口148接收描述要渲染的人工现实图像的图像数据和与该图像相关联的附加数据，并通过电子显示器152渲染该图像。在一些实施例中，来自控制台102的图像数据可以被编码，并且图像渲染器150可以解码图像数据以渲染图像。在一些实施例中，图像渲染器150从控制台102以附加数据接收指示人工现实空间中的虚拟对象的对象信息和指示虚拟对象的深度(或距头部可佩戴显示器130的距离)的深度信息。在一个方面，根据人工现实的图像、对象信息、来自控制台102的深度信息和/或来自传感器142的更新的传感器测量值，图像渲染器150可以执行着色(shade)、重投影和/或混合(blend)来更新人工现实的图像，以对应于头部可佩戴显示器130的更新的位置和/或取向。假设用户在初始传感器测量之后旋转了他的头部，图像渲染器150可以根据更新的传感器测量值来生成与人工现实内的更新的视图相对应的图像的一小部分(例如，10％)，并且通过重投影将该部分附加到来自控制台102的图像数据中的图像，而不是响应于更新的传感器测量值来重新创建整个图像。图像渲染器150可以对附加边缘执行着色和/或混合。因此，在不根据更新的传感器测量值重新创建人工现实的图像的情况下，图像渲染器150可以生成人工现实的图像。在一些实施例中，图像渲染器150接收指示对应于用户的手的手模型的形状、位置和取向的手模型数据，并将手模型叠加(overlay)在人工现实的图像上。这种手模型可以呈现为视觉反馈，以允许用户在人工现实中提供各种交互。
在一些实施例中，电子显示器152是显示图像的电子组件。电子显示器152例如可以是液晶显示器或有机发光二极管显示器。电子显示器152可以是允许用户透视的透明显示器。在一些实施例中，当用户佩戴头部可佩戴显示器130时，电子显示器152位于用户眼睛附近(例如，小于3英寸)。在一个方面，电子显示器152根据由图像渲染器150生成的图像向用户的眼睛发射或投射光。
在一些实施例中，透镜154是改变从电子显示器152接收的光的机械组件。透镜154可以放大来自电子显示器152的光，并校正与光相关的光学误差。透镜154可以是菲涅尔透镜、凸透镜、凹透镜、滤光器或改变来自电子显示器152的光的任何合适的光学组件。通过透镜154，来自电子显示器152的光可以到达瞳孔，使得用户可以看到由电子显示器152显示的图像，尽管电子显示器152非常接近眼睛。
在一些实施例中，补偿器156包括执行补偿以补偿任何失真或像差的电子组件或电子组件和软件组件的组合。在一个方面，透镜154引入光学像差，例如色差、枕形失真、桶形失真等。补偿器156可以确定要应用于来自图像渲染器150的要渲染的图像的补偿(例如，预失真)，以补偿由透镜154引起的失真，并将所确定的补偿应用于来自图像渲染器150的图像。补偿器156可以向电子显示器152提供预失真图像。
在一些实施例中，控制台102是提供要呈现给头部可佩戴显示器130的内容的电子组件或电子组件和软件组件的组合。在一个方面，控制台102包括通信接口118和内容提供器128。这些组件可以一起操作来确定对应于头部可佩戴显示器130的位置和头部可佩戴显示器130的用户的凝视方向的人工现实的视图(例如，用户的FOV)，并且可以生成指示对应于所确定的视图的人工现实的图像的图像数据。此外，这些组件可以一起操作来生成与图像相关联的附加数据。附加数据可以是与呈现或渲染除了人工现实图像之外的人工现实相关联的信息。附加数据的示例包括手模型数据、用于将头部可佩戴显示器130在物理空间中的位置和取向转换到虚拟空间中的映射信息(或即时定位与地图构建(SLAM)数据)、运动矢量信息、深度信息、边缘信息、对象信息等。控制台102可以向头部可佩戴显示器130提供图像数据和附加数据，用于呈现人工现实。在其他实施例中，控制台102包括比图1A所示更多、更少或不同的组件。在一些实施例中，控制台102被集成为头部可佩戴显示器130的一部分。
在一些实施例中，通信接口118是与头部可佩戴显示器130通信的电子组件或电子组件和软件组件的组合。通信接口118可以是通信接口148的对应组件，以通过通信链路(例如，无线链路)与控制台102的通信接口118通信。通过通信链路，通信接口118可以从头部可佩戴显示器130接收数据，该数据指示头部可佩戴显示器130的确定的位置和/或取向、用户的确定的凝视方向以及手部跟踪测量结果。此外，通过通信链路，通信接口118可以向头部可佩戴显示器130发送描述要渲染的图像的图像数据和与人工现实的图像相关联的附加数据。
内容提供器128可以包括或对应于根据头部可佩戴显示器130的位置和/或取向生成要渲染的内容的组件。在一些实施例中，内容提供器128可以结合头部可佩戴显示器130的用户的凝视方向，以及基于手部跟踪测量结果的人工现实中的用户交互，以生成要渲染的内容。在一个方面，内容提供器128根据头部可佩戴显示器130的位置和/或取向来确定人工现实的视图。例如，内容提供器128将头部可佩戴显示器130在物理空间中的位置映射到人工现实空间中的位置，并且从人工现实空间中的映射位置确定沿着对应于映射取向的方向的人工现实空间的视图。内容提供器128可以生成描述人工现实空间的确定视图的图像的图像数据，并且通过通信接口118将图像数据发送到头部可佩戴显示器130。内容提供器128还可以根据手部跟踪测量结果生成对应于头部可佩戴显示器130的用户的手的手模型，并且生成指示手模型在人工现实空间中的形状、位置和取向的手模型数据。在一些实施例中，内容提供器128可以生成与图像相关的附加数据，包括运动矢量信息、深度信息、边缘信息、对象信息、手模型数据等，并且通过通信接口118将附加数据与图像数据一起发送到头部可佩戴显示器130。内容提供器128可以对描述图像的图像数据进行编码，并且可以将编码后的数据发送到头部可佩戴显示器130。在一些实施例中，内容提供器128周期性地(例如，每11ms)生成图像数据并将其提供给头部可佩戴显示器130。在一个方面，通信接口118可以自适应地将附加数据发送到头部可佩戴显示器130，如下面参考图2A至图4所述。
图1B是根据示例实施例的头部可佩戴显示器130的示意图160。在一些实施例中，头部可佩戴显示器130包括前刚性主体162和带164。前刚性主体162包括电子显示器152(图1B中未示出)、透镜154(图1B中未示出)、传感器142、眼睛跟踪器144A、144B、通信接口148和图像渲染器150。在图1B所示的实施例中，通信接口148、图像渲染器150和传感器142位于前刚性主体162内，并且可能对用户不可见。在其他实施例中，头部可佩戴显示器130具有与图1B所示不同的配置。例如，通信接口148、图像渲染器150、眼睛跟踪器144A、144B和/或传感器142可以位于不同于图1B所示的位置。
现在参考图2A，描绘了调度间算法126的示意图200。控制台102可以包括或执行调度间算法126，以确定对于控制台102和头部可佩戴显示器130之间的会话是使用主链路108还是辅链路110。控制台102可以包括或执行调度间算法126，以响应于主链路108的链路质量来确定是否激活和/或在主链路108和辅链路110之间切换。
调度间算法126可以包括两阶段的链路间切换和调度过程，其具有外部/第一决策循环202和内部/第二决策循环204。外部/第一决策循环202可以例如部分地基于使用情况或使用类型在主链路108和辅链路110之间做出决定。在一个实施例中，控制台102可以执行调度间算法126的外部决策循环202，以选择主链路108用于完整的AR体验，并选择辅链路110用于最小使用情况。内部决策循环204可以部分地基于主链路108的链路质量(例如，信噪比水平)来在主链路108和辅链路110之间做出决定(例如，使用哪个链路或切换到哪个链路)。在一个实施例中，控制台102可以执行调度间算法126的内部决策循环204，以响应于指示主链路108的链路质量的主链路108的一个或更多个测量值，确定是否激活辅链路110和/或将流量从主链路108转移到辅链路110。
现在参考图2B，描绘了在调度间算法126的内部决策循环204的一个示例实施例期间使用的多个阈值的示意图250。在一些实施例中，内部决策循环204可以使用或应用多个阈值120(例如，质量阈值、信噪比阈值)来监控和验证主链路108的质量。控制台102可以通过基于和/或包括主链路108的一个或更多个测量值112向调度间算法126提供或传送指令或消息来执行内部决策循环204。在一些实施例中，通过将一个或更多个阈值120应用于主链路108的测量值112，调度间算法126可以确定主链路108是否能够支持控制台102和头部可佩戴显示器130之间的当前会话。
在一些实施例中，内部决策循环204可以包括四个阈值120。例如，内部决策循环204可以包括第一阈值120(C1)、第二阈值120(C2)、第三阈值120(C3)和第四阈值120(C4)。在一些实施例中，第一阈值120a可以对应于大于第二阈值120和第三阈值120并且小于第四阈值120的质量度量或值/水平。控制台102可以在第一时间段将主链路108的第一测量值112与第一阈值120进行比较，以确定是否激活辅链路110。第二阈值120可以对应于小于第一阈值120、第三阈值120和第四阈值120的质量度量。控制台102可以在第二时间段将主链路108的第二测量值112与第二阈值120进行比较，以确定是否将流量从主链路108转移到辅链路110。第三阈值120可以对应于大于第二阈值120并且小于第一阈值120和第四阈值120的质量度量。控制台102可以在第三时间段将主链路108的第三测量值112与第三阈值120进行比较，以确定是否将流量从辅链路110转移到主链路108。第四阈值120可以对应于大于第一阈值120、第二阈值120和第三阈值120的质量度量。控制台102可以在第四时间段将主链路108的第四测量值112与第四阈值120进行比较，以确定是否将所有流量转移到主链路108和/或去激活辅链路110。在一些实施例中，内部决策循环204的阈值120的数量可以变化。例如，内部决策循环204可以包括少于四个阈值120或多于四个阈值120。
现在参考图3A-图3E，描述了用于AR/VR应用的辅链路的方法300。简而言之，方法300可以包括以下一个或更多个：建立主链路(302)、确定使用类型(304)、选择链路类型(306)、执行链路测量(310)、将测量值与第一阈值进行比较(312)、保持主链路上的流量(314)、激活辅链路(316)、执行链路测量(318)、将测量值与第二阈值进行比较(320)、保持主链路上的流量(322)，将流量转移到辅链路(324)、执行周期性测量(326)、将测量值与第三阈值进行比较(328)、保持辅链路上的流量(330)、以确定的间隔执行测量(332)、识别候选波束(334)、等待确定的时段(336)、执行链路测量(338)、将测量值与第四阈值进行比较(340)、保持主链路上的流量(342)、将流量转移到主链路(344)以及去激活辅链路(346)。任何前述操作可以由本文描述的任何一个或更多个组件或设备来执行，例如由控制台102和/或头部可佩戴显示器130来执行。
参考302，在一些实施例中，可以在控制台102和头部可佩戴显示器130之间建立主链路108。例如，主链路108可以由控制台102或头部可佩戴显示器130建立，以向头部可佩戴显示器130的用户提供VR体验、AR体验、MR体验中的至少一种。主链路108可以包括在控制台102和头部可佩戴显示器130之间建立的一个或更多个连接、会话或信道。主链路108可以包括但不限于控制台102和头部可佩戴显示器130之间的60GHz频率连接(例如，60GHZ WiFi、IEEE 802.11ay/ad)。
参考304，在一些实施例中，可以确定使用类型。控制台102和/或头部可佩戴显示器130可以确定控制台102和头部可佩戴显示器130之间的链路的使用类型。例如，控制台102可以确定要传输的内容的类型、流量的类型、使用情况和/或要提供给用户的VR/AR体验的类型。控制台102和/或头部可佩戴显示器130可以收集控制台102和头部可佩戴显示器130之间的主链路108和/或辅链路110的属性。控制台102和/或头部可佩戴显示器130可以收集头部可佩戴显示器130的用户的特征。在一些实施例中，控制台102和/或头部可佩戴显示器130可以从用户接收请求特定类型的使用或VR/AR体验类型的输入。例如，用户可以请求完整的VR/AR体验或应用，或者用户可以请求有限类型的使用(例如，消息传送、检查时间、拨打/接听语音电话)。
参考306，在一些实施例中，可以选择链路。控制台102可以例如根据控制台102和头部可佩戴显示器130之间的流量类型，为控制台102和头部可佩戴显示器130之间的流量选择主链路108或辅链路110。在一些实施例中，如果使用或流量的类型对应于或包括完整的VR/AR体验，则可以选择主链路108来承载控制台102和头部可佩戴显示器130之间的流量。如果使用或流量的类型对应于或包括最小使用、部分VR/AR体验或小于完整的VR/AR体验，则可以选择辅链路110来承载在控制台102和头部可佩戴显示器130之间的流量。在一些实施例中，控制台102可以执行调度间算法126，以确定是使用主链路108还是辅链路110来在控制台102和头部可佩戴显示器130之间传输流量(例如，数据、信息)。例如，控制台102和/或头部可佩戴显示器130可以向调度间算法提供一个或更多个输入(例如，使用类型、用户、流量类型)，并且可以执行调度间算法来确定对于特定类型的使用和/或流量类型是使用主链路108还是辅链路110。例如，在一些实施例中，方法300的302和304可以对应于调度间算法126的外部/第一决策循环202，并且方法300的31-348可以对应于调度间算法126的内部/第二决策循环204。
控制台102和/或头部可佩戴显示器130可以向调度间算法126的外部决策循环202提供一个或更多个输入(例如，使用类型、用户、流量类型)，并且可以执行调度间算法126来确定对于特定类型的使用是使用主链路108还是辅链路110。控制台102和/或头部可佩戴显示器130可以向调度间算法126的内部/第二决策循环204提供一个或更多个输入(例如，使用类型、用户、流量类型)，并执行调度间算法126以部分地基于主链路108的链路质量来确定是使用主链路108还是辅链路110。在一些实施例中，控制台102可以执行调度间算法126，并且可以响应于执行调度间算法126，选择主链路108或辅链路110来在控制台102和头部可佩戴显示器130之间传输流量(例如，数据、信息)。
参考310，在一些实施例中，可以执行链路测量。控制台102和/或头部可佩戴显示器130可以执行主链路108的测量112，并且可以确定控制台102和头部可佩戴显示器130之间的主链路108的度量(例如，质量度量124)。测量112可以在第一时间段或初始时间段执行，以监控主链路108的状态和/或质量。控制台102可以在主链路108上执行测量112，以确定主链路108是否活动(例如，打开、关闭)和/或确定主链路108上的当前流量水平。在一些实施例中，控制台102可以在主链路108上执行测量112，以确定主链路108的链路质量，例如但不限于主链路108的信噪比。
参考312，在一些实施例中，可以将测量值(例如，测量的质量度量的值)与第一阈值进行比较。控制台102可以将主链路108的测量值112与第一阈值120进行比较。第一阈值120可以包括或对应于主链路108的质量度量124。例如，控制台102可以确定主链路108的质量是大于还是小于阈值120。第一阈值120可以用于确定是否应该激活辅链路，或者主链路108是否可以支持控制台102和头部可佩戴显示器130之间的流量。
参考314，在一些实施例中，流量可以保持在主链路上。控制台102可以确定主链路108的测量值大于或高于第一阈值120，并且可以确定主链路108的质量足够强(例如，稳定或良好)以支持控制台102和头部可佩戴显示器130之间的流量。在一些实施例中，控制台102可以响应于该比较来确定信噪比足够高或足够强，以支持控制台102和头部可佩戴显示器130之间的流量(例如，当前流量、当前使用类型)，并保持主链路108上的流量。在一些实施例中，控制台102可以将辅链路110保持在去激活或关闭状态。例如，当主链路108的测量值112大于第一阈值120时，控制台102可以关闭或不保持辅链路。方法300可以返回/前进到(310)，并且控制台102可以执行主链路108的后续或附加测量，以继续监控主链路108的质量或状态。
参考316，在一些实施例中，可以激活辅链路。控制台102可以响应于第一测量值112小于第一阈值120，激活控制台102和头部可佩戴显示器130之间的辅链路110。控制台102可以确定主链路108的测量值小于第一阈值120，并且确定主链路108的质量正在降低，使得主链路108可能不足以支持控制台102和头部可佩戴显示器130之间的流量。例如，控制台102可以确定主链路108正在经历或导致头部可佩戴显示器130的用户的延迟、服务中断和/或故障。在一些实施例中，控制台102可以响应于该比较，确定信噪比小于第一阈值(或第四阈值120)，并且主链路108正在经历困难或无法支持控制台102和头部可佩戴显示器130之间的流量(例如，当前流量、当前使用类型)。控制台102可以激活控制台102和头部可佩戴显示器130之间的辅链路110。在一些实施例中，控制台102可以配置辅链路110，并且可以将辅链路110置于待机状态，使得辅链路110被激活(例如，建立)并且不承载或支持控制台102和头部可佩戴显示器130之间的流量。控制台102和/或头部可佩戴显示器130可以生成和/或向头部可佩戴显示器130的用户提供辅链路110已经被激活的指示或消息。
参考318，在一些实施例中，可以执行链路测量。控制台102和/或头部可佩戴显示器130可以执行主链路108的测量112，以继续监控主链路108的状态或质量。在一些实施例中，控制台102可以在第二时间段或在主链路108的第一或初始测量112之后执行测量112。控制台102可以在主链路108上执行测量112，以确定主链路108的质量是大于还是小于第二阈值120。
参考320，在一些实施例中，可以将测量值与第二阈值进行比较。控制台102可以确定控制台102和头部可佩戴显示器130之间的主链路108的第二测量值112(例如，测量的质量度量的值)是否小于第二阈值120。第二阈值120可以小于第一阈值120。第二阈值120可以包括或对应于小于第一阈值120的值或水平(例如，主链路108的质量度量124)。例如，控制台102可以使用第二阈值120来确定主链路108的质量是否已经从第一测量值开始下降。在一些实施例中，第二阈值120可以用于确定流量是否应该从主链路108转移到辅链路110。
参考322，在一些实施例中，流量可以保持在主链路上。当第二测量值112大于第二阈值120时，控制台102可以保持主链路108上的流量。例如，控制台102可以确定主链路108的第二或后续测量值112大于第二阈值120，并且可以确定主链路108的质量可以支持控制台102和头部可佩戴显示器130之间的流量。控制台102可以保持主链路108上的流量，并且可以保持辅链路110处于待机(例如，活动的，没有流量)。在一些实施例中，控制台102可以响应于该比较来确定信噪比足够高或足够强，以支持控制台102和头部可佩戴显示器130之间的流量(例如，当前流量、当前使用类型)，并且将辅链路110保持在待机状态。方法300可以返回到(318)，并且控制台102可以执行主链路108的后续或附加测量，以继续监控主链路108的质量或状态。
参考324，在一些实施例中，流量可以被转移到辅链路。当第二测量值112小于第二阈值120时，控制台102可以将主链路108上的流量转移到激活的辅链路110。控制台102可以确定主链路108的测量值小于第二阈值120，并且可以确定主链路108的质量不够强(例如，不够稳定，不够良好)无法支持控制台102和头部可佩戴显示器130之间的流量。在一些实施例中，控制台102可以响应于该比较来确定信噪比小于第二阈值120，并且主链路108正在经历困难或者无法支持控制台102和头部可佩戴显示器130之间的流量(例如，当前流量、当前使用类型)。控制台102可以开始将流量从主链路108转移或移动到控制台102和头部可佩戴显示器130之间的辅链路110。在一些实施例中，控制台102可以将控制台102和头部可佩戴显示器130之间的一些或全部流量转移到辅链路。例如，控制台102可以使用辅链路110在控制台102和辅链路110之间传输在比较之后接收的后续数据和信息。控制台102可以例如将流量的一部分(例如，一半，确定的百分比)转移或移动到辅链路110，以在控制台102和头部可佩戴显示器130之间传输在比较之后接收的后续数据和信息。在一些实施例中，响应于第二测量值112小于第二阈值120，控制台102可以将控制台102和头部可佩戴显示器130之间的所有流量转移到辅链路110。控制台102可以向头部可佩戴显示器130提供指示、消息或命令，以通知或指示头部可佩戴显示器130使用辅链路110来传输数据。控制台102和/或头部可佩戴显示器130可以生成并向头部可佩戴显示器130的用户提供流量已经、正在或将要从主链路108转移到辅链路110的指示或消息。
现在参考326，在一些实施例中，可以执行主链路的周期性测量。控制台102可以响应于第二测量值112小于第二阈值120，以第一确定的间隔122执行主链路108的测量112，或者执行周期性测量112。在一些实施例中，控制台102可以通过在主链路108上进行周期性测量来监控主链路108，以确定主链路108的质量何时增加。测量112可以以确定的间隔或时间段来执行。周期性测量112可以以均匀间隔或规则出现的间隔来执行，使得前两次测量和后续测量之间的时间长度相等。在一些实施例中，控制台102可以部分地基于在前一次测量112时主链路108的信噪比来确定测量112之间的长度或时间(例如，第一次测量和第二次测量之间的时间)。例如，如果控制台102确定主链路108的质量正在增加和/或在距离阈值120的确定距离内，则控制台102可以增加频率(例如，更频繁地)或减少测量112之间的时间长度。在一些实施例中，如果控制台102确定主链路108的质量正在降低和/或在距离阈值120的确定距离之外，则控制台102可以降低频率(例如，不经常地)或增加测量112之间的时间长度。
现在参考328，在一些实施例中，测量值112可以与第三阈值120进行比较。控制台102可以确定主链路108的第三或后续测量值112是大于还是小于第三阈值120。在一些实施例中，第三阈值120可以小于第一阈值120并且大于第二阈值120。第三阈值120可以包括或对应于主链路108的质量度量124，其指示主链路108的质量正在增加(例如，当大于第三阈值120时)或正在降低(例如，当小于第三阈值120时)。在一些实施例中，控制台102可以使用第三阈值120来确定流量是否可以转移回主链路108或者流量是否应该保持在辅链路110上。
参考330，在一些实施例中，流量可以保持在辅链路上。控制台102可以确定主链路108的第三或后续测量值112小于第三阈值120，并且可以确定主链路108的质量不能支持控制台102和头部可佩戴显示器130之间的流量。控制台102可以例如响应于该确定来保持辅链路110上的流量。在一些实施例中，控制台102可以响应于该比较来确定主链路108的信噪比小于第三阈值120。控制台102可以响应于第二测量值112之后的第三测量值112小于第二阈值，以第二确定的间隔122执行主链路108的附加测量。第二确定的间隔122可以比每个第一确定的间隔122更长(例如，测量之间的持续时间更长)。例如，方法300可以返回/前进到(326)，并且控制台102可以执行主链路108的后续或附加测量，以继续监控主链路108的质量或状态。
现在参考332，在一些实施例中，主链路的测量可以以确定的间隔执行。控制台102可以确定主链路108的第三测量值112大于第三阈值120。第三阈值120可以大于第二阈值120并且小于第一阈值120。例如，控制台102可以响应于该比较确定主链路108的第三或后续测量值112大于第三阈值，并且主链路108的质量自第二或先前测量112以来已经改善或增加。控制台102可以以确定的间隔122开始对主链路108进行测量112。例如，在一些实施例中，控制台102和/或头部可佩戴显示器130可以以确定的间隔醒来，并执行主链路108的测量。
确定的间隔122可以相同或被修改。在一些实施例中，确定的间隔122可以相等，使得前两次测量112和后续测量122之间的时间长度相等。在一些实施例中，控制台102可以在第一时间段以第一确定的间隔122执行测量，并且在第二或后续时间段以第二确定的间隔122执行测量。第一确定的间隔122可以不同于(例如，更少的时间、更多的时间)第二确定的间隔122。控制台102可以部分地基于在先前测量112时主链路108的信噪比来确定该确定的间隔122的长度。例如，如果控制台102确定主链路108的质量正在增加和/或在距离阈值120的确定距离内，则控制台102可以增加频率(例如，更频繁地)或减少测量112之间的时间长度。在一些实施例中，如果控制台102确定主链路108的质量正在降低和/或在距离阈值120的确定距离之外，则控制台102可以降低频率(例如，不经常地)或增加测量112之间的时间长度。控制台102可以使用或应用指数回退(exponential backoff)来确定所确定的间隔122的时间长度。例如，控制台102可以成倍地降低(或增加)主链路108的测量112发生的速率或频率，使得第一确定的间隔122不同于第二、后续间隔122。控制台102可以在测量112期间以确定的间隔122确定主链路108的信噪比是否大于第三阈值120。控制台102可以通过以确定的间隔122进行测量112来监控主链路108，以确定主链路108是否准备好支持控制台102和头部可佩戴显示器130之间的会话，或者大于第三阈值120的第三测量值112是否对应于错误的或不准确的测量112。
参考334，在一些实施例中，可以识别候选波束。控制台102可以确定主链路108的第三或后续测量值112大于第三阈值120，并且可以识别候选波束114以建立或用于主链路108。候选波束114可以对应于控制台102和头部可佩戴显示器130之间的至少一个波束或信号路径，其信噪比大于第三阈值120。在一些实施例中，控制台102可以从信噪比大于第三阈值120的多个波束114中选择具有最高信噪比的至少一个波束114。控制台102可以尝试使用候选波束114建立连接。
参考336，在一些实施例中，使用候选波束的连接可能失败(例如，例如，由于不稳定的连接、改变的条件、丢弃的分组和/或其他原因，无法充分支持流量)。控制台102可以确定候选波束114的失败，并且可以启动确定的时段来暂停对主链路108的第二候选波束114的搜索。例如，控制台102可以尝试使用候选波束114建立连接，并且该连接可能失败或者波束114可能无法支持主链路108。控制台102可以确定候选波束114无法支持主链路108，和/或大于第三阈值120的第三测量值112对应于错误的或不准确的测量112。控制台102可以确定或被配置为等待确定的时间段来执行后续测量112(例如，对应于禁止时间段)。所确定的时间段或等待时段的长度可以变化，并且可以部分地基于主链路108的一个或更多个测量112来选择。控制台102可以为所确定的时间段(例如，等待时段)选择时间长度或持续时间，并且可以在所确定的时间段期间停止执行主链路108的测量112。当确定的时间段结束或完成时，控制台102可以返回/前进到(332)并且可以以确定的间隔122执行测量112。
控制台102可以使用主链路108的候选波束114建立连接。在一些实施例中，控制台102可以使用波束114或信号路径来重新启动和/或重新配置控制台102和头部可佩戴显示器130之间的主链路108(例如，重新配置主链路108的属性)。例如，控制台102可以修改主链路108的一个或更多个属性，以使用波束114或信号路径在控制台102和头部可佩戴显示器130之间重新建立或重新连接主链路108。
控制台102可以响应于第三测量值112大于第三阈值120，将辅链路110上的流量转移到主链路108。例如，控制台102可以确定主链路108可以支持控制台102和头部可佩戴显示器130之间的用户会话，并且可以开始将流量从辅链路110转移到主链路108。当第三或后续测量值112大于第三阈值120时，控制台102可以将辅链路110上的流量转移到主链路108。控制台102可以将控制台102和头部可佩戴显示器130之间的一些或全部流量转移到主链路108。例如，控制台102可以使用主链路108在控制台102和头部可佩戴显示器130之间传输后续数据和信息。控制台102可以将流量的一部分(例如，一半，确定的百分比)转移或移动到主链路108，以在控制台102和头部可佩戴显示器130之间传输后续数据和信息。
参考338，在一些实施例中，可以执行链路测量。控制台102和/或头部可佩戴显示器130可以执行主链路108的测量112，以继续监控主链路108的状态或质量。在一些实施例中，控制台102可以在第四时间段或在主链路108的第三或先前测量112之后执行测量112。控制台102可以在主链路108上执行测量112，以确定主链路108的质量是大于还是小于第四阈值120。
参考340，在一些实施例中，可以将测量值与第四阈值进行比较。控制台102可以确定控制台102和头部可佩戴显示器130之间的主链路108的第四或后续测量值112是大于还是小于第四阈值120。在一些实施例中，第四阈值120可以大于第一、第二和第三阈值120。第四阈值120可以包括或对应于大于第一阈值120的值或水平(例如，主链路108的质量度量124)。在一些实施例中，第四阈值120可以用于确定辅链路110是否可以被去激活或关闭。
参考342，在一些实施例中，流量可以保持在辅链路108上。控制台102可以确定主链路108的第四或后续测量值112小于第四阈值120。在一些实施例中，控制台102可以确定主链路108在第四时间段的信噪比小于第四阈值120。控制台102可以(例如，响应于该确定)在辅链路110上保持控制台102和头部可佩戴显示器130之间的流量。在一些实施例中，控制台102可以(例如，响应于该确定)在主链路108上保持控制台102和头部可佩戴显示器130之间的一部分流量，并且保持辅链路110处于待机状态。
参考344，在一些实施例中，流量可以被转移到主链路108。控制台102可以确定主链路108的第四或后续测量值112大于第四阈值120。在一些实施例中，控制台102可以确定主链路108在第四时间段的信噪比大于第四阈值120。控制台102可以确定辅链路110是否仍然支持任何流量，并且可以将所有流量转移到主链路108，使得主链路108完全支持控制台102和头部可佩戴显示器130之间的一个或更多个用户会话。控制台102可以向头部可佩戴显示器130发送指示、消息或命令，以停止使用辅链路110。
参考346，在一些实施例中，辅链路可以被去激活。控制台102可以响应于第四测量值112大于第四阈值120来去激活辅链路110。第四阈值120可以大于第一阈值120。在一些实施例中，控制台102可以关闭或去激活(例如，断开、取消(dis-establish))控制台102和头部可佩戴显示器130之间的辅链路110。控制台102可以检查或验证辅链路110不再支持控制台102和头部可佩戴显示器130之间的流量，并且可以关闭辅链路110。在一些实施例中，控制台102可以将辅链路110的状态从待机改变为去激活，使得辅链路110不再可用于在控制台102和头部可佩戴显示器130之间传输流量。控制台102和/或头部可佩戴显示器130可以生成并向头部可佩戴显示器130的用户提供辅链路110已经被去激活或关闭的指示或消息。方法300可以返回到(304)以在控制台102和头部可佩戴显示器130之间的一个或更多个用户会话期间继续监控主链路108的质量。
B.计算系统
本文描述的各种操作可以在计算机系统上实现。图4示出了可用于实现本公开的代表性计算系统414的框图。在一些实施例中，图1A-图1B的控制台102和头部可佩戴显示器130由计算系统414实现。计算系统414可以被实现为例如消费设备，诸如智能手机、其他移动电话、平板计算机、可佩戴计算设备(例如，智能手表、眼镜、头部可佩戴显示器)、台式计算机、膝上型计算机，或者用分布式计算设备来实现。计算系统414可以被实现为提供VR、AR、MR体验。在一些实施例中，计算系统414可以包括传统的计算机组件，例如处理器416、存储设备418、网络接口420、用户输入设备422和用户输出设备424。
网络接口420可以提供到广域网(例如，互联网)的连接，远程服务器系统的WAN接口也连接到广域网。网络接口420可以包括有线接口(例如以太网)和/或无线接口，用于实现各种射频数据通信标准，例如Wi-Fi、蓝牙或蜂窝数据网络标准(例如3G、4G、5G、60GHz、LTE等)。
用户输入设备422可以包括用户可以通过其向计算系统414提供信号的任何设备(或多个设备)；计算系统414可以将信号解释为特定用户请求或信息的指示。用户输入设备422可以包括键盘、触摸板、触摸屏、鼠标或其他定点设备、滚轮、点击轮(click wheel)、拨号盘、按钮、开关、小键盘、麦克风、传感器(例如，运动传感器、眼睛跟踪传感器等)中的任何一个或全部，等等。
用户输出设备424可以包括计算系统414可以通过其向用户提供信息的任何设备。例如，用户输出设备424可以包括显示器，以显示由计算系统414生成或传送到计算系统414的图像。显示器可以结合各种图像生成技术，例如液晶显示器(LCD)、包括有机发光二极管(OLED)的发光二极管(LED)、投影系统、阴极射线管(CRT)等，以及支持电子器件(例如数模或模数转换器、信号处理器等)。可以使用既用作输入设备又用作输出设备诸如触摸屏的设备。除了显示器之外或者代替显示器，可以提供输出设备424。示例包括指示灯、扬声器、触觉“显示”设备、打印机等。
一些实施方式包括电子组件，例如微处理器、储存器和将计算机程序指令存储在计算机可读存储介质中的存储器。本说明书中描述的许多特征可以被实现为被指定为编码在计算机可读存储介质上的一组程序指令的过程。当这些程序指令由一个或更多个处理器执行时，它们使处理器执行程序指令中指示的各种操作。程序指令或计算机代码的示例包括诸如由编译器产生的机器代码，以及包括由计算机、电子组件或使用解释器的微处理器执行的高级代码的文件。通过适当的编程，处理器416可以为计算系统414提供各种功能，包括本文描述的由服务器或客户端执行的任何功能，或者与消息管理服务相关联的其他功能。
应当理解，计算系统414是说明性的，并且变化和修改是可能的。结合本公开使用的计算机系统可以具有本文没有具体描述的其他能力。此外，虽然计算系统414是参考特定的块来描述的，但是应当理解，这些块是为了描述方便而定义的，并不意味着组成部分的特定物理布置。例如，不同的块可以位于同一设施、同一服务器机架或同一主板上。此外，这些块不需要对应于物理上不同的组件。块可以被配置成例如通过对处理器编程或提供适当的控制电路来执行各种操作，并且根据如何获得初始配置，各种块可以是或可以不是可重新配置的。本公开的实现可以在各种装置(包括使用电路和软件的任意组合实现的电子设备)中实现。
现在已经描述了一些说明性的实施方式，显然前述是说明性的而不是限制性的，已经通过示例的方式给出。具体而言，尽管本文呈现的许多示例涉及方法动作或系统元素的特定组合，但是那些动作和那些元素可以以其他方式组合来实现相同的目标。结合一个实施方式讨论的动作、元素和特征不旨在被排除在其他实施方式或实施方式中的类似角色之外。
用于实现结合本文公开的实施例描述的各种过程、操作、说明性逻辑、逻辑块、模块和电路的硬件和数据处理组件可以用通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或其设计用于执行本文描述的功能的任何组合来实现或执行。通用处理器可以是微处理器，或者任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或更多个微处理器、或者任何其他这样的配置。在一些实施例中，特定的过程和方法可以由特定于给定功能的电路来执行。存储器(例如，存储器、存储器单元、存储设备等)可以包括一个或更多个设备(例如，RAM、ROM、闪存、硬盘储存设备等)用于存储数据和/或计算机代码，以完成或促进本公开中描述的各种过程、层和模块。存储器可以是或包括易失性存储器或非易失性存储器，并且可以包括数据库组件、目标代码组件、脚本组件或用于支持本公开中描述的各种活动和信息结构的任何其他类型的信息结构。根据示例性实施例，存储器经由处理电路可通信地连接到处理器，并且包括用于(例如，通过处理电路和/或处理器)执行本文描述的一个或更多个过程的计算机代码。
本公开设想用于完成各个操作的方法、系统和在任何机器可读介质上的程序产品。可以使用现有计算机处理器、或通过为此目的或其他目的所引入的恰当系统的专用计算机处理器或通过硬接线的系统来实现本公开的实施例。本公开的范围之内的实施例包括程序产品，其包括用于携带或具有存储于其上的机器可执行指令或数据结构的机器可读介质。这种机器可读介质可以是任意可用介质，其可通过通用或专用计算机或具有处理器的其他机器访问。举例来讲，这种机器可读介质可包括RAM、ROM、EPROM、EEPROM、CD-ROM或其他光盘储存器、磁盘储存器或其他磁储存设备、或可用于携带或存储以机器可执行指令或数据结构形式的所需程序代码的且可以通过通用或专用计算机或具有处理器的其他机器访问的任何其他介质。上面的组合也被包括在机器可读介质的范围内。机器可执行指令包括例如使得通用计算机、专用计算机或专用处理机器执行某一功能或一组功能的指令和数据。
本文所使用的措辞和术语是为了描述的目的，且不应被视为限制性的。本文使用的“包括(including)”、“包含(comprising)”、“具有”、“包含(containing)”、“涉及”、“以......为特征”、“特征在于”及其变型意味着包含其后列出的项目、其等同物和附加项目，以及仅由其后列出的项目组成的替代实现。在一个实施方式中，本文描述的系统和方法由一个、多于一个的每个组合或者所有描述的元件、动作或组件组成。
本文以单数形式提及的系统和方法的实施方式或元件或动作的任何引用也可以包括包含多个这些元件的实施方式，并且本文以复数形式提及的任何实施方式或元素或动作也可以包括仅包含单个元素的实施方式。单数或复数形式的引用不旨在将当前公开的系统或方法、它们的组件、动作或元素限制为单个或更多个配置。对基于任何信息、动作或元素的任何动作或元素的引用可以包括其中动作或元素至少部分基于任何信息、动作或元素的实现。
本文公开的任何实现可以与任何其他实现或实施方式组合，并且对“实现”、“一些实现”、“一个实现”等的引用不一定是互斥的，并且旨在指示结合该实现描述的特定特征、结构或特性可以包括在至少一个实现或实施方式中。这里使用的这些术语不一定都指同一实现。任何实现都可以以与这里公开的方面和实现相一致的任何方式，包括或排他地，与任何其他实现相结合。
在附图、详细描述或任何权利要求中的技术特征后面带有附图标记的地方，已经包括附图标记以增加附图、详细描述和权利要求的可理解性。因此，附图标记及其缺失都不意欲对任何权利要求元素的范围有任何限制影响。
在不脱离其特征的情况下，本文描述的系统和方法可以以其他特定形式实施。除非另有明确说明，对“大约(approximately)”、“约(about)”、“基本上”或其他程度术语的提及包括给定测量值、单位或范围的+/-10％的变化。耦合元件可以彼此直接电耦合、机械耦合或物理耦合，或者利用中间元件电耦合、机械耦合或物理耦合。因此，本文描述的系统和方法的范围由所附权利要求而不是前面的描述来指示，并且落入权利要求的等同物的含义和范围内的变化包含在其中。
术语“耦合”及其变型包括两个构件直接或间接彼此连接。这种连接可以是静止的(例如，永久的或固定的)或可移动的(例如，可移除的或可释放的)。这种连接可以通过两个构件直接连接或相互连接来实现，也可以通过两个构件使用单独的中间构件和任何附加的中间构件相互连接来实现，或者通过两个构件使用与两个构件中的一个构件一体形成为单一单元体的中间构件相互连接来实现。如果“耦合”或其变型由附加术语(例如，直接耦合)来修饰，则上面提供的“耦合”的一般定义由附加术语的简单语言含义来修饰(例如，“直接耦合”是指两个构件的连接而没有任何单独的中间构件)，导致比上面提供的“耦合”的一般定义更窄的定义。这种耦合可以是机械的、电的或流体的。
对“或”的提及可被解释为包含性的，因此，使用“或”描述的任何术语可以表示单个、一个以上和所有所述术语中的任何一个。对“‘A’和‘B’中的至少一个”的提及可以只包括“A”，只包括“B”，以及同时包括“A”和“B”。这种与“包括”或其他开放术语一起使用的引用可以包括附加项目。
在本质上不脱离本文公开的主题的教导和优点的情况下，可以对所描述的元件和动作进行修改，例如各种元件的尺寸、大小、结构、形状和比例、参数值、安装布置、材料使用、颜色、取向的变化。例如，显示为整体形成的元件可以由多个部分或元件构成，元件的位置可以颠倒或以其他方式改变，并且离散元件的性质或数量或位置可以改变或变化。在不脱离本公开的范围的情况下，还可以在所公开的元件和操作的设计、操作条件和布置中进行其他替换、修改、改变和省略。
本文提到的元件位置(例如，“顶部”、“底部”、“上面”、“下面”)仅用于描述附图中各种元件的取向。根据其他示例性实施例，各种元件的取向可以不同，并且这种变化旨在被本公开所包含。

Claims (15)

1.一种方法，包括：
由控制台确定所述控制台和头部可佩戴显示器之间的主链路的第一测量值小于第一阈值，所述第一测量值对应于所述主链路的质量度量；
响应于所述第一测量值小于所述第一阈值，由所述控制台激活所述控制台和所述头部可佩戴显示器之间的辅链路；
由控制台确定所述控制台和所述头部可佩戴显示器之间的所述主链路的第二测量值是否小于第二阈值，其中，所述第二阈值小于所述第一阈值；和
当所述第二测量值小于所述第二阈值时，由所述控制台将所述主链路上的流量转移到激活的辅链路。
2.根据权利要求1所述的方法，其中，所述质量度量包括所述主链路的信噪比。
3.根据权利要求1或权利要求2所述的方法，还包括：
当所述第二测量值大于所述第二阈值时，由所述控制台保持所述主链路上的流量。
4.根据权利要求1、权利要求2或权利要求3所述的方法，还包括：
响应于所述第二测量值小于所述第二阈值，由所述控制台以第一确定的间隔执行所述主链路的测量；和
优选地所述方法还包括：
响应于所述第二测量值之后的第三测量值小于所述第二阈值，由所述控制台以第二确定的间隔执行所述主链路的附加测量，其中，所述第二确定的间隔中的每一个大于所述第一确定的间隔中的每一个。
5.根据权利要求1至4中任一项所述的方法，还包括：
由所述控制台确定所述主链路的第三测量值大于第三阈值，其中，所述第三阈值大于所述第二阈值并且小于所述第一阈值；和
由所述控制台识别所述主链路的第一候选波束；和
优选地所述方法还包括：
由所述控制台确定所述第一候选波束的失败；和
由所述控制台启动确定的时段以暂停对所述主链路的第二候选波束的搜索。
6.根据权利要求1至5中任一项所述的方法，还包括：
响应于所述第三测量值大于所述第三阈值，由所述控制台将所述辅链路上的流量转移到使用所述第一候选波束的所述主链路；和
优选地所述方法还包括：
响应于第四测量值大于第四阈值，由所述控制台去激活所述辅链路，其中，所述第四阈值大于所述第一阈值。
7.根据权利要求1至6中任一项所述的方法，还包括：
由所述控制台根据所述控制台和所述头部可佩戴显示器之间的流量类型，为所述控制台和所述头部可佩戴显示器之间的流量选择所述主链路或所述辅链路。
8.一种控制台，包括：
一个或更多个处理器，其被配置为：
确定所述控制台和头部可佩戴显示器之间的主链路的第一测量值小于第一阈值，所述第一测量值对应于所述主链路的质量度量；
响应于所述第一测量值小于所述第一阈值，激活所述控制台和所述头部可佩戴显示器之间的辅链路；
确定所述控制台和所述头部可佩戴显示器之间的所述主链路的第二测量值是否小于第二阈值，其中，所述第二阈值小于所述第一阈值；和
当所述第二测量值小于所述第二阈值时，将所述主链路上的流量转移到激活的辅链路。
9.根据权利要求8所述的控制台，其中，所述质量度量包括所述主链路的信噪比。
10.根据权利要求8或权利要求9所述的控制台，其中，所述控制台还被配置为：
当所述第二测量值大于所述第二阈值时，保持所述主链路上的流量。
11.根据权利要求8、权利要求9或权利要求10所述的控制台，其中，所述控制台还被配置为：
响应于所述第二测量值小于所述第二阈值，以第一确定的间隔执行所述主链路的测量；和
优选地还被配置为：
响应于所述第二测量值之后的第三测量值小于所述第二阈值，以第二确定的间隔执行所述主链路的附加测量，其中，所述第二确定的间隔中的每一个大于所述第一确定的间隔中的每一个。
12.根据权利要求8至11中任一项所述的控制台，其中，所述控制台还被配置为：
确定所述主链路的第三测量值大于第三阈值，其中，所述第三阈值大于所述第二阈值并且小于所述第一阈值；和
识别所述主链路的第一候选波束；和
优选地还被配置为：
确定所述候选波束的失败；和
启动确定的时段以暂停对所述主链路的第二候选波束的搜索。
13.根据权利要求8至12中任一项所述的控制台，其中，所述控制台还被配置为：
响应于所述第三测量值大于所述第三阈值，将所述辅链路上的流量转移到使用所述第一候选波束的所述主链路。
14.一种存储指令的非暂时性计算机可读介质，当由一个或更多个处理器执行时，所述指令使得所述一个或更多个处理器：
确定控制台和头部可佩戴显示器之间的主链路的第一测量值小于第一阈值，所述第一测量值对应于所述主链路的质量度量；
响应于所述第一测量值小于所述第一阈值，激活所述控制台和所述头部可佩戴显示器之间的辅链路；
确定所述控制台和所述头部可佩戴显示器之间的所述主链路的第二测量值是否小于第二阈值，其中，所述第二阈值小于所述第一阈值；和
当所述第二测量值小于所述第二阈值时，将所述主链路上的流量转移到激活的辅链路。
15.根据权利要求14所述的非暂时性计算机可读介质，还包括当由所述一个或更多个处理器执行时还使得所述一个或更多个处理器执行以下操作的指令：
根据所述控制台和所述头部可佩戴显示器之间的流量类型，为所述控制台和所述头部可佩戴显示器之间的流量选择所述主链路或所述辅链路。
CN202080019769.1A 2019-03-08 2020-02-27 Ar/vr应用的辅链路 Pending CN113545112A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962815849P 2019-03-08 2019-03-08
US62/815,849 2019-03-08
US16/773,515 2020-01-27
US16/773,515 US11452014B2 (en) 2019-03-08 2020-01-27 Secondary link for AR/VR applications
PCT/US2020/020017 WO2020185410A1 (en) 2019-03-08 2020-02-27 Secondary link for ar/vr applications

Publications (1)

Publication Number Publication Date
CN113545112A true CN113545112A (zh) 2021-10-22

Family

ID=72335815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080019769.1A Pending CN113545112A (zh) 2019-03-08 2020-02-27 Ar/vr应用的辅链路

Country Status (6)

Country Link
US (2) US11452014B2 (zh)
EP (1) EP3935877A1 (zh)
JP (1) JP2022522583A (zh)
KR (1) KR20210137126A (zh)
CN (1) CN113545112A (zh)
WO (1) WO2020185410A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032906A1 (en) * 2022-08-12 2024-02-15 Telefonaktiebolaget Lm Ericsson (Publ) Application aware dynamic topology update

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030030864A1 (en) * 2001-08-09 2003-02-13 Joachim Charzinski Signaling proxy device for automatically setting up standby paths in optical networks
US20070010256A1 (en) * 2003-06-06 2007-01-11 Koninklijke Philips Electronics N.V. Method of controlling wireless data transmission by switching between short-range and long-range radio technologies
US20130250778A1 (en) * 2012-03-21 2013-09-26 Renesas Mobile Corporation Method and apparatus for distributed communications
US20140219194A1 (en) * 2013-02-01 2014-08-07 Apple Inc. Management of multiple radio links for wireless peer-to-peer communication
CN107577045A (zh) * 2013-05-30 2018-01-12 欧库勒斯虚拟现实有限责任公司 用于头戴式显示器的预测跟踪的方法、装置及存储介质
US20180232955A1 (en) * 2017-02-15 2018-08-16 Samsung Electronics Co., Ltd. Electronic device and method for transmitting and receiving image data in electronic device
US20180309500A1 (en) * 2017-04-20 2018-10-25 Oculus Vr, Llc Diversity based relay for wireless communications between a head-mounted display and a console

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897152B1 (en) * 2011-08-30 2014-11-25 Amazon Technologies, Inc. System and method for minimizing network transition latencies while minimizing power consumption
US9591497B2 (en) * 2014-05-30 2017-03-07 Apple Inc. Wireless link quality monitoring
KR20160003450A (ko) * 2014-07-01 2016-01-11 삼성전자주식회사 전자장치의 데이터를 공유하기 위한 방법 및 장치
US10098016B2 (en) * 2015-01-22 2018-10-09 Qualcomm Incorporated Adaptive scanning with multi-radio device
US9787579B2 (en) * 2015-04-06 2017-10-10 Verizon Digital Media Services Inc. Application controlled path selection based on type-of-service
KR20160141560A (ko) 2015-06-01 2016-12-09 삼성전기주식회사 무선 통신 장치 및 이를 이용한 운용 방법
US9832716B2 (en) * 2015-08-12 2017-11-28 Google Llc Switching between networks based on quality of available networks
US10129919B2 (en) 2016-10-20 2018-11-13 Plantronics, Inc. Video headset
US9866286B1 (en) * 2017-02-15 2018-01-09 Oculus Vr, Llc Positional tracking assisted beam forming in wireless virtual reality systems
CN109246732B (zh) * 2017-04-28 2020-05-15 维沃移动通信有限公司 波束失败恢复方法和终端
US10531344B2 (en) * 2018-05-24 2020-01-07 Verizon Patent And Licensing Inc. Radio access technology change reporting

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030030864A1 (en) * 2001-08-09 2003-02-13 Joachim Charzinski Signaling proxy device for automatically setting up standby paths in optical networks
US20070010256A1 (en) * 2003-06-06 2007-01-11 Koninklijke Philips Electronics N.V. Method of controlling wireless data transmission by switching between short-range and long-range radio technologies
US20130250778A1 (en) * 2012-03-21 2013-09-26 Renesas Mobile Corporation Method and apparatus for distributed communications
US20140219194A1 (en) * 2013-02-01 2014-08-07 Apple Inc. Management of multiple radio links for wireless peer-to-peer communication
CN107577045A (zh) * 2013-05-30 2018-01-12 欧库勒斯虚拟现实有限责任公司 用于头戴式显示器的预测跟踪的方法、装置及存储介质
US20180232955A1 (en) * 2017-02-15 2018-08-16 Samsung Electronics Co., Ltd. Electronic device and method for transmitting and receiving image data in electronic device
US20180309500A1 (en) * 2017-04-20 2018-10-25 Oculus Vr, Llc Diversity based relay for wireless communications between a head-mounted display and a console

Also Published As

Publication number Publication date
WO2020185410A1 (en) 2020-09-17
US20230016201A1 (en) 2023-01-19
EP3935877A1 (en) 2022-01-12
US11452014B2 (en) 2022-09-20
US11930411B2 (en) 2024-03-12
JP2022522583A (ja) 2022-04-20
US20200288360A1 (en) 2020-09-10
KR20210137126A (ko) 2021-11-17

Similar Documents

Publication Publication Date Title
US11882552B2 (en) Switching between different communication protocols
US11678324B2 (en) Systems and methods for dynamic scheduling
US11723003B2 (en) Latency reduction for artificial reality
US11930411B2 (en) Secondary link for AR/VR applications
US20220247513A1 (en) Systems and methods for beamforming
US20230254768A1 (en) Power management of receiver chain circuits based on traffic awareness
US11671189B2 (en) Systems and methods for managing energy detection thresholds
US11711829B2 (en) Context aware mode switching of wireless device
US11497028B2 (en) Interference mitigation through SINR-based iterative distributed beam selection
US20230292313A1 (en) Systems and methods of using supplemental uplink
WO2023154300A1 (en) Power management of receiver chain circuits based on traffic awareness
TW202344117A (zh) 使用互補上行鏈路的系統和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC