JP2022522583A - Ar/vrアプリケーションのための二次リンク - Google Patents

Ar/vrアプリケーションのための二次リンク Download PDF

Info

Publication number
JP2022522583A
JP2022522583A JP2021533783A JP2021533783A JP2022522583A JP 2022522583 A JP2022522583 A JP 2022522583A JP 2021533783 A JP2021533783 A JP 2021533783A JP 2021533783 A JP2021533783 A JP 2021533783A JP 2022522583 A JP2022522583 A JP 2022522583A
Authority
JP
Japan
Prior art keywords
console
threshold
link
display
headwearable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021533783A
Other languages
English (en)
Inventor
ガン ルー,
ユーティン ファン,
ウィリアム ルイス アボット,
ドン チェン,
チー ク,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of JP2022522583A publication Critical patent/JP2022522583A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/03Reselecting a link using a direct mode connection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/22Alternate routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14Multichannel or multilink protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/10Scheduling measurement reports ; Arrangements for measurement reports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/08Load balancing or load distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/24Reselection being triggered by specific parameters
    • H04W36/30Reselection being triggered by specific parameters by measured or perceived connection quality data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/02Communication route or path selection, e.g. power-based or shortest path routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/02Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/02Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H04W40/16Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality based on interference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/02Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/22Communication route or path selection, e.g. power-based or shortest path routing using selective relaying for reaching a BTS [Base Transceiver Station] or an access point
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W48/00Access restriction; Network selection; Access point selection
    • H04W48/18Selecting a network or a communication service
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/15Setup of multiple wireless link connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/30Connection release
    • H04W76/34Selective release of ongoing connections
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/0005Control or signalling for completing the hand-off
    • H04W36/0083Determination of parameters used for hand-off, e.g. generation or modification of neighbour cell lists
    • H04W36/0085Hand-off measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/14Reselecting a network or an air interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W36/00Hand-off or reselection arrangements
    • H04W36/24Reselection being triggered by specific parameters
    • H04W36/30Reselection being triggered by specific parameters by measured or perceived connection quality data
    • H04W36/302Reselection being triggered by specific parameters by measured or perceived connection quality data due to low signal strength

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

Figure 2022522583000001
AR/VRアプリケーションのための一次リンクと二次リンクの間で選択するシステム、方法、およびデバイスが本明細書に開示されている。コンソールは、ヘッドウェアラブルディスプレイを通してVR/ARセッションをユーザに与えることができる。コンソールは、コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第1の測定値が、第1の閾値よりも小さいことを判定することができる。第1の測定値は、一次リンクの品質メトリクスを含むことができる。コンソールは、コンソールとヘッドウェアラブルディスプレイの間の二次リンクを作動させることができる。コンソールは、コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第2の測定値が第2の閾値よりも小さいか判定することができる。コンソールは、第2の測定値が第2の閾値よりも小さいときに、一次リンク上のトラフィックを作動させられた二次リンクへ移行させることができる。
【選択図】図1A

Description

関連出願の相互参照
本出願は、2019年3月8日に出願した米国出願第62/815,849号、および2020年1月27日に出願した米国出願第16/773,515号の優先権を主張するものであり、各出願内容は、全ての目的のために参照により全体として本明細書に組み込まれる。
本開示は、一般に、限定するものではないが仮想現実(VR)または拡張現実(AR)アプリケーションのための二次リンクを与えるシステムおよび方法を含むディスプレイシステムおよび方法に関連している。
ウェアラブルディスプレイ技術は、仮想現実または拡張現実体験をそれぞれのディスプレイデバイスを着用するユーザに与えることができる。ウェアラブルディスプレイ技術は、一連のコンピュータ生成画像を与えることができ、それによりユーザがそれぞれの画像と相互作用することを可能にする。例えば、ディスプレイデバイスは、ディスプレイデバイスの視野がユーザの自然の視野と置き換わるようにユーザの視野上または内にあるヘッドマウント式デバイスを含むことができる。
VRまたはARアプリケーションのための一次リンクまたは二次リンクを使用するか判定するデバイス、システム、および方法の実施形態が、本明細書に開示される。ヘッドウェアラブルディスプレイは、VRまたはARアプリケーション(例えば、VR/AR体験)をヘッドウェアラブルディスプレイのユーザに与えるようにコンソールと接続することができる。コンソールおよびヘッドウェアラブルディスプレイは、少なくとも1つの一次リンクおよび/または二次リンクを通して接続することができる。いくつかの実施形態では、一次リンクは、完全なVR/AR体験を与えるまたはサポートすることができ、二次リンクは、一次リンクのための補助的なまたはバックアップのカバーを与えることができ、あるいは限定された/最小の使用ケースをサポートすることができる。例えば、二次リンクは、一次リンクの低下した品質(例えば、検出/体験される遅延、障害、遮断)に応答してコンソールとヘッドウェアラブルディスプレイの間のトラフィックをサポートするように作動することができる。コンソールは、一次リンクの使用のタイプおよび/またはリンク品質に一部基づいて一次リンクまたは二次リンクを使用するか判定することができる。
少なくとも1つの態様では、方法が提供される。方法は、コンソールにより、コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第1の測定値が第1の閾値よりも小さいことを判定することを含むことができる。第1の測定値は、一次リンクの品質メトリクスを含むまたはこれに対応することができる。方法は、コンソールにより、第1の測定値が第1の閾値よりも小さいことに応答して、コンソールとヘッドウェアラブルディスプレイの間の二次リンクを作動させることを含むことができる。方法は、コンソールにより、コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第2の測定値が第2の閾値よりも小さいか判定することを含むことができる。第2の閾値は、第1の閾値よりも小さくてもよい。方法は、コンソールにより、第2の測定値が第2の閾値よりも小さいときに、一次リンク上のトラフィックを作動させられた二次リンクへ移行させることを含むことができる。
いくつかの実施形態では、品質メトリクスは、一次リンクの信号対ノイズ比を含む、または備えることができる。方法は、コンソールにより、第2の測定値が第2の閾値よりも大きいときに、一次リンク上のトラフィックを維持することを含むことができる。方法は、コンソールにより、第2の測定値が第2の閾値よりも小さいことに応答して、第1の決定されたインターバルで一次リンクの測定値の取得を実行することを含むことができる。方法は、コンソールにより、第2の測定値の後の第3の測定値が第2の閾値よりも小さいことに応答して、第2の決定されたインターバルで一次リンクの追加の測定値の取得を実行することを含むことができる。いくつかの実施形態では、各第2の決定されたインターバルは、各第1の決定されたインターバルよりも大きいものであり得る。
方法は、コンソールにより、一次リンクの第3の測定値が第3の閾値よりも大きいことを判定することを含むことができる。第3の閾値は、第2の閾値よりも大きいとともに第1の閾値よりも小さいものであり得る。方法は、コンソールにより、一次リンクのための第1の候補ビームを特定することを含むことができる。方法は、コンソールにより、第1の候補ビームの障害を判定することを含むことができる。方法は、コンソールにより、一次リンクのための第2の候補ビームの捜索を一時中断するための所定の期間を開始することを含むことができる。方法は、コンソールにより、第3の測定値が第3の閾値よりも大きいことに応答して、二次リンク上のトラフィックを第1の候補ビームを用いて一次リンクへ移行させることを含むことができる。方法は、コンソールにより、第4の測定値が第4の閾値よりも大きいことに応答して、二次リンクを停止させることをさらに含むことができる。第4の閾値は、第1の閾値よりも大きいものであり得る。方法は、コンソールにより、コンソールとヘッドウェアラブルディスプレイの間のトラフィックのタイプに従って、コンソールとヘッドウェアラブルディスプレイの間のトラフィックのための一次リンクまたは二次リンクを選択することを含むことができる。
少なくとも1つの態様では、コンソールが提供される。コンソールは、1つまたは複数のプロセッサを含むことができる。1つまたは複数のプロセッサは、コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第1の測定値が第1の閾値よりも小さいことを判定するように構成されてもよい。第1の測定値は、一次リンクの品質メトリクスに対応することができる。1つまたは複数のプロセッサは、第1の測定値が第1の閾値よりも小さいことに応答して、コンソールとヘッドウェアラブルディスプレイの間の二次リンクを作動させるように構成されてもよい。1つまたは複数のプロセッサは、コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第2の測定値が第2の閾値よりも小さいか判定するように構成されてもよい。第2の閾値は、第1の閾値よりも小さいものであり得る。1つまたは複数のプロセッサは、第2の測定値が第2の閾値よりも小さいときに、一次リンク上のトラフィックを作動させられた二次リンクへ移行させるように構成されてもよい。
いくつかの実施形態では、品質メトリクスは、一次リンクの信号対ノイズ比を備えるまたは含むことができる。
いくつかの実施形態では、コンソール、または1つまたは複数のプロセッサは、第2の測定値が第2の閾値よりも大きいときに、一次リンク上のトラフィックを維持するように構成されてもよい。コンソール、あるいは1つまたは複数のプロセッサは、第2の測定値が第2の閾値よりも小さいことに応答して、第1の決定されたインターバルで一次リンクの測定値の取得を実行するように構成されてもよい。コンソール、あるいは1つまたは複数のプロセッサは、第2の測定値の後の第3の測定値が第2の閾値よりも小さいことに応答して、第2の決定されたインターバルで一次リンクの追加の測定値の取得を実行するように構成されてもよい。いくつかの実施形態では、各第2の決定されたインターバルは、各第1の決定されたインターバルよりも大きいものであり得る。
コンソール、あるいは1つまたは複数のプロセッサは、一次リンクの第3の測定値が第3の閾値よりも大きいことを判定するように構成されてもよい。第3の閾値は、第2の閾値よりも大きいとともに第1の閾値よりも小さいものであり得る。コンソール、あるいは1つまたは複数のプロセッサは、一次リンクのための第1の候補ビームを特定するように構成されてもよい。コンソール、あるいは1つまたは複数のプロセッサは、候補ビームの障害を決定するように構成されてもよい。コンソール、あるいは1つまたは複数のプロセッサは、一次リンクのための第2の候補ビームの捜索を一時中断するための所定の期間を開始するように構成されてもよい。コンソール、あるいは1つまたは複数のプロセッサは、第3の測定値が第3の閾値よりも大きいことに応答して、二次リンク上のトラフィックを第1の候補ビームを用いて一次リンクへ移行させるように構成されてもよい。
少なくとも1つの態様では、命令を記憶する非一次的なコンピュータ可読媒体が提供される。命令は、1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第1の測定値が第1の閾値よりも小さいことを判定させることができる。第1の測定値は、一次リンクの品質メトリクスに対応することができる。命令は、1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、第1の測定値が第1の閾値よりも小さいことに応答して、コンソールとヘッドウェアラブルディスプレイの間の二次リンクを作動させることができる。命令は、1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第2の測定値が第2の閾値よりも小さいか判定させることができる。第2の閾値は、第1の閾値よりも小さいものであり得る。命令は、1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、第2の測定値が第2の閾値よりも小さいときに、一次リンク上のトラフィックを作動させられた二次リンクへ移行させることができる。
いくつかの実施形態では、命令は、1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、コンソールとヘッドウェアラブルディスプレイの間のトラフィックのタイプに従って、コンソールとヘッドウェアラブルディスプレイの間のトラフィックのための一次リンクまたは二次リンクを選択させることができる。
本明細書に説明される態様のいずれかに含まれるのに適しているとして議論される任意の特徴は、任意の組合せで他の態様のいずれかに含まれるのに適したものにもなることが理解されよう。
これらのおよび他の態様および実施は、以下詳細に議論される。前述の情報および後述の詳細な説明は、様々な態様および実施の例示の例を含み、特許請求された態様および実施の性質および特性を理解する概要またはフレームワークを与える。図面は例示および様々な態様および実施のさらなる理解を与え、本明細書の一部に組み込まれ、および本明細書の一部を構成する。
添付図面は、原寸に比例することは意図されない。様々な図面における同じ参照番号および参照名称は、同じ要素を含む。明確にするために、全ての図面において、全ての構成要素が名付けられ得るのではない。
本開示の一例の実施による人工現実アプリケーションのための一次リンクと二次リンクの間で選択するシステムの一実施形態のブロック図である。 本開示の一例の実施によるヘッドウェアラブルディスプレイの図である。 本開示の一例の実施によるAR/VRアプリケーションのための一次リンクと二次リンクの間で選択するスケジュール間アルゴリズムの図である。 本開示の一例の実施によるリンク品質AR/VRアプリケーションを用いて一次リンクと二次リンクの間で選択するための内部判断ループの図である。 本開示の一例の実施によるAR/VRアプリケーションのための一次リンクと二次リンクの間で選択するプロセスまたは方法を示すフローチャートである。 本開示の一例の実施によるコンピューティング環境のブロック図である。
いくらかの実施形態を詳細に示す図に向かう前に、本開示は、本明細書に記載されまたは図に示された詳細または方法論に限定されないことを理解されたい。本明細書に使用される専門語は、説明のためのものにすぎず、限定とみなされるべきではないことも理解されたい。
本発明の様々な実施形態の説明を以下読むために、本明細書のセクションおよびそれらのそれぞれの内容の以下の説明が役立ち得る。
- セクションAは、AR/VRアプリケーションのための一次リンクと二次リンクの間で選択するためのデバイス、システムおよび方法の実施形態を説明する。
- セクションBは、コンピューティングシステムの実施形態を説明する。
A.AR/VRアプリケーションのための二次リンク
本開示の主題は、人工現実(例えば、AR、VR、複合現実(MR))アプリケーションのための二次リンクに向けられている。いくつかの実施形態では、アプリケーションは、パック(またはコンソール)と対にされるゴーグル/眼鏡(またはヘッドウェアラブルディスプレイ)の無線AR/VR/MR構成に対処しており、伝送は、60GHz無線リンク(例えば、一次リンク)を用いて主にゴーグルとパックの間にある。ひどい遮断(例えば、身体誘導損、偏波ミスマッチによる)を伴う条件下で、60GHzリンクは、失われ得る、またはひどく劣化させられ得る。そのような条件をサポートするために、二次リンクが、あるレベルの最小のカバーをバックアップとして主の60GHzリンクへ与えるように作動させられおよび導入され得る。最小のカバーは、例えば、時間の確認、テキストメッセージまたは電子メールの受信、音声通話の発信/受信、音声案内/制御の実行、オンライン音楽の聴取、天気/株式情報の確認のためのサポートを含み得る。
いくつかの態様では、二次リンクは、高い利用度および信頼性を与え(例えば、あまり多くの視線を必要としない)、十分な範囲(例えば、16m×16m)を与え、常にオン(例えば、スタンバイ)であり得、または迅速にオンにするおよび確立することができるように構成され得る。二次リンクは、低電力、低コストとすることができ、例えば、基本テキストおよび描画、制御コマンド、音響をサポートするために、および応答、音響などを制御するために、良好な待ち時間で中低スループットをサポートすることができる。様々な実施形態では、二次リンクは、Bluetoothクラシック、Bluetoothローエナジー(BLE)、または低電力WiFiを含み得る。伝送レートに基づいて、最適な電力効率を有するオプションが、実施され得る。解決策の一実施形態は、両リンク間でトラフィック帯域幅について限られたまたは許容可能なレベルの競合があると仮定すると、パック上の単一のWiFi/BTチップ/デバイスを共有する一次リンクと二次リンクの両方を伴う。別の実施形態は、二次リンクをサポートするために別個のラジオチップ/デバイスを有することを伴い得、BTは、主のWiFiリンクからの良好な絶縁を確実にするための好ましいオプションである。
いくつかの実施形態では、本明細書に説明されるシステム、デバイス、および方法は、一次および第2のリンクを作動させ、これらのリンク間で切り替えるためのスケジュール間アルゴリズムを含むことができる。一実施形態では、スケジュール間アルゴリズムは、2段階のインターリンク切り替え、および/またはスケジューリングプロセスを含むまたは伴うことができ、これは、リンクが使用ケースに基づいて選ばれまたは決定される外側の(または第1の)判断ループを含み、例えば、(例えば、完全なAR体験をサポートする)完全な使用ケースが要求される場合には一次リンクを選び、最小の使用ケースのみが要求される場合に二次リンクを選ぶ。内側の(または第2の)判断ループでは、インターリンクスケジューリングは、リンク品質に基づくことができる。例えば、一次リンク品質がある閾値未満である場合、システム(ヘッドウェアラブルディスプレイおよび/またはコンソール)は、一次リンク品質がいまだに下がっている場合に二次リンクを持ち上げることができ、ユーザ体験が低下している場合、トラフィックを二次リンクへ移動させることができる。定期的な測定値の取得は、一次リンク上で行うことができ、切り替えは、一次リンクのリンク状態がある許容可能なレベルへ戻る場合に一次リンクへ戻すことで行われ得る。
次に、図1Aを参照すると、AR/VRアプリケーションのための一次リンクと二次リンクの間で選択する一例の人工現実システム100が提供される。簡単な概要では、システム100は、コンソール102と、ヘッドウェアラブルディスプレイ130とを備えることができる。ヘッドウェアラブルディスプレイ130(例えば、ゴーグル、眼鏡、ヘッドマウント式デバイス)は、例えば、ヘッドウェアラブルディスプレイ130のユーザのための少なくとも1つのユーザセッションのために、ヘッドウェアラブルディスプレイ130とコンソール102の間で通信するまたはデータを転送するようにコンソール102(例えば、パック)と対になることができる。ユーザセッションは、ヘッドウェアラブルディスプレイ130を介してのVR体験、AR体験、またはMR体験を含むことができる。コンソール102および/またはヘッドウェアラブルディスプレイ130は、使用のタイプ(例えば、トラフィックのタイプ、トラフィックの優先度)、および/またはコンソール102とヘッドウェアラブルディスプレイ130の間のリンクの品質に一部基づいて、一次リンク108および/または二次リンク110を通して通信するように決定することができる。
いくつかの実施形態では、人工現実システム環境100は、ユーザによって着用されるヘッドウェアラブルディスプレイ130と、人工現実の内容をヘッドウェアラブルディスプレイ130へ与えるコンソール102とを含む。ヘッドウェアラブルディスプレイ130は、ヘッドウェアラブルディスプレイ130のその場所および/または向きを検出し、ヘッドウェアラブルディスプレイ130の検出された場所および/または向きをコンソール102へ与えることができる。コンソール102は、ヘッドウェアラブルディスプレイ130の検出された場所および/または向き、ならびに人工現実のためのユーザ入力に従って人工現実の画像を示す画像データを生成し、提示のためにこの画像データをヘッドウェアラブルディスプレイ130へ送信することができる。いくつかの実施形態では、人工現実システム環境100は、図1Aに示されたものよりも多い、少ない、または異なるコンポーネントを含む。いくつかの実施形態では、人工現実システム環境100の1つまたは複数のコンポーネントの機能性は、ここで説明されるものとは異なるやり方でコンポーネント間で分散されてもよい。例えば、コンソール102の機能性のいくつかは、ヘッドウェアラブルディスプレイ130によって実行され得る。例えば、ヘッドウェアラブルディスプレイ130の機能性のいくつかは、コンソール102によって実行することができる。いくつかの実施形態では、コンソール102は、ヘッドウェアラブルディスプレイ130の部分として一体化される。
人工現実システム100の様々なコンポーネントおよび要素は、図4に示されるおよび続いて説明されるコンピューティング環境のコンポーネントまたは要素上でまたはこれを用いて実施することができる。例えば、コンソール102およびヘッドウェアラブルディスプレイ130は、図4に示されるおよび続いて説明されるコンピューティングシステム414に類似するコンピューティングシステムを含むまたは組み込むことができる。コンソール102およびヘッドウェアラブルディスプレイ130は、1つまたは複数の処理ユニット416、ストレージ418、ネットワークインタフェース420、ユーザ入力デバイス422、および/またはユーザ出力デバイス424を含むことができる。
コンソール102は、コンピューティングシステムまたはWiFiデバイスを含むことができる。いくつかの実施形態では、コンソール102は、例えば、ウェアラブルコンピューティングデバイス(例えば、スマートウォッチ、スマートアイグラス、ヘッドウェアラブルディスプレイ)、スマートフォン、他の携帯電話、デバイス(例えば、消費者デバイス)、デスクトップコンピュータ、ラップトップコンピュータ、仮想現実(VR)パック、VRパーソナルコンピュータ(PC)、VRコンピューティングデバイス、ヘッドマウント式デバイスとして実施されてもよく、または分散型コンピューティングデバイスで実施されてもよい。コンソール102は、VR、拡張現実(AR)、および/または複合現実(MR)体験を与えるように実施することができる。いくつかの実施形態では、コンソール102は、プロセッサ104、ストレージデバイス106、ネットワークインタフェース、ユーザ入力デバイス、および/またはユーザ出力デバイスなどの従来の専用またはカスタムのコンピュータコンポーネントを含むことができる。実施形態では、コンソール102は、図4に示されるおよび続いて説明されるデバイスのいくつかの要素を含むことができる。
ヘッドウェアラブルディスプレイ130は、コンピューティングシステムまたはWiFiデバイスを備えることができる。ヘッドウェアラブルディスプレイ(HWD)は、ヘッドマウント式ディスプレイ(HMD)、ヘッドマウント式デバイス(HMD)、ヘッドウェアラブルデバイス(HWD)、ヘッド着用型ディスプレイ(HWD)、またはヘッド着用型デバイス(HWD)と呼ばれ得る、それを含み得る、またはその一部であり得る。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130は、例えば、ウェアラブルコンピューティングデバイス(例えば、スマートウォッチ、スマートアイグラス、ヘッドウェアラブルディスプレイ)、スマートフォン、他の携帯電話、デバイス(例えば、消費者デバイス)、デスクトップコンピュータ、ラップトップコンピュータ、仮想現実(VR)パック、VRパーソナルコンピュータ(PC)、VRコンピューティングデバイス、ヘッドマウント式デバイスとして実施することができ、または分散型コンピューティングデバイスで実施することができる。ヘッドウェアラブルディスプレイ130は、VR、拡張現実(AR)、および/または複合現実(MR)体験をヘッドウェアラブルディスプレイ130の(例えば、ディスプレイを着用する)ユーザへ与えるように実施することができる。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130は、プロセッサ104、ストレージデバイス106、ネットワークインタフェース、ユーザ入力デバイス、および/またはユーザ出力デバイスなどの従来の専用またはカスタムのコンピュータコンポーネントを含むことができる。実施形態では、ヘッドウェアラブルディスプレイ130は、図4に示されたおよび続いて説明されるデバイスのいくつかの要素を含むことができる。
コンソール102およびヘッドウェアラブルディスプレイ130は、1つまたは複数のプロセッサ104を備えることができる。1つまたは複数のプロセッサ104は、コンソール102および/またはヘッドウェアラブルディスプレイ130のための入力データを前処理する、ならびに/あるいはコンソール102および/またはヘッドウェアラブルディスプレイ130のための出力データを後処理する任意の論理、回路、および/または処理コンポーネント(例えば、マイクロプロセッサ)を備えることができる。1つまたは複数のプロセッサ104は、コンソール102および/またはヘッドウェアラブルディスプレイ130の1つまたは複数の動作を構成、制御、および/または管理するための論理、回路、処理コンポーネント、および/または機能性を与えることができる。例えば、プロセッサ104は、限定するものではないが、コンソール102とヘッドウェアラブルディスプレイ130の間の一次リンク108および/または二次リンク110の1つまたは複数の測定値112を含むデータおよびメトリクスを受信することができる。
コンソール102およびヘッドウェアラブルディスプレイ130は、ストレージデバイス106を備えることができる。ストレージデバイス106は、コンソール102およびヘッドウェアラブルディスプレイ130に関連した任意のタイプまたは形態のデータを記憶、保持、または維持するように設計または実施され得る。例えば、コンソール102およびヘッドウェアラブルディスプレイ130は、1つまたは複数の測定値112、閾値120、および品質メトリクス124を記憶することができる。ストレージデバイス106は、コンソール102の内部のスタティックランダムアクセスメモリ(SRAM)または内部SRAMを含むことができる。実施形態では、ストレージデバイス106は、コンソール102の集積回路内に含まれ得る。ストレージデバイス106は、メモリ(例えば、メモリ、メモリユニット、ストレージデバイスなど)を含み得る。メモリは、本開示に説明される様々なプロセス、層、およびモジュールを完成するまたは容易にするためにデータおよび/またはコンピュータコードを記憶する1つまたは複数のデバイス(例えば、RAM、ROM、フラッシュメモリ、ハードディスクストレージなど)を含むことができる。メモリは、揮発性メモリまたは不揮発性メモリであってもまたは含んでもよく、データベースコンポーネント、オブジェクトコードコンポーネント、スクリプトコンポーネント、または本開示に説明される様々な活動および情報構造をサポートする任意の他のタイプの情報構造を含むことができる。一例の実施形態によれば、メモリは、処理回路を介してプロセッサ104に通信可能に接続され、本明細書に説明される1つまたは複数のプロセスまたは方法(例えば、方法300)を(例えば、処理回路および/またはプロセッサによって)実行するコンピュータコードを含む。
コンソール102は、1つまたは複数の一次リンク108をヘッドウェアラブルディスプレイ130に確立することができる。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130は、1つまたは複数の一次リンク108をコンソール102に確立することができる。一次リンク108は、コンソール102とヘッドウェアラブルディスプレイ130の間に確立された接続(例えば、無線接続)、セッション(例えば、ユーザおよび/またはアプリケーションセッション)、および/またはチャンネルを含むことができる。一次リンク108は、大容量、少ない待ち時間、およびコンソール102とヘッドウェアラブルディスプレイ130の間に確立された省電力接続を含むことができる。いくつかの実施形態では、一次リンクは、限定するものではないが、30GHzから100GHzまでの範囲のミリ波スペクトルまたは周波数を用いるリンクを含むことができる。いくつかの実施形態では、一次リンク108は、限定するものではないが、60GHz周波数接続(例えば、60GHz WiFi,IEEE 802.11ay/ad)を含むことができる。一次リンク108は、ヘッドウェアラブルディスプレイ130のユーザのための完全なVR体験、AR体験、またはMR体験を与えるまたはサポートするために使用され得る。
コンソール102は、1つまたは複数の二次リンク110をヘッドウェアラブルディスプレイ130へ確立することができる。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130は、1つまたは複数の二次リンク110をコンソール102へ確立することができる。二次リンク110は、コンソール102とヘッドウェアラブルディスプレイ130の間に確立された接続(例えば、無線接続)、セッション、および/またはチャンネルを含むことができる。二次リンク110は、コンソール102とヘッドウェアラブルディスプレイ130の間に確立された高利用度、高信頼性、および/または低消費電力接続を含むことができる。いくつかの実施形態では、二次リンク110は、十分な範囲(例えば、16mx16m)を与えるように構成することができ、(例えば、少なくともスタンバイモードにおいて)常にオンであってもよく、または迅速にオンにされて確立することができる。二次リンク110は、良好な待ち時間で中低スループットをサポートするように構成されてもよい。例えば、二次リンク110は、限定するものではないが、時間の確認、テキストメッセージまたは電子メールの受信、音声通話の発信/受信、音声案内/制御の実行、オンライン音楽の聴取、天気/株式情報の確認などの最小使用ケースをサポートするように作動させられ得るまたはサポートするように使用され得る。
二次リンク110は、限定するものではないが、Bluetooth(BT)、Bluetoothローエナジー(BLE)、および/または低電力WiFiを含む近距離無線通信技術の異なる形態を用いて確立することができる。いくつかの実施形態では、二次リンク110は、コンソール102とヘッドウェアラブルディスプレイ130の間の接続またはチャンネルの特性に一部基づいている。例えば、二次リンク110は、1メガビット毎秒(Mbps)から2Mbpsの範囲内の接続速度についてのBTを用いて確立することができる。二次リンク110は、2Mbpsから10Mbpsの範囲内の接続速度についての低電力WiFiを用いて確立することができる。いくつかの実施形態では、二次リンク110は、24Mbps以上で接続速度についての802.11ax規格を用いて確立することができる。
コンソール102および/またはヘッドウェアラブルディスプレイ130は、リンク(例えば、ステータス、品質、トラフィックのレベル)の様々な特徴または特性を決定するために、一次リンク108および/または二次リンク110上で測定値112の取得を行うまたは実行することができる。測定値112は、ステータス測定(例えば、オン、オフ、作動)、それぞれのリンクの利用度、接続速度、信号対ノイズ比、待ち時間値、消費電力値、および/またはそれぞれのリンクの信頼性を含むことができる。いくつかの実施形態では、測定値112は、それぞれのリンクの品質測定値を含むことができる。例えば、コンソール102および/またはヘッドウェアラブルディスプレイ130は、一次リンク108および/または二次リンク110についての1つまたは複数の品質メトリクス124を判定するために一次リンク108および/または二次リンク110上の測定値112の取得を行うまたは実行することができる。品質メトリクス124は、それぞれのリンクの品質が特定の閾値120よりも大きいか判定するために一次リンク108および/または二次リンク110の信号対ノイズ比および/または変調および符号化スキーム(MCS)値を含むことができる。
コンソール102および/またはヘッドウェアラブルディスプレイ130は、リンクが特定の使用のタイプをサポートすることができるか判定する、および/またはリンクの品質を検証するために、1つまたは複数の閾値120を生成または確立することができる。例えば、いくつかの実施形態では、一次リンクの測定値112が閾値120よりも小さいことに応答して、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックは、一次リンク108から二次リンク110へ移行させられ得る。いくつかの実施形態では、一次リンクの測定値112が閾値120よりも大きいことに応答して、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックは、二次リンク110から一次リンク108へ移行させることができる。閾値120は、それぞれのリンクが1つまたは複数の異なるタイプのサービスの使用またはレベルをヘッドウェアラブルディスプレイ130のユーザへ与えるまたはサポートすることができるか判定するために一次リンク108または二次リンク110の異なる品質メトリクス(例えば、信号対ノイズ比値)を含むまたはこれに対応することができる。コンソール102および/またはヘッドウェアラブルディスプレイ130は、単一の閾値120または複数の閾値120を生成するまたは確立することができる。
コンソール102および/またはヘッドウェアラブルディスプレイ130は、1つまたは複数のインターバル122を生成または確立することができる。インターバル122は、一次リンク108および/または二次リンク110の測定値112の取得を行うまたは実行するために特定の時間期間を含むまたはこれに対応することができる。インターバル122は、時間期間、時間範囲、および/または時間値を含むことができる。いくつかの実施形態では、インターバル122は、異なる測定値112の取得間の時間または継続期間の長さを含むまたはこれに対応することができ、インターバルは、異なる時間値を有することができる。例えば、第1の決定されたインターバル122は、第2の決定されたインターバル122とは異なり得る(例えば、より短い時間期間、より長い時間期間)。
一次リンク108および/または二次リンク110は、コンソール102とヘッドウェアラブルディスプレイ130の間の通信経路(例えば、伝送経路、信号経路)に対応する1つまたは複数のビーム114(例えば、候補ビーム114)を含むことができる。いくつかの実施形態では、コンソール102および/またはヘッドウェアラブルディスプレイ130は、コンソール102および/またはヘッドウェアラブルディスプレイ130の間の一次リンク108または二次リンク110をサポートするために、複数の利用可能なビーム114から少なくとも1つのビーム114または候補ビーム114を選択することができる。いくつかの実施形態では、コンソール102および/またはヘッドウェアラブルディスプレイ130は、コンソール102および/またはヘッドウェアラブルディスプレイ130間の一次リンク108または二次リンク110をサポートするために、少なくとも1つのビーム114または候補ビーム114を選択するように形成するビームを実行または使用することができる。
コンソール102は、一次リンク108および二次リンク110をサポートするために1つまたは複数のチップ116を含むことができる。チップ116は、一次リンク108および二次リンク110をサポートするために、限定するものではないが、コンソール102内に埋め込まれるまたは配設される集積回路または高周波集積回路を備えることができる。いくつかの実施形態では、一次リンク108および二次リンク110は、単一のチップ116の機能性および/またはプロセスを共有することができる。例えば、一実施形態では、コンソール102は、それぞれ一次リンク108および二次リンク110のためのコンソール102におけるWiFi接続およびBT接続をサポートするように構成される第1のチップ116を備えることができる。第1のチップは、コンソール102からインターネットリンクおよび二次リンク110(例えば、イントラリンク接続)をサポートすることができる。いくつかの実施形態では、コンソール102は、一次リンク108をサポートする第1のチップ116と、二次リンク110をサポートする第2の異なるチップ116とを含むことができる。例えば、コンソール102は、一次リンク108のためのWiFi接続をサポートするように構成される第1のチップ116と、二次リンク110のためのBT接続をサポートする第2のチップ116とを含むことができる。
いくつかの実施形態では、ヘッドウェアラブルディスプレイ130は、ユーザによって着用できる電子コンポーネントであり、人工現実体験をユーザに提示するまたは与えることができる。ヘッドウェアラブルディスプレイ130は、人工現実体験をユーザに与えるために1つまたは複数の画像、動画、音響、またはそれらのいくつかの組合せを描画することができる。いくつかの実施形態では、音響は、ヘッドウェアラブルディスプレイ130、コンソール102、または両方から音響情報を受信し、音響情報に基づいて提示する外部デバイス(例えば、スピーカおよび/またはヘッドフォン)を介して提示される。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130は、センサ142、アイトラッカ144、ハンドトラッカ146、通信インタフェース148、画像レンダラ150、電子ディスプレイ152、レンズ154、および補償器156を備える。これらのコンポーネントは、ヘッドウェアラブルディスプレイ130の場所、およびヘッドウェアラブルディスプレイ130を着用するユーザの凝視方向を検出し、ヘッドウェアラブルディスプレイ130の検出された場所および/または向きに対応する人工現実内に視野画像を描画するように一緒に動作することができる。他の実施形態では、ヘッドウェアラブルディスプレイ130は、図1Aに示されたものより多い、より少ない、異なるコンポーネントを含む。
いくつかの実施形態では、センサ142は、ヘッドウェアラブルディスプレイ130の場所および向きを検出する電子コンポーネント、または電子コンポーネントとソフトウェアコンポーネントの組合せを含む。センサ142の例は、1つまたは複数の画像センサ、1つまたは複数の加速度計、1つまたは複数のジャイロスコープ、1つまたは複数の磁力計、あるいは動きおよび/または場所を検出する別の適切なタイプのセンサを含み得る。例えば、1つまたは複数の加速度計は、並進運動(例えば、前後、上下、左右)を測定することができ、1つまたは複数のジャイロスコープは、回転運動(例えば、ピッチ、ヨー、ロール)を測定することができる。いくつかの実施形態では、センサ142は、並進運動および回転運動を検出し、ヘッドウェアラブルディスプレイ130の向きおよび場所を決定する。一態様では、センサ142は、ヘッドウェアラブルディスプレイ130の先の向きおよび場所に対して並進運動および回転運動を検出し、検出された並進運動および/または回転運動を累積および積分することによってヘッドウェアラブルディスプレイ130の新しい向きおよび/または場所を決定することができる。一例についてヘッドウェアラブルディスプレイ130が、基準方向から25度の方向に向けられていると仮定すると、ヘッドウェアラブルディスプレイ130が20度回転したことを検出することに応答して、センサ142は、現在ヘッドウェアラブルディスプレイ130が基準方向から45度の方向に向いているまたは向けられていることを決定することができる。別の例についてヘッドウェアラブルディスプレイ130が基準点から第1の方向に2フィート離れて位置したと仮定すると、ヘッドウェアラブルディスプレイ130が第2の方向に3フィート移動したと検出することに応答して、センサ142は、現在ヘッドウェアラブルディスプレイ130が第1の方向に2フィートおよび第2の方向に3フィートのベクトル積で位置すると決定することができる。
いくつかの実施形態では、アイトラッカ144は、ヘッドウェアラブルディスプレイ130のユーザの凝視方向を決定する電子コンポーネント、または電子コンポーネントとソフトウェアコンポーネントの組合せを含む。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130、コンソール102、またはそれらの組合せは、ヘッドウェアラブルディスプレイ130のユーザの凝視方向を組み込んで、人工現実のために画像データを生成することができる。いくつかの実施形態では、アイトラッカ144は、2つのアイトラッカを含み、各アイトラッカ144は、対応する目の画像を取り込み、目の凝視方向を決定する。一例では、アイトラッカ144は、取り込まれた目の画像に従って目の角回転、目の並進、目のねじれの変化、および/または目の形状の変化を決定し、決定された角回転、目の並進、およびねじれの変化に従ってヘッドウェアラブルディスプレイ130に対して相対的な凝視方向を決定する。一手法では、アイトラッカ144は、所定の基準または構造パターンを目の一部に照らしまたは投影し、目の画像を取り込んで目の一部に投影されるパターンを解析し、それによってヘッドウェアラブルディスプレイ130に対する目の相対的な凝視方向を決定することができる。いくつかの実施形態では、アイトラッカ144は、ヘッドウェアラブルディスプレイ130の向き、およびヘッドウェアラブルディスプレイ130に対する相対的な凝視方向を組み込んで、ユーザのゲート方向を決定する。一例についてヘッドウェアラブルディスプレイ130が基準方向から30度の方向で向けられ、ヘッドウェアラブルディスプレイ130の相対的な凝視方向がヘッドウェアラブルディスプレイ130に対して-10度(または350度)であると仮定すると、アイトラッカ144は、ユーザの凝視方向は基準方向から20度であると決定することができる。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130のユーザは、アイトラッカ144を可能または無効にするように(例えば、ユーザ設定を介して)ヘッドウェアラブルディスプレイ130を構成することができる。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130のユーザは、アイトラッカ144を可能にするまたは無効にするように促される。
いくつかの実施形態では、ハンドトラッカ146は、ユーザの手を追跡する電子コンポーネント、または電子コンポーネントとソフトウェアコンポーネントの組合せを含む。いくつかの実施形態では、ハンドトラッカ146は、手の形状、場所、および向きを検出することができる画像センサ(例えば、カメラ)および画像プロセッサを備える、またはこれらに結合される。ハンドトラッカ146は、手の検出された形状、場所、および向きを示すハンドトラッキング測定値を生成することができる。
いくつかの実施形態では、通信インタフェース148は、コンソール102と通信する電子コンポーネント、または電子コンポーネントとソフトウェアコンポーネントの組合せを含む。通信インタフェース148は、通信リンクを通ってコンソール102の通信インタフェース118と通信することができる。通信リンクは、無線リンクであり得る。無線リンクの例は、セルラー通信リンク、近距離無線通信リンク、Wi-Fi、Bluetooth、60GHz無線リンク、または任意の通信無線通信リンクを含むことができる。通信リンクを通して、通信インタフェース148は、ヘッドウェアラブルディスプレイ130の決定された場所および/または向き、ユーザの決定された凝視方向、ならびに/あるいはハンドトラッキング測定値を示すデータをコンソール102へ送信することができる。また、通信リンクを通して、通信インタフェース148は、描画される画像を示すまたは対応する画像データ、およびこの画像に関連した追加のデータをコンソール102から受信することができる。
いくつかの実施形態では、画像レンダラ150は、例えば、人工現実の空間のビューの変化に従って、ディスプレイのための1つまたは複数の画像を生成する電子コンポーネント、または電子コンポーネントとソフトウェアコンポーネントの組合せを含む。いくつかの実施形態では、画像レンダラ150は、本明細書に説明される様々な機能を実行するように命令を実行するプロセッサ(またはグラフィカル処理ユニット(GPU))として実施される。画像レンダラ150は、通信インタフェース148を通して、描画される人工現実の画像を記述する画像データ、およびこの画像に関連した追加のデータを受信し、電子ディスプレイ152を通して画像を描画することができる。いくつかの実施形態では、コンソール102からの画像データは符号化することができ、画像レンダラ150は、画像データを復号して画像を描画することができる。いくつかの実施形態では、画像レンダラ150は、追加のデータにおいてコンソール102から、人工現実空間内の仮想オブジェクトを示すオブジェクト情報とともに、仮想オブジェクトの深さ(またはヘッドウェアラブルディスプレイ130からの距離)を示す深さ情報を受信する。一態様では、人工現実の画像、オブジェクト情報、コンソール102からの深さ情報、および/またはセンサ142からの更新されたセンサ測定値に従って、画像レンダラ150は、陰影付け、再投影、および/または混合を実行することができて、ヘッドウェアラブルディスプレイ130の更新された場所および/または向きに対応するように人工現実の画像を更新する。更新されたセンサ測定値に応答する全体画像の再現ではなく、最初のセンサ測定値後に、ユーザがユーザの手を回転させたことを仮定すると、画像レンダラ150は、更新されたセンサ測定値に従って人工現実内の更新されたビューに対応する画像の小さい部分(例えば、10%)を生成し、この部分をコンソール102から再投影を通して画像データ内の画像に付加することができる。画像レンダラ150は、付加されエッジ上で陰影付けおよび/または混合を実行することができる。したがって、更新されたセンサ測定値に従って人工現実の画像を再現することなく、画像レンダラ150は、人工現実の画像を生成することができる。いくつかの実施形態では、画像レンダラ150は、ユーザの手に対応する手のモデルの形状、場所、および向きを示す手のモデルデータを受信し、人工現実の画像上に手のモデルを重畳する。そのような手のモデルは、ユーザが人工現実内で様々な相互作用を与えることを可能にするために視覚的なフィードバックとして提示することができる。
いくつかの実施形態では、電子ディスプレイ152は、画像を表示する電子コンポーネントである。電子ディスプレイ152は、例えば、液晶ディスプレイまたは有機発光ダイオードディスプレイであり得る。電子ディスプレイ152は、ユーザが透かし見ることを可能にする透明なディスプレイであり得る。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130がユーザにより着用されるとき、電子ディスプレイ152は、ユーザの目のすぐ近く(例えば、3インチ未満)に位置する。一態様では、電子ディスプレイ152は、画像レンダラ150により生成される画像に従ってユーザの目に向けて光を放出または投影する。
いくつかの実施形態では、レンズ154は、電子ディスプレイ152から受信した光を変える機械コンポーネントである。レンズ154は、電子ディスプレイ152からの光を拡大し、光に関連した光学誤差を訂正することができる。レンズ154は、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または電子ディスプレイ152からの光を変える任意の適切な光学コンポーネントであり得る。レンズ154を通って、電子ディスプレイ152からの光は、瞳孔に到達することができ、ユーザは、電子ディスプレイ152と目が近接しているにも関わらず、電子ディスプレイ152によって表示される画像を見ることができるようになる。
いくつかの実施形態では、補償器156は、任意の歪みまたは収差を補償するために補償を行う電子コンポーネント、または電子コンポーネントとソフトウェアコンポーネントの組合せを含む。一態様では、レンズ154は、色収差、糸巻形歪み、樽型歪み等などの光学収差を導入する。補償器156は、レンズ154によって引き起こされる歪みを補償するために画像レンダラ150により描画される画像に適用する補償(例えば、プレディストーション)を決定して、決定された補償を画像レンダラ150による画像に適用することができる。補償器156は、プレディストーションされた画像を電子ディスプレイ152に与えることができる。
いくつかの実施形態では、コンソール102は、ヘッドウェアラブルディスプレイ130へ描画さえる内容を与える電子コンポーネント、または電子コンポーネントとソフトウェアコンポーネントの組合せである。一態様では、コンソール102は、通信インタフェース118、およびコンテンツプロバイダ128を含む。これらのコンポーネントは、ヘッドウェアラブルディスプレイ130の場所に対応する人工現実のビュー(例えば、ユーザのFOV)、およびヘッドウェアラブルディスプレイ130のユーザの凝視方向を決定するように共に働くことができ、決定されたビューに対応する人工現実の画像を示す画像データを生成することができる。加えて、これらのコンポーネントは、この画像に関連した追加のデータを生成するように共に働くことができる。追加のデータは、人工現実の画像以外の人工現実を提示または描画することに関連した情報であり得る。追加のデータの例には、手のモデルデータ、物理空間中のヘッドウェアラブルディスプレイ130の場所および向きを仮想空間に変換するためのマッピング情報(また自己位置推定と地図作成の同時実行(SLAM:Simultaneous Localization And Mapping)のデータ)、動きベクトル情報、深さ情報、エッジ情報、オブジェクト情報などが含まれる。コンソール102は、人工現実の提示のために画像データおよび追加のデータをヘッドウェアラブルディスプレイ130へ与えることができる。他の実施形態では、コンソール102は、図1Aに示されたものよりもより多い、より少ない、異なるコンポーネントを含む。いくつかの実施形態では、コンソール102は、ヘッドウェアラブルディスプレイ130の一部として統合される。
いくつかの実施形態では、通信インタフェース118は、ヘッドウェアラブルディスプレイ130と通信する電子コンポーネント、または電子コンポーネントとソフトウェアコンポーネントの組合せである。通信インタフェース118は、通信リンク(例えば、無線リンク)を通してコンソール102の通信インタフェース118と通信する通信インタフェース148の相手方コンポーネントであり得る。通信リンクを通して、通信インタフェース118は、ヘッドウェアラブルディスプレイ130の決定された場所および/または向き、ユーザの決定された凝視方向、ならびにハンドトラッキング測定値を指し示すデータをヘッドウェアラブルディスプレイ130から受信することができる。また、通信リンクを通して、通信インタフェース118は、描画される画像を記述するヘッドウェアラブルディスプレイ130の画像データ、および人工現実の画像に関連した追加のデータを送信することができる。
コンテンツプロバイダ128は、ヘッドウェアラブルディスプレイ130の場所および/または向きに従って描画される内容を生成するコンポーネントを含むまたはこれに対応することができる。いくつかの実施形態では、コンテンツプロバイダ128は、描画される内容を生成するためにハンドトラッキング測定値に基づいて、ヘッドウェアラブルディスプレイ130のユーザの凝視方向、および人工現実におけるユーザ相互作用を組み込むことができる。一態様では、コンテンツプロバイダ128は、ヘッドウェアラブルディスプレイ130の場所および/または向きに従って人工現実のビューを決定する。例えば、コンテンツプロバイダ128は、物理空間中のヘッドウェアラブルディスプレイ130の場所を人工現実空間中の場所へマップし、人工現実空間中のマップされた場所からマップされた向きに対応する方向に沿って人工現実空間のビューを決定する。コンテンツプロバイダ128は、人工現実空間の決定されたビューの画像を記述する画像データを生成し、通信インタフェース118を通してこの画像データをヘッドウェアラブルディスプレイ130へ送信することができる。コンテンツプロバイダ128は、ハンドトラッキング測定値に従ってヘッドウェアラブルディスプレイ130のユーザの手に対応する手のモデルを生成し、人工現実空間内の手のモデルの形状、場所、および向きを指し示す手のモデルデータを生成することもできる。いくつかの実施形態では、コンテンツプロバイダ128は、画像に関連した動きベクトル情報、深さ情報、エッジ情報、オブジェクト情報、手のモデルデータなどを含む追加のデータを生成し、通信インタフェース118を通して追加のデータを画像データと共にヘッドウェアラブルディスプレイ130へ送信することができる。コンテンツプロバイダ128は、画像を説明する画像データを符号化することができ、符号化されたデータをヘッドウェアラブルディスプレイ130へ送信することができる。いくつかの実施形態では、コンテンツプロバイダ128は、定期的に(例えば、11msごとに)画像データを生成し、ヘッドウェアラブルディスプレイ130へ与える。一態様では、図2Aから図4に関して以下説明されるように、通信インタフェース118は、追加のデータをヘッドウェアラブルディスプレイ130へ適応的に送信することができる。
図1Bは、一例の実施形態によるヘッドウェアラブルディスプレイ130の図160である。いくつかの実施形態では、ヘッドウェアラブルディスプレイ130は、前部硬質体162およびバンド164を含む。前部硬質体162は、電子ディスプレイ152(図1Bに図示せず)、レンズ154(図1Bに図示せず)、センサ142、アイトラッカ144A、144B、通信インタフェース148、および画像レンダラ150を含む。図1Bにより示される実施形態では、通信インタフェース148、画像レンダラ150、およびセンサ142は、前部硬質体162内に位置し、ユーザに見えない可能性がある。他の実施形態では、ヘッドウェアラブルディスプレイ130は、図1Bに示されたものとは異なる構成を有する。例えば、通信インタフェース148、画像レンダラ150、アイトラッカ144A、144B、および/またはセンサ142は、図1Bに示されたのとは異なる場所にあってもよい。
次に図2Aを参照すると、スケジュール間アルゴリズム126の図200が示されている。コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間のセッションのために一次リンク108を使用するのかまたは二次リンク110を使用するのか判定するためのスケジュール間アルゴリズム126を含むまたは実行することができる。コンソール102は、一次リンク108のリンク品質に応答して、作動させるのか、および/または一次リンク108と二次リンク110の間で切り替えるのか判定するためのスケジュール間アルゴリズム126を含むまたは実行することができる。
スケジュール間アルゴリズム126は、外側/第1の判断ループ202および内側/第2の判断ループ204を有する2段階のインターリンク切り替えおよびスケジューリングプロセスを含むことができる。例えば、外側/第1の判断ループ202は、使用ケースまたは使用のタイプに一部基づいて一次リンク108と二次リンク110の間で判定を行うことができる。一実施形態では、コンソール102は、スケジュール間アルゴリズム126の外側判断ループ202を実行して、完全なAR体験のために一次リンク108を選択し、最小使用ケースのために二次リンク110を選択することができる。内部判断ループ204は、一次リンク108のリンク品質(例えば、信号対ノイズ比レベル)に一部基づいて、例えば、使用するまたは切り替えるリンクに関して、一次リンク108と二次リンク110の間で判定を行うことができる。一実施形態では、コンソール102は、一次リンク108のリンク品質を示す一次リンク108の1つまたは複数の測定値に応答して、二次リンク110を作動させるか、および/またはトラフィックを一次リンク108から二次リンク110へ移行させるか判定するスケジュール間アルゴリズム126の内部判断ループ204を実行することができる。
次に図2Bを参照すると、スケジュール間アルゴリズム126の内部判断ループ204の一例の実施形態中に使用される複数の閾値の図250が示されている。いくつかの実施形態では、内部判断ループ204は、一次リンク108の品質を監視および検証するために複数の閾値120(例えば、品質閾値、信号対ノイズ比閾値)を使用または適用することができる。コンソール102は、一次リンク108の1つまたは複数の測定値112に基づくおよび/またはこれを含む命令またはメッセージをスケジュール間アルゴリズム126へ与えるまたは通信することによって内部判断ループ204を実行することができる。いくつかの実施形態では、スケジュール間アルゴリズム126は、一次リンク108が、1つまたは複数の閾値120を一次リンク108の測定値112に適用することによってコンソール102とヘッドウェアラブルディスプレイ130の間の現在のセッションをサポートすることができるか、判定することができる。
いくつかの実施形態では、内部判断ループ204は、4つの閾値120を含むことができる。例えば、内部判断ループ204は、第1の閾値120(C1)、第2の閾値120(C2)、第3の閾値120(C3)、および第4の閾値120(C4)を含むことができる。いくつかの実施形態では、第1の閾値120aは、第2の閾値120および第3の閾値120よりも大きいならびに第4の閾値120よりも小さい品質メトリクスまたは値/レベルに対応することができる。コンソール102は、二次リンク110を作動させるか、または二次リンク110を作動させないか判定するために、一次リンク108の第1の測定値112を第1の時間期間における第1の閾値120と比較することができる。第2の閾値120は、第1の閾値120、第3の閾値120、および第4の閾値120よりも小さい品質メトリクスに対応することができる。コンソール102は、トラフィックを一次リンク108から二次リンク110へ移行させるかまたは移行させないか判定するために、一次リンク108の第2の測定値112を第2の時間期間における第2の閾値120と比較することができる。第3の閾値120は、第2の閾値120よりも大きいならびに第1の閾値120および第4の閾値120よりも小さい品質メトリクスに対応することができる。コンソール102は、トラフィックを二次リンク110から一次リンク108へ移行させるかまたは移行させないか判定するために、一次リンク108の第3の測定値112を第3の時間期間における第3の閾値120と比較することができる。第4の閾値120は、第1の閾値120、第2の閾値120、および第3の閾値120よりも大きい品質メトリクスに対応することができる。コンソール102は、全てのトラフィックを一次リンク108へ移行させるかまたは移行させない、および/または二次リンク110を停止させるかまたは停止させないかを判定するために、一次リンク108の第4の測定値112を第4の時間期間における第4の閾値120に比較することができる。いくつかの実施形態では、内部判断ループ204の閾値120の数は変わり得る。例えば、内部判断ループ204は、4つよりも少ない閾値120、または4つよりも多くの閾値120を含むことができる。
次に図3A~図3Eを参照すると、AR/VRアプリケーションのための二次リンクについての方法300が示されている。簡単な概要では、方法300は、一次リンクを確立すること(302)、使用のタイプを決定すること(304)、リンクのタイプを選択すること(306)、リンクの測定値の取得を実行すること(310)、測定値を第1の閾値と比較すること(312)、一次リンク上のトラフィックを維持すること(314)、二次リンクを作動させること(316)、リンクの測定値の取得を実行すること(318)、測定値を第2の閾値と比較すること(320)、一次リンク上のトラフィックを維持すること(322)、トラフィックを二次リンクへ移行させること(324)、定期的な測定値の取得を実行すること(326)、測定値を第3の閾値と比較すること(328)、二次リンク上のトラフィックを維持すること(330)、決定されたインターバルで測定値の取得を実行すること(332)、候補ビームを特定すること(334)、決定された時間期間を待つこと(336)、リンクの測定値の取得を実行すること(338)、測定値を第4の閾値と比較すること(340)、一次リンク上のトラフィックを維持すること(342)、トラフィックを一次リンクへ移行させること(344)、および二次リンクを停止させること(346)のうちの1つまたは複数を含むことができる。前述の動作のいずれかは、本明細書に説明されるコンポーネントまたはデバイス、例えば、コンソール102および/またはヘッドウェアラブルディスプレイ130のうちのいずれか1つまたは複数によって実行することができる。
302を参照すると、いくつかの実施形態では、一次リンク108は、コンソール102とヘッドウェアラブルディスプレイ130の間に確立することができる。一次リンク108は、例えば、VR、AR、MR体験の少なくとも1つをヘッドウェアラブルディスプレイ130のユーザへ与えるために、コンソール102またはヘッドウェアラブルディスプレイ130によって確立することができる。一次リンク108は、コンソール102とヘッドウェアラブルディスプレイ130の間に確立される1つまたは複数の接続、セッション、またはチャンネルを含むことができる。一次リンク108は、限定するものではないが、コンソール102とヘッドウェアラブルディスプレイ130の間の60GHz周波数接続(例えば、60GHz WiFi,IEEE 802.11ay/ad)を含むことができる。
304を参照すると、いくつかの実施形態では、使用のタイプが決定され得る。コンソール102および/またはヘッドウェアラブルディスプレイ130は、コンソール102とヘッドウェアラブルディスプレイ130の間のリンクについての使用のタイプを決定することができる。例えば、コンソール102は、送信される内容のタイプ、トラフィックのタイプ、使用ケース、および/またはユーザへ与えられるVR/AR体験のタイプを決定することができる。コンソール102および/またはヘッドウェアラブルディスプレイ130は、コンソール102とヘッドウェアラブルディスプレイ130の間の一次リンク108および/または二次リンク110の特性を収集することができる。コンソール102および/またはヘッドウェアラブルディスプレイ130は、ヘッドウェアラブルディスプレイ130のユーザの特徴を収集することができる。いくつかの実施形態では、コンソール102および/またはヘッドウェアラブルディスプレイ130は、特定の使用のタイプまたはVR/AR体験のタイプを要求するユーザから入力を受信することができる。例えば、ユーザは、完全なVR/AR体験またはアプリケーションを要求することができ、あるいはユーザは、限られた使用のタイプ(例えば、メッセージの送信、時間の確認、音声通話の発信/受信)を要求することができる。
306を参照すると、いくつかの実施形態では、リンクが選択され得る。コンソール102は、例えば、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックのタイプに従って、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックのために一次リンク108または二次リンク110を選択することができる。いくつかの実施形態では、使用のタイプまたはトラフィックが完全なVR/AR体験に対応する、または完全なVR/AR体験を含む場合、一次リンク108は、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックを実行するように選択され得る。使用のタイプまたはトラフィックが最小使用、部分的なVR/AR体験、または完全でないVR/AR体験に対応する、またはこれを含む場合、二次リンク110は、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックを実行するように選択され得る。いくつかの実施形態では、コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィック(例えば、データ、情報)を送信するために一次リンク108を使用するか、または二次リンク110を使用する判定するスケジュール間アルゴリズム126を実行することができる。例えば、コンソール102および/またはヘッドウェアラブルディスプレイ130は、1つまたは複数の入力(例えば、使用のタイプ、ユーザ、トラフィックのタイプ)をスケジュール間アルゴリズムへ与えることができ、特定の使用のタイプおよび/またはトラフィックのタイプについて一次リンク108を使用するかまたは二次リンク110を使用するか決定するためにスケジュール間アルゴリズムを実行することができる。例えば、いくつかの実施形態では、方法300の302および304は、スケジュール間アルゴリズム126の外側/第1の判断ループ202に対応することができ、方法300の31-348は、スケジュール間アルゴリズム126の内側/第2の判断ループ204に対応することができる。
コンソール102および/またはヘッドウェアラブルディスプレイ130は、1つまたは複数の入力(例えば、使用のタイプ、ユーザ、トラフィックのタイプ)をスケジュール間アルゴリズム126の外側判断ループ202へ与えることができ、特定の使用のタイプについて一次リンク108を使用するのかまたは二次リンク110を使用するのか決定するためにスケジュール間アルゴリズム126を実行することができる。コンソール102および/またはヘッドウェアラブルディスプレイ130は、1つまたは複数の入力(例えば、使用のタイプ、ユーザ、トラフィックのタイプ)をスケジュール間アルゴリズム126の内側/第2の判断ループ204へ与え、一次リンク108のリンク品質に一部基づいて一次リンク108を使用するのかまたは二次リンク110を使用するのか決定するためにスケジュール間アルゴリズム126を実行することができる。いくつかの実施形態では、コンソール102は、スケジュール間アルゴリズム126を実行することができ、スケジュール間アルゴリズム126の実行に応答してコンソール102とヘッドウェアラブルディスプレイ130の間でトラフィック(例えば、データ、情報)を送信するように一次リンク108または二次リンク110を選択することができる。
310を参照すると、いくつかの実施形態では、リンクの測定値の取得が実行され得る。コンソール102および/またはヘッドウェアラブルディスプレイ130は、一次リンク108の測定値112の取得を実行することができ、コンソール102とヘッドウェアラブルディスプレイ130の間の一次リンク108のメトリクス(例えば、品質メトリクス124)を決定することができる。測定値112の取得は、一次リンク108のステータスおよび/または品質を監視するために、第1の時間期間または最初の時間期間において実行することができる。コンソール102は、一次リンク108が、アクティブ(例えば、オンにする、オフにする)であるのか判定し、および/または一次リンク108上の現在のトラフィックのレベルを決定するために、一次リンク108上の測定値112の取得を実行することができる。いくつかの実施形態では、コンソール102は、限定するものではないが、一次リンク108の信号対ノイズ比などの一次リンク108のリンク品質を決定するために、一次リンク108上の測定値112の取得を実行することができる。
312を参照すると、いくつかの実施形態では、測定値(例えば、測定された品質メトリクスの値)が、第1の閾値と比較され得る。コンソール102は、一次リンク108の測定値112を第1の閾値120に比較することができる。第1の閾値120は、一次リンク108の品質メトリクス124を含むまたはこれに対応することができる。例えば、コンソール102は、一次リンク108の品質が閾値120よりも大きいかまたは閾値120よりも小さいか判定することができる。第1の閾値120は、二次リンクが作動させられるべきか、またはコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックが一次リンク108によってサポートすることができるか判定するために使用することができる。
314を参照すると、いくつかの実施形態では、トラフィックは、一次リンク上で維持され得る。コンソール102は、一次リンク108の測定値が第1の閾値120よりも大きいまたは高いことを判定することができ、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックをサポートするのに十分に一次リンク108の品質が強力(例えば、安定または良好)であると判定することができる。いくつかの実施形態では、コンソール102は、比較に応じて、信号対ノイズ比が、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィック(例えば、現在のトラフィック、現在の使用のタイプ)をサポートし、一次リンク108上のトラフィックを維持するのに十分高いまたは十分強いことを判定することができる。いくつかの実施形態では、コンソール102は、停止された状態またはオフされた状態で二次リンク110を維持することができる。例えば、コンソール102は、一次リンク108の測定値112が第1の閾値120よりも大きいときに、二次リンクをオフし、維持できないことができる。方法300は、(310)に戻る/進むことができ、コンソール102は、一次リンク108の品質またはステータスを監視し続けるために一次リンク108の続くまたは追加の測定値の取得を実行することができる。
316を参照すると、いくつかの実施形態では、二次リンクが、作動させられてもよい。コンソール102は、第1の測定値112が第1の閾値120よりも小さいことに応答して、コンソール102とヘッドウェアラブルディスプレイ130の間の二次リンク110を作動させることができる。コンソール102は、一次リンク108の測定値が第1の閾値120よりも小さいことを判定し、一次リンク108がコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックをサポートするのに十分強力でなくてもよいように一次リンク108の品質が減少していることを決定することができる。例えば、コンソール102は、一次リンク108がヘッドウェアラブルディスプレイ130のユーザに遅延、サービス中断、および/または障害を経験させているまたは引き起こしていることを判定することができる。いくつかの実施形態では、コンソール102は、比較に応じて、信号対ノイズ比が第1の閾値(または第4の閾値120)よりも小さいこと、および一次リンク108が困難を経験している、またはコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィック(例えば、現在のトラフィック、現在の使用のタイプ)をサポートできないことを判定することができる。コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間の二次リンク110を作動させることができる。いくつかの実施形態では、コンソール102は、二次リンク110が作動させられ(例えば、確立され)、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックを実行していないまたはサポートしていないように、二次リンク110を構成することができ、二次リンク110をスタンバイ中におくことができる。コンソール102および/またはヘッドウェアラブルディスプレイ130は、二次リンク110が作動させられたことをヘッドウェアラブルディスプレイ130のユーザに指示またはメッセージを生成および/または提供することができる。
318を参照すると、いくつかの実施形態では、リンクの測定値の取得が実行され得る。コンソール102および/またはヘッドウェアラブルディスプレイ130は、一次リンク108のステータスまたは品質を監視し続けるために一次リンク108の測定値112の取得を実行することができる。いくつかの実施形態では、コンソール102は、一次リンク108の第2の時間期間におけるまたは第1のもしくは最初の測定値112の取得後の測定値112の取得を実行することができる。コンソール102は、一次リンク108の品質が第2の閾値120よりも大きいまたは第2の閾値120よりも小さいか判定するために一次リンク108上の測定値112の取得を実行することができる。
320を参照すると、いくつかの実施形態では、測定値が第2の閾値と比較され得る。コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間の一次リンク108の第2の測定値112(例えば、測定された品質メトリクスの値)が第2の閾値120よりも小さいか判定することができる。第2の閾値120は、第1の閾値120よりも小さくすることができる。第2の閾値120は、第1の閾値120よりも小さい値またはレベル(例えば、一次リンク108の品質メトリクス124)を含むまたはこれに対応することができる。例えば、コンソール102は、一次リンク108の品質が第2の閾値120を用いて第1の測定値から減少したか判定することができる。いくつかの実施形態では、第2の閾値120は、トラフィックが一次リンク108から二次リンク110へ移行させられるべきであるか判定するために使用することができる。
322を参照すると、いくつかの実施形態では、トラフィックは、一次リンク上で維持することができる。コンソール102は、第2の測定値112が第2の閾値120よりも大きいときに一次リンク108上のトラフィックを維持することができる。例えば、コンソール102は、一次リンク108の第2のまたは続く測定値112が第2の閾値120よりも大きいことを判定することができ、一次リンク108の品質がコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックをサポートすることができることを判定することができる。コンソール102は、一次リンク108上のトラフィックを維持することができ、(例えば、アクティブな、トラフィックのない)二次リンク110をスタンバイで維持することができる。いくつかの実施形態では、コンソール102は、比較に応じて、信号対ノイズ比がコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィック(例えば、現在のトラフィック、現在の使用のタイプ)をサポートするのに十分高くまたは十分強力であり、スタンバイ上の二次リンク110を維持することを決定することができる。方法300は、(318)へ戻ることができ、コンソール102は、一次リンク108の品質またはステータスを監視し続けるために一次リンク108の続くまたは追加の測定値の取得を実行することができる。
324を参照すると、いくつかの実施形態では、トラフィックは、二次リンクへ移行させることができる。コンソール102は、第2の測定値112が第2の閾値120よりも小さいときに、一次リンク108上のトラフィックを作動させられた二次リンク110へ移行させることができる。コンソール102は、一次リンク108の測定値が第2の閾値120よりも小さいことを判定することができ、一次リンク108の品質がコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックをサポートするのに十分に強力(例えば、安定、良好)でないことを判定することができる。いくつかの実施形態では、コンソール102は、比較に応じて、信号対ノイズ比が第2の閾値120よりも小さいこと、および一次リンク108が困難を経験しているまたはコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィック(例えば、現在のトラフィック、現在の使用のタイプ)をサポートすることができないことを判定することができる。コンソール102は、一次リンク108からコンソール102とヘッドウェアラブルディスプレイ130の間の二次リンク110へトラフィックを移行または移動させ始めることができる。いくつかの実施形態では、コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックの一部または全部を二次リンクへ移行させることができる。例えば、コンソール102は、二次リンク110を使用して比較後に受信されたコンソール102と二次リンク110の間の続くデータおよび情報を送信することができる。例えば、コンソール102は、トラフィックの一部(例えば、半分、所定の割合)を二次リンク110へ移行または移動させることができる、それにより比較後に受信されたコンソール102とヘッドウェアラブルディスプレイ130の間の続くデータおよび情報を送信することができる。いくつかの実施形態では、コンソール102は、第2の測定値112が第2の閾値120よりも小さいことに応答して、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックの全部を二次リンク110へ移行させることができる。コンソール102は、二次リンク110を使用してデータを送信するために、ヘッドウェアラブルディスプレイ130に通知するまたは命令するための指示、メッセージ、またはコマンドをヘッドウェアラブルディスプレイ130へ与えることができる。コンソール102および/またはヘッドウェアラブルディスプレイ130は、トラフィックが一次リンク108から二次リンク110へ移行させられた、移行している、または移行させられるという指示またはメッセージを生成し、ヘッドウェアラブルディスプレイ130のユーザに与えることができる。
次に326を参照すると、いくつかの実施形態では、一次リンクの定期的な測定値の取得が実行され得る。コンソール102は、第2の測定値112が第2の閾値120よりも小さいことに応答して、第1の決定されたインターバル122で一次リンク108の測定値112の取得を実行し、または定期的な測定値112の取得を実行することができる。いくつかの実施形態では、コンソール102は、一次リンク108上で定期的な測定値の取得を行って一次リンク108の品質が向上しているときを判定することにより一次リンク108を監視することができる。測定値112は、決定されたインターバルまたは時間期間で実行することができる。定期的な測定値112の取得は、第1の2つの測定値と続く測定値の間の時間の長さが等しいように等間隔で配置されたまたは規則的に生じるインターバルで実行することができる。いくつかの実施形態では、コンソール102は、先の測定値112における一次リンク108の信号対ノイズ比に一部基づいて、測定値112間の長さまたは時間(例えば、第1の測定値と第2の測定値の間の時間)を決定することができる。例えば、コンソール102は、コンソール102が一次リンク108の品質が向上しているおよび/または閾値120から所定の距離内にあると判定する場合に、周波数を(例えば、より頻繁に)増加させる、または測定値112間で時間の長さを減少させることができる。いくつかの実施形態では、コンソール102は、(例えば、より少ない頻度に)周波数を減少させる、またはコンソール102が一次リンク108の品質が低下しているおよび/また閾値120から所定の距離外にあると判定する場合、測定値112間の時間の長さを増加させることができる。
次に328を参照すると、いくつかの実施形態では、測定値112は、第3の閾値120と比較され得る。コンソール102は、第3のまたは続く一次リンク108の測定値112が第3の閾値120よりも大きいかまたはそれよりも少ないか判定することができる。いくつかの実施形態では、第3の閾値120は、第1の閾値120よりも小さい、および第2の閾値120よりも大きいものであり得る。第3の閾値120は、(例えば、第3の閾値120よりも大きいときに)一次リンク108の品質が向上している、または(例えば、第3の閾値120よりも小さいときに)低下していることを指し示す一次リンク108の品質メトリクス124を含む、または対応することができる。いくつかの実施形態では、コンソール102は、第3の閾値120を使用して、トラフィックが一次リンク108へ戻すように移行させることができるか、またはトラフィックが二次リンク110上で維持されるべきか判定することができる。
330を参照すると、いくつかの実施形態では、トラフィックは、二次リンク上で維持することができる。コンソール102は、第3のまたは続く一次リンク108の測定値112が第3の閾値120よりも小さいことを判定することができ、一次リンク108の品質がコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックをサポートすることができないことを決定することができる。コンソール102は、例えば、判定に応じて、二次リンク110上のトラフィックを維持することができる。いくつかの実施形態では、コンソール102は、比較に応じて、一次リンク108の信号対ノイズ比が第3の閾値120よりも小さいことを判定することができる。コンソール102は、第2の測定値112の後の第3の測定値112が第2の閾値よりも小さいことに応答して、第2の決定されたインターバル122で一次リンク108の追加の測定値の取得を実行することができる。第2の決定されたインターバル122は、各第1の決定されたインターバル122よりも大きいもの(例えば、測定値間でより長い継続期間)であり得る。例えば、方法300は、(326)へ戻る/進むことができ、コンソール102は、一次リンク108の品質またはステータスを監視し続けるために一次リンク108の続くまたは追加の測定値の取得を実行することができる。
次に332を参照すると、いくつかの実施形態では、一次リンクの測定値は、決定されたインターバルで実行することができる。コンソール102は、一次リンク108の第3の測定値112が第3の閾値120よりも大きいことを判定することができる。第3の閾値120は、第2の閾値120よりも大きく、および第1の閾値120よりも小さいものであり得る。例えば、コンソール102は、比較に応じて、一次リンク108の第3のまたは続く測定値112が第3の閾値よりも大きい、および一次リンク108の品質が第2のまたは先の測定値112以来改善または増加したことを判定することができる。コンソール102は、一次リンク108の測定値112を決定されたインターバル122で取得開始することができる。例えば、いくつかの実施形態では、コンソール102および/またはヘッドウェアラブルディスプレイ130は、決定されたインターバルで目覚め、一次リンク108の測定値を実行することができる。
決定されたインターバル122は、同じであっても変更されてもよい。いくつかの実施形態では、第1の2つの測定値112と続く測定値122の間の時間の長さが等しいように、決定されたインターバル122は等しくすることができる。いくつかの実施形態では、コンソール102は、第1の時間期間にわたって第1の決定されたインターバル122で、および第2のまたは続く時間期間にわたって第2の決定されたインターバル122で測定値の取得を実行することができる。第1の決定されたインターバル122は、第2の決定されたインターバル122とは異なるもの(例えば、より少ない時間、より多い時間)であってもよい。コンソール102は、先の測定値112における一次リンク108の信号対ノイズ比に一部基づいて、決定されたインターバル122の長さを決定することができる。例えば、コンソール102は、コンソール102が一次リンク108の品質が増加しているおよび/または閾値120から所定の距離内にあると判定する場合に、測定値112間で(例えば、より多い頻度に)周波数を増加させ、または時間の長さを減少させることができる。いくつかの実施形態では、コンソール102が、一次リンク108の品質が減少しているおよび/または閾値120から所定の距離外にあると判定される場合に、コンソール102は、(例えば、より少ない頻度に)周波数を減少させる、または測定値112間の時間の長さを増加させることができる。コンソール102は、決定されたインターバル122についての時間の長さを決定するために指数バックオフを使用または適用することができる。例えば、コンソール102は、第1の決定されたインターバル122が第2の続くインターバル122とは異なるように、一次リンク108の測定値112の取得が行われるレートまたは周波数を乗法的に減少(または増加)させることができる。コンソール102は、決定されたインターバル122で測定値112を取得中に一次リンク108の信号対ノイズ比が第3の閾値120よりも大きいか判定することができる。コンソール102は、一次リンク108がコンソール102とヘッドウェアラブルディスプレイ130の間のセッションをサポートする用意ができているか、または第3の閾値120よりも大きい第3の測定値112が誤ったまたは不正確な測定値112に対応するか判定するために、決定されたインターバル122で測定値112の取得を行うことによって一次リンク108を監視することができる。
334を参照すると、いくつかの実施形態では、候補ビームは、特定することができる。コンソール102は、第3のまたは続く一次リンク108の測定値112が第3の閾値120よりも大きいか判定することができ、一次リンク108を確立または使用するために候補ビーム114を特定することができる。候補ビーム114は、第3の閾値120よりも大きい信号対ノイズ比を有するコンソール102とヘッドウェアラブルディスプレイ130の間の少なくとも1つのビームまたは信号経路に対応することができる。いくつかの実施形態では、コンソール102は、第3の閾値120よりも大きい信号対ノイズ比を有する複数のビーム114から最も高い信号対ノイズ比を有する少なくとも1つのビーム114を選択することができる。コンソール102は、候補ビーム114を用いて接続を確立することを試みることができる。
336を参照すると、いくつかの実施形態では、候補ビームを用いた接続は、(例えば、例えば、負不安定な接続、変化した条件、低下したパケット、および/またはその他によりトラフィックを十分にサポートするのに)失敗し得る、コンソール102は、候補ビーム114の障害を判定することができ、一次リンク108のための第2の候補ビーム114の捜索を一時中断する所定の期間を開始することができる。例えば、コンソール102は、候補ビーム114を用いて接続を確立しようと試みることができ、接続は失敗する可能性があり、またはビーム114は、一次リンク108をサポートすることができない可能性がある。コンソール102は、候補ビーム114は、一次リンク108をサポートすることができないことを、および/または第3の閾値120よりも大きい第3の測定値112が誤ったまたは不正確な測定値112に対応することをサポートすることができないと判定することができる。コンソール102は、(例えば、禁止された時間期間に対応する)続く測定値112の取得を実行するのを決定された時間期間だけ待つように決定し、またはそのように待つように構成され得る。決定された時間期間の長さまたは待機期間は、1つまたは複数の一次リンク108の測定値112に一部基づいて変更および選択することができる。コンソール102は、決定された時間期間(例えば、待機期間)のために時間の長さまたは継続期間を選択することができ、決定された時間期間中、一次リンク108の測定値112の取得の実行を停止することができる。決定された時間期間が終わるまたは完了すると、コンソール102は、(332)へ戻る/進むことができ、決定されたインターバル122で測定値112の取得を実行することができる。
コンソール102は、一次リンク108のために候補ビーム114を用いて接続を確立することができる。いくつかの実施形態では、コンソール102は、ビーム114または信号経路を使用して、コンソール102とヘッドウェアラブルディスプレイ130の間の一次リンク108を再開するおよび/または再構成する(例えば、その特徴を再構成する)ことができる。例えば、コンソール102は、ビーム114または信号経路を用いてコンソール102とヘッドウェアラブルディスプレイ130の間の一次リンク108を再確立または再接続するように一次リンク108の1つまたは複数の特性を修正することができる。
コンソール102は、第3の測定値112が第3の閾値120よりも大きいことに応答して、二次リンク110上のトラフィックを一次リンク108へ移行させることができる。例えば、コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間の一次リンク108がユーザセッションをサポートすることができるか判定することができ、トラフィックを二次リンク110から一次リンク108へ移行させ始めることができる。コンソール102は、第3のまたは続く測定値112が第3の閾値120よりも大きいときに、二次リンク110上のトラフィックを一次リンク108へ移行させることができる。コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックの一部または全部を一次リンク108へ移行させることができる。例えば、コンソール102は、一次リンク108を使用してコンソール102とヘッドウェアラブルディスプレイ130の間の続くデータおよび情報を送信することができる。コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間の続くデータおよび情報を送信するために、トラフィックの一部(例えば、半分、所定の割合)を一次リンク108へ移行または移動させることができる。
338を参照すると、いくつかの実施形態では、リンクの測定値の取得が実行され得る。コンソール102および/またはヘッドウェアラブルディスプレイ130は、一次リンク108のステータスまたは品質を監視し続けるために、一次リンク108の測定値112の取得を実行することができる。いくつかの実施形態では、コンソール102は、一次リンク108の第4の時間期間におけるまたは第3のまたは先の測定値112に続く測定値112の取得を実行することができる。コンソール102は、一次リンク108の品質が第4の閾値120よりも大きいか、または第4の閾値120よりも小さいか判定するために一次リンク108上の測定値112の取得を実行することができる。
340を参照すると、いくつかの実施形態では、測定値は、第4の閾値と比較することができる。コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間の第4のまたは続く一次リンク108の測定値112が、第4の閾値120よりも大きいか、または第4の閾値120よりも小さいか判定することができる。いくつかの実施形態では、第4の閾値120は、第1、第2、および第3の閾値120よりも大きくすることができる。第4の閾値120は、第1の閾値120よりも大きい値またはレベル(例えば、一次リンク108の品質メトリクス124)を含むまたはこれに対応することができる。いくつかの実施形態では、第4の閾値120は、二次リンク110が停止できるかまたはオフにすることができるか判定するために使用することができる。
342を参照すると、いくつかの実施形態では、トラフィックは、二次リンク108上で維持することができる。コンソール102は、第4のまたは続く一次リンク108の測定値112が第4の閾値120よりも小さいことを判定することができる。いくつかの実施形態では、コンソール102は、第4の時間期間における一次リンク108の信号対ノイズ比が第4の閾値120よりも小さいことを判定することができる。コンソール102は、(例えば、判定に応答して)二次リンク110上でコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックを維持することができる。いくつかの実施形態では、コンソール102は、(例えば、判定に応答して)一次リンク108上でコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックの一部を維持するとともに、スタンバイで二次リンク110を維持することができる。
344を参照すると、いくつかの実施形態では、トラフィックは、一次リンク108へ移行させることができる。コンソール102は、一次リンク108の第4のまたは続く測定値112が、第4の閾値120よりも大きいことを判定することができる。いくつかの実施形態では、コンソール102は、第4の時間期間における一次リンク108の信号対ノイズ比が第4の閾値120よりも大きいことを判定することができる。コンソール102は、いずれかのトラフィックが二次リンク110によってまだサポートされているか判定することができ、一次リンク108がコンソール102とヘッドウェアラブルディスプレイ130の間の1つまたは複数のユーザセッションを完全にサポートするように全てのトラフィックを一次リンク108へ移行させることができる。コンソール102は、指示、メッセージ、またはコマンドをヘッドウェアラブルディスプレイ130へ送信して二次リンク110の使用を停止させることができる。
346を参照すると、いくつかの実施形態では、二次リンクが、停止され得る。コンソール102は、第4の測定値112が第4の閾値120よりも大きいことに応答して、二次リンク110停止させることができる。第4の閾値120は、第1の閾値120よりも大きくすることができる。いくつかの実施形態では、コンソール102は、コンソール102とヘッドウェアラブルディスプレイ130の間の二次リンク110をオフにするまたは停止させる(例えば、切断する、廃止する)ことができる。コンソール102は、二次リンク110がコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックをもはやサポートしていないことを確認または検証することができ、二次リンク110をオフにすることができる。いくつかの実施形態では、コンソール102は、二次リンク110のステータスをスタンバイから停止状態へ変化させることができ、二次リンク110がコンソール102とヘッドウェアラブルディスプレイ130の間のトラフィックを送信するのには利用できないようにする。コンソール102および/またはヘッドウェアラブルディスプレイ130は、二次リンク110が停止させられたまたはオフにされたという指示またはメッセージを生成し、ヘッドウェアラブルディスプレイ130のユーザへ与えることができる。方法300は、コンソール102とヘッドウェアラブルディスプレイ130の間の1つまたは複数のユーザセッション中に一次リンク108の品質を監視し続けるために(304)へ戻ることができる。
B.コンピューティングシステム
本明細書に説明される様々な動作は、コンピュータシステム上で実現され得る。図4は、本開示を実施するのに適した代表的なコンピューティングシステム414を表すブロック図を示す。いくつかの実施形態では、図1A~図1Bのコンソール102およびヘッドウェアラブルディスプレイ130は、コンピューティングシステム414によって実現される。コンピューティングシステム414は、例えば、スマートフォン、他の携帯電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイス(例えば、スマートウォッチ、アイグラス、ヘッドウェアラブルディスプレイ)、デスクトップコンピュータ、ラップトップコンピュータなどの消費者デバイスとして実施することができ、または分散型コンピューティングデバイスを用いて実現することができる。コンピューティングシステム414は、VR、AR、MR体験を与えるように実施することができる。いくつかの実施形態では、コンピューティングシステム414は、プロセッサ416、ストレージデバイス418、ネットワークインタフェース420、ユーザ入力デバイス422、およびユーザ出力デバイス424などの従来のコンピュータコンポーネントを含み得る。
ネットワークインタフェース420は、広域ネットワーク(例えば、インターネット)への接続を可能にし、これにはリモートサーバシステムのWANインタフェースも接続される。ネットワークインタフェース420は、Wi-Fi、Bluetooth、またはセルラーデータネットワーク規格(例えば、3G、4G、5G、60GHz、LTE等)などの様々なRFデータ通信規格を実現する有線インタフェース(例えば、イーサネット)、および/または無線インタフェースを備えることができる。
ユーザ入力デバイス422は、ユーザが信号をコンピューティングシステム414へ与えることができる任意のデバイス(または複数のデバイス)を含むことができ、コンピューティングシステム414は特定のユーザの要求または情報を示すものとして信号を解釈することができる。ユーザ入力デバイス422は、キーボード、タッチパッド、タッチスクリーン、マウス、または他のポインティングデバイス、スクロールホイール、クリックホイール、ダイアル、ボタン、スイッチ、キーパッド、マイクロフォン、センサ(例えば、動きセンサ、アイトラッキングセンサ等)などのいずれかまたは全部を含み得る。
ユーザ出力デバイス424は、コンピューティングシステム414がユーザに情報を与えることができる任意のデバイスを備えることができる。例えば、ユーザ出力デバイス424は、コンピューティングシステム414によって生成される、またはコンピューティングシステム414へ送り届けられる画像を表示するディスプレイを備えることができる。ディスプレイは、サポート電子機器(例えば、デジタル/アナログ変換器、またはアナログ/デジタル変換器、シグナルプロセッサなど)と共に、様々な画像生成技術、例えば、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)を含む発光ダイオード(LED)、プロジェクションシステム、ブラウン管(CRT)などを組み込むことができる。入力デバイスと出力デバイスの両方として機能するタッチスクリーンなどのデバイスが使用されてもよい。出力デバイス424は、ディスプレイに加えてまたはディスプレイの代わりに設けられてもよい。例には、表示灯、スピーカ、触覚「ディスプレイ」デバイス、プリンタなどが含まれる。
いくつかの実施は、コンピュータ可読ストレージ媒体中にコンピュータプログラム命令を記憶するマイクロプロセッサ、ストレージ、およびメモリなどの電子コンポーネントを含む。本明細書に記載された特徴の多くは、コンピュータ可読ストレージ媒体上に符号化されたプログラム命令のセットとして特定されるプロセスとして実施することができる。これらのプログラム命令が1つまたは複数のプロセッサによって実行されるとき、プログラム命令は、プロセッサに、プログラム命令に指し示された様々な動作を実行させる。プログラム命令またはコンピュータコードの例には、コンパイラなどによって生成される機械語、およびインタプリッタを用いてコンピュータ、電子コンポーネント、またはマイクロプロセッサによって実行されるより高レベルなコードを含むファイルが含まれる。適切なプログラミングを通して、プロセッサ416は、コンピューティングシステム414に、サーバもしくはクライアント、またはメッセージ管理サービスに関連した他の機能性によって実行されるような本明細書に説明される機能性のいずれかを含む様々な機能性を与えることができる。
コンピューティングシステム414は例示であり、変形および修正が可能であることが理解されよう。本開示に関連して使用されるコンピュータシステムは、本明細書に特に記載されていない他の能力を有することができる。さらに、コンピューティングシステム414は、特定のブロックを参照して説明されるが、これらのブロックは、説明の便宜上定められており、コンポーネント部品の特定の物理的配置を示唆するものではないことを理解されたい。例えば、異なるブロックが同じ設備内、同じサーバラック内、または同じマザーボード上に設けられてもよい。さらに、ブロックは、物理的に別個のコンポーネントに対応する必要はない。ブロックは、例えば、プロセッサをプログラムしまたは適切な制御回路を与えることによって様々な動作を実行するように構成されてもよく、様々なブロックは、最初の構成の得方に応じて、再構成できる場合も、再構成できない場合もある。本開示の実施は、回路およびソフトウェアの任意の組合せを用いて実装される電子デバイスを含む種々の装置において実現することができる。
ここに、いくつかの例示の実施を説明してきたが、前述のものは例示であり、限定しておらず、例によって提示されていることが明らかである。詳細には、本明細書に示された例の多くは、方法要素、作用要素、またはシステム要素も特定の組合せを含むが、それらの作用およびそれらの要素は、同じ目的を達成するために、他のやり方で組み合わせてもよい。1つの実施に関連して議論された作用、要素、および特徴は、他の実施または実施における同様の役割から除外されることは意図されていない。
本明細書に開示された実施形態に関連して説明された様々なプロセス、動作、例示の論理、論理ブロック、モジュール、および回路を実現するために使用されるハードウェアおよびデータ処理コンポーネントは、汎用シングルまたはマルチチッププロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他のプログラム可能な論理デバイ、個別ゲートもしくはトランジスタ論理、個別ハードウェアコンポーネント、または本明細書に説明される機能を実行するように設計されたそれらの任意の組合せを用いて実施または実行され得る。汎用プロセッサは、マイクロプロセッサ、もしくは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとすることができる。プロセッサは、DSP、および1つのマイクロプロセッサ、複数のマイクロプロセッサ、DSPコアに関連した1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成の組合せなどのコンピューティングデバイスの組合せとして実施することもできる。いくつかの実施形態では、特定のプロセスおよび方法が、所与の機能に特有である回路によって実行され得る。メモリ(例えば、メモリ、メモリユニット、ストレージデバイスなど)は、本開示に説明される様々なプロセス、層、およびモジュールを完成するまたは容易にするために、データおよび/またはコンピュータコードを記憶する1つまたは複数のデバイス(例えば、RAM、ROM、フラッシュメモリ、ハードディスクストレージなど)を含むことができる。メモリは、揮発性メモリまたは不揮発性メモリであってもよく、またはそれらを含んでもよく、データベースコンポーネント、オブジェクトコードコンポーネント、スクリプトコンポーネント、または本開示に説明される様々な活動および情報構造をサポートする任意の他のタイプの情報構造を含み得る。例示的な一実施形態によれば、メモリは、処理回路を介してプロセッサに通信可能に接続され、(例えば、処理回路および/またはプロセッサによって)本明細書に説明された1つまたは複数のプロセスを実行するコンピュータコードを含む。
本開示は、様々な動作を達成するための方法、システム、および任意の機械可読媒体上のプログラム製品を予期する。本開示の実施形態は、本目的または別の目的のための組み込まれる適切なシステムのための既存のコンピュータプロセッサを用いてまたは特定用途のコンピュータプロセッサを用いて、あるいはハードウェアシステムによって実施され得る。本開示の範囲内の実施形態は、記憶された機械実行可能な命令またはデータ構造を運ぶまたは有する機械可読媒体を含むプログラム製品を含む。そのような機械可読媒体は、汎用または専用コンピュータ、あるいはプロセッサを備えた他の機械によってアクセスできる任意の利用可能な媒体であり得る。例として、そのような機械可読媒体は、RAM、ROM、EPROM、EEPROM、または他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、あるいは所望のプログラムコードを機械実行可能な命令またはデータ構造の形態で運ぶまたは記憶するために使用でき、汎用または専用コンピュータあるいはプロセッサを備える他の機械によってアクセスすることができる任意の他の媒体を含み得る。上記の組合せは、機械可読媒体の範囲内にやはり含まれる。機械実行可能な命令は、例えば、汎用コンピュータ、専用コンピュータ、または特定用途の処理機械にある種の機能または機能群を実行させる命令およびデータを含む。
本明細書に使用される述語および専門語は、説明のためのものであり、限定とみなされるべきではない。本明細書における「含む」、「備える」、「有する」、「含有する」、「伴う」、「特徴とする(characterized by)」、「特徴とする(characterized in that)」、およびそれらの変形の使用は、その後に挙げられる項目、その均等物、および追加の項目、ならびにその後に排他的に挙げられる項目からなる代替の実施を包含することが意味される。一実施では、本明細書に説明されるシステムおよび方法は、記載された要素、作用、およびコンポーネントの1つ、2つ以上の各組合せ、または全部からなる。
単数形で言及される本明細書中のシステムおよび方法の実施あるいは要素または作用の任意の言及は、複数のこれらの要素を含む実施を包含することもでき、本明細書中の任意の実施あるいは要素または作用の複数での任意の言及は、単一の要素のみを含む実施を包含することもできる。単数形または複数形の言及は、本開示のシステムまたは方法、それらの構成要素、作用、または要素を単一または複数の構成に限定するものではない。任意の作用または要素の言及が任意の情報に基づく場合、作用または要素は、作用または要素が任意の情報、作用、または要素に少なくとも一部基づく実施を含み得る。
本明細書に開示された任意の実施は、任意の他の実施または実施形態と合わせられてもよく、「一実施」、「いくつかの実施」、「1つの実施」などの言及は、必ずしも相互に排他的でなく、実施に関連して説明される特定の特徴、構造、または特性が、少なくとも1つの実施または実施形態に含まれ得ることを指し示すことが意図される。本明細書に使用されるようなそのような用語は、必ずしも全てが同じ実施を言及するものではない。任意の実施は、本明細書に開示された態様および実施と一致する任意のやり方で、包括的にまたは排他的に任意の他の実施と組み合わされてもよい。
図面、詳細な説明、またはいずれかの請求項における技術的特徴に参照符号が続いている場合、この参照符号は、図面、詳細な説明、および特許請求の範囲の分かりやすさを増すために含まれている。したがって、参照符号がある場合も参照符号がない場合も、任意の請求項の要素の範囲に任意の限定的な影響を及ぼす。
本明細書に説明されるシステムおよび方法は、それらの特徴から逸脱することなく他の特定の形態で具体化することができる。「ほぼ」、「約」、「実質的に」、または他の程度の用語の言及は、別段明示的に指し示されない限り、所与の測定値、単位、または範囲から±10%の変化を含む。結合された要素は、直接または介在要素を用いて互いに電気的、機械的、または物理的互いに結合することができる。したがって、本明細書に説明されるシステムおよび方法の範囲は、前述の説明ではなく添付の特許請求の範囲によって指し示され、特許請求の範囲の均等の意味および範囲内にある変化は、その中に包含される。
用語「結合される」およびその変形は、2つの部材を互いに直接または間接的に連結することを含む。そのような連結は、据え付け(例えば、常設または固定)であってもよく、または移動可能(例えば、取り外し可能または解除可能)であってもよい。そのような連結は、2つの部材が互いにまたは互いへ直接結合されることで、2つの部材が別個の介在部材を用いて互いに結合されるとともに、任意の追加の中間部材が互いに結合されることで、または2つの部材が2つの部材の一方と単一の単体として一体形成される介在部材を用いて互いに結合されることで実現することができる。「結合される」またはその変形が、追加の用語によって修飾される(例えば、直接結合される)場合、上で与えられた「結合される」の一般的な定義は、追加の用語の平易な言葉の意味によって修飾され(例えば、「直接結合される」は、任意の別個の介在部材なしの2つの部材の連結を意味し)、結果として、上で与えられた「結合される」の一般的な定義よりも狭い定義になる。そのような結合は、機械的、電気的、または流体的であり得る。
「または」の言及は、包括的と解釈することができ、したがって、「または」を用いて説明される任意の用語は説明される用語のただ1つ、2つ以上、および全部のいずれかを指し示すことができる。「『A』および『B』の少なくとも1つ」の言及は、『A』のみ、『B』のみ、および『A』と『B』の両方を含むことができる。「備える(comprising)」または他の開いた専門語と併せて使用されるそのような言及は、追加の用語を含むことができる。
説明された要素および作用の修飾、例えば、様々な要素のサイズ、寸法、構造、形状、および割合、パラメータの値、取付け配置、材料の使用、色、向きの変形は、本明細書に開示された主題の教示および利点から著しく逸脱することなく行うことができる。例えば、一体形成されるものとして示された要素は、複数の部品または要素で構築されてもよく、要素の位置は、逆さにされてもよく、または他の方法で変更されてもよく、別々の要素または位置の性質または個数は、変えられてもまたは変更されてもよい。他の置換、改良、交換、および省略が、本開示の範囲から逸脱することなく、開示された要素および動作の設計、運転条件、および配置にもなされ得る。
本明細書において要素の位置(例えば、「上」、「下」、「上方」、「下方」)を言及することは、各図における様々な要素の向きを説明するために使用されるものにすぎない。様々な要素の向きは、他の例示的な実施形態により異なってもよく、そのそうした変更は、本開示によって包含されることが意図される。

Claims (15)

  1. コンソールにより、前記コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第1の測定値であって、前記一次リンクの品質メトリクスに対応する第1の測定値が、第1の閾値よりも小さいことを判定することと、
    前記コンソールにより、前記第1の測定値が前記第1の閾値よりも小さいことに応答して、前記コンソールと前記ヘッドウェアラブルディスプレイの間の二次リンクを作動させることと、
    コンソールにより、前記コンソールと前記ヘッドウェアラブルディスプレイの間の前記一次リンクの第2の測定値が、前記第1の閾値よりも小さい第2の閾値よりも小さいか判定することと、
    前記コンソールにより、前記第2の測定値が前記第2の閾値よりも小さいときに、前記一次リンク上のトラフィックを作動させられた前記二次リンクへ移行させることと
    を含む方法。
  2. 前記品質メトリクスは、前記一次リンクの信号対ノイズ比を含む、請求項1に記載の方法。
  3. 前記コンソールにより、前記第2の測定値が前記第2の閾値よりも大きいときに、前記一次リンク上の前記トラフィックを維持すること
    をさらに含む、請求項1または2に記載の方法。
  4. 前記コンソールにより、前記第2の測定値が前記第2の閾値よりも小さいことに応答して、第1の決定されたインターバルで前記一次リンクの測定値の取得を実行することをさらに含み、
    好ましくは、
    前記コンソールにより、前記第2の測定値の後の第3の測定値が前記第2の閾値よりも小さいことに応答して、第2の決定されたインターバルで前記一次リンクの追加の測定値の取得を実行することをさらに含み、各前記第2の決定されたインターバルは、各前記第1の決定されたインターバルよりも大きい、
    請求項1から3のいずれか一項に記載の方法。
  5. 前記コンソールにより、前記一次リンクの第3の測定値が、第3の閾値よりも大きいことを判定することであって、当該第3の閾値が、前記第2の閾値よりも大きいとともに前記第1の閾値よりも小さい、前記一次リンクの第3の測定値が、第3の閾値よりも大きいことを判定することと、
    前記コンソールにより、前記一次リンクのための第1の候補ビームを特定することとをさらに含み、
    好ましくは、
    前記コンソールにより、前記第1の候補ビームの障害を判定することと、
    前記コンソールにより、前記一次リンクのための第2の候補ビームの捜索を一時中断するための所定の期間を開始することと
    をさらに含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記コンソールにより、前記第3の測定値が前記第3の閾値よりも大きいことに応答して、前記二次リンク上の前記トラフィックを前記第1の候補ビームを用いて前記一次リンクへ移行させることをさらに含み、
    好ましくは、
    前記コンソールにより、第4の測定値が第4の閾値よりも大きいことに応答して、前記二次リンクを停止させることであって、前記第4の閾値が前記第1の閾値よりも大きい、前記二次リンクを停止させること
    をさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記コンソールにより、前記コンソールと前記ヘッドウェアラブルディスプレイの間の前記トラフィックのタイプに従って、前記コンソールと前記ヘッドウェアラブルディスプレイの間の前記トラフィックのための前記一次リンクまたは前記二次リンクを選択すること
    をさらに含む、請求項1から6のいずれか一項に記載の方法。
  8. コンソールであって、
    前記コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第1の測定値であって、前記一次リンクの品質メトリクスに対応する第1の測定値が、第1の閾値よりも小さいか判定し、
    前記第1の測定値が前記第1の閾値よりも小さいことに応答して、前記コンソールと前記ヘッドウェアラブルディスプレイの間の二次リンクを作動させ、
    前記コンソールと前記ヘッドウェアラブルディスプレイの間の前記一次リンクの第2の測定値が、前記第1の閾値よりも小さい第2の閾値よりも小さいか判定し、
    前記第2の測定値が前記第2の閾値よりも小さいときに、前記一次リンク上のトラフィックを作動させられた前記二次リンクへ移行させる
    ように構成される1つまたは複数のプロセッサ
    を備えるコンソール。
  9. 前記品質メトリクスは、前記一次リンクの信号対ノイズ比を含む、請求項8に記載のコンソール。
  10. 前記コンソールは、
    前記第2の測定値が前記第2の閾値よりも大きいときに、前記一次リンク上の前記トラフィックを維持するようにさらに構成される、請求項8または9に記載のコンソール。
  11. 前記コンソールは、
    前記第2の測定値が前記第2の閾値よりも小さいことに応答して、第1の決定されたインターバルで前記一次リンクの測定値の取得を実行するようにさらに構成され、
    好ましくは、
    前記第2の測定値の後の第3の測定値が前記第2の閾値よりも小さいことに応答して、第2の決定されたインターバルで前記一次リンクの追加の測定値の取得を実行するようにさらに構成され、各前記第2の決定されたインターバルは、各前記第1の決定されたインターバルよりも大きい、請求項8から10のいずれか一項に記載のコンソール。
  12. 前記一次リンクの第3の測定値が、前記第2の閾値よりも大きいとともに前記第1の閾値よりも小さい第3の閾値よりも大きいことを判定し、
    前記一次リンクのための第1の候補ビームを特定するようにさらに構成され、
    好ましくは、
    前記候補ビームの障害を決定し、
    前記一次リンクのための第2の候補ビームの捜索を一時中断するための所定の期間を開始するようにさらに構成される、請求項8から11のいずれか一項に記載のコンソール。
  13. 前記第3の測定値が前記第3の閾値よりも大きいことに応答して、前記二次リンク上の前記トラフィックを前記第1の候補ビームを用いて前記一次リンクへ移行させるようにさらに構成される、請求項8から12のいずれか一項に記載のコンソール。
  14. 命令を記憶する非一次的なコンピュータ可読媒体であって、前記命令は、1つまたは複数のプロセッサによって実行されるときに、前記1つまたは複数のプロセッサに、
    コンソールとヘッドウェアラブルディスプレイの間の一次リンクの第1の測定値であって、前記一次リンクの品質メトリクスに対応する第1の測定値が、第1の閾値よりも小さいことを判定させ、
    前記第1の測定値が前記第1の閾値よりも小さいことに応答して、前記コンソールと前記ヘッドウェアラブルディスプレイの間の二次リンクを作動させ、
    前記コンソールと前記ヘッドウェアラブルディスプレイの間の前記一次リンクの第2の測定値が、前記第1の閾値よりも小さい第2の閾値よりも小さいか判定させ、
    前記第2の測定値が前記第2の閾値よりも小さいときに、前記一次リンク上のトラフィックを作動させられた前記二次リンクへ移行させる、
    非一次的なコンピュータ可読媒体。
  15. 前記1つまたは複数のプロセッサによって実行されるときに、前記1つまたは複数のプロセッサに、
    前記コンソールと前記ヘッドウェアラブルディスプレイの間の前記トラフィックのタイプに従って、前記コンソールと前記ヘッドウェアラブルディスプレイの間の前記トラフィックのための前記一次リンクまたは前記二次リンクをさらに選択させる命令をさらに含む、請求項14に記載の非一次的なコンピュータ可読媒体。
JP2021533783A 2019-03-08 2020-02-27 Ar/vrアプリケーションのための二次リンク Pending JP2022522583A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962815849P 2019-03-08 2019-03-08
US62/815,849 2019-03-08
US16/773,515 US11452014B2 (en) 2019-03-08 2020-01-27 Secondary link for AR/VR applications
US16/773,515 2020-01-27
PCT/US2020/020017 WO2020185410A1 (en) 2019-03-08 2020-02-27 Secondary link for ar/vr applications

Publications (1)

Publication Number Publication Date
JP2022522583A true JP2022522583A (ja) 2022-04-20

Family

ID=72335815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533783A Pending JP2022522583A (ja) 2019-03-08 2020-02-27 Ar/vrアプリケーションのための二次リンク

Country Status (6)

Country Link
US (2) US11452014B2 (ja)
EP (1) EP3935877A1 (ja)
JP (1) JP2022522583A (ja)
KR (1) KR20210137126A (ja)
CN (1) CN113545112A (ja)
WO (1) WO2020185410A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032906A1 (en) * 2022-08-12 2024-02-15 Telefonaktiebolaget Lm Ericsson (Publ) Application aware dynamic topology update

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10139155C2 (de) * 2001-08-09 2003-07-24 Siemens Ag Signalisierungs-Proxy-Einrichtung zum automatischen Aufbau von Ersatzpfaden in optischen Netzen
CN1799233A (zh) * 2003-06-06 2006-07-05 皇家飞利浦电子股份有限公司 通过在短距离和长距离无线电技术之间进行切换来控制无线数据传输的方法
US8897152B1 (en) * 2011-08-30 2014-11-25 Amazon Technologies, Inc. System and method for minimizing network transition latencies while minimizing power consumption
GB2500410A (en) * 2012-03-21 2013-09-25 Renesas Mobile Corp Swapping an actual channel on a secondary link with a shadow channel on a primary link with when the secondary link is no longer available
US9521601B2 (en) * 2013-02-01 2016-12-13 Apple Inc. Management of multiple radio links for wireless peer-to-peer communication
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US9591497B2 (en) * 2014-05-30 2017-03-07 Apple Inc. Wireless link quality monitoring
KR20160003450A (ko) * 2014-07-01 2016-01-11 삼성전자주식회사 전자장치의 데이터를 공유하기 위한 방법 및 장치
US10098016B2 (en) * 2015-01-22 2018-10-09 Qualcomm Incorporated Adaptive scanning with multi-radio device
US9787579B2 (en) * 2015-04-06 2017-10-10 Verizon Digital Media Services Inc. Application controlled path selection based on type-of-service
KR20160141560A (ko) 2015-06-01 2016-12-09 삼성전기주식회사 무선 통신 장치 및 이를 이용한 운용 방법
US9832716B2 (en) * 2015-08-12 2017-11-28 Google Llc Switching between networks based on quality of available networks
US10129919B2 (en) 2016-10-20 2018-11-13 Plantronics, Inc. Video headset
US9866286B1 (en) * 2017-02-15 2018-01-09 Oculus Vr, Llc Positional tracking assisted beam forming in wireless virtual reality systems
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
US10433307B2 (en) * 2017-04-20 2019-10-01 Facebook Technologies, Llc Diversity based relay for wireless communications between a head-mounted display and a console
CN109246732B (zh) * 2017-04-28 2020-05-15 维沃移动通信有限公司 波束失败恢复方法和终端
US10531344B2 (en) * 2018-05-24 2020-01-07 Verizon Patent And Licensing Inc. Radio access technology change reporting

Also Published As

Publication number Publication date
US11930411B2 (en) 2024-03-12
CN113545112A (zh) 2021-10-22
US11452014B2 (en) 2022-09-20
EP3935877A1 (en) 2022-01-12
US20230016201A1 (en) 2023-01-19
KR20210137126A (ko) 2021-11-17
US20200288360A1 (en) 2020-09-10
WO2020185410A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US11882552B2 (en) Switching between different communication protocols
US11678324B2 (en) Systems and methods for dynamic scheduling
KR20230118114A (ko) 무선 통신에서의 twt의 콰이어트 엘리먼트를 위한 시스템 및 방법
US11930411B2 (en) Secondary link for AR/VR applications
JP7436484B2 (ja) 人工現実のためのレイテンシ減少
US20230189142A1 (en) Systems and methods for beacon alignment for soft access point
US20220247513A1 (en) Systems and methods for beamforming
JP2023547778A (ja) ソフトアクセスポイントのための時間スロット予約
US20230254768A1 (en) Power management of receiver chain circuits based on traffic awareness
US20220240339A1 (en) Methods and systems for low power reconnection
US20220182935A1 (en) Systems and methods for quiet element in twt for wireless communication
TW202415111A (zh) 在動態頻率選擇(dfs)頻道中的子群組無線操作
WO2023154300A1 (en) Power management of receiver chain circuits based on traffic awareness
KR20230074133A (ko) 에너지 검출 문턱치들을 관리하기 위한 시스템들 및 방법들

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240301