CN110678891B - 与同伴设备配对 - Google Patents

与同伴设备配对 Download PDF

Info

Publication number
CN110678891B
CN110678891B CN201880033535.5A CN201880033535A CN110678891B CN 110678891 B CN110678891 B CN 110678891B CN 201880033535 A CN201880033535 A CN 201880033535A CN 110678891 B CN110678891 B CN 110678891B
Authority
CN
China
Prior art keywords
display system
head mounted
mounted display
data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880033535.5A
Other languages
English (en)
Other versions
CN110678891A (zh
Inventor
N·辛格
A·克勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202311470919.2A priority Critical patent/CN117615380A/zh
Publication of CN110678891A publication Critical patent/CN110678891A/zh
Application granted granted Critical
Publication of CN110678891B publication Critical patent/CN110678891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0013—Means for improving the coupling-in of light from the light source into the light guide
    • G02B6/0015—Means for improving the coupling-in of light from the light source into the light guide provided on the surface of the light guide or in the bulk of it
    • G02B6/0016—Grooves, prisms, gratings, scattering particles or rough surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/34—Optical coupling means utilising prism or grating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0853—Network architectures or network communication protocols for network security for authentication of entities using an additional device, e.g. smartcard, SIM or a different communication terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/18—Network architectures or network communication protocols for network security using different networks or channels, e.g. using out of band channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3215—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a plurality of channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3271—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using challenge-response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H04W12/069—Authentication using certificates or pre-shared keys
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50—Secure pairing of devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3866—Transceivers carried on the body, e.g. in helmets carried on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0869—Network architectures or network communication protocols for network security for authentication of entities for achieving mutual authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H04W12/065—Continuous authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/69—Identity-dependent
    • H04W12/77—Graphical identity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/005—Discovery of network devices, e.g. terminals

Abstract

本文公开了用于设备认证或配对的系统和方法。在一个方面中，一种可穿戴显示系统包括显示器、被配置成捕获所述同伴设备的图像的图像捕获设备、被配置成存储所述同伴设备的图像的计算机可读存储介质、以及与所述图像捕获设备和所述存储介质通信的处理器。该处理器可以用该可执行指令编程以接收由所述图像捕获设备捕获的所述同伴设备显示的第一光学图案的第一图像，其中，所述同伴设备基于第一共享数据产生第一光学图案，从接收到的所述第一图像中的所述第一光学图案提取第一数据，基于从第一光学图案提取的第一数据来认证所述同伴设备，并通知所述可穿戴显示系统的用户所述同伴设备被认证。

Description

与同伴设备配对
相关申请的交叉引用
本申请要求享有2017年5月22日提交的题为“与同伴设备配对”的美国专利申请62/509,427的优先权的利益，其内容在此通过引用全部并入本文。
技术领域
本公开涉及用于安全数据传输的系统和方法，以及尤其涉及用于安全数据传输的设备配对和认证的系统和方法。
背景技术
为了在用户设备(例如，头戴式显示器)和同伴设备(例如，另一个用户设备，例如移动设备或图腾(totem))之间安全地传输数据，用户设备和同伴设备需要彼此配对。相互配对的过程可以包括用户设备认证同伴设备被授权与用户设备通信。认证之后，用户设备和同伴设备可以建立共享信息或数据(例如，共享钥、共享秘密或共享签名钥)，其可用于加密在这两个设备之间传输的数据。设备之间的常规配对过程可能很麻烦，并且涉及多个步骤，例如在两个设备上键入个人识别号(PIN)。
发明内容
在一个方面中，公开了一种可穿戴显示系统。可穿戴显示系统包括：图像捕获设备，其被配置为捕获同伴设备的图像；非暂时性计算机可读存储介质，其被配置为存储所述同伴设备的图像和可执行指令；以及与所述图像捕获设备和所述非暂时性计算机可读存储介质通信的处理器，该处理器由所述可执行指令编程以：接收由所述图像捕获设备捕获的所述同伴设备显示的第一光学图案的第一图像，其中，所述第一光学图案由所述同伴设备基于第一共享数据产生；从接收到的第一图像的所述第一光学图案提取第一数据；以及基于从所述第一光学图案提取的所述第一数据认证所述同伴设备。
在另一方面，公开了一种用于设备认证的方法。该方法在硬件处理器控制的控制下，包括：通过通信信道接收数据对象；接收由同伴设备显示的光学图案的图像，其中，所述同伴设备使用共享数据产生所述光学图案；从接收图像中的光学图案提取第一数据；使用所述第一数据产生所述数据对象的转换；以及经由所述通信信道将所述数据对象的所述转换发送到所述同伴设备用于认证。
在另一方面，公开了一种头戴式显示系统。该头戴式显示系统包括：存储可执行指令的非暂时性计算机可读存储介质；以及与所述非暂时性计算机可读存储介质通信的处理器，该处理器由可执行指令编程以：从设备接收第一通信，其中，所述第一通信由所述设备基于第一共享数据产生；从所述第一通信提取第一数据；并且基于从所述第一通信提取的所述第一数据对所述设备进行认证。
在另一方面，公开了一种头戴式显示系统。所述头戴式显示系统包括：存储可执行指令的非暂时性计算机可读存储介质；以及与所述非暂时性计算机可读存储介质通信的处理器，所述处理器由所述可执行指令编程以：从第一设备接收包括第一数据对象的第一通信，其中所述第一通信至少部分地基于第一共享数据产生，其中所述第一设备被配置成将所述第一共享数据发送到第三设备；从第二设备接收包括第二数据对象的第二通信，其中，所述第二通信至少部分地基于第二共享数据产生，其中，所述第二设备被配置成将所述第二共享数据发送到所述第三设备；将所述第一数据对象和所述第二数据对象发送到所述第三设备，其中，所述第三设备被配置成至少部分地基于来自所述第一设备的所述第一共享数据、来自所述第二设备的所述第二共享数据、来自所述头戴式显示系统的所述第一数据对象和来自所述头戴式显示系统的所述第二数据对象认证所述头戴式显示系统、所述第一设备和所述第二设备；以及从所述第三设备接收包括第三数据对象的第三通信，其中所述第三数据对象指示所述第三设备已成功地认证所述头戴式显示系统、所述第一设备和所述第二设备。
本文公开了用于设备认证的系统和方法。在一些实施例中，在接收到由设备基于共享信息显示的光学图案的图像之后，系统或方法可以从接收到的图像中的光学图案提取信息。该方法可以根据从光学图案中提取的信息对设备进行认证。
本说明书中描述的主题的一个或多个实现的细节在附图和下面的描述中阐述。其他特征、方面和优点将从说明书、附图和权利要求中变得显而易见。本概要和以下详细描述均无意定义或限制本公开的主题的范围。
附图说明
图1示出了根据一个实施例的设备认证。
图2是示出根据一个实施例的使用来自用户设备的共享信息或数据的设备认证的交互图。
图3是示出根据一个实施例的使用质询(challenge)文本的设备认证的交互图。
图4是示出根据一个实施例的使用由同伴设备产生的共享信息或数据的设备认证的交互图。
图5示出了根据一个实施例的设备认证方法的流程图。
图6示出了根据一个实施例的设备认证。
图7是示出使用由两个同伴设备产生的视觉图案的用户设备和该两个同伴设备之间的设备认证的交互图。
图8是示出使用至少部分地由云上的一个或多个设备产生的视觉图案的用户设备和两个同伴设备之间的设备认证的交互图。
图9描绘了根据一个实施例的具有特定虚拟现实对象和由人观看的特定实际现实对象的增强现实场景的图示。
图10示出了根据一个实施例的可穿戴显示系统的示例。
图11示出了根据一个实施例的用于使用多个深度平面模拟三维图像的方法的各个方面。
图12示出了根据一个实施例的用于向用户输出图像信息或数据的波导叠层的示例。
图13示出了根据一个实施例的可以由波导输出的示例出射波束。
图14是示出根据一个实施例的显示系统的示意图。
在整个附图中，可重复使用参考号来指示参考元素之间的对应。提供这些附图是为了说明本文所描述的示例性实施例，并不打算限制本公开的范围。
具体实施方式
概述
诸如头戴式显示器(HMD)的可穿戴显示系统可被配置为与诸如手持、用户输入设备(例如图腾)的同伴设备一起工作。为了使HMD和同伴设备能够协同工作(例如，无线地交换信息或数据)，同伴设备和HMD可能需要首先彼此配对。本公开提供用于配对此类设备的系统和方法。
HMD可以包括可以对HMD的用户的环境进行成像的朝外的图像捕获设备，例如照相机。图像捕获设备可用于捕获和获取显示在同伴设备(例如，具有显示器或光源的图腾)上的信息或数据(例如，钥或秘密)，以便在HMD和同伴设备之间建立共享信息或数据(例如，共享钥、共享秘密或签名钥)。共享数据进而被HMD或同伴设备使用来加密/解密用于/来自安全数据传输的数据。公开了用于高效和安全的设备配对和认证的系统和方法。
图1示出了根据一个实施例的设备认证。用户设备104可以认证同伴设备，例如图腾108a(例如，用作虚拟用户输入设备)或手机108b。对于图腾108a，用户可以使用拇指与图腾108a的输入表面(例如，触摸板)交互，并且可以使用其他手指来保住图腾108a。用户设备104可以是HMD、可穿戴显示系统、平板电脑、手机或移动设备。同伴设备(例如，图腾108a和/或手机108b)可以是HMD、可穿戴显示系统、平板电脑、图腾或移动设备。下面参考图9-14描述HMD和图腾的示例。
用户设备104和图腾108a可以通过射频(RF)通信信道(例如WIFI、蓝牙等)进行无线通信。RF信道带宽内的通信通常称为带内通信，并且可以表示两个设备之间的主通信信道。用户设备104和图腾108a也可以被配置成通过第二不同的通信信道(例如，光信道、声信道、近场通信(NFC)信道等)进行通信。这种通信通常称为带外(OOB)通信。
参照图1，用户设备104可以从同伴设备(例如，图腾108a和/或手机108b)接收带外通信112。带外通信112可以包括光通信(例如，一维码，例如条形码，或二维码，例如快速响应(QR)码)、音频通信(例如，人耳听不见或超声波)、口语短语(例如，字母数字短语)、口语短语的一个或多个谱特性、用户的生物测定(biometric)信息或数据(例如，虹膜代码)或其任何组合。光通信可以包括视觉通信(在人类用户可感知的波长范围内，例如，从约400nm到700nm)或非视觉通信(例如，在红外或紫外波长范围内)。用户设备104可以通过显式用户交互或非显式用户交互来接收带外通信112。例如，用户设备104可以处于配对模式并且自动接收带外通信112。作为另一示例，用户设备104可以使用其照相机来持续监视其周围环境，以确定同伴设备上的视觉通信的存在。
同伴设备(例如，图腾108a和/或手机108b)可以使用其显示器或其他光学设备产生和显示视觉图案。例如，图腾108a可以具有绿色发光二极管(LED)116a和红色LED 116b。图腾108a可以使用两个LED显示视觉图案。例如，要显示数字“57”，图腾108a可以闪烁5次绿色LED和7次红色LED。用户设备104可以使用其图像捕获设备捕获该图案，并使用计算机视觉技术从捕获的图案中提取数字“57”。图腾108a可以产生视觉图案，并且用户设备104可以基于预定协议从视觉图案中提取。例如，预定协议可以指定共享数据是红色LED 116b闪烁次数和绿色LED 116a闪烁次数的十倍之和。有利地，图腾108a不需要包括用于用户设备104认证同伴设备108的图像捕获设备或麦克风。
作为另一个示例，手机108b可以在其显示器120上显示数字“57”。数字“57”可以显示为二维码(例如QR码)或二维图案的一部分。用户设备104可以使用其图像捕获设备捕获显示的数字、二维码或二维图案。用户设备104可以使用计算机视觉技术从捕获的图像中提取数字“57”。手机108b可以产生视觉图案，并且用户设备104可以基于预定协议从视觉图案中提取。有利地，设备认证不需要用户输入或发起。
使用来自用户设备的共享数据的设备验证示例
在一些实施例中，共享信息或数据(例如，共享秘密、共享钥或签名钥)可以由用户设备104发送并由同伴设备108接收。图2是示出根据一个实施例的使用来自用户设备的共享数据的设备认证的交互图。用户设备104可以在交互204处产生共享数据。例如，用户设备104可以随机地产生值。作为另一示例，可以预先确定共享数据。随后，用户设备104可以在交互208处将共享数据发送到同伴设备108。例如，用户设备104可以在交互208处经由通信信道将包含该值的字节流发送到同伴设备108。通信信道可以是无线通信信道，例如Wi-Fi通信(例如，在约2.4GHz或5GHz处)或近场通信(NFC)信道(例如，在约14Mhz处)。在一些实施例中，通信信道可以是可用于随后的安全数据传输的带内通信信道。
用户设备104可以产生共享数据。可选地或附加地，共享数据可以由试图配对这两个设备的用户设备104和/或同伴设备108的用户产生或基于该用户产生。例如，共享数据可以包括试图将两个设备配对的用户的口语短语，例如字母数字短语、或者口语短语的一个或多个谱性质。用户设备104和同伴设备108可以各自使用其各自的麦克风捕获口语短语。用户设备104和同伴设备108可以使用语音识别技术获得口语短语中的短语。本文参照图5描述语音识别技术的示例。
作为另一示例，共享数据可以包括试图配对这两个设备的用户设备104和/或同伴设备108的用户的生物测定信息或数据。用户设备104和同伴设备108可以各自捕获用户眼睛的图像。用户设备104和同伴设备108可以基于每个捕获的用户的眼睛的图像分别提取或产生生物测定模板，例如虹膜代码。虹膜代码可以用多种方法计算。例如，在一些实施例中，可以根据John Daugman开发的用于虹膜生物测定的算法产生虹膜代码(例如，参见美国专利号5291560)。例如，虹膜码可以基于用二维带通滤波器(例如Gabor滤波器)对眼睛虹膜图像(例如在极坐标中)的卷积，并且虹膜码可以表示为两比特数字(例如，对特定Gabor滤波器的响应是正的还是负的)。
同伴设备108从用户设备104接收共享数据。例如，同伴设备108可以经由通信信道接收包含值的字节流。在接收到共享数据之后，同伴设备108可以在交互212处产生共享数据的转换。例如，同伴设备108可以基于交互212处的值产生视觉图案。视觉图案可以是一维图案(例如条形码)或二维图案(例如QR码)。作为另一示例，同伴设备108可以产生音频信号，包括诸如超声波音频信号之类的人耳听不到的音频信号。即使音频信号是人耳听不到的，也可以由用户设备104的麦克风记录音频信号。
同伴设备108可以在交互216处经由带外通信信道将共享数据的转换传送到用户设备104。例如，同伴设备108可以使用其显示器或另一光学设备(例如光源)在交互216处显示视觉图案。作为另一示例，同伴设备108可以使用其扬声器在交互216处发送音频信号。用户设备104可以通过显式用户交互来接收共享数据的转换。例如，用户设备104的用户可以选择何时用户设备104的相机捕捉视觉图案，或者何时用户设备104的麦克风记录音频信号。另外或附加地，用户设备104可以通过非显式的用户交互来接收共享数据的转换。例如，用户设备104可以处于配对模式并且自动接收通信。作为另一示例，用户设备104可以使用其相机和/或麦克风来持续监视其周围环境，以确定同伴设备108上的视觉信号和/或同伴设备108发送的任何音频信号的存在。
随后，用户设备104可以在交互220处从接收到的变换中提取共享数据。在一个示例中，同伴设备108可以使用其显示器或另一光学设备(例如光源)显示基于该值产生的视觉图案。光学设备可发射人类可感知的可见光或非可见光(例如红外线或紫外线)。如果同伴设备108是具有绿色发光二极管(LED)和红色LED的图腾(例如，图腾108a)，则同伴设备108可以使用两个LED显示视觉图案。在交互220处，用户设备104可以使用其图像捕获设备捕获视觉图案并使用计算机视觉技术从视觉图案捕获中提取数字或值。如果同伴设备108是具有显示器的手机(例如，手机108b)，则同伴设备108可以在其显示器上显示视觉图案。在交互220处，用户设备104可以使用其图像捕获设备捕获显示的视觉图案，并使用计算机视觉技术从视觉图案捕获中提取数字。本文参照图5描述计算机视觉识别技术的示例。
在交互224处，用户设备104可以验证发送到同伴设备108的共享数据(例如，在交互208处发送到同伴设备108的共享数据)与接收和提取的共享数据(例如，在交互216处由同伴设备108通信并随后在交互220处由用户设备104提取的共享数据)的一致性。如果验证了共享数据的一致性，则向用户设备104认证同伴设备108。例如，如果用户设备104在交互208处向同伴设备108发送数字，则用户设备104可以在交互224处验证在交互220提取的数字是相同的数字。作为另一示例，由用户设备104和同伴设备108产生的虹膜代码可以足够相似。由于虹膜代码的可变性，基于虹膜代码的共享数据的一致性可以允许一定的可变性。
在将同伴设备108认证到用户设备104之后，用户设备104和同伴设备108可以安全地在彼此之间传输数据。在一些实施例中，用户设备104可以被认证到同伴设备108。在交互228处，与在交互208处由用户设备104发送到同伴设备108的共享数据相比，同伴设备108可以产生新的共享信息或数据(例如，新的共享秘密或新的共享钥)。例如，与在交互208处作为字节流发送的值相比，同伴设备108可以产生新值。
在交互228处产生新的共享数据之后，与在交互212处产生的转换相比，同伴设备108可以在交互232处产生新的共享数据的新转换。例如，同伴设备108可以基于该新值在交互232处产生新的视觉图案(例如一维或二维代码)或新的音频信号。作为另一示例，同伴设备108可以基于新值在交互232处产生音频信号。
同伴设备108可以通过交互236处的带外通信信道(例如，交互216处使用的带外通信信道)将新的共享数据的新转换传送到用户设备104。例如，同伴设备108可以使用其显示器或另一光学设备(例如光源)在交互236处显示视觉图案。作为另一示例，同伴设备108可以使用其扬声器在交互236处发送音频信号。如参考交互216所讨论的，用户设备104可以通过显式用户交互或非显式用户交互来接收共享数据的转换。
随后，用户设备104可以在交互240处从接收到的新变换中提取新的共享数据。在一个示例中，在交互232处同伴设备108可以使用其显示器或另一光学设备来显示在基于新值的产生的新视觉图案。在从交互240处接收到的新变换中提取新的共享数据之后，用户设备104可以在交互244处将新的共享数据发送到同伴设备108。例如，用户设备104可以经由通信信道在交互244处发送包含新值的字节流。通信信道可以是无线通信信道，例如Wi-Fi通信或近场通信(NFC)信道。通信信道可以是可用于随后的安全数据传输的带内通信信道和/或在交互208处使用的通信信道。
在交互248处，同伴设备108可以验证发送到用户设备104的新共享数据(例如，在交互236处发送到用户设备104的新共享数据)和接收到的新共享数据(例如，用户设备104在交互240处提取并随后在交互244处发送到同伴设备108的新的共享数据)。如果新的共享数据的一致性被验证，则用户设备104被认证到同伴设备108。例如，如果同伴设备108在交互236向用户设备104发送的新变换是数字，则同伴设备104可以在交互248验证是否接收到相同的数字。
有利的是，同伴设备108不需要包括图像捕获设备或麦克风，以便用户设备104被认证到同伴设备108。例如，同伴设备108可以是具有两个不同颜色的LED或者具有扬声器以用于带外通信的简单图腾(例如，图腾108a)。尽管图2示出了首先向用户设备104认证同伴设备108，但在一些实施例中，可以首先向同伴设备108认证用户设备104。
使用质询对象的设备验证示例
在一些实施例中，同伴设备108可以使用质询对象(例如质询文本)来认证用户设备104。图3是示出根据一个实施例的使用质询文本的设备认证的交互图。同伴设备108可以在交互304处向用户设备104发送信息或数据对象(例如，质询文本)。例如，同伴设备108可以在交互304经由通信信道向用户设备104发送包含质询文本的字节流。用于发送数据对象的通信信道可以是无线通信信道，例如Wi-Fi通信或近场通信(NFC)信道。
在交互304处发送质询文本之后，同伴设备108可以在交互308处产生共享信息或数据(例如，共享秘密、共享钥或签名钥)。例如，同伴设备108可以随机地产生共享数据。作为另一示例，可以预先确定共享数据。
在交互308处产生共享数据之后，同伴设备108可以在交互312处产生共享数据的转换。例如，同伴设备108可以基于在交互308处产生的共享数据在交互312处产生视觉图案(例如一维图案或二维图案)或音频信号(例如超音速(supersonic)音频信号或人耳听不见的音频信号)。
同伴设备108可以在交互316处经由带外通信信道将共享数据的转换传送到用户设备104。带外通信信道可以是用于发送视觉图案的视觉通信信道，或者是用于发送音频信号的音频通信信道。例如，同伴设备108可以使用其显示器或另一光学设备(例如光源)在交互316处显示视觉图案。作为另一示例，同伴设备108可以使用其扬声器在交互316处发送音频信号。如参考交互216所讨论的，用户设备104可以通过显式用户交互或非显式用户交互来接收共享数据的转换。
随后，用户设备104可以在交互320处从接收到的变换中提取共享数据。在一个示例中，同伴设备108可以使用其显示器或另一光学设备(例如，两个不同颜色的LED)在交互316处显示视觉图案。用户设备104可以捕获视觉图案的图像，并在交互320处使用计算机视觉技术从接收的视觉图案中提取共享数据。作为另一示例，同伴设备108可以使用其扬声器在交互316处通信音频信号。即使音频信号对于人耳是听不到的，也可以由用户设备104的麦克风记录音频信号。用户设备104可以在交互320处提取音频信号中的共享数据。
用户设备104可以在交互324处使用共享数据产生数据对象的转换。例如，用户设备104可以在交互324处使用共享数据产生质询文本的散列(例如，安全散列算法(SHA)-2)。作为另一示例，用户设备104可以在交互324处使用共享钥加密质询文本。
用户设备104可以将在交互324产生的数据对象的转换发送到交互328处的同伴设备108。用于将数据对象从用户设备104发送到同伴设备108的通信信道可以是无线通信信道，例如Wi-Fi通信或近场通信(NFC)信道。在一些实现中，交互304和328处的通信信道可以相同。在一些实施例中，用于发送数据对象的变换的通信信道可以是可用于随后的安全数据传输的带内通信信道。
同伴设备108从用户设备104接收数据对象的变换。在接收到数据对象的变换之前或之后，同伴设备108可以在交互332处使用共享数据产生数据对象的变换。例如，同伴设备108可以在交互332处使用共享数据产生质询文本的散列。作为另一示例，同伴设备108可以在交互332处使用共享钥加密质询文本。
同伴设备108可以验证在交互332产生的共享数据和从用户设备104接收的共享数据的一致性。如果验证了共享数据的一致性，则用户设备104被认证到同伴设备108。例如，如果同伴设备108从用户设备104接收的散列是数字，则同伴设备104可以验证在交互332处产生的散列也是相同的数字。认证后，用户设备104和同伴设备108可以安全地在彼此之间传输数据。
有利的是，同伴设备108不需要包括图像捕获设备或麦克风用于用户设备104被认证到同伴设备108。例如，伴奏设备108可以是具有两个不同颜色的LED或者具有扬声器以用于带外通信的简单图腾。尽管图3示出了同伴设备108对用户设备104进行认证，但在一些实施例中，用户设备104可以使用图3所示的方法对同伴设备108进行认证。
使用由同伴设备产生的共享数据的示例设备身份验证
在一些实施例中，用户设备104在接收到由同伴设备108以转换的形式产生的共享信息或数据(例如，共享秘密、共享钥或签名钥)之后，可以认证同伴设备108。图4是示出根据一个实施例的使用由同伴设备108产生的共享数据的设备认证的交互图。同伴设备108可以在交互404处产生共享数据(例如，共享秘密、共享钥或签名钥)。例如，同伴设备108可以随机地产生签名钥。作为另一示例，可以预先确定共享数据。签名钥的长度可以是，例如，64、128、256、512、1024或更多比特。
在交互404处产生共享数据之后，同伴设备108可以在交互408处产生共享数据的转换。例如，同伴设备108可以基于在交互404处产生的共享数据在交互408处产生视觉图案(例如一维图案或二维图案)或音频信号(例如超音速音频信号或人耳听不见的音频信号)。视觉图案可以是一维图案(例如条形码)或二维图案(例如QR码)。
同伴设备108可以在交互412处通过带外通信信道将共享数据的转换传送到用户设备104。带外通信信道可以是用于发送视觉图案的视觉通信信道，或者是用于发送音频信号的音频通信信道。例如，同伴设备108可以使用其显示器或另一光学设备(例如光源)在交互412处显示视觉图案。作为另一示例，同伴设备108可以使用其扬声器在交互412处发送音频信号。如参考交互216所讨论的，用户设备104可以通过显式用户交互或非显式用户交互来接收共享数据的转换。
随后，用户设备104可以在交互416处从接收到的变换中提取共享数据。在一个示例中，同伴设备108可以使用其显示器或另一光学设备(例如，两个不同颜色的LED)在交互412处显示视觉图案。用户设备104可以捕获视觉图案的图像，并在交互416处使用计算机视觉技术从接收的视觉图案提取共享数据。作为另一示例，同伴设备108可以在交互412处使用其扬声器来通信音频信号。即使人耳听不到音频信号，也可以由用户设备104的麦克风记录音频信号。用户设备104可以在交互416处提取音频信号中的共享数据。
同伴设备108可以在交互408处产生共享数据的转换，并且用户设备104可以基于预定协议在交互416处提取共享数据。例如，如果共享数据是数字“57”，则同伴设备108可以基于预定协议使其绿色LED闪烁5次，红色LED闪烁7次。用户设备104可以基于预定协议从闪烁模式中提取数字“57”。预定协议可以指定共享数据是红色LED闪烁次数和十倍的绿色LED闪烁次数之和。
同伴设备108可以使用由同伴设备108在交互404处产生的共享数据(也称为第一共享数据)，在交互420处产生另一共享信息或数据(也称为第二共享信息或数据)的转换。例如，同伴设备108可以使用在交互404处由同伴设备108产生的签名钥来加密其公钥。
同伴设备108可以在交互424处将其他共享数据(例如，第二共享数据)的转换发送到用户设备104。例如，同伴设备108可以在交互424处向用户设备104发送加密的公钥。用于发送加密公钥的通信信道可以是无线通信信道，例如Wi-Fi通信或近场通信(NFC)信道。在一些实施例中，用于在交互424处发送其它共享数据的转换的通信信道可以是可用于随后的安全数据传输的带内通信信道。
同伴设备104可以使用在交互416处提取的共享数据，在交互428处从其他共享数据的转换中提取其他共享数据(例如，第二共享数据)。用户设备104可以基于其它共享数据(例如，第二共享数据)在交互432处认证同伴设备108。例如，用户设备104可以使用在交互416处提取的签名钥在交互428处解密加密的公钥。用户设备104可以通过在交互432处验证解密的公钥和同伴设备108的公钥的一致性来认证同伴设备108。用户设备104可以从设备公钥存储库中获取同伴设备108的公钥。公钥加密技术(例如，Rivest Shamir-Adleman(RSA)加密)可被使用，其中每个设备(例如，用户设备104和同伴设备108)与公钥(可广泛传播)和私钥(保持安全且仅为当事方所知)相关联。公钥密码学是非对称密码学的一个例子，其中用于加密的钥不同于用于解密的钥。在其它实施例中，可使用其它非对称密码技术。认证后，用户设备104和同伴设备108可以安全地在彼此之间传输数据。
有利的是，同伴设备108不需要包括图像捕获设备或麦克风以用于用户设备104被认证同伴设备108。例如，同伴设备108可以是具有两个不同颜色的LED或者具有扬声器以用于带外通信的简单图腾。尽管图4示出了同伴设备108被认证到用户设备104，但是在一些实施例中，用户设备104可以使用图4所示的方法被认证到同伴设备108。
设备验证方法示例
图5示出了设备认证方法500的流程图。诸如头戴式显示器或可穿戴显示系统之类的设备可以实现该方法500。设备可以在框504处产生第一共享信息或数据。第一共享数据可以是共享秘密、共享钥或签名钥。在不同的实现方式中，产生第一个共享数据的设备可以是不同的。在一些实施例中，用户设备104可以产生第一共享数据。例如，用户设备104在交互204处产生第一共享数据。用户设备104可以在交互208处将第一共享数据发送到同伴设备108，同伴设备108可以在交互212处产生第一共享数据的转换，并且同伴设备108可以在交互216处将第一共享数据的转换发送到用户设备104。在一些实施例中，同伴设备108可以产生第一共享数据。例如，同伴设备108可以在交互308处产生第一共享数据。该设备可以经由第一通信信道将第一共享数据发送到另一设备。
设备可以在块508处从另一设备接收第一通信。第一通信可以由设备基于第一共享数据产生。第一通信可以包括视觉或光学通信(例如一维光学图案，例如条形码，或二维光学图案，例如快速响应(QR)码)、音频通信(例如，人耳听不见或超声)或其任何组合。第一共享数据可以包括口语短语(例如，字母数字短语)、口语短语的一个或多个谱特性、用户的生物测定信息或数据(例如，虹膜代码)或其任何组合。第一通信可以是第一共享数据的转换，并且可以通过带外通信信道、通过显式用户交互或非显式用户交互由设备接收。带外通信信道可以是用于发送视觉图案的视觉或光学通信信道，或者是用于发送音频信号的音频通信信道。在一些实施例中，同伴设备108可以接收第一通信。例如，用户设备104可以在交互作用208处将第一通信发送到同伴设备108，以及同伴设备108可以接收第一通信。用户设备104可以基于第一共享数据产生第一通信。在一些实施例中，用户设备104可以接收第一通信。例如，同伴设备108可以在交互312处产生第一共享数据的转换，可以在交互316处通信第一共享数据的转换，并且用户设备104可以接收第一共享数据的转换。
在块512处设备可以从第一通信提取第一共享数据。例如，第一个通信可以是视觉通信，例如视觉图案。该设备可以接收视觉通信的图像，并使用计算机视觉技术提取第一共享数据。作为另一示例，第一共享数据可以包括试图配对这两个设备的用户的口语短语，例如字母数字短语，或者口语短语的一个或多个谱性质。该设备可以通过语音识别技术获得口语短语中的短语。在一些实施例中，用户设备104可以在交互220处从接收到的变换中提取第一共享数据。在一些实施例中，用户设备104可以在交互320处从接收到的变换中提取第一共享数据。
语音识别技术可以基于机器学习，例如长短期记忆(LSTM)、循环神经网络(RNN)。语音识别技术可以基于隐马尔可夫模型(HMM)、基于动态时间规整(DTW)的语音识别、机器学习或端到端自动语音识别。语音识别的机器学习技术可以基于神经网络，如长短期记忆(LSTM)循环神经网络(RNN)、时延神经网络(TDNN)、深前向神经网络(DNN)或循环神经网络(RNN)。
计算机视觉技术的非限制性示例包括：尺度不变特征变换(SIFT)、加速稳健特征(SURF)、定向FAST和旋转BRIEF(ORB)、二值稳健不变可缩放关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、特征面方法、Lucas Kanade算法、Horn-Schunk算法、均值移动算法、视觉同步定位与映射(vSLAM)技术、序贯贝叶斯估计器(，如Kalman滤波器、扩展Kalman滤波器等)、束调整、自适应阈值化(及其他阈值化技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如支持向量机、k近邻算法、朴素贝叶斯、神经网络(包括卷积或深神经网络)或其他有监督/无监督模型等)等等。
附加或备选地，语音识别算法和计算机视觉算法可以通过各种机器学习算法来执行。一旦训练，机器学习算法可以由用户设备104存储。机器学习算法的一些示例可以包括有监督或无监督机器学习算法，包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类以及回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k-均值聚类)、关联规则学习算法(例如，a-先验算法)、人工神经网络算法(例如，感知机)、深度学习算法(例如，深Boltzmann机器或深神经网络)、降维算法(例如，主成分分析)、集成算法(例如，层叠泛化)和/或其他机器学习算法。在一些实施例中，可以为单个数据集定制单个模型。例如，可穿戴设备可以产生或存储基本模型。基本模型可以用作产生特定于数据类型(例如，在遥现会话中的特定用户)、数据集(例如，在遥现会话中获得的用户的附加图像集)、条件情况或其他变化的附加模型的起点。在一些实施例中，用户设备104可以被配置成利用多种技术来产生用于分析聚合数据的模型。其他技术可以包括使用预定义的阈值或数据值。
设备可以基于从第一共享数据的转换中提取的第一共享数据来认证另一设备。例如，设备可以验证在块504产生的第一共享数据和在块512提取的第一共享数据的一致性。如果验证了第一共享数据的一致性，则验证设备。在一些实施例中，用户设备104可以验证发送到同伴设备108的第一共享数据和随后由用户设备104提取的从同伴设备108接收的第一共享数据的一致性。
可选地，设备(例如，第一设备)可以从另一设备(例如，第二设备)接收第二通信。第二通信可以由第二设备基于第二共享信息或数据产生。第二共享数据可以由第二设备产生。第一设备可以从接收到的第二通信提取第二共享数据。第一设备可以将提取的第二共享数据发送到第二设备。在一些实施例中，第二设备可以接收提取的第二共享数据，并且基于所接收的提取的第二共享数据来认证第一设备。为了认证，第二设备可以验证提取的接收到的第二共享数据和产生的第二共享数据的一致性。
可选地或附加地，设备(例如，第一设备)可以可选地接收另一设备(例如，第二设备)的公钥，并通过第一通信信道接收第二设备的加密公钥。第一通信信道可以是无线通信信道，例如Wi-Fi通信信道或近场通信信道。第二设备的加密公钥可以由第二设备使用第一共享数据加密。第一设备可以使用第一共享数据解密第二设备的加密公钥以获得解密的公钥。在块516处，第一设备可以通过验证解密的公钥和第二设备的公钥的一致性来认证第二设备。
用户设备和两个同伴设备之间的设备验证示例
图6示出了根据一个实施例的设备认证。用户设备(UD)104可以认证两个或多个同伴设备，例如第一同伴设备(CD1)108a和第二同伴设备(CD2)108b。用户设备104可以是HMD、可穿戴显示系统、平板电脑、手机或移动设备。两个同伴设备108a、108b中的每一个都可以是图腾(例如，用作虚拟用户输入设备)、HMD、可穿戴显示系统、平板电脑、手机或移动设备。对于图腾，用户可以使用拇指与图腾的输入表面(例如触摸板)交互，并可以使用其他手指来握住图腾。下面参考图9-14描述HMD和图腾的示例。
用户设备104可以通过云604或接入点(ap)606与每个同伴设备108a、108b进行有线或无线通信。通信可以通过射频(RF)通信信道(例如WiFi、蓝牙等)。例如，用户设备104可以通过通信信道的实例608a连接到云604。作为另一示例，用户设备104可以通过通信信道的实例608b连接到接入点(ap)606，例如路由器。接入点612本身可以通过通信信道的实例608c连接到云604。同伴设备108a、108b可以通过云604通过通信信道的实例608d、608e彼此进行有线或无线通信。例如，同伴设备108a、108b可以彼此接近，并且通过通信信道的实例608d、608e通过接入点606连接到云604。在一个实施例中，为了认证，同伴设备108a、108b应该连接到相同的接入点606，以证明它们彼此接近。在一个实施例中，为了认证，用户设备104和同伴设备108a、108b必须连接到同一接入点，以证明它们彼此接近。有线或无线信道带宽内的通信可以表示三个设备之间的主通信信道(也称为第一通信信道)。
用户设备104和第一同伴设备108a(或第二同伴设备108b)也可以被配置成在第二、不同的通信信道(例如，光信道、声信道、近场通信(NFC)信道等)上通信。例如，用户设备104可以通过第二通信信道的实例612a与第一同伴设备108a通信，并且用户设备104可以通过第二通信信道的实例612b与第二同伴设备108b通信。类似地，第一同伴设备108a和第二同伴设备108b也可以被配置成在第二不同的通信信道上通信。例如，同伴设备108a、108b可以通过第二通信信道的实例612c彼此通信。这种通信可以称为带外(OOB)通信(以虚线表示)。
为了使用户设备104和同伴设备108a、108b彼此认证并安全地彼此通信，第一同伴设备108a可以以第一转换形式(例如，作为视觉图案或音频信号)通过第二通信信道的实例612a向用户设备104发送第一共享信息或数据。第一共享数据可以包括第一同伴设备108a的标识符(例如，第一同伴设备108a的地址，例如，第一同伴设备108a的因特网协议(IP)地址或媒体访问控制(MAC)地址)。第一共享数据还可以包括特定值(例如，值为1)的对比特(pair bit)(PB)，指示第一同伴设备108a可用于配对。第一同伴设备108a(或另一设备)可以以第一转换形式产生第一共享数据。在将第一转换形式的第一共享数据发送到用户设备104之前、同时或之后，第一同伴设备108a还可以使用第一通信信道的实例608d将第一共享数据发送到云604(例如，云604上的设备)，例如，以非转换形式或第一个转换形式以外的转换形式。在一个实施例中，发送到云604的第一共享数据还可以包括对比特。
类似地，第二同伴设备108b可以以第二转换形式(例如，作为视觉图案或音频信号)通过第二通信信道的实例612b向用户设备104发送第二共享信息或数据。第二共享数据可以包括第二同伴设备108b的标识符(例如，第二同伴设备108b的地址，例如，第二同伴设备108b的IP地址或MAC地址)。第二共享数据还可以包括特定值(例如，值为1)的对比特(PB)，指示第二同伴设备108b可用于配对。第二同伴设备108b(或另一设备)可以以第二转换形式产生第二共享数据。在将第二转换形式的第二共享数据发送到用户设备104之前、同时或之后，第二同伴设备108b还可以使用第一通信信道的实例608e将第二共享数据发送到云604(例如，云604上的设备)，例如，以非转换形式或第二转换形式以外的转换形式。在一个实施例中，发送到云604的第二共享数据还可以包括对比特。在一个实施例中，由第一同伴设备108a实现以第一转换形式产生第一共享数据的过程和由第二同伴设备108b实现以第二转换形式产生第二共享数据的过程是相同的。
在从第一同伴设备108a接收到第一转换形式的第一共享数据并且从第二同伴设备108b接收到第二转换形式的第二共享数据之后，用户设备104可以发送包括第一转换形式的第一共享数据、第二转换形式的第二共享数据以及用户设备104的标识符(例如，用户设备104的地址，例如，用户设备104的IP地址或MAC地址)的数据到云604(例如，云604上的设备)。云604上从第一同伴设备108a接收第一共享数据的设备、云604上从第二同伴设备108b接收第二共享数据的设备和云604上从用户设备104接收数据的设备可以是相同的设备。
云604上的设备可以验证从用户设备104和同伴设备108a、108b接收的数据的一致性。例如，云604上的设备可以使用从第一同伴设备108a接收到的第一共享数据来产生第一转换形式的第一共享数据的实例。云604上的设备可以验证从用户设备104接收到的第一转换形式的第一共享数据与其产生的第一个转换形式的第一共享数据一致。作为另一示例，云604上的设备可以使用从第二同伴设备108b接收到的第二共享数据产生第二转换形式中的第二共享数据的实例。云604上的设备可以验证从用户设备104接收到的第二转换形式中的第二共享数据与其产生的第二转换形式的第二共享数据一致。在一个实施例中，第一共享数据包括第一同伴设备108a的标识符，并且第二共享数据包括第二同伴设备108b的标识符。云604上的设备可以基于标识符(例如，设备的IP地址)来验证同伴设备108a、108b的接近度。在一个实施例中，云604上的设备可以基于标识符(例如，设备的IP地址)验证用户设备104和同伴设备108a、108b的接近程度。在验证所接收的数据的一致性之后，云604上的设备可以认证用户设备104和同伴设备108a、108b。
在对用户设备104和同伴设备108a、108b进行认证之后，云604上的设备可以产生用于用户设备104和同伴设备108a、108b彼此通信的第三共享信息或数据(例如，链路钥)。例如，云604上的设备可以使用第一通信信道的实例608d将第三共享数据发送到第一同伴设备108a。云604上的设备可以使用第一通信信道的实例608e将第三共享数据发送到第二同伴设备108b。云604上的设备可以使用第一通信信道的实例608a或实例608b向用户设备104发送第三共享数据。在接收到第三共享数据之后，用户设备104和同伴设备108a、108b可以加密用于彼此发送的数据或解密彼此接收的数据。
使用由两个同伴设备产生的视觉图案的示例设备身份验证
在一些实施例中，用户设备104和两个或多个同伴设备(例如，第一同伴设备108a和第二同伴设备108b)可以使用多个共享信息或数据彼此认证或配对。图7是示出使用由两个同伴设备108a、108b产生的视觉图案(或音频信号或变换)在用户设备104和两个同伴设备108a、108b之间的设备认证的交互图。在一个实施例中，第一同伴设备108a可以在交互704处使用视觉通信(例如，使用其显示器)或音频通信(例如，使用其扬声器)来指示其可配对状态。在接收到可配对状态之后，用户设备104可以启动其认证第一同伴设备108a的过程的部分。
第一同伴设备108a可以在交互708处产生信息或数据对象，例如第一视觉图案(FVP)。第一同伴设备108a可以使用第一同伴设备108a的地址(例如，第一同伴设备108a的因特网协议(IP)地址或媒体访问控制(MAC)地址)或第一同伴设备108a的标识符来产生第一视觉图案。在一个实施例中，第一同伴设备108a可以包括一个或多个地址或标识符。第一同伴设备108a可以在交互712处显示(或以其他方式使用非视觉图案或信号进行通信)第一视觉图案。第一视觉图案的这种显示可以被称为带外(OOB)通信。用户设备104可以在交互716处读取第一视觉图案(或接收视觉或非视觉图案或信号)。例如，用户设备104可以使用用户设备104的图像捕获设备捕获第一视觉图案。在交互716处读取第一视觉图案之后，用户设备104可以将第一视觉图案存储在其存储器中。例如，用户设备104可以临时存储第一视觉图案，直到认证过程完成。
第一同伴设备108a可以在交互720处将包括第一同伴设备108a的地址和特定值(例如，值为1)的对比特(PB)的数据发送到云604(例如，云604上的设备)。在一个实施例中，第一同伴设备108a可以在交互712处显示第一视觉图案之前在交互720处向云604上的设备发送数据。
在一个实施例中，第二同伴设备108b可以在交互724处使用视觉通信(例如，使用其显示器)或音频通信(例如，使用其扬声器)来指示其可配对状态。在接收到可配对状态之后，用户设备104可以启动其认证第二同伴设备108b的过程的部分。第二同伴设备108b可以在交互728处产生信息或数据对象，例如第二视觉图案(SVP)。第二同伴设备108b可以使用第二同伴设备108b的地址(例如，第二同伴设备108b的IP地址或MAC地址)或第二同伴设备108b的标识符来产生第二视觉图案。在一个实施例中，第二同伴设备108b可以包括一个或多个地址或标识符。
第二同伴设备108b可以在交互732处显示(或以其他方式使用非视觉图案或信号进行通信)第二视觉图案。第二视觉图案的这种显示可以被称为带外(OOB)通信。用户设备104可以在交互736处读取第二视觉图案(或接收视觉或非视觉图案或信号)。例如，用户设备104可以使用用户设备104的图像捕获设备捕获第二视觉图案。在交互736处读取第二视觉图案之后，用户设备104可以将第二视觉图案存储在其存储器中。例如，用户设备104可以临时存储第二视觉图案直到认证过程完成。第二同伴设备108b可以在交互740处将包括第二同伴设备108b的地址和特定值的对比特(PB)的数据发送到云604(例如，云604上的设备)。在一个实施例中，在交互732处显示第二视觉图案之前，第二同伴设备108b可以在交互740处向云604上的设备发送数据。在一个实施例中，由第一同伴设备108a实现的产生第一视觉图案的过程和由第二同伴设备108b实现的产生第二视觉图案的过程是相同的。
在读取第一同伴设备108a显示的第一视觉图案和第二同伴设备108b显示的第二视觉图案之后，用户设备104可以在交互744处发送包括第一视觉图案、第二视觉图案和用户设备104的地址或标识符(例如，用户设备104的IP地址或MAC地址)的数据到云604(例如，云604上的设备)。从第一同伴设备108a接收数据的云604上的设备、从第二同伴设备108b接收数据的云604上的设备和从用户设备104接收数据的云604上的设备可以是云604上的相同设备。
云604上的设备可以在交互748处验证从用户设备104和同伴设备108a、108b接收到的数据的一致性。例如，云604上的设备可以在交互720之后使用从第一同伴设备108a接收的第一同伴设备108a的地址来产生第一视觉图案。云604上的设备可以验证在交互744之后从用户设备104接收的第一视觉图案与其产生的第一视觉图案一致。作为另一示例，云604上的设备可以在交互720处从第一同伴设备108a接收第一视觉图案。云604上的设备可以验证在交互744之后从用户设备104接收到的第一视觉图案与在交互720之后从第一同伴设备108a接收到的第一视觉图案一致。
云604上的设备可以在交互740之后使用从第二同伴设备108b接收的第二同伴设备108b的地址来产生第二视觉图案。云604上的设备可以验证在交互744之后从用户设备104接收的第二视觉图案与其产生的第二视觉图案一致。作为另一示例，云604上的设备可以在交互740处从第二同伴设备108b接收第二视觉图案。云604上的设备可以验证在交互744之后从用户设备104接收到的第二视觉图案与在交互740之后从第二同伴设备108b接收到的第二视觉图案一致。
在认证用户设备104和同伴设备108a、108b之后，云604上的设备可以在交互752处产生链路钥(LK)。用户设备104和同伴设备108a、108b可以使用链路钥安全地彼此通信。云604上的设备可以在交互756a处将链路钥发送到第二同伴设备108b。云604上的设备可以在交互756b处将链路钥发送到第一同伴设备108a。云604上的设备可以在交互756c处将链路钥发送到用户设备104。在接收到链路钥后，用户设备104和同伴设备108a、108b可以使用链路钥加密用于相互发送的数据或解密彼此接收的数据。在一个实施例中，可以以固定的间隔(例如，每秒钟、分钟、小时或更多)重复上述的一些交互，以便产生新的链路钥。因此，用户设备104和同伴设备108a、108b可以使用新的链路钥安全地彼此通信。
使用云上一个或多个设备产生的可视图案的示例设备身份验证
在一些实施例中，用户设备104和两个或多个同伴设备(例如，第一同伴设备108a和第二同伴设备108b)可以使用云604上的设备部分产生的多个共享信息或数据彼此认证或配对。图8是示出使用至少部分由云604(例如，云604上的一个或多个设备)产生的视觉图案的用户设备104和两个同伴设备108a、108b之间设备认证的交互图。在一个实施例中，第一同伴设备108a可以在交互804处使用视觉通信(例如，使用其显示器)或音频通信(例如，使用其扬声器)来指示其可配对状态。在接收到可配对状态之后，用户设备104可以启动其认证第一同伴设备108a的过程的部分。
在交互808处，第一同伴设备108a可以向云604(例如，云604上的设备)发送包括第一同伴设备108a的地址和特定值(例如，值为1)的对比特(PB)的数据，指示第一同伴设备108a可用于配对。在接收到第一同伴设备108a的地址和对比特之后，云604上的设备可以在交互812处产生第一图案(FP)。在一个实施例中，云604上的设备可以使用第一同伴设备108a的地址产生第一图案。例如，第一图案可以是第一同伴设备108a的地址的散列(例如，安全散列算法(SHA)-2)。云604上的设备可以在交互816处将第一图案发送到第一同伴设备108a的设备108a。
第一同伴设备108a可以在交互820处产生信息或数据对象，例如第一视觉图案(FVP)。第一同伴设备108a可以使用接收到的第一图案产生第一视觉图案。在一个实施例中，第一同伴设备108a可以使用带外(OOB)通信信道来通信第一视觉图案。例如，第一同伴设备108a可以在交互824处显示(或以其他方式使用非视觉图案或信号进行通信)第一视觉图案。用户设备104可以在交互828处读取第一视觉图案(或接收与第一视觉图案对应的视觉或非视觉图案或信号)。例如，用户设备104可以使用用户设备104的图像捕获设备捕获第一视觉图案。在交互824处读取第一视觉图案之后，用户设备104可以将第一视觉图案存储在其存储器中。例如，用户设备104可以临时存储第一视觉图案直到认证过程完成。
在一个实施例中，第二同伴设备108b可以在交互832处使用视觉通信(例如，使用其显示器)或音频通信(例如，使用其扬声器)来指示其可配对状态。在接收到可配对状态之后，用户设备104可以启动其认证第二同伴设备108b的过程的部分。第二同伴设备108b可以在交互836处发送包括第二同伴设备108b的地址和特定值的对比特(PB)的数据，指示第二同伴设备108b可用于与云604(例如，云604上的设备)配对。在接收到第二同伴设备108b的地址和对比特之后，云604上的设备可以在交互840处产生第二图案(SP)。在一个实施例中，云604上的设备可以使用第二同伴设备108b的地址产生第二图案。例如，第二图案可以是第二同伴设备108b的地址的散列(例如，安全散列算法(SHA)-2)。云604上的设备可以在交互844处将第二图案发送到第二同伴设备108b。
第二同伴设备108b可以在交互848处产生信息或数据对象，例如第二视觉图案(SVP)。第二同伴设备108a可以使用接收到的第二图案产生第二视觉图案。在一个实施例中，第二同伴设备108b可以使用带外(OOB)通信信道来通信第二视觉图案。例如，第二同伴设备108b可以在交互852处显示(或以其他方式使用非视觉图案或信号进行通信)第二视觉图案。用户设备104可以在交互856处读取第二视觉图案(或接收与第二视觉图案对应的视觉或非视觉图案或信号)。例如，用户设备104可以使用用户设备104的图像捕获设备捕获第二视觉图案。在交互856处读取第二视觉图案之后，用户设备104可以将第二视觉图案存储在其存储器中。例如，用户设备104可以临时存储第二视觉图案直到认证过程完成。
在读取第一同伴设备108a在交互824处显示的第一视觉图案和第二同伴设备108b在交互852处显示的第二视觉图案之后，用户设备104可以在交互856处发送包括第一视觉图案、第二视觉图案以及用户设备104的地址或标识符(例如，用户设备104的IP地址或MAC地址)的数据到云604(例如，云604上的设备)。从第一同伴设备108a接收数据的云604上的设备、从第二同伴设备108b接收数据的云604上的设备和从用户设备104接收数据的云604上的设备可以是云604上的相同设备。
云604上的设备可以在交互864处验证从用户设备104和同伴设备108a、108b接收到的数据的一致性。例如，云604上的设备可以使用其产生的第一图案产生第一视觉图案。云604上的设备可以验证从用户设备104接收的第一视觉图案与其产生的第一视觉图案一致。云604上的设备可以使用其产生的第二图案产生第二视觉图案。云604上的设备可以验证从用户设备104接收的第二视觉图案与其产生的第二视觉图案一致。
在认证用户设备104和同伴设备108a、108b之后，云604上的设备可以在交互868处产生链路钥(LK)。用户设备104和同伴设备108a、108b可以使用链路钥安全地彼此通信。云604上的设备可以在交互872a处向第二同伴设备108b发送链路钥。云604上的设备可以在交互872b处向第一同伴设备108a发送链路钥。云604上的设备可以在交互872c处向用户设备104发送链路钥。在收到链路钥后，用户设备104和同伴设备108a、108b可以使用链路钥加密用于相互发送的数据或解密彼此接收的数据。在一个实施例中，可以以固定的间隔(例如，每秒钟、分钟、小时或更多)重复上述的一些交互，以便产生新的链路钥。因此，用户设备104和同伴设备108a、108b可以使用新的链路钥安全地彼此通信。
增强现实场景示例
现代计算和显示技术促进了所谓“虚拟现实”或“增强现实”体验系统的开发，其中数字再现的图像或其部分以看起来是真实的或可能被感知为真实的方式呈现给用户。虚拟现实“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其他实际的真实视觉输入没有透明度；增强现实“AR”场景通常涉及数字或虚拟图像信息的表示，作为对用户周围实际世界的可视化的增强；或混合现实的“MR”场景，通常涉及真实和虚拟世界的融合，以产生新的环境，其中物理和虚拟对象共存并实时交互。事实证明，人类的视觉感知系统非常复杂，在其他虚拟或现实世界的图像元素中产生促进舒适的、自然的感觉的、丰富的虚拟图像元素呈现的VR、VR、或MR技术是一项挑战。本文公开的系统和方法解决了与VR、AR和MR技术相关的各种挑战。
图9描绘了由人观看的具有特定虚拟现实对象和特定实际现实对象的增强现实场景的图示。图9描绘了增强现实场景900，其中AR技术的用户看到现实世界中的公园样场景910，特征为背景中有人、树、建筑物和混凝土平台920。除了这些项目之外，AR技术的用户还感知到他“看到”一个机器人雕像930站在真实世界平台920上，一个卡通样化身角色940(例如，大黄蜂)飞过，这似乎是大黄蜂的拟人化，尽管这些元素不存在于真实世界中。
为了使三维(3-D)显示器产生深度的真实感觉，更具体地说，产生表面深度的模拟感觉，显示器视野中的每个点都希望产生与其虚拟深度对应的调节响应。如果对显示点的调节响应不对应由会聚和立体视觉的双目深度提示所确定的该点的虚拟深度，则人眼可能会经历调节冲突，导致成像不稳定、有害的眼疲劳、头痛，并且在缺乏调节信息的情况下，几乎完全没有表面深度。
VR、AR和MR体验可由具有显示器的显示系统提供，其中向观看者提供与多个深度平面相对应的图像。对于每个深度平面，图像可以不同(例如，提供场景或对象的稍微不同的表示)，并且可以由观看者的眼睛分别聚焦，由此有助于基于使位于不同深度平面上的场景的不同图像特征聚焦所需的眼睛的调节，和/或基于观察失焦的在不同深度平面上的图像特征，向用户提供深度提示。如本文其他部分所讨论的，这种深度提示提供了对深度的可信感知。为了产生或增强VR、AR和MR体验，显示系统可以使用生物测定信息来增强这些体验。
可穿戴显示系统示例
图10示出了可穿戴显示系统1000的示例，该可穿戴显示系统1000可用于向显示系统佩戴者或观看者1004呈现VR、AR或MR体验。可穿戴显示系统1000可被编程以执行本文描述的任何应用或实施例。显示系统1000包括显示器1008以及支持显示器1008的功能的各种机械和电子模块和系统。显示器1008可以耦合到框架1012，该框架1012可由显示系统用户、佩戴者或观看者1004佩戴，并且被配置成将显示器1008定位在佩戴者1004的眼前。显示器1008可以是光场显示器。在一些实施例中，扬声器1016耦合到框架1012并定位在用户耳道附近。在一些实施例中，未示出的另一个扬声器被定位在用户的另一耳道附近，以提供立体声/可塑造的(shapeable)声音控制。显示器1008操作地耦合1020(例如通过有线引线或无线连接)到本地数据处理模块1024，本地数据处理模块1024可安装在各种配置中，例如固定地附着到框架1012、固定地附着到用户佩戴的头盔或帽子、嵌入在耳机中或以其他方式可移除地连接到用户1004(例如，以背包式配置、以皮带耦合式配置)。
框架1012可以具有附接或安装到框架1012的一个或多个相机以获得佩戴者的眼睛的图像。在一个实施例中，相机可以安装在佩戴者眼睛前面的框架1012上，以便眼睛可以被直接成像。在其他实施例中，相机可以沿着框架1012的杆(例如，靠近佩戴者的耳朵)安装。在这样的实施例中，显示器1008可以涂有从佩戴者的眼睛向相机反射光的材料。光线可能是红外光，因为虹膜特征在红外图像中很突出。
本地处理和数据模块1024可以包括硬件处理器以及非暂时性数字存储器，例如非易失性存储器(例如闪存)，两者都可以用于协助数据的处理、高速缓存和存储。数据可以包括(a)从诸如图像捕获设备(例如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪等传感器(例如，操作地耦合到框架1012或以其他方式连接到用户1004)捕获的数据；和/或(b)使用远程处理模块1028和/或远程数据存储库1032获取和/或处理的数据，可能用于在处理或检索之后传送到显示器1008。本地处理和数据模块1024可以通过通信链路1036和/或1040(例如经由有线或无线通信链路)操作地耦合到远程处理模块1028和远程数据存储库1032，使得这些远程模块1028、1032可用作本地处理和数据模块1024的资源。图像捕获设备可用于捕获在眼睛图像处理过程中使用的眼睛图像。此外，远程处理模块1028和远程数据存储库1032可以操作地彼此耦合。
在一些实施例中，远程处理模块1028可以包括一个或多个处理器，其被配置成分析和处理诸如由图像捕获设备捕获的视频信息之类的数据和/或图像信息。视频数据可以本地存储在本地处理和数据模块1024和/或远程数据存储库1032中。在一些实施例中，远程数据存储库1032可以包括数字数据存储设备，其可以通过因特网或“云”资源配置中的其他网络配置可用。在一些实施例中，在本地处理和数据模块1024中存储所有数据并执行所有计算，从而允许从远程模块完全自主地使用。
在一些实现中，本地处理和数据模块1024和/或远程处理模块1028被编程以执行如本文所述的系统和方法的实施例。图像捕获设备可以捕获用于特定应用的视频(例如，用于眼睛跟踪应用的佩戴者的眼睛的视频或用于手势识别应用的佩戴者的手或手指的视频)。视频可以由处理模块1024、1028中的一个或两个来分析。在某些情况下，将至少部分虹膜代码的产生卸载到远程处理模块(例如，在“云中”)可以提高计算的效率或速度。本文公开的系统和方法的参数可以存储在数据模块1024和/或1028中。
分析的结果可由处理模块1024、1028中的一个或两个用于附加操作或处理。例如，在各种应用中，可穿戴显示系统1000可以使用生物测定识别、眼睛跟踪、识别或手势、对象、姿势等的分类。例如，可穿戴显示系统1000可以分析穿戴者1004的手的捕获视频，并识别由穿戴者的手所做的手势(例如，拾取真实或虚拟对象、表示同意或反对(例如，“拇指向上”或“拇指向下”)等)和可穿戴显示系统。
人类的视觉系统是复杂的，提供真实的深度感知是一项挑战。在不受理论限制的情况下，人们相信，由于聚散(vergence)和调节(accommodation)的结合，观察对象的人可能会认为对象是三维的。两眼相对的聚散运动(例如，瞳孔向对方或远离对方的滚动运动，以使眼睛的视线集中到某个对象上)与眼睛镜片的聚焦(或“调节”)密切相关。在正常情况下，改变眼睛镜头的焦距，或调节眼睛以将焦点从一个对象改变到在不同距离处的另一个对象，将自动导致在称为“调节-聚散反射”的关系下的到相同距离的聚散匹配变化。在正常情况下，聚散的变化将触发相应的调节变化。显示系统提供更好的调节和聚散匹配，可以形成更真实或舒适的三维图像模拟。
图11示出了使用多个深度平面模拟三维图像的方法的各个方面。参照图11，在z轴上的距离眼睛1102和1104不同距离处的对象被眼睛1102和1104调节，使得这些对象处于焦点。眼睛1102和1104假定特定的调节状态以沿z轴在不同距离处聚焦对象。因此，可以说特定调节状态与具有相关联焦距的深度平面1106中的特定一个相关联，使得当眼睛处于该深度平面的调节状态时，特定深度平面中的对象或对象的部分处于焦点。在一些实施例中，三维图像可以通过为眼睛1102和1104中的每一个提供图像的不同表示来模拟，并且还可以通过提供对应于每个深度平面的图像的不同表示来模拟。虽然为了清楚说明被示为分开，但是将理解，例如，随着z轴的距离增加，眼睛1102和1104的视场可能重叠。此外，虽然为了便于说明而示为平面，但是应当理解，深度平面的轮廓可以在物理空间中弯曲，使得深度平面中的所有特征在特定调节状态下与眼睛聚焦。在不受理论限制的情况下，人们相信人眼通常可以解释有限数量的深度平面，以提供深度感知。因此，可以通过向眼睛提供与这些有限数量的深度平面中的每一个对应的图像的不同表示来实现对感知深度的高度可信的模拟。
波导叠层组件示例
图12示出了用于向用户输出图像信息的波导叠层的示例。显示系统1200包括波导叠层或层叠波导组件1205，其被用于使用多个波导1220、1222、1224、1226、1228向眼睛1210或大脑提供三维感知。在一些实施例中，显示系统1200可对应于图10的系统1000，图12示意性地更详细地示出该系统1000的某些部分。例如，在一些实施例中，波导组件1205可以集成到图10的显示器1008中。
继续参考图12，波导组件1205还可以包括波导之间的多个特征1230、1232、1234、1236。在一些实施例中，特征1230、1232、1234、1236可以是透镜。在一些实施例中，特征1230、1232、1234、1236可以不是透镜。相反，它们可以是间隔物(例如，用于形成气隙的包层和/或结构)。
波导1220、1222、1224、1226、1228和/或多个透镜1230、1232、1234、1236可以被配置成以不同水平的波前曲率或光线发散(divergence)的眼睛发送图像信息。每个波导层级可以与特定深度平面相关联，并且可以被配置成输出与该深度平面对应的图像信息。图像注入设备1240、1242、1244、1246、1248可用于将图像信息注入波导1220、1222、1224、1226、1228中，其中每一波导可被配置成将入射光分布在每个各自的波导上，以向眼睛1210输出。光离开图像注入设备1240、1242、1244、1246、1248的输出表面，并被注入到波导1220、1222、1224、1226、1228的相应输入边缘。在一些实施例中，可将单个光束(例如准直光束)注入每个波导中，以输出在与特定波导相关联的深度平面对应的特定角度(和发散量)处朝向眼睛1210的整个克隆准直光束场。
在一些实施例中，图像注入设备1240、1242、1244、1246、1242是分离的显示器，其分别产生用于注入相应波导1220、1222、1224、1226、1228中的图像信息。在一些其它实施例中，图像注入设备1240、1242、1246、1246、1248是单个多路复用显示器的输出端，该多路复用显示器可以例如经由一个或多个光导管(例如光纤光缆)将图像信息输送到图像注入设备1240、1242、1244、1246、1248中的每一个。
控制器1250控制层叠波导组件1205和图像注入设备1240、1242、1244、1246、1248的操作。在一些实施例中，控制器1250包括调整向波导1220、1222、1224、1226、1228提供的图像信息的定时和提供的编程(例如，在非临时计算机可读介质中的指令)。在一些实施例中，控制器1250可以是单个整体设备，或者通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器1250可以是处理模块1024或1028(如图10所示)的一部分。在一些实施例中，控制器可以与向内成像系统1252(例如，数码相机)、向外成像系统1254(例如，数码相机)和/或用户输入设备1266通信。向内成像系统1252(例如，数码相机)可用于捕获眼睛1210的图像以例如确定眼睛1210的瞳孔的大小和/或取向。外向成像系统1254可用于成像世界1256的一部分。用户可以经由用户输入设备1266向控制器1250输入命令以与显示系统1200交互。
波导1220、1222、1224、1226、1228可以被配置成通过全内反射(TIR)在每个各自的波导中传播光。波导1220、1222、1224、1226、1228可各自为平面或具有另一形状(例如，弯曲)，具有主顶面和底面以及在这些主顶面和底面之间延伸的边缘。在所示的配置中，波导1220、1222、1224、1226、1228可各自包括光提取光学元件1260、1262、1264、1266、1268，其被配置为通过重定向光、在各自的波导中传播、离开波导而从波导提取光从而输出图像信息到眼睛1210。提取的光也可以称为外耦合光，光提取光学元件也可以称为外耦合光学元件。在波导中传播的光入射光重定向元件的位置处，波导输出提取的光束。光提取光学元件(1260、1262、1264、1266、1268)例如可以是反射和/或衍射光学特征。虽然为了便于描述和附图清晰而被示出为设置在波导1220、1222、1224、1226、1228的底部主表面处，在一些实施例中，光提取光学元件1260、1262、1264、1266、1268可设置在顶部和/或底部主表面处，和/或可直接设置在波导1220、1222、1224、1226、1228的体积中。在一些实施例中，光提取光学元件1260、1262、1264、1266、1268可以形成在附连到用以形成波导1220、1222、1224、1226、1228的透明衬底的材料层中。在一些其它实施例中，波导1220、1222、1224、1226、1228可以是整块材料，并且可以在该块材料的表面和/或内部形成光提取光学元件1260、1262、1264、1266、1268。
继续参考图12，如本文所讨论的，每个波导1220、1222、1224、1226、1228被配置成输出光以形成对应于特定深度平面的图像。例如，最靠近眼睛的波导1220可以被配置成将注入到该波导1220中的准直光传送到眼睛1210。准直光可以代表光学无限远焦平面。下一波导向1222可被配置成发出在到达眼睛1210之前经过第一透镜1230(例如，负透镜)的准直光。第一透镜1230可被配置成产生轻微的凸波前曲率，以便眼睛/大脑将来自下一波导向1222的光解释为来自从光学无限远处更向内朝向眼睛1210的第一焦平面的光。类似地，第三上波导1224在其输出光到达眼睛1210之前将其输出光通过第一透镜1230和第二透镜1232。第一和第二透镜1230和1232的组合屈光度(optical power)可以被配置成创建波前曲率的另一个增量，以便眼睛/大脑将来自第三波导1224的光解释为来自第二焦平面的光，与来自下一波导1222的光相比，该第二焦平面从光学无限远处更向内朝向人。
其他波导层(例如，波导1226、1228)和透镜(例如，透镜1234、1236)的配置类似，叠层中最高的波导1228通过其与眼睛之间的所有透镜发送其输出，该所有透镜用于代表最接近人的焦平面的总光焦度。为了在当观看/解释来自在层叠波导组件1205的另一侧的世界1256光时补偿透镜1230、1232、1234、1236的叠层，可以在叠层的顶部设置补偿透镜层1238，以补偿下面透镜叠层1230、1232、1234、1236的总屈光度。这样的配置提供了尽可能多的可感知焦平面，因为有可用的波导/透镜对。波导1220、1222、1224、1226、1228的光提取光学元件1260、1262、1264、1264、1228和透镜1230、1232、1234、1236的聚焦方面都可以是静态的(例如，不是动态的或电活性的)。在一些替代实施例中，其中一个或两者都可以使用电有源特征而是动态的。
继续参考图12，可将光提取光学元件1260、1262、1264、1266、1268配置为将光从其各自的波导中重定向出来，并针对与波导相关联的特定深度平面以适当的发散量或准直度输出该光。结果，具有不同关联深度平面的波导可以具有根据关联的深度平面输出具有不同发散量的光的光提取光学元件的不同配置。在一些实施例中，如本文所讨论的，光提取光学元件1260、1262、1264、1266、1268可以是体积或表面特征，其可以被配置成以特定角度输出光。例如，光提取光学元件1260、1262、1264、1266、1268可以是体积全息图、表面全息图和/或衍射光栅。光提取光学元件，例如衍射光栅，在2015年6月25日公开的第2015/0178939号美国专利公开中进行了描述，通过引用将其全部并入本文中。在一些实施例中，特征1230、1232、1234、1236、1238可以不是透镜。相反，它们可能只是间隔物(例如，用于形成气隙的包层和/或结构)。
在一些实施例中，光提取光学元件1260、1262、1264、1266、1268是形成衍射图案的衍射特征、或“衍射光学元件”(在此也称为“DOE”)。优选地，DOE具有相对较低的衍射效率，使得仅光束的一部分光在与DOE的每个交叉点处向眼睛1210偏转出，而其余的光通过全内反射继续移动通过波导。因此，携带图像信息的光被分成多个相关的出射光束，其在多个位置离开波导，并且结果是对于这种在波导内反射的这种特定的准直光束的相当均匀的超向眼睛1210的出射发射模式。
在一些实施例中，一个或多个DOE可以在它们主动衍射的“开”状态和它们不明显衍射的“关”状态之间切换。例如，可切换的DOE可包括聚合物分散液晶层，其中微滴包含主介质中的衍射图案，微滴的折射率可以被切换以与主体材料的折射率基本匹配的(在这种情况下，图案没有明显的衍射入射光)，或者微滴可以被切换为与主体介质的折射率不匹配的位置(在这种情况下，图案主动衍射入射光)。
在一些实施例中，深度平面和/或景深的数量和分布可以基于观看者的瞳孔尺寸和/或眼睛的取向而动态地改变。在一些实施例中，内向成像系统1252(例如，数码相机)可用于捕获眼睛1210的图像以确定眼睛1210的瞳孔的大小和/或方向。在一些实施例中，向内成像系统1252可以附接到框架1012(如图10所示)，并且可以与处理来自向内成像系统1252的图像信息的处理模块1024和/或1028进行电通信，以确定例如用户1004的瞳孔直径或的眼睛的取向。
在一些实施例中，向内成像系统1252(例如，数码相机)可以观察用户的运动，例如眼睛运动和面部运动。向内成像系统1252可用于捕获眼睛1210的图像以确定眼睛1210的瞳孔的大小和/或取向。向内成像系统1252可用于获取用于确定用户正在看的方向(例如，眼姿势)或用于对用户进行生物测定识别(例如，通过虹膜识别)的图像。可分析由内向成像系统1252获得的图像以确定用户的眼睛姿势和/或心情，显示系统1200可使用这些来确定应向用户呈现哪些音频或视频内容。显示系统1200还可以使用诸如惯性测量单元(IMU)、加速度计、陀螺仪等传感器来确定头部姿势(例如，头部位置或头部取向)。头部姿势可以单独使用或与眼睛姿势结合使用，以与茎轨道(stem track)交互和/或呈现音频内容。
在一些实施例中，可以为每只眼睛使用一个照相机，以单独确定每只眼睛的瞳孔尺寸和/或取向，从而允许向每只眼睛的图像信息的呈现动态地适应该眼睛。在一些实施例中，可为每只眼睛使用至少一个照相机，以分别独立地确定每只眼睛的瞳孔尺寸和/或眼睛姿势，从而允许向每只眼睛图像信息的呈现动态地适应该眼睛。在一些其它实施例中，确定并假设仅单个眼睛1210的瞳孔直径和/或取向(例如，每对眼睛仅使用单个照相机)对于观看者1004的双眼而言是相似的。
例如，景深可能与观看者的瞳孔尺寸成反比。结果，随着观看者眼睛瞳孔的尺寸减小，景深增加，使得因为一个平面的位置超出了眼睛的焦点深度而不可辨别的该平面变得可辨别，并且随着瞳孔尺寸的减小和景深的相应增加而显得更加合焦(in focus)。同样，用于向观看者呈现不同图像的间隔深度平面的数量可以随着瞳孔尺寸的减小而减少。例如，如果不调整眼睛从一个深度平面到另一个深度平面的调节，观看者可能无法在一个瞳孔尺寸处清楚地感知第一深度平面和第二深度平面的细节。然而，这两个深度平面可以在不改变调节的情况下，在另一瞳孔尺寸同时对用户足够合焦。
在一些实施例中，显示系统可以基于瞳孔尺寸和/或取向的确定，或者基于接收指示特定瞳孔尺寸和/或取向的电信号来改变接收图像信息的波导的数量。例如，如果用户的眼睛无法区分与两个波导相关联的两个深度平面，则控制器1250可以被配置或编程为停止向这些波导之一提供图像信息。有利的是，这可以减少对系统的处理负担，从而增加系统的响应性。在用于波导的DOE在打开和关闭状态之间可切换的实施例中，当波导接收到图像信息时，DOE可被切换到关闭状态。
在一些实施例中，可能希望使一个出射光束满足直径小于观看者眼睛直径的条件。然而，鉴于观察者瞳孔尺寸的变化，满足这种条件可能是一个挑战。在一些实施例中，通过响应于观看者瞳孔的尺寸的确定来改变出射光束的大小，在宽范围的瞳孔尺寸上满足该条件。例如，随着瞳孔尺寸减小，出射光束的尺寸也可能减小。在一些实施例中，出射光束尺寸可以使用可变孔径来改变。
显示系统1200可以包括向外成像系统1254(例如，数字相机)，其成像世界1256的一部分。世界1256的该部分可被称为视场(FOV)，并且成像系统1254有时被称为FOV照相机。可由观看者1004观看或成像的整个区域可被称为观测场(FOR)。FOR可以包括围绕显示系统1200的4π球面度的立体角。在显示系统1200的一些实现中，FOR可以包括围绕显示系统1200的用户1004的基本上所有的立体角，因为用户1004可以移动其头部和眼睛来观察围绕用户的对象(在用户的前面、后面、上面、下面或侧面)。从向外成像系统1254获得的图像可用于跟踪用户所做的姿势(例如手或手指姿势)，检测用户前面的世界1256中的对象等。
显示系统1200可以包括用户输入设备1266，通过该用户输入设备，用户可以向控制器1250输入命令以与显示系统400交互。例如，用户输入设备1266可以包括轨迹板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、定向板(D-pad)、棒(wand)、触觉设备、图腾(例如，用作虚拟用户输入设备)等等。在某些情况下，用户可以使用手指(例如拇指)按压或滑动触摸敏感输入设备以向显示系统1200提供输入(例如，向显示系统1200提供的用户界面提供用户输入)。在使用显示系统1200期间，用户输入设备1266可以被用户的手保持。用户输入设备1266可以与显示系统1200进行有线或无线通信。
图13示出了由波导输出的出射光束的例子。图示了一个波导，但是可以理解波导组件1205中的其他波导可以类似地操作，其中波导组件1205包括多个波导。光1305在波导1220的输入边缘1310处被注入到波导1220中，并通过全内反射(TIR)在波导1220内传播。在光1305入射衍射光学元件(DOE)1260的点处，光的一部分作为出射光束1315离开波导。出射光束1315被示为基本平行，但是它们也可以被重定向以一角度(例如，形成发散的出射光束)传播到眼睛1210，这取决于与波导1220相关联的深度平面。可以理解的是，基本平行的出射光束可以指示具有光提取光学元件的波导，该光学元件将光耦合出以形成好像在距离眼睛1210的大距离(例如，光学无穷大)处的深度平面上被设置的图像。其它波导或其他光提取光学元件组可输出更发散的出射光束图案，这将需要眼睛1210调节到更近的距离以将其对焦到视网膜上，并且将由大脑解释为比光学无穷远更接近眼睛1210的距离的光。
图14示出了显示系统1200的另一示例，该显示系统1200包括波导设备、用以光耦合光到或从波导设备耦合光的光耦合器子系统、以及控制子系统。显示系统1200可用于产生多焦点体积(volumetric)、图像或光场。显示系统1200可以包括一个或多个主平面波导1404(图14中仅示出一个)和与至少一些主波导1404中的每一个相关联的一个或多个do1408。平面波导1404可以类似于参照图12讨论的波导1220、1222、1224、1226、1228。光学系统可采用分布波导设备，以沿第一轴(在图14的视图中垂直或Y轴)中继光，并沿第一轴(例如Y轴)扩展光的有效出瞳。例如，分布波导设备可以包括分布平面波导1412和与分布平面波导1412相关联的至少一个DOE 1416(用双点划线表示)。分布平面波导1412可以在至少一些方面与主平面波导1404相似或相同，并且具有与主平面波导1404不同的取向。同样，至少一个DOE 1416可以在至少一些方面与DOE 1408相似或相同。例如，分布平面波导1412和/或DOE 1416可以分别由与主平面波导1404和/或DOE 1408相同的材料组成。图14所示的光学系统可以集成到图10所示的可穿戴显示系统1000中。
中继且出瞳扩展的光从分布波导设备被光耦合到一个或多个主平面波导1404中。主平面波导1404沿第二轴(优选地与第一轴正交)(例如，图14的水平或X轴)中继光。值得注意的是，第二轴可以是第一轴的非正交轴。主平面波导1404沿第二轴(例如，X轴)扩展光的有效出射路径。例如，分布平面波导1412可以沿垂直或Y轴中继和扩展光，并将该光传递到主平面波导1404，该主平面波导沿水平或X轴中继和扩展光。
显示系统1200可以包括一个或多个彩色光源(例如，红色、绿色和蓝色激光)1420，它们可以光学耦合到单模光纤1424的近端。光纤1424的远端可以穿过压电材料的中空管1428或被接收。远端从管1428突出为固定-自由(fixed-free)柔性悬臂1432。压电管1428可与四象限电极相关联(未示出)。例如，电极可镀在管1428的外表面、外表面或外周或外径上。芯电极(未示出)也位于管1428的芯、中心、内周边或内径中。
驱动电子器件1436，例如通过电线1440电耦合，驱动相对的电极对，以使压电管1428在两个轴上独立弯曲。光纤1424的突出远端具有机械共振模式。共振频率可取决于光纤1424的直径、长度和材料特性。通过在光纤悬臂梁1432的第一机械共振模式附近振动压电管1428，使光纤悬臂梁1432振动，并且能够扫过大偏转。
通过激励两轴的共振，在一个区域填充二维扫描中，双向扫描光纤悬臂1432的尖端进行。通过与光纤悬臂1432的扫描同步地调制光源1420的强度，从光纤悬臂1432发出的光形成图像。美国专利公开2014/0003762中提供了此类设置的说明，该出版物通过引用并入本文中。
光耦合器子系统的组件1444准直从扫描光纤悬臂梁1432发出的光。准直光通过反射面1448反射到包含至少一个衍射光学元件(DOE)1416的窄分布平面波导1412中。准直光通过全内反射沿分布平面波导1412垂直(相对于图14的视图)传播，并且在这样做时反复与DOE 1416相交。DOE 1416优选地具有低衍射效率。这使得一部分光(例如，10％)在与DOE1416的每个交叉点处向较大的主平面波导1404的边缘衍射，并且一部分光通过TIR沿着其原始轨迹沿着分布平面波导1412的长度继续。
在与DOE 1416的每个交叉点处，附加光向主波导1412的入口衍射。通过将入射光分成多个外耦合组，光的出射光瞳由分布平面波导1412中的DOE 1416垂直扩展。该耦合出分布平面波导1412的垂直扩展的光进入主平面波导1404的边缘。
进入主波导1404的光经由TIR沿主波导1404水平(相对于图14的视图)传播。当光通过TIR沿主波导1404的长度的至少一部分水平传播时，在多个点处与DOE 1408相交。DOE1408可以有利地设计或配置为具有线性(linear)衍射图案和径向对称衍射图案的总和的相位分布，以产生光的偏转和聚焦。DOE 1408可以有利地具有低衍射效率(例如，10％)，使得在DOE 1408的每个交叉点处，只有光束的一部分被偏转朝向视眼，而其余的光继续经由TIR通过波导1404传播。
在传播光和DOE 1408之间的每个交叉点处，一部分光向主波导1404的相邻面衍射，从而允许光逃离TIR，并从主波导1404的面显现。在一些实施例中，DOE 1408的径向对称衍射图案额外地向衍射光赋予聚焦水平(focus level)，这两个都成形单个光束的光波前(例如，提供曲率)，并且以与设计聚焦水平相匹配的角度控制光束。
相应地，通过在不同的角度、聚焦水平处的DOE1408的多样性，和/或在出瞳上产生不同的填充图案，这些不同的路径可以使光耦合出主平面波导1404。在出瞳处的不同填充图案可以有益地用于创建具有多个深度平面的光场显示器。波导组件中的每一层或叠层中的一组层(例如，3层)可用于产生各自的颜色(例如，红色、蓝色、绿色)。因此，例如，可以使用三个相邻层的第一组来分别在第一焦深处产生红光、蓝光和绿光。三个相邻层的第二组可用于在第二焦深处分别产生红光、蓝光和绿光。可以使用多个组来以产生具有不同焦深的全3D或4D彩色图像光场。
附加方面
在第1方面中，公开了一种头戴式显示系统。头戴式显示系统包括：存储可执行指令的非暂时性计算机可读存储介质；以及与非暂时性计算机可读存储介质通信的处理器，处理器由可执行指令编程以：从第一设备接收包括第一数据对象的第一通信，其中第一通信至少部分地基于第一共享数据产生，其中第一设备被配置成将第一共享数据发送到第三设备；从第二设备接收包括第二数据对象的第二通信，其中，第二通信至少部分地基于第二共享数据产生，其中，第二设备被配置成将第二共享数据发送到第三设备；将第一数据对象和第二数据对象发送到第三设备，其中，第三设备被配置成至少部分地基于来自第一设备的第一共享数据、来自第二设备的第二共享数据、来自头戴式显示系统的第一数据对象和来自头戴式显示系统的第二数据对象认证头戴式显示系统、第一设备和第二设备；以及从第三设备接收包括第三数据对象的第三通信，其中第三数据对象指示第三设备已成功地认证了头戴式显示系统、第一设备和第二设备。
在第2方面，方面1的头戴式显示系统，其中第三设备通过云与头戴式显示系统、第一设备和第二设备通信。
在第3方面中，在方面1-2中的任一方面的头戴式显示系统，其中处理器通过可执行指令被进一步编程，以将头戴式显示系统的标识符发送到第三设备。
在第4方面，方面4的头戴式显示系统，其中，第三设备至少部分地基于头戴式显示系统的标识符来认证头戴式显示系统、第一设备和第二设备。
在第5方面中，在方面3-4中的任一方面的头戴式显示系统，其中第三数据对象包括加密钥。
在第6方面中，在方面1-5中的任一方面的头戴式显示系统，其中第一通信由第一设备产生。
在第7方面中，在方面1-6中的任一方面的头戴式显示系统，其中第二通信由第二设备产生。
在第8方面中，在方面1-7中的任一方面的头戴式显示系统，其中，为了认证头戴式显示系统、第一设备、和第二设备，第三设备被配置为：基于第一共享数据产生第一数据对象；验证第三设备产生的第一数据对象与来自头戴显示系统的第一数据对象的一致性；基于第二共享数据产生第二数据对象；验证第三设备产生的第二数据对象与来自头戴显示系统的第二数据对象的一致性。
在第9方面中，在方面1-8中的任一方面的头戴式显示系统，其中第一通信由第一设备至少部分地基于第一数据产生，其中第一数据由第三设备至少部分地基于第一共享数据产生。
在第10方面，方面9的头戴式显示系统，其中第二通信由第二设备基于至少部分第二数据产生，其中第二数据由第三设备基于至少部分第二共享数据产生。
在第11方面中，方面10的头戴式显示系统，其中为了认证头戴式显示系统、第一设备和第二设备，第三设备被配置为：基于第一数据产生第一数据对象；验证第三设备产生的第一数据对象与来自头戴显示系统的第一数据对象的一致性；基于第二数据产生第二数据对象；验证第三设备产生的第二数据对象与来自头戴显示系统的第二数据对象的一致性。
在第12方面中，方面1-11中的任一方面的头戴式显示系统，其中第一共享数据包括第一设备的标识符，并且其中第二共享数据包括第二设备的标识符。
在第13方面中，方面12的头戴式显示系统，其中第一设备的标识符包括第一设备的地址，并且其中第二设备的标识符包括第二设备的地址。
在第14方面中，方面13的头戴式显示系统，其中第一设备的地址和第二设备的地址中的至少一个包括第一设备的因特网协议(IP)地址、第一设备的媒体访问控制(MAC)地址或其组合。
在第15方面中，在方面12-14中的任一方面的头戴式显示系统，其中第一设备的标识符唯一地标识第一设备，并且其中第二设备的标识符唯一地标识第二设备。
在第16方面中，在方面1-15中的任一方面的头戴式显示系统，其中第一共享数据和第二共享数据中的至少一个包括口语短语。
在第17方面中，方面16的头戴式显示系统，其中所述口语短语包括字母数字短语。
在第18方面中，方面1-17中任一方面的头戴式显示系统，其中第一共享数据和第二共享数据中的至少一个包含口语短语的一个或多个谱特性。
在第19方面中，在方面1-18中的任一方面的头戴式显示系统，其中第一共享数据和第二共享数据中的至少一个包括用户的生物测定数据。
在第20方面中，在方面1-19中的任一方面的头戴式显示系统，其中第一通信和第二通信中的至少一个包括光通信。
在第21方面中，方面20的头戴式显示系统，其中光通信包括一维图案、二维光学图案或其组合。
在第22方面中，在方面1-21中的任一方面的头戴式显示系统，其中第一通信和第二通信中的至少一个包括音频通信。
在第23方面中，方面22的头戴式显示系统，其中音频通信对人耳是听不见的。
在第24方面中，方面22的头戴式显示系统，其中音频通信是超声的。
在第25方面中，方面1-24中的任何一个的头戴式显示系统，其中通过无线通信信道接收第一通信、第二通信和第三通信中的至少一个的。
在第26方面中，方面25的头戴式显示系统，其中无线通信信道包括Wi-Fi通信信道、近场通信(NFC)信道或其组合。
在第27方面中，方面1-26中任一方面的头戴式显示系统，其中第一设备或第二设备包括另一头戴式显示系统、头戴式显示系统、图腾、手机、平板电脑、移动设备或其任何组合中的至少一个。
在第28方面中，在方面1-27中的任一方面的头戴式显示系统，其中第一设备和第二设备通过接入点连接到第三设备。
在第29方面中，在方面1-28中的任一方面的头戴式显示系统，其中第一设备、第二设备和头戴式显示系统通过接入点连接到第三设备。
在第30方面中，在方面1-29中的任一方面的头戴式显示系统，其中处理器由可执行指令被进一步编程以：通知头戴式显示系统的用户第三设备已成功地认证了头戴式显示器。
在第31方面中，方面30的头戴式显示系统，其中为了通知头戴式显示系统的用户，该处理器被编程为：使用显示器通知头戴式显示系统的用户第三设备已经成功地认证了头戴式显示器。
在第32方面中，在方面30-31中的任一方面的头戴式显示系统，其中为了通知用户头戴式显示系统，该处理器编程为：使显示器修改显示给用户的用户界面，以通知头戴式显示器系统的用户第三个设备已成功验证了头戴式显示器。
在第33方面中，在方面30-32中的任一方面的头戴式显示系统，其中为了通知头戴式显示器的用户，该处理器被编程为：使用头戴式显示系统的扬声器通知头戴式显示器的用户第三设备已成功地认证了头戴式显示器。
在第34方面中，公开了一种可穿戴显示系统。可穿戴显示系统包括：显示器；图像捕获设备，其被配置为捕获同伴设备的图像；非暂时性计算机可读存储介质，其被配置为存储同伴设备的图像和可执行指令；以及与图像捕获设备和非暂时性计算机可读存储介质通信的处理器，该处理器由可执行指令编程以：接收由图像捕获设备捕获的同伴设备显示的第一光学图案的第一图像，其中，第一光学图案由同伴设备基于第一共享数据产生；从接收的第一图像中的第一光学图案提取第一数据；以及基于从第一光学图案提取的第一数据认证同伴设备。
在第35方面中，方面34的可穿戴显示系统，其中处理器被进一步编程为：产生第一共享数据；以及经由第一通信信道将第一共享数据发送到同伴设备。
在第36方面中，方面34-35中的任一方面的可穿戴显示系统，其中，为了认证同伴设备，该处理器被编程为：验证第一数据和第一共享数据的一致性。
在第37方面中，方面34-36中任一方面的可穿戴显示系统，其中处理器进一步编程为：接收由图像捕获设备捕获的同伴设备显示的第二光学图案的第二图像，其中，第二光学图案由同伴设备基于第二共享数据产生，并且其中第二共享数据由同伴设备产生；从接收到的第二图像中的第二光学图案提取第二数据；并且经由第一通信信道将第二数据发送到同伴设备。
在第38方面中，方面37的可穿戴显示系统，其中同伴设备被编程为：从可穿戴显示系统接收第二数据；并且基于接收到的第二数据来认证可穿戴显示系统。
在第39方面中，方面38的可穿戴显示系统，其中为了认证可穿戴显示系统，同伴设备被编程为：验证接收的第二数据和第二共享数据的一致性。
在第40方面中，方面34-39中任一方面的可穿戴显示系统，其中第一共享数据由同伴设备产生。
在第41方面中，方面34-40中任一方面的可穿戴显示系统，其中处理器进一步编程为：接收同伴设备的公钥；通过第一通信信道接收同伴设备的加密公钥，其中，同伴设备的加密公钥由同伴设备使用第一共享数据加密；并且使用第一共享数据解密同伴设备的加密公钥以获得解密的公钥。
在第42方面中，方面41的可穿戴显示系统，其中，为了认证同伴设备，处理器被编程为：验证解密的公钥和同伴设备的公钥的一致性。
在第43方面中，方面34-42中任一方面的可穿戴显示系统，其中第一通信信道是无线通信信道。
在第44方面中，方面43的可穿戴显示系统，其中无线通信信道包括Wi-Fi通信信道或近场通信(NFC)信道。
在第45方面中，方面34-44中任一方面的可穿戴显示系统，其中，所述同伴设备包括另一可穿戴显示系统、头戴式显示系统、图腾、手机、平板电脑、移动设备或其任何组合中的至少一个。
在第46方面中，方面34-45中的任何一个的可穿戴显示系统，其中处理器由可执行指令进一步编程以：通知可穿戴显示系统的用户同伴设备已被认证。
在第47方面中，方面46的可穿戴显示系统，其中，为了通知可穿戴显示系统的用户，该处理器被编程为：使用显示器通知可穿戴显示系统的用户同伴设备被认证。
在第48方面中，在方面46-47中的任一方面的可穿戴显示系统，其中，为了通知可穿戴显示系统的用户，处理器被编程为：使显示器修改显示给用户的用户界面，以通知可穿戴显示系统的用户同伴设备已被认证。
在第49方面中，在方面46-48中的任一方面的可穿戴显示系统，其中，为了通知可穿戴显示系统的用户，处理器被编程为使用可穿戴显示系统的扬声器通知可穿戴显示系统的用户同伴设备已被认证。
在第50方面中，公开了一种用于设备认证的方法。该方法在硬件处理器的控制下并包括：通过通信信道接收数据对象；接收由同伴设备显示的光学图案的图像，其中，同伴设备使用共享数据产生光学图案；从接收图像中的光学图案中提取第一数据；使用第一数据产生数据对象的转换；并且经由通信信道将数据对象的转换发送到同伴设备用于认证。
在第51方面中，方面50的方法，其中数据对象包括质询文本。
在第52方面中，方面50-51中任一方面的方法，其中数据对象的转换包括使用第一数据产生的数据对象的散列。
在第53方面中，方面50-52中任一方面的方法，其中数据对象的转换包括使用第一数据产生的加密数据对象。
在第54方面中，方面50-53中任一方面的方法，其中第一数据包括共享数据。
在第55方面中，方面50-54中任一方面的方法，其中为了认证，同伴设备被配置为：使用共享数据产生数据对象的转换；接收数据对象的转换；以及验证接收到的数据对象转换与产生的数据对象转换的一致性。
在第56方面中，公开了一种头戴式显示系统。头戴式显示系统包括：显示器；存储可执行指令的非暂时性计算机可读存储介质；以及与非暂时性计算机可读存储介质通信的处理器，该处理器由可执行指令编程以：从设备接收第一通信，其中第一通信由设备基于第一共享信息产生；从第一通信中提取第一信息；以及基于从第一通信中提取的第一信息对设备进行认证。
在第57方面中，方面56的头戴式显示系统，其中第一通信包括光通信。
在第58方面中，方面57的头戴式显示系统，其中光通信包括一维图案、二维光学图案或其组合。
在第59方面中，在方面56-58中的任一方面的头戴式显示系统，其中第一通信包括音频通信。
在第60方面中，方面59的头戴式显示系统，其中音频通信对人耳是听不见的。
在第61方面中，方面59的头戴式显示系统，其中音频通信是超声的。
在第62方面中，在方面56-61中的任一方面的头戴式显示系统，其中第一共享信息包括口语短语。
在第63方面中，方面62的头戴式显示系统，还包括配置成捕获所述口语短语的麦克风，其中处理器进一步编程为：接收所述口语短语。
在第64方面中，方面63的头戴式显示系统，其中设备的麦克风被配置成接收所述口语短语。
在第65方面中，在方面62-64中的任一方面的头戴式显示系统，其中所述口语短语包括字母数字短语。
在第66方面中，在方面56-65中的任一方面的头戴式显示系统，其中第一共享信息包括口语短语的一个或多个谱特性。
在第67方面中，在方面56-66中的任一方面的头戴式显示系统，其中第一共享信息包括用户的生物测定信息。
在第68方面中，方面67的头戴式显示系统，其中处理器进一步编程为：提取用户的生物测定信息。
在第69方面中，在方面56-68中的任一方面的头戴式显示系统，其中处理器进一步编程为：产生第一共享信息；以及经由第一通信信道将第一共享信息发送到设备。
在第70方面中，在方面56-69中的任一方面的头戴式显示系统，其中为了认证设备，处理器被编程为：验证第一信息和第一共享信息的一致性。
在第71方面中，在方面56-70中的任一方面的头戴式显示系统，其中处理器进一步编程为：从设备接收第二通信，其中第二通信由设备基于第二共享信息产生，并且其中第二共享信息由设备产生；从接收到的第二通信中提取第二信息；以及经由第一通信信道将第二共享信息发送到设备。
在第72方面中，方面71的头戴式显示系统，其中该设备被编程为：从头戴式显示系统接收第二信息；并且基于接收到的第二信息认证头戴式显示系统。
在第73方面中，方面72的头戴式显示系统，其中，为了验证头戴式显示系统，该设备被编程为：验证接收到的第二信息和产生的第二共享信息的一致性。
在第74方面中，在方面56-73中的任一方面的头戴式显示系统，其中第一共享信息由该设备产生。
在第75方面中，在方面56-74中的任一方面的头戴式显示系统，其中处理器进一步编程为：接收设备的公钥；通过第一通信信道接收设备的加密公钥，其中，设备的加密公钥由设备使用第一共享信息加密；以及使用第一共享信息解密设备的加密公钥以获得解密的公钥。
在第76方面中，方面75的头戴式显示系统，其中，为了验证设备，处理器被编程为：验证解密的公钥和设备的公钥的一致性。
在第77方面中，在方面56-76中的任一方面的头戴式显示系统，其中第一通信信道是无线通信信道。
在第78方面中，方面77的头戴式显示系统，其中无线通信信道包括Wi-Fi通信信道、近场通信(NFC)信道或其组合。
在第79方面中，方面56-78中任一方面的头戴式显示系统，其中该设备包括另一头戴式显示系统、头戴式显示系统、图腾、手机、平板电脑、移动设备或其任何组合中的至少一个。
在第80方面中，在方面56-79方面中的任一方面的头戴式显示系统，其中处理器被进一步编程以通知头戴式显示系统的用户设备已被认证
在第81方面中，方面80的头戴式显示系统，其中，为了通知头戴式显示系统的用户，处理器被编程为使用显示器通知头戴式显示系统的用户设备已被认证。
在第82方面中，在方面80-81方面中的任一方面的头戴式显示系统，其中，为了通知头戴式显示系统的用户，处理器被编程为：使显示器修改显示给用户的用户界面，以通知头戴式显示系统的用户设备已被认证。
在第83方面中，在方面80-82中的任一方面的头戴式显示系统，其中，为了通知头戴式显示系统的用户，处理器被编程为使用头戴式显示系统的扬声器通知头戴式显示系统的用户同伴设备已被认证。
结论
这里描述和/或附图中描述的每个过程、方法和算法可以被体现在由一个或多个物理计算系统、硬件计算机处理器、特定于应用的电路执行的代码模块中，并且可以完全或部分自动化，和/或体现在配置成执行特定计算机指令的电子硬件中。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如服务器)或专用计算机、专用电路等。代码模块可以编译并链接到可执行程序中，也可以安装在动态链接库中，或者可以用解释性编程语言编写。在一些实现中，特定的操作和方法可以由特定于给定功能的电路来执行。
此外，本公开的功能的某些实现在数学上、计算上或技术上足够复杂，因此可能需要特定于应用程序的硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行该功能，例如，由于所涉及的计算的量或复杂性，或者实质上实时地提供结果。例如，视频可以包括许多帧，每个帧具有数百万像素，并且需要专门编程的计算机硬件来处理视频数据，以便在商业上合理的时间量内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，例如包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、相同和/或类似的组合的物理计算机存储器。方法和模块(或数据)也可以作为产生的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)在各种计算机可读传输介质(包括基于无线和基于线/缆的介质)上传输，并且可以采取多种形式(例如，作为单个或多路复用的模拟信号的一部分，或作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其他方式存储在任何类型的非暂时的、有形的计算机存储中，或者可以通过计算机可读传输介质来传送。
本文中描述和/或附图中描述的流程图中的任何过程、块、状态、步骤或功能应理解为潜在地表示代码模块、段或代码部分，其包括用于实现特定功能或过程中的步骤的一个或多个可执行指令(例如逻辑或算术指令)。各种过程、块、状态、步骤或功能可以组合、重新排列、添加、删除、修改或以其他方式从本文提供的说明性示例中改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的部分或全部功能。本文所描述的方法和过程也不限于任何特定顺序，并且与之相关的块、步骤或状态可以在适当的其它顺序中执行，例如，以串行、并行或其它方式。任务或事件可以添加到所公开的示例实施例中或从中移除。此外，本文描述的实现中的各种系统部件的分离是为了说明目的，不应理解为在所有实现中都需要这种分离。应当理解，所描述的程序部件、方法和系统通常可以集成在单一计算机产品中，或者打包成多个计算机产品。许多实现变体是可能的。
过程、方法和系统可以在网络(或分布式)计算环境中实现。网络环境包括企业范围的计算机网络、内部网、局域网(LAN)、广域网(WAN)、个人区域网(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或任何其他类型的通信网络。
本公开的系统和方法各有若干创新方面，创新方面中没有单个方面单独负责或要求本公开公开的期望属性。这里描述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合都旨在落入本公开的范围。对于本领域技术人员来说，对本公开中描述的实现的各种修改可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文定义的一般原则可以应用于其他实现。因此，权利要求不限于本文所示的实现，而是应被赋予与本公开、本文所公开的原理和新颖特性一致的最宽范围。
本说明书中在独立的实现方式的上下文中描述的某些特性也可以在单个实现方式中组合实现。相反，在单个实现方式的上下文中描述的各种特征也可以单独在多个实现方式中或在任何合适的子组合中实现。此外，尽管上述特征可以被描述为在某些组合中起作用，甚至最初是这样声称的，但是在某些情况下，可以从所声称的组合中除去来自组合的一个或多个特征，并且所声称的组合可以被指向子组合或子组合的变体。对于每个和每个实施例，没有单个特征或特征组是必要的或必不可少的。
本文中使用的条件语言，例如，除其他外，“能够”、“能”、“可”、“可以”、“例如”等，除非特别地另有说明，或在所使用的上下文中以其他方式理解，通常意在传达某些实施例包括，而其他实施例不包括，某些特征、要素和/或步骤。因此，这样的条件语言一般不旨在暗示一个或多个实施例以任何方式需要特征、元素和/或步骤，或者一个或多个实施例必然包括用于在有或无作者输入或提示的情况下决定是否这些特征、要素和/或步骤在任何特定实施例中被包括或执行的逻辑。术语“包括”、“包含”、“具有”等是同义词，并且以开放的方式被包括地使用，并且不排除额外的要素、特征、动作、操作等。此外，术语“或”在其包容性意义上(而不是在其排他性意义上)被使用，因此当用于例如连接要素列表时，术语“或”意味着列表中的一个、一些或所有元素。此外，除非另有规定，否则本申请和所附权利要求中使用的条款“一”、“一个”和“该”应解释为“一个或多个”或“至少一个”。
如本文所用，提及项目列表中“的至少一个”的短语是指这些项目的任何组合，包括单个成员。例如，“A、B或C”中的“至少一个”意欲涵盖：A、B、C、A和B、A和C、B和C以及A、B和C。除非另有特别说明，诸如短语“X、Y和Z中的至少一个”之类的连接语言在通常使用的上下文中被另外的理解以表达项、术语等是X、Y或Z中的至少一个。因此，这样的连接语言通常并不意味着某些实施例要求X中的至少一个、Y中的至少一个和Z中的至少一个存在。
类似地，虽然可以在附图中以特定顺序描述操作，但是应当认识到，不需要按照所示的特定顺序或次序执行这些操作，或者不需要执行所有示出的操作，以获得期望的结果。此外，附图可以示意性地以流程图的形式描绘一个以上的示例处理。然而，未描述的其他操作可并入示意性地示出的示例方法和过程中。例如，可以在所示的任何操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实现中，可以重新排列或重新排序操作。在某些情况下，多任务和并行处理可能是有利的。此外，不应将上述实现中的各种系统组件的分离理解为在所有实现中都需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包成多个软件产品。另外，其他实现也在以下权利要求的范围内。在某些情况下，可以按照不同的顺序执行权利要求中所述的动作，并且仍然能够获得理想的结果。

Claims (71)

1.一种头戴式显示系统，包括：
显示器；
存储可执行指令的非暂时性计算机可读存储介质；以及
与所述非暂时性计算机可读存储介质通信的处理器，所述处理器由所述可执行指令编程以：
通过第一通信信道从第一设备接收第一通信以认证所述第一设备与所述头戴式显示系统之间的第一连接，其中所述第一通信包括与第一共享数据相关的第一数据，其中所述第一设备被配置成将所述第一共享数据发送到云上的设备；
将所述第一数据发送到所述云上的设备，其中，所述云上的设备被配置成至少部分地基于来自所述第一设备的所述第一共享数据与所述第一数据的第一比较认证所述第一连接，其中，所述第一比较至少部分基于所述第一共享数据与所述第一数据之间的一致性的验证；
从所述云上的设备接收所述第一设备与所述头戴式显示系统之间的所述第一连接的成功认证的确认，其中，所述第一设备与所述云上的设备是不同的设备；以及
响应于接收到所述第一连接的成功认证的所述确认，
允许通过所述第一设备和所述头戴式显示系统之间的第二通信信道的数据的双向通信，其中所述第一通信信道和所述第二通信信道是不同的，以及
通知所述头戴式显示系统的用户所述云上的设备已成功认证所述第一设备和所述头戴式显示器系统之间的所述第一连接。
2.根据权利要求1所述的头戴式显示系统，其中，所述云上的设备通过所述云与所述头戴式显示系统和所述第一设备通信。
3.根据权利要求1所述的头戴式显示系统，其中所述处理器由所述可执行指令进一步编程，以将所述头戴式显示系统的标识符发送到所述云上的设备。
4.根据权利要求3所述的头戴式显示系统，其中所述云上的设备至少部分基于所述头戴式显示系统的所述标识符来认证所述头戴式显示系统和所述第一设备。
5.根据权利要求3所述的头戴式显示系统，其中所述确认包括加密钥。
6.根据权利要求1所述的头戴式显示系统，其中所述第一通信由所述第一设备产生。
7.根据权利要求1所述的头戴式显示系统，其中所述第一通信由所述第一设备至少部分地基于所述第一数据产生，其中所述第一数据由所述云上的设备至少部分地基于所述第一共享数据产生。
8.根据权利要求1所述的头戴式显示系统，其中所述第一共享数据包括所述第一设备的标识符。
9.根据权利要求8所述的头戴式显示系统，其中所述第一设备的标识符包括所述第一设备的地址。
10.根据权利要求9所述的头戴式显示系统，其中所述第一设备的所述地址包括所述第一设备的因特网协议IP地址、所述第一设备的媒体访问控制MAC地址或其组合。
11.根据权利要求8所述的头戴式显示系统，其中所述第一设备的所述标识符唯一地标识所述第一设备。
12.根据权利要求1所述的头戴式显示系统，其中所述第一共享数据包含口语短语。
13.根据权利要求12所述的头戴式显示系统，其中所述口语短语包括字母数字短语。
14.根据权利要求1所述的头戴式显示系统，其中所述第一共享数据包含所述短语的一个或多个谱特性。
15.根据权利要求1所述的头戴式显示系统，其中所述第一共享数据包含所述用户的生物测定数据。
16.根据权利要求1所述的头戴式显示系统，其中所述第一通信包括光通信。
17.根据权利要求16所述的头戴式显示系统，其中所述光通信包括一维图案、二维光学图案或其组合。
18.根据权利要求1所述的头戴式显示系统，其中所述第一通信包括音频通信。
19.根据权利要求18所述的头戴式显示系统，其中所述音频通信对人耳是听不见的。
20.根据权利要求18所述的头戴式显示系统，其中所述音频通信为超声的。
21.根据权利要求1所述的头戴式显示系统，其中所述第一设备包括另一头戴式显示系统、图腾、手机、平板电脑、移动设备或其任何组合中的至少一个。
22.根据权利要求1所述的头戴式显示系统，其中所述第一设备通过接入点连接到所述云上的设备。
23.根据权利要求1所述的头戴式显示系统，其中所述第一设备以及所述头戴式显示系统经由接入点连接至所述云上的设备。
24.根据权利要求1所述的头戴式显示系统，其中，为了通知所述头戴式显示系统的用户，所述处理器被编程为：使用所述显示器通知所述头戴式显示系统的用户所述云上的设备已成功认证所述第一设备与所述头戴式显示系统之间的所述第一连接。
25.根据权利要求1所述的头戴式显示系统，其中，为了通知所述头戴式显示系统的用户，所述处理器被编程为：使所述显示器修改显示给所述用户的用户界面，以通知所述头戴式显示系统的用户所述云上的设备已成功认证所述第一设备与所述头戴式显示系统之间的所述第一连接。
26.根据权利要求1所述的头戴式显示系统，其中，为了通知所述头戴式显示系统的用户，所述处理器被编程为：使用所述头戴式显示系统的扬声器通知所述用户所述云上的设备已成功认证所述第一设备与所述头戴式显示系统之间的所述第一连接。
27.一种可穿戴显示系统，包括：
显示器；
图像捕获设备，其被配置成捕获同伴设备的图像；
非暂时性计算机可读存储介质，配置成存储同伴设备的图像和可执行指令；以及
与所述图像捕获设备和所述非暂时性计算机可读存储介质通信的处理器，该处理器由所述可执行指令编程以：
使用所述图像捕获设备捕获所述同伴设备显示的第一光学图案的第一图像，其中，所述第一光学图案由所述同伴设备产生并与第一共享数据相关，以及其中，所述同伴设备被配置为将所述第一共享数据发送到云上的设备；
从所述第一图像中的所述第一光学图案提取第一数据并将所述第一数据发送到所述云上的设备；
从所述云上的设备接收所述可穿戴显示系统与所述同伴设备之间的第一连接的成功认证的确认，其中所述确认至少部分基于从所述第一光学图案提取的所述第一数据与从所述同伴设备发送到所述云上的设备的第一共享数据的比较，以及其中，所述第一比较至少部分基于所述第一共享数据与所述第一数据之间的一致性的验证；以及
响应于接收到所述同伴设备与所述头戴式显示系统之间的所述第一连接的成功认证的所述确认，其中，所述同伴设备与所述云上的设备是不同的设备，
允许通过所述同伴设备和所述头戴式显示系统之间的通信信道的数据的双向通信，以及
通知所述可穿戴显示系统的用户所述同伴设备与所述可穿戴显示系统之间的所述第一连接已被认证。
28.根据权利要求27所述的可穿戴显示系统，其中所述处理器进一步编程为：
将所述第一共享数据发送到所述云上的设备。
29.根据权利要求27所述的可穿戴显示系统，其中所述处理器进一步编程为：
使用所述图像捕获设备捕获所述同伴设备显示的第二光学图案的第二图像，其中所述第二光学图案由所述同伴设备至少部分基于第二共享数据产生；
从接收的第二图像中的所述第二光学图案提取第二数据；以及
通过第一通信信道将所述第二数据发送到所述云上的设备。
30.根据权利要求27所述的可穿戴显示系统，其中所述第一共享数据由所述同伴设备产生。
31.根据权利要求27所述的可穿戴显示系统，其中所述处理器进一步编程为：
接收所述同伴设备的公钥；
通过第一通信信道接收所述同伴设备的加密的钥，其中所述同伴设备的加密的钥由所述同伴设备使用所述第一共享数据加密；以及
使用所述第一共享数据解密所述同伴设备的所述加密的钥，以获得解密的钥。
32.根据权利要求31所述的可穿戴显示系统，其中，为了认证所述同伴设备与所述可穿戴显示系统之间的所述连接，所述处理器被编程为：
验证所述解密的钥与所述同伴设备的所述钥的一致性。
33.根据权利要求27所述的可穿戴显示系统，其中所述同伴设备包括另一可穿戴显示系统、头戴式显示系统、图腾、手机、平板电脑、移动设备或其任何组合中的至少一个。
34.根据权利要求27所述的可穿戴显示系统，其中，为了通知所述可穿戴显示系统的用户，所述处理器被编程为使用所述显示器通知所述可穿戴显示系统的所述用户，所述同伴设备与所述可穿戴显示系统之间的所述连接被认证。
35.根据权利要求27所述的可穿戴显示系统，其中，为了通知所述可穿戴显示系统的所述用户，所述处理器被编程为：使所述显示器修改显示给所述用户的用户界面，以通知所述可穿戴显示系统的所述用户所述同伴设备与所述可穿戴显示系统之间的所述连接被认证。
36.根据权利要求27所述的可穿戴显示系统，其中，为了通知所述可穿戴显示系统的所述用户，所述处理器被编程为使用所述可穿戴显示系统的扬声器通知所述可穿戴显示系统的所述用户，所述同伴设备与所述可穿戴显示系统之间的所述连接被认证。
37.一种用于设备认证的方法，包括：
在硬件处理器的控制下：
从同伴设备通过第一通信信道接收与第一共享数据相关的第一数据；
访问由所述同伴设备显示的光学图案的图像，其中，所述光学图案由所述同伴设备产生并与所述第一共享数据相关；
从所述图像的所述光学图案提取所述第一共享数据；
使用所述第一共享数据产生所述第一数据的转换；以及
将所述数据对象的所述转换发送到云上的设备用于认证，以便所述云上的设备能够认证可穿戴显示系统和所述同伴设备之间的连接，其中，所述认证至少部分基于所述第一共享数据和所述第一数据之间的一致性的验证，所述同伴设备与所述云上的设备是不同的设备；以及
响应于从所述云上的设备接收所述连接的成功认证的确认，允许通过所述同伴设备和所述可穿戴显示系统之间的第二通信信道的数据的双向通信，其中所述第一通信信道和所述第二通信信道是不同的。
38.根据权利要求37所述的方法，其中所述第一数据包括质询文本。
39.根据权利要求37所述的方法，其中所述第一数据的转换包括使用所述第二数据产生的所述第一共享数据的散列。
40.根据权利要求37所述的方法，其中所述第一数据的转换包括使用所述第二数据产生的加密数据。
41.根据权利要求37所述的方法，其中所述第一共享数据包括所述第一数据。
42.根据权利要求37所述的方法，其中为了认证，所述同伴设备被配置为：
使用所述第一共享数据产生所述第一数据的转换；
接收所述第一数据的所述转换；以及
验证接收到的转换与产生的的转换的一致性。
43.一种头戴式显示系统，包括：
显示器；
存储可执行指令的非暂时性计算机可读存储介质；以及
与所述非暂时性计算机可读存储介质通信的处理器，所述处理器由所述可执行指令编程以：
通过第一通信信道从设备接收第一通信以认证所述设备与所述头戴式显示系统之间的第一连接，其中所述第一通信至少部分基于第一共享信息产生，其中所述设备被配置为将所述第一共享信息发送到云上的设备；
从所述第一通信中提取第一信息；
向所述云上的设备发送所述第一信息，其中所述云上的设备被配置至少部分基于所述第一共享信息与所述第一信息之间的比较来认证所述设备与所述头戴式显示系统之间的连接，其中所述比较至少部分地基于所述第一共享信息与所述第一信息之间的一致性的验证；
从所述云上的设备接收所述设备与所述头戴式显示系统之间的所述连接的成功认证的确认，其中，所述设备和所述云上的设备是不同的设备；以及
响应于接收到所述设备与所述头戴式显示系统之间的所述连接的成功认证的所述确认，
允许通过所述第一设备和所述头戴式显示系统之间的第二通信信道的数据的双向通信，其中所述第一通信信道和所述第二通信信道是不同的，以及
通知所述头戴式显示系统的用户所述设备与所述头戴式显示系统之间的所述连接被认证。
44.根据权利要求43所述的头戴式显示系统，其中所述第一通信包括光通信。
45.根据权利要求44所述的头戴式显示系统，其中所述光通信包括一维图案、二维光学图案或其组合。
46.根据权利要求43所述的头戴式显示系统，其中所述第一通信包括音频通信。
47.根据权利要求46所述的头戴式显示系统，其中所述音频通信对人耳是听不见的。
48.根据权利要求46所述的头戴式显示系统，其中所述音频通信为超声的。
49.根据权利要求43所述的头戴式显示系统，其中所述第一共享信息包括口语短语。
50.根据权利要求49所述的头戴式显示系统，还包括配置成捕获所述口语短语的麦克风，其中所述处理器进一步编程为：
接收所述口语短语。
51.根据权利要求49所述的头戴式显示系统，其中所述口语短语包括字母数字短语。
52.根据权利要求43所述的头戴式显示系统，其中所述第一共享信息包括口语短语的一个或多个谱特性。
53.根据权利要求43所述的头戴式显示系统，其中所述第一共享信息包括用户的生物测定信息。
54.根据权利要求53所述的头戴式显示系统，其中所述处理器进一步编程为：
提取所述用户的生物特征信息。
55.根据权利要求43所述的头戴式显示系统，其中所述处理器进一步编程为：
通过所述第一通信信道从所述设备接收第二通信以认证所述设备与所述头戴式显示系统之间的第二连接，其中所述第二通信至少部分基于第二共享信息产生，其中所述设备被配置为将所述第二共享信息发送到所述云上的设备；
从所述第二通信提取第二信息；以及
将所述第二共享信息发送到所述设备。
56.根据权利要求55所述的头戴式显示系统，其中所述设备被编程为：
从所述头戴式显示系统接收所述第二信息；
接收所述设备与所述头戴式显示系统之间的所述第二连接的认证的确认。
57.根据权利要求43所述的头戴式显示系统，其中所述第一共享信息由所述设备产生。
58.根据权利要求43所述的头戴式显示系统，其中所述处理器进一步编程为：
接收所述设备的公钥；
接收所述设备的加密的钥，其中所述设备使用所述第一共享信息对所述设备的加密的钥进行加密；以及
使用所述第一共享信息解密所述设备的加密的钥，以获得解密的钥。
59.根据权利要求58所述的头戴式显示系统，其中，为了认证设备，所述处理器被编程为：
验证所述解密的钥和所述设备的所述公钥的一致性。
60.根据权利要求43所述的头戴式显示系统，其中所述设备包括另一头戴式显示系统、图腾、手机、平板电脑、移动设备或其任何组合中之至少一个。
61.根据权利要求43所述的头戴式显示系统，其中，为了通知所述头戴式显示系统的所述用户，所述处理器被编程为使用所述显示器通知所述头戴式显示系统的所述用户所述头戴式显示系统与所述设备之间的所述连接被认证。
62.根据权利要求43所述的头戴式显示系统，其中，为了通知所述头戴式显示系统的用户，所述处理器被编程为：使所述显示器修改显示给所述用户的用户界面，以通知所述头戴式显示系统的所述用户所述头戴式显示系统与所述设备之间的所述连接被认证。
63.根据权利要求43所述的头戴式显示系统，其中，为了通知所述头戴式显示系统的所述用户，所述处理器被编程为使用所述头戴式显示系统的扬声器通知所述头戴式显示系统的所述用户所述头戴式显示系统与所述设备之间的所述连接被认证。
64.根据权利要求1所述的头戴式显示系统，其中，所述第一通信信道包括带外通信信道，并且所述第二通信信道包括带内通信信道。
65.根据权利要求64所述的头戴式显示系统，其中，所述带外通信信道与光信道、声信道或近场通信NFC信道相关联，并且所述带内通信信道与射频RF信道相关联。
66.根据权利要求27所述的头戴式显示系统，其中，所述通信信道包括带内通信信道。
67.根据权利要求66所述的头戴式显示系统，其中，所述带内通信信道与射频RF信道相关联。
68.根据权利要求37所述的头戴式显示系统，其中，所述第一通信信道包括带外通信信道，并且所述第二通信信道包括带内通信信道。
69.根据权利要求68所述的头戴式显示系统，其中，所述带外通信信道与光信道、声信道或近场通信NFC信道相关联，并且所述带内通信信道与射频RF信道相关联。
70.根据权利要求43所述的头戴式显示系统，其中，所述第一通信信道包括带外通信信道，并且所述第二通信信道包括带内通信信道。
71.根据权利要求70所述的头戴式显示系统，其中，所述带外通信信道与光信道、声信道或近场通信NFC信道相关联，并且所述带内通信信道与射频RF信道相关联。
CN201880033535.5A 2017-05-22 2018-05-17 与同伴设备配对 Active CN110678891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311470919.2A CN117615380A (zh) 2017-05-22 2018-05-17 与同伴设备配对

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762509427P 2017-05-22 2017-05-22
US62/509,427 2017-05-22
PCT/US2018/033242 WO2018217542A1 (en) 2017-05-22 2018-05-17 Pairing with companion device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311470919.2A Division CN117615380A (zh) 2017-05-22 2018-05-17 与同伴设备配对

Publications (2)

Publication Number Publication Date
CN110678891A CN110678891A (zh) 2020-01-10
CN110678891B true CN110678891B (zh) 2023-11-14

Family

ID=64271914

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880033535.5A Active CN110678891B (zh) 2017-05-22 2018-05-17 与同伴设备配对
CN202311470919.2A Pending CN117615380A (zh) 2017-05-22 2018-05-17 与同伴设备配对

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311470919.2A Pending CN117615380A (zh) 2017-05-22 2018-05-17 与同伴设备配对

Country Status (9)

Country Link
US (3) US10955662B2 (zh)
EP (2) EP3631734B1 (zh)
JP (3) JP7080249B2 (zh)
KR (2) KR102532191B1 (zh)
CN (2) CN110678891B (zh)
AU (1) AU2018271790A1 (zh)
CA (1) CA3059789A1 (zh)
IL (2) IL270564B (zh)
WO (1) WO2018217542A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7080249B2 (ja) 2017-05-22 2022-06-03 マジック リープ， インコーポレイテッド コンパニオンデバイスとのペアリング
US10373332B2 (en) * 2017-12-08 2019-08-06 Nvidia Corporation Systems and methods for dynamic facial analysis using a recurrent neural network
CA3087150A1 (en) * 2018-01-05 2019-07-11 Xirgo Technologies, Llc Secured pairing of video capture device and mobile device
US20210406903A1 (en) * 2018-10-05 2021-12-30 Nec Corporation Accounting system, accounting processing method, and recording medium
US10957341B2 (en) * 2018-12-28 2021-03-23 Intel Corporation Ultrasonic attack detection employing deep learning
KR20200102132A (ko) 2019-02-21 2020-08-31 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2022059099A (ja) * 2019-02-25 2022-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
FR3095707B1 (fr) 2019-05-01 2022-06-03 Eric Fouchard Procédé de sécurisation d’une communication et dispositif correspondant.
CN112217633A (zh) * 2019-07-12 2021-01-12 上海交通大学 基于高频声音信号的安全密钥提取方法
US11265721B1 (en) * 2019-08-20 2022-03-01 Facebook Technologies, Llc Secure device attestation and mutual authentication of artificial reality devices
EP4028862A1 (en) * 2019-09-09 2022-07-20 Apple Inc. Multimodal inputs for computer-generated reality
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11251980B2 (en) * 2020-01-22 2022-02-15 Motorola Mobility Llc Electronic devices and corresponding methods for verifying device security prior to use
EP4111400A4 (en) * 2020-02-28 2024-02-28 Verifone Inc DIGITAL COMPARISON BLUETOOTH PAIRING SYSTEMS, METHODS AND DEVICES
CN114077448A (zh) * 2020-08-11 2022-02-22 深圳云天励飞技术股份有限公司 数据管理方法及相关设备
US20220114248A1 (en) * 2020-10-09 2022-04-14 Google Llc Device access using a head-mounted device
US20230074864A1 (en) * 2021-09-08 2023-03-09 Honeywell International Inc. Pairing with an aspirating smoke detector device
US20220104025A1 (en) * 2021-12-09 2022-03-31 Intel Corporation Second factor authentication for iot devices
US11849259B1 (en) * 2022-07-16 2023-12-19 Vmware, Inc. Enterprise metaverse management

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6046712A (en) * 1996-07-23 2000-04-04 Telxon Corporation Head mounted communication system for providing interactive visual communications with a remote system
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
JP2009135688A (ja) 2007-11-29 2009-06-18 Fujitsu Ten Ltd 認証方法、認証システムおよび車載装置
US8908043B2 (en) * 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP6185844B2 (ja) 2010-12-24 2017-08-30 マジック リープ， インコーポレイテッド 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
US9345957B2 (en) 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US10151875B2 (en) 2013-01-15 2018-12-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
DE102013201027A1 (de) * 2013-01-23 2014-07-24 Bundesdruckerei Gmbh Verfahren zur Authentisierung eines Nutzers gegenüber einem Automat
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
EP2974095B1 (en) * 2013-03-12 2020-06-17 Nipro diagnostics, Inc. Wireless pairing of personal health device with a computing device
NZ751602A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9760785B2 (en) * 2013-05-08 2017-09-12 Jpmorgan Chase Bank, N.A. Systems and methods for high fidelity multi-modal out-of-band biometric authentication
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
JP6178112B2 (ja) * 2013-05-15 2017-08-09 株式会社Ｈｄｅ 認証サーバ、認証システム及びプログラム
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9077693B2 (en) 2013-09-23 2015-07-07 Netflix, Inc. Securely connecting control device to target device
EP3058418B1 (en) 2013-10-16 2023-10-04 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
WO2015065922A1 (en) * 2013-10-28 2015-05-07 Dexcom, Inc. Devices used in connection with continuous analyte monitoring that provide the user with one or more notifications, and related methods
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
KR102268462B1 (ko) 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9621645B2 (en) 2013-12-30 2017-04-11 Google Inc. Device pairing via a cloud server
US10334650B2 (en) * 2014-01-29 2019-06-25 Yodel Code LLC Automatic peer selection in a field of common peers
EP3100098B8 (en) 2014-01-31 2022-10-05 Magic Leap, Inc. Multi-focal display system and method
EP4071537A1 (en) 2014-01-31 2022-10-12 Magic Leap, Inc. Multi-focal display system
US20150248702A1 (en) * 2014-03-03 2015-09-03 Ebay Inc. Proximity-based visual notifications
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20150117543A (ko) * 2014-04-10 2015-10-20 삼성전자주식회사 인증 관리 방법 및 장치
US20150324568A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
US10095394B2 (en) * 2014-09-02 2018-10-09 Apple Inc. Image display and interaction using a mobile device
US9756491B2 (en) * 2014-11-14 2017-09-05 Zen-Me Labs Oy System and method for social sensor platform based private social network
JP6300705B2 (ja) * 2014-11-19 2018-03-28 キヤノン株式会社 装置連携による認証管理方法、情報処理装置、ウェアラブルデバイス、コンピュータプログラム
KR20160059765A (ko) * 2014-11-19 2016-05-27 삼성전자주식회사 전자 장치의 디스플레이 방법 및 장치
KR20160066728A (ko) * 2014-12-03 2016-06-13 삼성전자주식회사 생체 정보를 저장하는 nfc 패키지 및 전자 기기
CA2968051C (en) 2014-12-22 2020-07-14 University Of South Florida Systems and methods for authentication using multiple devices
KR102193699B1 (ko) * 2014-12-31 2020-12-21 엘지전자 주식회사 근거리 무선 통신을 이용하여 이동 단말기와 연동하는 헤드셋
US10091197B2 (en) * 2015-01-16 2018-10-02 Digimarc Corporation Configuring, controlling and monitoring computers using mobile devices
US9565176B2 (en) 2015-03-10 2017-02-07 Citrix Systems, Inc. Multiscreen secure content access
US20160275518A1 (en) * 2015-03-19 2016-09-22 ecoATM, Inc. Device recycling systems with facial recognition
KR20160132302A (ko) * 2015-05-09 2016-11-17 삼성전자주식회사 물리적 접근 제한을 이용한 장치들 사이의 키 공유 방법
US10425392B2 (en) 2015-08-05 2019-09-24 Facebook, Inc. Managing a device cloud
US9871546B2 (en) * 2015-09-11 2018-01-16 Panasonic Intellectual Property Corporation Of America Wearable terminal mountable on part of body of user
US10269234B2 (en) * 2015-10-21 2019-04-23 Mutualink, Inc. Wearable smart gateway
US9622180B1 (en) * 2015-12-23 2017-04-11 Intel Corporation Wearable device command regulation
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
JP7080249B2 (ja) 2017-05-22 2022-06-03 マジック リープ， インコーポレイテッド コンパニオンデバイスとのペアリング

Also Published As

Publication number Publication date
KR102532191B1 (ko) 2023-05-12
JP2020521201A (ja) 2020-07-16
AU2018271790A1 (en) 2019-11-07
US10955662B2 (en) 2021-03-23
JP7080249B2 (ja) 2022-06-03
EP3631734A1 (en) 2020-04-08
JP2023022147A (ja) 2023-02-14
CA3059789A1 (en) 2018-11-29
IL294143B2 (en) 2023-12-01
JP7305006B2 (ja) 2023-07-07
EP3908026A1 (en) 2021-11-10
CN117615380A (zh) 2024-02-27
IL270564A (zh) 2019-12-31
IL294143B1 (en) 2023-08-01
US11835717B2 (en) 2023-12-05
US20240053605A1 (en) 2024-02-15
WO2018217542A1 (en) 2018-11-29
KR20230070522A (ko) 2023-05-23
EP3631734A4 (en) 2020-08-26
IL270564B (en) 2022-07-01
CN110678891A (zh) 2020-01-10
US20180336332A1 (en) 2018-11-22
EP3631734B1 (en) 2021-08-18
JP2022107677A (ja) 2022-07-22
KR20200010237A (ko) 2020-01-30
IL294143A (en) 2022-08-01
US20210199960A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
CN110678891B (zh) 与同伴设备配对
JP7186844B2 (ja) ウェアラブルデバイスによる顔モデル捕捉
CN111033524A (zh) 用于眼睛跟踪的个性化神经网络
US20220148274A1 (en) Object interactivity in virtual space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant