CN116998170A - 用于超宽带应用的系统和方法 - Google Patents

用于超宽带应用的系统和方法 Download PDF

Info

Publication number
CN116998170A
CN116998170A CN202280021961.3A CN202280021961A CN116998170A CN 116998170 A CN116998170 A CN 116998170A CN 202280021961 A CN202280021961 A CN 202280021961A CN 116998170 A CN116998170 A CN 116998170A
Authority
CN
China
Prior art keywords
user
audio
uwb
audio signal
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280021961.3A
Other languages
English (en)
Inventor
柯克·埃里克·伯吉斯
安吉特·布拉姆巴特
纳比尔·艾哈迈德
塞巴斯蒂安·斯图克
保罗·加布里埃尔·亚历克西斯·海琳
山姆·帕丁贾雷曼尼尔·亚历克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Priority claimed from PCT/US2022/020630 external-priority patent/WO2022197856A1/en
Publication of CN116998170A publication Critical patent/CN116998170A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Mobile Radio Communication Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)

Abstract

在一个方面,本文描述的系统和方法可以包括第一设备,该第一设备包括第一超宽带(UWB)天线。第一设备可以与具有第二UWB天线的第二设备建立连接。第一设备可以根据第一设备的第一UWB天线和第二设备的第二UWB天线之间的一个或多个UWB测量结果,来确定第一设备相对于第二设备的方位。第一设备可以接收对应于第二设备的音频信号,并且可以根据所确定的方位将音频信号渲染到对第一设备的用户的音频输出。

Description

用于超宽带应用的系统和方法
技术领域
本公开总体上涉及通信,包括但不限于用于超宽带应用的系统和方法。
背景技术
人工现实(诸如,虚拟现实(virtual reality,VR)、增强现实(augmentedreality,AR)、或混合现实(mixed reality,MR))向用户提供沉浸式体验。通常,在实现或以其它方式提供沉浸式体验的系统和方法中,此类系统利用Wi-Fi、蓝牙或无线电无线链路来发送/接收数据。然而,使用此类无线链路通常需要链路之间的详细协调,特别是在同一环境中的多个设备利用相同的无线链路技术进行通信的情况下。
发明内容
一方面,本公开涉及一种方法。该方法可以包括:包括第一超宽带(ultra-wideband,UWB)天线的第一设备建立与具有第二UWB天线的第二设备的连接。第一设备可以根据第一设备的第一UWB天线和第二设备的第二UWB天线之间的一个或多个UWB测量结果,来确定第一设备相对于第二设备的方位。第一设备可以接收对应于第二设备的音频信号,并且可以根据所确定的方位,将音频信号渲染为对第一设备的用户的音频输出。
在一些实施例中,音频信号由第一设备从第二设备接收,并且其中,音频信号由第二设备的麦克风生成。在某些实施方式中,音频信号由第一设备从与第二设备分开的音频源接收,并且其中,音频信号对应于位于第二设备附近的对象。在一个示例中,第一设备或第二设备包括多个UWB天线,并且其中,确定方位包括:确定第一设备相对于第二设备的到达角(angle of arrival,AoA)。在一些实施例中,该方法包括:第一设备显示包括多个第二用户的表示的用户界面,多个第二用户中的每个第二用户对应于多个相应的音频源。渲染音频可以包括:根据所确定的方位,将音频信号作为音频输出渲染给第一设备的用户,所述音频信号包括来自多个相应的音频源中的至少一些音频源的音频数据。在一些实施例中,渲染音频信号包括:第一设备根据所确定的方位,将音频信号相对于用户界面上的多个第二用户的表示渲染给第一设备的用户。
在一些实施例中,该方法包括:第一设备根据所确定的方位,选择多个相应的音频源中的一个音频源,以用于将音频数据合并到由第一设备呈现的音频信号中。在一个实施方式中,第一设备接收来自第一设备的多个麦克风的多个音频数据流,并且可以根据所确定的第一设备相对于第二设备的方位,选择多个音频数据流中的第一音频数据流,其中所述音频信号来自第一音频数据流。在一些实施例中,第一设备根据第一设备的第一UWB天线和第二设备的第二UWB天线之间的一个或多个第二UWB测量结果,来确定第一设备相对于第二设备的方位的变化。第一设备可以根据所确定的第一设备相对于第二设备的方位的变化,选择多个音频数据流中的第二音频流。第一设备可以接收与第二设备配对的请求。第一设备可以发起第一设备和第二设备之间的配对,并且可以响应于第一设备和第二设备之间的成功配对,接收来自第一设备的多个麦克风的多个音频数据流。
在另一方面,本公开涉及一种设备。该设备可以包括第一超宽带(UWB)天线和一个或多个处理器。所述一个或多个处理器可以被配置为:与具有第二UWB天线的第二设备建立连接。所述一个或多个处理器可以被配置为:根据第一设备的第一UWB天线和第二设备的第二UWB天线之间的一个或多个UWB测量结果,来确定第一设备相对于第二设备的方位。所述一个或多个处理器可以被配置为接收对应于所述第二设备的音频信号。所述一个或多个处理器可以被配置为:根据确定的方位,将音频信号渲染为对第一设备的用户的音频输出。
在一些实施例中,音频信号由第一设备从第二设备接收,并且其中,音频信号由第二设备的麦克风生成。在一些实施例中,音频信号由第一设备从与第二设备分开的音频源接收,并且其中,音频信号对应于位于第二设备附近的对象。在一些实施例中,第一设备或第二设备包括多个UWB天线,并且其中确定方位包括:确定第一设备相对于第二设备的到达角(AoA)。在一些实施例中,一个或多个处理器还被配置为:显示包括多个第二用户的表示的用户界面,多个第二用户中的每个第二用户对应于相应的音频源;其中音频信号根据所确定的方位而被作为音频输出渲染给所述第一设备的用户,音频信号包括来自多个相应的音频源的至少一些音频源的音频数据。在一些实施例中,一个或多个处理器被配置为:根据所确定的方位,将音频信号相对于用户界面上的多个第二用户的表示而渲染给第一设备的用户。在一些实施例中,一个或多个处理器被配置为:根据所确定的方位,选择多个相应的音频源中的一个音频源,以用于将音频数据合并到由第一设备呈现的音频信号中。在一些实施例中,一个或多个处理器被配置为:接收来自第一设备的多个麦克风的多个音频数据流;以及根据所确定的第一设备相对于第二设备的所述方位,选择多个音频数据流的第一音频数据流,其中音频信号来自第一音频数据流。在一些实施例中,一个或多个处理器被配置为:接收与第二设备配对的请求;发起第一设备和第二设备之间的配对;以及响应于第一设备和第二设备之间的成功配对,接收来自第一设备的多个麦克风的多个音频数据流。
在另一方面,本公开涉及一种存储指令的非暂态计算机可读介质。指令在由一个或多个处理器执行时可以促使一个或多个处理器与具有第二UWB天线的第二设备建立连接。可以使一个或多个处理器根据第一设备的第一UWB天线和第二设备的第二UWB天线之间的一个或多个UWB测量结果,来确定第一设备相对于第二设备的方位。可以使一个或多个处理器接收对应于第二设备的音频信号。可以使一个或多个处理器根据确定的方位,将音频信号渲染为对第一设备的用户的音频输出。
附图说明
附图并不旨在按比例进行绘制。各种附图中的相似附图标记和名称指示相似的元件。出于清楚的目的,并非每个部件都在每个附图中进行了标记。
图1是根据本公开示例实施方式的包括人工现实系统的系统环境的示意图。
图2是根据本公开示例实施方式的头部可穿戴显示器的示意图。
图3是根据本公开示例实施方式的人工现实环境的框图。
图4是根据本公开示例实施方式的另一人工现实环境的框图。
图5是根据本公开示例实施方式的另一人工现实环境的框图。
图6是根据本公开示例实施方式的、根据第一设备相对于外围设备的方位来渲染音频信号的过程的流程图。
图7A和图7B示出了根据本公开示例实施方式的环境中的世界锁定的空间音频的示例。
图8是根据本公开示例实施方式的空间音频通话的示例。
图9是根据本公开示例实施方式的、基于基于位置的麦克风波束成形的聚焦对话/收听(hearing)的示例。
图10是根据本公开示例实施方式的计算环境的框图。
具体实施方式
在转向附图(这些附图详细地示出了某些实施例)之前,应当理解的是,本公开不限于在说明书中阐述的或在这些附图中示出的这些细节或方法。还应当理解的是,本文所使用的术语仅用于描述的目的,而不应当被认为是限制性的。
本文公开的是与在超宽带(ultra-wideband,UWB)频谱中运行的设备相关的实施例。在各种实施例中,UWB设备(包括定位器(puck)、锚、UWB信标、UWB天线等)使用500+MHz信道在3GHz至10GHz非授权频谱中运行,这可能需要较低的传输功率。例如,一些设备的发射功率谱密度(power spectral density,PSD)可能被限制为-41.3dBm/MHz。另一方面,UWB可能具有平均超过1ms的、在-5dBm/MHz到+5dBm/MHz范围内的发射PSD值,其中在给定的50MHz频段中峰值功率限制为0dBm。使用简单的调制和扩频,对于非常低的数据速率(例如,10s到100s Kbps),UWB设备可以实现对Wi-Fi和蓝牙干扰的合理抵抗(以及对位于共享或公共环境中的其它UWB设备的干扰的抵抗),并且可以具有较大的处理增益。然而,对于更高的数据速率(例如,几Mbps),处理增益可能不足以克服来自Wi-Fi或蓝牙的同信道干扰。根据本文描述的实施例,本文描述的系统和方法可以在不与Wi-Fi和蓝牙重叠的频段中运行,但是基于监管要求可以具有良好的全球可用性。由于监管要求使7GHz至8GHz频谱成为全球可用范围最广的频谱(而Wi-Fi不在此频谱中),因此基于同信道干扰和处理增益,7GHz至8GHz频谱可能会运行得令人满意。
UWB的一些实施方式可以专注于精确测距、安全性和中低速率的数据通信。例如,采用本文描述的UWB设备允许精确地确定两个或更多个UWB设备之间的相对位置(例如,确定旋转5度至10度和距离在0.5mm内的设备)。除了其它特征之外,确定多个UWB设备相对于彼此的位置(location)、位置(position)、倾斜和/或旋转使得能够在多个UWB设备之间(和/或在诸如第一设备和任何外围设备的多个其它设备之间)传送清晰的空间音频内容。在一些方面,空间音频指的是三维音频,其中三维音频描述从(或似乎从)各个位置发出的音频的现象/情况。在一些实施例中,音频信号看起来可能来源于对象。与空间内容相比,头部锁定内容指的是相对于用户而固定的内容。例如,穿戴配置了空间音频能力的头戴式设备(head wearabledevice,HWD)的用户可能体验到用户后面、用户前面、用户上方、用户侧面、用户下方等方位的音频。相反,穿戴配置了头部锁定旋转的HWD的用户可以体验从固定位置发出的固定音频声音,而不管用户在环境中的旋转/移动。
在一些实施例中,传感器(例如,惯性测量单元、磁力计、摄像头等)可以提供对应于传感器或相关对象的移动和/或方位的头部锁定旋转数据。然而,此种收集的传感器数据可能会受到信号漂移的影响。另外,收集的传感器数据在提供/维护空间中的准确位置的能力方面可能受到限制。此外,收集的传感器数据在其描述对象相对于位置的距离和相对于其它对象的旋转的能力上可能受到限制。在一些实施例中,传感器数据可以与诸如虚拟现实即时定位和地图构建(virtual reality simultaneous localization and mapping,VRSLAM)和对象检测等技术结合使用,以使得能够传送空间音频内容。然而,利用诸如摄像头等传感器来促进空间音频内容意味着摄像头将始终处于开启状态,从而消耗过多的电力并占用空间有限的设备(例如,头戴式设备)上的实际空间。
由于UWB采用相对简单的调制,因此可以以低成本和低功耗来实现。相应地,可以采用UWB设备来跟踪移动和/或方位,以便支持、处理和/或传送空间音频内容。在AR/VR应用中,AR/VR控制器链路的链路预算计算表明,本文描述的系统和方法可以被配置用于范围从~2Mbps到31Mbps的有效数据吞吐量(例如,31Mbps是最新的802.15.4z标准中的最大可能速率),这可能取决于主体损失假设(body loss assumptions)。使用保守的主体损失假设,本文描述的系统和方法应该被配置用于高达大约5Mbps的数据吞吐量,这可能足以满足AR/VR链路的数据吞吐量性能标准。使用定制化的实施方式,数据吞吐速率可以增加到超过27Mbps(例如,增加到54Mbps),但可能会损失链路余量。
使用UWB允许一个或多个设备确定这些设备彼此之间的相对距离。对设备的相对距离的确定可用于在数字/物理/音频环境中锚定用户。相应地,空间音频内容可以从已知源位置(例如,音频源)输出,并且可以由耦接到设备的用户基于耦接到设备的用户和音频源的位置/方位来接收。在一些实施例中,传感器(诸如惯性测量单元(inertialmeasurement unit,IMU)和磁力计)可以结合从UWB设备收集的数据来收集数据,以实现相对于所确定的位置和/或旋转的高采样率。下面更详细地描述在本文描述的系统和方法的各种应用、用例以及进一步的实施方式。
图1是示例人工现实系统环境100的框图。在一些实施例中,人工现实系统环境100包括接入点(access point,AP)105、一个或多个HWD 150(例如,HWD 150A、150B)、以及一个或多个计算设备110(计算设备110A、110B;有时称为设备或控制台),所述一个或多个计算设备向一个或多个HWD 150提供人工现实的数据。接入点105可以是路由器或允许一个或多个计算设备110和/或一个或多个HWD 150访问网络(例如,因特网)的任何网络设备。接入点105可以由任何通信设备(小区站点)替代。计算设备110可以是定制设备或移动设备,所述定制设备或移动设备可以从接入点105检索内容,并向对应的HWD 150提供人工现实的图像数据。每个HWD 150可以根据图像数据向用户呈现人工现实的图像。在一些实施例中,人工现实系统环境100包括比图1中示出的部件更多或更少的部件,或者包括与图1中示出的部件不同的部件。在一些实施例中,计算设备110A、110B分别通过无线链路102A、102B(例如,互连链路)与接入点105通信。在一些实施例中,计算设备110A通过无线链路125A(例如,内部链路)与HWD 150A通信,并且计算设备110B通过无线链路125B(例如,内部链路)与HWD150B通信。在一些实施例中,人工现实系统环境100中的一个或多个部件的功能可以以与此处描述的方式不同的方式分布在各部件之中。例如,计算设备110的一些功能可以由HWD150执行。例如,HWD 150的一些功能可以由计算设备110执行。
在一些实施例中,HWD 150是可以由用户穿戴且可以向用户呈现或提供人工现实体验的电子部件。HWD 150可以被称为如下项、或包括如下项、或者是如下项的一部分:头戴式显示器(head mounted display,HMD)、头戴式设备(head mounted device,HMD)、头部可穿戴设备(head wearabledevice,HWD)、头部穿戴显示器(head worn display,HWD)或头部穿戴设备(head worn device,HWD)。HWD 150可以渲染一幅或多幅图像、视频、音频或它们的某种组合,以向用户提供人工现实体验。在一些实施例中,音频经由外部设备(例如,扬声器和/或头戴式耳机)来呈现,该外部设备从HWD 150、计算设备110、或这两者接收音频信息,并基于音频信息呈现音频。在一些实施例中,HWD 150包括传感器155、无线接口165、处理器170和显示器175。这些部件可以协同运行以检测HWD 150的位置和正穿戴着HWD 150的用户的注视方向,并且渲染与检测到的HWD 150的位置和/或方位相对应的人工现实内的视野的图像。在其它实施例中,HWD 150包括比图1中示出的部件更多或更少的部件,或者包括与图1中示出的部件不同的部件。
在一些实施例中,传感器155包括检测HWD 150的位置和方位的电子部件、或电子部件与软件部件的组合。传感器155的示例可以包括:一个或多个成像传感器、一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计或检测运动和/或位置的另一合适类型的传感器。例如,一个或多个加速度计可以测量平移运动(例如,向前/向后运动、向上/向下运动、向左/向右运动),并且一个或多个陀螺仪可以测量旋转运动(例如,俯仰、左右摇摆、侧倾)。在一些实施例中,传感器155检测平移移动和转动移动,并确定HWD 150的方位和位置。在一个方面,传感器155可以检测相对于HWD 150的先前方位和位置的平移运动和旋转运动,并通过对检测到的平移运动和/或旋转运动进行累计或整合,来确定HWD 150的新的方位和/或位置。例如,假设HWD 150朝向与参考方向呈25度的方向,则传感器155可以响应于检测到HWD 150已转动了20度,确定HWD 150现在面向或朝向与该参考方向呈45度的方向。再例如,假设HWD 150在第一方向上位于距离参考点两英尺处,则传感器155可以响应于检测到HWD 150已沿第二方向移动了三英尺,确定HWD 150现在位于在第一方向上的两英尺和在第二方向上的三英尺的矢量乘积处。
在一些实施例中,无线接口165包括与计算设备110通信的电子部件、或电子部件与软件部件的组合。在一些实施例中,无线接口165包括或被实施为用于通过无线介质发送和接收数据的收发器。无线接口165可以通过无线链路125(例如,内部链路)与对应的计算设备110的无线接口115通信。无线接口165还可以通过无线链路(例如,互连链路)与接入点105通信。无线链路125的示例包括近场通信链路、Wi-Fi直连、蓝牙或任何无线通信链路。在一些实施例中,无线链路125可以包括一个或多个超宽带通信链路,所述一个或多个超宽带通信链路如下面更加详细地进行描述。无线接口165可以通过无线链路125向计算设备110发送如下数据:所述数据指示所确定的HWD 150的位置和/或方位、所确定的用户注视方向和/或手部追踪测量结果。此外,无线接口165可以通过无线链路125接收来自计算设备110的指示或对应于待渲染图像的图像数据。
在一些实施例中,处理器170包括例如根据人工现实空间的视野变化而生成一幅或多幅图像以供显示的电子部件、或电子部件与软件部件的组合。在一些实施例中,处理器170被实现为可以执行指令以执行本文所描述的各种功能的一个或多个图形处理单元(graphical processing unit,GPU)、一个或多个中央处理单元(central processingunit,CPU)、或它们的组合。处理器170可以通过无线接口165接收描述待渲染人工现实图像的图像数据,并通过显示器175渲染该图像。在一些实施例中,可以对来自计算设备110的图像数据进行编码,并且处理器170可以解码该图像数据以渲染图像。在一些实施例中,处理器170通过无线接口165接收来自计算设备110的指示人工现实空间中的虚拟对象的对象信息和指示虚拟对象的深度(或距HWD 150的距离)的深度信息。在一个方面,处理器170可以根据来自计算设备110的人工现实图像、对象信息、深度信息、和/或来自传感器155的更新后的传感器测量结果来执行着色、重新投影和/或混合,以将人工现实图像更新成与HWD150的更新后的位置和/或方位相对应。
在一些实施例中,显示器175是显示图像的电子部件。显示器175可以例如是液晶显示器(liquid crystal display)或有机发光二极管(organic light emitting diode)显示器。显示器175可以是允许用户透视的透明显示器。在一些实施例中,当用户穿戴HWD150时,显示器175被定位成接近用户眼睛(例如,距离用户眼睛小于3英寸)。在一个方面,显示器175根据由处理器170生成的图像朝向用户的眼睛发射光或投射光。HWD 150可以包括允许用户非常接近地观看显示器175的透镜。
在一些实施例中,处理器170执行补偿以补偿任何失真或像差。在一个方面,透镜引入光学像差(诸如色差)、枕形畸变、桶形畸变等。处理器170可以确定要应用于待渲染图像的补偿(例如,预失真),以补偿由透镜引起的失真,并且将所确定的补偿应用于来自处理器170的图像。处理器170可以将经预失真的图像提供给显示器175。
在一些实施例中,计算设备110是向HWD 150提供待渲染内容的电子部件、或电子部件与软件部件的组合。计算设备110可以被实现为移动设备(例如,智能电话、平板PC、膝上型计算机等)。计算设备110可以作为软接入点来运行。在一个方面,计算设备110包括无线接口115和处理器118。这些部件可以协同运行以确定与HWD 150的位置和HWD 150的用户的注视方向相对应的人工现实的视野(例如,用户的视场(FOV)),并且可以生成指示与所确定的视野相对应的人工现实图像的图像数据。计算设备110还可以与接入点105通信,并且例如可以通过无线链路102(例如,互连链路)从接入点105获得AR/VR内容。计算设备110可以接收指示HWD 150的用户的位置和注视方向的传感器测量结果,并且例如通过无线链路125(例如,内联链路)将图像数据提供给HWD 150,以呈现人工现实。在其它实施例中,计算设备110包括比图1所示的部件更多、更少的部件,或者包括与图1所示的部件不同的部件。
在一些实施例中,无线接口115是与HWD 150、接入点105、其它计算设备110、或它们的任意组合进行通信的电子部件、或电子部件与软件部件的组合。在一些实施例中,无线接口115包括或被实施为通过无线介质发送和接收数据的收发器。无线接口115可以是无线接口165的对应部件,以通过无线链路125(例如,内部链路)与HWD 150通信。无线接口115也可以包括用于通过无线链路102(例如,互连链路)与接入点105进行通信的部件。无线链路102的示例包括蜂窝通信链路、近场通信链路、Wi-Fi、蓝牙、60GHz无线链路、超宽带链路或任何无线通信链路。无线接口115还可以包括通过无线链路185与不同的计算设备110通信的部件。无线链路185的示例包括近场通信链路、Wi-Fi直连、蓝牙、超宽带链路或任何无线通信链路。无线接口115可以通过无线链路102(例如,互连链路)从接入点105获得AR/VR内容或其它内容。无线接口115可以通过无线链路125(例如,内部链路)接收来自HWD 150的如下数据:所述数据指示所确定的HWD 150的位置和/或方位、所确定的用户注视方向和/或手部追踪测量结果。此外,无线接口115可以通过无线链路125(例如,内部链路)向HWD 150发送描述待渲染图像的图像数据。无线接口115可以通过无线链路185接收或发送指示计算设备110与HWD 150之间的无线链路125的信息(例如,信道、定时)。计算设备110可以根据指示无线链路125的信息来协调或调度操作,以避免干扰或冲突。
处理器118可以包括或对应于根据HWD 150的位置和/或方位而生成待渲染内容的部件。在一些实施例中,处理器118包括或被实施为一个或多个中央处理单元、图形处理单元、图像处理器或用于生成人工现实图像的任何处理器。在一些实施例中,处理器118可以将HWD 150的用户的注视方向和用户交互结合到人工现实中,以生成待渲染的内容。在一个方面,处理器118根据HWD 150的位置和/或方位来确定人工现实的视野。例如,处理器118将HWD 150在物理空间中的位置映射到人工现实空间内的位置,并从所映射的人工现实空间中的位置沿着与所映射的方位相对应的方向来确定人工现实空间的视野。处理器118可以生成描述所确定的人工现实空间的视野的图像的图像数据,并通过无线接口115向HWD 150发送该图像数据。处理器118可以对描述图像的图像数据进行编码,并且可以将编码后的数据发送到HWD 150。在一些实施例中,处理器118周期性地(例如,每个11ms或16ms)生成图像数据并向HWD 150提供该图像数据。
在一些实施例中,处理器118、170可以配置或促使无线接口115、165在休眠模式与唤醒模式之间切换(toggle)、转换、循环或切换(switch)。在唤醒模式中,处理器118可以启用无线接口115,并且处理器170可以启用无线接口165,使得无线接口115、165可以交换数据。在休眠模式中,处理器118可以禁用无线接口115(例如,在无线接口115中实现低功率操作),并且处理器170可以禁用无线接口165,使得无线接口115、165可以不消耗功率或者可以降低功耗。处理器118、170可以调度无线接口115、165,以在每个帧时间(例如,11ms或16ms)周期性地在休眠模式与唤醒模式之间切换。例如,无线接口115、165可以在唤醒模式下运行达该帧时间的2ms,而无线接口115、165可以在休眠模式下运行达该帧时间的剩余部分(例如,9ms)。通过在休眠模式中禁用无线接口115、165,可以降低计算设备110和HWD 150的功耗。
图2是根据示例实施例的HWD 150的示意图。在一些实施例中,HWD 150包括前部刚性体205及带210。前部刚性体205包括电子显示器175(图2中未示出)、透镜(图2中未示出)、多个传感器155、眼动追踪器、通信接口(也称为无线接口)165和处理器170。在图2所示的实施例中,传感器155位于前部刚性体205内,并且可以对用户不可见。在其它实施例中,HWD150具有与图2所示的不同的配置。例如,处理器170、眼动追踪器和/或传感器155可以位于与图2中所示的位置不同的位置。
用于超宽带设备的系统和方法
在各种实施例中,上述环境中的设备可以运行或以其它方式使用利用超宽带(UWB)频谱中的通信的部件。在各种实施例中,UWB设备使用500+MHz信道在3GHz至10GHz非授权频谱中运行,这可能需要低功率进行传输。例如,一些系统的发射功率谱密度(PSD)可能被限制为-41.3dBm/MHz。另一方面,UWB可能具有平均超过1ms的、在-5dBm/MHz到+5dBm/MHz范围内的发射PSD值,其中在给定的50MHz频段中峰值功率限制为0dBm。使用简单的调制和扩频,对于非常低的数据速率(例如,10s到100s Kbps),UWB设备可以实现对Wi-Fi和蓝牙干扰的合理抵抗(以及对位于该环境中的其它UWB设备的干扰的抵抗),并且可以具有较大的处理增益。然而,对于更高的数据速率(例如,几Mbps),处理增益可能不足以克服来自Wi-Fi或蓝牙的同信道干扰。根据本文描述的实施例,本文描述的系统和方法可以在不与Wi-Fi和蓝牙重叠的频段中运行,但是基于监管要求可以具有良好的全球可用性。由于监管要求使7GHz至8GHz频谱成为全球可用范围最广的频谱(而Wi-Fi不在此频谱中),因此基于同信道干扰和处理增益,7GHz至8GHz频谱可能会运行得令人满意。
UWB的一些实施方式可以专注于精确测距、安全性以及中低速率的数据通信。由于UWB采用相对简单的调制,因此可以以低成本和低功耗来实现。在AR/VR应用中(或在其它应用和用例中),AR/VR控制器链路的链路预算计算表明,本文描述的系统和方法可以被配置用于范围从~2Mbps到31Mbps的有效数据吞吐量(例如,31Mbps是最新的802.15.4z标准中的最大可能速率),这可能取决于主体损失假设。
现在参照图3,图3描绘了人工现实系统环境300的框图。人工现实环境300被示为包括第一设备302和一个或多个外围设备304(1)至304(N)(也称为“外围设备304”或“设备304”)。第一设备302和一个或多个外围设备304可以分别包括通信设备306,该通信设备306包括多个UWB设备308。一组UWB设备308可以在第一设备302或外围设备304上/中的不同位置上相对于彼此而在空间上被定位(positioned)/定位(located)(例如,隔开),以便最大化UWB覆盖、和/或增强/启用特定功能。UWB设备308可以是或包括天线、传感器、或其它设备和部件,所述天线、传感器、或其它设备和部件被设计或实现为在UWB频谱中(例如,在3.1GHz和10.6GHz之间)和/或使用UWB通信协议发送和接收数据或信号。在一些实施例中,设备302、304中的一个或多个可以包括各种处理引擎310。处理引擎310可以是或包括被设计或实现为基于由相应的UWB设备308发送和/或接收的UWB信号来控制设备302、304的任何设备、部件、机器或硬件和软件的其它组合。
如以上所提及的,该环境300包括第一设备302。第一设备302可以是或包括可穿戴设备,诸如上述HWD 150、智能手表、AR眼镜等。在一些实施例中,第一设备302可以包括移动设备(例如,智能电话、平板电脑、控制台设备或其它计算设备)。第一设备302可以与位于环境300中的各种其它设备304可通信地耦接。例如,第一设备302可以可通信地耦接到位于环境300中的一个或多个外围设备304。外围设备304可以是或包括上述计算设备110、类似于第一设备302的设备(例如,HWD 150、智能手表、移动设备等)、汽车或其它交通工具、位于环境300中的信标发射设备、智能家居设备(例如,智能电视、数字助理设备、智能扬声器等)、被配置为对各种设备进行定位的智能标签等。在一些实施例中,第一设备302可以与第一实体或用户相关联,并且外围设备304可以与第二实体或用户(例如,家庭的单独成员或与第一实体无关的人/实体)相关联。
在一些实施例中,第一设备302可以在配对或握手过程之后与一个或多个外围设备304可通信地耦接。例如,第一设备302可以被配置为与一个或多个外围设备304交换一个或多个握手数据包,以将第一设备302和外围设备304进行配对(例如,在第一设备302和外围设备304之间建立特定或专用连接或链路)。一个或多个握手数据包可以经由UWB设备308或经由另一无线链路125(诸如上述无线链路125中的一个或多个)来进行交换。在配对之后,第一设备302和一个或多个外围设备304可以被配置为使用第一设备302和/或外围设备304上各自的UWB设备308来传输、接收或以其它方式交换UWB数据或UWB信号。在一些实施例中,第一设备302可以被配置为与外围设备304建立通信链路(例如,无需任何设备配对)。例如,第一设备302可以被配置为使用从第一设备302的特定距离内的外围设备304接收的UWB信号、通过识别连接到共享Wi-Fi网络(例如,第一设备302连接到的相同Wi-Fi网络)的外围设备304等,来检测、监视和/或识别位于环境中的外围设备304。在这些和其它实施例中,第一设备302可以被配置为与外围设备304传输、发送、接收或以其它方式交换UWB数据或UWB信号。
在一些实施例中,第一设备302可以识别(recognize)一个或多个外围设备304并发起通信链路。例如,第一设备302可以预先配置有被标识为可靠、安全等的外围设备304。
现在参照图4,图4描绘了包括第一设备302和外围设备304的环境400的框图。第一设备302和/或外围设备304可以被配置为确定设备302、304之间的范围(例如,空间距离、间隔)。第一设备302可以被配置为发送、广播或以其它方式传输UWB信号(例如,挑战信号)。第一设备302可以使用第一设备302上的通信设备306的多个UWB设备308中的一个来传输UWB信号。UWB设备308可以在UWB频谱中传输UWB信号。UWB信号可以具有高带宽(例如,500MHz)。因此,UWB设备308可以被配置为在UWB频谱(例如,在3.1GHz和10.6GHz之间)中传输具有高带宽(例如,500MHz)的UWB信号。来自第一设备302的UWB信号可以被第一设备302的特定范围内的其它设备(例如,具有在第一设备302的200米内的视线(line of sight,LOS)的设备)检测到。因此,与其它类型的信号或测距技术相比,UWB信号可以更准确地检测多个设备之间的范围。
外围设备304可以被配置为接收或以其它方式检测来自第一设备302的UWB信号。外围设备304可以被配置为:经由外围设备304上的多个UWB设备308中的一个接收来自第一设备302的UWB信号。外围设备304可以被配置为:响应于检测到来自第一设备302的UWB信号而广播、发送或以其它方式传输UWB响应信号。外围设备304可以被配置为:使用外围设备304上的通信设备306的多个UWB设备308中的一个来发送UWB响应信号。UWB响应信号可以类似于从第一设备302发送的UWB信号。
第一设备302可以被配置为:基于UWB信号和UWB响应信号,来检测、估算、计算或以其它方式确定飞行时间(time of flight,TOF)。TOF可以是第一设备302发送信号(例如,UWB信号)的时间和外围设备304接收信号的时间之间的时间或持续时间。第一设备302和/或外围设备304可以被配置为:基于对应于UWB信号的时间戳来确定TOF。例如,第一设备302和/或外围设备304可以被配置为基于以下条件来交换发送时间戳和接收时间戳:当第一设备302发送UWB信号时(第一TX时间戳)、当外围设备接收UWB信号时(例如,第一RX时间戳)、当外围设备发送UWB响应信号时(例如,第二TX时间戳)、以及当第一设备302接收UWB响应信号时(例如,第二RX时间戳)。第一设备302和/或外围设备304可以被配置为:基于(如上面标识的第一TX时间戳和第二TX时间戳、以及第一RX时间戳和第二RX时间戳所指示的)第一设备302发送UWB信号的第一时间和第一设备302(例如,从外围设备304)接收UWB响应信号的第二时间,来确定TOF。第一设备302可以被配置为:基于第一时间和第二时间之间的差,来确定或计算第一设备302和外围设备304之间的TOF(例如,除以2)。
在一些实施例中,第一设备302可以被配置为基于TOF来确定第一设备302和外围设备304之间的范围(或距离)。例如,第一设备302可以被配置为通过TOF乘以光速(例如,TOF×c)来计算第一设备302和外围设备304之间的范围或距离。在一些实施例中,外围设备304(或环境400中的另一设备)可以被配置为计算第一设备302和外围设备304之间的范围或距离。例如,第一设备302可以被配置为向外围设备304(或其它设备)传输、发送或以其它方式提供TOF,并且外围设备304(或其它设备)可以被配置为基于TOF计算第一设备302和外围设备304之间的范围,如上所述。
现在参照图5,图5描绘了包括第一设备302和外围设备304的环境500的框图。在一些实施例中,第一设备302和/或外围设备304可以被配置为确定第一设备302相对于外围设备304的位置或姿态(例如,方位)。第一设备302和/或外围设备304可以被配置为以与如上所述确定范围类似的方式来确定相对位置或方位。例如,第一设备302和/或外围设备304可以被配置为确定第一设备302上相应的UWB设备308与外围设备304上相应的UWB设备308之间的多个范围(例如,范围(1)、范围(2)和范围(3))。在图5的环境500中,第一设备302相对于外围设备304以一定角度定位或定向。第一设备302可以被配置为计算第一设备的中间UWB设备308(2)和外围设备304的中间UWB设备308(5)之间的第一范围(范围(1))。第一范围可以是设备302、304之间的绝对范围或距离,并且可以参考图4进行如上所述计算。
第一设备302和/或外围设备304可以被配置成计算第二范围(2)和第三范围(3),类似于计算范围(1)。在一些实施例中,第一设备302和/或外围设备304可以被配置成确定附加范围,诸如第一设备302的UWB设备308(1)和外围设备304的UWB设备308(5)之间的范围、第一设备302的UWB设备308(2)和外围设备304的UWB设备308(6)之间的范围等等。尽管以上被描述为基于附加UWB信号来确定范围,但需要注意的是,在一些实施例中,第一设备302和/或外围设备304可以被配置为确定在第一UWB设备308和第二UWB设备308处接收的UWB信号(即,在相同设备302、304上的单独UWB设备308处接收的相同UWB信号)之间的相位差。第一设备302和/或外围设备304可以被配置为使用所计算的范围(或相位差)的每个或一个子集来确定第一设备302相对于外围设备304的姿态、位置、方位等。基于第一设备302与外围设备304处的UWB信号之间的相位差来确定第一设备302相对于外围设备304的姿态、位置、方位等可以被认为是根据到达角(angles of arrival,AoA)来确定位置、位置、方位等。例如,第一设备和/或外围设备304可以被配置为使用相对于第一范围(1)的多个范围(或相位差)中的一个来确定第一设备302相对于外围设备304的偏转,使用相对于第一范围(1)的多个范围中的另一范围(或相位差)来确定第一设备302相对于外围设备304的俯仰,使用相对于第一范围(1)的多个范围中的另一范围(或相位差)来确定第一设备302相对于外围设备304的侧倾,等等。
通过使用第一设备302和外围设备304处的UWB设备308,可以比其它测距/无线链路技术更精确地确定范围和姿态。例如,可以在+/-0.1米的粒度或范围内确定该范围,并且可以在+/-5度的粒度或范围内确定姿态/方位。
参照图3至图5,在一些实施例中,第一设备302可以包括各种传感器和/或感测系统。例如,第一设备302可以包括惯性测量单元(IMU)传感器312、全球定位系统(globalpositioning system,GPS)314、磁力计(magnetometer,MM)316等。传感器和/或感测系统(诸如,IMU传感器312、MM 316和/或GPS 314)可以被配置为生成对应于第一设备302的数据。例如,IMU传感器312可以被配置为生成对应于第一设备302的绝对位置和/或姿态的数据。类似地,GPS 314可以被配置为生成对应于第一设备302的绝对位置(location)/位置(position)的数据。此外,MM 316可以被配置为测量磁场和/或磁偶极子。来自IMU传感器312、MM 316和/或GPS 314的数据可以与如上所述经由UWB设备308确定的测距/位置数据结合使用。例如,除了UWB数据之外,收集IMU 312数据和MM 316数据还可以允许第一设备302实现相对于第一设备302的位置和/或旋转的高采样率。
在一些实施例中,第一设备302可包括显示器316。显示器316可以集成在第一设备302中或以其它方式并入在第一设备302中。在一些实施例中,显示器316可以与第一设备302分开或远离第一设备302。显示器316可以被配置为向第一设备302的用户或穿戴者显示、渲染或以其它方式提供视觉信息,该视觉信息可以至少部分地基于第一设备302的测距/位置数据来渲染。
设备302、304中的一个或多个可以包括一个或多个各种处理引擎310。如上所述,一个或多个处理引擎310可以是或包括被设计或实现为基于各个UWB设备308发送和/或接收的UWB信号来控制设备302、304的任何设备、部件、机器或硬件和软件的组合。在一些实施例中,一个或多个处理引擎310可以被配置为如上所述计算或以其它方式确定第一设备302相对于外围设备304的范围/位置。在一些实施例中,处理引擎310可以位于或实施在环境300至500中的另一设备上(例如,如上所述参考图1所述的接入点105处)。因此,第一设备302和/或外围设备304可以被配置为将计算卸载到环境300至500中的另一设备(诸如,接入点105)。在特定示例中,穿戴HWD 150的用户可以将一个或多个计算(诸如,方位计算)卸载到另一设备,诸如与该用户相关联的手表和/或电话(例如,外围设备304)。第一设备302和/或外围设备304还可以被配置为共享信息(例如,投射显示在第一设备302上的图像,使得图像显示在外围设备304上)。在一些实施例中,第一设备302和/或外围设备304可以被配置为将计算卸载到另一环境中的另一设备。
在一些实施例中,处理引擎310可以被配置为执行与无线电传输和调度(例如,经由UWB设备308和/或其它通信接口组件)相关的各种功能和计算,以计算或以其它方式确定设备302、304的范围和相对位置,管理在设备302、304之间交换的数据,与外部部件(诸如,环境300至500中的硬件部件、外部软件或应用等)接合(interface)等。在一些实施例中,处理引擎310被配置为响应于验证/授权来执行此类各种功能和计算。例如,处理引擎310可以提示耦接到第一设备302的用户输入用户凭证(用户名和密码、对安全问题的回答、密码、生物识别信息等),以用于通过将接收到的用户凭证与一个或多个存储的用户凭证进行比较来进行验证。例如,授权的用户凭证可以存储在查找表中,该查找表与已认证用户的用户认证信息(例如,姓名、家庭地址、IP地址、MAC地址、电话号码、生物识别数据、密码、用户名)相匹配。响应于成功的验证,第一设备302可以发起与一个或多个外围设备304的配对/握手过程,使得除非用户被认证否则第一设备302不会与一个或多个外围设备304配对。在一些实施例中,处理引擎310可以响应于耦接到第一设备302的用户处于距一个或多个外围设备304的阈值接近度内来认证耦接到第一设备302的用户。第一设备302和/或一个或多个外围设备304可以基于UWB测量来确定接近度。响应于第一设备302和/或一个或多个外围设备304处于预定的接近度内,处理引擎310可以向一个或多个外围设备发送令牌(诸如设备令牌)。令牌可以向一个或多个外围设备标识用户,从而确认该用户被授权。附加地或替换地,第一设备302可以从一个或多个外围设备接收(而不是发送)令牌,并且可以将接收到的令牌与存储在第一设备302的存储器中的令牌进行比较,以授权从一个或多个外围设备接收的令牌。在一些实施例中,第一设备302可以在第一时间(例如,在第一设备302耦接到用户时)提示用户输入用户凭证。第一设备302还可以在第二时间(例如,在第一设备302处于与一个或多个外围设备的阈值接近度内时、在尝试与一个或多个外围设备建立通信链路时等)提示用户输入用户凭证。以这种方式,第一设备302可以执行对用户的双重验证。下面将更详细地描述可由一个或多个处理引擎310执行的功能和计算的各种示例。
现在参照图6,图6描绘了根据本公开的示例性实施方式的、根据第一设备相对于外围设备的方位来渲染音频信号的过程600的流程图。在一些实施例中,过程600由第一设备(例如,HWD 150、第一设备302)、外围设备(例如,外围设备304)和/或第三方设备(例如,接入点105)执行。第一设备是被配置为渲染(或输出)音频的设备。通常情况下,第一设备包括至少一个UWB设备(例如,UWB天线)和扬声器(例如,音频输出设备)。第一设备还可以包括麦克风和显示器。在一些实施例中,第二设备是外围设备304(例如,定位器、显示器等)、HWD150和/或第三方设备。第二设备可以是被配置为生成和/或传送音频的设备。通常情况下,外围设备包括至少一个UWB设备(例如,UWB天线)和麦克风。在一些实施例中,过程600包括比图6所示的步骤更多、更少的步骤,或包括与图6所示的步骤不同的步骤。
在第一操作602中,第一设备可以与第二设备建立连接。在一些实施例中,可以根据时间表来发起连接。例如,第一设备可以根据时间表从休眠状态唤醒,并且可以与第二设备建立连接。附加地或替换地,第一设备可以响应于处于与第二设备的阈值接近度内,而与第二设备建立连接。在一些实施例中,第一设备可以利用握手过程建立与第二设备的连接。出于隐私和/或安全目的,第一设备和第二设备可以被配置为利用握手过程来建立连接。例如,第一设备可以接收与第二设备配对的请求。第一设备可以发起第一设备和第二设备之间的配对操作。在一些实施例中,响应于第一设备和第二设备之间的成功配对,第一设备和第二设备执行波束成形。在其它实施例中,第一设备在没有握手过程的情况下与第二设备建立连接。
在操作604中,第一设备根据一个或多个UWB测量结果来确定第一设备相对于第二设备的方位。在一些实施例中,根据第一设备和第二设备的一个或多个范围来确定方位。在其它实施例中,根据第一设备和第二设备的一个或多个TOF计算来确定方位。在又一些实施例中,根据一个或多个AoA来确定方位。
如本文所描述的,第一设备和/或第二设备可以被配置为基于第一设备和第二设备之间的一个或多个范围(空间距离、间隔)来确定方位。第一设备和/或第二设备可以使用TOF确定结果来确定范围。例如,第一设备和/或第二设备可以响应于分析以下内容来确定TOF:与从第一设备上的UWB天线发送的UWB信号相关联的第一TX时间戳、与从第二设备上的UWB天线处接收的UWB信号相关联的第一RX时间戳、与从第二设备上的UWB天线发送的UWB信号相关联的第二TX时间戳、以及与从第一设备的UWB天线处接收的UWB信号相关联的第二RX时间戳。第一设备和/或第二设备可以使用TOF确定结果和光速来确定范围。第一设备和/或第二设备可以基于比较与第一设备和第二设备上的多个UWB天线相关联的多个范围来确定方位。例如,第一设备在对应于最短距离的位置处最接近第二设备。例如,参照图5,一对UWB天线(例如,第一设备上的UWB天线308(3)和第二设备上的UWB天线308(6))之间的最短距离(例如,范围3)指示:第一设备和第二设备在对应于上述一对UWB天线的位置的位置处彼此最接近。相反,一对UWB天线(例如,第一设备上的UWB天线308(1)和第二设备上的UWB天线308(4))之间的最长距离(例如,范围1)指示:第一设备和第二设备在对应于上述一对UWB天线的位置的位置处彼此最远。在一些实施例中,增加第一设备和第二设备上的UWB天线的数量增加了第一设备相对于第二设备的方位的粒度/精度。
返回参照图6,第一设备和/或第二设备还可以使用TOF信息来确定方位。例如,一对UWB天线之间的最长/最远TOF确定结果可以指示多个设备在对应于该对UWB天线的位置彼此最远。此外,一对UWB天线之间的最短/最近TOF确定结果可以指示多个设备在对应于该对UWB天线的位置彼此最近。
第一设备和/或第二设备还可以使用多个AoA来确定方位。例如,第一设备可以响应于以下方面来确定AoA:在第一设备上的UWB天线处分析与从第二设备上的UWB天线接收的UWB信号相关联的第一相位、以及在第一设备上的第二UWB天线处分析与从第二设备上的UWB天线接收的UWB信号相关联的第二相位。
在一些实施例中,收集的传感器数据可以补充由第一设备和/或第二所确定的方位。例如,响应于从支持第一设备和/或第二设备的定向的IMU传感器收集的方位信息(例如,设备的倾斜、设备的旋转、设备的偏转等),与第一设备相对于第二设备的方位相关联的置信度水平可以增加。
在操作606中,第一设备接收来自第二设备的音频信号(包括一个或多个音频数据流)。例如,从第二设备接收的音频信号可以由第二设备的麦克风生成。第二设备可以向第一设备发送完整的音频信号(例如,包括所有音频内容的音频信号)。在一些实施例中,第一设备可以将第一设备相对于第二设备的方位发送到第二设备。第二设备可以修改/处理/调整/重定向音频信号,并基于接收到的方位信息发送修改后的音频信号(包括修改后的数据流)。在其它实施例中,第二设备可以确定第一设备相对于第二设备的方位,并且可以在将音频信号发送到第一设备之前操纵/修改/重定向音频信号。
相应地,第二设备可以不向第一设备发送完整/原始的音频信号,并且基于第一设备的方位仅发送与第一设备相关的(例如,过滤、修改和/或强度调整后的)音频信号(和相关数据流)。例如,第二设备可以被配置为通过降低音频信号的一个或多个部分的幅度来抑制音频信号的一个或多个部分、滤除一个或多个频率等。类似地,第二设备可以被配置为通过增加音频信号的一个或多个部分的幅度来增强音频信号的一个或多个部分。此外,第二设备可以被配置为通过复制和/或抑制(或增强)音频信号的一个或多个部分来使音频信号的一个或多个部分回响。第二设备可以对音频信号施加任何一个或多个操作,以根据所确定的第一设备相对于第二设备的方位来修改/调整/重新平衡/定向音频信号。
在一些实施例中,第一设备接收来自与第二设备分开的音频源的音频信号。例如,音频信号可以对应于位于第二设备附近的对象。例如,音频信号可以对应于在第二设备附近的对象(例如,绘画作品、展品等)。
在一些实施例中,第一设备接收来自第一设备的一个或多个麦克风的音频信号。在这些实施例中,第一设备可以根据第一设备相对于第二设备的方位来选择和/或放大音频信号的音频数据流(例如,同时滤除、抑制和/或减少一个或多个其它的音频数据流)。附加地或替换地,第一设备可以根据所确定的第一设备相对于第二设备的方位,修改音频信号(例如,抑制音频信号、增强音频信号、使音频信号回响等)。
在操作608中,在一些实施例中,第一设备将接收到的音频信号渲染给第一设备的用户。例如,第一设备可以使用扬声器来播放/渲染/输出音频。如果第二设备向第一设备发送完整/原始的音频信号,则第一设备可以被配置为基于第一设备相对于第二设备的方位来修改/调整音频信号,如本文所述的。附加地或替换地,第一设备可以基于第一设备相对于第二设备的方位,来选择和/或放大音频信号的数据流(例如,该数据流来自多个数据流)。然后,第一设备可以渲染音频信号的修改/选择的部分。
在一些实施例中,在第一设备渲染音频信号的修改/选择的部分之前,第一设备可以检查/重新计算第一设备相对于第二设备的方位。例如,第一设备可以确定方向是否已改变和/或是否有任何更新。第一设备可以基于附加的UWB天线测量结果来确定第一设备相对于第二设备的方位的任何改变。例如,第一设备可以基于重新计算TOF测量结果和/或范围测量来确定方位的改变。如果方位已经改变,则第一设备可以基于第一设备相对于第二设备的更新的方位来修改音频信号的一个或多个部分(例如,抑制音频信号的一部分、增强音频信号的另一部分、对频率进行滤波、添加混响等)。附加地或替换地,第一设备可以基于更新的方位来选择音频信号的一个或多个音频流来渲染。
附加地或替换地,第一设备可以接收来自第二设备的修改后的音频信号,以作为第二设备基于第一设备相对于第二设备的方位修改音频信号的结果。在一些实施例中,第一设备可以进一步修改来自第二设备的已经修改(接收)的音频信号。例如,第一设备可以基于重新计算TOF测量和/或范围测量结果更新方位,并且可以根据更新的方位来修改音频信号。附加地或替换地,第一设备可以基于更新的方位选择修改的音频信号的一个或多个音频流来渲染。相应地,第一设备可以响应于更新的方位来修改已经修改的音频信号。
在第一非限制性示例中,环境中可能存在数字(或虚拟)音乐会(或其它场景)。音乐会可以被空间化,使得在环境中行走并且耦接到HWD(例如,戴着HWD、拿着HWD)的用户可以响应于用户在环境中的位置来体验(听到)移位的乐器。在运行中,HWD的一个或多个UWB天线可以与第二设备建立连接。例如,HWD可以使用一个或多个发现机制来发现第二设备,并且可以配对到第二设备。HWD和第二设备可以(使用TOF、范围和/或AoA)确定相对于彼此的方位。当用户在环境中行走时,HWD和第二设备的方位/方向改变,从而使得乐器响应于用户在环境中的位置而发生移动(例如,乐器发生空间移位和/或音频移位)。
图7A和图7B示出了根据本公开示例实施方式的环境中的世界锁定的空间音频的示例。如所示出的,用户在环境中走动,并且第一设备(耦接到用户)相对于(环境中的)第二设备的方位可以相应地改变。该环境可以包括多个设备,所述多个设备具有UWB天线、标签、信标或放置在已知位置的锚等。例如,游乐园和/或博物馆中的设备可以包含多个UWB设备。环境中的一个或多个UWB设备可以与第一设备中的一个或多个UWB设备结合使用,以确定第一设备(以及耦接到第一设备的用户)距环境中的设备的接近度、第一设备(以及耦接到第一设备的用户)到环境中的设备的方向、和/或第一设备(以及耦接到第一设备的用户)到环境中的设备的方位。在一些实施例中,第一设备可以使用环境中的设备的多个UWB设备中的每个的三角测量结果来确定位置、方向、方位、高度(altitude)等。
如图7A所示,耦接到用户的(例如,由用户手持、由用户穿戴等的)第一设备701的方位,并且第二设备702可以在环境700中的第一位置。响应于第一设备701耦接到用户和第二设备702处于第一位置,第二设备702可以向耦接到用户的第一设备701发送信号704A。相比之下,在图7B中,耦接到用户的第一设备701的方位,并且第二设备702在环境700中处于第二位置。响应于第一设备701耦接到用户和第二设备702处于第二位置,第二设备702向耦接到用户的第一设备701发送信号704B。音频信号可以是视频信号、音频信号、光信号等。
第一设备701和/或第二设备702还可以被配置为响应于第一设备和/或第二设备702的细微变化来确定方位改变/更新。例如,除了检测当用户在环境(如图7A和7B所示)中移动时的位置(position)/位置(location)/方位改变,当耦接到用户的第一设备701(例如,用户穿戴的第一设备701)检测到用户移动了其头部时,耦接到用户的第一设备701和第二设备702可以确定方位更新。在该示例中,渲染给移动其头部的用户的音频信号将经历相对于第二设备的位置/方位的音频移位。在一些实施例中,用户可以(经由移动、控制器和/或用户界面)控制选择或聚焦来自/产生于(或关联于)特定方向/对象/人/区域的音频。因此,响应于该控制,音频信号可以相应地如在本文讨论的那样被修改/适配/调整,例如以便强调音频信号的一个或多个相关部分,和/或去强调音频信号的一个或多个不相关部分,以渲染给用户。
取决于用户在环境中的位置(例如,第一设备相对于第二设备702的方位)和/或用户希望关注哪些方面,在环境中穿戴设备(或以其它方式耦接到设备)的每个用户可以体验不同的空间音频。
在特定示例中,第二设备702可以是具有一个或多个UWB设备的亚低音扬声器。耦接到第一设备701的用户可以是持有包括显示器的移动设备的用户。亚低音扬声器设备可以增加原本可能受移动设备限制的低频带输出。随着第一设备相对于第二设备的方位改变,渲染给用户的音频信号可能被修改。此外,用户可以使用移动设备和显示器来控制音频信号。
在另一特定示例中,耦接到第一设备701的用户可能正在行走。在第一设备701(或第二设备702)检测到耦接到第一设备701的用户处于距第二设备702阈值距离范围内的情况下,第一设备701和第二设备702可以建立连接。如本文所述的,第一设备701和/或第二设备702可以基于UWB信号计算(例如,范围测量结果、TOF测量结果),来确定耦接到第一设备701的用户处于距第二设备702的阈值距离范围内。响应于所确定的耦接到第一设备701的用户相对于第二设备702的位置和/或方位,第二设备可以向第一设备发送信号。该信号可以是音频信号和/或视频信号。附加地或替换地,响应于第一设备701处于距第二设备702的阈值接近度(由使用第一设备701上的UWB设备和第二设备702上的UWB设备,利用UWB测量结果所确定的)内,第一设备701可以被触发以初始化传感器(诸如,摄像头),并且可以扫描在第二设备702上(或周围)的机器可读特征(例如,条形码、二维码等)。
例如,响应于检测到耦接到第一设备701的用户处于具有第二设备702的商店附近,第一设备701可以接收来自第二设备702的数字菜单的图像。也即,来自第二设备702的数字菜单可以显示在第一设备701的屏幕上。附加地或替换地,第一设备701可以将数字菜单的图像覆盖在由用户观看的环境(例如,增强现实)上,和/或提供对菜单、商店和/或来自商店的物品的音频描述。在一些实施例中,耦接到第一设备701的用户可以从数字菜单订购一个或多个物品。第一设备701可以通过提示用户输入授权凭证来验证/认证/授权用户(如本文所述)。响应于接收到授权凭证,第一设备701可以发起与第二设备702的金融交易。相应地,用户可以为所订购的物品付款。
在另一示例中,耦接到第一设备701的用户穿过游乐园可以接收来自游乐园周围的设备的信息(例如,以音频和/或视觉形式)。例如,乘车信息(例如,等待时间、身高限制、体重限制等)可以由第一设备701从游乐园中的(一个或多个)第二设备702接收。第一设备701被配置为将接收到的乘车信息传送给用户(例如,在显示器上显示乘车信息、将乘车信息覆盖在用户的环境视图上、将乘车信息可听地传送给用户等)。
在又一特定示例中,耦接到第一设备701的用户可以在环境中寻找/搜索特定设备。在一些实施例中,每个设备可以是唯一的,并且包含唯一的音频信号和/或视频信号,该音频信号和/或视频信号响应于用户处于距设备的预定的接近度内和/或响应于用户与设备(物理地或数字地)交互而被渲染给用户。
例如,响应于处于距设备(例如,第二设备702)预定的接近度,第一设备701可以接收来自第二设备702的被配置为渲染特定对象的数据。第一设备和/或第二设备可以通过使用由第一设备701上的UWB设备和第二设备702上的UWB设备确定的UWB测量结果来计算范围,从而确定耦接到第一设备701的用户处于预定的接近度内。耦接到第一设备701的用户可以直接与所渲染的对象交互。第一设备701可以捕获用户手势、声音、面部表情等,并且可以将这些数据发送到第二设备702。由第二设备702接收的手势、声音、面部表情等可以触发附加的音频数据和/或视频数据,该音频数据和/或视频数据将被第一设备701接收。在一些实施例中,所渲染的对象可以存储在第一设备701的存储器中。在一些实施例中,耦接到第一设备701的用户间接地与所渲染的对象交互。例如,耦接到第一设备701的用户可以走向所渲染的对象。如本文所讨论的,走向所渲染的对象可以改变第一设备701相对于第二设备702的方位和/或位置。相应地,响应于方位和/或位置的改变,第一设备701可以接收来自第二设备702的音频数据和/或视频数据。例如,当用户走向所渲染的对象时,用户可能体验到音量增加的音频、和/或细节/清晰度/保真度增加的视频内容。除了音量变化外,音频内容也可能发生变化。例如,可以经由第一设备701将更详细的信息传送给用户。
在又一示例中,第一设备701可以基于从环境中的一个或多个其它设备的UWB设备接收的范围、TOF和/或AoA,来定位环境中的一个或多个其它设备。例如,耦接到第一设备701的用户可以使用UWB测量结果,来接收与第二设备702相对于第一设备701的身份、位置和/或方位有关的信息。随着用户走近第二设备702,第一设备701相对于第二设备702的位置/方位改变。相应地,第一设备701可以向用户传送指示用户如何能够更接近第二设备702的指令。附加地或替换地,第一设备702可以向用户传送指示第二设备702离用户有多远的指令。在一些实施例中,第二设备702可以是用户丢失/错放或正在定位的东西。例如,第二设备可以是汽车和/或移动电话。附加地或替换地,第二设备702可以耦接到用户丢失/错放的东西。例如,第二设备702可以耦接到儿童、钱包、房屋钥匙等。
在又一特定示例中,马拉松的多个跑步者可以各自与一个设备相耦接。可以在城市中布置一个或多个其它设备(信标),使得跑步者经由耦接到所述跑步者的设备从城市中的每个信标接收方向。例如,信标可以用来构建地图来帮助跑步者导航。耦接到每个用户的设备可以使用屏幕向用户显示(或覆盖)地图,和/或在对用户可见的环境中(例如,作为增强现实)显示地图。例如,每个跑步者可以经由来自最近定位的信标的定制音频信号来接收位置信息(例如,英里数)、位置编号(例如,跑步者在马拉松中的排名)、定时信息、到下一信标的方向等。相应地,在马拉松比赛中传送给每个跑步者的信息对于该特定跑步者来说可以是唯一并且相关的,这是因为每个跑步者都耦接到唯一的设备。因此,即使多个跑步者同时到达信标,每个信标也可以利用耦接到每个跑步者的设备向每个跑步者发送相关信息(例如,位置信息、位置编号、定时信息、方向等)。此外,城市中的每个信标可以被认为是多个门,其中跑步者响应于处于距离相应的(一个或多个)门中的每个门的预定距离内,而被确定已经成功地完成了马拉松(和/或马拉松的特定阶段)。如此一来,马拉松比赛的选手就不能作弊,这是因为参赛者应该通过每一道门。
参照图8,图8描绘了根据本公开示例实施方式的基于空间音频的通话(或视频会议)的说明性示例。设备850包括屏幕852。设备850可以是具有多个UWB天线802至812的任何智能屏幕设备、电视、平板电脑、电话等。使用设备850的用户可以使用屏幕852对设备850进行查看(或以其它方式与设备850进行交互)。用户可以耦接到具有一个或多个UWB天线的HWD(未示出)。用户可以在屏幕852上查看一个或多个对象。如所示出的,用户可以在屏幕852上的不同虚拟化和/或空间化位置处与用户822至832进行电话会议。
在一个示例性实施方式中,设备850锚定HWD(未示出)。HWD和/或设备850可以使用设备850的UWB天线802至812和HWD(未示出)的一个或多个UWB天线,来确定HWD相对于设备850的方位。确定HWD相对于设备850的方位可以向HWD和/或设备850提供关于用户正在关注(例如,收听、观看等)的用户822至832的信息。HWD和/或设备850可以基于检测到的HWD相对于设备850的方位的改变,来检测用户已经移动了其头部。如本文所讨论的,可以利用对UWB天线802至812和HWD(未示出)的UWB天线的TOF计算、范围分析和/或AoA分析,来确定HWD相对于设备850的方位。例如,HWD和/或设备850可以确定用户已经移动了其头部并且正在注视用户822。HWD和/或设备850可以响应于UWB天线802和HWD上的UWB天线之间的距离最短(例如,HWD在UWB天线802的方向上倾斜,这表明穿戴HWD的用户正在注视用户822)来确定穿戴HWD的用户正在注视用户822。类似地,HWD和/或设备850可以基于HWD和设备850之间的UWB测量结果(例如,对于方位或AoA)来确定用户已经移动了其头部并且正在注视用户828。例如,UWB天线808和HWD上的UWB天线之间的TOF计算可以是最短的,这表明用户已经倾斜了其头部来注视用户828。
在一些实施例中,HWD和/或设备850可以使用一个或多个传感器和/或用户输入,从用户822至832中确定穿戴HWD的用户正在注视的用户(例如,标识感兴趣的用户)。例如,在一些实施例中,耦接到HWD的用户可以使用手势(由HWD和/或设备850的摄像头捕捉的头部姿态和/或手部姿态)和/或用户输入来选择感兴趣的用户。
响应于从用户822至832中标识出感兴趣的用户,其它用户(例如,其余用户、穿戴HWD的用户没有注视的用户)可以在显示器852上显得暗淡、可以被静音等。以这种方式,穿戴HWD的用户可以聚焦于感兴趣的用户。例如,HWD可以使用均衡器改变从其余用户接收的音频,HWD可以过滤出背景音频,HWD可以提升与从感兴趣的用户接收的音频相关联的音频(使用一个或多个语音识别操作来锁定(或过滤)与感兴趣的用户相关联的数据)等。在诸如拥挤的会议室和/或虚拟闲逛场所的场景中,根据UWB测量结果而确定该用户焦点可能是有益的。
在一些实施例中,HWD和/或第二设备可以基于HWD相对于设备850的UWB测量结果(例如,HWD相对于设备850的方位)来确定穿戴HWD的用户正将目光从显示器852移开。相应地,HWD/设备850可以被配置为使设备850的显示器852变暗、使所有音频静音(由HWD上的麦克风捕捉和/或从设备850的扬声器投射)和/或关闭穿戴HWD的用户的摄像头记录(捕获的图像/帧)。
参照图9,图9描绘了根据本公开示例实施方式的、基于基于位置的麦克风波束成形的聚焦对话/收听的说明性示例。场景900中的每个用户902、904、906(1)-906(4)可以耦接到具有一个或多个UWB设备(例如,UWB天线)、麦克风、扬声器电话、显示器、和/或被配置为执行各种功能的其它处理器的设备。场景900中的每个用户可以是传达场景900中的每个其它用户的存在的显示信息。例如,耦接到每个用户的设备可以显示场景900中的每个其它用户。在一些实施例中,在屏幕上显示每个用户。在其它实施例中,对每个用户的显示覆盖在对用户可见的环境(例如,增强现实)中。此外,每个用户可以被配置为说话(例如,生成音频,使得每个用户可以被认为是唯一/独立的音频源)。在场景900中,用户902可以尝试与用户904通信。相应地,用户902和用户904是(例如,对于彼此)感兴趣的用户,而用户906(1)-906(4)是其余用户。在一些实施例中,其余用户906(1)-906(4)可以(被配置为)收听和/或看到用户902和用户904之间的通信。在其它实施例中,其余用户906(1)-906(4)不能听到/看到用户902和904之间的通信。
在一些实施例中,用户902和/或用户904可以指示用户902/904希望进入与另一用户904/902的通信信道。在一些实施例中,用户902和904必须都同意进入通信信道。用户902/904可以通过选择另一用户904/902来指示他们希望进入通信信道。例如,用户902/904可以使用输入(例如,鼠标输入、文本输入等)、使用手势(头部姿态、手部姿态等)等可听地(例如,说出与用户904/902相关联的用户身份)等来选择用户904/902。
在该示例中,响应于用户902选择发起与用户904的通信信道(并且在一些实施例中,用户904接受来自用户902的通信请求),可以由耦接到用户902的设备来确定用户904与用户902的位置和距离。例如,如本文所述的,耦接到用户902的设备上的UWB天线可以交换信号,使得耦接到用户902的设备可以确定诸如TOF、AoA和/或范围信息等UWB信息。在一些实施例中,场景900中的多个设备可以使用UWB天线来交换信号,并且可以确定诸如TOF、AoA和/或范围信息等UWB信息。在其它实施例中,不同的设备(未示出)可以确定场景900中的一个或多个设备的TOF、AoA和/或范围信息。
当用户902和/或用户904在场景900周围移动时,耦接到每个用户的设备可以交换和/或更新UWB信息。相应地,耦接到用户902的设备更新用户904(耦接到具有UWB天线的设备的用户904)的位置/方位,并且耦接到用户904的设备更新用户902(耦接到具有UWB天线的设备的用户902)的位置/方位。因此,耦接到用户902/904的每个设备可以(间接地)确定/计算相对于另一设备的位置/方位,无需(直接)接收/检测/知道用户902/用户904的绝对位置。
该设备还可以更新麦克风元件的位置/方位,以便于锁定到感兴趣的用户的波束成形。在该示例中,用户902感兴趣的用户是用户904,并且用户904感兴趣的用户是用户902。相应地,耦接到用户902的设备可以锁定到耦接到用户904的设备。可以控制分别与用户902和/或用户904相关联的设备上的麦克风(和/或麦克风元件阵列、麦克风阵列)。一个或多个麦克风元件可以接收分别将麦克风元件转向用户904/902的指令。以此方式,与用户902/904相关联的设备使用波束成形来增强用户904/902的音频。耦接到用户902的设备和/或耦接到用户904的设备的每个麦克风元件的更新位置/方位可以改变波束成形,以将焦点保持在感兴趣的用户的麦克风上。例如,即使耦接到用户902的设备经由耦接到用户902的设备的麦克风从用户906(1)-906(4)和用户904接收音频,耦接到用户902的设备也可以基于耦接到用户902的设备和耦接到用户904的设备的所确定的方位/位置,来选择与用户904关联的音频(以及对应的音频信号/音频流)。
在一些实施例中,耦接到用户902的设备和/或耦接到用户904的设备可以使用UWB信息来修改接收的音频信号以使声音空间化,从而使得从感兴趣的用户接收的声音听起来随着用户的位置/方位而改变。例如,当用户904远离用户902时,用户904的音频在用户902看来可能更安静/更柔和。相应地,耦接到用户902的设备根据所确定的相对于场景900中的其它设备的方位来渲染用户904的音频。具体地,耦接到用户902的设备通过选择(在某些情况下修改)从用户904接收的音频流来渲染来自用户904的音频。
在一些实施例中,每个设备可以使用一个或多个附加传感器(例如,摄像头)来进一步提供位置信息、方位信息等。例如,由一个或多个设备(例如,耦接到用户902的设备和/或耦接到用户904的设备)执行的一个或多个摄像头可以使用对象检测/识别操作和/或对象跟踪操作来跟踪感兴趣的用户(例如,用户902和/或用户904)。与跟踪感兴趣的用户相关联的信息(诸如位置信息、方向信息等)可以由耦接到用户902的设备和/或耦接到用户904的设备使用,以使用UWB信号来补充/改进/确认所确定的位置/方位。
在一些实施例中,耦接到用户902的设备和/或耦接到用户904的设备的一个或多个处理器可以使用语音识别软件来跟踪(和增强)与感兴趣的用户(例如,用户902和/或用户904)相关联的音频数据。例如,耦接到用户902的设备可以包含被训练成识别用户904的语音的语音识别软件。耦接到用户902的设备可以接收源自场景900中的用户(例如,用户906(1)-906(4)和用户904)的多个音频流。相应地,一个或多个处理器可以使用语音识别软件来重新校准所接收的音频信号,以过滤出与用户906(1)-906(4)相关联的音频信号,从而将音频的焦点保持在用户904上。因此,即使耦接到用户902的设备可以从除了用户904之外的用户906(1)-906(4)接收多个音频信号(或多个音频信号的一部分),但是耦接到用户902的设备也可以渲染与用户904相关联的音频。
本文描述的各种操作可以在计算机系统上实现。图10示出了可用于实现本公开的代表性计算系统1014的框图。在一些实施例中,计算设备110、HWD 150、设备302、304或图1至图9中的部件中的每个由计算系统1014的一个或多个部件实现或可以以其它方式包括计算系统1014的一个或多个部件。计算系统1014可以被实现为例如消费者设备,该消费者设备例如为智能手机、其它移动电话、平板计算机、可穿戴计算设备(例如,智能手表、眼镜、头部可穿戴显示器)、台式计算机、膝上型计算机;或者该消费者设备是利用分布式计算设备来实现的。计算系统1014可以被实施为提供VR、AR、MR体验。在一些实施例中,计算系统1014可以包括常规计算机部件,诸如处理器1016、存储设备(也称为存储器)1018、网络接口1020、用户输入设备1022和用户输出设备1024。
网络接口1020可以向广域网(例如,互联网)提供连接,远程服务器系统的WAN接口也连接至该广域网。网络接口1020可以包括实现各种射频(RF)数据通信标准(例如,Wi-Fi、蓝牙或蜂窝数据网络标准(例如,3G、4G、5G、60GHz、LTE等))的有线接口(例如,以太网)和/或无线接口。
用户输入设备1022可以包括用户可以通过其向计算系统1014提供信号的任何设备(或多个设备);计算系统1014可以将这些信号解释为表明特定的用户请求或信息。用户输入设备1022可以包括键盘、触摸板、触摸屏、鼠标或其它定点设备、滚轮、点击式滚轮、旋钮、按钮、开关、小键盘、传声器、传感器(例如,运动传感器、眼动追踪传感器等)等中的任何或全部。
用户输出设备1024可以包括计算系统1014可以通过其向用户提供信息的任何设备。例如,用户输出设备1024可以包括显示器,该显示器用于显示由计算系统1014生成或传递到计算系统514的图像。该显示器可以包含各种图像生成技术,这些图像生成技术例如液晶显示器(liquid crystal display,LCD)、包括有机发光二极管(organic light-emitting diode,OLED)的发光二极管(light-emitting diode,LED)、投影系统、阴极射线管(cathode ray tube,CRT)等,以及支持型电子器件(例如,数模转换器或模数转换器、信号处理器等)。可以使用诸如用作输入设备和输出设备两者的触摸屏之类的设备。除了显示器之外或代替该显示器,可以提供输出设备1024。示例包括指示灯、扬声器、触觉“显示”设备、打印机等。
一些实施方式包括将计算机程序指令存储在计算机可读存储介质(例如,非暂态计算机可读介质)中的电子部件,例如微处理器、存储设备(storage)及内存。本说明书中所描述的许多特征可以实施为程序,所述程序被指定为在计算机可读存储介质上编码的一组程序指令。在这些程序指令由一个或多个处理器执行时,这些程序指令促使处理器执行这些程序指令中所指示的各种操作。程序指令或计算机代码的示例包括机器代码和文件,该机器代码例如由编译器生成,所述文件包括由计算机、电子部件或微处理器使用解释器执行的高级代码。通过合适的编程,处理器616可以提供用于计算系统614的各种功能性,包括以下中的任一者:在本文中描述为由服务器或客户端执行的功能性或与消息管理服务相关联的其它功能性。
应当理解的是,计算系统1014是说明性的且可以进行各种变型和修改。结合本公开使用的计算机系统可以具有本文未具体描述的其它功能。此外,虽然计算系统1014是参考特定块(block)来描述的,但是可以理解的是,这些块是为了便于描述而定义的,并不旨在暗示部件部分的特定物理布置。例如,不同块可以位于同一设施中、同一服务器机架中或同一主板上。此外,这些块不必对应于实体上不同的部件。块可以被配置为例如通过程序化处理器或提供适当控制电路来执行各种操作,并且各种块根据如何获得初始配置,可以进行或可以不进行重新配置。本公开的实施方式可以在多种设备中实现,这些设备包括使用电路和软件的任何组合所实施的电子设备。
现已描述了一些说明性实施方式,显而易见的是,前述内容为说明性的而非限制性的,已借助于示例进行了呈现。特别是,尽管本文中所呈现的许多示例涉及方法动作或系统元件的特定组合,但这些动作及这些元件可以以其它方式组合以实现相同目标。结合一个实施方式所论述的动作、元件和特征并不旨被排除在其它实施方式或实施方式中的类似作用之外。
可以利用被设计为执行本文所描述的功能的通用单芯片处理器或通用多芯片处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(applicationspecific integrated circuit,ASIC)、现场可编程门阵列(field programmable gatearray,FPGA)或其它可编程逻辑装置、分立门(discrete gate)或晶体管逻辑、分立硬件部件、或它们的任意组合,来实现或执行硬件和数据处理部件,这些硬件和数据处理部件用于实现结合本文所公开的实施例而描述的各种过程、操作、说明性逻辑、逻辑块、模块和电路。通用处理器可以是微处理器,或者可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如,DSP与微处理器的组合、多个微处理器的组合、结合DSP核的一个或多个微处理器、或任何其它这种配置。在一些实施例中,可以由专用于给定功能的电路来执行特定的过程和方法。存储器(例如,存储器、存储器单元、存储设备等)可以包括一个或多个设备(例如,RAM、ROM、闪存、硬盘存储器等),以用于存储数据和/或计算机代码,以用于完成或促进本公开中描述的各种过程、各种层和各种模块。该存储器可以为或可以包括易失性存储器或非易失性存储器,并且可以包括数据库组件、对象代码组件、脚本组件或用于支持本公开中描述的各种活动和信息结构的任何其它类型的信息结构。根据一个示例性实施例,存储器经由处理电路可通信地连接到处理器,并且包括用于(例如由处理电路和/或处理器)执行本文描述的一个或多个过程的计算机代码。
本公开考虑了用于完成各种操作的方法、系统和任何机器可读介质上的程序产品。本公开的各实施例可以使用现有的计算机处理器来实现,或者通过用于合适系统的专用计算机处理器来实现,或者本公开的各实施例可以为了这个目的或其它目的而组合,或者通过硬连线系统来实现。本公开范围内的各实施例包括程序产品,这些程序产品包括用于携带或在其上存储机器可执行指令或数据结构的机器可读介质。这样的机器可读介质可以是可以由通用计算机或专用计算机或具有处理器的其它机器访问的任何可用介质。作为示例,这样的机器可读介质可以包括RAM、ROM、EPROM、EEPROM或其它光盘存储器、磁盘存储器或其它磁存储设备,或者可以用于携带或存储所期望的机器可执行指令形式或数据结构形式的程序代码的、并且可以由通用计算机或专用计算机或具有处理器的其它机器访问的任何其它介质。上述的组合也包括在机器可读介质的范围内。机器可执行指令包括例如使得通用计算机、专用计算机或专用处理机器执行特定功能或功能组的指令和数据。
本文使用的措辞和术语是出于描述的目的,而不应被认为是限制性的。本文中使用“包含”、“包括”、“具有”、“含有”、“涉及”、“特征在于”、“特征是”及它们的变型意味着涵盖其后列出的项目、其等同物和附加项目,以及包含排他地由其后列出的项目构成的替代实施方式。在一个实施方式中,本文描述的系统和方法包括所描述的元件、动作或部件中的一个、它们中多于一个的每种组合或它们全部。
对本文中以单数形式提及的系统和方法的实施方式或元素或动作的任何引用也可以涵盖包括多个这些元素的实施方式,并且对本文中任何实施方式或元素或动作的任何复数引用也可以涵盖仅包括单个元素的实施方式。单数形式或复数形式的引用并不旨在将当前公开的系统或方法、它们的部件、动作或元素限制为单个或多个配置。对基于任何信息、动作或元素的任何动作或元素的引用可以包括该动作或元素至少部分地基于任何信息、动作或元素的实施方式。
本文公开的任何实施方式可以与任何其它实施方式或实施例相结合,并且对“一实施方式”、“一些实施方式”、“一个实施方式”等的引用不一定相互排斥,而是旨在指示结合该实施方式描述的特定特征、结构或特性可以被包括在至少一个实施方式或实施例中。本文使用的这些术语不一定都指同一实施方式。任何实施方式可以以与本文公开的各方面和各实施方式一致的任何方式来与任何其它实施方式包含性地或者排他性地相结合。
在各附图、具体实施方式或任何权利要求中的技术特征后面跟随附图标记的情况下,已经包括了这些附图标记以增加各附图、具体实施方式和各权利要求书的可理解性。因此,这些附图标记或它们的缺失都不具有对任何权利要求要素的范围的任何限制作用。
在不脱离本发明的特征的情况下,本文所描述的系统和方法可以以其它特定形式来实施。除非另外明确指出,否则对“大约”、“约”、“基本上”或其它程度术语的引用包括距给定测量结果、单位或范围的正负10%(+/-10%)的变化。耦接的元件可以直接或通过中间元件彼此电耦接、机械耦接或物理耦接。因此,本文所描述的系统和方法的范围由所附权利要求书而不是前面的描述来指示,并且在权利要求书的等同物的含义和范围内的变化被包含在其中。
术语“耦接(coupled)”及其变型包括两个构件直接或间接地彼此联结。这种联结可以是静止的(例如,永久的或固定的)或可移动的(例如,可移除的或可释放的)。这种联结可以通过两个构件直接彼此耦接或耦接到彼此来实现,通过两个构件使用单独的中间构件彼此耦接,以及通过任何另外的中间构件彼此耦接,或者通过两个构件使用与两个构件中的一者整体地形成为单个整体主体的中间构件彼此耦接。如果“耦接(coupled)”或其变型被附加术语(例如,直接耦接)所修饰,则上面提供的“耦接”的一般定义被附加术语的简单语言含义所修饰(例如,“直接耦接”意味着两个构件在没有任何单独的中间构件的情况下联结),导致比上面提供的“耦接”的一般定义更窄的定义。这种耦接可以是机械的、电的或流体的。
对“或”的引用可以被解释为包含性的,使得使用“或”描述的任何术语可以表示单个、多于一个和所有描述的术语中的任何一个。对“‘A’和‘B’中的至少一个”的引用可以包括仅‘A’、仅‘B’、以及‘A’和‘B’两者。与“包括”或其它公开术语结合使用的这种引用可以包括附加项。
在本质上不脱离本文所公开的主题的教导和优点的情况下,可以对所描述的元件和动作进行修改,例如各种元件的大小、尺寸、结构、形状和比例、参数值、安装布置结构、材料的使用、颜色、取向的变化。例如,显示为整体形成的元件可以由多个部分或元件构成,这些元件的位置可以颠倒或以其它方式改变,并且分立元件的性质或数量或位置可以更改或变化。在不脱离本公开的范围的情况下,还可以对所公开的元件和操作的设计、操作条件和布置进行其它替换、修改、改变和省略。
本文对元件的位置(例如,“顶部”、“底部”、“上方”、“下方”)的引用仅用于描述附图中各种元件的方位。根据其它示例实施例,各种元件的方位可以不同,并且这种变型旨在被本公开所涵盖。

Claims (15)

1.一种方法,包括:
包括第一超宽带(UWB)天线的第一设备建立与具有第二UWB天线的第二设备的连接;
所述第一设备根据所述第一设备的第一UWB天线和所述第二设备的第二UWB天线之间的一个或多个UWB测量结果,来确定所述第一设备相对于所述第二设备的方位;
所述第一设备接收对应于所述第二设备的音频信号;以及
所述第一设备根据所确定的所述方位,将所述音频信号渲染为对所述第一设备的用户的音频输出。
2.根据权利要求1所述的方法,其中,所述音频信号由所述第一设备从所述第二设备接收,并且其中,所述音频信号由所述第二设备的麦克风生成;和/或优选地,其中,所述音频信号由所述第一设备从与所述第二设备分开的音频源接收,并且其中,所述音频信号对应于位于所述第二设备附近的对象;和/或优选地,其中,所述第一设备或所述第二设备包括多个UWB天线,并且其中,确定所述方位包括确定所述第一设备相对于所述第二设备的到达角(AoA)。
3.根据权利要求1或2所述的方法,还包括:
所述第一设备显示包括多个第二用户的表示的用户界面,所述多个第二用户中的每个第二用户对应于相应的音频源;其中,渲染所述音频包括:
所述第一设备根据所确定的所述方位,将所述音频信号作为音频输出渲染给所述第一设备的用户,所述音频信号包括来自多个相应的音频源中的至少一些音频源的音频数据。
4.根据权利要求3所述的方法,其中,呈现所述音频信号包括:所述第一设备根据所确定的所述方位,将所述音频信号相对于所述用户界面上的所述多个第二用户的所述表示而渲染给所述第一设备的用户。
5.根据权利要求4所述的方法,还包括:所述第一设备根据所确定的所述方位,选择所述多个相应的音频源中的一个音频源,以用于将音频数据合并到由所述第一设备呈现的所述音频信号中。
6.根据前述权利要求中任一项所述的方法,还包括:
所述第一设备接收来自所述第一设备的多个麦克风的多个音频数据流;以及
所述第一设备根据所确定的所述第一设备相对于所述第二设备的所述方位,选择所述多个音频数据流中的第一音频数据流,其中,所述音频信号来自所述第一音频数据流。
7.根据权利要求6所述的方法,还包括:
所述第一设备根据所述第一设备的第一UWB天线和所述第二设备的第二UWB天线之间的一个或多个第二UWB测量结果,来确定所述第一设备相对于所述第二设备的所述方位的变化;以及
所述第一设备根据所确定的所述第一设备相对于所述第二设备的所述方位的变化,选择所述多个音频数据流中的第二音频流;和/或优选地,还包括:
所述第一设备接收与所述第二设备配对的请求;
所述第一设备发起所述第一设备和所述第二设备之间的配对;以及
响应于所述第一设备和所述第二设备之间的成功配对,所述第一设备接收来自所述第一设备的多个麦克风的所述多个音频数据流。
8.一种设备,包括:
第一超宽带(UWB)天线;以及一个或多个处理器,所述一个或多个处理器被配置为:
与具有第二UWB天线的第二设备建立连接;
根据所述第一设备的第一UWB天线和所述第二设备的第二UWB天线之间的一个或多个UWB测量结果,来确定所述第一设备相对于所述第二设备的方位;
接收对应于所述第二设备的音频信号;以及
根据确定的所述方位,将所述音频信号渲染为对所述第一设备的用户的音频输出。
9.根据权利要求8所述的设备,其中,所述音频信号由所述第一设备从所述第二设备接收,并且其中,所述音频信号由所述第二设备的麦克风生成;和/或优选地,其中,所述音频信号由所述第一设备从与所述第二设备分开的音频源接收,并且其中,所述音频信号对应于位于所述第二设备附近的对象;和/或优选地,其中所述第一设备或所述第二设备包括多个UWB天线,并且其中,确定所述方位包括确定所述第一设备相对于所述第二设备的到达角(AoA)。
10.根据权利要求8或9所述的设备,其中,所述一个或多个处理器还被配置为:显示包括多个第二用户的表示的用户界面,所述多个第二用户中的每个第二用户对应于相应的音频源;其中,所述音频信号根据所确定的所述方位而被作为音频输出渲染给所述第一设备的用户,所述音频信号包括来自多个相应的音频源中的至少一些音频源的音频数据。
11.根据权利要求10所述的设备,其中,所述一个或多个处理器被配置为:根据所确定的所述方位,将所述音频信号相对于所述用户界面上的所述多个第二用户的所述表示而渲染给所述第一设备的用户。
12.根据权利要求11所述的设备,其中,所述一个或多个处理器被配置为:根据所确定的所述方位,选择所述多个相应的音频源中的一个音频源,以用于将音频数据合并到由所述第一设备呈现的所述音频信号中。
13.根据权利要求8至12中任一项所述的设备,其中,所述一个或多个处理器被配置为:
接收来自所述第一设备的多个麦克风的多个音频数据流;以及
根据所确定的所述第一设备相对于所述第二设备的所述方位,选择所述多个音频数据流中的第一音频数据流,其中,所述音频信号来自所述第一音频数据流。
14.根据权利要求13所述的设备,其中,所述一个或多个处理器被配置为:
接收与所述第二设备配对的请求;
发起所述第一设备和所述第二设备之间的配对;以及
响应于所述第一设备和所述第二设备之间的成功配对,接收来自所述第一设备的多个麦克风的所述多个音频数据流。
15.一种非暂态计算机可读介质,所述非暂态计算机可读介质存储有指令,所述指令在被一个或多个处理器执行时,促使所述一个或多个处理器:
在包括第一超宽带(UWB)天线的第一设备和具有第二UWB天线的第二设备之间建立连接;
根据所述第一设备的第一UWB天线和所述第二设备的第二UWB天线之间的一个或多个UWB测量结果,来确定所述第一设备相对于所述第二设备的方位;
接收对应于所述第二设备的音频信号;以及
根据所确定的所述方位,将所述音频信号渲染为对所述第一设备的用户的音频输出。
CN202280021961.3A 2021-03-19 2022-03-16 用于超宽带应用的系统和方法 Pending CN116998170A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163163418P 2021-03-19 2021-03-19
US63/163,418 2021-03-19
US17/565,772 US11729551B2 (en) 2021-03-19 2021-12-30 Systems and methods for ultra-wideband applications
US17/565,772 2021-12-30
PCT/US2022/020630 WO2022197856A1 (en) 2021-03-19 2022-03-16 Systems and methods for ultra-wideband applications

Publications (1)

Publication Number Publication Date
CN116998170A true CN116998170A (zh) 2023-11-03

Family

ID=83285254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280021961.3A Pending CN116998170A (zh) 2021-03-19 2022-03-16 用于超宽带应用的系统和方法

Country Status (4)

Country Link
US (2) US11729551B2 (zh)
EP (1) EP4309381A1 (zh)
CN (1) CN116998170A (zh)
TW (1) TW202243500A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11693837B2 (en) * 2020-09-18 2023-07-04 Databricks, Inc. Model ML registry and model serving
US20230024254A1 (en) * 2021-07-26 2023-01-26 Google Llc Gesture Controls Using Ultra Wide Band
US11876795B2 (en) * 2021-08-27 2024-01-16 Bank Of America Corporation Resource processing terminal device with enhanced secure resource transmissions based on image capture
US20230292047A1 (en) * 2022-03-14 2023-09-14 Nxp Usa, Inc. Audio system sound tuning using ultrawideband radio sensing
US20230319475A1 (en) * 2022-03-30 2023-10-05 Motorola Mobility Llc Audio level adjustment based on uwb
US11609102B1 (en) * 2022-06-03 2023-03-21 Sword Health, S.A. Gyroscope drift estimation and compensation with angle of arrival of electromagnetic waves
US20230409079A1 (en) * 2022-06-17 2023-12-21 Motorola Mobility Llc Wearable Audio Device with Centralized Stereo Image and Companion Device Dynamic Speaker Control
GB2622778A (en) * 2022-09-26 2024-04-03 Nokia Technologies Oy Orientation determination in telecommunication systems

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004032600A2 (en) 2002-02-20 2004-04-22 General Atomics Method and apparatus for data transfer using a time division multiple frequency scheme with additional modulation
US6990211B2 (en) 2003-02-11 2006-01-24 Hewlett-Packard Development Company, L.P. Audio system and method
US20050100102A1 (en) 2003-08-04 2005-05-12 Gazdzinski Robert F. Error-corrected wideband holographic communications apparatus and methods
EP1560344B1 (en) 2004-01-28 2017-05-10 Harris Corporation Wireless ultra wideband network having frequency BIN transmission level setting and related methods
US7372890B2 (en) 2005-01-28 2008-05-13 Texas Instruments Incorporated Methods and systems for detecting and mitigating interference for a wireless device
US7664465B2 (en) 2005-11-04 2010-02-16 Microsoft Corporation Robust coexistence service for mitigating wireless network interference
US7720499B2 (en) 2006-02-27 2010-05-18 Tropos Networks, Inc. Regulation of transmission power control in mitigate self interference by optimizing link transmission parameters in a wireless network
EP2031418B1 (en) 2007-08-27 2017-11-01 Harman Becker Automotive Systems GmbH Tracking system using RFID (radio frequency identification) technology
US8175542B2 (en) 2009-04-22 2012-05-08 Broadcom Corporation Transceiver with plural space hopping phased array antennas and methods for use therewith
US8224395B2 (en) 2009-04-24 2012-07-17 Sony Mobile Communications Ab Auditory spacing of sound sources based on geographic locations of the sound sources or user placement
US8593573B2 (en) * 2009-12-14 2013-11-26 VIZIO Inc. System, method and apparatus for detecting docking of headphones
KR20180061399A (ko) * 2012-06-29 2018-06-07 로무 가부시키가이샤 스테레오 이어폰
US9788139B2 (en) * 2013-10-15 2017-10-10 Voyetra Turtle Beach, Inc. System and method for automatically pairing headset to gaming audio source based on proximity
DE102014204630A1 (de) 2014-03-13 2015-09-17 Steffen Armbruster Mobile Vorrichtung für immersive Sounderlebnisse
EP3566468B1 (en) * 2017-01-09 2021-03-10 Sonova AG Microphone assembly to be worn at a user's chest
WO2019084214A1 (en) * 2017-10-24 2019-05-02 Whisper.Ai, Inc. AUDIO SEPARATION AND RECOMBINATION FOR INTELLIGIBILITY AND COMFORT
WO2020069311A1 (en) * 2018-09-28 2020-04-02 Apple Inc. Ranging between mobile devices
CN113796099A (zh) 2019-04-17 2021-12-14 苹果公司 使用增强现实寻找目标设备
KR102614447B1 (ko) 2019-05-31 2023-12-18 삼성전자 주식회사 데이터의 프레임 길이에 기반하여 uwb 전송 신호의 피크 전압을 조절하는 전자 장치 및 전자 장치의 동작 방법
WO2021010659A1 (en) 2019-07-12 2021-01-21 Samsung Electronics Co., Ltd. Electronic device for performing ranging by using ultra-wideband in wireless communication system, and method of operating the electronic device
EP4010723A1 (en) 2019-08-06 2022-06-15 Telefonaktiebolaget LM Ericsson (publ) Technique for updating a positioning configuration
US11796667B2 (en) * 2019-09-06 2023-10-24 Apple Inc. One to many ranging techniques
US11520550B1 (en) * 2019-09-23 2022-12-06 Apple Inc. Electronic system for producing a coordinated output using wireless localization of multiple portable electronic devices
US20210360366A1 (en) 2020-05-13 2021-11-18 Hubbell Incorporated Proximity-based contact tracing system
US11470444B2 (en) * 2020-06-18 2022-10-11 Apple Inc. Communication techniques using passive beacons
US11722845B2 (en) * 2021-02-16 2023-08-08 Adobe Inc. System for combining sensor data to determine a relative position

Also Published As

Publication number Publication date
EP4309381A1 (en) 2024-01-24
US11729551B2 (en) 2023-08-15
US20230396926A1 (en) 2023-12-07
TW202243500A (zh) 2022-11-01
US20220303680A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
CN116998170A (zh) 用于超宽带应用的系统和方法
US11709067B2 (en) User controlled directional interface processing
US9271103B2 (en) Audio control based on orientation
US9084068B2 (en) Sensor-based placement of sound in video recording
US20220299617A1 (en) Systems and methods for automatic triggering of ranging
WO2021104010A1 (zh) 支付方法和电子设备
EP3427233B1 (en) Method and apparatus for providing augmented reality services
US20220137204A1 (en) Interactive control with ranging and gesturing between devices
US20220381898A1 (en) Controlling device and processing settings based on radio frequency sensing
CN112991439B (zh) 定位目标物体的方法、装置、电子设备及介质
WO2022197856A1 (en) Systems and methods for ultra-wideband applications
CN114390426A (zh) 一种音量校准方法及装置
KR101749393B1 (ko) 와치 타입의 이동 단말기 및 그의 디스플레이 방법
CN110008671B (zh) 数据校验方法及装置
CN114356182B (zh) 物品定位方法、装置、设备及存储介质
CN111918084B (zh) 上麦方法、装置、服务器及终端
EP4007229A1 (en) Bandwidth determination method and apparatus, and terminal, and storage medium
KR20170027135A (ko) 이동단말기 및 그 제어방법
US20240049218A1 (en) Systems and methods of slot scheduling
EP4284027A1 (en) Audio signal processing method and electronic device
US20240063844A1 (en) Systems and methods of configuring uwb physical layer headers
WO2022197746A1 (en) Systems and methods for automatic triggering of ranging
WO2023101887A1 (en) Systems and methods of angle-of-arrival determination in wireless devices
KR101676172B1 (ko) 와치 타입 이동 단말기
KR20160012827A (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination