CN111148969A - 空间音频导航 - Google Patents

空间音频导航 Download PDF

Info

Publication number
CN111148969A
CN111148969A CN201880062894.3A CN201880062894A CN111148969A CN 111148969 A CN111148969 A CN 111148969A CN 201880062894 A CN201880062894 A CN 201880062894A CN 111148969 A CN111148969 A CN 111148969A
Authority
CN
China
Prior art keywords
sound
path
user
audio
binaural audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880062894.3A
Other languages
English (en)
Other versions
CN111148969B (zh
Inventor
B·M·索梅
A·巴-兹夫
F·安格曼
S·E·平托
L·I-M·琼森
R·耐尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111148969A publication Critical patent/CN111148969A/zh
Application granted granted Critical
Publication of CN111148969B publication Critical patent/CN111148969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3688—Systems comprising multiple parts or multiple output devices (not client-server), e.g. detachable faceplates, key fobs or multiple output screens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Stereophonic System (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及用于空间音频导航的方法和装置，该方法和装置可例如由移动多用途设备实现。空间音频导航系统以音频形式提供导航信息以将用户指引至目标定位。该系统使用通过双耳音频设备播放的音频的方向性来将导航提示提供给用户。可将当前定位、目标定位和地图信息输入到寻路算法以确定用户的当前定位和目标定位之间的真实世界路径。然后，该系统可使用通过头戴式耳机播放的定向音频来在从当前定位到目标定位的路径上引导用户。该系统可实现若干个不同空间音频导航方法中的一者或多者，以在使用基于空间音频的提示沿着路径时指引用户。

Description

空间音频导航
背景技术
用于设备(包括但不限于移动多用途设备和车辆A/V系统)的导航应用程序提供视觉提示和/或语音方向，诸如“左转”或“右转”以将用户指引至目的地。就移动多用途设备诸如智能电话和平板电脑/平板设备而言，导航应用程序可在步行或骑自行车时使用，以使用视觉提示和/或语音方向来在路径上引导用户通过城市、公园等。移动多用途设备导航应用程序还可以直接通过移动多用途设备或通过到车辆的A/V系统的界面在车辆中使用，以在驾驶的同时使用视觉提示和/或语音方向将用户指引至目的地。
虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。混合现实(MR)涵盖了从将计算机生成的信息(称为虚拟内容)与真实世界的视图相结合以增强或向用户的真实环境视图添加虚拟内容的增强现实(AR)系统到将真实世界对象的表示与计算机生成的三维(3D)虚拟世界的视图相结合的增强虚拟现实(AV)系统的频谱。因此，虚拟现实的模拟环境和/或混合现实的混合环境可用于为多个应用程序提供交互式用户体验。
发明内容
本公开描述了用于空间音频导航的方法和装置的各种实施方案。本公开描述了空间音频导航系统和空间音频导航方法的实施方案，该空间音频导航系统和空间音频导航方法可例如由移动多用途设备诸如智能电话、平板设备和平板电脑设备来实现。空间音频导航系统以音频形式提供导航信息，以将用户指引至目的地诸如真实世界定位、人或对象。替代如在常规导航应用程序中使用语音方向或依赖于视觉提示，空间音频导航系统使用通过双耳音频设备(例如，耳机、头戴式耳机、有线或无线耳塞等，统称为“头戴式耳机”)播放的音频的方向性和距离来将导航提示提供给用户。
常规导航应用程序可提供语音方向，诸如“左转”或“右转”以将用户指引至目的地。然而，用户(例如在步行或骑自行车的同时)在使用导航应用程序的同时，可能正在收听音频源(例如，音乐、有声读物、电话呼叫等)，并且可能更喜欢音频不被语音方向中断。此外，当进行电话呼叫时，语音方向可干扰会话，并且/或者会话可干扰语音方向。相反，如本文所述的空间音频导航系统和空间音频导航方法的实施方案使用通过双耳音频设备播放的声音的方向性和距离来将导航提示提供给用户。因此，实施方案使用声音的表观源的空间定位以在特定方向上引导用户。例如，为了在收听音乐的同时在路径上引导用户，可将音乐的表观源放置在用户前方以沿该路径引导用户，并且移动到用户的一侧以提示用户在该路径上转弯。因此，音乐未被中断，并且实施方案提供比常规导航应用程序更微妙的用于传达导航信息的方法。这可利用其他音频源来进行，包括但不限于有声读物，电话会话，模拟或捕获的周围环境噪声，模拟的声音诸如音调、钟声、汽笛声或白色噪声，或记录的声音诸如铁路列车或一群狼的声音。
此外，在心理上，用户可能趋于假设语音方向是正确的，因此在不具有过多考虑的情况下沿着方向，从而可能引起意外。通过使用声音的方向性和距离作为音频提示来引导用户而不是语音方向来告诉用户，随用户来确定跟随定向音频提示是否安全。语音不告诉用户执行某种操作(例如，“左转”或“右转”)；相反，用户正在跟随定向音频提示。当跟随某种操作诸如定向音频提示时，与收听口头命令时相比，不同的心理发挥作用。
在空间音频导航系统的实施方案中，可将当前定位、目标定位和地图信息输入到寻路算法以确定用户的当前定位和目标定位之间的真实世界路径。然后，空间音频导航系统可使用通过头戴式耳机播放的定向音频来在从当前定位到目标定位的路径上引导用户。随着用户在真实世界中移动，空间音频导航系统使用用户的如由移动多用途设备确定的当前定位和运动方向以及如由头戴式耳机确定的头部取向和移动来(例如通过调整左音频通道和右音频通道的音量)调整音频的感知或虚拟方向性和距离，以沿到目标定位的路径来引导用户。替代或除了调整音量，可衰减音频的其他方面以影响音频的虚拟方向性和距离，包括但不限于频率和回响。音频的其他方面可基于输入(诸如正在播放的特定声音)来调整，以帮助将用户引导至目标定位。
空间音频导航系统可经由有线或无线连接向头戴式耳机输出音频，使得用户以空间音频感听到声音。换句话讲，用户听到声音，好像声音来自具有准确距离和方向的真实世界定位。例如，系统可通过头戴式耳机播放声音，使得用户听到来自他们的左、右、直前、后或某一角度的声音。声音似乎来自的方向可改变以在路径上引导用户。例如，随着用户接近路径上的左转弯，声音可通过增大左音频输出通道的音量和/或通过减小右音频输出通道的音量而向左移动。在一些实施方案中，系统可调节声音的音量以赋予用户一定距离感，例如使其看起来好像声音来自三英尺、十英尺或五十英尺。替代或除了调整音量，可衰减左音频通道和右音频通道的其他方面以影响音频的虚拟方向性和距离，包括但不限于频率和回响。在一些实施方案中，系统可基于检测到的事件来改变声音，例如，如果用户已错过转弯或正在接近障碍物，则通过播放警示或警告声音来改变声音。
空间音频导航系统的实施方案可实现若干个不同空间音频导航方法中的一者或多者，以在使用基于空间音频的提示沿着路径时指引用户。这些方法可包括但不限于以下这些方法。
连续路径追踪—移动声音，使得该声音连续沿着路径。当声音到达路径的末尾时，该声音返回到路径的开始并且重复该过程。
离散路径追踪—沿路径以离散间隔移动声音。当声音到达路径的末尾时，该声音返回到路径的开始并且重复该过程。
当前播放声音的局部方向—用户正在收听音频源诸如音乐、播客或电话呼叫。替代用户通过头戴式耳机听到作为简单立体声的音频源，空间音频导航系统在用户应当移动以沿着路径的方向上在远离用户的某个距离处定位声音。声音可向左或向右移动以沿着路径中的弯曲或转弯。
声音方向性—声音朝向用户需要移动以沿着路径的方向从用户后面向用户前方移动，停止然后重复。在远离用户的头部的某个距离处定位声音，并且可例如根据耳朵优势而在他们的左侧或右侧定位声音。
声音隧道—对环境中的周围环境噪声进行采样或模拟。例如，如果用户在森林中，则周围环境噪声可包括树木的沙沙声，或者如果用户在城市中，则周围环境噪声可包括人群和交通声音。然后空间音频导航系统播放该周围环境噪声。对声音的障碍物由空间音频导航系统放置，该障碍物完全围绕用户，除了在用户应当移动以沿着路径的方向上之外。这引起声音隧道效应，该声音隧道效应提示用户在周围环境噪声的方向上沿着路径。
周围环境声音遮挡—如上所述，由空间音频导航系统对环境中的适当周围环境噪声进行取样或模拟并将其播放给用户。然而，障碍物被放置在用户应当移动以沿着路径的方向上，并且被取向为面向用户。这在这些用户应当移动的方向上阻挡周围环境噪声，从而引起其中周围环境噪声中存在间隙的效应，该效应提示用户在周围环境噪声中的间隙的方向上沿着路径。
声音追逐—在用户后面的某个距离处播放声音(例如，一群狼、火车等的声音)；随着用户移动，声音“追逐”或跟随用户沿路径推动用户。
虽然主要描述了其中空间音频导航系统在通过有线或无线连接连接到用户佩戴的头戴式耳机的移动多用途设备中来实现的实施方案，但空间音频导航系统的实施方案也可在实现为头戴式显示器(HMD)的VR/MR系统中来实现，该HMD包括定位技术、头部取向技术和双耳音频输出；集成在HMD中的扬声器可用作双耳音频设备，或者另选地，外部头戴式耳机可用作双耳音频设备。需注意，HMD和移动多用途设备(诸如智能电话和平板)可被称为“移动设备”。此外，实施方案可用于移动多用途设备或其他便携式计算设备，诸如没有头戴式耳机的笔记本电脑或上网本，其中该设备的两个或更多个扬声器用于以音频形式输出导航信息，并因此用作双耳音频设备。更一般地，实施方案可在包括双耳音频输出并且提供头部运动和取向跟踪的任何设备或系统中来实现。
此外，实施方案可适于在车辆A/V系统中起作用，其中车辆定位和取向技术用于确定车辆的定位、运动和取向，并且其中车辆的“围绕”扬声器系统用作双耳音频设备以输出定向声音从而在驾驶至目标定位的同时引导用户，并且实施方案可适于在家或其他建筑物或环境中起作用，其中移动多用途设备或其他技术用于确定用户的定位、取向和移动，同时“围绕”扬声器系统用作双耳音频设备以输出定向声音从而引导用户。
附图说明
图1A和图1B示出了可实现如本文所述的空间音频导航系统和方法的实施方案的示例性移动多用途设备的实施方案。
图2A和图2B示出了可实现如本文所述的空间音频导航系统和方法的实施方案的示例性VR/MR系统的实施方案。
图2C示出了与VR/MR系统一起使用以实现如本文所述的空间音频导航系统和方法的实施方案的移动多用途设备。
图3示出了根据一些实施方案的空间音频导航系统的部件和对该空间音频导航系统的输入。
图4是根据一些实施方案的可由如图3所示的空间音频导航系统实现的方法的高级流程图。
图5A和图5B示出了通过双耳音频设备的常规音频输出。
图5C至图5I以图形方式示出了根据一些实施方案的可由如图3和图4所示的空间音频导航系统使用的各种空间音频导航方法。
图6A至图6D还示出了根据一些实施方案的空间音频导航方法。
图7A至图7C示出了根据一些实施方案的用于处理转弯的空间音频导航方法。
本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。
“包括”。该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元…的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
“基于”或“取决于”。如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。
“或”。在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。
具体实施方式
本公开描述了用于空间音频导航的方法和装置的各种实施方案。本公开描述了空间音频导航系统和空间音频导航方法的实施方案，该空间音频导航系统和空间音频导航方法可例如由移动多用途设备来实现。空间音频导航系统以音频形式提供导航信息，以将用户指引至目的地诸如真实世界定位、人或对象。替代如在常规导航应用程序中使用口头命令，空间音频导航系统使用通过双耳音频设备(例如，耳机、头戴式耳机、有线或无线耳塞等，统称为“头戴式耳机”)播放的音频的方向性来将导航提示提供给用户。
头戴式耳机包括佩戴在用户的左耳中或之上的左音频输出部件、以及佩戴在用户的右耳中或之上的右音频输出部件。声音的方向性可例如通过增大由音频输出部件中的一者输出的声音的音量和/或减小由另一个音频输出部件输出的声音的音量来提供。如果两个部件处于相同的音量水平，则声音可能似乎来自用户前方。如果左部件中的音量高于零并且右部件中的音量为零，则声音可能似乎来自用户的正左侧。如果右部件中的音量高于零并且左部件中的音量为零，则声音可能似乎来自用户的正右侧。如果左部件中的音量较高并且右部件中的音量较低，则声音可能似乎来自用户的前方和用户的左侧的位置。如果右部件中的音量较高并且左部件中的音量较低，则声音可能似乎来自用户的前方和用户的右侧的位置。此外，可调节由一个或两个部件输出的声音，以使声音似乎来自用户后面。此外，调节一个或两个部件的音量可提供距离感；在较低音量下，声音可能似乎来自更远的地方；在较高音量下，声音可能似乎来自附近。替代或除了调整音量，可衰减左音频通道和右音频通道的其他方面以影响音频的虚拟方向性和距离，包括但不限于频率和回响。
对空间音频导航系统的输入可包括真实世界目标定位(通常由用户通过到移动多用途设备上的应用程序的界面提供)、用户的由移动多用途设备确定的真实世界当前定位、用户的头部的运动和取向、通常由移动多用途设备上的地图或导航应用程序提供的真实世界地图信息、以及音频源。目标定位可以是场所、人(例如，持有可将其定位传达到用户的移动多用途设备的另一个移动多用途设备的人)、或对象(例如，一套钥匙)，对于此，该定位对于空间音频导航系统是已知的或可被空间音频导航系统发现。用户的移动多用途设备使用来自一个或多个位置传感器的输入来计算其在真实世界中的定位。位置传感器可包括但不限于GPS(全球定位系统)技术传感器、dGPS(差分GPS)技术传感器、相机、室内定位技术传感器、SLAM(同步定位和建图)技术传感器等中的一者或多者。用户佩戴的头戴式耳机包括用于检测和跟踪用户的头部相对于真实世界的运动和取向的运动传感器。运动传感器可包括但不限于IMU(惯性测量单元)、陀螺仪、姿态传感器、罗盘等中的一者或多者。真实世界地图信息可包括但不限于关于定位、适当可通行区域(人行道、街道、门等)和障碍物(墙壁、建筑物、栅栏等)之间的路线的信息。音频源可例如包括从环境进行取样或针对环境进行模拟的周围环境噪声、用户正在收听的音频源(例如，音乐、播客、有声读物、无线电广播、电话呼叫等)、或各种预先记录或生成的声音。
可将当前定位、目标定位和地图信息输入到寻路算法以确定用户的当前定位和目标定位之间的真实世界路径。然后，空间音频导航系统可使用通过头戴式耳机播放的定向音频来在从当前定位到目标定位的路径上引导用户。随着用户在真实世界中移动，空间音频导航系统使用用户的如由移动多用途设备确定的当前定位和运动方向以及如由头戴式耳机确定的头部取向和移动来调整音频的虚拟方向性和距离，以沿到目标定位的路径来引导用户。在一些实施方案中，音频的虚拟方向性和距离可通过将音频输出的一个或多个方面衰减到左音频通道和/或右音频通道来调整，包括但不限于音量、频率和回响。音频的其他方面可基于输入(诸如音频的音量和类型)来调整，以帮助将用户引导至目标定位。
空间音频导航系统可经由有线或无线连接向头戴式耳机输出音频，使得用户以空间音频感听到声音。换句话讲，用户听到声音，好像声音来自具有准确距离和方向的真实世界定位。例如，系统可通过头戴式耳机播放声音，使得用户听到来自他们的左、右、直前、后或某一角度的声音。声音似乎来自的方向可改变以在路径上引导用户。例如，随着用户接近路径上的左转弯，声音可向左移动。在一些实施方案中，系统可调节声音的音量以赋予用户一定距离感，例如使其看起来好像声音来自三英尺、十英尺或五十英尺。替代或除了调整音量，可衰减音频的其他方面以影响音频的虚拟距离，包括但不限于频率和回响。在一些实施方案中，系统可基于检测到的事件来改变声音，例如，如果用户已错过转弯或正在接近障碍物，则通过播放警示或警告声音来改变声音。
空间音频导航系统的实施方案可实现若干个不同空间音频导航方法中的一者或多者，以在使用基于空间音频的提示沿着路径时指引用户。该方法可包括但不限于连续路径追踪方法、离散路径追踪方法、当前播放声音的局部方向方法、声音方向性方法、声音隧道方法、周围环境声音遮挡方法和声音追逐方法。可用于实施方案中的这些各种空间音频导航方法和其他方法结合图5C至图5I、图6A至图6D和图7A至图7C进一步描述。
虽然主要描述了其中空间音频导航系统在通过有线或无线连接连接到用户佩戴的头戴式耳机的移动多用途设备中来实现的实施方案(例如如图1A和图1B所示)，但空间音频导航系统的实施方案(例如如图2A和图2B所示)也可在实现为头戴式显示器(HMD)的VR/MR系统中来实现，该HMD包括定位技术、头部取向技术和双耳音频输出；集成在HMD中的扬声器可用作双耳音频设备，或者另选地，外部头戴式耳机可用作双耳音频设备。此外，实施方案可用于移动多用途设备或其他便携式计算设备，诸如没有头戴式耳机的笔记本电脑或上网本，其中该设备的两个或更多个扬声器用于以音频形式输出导航信息，并因此用作双耳音频设备。更一般地，实施方案可在包括双耳音频输出并且提供头部运动和取向跟踪的任何设备或系统中来实现。
此外，实施方案可在车辆A/V系统中实现，其中车辆定位和取向技术用于确定车辆的定位、运动和取向，并且其中车辆的“围绕”扬声器系统用作双耳音频设备以输出定向声音从而在驾驶至目标定位的同时引导用户，并且实施方案可适于在家或其他建筑物或环境中实现，其中移动多用途设备或其他技术用于确定用户的定位、取向和移动，同时“围绕”扬声器系统用作双耳音频设备以输出定向声音从而引导用户。
图1A和图1B示出了可实现如本文所述的空间音频导航系统和方法的实施方案的示例性移动多用途设备的实施方案。如图1A所示，移动多用途设备100诸如智能电话、平板电脑或平板设备可由用户190例如在手中或口袋中携带。设备100可包括使设备100的真实世界定位能够确定的一个或多个位置传感器，例如GPS(全球定位系统)技术传感器、dGPS(差分GPS)技术传感器、相机、室内定位技术传感器、SLAM(同步定位和建图)技术传感器等。双耳音频设备(例如，耳机、头戴式耳机、有线或无线耳塞等)，称为头戴式耳机108，可由用户190佩戴。头戴式耳机108可包括右音频110A输出部件和左音频110B输出部件(例如，耳塞)以及用于检测和跟踪用户190的头部相对于真实世界的运动和取向的一个或多个运动传感器。运动传感器可包括但不限于IMU(惯性测量单元)、陀螺仪、姿态传感器、罗盘等中的一者或多者。移动设备100可经由有线或无线连接向右音频110A输出部件和左音频110B输出部件(例如，耳塞)传输右音频通道112A和左音频通道112B；头戴式耳机108可经由有线或无线连接向设备100传送头部取向和移动信息。
图1B是根据一些实施方案的示出如图1A所示的系统的部件的框图。移动多用途设备100诸如智能电话、平板电脑或平板设备可包括但不限于一个或多个处理器104、存储器130、一个或多个传感器120和支持触摸的显示器102。
设备100可包括支持触摸的显示器102，能够经由该支持触摸的显示器向用户显示内容，并且用户可经由该支持触摸的显示器向设备100输入信息和命令。显示器202可实现各种类型的支持触摸的显示技术中的任一者。
设备100还可包括实现移动多用途设备的功能的一个或多个处理器104。设备100还可包括存储器130，该存储器存储能够由处理器104执行的软件(代码132)以及当在处理器104上执行时可由代码132使用的数据134。代码132和数据134可例如包括用于执行设备100的操作系统的代码和数据、以及用于在设备100上实现各种应用程序的代码和数据。代码132还可包括但不限于能够由控制器104执行的用于实现如本文所述的空间音频导航系统和方法的程序指令。数据134还可包括但不限于可由如本文所述的空间音频导航系统使用的真实世界地图信息、音频文件或其他数据。
在各种实施方案中，处理器104可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。处理器104可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，处理器104可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。处理器104可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。处理器104可包括实现微码技术的电路。处理器104可包括各自被配置为执行指令的一个或多个处理核心。处理器104可包括一个或多个级别的高速缓存，其可以采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，处理器104可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，处理器104可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/解码器(编解码器)等。在一些实施方案中，处理器104可包括至少一个片上系统(SOC)。
存储器130可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。
设备100可包括使设备100的真实世界定位能够确定的一个或多个位置传感器120，例如GPS(全球定位系统)技术传感器、dGPS(差分GPS)技术传感器、相机、室内定位技术传感器、SLAM(同步定位和建图)技术传感器等。
双耳音频设备(例如，耳机、头戴式耳机、有线或无线耳塞等)，称为头戴式耳机108，可由用户佩戴。头戴式耳机108可包括右音频110A输出部件和左音频110B输出部件(例如，耳塞)以及用于检测和跟踪用户190的头部相对于真实世界的运动和取向的一个或多个运动传感器106。运动传感器106可包括但不限于IMU(惯性测量单元)、陀螺仪、姿态传感器、罗盘等中的一者或多者。移动设备100可经由有线或无线连接向右音频110A输出部件和左音频110B输出部件(例如，耳塞)传输右音频通道112A和左音频通道112B；头戴式耳机108可经由有线或无线连接向设备100传送头部取向和移动信息。
图2A和图2B示出了可实现如本文所述的空间音频导航系统和方法的实施方案的示例性VR/MR系统的实施方案。
图2A示出了根据至少一些实施方案的VR/MR系统。在一些实施方案中，VR/MR系统可包括HMD 200诸如头盔、护目镜或可由用户290佩戴的眼镜。在一些实施方案中，HMD 200可以是独立的单元。然而，在一些实施方案中，VR/MR系统可包括基站(未示出)，该基站执行VR/MR系统的至少一些功能(例如，渲染用于显示的虚拟内容)并且经由有线或无线连接与HMD 200进行通信。
HMD 200可包括采集关于用户290的环境的信息(视频、深度信息、照明信息等)和关于用户290的信息(例如，用户的表情、眼睛移动、头部移动、盯视方向、手势等)的传感器。可至少部分地基于从传感器获得的用于向用户290显示的各种信息来渲染虚拟内容。虚拟内容可由HMD200向用户290显示，以提供虚拟现实视图(在VR应用程序中)或提供增强现实视图(在MR应用程序中)。HMD 200可实现各种类型的显示技术中的任一者。
HMD 200可包括使HMD 200的真实世界定位能够确定的一个或多个位置传感器，例如GPS(全球定位系统)技术传感器、dGPS(差分GPS)技术传感器、相机、室内定位技术传感器、SLAM(同步定位和建图)技术传感器等。
HMD 200可提供双耳音频输出(例如，经由右音频210A输出部件和左音频210B输出部件)。例如，右音频210A输出部件和左音频210B输出部件可位于集成在HMD 200中且分别定位在用户的右耳和左耳处或之上的包耳式扬声器或耳件之上。又如，右音频210A输出部件和左音频210B输出部件可为通过有线或无线连接耦接到HMD 200的右耳塞或耳机和左耳塞或耳机。
图2B是根据一些实施方案的示出如图2A所示的VR/MR系统的部件的框图。在一些实施方案中，VR/MR系统可包括HMD 200，诸如头戴式耳机、头盔、护目镜或眼镜。在一些实施方案中，HMD 200可以是独立的单元。然而，在一些实施方案中，VR/MR系统可包括基站(未示出)，该基站执行VR/MR系统的至少一些功能(例如，渲染用于显示的虚拟内容)并且经由有线或无线连接与HMD 200进行通信。
HMD 200可包括显示器202部件或子系统，虚拟内容可经由该显示器部件或子系统向用户显示，以提供虚拟现实视图(在VR应用程序中)或提供增强现实视图(在MR应用程序中)。显示器202可实现各种类型的显示技术中的任一者。例如，HMD 200可为近眼显示系统，该近眼显示系统在用户290的眼睛前方的屏幕上显示左图像和右图像，诸如DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术显示系统。又如，HMD 200可包括投影仪系统，该投影仪系统将左图像和右图像扫描到受试者的眼睛。为扫描图像，左投影仪和右投影仪生成光束，该光束被指引至位于用户290的眼睛的前方的左显示器和右显示器(例如，椭球反射镜)；显示器将光束反射到用户的眼睛。左显示器和右显示器可为透视式显示器，其允许来自环境的光通过，使得用户看到由投影虚拟内容增强的现实视图。
HMD 200还可包括控制器204，该控制器包括实现VR/MR系统的功能的一个或多个处理器。HMD 200还可包括存储器230，该存储器存储能够由控制器204执行的软件(代码232)以及当在控制器204上执行时可由代码232使用的数据234。代码232和数据234可例如包括用于向用户呈现和显示虚拟内容的VR和/或AR应用程序代码和数据。代码232还可包括但不限于能够由控制器204执行的用于实现如本文所述的空间音频导航系统和方法的程序指令。数据234还可包括但不限于可由如本文所述的空间音频导航系统使用的真实世界地图信息、音频文件或其他数据。
在各种实施方案中，控制器204可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器204可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器204可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器204可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器204可包括实现微码技术的电路。控制器204可包括各自被配置为执行指令的一个或多个处理核心。控制器204可包括一个或多个级别的高速缓存，其可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器204可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器204可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/解码器(编解码器)等。在一些实施方案中，控制器204可包括至少一个片上系统(SOC)。
存储器230可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。
在一些实施方案中，HMD 200包括采集关于用户的环境的信息(视频、深度信息、照明信息等)和关于用户的信息(例如，用户的表情、眼睛移动、手势等)的传感器220。传感器220可向HMD 200的控制器204提供采集的信息。传感器220可包括但不限于可见光相机(例如，摄像机)、红外(IR)相机、具有IR照明源的IR相机、光检测和测距(LIDAR)发射器和接收器/检测器、以及具有激光发射器和接收器/检测器的基于激光的传感器中的一者或多者。
HMD 200可包括至少一个惯性测量单元(IMU)206，该至少一个IMU用于检测HMD200的位置、取向和运动从而检测用户的头部相对于真实世界的位置、取向和运动。替代或除了IMU 206，HMD 200还可包括陀螺仪、姿态传感器、罗盘、或用于检测HMD 200的位置、取向和运动从而检测用户的头部相对于真实世界的位置、取向和运动的其他传感器技术。
HMD 200可包括使HMD 200的真实世界定位能够确定的一个或多个位置传感器，例如GPS(全球定位系统)技术传感器、dGPS(差分GPS)技术传感器、相机、室内定位技术传感器、SLAM(同步定位和建图)技术传感器等。
HMD 200可提供双耳音频输出(例如，经由右音频210A输出部件和左音频210B输出部件)。例如，右音频210A和左音频210B可位于集成在HMD 200中且分别定位在用户的右耳和左耳处或之上的包耳式扬声器或耳件之上。又如，右音频210A和左音频210B可为通过有线或无线连接耦接到HMD 200的右耳塞或耳机和左耳塞或耳机。HMD可经由有线或无线连接向右音频210A输出部件和左音频210B输出部件传输右音频通道212A和左音频通道212B。
在一些实施方案中，空间音频导航系统可集成在HMD 200中。然而，在如图2C所示的一些实施方案中，如图1A和图1B所示的移动多用途设备100可经由有线或无线连接连接到HMD 200。移动多用途设备100可支持空间音频导航系统的功能，从而从HMD 200的IMU206接收头部位置和运动信息以及向HMD 200传输右音频通道212A和左音频通道212B以用于在HMD的双耳音频扬声器或耳件210A和210B上播放。
图3示出了根据一些实施方案的空间音频导航系统300的部件和对该空间音频导航系统的输入。空间音频导航系统300可由如图1A和图1B所示的移动多用途设备100和头戴式耳机108来实现，或者由如图2A和图2B所示的HMD 200来实现，或者由如图2C所示的移动多用途设备100和HMD 200来实现。更一般地，实施方案可在包括双耳音频输出并且提供头部运动和取向跟踪的任何设备或系统中来实现。
此外，空间音频导航系统300的实施方案可在车辆A/V系统中实现，其中车辆的定位和取向技术用于确定车辆的定位、运动和取向，并且其中车辆的扬声器系统用于输出定向声音以在驾驶至目标定位的同时引导用户，并且该空间音频导航系统的实施方案可在家或其他建筑物中实现，其中移动多用途设备或其他技术用于确定用户的定位、取向和移动，同时家中扬声器系统用于输出定向声音以引导用户。
在空间音频导航系统300的实施方案中，可将当前定位、目标定位和地图信息输入到寻路部件302以确定用户的当前定位和目标定位之间的真实世界路径304。用户的真实世界当前定位可通过设备的定位技术(例如，GPU技术)来确定。真实世界目标定位可例如由用户通过到设备上的空间音频导航系统300的界面提供，或者可由空间音频导航系统300以其他方式确定或输入到该空间音频导航系统。真实世界地图信息可例如由在设备上的地图或导航应用程序使用的地图信息的数据库来提供。
在确定路径304之后，空间音频导航系统304的导航部件306可使用通过头戴式耳机播放的定向音频来在从当前定位到目标定位的路径304上引导用户。用户的当前定位可由设备跟踪并输入到导航部件306。此外，头部取向和运动可由头戴式耳机或HMD的传感器跟踪并输入到导航部件306。然后，随着用户在真实世界中移动，导航部件306调整由音频源提供的音频的方向性，以沿到目标定位的路径304来引导用户。在一些实施方案中，音频的虚拟方向性可通过将音频输出的一个或多个方面衰减到左音频通道和/或右音频通道来调整，包括但不限于音量、频率和回响。音频的其他方面可基于输入(诸如音频的音量和类型)来调整，以帮助沿到目标定位的路径304来引导用户。
空间音频导航系统300可经由有线或无线连接向头戴式耳机输出右音频通道312A和左音频通道312B，使得用户以空间音频感来听到声音。换句话讲，用户听到声音，好像声音来自具有准确距离和方向的真实世界定位。例如，系统300可通过头戴式耳机播放声音，使得用户听到来自他们的左、右、直前、后或某一角度的声音。声音似乎来自的方向可改变以在路径304上引导用户。例如，随着用户接近路径304上的左转弯，声音可向左移动。在一些实施方案中，系统300可调节声音的音量以赋予用户一定距离感，例如使其看起来好像声音来自三英尺、十英尺或五十英尺。替代或除了调整音量，可衰减音频的其他方面以影响音频的虚拟距离，包括但不限于频率和回响。在一些实施方案中，系统300可基于检测到的事件来改变声音，例如，如果用户已错过转弯或正在接近障碍物，则通过播放警示或警告声音来改变声音。导航部件306可使用一个或多个空间音频导航方法以在路径304上引导用户。空间音频导航方法结合图5C至图5I、图6A至图6D和图7A至图7C进一步描述。
图4是根据一些实施方案的可由如图3所示的空间音频导航系统300实现的方法的高级流程图。如在400处所示，空间音频导航系统300可获得或确定当前定位和目标定位。用户的真实世界当前定位可例如通过设备的定位技术(例如，GPU技术)来确定。真实世界目标定位可例如由用户通过到设备上的空间音频导航系统300的界面提供，或者可由空间音频导航系统300以其他方式确定或输入到该空间音频导航系统。如在410处所示，可获得地图信息。真实世界地图信息可例如由在设备上的地图或导航应用程序使用的地图信息的数据库来获得。可将当前定位、目标定位和地图信息输入到寻路部件。如在420处所示，寻路部件可将一个或多个寻路方法应用到输入信息以确定真实世界中的从当前定位到目标定位的路径。该路径可输入到导航部件。如在430处所示，导航部件可将一个或多个空间音频寻路方法应用到音频源以沿到目标定位的路径来引导用户。用户的当前定位、头部取向和运动可由头戴式耳机或HMD的传感器跟踪并且输入到导航部件并且用于空间音频寻路方法连同用于调整左音频通道和右音频通道以向用户提供定向音频提示从而将用户引导至目标定位的路径。
图5C至图5I、图6A至图6D以及图7A至图7C以图形方式示出了可在如图1至图4所示的空间音频导航系统的实施方案中使用的各种空间音频导航方法。在一些实施方案中，系统可基于一个或多个因素自动地确定一种或多种要使用的特定方法或方法，该一个或多个因素包括但不限于关于用户的知识、用户正在做什么(例如，收听音乐、进行电话呼叫或不收听任何东西)、由地图信息确定的真实世界环境、以及音频源(例如，如果有的话，用户当前正在收听什么)。在一些实施方案中，空间音频导航系统可提供允许用户选择空间音频导航方法和声音或指定空间音频导航的偏好的界面，包括但不限于一种或多种要使用的什么方法、要播放的什么声音、音量等。在一些实施方案中，对于用户可从其选择的特定活动可存在预先确定的设置，诸如“骑自行车”、“行走”、“跑步”或“驾驶”。
图5A和图5B示出了通过双耳音频设备(右音频设备510A和左音频设备510B诸如耳塞或耳机)的常规音频输出。图5A示出声音可能似乎来自用户周围，或者另选地来自用户的右侧和左侧。如图5B所示，随着用户转动他们的头部，在常规系统中，声音保持在与用户的头部相同的相对位置。
图5C至图5I以图形方式示出了根据一些实施方案的可由如图3和图4所示的空间音频导航系统使用的各种空间音频导航方法。
图5C示出了一种空间音频导航方法，其中通过增大用户前方的声音的音量和/或通过减小声音的音量或阻挡声音到达用户的侧部和后部来调整左音频输出和右音频输出以使声音看起来好像来自离用户某个距离处的前方。替代或除了音量，可衰减音频的其他方面以影响音频的虚拟距离和方向性，包括但不限于频率和回响。这提示用户朝向声音移动以沿着路径。图5D和图5E示出了声音的方向可向用户的右边或左边移动以提示用户例如当用户正在接近拐角或处于拐角时在路径上右转或左转。
图5C至图5E的方法可例如在当前播放声音的方法的局部方向上使用。在该方法中，用户正在收听音频源诸如音乐、播客或电话呼叫。替代用户通过头戴式耳机听到作为简单立体声的音频源，空间音频导航系统在用户应当移动以沿着该路径且沿该路径移动声音以指引用户沿着该路径的方向上将声音定位在远离用户的某个距离处。
图5C至5E的方法还可用于声音隧道方法中。在声音隧道方法中，对环境中的周围环境噪声进行采样或模拟。例如，如果用户在森林中，则周围环境噪声可包括树木的沙沙声，或者如果用户在城市中，则周围环境噪声可包括人群和交通声音。然后空间音频导航系统播放该周围环境噪声。对声音的障碍物由空间音频导航系统放置，该障碍物完全围绕用户，除了在用户应当移动以沿着路径的方向上之外。这引起声音隧道效应，该声音隧道效应提示用户在周围环境噪声的方向上沿着路径。
图5F示出了空间音频导航方法，其中通过阻挡用户前方的声音来调整左音频输出和右音频输出以使声音看起来好像来自除在用户前方之外的所有方向。这提示用户朝向声音中的间隙移动以沿着路径。图5G示出了声音中的间隙的定位可向用户的右侧或左侧移动以提示用户例如当用户正在接近拐角或处于拐角时在路径上右转或左转。
图5F和图5G的方法可例如用于周围环境声音遮挡方法中。在周围环境声音遮挡方法中，由空间音频导航系统对环境中的噪声进行取样或模拟并将其播放给用户。然而，障碍物被放置在用户应当移动以沿着路径的方向上，并且被取向为面向用户。该障碍物在用户应当移动的方向上阻挡周围环境噪声，从而引起其中周围环境噪声中存在间隙的效应，该效应提示用户在周围环境噪声中的间隙的方向上沿着路径。
图5H示出了一种空间音频导航方法，其中通过增大用户后面的声音的音量和/或通过减小声音的音量或阻挡声音到达用户的侧部和前方来调整左音频输出和右音频输出以使声音看起来好像来自离用户某个距离处的后面。这提示用户远离声音移动以沿着路径。声音的方向可向用户后面的右边或左边移动以提示用户例如当用户正在接近拐角或处于拐角时在路径上左转或右转。替代或除了音量，可衰减音频的其他方面以影响音频的虚拟距离和方向性，包括但不限于频率和回响。
图5H的方法可例如用于声音追逐方法中。在声音追逐方法中，播放声音(例如，一群狼、火车等的声音)，使得似乎来自用户后面的某个距离；随着用户移动，声音“追逐”或跟随用户沿路径推动用户。
图5I示出了在如图5C至图5H所示的方法中，使用图5C作为示例，空间音频导航系统响应于用户的头部的如由头戴式耳机或HMD中的IMU检测和跟踪的运动和取向来调整左音频通道和右音频通道，使得声音保持在路径上或在该路径的方向上。如图5C中所示，用户正直视前方，并且用户声音似乎来自离用户某个距离处的正前方。在图5I中，用户已将他们的头部向左转动，而不是以如图5B所示用户的头部旋转，声音的方向保持在路径的方向上。
图6A至图6D还示出了根据一些实施方案的空间音频导航方法。图6A示出了在包括若干个障碍物的真实世界环境中从用户到目标定位(由X表示)确定的路径。目标定位可以是另一个人、物品或对象、场所、地标等。可由空间音频导航系统使用包括对障碍物(例如，建筑物、河流、栅栏等)和路线(例如，街道、人行道、小巷、通道等)的知识的地图信息来确定从用户的当前定位到目标定位的路径。
图6B示出了其中移动声音(由同心圆表示)使得其连续沿着路径的连续路径追踪方法。在一些实施方案中，当声音到达路径的末尾时，该声音返回到路径的开始并且重复该过程。
图6C示出了其中沿路径以离散间隔移动声音的离散路径追踪方法。在一些实施方案中，当声音到达路径的末尾时，该声音返回到路径的开始并且重复该过程。
图6D示出了声音方向性方法，其中声音从用户后面朝向用户需要移动以沿着路径的方向移动，在用户前方的某个距离处停止，然后重复。声音可被定位在远离用户的头部的某个距离处，并且可例如根据耳朵优势而在他们的左侧或右侧定位声音。
图7A至图7C示出了根据一些实施方案的用于处理转弯的空间音频导航方法。图7A示出了在包括转弯的真实世界环境中针对用户确定的路径。随着用户接近转弯，可播放声音，使得似乎声音来自转弯的前方和左侧。声音的音量和位置可随着用户接近转弯而调整。在图7B处，随着用户到达转弯，声音的音量可增大并且在转弯方向上沿着路径；在这种情况下，声音看起来好像来自用户的左侧。如果用户跟随声音并转弯，声音的音量可减小或消失，直到用户接近路径中的另一个转弯。在一些实施方案中，可将特定声音或音调播放给用户以指示用户正确转弯并且仍然在路径上。如图7C所示，如果用户错过转弯，则声音的音量可减小并声音可移动，使得似乎来自用户后面以提示用户他们已错过转弯。另选地，在一些实施方案中，当用户错过转弯时，可播放警示声音。在一些实施方案中，如果用户继续经过转弯或以其他方式离开由系统确定的路径，则系统可重新计算到目标定位的新路径，并且使用空间音频导航方法开始将用户指引在新路径上。替代或除了音量，可衰减音频的其他方面以影响音频的虚拟距离和方向性，包括但不限于频率和回响。
示例性使用案例
以下提供了如本文所述的空间音频导航系统和方法的实施方案的一些示例性非限制性使用案例。
自行车骑手或慢跑者可在经由到其移动多用途设备上的空间音频导航系统的界面(例如，通过使用触摸命令或语音命令)来指定或请求骑行或跑步五英里路径或回路。然后，用户可开始收听音乐播放列表，并且空间音频导航系统然后将使用通过双耳头戴式耳机播放的音乐的方向性来在路径上引导用户。可使用空间音频导航方法中的一者或多者。例如，可使用当前播放声音方法的局部方向，其中空间音频导航系统在用户应当移动以沿着路径且沿该路径移动声音以指引用户沿着路径的方向上将声音定位在远离用户的某个距离处。
用户可能需要在商场、城市、公园或其他环境中遇到某人。用户可使用他们的移动多用途设备来查找另一人所在的定位或遇到的定位。可经由界面将目标定位输入到空间音频导航系统。空间音频导航系统基于用户的当前定位、目标定位和地图信息生成路径。然后空间音频导航系统可使用空间音频导航方法(例如，连续路径追踪、离散路径追踪、当前播放声音的局部方向、声音方向性、声音隧道和/或周围环境声音遮挡)中的一者或多者来在路径上将用户引导至目标定位，并因此引导至另一个人。
在车辆中，空间音频导航系统可用于增强由车辆导航系统提供的视觉提示和/或语音方向。例如，如果用户正在跟随由车辆的导航系统(内置的或由所连接的移动多用途设备提供的)在显示屏上显示的路线，则正在由车辆的扬声器播放的音乐或其他音频可由空间音频导航系统定向以帮助使用定向音频提示来在该路线上引导用户。例如，如果正在接近左转弯，则可移动音乐源以使音乐似乎来自左侧。空间音频导航技术还可与由导航系统提供的语音方向集成。例如，当正在接近第一街道处的左转弯，则系统可说“左转至第一街道”。然而，替代来自用户周围或前方的语音命令，可以使命令似乎来自车辆的左侧，以提供关于用户需要转弯的方向的定向音频提示。
在用户的家中，物品诸如钥匙或钱包可能被放错位置。移动多用途设备可定位物品(例如，经由放置在设备可定位的物品上的加密锁或“点”)，或者可记住该物品的最后定位(例如，使用计算机视觉或设备记录和标记物品的定位的其他技术)。如果用户无法找到该物品，则用户可要求设备定位该物品(例如，“查找我的钥匙”)。然后，空间音频导航系统可使用通过头戴式耳机或通过家中扬声器系统播放的定向音频提示来将用户引导至该物品。
在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

Claims (29)

1.一种用于沿路径引导用户的系统，所述系统包括：
移动设备，所述移动设备包括：
一个或多个处理器；
一个或多个位置传感器，所述一个或多个位置传感器用于检测和跟踪所述移动设备的当前定位；以及
存储器，所述存储器包括程序指令，所述程序指令能够由所述一个或多个处理器执行以：
确定所述移动设备的目标定位；
确定从所述当前定位到所述目标定位的路径；以及
基于所述移动设备相对于所述路径的所述当前定位控制通过双耳音频设备播放的声音的虚拟方向性和距离。
2.根据权利要求1所述的系统，其中所述程序指令能够由所述一个或多个处理器进一步执行以至少部分地基于指示所述双耳音频设备的运动和取向的数据来调整通过所述双耳音频设备播放的所述声音的所述虚拟方向性。
3.根据权利要求2所述的系统，其中所述系统还包括所述双耳音频设备，其中所述双耳音频设备通过有线或无线连接连接到所述移动设备，并且其中所述双耳音频设备包括被配置为检测和跟踪所述双耳音频设备的运动取向的一个或多个运动传感器。
4.根据权利要求1所述的系统，其中所述程序指令能够由所述一个或多个处理器进一步执行以至少部分地基于地图信息确定从所述当前定位到所述目标定位的所述路径。
5.根据权利要求1所述的系统，其中所述系统还包括所述双耳音频设备，其中所述双耳音频设备包括左音频输出部件和右音频输出部件，并且其中通过调整由所述移动设备通过所述有线或无线连接向所述双耳音频设备的所述左音频输出部件和所述右音频输出部件传输的左音频通道和右音频通道的音量、频率或回响中的一者或多者来控制通过所述双耳音频设备播放的所述声音的所述虚拟方向性和所述距离。
6.根据权利要求1所述的系统，其中通过所述双耳音频设备播放的所述声音包括以下项中的一者或多者：音乐、电话会话、有声读物、播客、无线电广播、从真实环境进行取样或针对真实环境进行模拟的周围环境噪声、包括音调和白色噪声的模拟的声音、或记录的声音。
7.根据权利要求1所述的系统，其中，在基于所述移动设备相对于所述路径的所述当前定位来控制通过所述双耳音频设备播放的声音的虚拟方向性和距离期间，所述程序指令能够由所述一个或多个处理器执行以应用一个或多个空间音频导航方法，其中所述一个或多个空间音频导航方法包括以下项中的一者或多者：
其中沿所述路径连续移动所述声音的方法；
其中沿所述路径以离散间隔移动所述声音的方法；
其中在沿所述路径的方向上将所述声音定位在距所述双耳音频设备的所述当前定位一定距离处的方法；
其中沿所述路径将所述声音从一个方向移动到另一个方向的方法；
其中在沿所述路径的方向上播放取样的或模拟的周围环境噪声且在其他方向上阻挡取样的或模拟的周围环境噪声以引起声音隧道效应的方法；
其中在沿所述路径的方向上阻挡取样的或模拟的周围环境噪声且在其他方向上播放取样的或模拟的周围环境噪声以所述周围环境噪声中引起间隙效应的方法；或者
其中在与所述路径的方向相反的方向上播放所述声音的方法。
8.根据权利要求1所述的系统，其中，在基于所述移动设备相对于所述路径的所述当前定位来控制通过所述双耳音频设备播放的声音的虚拟方向性和距离期间，所述程序指令能够由所述一个或多个处理器执行以应用其中沿所述路径连续移动所述声音的空间音频导航方法。
9.根据权利要求1所述的系统，其中，在基于所述移动设备相对于所述路径的所述当前定位来控制通过所述双耳音频设备播放的声音的虚拟方向性和距离期间，所述程序指令能够由所述一个或多个处理器执行以应用其中沿所述路径以离散间隔移动所述声音的空间音频导航方法。
10.根据权利要求1所述的系统，其中，在基于所述移动设备相对于所述路径的所述当前定位来控制通过所述双耳音频设备播放的声音的虚拟方向性和距离期间，所述程序指令能够由所述一个或多个处理器执行以应用其中在沿所述路径的方向上将所述声音定位在距所述双耳音频设备的所述当前定位一定距离处的空间音频导航方法。
11.根据权利要求1所述的系统，其中，在基于所述移动设备相对于所述路径的所述当前定位来控制通过所述双耳音频设备播放的声音的虚拟方向性和距离期间，所述程序指令能够由所述一个或多个处理器执行以应用其中将所述声音从在所述路径上的所述双耳音频设备的所述当前定位后面的位置移动到在所述路径上的所述双耳音频设备的所述当前定位前方的位置的空间音频导航方法。
12.根据权利要求1所述的系统，其中，在基于所述移动设备相对于所述路径的所述当前定位来控制通过所述双耳音频设备播放的声音的虚拟方向性和距离期间，所述程序指令能够由所述一个或多个处理器执行以应用其中在沿所述路径的方向上播放取样的或模拟的周围环境噪声且在其他方向上阻挡取样的或模拟的周围环境噪声以引起声音隧道效应的空间音频导航方法。
13.根据权利要求1所述的系统，其中，在基于所述移动设备相对于所述路径的所述当前定位来控制通过所述双耳音频设备播放的声音的虚拟方向性和距离期间，所述程序指令能够由所述一个或多个处理器执行以应用其中在沿所述路径的方向上阻挡取样的或模拟的周围环境噪声且在其他方向上播放取样的或模拟的周围环境噪声以引起周围环境声音中的间隙的空间音频导航方法。
14.根据权利要求1所述的系统，其中，在基于所述移动设备相对于所述路径的所述当前定位来控制通过所述双耳音频设备播放的声音的虚拟方向性和距离期间，所述程序指令能够由所述一个或多个处理器执行以应用其中在与所述路径的方向相反的方向上播放所述声音的空间音频导航方法。
15.根据权利要求1所述的系统，其中所述系统还包括所述双耳音频设备，其中所述双耳音频设备是头戴式耳机，并且其中所述移动设备是移动多用途设备。
16.根据权利要求1所述的系统，其中所述移动设备是头戴式显示设备。
17.根据权利要求16所述的系统，其中所述系统还包括所述双耳音频设备，其中所述双耳音频设备是头戴式耳机。
18.根据权利要求16所述的系统，其中所述系统还包括所述双耳音频设备，其中所述双耳音频设备包括集成在所述头戴式显示设备中的扬声器。
19.一种方法，所述方法包括：
由包括一个或多个处理器的移动设备执行：
确定当前定位和目标定位；
确定从所述当前定位到所述目标定位的路径；以及
调整向双耳音频设备的左音频输出部件和右音频输出部件传输的左音频通道和右音频通道的音量、频率或回响中的一者或多者来基于所述移动设备相对于所述路径的所述当前定位控制通过所述双耳音频设备播放的声音的方向性和距离。
20.根据权利要求19所述的方法，还包括基于由所述移动设备的被配置为检测和跟踪所述移动设备的所述当前定位的一个或多个位置传感器提供的位置数据来确定所述当前定位。
21.根据权利要求19所述的方法，还包括至少部分地基于地图信息确定从所述当前定位到所述目标定位的所述路径。
22.根据权利要求19所述的方法，还包括至少部分地基于指示双耳音频设备的运动和取向的数据来调整向所述双耳音频设备的左音频输出部件和右音频输出部件传输的左音频通道和右音频通道的音量、频率或回响中的一者或多者。
23.根据权利要求19所述的方法，其中通过所述双耳音频设备播放的所述声音包括以下项中的一者或多者：音乐、电话会话、有声读物、播客、无线电广播、从所述真实环境进行取样或针对所述真实环境进行模拟的周围环境噪声、包括音调和白色噪声的模拟的声音、或记录的声音。
24.根据权利要求19所述的方法，其中通过调整通过所述双耳音频设备播放的所述声音的所述方向性和所述距离提供给所述用户的导航提示包括以下项中的一者或多者：
沿所述路径连续移动所述声音；
沿所述路径以离散间隔移动所述声音；
在沿所述路径的方向上将所述声音定位在距所述双耳音频设备的所述当前定位一定距离处；
将所述声音从在所述路径上的所述双耳音频设备的所述当前定位后面的位置移动到在所述路径上的所述双耳音频设备的所述当前定位前方的位置；或者
在与所述路径的方向相反的方向上放置所述声音。
25.根据权利要求19所述的方法，其中通过调整通过所述双耳音频设备播放的所述声音的所述方向性和所述距离提供给所述用户的所述导航提示包括在沿所述路径的方向上播放所述声音且在其他方向上阻挡所述声音以引起声音隧道效应。
26.根据权利要求19所述的方法，其中通过调整通过所述双耳音频设备播放的所述声音的所述方向性和所述距离提供给所述用户的所述导航提示包括在沿所述路径的方向上阻挡所述声音且在其他方向上播放所述声音以引起声音中的间隙。
27.根据权利要求19所述的方法，其中所述双耳音频设备是耳塞，并且其中所述移动设备是移动多用途设备。
28.根据权利要求19所述的方法，其中所述移动设备是头戴式显示设备。
29.一种空间音频导航系统，所述空间音频导航系统包括：
音频头戴式耳机，所述音频头戴式耳机包括：
左音频输出部件和右音频输出部件；以及
一个或多个运动传感器，所述一个或多个运动传感器检测和跟踪所述音频头戴式耳机的运动和取向；以及
移动多用途设备，所述移动多用途设备包括：
一个或多个处理器；
一个或多个位置传感器，所述一个或多个位置传感器检测和跟踪所述设备的定位；以及
存储器，所述存储器包括程序指令，所述程序指令能够由所述一个或多个处理器执行以：
确定目标定位；
至少部分地基于位置传感器数据来确定所述移动多用途设备的定位；
至少部分地基于地图信息来确定从当前定位到所述目标定位的路径；以及
至少部分地基于位置传感器数据和运动传感器数据调整通过有线或无线连接向所述双耳音频设备的所述左音频输出部件和所述右音频输出部件传输的左音频通道和右音频通道的音量、频率或回响中的一者或多者来控制通过所述双耳音频设备播放的声音的方向性和距离。
CN201880062894.3A 2017-09-27 2018-09-25 空间音频导航 Active CN111148969B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762564197P 2017-09-27 2017-09-27
US62/564,197 2017-09-27
PCT/US2018/052642 WO2019067443A1 (en) 2017-09-27 2018-09-25 AUDIO SPACE NAVIGATION

Publications (2)

Publication Number Publication Date
CN111148969A true CN111148969A (zh) 2020-05-12
CN111148969B CN111148969B (zh) 2023-09-29

Family

ID=63841072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880062894.3A Active CN111148969B (zh) 2017-09-27 2018-09-25 空间音频导航

Country Status (6)

Country Link
US (2) US11709068B2 (zh)
EP (1) EP3673240A1 (zh)
JP (1) JP7053855B2 (zh)
KR (1) KR102545721B1 (zh)
CN (1) CN111148969B (zh)
WO (1) WO2019067443A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114461022A (zh) * 2022-02-09 2022-05-10 维沃移动通信有限公司 终端的可分离模组管理方法、装置及终端

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム
AT522549B1 (de) 2019-04-18 2022-09-15 Dreamwaves Gmbh Verfahren zum Leiten von Verkehrsteilnehmern
KR102152675B1 (ko) * 2019-04-29 2020-09-07 김희성 러닝용 음성지원 이어셋
US11356793B2 (en) * 2019-10-01 2022-06-07 Qualcomm Incorporated Controlling rendering of audio data
CN110989831B (zh) * 2019-11-15 2021-04-27 歌尔股份有限公司 音频设备的控制方法、音频设备及存储介质
CN111010641A (zh) * 2019-12-20 2020-04-14 联想(北京)有限公司 信息处理方法、耳机和电子设备
EP4060522A4 (en) * 2019-12-27 2022-12-14 Huawei Technologies Co., Ltd. DATA GENERATING METHOD AND DEVICE
US11089427B1 (en) * 2020-03-31 2021-08-10 Snap Inc. Immersive augmented reality experiences using spatial audio
CN111741405B (zh) * 2020-06-05 2021-12-21 北京搜狗智能科技有限公司 一种提醒方法、装置、耳机和服务器
US11750998B2 (en) 2020-09-30 2023-09-05 Qualcomm Incorporated Controlling rendering of audio data
US11537120B2 (en) * 2020-11-17 2022-12-27 Ford Global Technologies, Llc Systems and methods for providing enhanced feedback on a personal communication device used for vehicle maneuvering
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
WO2022151336A1 (en) * 2021-01-15 2022-07-21 Harman International Industries, Incorporated Techniques for around-the-ear transducers
US11315335B1 (en) 2021-03-30 2022-04-26 Honda Motor Co., Ltd. Mixed-reality interaction with touch device
FR3128285B1 (fr) 2021-10-15 2023-11-10 Runblind Système de guidage d’un utilisateur par un signal sonore, et procédé de guidage correspondant
US20230179942A1 (en) * 2021-12-02 2023-06-08 At&T Intellectual Property I, L.P. Audio-based visual orientation in a user-perceived environment
FR3132363A1 (fr) * 2022-02-02 2023-08-04 Renault Paire de lunettes connectée pour utilisateur d’un véhicule

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055494A (zh) * 2006-04-13 2007-10-17 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
CN101256082A (zh) * 2007-03-02 2008-09-03 三星电子株式会社 使用3d声音方向向导的方法和使用该方法的导航系统
CN101960866A (zh) * 2007-03-01 2011-01-26 杰里·马哈布比 音频空间化及环境模拟
JP2011257421A (ja) * 2011-08-09 2011-12-22 Pioneer Electronic Corp ナビゲーション装置、経路案内方法、経路案内プログラム及び記憶媒体
US20120136569A1 (en) * 2010-11-30 2012-05-31 International Business Machines Corporation Method, device and computer program for mapping moving direction by sounds
CN203313378U (zh) * 2013-07-12 2013-11-27 黄通兵 一种便于收纳的扬声器连接装置和新型眼镜式设备
CN103503503A (zh) * 2011-02-23 2014-01-08 数字标记公司 使用音频信号编码和识别进行的音频定位
EP2685217A1 (en) * 2012-07-12 2014-01-15 GN Store Nord A/S A hearing device providing spoken information on the surroundings
US20140185823A1 (en) * 2012-12-27 2014-07-03 Avaya Inc. Immersive 3d sound space for searching audio
CN104321622A (zh) * 2012-06-05 2015-01-28 苹果公司 情景感知语音引导
US20150030159A1 (en) * 2013-07-25 2015-01-29 Nokia Corporation Audio processing apparatus
CN104335012A (zh) * 2012-06-05 2015-02-04 苹果公司 导航期间的语音指令
CN105372026A (zh) * 2015-10-15 2016-03-02 Tcl移动通信科技（宁波）有限公司 一种麦克风拾音结构路径的气密性检测装置及其方法
US20160116298A1 (en) * 2014-10-24 2016-04-28 Leadnav Systems, Llc System and method for using audible waypoints in mobile navigation
WO2016178820A1 (en) * 2015-05-06 2016-11-10 Google Inc. Binaural navigation cues
CN107036605A (zh) * 2017-03-14 2017-08-11 广东小天才科技有限公司 一种基于可穿戴设备进行导航的方法及可穿戴设备
CN107077318A (zh) * 2016-12-14 2017-08-18 深圳前海达闼云端智能科技有限公司 一种声音处理方法、装置、电子设备及计算机程序产品
CN107111332A (zh) * 2014-10-31 2017-08-29 微软技术许可有限责任公司 使用声音来促进用户与其环境之间的交互

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3815270B2 (ja) 2001-07-17 2006-08-30 ヤマハ株式会社 ナビゲーション装置及び制御プログラム
GB2415071B (en) 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
JP5181200B2 (ja) 2006-07-25 2013-04-10 幹 安間 視覚障害者向けナビシステム及びその作動方法
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US9997069B2 (en) 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
WO2014014145A1 (ko) 2012-07-19 2014-01-23 엘지전자 주식회사 뇌파 신호를 이용하는 헤드 마운트 디스플레이 장치 및 그 제어 방법
KR20140129654A (ko) 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101055494A (zh) * 2006-04-13 2007-10-17 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
CN101960866A (zh) * 2007-03-01 2011-01-26 杰里·马哈布比 音频空间化及环境模拟
CN101256082A (zh) * 2007-03-02 2008-09-03 三星电子株式会社 使用3d声音方向向导的方法和使用该方法的导航系统
US20120136569A1 (en) * 2010-11-30 2012-05-31 International Business Machines Corporation Method, device and computer program for mapping moving direction by sounds
CN103503503A (zh) * 2011-02-23 2014-01-08 数字标记公司 使用音频信号编码和识别进行的音频定位
JP2011257421A (ja) * 2011-08-09 2011-12-22 Pioneer Electronic Corp ナビゲーション装置、経路案内方法、経路案内プログラム及び記憶媒体
CN104321622A (zh) * 2012-06-05 2015-01-28 苹果公司 情景感知语音引导
CN104335012A (zh) * 2012-06-05 2015-02-04 苹果公司 导航期间的语音指令
EP2685217A1 (en) * 2012-07-12 2014-01-15 GN Store Nord A/S A hearing device providing spoken information on the surroundings
US20140185823A1 (en) * 2012-12-27 2014-07-03 Avaya Inc. Immersive 3d sound space for searching audio
CN203313378U (zh) * 2013-07-12 2013-11-27 黄通兵 一种便于收纳的扬声器连接装置和新型眼镜式设备
US20150030159A1 (en) * 2013-07-25 2015-01-29 Nokia Corporation Audio processing apparatus
US20160116298A1 (en) * 2014-10-24 2016-04-28 Leadnav Systems, Llc System and method for using audible waypoints in mobile navigation
CN107111332A (zh) * 2014-10-31 2017-08-29 微软技术许可有限责任公司 使用声音来促进用户与其环境之间的交互
CN107111472A (zh) * 2014-10-31 2017-08-29 微软技术许可有限责任公司 使用具有输入机制的耳机来便于在用户与他们的环境之间的交互
WO2016178820A1 (en) * 2015-05-06 2016-11-10 Google Inc. Binaural navigation cues
CN105372026A (zh) * 2015-10-15 2016-03-02 Tcl移动通信科技（宁波）有限公司 一种麦克风拾音结构路径的气密性检测装置及其方法
CN107077318A (zh) * 2016-12-14 2017-08-18 深圳前海达闼云端智能科技有限公司 一种声音处理方法、装置、电子设备及计算机程序产品
CN107036605A (zh) * 2017-03-14 2017-08-11 广东小天才科技有限公司 一种基于可穿戴设备进行导航的方法及可穿戴设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114461022A (zh) * 2022-02-09 2022-05-10 维沃移动通信有限公司 终端的可分离模组管理方法、装置及终端

Also Published As

Publication number Publication date
KR102545721B1 (ko) 2023-06-21
EP3673240A1 (en) 2020-07-01
CN111148969B (zh) 2023-09-29
US11709068B2 (en) 2023-07-25
US20230332914A1 (en) 2023-10-19
JP7053855B2 (ja) 2022-04-12
WO2019067443A1 (en) 2019-04-04
KR20200046075A (ko) 2020-05-06
US20200264006A1 (en) 2020-08-20
JP2020535446A (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
CN111148969B (zh) 空间音频导航
CN111194561B (zh) 预测性的头部跟踪的双耳音频渲染
US11039264B2 (en) Method of providing to user 3D sound in virtual environment
US10701509B2 (en) Emulating spatial perception using virtual echolocation
US10609462B2 (en) Accessory device that provides sensor input to a media device
US9746338B2 (en) Binaural navigation cues
KR102230645B1 (ko) 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들
US10542368B2 (en) Audio content modification for playback audio
US11622222B2 (en) Location information through directional sound provided by mobile computing device
JP6764490B2 (ja) 媒介現実
WO2021241431A1 (ja) 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
WO2020072953A1 (en) Dynamic focus for audio augmented reality (ar)
US10667073B1 (en) Audio navigation to a point of interest
US20230122450A1 (en) Anchored messages for augmented reality
US20230292078A1 (en) Spatial audio cues for augmented reality applications
US20220414960A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant