CN110471180B - 具有设备安装件音频模式的系统 - Google Patents

具有设备安装件音频模式的系统 Download PDF

Info

Publication number
CN110471180B
CN110471180B CN201910367569.4A CN201910367569A CN110471180B CN 110471180 B CN110471180 B CN 110471180B CN 201910367569 A CN201910367569 A CN 201910367569A CN 110471180 B CN110471180 B CN 110471180B
Authority
CN
China
Prior art keywords
audio
mobile device
hmd
wireless headset
audio mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910367569.4A
Other languages
English (en)
Other versions
CN110471180A (zh
Inventor
A·M·林达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202111373477.0A priority Critical patent/CN114025274A/zh
Publication of CN110471180A publication Critical patent/CN110471180A/zh
Application granted granted Critical
Publication of CN110471180B publication Critical patent/CN110471180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H04R1/1075—Mountings of transducers in earphones or headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/3833—Hand-held transceivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/103—Combination of monophonic or stereophonic headphones with audio players, e.g. integrated in the headphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Manufacturing & Machinery (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)

Abstract

本发明题为“具有设备安装件音频模式的系统”。本发明描述了一种具有头戴式显示器(HMD)安装件和移动设备的系统。系统的处理器可确定移动设备是否安装在HMD安装件上并且基于移动设备是否安装在HMD安装件上来处理从移动设备传送至无线耳机的音频信号。当移动设备未安装在HMD安装件上时，移动设备或无线耳机可在第一音频模式下操作。当移动设备安装在HMD安装件上时，移动设备或无线耳机可在第二音频模式下操作。第二音频模式可减小移动设备和无线耳机之间的音频信号延迟并提高运动到声音质量。还描述了其他实施方案并要求对其进行保护。

Description

具有设备安装件音频模式的系统
本申请要求2018年5月9日提交的美国临时专利申请No.62/669,322的权益，该申请全文以引用方式并入本文以提供公开的连续性。
背景
技术领域
本发明公开了涉及头戴式显示器的实施方案。更具体地讲，公开了涉及具有音频输出的头戴式显示系统的实施方案。
背景技术
头戴式显示器(HMD)是可佩戴在头部以向用户显示图像的显示设备。HMD用于游戏、航空等。HMD包括虚拟现实和增强现实头戴式耳机，它们是为用户提供现实模拟体验的头戴式设备。一些虚拟现实头戴式耳机包括用于将移动设备诸如智能电话保持在用户前方的HMD安装件。移动设备显示虚拟现实场景的图像并且可播放对应于所显示图像的声音。HMD安装件可包括电子器件，诸如处理器或惯性测量单元，并且移动设备可通过电缆和连接器与HMD安装件进行电信号通信。例如，用户可通过与HMD安装件交互来手动控制移动设备以输入控制信号，控制信号通过电缆和连接器被传送到移动设备。
发明内容
本发明公开了一种包括头戴式显示器(HMD)安装件和移动设备的系统，以及基于HMD安装件与移动设备之间的物理关系来激活系统的音频模式的方法。在一个实施方案中，通过将移动设备安装在HMD安装件上来接合HMD安装件和移动设备。该系统可检测移动设备是否安装于HMD安装件上并响应于检测对音频模式做出改变。例如，设备处理器可确定移动设备安装在HMD安装件的壳体中，并响应地将移动设备的音频模式从第一(例如，正常)音频模式改变为第二(例如，特殊)音频模式。另选地，设备处理器可响应地向无线耳机的无线耳机处理器传输音频模式信号，指示移动设备和HMD安装件物理地配对(彼此相邻或固定)。无线耳机(或内置于HMD安装件中的一个或多个扬声器)可响应于接收到音频模式信号来确定移动设备已安装，并将音频模式从第一音频模式改变为第二音频模式。移动设备或无线耳机的音频模式改变可包括减小移动设备和无线耳机之间的延迟链的音频信号延迟。例如，可通过减小用于在无线耳机的无线耳机存储器中存储音频信号的缓冲器大小来减小音频信号延迟。移动设备可通过在第二音频模式中使用不同的数字音频编解码器来改变音频模式以减小音频信号延迟。因此，第二音频模式可具有比第一音频模式更低的音频信号延迟。更低音频信号延迟可在由移动设备在虚拟现实场景中显示的对象的移动与由无线耳机(或由内置在HMD安装件中的一个或多个扬声器)所播放的对应声音之间提供期望的运动到声音延迟。
在一个实施方案中，对音频模式的改变可涉及对移动设备或无线耳机的非延迟调节。例如，无线耳机(或HMD安装件)可包括扬声器以播放对应于由移动设备所显示的图像的声音，并且在第二音频模式中可在与第一音频模式不同的方向上呈现声音。另选地或除此之外，移动设备可包括麦克风以从周围环境拾取声音，并且当系统在第二音频模式下操作时，可调节麦克风以在预设方向(例如，对应于用户嘴的假定方向)上拾取声音。
上面的概述不包括本发明的所有方面的详尽列表。设想本发明包括可从上面概述的各个方面以及在下面的具体实施方式中公开且在随该专利申请提交的权利要求书中特别指出的各个方面的所有合适的组合而实践的所有系统和方法。此类组合具有未在上面的概述中具体叙述的特定优点。
附图说明
图1是根据一个实施方案，具有安装在头戴式显示器(HMD)安装件上的移动设备的系统的示图。
图2是根据一个实施方案的系统的框图。
图3是根据一个实施方案，参照系统的音频信号延迟绘制的运动到声音质量的曲线图。
图4是根据一个实施方案的系统的延迟链的示图。
图5是根据一个实施方案，调节第二音频模式中系统的延迟参数的方法的流程图。
图6是根据一个实施方案，调节第二音频模式中系统的非延迟参数的方法的流程图。
图7A-图7B是根据一个实施方案，在第二音频模式中调节无线耳机的声音呈现的方法的示图。
图8A-图8B是根据一个实施方案，由第二音频模式中的移动设备调节麦克风聚焦的方法的示图。
具体实施方式
本发明的实施方案描述了具有可控制音频模式并包括头戴式显示器(HMD)的系统，以及基于HMD安装件和移动设备之间的物理关系激活音频模式的方法。该系统可用作虚拟现实或增强现实头戴式耳机。然而，该系统可用于其他应用，略举几种可能的应用，诸如用于航空、工程或医学。
在各种实施方案中，参考附图进行描述。然而，某些实施方案可在不存在这些具体细节中的一个或多个具体细节或者不与其他已知的方法和配置相结合的情况下被实施。在以下的描述中，阐述多个具体细节诸如具体配置、尺寸和过程，以便提供对各实施方案的透彻理解。在其他实例中，没有特别详细地描述众所周知的过程和制造技术，以便不会不必要地模糊该描述。整个本说明书中对“一个实施方案”、“实施方案”等的引用意味着所描述的特定特征、结构、配置或特性包括在至少一个实施方案中。因此，整个本说明书中各个地方出现短语“一个实施方案”、“实施方案”等不一定是指同一实施方案。此外，特定特征、结构、配置或特性可以任何适当的方式组合在一个或多个实施方案中。
在整个描述中使用相对术语可指代相对位置或方向。例如，“在......前面”可指示远离参考点的第一方向。类似地，“在......后面”可指示在远离参考点且与第一方向相反的第二方向上的位置。然而，提供此类术语以建立相对参照系，并且此类术语不旨在将系统的使用或取向限制为在下面各个实施方案中描述的具体配置。
在一个方面，一种系统能够基于HMD安装件和移动设备之间的物理关系自动改变音频模式。系统的处理器，例如，移动设备的设备处理器和/或HMD安装件的无线耳机的无线耳机处理器，可以识别出移动设备安装在HMD安装件上。移动设备和/或无线耳机可响应地从第一音频模式改变为第二音频模式。第二音频模式可包括对由移动设备生成的音频信号的处理方式的一个或多个改变，并且可减少音频信号的延迟。当系统在第二音频模式下操作时，由无线耳机呈现给用户的声音可逼真地跟踪由移动设备向用户显示的图像。因此，具有设备安装件音频模式的移动设备和/或无线耳机可向用户呈现逼真的增强现实或虚拟现实体验。
参见图1，根据一个实施方案，示出了具有安装在头戴式显示器(HMD)安装件上的移动设备的系统的示图。系统100可包括HMD安装件102和移动设备104(被示为隐藏在HMD安装件102之内)。HMD安装件102和移动设备104可以是独立的。例如，移动设备104可安装在HMD安装件102上并且可从HMD安装件拆下。在一个实施方案中，HMD安装件102包括壳体106，壳体通过带108、镜腿、臂或从壳体106延伸的另一特征部保持在用户头部上，以与用户头部接合。移动设备104可安装在HMD安装件102的壳体106中。移动设备104可以是智能电话、平板电脑等。
系统100可包括各种电子器件和音频硬件以生成与由移动设备104所显示的图像相关联的声音112。更具体地讲，系统100可包括扬声器110，扬声器可包括电声换能器以将由移动设备104传输的音频信号转换成声音112。
在一个实施方案中，具有扬声器110的音频硬件是与移动设备104进行信号通信的无线耳机101。无线耳机101可包括HMD安装件102外部的若干耳机，例如左耳机和右耳机。
在一个实施方案中，具有扬声器110的音频硬件被构建到HMD安装件102中。HMD安装件102可包括安装主体和耳机部件，耳机部件具有一个或多个扬声器110以为用户生成声音112。耳机部件可通过电缆物理地连接到安装主体。因此，系统100的扬声器110，无论是HMD安装件102外部还是内置于安装件102中的耳机或耳塞，当移动设备104安装在HMD安装件102上时，都可以呈现与移动设备104显示的图像相关联的声音112。
声音112为用户创建各种音频体验。扬声器110对音频信号的回放可以在标准立体声体验中呈现声音112，其中中心声音图像位于用户头部内部。中心声音图像可对应于与由移动设备104所显示的虚拟现实场景相关联的环境噪声。扬声器110对音频信号的回放可以在空间化音频体验中呈现声音112，其中沿虚拟声源的方向呈现虚拟声音图像。虚拟声音图像可对应于与由移动设备104在虚拟现实场景内显示的虚拟声源(例如，人)相关联的语音。音频信号可在移动设备104处或在无线耳机101或HMD安装件102的外壳中所包含的处理器处被处理，以产生预期的音频体验。
移动设备104可包括各种电子器件和音频硬件。在一个实施方案中，移动设备104包括一个或多个麦克风114。麦克风114可位于移动设备104上的若干位置处，以接收从各个方向进入移动设备104的声音。例如，当移动设备104以手持式配置使用时，第一麦克风114A可安装在移动设备104的后表面上，以接收来自后部方向的声音。当移动设备104以手持式配置使用时，移动设备104可以包括安装在移动设备104的底表面上的一个或多个第二麦克风114B，以接收来自底部方向的声音。当移动设备104安装在HMD安装件102中时，第一麦克风114A可能被壳体106遮蔽。相比之下，当移动设备104以头戴式配置使用时，第二麦克风114B可以不被壳体106遮蔽。
参见图2，示出了根据一个实施方案的系统的框图。移动设备104可为具有适于特定功能的电路的若干类型的便携式设备或装置中的任一种。因此，提供图示的电路作为实施例而非限制。移动设备104可包括一个或多个设备处理器202以执行指令，从而执行以下所述的不同功能和能力。可从设备存储器204检索由移动设备104的设备处理器202执行的指令，该设备存储器可包括非暂态机器可读介质。指令可以是操作系统程序的形式，该操作系统程序具有设备驱动程序和/或用于根据下述方法呈现虚拟声源的音频呈现引擎。设备处理器202还可从设备存储器204检索音频数据206，包括与电话相关联的音频数据和/或由操作系统顶部运行的电话或音乐应用控制的音乐回放功能。类似地，音频数据206可与在操作系统的顶部运行的增强现实或虚拟现实应用程序相关联。为了执行此类功能，设备处理器202可直接或间接地实现控制回路并从其他电子部件接收输入信号和/或向其他电子部件提供输出信号。例如，移动设备104可从麦克风114、菜单按钮或参考传感器214接收输入信号。移动设备104可输出音频信号210。音频信号210可包含音频数据206。移动设备104可生成音频信号210并通过有线或无线通信链路将音频信号210输出至设备扬声器208和/或无线耳机101(或HMD安装件102)。例如，可通过使用蓝牙标准的无线连接建立通信链路，并且设备处理器202可通过通信链路以无线方式将音频信号210传输至无线耳机处理器217(或HMD处理器218)。如下所述，无线耳机101或HMD安装件102可以接收并处理音频信号210，以呈现声音112。更具体地讲，无线耳机101或HMD安装件102可接收和回放音频信号210以从耳机扬声器110呈现声音112。
移动设备104可传送各种信号。例如，除了音频信号210之外，设备处理器202还可生成音频模式信号212。当移动设备104安装在HMD安装件102中时，可生成和/或传输音频模式信号212。设备处理器202可将音频模式信号212传输至无线耳机101的无线耳机处理器217或HMD安装件102的HMD处理器218。音频模式信号212可包含位字段以向接收部件(例如，无线耳机101或HMD安装件102)指示移动设备104和HMD安装件102是物理配对的。
在一个实施方案中，移动设备104的电子电路包括参考传感器214以输出对应于移动设备104的参考方向的参考取向数据。可将参考取向数据提供至设备处理器202或设备存储器204，并且设备处理器202可从设备存储器204检索参考取向数据。参考传感器214可以是任何已知的取向传感器中的一种或多种，诸如加速度计、磁力计、陀螺仪等。例如，参考传感器214可以是集成在移动设备104的外壳之内的惯性测量单元(IMU)。然而，此类基于惯性的实施例不是限制性的，并且参考传感器214可包括非惯性传感器，诸如光学传感器。由参考传感器214生成的参考取向数据可用作输入，以控制呈现在移动设备104的显示器216上的图像。例如，当移动设备104安装在HMD安装件102上时，用户的头部在向右方向上的移动可生成参考取向数据，以使设备处理器202以向左方向呈现在显示器216上呈现的人的图像。对应于图像的音频信号210的一部分(例如，人的语音)可由设备处理器202调节以将呈现给用户的声音112空间化为也向左移动。
HMD安装件102的安装主体和/或无线耳机101的耳机外壳中的电路可从移动设备104接收音频信号210。无线耳机101可包括无线耳机处理器217以接收和处理从设备处理器202传输的音频信号210。类似地，当系统100的音频硬件被结合到HDM安装件102中时，安装主体可以包含HMD处理器218以接收和处理从设备处理器202或移动设备104的其他部件传输的音频信号210。无线耳机处理器217可将音频信号210存储在无线耳机存储器219中，并且HMD处理器218可将音频信号210存储在HMD存储器220中。音频信号210可由相应处理器从存储器中检索以供相应耳机部件的扬声器110回放。无线耳机存储器219或HMD存储器220可以包括具有缓冲器的非暂态机器可读介质，缓冲器例如是音频抖动缓冲器，以存储音频信号210中包含的数据用于回放。更具体地讲，无线耳机处理器217可被配置为经由扬声器110向用户呈现音频输出，并且HMD处理器218可被配置为经由左扬声器110和右扬声器110向用户呈现音频输出。系统100可包括若干无线耳机101部件，使得第一无线耳机可被配置为呈现左声道音频输出，并且第二无线耳机可被配置为呈现右声道音频输出。相应处理器(无线耳机处理器217或HMD处理器218)可向扬声器110提供对应于缓冲音频数据的音频电信号，使得来自扬声器110的立体声112在源方向上呈现虚拟声源。例如，声音112可被呈现为对应于在移动设备104的显示器216上播放的虚拟现实场景中的对象的移动。
无线耳机101和/或HMD安装件102的处理器可连接到相应的RF电路以接收和处理音频信号210。此外，HMD安装件102和无线耳机101的RF电路可处于信号通信中。因此，HMD安装件102和无线耳机101的功能可以是分布式的。例如，信号可由HMD安装件102以无线方式从移动设备104中继到无线耳机101。因此，移动设备104可将音频信号210单独地传送至HMD安装件处理器218以用于处理或缓冲，并且HMD处理器218可将经处理的信号中继到无线耳机处理器217，以由无线耳机101的扬声器110输出。因此，系统100的音频硬件可被结合在无线耳机101和HMD安装件102中的一者或两者中。
参见图3，根据一个实施方案示出了参照系统的音频信号延迟绘制的运动到声音质量的曲线图。设备处理器202和接收处理器(无线耳机处理器217或HMD处理器218)可执行音频呈现算法来确定左扬声器和右扬声器110的适当音频电信号，以在适当的方向上呈现空间化声源。更具体地讲，系统100的处理器可在音频模式下操作以向用户提供虚拟现实或增强的现实体验。在移动设备104安装于HMD安装件102上，使用增强现实或虚拟现实应用的同时，当用户的头部移动时，呈现的声音图像应跟踪显示器216上呈现的视频图像。
为了在声音图像和视频图像之间实现所需的跟踪(其可被称为运动至声音延迟)，音频信号210的延迟必须在预先确定的范围之内。更具体地讲，当音频信号延迟小于预先确定的最小阈值302时，运动到声音质量良好，并且声音图像被感知为跟踪视频图像。相比之下，当音频信号延迟超过预先确定的最小阈值304时，运动到声音质量不佳，并且声音图像被感知为与视频图像脱节。对于增强现实和虚拟现实应用而言，预先确定的最小阈值302可为50毫秒，并且预先确定的最大阈值304可为150毫秒。因此，在一个实施方案中，为了在声音图像和视频图像之间实现所需的跟踪，音频信号延迟小于150毫秒，并且更优选地小于50毫秒。然而，现有的无线媒体回放模式的音频信号延迟大于200毫秒。因此，使用现有无线媒体回放模式的音频信号210的生成和回放可能无法向用户提供逼真的增强现实或虚拟现实体验。为了实现期望的运动到声音延迟，当移动设备104安装在HMD安装件102上时，系统100可与现有的无线媒体回放模式以不同方式处理音频信号210。
参考图4，根据一个实施方案示出了系统的延迟链的示图。延迟链400将音频信号延迟表示为进入系统100的运动输入402与离开系统100的音频输出404之间的延迟周期。运动输入402可以是用户在穿戴系统100和观看增强的现实场景时用户的头部的移动。音频输出404可呈现对应于运动输入402的声音112，例如，音频输出404可为对应于在增强现实场景中所显示的人的移动声音图像。因此，整个延迟链400对应于系统100的运动到声音延迟。
音频信号延迟可为延迟链400的一部分。音频信号延迟可包括由设备处理器202进行的音频插入408和由接收处理器(无线耳机处理器217或HMD处理器218)进行的音频处理410之间的延迟周期。更具体地讲，音频信号延迟可表示移动设备104与耳机部件(位于HMD安装件102的外部或内置)之间的延迟。音频插入408可由运动输入402产生。例如，头部运动可使得参考传感器214生成参考取向数据作为运动输入402，该运动输入由增强现实应用处理以引起所显示的场景的移动和对音频信号210的调节。由音频插入408表示音频信号调节。音频信号210可通过空气从移动设备104的发射器传输至无线耳机101或HMD安装件102的接收器。接收器可为无线耳机部件的一部分，并且因此本文所述的延迟优化可在移动设备104和连接到移动设备104的无线耳机之间。无线耳机101或HMD安装件102可接收音频信号210并将音频信号210存储在相应的缓冲器412(无线耳机存储器219或HMD存储器220)中。在缓冲器412中存储音频信号210可通过允许对音频信号210的数据流进行定时校正来提供信号可靠性。在现有无线媒体回放模式下，缓冲器412可占延迟链400的大部分。例如，在用于音乐回放的第一(例如，正常)音频模式中，缓冲器412可具有超过200毫秒的大小414，例如，长度。缓冲音频信号210然后可由无线耳机处理器217或HMD处理器218在本地处理，例如以执行均衡，然后输出到扬声器110以作为音频输出404回放。如下所述，当移动设备104安装在HMD安装件102上时，沿延迟链400的音频信号延迟部分的过程可被减小，以使音频信号延迟降低到预先确定的最小阈值302以下并实现期望的运动到声音质量。
参考图5，根据一个实施方案示出了调节第二音频模式中系统的延迟参数的方法的流程图。在操作502处，无线耳机101或HMD安装件102从移动设备104接收音频信号210。音频信号210可由设备处理器202在延迟链400的音频插入408处生成，并且通过空中从移动设备104的收发器无线传输至无线耳机101或HMD安装件102的收发器。传输可直接到达无线耳机101或经由HMD安装件102。在一个实施方案中，设备处理器202和/或接收处理器被配置为以第一音频模式处理音频信号210。例如，当移动设备104未安装在HMD安装件102上时，第一音频模式可以是由系统100使用的音频模式。当移动设备104处于手持式配置中时，例如，当移动设备104运行音乐应用时，可以在无线耳机部件(HMD安装件102外部或内置于HMD安装件102中)回放音乐期间使用第一音频模式。在第一音频模式中，缓冲器412的大小414可大于200毫秒。
在操作504处，系统100确定移动设备104是否安装在HMD安装件102上。该确定可由设备处理器202和/或接收处理器做出。例如，移动设备104和/或HMD安装件102可包括接近传感器(图2中未示出)以确定移动设备104是否加载到壳体106的腔体中。当接近传感器检测到移动设备104和HMD安装件102相邻时，传感器可将对应的信号传输到相应处理器。
可以其他方式检测移动设备104和HMD安装件102之间的相邻。以举例的方式，移动设备104和HMD安装件102可通过近场通信进行通信。当移动设备104安装在HMD安装件102上时，部件可发起通信。HMD安装件102可将移动设备104认证为特定类型的设备，例如，移动电话。类似地，移动设备104可将HMD安装件102认证为特定类型的设备，例如增强现实或虚拟现实头戴式耳机。在任何一种情况下，设备处理器202和/或接收处理器可检测到移动设备104安装在HMD安装件102上。
当移动设备104安装在HMD安装件102上时，设备处理器202可生成音频模式信号212。更具体地讲，设备处理器202可响应于检测到移动设备104和HMD安装件102之间相邻而生成音频模式信号212。无线耳机217或HMD处理器218可接收音频模式信号212。在一个实施方案中，接收处理器被配置为响应于接收到音频模式信号212而确定移动设备104安装在HMD安装件102上。因此，设备处理器202或HMD处理器218可确定移动设备104安装在HMD安装件102上，并且接收处理器可基于指示物理关系的所接收的信号做出确定。
在操作506处，系统100可响应于确定移动设备104安装于HMD安装件102上而将音频模式从第一音频模式改变为第二(例如，特殊)音频模式。设备处理器202和/或接收处理器被配置为在第二音频模式中以与第一音频模式中不同的方式处理音频信号210。信号处理的差异可具有如下文更详细描述的若干效果中的任一种。例如，第二音频模式可能需要改变系统100的延迟参数或非延迟参数。因此，与第一音频模式相比，在第二音频模式中，音频参数可不同。
响应于设备安装来激活从第一音频模式到第二音频模式的改变。因此，第二音频模式是设备-安装件音频模式。与需要用户输入来改变或控制音频输出的无源系统相比，设备-安装件音频模式使得系统100成为有源系统。即，头戴式耳机系统可通过检测移动设备104在HMD安装件102中而自动改变音频模式，而无需用户手动地将音频参数输入到增强现实或虚拟现实应用中。
在操作508处，无线耳机处理器217或HMD处理器218至少部分地通过减小第二音频模式中的缓冲器412的大小414来以不同方式处理音频信号210。可使用蓝牙标准通过数字无线接口，例如蓝牙适配器，从移动设备104向无线耳机101或HMD安装件102传送音频信号210。因此，缓冲器412可以是音频抖动缓冲器412。在第二音频模式中，音频抖动缓冲器412的大小414可小于第一音频模式中的大小414的一半。例如，尽管第一音频模式中的大小414可大于200毫秒，但第二音频模式中的大小414可小于50毫秒。在一个实施方案中，音频抖动缓冲器412在第二音频模式中的大小414小于40毫秒。
在操作510处，音频信号210被存储在缓冲器412中。音频信号210可由无线耳机219或HMD存储器220存储。例如，无线耳机处理器217可在从移动设备104接收音频信号210时，将包含在音频信号210中的音频数据写入无线耳机存储器219中的缓冲器412中。将音频数据存储在较小的音频抖动缓冲器412中是低延迟无线模式(第二音频模式)的部分。无需高延迟缓冲即可部分地维持更低延迟无线模式中的可靠性，因为移动设备104和无线耳机101或HMD安装件102的天线彼此足够接近，例如在几英寸之内并且在视线之内，以降低数据传输期间数据丢失或定时错误的可能性。
在操作512处，音频信号210被转换为声音112。一个或多个扬声器可将音频信号210转换为声音112。例如，扬声器110可在标准立体声体验中或在如下所述的虚拟声音体验中呈现声音112。由于在将移动设备104置于壳体106中时输入的更低延迟无线模式，呈现的声音112可很好地跟踪移动设备104上显示的图像的移动。
当移动设备104被安装，例如，放置在HMD安装件102的壳体106中时，系统100可以若干其他方式适应于新的操作模式。更具体地讲，音频模式从第一音频模式到第二音频模式的转变可包括其他操作。在一个实施方案中，当确定移动设备104安装在HMD安装件102上时，扬声器110的任何当前音频回放可淡出。例如，用户可能正在收听由扬声器110播放的音乐，并且将移动设备104插入HMD安装件102中可提示系统100用户正在从具有标准立体声体验的音乐收听模式转变为具有空间化声音体验的增强现实模式。系统使用情况可包括虚拟现实和增强现实游戏、媒体回放、电话通信以及与存储在移动设备104上的操作系统的智能个人助理的交互。基于移动设备104是否安装在HMD安装件102上，系统100可在针对这些使用情况中的每一种的不同音频体验之间转换。
如上所述，当系统100进入第二音频模式时，低延迟无线模式可包括减小缓冲器大小414。低延迟无线模式可包括改变用于将音频信号210从移动设备104传输至无线耳机101或HMD安装件102的无线数据交换栈的一个或多个其他延迟参数。在一个实施方案中，设备处理器202被配置为改变音频信号210的音频编码格式。设备处理器202可响应于确定移动设备104安装在HMD安装件102上而改变音频编码格式。更具体地讲，当移动设备104安装在HMD安装件102上时，音频信号210的音频编码格式可从第一音频编码格式改变为具有比第一音频编码格式更低延迟的第二音频编码格式。例如，系统100可使用数字音频编码器和解码器将音频信号210从移动设备104传输至无线耳机101或HMD安装件102。在第一音频模式中，数字音频编解码器可为具有低复杂度分布(AAC-LC)的高级音频编码编解码器。在第二音频模式中，数字音频编解码器可被改变为在编码和解码操作之间具有更低延迟的编解码器，例如低复杂度子频带编解码器(SBC)。在一个实施方案中，系统100可在第二音频模式中不具有数字音频压缩。例如，音频信号210可作为未压缩音频从移动设备104传输至无线耳机101或HMD安装件102。
第二音频模式中延迟参数的其他变化可包括在传输侧传输缓冲器的变化。设备存储器204可包括传输缓冲器，其部分地限定设备处理器202向无线数据交换栈(例如蓝牙栈)提供数据的频率。在一个实施方案中，与第一音频模式相比，可在第二音频模式中减小传输缓冲器。例如，传输缓冲器在第一音频模式下可为10毫秒，并且在第二音频模式中可减小至小于10毫秒。
可通过改变音频I/O循环时间来调整延迟链400以适应第二音频模式。例如，当移动设备104被确定为安装在HMD安装件102上时，系统100的输出扬声器(由无线耳机处理器217或HMD处理器218控制)的放大器可以以不同的速率从存储在相应存储器上的音频应用请求音频数据。例如，并非每次从无线耳机存储器219读取第一预先确定数量的样本时都请求音频数据，无线耳机处理器217可以在每次从无线耳机存储器219读取少于第一预先确定数量样本的第二预先确定数量样本时，请求音频数据206。以举例的方式，无线耳机处理器217可每次在第一音频模式下读取1024个样本时请求音频数据，并且可在每次在第二音频模式中读取64个样本时请求音频数据。
对系统100的音频模式的改变可包括对非延迟参数的改变。例如，当系统100进入第二音频模式时，可调节与增强现实或虚拟现实场景相关联的声源的虚拟声音方向。以下以举例的方式而非限制性地描述了非延迟调整的这种实施例。
参考图6，根据一个实施方案示出了调节第二音频模式中系统的非延迟参数的方法的流程图。图7A-图7B是图6的方法的示图，并且因此在以下描述中交替地引用了相关附图。需注意，该描述适用于具有无线耳机101作为声音再现单元的系统100，但该描述同样适用于包括用作声音再现单元的HMD安装件102的内置耳机的实施方案。
在操作602处，无线耳机101从移动设备104接收音频信号210。音频信号210可在第一音频模式下从移动设备104流传输到无线耳机101。在操作604处，在第一音频模式下，处理音频信号210以呈现由无线耳机101播放的声音112。参见图7A，无线耳机101可回放各种声音。HMD安装件102可以在沿不同方向呈现虚拟声音的空间化音频体验中播放声音。例如，扬声器110可沿第一方向702播放与智能个人助理相关联的声音。第一方向702可以是移动设备104的方向。在第一音频模式下，移动设备104可处在手持式配置中，并且因此在第一方向702中向移动设备104播放智能个人助理语音704可能导致用户体验到语音如同来自移动设备104。其他声音，诸如来自音乐源706的声音可在其他方向上呈现。例如，在第一音频模式中，来自音乐源706的声音可被空间化为在用户头部之内居中的声音图像。
在操作606处，系统100可确定移动设备104是否安装在HMD安装件102上。在操作608处，响应于确定移动设备104安装在HMD安装件102上，系统100的音频模式可从第一音频模式改变为第二音频模式。在操作610处，音频信号210可在第二音频模式下被处理以在不同于第一音频模式的方向上呈现声音。例如，并非在第一方向702上呈现与智能个人助理语音704相关联的声音，可以在与用户具有预先确定物理关系的第二方向708中呈现语音704。以举例的方式，第二方向708可在用户的后方和/或上方。智能个人助理语音704可在第二方向708上进行空间化，该方向可远离安装在用户头部上的移动设备104。类似地，可将与音乐回放相关联的声音空间化到第二音频模式中与第一音频模式不同的位置。例如，音乐源706可被呈现为来自用户的前方。音乐源706可被分割成代表例如乐团的不同部分的不同源706A、706B。因此，当移动设备104安装在HMD安装件102上时自动发生的音频模式的改变可影响音乐回放参数，例如回放音量或声源方向，而不一定改变延迟链400的参数。
另一个非延迟调整可针对系统100的麦克风参数。例如，当系统100进入第二音频模式时，可调节麦克风拾取的焦点方向。参见图8A，根据一个实施方案，示出了由第二音频模式中的移动设备104调节麦克风聚焦的方法的示图。系统100的音频模式可包括音频拾取聚焦参数，该音频拾取聚焦参数用于聚焦集成在移动设备104(或无线耳机101或HMD安装件102)中的麦克风114的拾取方向。以举例的方式，可控制移动设备104的麦克风114以拾取特定方向上的语音。当移动设备104处于手持式配置中时，音频聚焦参数可被设置为使得麦克风114A和114B从周围环境接收声音。麦克风114的方向性通常可从移动设备104的外壳向外，例如，可不朝向特定位置聚焦。
参见图8B，当移动设备104安装在HMD安装件102上时，设备处理器202可被配置为调节音频拾取聚焦参数以将移动设备104的麦克风114聚焦在预设方向802上。例如，音频拾取聚焦参数可基于当移动设备104安装在HMD安装件102上时用户的嘴期望的位置来拾取语音。麦克风拾取的预设方向802可朝向嘴。
在一个实施方案中，麦克风调节可包括禁用某些麦克风和/或将一些麦克风的拾取优先于其他麦克风。当移动设备104安装在HMD安装件102上时，HMD安装件102可遮蔽麦克风114A，并且麦克风114B可不被遮蔽在安装配置中。因此，当移动设备104安装在HMD安装件102上时，麦克风114A的麦克风拾取可被禁用。相比之下，麦克风114B的麦克风拾取可保持启用，并且可被引导以拾取用户的语音。因此，当移动设备104安装在HMD安装件102上时自动发生的音频模式改变可影响移动设备104(或无线耳机101或HMD安装件102)的硬件参数，而不一定改变无线数据交换栈的参数。
在以上说明书中，已参照本发明的特定示例性实施方案描述了本发明。将明显的是，可在不脱离如在以下权利要求中阐述的本发明的更广泛的实质和范围的情况下对具体示例性方面作出各种修改。相应地，说明书和附图被视为是例示性意义而不是限定性意义。

Claims (20)

1.一种头戴式显示器(HMD)系统，所述HMD系统包括移动设备，所述移动设备包括设备处理器，所述HMD系统被配置为：
检测所述移动设备和HMD安装件之间的相邻；
从所述设备处理器向无线耳机传输音频信号；以及
响应于检测到所述移动设备和所述HMD安装件之间的相邻，将所述移动设备或所述无线耳机的一个或多个的音频模式从第一音频模式改变为第二音频模式，其中所述设备处理器或所述无线耳机的无线耳机处理器被配置为在所述第二音频模式中以与所述第一音频模式中不同的方式处理所述音频信号。
2.根据权利要求1所述的HMD系统，其中所述无线耳机包括无线耳机存储器，所述无线耳机存储器具有用于存储所述音频信号的缓冲器，并且其中所述无线耳机处理器在所述第二音频模式中减小所述缓冲器的大小。
3.根据权利要求2所述的HMD系统，其中所述缓冲器是音频抖动缓冲器，并且其中所述音频抖动缓冲器在所述第二音频模式中的所述大小小于在所述第一音频模式中的所述大小的一半。
4.根据权利要求3所述的HMD系统，其中所述音频抖动缓冲器在所述第二音频模式中的所述大小小于40毫秒。
5.根据权利要求1所述的HMD系统，其中响应于检测到所述移动设备和所述HMD安装件之间的相邻，所述设备处理器生成音频模式信号，并且其中所述无线耳机处理器被配置为响应于从所述移动设备接收所述音频模式信号来确定所述移动设备安装在所述HMD安装件上。
6.根据权利要求5所述的HMD系统，其中所述设备处理器被配置为，当所述移动设备安装在所述HMD安装件上时，将所述音频信号的音频编码格式从第一音频编码格式改变为具有比所述第一音频编码格式更低延迟的第二音频编码格式。
7.根据权利要求5所述的HMD系统，其中所述移动设备包括多个麦克风，并且其中所述设备处理器被配置为调节音频拾取聚焦参数，以在所述移动设备安装在所述HMD安装件上时将所述多个麦克风聚焦在预设方向上。
8.根据权利要求1所述的HMD系统，其中所述无线耳机包括用于将所述音频信号转换成声音的多个扬声器，其中所述音频信号在所述第一音频模式下被处理以在第一方向上呈现所述声音，并且其中所述音频信号在所述第二音频模式下被处理以在不同于所述第一方向的第二方向上呈现所述声音。
9.一种头戴式显示器(HMD)方法，所述HMD方法包括：
由移动设备的设备处理器检测所述移动设备和HMD安装件之间的相邻；
由无线耳机的无线耳机处理器从所述移动设备的所述设备处理器接收音频信号；以及
响应于检测到所述移动设备和所述HMD安装件之间的相邻，通过所述无线耳机处理器将所述无线耳机的音频模式或通过所述设备处理器将所述移动设备的音频模式从第一音频模式改变为第二音频模式，其中所述无线耳机处理器或所述设备处理器的一个或多个被配置为在所述第二音频模式中以与所述第一音频模式不同的方式处理所述音频信号。
10.根据权利要求9所述的HMD方法，还包括：
由所述无线耳机处理器在所述第二音频模式中减小所述无线耳机的无线耳机存储器中的缓冲器大小；以及
由所述无线耳机存储器将所述音频信号存储在所述缓冲器中。
11.根据权利要求10所述的HMD方法，其中所述缓冲器是音频抖动缓冲器，并且其中所述音频抖动缓冲器在所述第二音频模式中的所述大小小于在所述第一音频模式中的所述大小的一半。
12.根据权利要求11所述的HMD方法，其中所述音频抖动缓冲器在所述第二音频模式中的所述大小小于40毫秒。
13.根据权利要求9所述的HMD方法，还包括：
响应于检测到所述移动设备和所述HMD安装件之间的相邻，由所述移动设备的所述设备处理器生成音频模式信号；以及
由所述无线耳机处理器接收所述音频模式信号，其中所述无线耳机处理器被配置为响应于接收到所述音频模式信号来确定所述移动设备安装在所述HMD安装件上。
14.根据权利要求9所述的HMD方法，还包括：
由所述无线耳机的多个扬声器将所述音频信号转换成声音；
在所述第一音频模式中处理所述音频信号以在第一方向上呈现所述声音；以及
在所述第二音频模式中处理所述音频信号以在与所述第一方向不同的第二方向上呈现所述声音。
15.一种存储指令的非暂态机器可读介质，所述指令当由头戴式显示器(HMD)系统的一个或多个处理器执行时，使得所述HMD系统执行一种HMD方法，所述HMD方法包括：
检测移动设备和HMD安装件之间的相邻；
从所述移动设备向无线耳机传输音频信号；以及
响应于检测到所述移动设备和所述HMD安装件之间的相邻，将所述移动设备或所述无线耳机的一个或多个的音频模式从第一音频模式改变为第二音频模式，其中所述移动设备的设备处理器或所述无线耳机的无线耳机处理器的一个或多个被配置为在所述第二音频模式中以与所述第一音频模式不同的方式处理所述音频信号。
16.根据权利要求15所述的非暂态机器可读介质，所述HMD方法还包括：
在所述第二音频模式中减小所述无线耳机的无线耳机存储器中缓冲器的大小；以及
将所述音频信号存储在所述缓冲器中。
17.根据权利要求16所述的非暂态机器可读介质，其中所述缓冲器是音频抖动缓冲器，并且其中所述音频抖动缓冲器在所述第二音频模式中的所述大小小于在所述第一音频模式中的所述大小的一半。
18.根据权利要求17所述的非暂态机器可读介质，其中所述音频抖动缓冲器在所述第二音频模式中的所述大小小于40毫秒。
19.根据权利要求15所述的非暂态机器可读介质，所述HMD方法还包括：
响应于检测到所述移动设备和所述HMD安装件之间的相邻，由所述移动设备的所述设备处理器生成音频模式信号；以及
由所述无线耳机处理器接收所述音频模式信号，其中所述无线耳机处理器被配置为响应于接收到所述音频模式信号来确定所述移动设备安装在所述HMD安装件上。
20.根据权利要求15所述的非暂态机器可读介质，所述HMD方法还包括：
由所述无线耳机的多个扬声器将所述音频信号转换成声音；
在所述第一音频模式中处理所述音频信号以在第一方向上呈现声音；以及
在所述第二音频模式中处理所述音频信号以在与所述第一方向不同的第二方向上呈现所述声音。
CN201910367569.4A 2018-05-09 2019-05-05 具有设备安装件音频模式的系统 Active CN110471180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111373477.0A CN114025274A (zh) 2018-05-09 2019-05-05 具有设备安装件音频模式的系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862669322P 2018-05-09 2018-05-09
US62/669,322 2018-05-09
US16/395,714 2019-04-26
US16/395,714 US10764670B2 (en) 2018-05-09 2019-04-26 System having device-mount audio mode

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111373477.0A Division CN114025274A (zh) 2018-05-09 2019-05-05 具有设备安装件音频模式的系统

Publications (2)

Publication Number Publication Date
CN110471180A CN110471180A (zh) 2019-11-19
CN110471180B true CN110471180B (zh) 2021-11-16

Family

ID=68464420

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111373477.0A Pending CN114025274A (zh) 2018-05-09 2019-05-05 具有设备安装件音频模式的系统
CN201910367569.4A Active CN110471180B (zh) 2018-05-09 2019-05-05 具有设备安装件音频模式的系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111373477.0A Pending CN114025274A (zh) 2018-05-09 2019-05-05 具有设备安装件音频模式的系统

Country Status (2)

Country Link
US (1) US10764670B2 (zh)
CN (2) CN114025274A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10705793B1 (en) * 2019-06-04 2020-07-07 Bose Corporation Low latency mode for wireless communication between devices
US11514921B2 (en) * 2019-09-26 2022-11-29 Apple Inc. Audio return channel data loopback
KR20210093036A (ko) 2020-01-17 2021-07-27 삼성전자주식회사 오디오 출력 장치 및 오디오 출력 속도 제어 방법
US11558707B2 (en) * 2020-06-29 2023-01-17 Qualcomm Incorporated Sound field adjustment
CN111935600B (zh) * 2020-10-14 2021-02-12 歌尔光学科技有限公司 一种头戴设备、控制方法、装置和系统
EP4387241A4 (en) * 2021-08-10 2024-10-02 Samsung Electronics Co Ltd METHOD AND ELECTRONIC SYSTEM FOR OUTPUTTING VIDEO AND AUDIO DATA
US20230053893A1 (en) * 2021-08-20 2023-02-23 Jennifer Hendrix Head tracker assembly
US12108241B1 (en) * 2022-02-16 2024-10-01 Meta Platforms Technologies, Llc Adjusting generation of spatial audio for a receiving device to compensate for latency in a communication channel between the receiving device and a sending device
WO2024107237A1 (en) * 2022-11-17 2024-05-23 Google Llc Low-latency dynamic spatial audio

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
GB2495928B (en) * 2011-10-25 2016-06-15 Skype Jitter buffer
KR101969351B1 (ko) 2012-09-10 2019-04-16 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 출력 제어 방법
US9513702B2 (en) 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
FR3019658B1 (fr) * 2014-04-08 2017-09-01 Light And Shadows Casque muni d'une entite electronique portable
KR102310130B1 (ko) * 2014-09-01 2021-10-08 삼성전자주식회사 착용 가능한 전자 장치
CN104270623B (zh) * 2014-09-28 2019-02-05 联想(北京)有限公司 一种显示方法及电子设备
CN104717477B (zh) * 2014-12-18 2016-06-01 赵雪波 在线眼幕
KR20170051013A (ko) 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
US9851792B2 (en) * 2016-04-27 2017-12-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
CN205754822U (zh) * 2016-04-28 2016-11-30 青岛歌尔声学科技有限公司 一种音频处理单元、头戴耳机及虚拟现实设备
CN106095007A (zh) * 2016-07-29 2016-11-09 北京小鸟看看科技有限公司 一种头戴显示设备
US20180124497A1 (en) * 2016-10-31 2018-05-03 Bragi GmbH Augmented Reality Sharing for Wearable Devices
CN107046663B (zh) * 2017-02-06 2019-11-05 北京安云世纪科技有限公司 一种立体声效的播放方法、装置及vr设备
CN206610019U (zh) * 2017-03-24 2017-11-03 威睿科技（武汉）有限责任公司 一种完全沉浸式vr眼镜
US10338766B2 (en) * 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
CN107608519A (zh) * 2017-09-26 2018-01-19 深圳传音通讯有限公司 一种声音调整方法及虚拟现实设备

Also Published As

Publication number Publication date
US20190349662A1 (en) 2019-11-14
CN114025274A (zh) 2022-02-08
US10764670B2 (en) 2020-09-01
CN110471180A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110471180B (zh) 具有设备安装件音频模式的系统
EP3440538B1 (en) Spatialized audio output based on predicted position data
EP3424229B1 (en) Systems and methods for spatial audio adjustment
KR102197544B1 (ko) 공간화 오디오를 가진 혼합 현실 시스템
US10705793B1 (en) Low latency mode for wireless communication between devices
EP2839675B1 (en) Auto detection of headphone orientation
US9712910B2 (en) Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
JP5526042B2 (ja) 音響システム及びサウンドを提供する方法
US10325614B2 (en) Voice-based realtime audio attenuation
KR101614790B1 (ko) 카메라 구동 오디오 공간화
US20120114154A1 (en) Using accelerometers for left right detection of headset earpieces
US11523244B1 (en) Own voice reinforcement using extra-aural speakers
US10306142B2 (en) Headset
CN112118527A (zh) 多媒体信息的处理方法、装置和存储介质
CN114727212A (zh) 音频的处理方法及电子设备
US11589180B2 (en) Electronic apparatus, control method thereof, and recording medium
US20100104118A1 (en) Earpiece based binaural sound capturing and playback
US20210343296A1 (en) Apparatus, Methods and Computer Programs for Controlling Band Limited Audio Objects
CN115769566A (zh) 基于显示方位进行声学回声消除的系统、设备和方法
CN112752190A (zh) 音频调整方法以及音频调整装置
US20240249711A1 (en) Audio cancellation
US20220312142A1 (en) Processing of Audio Data
WO2024040527A1 (en) Spatial audio using a single audio device
KR20230052783A (ko) 오디오 장면에 기초하여 주변 사운드를 제어하는 전자 장치 및 그 동작방법
CN117676002A (zh) 音频处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant