CN110291820B - 音频源的无线协调 - Google Patents

音频源的无线协调 Download PDF

Info

Publication number
CN110291820B
CN110291820B CN201780086392.XA CN201780086392A CN110291820B CN 110291820 B CN110291820 B CN 110291820B CN 201780086392 A CN201780086392 A CN 201780086392A CN 110291820 B CN110291820 B CN 110291820B
Authority
CN
China
Prior art keywords
playback
electronic device
hub
time
audio content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780086392.XA
Other languages
English (en)
Other versions
CN110291820A (zh
Inventor
盖洛德·于
史蒂文·斯塔普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bowers and Wilkins Group Ltd
Original Assignee
Eva Automation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eva Automation Inc filed Critical Eva Automation Inc
Publication of CN110291820A publication Critical patent/CN110291820A/zh
Application granted granted Critical
Publication of CN110291820B publication Critical patent/CN110291820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/12—Synchronisation of different clock signals provided by a plurality of clock generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/02—Speed or phase control by the received code signals, the signals containing no special synchronisation information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/004—Synchronisation arrangements compensating for timing error of reception due to propagation delay
    • H04W56/005—Synchronisation arrangements compensating for timing error of reception due to propagation delay compensating for timing error by adjustment in the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

描述了协调音频内容的回放的音频/视频(A/V)集线器。具体地，A/V集线器可以基于来自电子装置的帧的发送时间和接收帧时的接收时间之间的差，来计算电子装置中的时钟与A/V集线器中的时钟之间的当前时间偏移。例如，可以通过忽略A/V集线器和电子装置之间的距离、使用无线测距来计算当前时间偏移。然后，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧，回放定时信息可以指定当电子装置基于当前时间偏移来回放音频内容时的回放时间。此外，电子装置的回放时间可以具有时间关系，从而协调电子装置对音频内容的回放。

Description

音频源的无线协调
技术领域
所描述的实施例涉及通信技术。更具体地，所描述的实施例包括无线地协调输出声音的电子装置的回放时间的通信技术。
背景技术
音乐通常对个人的情绪和感知具有显著影响。这被认为是大脑中解密、学习和记忆音乐的区域与产生情绪反应的区域，例如额叶和边缘系统之间的联系或关系的结果。实际上，人们认为情绪与音乐的解释过程有关，同时情绪在音乐对大脑的影响这方面非常重要。鉴于音乐能够“感动”收听者，当用户听取音频内容时，更一般地，在用户观看和收听音频/视频(A/V)内容时，音频质量通常是用户满意度的重要因素。
然而，在环境中实现高音频质量通常是具有挑战性的。例如，声学源(例如扬声器)可能未正确放置在环境中。替代地或附加地，收听者可能未位于环境中的理想位置。具体地，在立体声回放系统中，所谓的“最佳听音点”——其中振幅差和到达时间差足够小以使原始声源的表观图像和定位都得到保持——通常限于各扬声器之间相当小的区域。当收听者在该区域之外时，图像崩溃明显，并且可能仅听到扬声器输出的一个或另一个独立音频声道。此外，在环境中实现高音频质量通常会对扬声器的同步产生很大的限制。
因此，当这些因素中的一个或多个是次优的时，环境中的声学质量可能降低。反过来，这可能会在收听音频内容和/或A/V内容时，对收听者的满意度和整体用户体验产生不利影响。
发明内容
第一组描述的实施例包括音频/视频(A/V)集线器。该A/V集线器包括：一个或多个天线；和接口电路，其在操作期间，使用无线通信与电子装置通信。在操作期间，A/V集线器经由无线通信接收来自电子装置的帧，其中，给定帧包括给定电子装置发送给定帧时的发送时间。然后，A/V集线器存储接收到帧时的接收时间，其中，接收时间基于A/V集线器中的时钟。此外，A/V集线器基于帧的接收时间和发送时间，计算电子装置中的时钟与A/V集线器中的时钟之间的当前时间偏移。接下来，A/V集线器将包括音频内容和回放定时信息的一个或多个帧发送给电子装置，其中回放定时信息指定当电子装置基于当前时间偏移要回放音频内容时的回放时间。此外，电子装置的回放时间具有时间关系，从而协调电子装置对音频内容的回放。
注意，时间关系可以具有非零值，从而指示至少一些电子装置通过使用回放时间的不同值来来回放具有相对于彼此的相位的音频内容。例如，不同的回放时间可以基于包括电子装置和A/V集线器的环境的声学表征。替代地或附加地，不同的回放时间可以基于环境中的期望声学特性。
在一些实施例中，电子装置位于距离A/V集线器的向量距离处，并且接口电路使用无线测距、基于发送时间和接收时间来确定向量距离的大小。此外，接口电路可以基于与无线通信期间由一个或多个天线接收的帧相关联的无线信号的到达角度来确定向量距离的角度。此外，不同的回放时间可以基于所确定的向量距离。
替代地或附加地，不同的回放时间基于收听者相对于电子装置的估计位置。例如，接口电路可以：与另一电子装置通信；并基于与其他电子装置的通信来计算收听者的估计位置。此外，A/V集线器可包括声波传感器，该声波传感器执行包括A/V集线器的环境的声音测量，并且A/V集线器可以基于声音测量来计算收听者的估计位置。此外，接口电路可以与环境中的其他电子装置通信，并且可以从其他电子装置接收环境的附加声音测量。在这些实施例中，A/V集线器基于附加声音测量来计算收听者的估计位置。在一些实施例中，接口电路：执行飞行时间测量；并基于飞行时间测量来计算收听者的估计位置。
注意，电子装置可以位于距离A/V集线器的非零距离处，并且可以通过忽略所述距离、使用无线测距、基于发送时间和接收时间来计算当前时间偏移。
此外，当前时间偏移可以基于电子装置中的时钟漂移的模型。
另一个实施例提供了一种与A/V集线器一起使用的计算机可读存储介质。该计算机可读存储介质包括程序模块，当由A/V集线器执行时，该程序模块使A/V集线器执行至少一些上述操作。
另一个实施例提供了一种用于协调音频内容的回放的方法。该方法包括由A/V集线器执行的至少一些操作。
另一个实施例提供了一个或多个电子装置。
第二组描述的实施例包括音频/视频(A/V)集线器。该A/V集线器包括：一个或多个天线；和接口电路，其在操作期间，使用无线通信与电子装置通信。在操作期间，A/V集线器经由无线通信接收来自电子装置的帧。然后，A/V集线器存储接收到帧时的接收时间，其中，接收时间基于A/V集线器中的时钟。此外，A/V集线器基于帧的接收时间和预期发送时间，计算电子装置中的时钟与A/V集线器中的时钟之间的当前时间偏移，其中，预期发送时间基于先前时间处电子装置中的时钟和A/V集线器中的时钟的协调以及帧的预定义发送调度。接下来，A/V集线器将包括音频内容和回放定时信息的一个或多个帧发送给电子装置，其中，回放定时信息指定电子装置基于当前时间偏移要回放音频内容时的回放时间。此外，电子装置的回放时间具有时间关系，从而协调电子装置对音频内容的回放。
注意，时间关系可以具有非零值，从而指示至少一些电子装置通过使用回放时间的不同值来回放具有相对于彼此的相位的音频内容。例如，不同的回放时间可以基于包括电子装置和A/V集线器的环境的声学表征。替代地或附加地，不同的回放时间可以基于环境中的期望声学特性。
在一些实施例中，电子装置位于距离A/V集线器的向量距离处，并且接口电路使用无线测距、基于帧的发送时间和接收时间来确定向量距离的大小。此外，接口电路可以基于与无线通信期间由一个或多个天线接收的帧相关联的无线信号的到达角度来确定向量距离的角度。此外，不同的回放时间可以基于所确定的向量距离。
替代地或附加地，不同的回放时间基于收听者相对于电子装置的估计位置。例如，接口电路可以：与另一电子装置通信；并基于与其他电子装置的通信来计算收听者的估计位置。此外，A/V集线器可包括声波传感器，该声波传感器执行包括A/V集线器的环境的声音测量，并且A/V集线器可以基于声音测量来计算收听者的估计位置。此外，接口电路可以与环境中的其他电子装置通信，并且可以从其他电子装置接收环境的附加声音测量。在这些实施例中，A/V集线器基于附加声音测量来计算收听者的估计位置。在一些实施例中，接口电路：执行飞行时间测量；并根据飞行时间测量计算收听者的估计位置。
注意，在初始化操作模式期间，电子装置中的时钟和A/V集线器中的时钟的协调可能已经发生。
此外，当前时间偏移可以基于电子装置中的时钟漂移的模型。
另一个实施例提供了一种与A/V集线器一起使用的计算机可读存储介质。该计算机可读存储介质包括程序模块，当由A/V集线器执行时，该程序模块使A/V集线器执行至少一些上述操作。
另一个实施例提供了一种用于协调音频内容的回放的方法。该方法包括由A/V集线器执行的至少一些操作。
另一个实施例提供了一个或多个电子装置。
仅出于说明一些示例性实施例的目的而提供本发明内容，以便提供对本文所述主题的一些方面的基本理解。因此，应当理解，上述特征仅是示例，并且不应被解释为以任何方式缩小本文描述的主题的范围或精神。根据以下详细说明、附图和权利要求，本文描述的主题的其他特征、方面和优点将变得显而易见。
附图说明
图1是示出根据本公开的实施例的具有电子装置的系统的框图。
图2是示出根据本公开的实施例的用于协调音频内容的回放的方法的流程图。
图3是示出根据本公开的实施例的图1中的电子装置之间的通信的示图。
图4是示出根据本公开的实施例的由图1中的电子装置协调音频内容的回放的示图。
图5是示出根据本公开的实施例的用于协调音频内容的回放的方法的流程图。
图6是示出根据本公开的实施例的图1中的电子装置之间的通信的示图。
图7是示出根据本公开的实施例的由图1中的电子装置协调音频内容的回放的示图。
图8是示出根据本公开的实施例的用于协调音频内容的回放的方法的流程图。
图9是示出根据本公开的实施例的图1中的电子装置之间的通信的示图。
图10是示出根据本公开的实施例的由图1中的电子装置协调音频内容的回放的示图。
图11是示出根据本公开的实施例的用于选择性地确定环境的一个或多个声学特性的方法的流程图。
图12是示出根据本公开的实施例的图1中的电子装置之间的通信的示图。
图13是示出根据本公开的实施例的包括图1中的电子装置的环境的选择性声学表征的示图。
图14是示出根据本公开的实施例的用于计算估计位置的方法的流程图。
图15是示出根据本公开的实施例的图1中的电子装置之间的通信的示图。
图16是示出根据本公开的实施例的计算一个或多个收听者相对于图1中的电子装置的估计位置的示图。
图17是示出根据本公开的实施例的用于聚合电子装置的方法的流程图。
图18是示出根据本公开的实施例的图1中的电子装置之间的通信的示图。
图19是示出根据本公开的实施例的聚合图1中的电子装置的示图。
图20是示出根据本公开的实施例的用于确定均衡的音频内容的方法的流程图。
图21是示出根据本公开的实施例的图1中的电子装置之间的通信的示图。
图22是示出根据本公开的实施例的使用图1中的电子装置确定均衡的音频内容的示图。
图23是示出根据本公开的实施例的图1的电子装置之一的框图。
注意，在所有附图中，相同的附图标记指代对应的部分。此外，相同部分的多个实例由通过短划线与实例编号分隔的公共前缀指定。
具体实施方式
在第一组实施例中，描述了协调音频内容的回放的音频/视频(A/V)集线器。具体地，A/V集线器可以基于来自电子装置的帧的发送时间和接收帧时的接收时间之间的差来计算电子装置(例如，包括扬声器的电子装置)中的时钟与A/V集线器中的时钟之间的当前时间偏移。例如，可以通过忽略A/V集线器和电子装置之间的距离来使用无线测距来计算当前时间偏移。然后，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧，其可以指定电子装置基于当前时间偏移要回放音频内容时的回放时间。此外，电子装置的回放时间可以具有时间关系，从而协调电子装置对音频内容的回放。
通过协调电子装置对音频内容的回放，协调技术可以在包括A/V集线器和电子装置的环境中提供改善的声学体验。例如，协调技术可以校正A/V集线器和电子装置之间的时钟漂移。替代地或附加地，协调技术可以校正或适应环境的声学特性和/或基于环境中的期望声学特性。另外，协调技术可以基于收听者相对于电子装置的估计位置来校正回放时间。以这些方式，协调技术可以改善声学质量，并且更一般地，改善使用A/V集线器和电子装置时的用户体验。因此，协调技术可以提高A/V集线器和电子装置的提供商的客户忠诚度和收入。
在第二组实施例中，描述了选择性地确定包括A/V集线器的环境的一个或多个声学特性的音频/视频(A/V)集线器。具体地，A/V集线器可以使用无线通信来检测环境中的电子装置(例如，包括扬声器的电子装置)。然后，A/V集线器可以确定改变条件，例如当在环境中先前未检测到电子装置和/或电子装置的位置改变时。响应于确定改变条件，A/V集线器可以转换到表征模式。在表征模式期间，A/V集线器可以：向电子装置提供指令，以在指定的回放时间处回放音频内容；基于环境中的声学测量确定环境的一个或多个声学特性；以及将一个或多个声学特性和/或电子装置的位置存储在存储器中。
通过选择性地确定一个或多个声学特性，表征技术可以促进包括A/V集线器和电子装置的环境中的改善的声学体验。例如，表征技术可以识别变化，并表征已变化的环境，其随后可用于在一个或多个电子装置(包括电子装置)回放音频内容期间，校正所述变化的影响。在这些方式中，表征技术可以改善声学质量，并且更一般地，改善使用A/V集线器和电子装置时的用户体验。因此，表征技术可以提高A/V集线器和电子装置的提供商的客户忠诚度和收入。
在第三组实施例中，描述了协调音频内容的回放的音频/视频(A/V)集线器。具体地，A/V集线器可以基于与一个或多个声学表征模式相对应的测量声音、电子装置输出声音时的一个或多个时间、和一个或多个声学表征模式来计算电子装置(例如，包括扬声器的电子装置)中的时钟和A/V集线器中的时钟之间的当前时间偏移。然后，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧，其可以指定电子装置基于当前时间偏移要回放音频内容时的回放时间。此外，电子装置的回放时间可以具有时间关系，以便协调电子装置对音频内容的回放。
通过协调电子装置对音频内容的回放，协调技术可以在包括A/V集线器和电子装置的环境中提供改善的声学体验。例如，协调技术可以校正A/V集线器和电子装置之间的时钟漂移。替代地或附加地，协调技术可以校正或适应环境的声学特性和/或基于环境中的期望声学特性。另外，协调技术可以基于收听者相对于电子装置的估计位置来校正回放时间。以这些方式，协调技术可以改善声学质量，并且更一般地，改善使用A/V集线器和电子装置时的用户体验。因此，协调技术可以提高A/V集线器和电子装置的提供商的客户忠诚度和收入。
在第四组实施例中，描述了计算估计位置的音频/视频(A/V)集线器。具体地，A/V集线器可以基于以下内容来计算在包括A/V集线器和电子装置的环境中、收听者相对于电子装置(例如，包括扬声器的电子装置)的估计位置：与另一电子装置的通信；环境中的声音测量；和/或飞行时间测量。然后，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧，其可以指定电子装置基于估计位置要回放音频内容时的回放时间。此外，电子装置的回放时间可以具有时间关系，以便协调电子装置对音频内容的回放。
通过计算收听者的估计位置，表征技术可以促进包括A/V集线器和电子装置的环境中的改善的声学体验。例如，表征技术可以跟踪环境中收听者的位置的变化，其随后可用于校正或适应一个或多个电子装置对音频内容的回放。在这些方式中，表征技术可以改善声学质量，并且更一般地，改善使用A/V集线器和电子装置时的用户体验。因此，表征技术可以提高A/V集线器和电子装置的提供商的客户忠诚度和收入。
在第五组实施例中，描述了聚合电子装置的音频/视频(A/V)集线器。具体地，A/V集线器可以测量由电子装置(例如，包括扬声器的电子装置)输出的对应于音频内容的声音。然后，A/V集线器可以基于测量的声音，将电子装置聚合成两个或更多个子集。此外，A/V集线器可以针对子集确定回放定时信息，其可以指定给定子集中的电子装置要回放音频内容时的回放时间。接下来，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧，其中至少给定子集中的电子装置的回放时间具有时间关系，以便协调给定子集中的电子装置对音频内容的回放。
通过聚合电子装置，表征技术可以促进包括A/V集线器和电子装置的环境中的改善的声学体验。例如，表征技术可以基于以下内容来聚合电子装置：不同的音频内容；测量声音的声学延迟；和/或环境中期望声学特性。另外，A/V集线器可以确定子集在子集回放音频内容时使用的回放音量，以便减少两个或更多个子集之间的声学串扰。在这些方式中，表征技术可以改善声学质量，并且更一般地，改善使用A/V集线器和电子装置时的用户体验。因此，表征技术可以提高A/V集线器和电子装置的提供商的客户忠诚度和收入。
在第六组实施例中，描述了确定均衡的音频内容的音频/视频(A/V)集线器。具体地，A/V集线器可以测量由电子装置(例如，包括扬声器的电子装置)输出的对应于音频内容的声音。然后，A/V集线器可以基于第一位置、A/V集线器的第二位置、以及在至少一个频带中的环境的声学传递函数，将测量声音与环境中第一位置处的期望声学特性进行比较。例如，所述比较可包括：基于环境中的其他位置处的声学传递函数来计算第一位置处的声学传递函数，以及基于计算出的第一位置处的声学传递函数来校正测量声音。此外，A/V集线器可以基于比较和音频内容来确定均衡的音频内容。接下来，A/V集线器可以向电子装置发送包括均衡的音频内容的一个或多个帧，以便于电子装置输出与均衡的音频内容相对应的附加声音。
通过确定均衡的音频内容，信号处理技术可以促进包括A/V集线器和电子装置的环境中的改善的声学体验。例如，信号处理技术可以基于收听者相对于电子装置的位置的估计位置和在至少一个频带中环境的声学传递函数来动态地改变音频内容。这可允许在环境中的估计位置处实现期望的声学特性或一类音频回放(例如，单声道、立体声或多声道)。以这些方式，信号处理技术可以改善声学质量，并且更一般地，改善使用A/V集线器和电子装置时的用户体验。因此，信号处理技术可以提高A/V集线器和电子装置的提供商的客户忠诚度和收入。
在第七组实施例中，描述了协调音频内容的回放的音频/视频(A/V)集线器。具体地，A/V集线器可以基于从电子装置接收帧时的接收时间和帧的预期发送时间之间的差来计算电子装置(例如，包括扬声器的电子装置)中的时钟和A/V集线器中的时钟之间的当前时间偏移。例如，预期发送时间可以基于先前时间处电子装置中的时钟和A/V集线器中的时钟的协调以及帧的预定义发送调度。然后，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧，其可以指定电子装置基于当前时间偏移要回放音频内容时的回放时间。此外，电子装置的回放时间可以具有时间关系，从而协调电子装置对音频内容的回放。
通过协调电子装置对音频内容的回放，协调技术可以在包括A/V集线器和电子装置的环境中提供改善的声学体验。例如，协调技术可以校正A/V集线器和电子装置之间的时钟漂移。替代地或附加地，协调技术可以校正或适应环境的声学特性和/或基于环境中的期望(或目标)声学特性。另外，协调技术可以基于收听者相对于电子装置的估计位置来校正回放时间。以这些方式，协调技术可以改善声学质量，并且更一般地，改善使用A/V集线器和电子装置时的用户体验。因此，协调技术可以提高A/V集线器和电子装置的提供商的客户忠诚度和收入。
在下面的讨论中，A/V集线器(有时被称为“协调装置”)、A/V显示装置、便携式电子装置、一个或多个接收器装置和/或一个或多个电子装置(例如，扬声器，更一般地，消费电子装置)可包括根据一个或多个通信协议传送分组或帧的无线电设备，这些通信协议例如是：电气和电子工程师协会(IEEE)802.11标准(有时被称为
Figure BDA0002164960880000101
来自德克萨斯州奥斯汀的
Figure BDA0002164960880000102
联盟)、
Figure BDA0002164960880000103
(来自华盛顿州柯克兰的蓝牙特别兴趣小组)、蜂窝电话通信协议、近场通信标准或规范(来自马萨诸塞州韦克菲尔德的NFC论坛)和/或其他类型的无线接口。例如，蜂窝电话通信协议可包括以下或者可以与以下兼容：第二代移动电信技术、第三代移动电信技术(例如符合瑞士日内瓦国际电信联盟的国际移动电信-2000规范的通信协议)、第四代移动电信技术(例如符合瑞士日内瓦国际电信联盟的国际移动电信高级规范的通信协议)、和/或另一种蜂窝电话通信技术。在一些实施例中，通信协议包括长期演进或LTE。但是，可以使用各种通信协议(例如以太网)。另外，通信可以经由各种频带发生。注意，便携式电子装置、A/V集线器、A/V显示装置和/或一个或多个电子装置可以使用与红外通信标准(包括单向红外通信或双向红外通信)兼容的红外通信进行通信。
此外，以下讨论中的A/V内容可包括视频和相关联的音频(例如音乐、声音、对话等)，仅包括视频或仅包括音频。
图1中示出了电子装置之间的通信，其呈现了示出系统100的框图，该系统100具有便携式电子装置110(例如遥控器或蜂窝电话)、一个或多个A/V集线器(例如A/V集线器112)、一个或多个A/V显示装置114(例如电视、监视器、计算机，更一般地，与电子装置相关联的显示器)、一个或多个接收器装置(例如接收器装置116，例如，与邻近的A/V显示装置114-1相关联的本地无线接收器，其可以从A/V集线器112接收逐帧转码的A/V内容以在A/V显示装置114-1上显示)、一个或多个扬声器118(并且更一般地，包括一个或多个扬声器的一个或多个电子装置)和/或与一个或多个内容提供商相关联的一个或多个内容源120(例如，无线电接收器、视频播放器、卫星接收器、提供与诸如互联网、媒体或内容源的有限网络的连接的接入点、消费电子装置、娱乐装置、机顶盒、在无需电缆、卫星或多系统运营商参与的情况下通过互联网或网络传送的顶级内容、安全摄像机、监控摄像机等)。注意，A/V集线器112、A/V显示装置114、接收器装置116和扬声器118有时在系统100中统称为“组件”。然而，A/V集线器112、A/V显示装置114、接收器装置116和/或扬声器118有时被称为“电子装置”。
具体地，便携式电子装置110和A/V集线器112可以使用无线通信彼此通信，并且系统100中的一个或多个其他组件(例如至少：A/V显示装置114之一、接收器装置116、扬声器118之一和/或内容源120之一)可以使用无线通信和/或有线通信进行通信。在无线通信期间，这些电子装置可以在以下情况下进行无线通信：在无线声道上发送广告帧、通过扫描无线声道来检测彼此、(例如，通过发送关联请求)建立连接、和/或发送和接收分组或帧(其可包括相关请求和/或附加信息作为有效载荷(payload)，例如指定通信性能、数据、用户界面、A/V内容等的信息)。
如下面参考图23进一步描述的，便携式电子装置110、A/V集线器112、A/V显示装置114、接收器装置116、扬声器118和内容源120可包括子系统，例如：网络子系统、存储器子系统和处理器子系统。此外，便携式电子装置110、A/V集线器112、接收器装置116和/或扬声器118、以及可选地A/V显示装置114和/或内容源120中的一个或多个可包括网络子系统中的无线电设备122。例如，无线电设备或接收器装置可以位于A/V显示装置中，例如，无线电设备122-5包括在A/V显示装置114-2中。此外，注意,无线电设备122可以是相同无线电设备的实例，或者可彼此不同。更一般地，便携式电子装置110、A/V集线器112、接收器装置116和/或扬声器118(以及可选地A/V显示装置114和/或内容源120)可包括任何电子装置或者可被包括在任何电子装置内，该电子装置具有用于实现便携式电子装置110、A/V集线器112、接收器装置116和/或扬声器118(以及可选地A/V显示装置114和/或内容源120)彼此无线通信的网络子系统。无线通信可包括：在无线声道上发送广告(advertisement)以使电子装置能够进行初始接触或相互检测，然后交换后续数据/管理帧(例如关联请求和响应)以建立连接、配置安全选项(例如，互联网协议安全性)、经由所述连接发送和接收分组或帧等。
从图1中可以看出，无线信号124(由锯齿线表示)从便携式电子装置110中的无线电设备122-1发送。这些无线信号可以由以下中的至少一个接收：A/V集线器112、接收器装置116和/或至少一个扬声器118(以及可选地，A/V显示装置114和/或内容源120中的一个或多个)。例如，便携式电子装置110可以发送分组。反过来，这些分组可以由A/V集线器112中的无线电设备122-2接收。这可允许便携式电子装置110将信息传送到A/V集线器112。虽然图1示出了便携式电子装置110发送分组，但是便携式电子装置110还可从系统100中的A/V集线器112和/或一个或多个其他组件接收分组。更一般地，无线信号可以由系统100中的一个或多个组件发送和/或接收。
在所描述的实施例中，便携式电子装置110、A/V集线器112、接收器装置116和/或扬声器118(以及可选地A/V显示装置114和/或内容源120中的一个或多个)中的分组或帧的处理包括：接收具有分组或帧的无线信号124；从接收的无线信号124解码/提取分组或帧以获取分组或帧；以及处理分组或帧以确定分组或帧中包含的信息(例如与数据流相关联的信息)。例如，来自便携式电子装置110的信息可包括：与便携式电子装置110中的触敏显示器(TSD)128上显示的用户界面相关联的用户界面活动信息，便携式电子装置110的用户使用该用户界面来至少控制：A/V集线器112、A/V显示装置114中的至少一个、扬声器118中的至少一个和/或内容源120中的至少一个。(在一些实施例中，代替或除了触敏显示器128之外，便携式电子装置110还包括具有物理旋钮和/或按钮的用户界面，用户可以使用该用户界面来至少控制：A/V集线器112、A/V显示装置114之一、扬声器118中的至少一个、和/或内容源120之一)。可替换地，来自便携式电子装置110、A/V集线器112、一个或多个A/V显示装置114、接收器装置116、一个或多个扬声器118和/或一个或多个内容源120的信息可以指定与便携式电子装置110和系统100中的一个或多个其他组件之间的通信有关的通信性能。此外，来自A/V集线器112的信息可包括：与至少一个A/V显示装置114、至少一个扬声器118和/或内容源120之一的当前装置状态有关的装置状态信息(例如，开、关、播放、倒带、快进、所选声道、所选A/V内容、内容源等)，或者可包括：用户界面的用户界面信息(其可以基于装置状态信息和/或用户界面活动信息进行动态更新)。此外，来自至少A/V集线器112和/或内容源120之一的信息可包括：显示或呈现在一个或多个A/V显示装置114上的音频和/或视频(其有时表示为“音频/视频”或“A/V”内容)，以及指定将如何显示或呈现音频和/或视频的显示指令。
然而，如前所述，可以经由有线通信在系统100中的各组件之间传送音频和/或视频。因此，如图1所示，例如在A/V集线器112和A/V显示装置114-3之间可以存在有线电缆或链路，例如高清多媒体接口(HDMI)电缆126。虽然音频和/或视频可包括在HDMI内容中或与HDMI内容相关联，但是在其他实施例中，音频内容可包括在与在所公开的通信技术的实施例中使用的另一种格式或标准兼容的A/V内容中或者与该A/V内容相关联。例如，A/V内容可包括或可以与以下格式兼容：H.264、MPEG-2、QuickTime视频格式、MPEG-4、MP4和/或TCP/IP。此外，A/V内容的视频模式可以是720p、1080i、1080p、1440p、2000、2160p、2540p、4000p和/或4320p。
注意，A/V集线器112可以基于A/V显示装置114之一(例如A/V显示装置114-1)中的显示器的格式来确定A/V内容的显示指令(具有显示布局)。可替换地，A/V集线器112可以使用预定显示指令，或者A/V集线器112可以基于显示布局修改或变换A/V内容，使得经修改或变换的A/V内容具有适当的格式以在显示器上显示。此外，显示指令可以指定要在A/V显示装置114-1中的显示器上显示的信息，包括显示A/V内容的位置(例如在中央窗口中，在平铺窗口中等)。因此，要显示的信息(即，显示指令的实例)可以基于显示器的格式，例如：显示器尺寸、显示器分辨率、显示器纵横比、显示器对比度、显示器类型等。此外，注意，当A/V集线器112从内容源120之一接收A/V内容时，A/V集线器112可以将A/V内容和显示指令作为帧提供给A/V显示装置114-1(其中A/V内容(例如，实时地)接收自内容源120之一)，以便在A/V显示装置114-1中的显示器上显示A/V内容。例如，A/V集线器112可以将A/V内容收集在缓冲器中，直到接收到帧为止，然后A/V集线器112可以将完整帧提供给A/V显示装置114-1。可替换地，A/V集线器112可以在接收到具有帧的各部分的分组时，将该分组提供给A/V显示装置114-1。在一些实施例中，可以不同地(例如，在显示指令改变时)、有规律地或周期性地(例如，在每N个分组之一中或在每个帧中的分组中)，或者在每个分组中，将显示指令提供给A/V显示装置114-1。
此外，注意，便携式电子装置110、A/V集线器112、一个或多个A/V显示装置114、接收器装置116、一个或多个扬声器118和/或一个或多个内容源120之间的通信可以以各种性能度量为特征，这些性能度量例如是：接收信号强度指示符(RSSI)、数据速率、数据速率贴现无线电协议开销(有时称为“吞吐量”)、错误率(例如，分组错误率、重试率或重发率)、均衡信号相对于均衡目标的均方误差、符号间干扰、多径干扰、信噪比、眼状图的宽度、在一个时间间隔(例如1秒至10秒)内成功传送的字节数与在该时间间隔内可以传送的估计的最大字节数的比率(后者有时被称为声道或链接的‘容量')、和/或实际数据速率与估计的最大数据速率的比率(有时称为“利用率”)。此外，可以单独地或联合地监视通信期间与不同声道相关联的性能(例如，用于识别丢弃的分组)。
图1中的便携式电子装置110、A/V集线器112、A/V显示装置114之一、接收器装置116、扬声器118之一和/或一个或多个内容源120之间的通信可以涉及在一个或多个连接或链路中的不同无线声道(或者，甚至不同的通信协议，例如不同的Wi-Fi通信协议)中的一个或多个独立的并发数据流，其可以使用多个无线电设备进行通信。注意，一个或多个连接或链路可以在系统100中的无线网络(其可以是专有网络或公共网络)上各自具有单独的或不同的标识符(例如不同的服务集标识符)。此外，在动态或逐个分组的基础上，一个或多个并发数据流可以部分或完全冗余，以在即使存在瞬态变化(例如干扰、需要传送的信息量的改变、便携式电子装置110的移动等)时也改善或维持性能度量，并且以便于各种服务(同时保持与通信协议(例如Wi-Fi通信协议)兼容)，各种服务例如：声道校准、确定一个或更多个性能指标、在不中断通信的情况下执行服务质量表征(例如，执行声道估计、确定链路质量、执行声道校准和/或执行与至少一个声道相关联的频谱分析)、不同无线声道之间的无缝切换、组件之间的协调通信等。这些特征可以减少重新发送的分组的数量，因此，可以减少等待时间并避免通信中断，并且可以增强正在一个或多个A/V显示装置114上观看A/V内容和/或收听由一个或多个扬声器118输出的音频的一个或多个用户的体验。
如前所述，用户可以经由显示在便携式电子装置110上的触敏显示器128上的用户界面，来控制至少A/V集线器112、至少一个A/V显示装置114、至少一个扬声器118和/或至少一个内容源120。具体地，在给定时间，用户界面可包括一个或多个虚拟图标，其允许用户激活、停用或改变至少以下的功能或能力：A/V集线器112、至少一个A/V显示装置114、至少一个扬声器118和/或至少一个内容源120。例如，用户界面中的给定虚拟图标可以具有在触敏显示器128的表面上的关联的敲击区域。如果用户在敲击区域内(例如，使用一个或多个手指或脚趾，或使用触控笔)与表面接触然后断开与表面的接触，则便携式电子装置110(例如，执行程序模块的处理器)可以接收用户界面活动通知，其指示激活来自触摸屏输入/输出(I/O)控制器的命令或指令，该触摸屏输入/输出(I/O)控制器耦接到触敏显示器128。(可替换地，触敏显示器128可响应于压力。在这些实施例中，用户可以利用通常小于阈值(例如，10-20kPa)的平均接触压力来保持与触敏显示器128的接触，并且可以通过使与触敏显示器128的平均接触压力增加到高于阈值来激活给定虚拟图标。)作为响应，程序模块可以指示便携式电子装置110中的接口电路将指示命令或指令的用户界面活动信息无线地传送到A/V集线器112，并且A/V集线器112可以将命令或指令传送到系统100中的目标组件(例如A/V显示装置114-1)。该指令或命令可导致A/V显示装置114-1打开或关闭、显示来自特定内容源的A/V内容、执行特技操作模式(例如，快进、反向、快退或跳过)等。例如，A/V集线器112可以从内容源120-1请求A/V内容，然后可以将A/V内容连同显示指令一起提供给A/V显示装置114-1，以便A/V显示装置114-1显示A/V内容。替代地或附加地，A/V集线器112可以将与来自内容源120-1的视频内容相关联的音频内容提供给扬声器118中的一个或多个。
如前所述，在环境(例如，房间、建筑物、车辆等)中实现高音频质量通常是具有挑战性的。具体地，在环境中实现高音频质量通常对扬声器(例如扬声器118)的协调施加强烈限制。例如，协调可能需要保持精度为1-5μs(这是非限制性的示例性值)。在一些实施例中，协调包括在时间或相位精度内的时域中的同步和/或在频率精度内的频域中的同步。在收听音频内容和/或A/V内容时，在没有适当协调的情况下，环境中的声学质量可降低，并且对收听者满意度和整体用户体验产生相应的影响。
在协调技术中可以通过直接或间接地将扬声器118与A/V集线器112协调来解决该挑战。如下面参考图2至图4所述，在一些实施例中，可以使用无线通信来促进扬声器118对音频内容的协调回放。具体地，因为光速比声速快近六个数量级，所以环境(例如房间)中的无线信号的传播延迟相对于扬声器118的期望协调精度是可忽略的。例如，扬声器118的期望协调精度可以是微秒级，而典型房间中的传播延迟(例如，最多10米至30米的距离)可能小一个或两个数量级。因此，诸如无线测距或基于无线电的距离测量之类的技术可用于协调扬声器118。具体地，在无线测距期间，A/V集线器112可以基于A/V集线器112中的时钟来发送包括发送时间和A/V集线器112的标识符的帧或分组，并且给定的一个扬声器118(例如，扬声器118-1)可以基于扬声器118中的时钟来确定帧或分组的到达时间或接收时间。
可替换地，扬声器118-1可以基于扬声器118-1中的时钟来发送包括发送时间和扬声器118-1的标识符的帧或分组(有时称为“输入帧”)，并且A/V集线器112可以基于A/V集线器112中的时钟来确定帧或分组的到达时间或接收时间。通常，A/V集线器112和扬声器118-1之间的距离基于飞行时间(到达时间和发送时间的差)和传播速度的积来确定。然而，通过忽略A/V集线器112和扬声器118-1之间的物理距离，即通过假设瞬时传播(对于同一房间或环境中的固定装置引入可忽略的静态偏移)，到达时间和发送时间的差可以动态地跟踪A/V集线器112中的时钟和扬声器118-1中的时钟的协调中的漂移或当前时间偏移(以及可忽略的静态偏移)。
当前时间偏移可以由A/V集线器112确定，或者可以由扬声器118-1提供给A/V集线器112。然后，A/V集线器112可以向扬声器118-1发送包括音频内容和回放定时信息的一个或多个帧(有时称为“输出帧”)，其可以指定当扬声器118-1基于当前时间偏移要回放音频内容时的回放时间。这可以针对其他扬声器118重复。此外，扬声器118的回放时间可以具有时间关系，从而协调扬声器118对音频内容的回放。
除了校正时钟中的漂移之外，协调技术(以及下面描述的协调技术的其他实施例)可以在包括A/V集线器112和扬声器118的环境中提供改善的声学体验。例如，协调技术可以基于环境中的期望声学特性(例如，诸如单声道、立体声和/或多声道等回放的类型，诸如定向或漫射等声学辐射模式、可懂度等)和/或基于一个或多个收听者相对于扬声器118的动态估计位置(如下面参考图14至图16进一步描述的)来校正或适应环境的预定或动态确定的声学特性(如下面参考图11至图13进一步描述的)。另外，协调技术可以与以下结合使用：将扬声器118动态聚合成组(如下面参考图17至图19进一步描述的)，和/或基于正在播放的音频内容以及环境中声学特性和期望声学特性之间的差来动态均衡音频内容(如下面参考图20至图22进一步描述的)。
注意，无线测距(以及一般的无线通信)可以在一个或多个频带处或者在一个或多个频带中执行，例如在以下频段处或频段中执行：2GHz无线频段、5GHz无线频段、ISM频段、60GHz无线频段、超宽频段等。
在一些实施例中，一个或多个附加通信技术可用于在扬声器118的协调期间，识别和/或排除多路径无线信号。例如，A/V集线器112和/或扬声器118可使用以下来确定到达角度(包括非视距接收)：定向天线、具有已知位置的天线阵列处的差分到达时间、和/或到达具有已知位置的两个接收器的到达角度(即三边测量或多点定位)。
如下面参考图5至图7进一步描述的，用于协调扬声器118的另一种方法可以使用预定发送时间。具体地，在校准模式期间，可以协调A/V集线器112和扬声器118中的时钟。随后，在正常操作模式中，A/V集线器112可以基于A/V集线器112中的时钟、在预定发送时间处发送具有A/V集线器112的标识符的帧或分组。然而，由于A/V集线器112中的时钟中的相对漂移，这些分组或帧将在与基于扬声器118中的时钟的预期预定发送时间不同的时间处到达扬声器118或在扬声器118处接收。因此，通过再次忽略传播延迟，给定的一个扬声器118(例如扬声器118-1)处的给定帧的到达时间和预定发送时间的差可以动态跟踪A/V集线器112中的时钟和扬声器118-1中的时钟的协调中的漂移或当前时间偏移(以及与传播延迟相关联的可忽略的静态偏移)。
替代地或附加地，在校准模式之后，扬声器118可以基于扬声器118中的时钟、在预定发送时间处发送具有扬声器118的标识符的帧或分组。然而，由于扬声器118中的时钟中的漂移，这些分组或帧将在与基于A/V集线器112中的时钟的预期预定发送时间不同的时间处到达A/V集线器112或由A/V集线器112接收。因此，通过再次忽略传播延迟，来自给定的一个扬声器118(例如扬声器118-1)的给定帧的达到时间和预定发送时间的差可以动态地跟踪A/V集线器112中的时钟和扬声器118-1中的时钟的协调中的漂移或当前时间偏移(以及与传播延迟相关联的可忽略的静态偏移)。
再次，当前时间偏移可以由A/V集线器112确定，或者可以由一个或多个扬声器118(例如扬声器118-1)提供给A/V集线器112。注意，在一些实施例中，当前时间偏移还基于A/V集线器112和扬声器118中的时钟漂移模型。然后，A/V集线器112可以向扬声器118-1发送包括音频内容和回放定时信息的一个或多个帧，其可以指定当扬声器118-1基于当前时间偏移要回放音频内容时的回放时间。这可以针对其他扬声器118重复。此外，扬声器118的回放时间可以具有时间关系，以便协调扬声器118对音频内容的回放。
此外，注意，在这些实施例中，还可以使用一种或多种附加通信技术来在扬声器118的协调期间识别和/或排除多径无线信号。
如下面参考图8至图10进一步描述的，用于协调扬声器118的另一种方法可以使用声学测量。具体地，在校准模式期间，可以协调A/V集线器112和扬声器118中的时钟。随后，A/V集线器112可以在预定发送时间处输出与唯一地识别A/V集线器112的声学表征模式(例如，脉冲序列、不同频率等)相对应的声音。可以在人类听觉范围之外的频率(例如，在超声频率处)处输出该声学表征模式。然而，由于A/V集线器112中的时钟中的相对漂移，将在与基于扬声器118中的时钟的预期预定发送时间不同的时间处在扬声器118处测量(即，将到达的或被接收的)与声学表征模式相对应的声音。在这些实施例中，基于A/V集线器112和扬声器118的预定或已知位置和/或使用无线测距，需要针对与声学传播延迟相关联的贡献来校正不同时间。例如，可以在本地定位系统、全球定位系统和/或无线网络(例如蜂窝电话网络或WLAN)中使用三角测量和/或三边测量来确定位置。因此，在校正声学传播延迟之后，在给定的一个扬声器118(例如扬声器118-1)处的给定帧的到达时间和预定发送时间的差可以动态地跟踪在协调A/V集线器112和扬声器118-1中的时钟中的漂移或当前时间偏移。
替代地或附加地，在校准模式之后，扬声器118可以在预定发送时间处输出与唯一地识别扬声器118的声学表征模式(例如，不同的脉冲序列、不同的频率等)相对应的声音。然而，由于扬声器118中的时钟中的相对漂移，将在与基于A/V集线器112中的时钟的预期预定发送时间不同的时间处、在A/V集线器112处测量(即，将到达的或被接收的)与声学表征模式相对应的声音。在这些实施例中，基于A/V集线器112和扬声器118的预定或已知位置和/或使用无线测距，需要针对与声学传播延迟相关联的贡献来校正不同时间。因此，在校正声学传播延迟之后，来自给定的一个扬声器118(例如，扬声器118-1)的给定帧的到达时间和预定发送时间的差可以动态地跟踪在协调A/V集线器112和扬声器118-1中的时钟中的漂移或当前时间偏移。
再次，当前时间偏移可以由A/V集线器112确定，或者可以由扬声器118-1提供给A/V集线器112。然后，A/V集线器112可以向扬声器118-1发送包括音频内容和回放定时信息的一个或多个帧，其可以指定当扬声器118-1基于当前时间偏移要回放音频内容时的回放时间。这可以针对其他扬声器118重复。此外，扬声器118的回放时间可以具有时间关系，以便协调扬声器118对音频内容的回放。
尽管我们将图1中所示的网络环境描述为示例，但是在替代实施例中，可以存在不同数量或类型的电子装置。例如，一些实施例包括更多或更少的电子装置。作为另一示例，在另一个实施例中，不同的电子装置正在发送和/或接收分组或帧。虽然便携式电子装置110和A/V集线器112示出为具有单个无线电设备122，但在其他实施例中，便携式电子装置110和A/V集线器112(以及可选地A/V显示装置114、接收器装置116、扬声器118和/或内容源120)可包括多个无线电设备。
我们现在描述通信技术的实施例。图2呈现了示出用于协调音频内容的回放的方法200的流程图，该方法可以由A/V集线器(例如A/V集线器112(图1))执行。在操作期间，A/V集线器(例如控制电路或控制逻辑，例如，在A/V集线器中执行程序模块的处理器)可以经由无线通信从一个或多个电子装置接收帧或分组(操作210)，其中给定帧或分组包括给定电子装置发送给定帧或分组时的发送时间。
然后，A/V集线器可以存储接收到帧或分组时的接收时间(操作212)，其中接收时间基于A/V集线器中的时钟。例如，可以由A/V集线器中的接口电路中的物理层和/或介质访问控制(MAC)层或与该接口电路相关联的物理层和/或介质访问控制(MAC)层，将接收时间添加到从一个电子装置接收的帧或分组的实例。注意，接收时间可以与帧或分组的前沿或后沿相关联，例如接收时间可以与前沿所关联的接收时间信号或者与后沿所关联的接收清除信号相关联。类似地，可以通过一个电子装置中的接口电路中的物理层和/或MAC层或者与该接口电路相关联的物理层和/或MAC层，将发送时间添加到由该电子装置发送的帧或分组的实例。在一些实施例中，通过接口电路中或者与该接口电路相关联的物理层和/或MAC层中的无线测距能力来确定发送时间和接收时间并将其添加到帧或分组。
此外，A/V集线器可以基于帧或分组的接收时间和发送时间来计算电子装置中的时钟与A/V集线器中的时钟之间的当前时间偏移(操作214)。此外，A/V集线器可以基于电子装置中的时钟漂移模型(例如时钟电路的电路模型和/或作为时间的函数的时钟漂移的查找表)来计算当前时间偏移。注意，电子装置可以位于距A/V集线器的非零距离处，并且可以通过忽略距离、使用无线测距、基于发送时间和接收时间来计算当前时间偏移。
接下来，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧或分组(操作216)，其中回放定时信息指定当电子装置基于当前时间偏移要回放音频内容时的回放时间。此外，电子装置的回放时间可以具有时间关系，从而协调电子装置对音频内容的回放。注意，时间关系可以具有非零值，从而指示至少一些电子装置通过使用不同的回放时间值来回放具有相对于彼此的相位的音频内容。例如，不同的回放时间可以基于包括电子装置和A/V集线器的环境的预定或动态确定的声学特性。替代地或附加地，不同的回放时间可以基于环境中的期望声学特性。
在一些实施例中，A/V集线器可选地执行一个或多个附加操作(操作218)。例如，电子装置可以位于距A/V集线器的向量距离处，并且接口电路可以使用无线测距、基于发送时间和接收时间来确定向量距离的大小。此外，接口电路可以基于与无线通信期间由一个或多个天线接收的帧或分组相关联的无线信号的到达角度，来确定向量距离的角度。此外，不同的回放时间可以基于所确定的向量距离。例如，回放时间可以对应于所确定的向量距离，使得与来自环境中的不同位置处的不同电子装置的音频内容相关联的声音可以到达环境中的具有期望相位关系的位置(例如，A/V集线器的位置、在环境的中间、用户的优选收听位置等)，或者在该位置处实现期望声学特性。
替代地或附加地，不同的回放时间基于收听者相对于电子装置的估计位置，使得与来自环境中的不同位置处的不同电子装置的音频内容相关联的声音可以到达具有期望相位关系的收听者估计位置或者在估计位置处实现期望声学特性。下面参考图14至图16进一步描述可用于确定收听者的位置的技术。
注意，虽然接口电路中的无线测距能力可涉及A/V集线器和电子装置中的协调时钟，但是在其他实施例中，时钟不是协调的。因此，可以使用各种无线电定位技术。在一些实施例中，无线测距能力包括使用GHz或多GHz带宽上的传输来产生短持续时间(例如，大约1ns)的脉冲。
图3是示出A/V集线器112和扬声器118-1之间的通信的示图。具体地，扬声器118-1中的接口电路310可以将一个或多个帧或分组(例如分组312)发送给A/V集线器112。分组312可包括扬声器118-1基于接口时钟316发送分组312时的相应发送时间314，该接口时钟316由接口时钟电路318提供，接口时钟电路318位于扬声器118-1中的接口电路310中或与该接口电路310相关联。当A/V集线器112中的接口电路320接收到分组312时，其可包括分组312中的接收时间322(或者其可将接收时间322存储在存储器324中)，其中对于每个分组，相应接收时间可以基于接口时钟电路328提供的接口时钟326，所述接口时钟电路328位于接口电路318中或与接口电路318相关联。
然后，接口电路320可以基于发送时间314和接收时间322之间的差来计算接口时钟316和接口时钟326之间的当前时间偏移330。此外，接口电路320可以将当前时间偏移330提供给处理器332。(或者，处理器332可以计算当前时间偏移330。)
此外，处理器332可以向接口电路320提供回放定时信息334和音频内容336，其中回放定时信息334指定扬声器118-1基于当前时间偏移330要回放音频内容336时的回放时间330。作为响应，接口电路330可以将包括回放定时信息334和音频内容336的一个或多个帧或分组338发送给扬声器118-1。(然而，在一些实施例中，使用单独的或不同的帧或分组来发送回放定时信息334和音频内容336。)
在接口电路310接收到一个或多个帧或分组338之后，其可以将回放定时信息334和音频内容336提供给处理器340。处理器340可以运行执行回放操作342的软件。例如，处理器340可以将音频内容336存储在存储器中的队列中。在这些实施例中，回放操作350包括从队列输出音频内容336，其包括基于音频内容336来驱动扬声器118-1中的电声波传感器，因此扬声器118-1在由回放定时信息334指定的时间处输出声音。
在示例性实施例中，通信技术用于协调扬声器118对音频内容的回放。这在图4中示出，其呈现了示出协调扬声器118对音频内容的回放的示图。具体地，当由扬声器118发送帧或分组(例如分组410-1)时，它们可包括指定发送时间(例如发送时间412-1)的信息。例如，扬声器118中的接口电路中的物理层可包括分组410中的发送时间。在图4和下面的其他实施例中注意，帧或分组中的信息可包括在任意位置(例如，开头、中间和/或结尾)。
当A/V集线器112接收到分组410时，指定接收时间(例如分组410-1的接收时间414-1)的附加信息可包括在分组410中。例如，A/V集线器112中的接口电路中的物理层可包括分组410中的接收时间。此外，发送时间和接收时间可用于跟踪A/V集线器112和扬声器118中的时钟漂移。
使用发送时间和接收时间，A/V集线器112可以计算扬声器118中的时钟与A/V集线器112中的时钟之间的当前时间偏移。此外，A/V集线器可以基于扬声器118中的时钟漂移在A/V集线器中的模型来计算当前时间偏移。例如，相对或绝对时钟漂移的模型可包括具有各参数的多项式或三次样条表达式(并且更一般地，函数)，各参数基于历史时间偏移来指定或估计给定扬声器中的时钟漂移作为时间的函数。
随后，A/V集线器112可以将包括音频内容420和回放定时信息(例如分组416-1中的回放定时信息418-1)的一个或多个分组或帧发送给扬声器118，其中回放定时信息指定当扬声器118装置基于当前时间偏移要回放音频内容420时的回放时间。扬声器118的回放时间可以具有时间关系，使得扬声器118对音频内容420的回放被协调，例如，使得相关联的声音或波前到达环境中的具有期望相位关系的位置422。
图5中示出了通信技术中的协调的另一个实施例，其呈现了示出用于协调音频内容的回放的方法500的流程图。注意，方法500可以由A/V集线器(例如，A/V集线器112(图1))执行。在操作期间，A/V集线器(例如，A/V集线器中的诸如运行程序模块的处理器之类的控制电路或控制逻辑)可以经由无线通信接收来自电子装置的帧(操作510)或分组。
然后，A/V集线器可以存储在接收到帧或分组时的接收时间(操作512)，其中接收时间基于A/V集线器中的时钟。例如，可以由A/V集线器中的接口电路中的物理层和/或MAC层或与该接口电路相关联的物理层和/或MAC层，将接收时间添加到从一个电子装置接收的帧或分组的实例。注意，接收时间可以与帧或分组的前沿或后沿相关联，例如接收时间可以与前沿所关联的接收时间信号相关联或者与后沿所关联的接收清除信号相关联。
此外，A/V集线器可以基于帧或分组的接收时间和预期发送时间来计算电子装置中的时钟与A/V集线器中的时钟之间的当前时间偏移(操作514)，其中预期发送时间基于先前时间处电子装置中的时钟和A/V集线器中的时钟的协调以及帧或分组的预定义发送调度(例如，作为非限制性示例的每10ms或每100ms)。例如，在初始化模式期间，可以消除电子装置中的时钟与A/V集线器中的时钟之间的时间偏移(即，可以建立协调)。注意，发送调度中的预定发送时间可包括WLAN中的信标发送时间或者可以不是WLAN中的信标发送时间。随后，多个时钟和单个时钟可以具有相对漂移，其可以基于帧或分组的接收时间和预期发送时间之间的差来跟踪。在一些实施例中，A/V集线器基于电子装置中的时钟漂移模型来计算当前时间偏移。
接下来，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧或分组(操作516)，其中回放定时信息指定当电子装置基于当前时间偏移要回放音频内容时的回放时间。此外，电子装置的回放时间可以具有时间关系，从而协调电子装置对音频内容的回放。注意，时间关系可以具有非零值，从而指示至少一些电子装置通过使用不同的回放时间值来回放具有相对于彼此的相位的音频内容。例如，不同的回放时间可以基于包括电子装置和A/V集线器的环境的预定或动态确定的声学特性。替代地或附加地，不同的回放时间可以基于环境中的期望声学特性。
在一些实施例中，A/V集线器可选地执行一个或多个附加操作(操作518)。例如，电子装置可以位于距A/V集线器的向量距离处，并且接口电路可以使用无线测距、基于发送时间和接收时间来确定向量距离的大小。此外，接口电路可以基于与无线通信期间由一个或多个天线接收的帧或分组相关联的无线信号的到达角度来确定向量距离的角度。此外，不同的回放时间可以基于所确定的向量距离。例如，回放时间可以对应于所确定的向量距离，使得与来自环境中的不同位置处的不同电子装置的音频内容相关联的声音可以到达环境中的具有期望相位关系的位置(例如，A/V集线器的位置、在环境的中间、用户的优选收听位置等)，或者在该位置处实现期望声学特性。
替代地或附加地，不同的回放时间基于收听者相对于电子装置的估计位置，使得与来自环境中的不同位置处的不同电子装置的音频内容相关联的声音可以到达收听者的具有期望相位关系的估计位置或者在估计位置处获得期望声学特性。下面参考图14至图16进一步描述可用于确定收听者的位置的技术。
图6是示出便携式电子装置110、A/V集线器112和扬声器118-1之间的通信的示图。具体地，在初始化模式期间，A/V集线器112中的接口电路610可以向扬声器118-1中的接口电路614发送帧或分组612。该分组可包括信息608，其协调分别由接口时钟电路616和618提供的时钟628和时钟606。例如，该信息可以消除接口时钟电路616和618之间的时间偏移和/或可以将接口时钟电路616和618设置为同一时钟频率。
随后，接口电路614可以在预定发送时间622处、将一个或多个帧或分组(例如分组620)发送给A/V集线器112。
当A/V集线器112中的接口电路610接收到分组620时，其可包括分组620中的接收时间624(或者其可以将接收时间624存储在存储器626中)，其中对于每个分组，相应接收时间可以基于由接口时钟电路616提供的接口时钟628，所述接口时钟电路616位于接口电路610中或与该接口电路610相关联。
然后，接口电路610可以基于发送时间622和接收时间624之间的差来计算接口时钟628和接口时钟606之间的当前时间偏移630。此外，接口电路610可以将当前时间偏移630提供给处理器632。(可替换地，处理器632可以计算当前时间偏移630。)
此外，处理器632可以向接口电路610提供回放定时信息634和音频内容636，其中回放定时信息634指定扬声器118-1基于当前时间偏移630要回放音频内容636时的回放时间630。作为响应，接口电路610可以将包括回放定时信息634和音频内容636的一个或多个帧或分组638发送给扬声器118-1。(然而，在一些实施例中，使用单独的或不同的帧或分组来发送回放定时信息634和音频内容636。)
在接口电路614接收到一个或多个帧或分组638之后，其可以将回放定时信息634和音频内容636提供给处理器640。处理器640可以运行执行回放操作642的软件。例如，处理器640可以将音频内容636存储在存储器中的队列中。在这些实施例中，回放操作650包括从队列输出音频内容636，其包括基于音频内容636来驱动扬声器118-1中的电声波传感器，因此扬声器118-1在由回放定时信息634指定的时间处输出声音。
在示例性实施例中，通信技术用于协调扬声器118对音频内容的回放。这在图7中示出，其呈现了示出协调扬声器118对音频内容的回放的示图。具体地，A/V集线器112可以将具有由时钟电路提供的用于协调A/V集线器112和扬声器118中的时钟的信息(例如分组710-1中的信息708)的帧或分组710发送给扬声器118。
随后，扬声器118可以在预定发送时间处将帧或分组712发送给A/V集线器112。当A/V集线器112接收到这些帧或分组时，指定接收时间(例如分组712-1中的接收时间714-1)的信息可包括在分组712中。预定发送时间和接收时间可用于跟踪A/V集线器112和扬声器118中的时钟的漂移。
使用预定发送时间和接收时间，A/V集线器112可以计算扬声器118中的时钟与A/V集线器112中的时钟之间的当前时间偏移。此外，A/V集线器可以基于扬声器118中的时钟漂移在A/V集线器中的模型来计算当前时间偏移。例如，相对或绝对时钟漂移的模型可包括具有各种参数的多项式或三次样条表达式(并且更一般地，函数)，各种参数基于历史时间偏移来指定或估计给定扬声器中的时钟漂移作为时间的函数。
随后，A/V集线器112可以将包括音频内容720和回放定时信息(例如，分组716-1中的回放定时信息718-1)的一个或多个帧或分组发送给扬声器118，其中回放定时信息指定当扬声器118装置基于当前时间偏移要回放音频内容720时的回放时间。扬声器118的回放时间可以具有时间关系，使得扬声器118对音频内容720的回放被协调，例如，使得相关联的声音或波前到达环境中的具有期望相位关系的位置722。
图8中示出了通信技术中的协调的另一个实施例，其呈现了示出用于协调音频内容的回放的方法800的流程图。注意，方法800可以由A/V集线器(例如，A/V集线器112(图1))执行。在操作期间，A/V集线器(例如，A/V集线器中的诸如运行程序模块的处理器之类的控制电路或控制逻辑)可以使用A/V集线器中的一个或多个声波传感器来测量由包括A/V集线器的环境中的电子装置输出的声音(操作810)，其中该声音对应于一个或多个声学表征模式。例如，测量声音可包括声压。注意，声学表征模式可包括脉冲。此外，声音可以在人类听觉之外的频率范围内，例如超声波。
此外，给定电子装置可以在一个或多个时间中的与其余电子装置所使用的时间不同的时间处输出声音，使得可以识别来自给定电子装置的声音，并与从其余电子装置输出的声音进行区分。替代地或附加地，由给定电子装置输出的声音可以对应于给定的声学表征模式，其可以与其余电子装置所使用的声学表征模式不同。因此，声学表征模式可以唯一地识别电子装置。
然后，A/V集线器可以基于测量声音、电子装置输出声音时的一个或多个时间以及一个或多个声学表征模式来计算电子装置中的时钟与A/V集线器中的时钟之间的当前时间偏移(操作812)。例如，A/V集线器可以基于环境的声学特性(例如，与至少一个特定频率相关联的声学延迟或者在至少一个频带(例如作为非限制性示例的100Hz至20,000Hz)中环境的预定(或动态确定的)声学传递函数)来校正测量声音，并且可以将输出时间与触发输出时间或预定输出时间进行比较。这可允许A/V集线器在没有与环境相关联的频谱滤波或失真的情况下，确定原始输出声音，这可允许A/V集线器更准确地确定当前时间偏移。
注意，测量声音可包括：指定电子装置输出声音时的一个或多个时间(例如，声学表征模式中的各脉冲可以指定所述时间)的信息，并且该一个或多个时间可以对应于电子装置的时钟。替代地或附加地，A/V集线器可以可选地经由无线通信、将电子装置输出声音时的一个或多个时间提供给电子装置(操作808)，并且该一个或多个时间可以对应于A/V集线器中的时钟。例如，A/V集线器可以将具有该一个或多个时间的一个或多个帧或分组发送给电子装置。因此，A/V集线器可以触发声音的输出，或者可以在预定输出时间输出声音。
接下来，A/V集线器可以使用无线通信将包括音频内容和回放定时信息的一个或多个帧或分组发送给电子装置(操作814)，其中回放定时信息指定电子装置基于当前时间偏移要回放音频内容的回放时间。此外，电子装置的回放时间具有时间关系，从而协调电子装置对音频内容的回放。注意，时间关系可以具有非零值，从而通过指示至少一些电子装置使用不同的回放时间值来回放具有相对于彼此的相位的回放音频内容。例如，不同的回放时间可以基于包括电子装置和A/V集线器的环境的预定或动态确定的声学特性。替代地或附加地，不同的回放时间可以基于环境中的期望声学特性和/或收听者相对于电子装置的估计位置。
在一些实施例中，A/V集线器可选地执行一个或多个附加操作(操作816)。例如，A/V集线器可以基于在至少一个频带中环境的声学传递函数来修改测量声音，该声学传递函数包括声学表征模式中的频谱内容。注意，声学传递函数可以由A/V集线器预先确定和访问，或者由A/V集线器动态确定。这种与环境相关的滤波校正是必要的，这是因为，虽然与环境中声音传播相关联的时间延迟和色散可能远大于电子装置中的时钟和A/V集线器中的时钟的所需协调，但是可以以足够的精度确定修改的直接声音的前沿，使得可以确定电子装置中的时钟与A/V集线器中的时钟之间的当前时间偏移。例如，扬声器118的期望协调精度可以小到微秒级，而典型房间(例如，最多10米至30米的距离)中声音的传播延迟可能会大五个数量级。尽管如此，修改的测量声音可允许以低至微秒精度来测量与给定电子装置的声音输出中的脉冲相关联的直接声音的前沿，这可以促进电子装置中的时钟和A/V集线器中的时钟的协调。在一些实施例中，A/V集线器确定环境中的温度，并且可以针对温度的改变(温度的改变影响环境中的声速)来校正当前时间偏移的计算。
图9是示出便携式电子装置110、A/V集线器112和扬声器118-1之间的通信的示图。具体地，扬声器118-1中的处理器910可以指示912扬声器118-1中的一个或多个声波传感器914来在输出时间处输出声音，其中所述声音对应于声学表征模式。例如，输出时间可以预定义(例如，基于声学表征模式中的模式或脉冲序列、具有预定输出时间的预定输出调度或输出时间之间的预定间隔)，因此，输出时间对A/V集线器112和扬声器118-1可以是已知的。可替换地，A/V集线器112中的接口电路916可以提供触发帧或分组918。在接口电路920接收到触发分组918之后，其可以将指令922转发到扬声器118-1中的处理器910，其基于指令922触发声音从一个或多个声波传感器914输出。
随后，A/V集线器112中的一个或多个声波传感器924可以测量926所述声音，并且可以将指定测量的信息928提供给A/V集线器112中的处理器930。
接下来，处理器930可以基于信息928、扬声器118-1输出声音时的一个或多个时间以及与扬声器118-1相关联的声学表征模式，来计算来自扬声器118-1中的时钟电路(例如，接口时钟电路)的时钟与来自A/V集线器112中的时钟电路(例如，接口时钟电路)的时钟之间的当前时间偏移932。例如，当扬声器118-1中的一个或多个声波传感器914输出对应于声表征模式的声音时，处理器930可以基于声表征模式中的至少两个时间来确定当前时间偏移932。
此外，处理器930可以向接口电路916提供回放定时信息934和音频内容936，其中回放定时信息934指定扬声器118-1基于当前时间偏移932要回放音频内容936时的回放时间。注意，处理器930可以访问存储器938中的音频内容936。作为响应，接口电路916可以将包括回放定时信息934和音频内容936的一个或多个帧或分组940发送给扬声器118-1。(然而，在一些实施例中，使用单独的或不同的帧或分组来发送回放定时信息934和音频内容936。)
在接口电路920接收到一个或多个帧或分组940之后，其可以将回放定时信息934和音频内容936提供给处理器924。处理器924可以运行执行回放操作942的软件。例如，处理器924可以将音频内容936存储在存储器中的队列中。在这些实施例中，回放操作942包括从队列输出音频内容936，其包括基于音频内容936来驱动一个或多个声波传感器914，因此扬声器118-1在由回放定时信息934指定的时间处输出声音。
在示例性实施例中，通信技术用于协调扬声器118对音频内容的回放。这在图10中示出，其呈现了示出协调扬声器118对音频内容的回放的示图。具体地，扬声器118可以输出对应于声学表征模式的声音1010。例如，与扬声器118-1相关联的声学表征模式可包括两个或更多个脉冲1012，其中各脉冲1012之间的时间间隔1014可以对应于由扬声器118-1中的时钟电路提供的时钟。在一些实施例中，声学表征模式中的模式或脉冲序列还可以唯一地识别扬声器118。虽然脉冲1012用于说明图10中的声学表征模式，但在其他实施例中，可以使用各种时间、频率和/或调制技术，包括：振幅调制、频率调制、相位调制等。注意，当扬声器118要输出对应于声学表征模式的声音1010时，A/V集线器112可以通过将具有指定时间的信息1018的一个或多个帧或分组1016发送到扬声器118来选择性地触发声音1010的输出。
然后，A/V集线器112可以使用一个或多个声波传感器来测量由电子装置输出的声音1010，其中所述声音对应于一个或多个声学表征模式。在测量声音1010之后，A/V集线器112可以基于测量声音1010、扬声器118输出声音时的一个或多个时间、以及一个或多个声学表征模式，来计算扬声器118中的时钟与A/V集线器112中的时钟之间的当前时间偏移。在一些实施例中，A/V集线器112可以基于扬声器118中的时钟漂移在A/V集线器112中的模型来计算当前时间偏移。例如，相对或绝对时钟漂移的模型可包括具有参数的多项式或三次样条表达式(更常见的是一个函数)，所述参数基于历史时间偏移来指定或估计给定扬声器中的时钟漂移作为时间的函数。
接下来，A/V集线器112可以将包括音频内容1022和回放定时信息(例如，分组1020-1中的回放定时信息1024-1)的一个或多个帧或分组发送给扬声器118，其中回放定时信息指定当扬声器118装置基于当前时间偏移要回放音频内容1022时的回放时间。扬声器118的回放时间可以具有时间关系，使得扬声器118对音频内容1022的回放被协调，例如，使得相关联的声音或波前(wavefront)到达环境中的具有期望相位关系的位置1026。
通信技术可包括用于适应协调以改善收听者的声学体验的操作。图11中示出了一种方法，其呈现了示出用于选择性地确定环境(例如，房间)的一个或多个声学特性的方法1100的流程图。方法1100可以由A/V集线器(例如，A/V集线器112(图1))执行。在操作期间，A/V集线器(例如，A/V集线器中的诸如运行程序模块的处理器之类的控制电路或控制逻辑)可以使用无线通信来可选地检测环境中的电子装置(操作1110)。替代地或附加地，A/V集线器可以确定改变条件(操作1112)，其中改变条件包括：先前未在环境中检测到电子装置；和/或电子装置的位置的改变(包括在首次在环境中检测到电子装置之后很久发生的位置改变)。
当确定改变条件时(操作1112)，A/V集线器可以转换到表征模式(操作1114)。在表征模式期间，A/V集线器可以：向电子装置提供指令(操作1116)以在指定回放时间处回放音频内容；基于环境中的声学测量来确定环境的一个或多个声学特性(操作1118)；以及将表征信息存储在存储器中(操作1120)，其中表征信息包括一个或多个声学表征。
此外，A/V集线器可以向电子装置发送包括附加音频内容和回放定时信息的一个或多个帧或分组(操作1122)，其中回放定时信息可以指定当电子装置基于一个或多个声学表征要回放附加音频内容时的回放时间。
在一些实施例中，A/V集线器可选地执行一个或多个附加操作(操作1124)。例如，A/V集线器可以例如基于无线通信来计算电子装置在环境中的位置。此外，表征信息可包括电子装置的标识符，A/V集线器可以使用无线通信从电子装置接收所述标识符。
此外，A/V集线器可以至少部分地基于由其他电子装置执行的声学测量来确定一个或多个声学特性。因此，A/V集线器可以使用无线通信与环境中的其他电子装置通信，并且可以从其他电子装置接收声学测量。在这些实施例中，可以基于环境中的其他电子装置的位置来确定一个或多个声学特性。注意，A/V集线器可以：从其他电子装置接收其他电子装置的位置；访问存储在存储器中的其他电子装置的预定位置；以及例如基于无线通信来确定其他电子装置的位置。
在一些实施例中，A/V集线器包括一个或多个声波传感器，并且A/V集线器使用一个或多个声波传感器执行声学测量。因此，一个或多个声学特性可以单独由A/V集线器确定，或者与其他电子装置执行的声学测量结合确定。
然而，在一些实施例中，代替确定一个或多个声学特性，A/V集线器从其他电子装置之一接收已确定的一个或多个声学特性。
虽然声学表征可以基于改变条件完全自动化，但是在一些实施例中，用户可以在检测到改变条件时手动启动表征模式，或者可以手动批准表征模式。例如，A/V集线器可以：接收用户输入；以及基于用户输入转换到表征模式。
图12是示出A/V集线器112和扬声器118-1之间的通信的示图。具体地，A/V集线器112中的接口电路1210可以通过帧或分组1212与扬声器118-1中的接口电路1214的无线通信来检测扬声器118-1。注意，此通信可以是单向或双向的。
接口电路1210可以向处理器1218提供信息1216。该信息可以指示环境中扬声器118-1的存在。替代地或附加地，信息1216可以指定扬声器118-1的位置。
然后，处理器1218可以确定是否已经发生改变条件1220。例如，处理器1218可以在先前不存在扬声器118-1时确定在环境中存在扬声器118-1，或者可以确定先前检测到的扬声器118-1的位置已经改变。
当确定改变条件1220时，处理器1218可以转变到表征模式1222。在表征模式1222期间，处理器1218可以向接口电路1210提供指令1224。作为响应，接口电路1210可以以帧或分组1226将指令1224发送给接口电路1214。
在接收到分组1226之后，接口电路1214可以向处理器1228提供指令1224，然后处理器1228指示一个或多个声波传感器1230在指定回放时间处回放音频内容1232。注意，处理器1228可以访问存储器1208中的音频内容1232，或者音频内容1232可包括在分组1226中。接下来，A/V集线器112中的一个或多个声波传感器1234可以执行与由一个或多个声波传感器1230输出的音频内容1232相对应的声音的声学测量1236。基于声学测量1236(和/或由接口电路1210从其他扬声器接收的附加声学测量)，处理器1218可以确定环境的一个或多个声学特性1238，然后将其存储在存储器1240中。
此外，处理器1218可以向接口电路1210提供回放定时信息1242和音频内容1244，其中回放定时信息1242指定当扬声器118-1至少部分地基于一个或多个声波传感器1238要回放音频内容1244时的回放时间。作为响应，接口电路1210可以将包括回放定时信息1242和音频内容1244的一个或多个帧或分组1246发送给扬声器118-1。(然而，在一些实施例中，使用单独的或不同的帧或分组来发送回放定时信息1242和音频内容1244。)
在接口电路1214接收到一个或多个帧或分组1246之后，其可以将回放定时信息1242和音频内容1244提供给处理器1228。处理器1228可以运行执行回放操作1248的软件。例如，处理器1228可以将音频内容1244存储在存储器中的队列中。在这些实施例中，回放操作1248包括从队列输出音频内容1244，其包括基于音频内容1244来驱动一个或多个声波传感器1230，因此扬声器118-1在由回放定时信息1242指定的时间处输出声音。
在示例性实施例中，通信技术用于在检测到改变时，选择性地确定包括A/V集线器112的环境(例如，房间)的一个或多个声学特性。图13呈现了示出包括扬声器118的环境的选择性声学表征的示图。具体地，A/V集线器112可以检测环境中的扬声器118-1。例如，A/V集线器112可以基于一个或多个帧或分组1310与扬声器118-1的无线通信来检测扬声器118-1。注意，无线通信可以是单向或双向的。
当确定改变条件时(例如，当首先检测到扬声器118-1的存在时，即，当先前未在环境中检测到扬声器118-1时，和/或当先前检测到的扬声器118-1在环境中的位置1312发生改变时)，A/V集线器112可以转换到表征模式。例如，当在扬声器118-1的位置1312中检测到人类听觉上限的波长量级在位置1312处的振幅改变(例如，作为非限制性示例的改变，0.0085m、0.017m或0.305m)时，A/V集线器112可以转变到表征模式。
在表征模式期间，A/V集线器112可以：以帧或分组1314向扬声器118-1提供指令以在指定回放时间处回放音频内容(即，输出声音1316)；基于由扬声器118-1输出的声音1316的声学测量来确定环境的一个或多个声学特性；以及将一个或多个声学特性(其可包括扬声器118-1的位置1312)存储在存储器中。
例如，音频内容可包括：在频率范围(例如，在100Hz到10,000Hz之间或100Hz到20,000Hz之间，或者在人类听觉范围内的两个或更多个子频带，例如，在作为非限制性示例的500Hz、1000Hz和2000Hz)上的伪随机频率模式或白噪声、具有在频率范围内随时间改变的载波频率的声学模式、具有在频率范围内的频谱内容的声学模式、和/或一种或多种类型的音乐(例如，交响音乐、古典音乐、室内乐、歌剧、摇滚或流行音乐等)。在一些实施例中，音频内容唯一地标识扬声器118-1，例如，特定时间模式、频谱内容和/或一个或多个频率音调。替代地或附加地，A/V集线器112可以经由与扬声器118-1的无线通信来接收扬声器118-1的标识符，例如，字母数字代码。
然而，在一些实施例中，在没有扬声器118-1播放音频内容的情况下执行声学表征。例如，声学表征可以基于与人的声音相关联的或者通过在环境中测量打击乐背景噪音1至2分钟的声能。因此，在一些实施例中，声学表征包括被动表征(而不是当音频内容正在播放时的主动测量)。
此外，声学特性可包括：在频率范围内环境的声学光谱响应(即，指定振幅响应作为频率的函数的信息)；在频率范围内的声学传递函数或脉冲响应(即，指定振幅和相位响应作为频率的函数的信息)；房间共振或低频房间模式(其具有作为环境中的位置或定位的函数的节点和反节点，并且其可以通过在彼此90°的不同方向上测量环境中的声音来确定)；扬声器118-1的位置1312；反射(包括来自扬声器118-1的直接声音的到达的50ms至60ms内的早期反射，以及在更长的时间尺度上发生的后期反射或回声，这可能影响清晰度)；直接声音的声学延迟；在频率范围内的平均混响时间(或者音频内容停止后，在频率范围内的声学声音的持续存在)；环境的体积(例如，可以光学确定的房间的大小和/或几何形状)；环境中的背景噪声；环境中的周边声音；环境的温度；环境中的人数(更一般地，环境中的频率范围内的吸收或声学损失)；声学上环境如何生动、明亮或暗淡的度量；和/或指定环境类型的信息(例如礼堂、通用房间、音乐厅、房间的大小、房间中的家具类型等)。例如，混响时间可以被定义为与频率处的脉冲相关联的声压衰减到特定水平(例如-60dB)的时间。在一些实施例中，混响时间是频率的函数。注意，声学特性的前述示例中的频率范围可以彼此相同或不同。因此，在一些实施例中，不同的频率范围可用于不同的声学特性。另外，注意在一些实施例中的“声学传递函数”可包括声学传递函数的大小(其有时被称为“声学光谱响应”)、声学传递函数的相位或两者。
如前所述，声学特性可包括扬声器118-1的位置1312。扬声器118-1的位置1312(包括距离和方向)可以由A/V集线器112和/或结合环境中的其他电子装置(例如，扬声器118)使用以下技术来确定：三角测量、三边测量、飞行时间、无线测距、到达角度等。此外，位置1312可以由A/V集线器112使用以下来确定：无线通信(例如与无线局域网或与蜂窝电话网络的通信)、声学测量、本地定位系统、全球定位系统等。
虽然声学特性可以由A/V集线器112基于由A/V集线器112执行的测量来确定，但是在一些实施例中，声学特性由环境中的其他电子装置或与其结合来确定。具体地，一个或多个其他电子装置(例如，一个或多个其他扬声器118)可以执行声学测量，然后以帧或分组1318将声学测量无线地传送到A/V集线器112。(因此，执行声学测量的声波传感器可被包括在A/V集线器112中和/或一个或多个其他扬声器118中。)因此，A/V集线器112可以至少部分地基于由A/V集线器和/或一个或多个其他扬声器118执行的声学测量来计算声学特性。注意，计算还可以基于环境中的一个或多个其他扬声器118的位置1320。这些位置可以是：以帧或分组1318从一个或多个其他扬声器118接收到该位置，使用前述技术之一(例如，使用无线测距)计算该位置，和/或在存储器中访问该位置(即，位置1320可以预先确定)。
此外，虽然可以在检测到改变条件时发生声学表征，但是替代地或附加地，A/V集线器112可以基于用户输入转换到表征模式。例如，用户可以在便携式电子装置110上的用户界面中激活虚拟命令图标。因此，可以自动启动、手动启动和/或半自动启动声学表征(其中，在转换到表征模式之前，使用用户界面来询问用户获得批准)。
在确定声学特性之后，A/V集线器112可以转换回正常操作模式。在该操作模式中，A/V集线器112可以将包括附加音频内容1324(例如，音乐)和回放定时信息1326的一个或多个帧或分组(例如，分组1322)发送给扬声器118-1，其中回放定时信息1326可以指定当扬声器118-1基于一个或多个声学特性要回放附加音频内容1324时的回放时间。因此，声学表征可用于校正或适应与扬声器118-1的位置1312的改变相关联的一个或多个声学特性中的(直接或间接)改变，从而改善用户体验。
用于改善声学体验的另一种方法是基于一个或多个收听者的动态跟踪位置来适应协调。这在图14中示出，其呈现了示出用于计算估计位置的方法1400的流程图。注意，方法1400可以由A/V集线器(例如，A/V集线器112(图1))执行。在操作期间，A/V集线器(例如，A/V集线器中的诸如运行程序模块的处理器之类的控制电路或控制逻辑)可以计算收听者(可替换地，与收听者相关联的电子装置，例如，图1中的便携式电子装置110)相对于包括A/V集线器和电子装置的环境中的电子装置的估计位置(操作1410)。
然后，A/V集线器可以向电子装置发送包括音频内容和回放定时信息的一个或多个帧或分组(操作1412)，其中回放定时信息指定当电子装置基于估计位置要回放音频内容时的回放时间。此外，电子装置的回放时间具有时间关系，从而协调电子装置对音频内容的回放。注意，时间关系可以具有非零值，从而指示至少一些电子装置通过使用不同的回放时间值来回放具有相对于彼此的相位的音频内容。例如，不同的回放时间可以基于包括电子装置和A/V集线器的环境的预定或动态确定的声学特性。替代地或附加地，不同的回放时间可以基于环境中的期望声学特性。另外，回放时间可以基于电子装置中的时钟与A/V集线器中的时钟之间的当前时间偏移。
在一些实施例中，A/V集线器可选地执行一个或多个附加操作(操作1414)。例如，A/V集线器可以与另一电子装置通信，并且可以基于与另一电子装置的通信来计算收听者的估计位置。
此外，A/V集线器可包括在环境中执行声音测量的声波传感器，并且可以基于声音测量来计算收听者的估计位置。替代地或附加地，A/V集线器可以与环境中的其他电子装置通信，并且可以从其他电子装置接收环境的附加声音测量，并且可以基于附加声音测量来计算收听者的估计位置。
在一些实施例中，A/V集线器执行飞行时间测量，并且基于飞行时间测量来计算收听者的估计位置。
此外，A/V集线器可以计算附加收听者相对于环境中的电子装置的附加估计位置，并且回放时间可以基于估计位置和附加估计位置。例如，回放时间可以基于估计位置和附加估计位置的平均值。可替换地，回放时间可以基于估计位置和附加估计位置的加权平均值。
图15是示出便携式电子装置110、A/V集线器112和扬声器118(例如扬声器118-1)之间的通信的示图。具体地，A/V集线器112中的接口电路1510可以从便携式电子装置110中的接口电路1514接收一个或多个帧或分组1512。注意，A/V集线器112和便携式电子装置110之间的通信可以是单向的或双向的。然后，基于一个或多个帧或分组1512，A/V集线器112中的接口电路1510和/或处理器1516可以估计与便携式电子装置110相关联的收听者的位置1518。例如，接口电路1510可以基于分组1512提供信息1508，处理器1516使用该信息1508来估计位置1518。
替代地或附加地，A/V集线器112中的一个或多个声波传感器1520和/或扬声器118中的一个或多个声波传感器1506可以执行与收听者相关联的声音的测量1522。如果扬声器118执行声音的测量1522-2，则一个或多个扬声器118(例如，扬声器118-1)中的接口电路1524可以基于来自处理器1532的指令1530，将一个或多个帧或分组1526(其具有指定声音的测量1522-2的信息1528)发送给接口电路1510。然后，接口电路1514和/或处理器1516可以基于测量声音1522来估计位置1518。
接下来，处理器1516可以指示接口电路1510将具有回放定时信息1538和音频内容1540的一个或多个帧或分组1536发送给扬声器118-1，其中回放定时信息1538指定当扬声器118-1至少部分地基于位置1518要回放音频内容1540时的回放时间。(然而，在一些实施例中，使用单独的或不同的帧或分组来发送回放定时信息1538和音频内容1540。)注意，处理器1516可以访问存储器1534中的音频内容1540。
在接收到一个或多个帧或分组1536之后，接口电路1524可以向处理器1532提供回放定时信息1538和音频内容1540。处理器1532可以运行执行回放操作1542的软件。例如，处理器1532可以将音频内容1540存储在存储器中的队列中。在这些实施例中，回放操作1542包括从队列输出音频内容1540，其包括基于音频内容1540来驱动一个或多个声波传感器1506，因此扬声器118-1在由回放定时信息1538指定的时间处输出声音。
在示例性实施例中，通信技术用于动态地跟踪环境中的一个或多个收听者的位置。图16呈现了示出计算一个或多个收听者相对于扬声器118的估计位置的示图。具体地，A/V集线器112可以计算一个或多个收听者的估计位置，例如，收听者1612相对于诸如包括A/V集线器112和扬声器118的环境中的扬声器118的位置1610。例如，可以粗略地(例如，到最近的房间，3米至10米的精度等)或精细地(例如，0.1米至3米的精度)确定位置1610，这是非限制性的数值示例。
通常，位置1610可以由A/V集线器112和/或结合环境中的其他电子装置(例如，扬声器118)使用以下技术来确定：三角测量、三边测量、飞行时间、无线测距、到达角度等。此外，位置1610可以由A/V集线器112使用以下来确定：无线通信(例如与无线局域网或与蜂窝电话网络的通信)、声学测量、本地定位系统、全球定位系统等。
例如，可以由A/V集线器112基于一个或多个帧或分组1614与另一电子装置(例如，便携式电子装置110，其可能在收听者1612的旁边或者在他们身上)的无线通信(例如，使用无线测距、飞行时间测量、到达角度、RSSI等)来估计至少一个收听者1612的位置1610。在一些实施例中，与其他电子装置的无线通信(例如，从便携式电子装置110接收的帧或分组中的MAC地址)被用作识别收听者1612的签名或电子指纹。注意，便携式电子装置110和A/V集线器112之间的通信可以是单向的或双向的。
在无线测距期间，A/V集线器112可以将包括发送时间的帧或分组发送给例如便携式电子装置110。当便携式电子装置110接收到该帧或分组时，可以确定到达时间。基于飞行时间(到达时间和发送时间的差)和传播速度的乘积，可以计算A/V集线器112和便携式电子装置110之间的距离。然后，该距离可以在随后从便携式电子装置110到A/V集线器112的帧或分组的传送中与便携式电子装置110的标识符一起发送。可替换地，便携式电子装置110可以发送包括发送时间和便携式电子装置110的标识符的帧或分组，并且A/V集线器112可以基于飞行时间(到达时间和发送时间的差)和传播速度的乘积来确定便携式电子装置110和A/V集线器112之间的距离。
在该方法的变型中，A/V集线器112可以发送在便携式电子装置110处反射的帧或分组1614，并且反射的帧或分组1614可用于动态地确定便携式电子装置110和A/V集线器112之间的距离。
虽然前述示例示出了便携式电子装置110和A/V集线器112中的协调时钟的无线测距，但是在其他实施例中，时钟不是协调的。例如，即使发送时间未知或不可用，也可以基于在环境中的不同已知位置处的若干接收器处的无线信号的传播速度和到达时间数据(其有时被称为“差分到达时间”)来估计便携式电子装置110的位置。例如，接收器可以是位置1616处的其他扬声器118中的至少一些，位置1616可以是预定的或预先确定的。更一般地，可以使用各种无线电定位技术，例如：基于RSSI的功率相对于原始发送信号强度的差(其可包括对吸收、折射、阴影和/或反射的校正)来确定距离；使用定向天线或基于在环境中具有已知位置的天线阵列的差分到达时间来确定接收器处的到达角度(包括非视距接收)；基于反向散射无线信号来确定距离；和/或确定在环境中具有已知位置的两个接收器处的到达角度(即，三边测量或多点定位)。注意，无线信号可包括在GHz带宽或多GHz带宽上的传送以产生短持续时间(例如，大约1ns)的脉冲，这可允许在0.305m(例如，1ft)内确定距离，这些都是非限制性示例。在一些实施例中，使用位置信息(例如，由本地定位系统、全球定位系统和/或无线网络确定或指定的环境中一个或多个电子装置的位置，例如，位置1616)来促进无线测距。
替代地或附加地，A/V集线器112可以基于环境中的声音测量(例如收听者1612的声学跟踪)，例如基于收听者1612走动、谈话和/或呼吸时发出的声音1618来估计位置1610。可以由A/V集线器112(例如，使用两个或更多个声波传感器，例如麦克风，其可布置为相控阵列)来执行声音测量。然而，在一些实施例中，可以由环境中的一个或多个电子装置(例如扬声器118)单独地或另外地执行声音测量，并且这些声音测量可以以帧或分组1618无线传送到A/V集线器112，该A/V集线器112又使用声音测量来估计位置1610。在一些实施例中，使用语音识别技术识别收听者1612。
在一些实施例中，由A/V集线器112基于环境中的声音测量和环境的预定声学特性(例如，光谱响应或声学传递函数)来估计位置1610。例如，当收听者1612在环境中移动时，预定房间模式的激励的变化可用于估计位置1610。
此外，可使用一种或多种其他技术来跟踪或估计收听者1612的位置1610。例如，可以基于波长带中收听者1612的光学成像(例如可见光或红外线)、飞行时间测量(例如激光测距)和/或基于光束交叉的图案将收听者1612定位在网格中的光束(例如红外光束)网格来估计位置1610(因此，粗略地确定位置1610)。在一些实施例中，使用面部识别和/或门识别技术以光学图像来确定收听者1612的身份。
例如，在一些实施例中，基于与收听者携带的蜂窝电话的无线通信来跟踪收听者在环境中的位置。基于环境中的位置的图案，可以确定环境中的家具的位置和/或环境的几何形状(例如，房间的大小或尺寸)。这种信息可用于确定环境的声学特性。此外，收听者的历史位置可用于约束收听者在环境中的估计位置。具体地，关于在一天的不同时间环境中收听者的位置的历史信息可用于帮助估计在一天中的特定时间收听者的当前位置。因此，通常，可以使用光学测量、声学测量、声学特性、无线通信和/或机器学习的组合来估计收听者的位置。
在确定了位置1610之后，A/V集线器112可以向扬声器118发送至少一个或多个帧或分组，其包括附加音频内容1622(例如，音乐)和回放定时信息(例如，分组1620-1中的回放定时信息1624-1被发送至扬声器118-1)，其中回放定时信息1624-1可以指定扬声器118-1基于位置1610要回放附加音频内容1622时的回放时间。因此，通信技术可用于校正或适应位置1610的变化，从而改善用户体验。
如前所述，不同的回放时间可以基于环境中的期望声学特性。例如，期望声学特性可包括一种类型的回放，例如：单声道声音、立体声声音和/或多声道声音。单声道声音可包括一个或多个音频信号，其不包含复制或模拟方向提示(directional cues)的振幅(或电平)和到达时间/相位信息。
此外，立体声声音可包括两个独立的音频信号声道，并且音频信号可具有彼此特定的振幅和相位关系，使得在回放操作期间，存在原始声源的明显图像。通常，两个声道的音频信号可以提供对大部分环境或全部环境的覆盖。通过调整音频声道的相对振幅和/或相位，最佳听音点可以移动以跟随至少收听者的确定位置。然而，振幅差和到达时间差(方向提示)可能需要足够小以使得立体图像和定位都得以保持。否则，图像可能会崩溃，并且仅能听到一个或另一个音频声道。
注意，立体声声音中的音频声道可能需要具有正确的绝对相位响应。这意味着在系统的输入处具有正压波形的音频信号可能需要在来自扬声器118之一的输出处具有相同的正压波形。因此，当敲击时在麦克风处产生正压波形的鼓可能需要在环境中产生正压波形。可替换地，如果以错误的方式翻转绝对极性，则音频图像可能不稳定。具体地，收听者可能找不到或感知到稳定的音频图像。相反，音频图像可以漂移(wander)并且可以在扬声器118处定位。
此外，多声道声音可包括左音频声道、中音频声道和右音频声道。例如，这些声道可允许单声道语音增强、以及音乐或声音效果提示被定位，或者与特定视角、立体声或类似立体声的成像混合。因此，三个音频声道可以提供对整个环境的大部分或全部的覆盖，同时保持振幅和方向提示，如单声道或立体声声音的情况那样。
替代地或附加地，期望声学特性可包括声学辐射模式。期望的声学辐射模式可以是环境中的混响时间的函数。例如，混响时间可以根据环境中的人数、环境中家具的类型和数量、窗帘是否打开或关闭、窗户是否打开或关闭等而改变。当混响时间较长或增加时，期望的声学辐射模式可以更加定向，从而将声音转向或传送给收听者(从而减少混响)。在一些实施例中，期望声学特性包括单词的可懂度(intelligibility)。
虽然前面的讨论示出了可用于动态跟踪收听者1612(或便携式电子装置110)的位置1610的技术，但是这些技术可用于确定环境中的电子装置(例如，扬声器118-1)的位置。
用于改善声学体验的另一种方法是动态地将电子装置聚合成组和/或基于这些组来适应协调。这在图17中示出，其呈现了示出用于聚合电子装置的方法1700的流程图。注意，方法1700可以由例如A/V集线器112(图1)的A/V集线器执行。在操作期间，A/V集线器(例如，A/V集线器中的控制电路或控制逻辑，例如，执行程序模块的处理器)可以使用一个或多个声波传感器来测量由环境中的电子装置(例如，扬声器118)输出的声音(操作1710)，其中所述声音对应于音频内容。例如，测量声音可包括声压。
然后，A/V集线器可以基于测量声音将电子装置聚合成两个或更多个子集(操作1712)。注意，不同的子集可以位于环境中的不同房间中。此外，至少一个子集可以回放与子集的其余部分不同的音频内容。此外，可以基于以下将电子装置聚合成两个或更多个子集：不同的音频内容；测量声音的声学延迟；和/或环境中的期望声学特性。在一些实施例中，子集中的电子装置和/或与子集相关联的地理位置或区域不是预定的。相反，A/V集线器可以动态地聚合子集。
此外，A/V集线器可以确定子集的回放定时信息(操作1714)，其中回放定时信息指定当给定子集中的电子装置要回放音频内容时的回放时间。
接下来，A/V集线器可以使用无线通信将包括音频内容和回放定时信息的一个或多个帧或分组发送给电子装置(操作1716)，其中至少给定子集中的电子装置的回放时间具有时间关系，以便协调给定子集中的电子装置对音频内容的回放。
在一些实施例中，A/V集线器可选地执行一个或多个附加操作(操作1718)。例如，A/V集线器可以计算至少一个收听者相对于电子装置的估计位置，并且可以基于至少收听者的估计位置，将电子装置聚合成两个或更多个子集。这可以帮助确保收听者具有改善的声学体验，同时减少来自其他子集的声学串扰。
此外，A/V集线器可以基于至少一个频带(例如100Hz-20,000Hz，这是非限制性示例)中的环境的预定(或动态确定的)声学传递函数来修改测量声音。这可允许A/V集线器确定原始输出声音，而没有与环境相关联的频谱滤波或失真，这可允许A/V集线器在聚合子集时做出更好的决策。
此外，A/V集线器可以确定在子集回放音频内容时使用的子集的回放音量，并且一个或多个帧或分组可包括指定回放音量的信息。例如，至少一个子集的回放音量可以不同于其余子集的回放音量。替代地或附加地，回放音量可以减少两个或更多个子集之间的声学串扰，使得收听者更可能听到他们接近或最接近的子集的声音输出。
图18是示出便携式电子装置110、A/V集线器112和扬声器118之间的通信的示图。具体地，处理器1810可以指示1812A/V集线器112中的一个或多个声波传感器1814以执行与扬声器118相关联的声音的测量1816。然后，基于测量1816，处理器1810可以将扬声器118聚合成两个或更多个子集1818。
此外，处理器1810可确定子集1818的回放定时信息1820，其中回放定时信息1820指定给定子集中的扬声器118将回放音频内容1822时的回放时间。注意，处理器1810可访问存储器1824中的音频内容1822。
接下来，处理器1810可以指示接口电路1826将具有回放定时信息1820和音频内容1822的帧或分组1828发送给扬声器118。(然而，在一些实施例中，使用单独的或不同的帧或分组来发送回放定时信息1820和音频内容1822。)
在接收到一个或多个帧或分组1826之后，扬声器118-3中的接口电路可以向处理器提供回放定时信息1820和音频内容1822。该处理器可以运行执行回放操作1830的软件。例如，处理器可以将音频内容1822存储在存储器中的队列中。在这些实施例中，回放操作1830包括从队列输出音频内容1822，其包括基于音频内容1822驱动一个或多个声波传感器，使得扬声器118-3在由回放定时信息1820指定的时间处输出声音。注意，至少给定子集中的扬声器118的回放时间具有时间关系，以便协调给定子集中的扬声器118对音频内容1822的回放。
在示例性实施例中，通信技术用于将扬声器118聚合成子集。图19呈现了示出聚合在环境中可处于相同房间或不同房间中的扬声器118的示图。A/V集线器112可以测量由扬声器118输出的声音1910。基于这些测量，A/V集线器112可以将扬声器118聚合成子集1912。例如，可以基于声音强度和/或声学延迟来聚合子集1912，使得邻近的扬声器聚合在一起。具体地，具有最高声学强度或类似声学延迟的扬声器可以聚合在一起。为了促进聚合，扬声器118可以无线地发送和/或声学地输出人类听觉范围之外的识别信息或声学表征模式。例如，声学表征模式可包括脉冲。然而，可以使用各种时间、频率和/或调制技术，包括：振幅调制、频率调制、相位调制等。替代地或附加地，A/V集线器112可以一次一个地指示每个扬声器118对其输出声音的回放时间或相位进行噪声处理(dither)，使得A/V集线器112可以将测量声音与特定扬声器相关联。此外，可以使用环境的声学传递函数来校正测量声音1910，从而在聚合扬声器118之前消除反射和滤波(或失真)的影响。在一些实施例中，至少部分地基于扬声器118的位置1914来聚合扬声器118，可以使用一种或多种前述技术(例如使用无线测距)来确定所述扬声器118的位置1914。以这种方式，当一个或多个收听者在环境中重新定位扬声器118时，可以动态地修改子集1912。
然后，A/V集线器112可以将包括附加音频内容1918(例如，音乐)和回放定时信息1920的一个或多个帧或分组(例如，分组1916)发送给子集1912中的至少一个子集(例如子集1912-1)中的扬声器118，其中回放定时信息1920可以指定当子集1912-1中的扬声器118要回放附加音频内容1918时的回放时间。因此，通信技术可用于例如基于收听者的位置和/或包括A/V集线器112和扬声器118的环境中的期望声学特性来动态地选择子集1912。
用于改善声学体验的另一种方法是基于环境中的声学监测来动态地均衡音频。图20呈现了示出用于确定均衡的音频内容的方法2000的流程图，该方法可以由例如A/V集线器112(图1)的A/V集线器执行。在操作期间，A/V集线器(例如，A/V集线器中的控制电路或控制逻辑，例如，执行程序模块的处理器)可以使用一个或多个声波传感器来测量由环境中的电子装置(例如，扬声器118)输出的声音(操作2010)，其中所述声音对应于音频内容。例如，测量声音可包括声压。
然后，A/V集线器可以基于环境中的第一位置、A/V集线器的第二位置、以及在至少一频带(例如100kHz-20,000kHz，这是非限制性示例)中环境的预定的或动态确定的声学传递函数，将测量声音与环境中第一位置处的期望声学特性进行比较(操作2012)。注意，可以在时域和/或频域中执行比较。为了执行比较，A/V集线器可以计算第一位置和/或第二位置处的声学特性(例如，声学传递函数或模态响应)，并且可以使用计算的声学特性来校正测量声音以用于环境中的滤波或失真。使用声学传递函数作为示例，该计算可以涉及使用格林函数技术来计算环境的声学响应作为位置的函数，其中一个或多个点或者分布式声源位于环境中的预定义或已知位置处。注意，第一位置处的声学传递函数和校正可以取决于环境的集成声学行为(并且因此，环境中的声源(例如扬声器118)的第二位置和/或各位置)。因此，声学传递函数可包括以下信息：该信息指定环境中声学传递函数被确定的位置(例如，第二位置)和/或环境中声源的位置(例如，至少一个电子装置的位置)。
此外，A/V集线器可以基于比较和音频内容来确定均衡的音频内容(操作2014)。注意，期望声学特性可以基于音频回放的类型，例如：单声道、立体声和/或多声道。替代地或附加地，期望声学特性可包括声学辐射模式。期望的声学辐射模式可以是环境中的混响时间的函数。例如，混响时间可以根据环境中的人数、环境中家具的类型和数量、窗帘是否打开或关闭、窗户是否打开或关闭等而改变。当混响时间较长或增加时，期望的声学辐射模式可以被更加定向，使得与均衡的音频内容相关联的声音被引导或传送给收听者(从而减少混响)。因此，在一些实施例中，均衡是修改音频内容中的振幅和/或相位的复合函数。此外，期望声学特性可包括：通过降低声学内容中的相关低频中的能量来减小房间共振或房间模式。注意，在一些实施例中，期望声学特性包括单词的可懂度。因此，目标(期望声学特性)可用于调整音频内容的均衡。
接下来，A/V集线器可以使用无线通信将包括均衡的音频内容的一个或多个帧或分组发送给电子装置(操作2016)，以便于电子装置输出附加声音，该附加声音对应于均衡的音频内容。
在一些实施例中，A/V集线器可选地执行一个或多个附加操作(操作2018)。例如，第一位置可包括收听者相对于电子装置的估计位置，并且A/V集线器可计算收听者的估计位置。具体地，收听者的估计位置可以使用一种或多种前述技术来动态地确定收听者的位置。因此，A/V集线器可以基于声音测量来计算收听者的估计位置。替代地或附加地，A/V集线器可以：与另一电子装置通信；并且可以基于与其他电子装置的通信来计算收听者的估计位置。在一些实施例中，与其他电子装置的通信包括无线测距，并且可以基于来自其他电子装置的无线信号的到达角度和无线测距来计算估计位置。此外，A/V集线器可以执行飞行时间测量，并且可以基于飞行时间测量来计算收听者的估计位置。在一些实施例中，动态均衡允许基于收听者的位置来调整环境中的“最佳听音点”。注意，A/V集线器可以确定环境中的收听者的数量和/或收听者的位置，并且动态均衡可以调整声音，使得收听者(或大多数收听者)在收听均衡的音频内容时，具有期望声学特性。
此外，A/V集线器可以与环境中的其他电子装置通信，并且可以从其他电子装置接收环境的(独立于声音测量或者与声音测量结合的)附加声音测量。然后，A/V集线器可以基于其他电子装置的一个或多个第三位置(例如，扬声器118的位置)以及至少一频带中环境的预定或动态确定的声学传递函数，来在环境中的第一位置处、执行附加声音测量与期望声学特性的一个或多个附加比较，并且基于一个或多个附加比较进一步确定均衡的音频内容。在一些实施例中，A/V集线器基于与其他电子装置的通信来确定一个或多个第三位置。例如，与其他电子装置的通信可包括无线测距，并且可以基于来自其他电子装置的无线信号的无线测距和到达角度来计算一个或多个第三位置。替代地或附加地，A/V集线器可以从其他电子装置接收指定第三位置的信息。因此，可以使用用于确定环境中的电子装置的位置的一种或多种上述技术来确定其他电子装置的位置。
此外，A/V集线器可以确定回放定时信息，其指定当电子装置回放均衡的音频内容时的回放时间，并且一个或多个帧或分组可包括回放定时信息。在这些实施例中，电子装置的回放时间具有时间关系，以便协调电子装置对音频内容的回放。
图21是示出便携式电子装置110、A/V集线器112和扬声器118之间的通信的示图。具体地，处理器2110可以指示2112A/V集线器112中的一个或多个声波传感器2114以测量与扬声器118相关联并且对应于音频内容2118的声音2116。然后，处理器21110可以基于环境中的第一位置、A/V集线器112的第二位置以及至少一频带中环境的预定或动态确定的声学传递函数2124(其在存储器2128中可被访问)，将测量声音2116与环境中该第一位置处的期望声学特性2122进行比较2120。
此外，处理器2110可以基于比较2120和音频内容2118来确定均衡的音频内容2126，所述音频内容2126在存储器2128中可被访问。注意，处理器2110可以预先知道扬声器118正在输出音频内容2118。
接下来，处理器2110可以确定回放定时信息2130，其中回放定时信息2130指定扬声器118要回放均衡的音频内容2126时的回放时间。
此外，处理器2110可以指示接口电路2132将具有回放定时信息2130和均衡的音频内容2126的一个或多个帧或分组2134发送给扬声器118。(然而，在一些实施例中，使用单独或不同的帧或分组来发送回放定时信息2130和音频内容2126。)
在接收到一个或多个帧或分组2134之后，扬声器118之一(例如，扬声器118-1)中的接口电路可以向处理器提供回放定时信息2130和均衡的音频内容2126。该处理器可以运行执行回放操作的软件。例如，处理器可以将均衡的音频内容2126存储在存储器中的队列中。在这些实施例中，回放操作包括从队列输出均衡的音频内容2126，其包括基于均衡的音频内容2126驱动一个或多个声波传感器，使得扬声器118-1在由回放定时信息2130指定的时间处输出声音。扬声器118的回放时间具有时间关系，以便协调扬声器118对均衡的音频内容2126的回放。
在示例性实施例中，通信技术用于动态地均衡音频内容。图22呈现了示出使用扬声器118确定均衡的音频内容的示图。具体地，A/V集线器112可以测量由扬声器118输出的与音频内容相对应的声音2210。替代地或附加地，便携式电子装置110和/或至少一些扬声器118可以测量声音2210并且可以以帧或分组2212向A/V集线器112提供指定测量的信息。
然后，A/V集线器112可以基于位置2214、A/V集线器112的位置2216、扬声器118的位置2218和/或至少一频带中环境的预定或动态确定的声学传递函数(或更一般地，声学特性)，将测量声音2210与环境中的位置2214(例如，一个或多个收听者的动态位置，其也可以是便携式电子装置110的位置)处的期望声学特性进行比较。例如，A/V集线器112可以计算位置2214、2216和/或2218处的声学传递函数。如前所述，该计算可以涉及使用格林函数技术来计算位置2214、2216和/或2218处的声学响应。替代地或附加地，计算可以涉及环境中的不同位置(即，位置2214、2216和/或2218)处的预定声学传递函数的内插(例如，最小带宽内插)。然后，A/V集线器112可以基于计算的和/或内插的声学传递函数(以及更一般地，声学特性)来校正测量声音2210。
以这种方式，当最初确定声学传递函数时，通信技术可用于补偿稀疏采样。
此外，A/V集线器112可以基于比较和音频内容来确定均衡的音频内容。例如，A/V集线器112可以根据频率范围(例如100-10,000或20,000Hz)中的频率来修改音频内容的频谱内容和/或相位，以实现期望声学特性。
接下来，A/V集线器112可以将包括均衡的音频内容(例如，音乐)和回放定时信息的一个或多个帧或分组(例如，具有均衡的音频内容和回放定时信息2224的分组2220)发送给扬声器118)，其中回放定时信息可以指定当扬声器118要回放均衡的音频内容时的回放时间。
以这种方式，通信技术可允许由扬声器118输出的声音适应一个或多个收听者的位置2214(例如，平均或中间位置，对应于大多数收听者的位置，针对给定音频内容和环境的声学传递函数或声学特性等可以实现期望声学特性的收听者的最大子集的平均位置)的变化。这可允许立体声中的最佳听音点跟踪环境中的一个或多个收听者的运动和/或收听者数量的变化(其可使用一种或多种上述技术由A/V集线器112确定)。替代地或附加地，通信技术可允许由扬声器118输出的声音适应音频内容和/或期望声学特性的变化。例如，取决于音频内容的类型(例如，音乐的类型)，一个或多个收听者可能想要或期望大的或广的声音(具有与明显物理扩展的声源相对应的发散声波)或者显然窄的源或点源。因此，通信技术可允许根据一个或多个收听者的期望心理声学体验来均衡音频内容。注意，期望声学特性或期望心理声学体验可以由一个或多个收听者明确指定(例如通过使用便携式电子装置110上的用户界面)，或者可以间接地确定或推断而无需用户动作(例如基于音乐类型或存储在收听历史中的一个或多个收听者的先前声学偏好)。
在方法200(图2)、方法500(图5)、方法800(图8)、方法1100(图11)、方法1400(图14)、方法1700(图17)和/或方法2000(图20)的一些实施例中，有更多或更少的操作。此外，可以改变操作的顺序，和/或可以将两个或更多个操作组合成单个操作。此外，可以修改一个或多个操作。
我们现在描述电子装置的实施例。图23呈现了示出电子装置2300的框图，例如图1中的便携式电子装置110、A/V集线器112、A/V显示装置114之一、接收器装置116或扬声器118之一。该电子装置包括处理子系统2310、存储器子系统2312、网络子系统2314、可选的反馈子系统2334和可选的监视子系统2336。处理子系统2310包括配置为执行计算操作的一个或多个装置。例如，处理子系统2310可包括一个或多个微处理器、专用集成电路(ASIC)、微控制器、可编程逻辑器件和/或一个或多个数字信号处理器(DSP)。处理子系统中的这些组件中的一个或多个有时被称为“控制电路”。在一些实施例中，处理子系统2310包括执行通信技术中的至少一些操作的“控制机制”或“处理手段”。
存储器子系统2312包括用于存储用于处理子系统2310和网络子系统2314的数据和/或指令的一个或多个装置。例如，存储器子系统2312可包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、和/或其他类型的存储器。在一些实施例中，存储器子系统2312中的用于处理子系统2310的指令包括：一个或多个程序模块或指令集(例如，程序模块2322或操作系统2324)，其可由处理子系统2310执行。注意，一个或多个计算机程序或程序模块可以构成计算机程序机制。此外，存储器子系统2312中的各种模块中的指令可以实现为：高级程序语言、面向对象的编程语言、和/或汇编语言或机器语言。此外，编程语言可以被编译或解释，例如，可配置或被配置(在本讨论中可以互换使用)，以由处理子系统2310执行。
此外，存储器子系统2312可包括用于控制对存储器的访问的机制。在一些实施例中，存储器子系统2312包括存储器层次结构，其包括耦接到电子装置2300中的存储器的一个或多个高速缓存。在这些实施例的一些中，一个或多个高速缓存位于处理子系统2310中。
在一些实施例中，存储器子系统2312耦接到一个或多个高容量大容量存储装置(未示出)。例如，存储器子系统2312可以耦接到磁驱动器或光驱动器、固态驱动器或其他类型的大容量存储装置。在这些实施例中，存储器子系统2312可由电子装置2300用作常用数据的快速访问存储器，而大容量存储装置用于存储不常使用的数据。
网络子系统2314包括配置为耦接到有线和/或无线网络并在有线和/或无线网络上通信(即，执行网络操作)的一个或多个装置，包括：控制逻辑2316、接口电路2318和相关联的天线2320。(图23包括天线2320，在一些实施例中，电子装置2300包括一个或多个节点，例如节点2308，例如焊盘，其可耦接到天线2320。因此，电子装置2300可包括或不包括天线2320。)例如，网络子系统2314可包括蓝牙网络系统、蜂窝网络系统(例如，诸如UMTS、LTE等的3G/4G网络)、通用串行总线(USB)网络系统、基于IEEE 802.11中描述的标准的网络系统(例如，Wi-Fi网络系统)、以太网网络系统和/或其他网络系统。注意，给定的一个接口电路2318与至少一个天线2320的组合可以构成无线电设备。在一些实施例中，网络子系统2314包括有线接口，例如HDMI接口2330。
网络子系统2314包括处理器、控制器、无线电设备/天线、插座/插头、和/或其他装置以用于耦接到每个支持的网络系统、在每个支持的网络系统上进行通信、和处理数据和事件。注意，用于耦接到每个网络系统、在每个网络系统上进行通信和处理网络上的数据和事件的机制有时统称为网络系统的“网络接口”。此外，在一些实施例中，各电子装置之间的“网络”尚不存在。因此，电子装置2300可以使用网络子系统2314中的机制来执行各电子装置之间的简单无线通信，例如，发送广告或信标帧或分组和/或扫描由其他电子装置发送的广告帧或分组，如前所述。
在电子装置2300内，处理子系统2310、存储器子系统2312、网络子系统2314、可选的反馈子系统2334和可选的监视子系统2336使用总线2328耦接在一起。总线2328可包括电连接、光连接和/或电光连接，使得各子系统可以用来在彼此之间传递命令和数据。尽管为了清楚起见仅示出了一条总线2328，但是不同的实施例可包括子系统之间的不同数量或配置的电连接、光连接和/或电光连接。
在一些实施例中，电子装置2300包括用于在显示器上显示信息(例如，澄清所识别的环境的请求)的显示子系统2326，其可包括显示驱动器、I/O控制器和显示器。注意，可以在显示子系统2326中使用各种各样的显示器类型，包括：二维显示器、三维显示器(例如，全息显示器或体积显示器)、头戴式显示器、视网膜-图像投影仪、平视显示器、阴极射线管、液晶显示器、投影显示器、电致发光显示器、基于电子纸的显示器、薄膜晶体管显示器、高性能寻址显示器、有机发光二极管显示器、表面传导电子发射器显示器、激光显示器、碳纳米管显示器、量子点显示器、干涉调制器显示器、多点触控触摸屏(有时也称为触敏显示器)、和/或基于其他类型的显示技术或物理现象的显示器。
此外，可选的反馈子系统2334可包括一个或多个传感器反馈机构或装置，例如：振动机构或振动致动器(例如，偏心旋转质量致动器或线性谐振致动器)、灯、一个或多个扬声器等，其可用于向电子装置2300的用户提供反馈(例如，感官反馈)。替代地或附加地，可选的反馈子系统2334可用于向用户提供感官输入。例如，一个或多个扬声器可输出声音，例如音频。注意，一个或多个扬声器可包括传感器的阵列(例如声波传感器的相控阵列)，其可被修改以调整由一个或多个扬声器输出的声音的特性。该能力可允许一个或多个扬声器例如通过改变传播声波的均衡或频谱内容、相位和/或方向来修改环境中的声音以实现用户的期望声学体验。
在一些实施例中，可选的监测子系统2336包括一个或多个声波传感器2338(例如，一个或多个麦克风、相控阵列等)，其监测包括电子装置2300的环境中的声音。声学监测可允许电子装置2300在声学上表征环境、在声学上表征由环境中的扬声器输出的声音(例如对应于音频内容的声音)、确定收听者的位置、确定扬声器在环境中的位置、和/或测量来自一个或多个扬声器的与一个或多个声学表征模式(可用于协调音频内容的回放)相对应的声音。另外，可选的监视子系统2336可包括位置传感器2340，其可用于确定环境中的收听者或电子装置(例如，扬声器)的位置。
电子装置2300可以是(或可包括在)具有至少一个网络接口的任何电子装置中。例如，电子装置2300可以是(或可以被包括在)：台式计算机、膝上型计算机、子笔记本/上网本、服务器、平板计算机、智能手机、蜂窝电话、智能手表、消费电子装置(例如，电视机、机顶盒、音频装置、扬声器、视频装置等)、遥控器、便携式计算装置、接入点、路由器、交换机、通信装置、测试装置和/或其他电子装置。
尽管使用特定组件来描述电子装置2300，但在替换实施例中，电子装置2300中可以存在不同的组件和/或子系统。例如，电子装置2300可包括一个或多个附加的处理子系统、存储器子系统、网络子系统和/或显示子系统。此外，虽然天线2320之一被示出为耦接到给定的一个接口电路2318，但是可以存在耦接到给定的一个接口电路2318的多个天线。例如，3×3无线电设备的实例可包括三个天线。另外，一个或多个子系统可以不存在于电子装置2300中。此外，在一些实施例中，电子装置2300可包括图23中未示出的一个或多个附加子系统。此外，尽管图23中示出了单独的子系统，但在一些实施例中，给定子系统或组件中的一些或全部可以集成到电子装置2300中的一个或多个其他子系统或组件中。例如，在一些实施例中，程序模块2322包括在操作系统2324中。
此外，电子装置2300中的电路和组件可以使用模拟电路和/或数字电路的任何组合来实现，包括：双极、PMOS和/或NMOS栅极或晶体管。此外，这些实施例中的信号可包括具有近似离散值的数字信号和/或具有连续值的模拟信号。另外，组件和电路可以是单端或差分的，并且电源可以是单极或双极的。
集成电路可以实现网络子系统2314(例如，一个或多个无线电设备)的一些或全部功能。此外，集成电路可包括硬件和/或软件机制，其用于发送来自电子装置2300的无线信号，并且在电子装置2300处从其他电子装置接收信号。除了这里描述的机制之外，无线电设备通常在本领域中是已知的，因此不再详细描述。通常，网络子系统2314和/或集成电路可包括任何数量的无线电设备。
在一些实施例中，网络子系统2314和/或集成电路包括配置机制(例如，一个或多个硬件和/或软件机制)，其配置无线电设备以在给定声道(例如，给定的载波频率)上发送和/或接收。例如，在一些实施例中，配置机制可用于将无线电设备从在给定声道上的监测和/或发送切换到在不同声道上的监测和/或发送。(注意，这里使用的“监测”包括从其他电子装置接收信号，并且可能对接收的信号执行一个或多个处理操作，例如，确定接收的信号是否包括广告帧或分组、计算性能度量、执行频谱分析等。)此外，网络子系统2314可包括至少一个端口(例如，HDMI端口2332)，以接收数据流中的信息，和/或将数据流中的信息提供给至少一个A/V显示装置114(图1)、至少一个扬声器118(图1)和/或至少一个内容源120(图1)。
虽然使用与Wi-Fi兼容的通信协议作为说明性示例，但是所描述的实施例可以用在各种网络接口中。此外，虽然前述实施例中的一些操作是以硬件或软件实现的，但是通常前述实施例中的操作可以以各种各样的配置和架构实现。因此，前述实施例中的一些或所有操作可以用硬件、软件或两者来执行。例如，通信技术中的至少一些操作可以使用程序模块2322、操作系统2324(例如，用于接口电路2318的驱动器)来实现和/或用接口电路2318中的固件中实现。替代地或附加地，通信技术中的至少一些操作可以在物理层(例如，接口电路2318中的硬件)中实现。
此外，虽然前述实施例包括便携式电子装置中的用户触摸(例如，用手指或脚趾或手写笔)的触敏显示器，但在其他实施例中，用户界面显示在便携式电子装置的显示器上，并且用户与用户界面交互而不接触或接触显示器的表面。例如，可以使用飞行时间测量、运动感测(例如，多普勒测量)或其他非接触测量(其允许测量用户的手指或脚趾(或手写笔)相对于一个或多个虚拟命令图标的位置的位置、运动方向和/或速度)来确定用户与用户界面的交互。在这些实施例中，注意用户可以通过执行手势(例如，在空中“敲击”他们的手指而不与显示器的表面接触)来激活给定的虚拟命令图标。在一些实施例中，用户通过用户界面来导航和/或使用口头命令或指令(即，经由语音识别)和/或基于他们正在观看图1中的便携式电子装置110上的显示器或A/V显示装置114之一上的位置(例如，通过跟踪用户的注视或用户正在看的位置)，来激活/停用系统100(图1)中的组件之一的功能。
此外，虽然A/V集线器112(图1)被示出为与A/V显示装置114(图1)分离的组件，但在一些实施例中，A/V集线器和A/V显示装置被组合成单个组件或单个电子装置。
虽然前述实施例示出了具有音频和/或视频内容(例如，HDMI内容)的通信技术，但在其他实施例中，通信技术用于任意类型的数据或信息的上下文中。例如，通信技术可以与家庭自动化数据一起使用。在这些实施例中，A/V集线器112(图1)可以促进各种电子装置之间的通信以及各种电子装置的控制。因此，A/V集线器112(图1)和通信技术可用于促进或实现所谓的物联网中的服务。
在前面的描述中，我们参考“一些实施例”。注意，“一些实施例”描述了所有可能实施例的子集，但并不总是指定各实施例相同子集。
以上描述旨在使本领域技术人员能够实现和使用本公开，并且在部分申请及其要求的背景下提供。此外，仅出于说明和描述的目的呈现了本公开的实施例的前述描述。它们并非旨在穷举或将本公开限制于所公开的形式。因此，对于本领域技术人员来说，许多修改和变化是显而易见的，并且在不脱离本公开的精神和范围的情况下，本文定义的一般原理可以应用于其他实施例和应用。另外，前述实施例的讨论不旨在限制本公开。因此，本公开不旨在受限于所示的实施例，而是与符合本文公开的原理和特征的最宽范围相一致。

Claims (20)

1.一种协调装置，包括：
一个或多个节点，其配置为通信地耦接到一个或多个天线；
接口电路，其通信地耦接到所述一个或多个节点，其中，所述协调装置被配置为：
从所述一个或多个节点接收与电子装置相关联的输入帧，其中，给定的输入帧包括给定的电子装置发送所述给定的输入帧时的发送时间；
存储接收到所述输入帧时的接收时间，其中，所述接收时间基于所述协调装置中的时钟；
基于所述输入帧的所述接收时间和所述发送时间，计算所述电子装置中的时钟与所述协调装置中的时钟之间的当前时间偏移，其中，对给定当前时间偏移的所述计算是基于针对给定分组的给定发送时间和给定接收时间之间的给定差，并且其中，所述计算是基于给定电子装置和所述协调装置之间的定时信息的单向通信；和
经由所述一个或多个节点发送包括旨在所述电子装置的音频内容和回放定时信息的一个或多个输出帧，其中，所述回放定时信息指定所述电子装置基于所述当前时间偏移要同时回放所述音频内容时的回放时间，并且
其中，所述电子装置的所述回放时间具有时间关系，从而协调所述电子装置对所述音频内容的回放。
2.根据权利要求1所述的协调装置，其中，所述时间关系具有非零值，从而指示所述电子装置中的至少一些电子装置通过使用所述回放时间的不同值来回放具有相对于彼此的相位的音频内容。
3.根据权利要求2所述的协调装置，其中，不同的回放时间基于环境的声学表征。
4.根据权利要求2所述的协调装置，其中，不同的回放时间基于环境中的期望声学特性。
5.根据权利要求2所述的协调装置，其中，所述电子装置位于距所述协调装置的向量距离处；
其中，所述接口电路被配置为：使用无线测距、基于所述发送时间和所述接收时间来确定所述向量距离的大小，并且配置为：基于与所述输入帧相关联的无线信号的到达角度来确定所述向量距离的角度；并且
其中，不同的回放时间基于所确定的向量距离。
6.根据权利要求2所述的协调装置，其中，不同的回放时间基于收听者相对于所述电子装置的估计位置。
7.根据权利要求6所述的协调装置，其中，所述接口电路还被配置为：
从所述一个或多个节点接收与另一电子装置相关联的帧；和
基于所接收的帧来计算所述收听者的所述估计位置。
8.根据权利要求6所述的协调装置，其中，所述协调装置还包括声波传感器，所述声波传感器配置为执行环境的声音测量；并且
其中，所述协调装置被配置为基于所述声音测量来计算所述收听者的所述估计位置。
9.根据权利要求6所述的协调装置，其中，所述接口电路还配置为：从所述一个或多个节点接收与环境中的其他电子装置相关联的环境的附加声音测量；并且
其中，所述协调装置被配置为基于所述附加声音测量来计算所述收听者的所述估计位置。
10.根据权利要求6所述的协调装置，其中，所述接口电路被配置为：
执行飞行时间测量；和
基于所述飞行时间测量来计算所述收听者的所述估计位置。
11.根据权利要求1所述的协调装置，其中，所述电子装置位于距离所述协调装置非零的距离处；并且
其中，通过忽略所述距离，使用无线测距基于所述发送时间和所述接收时间来计算所述当前时间偏移。
12.根据权利要求1所述的协调装置，其中，所述当前时间偏移还基于所述电子装置中的时钟漂移的模型。
13.一种与协调装置一起使用的非暂时性计算机可读存储介质，所述计算机可读存储介质存储程序，所述程序在由所述协调装置执行时，使所述协调装置通过执行一个或多个操作来协调音频内容的回放，一个或多个操作包括：
从所述协调装置中的通信地耦接到一个或多个天线的一个或多个节点接收与电子装置相关联的输入帧，其中，给定的输入帧包括给定的电子装置发送所述给定的输入帧时的发送时间；
存储接收到所述输入帧时的接收时间，其中，所述接收时间基于所述协调装置中的时钟；
基于所述输入帧的所述接收时间和所述发送时间，计算所述电子装置中的时钟与所述协调装置中的时钟之间的当前时间偏移，其中，对给定当前时间偏移的所述计算是基于针对给定分组的给定发送时间和给定接收时间之间的给定差，并且其中，所述计算是基于给定电子装置和所述协调装置之间的定时信息的单向通信；和
经由所述一个或多个节点发送包括旨在所述电子装置的所述音频内容和回放定时信息的一个或多个输出帧，其中，所述回放定时信息指定所述电子装置基于所述当前时间偏移要同时回放所述音频内容时的回放时间，并且
其中，所述电子装置的所述回放时间具有时间关系，从而协调所述电子装置对所述音频内容的回放。
14.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述时间关系具有非零值，从而指示所述电子装置中的至少一些电子装置通过使用所述回放时间的不同值来回放具有相对于彼此的相位的音频内容；并且
其中，不同的回放时间基于环境的声学表征。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述时间关系具有非零值，从而指示所述电子装置中的至少一些电子装置通过使用所述回放时间的不同值来回放具有相对于彼此的相位的音频内容；并且
其中，不同的回放时间基于所述环境中的期望声学特性。
16.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述时间关系具有非零值，从而指示所述电子装置中的至少一些电子装置通过使用所述回放时间的不同值来回放具有相对于彼此的相位的音频内容；
其中，所述电子装置位于距离所述协调装置的向量距离处；
其中，所述一个或多个操作包括：
使用无线测距、基于所述发送时间和所述接收时间来确定所述向量距离的大小；和
基于与所述输入帧相关联的无线信号的到达角度来确定所述向量距离的角度；并且
其中，不同的回放时间基于所确定的向量距离。
17.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所述时间关系具有非零值，从而指示所述电子装置中的至少一些电子装置通过使用所述回放时间的不同值来回放具有相对于彼此的相位的音频内容；并且
其中，不同的回放时间基于收听者相对于所述电子装置的估计位置。
18.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述一个或多个操作包括：
执行飞行时间测量；和
基于所述飞行时间测量来计算收听者的估计位置。
19.根据权利要求13所述的非暂时性计算机可读存储介质，其中，所述当前时间偏移还基于所述电子装置中的时钟漂移的模型。
20.一种用于协调音频内容的回放的方法，包括：
通过协调装置：
从所述协调装置中的通信地耦接到一个或多个天线的一个或多个节点接收与电子装置相关联的输入帧，其中，给定的输入帧包括给定的电子装置发送所述给定的输入帧时的发送时间；
存储接收到所述输入帧时的接收时间，其中，所述接收时间基于所述协调装置中的时钟；
基于所述输入帧的所述接收时间和发送时间，计算所述电子装置中的时钟与所述协调装置中的时钟之间的当前时间偏移，其中，对给定当前时间偏移的所述计算是基于针对给定分组的给定发送时间和给定接收时间之间的给定差，并且其中，所述计算是基于给定电子装置和所述协调装置之间的定时信息的单向通信；和
经由所述一个或多个节点发送包括旨在所述电子装置的音频内容和回放定时信息的一个或多个输出帧，其中，所述回放定时信息指定当所述电子装置基于所述当前时间偏移要同时回放所述音频内容时的回放时间，并且
其中，所述电子装置的所述回放时间具有时间关系，从而协调所述电子装置对所述音频内容的回放。
CN201780086392.XA 2016-12-13 2017-11-19 音频源的无线协调 Active CN110291820B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662433237P 2016-12-13 2016-12-13
US62/433,237 2016-12-13
PCT/US2017/062446 WO2018111500A1 (en) 2016-12-13 2017-11-19 Wireless coordination of audio sources

Publications (2)

Publication Number Publication Date
CN110291820A CN110291820A (zh) 2019-09-27
CN110291820B true CN110291820B (zh) 2020-10-30

Family

ID=62487894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086392.XA Active CN110291820B (zh) 2016-12-13 2017-11-19 音频源的无线协调

Country Status (6)

Country Link
US (10) US10255032B2 (zh)
EP (3) EP3751918B1 (zh)
JP (4) JP6737959B2 (zh)
KR (7) KR102072682B1 (zh)
CN (1) CN110291820B (zh)
WO (1) WO2018111500A1 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US10296275B2 (en) * 2015-08-30 2019-05-21 EVA Automation, Inc. User interface based on device-state information
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
WO2018155480A1 (ja) 2017-02-27 2018-08-30 ヤマハ株式会社 情報処理方法および情報処理装置
JP7086521B2 (ja) 2017-02-27 2022-06-20 ヤマハ株式会社 情報処理方法および情報処理装置
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11876847B2 (en) 2018-02-05 2024-01-16 D&M Holding System and method for synchronizing networked rendering devices
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) * 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
FR3086451B1 (fr) * 2018-09-20 2021-04-30 Sagemcom Broadband Sas Filtrage d'un signal sonore acquis par un systeme de reconnaissance vocale
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10880594B2 (en) * 2019-02-06 2020-12-29 Bose Corporation Latency negotiation in a heterogeneous network of synchronized speakers
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
WO2020230460A1 (ja) * 2019-05-14 2020-11-19 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
WO2020256184A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 디스플레이 장치
US10645520B1 (en) 2019-06-24 2020-05-05 Facebook Technologies, Llc Audio system for artificial reality environment
JP7362320B2 (ja) * 2019-07-04 2023-10-17 フォルシアクラリオン・エレクトロニクス株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
CN110572799B (zh) * 2019-07-25 2020-12-25 华为技术有限公司 一种同时响应的方法及设备
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN110290412B (zh) * 2019-08-26 2019-11-29 恒玄科技(北京)有限公司 一种音频同步播放方法、装置及扬声器设备、无线耳机
US11094319B2 (en) * 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11328722B2 (en) 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
JP2021196582A (ja) * 2020-06-18 2021-12-27 ヤマハ株式会社 音響特性の補正方法および音響特性補正装置
CN112153525B (zh) * 2020-08-11 2022-09-16 广东声音科技有限公司 多扬声器全景音效的定位方法及系统
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
KR20240039120A (ko) 2021-08-06 2024-03-26 소니그룹주식회사 음향 처리 장치, 음향 처리 방법, 음향 처리 프로그램 및 음향 처리 시스템
US11716569B2 (en) * 2021-12-30 2023-08-01 Google Llc Methods, systems, and media for identifying a plurality of sets of coordinates for a plurality of devices
CN114866787B (zh) * 2022-07-04 2022-09-23 深圳市必提教育科技有限公司 一种直播实现方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105794130A (zh) * 2013-12-09 2016-07-20 哈利法科学技术研究大学 使用线性规划用于同步的方法和设备

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998052376A1 (en) * 1997-05-09 1998-11-19 Nokia Telecommunications Oy A method for determining timing differences between radio transmitters and a radio network incorporating the same
US5872743A (en) * 1998-02-10 1999-02-16 Vlsi Technology, Inc. Method and apparatus for locating the user of a computer system
US7577260B1 (en) * 1999-09-29 2009-08-18 Cambridge Mechatronics Limited Method and apparatus to direct sound
US6400646B1 (en) * 1999-12-09 2002-06-04 Halliburton Energy Services, Inc. Method for compensating for remote clock offset
EP1393591A2 (en) 2000-11-16 2004-03-03 Koninklijke Philips Electronics N.V. Automatically adjusting audio system
US20020124097A1 (en) 2000-12-29 2002-09-05 Isely Larson J. Methods, systems and computer program products for zone based distribution of audio signals
JP4766440B2 (ja) * 2001-07-27 2011-09-07 日本電気株式会社 携帯端末装置及び携帯端末装置の音響再生システム
JP2004021162A (ja) * 2002-06-20 2004-01-22 Sony Corp 音響機器および音響機器の制御方法、ならびに、音響機器制御デバイス
DE60211157T2 (de) * 2002-09-06 2007-02-08 Sony Deutschland Gmbh Synchrones Abspielen von Medien-Paketen
JP2004193868A (ja) * 2002-12-10 2004-07-08 Alps Electric Co Ltd 無線送受信システム及び無線送受信方法
GB0301093D0 (en) * 2003-01-17 2003-02-19 1 Ltd Set-up method for array-type sound systems
US8020023B2 (en) 2003-07-28 2011-09-13 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices without a voltage controlled crystal oscillator
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US7668964B2 (en) 2005-04-23 2010-02-23 Sonos, Inc. System and method for synchronizing channel handoff as among a plurality of devices
US7526093B2 (en) * 2003-08-04 2009-04-28 Harman International Industries, Incorporated System for configuring audio system
EP1542503B1 (en) * 2003-12-11 2011-08-24 Sony Deutschland GmbH Dynamic sweet spot tracking
US20070110074A1 (en) 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
JP2006054515A (ja) * 2004-08-09 2006-02-23 Matsushita Electric Ind Co Ltd 音響システム、音声信号処理装置およびスピーカ
JP4345816B2 (ja) * 2004-09-09 2009-10-14 パナソニック株式会社 ネットワークシステムおよび中継装置
US8880205B2 (en) * 2004-12-30 2014-11-04 Mondo Systems, Inc. Integrated multimedia signal processing system using centralized processing of signals
EP1737265A1 (en) * 2005-06-23 2006-12-27 AKG Acoustics GmbH Determination of the position of sound sources
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
US8981996B2 (en) * 2005-09-27 2015-03-17 Qualcomm Incorporated Position location using transmitters with timing offset and phase adjustment
US7539889B2 (en) * 2005-12-30 2009-05-26 Avega Systems Pty Ltd Media data synchronization in a wireless network
US9413799B2 (en) * 2007-01-27 2016-08-09 Blackfire Research Corporation Broadcasting media from a stationary source to multiple mobile devices over wi-fi
US20080004729A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
US9420332B2 (en) * 2006-07-06 2016-08-16 Qualcomm Incorporated Clock compensation techniques for audio decoding
US20080077261A1 (en) * 2006-08-29 2008-03-27 Motorola, Inc. Method and system for sharing an audio experience
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
JP5150652B2 (ja) 2007-03-20 2013-02-20 マーベル ワールド トレード リミテッド 同期ネットワークデバイス
CN101731011B (zh) 2007-05-11 2014-05-28 奥迪耐特有限公司 用于设置接收器延迟时间的方法
US8320410B2 (en) 2007-05-23 2012-11-27 Broadcom Corporation Synchronization of media data streams with separate sinks using a relay
US7729204B2 (en) * 2007-06-08 2010-06-01 Microsoft Corporation Acoustic ranging
JP4442662B2 (ja) * 2007-08-31 2010-03-31 ソニー株式会社 オーディオ信号伝送システム及びオーディオ信号伝送方法
KR101238361B1 (ko) * 2007-10-15 2013-02-28 삼성전자주식회사 어레이 스피커 시스템에서 근접장 효과를 보상하는 방법 및장치
US20110015769A1 (en) 2008-03-12 2011-01-20 Genelec Oy Data transfer method and system for loudspeakers in a digital sound reproduction system
US20090298420A1 (en) 2008-05-27 2009-12-03 Sony Ericsson Mobile Communications Ab Apparatus and methods for time synchronization of wireless audio data streams
US8989882B2 (en) * 2008-08-06 2015-03-24 At&T Intellectual Property I, L.P. Method and apparatus for managing presentation of media content
US9645225B2 (en) * 2008-11-21 2017-05-09 Qualcomm Incorporated Network-centric determination of node processing delay
US8285405B2 (en) * 2009-02-26 2012-10-09 Creative Technology Ltd Methods and an apparatus for optimizing playback of media content from a digital handheld device
KR101705592B1 (ko) 2009-05-18 2017-02-10 삼성전자주식회사 노드 간의 시간 동기화를 수행하는 네트워크 동기화 방법 및 장치
KR20100124909A (ko) * 2009-05-20 2010-11-30 삼성전자주식회사 이동통신 단말기에서 영상과 음성의 동기화를 위한 장치 및 방법
WO2011034520A1 (en) * 2009-09-15 2011-03-24 Hewlett-Packard Development Company, L.P. System and method for modifying an audio signal
US9307340B2 (en) * 2010-05-06 2016-04-05 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US9565035B1 (en) 2010-05-26 2017-02-07 Marvell International Ltd. Enhanced audio video bridging (AVB) methods and apparatus
US9237324B2 (en) 2010-10-22 2016-01-12 Phorus, Inc. Playback synchronization
CN103493447B (zh) 2011-03-10 2016-05-11 马维尔国际贸易有限公司 用于非任意网络的数据阻止系统
US9107023B2 (en) * 2011-03-18 2015-08-11 Dolby Laboratories Licensing Corporation N surround
US8619803B2 (en) 2011-05-05 2013-12-31 Harman International Industries, Incorporated Sparse mode system
US8516130B2 (en) 2011-06-30 2013-08-20 Harman International Industries, Incorporated Using non-AVB application layer interface and message to establish a connection over an AVB network
US8948037B1 (en) 2011-07-01 2015-02-03 Marvell Israel (M.I.S.L) Ltd. Checksum trailer in timing protocols
US9232026B2 (en) 2011-12-21 2016-01-05 Harman International Industries, Incorporated System for communicating control messages in an AVB network
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
EP2611213B1 (en) 2011-12-29 2015-08-26 Harman Becker Automotive Systems GmbH Sound system with individual playback zones
US9256247B2 (en) 2012-01-04 2016-02-09 Marvell World Trade Ltd. Method and apparatus for communicating time information between time aware devices
WO2013117217A1 (en) 2012-02-07 2013-08-15 Telefonaktiebolaget L M Ericsson (Publ) Method and device for resident time calculation and synchronization
CN104247309B (zh) 2012-02-09 2017-11-10 马维尔以色列(M.I.S.L.)有限公司 使用多个网络路径的时钟同步
US9112630B1 (en) 2012-02-09 2015-08-18 Marvell Israel (M.I.S.L) Ltd. Clock synchronization in the presence of security threats
US9219693B2 (en) 2012-02-22 2015-12-22 Marvell World Trade Ltd. Network devices with time aware medium access controller
US9547332B1 (en) 2012-03-21 2017-01-17 Marvell Israel (M.I.S.L) Ltd. Accurate time capture and transfer between clock domains
US9288777B2 (en) 2012-05-11 2016-03-15 Apple Inc. Methods and apparatus for synchronizing clock signals in a wireless system
US10663610B2 (en) * 2012-06-04 2020-05-26 Fairfield Industries Incorporated Seismic data analysis using ocean bottom node data collection
US8837316B2 (en) 2012-06-14 2014-09-16 Qualcomm Incorporated RTT based ranging system and method
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US8989552B2 (en) * 2012-08-17 2015-03-24 Nokia Corporation Multi device audio capture
US9470776B2 (en) * 2012-09-06 2016-10-18 Cascube Ltd Position and behavioral tracking system and uses thereof
EP2896170B1 (en) 2012-09-11 2023-03-08 Marvell Asia Pte, Ltd. Method and apparatus for transmitting packets in accordance with ieee 802.1 qbv
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US9554203B1 (en) * 2012-09-26 2017-01-24 Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) Sound source characterization apparatuses, methods and systems
JP6290915B2 (ja) * 2012-11-16 2018-03-07 ブラックファイヤー リサーチ コーポレイションＢｌａｃｋｆｉｒｅ Ｒｅｓｅａｒｃｈ Ｃｏｒｐｏｒａｔｉｏｎ 共通イベントベースのマルチデバイスメディア再生
WO2014100554A1 (en) * 2012-12-20 2014-06-26 Strubwerks Llc Systems and methods for providing three dimensional enhanced audio
US9165371B2 (en) 2012-12-24 2015-10-20 Harman International Industries, Incorporated User location system
US10070369B2 (en) 2013-01-02 2018-09-04 Comcast Cable Communications, Llc Network provisioning
US9104343B2 (en) 2013-03-13 2015-08-11 Silicon Graphics International Corp. Global synchronous clock circuit and method for blade processors
US9307508B2 (en) * 2013-04-29 2016-04-05 Google Technology Holdings LLC Systems and methods for syncronizing multiple electronic devices
WO2015009748A1 (en) 2013-07-15 2015-01-22 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US9940904B2 (en) * 2013-10-23 2018-04-10 Intel Corporation Techniques for determining an adjustment for a visual output
WO2015062658A1 (en) * 2013-10-31 2015-05-07 Huawei Technologies Co., Ltd. System and method for evaluating an acoustic transfer function
US9178637B2 (en) * 2013-12-09 2015-11-03 Khalifa University of Science, Technology, and Research Method and devices for synchronization using linear programming
US9432791B2 (en) 2013-12-11 2016-08-30 Harman International Industries, Inc. Location aware self-configuring loudspeaker
US9301077B2 (en) 2014-01-02 2016-03-29 Harman International Industries, Incorporated Context-based audio tuning
US9313591B2 (en) 2014-01-27 2016-04-12 Sonos, Inc. Audio synchronization among playback devices using offset information
FI20140021L (fi) * 2014-01-27 2015-07-28 Asmo Saloranta Akkulaturi
CN104811582A (zh) 2014-01-28 2015-07-29 华为技术有限公司 多智能设备同步播放的方法和装置
US9736806B2 (en) 2014-02-28 2017-08-15 Qualcomm Incorporated Apparatuses and methods for wireless synchronization of multiple multimedia devices using a common timing framework
US9264839B2 (en) * 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
WO2015145782A1 (en) * 2014-03-26 2015-10-01 Panasonic Corporation Apparatus and method for surround audio signal processing
WO2016001355A1 (en) * 2014-07-02 2016-01-07 Thomson Licensing Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a hoa signal representation
US9451361B2 (en) * 2014-07-08 2016-09-20 Intel IP Corporation Apparatus, method and system of communicating acoustic information of a distributed microphone array between mobile devices
US9891881B2 (en) * 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9910634B2 (en) * 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
CN111654785B (zh) * 2014-09-26 2022-08-23 苹果公司 具有可配置区的音频系统
US9984693B2 (en) * 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
KR101596756B1 (ko) 2014-11-03 2016-03-07 현대자동차주식회사 리던던트 그랜드마스터를 이용한 차량 내 네트워크 시간 동기화 제공 방법 및 장치
US20160150008A1 (en) * 2014-11-25 2016-05-26 Google Inc. Clock synchronization using wifi beacons
EP3235310B1 (en) 2014-12-17 2021-11-03 Telefonaktiebolaget LM Ericsson (publ) Communication network nodes and methods performed therein
US9671998B2 (en) * 2014-12-31 2017-06-06 Qualcomm Incorporated Synchronised control
US10187817B2 (en) 2015-05-27 2019-01-22 Qualcomm Incorporated Measuring distance in wireless devices
US11125866B2 (en) * 2015-06-04 2021-09-21 Chikayoshi Sumi Measurement and imaging instruments and beamforming method
CN113473353B (zh) * 2015-06-24 2023-03-07 索尼公司 音频处理装置和方法以及计算机可读存储介质
US10003903B2 (en) * 2015-08-21 2018-06-19 Avago Technologies General Ip (Singapore) Pte. Ltd. Methods for determining relative locations of wireless loudspeakers
US9911433B2 (en) 2015-09-08 2018-03-06 Bose Corporation Wireless audio synchronization
US9699580B2 (en) * 2015-09-28 2017-07-04 International Business Machines Corporation Electronic media volume control
US10454604B2 (en) 2015-10-02 2019-10-22 Bose Corporation Encoded audio synchronization
US10353424B2 (en) * 2016-07-01 2019-07-16 Imagination Technologies Limited Clock synchronisation
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105794130A (zh) * 2013-12-09 2016-07-20 哈利法科学技术研究大学 使用线性规划用于同步的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Time Synchronization in Short Range Wireless Networks;Filip Gummesson 等;《Department of Electrical and Information Technology,Faculty of Engineering,LTH,Lund University,2016》;20160123;全文 *

Also Published As

Publication number Publication date
EP3539334A4 (en) 2019-09-18
US20200264838A1 (en) 2020-08-20
CN110291820A (zh) 2019-09-27
KR20210025735A (ko) 2021-03-09
KR20210025734A (ko) 2021-03-09
KR102224872B1 (ko) 2021-03-09
KR20220019296A (ko) 2022-02-16
US10255032B2 (en) 2019-04-09
US10649722B2 (en) 2020-05-12
JP2020184788A (ja) 2020-11-12
JP2022019843A (ja) 2022-01-27
US10241748B2 (en) 2019-03-26
KR20220098391A (ko) 2022-07-12
US11194542B2 (en) 2021-12-07
US10649716B2 (en) 2020-05-12
US10684817B2 (en) 2020-06-16
EP3539334A1 (en) 2019-09-18
EP3751918B1 (en) 2023-05-10
US10552115B2 (en) 2020-02-04
US20180167758A1 (en) 2018-06-14
US20180167645A1 (en) 2018-06-14
KR102293642B1 (ko) 2021-08-24
JP7206362B2 (ja) 2023-01-17
EP3539334B1 (en) 2020-09-02
US20180167760A1 (en) 2018-06-14
US20190220241A1 (en) 2019-07-18
US20180167757A1 (en) 2018-06-14
KR20200013087A (ko) 2020-02-05
US20180167759A1 (en) 2018-06-14
KR102357777B1 (ko) 2022-02-08
KR102111435B1 (ko) 2020-05-15
JP6737959B2 (ja) 2020-08-12
US20190171411A1 (en) 2019-06-06
WO2018111500A1 (en) 2018-06-21
EP4250747A2 (en) 2023-09-27
KR102415171B1 (ko) 2022-07-01
KR20190084335A (ko) 2019-07-16
KR102072682B1 (ko) 2020-02-04
EP4250747A3 (en) 2023-10-04
JP2020507058A (ja) 2020-03-05
JP2023052202A (ja) 2023-04-11
US10296287B2 (en) 2019-05-21
KR20200053656A (ko) 2020-05-19
US10649721B2 (en) 2020-05-12
US20180165055A1 (en) 2018-06-14
KR102510369B1 (ko) 2023-03-15
EP3751918A1 (en) 2020-12-16
JP6987189B2 (ja) 2021-12-22
US10956114B2 (en) 2021-03-23
US20180166101A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
CN110291820B (zh) 音频源的无线协调
CN110291819B (zh) 音频回放的无线协调装置和方法、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40015116

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210225

Address after: West Sussex

Patentee after: B & W Group Ltd.

Address before: California, USA

Patentee before: EVA AUTOMATION, Inc.