CN112492502A - 联网麦克风设备及其方法以及媒体回放系统 - Google Patents

联网麦克风设备及其方法以及媒体回放系统 Download PDF

Info

Publication number
CN112492502A
CN112492502A CN202011278502.2A CN202011278502A CN112492502A CN 112492502 A CN112492502 A CN 112492502A CN 202011278502 A CN202011278502 A CN 202011278502A CN 112492502 A CN112492502 A CN 112492502A
Authority
CN
China
Prior art keywords
playback
audio
calibration
sound
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011278502.2A
Other languages
English (en)
Other versions
CN112492502B (zh
Inventor
蒂莫西·希恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonos Inc
Original Assignee
Sonos Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/211,822 external-priority patent/US9794710B1/en
Priority claimed from US15/211,835 external-priority patent/US9860670B1/en
Application filed by Sonos Inc filed Critical Sonos Inc
Publication of CN112492502A publication Critical patent/CN112492502A/zh
Application granted granted Critical
Publication of CN112492502B publication Critical patent/CN112492502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005Audio distribution systems for home, i.e. multi-room use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/007Electronic adaptation of audio signals to reverberation of the listening space for PA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/007Monitoring arrangements; Testing arrangements for public address systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

本发明涉及联网麦克风设备及其方法以及媒体回放系统。示例技术可以涉及使用所应用的空间校准来执行频谱校准的各方面。示例实现可以包括:接收表示与相应回放配置相对应的空间滤波器的数据。该实现还可以涉及:使音频驱动器输出被划分成重复的帧集合的校准音频,该帧集合包括针对每个回放配置的相应帧。使音频驱动器输出校准音频可以涉及:使音频级在每个帧期间应用与相应回放配置相对应的空间滤波器。该实现还可以包括:接收表示与相应回放配置相对应的频谱滤波器的数据,频谱滤波器基于由音频驱动器输出的校准音频。当以给定回放配置回放音频内容时,音频级可以应用与该配置相对应的特定频谱滤波器。

Description

联网麦克风设备及其方法以及媒体回放系统
本发明申请为申请日为2017年7月14日并于2019年3月15日进入中国国家阶段的发明名称为“使用空间校准进行频谱校正”的第201780057093.3号发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2016年7月15日提交的美国专利申请第15/211,835号和于2016年7月15日提交的美国专利申请第15/211,822号的优先权,以上申请的全部内容通过引用合并在本文中。在整个公开内容中通过引用进行另外的合并。
技术领域
本公开内容涉及消费品,并且更特别地,涉及针对媒体回放或其一些方面的方法、系统、产品、特征、服务和其他元素。
背景技术
直到在2003年SONOS公司申请题为“Method for Synchronizing Audio Playbackbetween Multiple Networked Devices”的其首批专利申请之一,并且在2005年开始提供媒体回放系统用于出售时,用于以大声设置访问和收听数字音频的选择受到限制。Sonos无线高保真系统使人能经由一个或更多个联网回放设备来体验来自许多源的音乐。通过安装在智能电话、平板计算机或计算机上的软件控制应用,一个人可以在具有联网回放设备的任何房间中播放他或她想要的内容。另外,使用控制器,例如,可以利用回放设备将不同的歌曲流送至每个房间,房间可以被分组在一起以用于同步回放,或者可以在所有房间中同步地收听同一歌曲。
鉴于对数字媒体的日益增长的兴趣,仍然需要开发消费者可访问的技术以进一步增强收听体验。
发明内容
一种用于联网麦克风设备(NMD)的方法,所述方法包括:检测触发条件,所述触发条件启动针对多个回放配置对媒体回放系统的校准,每个回放配置表示经由所述媒体回放系统的多个音频驱动器形成的一个或更多个声轴的相应集合,其中,每个声轴对应于音频内容的相应输入声道;经由所述联网麦克风设备的网络接口来使所述媒体回放系统的所述多个音频驱动器中的每个音频驱动器输出被划分成包括针对每个回放配置的相应帧的重复的帧集合的校准音频,并且在与相应回放配置相对应的每个帧的相应时隙期间经由与给定回放配置相对应的所述一个或更多个声轴输出所述校准音频,使得在所述帧集合的每个帧期间,将相应空间滤波器集合应用于所述多个音频驱动器,所述相应空间滤波器集合包括用于与相应回放配置相对应的所述一个或更多个声轴中的每个声轴的相应空间滤波器,其中,所述空间滤波器通过以下方式在空间上将所述媒体回放系统校准至给定收听区域:通过对多个音频驱动器进行排列以形成特定声轴,在特定方向上引导所述声轴集合中的所述特定声轴的声音输出;经由麦克风记录由所述多个音频驱动器输出的所述校准音频;以及使处理设备基于所记录的校准音频来确定用于所述多个回放配置的相应频谱滤波器集合,每个频谱滤波器集合包括用于每个声轴的相应频谱滤波器。
一种联网麦克风设备,被配置成执行如上所述的方法。
一种媒体回放系统,包括:根据如上所述的联网麦克风设备;以及回放设备,被配置成在以给定回放配置回放音频内容时使音频级应用与所述给定回放配置相对应的特定频谱滤波器。
附图说明
考虑以下描述、所附权利要求以及附图,可以更好地理解本公开技术的特征、方面和优点,在附图中:
图1示出了其中可以实践某些实施方式的示例媒体回放系统配置;
图2示出了示例回放设备的功能框图;
图3示出了示例控制设备的功能框图;
图4示出了示例控制器接口;
图5示出了示例控制设备;
图6示出了根据示例实现的正显示示例控制接口的智能电话;
图7示出了通过示例媒体回放系统所位于的示例环境的示例移动;
图8示出了频率随时间增大的示例啁啾(chirp);
图9示出了示例布朗噪声频谱;
图10A和图10B示出了示例混合校准声音的过渡频率范围;
图11示出了说明示例周期性校准声音的迭代的帧;
图12示出了说明示例周期性校准声音的迭代的一系列帧;
图13示出了促进空间校准的示例流程图;
图14示出了说明被划分成帧和时隙的校准音频的示例帧;
图15示出了根据示例实现的正显示示例控制接口的智能电话;
图16示出了根据示例实现的正显示示例控制接口的智能电话;
图17示出了根据示例实现的正显示示例控制接口的智能电话;
图18示出了根据示例实现的正显示示例控制接口的智能电话;
图19示出了使用所应用的空间校准来促进空间校准的示例流程图;
图20示出了使用所应用的空间校准来促进空间校准的示例流程图;以及
图21示出了根据示例实现的正显示示例控制接口的智能电话。
附图是为了说明示例实施方式的目的,但是应该理解,本发明不限于附图中所示的布置和手段。
具体实施方式
I.概述
本文描述的实施方式尤其涉及促进对媒体回放系统的校准的技术。本文设想的一些校准过程涉及:记录设备(例如,联网麦克风设备(NMD))检测由媒体回放系统的一个或更多个回放设备发出的声波(例如,一个或更多个校准声音)。处理设备诸如记录设备、回放设备或通信地耦接至媒体回放系统的另外的设备可以分析检测到的声波以确定针对媒体回放系统的一个或更多个回放设备的一个或更多个校准。当被应用时,这样的校准可以将一个或更多个回放设备配置到给定收听区域(即,在发出声波的同时将一个或多个回放设备定位的环境)。
在本文设想的一些实施方式中,处理设备可以确定第一类型的校准。例如,处理设备可以确定在空间上将一个或更多个回放设备配置到给定收听区域的空间校准。这样的校准可以将一个或更多个回放设备配置到环境内的一个或更多个特定位置(例如,一个或更多个优选收听位置,例如最喜欢的座位位置),可能通过针对那些特定位置调整时间延迟和/或响度来进行配置。空间校准可以包括一个或更多个滤波器,滤波器包括延迟和/或相位调整、增益调整和/或任何其他调整以校正一个或多个回放设备相对于环境内的一个或更多个特定位置的空间放置。
如上所述,在校准过程期间,媒体回放系统的一个或更多个回放设备可以输出校准声音。一些示例媒体回放系统可以包括多个音频驱动器,多个音频驱动器可以以各种布置在媒体回放系统的一个或多个回放设备之间划分。例如,示例媒体回放系统可以包括具有多个音频驱动器(例如,九个音频驱动器)的条形音箱型回放设备。另一回放设备可能包括多个不同类型的音频驱动器(例如,可能具有不同尺寸的高音扬声器和低音扬声器)。其他示例回放设备可以包括单个音频驱动器(例如,回放设备中的单个全范围低音扬声器,或超低音扬声器型设备中的大型低频低音扬声器)。
在操作中,媒体回放系统的多个音频驱动器可以形成多个“声轴”。每个这样的“声轴”可以对应于音频内容的相应输入声道。在一些实现中,可以对两个或更多个音频驱动器进行排列以形成声轴。例如,条形音箱型设备可以包括形成多个声轴(例如,前环绕声道、左环绕声道和右环绕声道)的九个音频驱动器。任何音频驱动器都可能对任何数量的声轴有贡献。例如,环绕声系统的左轴可以由示例条形音箱型设备中的所有九个音频驱动器的贡献形成。可替选地,轴可以由单个音频驱动器形成。
本文描述的示例媒体回放系统可以采用表示相应声轴组的各种回放配置。示例回放配置可以包括基于输入声道的数量的相应配置(例如,单声道、立体声、环绕声或以上任何与超低音扬声器的组合)。其他示例回放配置可以基于内容类型。例如,当播放音乐时可以由媒体回放系统的音频驱动器形成第一轴集合,当播放与视频配对的音频(例如,电视音频)时可以由音频驱动器形成第二轴集合。其他回放确认可以由媒体回放系统内的回放设备的各种分组引起。许多示例是可能的。
在一些示例校准过程期间,媒体回放系统的多个音频驱动器可以形成多个声轴,使得每个声轴在校准过程期间输出声音。例如,由多个音频驱动器发出的校准音频可以被分成组成帧。每个帧又可以分成时隙。在给定帧的每个时隙期间,可以通过输出音频来形成相应的声轴。以这种方式,记录音频驱动器的音频输出的NMD可以从每个声轴获得样本。帧可以重复,以在由NMD记录时针对每个声轴产生多个样本。
可以通过本文描述的示例校准过程产生的另一类型的校准是频谱校准。频谱校准可以在频谱上跨给定收听区域对媒体回放系统的一个或多个回放设备进行配置。这样的校准通常可以帮助补偿环境的声学特性,而不是如空间校准那样相对更多地指向特定收听位置。频谱校准可以包括调整回放设备的频率响应的一个或更多个滤波器。在操作中,两个或更多个校准之一可以应用于一个或更多个回放设备的回放,可能用于不同的使用情况。示例使用情况可以包括音乐回放或环绕声(即家庭影院)等。
在本文设想的一些示例校准过程中,媒体回放系统可以执行第一校准以确定针对媒体回放系统的一个或多个回放设备的空间校准。然后,媒体回放系统可以在第二校准期间在回放设备发出音频的同时应用空间校准,以确定频谱校准。这样的校准过程可以产生包括空间校正和频谱校正两者的校准。
示例技术可以涉及执行空间校准的各方面。第一实现可以包括:检测启动对媒体回放系统的校准的触发条件,该媒体回放系统包括形成多个声轴的多个音频驱动器,每个声轴对应于多声道音频内容的相应声道。第一实现还可以包括使多个音频驱动器发出被分成组成帧的校准音频,多个声轴在每个组成帧的相应时隙期间发出校准音频。第一实现还可以包括经由麦克风记录所发出的校准音频。第一实现可以包括:使得确定多个声轴中的每个声轴的延迟,所确定的每个声轴的延迟基于与声轴对应的所记录的校准音频的时隙;以及使得校准多个声轴。校准多个声轴可以涉及:使得根据所确定的相应延迟来延迟多个声轴的音频输出。
第二实现可以包括:接收表示与相应回放配置相对应的一个或更多个空间滤波器的数据。每个回放配置可以表示经由一个或更多个音频驱动器形成的特定声轴集合,并且每个声轴可以对应于音频内容的相应声道。第二实现还可以涉及使一个或更多个音频驱动器输出被划分成重复的帧集合的校准音频,该帧集合包括针对每个回放配置的相应帧。使一个或更多个音频驱动器输出校准音频可以涉及:使音频级在每个帧期间应用与相应回放配置相对应的空间滤波器。第二实现还可以包括:接收表示与相应回放配置相对应的一个或更多个频谱滤波器的数据,该一个或更多个频谱滤波器基于由一个或更多个音频驱动器输出的校准音频。当以给定回放配置回放音频内容时,音频级可以应用与给定回放配置相对应的特定频谱滤波器。
第三实现可以包括:检测触发条件,该触发条件启动针对多个回放配置对媒体回放系统的校准。每个回放配置表示经由媒体回放系统的多个音频驱动器形成的特定声轴集合,并且每个声轴可以对应于音频内容的相应声道。第三实现还可以涉及使多个音频驱动器输出被划分成重复的帧集合的校准音频,该帧集合包括针对每个回放配置的相应帧。使多个音频驱动器输出校准音频可以涉及:使得在该帧集合的每个帧期间将相应空间滤波器集合应用于多个音频驱动器,每个空间滤波器集合包括用于每个声轴的相应空间滤波器。第三实现还可以涉及:经由麦克风记录由多个音频驱动器输出的校准音频,并且使处理设备基于所记录的校准音频来确定用于多个回放配置的相应频谱滤波器集合,每个频谱滤波器集合包括用于每个声轴的相应频谱滤波器。
这些示例实现中的每一个可以实施为方法、被配置成执行实现的设备、被配置成执行实现的设备的系统或者包含可由一个或更多个处理器执行以执行实现的指令的非暂态计算机可读介质,以及其他示例。本领域普通技术人员将理解,本公开内容包括许多其他实施方式,包括本文描述的示例特征的组合。此外,被描述为由给定设备执行以说明技术的任何示例操作可以由包括本文描述的设备的任何合适的设备执行。此外,任何设备可以使另一设备执行本文描述的任何操作。
虽然本文中描述的一些示例可以涉及由给定的行动者例如“用户”和/或其他实体执行的功能,但是应该理解的是,该描述仅出于说明的目的。除非权利要求本身的语言明确要求,否则权利要求不应该被解释为需要任何这样的示例行动者的行动。
II.示例操作环境
图1示出了其中可以实践或实现本文中公开的一个或更多个实施方式的媒体回放系统100的示例配置。所示出的媒体回放系统100与具有若干房间和空间——例如主卧室、办公室、餐厅和起居室——的示例家庭环境相关联。如图1的示例中所示,媒体回放系统100包括回放设备102至回放设备124、控制设备126和128以及有线或无线网络路由器130。
可以在下面的部分中找到与示例媒体回放系统100的不同组件以及不同组件可以如何交互以向用户提供媒体体验有关的进一步讨论。虽然本文中的讨论可以通常涉及示例媒体回放系统100,但是本文中描述的技术不限于如图1所示的家庭环境等内的应用。例如,本文中描述的技术可以在以下可能期望多区音频的环境中有用:例如商业环境如餐馆、商场或机场,交通工具如运动型多功能车(SUV)、公共汽车或汽车、舰或船、飞机等。
a.示例回放设备
图2示出了示例回放设备200的功能框图,该示例回放设备200可以被配置为图1的媒体回放系统100的回放设备102至回放设备124中的一个或更多个。回放设备200可以包括:处理器202、软件组件204、存储器206、音频处理组件208、音频放大器210、扬声器212、包括无线接口216和有线接口218的网络接口214。在一种情况下,回放设备200可以不包括扬声器212,而可以包括用于将回放设备200连接至外部扬声器的扬声器接口。在另一种情况下,回放设备200可以既不包括扬声器212也不包括音频放大器210,而可以包括用于将回放设备200连接至外部音频放大器或视听接收器的音频接口。
在一个示例中,处理器202可以是被配置成根据存储在存储器206中的指令来处理输入数据的时钟驱动计算组件。存储器206可以是被配置成存储能够由处理器202执行的指令的有形计算机可读介质。例如,存储器206可以是可以加载有能够由处理器202执行以实现某些功能的软件组件204中的一个或更多个的数据存储装置。在一个示例中,功能可以涉及回放设备200从音频源或另一回放设备检索音频数据。在另一示例中,功能可以涉及回放设备200向网络上的另一设备或回放设备发送音频数据。在又一示例中,功能可以涉及回放设备200与一个或更多个回放设备的配对以创建多声道音频环境。
某些功能可以涉及回放设备200与一个或更多个其他回放设备同步对音频内容的回放。在同步回放期间,收听者优选地将不能感知回放设备200对音频内容的回放与一个或更多个其他回放设备对音频内容的回放之间的时间延迟差异。在此通过引用并入本文的题为“System and method for synchronizing operations among a plurality ofindependently clocked digital data processing devices”的第8,234,395号美国专利更详细地提供了用于回放设备之间的音频回放同步的一些示例。
存储器206还可以被配置成存储与回放设备200相关联的数据,例如回放设备200是其一部分的一个或更多个区和/或区组、可由回放设备200访问的音频源、或者可与回放设备200(或某些其他回放设备)相关联的回放队列。该数据可以被存储为周期性地更新并且用来描述回放设备200的状态的一个或更多个状态变量。存储器206还可以包括这样的数据:该数据与媒体系统的其他设备的状态相关联,并且不时地在设备之间共享,使得设备中的一个或更多个具有与系统相关联的最新数据。其他实施方式也是可行的。
音频处理组件208可以包括一个或更多个数模转换器(DAC)、音频预处理组件、音频增强组件或数字信号处理器(DSP)等。在一个实施方式中,音频处理组件208中的一个或更多个可以是处理器202的子组件。在一个示例中,音频处理组件208可以处理和/或有意地改变音频内容以产生音频信号。然后,可以将产生的音频信号提供至音频放大器210以用于放大并且通过扬声器212进行回放。特别地,音频放大器210可以包括被配置成将音频信号放大至用于驱动扬声器212中的一个或更多个的水平的设备。扬声器212可以包括单独的换能器(例如,“驱动器”),或者包括具有一个或更多个驱动器的外壳的完整扬声器系统。扬声器212的特定驱动器可以包括例如超低音扬声器(例如,用于低频)、中档驱动器(例如,用于中频)和/或高音扬声器(例如,用于高频)。在一些情况下,一个或更多个扬声器212中的每个换能器可以由音频放大器210的单独相应音频放大器来驱动。除了产生用于由回放设备200回放的模拟信号以外,音频处理组件208可以被配置成对要被发送至一个或更多个其他回放设备以供回放的音频内容进行处理。
可以例如经由音频线路输入连接(例如,自动检测3.5mm音频线路输入连接)或网络接口214从外部源接收要由回放设备200处理和/或回放的音频内容。
网络接口214可以被配置成促进回放设备200与数据网络上的一个或更多个其他设备之间的数据流动。同样地,回放设备200可以被配置成通过数据网络从与该回放设备200通信的一个或更多个其他回放设备、局域网内的网络设备或者广域网如互联网上的音频内容源接收音频内容。在一个示例中,可以以包含基于互联网协议(IP)的源地址和基于IP的目标地址的数字分组数据的形式发送由回放设备200发送和接收的音频内容和其他信号。在这样的情况下,网络接口214可以被配置成对数字分组数据进行解析,使得回放设备200正确地接收和处理去往该回放设备200的数据。
如所示出的,网络接口214可以包括无线接口216和有线接口218。无线接口216可以为回放设备200提供网络接口功能以根据通信协议(例如任何无线标准,包括IEEE802.11a、802.11b、802.11g、802.11n、802.11ac、802.15、4G移动通信标准等)与其他设备(例如,与回放设备200相关联的数据网络内的其他回放设备、扬声器、接收器、网络设备、控制设备)进行无线通信。有线接口218可以为回放设备200提供网络接口功能以根据通信协议(例如,IEEE 802.3)通过有线连接与其他设备进行通信。虽然图2中示出的网络接口214包括无线接口216和有线接口218两者,但是在一些实施方式中,网络接口214可以仅包括无线接口或仅包括有线接口。
在一个示例中,可以将回放设备200与一个其他回放设备进行配对以播放音频内容的两个分开的音频分量。例如,回放设备200可以被配置成播放左声道音频分量,而其他回放设备可以被配置成播放右声道音频分量,从而产生或增强音频内容的立体声效果。配对的回放设备(也被称为“绑定的回放设备”)还可以与其他回放设备同步地播放音频内容。
在另一示例中,可以将回放设备200与一个或更多个其他回放设备在声音上联合以形成单个联合的回放设备。因为联合的回放设备可以具有额外的扬声器驱动器,其中可以通过该扬声器驱动器来呈现音频内容,所以联合的回放设备可以被配置成与非联合的回放设备或配对的回放设备不同地处理和再现声音。例如,如果回放设备200是被设计成呈现低频范围音频内容的回放设备(即,超低音扬声器),则回放设备200可以与被设计成呈现全频范围音频内容的回放设备联合。在这样的情况下,当与低频回放设备200联合时,全频范围回放设备可以被配置成仅呈现音频内容的中频分量和高频分量,而低频范围回放设备200呈现音频内容的低频分量。联合的回放设备还可以与单个回放设备或另一联合的回放设备配对。
举例来说,SONOS公司目前公开发售(或已经公开发售)某些回放设备,某些回放设备包括“PLAY:1”、“PLAY:3”、“PLAY:5”、“PLAYBAR”、“CONNECT:AMP”、“CONNECT”和“SUB”。另外地或可替选地,任何其他过去的、现在的和/或将来的回放设备可以用于实现本文公开的示例实施方式的回放设备。另外,应当理解的是,回放设备不限于图2中示出的示例或SONOS产品供应。例如,回放设备可以包括有线或无线耳机。在另一示例中,回放设备可以包括用于个人移动媒体回放设备的对接站或与该对接站交互。在又一示例中,回放设备可以集成至另一设备或组件如电视、照明器材或供室内或室外使用的一些其他设备。
b.示例回放区配置
返回参照图1的媒体回放系统100,环境可以具有一个或更多个回放区,每个回放区具有一个或更多个回放设备。媒体回放系统100可以与一个或更多个回放区一起建立,此后,一个或更多个区可以被添加或移除以得到图1中示出的示例配置。可以根据不同的房间或空间——例如办公室、浴室、主卧室、卧室、厨房、餐厅、起居室和/或阳台——给每个区命名。在一种情况下,单个回放区可以包括多个房间或空间。在另一种情况下,单个房间或空间可以包括多个回放区。
如图1示出的,阳台、餐厅、厨房、浴室、办公室和卧室区各有一个回放设备,而起居室区和主卧室区各有多个回放设备。在起居室区中,回放设备104、106、108和110可以被配置成:作为单独的回放设备、作为一个或更多个绑定的回放设备、作为一个或更多个联合的回放设备或者其任意组合来同步地播放音频内容。类似地,在主卧室的情况下,回放设备122和124可以被配置成:作为单独的回放设备、作为绑定的回放设备或者作为联合的回放设备来同步地播放音频内容。
在一个示例中,图1的环境中的一个或更多个回放区可以各自正在播放不同的音频内容。例如,用户可以正在阳台区中烧烤并且收听正由回放设备102播放的嘻哈音乐,同时另一用户可以正在厨房区中准备食物并且收听正由回放设备114播放的古典音乐。在另一示例中,回放区可以与另一回放区同步地播放相同的音频内容。例如,用户可以在办公室区中,在该办公室区中回放设备118正在播放与阳台区中的回放设备102正播放的摇滚音乐相同的摇滚音乐。在这样的情况下,回放设备102和回放设备118可以同步播放摇滚音乐,使得当用户在不同回放区之间移动时可以无缝地(或至少基本上无缝地)享受正被大声播放的音频内容。如在先前引用的第8,234,395号美国专利中描述的,可以以与回放设备之间的同步方式类似的方式实现回放区之间的同步。
如上面提出的,可以动态地修改媒体回放系统100的区配置,并且在一些实施方式中,媒体回放系统100支持许多配置。例如,如果用户物理地将一个或更多个回放设备移动至区或从区移出一个或更多个回放设备,则媒体回放系统100可以被重新配置以适应改变。例如,如果用户物理地将回放设备102从阳台区移动至办公室区,则办公室区现在可以包括回放设备118和回放设备102两者。如果需要,则可以经由控制设备如控制设备126和控制设备128将回放设备102与办公室区配对或分组在一起和/或对该回放设备102重命名。另一方面,如果一个或更多个回放设备被移动至家庭环境中的尚不是回放区的特定区域,则可以针对该特定区域创建新的回放区。
此外,可以将媒体回放系统100的不同回放区动态地组合成区组或将其划分成单独的回放区。例如,可以将餐厅区和厨房区114组合成用于晚餐聚会的区组,使得回放设备112和114可以同步地呈现音频内容。另一方面,如果用户希望在起居室空间中收听音乐而另一用户希望看电视,则可以将起居室区划分成包括回放设备104的电视区以及包括回放设备106、108和110的收听区。
c.示例控制设备
图3示出了示例控制设备300的功能框图,该示例控制设备300可以被配置为媒体回放系统100的控制设备126和控制设备128中的一者或两者。控制设备300还可以被称为控制器300。如示出的,控制设备300可以包括处理器302、存储器304、网络接口306、用户接口308。在一个示例中,控制设备300可以是用于媒体回放系统100的专用控制器。在另一示例中,控制设备300可以是可以安装媒体回放系统控制器应用软件的网络设备,例如,iPhoneTM、iPadTM或者任何其他智能电话、平板计算机或网络设备(例如,联网的计算机如PC或MacTM)。
处理器302可以被配置成执行与促进对媒体回放系统100的用户访问、控制和配置有关的功能。存储器304可以被配置成存储可由处理器302执行以执行那些功能的指令。存储器304还可以被配置成存储媒体回放系统控制器应用软件以及与媒体回放系统100和用户相关联的其他数据。
在一个示例中,网络接口306可以基于行业标准(例如,包括IEEE 802.3的红外、无线电、有线标准,包括IEEE 802.11a、802.11b、802.11g、802.11n、802.11ac、802.15的无线标准、4G移动通信标准等)。网络接口306可以提供用于控制设备300与媒体回放系统100中的其他设备进行通信的手段。在一个示例中,可以经由网络接口306在控制设备300与其他设备之间传送数据和信息(例如,如状态变量)。例如,控制设备300可以经由网络接口306从回放设备或另一网络设备接收媒体回放系统100中的回放区和区组配置或者控制设备300可以经由网络接口306将媒体回放系统100中的回放区和区组配置发送至另一回放设备或网络设备。在一些情况下,其他网络设备可以是另一控制设备。
还可以经由网络接口306将回放设备控制命令如音量控制和音频回放控制从控制设备300传送至回放设备。如上面提出的,用户还可以使用控制设备300来执行对媒体回放系统100的配置的改变。配置改变可以包括:将一个或更多个回放设备添加至区或从区移除一个或更多个回放设备;将一个或更多个区添加至区组或从区组移除一个或更多个区;形成绑定的或联合的播放器;从绑定的或联合的播放器分离一个或更多个回放设备等。因此,有时可以将控制设备300称为控制器,而不论控制设备300是专用控制器还是安装有媒体回放系统控制器应用软件的网络设备。
控制设备300的用户接口308可以被配置成通过提供控制器接口例如图4示出的控制器接口400来促进对媒体回放系统100的用户访问和控制。控制器接口400包括回放控制区域410、回放区区域420、回放状态区域430、回放队列区域440以及音频内容源区域450。示出的用户接口400仅是可以在网络设备如图3的控制设备300(和/或图1的控制设备126和128)上提供并且由用户访问以控制媒体回放系统如媒体回放系统100的用户接口的一个示例。可替选地,可以在一个或更多个网络设备上实现不同格式、样式和交互序列的其他用户接口以提供对媒体回放系统的可比较的控制访问。
回放控制区域410可以包括用于使所选择的回放区或区组中的回放设备播放或暂停、快进、倒回、跳到下一首、跳到上一首、进入/退出随机模式、进入/退出重复模式、进入/退出交叉渐变模式的可选(例如,通过触摸或通过使用光标)图标。回放控制区域410还可以包括用于修改均衡设定和回放音量以及其他可能性的可选图标。
回放区区域420可以包括媒体回放系统100内的回放区的表示。在一些实施方式中,回放区的图形表示可以是可选的以产生另外的可选图标,以管理或配置媒体回放系统中的回放区,例如,绑定区的创建、区组的创建、区组的分离和区组的重命名,以及其他可能性。
例如,如示出的,可以在回放区的图形表示中的每一个内设置“分组”图标。在特定区的图形表示内设置的“分组”图标可以是可选的,以产生用于选择媒体回放系统中的要与该特定区分组在一起的一个或更多个其他区的选项。一旦被分组,已经与特定区分组在一起的区中的回放设备将被配置成与特定区中的回放设备同步地播放音频内容。类似地,可以在区组的图形表示内设置“分组”图标。在这种情况下,“分组”图标可以是可选的,以产生用于取消选择区组中的要从该区组移除的一个或更多个区的选项。用于经由用户接口如用户接口400对区进行分组和取消分组的其他交互和实现也是可行的。随着回放区或区组配置被修改,可以动态地更新回放区区域420中的回放区的表示。
回放状态区域430可以包括所选择的回放区或区组中的当前正在被播放、先前被播放或被安排接下来要播放的音频内容的图形表示。可以在用户接口上——例如在回放区区域420和/或回放状态区域430内——在视觉上区分所选择的回放区或区组。图形表示可以包括曲目名称、艺术家姓名、专辑名、专辑年份、曲目长度以及对用户了解何时经由用户接口400来控制媒体回放系统而言有用的其他相关信息。
回放队列区域440可以包括与所选择的回放区或区组相关联的回放队列中的音频内容的图形表示。在一些实施方式中,每个回放区或区组可以与这样的回放队列相关联,该回放队列包含与用于由回放区或区组回放的零个或更多个音频项相对应的信息。例如,回放队列中的每个音频项可以包括统一资源标识符(URI)、统一资源定位符(URL)或一些其他标识符,其他标识符可以由回放区或区组中的回放设备使用以从本地音频内容源或联网音频内容源查找和/或检索音频项,可能用于由回放设备回放。
在一个示例中,可以将播放列表添加至回放队列,在这种情况下,可以将与播放列表中的每个音频项相对应的信息添加至回放队列。在另一示例中,可以将回放队列中的音频项保存为播放列表。在又一示例中,当回放区或区组正在连续播放流式音频内容——例如,可以连续播放直到以其他方式被停止的互联网广播,而不是播放具有回放持续时间的离散音频项时,回放队列可以是空的或者被填充但“不在使用中”。在替选实施方式中,回放队列可以包括互联网广播和/或其他流式音频内容项并且当回放区或区组正在播放那些项时回放队列“在使用中”。其他示例也是可行的。
当回放区或区组被“分组”或被“取消分组”时,可以清除或重新关联与受影响的回放区或区组相关联的回放队列。例如,如果将包括第一回放队列的第一回放区与包括第二回放队列的第二回放区分组在一起,则所建立的区组可以具有相关联的回放队列,该相关联的回放队列最初为空,包含来自第一回放队列的音频项(例如,如果第二回放区被添加至第一回放区),包含来自第二回放队列的音频项(例如,如果第一回放区被添加至第二回放区),或者来自第一回放队列和第二回放队列两者的音频项的组合。随后,如果建立的区组被取消分组,则所得到的第一回放区可以与先前的第一回放队列重新关联,或者可以与以下新的回放队列相关联,该新的回放队列是空的或者包含来自在所建立的区组被取消分组之前与所建立的区组相关联的回放队列的音频项。类似地,所得到的第二回放区可以与先前的第二回放队列重新关联,或者与以下新的回放队列相关联,该新的回放队列是空的或者包含来自在所建立的区组被取消分组之前与所建立的区组相关联的回放队列的音频项。其他示例也是可行的。
返回参照图4的用户接口400,回放队列区域440中的音频内容的图形表示可以包括曲目名称、艺术家姓名、曲目长度以及与回放队列中的音频内容相关联的其他相关信息。在一个示例中,音频内容的图形表示可以是可选的以产生另外的可选图标,以管理和/或操纵回放队列和/或回放队列中呈现的音频内容。例如,所呈现的音频内容可以从回放队列中移除,可以被移动至回放队列内的不同位置,或者被选择以立即播放或者在任何当前播放的音频内容之后播放,以及其他可能性。与回放区或区组相关联的回放队列可以被存储在回放区或区组中的一个或更多个回放设备上的存储器中、不在回放区或区组中的回放设备上的存储器中和/或一些其他指定设备上的存储器中。对这样的回放队列的回放可以涉及一个或更多个回放设备可能以连续顺序或随机顺序回放该队列的媒体项。
音频内容源区域450可以包括可选音频内容源的图形表示,可以从该可选音频内容源检索音频内容并且由所选择的回放区或区组播放音频内容。可以在下面部分中找到关于音频内容源的论述。
图5描绘了智能电话500,该智能电话包括一个或更多个处理器、有形计算机可读存储器、网络接口和显示器。智能电话500可以是图1的控制设备126或128或者图3的控制设备300或者本文描述的其他控制设备的示例实现。借助示例,将参考智能电话500以及智能电话500在作为媒体回放系统(例如,媒体回放系统100)的控制设备操作时可以显示的某些控制接口、提示和其他图形元素。在示例内,这样的接口和元素可以由任何合适的控制设备——例如智能电话、平板计算机、膝上型计算机或台式计算机、个人媒体播放器或远程控制设备——显示。
当作为媒体回放系统的控制设备操作时,智能电话500可以显示一个或更多个控制器接口,例如控制器接口400。类似于图4的回放控制区域410、回放区区域420、回放状态区域430、回放队列区域440和/或音频内容源区域450,智能电话500可以显示一个或更多个相应的接口,例如回放控制接口、回放区接口、回放状态接口、回放队列接口和/或音频内容源接口。示例控制设备可能利用例如智能电话或其他手持设备来显示屏幕尺寸相对受限的单独接口(而不是区域)。
d.示例音频内容源
如前面指出的,区或区组中的一个或更多个回放设备可以被配置成从各种可用音频内容源检索用于回放的音频内容(例如,根据音频内容的相应URI或URL)。在一个示例中,可以由回放设备直接从相应的音频内容源(例如,线路输入连接)检索音频内容。在另一示例中,可以经由一个或更多个其他回放设备或网络设备通过网络将音频内容提供给回放设备。
示例音频内容源可以包括:媒体回放系统例如图1的媒体回放系统100中的一个或更多个回放设备的存储器、一个或更多个网络设备(例如,如控制设备、支持网络的个人计算机或网络附加存储装置(NAS))上的本地音乐库、经由互联网(例如,云)提供音频内容的流式音频服务或者经由回放设备或网络设备上的线路输入连接与媒体回放系统连接的音频源,以及其他可能性。
在一些实施方式中,可以有规律地从媒体回放系统例如图1的媒体回放系统100添加或移除音频内容源。在一个示例中,每当添加、移除或更新一个或更多个音频内容源时,可以执行对音频项编索引。对音频项编索引可以涉及:扫描在能够由媒体回放系统中的回放设备访问的网络上共享的所有文件夹/目录中的可识别音频项;以及生成或更新音频内容数据库,该音频内容数据库包含元数据(例如,名称、艺术家、专辑、曲目长度等)以及其他关联信息,例如找到的每个可识别音频项的URI或URL。用于管理和保持音频内容源的其他示例也是可行的。
e.示例校准序列
如上所述,示例校准过程可以涉及:一个或更多个回放设备发出校准声音,该校准声音可以由记录设备(或多个记录设备)检测。
在一些实施方式中,可以在要校准回放设备的频率范围(即,校准范围)上分析检测到的校准声音。因此,由回放设备发出的特定校准声音覆盖校准频率范围。校准频率范围可以包括回放设备能够发出的频率范围(例如15Hz至30000Hz),并且可以包括被认为处于人类听觉范围(例如,20Hz至20000Hz)内的频率。通过发出并随后检测覆盖这样的频率范围的校准声音,可以针对回放设备来确定包括该范围的频率响应。这样的频率响应可以表示其中回放设备发出校准声音的环境。
在一些实施方式中,回放设备可以在校准过程期间重复发出校准声音,使得校准声音在每个重复期间覆盖校准频率范围。利用移动的麦克风,在环境内的不同物理位置处连续检测校准声音的重复。例如,回放设备可能发出周期性校准声音。可以由记录设备在环境内的不同物理位置处检测校准声音的每个周期,从而在该位置处提供样本(即,表示重复的帧)。这样的校准声音因此可以促进对环境的空间平均的校准。当使用多个麦克风时,每个麦克风可以覆盖环境的相应部分(可能具有一些重叠)。
此外,记录设备可以测量移动样本和静止样本两者。例如,当一个或更多个回放设备输出校准声音时,记录设备可以在环境内移动。在这样的移动期间,记录设备可以在一个或更多个位置暂停以测量静止样本。这样的位置可以对应于优选的收听位置。在另一示例中,第一记录设备和第二记录设备可以分别包括第一麦克风和第二麦克风。当回放设备发出校准声音时,第一麦克风可以移动,并且第二麦克风可以保持静止,可能在环境内的特定收听位置(例如,最喜欢的椅子)处保持静止。
在一些情况下,一个或更多个回放设备可以加入分组,例如绑定区或区组。在这样的情况下,校准过程可以将一个或更多个回放设备作为组来校准。示例分组包括区组或绑定对,以及其他示例配置。
受校准的一个或多个回放设备可以基于触发条件来启动校准过程。例如,记录设备诸如媒体回放系统100的控制设备126可以检测触发条件,该触发条件使记录设备启动对一个或更多个回放设备(例如,回放设备102至124中的一个或更多个)的校准。可替选地,媒体回放系统的回放设备可以检测这样的触发条件(并且可能将该触发条件的指示转发至记录设备)。
在一些实施方式中,检测触发条件可以涉及:检测指示对可选控件的选择的输入数据。例如,记录设备例如控制设备126可以显示包括一个或更多个控件的接口(例如,图4的控制接口400),该控件在被选择时启动对回放设备或者回放设备的组(例如,区)的校准。
为了说明这样的控件,图6示出了显示示例控制接口600的智能电话500。控制接口600包括:提示当准备好时点击可选控件604(开始)的图形区域602。当被选择时,可选控件604可以启动校准过程。如所示的,可选控件604是按钮控件。尽管通过示例示出了按钮控件,但是也可以设想其他类型的控件。
控制接口600还包括图形区域606,图形区域包括描绘如何帮助校准过程的视频。一些校准过程可以涉及:将麦克风在环境内移动,以在多个物理位置处获得校准声音的样本。为了提示用户移动麦克风,控制设备可以显示描绘要在校准期间执行的一个或更多个步骤的视频或动画。
为了说明控制设备在校准期间的移动,图7示出了图1的媒体回放系统100。图7示出了记录设备(例如,控制设备126)在校准期间可能沿其移动的路径700。如上所述,记录设备可以以各种方式例如借助视频或动画等来指示如何执行这样的移动。记录设备可以在沿着路径700的不同点处检测由媒体回放系统100的一个或更多个回放设备发出的校准声音的迭代,这可以促进对那些回放设备的空间平均的校准。
在其他示例中,检测触发条件可以涉及:回放设备检测到回放设备已变得未校准,这可能是由于将回放设备移动到不同的位置引起的。例如,回放设备可以经由对移动敏感的一个或更多个传感器(例如,加速度计)来检测物理移动。作为另一示例,回放设备可能检测到其已被移动至不同的区(例如,从“厨房”区移动至“起居室”区),可能通过从控制设备接收到使回放设备离开第一区并加入第二区的指示而被移动至不同的区。
在另外的示例中,检测触发条件可以涉及:记录设备(例如,控制设备或回放设备)检测系统中的新回放设备。这样的回放设备可能尚未针对环境进行校准。例如,记录设备可以检测新回放设备作为媒体回放系统的设置过程(例如,将一个或更多个回放设备配置到媒体回放系统中的过程)的一部分。在其他情况下,记录设备可以通过以下操作来检测新回放设备:检测指示用于配置媒体回放系统的请求(例如,配置具有附加回放设备的媒体回放系统的请求)的输入数据。
在一些情况下,第一记录设备(或另一设备)可以指示一个或更多个回放设备发出校准声音。例如,记录设备诸如媒体回放系统100的控制设备126可以发送使回放设备(例如,回放设备102至124之一)发出校准声音的命令。控制设备可以经由网络接口(例如,有线网络接口或无线网络接口)发送命令。回放设备可以接收这样的命令,可能经由网络接口接收这样的命令,并响应地发出校准声音。
环境的声学效果(Acoustics)可能随环境内的位置而变化。由于该变化,可以通过以与稍后操作回放设备相同的方式将要校准的回放设备定位在环境内来改进一些校准过程。在该位置,环境可能以与在操作期间环境将影响回放类似的方式来影响由回放设备发出的校准声音。
此外,一些示例校准过程可以涉及:一个或更多个记录设备在环境内的多个物理位置处检测校准声音,这可以进一步帮助捕获环境内的声学效果变化性。为了促进在环境内的多个点处检测校准声音,一些校准过程涉及移动的麦克风。例如,在发出校准声音的同时,正在检测校准声音的麦克风可以在环境内移动。这样的移动可以促进在环境内的多个物理位置处检测校准声音,这可以提供对整个环境的更好的理解。
在一些实施方式中,一个或更多个回放设备可以在校准过程期间重复发出校准声音,使得校准声音在每个重复期间覆盖校准频率范围。使用移动的麦克风,在环境内的不同物理位置处检测校准声音的重复,从而提供在整个环境中间隔开的样本。在一些情况下,校准声音可以是周期性校准信号,其中每个周期覆盖校准频率范围。
为了促进确定频率响应,应该在每个频率下以足够的能量发出校准声音以克服背景噪声。为了增加给定频率下的能量,该频率下的音调可以被发出达更长的持续时间。然而,通过延长校准声音的周期,校准过程的空间分辨率降低,这是因为移动的麦克风在每个周期期间移动得更远(假定相对恒定的速度)。作为增加给定频率下的能量的另一种技术,回放设备可以增加音调的强度。然而,在某些情况下,尝试在短时间内发出足够的能量可能会损坏回放设备的扬声器驱动器。
一些实现可以通过以下操作来平衡这些考虑:指示回放设备发出具有大约3/8秒的持续时间(例如,在1/4秒到1秒的持续时间的范围内)的周期的校准声音。换句话说,校准声音可以以2Hz至4Hz的频率重复。这样的持续时间可以足够长以在每个频率下提供足够能量的音调以克服典型环境(例如,安静的房间)中的背景噪声,但是也要足够短以使空间分辨率保持在可接受的范围内(例如,假设正常行走速度,小于几英尺)。
在一些实施方式中,一个或更多个回放设备可以发出混合校准声音,混合校准声音将具有相应波形的第一分量和第二分量进行组合。例如,示例混合校准声音可以包括:具有某些频率下的噪声的第一分量和扫过其他频率的第二分量(例如扫描正弦)。噪声分量可以覆盖校准频率范围的相对较低的频率(例如,10Hz至50Hz),而扫描信号分量覆盖该范围的较高频率(例如,高于50Hz)。这样的混合校准声音可以结合其分量信号的优点。
扫描信号(例如,啁啾或扫描正弦)是频率随时间增加或减小的波形。包括这样的波形作为混合校准声音的分量可以促进覆盖校准频率范围,因为可以选择在校准频率范围(或其一部分)内增加或减小的扫描信号。例如,啁啾在相对较短的时间段内发出啁啾内的每个频率,使得啁啾相对于某些其他波形能够更有效地覆盖校准范围。图8示出了图示示例啁啾的图800。如图8所示,波形的频率随着时间(在X轴上绘出)而增加,并且在相对较短的时间段内在每个频率下发出音调。
然而,因为啁啾内的每个频率在相对短的持续时间内发出,所以啁啾的幅度(或声音强度)在低频处必须相对较高以克服典型的背景噪声。某些扬声器可能无法输出如此高强度的音调而没有损坏的风险。此外,在回放设备的可听范围内这样的高强度音调可能令人不愉快,正如在涉及移动麦克风的校准过程期间所预期的那样。因此,校准声音的一些实施方式可能不包括延伸到相对较低频率(例如,低于50Hz)的啁啾。作为替代,啁啾信号或扫描信号可以覆盖相对较低的阈值频率(例如,大约50Hz至100Hz的频率)与校准频率范围的最大值之间的频率。校准范围的最大值可以对应于发出校准声音的声道的物理能力,其可以是20000Hz或更高。
扫描信号还可以促进由移动麦克风引起的相位失真的反转。如上所述,移动麦克风引起相位失真,这可能干扰根据所检测的校准声音确定频率响应。然而,利用扫描信号,每个频率的相位是可预测的(按照多普勒频移)。这种可预测性有助于使相位失真反转,使得在分析期间可以将检测到的校准声音与所发出的校准声音相关联。这样的相关性可以用来确定环境对校准声音的影响。
如上所述,扫描信号可以使频率随时间增加或减小。在一些实施方式中,记录设备可以指示一个或更多个回放设备发出从校准范围的最大值(或以上)下降至阈值频率(或以下)的啁啾。由于人耳道的物理形状,因此对于一些听者而言下降的啁啾可能比上升的啁啾更令人愉快。尽管一些实现可以使用下降的扫描信号,但上升的扫描信号也可以对校准有效。
如上所述,示例校准声音除了扫描信号分量之外还可以包括噪声分量。噪声指的是随机信号,在某些情况下,这个信号被滤波为每倍频程具有相等的能量。在噪声分量是周期性的实施方式中,混合校准声音的噪声分量可被认为是伪随机的。校准声音的噪声分量可以基本上在校准声音的整个周期或重复内发出。这使得被噪声分量覆盖的每个频率被发出达更长的持续时间,这降低了克服背景噪声通常需要的信号强度。
此外,噪声分量可以比啁啾分量覆盖更小的频率范围,这可以增加在该范围内的每个频率处的声音能量。如上所述,噪声分量可以覆盖频率范围的最小值与阈值频率之间的频率,该阈值频率可以例如是约50Hz至100Hz的频率。与校准范围的最大值一样,校准范围的最小值可以对应于发出校准声音的声道的物理能力,其可以是20Hz或更低。
图9示出了图示示例布朗噪声的图900。布朗噪声是一种基于布朗运动的噪声。在一些情况下,回放设备可以发出在其噪声分量中包括布朗噪声的校准声音。布朗噪声具有类似于瀑布或强降水的“软”特性,这对于一些听者来说可能是令人愉快的。虽然一些实施方式可以使用布朗噪声来实现噪声分量,但是其他实施方式可以使用其他类型的噪声(例如粉红噪声或白噪声)来实现噪声分量。如图9所示,示例布朗噪声的强度每倍频程降低6dB(每十倍频程20dB)。
混合校准声音的一些实现可以包括噪声分量和扫频分量重叠的过渡频率范围。如上所述,在一些示例中,控制设备可以指示回放设备发出包括第一分量(例如噪声分量)和第二分量(例如,扫描信号分量)的校准声音。第一分量可以包括频率在校准频率范围的最小值与第一阈值频率之间的噪声,并且第二分量可以扫过第二阈值频率与校准频率范围的最大值之间的频率。
为了使这些信号重叠,第二阈值频率可以是比第一阈值频率低的频率。在这样的配置中,过渡频率范围包括第二阈值频率与第一阈值频率之间的频率,其可以是例如50Hz至100Hz。通过使这些分量重叠,回放设备可避免发出与两种类型的声音之间的苛刻过渡相关联的可能令人不快的声音。
图10A和图10B示出了覆盖校准频率范围1000的示例混合校准信号的分量。图10A示出了示例校准声音的第一分量1002A(即,噪声分量)和第二分量1004A。分量1002A覆盖从校准范围1000的最小值1006A到第一阈值频率1008A的频率。分量1004A覆盖从第二阈值1010A到校准频率范围1000的最大值的频率。如所示的,阈值频率1008A和阈值频率1010A是相同的频率。
图10B示出了另一示例校准声音的第一分量1002B(即,噪声分量)和第二分量1004B。分量1002B覆盖从校准范围1000的最小值1006B到第一阈值频率1008B的频率。分量1004A覆盖从第二阈值1010B到校准频率范围1000的最大值1012B的频率。如所示的,阈值频率1010B是比阈值频率1008B低的频率,使得分量1002B和分量1004B在从阈值频率1010B延伸到阈值频率1008B的过渡频率范围内重叠。
图11示出了被表示为帧1100的示例混合校准声音的一个示例迭代(例如,周期或循环)。帧1100包括扫描信号分量1102和噪声分量1104。扫描信号分量1102被示出为向下倾斜的线,以示出在校准范围的频率内下降的扫描信号。噪声分量1104被示为区域以示出整个帧1100中的低频噪声。如图所示,扫描信号分量1102和噪声分量在过渡频率范围内重叠。校准声音的周期1106大约为3/8秒(例如,在1/4秒到1/2秒的范围内),在一些实现中,该周期是足以覆盖单声道的校准频率范围的时间。
图12示出了示例周期性校准声音1200。混合校准声音1100的五次迭代(例如,周期)被表示为帧1202、1204、1206、1208和1210。在每次迭代或每个帧中,周期性校准声音1200使用两个分量(例如,噪声分量和扫描信号分量)覆盖校准频率范围。
在一些实施方式中,可以将频谱调整应用于校准声音,以使校准声音具有期望的形状或者滚降(roll off),这可以避免扬声器驱动器过载。例如,校准声音可以被滤波来以每倍频程3dB或1/f滚降。这样的频谱调整可能不适用于改变低频以防止扬声器驱动器过载。
在一些实施方式中,可以预先生成校准声音。这样的预先生成的校准声音可以存储在控制设备、回放设备或服务器(例如,向媒体回放系统提供云服务的服务器)上。在一些情况下,控制设备或服务器可以经由网络接口将预先生成的校准声音发送至回放设备,回放设备可以经由其自己的网络接口来检索校准声音。可替选地,控制设备可以向回放设备发送校准声音的源的指示(例如,URI),回放设备可以使用该指示来获得校准声音。
可替选地,控制设备或回放设备可以生成校准声音。例如,对于给定的校准范围,控制设备可以生成至少覆盖校准频率范围的最小值与第一阈值频率之间的频率的噪声以及至少覆盖第二阈值频率与校准频率范围的最大值之间的频率的扫描正弦。控制设备可以通过应用交叉滤波功能来将扫描正弦和噪声组合成周期性校准声音。交叉滤波功能可以将所生成的噪声的包括低于第一阈值频率的频率的部分与所生成的扫描正弦的包括高于第二阈值频率的频率的部分进行组合以获得期望的校准声音。生成校准声音的设备可以具有模拟电路和/或数字信号处理器,以生成和/或组合混合校准声音的分量。
在以下申请中描述了另外的示例校准过程:于2015年7月21日提交的题为“HybridTest Tone For Space-Averaged Room Audio Calibration Using A MovingMicrophone”的美国专利申请第14/805,140号,于2015年7月21日提交的题为“ConcurrentMulti-Loudspeaker Calibration with a Single Measurement”的美国专利申请第14/805,340号,以及于2015年9月24日提交的题为“Facilitating Calibration of an AudioPlayback Device”的美国专利申请第14/864,393号,以上申请的全部内容结合在本文中。
可以经由如一个或更多个设备显示的一个或更多个控制接口来促进校准。在以下申请中描述了示例接口:于2015年4月24日提交的题为“Speaker Calibration”的美国专利申请第14/696,014号,以及于2015年8月14日提交的题为“Speaker Calibration UserInterface”的美国专利申请第14/826,873号,以上申请的全部内容结合在本文中。
现在转到几个示例实现,图13、图19和图20中所示的实现1300、1900和2000分别呈现了本文描述的技术的示例实施方式。这些示例实施方式可以在包括例如图1的媒体回放系统100、图2的一个或更多个回放设备200或者图3的一个或更多个控制设备300以及在本文描述的其他设备和/或其他合适的设备的操作环境内实现。此外,通过示例示出为由媒体回放系统执行的操作可以由任何合适的设备例如媒体回放系统的回放设备或控制设备来执行。实现1300、1900和2000可以包括如由图13、图19和图20所示的一个或更多个块示出的一个或更多个操作、功能或动作。尽管以连续顺序示出了块,但是这些块也可以并行执行,和/或以与本文描述的顺序不同的顺序执行。此外,可以基于期望的实现将各种块组合成更少的块、划分成附加的块和/或移除。
另外,对于本文公开的实现,该流程图示出了本实施方式的一种可能实现的功能和操作。在这方面,每个框可以表示程序代码的模块、区段或一部分,其包括可以由处理器执行以用于实现该处理中的特定逻辑功能或步骤的一个或更多个指令。程序代码可以存储在任何类型的计算机可读介质上,例如,包括磁盘或硬盘驱动器的存储设备。计算机可读介质可以包括非暂态计算机可读介质,例如,短时间存储数据的计算机可读介质,如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括非暂态介质,例如二级或持久长期存储装置,例如只读存储器(ROM)、光盘或磁盘、致密盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质或有形存储设备。另外,对于本文公开的实现,每个框可以表示被连线以执行处理中的特定逻辑功能的电路。III.用于促进空间校准的示例技术
如上所述,本文描述的实施方式可以通过确定空间校准来促进对一个或更多个回放设备的校准。图13示出了示例实现1300,通过该示例实现,媒体回放系统促进这样的校准。
a.检测触发条件
在块1302处,实现1300涉及检测触发条件。例如,联网麦克风设备可以检测触发条件,该触发条件启动对媒体回放系统(或者可能是媒体回放系统中的回放设备组)的校准。示例联网麦克风设备包括具有网络接口和麦克风的任何合适的设备。例如,回放设备(例如,回放设备200)和控制设备(例如,控制设备300)可以各自作为联网麦克风设备操作。其他示例联网麦克风设备包括图1的控制设备126和128。
触发条件可以启动对多个音频驱动器的校准。在一些情况下,多个音频驱动器可以容纳在单个回放设备中。例如,条形音箱型回放设备可以包括多个音频驱动器(例如,九个音频驱动器)。在其他情况下,可以在两个或更多个回放设备之间划分多个音频驱动器。例如,可以利用一个或更多个其他回放设备对具有多个音频驱动器的条形音箱进行校准,其中每个回放设备具有一个或更多个相应音频驱动器。一些示例回放设备包括多个不同类型的音频驱动器(例如,可能具有不同尺寸的高音扬声器和低音扬声器)。
受校准的特定回放设备(和音频驱动器)可以对应于媒体回放系统的区。例如,示例触发条件可以启动对媒体回放系统的给定区(例如,图1中示出的媒体回放系统100的起居室区)的校准。根据该示例,起居室区包括一起包括多个音频驱动器的回放设备104、106、108和110,并且示例触发条件因此可以启动对多个音频驱动器的校准。
如上文结合示例校准序列所述,本文设想了各种触发条件。一些示例触发条件包括指示媒体回放系统启动校准的输入数据。这样的输入数据可以经由联网麦克风设备的用户接口(例如,图6的控制接口600)来接收,如图6所示,或者可能经由将指令传送至联网麦克风设备和/或受校准的回放设备的另一设备来接收。
其他示例触发条件可以基于传感器数据。例如,来自加速度计或其他合适传感器的传感器数据可以指示给定回放设备已经移动,这可以提示对该回放设备(以及可能与给定回放设备相关联的其他回放设备,例如具有该回放设备的绑定区或区域组中的回放设备)的校准。
一些触发条件可能涉及输入数据与传感器数据的组合。例如,传感器数据可以指示媒体回放系统的操作环境的变化,这可能会导致在联网麦克风设备上显示启动校准的提示。媒体回放系统可能会在收到这样的输入数据后进行校准:该输入数据以提示来指示对启动校准的确认。
另外的示例触发条件可以基于媒体回放系统的配置的变化。例如,示例触发条件包括从媒体回放系统(或其分组)添加或移除回放设备。其他示例触发条件包括接收新类型的输入内容(例如,接收多声道音频内容)。
在操作中,多个音频驱动器可以形成多个声轴。例如,各自具有相应音频驱动器的两个回放设备可以形成相应的声轴。在一些情况下,可以对两个或更多个音频驱动器进行排列以形成声轴。例如,具有多个音频驱动器的回放设备(例如,具有九个音频驱动器的条形音箱)可以形成多个声轴(例如,三个声轴)。任何音频驱动器都可能对任何数量的声轴有贡献。例如,给定声轴可以由条形音箱的所有九个音频驱动器的贡献形成。
每个声轴可以对应于音频内容的相应输入声道。例如,媒体回放系统的音频驱动器可以形成分别对应于立体声内容的左声道、右声道的两个声轴。作为另一示例,音频驱动器可以形成与环绕声内容的相应声道(例如,中心声道、左前声道、右前声道、左后声道和右后声道)相对应的声轴。
对两个或更多个音频驱动器进行排列以形成给定声轴可以使两个或更多个音频驱动器能够在特定方向上“引导”给定声轴的声音输出。例如,在条形音箱的九个音频驱动器各自贡献与环绕声内容的左声道相对应的声轴的一部分的情况下,九个音频驱动器可以以这样的方式进行排列(即,声学地求和,可能使用DSP):九个音频驱动器的净极性响应(polar response)将声音引导至左侧。与对应于左声道的声轴同时,九个音频驱动器还可以形成与环绕声内容的中心声道和右声道相对应的声轴,以分别将声音引导至中心和右侧。
由媒体回放系统的回放设备形成的特定声轴集合可以被称为回放配置。在操作中,媒体回放系统的回放设备可以被配置为多个可能的回放配置中的给定回放配置。在给定回放配置时,回放设备的音频驱动器可以形成特定声轴集合。在一些情况下,回放设备的配置为新的回放配置可以用作启动对回放设备的校准的触发条件。
为了说明,返回参照图1,起居室区的回放设备104、106、108和110可以被配置为多个回放配置。在可能与环绕声音频内容相关联的第一回放配置中,回放设备104可以形成一个或更多个声轴(例如,前声道、左声道和右声道),而回放设备108和110形成相应的声轴(例如,左环绕声道和右环绕声道)。作为超低音扬声器型设备的回放设备110可以贡献单独的低频声轴或由回放设备104、106和/或108形成的声轴的低频部分。在另一回放配置中,回放设备104、106、108和110的音频驱动器可以进行组合以形成与立体声音频内容的左声道和右声道相对应的声轴。另一回放配置可以涉及:音频驱动器形成与单声道音频内容相对应的单个声轴。
在操作中,回放设备可以根据各种因素利用给定回放配置。这样的因素可以包括区配置(例如,回放设备是否处于5.1、5.0或其他环绕声配置,立体声配对配置,仅播放条配置等)。这些因素还可以包括回放设备的特定类型和能力。这些因素还可以包括被提供给回放设备(或预期被提供)的特定类型的内容。例如,回放设备可以在播放环绕声内容时采用第一回放配置而在播放立体声内容时采用另外的回放配置。作为另一示例,回放设备可以在播放音乐时使用给定回放配置,而在播放与视频配对的音频(例如,电视内容)时使用另外的回放配置。另外的示例回放配置包括具有(或不具有)超低音扬声器型回放设备的任何上述示例配置,因为从回放配置添加(或减去)这样的设备可以改变回放配置中的声学特性和/或回放责任的分配。
一些示例校准序列涉及:针对多个回放配置来校准回放设备。这样的校准序列可以产生多个校准配置文件(profile),多个校准配置文件应用于处于给定回放配置中的回放设备。例如,给定的校准过程可以针对环绕声回放配置和音乐回放配置校准媒体回放系统100的起居室区。在环绕声回放配置时,起居室区的回放设备可以应用与环绕声回放配置相对应的第一校准配置文件(例如,调整幅度响应、频率响应、相位等中的一个或更多个的一个或更多个滤波器)。同样地,在音乐回放配置时,起居室区的回放设备可以应用与音乐回放配置相对应的第二校准配置文件。
b.使多个音频驱动器发出校准音频
在图13中,在块1304处,实现1300涉及使多个音频驱动器发出校准音频。例如,NMD可以指示包括多个音频驱动器的一个或多个回放设备经由多个音频驱动器发出校准音频。例如,媒体回放系统100的控制设备126可以发送使回放设备(例如,回放设备102至124之一)发出校准音频的命令。NMD可以经由网络接口(例如,有线网络接口或无线网络接口)发送命令。回放设备可以接收这样的命令,可能经由网络接口接收这样的命令,并且响应地发出校准音频。
校准音频可以包括一个或更多个校准声音,例如频率扫描(“啁啾”)、棕色噪声或其他类型的噪声或者歌曲,以及其他示例声音。关于示例校准声音的其他细节在上面结合第II.e部分中描述的示例校准序列以及通常贯穿整个公开内容进行了说明。
在一些示例中,校准音频被分成帧。如图11和图12所示并在本文描述的,帧可以表示示例校准声音的迭代(例如,周期或循环)。当被记录时,帧可以产生如由一个或更多个音频驱动器发出的校准声音的相应样本。
如上所述,在一些情况下,校准序列涉及对多个声轴的校准。用于校准多个声轴的示例校准音频可以被分成组成帧,其中每个帧包括受校准的每个声轴的校准音频。因此,当被记录时,每个帧可以包括由每个声轴产生的校准音频的样本。帧可以重复以针对每个声轴产生多个样本。
为了包括受校准的每个声轴的校准音频,每个帧可以进一步划分成时隙。每个时隙可以包括受校准的相应声轴的校准音频。例如,形成三个声轴(诸如左声道、右声道和中心声道)的播放条型回放设备(例如,图1中所示的回放设备104)的示例帧可以包括三个时隙。例如,如果要利用超低音扬声器型设备来校准该设备,则每个帧可以包括四个时隙,一个用于由播放条型回放设备形成的每个声轴,一个用于由超低音扬声器产生的声轴。作为另一示例,在利用产生相应声轴(例如,左后声道和右声道)的两个附加回放设备来校准播放条型回放设备的情况下,每个帧可以包括五个时隙(或者如果利用超低音扬声器校准则为六个时隙)。
如上所述,每个时隙可以包括受校准的相应声轴的校准音频。每个时隙中的校准音频可以包括频率扫描(“啁啾”)、棕色噪声或其他类型的噪声,以及其他示例。例如,返回参照图11和图12,每个声音中的校准音频可以包括混合校准声音。时隙可以以已知顺序按顺序发生,以促进将所记录的校准音频内的时隙匹配到相应的声轴。每个时隙可以具有已知的持续时间,这也可以促进将记录的校准音频内的时隙匹配到相应的声轴。在其他示例中,每个时隙和/或帧可以包括用于识别时隙或帧的水印(例如,特定的声音模式),该水印可以用于将记录的校准音频内的时隙匹配到相应的声轴。
为了说明,图14示出了示例校准音频1400。校准声音1400包括帧1402、1404和1406。帧1402、1404和1406被分成相应的三个相应时隙。特别地,帧1402包括时隙1402A、1402B和1402C。同样,帧1404和1406分别包括时隙1404A、1404B和1404C以及1406A、1406B和1406C。每个时隙包括图11的混合校准声音1100的迭代。在校准过程期间,每个时隙中的校准声音可以由(可能经由多个音频驱动器形成的)相应声轴发出。例如,时隙1402A、1404A和1406A可以对应于第一声轴(例如,左声道),而时隙1402B、1404B和1406B对应于第二声轴(以及时隙1402C、1404C和1406C对应于第三声轴)。以这种方式,当被记录时,假设帧1402、1404和1406的足够部分被记录,校准音频1400可以产生每个声轴的三个样本。
如上所述,在一些示例校准过程中,可以针对多个回放配置来校准媒体回放系统的回放设备。可替选地,可以以相应的校准序列来校准针对音频驱动器集合的不同回放配置。用于校准多个回放配置的示例校准音频可以包括重复的一系列帧。一系列中的每个帧可以对应于相应的回放配置。例如,用于校准三个回放配置的示例校准音频可以包括一系列三个帧(例如,图14的帧1402、1404和1406)。
如图14所示,该系列的每个帧可以被分成与对应于该帧的回放配置的声轴相对应的时隙。由于不同的回放配置可能形成可能具有不同数量的总轴的不同声轴组,因此一系列中的帧可以具有不同数量的时隙。该系列帧可以重复,以针对每个回放配置的每个声轴产生多个样本。
c.记录校准音频
在图13中,在块1306处,实现1300涉及记录所发出的校准音频。例如,NMD可以经由麦克风记录如由媒体回放系统(例如,媒体回放系统100)的回放设备发出的校准音频。如上所述,示例NMD包括控制设备(例如,图1的控制设备126或128)、回放设备或者具有麦克风或其他传感器以记录校准音频的任何合适的设备。在一些情况下,多个NMD可以经由相应的麦克风来记录校准音频。
在实践中,校准声音中的一些可能被环境或其他状况衰减或淹没,这可能干扰记录全部校准声音的记录设备。这样,NMD可能测量如由媒体回放系统的回放设备发出的校准声音的一部分。校准音频可以是以上关于示例校准过程描述的任何示例校准声音,以及任何合适的校准声音。
在某些情况下,一个或多个NMD可以在记录校准音频时或多或少地保持静止。例如,NMD可以定位在一个或更多个特定位置(例如,优选的收听位置)处。这样的定位可以有助于记录校准音频,如由收听者在该特定位置处所感知的那样。
某些回放配置可以建议特定的优选收听位置。例如,与环绕声音频或与视频耦合的音频相对应的回放配置可以建议这样的位置,在该位置处用户将在收听回放设备的同时观看电视(例如,在沙发或椅子上)。在一些示例中,NMD可以提示移动到特定位置(例如,优选的收听位置)以开始校准。当校准多个回放配置时,NMD可以提示移动到与每个回放配置相对应的某些收听位置。
为了说明这样的提示,在图15中,智能电话500正在显示包括图形区域1502的控制接口1500。图形区域1502提示移动到特定位置(即,用户通常在房间中看电视的地方)。可以显示这样的提示以引导用户在优选位置开始校准序列。控制接口1500还包括可选控件1504和1506,它们分别在校准序列中前进和后退。
图16描绘了显示包括图形区域1602的控制接口1600的智能电话500。图形区域1602提示用户将记录设备升高到视线水平。可以显示这样的提示以引导用户将电话定位在促进对校准音频的测量的位置。控制接口1600还包括可选控件1604和1606,它们分别在校准序列中前进和后退。
接下来,图17描绘了显示包括图形区域1702的控制接口1700的智能电话500。图形区域1702提示用户“设置最佳位置”(即,环境中的优选位置)。在智能电话500检测到对可选控件1704的选择之后,智能电话500可以开始在其当前位置测量校准声音(并且可能还指示一个或更多个回放设备输出校准音频)。如所示的,控制接口1700还包括可选控件1706,其使校准序列前进(例如,通过使智能电话开始在其当前位置测量校准声音,如利用可选控件1704)。
在图18中,智能电话500显示包括图形区域1802的控制接口1800。图形区域1802指示智能电话500正在记录校准音频。控制接口1800还包括可选控件1804,其在校准序列中后退。
d.使得处理所记录的校准音频
在图13中,在块1308处,实现1300涉及使得处理所记录的校准音频。例如,NMD可以使处理设备处理所记录的校准音频。在一些情况下,NMD可以包括处理设备。可替选地,NMD可以将所记录的音频发送至一个或更多个其他处理设备以进行处理。示例处理设备包括回放设备、控制设备、经由局域网连接至媒体回放系统的计算设备、远程计算设备诸如云服务器或者以上设备的任何组合。
校准音频的处理可以涉及:确定针对多个声轴中的每一个声轴的一个或更多个校准。多个声轴的每个校准可以涉及:修改幅度响应、频率响应、相位调整或任何其他声学特性中的一个或更多个。这样的修改可以在空间上将多个声轴校准到一个或更多个位置(例如,一个或更多个优选的收听位置)。
可以使用在DSP中实现的或作为模拟滤波器的一个或更多个滤波器来应用这样的修改。校准数据可以包括用于实现滤波器的参数(例如,作为双二阶滤波器的系数)。可以每音频驱动器或每组两个或更多个驱动器(例如,形成声轴的两个或更多个驱动器或者相同类型的音频驱动器中的两个或更多个,以及其他示例)地应用滤波器。在一些情况下,可以针对受校准的多个回放配置确定相应的校准。
所记录的校准音频可以在记录时或记录完成后进行处理。例如,在校准音频被分成帧的情况下,帧可以在它们被记录时被发送至处理设备,可能以帧集合形式。可替选地,在回放设备完成发出校准音频之后,可以将记录的帧发送至处理设备。
处理可以涉及确定针对多个声轴的每个声轴的相应延迟。最终,这样的延迟可以用于将来自每个声轴的相应声音在特定位置(例如,优选的收听位置)处的到达时间对准。例如,用于给定回放配置的校准配置文件可以包括这样的滤波器,该滤波器对回放配置的某些声轴进行延迟以使回放配置的声轴在优选收听位置处的到达时间对准。声轴可以具有在特定位置处的不同到达时间,因为它们由距特定位置不同距离处的音频驱动器形成。此外,一些声轴可以被引导远离特定位置(例如,条形音箱型回放设备的左声道和右声道),并且因此在到达特定位置之前被环境反射。这样的声音路径可以增加形成声轴的音频驱动器与特定位置之间的有效距离,这可以导致与具有更直接路径的声轴相比的较晚的到达时间。如上所述,对于环绕声回放配置而言,这样的优选收听位置可以是沙发或椅子。
在示例中,处理设备可以将所记录的音频分成与发出每个部分的不同声轴和/或回放配置相对应的部分。例如,在由回放设备发出的校准声音被分成帧的情况下,处理设备可以将所记录的音频划分成组成帧。在校准声音包括一系列帧的情况下,处理设备可以将来自每个系列的帧归因于与那些帧相对应的相应回放配置。此外,处理设备可以将每个帧划分成与每个声轴对应的相应时隙。如上所述,回放设备可以以已知的顺序发出帧和时隙,并且每个时隙可以具有已知的持续时间,以促进将记录的音频划分成其组成部分。在一些示例中,每个时隙和/或帧可以包括用于标识时隙或帧的水印,该水印可以用于将所记录的校准音频内的帧匹配到相应的回放配置和/或将时隙匹配到相应的声轴。
处理设备可以确定针对每个声轴的脉冲响应。可以通过生成频率滤波响应来进一步处理每个脉冲响应,以将脉冲响应划分成频带。不同类型的音频驱动器可以在不同频带处更好地排列。例如,中间范围低音扬声器可以很好地排列以形成300Hz至2.5kHz范围内的声轴。作为另一示例,高音扬声器可以在8kHz至14kHz的范围内很好地排列。在示例声轴被配置成形成环绕声配置的中心声道的情况下,声轴应该在轴上最大并且向右和向左衰减。相反,对于形成环绕声配置的左声道和右声道的声轴,每个阵列应该在轴上衰减(例如,零)并且分别向左或向右最大。在诸如上面提供的那些范围的某些范围之外,音频驱动器可能也不会在预期方向上形成声轴。这些频率范围是借助示例提供的,并且可以根据不同音频驱动器的能力和特性而变化。
作为另一示例,在具有不同类型的多个音频驱动器(例如,高音扬声器和低音扬声器)的回放设备中,处理设备可以确定三个带限响应。这样的响应可以包括全范围响应,覆盖低音扬声器的中频范围(例如,300Hz至2.5kHz)的响应,以及覆盖高音扬声器的高频(例如,8kHz至14kHz)的响应。这样的频率滤波响应可以通过更清楚地表示每个声轴来促进进一步处理。
处理所记录的音频可以涉及每个声轴的响应之间的比较。为了促进这样的比较,针对每个时隙的脉冲响应可以彼此时间对准(因为它们在不同的时间段期间被发出)。例如,脉冲响应可以与第一参考点例如每个时隙的开始对准。脉冲响应的这样的时间对准促进对每个响应中的特定参考点的识别。
在示例实现中,对每个响应中的特定参考点的识别涉及:识别参考声轴的脉冲响应中的给定第二参考点。作为示例,参考声轴可以是与环绕声系统的中心声道相对应的声轴(例如,3.0、3.1、5.0、5.1或其他多声道回放配置)。该声轴可以用作参考声轴,因为与其他声轴(例如,形成左声道和右声道的声轴)相比,来自该轴的声音更直接地行进至通常的优选收听位置。该脉冲响应中的给定第二参考点可以是第一峰值。可以假设第一峰值对应于从一个或多个音频驱动器到NMD的直接信号(而不是反射)。该给定的第二参考点(即,第一峰值)用作其他声轴在NMD处的后续到达时间的参考。
为了将其他声轴在NMD处的到达时间与参考声轴在NMD处的到达时间进行比较,处理设备可以识别其他脉冲响应中的第二参考点。这些其他第二参考点对应于参考声轴中的相同第二参考点。例如,如果参考声轴的脉冲响应中的第一峰值被用作给定的第二参考点,则其他脉冲响应中的第一峰值被识别为第二参考点。
在已知多个音频驱动器的近似物理配置的情况下,可以应用时窗来限制每个脉冲响应的要识别第二参考点的部分。例如,在声轴形成左声道、右声道和中心声道的情况下,形成左声道和右声道的声轴的脉冲响应可以被限制到形成中心声道的声轴的脉冲响应中的峰值之后的时窗。来自形成左声道和右声道的声轴的声音向外向左向右行进(而不是在轴上),因此感兴趣的峰值将是来自这些轴的声音被环境的反射。然而,形成左环绕声道和/或右环绕声道和/或超低音扬声器声道的声轴可能在物理上比形成中心声道的一个或多个音频驱动器更靠近NMD。这样,与那些轴相对应的脉冲响应的窗可以包括参考声轴中的给定参考点之前和之后的时间,以考虑相对于该参考声轴的正延迟或负延迟的可能性。
一旦识别出脉冲响应中的相应第二参考点,就可以确定来自每个声轴的声音在NMD(即,NMD的麦克风)处的相应到达时间。特别地,处理设备可以通过比较每个脉冲响应中的第一参考点与第二参考点的相应差异来确定在麦克风处的相应到达时间。
确定了来自每个声轴的声音在NMD处的相应到达时间,处理设备可以确定要对每个声轴施加的相应延迟。处理设备可以确定相对于延迟目标的延迟。该延迟目标可以是具有最新到达时间的声轴。用作延迟目标的声轴可能不会接收任何延迟。可以向其他声轴分配延迟以匹配用作延迟目标的声轴的到达时间。形成中心声道的声轴在某些情况下不能用作延迟目标,因为具有较晚到达时间的声轴不能被分配“负”延迟以匹配形成中心声道的声轴的到达时间。
在一些情况下,任何给定声轴的延迟可以被封顶(cap)在最大延迟阈值处。这样的封顶可以防止以下问题:大量延迟引起由声轴输出的音频内容与耦合至该音频内容的视频内容之间的明显不匹配(例如,唇形同步问题)。这样的封顶可以仅应用于包括与视频配对的音频的回放配置,因为在音频未与视频配对时,大的延迟可能不会影响用户体验。可替选地,如果视频显示器与一个或多个回放设备同步,则视频可能被延迟以避免由声轴输出的音频内容与耦合至该音频内容的视频内容之间的明显不匹配,这可以消除对最大延迟阈值的需要。
如上所述,记录校准音频的NMD可能不执行处理的某些部分(或者可能根本不处理校准音频)。确切地说,NMD可以将表示所记录的校准音频的数据发送至处理设备,可能利用关于如何处理所记录的校准音频的一个或更多个指令。在其他情况下,处理设备可以被编程为使用某些技术来处理所记录的校准音频。在这样的实施方式中,发送表示记录的校准音频的数据(例如,表示校准音频的原始样本的数据和/或表示部分处理的校准音频的数据)可以使处理设备确定校准配置文件(例如,滤波器参数)。
e.使得校准多个声轴
在图13中,在块1310处,实现1300涉及使得校准多个声轴。例如,NMD可以将校准数据发送至形成多个声轴的一个或多个回放设备。可替选地,NMD可以指示另一处理设备将校准数据发送至回放设备。这样的校准数据可以使一个或多个回放设备将多个声轴校准至特定响应。
如上所述,对多个声轴的校准可以涉及:修改幅度响应、频率响应、相位调整或任何其他声学特性中的一个或更多个。可以使用在DSP中实现的或作为模拟滤波器的一个或更多个滤波器来应用这样的修改。校准数据可以包括用于实现滤波器的参数(例如,作为双二阶滤波器的系数)。可以每音频驱动器或每组两个或更多个驱动器(例如,形成声轴的两个或更多个驱动器或者相同类型的音频驱动器中的两个或更多个,以及其他示例)地应用滤波器。
校准多个声轴可以包括:使多个声轴的音频输出根据声轴的相应确定的延迟而延迟。可以通过使相应滤波器根据多个声轴的相应确定的延迟来延迟多个音频驱动器的音频输出来形成这样的延迟。除了其他示例之外,这样的滤波器可以实现循环缓冲器延迟线。
在某些情况下,延迟是动态的。例如,一个轴的响应可以与另外的轴的响应在给定范围内重叠,但是声轴可以具有不同的到达时间(因此表明不同的延迟)。在这样的情况下,可以在重叠范围内平滑每个声轴的延迟。例如,可以在范围内实现延迟曲线以平滑延迟。这样的平滑可以通过避免重叠范围中的声轴之间的延迟的可能明显差异来改善用户体验。
如上所述,在某些情况下,由某些声轴产生的声音可能在之前被环境反射。
IV.使用所应用的空间校准来促进频谱校准的示例技术
如上所述,本文描述的实施方式可以促进对一个或更多个回放设备的校准。图19示出了示例实现1900,通过该示例实现,回放设备使用所应用的空间校准来促进频谱校准。
a.接收表示一个或多个空间校准的数据
在块1902处,实现1900涉及:接收表示一个或空间校准的数据。例如,回放设备(例如,图1中的媒体回放系统100的任何回放设备或图3中的回放设备300)可以经由网络接口从诸如处理设备或NMD的设备以及其他可能的源接收表示一个或更多个空间校准(例如,上面结合图13的实现1300描述的多个校准中的任何一个)的数据。可以通过校准序列例如以上描述的示例校准序列来预先确定每个校准。
校准可以包括一个或更多个滤波器。这样的滤波器可以修改幅度响应、频率响应、相位调整或任何其他声学特性中的一个或更多个。此外,这样的滤波器可以将受校准的一个或多个回放设备校准到收听区域内的一个或更多个特定收听位置。如上所述,滤波器可以在DSP中(例如,作为双二阶滤波器的系数)或作为模拟滤波器或其组合实现。所接收的校准数据可以包括针对受校准的每个音频声道、轴或设备的滤波器。可替选地,滤波器可以应用于多于一个音频声道、轴或设备。
在一些情况下,多个校准可以对应于相应回放配置。如上所述,回放配置是指由多个音频驱动器形成的特定声轴集合。此外,示例空间校准可以包括以多个回放配置对音频驱动器的校准。因此,对于每个音频声道、轴或设备,可以存在多于一个滤波器(或滤波器集合)。每个滤波器(或滤波器集合)可以对应于不同的回放配置。
如上所述,回放配置可以涉及用于形成声轴的音频驱动器的分配的变化。回放配置中的每个声轴可以对应于音频内容的相应输入声道。示例回放配置可以对应于不同数量的输入声道,例如单声道、立体声、环绕声(例如,3.0、5.0、7.0)或以上与超低音扬声器结合的任何声道(例如,3.1、5.1、7.1)。其他回放配置可以基于输入内容类型。例如,示例回放配置可以对应于包括音乐、家庭影院(即,与视频配对的音频)、环绕声音频内容、口语等的输入音频内容。这些示例回放配置不应被认为是限制的。所接收的校准可以包括与任何单独的回放配置或回放配置的任何组合相对应的一个或更多个滤波器。
回放设备可以将这些校准保持在数据存储中。可替选地,可以将这样的校准保持在经由网络通信地耦接至回放设备的设备或系统上。可能根据来自回放设备的请求,回放设备可以从该设备或系统接收校准。
b.使一个或多个音频驱动器输出校准音频
在图19中,在块1904处,实现1900涉及使一个或多个音频驱动器输出校准音频。例如,回放设备可以使音频级驱动音频驱动器以输出校准音频。示例音频级可以包括一个或多个放大器、信号处理(例如,DSP)以及其他可能的组件。在一些情况下,回放设备可以指示受校准的其他回放设备输出校准音频,可能在用作受校准的回放设备的组协调器时。
校准音频可以包括一个或更多个校准声音,例如频率扫描(“啁啾”)、棕色噪声或其他类型的噪声或者歌曲,以及其他示例。以上结合以上描述的示例校准序列指出了关于示例校准声音的附加细节。
校准音频可以划分成帧。如图11和图12所示并且在本文描述的,帧可以表示示例校准声音的迭代。当被记录时,帧可以产生如由一个或更多个音频驱动器发出的校准声音的相应样本。帧可以重复以产生多个样本。
如上所述,校准序列可以涉及对多个声轴的校准。在这样的情况下,校准音频输出可以被划分成组成帧,其中每个帧包括受校准的每个声轴的校准音频。因此,当被记录时,每个帧可以包括由每个声轴产生的校准音频的样本。帧可以重复以针对每个声轴产生多个样本。
如上所述,在一些示例校准过程中,可以针对多个回放配置校准媒体回放系统的回放设备。可替选地,可以以相应的校准序列来校准音频驱动器集合的不同回放配置。用于校准多个回放配置的示例校准音频可以包括重复的帧集合。该集合中的每个帧可以对应于相应的回放配置。例如,用于校准三个回放配置的示例校准音频可以包括一系列三个帧(例如,图14的帧1402、1404和1406)。
在每个帧期间,回放设备可以应用与相应回放配置相对应的空间校准。应用空间校准可以涉及:使音频级(或多个音频级)应用与每个回放配置相对应的一个或多个相应滤波器。当输入信号通过一个或多个滤波器时,应用校准以在发出校准音频时修改一个或多个音频驱动器的幅度响应、频率响应、相位调整或任何其他声学特性中的一个或更多个。如上所述,这样的滤波器可以修改所发出的校准音频以适应特定的收听位置。例如,示例空间滤波器可以至少部分地平衡来自多个声轴的声音在特定收听位置处的到达时间。
在其他实施方式中,可以由除回放设备之外的设备将空间校准应用于校准音频。可以由任何设备来应用空间校准,该设备存储校准音频和/或使用该设备的处理器或DSP生成用于由音频驱动器输出的校准音频。此外,空间校准可以由存储校准音频的设备与受校准的一个或多个回放设备之间的任何中间设备应用。
为了包括受校准的每个声轴的校准音频,每个帧可以进一步划分成时隙。每个时隙可以包括受校准的相应声轴的校准音频。例如,形成三个声轴(诸如左声道、右声道和中心声道)的播放条型回放设备(例如,图1中所示的回放设备104)的示例帧可以包括三个时隙。例如,如果要利用超低音扬声器型设备来校准该设备,则每个帧可以包括四个时隙,一个用于由播放条型回放设备形成的每个声轴,一个用于由超低音扬声器产生的声轴。作为另一示例,在利用产生相应声轴(例如,环绕左声道和环绕右声道)的两个附加回放设备来校准播放条型回放设备的情况下,每个帧可以包括五个时隙(或者如果利用超低音扬声器校准则为六个时隙)。图14示出了具有被划分成时隙的组成帧的示例校准音频。
如上所述,每个时隙可以包括受校准的相应声轴的校准音频。每个时隙中的校准音频可以包括频率扫描(“啁啾”)、棕色噪声或其他类型的噪声,以及其他示例。例如,如图11和图12所示,每个声音中的校准音频可以包括混合校准声音。时隙可以以已知的顺序按顺序发生,以促进将所记录的校准音频内的时隙匹配到相应的声轴。每个时隙可以具有已知的持续时间,这也可以促进将所记录的校准音频内的时隙匹配到相应的声轴。在其他示例中,每个时隙和/或帧可以包括用于识别时隙或帧的水印(例如,特定的声音模式),该水印可以用于将记录的校准音频内的时隙匹配到相应的声轴。
c.接收表示一个或多个频谱校准的数据
在图19中,在块1906处,实现1900涉及接收表示一个或频谱校准的数据。例如,回放设备可以从处理设备接收表示一个或更多个频谱校准的数据。这些频谱校准可以基于由一个或多个音频驱动器输出的校准音频。特别地,从一个或多个音频驱动器输出的校准音频可以由一个或更多个记录设备(例如,NMD)记录。在被记录之前,校准音频可能被周围环境相互作用(例如,被反射或吸收),因而可以表示环境的特征。
示例频谱校准可以补偿环境的声学特性以实现给定响应(例如,平坦响应,被认为是期望的响应,或设置均衡)。例如,如果给定环境对大约500Hz的频率进行衰减并且对大约14000Hz的频率进行放大,则校准可能会提升大约500Hz的频率并且消减大约14000Hz的频率,以补偿这些环境影响。
用于确定校准的一些示例技术在2012年6月28日提交的题为“System and Methodfor Device Playback Calibration”并且公布为US 2014/0003625 A1的美国专利申请第13/536,493号中描述,其全部内容结合在本文中。示例技术在段落[0019]至[0025]和[0068]至[0118]中以及大体在整个说明书中描述。
用于确定校准的其他示例技术在2014年3月17日提交的题为“Audio SettingsBased On Environment”并且公布为US 2015/0263692 A1的美国专利申请第14/216,306号中描述,其全部内容结合在本文中。示例技术在段落[0014]至[0025]和[0063]至[0114]以及大体整个说明书中描述。
用于确定校准的另外的示例技术在2014年9月9日提交的题为“Playback DeviceCalibration”并且公布为US 2016/0014534 A1的美国专利申请第14/481,511号中描述,其全部内容结合在本文中。示例技术在段落[0017]至[0043]和[0082]至[0184]以及大体整个说明书中描述。
示例处理设备包括NMD、其他回放设备、控制设备、经由局域网连接至媒体回放系统的计算设备、远程计算设备诸如云服务器,或者以上设备的任何组合。在一些情况下,一个或多个处理设备可以将空间校准发送至一个或更多个中间设备,中间设备可以将空间校准发送至回放设备。这样的中间设备可以存储表示一个或空间校准的数据。
d.应用特定频谱滤波器
在块1908处,实现1900涉及应用特定频谱校准。例如,当以给定回放配置回放音频内容时,回放设备可以应用与该给定回放配置相对应的特定滤波器。回放设备可以保持或可以访问与多个回放配置相对应的相应频谱校准。
在一些示例中,可以指示回放设备进入特定回放配置并且相应地应用与该回放配置相对应的特定校准。例如,控制设备可以发送用于形成与给定回放配置相对应的特定声轴集合的命令。
可替选地,回放设备可以基于其当前配置来检测要应用的适当频谱校准。如上所述,回放设备可以结合到各种分组例如区组或绑定区中。每个分组可以表示回放配置。在一些实现中,在被结合到具有另外的回放设备的分组中时,回放设备可以应用与该分组的回放配置相关联的特定校准。例如,基于检测到回放设备已经结合到特定区组,回放设备可以应用与区组(或与特定区组)相关联的特定校准。
回放设备可以基于被提供给回放设备(或者已经被指示回放)的音频内容来检测要应用的频谱校准。例如,回放设备可能检测到它正在回放仅由音频组成的媒体内容(例如,音乐)。在这种情况下,回放设备可以应用与对应于音乐回放的回放配置相关联的特定校准。作为另一示例,回放设备可以接收与音频和视频两者相关联的媒体内容(例如,电视节目或电影)。当回放这样的内容时,回放设备可以应用与和视频配对的音频相对应的特定校准,或者可能应用与家庭影院(例如,环绕声)相对应的校准。
回放设备可以基于音频内容的源来应用特定校准。经由这些源中的特定源接收内容可以触发特定的回放配置。例如,经由网络接口接收内容可以指示音乐回放。这样,当经由网络接口接收内容时,回放设备可以应用与对应于音乐回放的特定回放配置相关联的特定校准。作为另一示例,经由特定物理输入接收内容可以指示家庭影院使用(即,来自电视节目或电影的音频的回放)。在回放来自该输入的内容时,回放设备可以应用与对应于家庭影院回放的回放配置相关联的不同校准。
给定区场景可以与特定回放配置相关联。在进入特定区场景并且因此进入特定回放配置时,回放设备可以应用与该回放配置相关联的特定校准。可替选地,与区场景相关联的内容或配置可以使回放设备应用特定校准。例如,区场景可以涉及特定媒体内容或内容源的回放,这使回放设备应用特定校准。
在另外的示例中,可以借助来自控制设备或另外的回放设备的一个或更多个消息向回放设备指示回放配置。例如,在接收到选择特定回放配置的输入之后,设备可以向回放设备指示选择了特定回放配置。回放设备可以应用与该回放配置相关联的校准。作为另一示例,回放设备可以是诸如绑定区组的组的构件。另一回放设备,例如该组的组协调器设备,可以检测该组的回放配置,并且向回放设备发送指示回放配置(或针对该配置的校准)的消息。
在一些情况下,回放设备还可以将校准应用于一个或更多个另外的回放设备。例如,回放设备可以是组(例如,区组)的构件(例如,组协调器)。回放设备可以发送指示组中的其他回放设备应用校准的消息。在接收到这样的消息时,这些回放设备可以应用校准。
在一些示例中,可以使用一个或更多个状态变量在媒体回放系统的设备之间共享校准或校准状态。涉及校准状态变量的一些示例技术在2015年7月7日提交的题为“Calibration State Variable”的美国专利申请第14/793,190号和2015年7月7日提交的题为“Calibration Indicator”的美国专利申请第14/793,205号中描述,以上申请的全部内容合并在本文中。V.用于使用所应用的空间校准促进频谱校准的示例技术
如上所述,本文描述的实施方式可以促进对一个或更多个回放设备的校准。图20示出了示例实现200,其中通过该实现,NMD使用所应用的空间校准来促进对媒体回放系统的频谱校准。
a.检测触发条件
在块2002处,实现2000涉及检测启动校准的触发条件。例如,NMD可以检测启动对媒体回放系统的校准的触发条件。触发条件可以明确地或者可能因为一个或多个回放设备的一个或多个音频驱动器已经设置有多个回放配置而针对多个回放配置来启动对媒体回放系统中的一个或多个回放设备的校准。用于启动校准的示例触发条件在上面的III.a部分中以及大体在整个公开内容中描述。
b.使一个或多个音频驱动器输出校准音频
在图20中,在块2004处,实现2000涉及使一个或多个音频驱动器输出校准音频。例如,NMD可以使多个音频驱动器输出校准音频。NMD可能经由网络接口向受校准的回放设备发送指令。以上结合示例校准技术描述了示例校准音频。
c.记录校准音频
在图20中,在块2006处,实现2000涉及记录校准音频。例如,NMD可以经由麦克风记录如由受校准的一个或多个回放设备的一个或多个音频驱动器输出的校准音频。在一些情况下,多个NMD可以经由相应的麦克风记录校准音频。
NMD可以在记录校准音频的同时在环境内移动,以在不同位置处测量校准声音。利用移动的麦克风,在环境内的不同物理位置处检测校准声音的重复。与一个位置中的样本相比,不同位置处的校准声音的样本可以提供对周围环境的更好表示。例如,返回参照图7,媒体回放系统100的控制设备126可以沿路径700在不同点处(例如,在点702和/或点704处)检测由一个或更多个回放设备(例如,起居室区的回放设备104、106、108和/或110)发出的校准音频。可替选地,控制设备可以沿该路径记录校准信号。
这样,在校准音频被发出的同时,NMD可以显示一个或更多个提示以移动NMD。这样的提示可以引导用户在校准期间移动记录设备。为了说明,在图21中,智能电话500正在显示包括图形区域2102和2104的控制接口2100。图形区域2102提示观看图形区域2104中的动画。这样的动画可以描绘如何在校准期间在环境内移动智能电话以在不同位置处测量校准音频的示例。虽然通过示例在图形区域2104中示出了动画,但是控制设备可以可替选地示出视频或其他指示,视频或其他指示说明了如何在校准期间在环境内移动控制设备。控制接口2100还包括可选控件2106和2108,它们分别在校准序列中前进和后退。
用于记录校准音频的其他示例在以上III.a部分中以及大体在整个公开内容中描述。
d.确定一个或多个频谱校准
在块2008处,实现2000涉及确定频谱校准。例如,NMD可以使处理设备针对受校准的多个回放配置来确定相应频谱滤波器集合。这些频谱校准可以基于所记录的由一个或多个音频驱动器输出的校准音频。在一些情况下,NMD可以包括处理设备。可替选地,NMD可以将所记录的音频发送至一个或更多个其他处理设备。以上描述了示例处理设备和处理技术。
当媒体回放系统以给定回放配置回放音频内容时,NMD可以使与给定回放配置相对应的特定校准(例如,特定频谱滤波器集合)应用于由多个音频驱动器形成的声轴。以上描述了应用校准的另外的示例。
VI.结论
除了别的以外,上面的描述公开了各种示例系统、方法、装置和包括在硬件上执行的固件和/或软件以及其他组件的制品。应该理解的是,这样的示例仅仅是说明性的,并且不应被认为是限制性的。例如,可以设想的是,固件、硬件和/或软件方面或组件中的任何一个或全部可以专门以硬件、专门以软件、专门以固件或者以硬件、软件和/或固件的任意组合来实现。因此,所提供的示例不是实现这样的系统、方法、装置和/或制品的唯一方式。
(特征1)一种方法,包括:检测触发条件,所述触发条件启动对包括多个音频驱动器的媒体回放系统的校准,多个音频驱动器形成多个声轴,每个声轴对应于多声道音频内容的相应声道;经由网络接口使所述多个音频驱动器发出被划分成组成帧的校准音频,所述多个声轴在每个组成帧的相应时隙期间发出校准音频;经由麦克风记录所发出的校准音频;使得基于与所述声轴对应的所记录校准音频的时隙来确定所述多个声轴中的每个声轴的相应延迟;以及使得校准所述多个声轴,其中,校准所述多个声轴包括:使得根据相应确定的延迟来延迟所述多个声轴的音频输出。
(特征2)根据特征1所述的方法,其中,使得确定所述多个声轴中的每个声轴的相应延迟包括:使处理设备根据与每个声轴相对应的记录校准音频的时隙来确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间;以及使得确定所述多个声轴中的每个声轴的延迟,每个确定的延迟对应于相应声轴的所确定的到达时间。
(特征3)根据特征2所述的方法,其中,使得根据相应确定的延迟来延迟所述多个声轴的音频输出包括:使相应滤波器根据所述多个声轴的相应确定的延迟来延迟所述多个音频驱动器的音频输出。
(特征4)根据特征2所述的方法,其中,NMD包括所述处理设备,并且其中,使所述处理设备确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间包括:将所记录的校准音频划分成组成帧并且将每个组成帧划分成针对每个声轴的相应时隙;根据与每个声轴相对应的相应时隙来确定所述声轴的相应脉冲响应;将相应脉冲响应对准至第一参考点;识别每个脉冲响应中的相应第二参考点;以及基于每个脉冲响应中的所述第一参考点与所述第二参考点的相应差异来确定在所述麦克风处的相应到达时间。
(特征5)根据特征4所述的方法,其中,所述声轴由参考声轴和一个或更多个其他声轴组成,并且其中,识别每个脉冲响应中的相应第二参考点包括:识别所述参考声轴的所述脉冲响应中的峰值作为给定第二参考点;以及在所述给定第二参考点之后的时窗中,识别所述一个或更多个其他声轴的所述脉冲响应的相应峰值作为其他第二参考点。
(特征6)根据特征2所述的方法,其中,所述处理设备经由一个或更多个网络连接至NMD,并且其中,使所述处理设备确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间包括:经由所述网络接口向所述处理设备发送(i)所记录的校准音频,以及(ii)确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间的指令;以及经由所述网络接口接收所确定的相应到达时间。
(特征7)根据特征1所述的方法,其中,所述多个声轴中的每个声轴对应于环绕声音频内容的相应声道。
(特征8)根据特征7所述的方法,其中,所述媒体回放系统包括多个回放设备,所述每个回放设备包括所述多个音频驱动器的子组。
(特征9)根据特征8所述的方法,其中,所述多个回放设备包括给定回放设备,所述给定回放设备包括所述多个音频驱动器的特定子组,其中,所述多个音频驱动器的特定子组形成三个声轴,所述三个声轴分别对应于所述环绕声音频内容的左声道、所述环绕声音频内容的右声道以及所述音频内容的中心声道。
(特征10)根据特征1所述的方法,其中,检测启动对媒体回放系统的校准的所述触发条件包括:经由用户接口检测这样的输入数据,该输入数据指示启动对所述媒体回放系统的校准的命令。
(特征11)根据特征1所述的方法,其中,检测启动对所述媒体回放系统的校准的所述触发条件包括:检测所述媒体回放系统的配置为特定轴配置,其中,所述多个音频驱动器形成特定声轴集合。
(特征12)根据特征1所述的方法,其中,使得确定所述多个声轴中的每个声轴的延迟包括:确定给定声轴的到达时间超过最大延迟阈值;以及当所述媒体回放系统正在回放与视频内容配对的音频内容时,使得所述给定声轴的延迟被设置在最大延迟阈值处。
(特征13)一种有形非暂态计算机可读介质,其存储有指令,所述指令能够由一个或更多个处理器执行以使设备执行根据特征1至12中任一项所述的方法。
(特征14)一种设备,被配置成执行根据特征1至12中任一项所述的方法。
(特征15)一种媒体回放系统,被配置成执行根据特征1至12中任一项所述的方法。
(特征16)一种方法,包括:经由网络接口接收表示与各个相应回放配置相对应的一个或更多个空间滤波器的数据,其中,每个回放配置表示经由一个或更多个音频驱动器形成的特定声轴集合,并且其中,每个声轴对应于音频内容的相应声道;经由音频级使所述一个或更多个音频驱动器输出校准音频,所述校准音频被划分成重复的帧集合,所述帧集合包括针对每个回放配置的相应帧,其中,使所述一个或更多个音频驱动器输出校准音频包括:使所述音频级在每个帧期间应用与相应回放配置相对应的空间滤波器;经由所述网络接口接收表示与相应回放配置相对应的一个或更多个频谱滤波器的数据,所述一个或更多个频谱滤波器基于由所述一个或更多个音频驱动器输出的校准音频;以及在以给定回放配置回放音频内容时,使所述音频级应用与所述给定回放配置相对应的特定频谱滤波器。
(特征17)根据特征16所述的方法,其中,接收表示一个或更多个空间滤波器的数据包括:接收表示将所述回放设备校准到所述回放设备的收听区域内的特定收听位置的一个或更多个空间滤波器的数据,并且其中,接收表示一个或更多个频谱滤波器的数据包括:接收表示对所述收听区域的声学特性进行补偿的一个或更多个频谱滤波器的数据。
(特征18)根据特征16所述的方法,其中,接收表示一个或更多个空间滤波器的数据包括:接收表示空间滤波器的一个或更多个集合的数据,每个空间滤波器集合包括用于每个声轴的相应空间滤波器,并且其中,接收表示一个或更多个频谱滤波器的数据包括:接收表示频谱滤波器的一个或更多个集合的数据,每个频谱滤波器包括用于每个声轴的相应频谱滤波器。
(特征19)根据特征18所述的方法,其中,所述一个或更多个空间滤波器包括以下滤波器中的至少一个:(i)对应于单声道回放配置的第一滤波器,在以所述单声道回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成声轴以输出单声道音频内容,(ii)对应于立体声回放配置的第二滤波器,在以所述立体声回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴以输出立体声音频内容的一个或更多个声道,以及(iii)对应于环绕声回放配置的第三滤波器,在以所述环绕声回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴以输出环绕声音频内容的一个或更多个声道。
(特征20)根据特征18所述的方法,其中,所述单声道回放配置是第一单声道回放配置,所述立体声回放配置是第一立体声回放配置,并且所述环绕声回放配置是第一环绕声配置,并且其中,所述一个或更多个空间滤波器包括以下滤波器中的至少一个:(i)对应于第二单声道回放配置的第四滤波器,在以所述第二单声道回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成声轴,以与超低音扬声器设备同步地输出单声道音频内容,(ii)对应于第二立体声回放配置的第五滤波器,在以所述第二立体声回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴,以与所述超低音扬声器设备同步地输出立体声音频内容的一个或更多个声道,以及(iii)对应于第二环绕声回放配置的第六滤波器,在以所述第二环绕声回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴,以与超低音扬声器设备同步地输出环绕声音频内容的一个或更多个声道。
(特征21)根据特征16所述的方法,其中,所述一个或更多个空间滤波器包括:(i)对应于音乐回放配置的第一滤波器,在以所述音乐回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴以输出音乐内容,以及(ii)对应于家庭影院回放配置的第二滤波器,在以所述家庭影院回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴,以输出与视频内容配对的音频内容。
(特征22)根据特征16所述的方法,其中,所述一个或更多个音频驱动器包括以给定回放配置形成多个声轴的多个音频驱动器,并且其中,使所述一个或更多个音频驱动器输出所述校准音频包括:使所述多个声轴在与所述给定回放配置相对应的每个帧的相应时隙期间输出校准音频。
(特征23)根据特征22所述的方法,其中,所述多个声轴中的每个声轴对应于环绕声音频内容的相应声道。
(特征24)根据特征22所述的方法,其中,所述多个声轴中的每个声轴对应于立体声音频内容的相应声道。
(特征25)根据特征16所述的方法,其中,所述一个或更多个音频驱动器以给定回放配置形成单个声轴。
(特征26)一种有形非暂态计算机可读介质,其存储有指令,所述指令能够由一个或更多个处理器执行以使设备执行根据特征16至25中任一项所述的方法。
(特征27)一种设备,被配置成执行根据特征16至25中任一项所述的方法。
(特征28)一种媒体回放系统,被配置成执行根据特征16至25中任一项所述的方法。
(特征29)一种方法,包括:检测触发条件,所述触发条件启动针对多个回放配置对媒体回放系统的校准,其中,每个回放配置表示经由所述媒体回放系统的多个音频驱动器形成的特定声轴集合,并且其中,每个声轴对应于音频内容的相应声道;经由网络接口使所述多个音频驱动器输出校准音频,所述校准音频被划分成重复的帧集合,所述帧集合包括针对每个回放配置的相应帧,其中,使所述多个音频驱动器输出所述校准音频包括:使得在所述帧集合的每个帧期间将相应空间滤波器集合应用于所述多个音频驱动器,每个空间滤波器集合包括用于每个声轴的相应空间滤波器;经由麦克风记录由所述多个音频驱动器输出的所述校准音频;使处理设备基于所记录的校准音频来确定用于所述多个回放配置的相应频谱滤波器集合,每个频谱滤波器集合包括用于每个声轴的相应频谱滤波器。
(特征30)根据特征29所述的方法,所述方法还包括:在所述媒体回放系统以给定回放配置回放音频内容时,使得将与所述给定回放配置相对应的特定频谱滤波器集合应用于由所述多个音频驱动器形成的声轴。
(特征31)根据特征29所述的方法,其中,所述校准音频是第二校准音频,所述方法还包括:在使所述多个音频驱动器输出所述第二校准音频之前,经由所述网络接口使所述多个驱动器输出被划分成重复的帧集合的第一校准音频,所述帧集合包括针对所述多个回放配置中的每个回放配置的相应帧;经由所述麦克风记录由所述多个音频驱动器输出的所述第一校准音频;以及使所述处理设备基于所记录的第一校准音频来确定用于所述多个回放配置的所述相应空间滤波器集合,每个空间滤波器集合包括用于每个声轴的相应空间滤波器。
(特征32)根据特征29所述的方法,其中,使所述多个音频驱动器输出所述校准音频包括:使所述多个音频驱动器在每个帧的相应时隙期间形成所述多个声轴中的相应声轴。
(特征33)根据特征29所述的方法,其中,所述多个回放配置包括以下回放配置中的两个或更多个:(i)单声道回放配置,在以所述单声道回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以同步地输出单声道音频内容,(ii)立体声回放配置,在以所述立体声回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以输出立体声音频内容的声道,以及(iii)环绕声回放配置,在以所述环绕声回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴,以输出环绕声音频内容的相应声道。
(特征34)根据特征33所述的方法,其中,所述单声道回放配置是第一单声道回放配置,所述立体声回放配置是第一立体声回放配置,并且所述环绕声回放配置是第一环绕声配置,其中,所述多个回放配置包括以下回放配置中的至少一个:(i)第二单声道回放配置,在以所述单声道回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个全范围声轴和超低音扬声器声轴以同步地输出单声道音频内容,(ii)第二立体声回放配置,在以所述第二立体声回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个全范围声轴,以与超低音扬声器声轴同步地输出立体声内容音频内容的声道,以及(iii)第二环绕声回放配置,在以所述第二环绕声回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个全范围声轴,以与超低音扬声器声轴同步地输出环绕声内容音频内容的相应声道。
(特征35)根据特征29所述的方法,其中,所述多个回放配置包括以下回放配置中的两个或更多个:(i)音乐回放配置,在以所述音乐回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以输出音乐内容,以及(ii)家庭影院回放配置,在以所述家庭影院回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以输出与视频内容配对的音频内容。
(特征36)根据特征29所述的方法,其中,使得在所述帧集合的每个帧期间将所述相应空间滤波器集合应用于所述多个音频驱动器包括:使所述处理设备将所述空间滤波器应用于所述校准音频,并且将应用了空间滤波器的校准音频发送至包括所述多个音频驱动器的一个或更多个回放设备。
(特征37)根据特征29所述的方法,其中,所述媒体回放系统包括多个回放设备,每个回放设备包括所述多个音频驱动器的子组。
(特征38)一种有形非暂态计算机可读介质,其存储有指令,所述指令能够由一个或更多个处理器执行以使设备执行根据特征29至37中任一项所述的方法。
(特征39)一种设备,被配置成执行根据特征29至37中任一项所述的方法。
(特征40)一种媒体回放系统,被配置成执行根据特征29至37中任一项所述的方法。
(特征41)一种回放设备,包括:(i)网络接口;(ii)音频级,被布置成驱动一个或更多个音频驱动器;(iii)一个或更多个处理器;(iv)存储有指令的计算机可读介质,所述指令能够由所述一个或更多个处理器执行以使所述回放设备执行包括以下操作的操作:(a)经由所述网络接口接收表示与相应回放配置相对应的一个或更多个空间滤波器的数据,其中,每个回放配置表示经由所述一个或更多个音频驱动器形成的特定声轴集合,并且其中,每个声轴对应于音频内容的相应声道;(b)经由音频级使所述一个或更多个音频驱动器输出被划分成重复的帧集合的校准音频,所述帧集合包括针对每个回放配置的相应帧,其中,使所述一个或更多个音频驱动器输出所述校准音频包括:使所述音频级在每个帧期间应用与相应回放配置相对应的所述空间滤波器;(c)经由所述网络接口接收表示与相应回放配置相对应的一个或更多个频谱滤波器的数据,所述一个或更多个频谱滤波器基于由所述一个或更多个音频驱动器输出的所述校准音频;以及(d)在以给定回放配置回放音频内容时,使所述音频级应用与所述给定回放配置相对应的特定频谱滤波器。
(特征42)根据特征41所述的回放设备,其中,接收表示一个或更多个空间滤波器的数据包括:接收表示将所述回放设备校准到所述回放设备的收听区域内的特定收听位置的一个或更多个空间滤波器的数据,并且其中,接收表示一个或更多个频谱滤波器的数据包括:接收表示对所述收听区域的声学特性进行补偿的一个或更多个频谱滤波器的数据。
(特征43)根据特征41所述的回放设备,其中,接收表示一个或更多个空间滤波器的数据包括:接收表示空间滤波器的一个或更多个集合的数据,每个空间滤波器集合包括用于每个声轴的相应空间滤波器,并且其中,接收表示一个或更多个频谱滤波器的数据包括:接收表示频谱滤波器的一个或更多个集合的数据,每个频谱滤波器包括用于每个声轴的相应频谱滤波器。
(特征44)根据特征41所述的回放设备,其中,所述一个或更多个空间滤波器包括以下滤波器中的至少一个:(i)对应于单声道回放配置的第一滤波器,在以所述单声道配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成声轴以输出单声道音频内容,(ii)对应于立体声回放配置的第二滤波器,在以所述立体声回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴以输出立体声音频内容的一个或更多个声道,以及(iii)对应于环绕声回放配置的第三滤波器,在以所述环绕声回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴以输出环绕声音频内容的一个或更多个声道。
(特征45)根据特征44所述的回放设备,其中,所述单声道回放配置是第一单声道回放配置,所述立体声回放配置是第一立体声回放配置,并且所述环绕声回放配置是第一环绕声配置,并且其中,所述一个或更多个空间滤波器包括以下滤波器中的至少一个:(i)对应于第二单声道回放配置的第四滤波器,在以所述第二单声道回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成声轴以与超低音扬声器设备同步地输出单声道音频内容,(ii)对应于第二立体声回放配置的第五滤波器,在以所述第二立体声回放配置回放音频内容时,所述一个或多个音频驱动器被配置成形成一个或更多个声轴,以与所述超低音扬声器设备同步地输出立体声音频内容的一个或更多个声道,以及(iii)对应于第二环绕声回放配置的第六滤波器,在以所述第二环绕声回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴,以与超低音扬声器设备同步地输出环绕声音频内容的一个或更多个声道。
(特征46)根据特征41所述的回放设备,其中,所述一个或更多个空间滤波器包括:(i)对应于音乐回放配置的第一滤波器,在以所述音乐回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴以输出音乐内容,以及(ii)对应于家庭影院回放配置的第二滤波器,在以所述家庭影院回放配置回放音频内容时,所述一个或更多个音频驱动器被配置成形成一个或更多个声轴以输出与视频内容配对的音频内容。
(特征47)根据特征41所述的回放设备,其中,所述一个或更多个音频驱动器包括以给定回放配置形成多个声轴的多个音频驱动器,并且其中,使所述一个或更多个音频驱动器输出所述校准音频包括:使所述多个声轴在与所述给定回放配置相对应的每个帧的相应时隙期间输出校准音频。
(特征48)根据特征47所述的回放设备,其中,所述多个声轴中的每个声轴对应于环绕声音频内容的相应声道。
(特征49)根据特征47所述的回放设备,其中,所述多个声轴中的每个声轴对应于立体声音频内容的相应声道。
(特征50)根据特征41所述的回放设备,其中,所述一个或更多个音频驱动器以给定回放配置形成单个声轴。
(特征51)一种有形非暂态计算机可读介质,其存储有指令,所述指令能够由一个或更多个处理器执行以使联网麦克风设备(NMD)执行包括以下操作的方法:(i)检测触发条件,所述触发条件启动针对多个回放配置对媒体回放系统的校准,其中,每个回放配置表示经由所述媒体回放系统的多个音频驱动器形成的特定声轴集合,并且其中,每个声轴对应于音频内容的相应声道;(ii)经由网络接口使所述多个音频驱动器输出被划分成重复的帧集合的校准音频,所述帧集合包括针对每个回放配置的相应帧,其中,使所述多个音频驱动器输出所述校准音频包括:使得在所述帧集合的每个帧期间将相应空间滤波器集合应用于所述多个音频驱动器,每个空间滤波器集合包括用于每个声轴的相应空间滤波器;(iii)经由所述麦克风记录由所述多个音频驱动器输出的所述校准音频;(iv)使处理设备基于所记录的校准音频来确定用于所述多个回放配置的相应频谱滤波器集合,每个频谱滤波器集合包括用于每个声轴的相应频谱滤波器。
(特征52)根据特征51所述的有形非暂态计算机可读介质,所述方法还包括:在所述媒体回放系统以给定回放配置回放音频内容时,使得将与所述给定回放配置相对应的特定频谱滤波器集合应用于由所述多个音频驱动器形成的所述声轴。
(特征53)根据特征51所述的有形非暂态计算机可读介质,其中,所述校准音频是第二校准音频,所述方法还包括:(i)在使所述多个音频驱动器输出所述第二校准音频之前,经由所述网络接口使所述多个驱动器输出第一校准音频,所述第一校准音频被划分成重复的帧集合,所述帧集合包括针对所述多个回放配置中的每个回放配置的相应帧;(ii)经由所述麦克风记录由所述多个音频驱动器输出的所述第一校准音频;以及(iii)使所述处理设备基于所记录的第一校准音频来确定用于所述多个回放配置的相应空间滤波器集合,每个空间滤波器集合包括用于每个声轴的相应空间滤波器。
(特征54)根据特征51所述的有形非暂态计算机可读介质,其中,使所述多个音频驱动器输出所述校准音频包括:使所述多个音频驱动器在每个帧的相应时隙期间形成所述多个声轴中的相应声轴。
(特征55)根据特征51所述的有形非暂态计算机可读介质,其中,所述多个回放配置包括以下回放配置中的两个或更多个:(i)单声道回放配置,在以所述单声道回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以同步地输出单声道音频内容,(ii)立体声回放配置,在以所述立体声回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以输出立体声音频内容的声道,以及(iii)环绕声回放配置,在以所述环绕声回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以输出环绕声音频内容的相应声道。
(特征56)根据特征55所述的有形非暂态计算机可读介质,其中,所述单声道回放配置是第一单声道回放配置,所述立体声回放配置是第一立体声回放配置,并且所述环绕声回放配置是第一环绕声配置,其中,所述多个回放配置包括以下回放配置中的至少一个:(i)第二单声道回放配置,在以所述单声道回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个全范围声轴和超低音扬声器声轴,以同步地输出单声道音频内容,(ii)第二立体声回放配置,在以所述第二立体声回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个全范围声轴,以与超低音扬声器声轴同步地输出立体声内容音频内容的声道,以及(iii)第二环绕声回放配置,在以所述第二环绕声回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个全范围声轴,以与超低音扬声器声轴同步地输出环绕声内容音频内容的相应声道。
(特征57)根据特征51所述的有形非暂态计算机可读介质,其中,所述多个回放配置包括以下回放配置中的两个或更多个:(i)音乐回放配置,在以所述音乐回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以输出音乐内容,以及(ii)家庭影院回放配置,在以所述家庭影院回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以输出与视频内容配对的音频内容。
(特征58)根据特征51所述的有形非暂态计算机可读介质,其中,使得在所述帧集合的每个帧期间将所述相应空间滤波器集合应用于所述多个音频驱动器包括:使所述处理设备将所述空间滤波器应用于所述校准音频,并且将应用了空间滤波器的校准音频发送至包括所述多个音频驱动器的一个或更多个回放设备。
(特征59)根据特征51所述的有形非暂态计算机可读介质,其中,所述媒体回放系统包括多个回放设备,每个回放设备包括所述多个音频驱动器的子组。
(特征60)一种媒体回放系统,包括:(i)一个或更多个回放设备,包括形成多个声轴的多个音频驱动器,每个声轴对应于音频内容的相应声道;(ii)联网麦克风设备,包括麦克风;(iii)处理器;以及(iv)存储有指令的计算机可读介质,所示指令能够由一个或更多个处理器执行以使所述媒体回放系统执行包括以下操作的方法:(a)检测触发条件,所述触发条件启动针对多个回放配置对所述媒体回放系统的校准,其中,每个回放配置表示经由所述多个音频驱动器形成的特定声轴集合;(b)经由网络接口使所述多个音频驱动器输出校准音频,所述校准音频被划分成重复的帧集合,所述帧集合包括针对每个回放配置的相应帧,其中,使所述多个音频驱动器输出所述校准音频包括:使得在所述帧集合的每个帧期间将相应空间滤波器集合应用于所述多个音频驱动器,每个空间滤波器集合包括用于每个声轴的相应空间滤波器;(c)经由所述麦克风记录由所述多个音频驱动器输出的所述校准音频;(d)使处理设备基于所记录的校准音频来确定用于所述多个回放配置的相应频谱滤波器集合,每个频谱滤波器集合包括用于每个声轴的相应频谱滤波器。
(特征61)一种有形非暂态计算机可读介质,其存储有指令,所述指令能够由一个或更多个处理器执行以使联网麦克风设备(NMD)执行包括以下操作的方法:(i)检测触发条件,所述触发条件启动对包括多个音频驱动器的媒体回放系统的校准,多个音频驱动器形成多个声轴,每个声轴对应于多声道音频内容的相应声道;(ii)经由网络接口使所述多个音频驱动器发出校准音频,所述校准音频被划分成组成帧,所述多个声轴在每个组成帧的相应时隙期间发出校准音频;(iii)经由麦克风记录所发出的校准音频;(iv)使得基于与所述声轴相对应的所记录校准音频的时隙来确定所述多个声轴中的每个声轴的相应延迟;以及(v)使得校准所述多个声轴,其中,校准所述多个声轴包括:使得根据相应确定的延迟来延迟所述多个声轴的音频输出。
(特征62)根据特征61所述的有形非暂态计算机可读介质,其中,使得确定所述多个声轴中的每个声轴的相应延迟包括:(i)使处理设备根据与每个声轴相对应的所记录校准音频的时隙来确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间;以及(ii)使得确定所述多个声轴中的每个声轴的延迟,每个确定的延迟对应于相应声轴的所确定的到达时间。
(特征63)根据特征62所述的有形非暂态计算机可读介质,其中,使得根据相应确定的延迟来延迟所述多个声轴的音频输出包括:使相应滤波器根据所述多个声轴的相应确定的延迟来延迟所述多个音频驱动器的音频输出。
(特征64)根据特征62所述的有形非暂态计算机可读介质,其中,所述NMD包括所述处理设备,并且其中,使所述处理设备确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间包括:(i)将所记录的校准音频划分成所述组成帧并且将所述每个组成帧划分成针对每个声轴的相应时隙;(ii)根据与所述每个声轴相对应的相应时隙来确定所述声轴的相应脉冲响应;(iii)将相应脉冲响应对准至第一参考点;(iv)识别每个脉冲响应中的相应第二参考点;以及(v)基于每个脉冲响应中的所述第一参考点与所述第二参考点的相应差异来确定在所述麦克风处的相应到达时间。
(特征65)根据特征64所述的有形非暂态计算机可读介质,其中,所述声轴由参考声轴和一个或更多个其他声轴组成,并且其中,识别每个脉冲响应中的相应第二参考点包括:(i)识别所述参考声轴的所述脉冲响应中的峰值作为给定第二参考点;以及(ii)在所述给定第二参考点之后的时窗中,识别所述一个或更多个其他声轴的所述脉冲响应的相应峰值作为其他第二参考点。
(特征66)根据特征62所述的有形非暂态计算机可读介质,其中,所述处理设备经由一个或更多个网络连接至所述NMD,并且其中,使所述处理设备确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间包括:(i)经由所述网络接口向所述处理设备发送(a)所记录的校准音频以及(b)确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间的指令;以及(ii)经由所述网络接口接收所确定的相应到达时间。
(特征67)根据特征61所述的有形非暂态计算机可读介质,其中,所述多个声轴中的每个声轴对应于环绕声音频内容的相应声道。
(特征68)根据特征67所述的有形非暂态计算机可读介质,其中,所述媒体回放系统包括多个回放设备,每个回放设备包括所述多个音频驱动器的子组。
(特征69)根据特征68所述的有形非暂态计算机可读介质,其中,所述多个回放设备包括给定回放设备,所述给定回放设备包括所述多个音频驱动器的特定子组,其中,所述多个音频驱动器的特定子组形成三个声轴,所述三个声轴分别对应于所述环绕声音频内容的左声道、所述环绕声音频内容的右声道以及所述音频内容的中心声道。
(特征70)根据特征61所述的有形非暂态计算机可读介质,其中,检测启动对媒体回放系统的校准的所述触发条件包括:经由用户接口检测这样的输入数据,该输入数据指示启动对媒体回放系统的校准的命令。
(特征71)根据特征61所述的有形非暂态计算机可读介质,其中,检测启动对媒体回放系统的校准的所述触发条件包括:检测所述媒体回放系统的配置为特定轴配置,其中,所述多个音频驱动器形成特定声轴集合。
(特征72)根据特征61所述的有形非暂态计算机可读介质,其中,使得确定所述多个声轴中的每个声轴的延迟包括:(i)确定给定声轴的到达时间超过最大延迟阈值;以及(ii)当所述媒体回放系统正在回放与视频内容配对的音频内容时,使得所述给定声轴的延迟被设置在最大延迟阈值处。
(特征73)一种方法,包括:(i)检测触发条件,所述触发条件启动对包括多个音频驱动器的媒体回放系统的校准,多个音频驱动器形成多个声轴,每个声轴对应于多声道音频内容的相应声道;(ii)经由网络接口使所述多个音频驱动器发出校准音频,所述校准音频被划分成组成帧,所述多个声轴在每个组成帧的相应时隙期间发出校准音频;(iii)经由联网麦克风设备(NMD)的麦克风记录所发出的校准音频;(iv)使处理设备根据与所述声轴相对应的所记录校准音频的时隙来确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间;(v)使得确定所述多个声轴中的每个声轴的延迟,每个确定的延迟对应于相应声轴的所确定的到达时间;以及(vi)使得校准所述多个声轴,其中,校准所述多个声轴包括:使得根据相应确定的延迟来延迟所述多个声轴的音频输出。
(特征74)根据特征73所述的方法,其中,所述NMD包括所述处理设备,并且其中,使所述处理设备确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间包括:(i)将所记录的校准音频划分成所述组成帧并且将所述每个组成帧划分成针对每个声轴的相应时隙;(ii)根据与每个声轴相对应的相应时隙来确定所述声轴的相应脉冲响应;(iii)将相应脉冲响应对准至第一参考点;(iv)识别每个脉冲响应中的相应第二参考点;以及(v)基于每个脉冲响应中的所述第一参考点与所述第二参考点的相应差异来确定在所述麦克风处的相应到达时间。
(特征75)根据特征74所述的方法,其中,所述声轴由参考声轴和一个或更多个其他声轴组成,并且其中,识别每个脉冲响应中的相应第二参考点包括:(i)识别所述参考声轴的所述脉冲响应中的峰值作为给定第二参考点;以及(ii)在所述给定第二参考点之后的时窗中,识别所述一个或更多个其他声轴的所述脉冲响应的相应峰值作为其他第二参考点。
(特征76)根据特征73所述的方法,其中,所述处理设备经由一个或更多个网络连接至所述NMD,并且其中,使所述处理设备确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间包括:(i)经由所述网络接口向所述处理设备发送(a)所记录的校准音频,以及(b)确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间的指令;以及(ii)经由所述网络接口接收所确定的相应到达时间。
(特征77)根据特征73所述的方法,其中,所述多个声轴中的每个声轴对应于环绕声音频内容的相应声道,并且其中,所述媒体回放系统包括多个回放设备,每个回放设备包括所述多个音频驱动器的子组。
(特征78)根据特征77所述的方法,其中,所述多个回放设备包括给定回放设备,所述给定回放设备包括所述多个音频驱动器的特定子组,其中,所述多个音频驱动器的特定子组形成三个声轴,所述三个声轴分别对应于所述环绕声音频内容的左声道、所述环绕声音频内容的右声道以及所述音频内容的中心声道。
(特征79)根据特征73所述的方法,其中,检测启动对媒体回放系统的校准的所述触发条件包括以下操作之一:(a)经由用户接口检测这样的输入数据,该输入数据指示启动对所述媒体回放系统的校准的命令,或者(b)检测所述媒体回放系统的配置为特定轴配置,其中,所述多个音频驱动器形成特定声轴集合。
(特征80)一种媒体回放系统,包括:(i)一个或更多个回放设备,包括形成多个声轴的多个音频驱动器,每个声轴对应于多声道音频内容的相应声道;(ii)联网麦克风设备,包括麦克风;(iii)处理器;以及(iv)存储有指令的计算机可读介质,所述指令能够由一个或更多个处理器执行以使媒体回放系统执行包括以下操作的方法:(a)检测启动对媒体回放系统的校准的触发条件,经由网络接口使所述多个音频驱动器发出校准音频,所述校准音频被划分成组成帧,所述多个声轴在每个组成帧的相应时隙期间发出校准音频;(b)经由所述麦克风记录所发出的校准音频;(c)使处理设备根据与所述声轴相对应的所记录校准音频的时隙来确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间;(d)使得确定所述多个声轴中的每个声轴的延迟,每个确定的延迟对应于相应声轴的所确定的到达时间;以及(e)使得校准所述多个声轴,其中,校准所述多个声轴包括:使得根据相应确定的延迟来延迟所述多个声轴的音频输出。
主要从说明性环境、系统、过程、步骤、逻辑块、处理以及直接或间接地与耦接至网络的数据处理设备的操作相类似的其他象征性表示的方面,提出本说明书。本领域技术人员通常使用这些处理描述和表示来向本领域其他技术人员最有效地传达他们的工作内容。阐述了许多具体细节,以提供对本公开内容的透彻理解。然而,本领域技术人员应当理解的是,可以在没有某些具体细节的情况下实践本公开内容的某些实施方式。在其他实例中,没有详细描述熟知的方法、过程、组件和电路,以避免不必要地使实施方式的各方面模糊。因此,本公开内容的范围由所附权利要求而不是对实施方式的前述描述来限定。
当所附权利要求中的任意权利要求被理解为涵盖纯软件和/或固件实现时,在此将至少一个示例中的至少一个元素明确限定为包括存储软件和/或固件的有形非暂态介质,如存储器、DVD、CD、蓝光等。

Claims (16)

1.一种用于联网麦克风设备(NMD)的方法,所述方法包括:
检测触发条件,所述触发条件启动针对多个回放配置对媒体回放系统的校准,每个回放配置表示经由所述媒体回放系统的多个音频驱动器形成的一个或更多个声轴的相应集合,其中,每个声轴对应于音频内容的相应输入声道;
经由所述联网麦克风设备的网络接口来使所述媒体回放系统的所述多个音频驱动器中的每个音频驱动器输出被划分成包括针对每个回放配置的相应帧的重复的帧集合的校准音频,并且在与相应回放配置相对应的每个帧的相应时隙期间经由与给定回放配置相对应的所述一个或更多个声轴输出所述校准音频,使得在所述帧集合的每个帧期间,将相应空间滤波器集合应用于所述多个音频驱动器,所述相应空间滤波器集合包括用于与相应回放配置相对应的所述一个或更多个声轴中的每个声轴的相应空间滤波器,其中,所述空间滤波器通过以下方式在空间上将所述媒体回放系统校准至给定收听区域:通过对多个音频驱动器进行排列以形成特定声轴,在特定方向上引导所述声轴集合中的所述特定声轴的声音输出;
经由麦克风记录由所述多个音频驱动器输出的所述校准音频;以及
使处理设备基于所记录的校准音频来确定用于所述多个回放配置的相应频谱滤波器集合,每个频谱滤波器集合包括用于每个声轴的相应频谱滤波器。
2.根据权利要求1所述的方法,还包括:在所述媒体回放系统以给定回放配置回放音频内容时,使得将所确定的与所述给定回放配置相对应的频谱滤波器集合应用于由所述多个音频驱动器形成的所述声轴。
3.根据任一前述权利要求所述的方法,其中,使得将所述相应空间滤波器集合应用于所述多个音频驱动器包括:使所述处理设备将所述空间滤波器应用于所述校准音频,并且将应用了空间滤波器的所述校准音频发送至包括所述多个音频驱动器的一个或更多个回放设备。
4.根据任一前述权利要求所述的方法,其中,所述媒体回放系统包括多个回放设备,每个回放设备包括所述多个音频驱动器的子集。
5.根据任一前述权利要求所述的方法,其中:
在环绕声回放配置中:
每个声轴对应于环绕声音频内容的相应声道,并且
第一空间滤波器对应于所述环绕声回放配置;
在立体声回放配置中:
每个声轴对应于立体声音频内容的相应声道;并且
第二空间滤波器对应于所述立体声回放配置;以及
在单声道回放配置中:
所述一个或更多个音频驱动器形成单个声轴;并且
第三空间滤波器对应于所述单声道回放配置。
6.根据权利要求5所述的方法,其中:
所述单声道回放配置是第一单声道回放配置,
所述立体声回放配置是第一立体声回放配置,
所述环绕声回放配置是第一环绕声配置;并且
所述多个回放配置包括以下回放配置中的至少一个:
第二单声道回放配置,在以所述单声道回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个全范围声轴和超低音扬声器声轴以同步地输出单声道音频内容,其中,第四空间滤波器对应于所述第二单声道回放配置;
第二立体声回放配置,在以所述第二立体声回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个声轴,以与超低音扬声器声轴同步地输出立体声内容音频内容的声道,其中,第三空间滤波器对应于所述第二立体声回放配置;以及
第二环绕声回放配置,在以所述第二环绕声回放配置回放音频内容时,所述多个音频驱动器被配置成形成一个或更多个全范围声轴,以与超低音扬声器声轴同步地输出环绕声内容音频内容的相应声道,其中,第四空间滤波器对应于所述第二环绕声回放配置。
7.根据任一前述权利要求所述的方法,其中,所述多个回放配置包括以下回放配置中的两个或更多个:
音乐回放配置,在以所述音乐回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴以输出音乐内容,其中,音乐回放空间滤波器对应于所述音乐回放配置,以及
家庭影院回放配置,在以所述家庭影院回放配置回放音频内容时,所述多个音频驱动器被配置成形成声轴,以输出与视频内容配对的音频内容,其中,家庭影院回放空间滤波器对应于所述家庭影院回放配置。
8.根据任一前述权利要求所述的方法,其中,所述校准音频是第二校准音频,所述方法还包括:
在使所述多个音频驱动器输出所述第二校准音频之前,使所述一个或更多个驱动器输出第一校准音频,所述第一校准音频被划分成包括针对所述多个回放配置中的每个回放配置的相应帧的重复的帧集合;
经由所述麦克风记录由所述多个音频驱动器输出的所述第一校准音频;以及
使所述处理设备基于所记录的第一校准音频来确定用于所述多个回放配置的所述相应空间滤波器集合,每个空间滤波器集合包括用于每个声轴的相应空间滤波器。
9.根据权利要求8所述的方法,其中:
所确定的空间滤波器集合将所述回放设备校准至所述回放设备的收听区域内的特定收听位置,并且
所确定的频谱滤波器补偿所述收听区域的声学特性。
10.根据权利要求8或9所述的方法,其中:
使所述多个音频驱动器输出所述第一校准音频包括:使多个音频驱动器在每个帧中的相应时隙处经由多个声轴发出校准音频,每个声轴对应于多声道音频内容的相应声道;并且
使所述处理设备确定所述相应空间滤波器集合包括:
使得根据相应确定的延迟,基于与所述声轴相对应的记录校准音频的时隙来确定所述多个声轴中的每个声轴的相应空间延迟,
其中,使得确定所述多个声轴中的每个声轴的相应延迟包括:
使处理设备根据与每个声轴相对应的记录校准音频的时隙来确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间;以及
使得确定所述多个声轴中的每个声轴的延迟,每个确定的延迟对应于所确定的相应声轴的到达时间。
11.根据权利要求10所述的方法,其中,使所述处理设备确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间包括:
将所记录的校准音频划分成组成帧并且将每个组成帧划分成针对每个声轴的相应时隙;
根据与每个声轴相对应的相应时隙来确定所述声轴的相应脉冲响应;
将所述相应脉冲响应与第一参考点对准;
识别每个脉冲响应中的相应第二参考点;以及
基于每个脉冲响应中的所述第一参考点与所述第二参考点的相应差异来确定在所述麦克风处的相应到达时间,
其中,所述声轴由参考声轴和一个或更多个其他声轴组成,并且其中,识别每个脉冲响应中的相应第二参考点包括:
识别所述参考声轴的所述脉冲响应中的峰值作为给定第二参考点;以及
在所述给定第二参考点之后的时窗中,识别所述一个或更多个其他声轴的所述脉冲响应的相应峰值作为其他第二参考点。
12.根据权利要求10至11中的一项所述的方法,其中,使所述处理设备确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间包括:
经由所述网络接口向所述处理设备发送:
所记录的校准音频,以及
确定所述多个声轴中的每个声轴的在所述麦克风处的相应到达时间的指令;以及
经由所述网络接口接收所确定的相应到达时间。
13.根据权利要求10所述的方法,其中,使得确定所述多个声轴中的每个声轴的延迟包括:
确定给定声轴的到达时间超过最大延迟阈值;以及
在所述媒体回放系统正在回放与视频内容配对的音频内容时,使得将所述给定声轴的延迟设置在所述最大延迟阈值处。
14.根据任一前述权利要求所述的方法,其中,检测启动对媒体回放系统的校准的所述触发条件包括以下操作之一:
经由用户接口检测输入数据,所述输入数据指示启动对所述媒体回放系统的校准的命令;以及
检测所述媒体回放系统的配置为特定轴配置,其中,所述多个音频驱动器形成特定声轴集合。
15.一种联网麦克风设备,被配置成执行根据任一前述权利要求所述的方法。
16.一种媒体回放系统,包括:
根据权利要求15所述的联网麦克风设备;以及
回放设备,被配置成在以给定回放配置回放音频内容时使音频级应用与所述给定回放配置相对应的特定频谱滤波器。
CN202011278502.2A 2016-07-15 2017-07-14 联网麦克风设备及其方法以及媒体回放系统 Active CN112492502B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US15/211,822 US9794710B1 (en) 2016-07-15 2016-07-15 Spatial audio correction
US15/211,835 US9860670B1 (en) 2016-07-15 2016-07-15 Spectral correction using spatial calibration
US15/211,822 2016-07-15
US15/211,835 2016-07-15
PCT/US2017/042191 WO2018013959A1 (en) 2016-07-15 2017-07-14 Spectral correction using spatial calibration
CN201780057093.3A CN109716795B (zh) 2016-07-15 2017-07-14 联网麦克风设备及其方法以及媒体回放系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780057093.3A Division CN109716795B (zh) 2016-07-15 2017-07-14 联网麦克风设备及其方法以及媒体回放系统

Publications (2)

Publication Number Publication Date
CN112492502A true CN112492502A (zh) 2021-03-12
CN112492502B CN112492502B (zh) 2022-07-19

Family

ID=59656155

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011278502.2A Active CN112492502B (zh) 2016-07-15 2017-07-14 联网麦克风设备及其方法以及媒体回放系统
CN201780057093.3A Active CN109716795B (zh) 2016-07-15 2017-07-14 联网麦克风设备及其方法以及媒体回放系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780057093.3A Active CN109716795B (zh) 2016-07-15 2017-07-14 联网麦克风设备及其方法以及媒体回放系统

Country Status (3)

Country Link
EP (2) EP4325895A3 (zh)
CN (2) CN112492502B (zh)
WO (1) WO2018013959A1 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478296A (zh) * 2009-01-05 2009-07-08 深圳华为通信技术有限公司 一种多声道系统中的增益控制方法及装置
US20110216924A1 (en) * 2010-03-03 2011-09-08 William Berardi Multi-element directional acoustic arrays
WO2011139502A1 (en) * 2010-05-06 2011-11-10 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US20120237037A1 (en) * 2011-03-18 2012-09-20 Dolby Laboratories Licensing Corporation N Surround
US20130066453A1 (en) * 2010-05-06 2013-03-14 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US20130216071A1 (en) * 2012-02-21 2013-08-22 Intertrust Technologies Corporation Audio reproduction systems and methods
US20140003635A1 (en) * 2012-07-02 2014-01-02 Qualcomm Incorporated Audio signal processing device calibration
US20140126730A1 (en) * 2012-11-07 2014-05-08 Fairchild Semiconductor Corporation Methods and apparatus related to protection of a speaker
US20150223004A1 (en) * 2012-09-18 2015-08-06 Orange Optimized Calibration of a Multi-Loudspeaker Sound Playback System
CN104967953A (zh) * 2015-06-23 2015-10-07 Tcl集团股份有限公司 一种多声道播放方法和系统
US20160011850A1 (en) * 2012-06-28 2016-01-14 Sonos, Inc. Speaker Calibration User Interface
US20160088438A1 (en) * 2014-09-24 2016-03-24 James Thomas O'Keeffe Mobile device assisted smart building control
WO2016054090A1 (en) * 2014-09-30 2016-04-07 Nunntawi Dynamics Llc Method to determine loudspeaker change of placement

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL134979A (en) * 2000-03-09 2004-02-19 Be4 Ltd A system and method for optimizing three-dimensional hearing
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
WO2009095965A1 (ja) * 2008-01-31 2009-08-06 Mitsubishi Electric Corporation 帯域分割時間補正信号処理装置
PL2308244T3 (pl) * 2008-07-28 2012-10-31 Gibson Innovations Belgium Nv System akustyczny i sposób jego działania
CN102197662B (zh) * 2009-05-18 2014-04-23 哈曼国际工业有限公司 效率优化的音频系统
US8219394B2 (en) * 2010-01-20 2012-07-10 Microsoft Corporation Adaptive ambient sound suppression and speech tracking
US9524098B2 (en) * 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9106192B2 (en) * 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9942683B2 (en) * 2013-07-16 2018-04-10 The Trustees Of The University Of Pennsylvania Sound propagation and perception for autonomous agents in dynamic environments
EP2838086A1 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
US9729984B2 (en) * 2014-01-18 2017-08-08 Microsoft Technology Licensing, Llc Dynamic calibration of an audio system

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478296A (zh) * 2009-01-05 2009-07-08 深圳华为通信技术有限公司 一种多声道系统中的增益控制方法及装置
US20110216924A1 (en) * 2010-03-03 2011-09-08 William Berardi Multi-element directional acoustic arrays
WO2011139502A1 (en) * 2010-05-06 2011-11-10 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
CN102893633A (zh) * 2010-05-06 2013-01-23 杜比实验室特许公司 用于便携式媒体回放装置的音频系统均衡化
US20130066453A1 (en) * 2010-05-06 2013-03-14 Dolby Laboratories Licensing Corporation Audio system equalization for portable media playback devices
US20120237037A1 (en) * 2011-03-18 2012-09-20 Dolby Laboratories Licensing Corporation N Surround
US20130216071A1 (en) * 2012-02-21 2013-08-22 Intertrust Technologies Corporation Audio reproduction systems and methods
US20160011850A1 (en) * 2012-06-28 2016-01-14 Sonos, Inc. Speaker Calibration User Interface
US20140003635A1 (en) * 2012-07-02 2014-01-02 Qualcomm Incorporated Audio signal processing device calibration
US20150223004A1 (en) * 2012-09-18 2015-08-06 Orange Optimized Calibration of a Multi-Loudspeaker Sound Playback System
US20140126730A1 (en) * 2012-11-07 2014-05-08 Fairchild Semiconductor Corporation Methods and apparatus related to protection of a speaker
US20160088438A1 (en) * 2014-09-24 2016-03-24 James Thomas O'Keeffe Mobile device assisted smart building control
WO2016054090A1 (en) * 2014-09-30 2016-04-07 Nunntawi Dynamics Llc Method to determine loudspeaker change of placement
CN104967953A (zh) * 2015-06-23 2015-10-07 Tcl集团股份有限公司 一种多声道播放方法和系统

Also Published As

Publication number Publication date
EP4325895A3 (en) 2024-05-15
CN109716795A (zh) 2019-05-03
EP3485655A1 (en) 2019-05-22
WO2018013959A1 (en) 2018-01-18
EP4325895A2 (en) 2024-02-21
EP3485655B1 (en) 2024-01-03
CN109716795B (zh) 2020-12-04
CN112492502B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
US11736878B2 (en) Spatial audio correction
US10448194B2 (en) Spectral correction using spatial calibration
US11818553B2 (en) Calibration based on audio content
US10674293B2 (en) Concurrent multi-driver calibration
CN109716795B (zh) 联网麦克风设备及其方法以及媒体回放系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant