CN103636236B - 音频回放系统监视 - Google Patents

音频回放系统监视 Download PDF

Info

Publication number
CN103636236B
CN103636236B CN201280032462.0A CN201280032462A CN103636236B CN 103636236 B CN103636236 B CN 103636236B CN 201280032462 A CN201280032462 A CN 201280032462A CN 103636236 B CN103636236 B CN 103636236B
Authority
CN
China
Prior art keywords
loudspeaker
microphone
signal
template
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280032462.0A
Other languages
English (en)
Other versions
CN103636236A (zh
Inventor
S·布哈里特卡
B·G·克罗克特
L·D·费尔德
M·罗克威尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN201610009534.XA priority Critical patent/CN105472525B/zh
Publication of CN103636236A publication Critical patent/CN103636236A/zh
Application granted granted Critical
Publication of CN103636236B publication Critical patent/CN103636236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Social Psychology (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

在一些实施例中，一种用于监视音频回放系统（例如，电影院）环境内的扬声器的方法。在典型的实施例中，监视方法假设扬声器的初始特性（例如，对于每个扬声器的房间响应）已经在初始时间被确定，并且依赖于被定位在该环境中的一个或多个麦克风来对每个扬声器执行状态检查以识别这些扬声器中的任何一个的至少一种特性自从初始时间以后是否发生变化。在其他实施例中，所述方法生成指示麦克风的输出的数据以监视观众对视听节目的反应。其他方面包括一种被配置为（例如，被编程为）执行本发明的方法的任何实施例的系统、以及存储用于实现本发明的方法的任何实施例的代码的计算机可读介质（例如，盘）。

Description

音频回放系统监视
相关申请的交叉引用
本申请要求于2011年7月1日提交的美国临时申请No.61/504,005、于2012年4月20日提交的美国临时申请No.61/635,934和于2012年6月4日提交的美国临时申请No.61/655,292的优先权，所有这些申请的全部内容出于所有目的通过引用并入此。
技术领域
本发明涉及用于监视音频回放系统（例如，以监视音频回放系统的扬声器的状态和/或监视观众对音频回放系统回放的音频节目的反应）的系统和方法。典型的实施例是用于监视影院（电影院）环境（例如，以监视用于在这样的环境中呈现音频节目的扬声器的状态和/或监视观众对在这样的环境中回放的视听节目的反应）的系统和方法。
背景技术
典型地，在初始配准过程（在初始配准过程中，对音频回放系统的扬声器的集合进行初始校准）期间，粉红噪声（或诸如扫掠或伪随机噪声序列的另一种刺激）通过系统的每个扬声器而被播放，并且被麦克风捕捉。从每个扬声器发出并且被置于边墙上/天花板上/室内的“签名”麦克风捕捉的粉红噪声（或其他刺激）典型地被存储以供在随后的维护检查（质量检查）期间使用。当不存在观众时，这样的随后的维护检查通常是由放映商的工作人员在回放系统环境（其可以是电影院）中、使用在检查期间通过预定的扬声器序列（该扬声器序列的状态将被监视）呈现的粉红噪声来执行的。在维护检查期间，对于在回放环境中按顺序排列的每个扬声器，麦克风捕捉该扬声器发出的粉红噪声，并且维护系统识别初始测量的粉红噪声（在配准过程期间从扬声器发出并且被捕捉）与在维护检查期间测量的粉红噪声之间的任何差异。这可以指示自从初始配准以来在扬声器的集合中发生的变化，诸如这些扬声器中的一个扬声器（例如，低音扬声器、中音扬声器或高音扬声器）中的单个驱动器的损坏、或扬声器输出频谱中的（相对于在初始配准中确定的输出频谱的）变化、或这些扬声器中的一个扬声器的输出的极性相对于在初始配准中确定的极性的变化（例如，由于扬声器的更换导致）。该系统还可以使用从粉红噪声测量去卷积的扬声器-房间响应进行分析。另外的修改包括对时间响应进行门控或窗口化以对扬声器的直达声音进行分析。
然而，这样的常规实现的维护检查存在几个限制和缺点，包括以下：(i)使粉红噪声单独地、顺序地通过影院的扬声器并且对来自（典型地位于影院的墙壁上）各麦克风的各相应的扬声器-房间脉冲响应进行去卷积是耗时的，特别是因为电影院可以具有多达26个（或更多个）扬声器；以及(ii)执行维护检查对于直接向影院里的观众宣传影院的视听系统格式没有帮助。
发明内容
在一些实施例中，本发明是一种用于监视音频回放系统（例如，电影院）环境内的扬声器的方法。在这类的典型实施例中，监视方法假设扬声器的初始特性（例如，对于每个扬声器的房间响应）已经在初始时间被确定，并且依赖于被定位在该环境内（例如，被定位在边墙上）的一个或多个麦克风来对该环境中的每个扬声器执行维护检查（在本文中有时被称为质量检查或“QC”或状态检查）以识别这些扬声器中的任何一个的至少一种特性自从初始时间以来（例如，自从回放系统的初始配准或校准以来）是否发生变化。状态检查可以周期性地（例如，每天）执行。
在一类实施例中，在向观众回放视听节目（例如，电影预告片或其他娱乐视听节目）期间（例如，在向观众播放电影之前），对影院的音频回放系统的各个扬声器执行基于预告片的扬声器质量检查（QC）。因为设想视听节目典型地是电影预告片，所以它在本文中常常将被称为“预告片”。在一个实施例中，质量检查识别（对回放系统的每个扬声器）模板信号（例如，所测量的在初始时间（例如，在扬声器校准或配准过程期间）麦克风响应于扬声器回放预告片的声带而捕捉的初始信号）与在质量检查期间麦克风响应于预告片的声带的（由回放系统的扬声器进行的）回放而捕捉的测量信号（在本文中有时被称为状态信号或“QC”信号）之间的任何差异。在另一实施例中，在初始校准步骤期间获得典型的扬声器-房间响应以用于影院均衡化。然后在处理器中用这些扬声器-房间响应对预告片信号进行滤波（该扬声器-房间响应继而可以用均衡化滤波器进行滤波），并且与对相应预告片信号进行滤波的另一合适的扬声器-房间均衡化响应求总和。输出处的所得信号然后形成模板信号。将模板信号与当在存在观众时呈现预告片时的所捕捉的信号（在下文中被称为状态信号）进行比较。
当预告片包括宣传影院的视听系统的格式的主题时，使用这样的基于预告片的扬声器QC监视的进一步的优点（对于销售视听系统和/或许可视听系统的实体，以及对于影院所有者而言）是它激励影院所有者播放预告片以便利于质量检查的执行，同时提供宣传视听系统格式（例如，推销视听系统格式和/或提高视听系统格式的观众认知）的显著益处。
本发明的基于预告片的扬声器质量检查方法的典型实施例在状态检查（在本文中有时被称为质量检查或QC）期间、从在回放系统的所有扬声器回放预告片期间麦克风所捕捉的状态信号提取各个扬声器的特性。在典型的实施例中，在状态检查期间获得的状态信号本质上是在麦克风处所有房间-响应卷积扬声器输出信号（各扬声器输出信号是对于在状态检查期间在预告片回放期间发出声音的每个扬声器的）的线性组合。在扬声器故障的情况下，通过对状态信号进行处理由QC检测到的任何故障模式典型地被传送给影院所有者和/或被影院的音频回放系统的解码器使用以改变呈现模式。
在一些实施例中，本发明的方法包括以下步骤：利用源分离算法、模式匹配算法（pattern matching algorithm）和/或从每个扬声器的唯一指纹提取来获得指示从这些扬声器中的单个扬声器发出的声音的状态信号的处理后的版本（而不是所有房间-响应卷积扬声器输出信号的线性组合）。然而，典型的实施例执行基于互相关/PSD（功率谱密度）的方法来从指示从回放环境中的所有扬声器发出的声音的状态信号监视该环境中的每个单独扬声器的状态（而不利用源分离算法、模式匹配算法或从每个扬声器的唯一指纹提取）。
本发明的方法可以在家庭环境中以及在剧院环境中执行，例如，在家庭影院装置（例如，被装运给用户的、其中麦克风将用于执行该方法的AVR或蓝光播放器）中执行所需的麦克风输出信号的信号处理。
本发明的典型实施例实现基于互相关/功率谱密度（PSD）的方法来从状态信号监视回放环境（其典型地是电影院）中的每个单独扬声器的状态，所述状态信号是指示在视听节目（由该环境中的所有扬声器）回放期间所捕捉的声音的麦克风输出信号。因为视听节目典型地是电影预告片，所以它在下文将被称为预告片。例如，本发明的方法的一类实施例包括以下步骤：
(a)回放其声带具有N个通道（可以是扬声器通道或对象通道）的预告片，其中，N是正整数（例如，大于1的整数），包括通过从定位在回放环境中的N个扬声器的集合响应于通过用于该声带的不同通道的扬声器馈送驱动各扬声器来发出预告片所确定的声音。典型地，在电影院中存在观众时回放预告片。
(b)获得音频数据，该音频数据指示在步骤(a)中发出声音期间回放环境中的M个麦克风的集合中的每个麦克风所捕捉的状态信号，其中，M是正整数（例如，M=1或2）。在典型的实施例中，每个麦克风的状态信号是步骤(a)期间的麦克风的模拟输出信号，并且通过对该输出信号进行采样而产生指示该状态信号的音频数据。优选地，将该音频数据组织为具有足以获得足够低的频率分辨率的帧大小的帧，并且该帧大小优选地足以确保每个帧中存在来自声带的所有通道的内容；并且
(c)对该音频数据进行处理以对所述N个扬声器的集合中的每个扬声器执行状态检查，包括对于每个所述扬声器和所述M个麦克风的集合中的至少一个麦克风中的每个，将该麦克风捕捉的状态信号（所述状态信号由在步骤(b)中获得的音频数据确定）和模板信号进行比较，其中，模板信号指示（例如，表示）模板麦克风对在初始时间在回放环境中扬声器回放声带的与所述扬声器相应的通道的响应。可替换地，可以在处理器中通过从扬声器到相应的一个（或多个）签名麦克风的（被均衡化的或未被均衡化的）扬声器-房间响应的先验知识来计算模板信号（表示一个签名麦克风或多个签名麦克风处的响应）。模板麦克风在初始时间被定位在所述环境中、与步骤(b)期间的所述集合中的相应麦克风至少基本相同的位置处。优选地，模板麦克风是所述集合的相应麦克风，并且在初始时间被定位在所述环境中、与步骤(b)期间的所述相应麦克风相同的位置处。初始时间是执行步骤(b)之前的时间，每个扬声器的模板信号典型地在预备操作（例如，预备扬声器配准过程）中被预先确定，或者在步骤(b)之前（或步骤（b）期间）从对于相应的扬声器-麦克风对的预定房间响应和预告片声带产生。
步骤(c)优选地包括：（对于每个扬声器和麦克风）确定所述扬声器和麦克风的模板信号（或所述模板信号的带通滤波版本）与所述麦克风的状态信号（或其带通滤波版本）的互相关，并从该互相关的频域表示（例如，功率谱）识别模板信号与状态信号之间的差异（在任何显著差异存在的情况下）。在典型的实施例中，步骤(c)包括以下操作：（对于每个扬声器和麦克风）将带通滤波器应用于（扬声器和麦克风的）模板信号和（麦克风的）状态信号，并（对于每个麦克风）确定该麦克风的每个经带通滤波的模板信号与该麦克风的经带通滤波的状态信号的互相关，并从该互相关的频域表示（例如，功率谱）识别模板信号与状态信号之间的差异（在任何显著差异存在的情况下）。
所述方法的这类实施例假设知晓扬声器的房间响应（典型地在预备操作（例如，扬声器配准或校准操作）期间获得）并且知晓预告片声带。为了确定每个扬声器-麦克风对的在步骤(c)中采用的模板信号，可以执行以下步骤。通过用与扬声器定位于相同的环境中（例如，房间里）的麦克风测量从该扬声器发出的声音来（例如，在预备操作期间）确定每个扬声器的房间响应（脉冲响应）。然后，将预告片声带的每个通道信号与相应的脉冲响应（由用于该通道的扬声器馈送驱动的扬声器的脉冲响应）进行卷积，以确定该通道的（麦克风的）模板信号。每个扬声器-麦克风对的模板信号（模板）是在执行监视（质量检查）方法期间、在扬声器发出预告片声带的相应通道所确定的声音的情况下、在麦克风处预计输出的麦克风输出信号的模拟版本。
可替换地，可以执行以下步骤来确定用于每个扬声器-麦克风对的在步骤(c)中采用的每个模板信号。每个扬声器由用于预告片声带的相应通道的扬声器馈送驱动，并且用与该扬声器位于相同的环境中（例如，房间里）的麦克风（例如，在预备操作期间）测量所得到的声音。对于每个扬声器的麦克风输出信号是该扬声器（和相应麦克风）的模板信号，并且从它是在执行监视（质量检查）方法期间、在扬声器发出预告片声带的相应通道所确定的声音的情况下、在麦克风处预计输出的麦克风输出信号的意义上来讲，它是模板。
对于每个扬声器-麦克风对，扬声器的模板信号（该模板信号是被测量模板或被模拟模板）与在执行本发明的监视方法期间麦克风响应于预告片声带而捕捉的被测量状态信号之间的任何显著差异指示扬声器的特性的意外变化。
本发明的典型实施例监视传递函数以及变化何时发生的标志，该传递函数是通过使用麦克风捕捉从扬声器发出的声音而测量的、由每个扬声器应用于对于视听节目（例如，电影预告片）的通道的扬声器馈送的。因为典型的预告片不是一次仅使一个扬声器工作足够长的时间以进行传递函数测量，所以本发明的一些实施例利用互相关平均化方法来使每个扬声器的传递函数与回放环境中的其他扬声器的传递函数分离。例如，在一个这样的实施例中，本发明的方法包括以下步骤：获得音频数据，该音频数据指示在预告片回放期间（例如，电影院里的）麦克风所捕捉的状态信号；并对该音频数据进行处理以对用于呈现预告片的扬声器执行状态检查，包括对于每个扬声器，将模板信号与通过该音频数据确定的状态信号进行比较（包括执行互相关平均化），所述模板信号指示在初始时间麦克风对扬声器回放预告片的声带的相应通道的响应。比较步骤典型地包括识别模板信号与状态信号之间的差异（在任何显著差异存在的情况下）。（在对音频数据进行处理的步骤期间）互相关平均化典型地包括以下步骤：确定（对于每个扬声器的）所述扬声器和麦克风的模板信号（或所述模板信号的带通滤波版本）与所述麦克风的状态信号（或该状态信号的带通滤波版本）的互相关的序列，其中，这些互相关中的每个均是所述扬声器和麦克风的模板信号的一段（例如，一个帧或帧序列）（或所述段的带通滤波版本）与所述麦克风的状态信号的相应段（例如，一个帧或帧序列）（或所述段的带通滤波版本）的互相关；并从这些互相关的平均值识别模板信号与状态信号之间的差异（在任何显著差异存在的情况下）。
在另一类实施例中，本发明的方法对指示至少一个麦克风的输出的数据进行处理以监视观众对视听节目（例如，在电影院中播放的电影）的反应（例如，大笑或鼓掌），并作为服务将所得的（指示观众反应的）输出数据提供给感兴趣方（例如，制片厂）（例如，通过联网的d剧院服务器）。该输出数据可以基于观众大笑的频率和响亮程度来告知制片厂喜剧做得很好，或者基于观众成员在结束时是否鼓掌了来告知制片厂严肃电影做得怎么样。所述方法可以提供可以用于直接投放用于宣传电影的广告的、基于地理的反馈（例如，提供给制片厂）。
这类的典型实施例实现以下关键技术：(i)回放内容（即，在存在观众时回放的节目的音频内容）与（在存在观众时回放节目期间）每个麦克风所捕捉的每个观众信号的分离，这样的分离典型地由被耦合以接收每个麦克风的输出的处理器实现；以及(ii)用于区分一个麦克风（多个麦克风）所捕捉的不同观众信号的内容分析和模式分类技术（典型地也是由被耦合以接收每个麦克风的输出的处理器实现）。
回放内容与观众输入的分离可以通过执行例如频谱减法来实现，在频谱减法中，获得每个麦克风处的被测量信号与传送给扬声器的扬声器馈送信号的滤波版本（其中，滤波器是在麦克风处测量的扬声器的均衡化房间响应的副本）的总和之间的差值。因此，从在麦克风处响应于组合的节目和观众信号而接收的实际信号减去预计在麦克风处仅响应于节目而接收的信号的模拟版本。滤波可以以不同的采样速率进行以在特定频带中得到更好的分辨率。
模式识别可以利用监督式或非监督式的聚类/分类技术。
本发明的方面包括一种被配置为（例如，被编程为）执行本发明的方法的任何实施例的系统、以及存储用于实现本发明的方法的任何实施例的代码的计算机可读介质（例如，盘）。
在一些实施例中，本发明的系统是或包括至少一个麦克风（每个所述麦克风被定位为在该系统操作以执行本发明的方法的实施例期间捕捉从将被监视的扬声器的集合发出的声音）、以及被耦合以从每个所述麦克风接收麦克风输出信号的处理器。典型地，所述声音是在房间（例如，电影院）里在存在观众时、由将被监视的扬声器回放视听节目（例如，电影预告片）期间所产生的。所述处理器可以是通用或专用处理器（例如，音频数字信号处理器），并且被用软件（或固件）编程为和/或被以其他方式配置为响应于每个所述麦克风输出信号而执行本发明的方法的实施例。在一些实施例中，本发明的系统是或包括被耦合以接收输入音频数据（例如，指示至少一个麦克风响应于从将被监视的扬声器的集合发出的声音的输出）的通用处理器。通常，所述声音是在房间（例如，电影院）里在存在观众时由将被监视的扬声器回放视听节目（例如，电影预告片）期间所产生的。所述处理器被（用合适的软件）编程为响应于输入音频数据（通过执行本发明的方法的实施例）产生输出数据，以使得该输出数据指示扬声器的状态。
注释和术语
在包括权利要求书的整个本公开内容中，表达“对”信号或数据执行操作（例如，对信号或数据进行滤波、缩放或变换）广义地用于表示直接对信号或数据执行该操作、或者对信号或数据的处理后的版本（例如，信号的在被执行该操作之前已经经过了预滤波的版本）执行该操作。
在包括权利要求书的整个本公开内容中，表达“系统”在广义上用于表示装置、系统或子系统。例如，实现解码器的子系统可以被称为解码器系统，并且包括这样的子系统的系统（例如，响应于多个输入产生X个输出信号的系统，其中，子系统产生这些输入中的M个输入，而其他X-M个输入从外部源接收到）也可以被称为解码器系统。
在包括权利要求书的整个本公开内容中，以下表达具有以下定义：
扬声器和扩音器同义地用于表示任何发声换能器。该定义包括被实现为多个换能器（例如，低音扬声器和高音扬声器）的扬声器；
扬声器馈送：将被直接应用于扬声器的音频信号、或将应用于串联的放大器和扬声器的音频信号；
通道（或“音频通道”）：单声道音频信号；
扬声器通道（或“扬声器-馈送通道”）：与（在所希望的位置或标称位置处的）指定的扬声器或在限定的扬声器配置内的指定的扬声器区域相关联的音频通道。以等同于直接将音频信号应用于（在所希望的位置或标称位置处的）指定的扬声器或直接应用于指定的扬声器区域中的扬声器的这样的方式呈现扬声器通道。所希望的位置可以如通常物理扬声器的情况那样是静态的，或者是动态的；
对象通道：指示音频源（有时被称为音频“对象”）所发出的声音的音频通道。典型地，对象通道确定参数化音频源描述。源描述可以确定源发出的声音（作为时间的函数）、作为时间的函数的源的视位置（例如，3D空间坐标），并且可选地还可以确定表征源的至少一个附加参数（例如，视在源大小或宽度）；
音频节目：一个或多个音频通道的集合，并且可选地还有描述所希望的空间音频展现的相关联的元数据；
呈现器：将音频节目转换为一个或多个扬声器馈送的处理、或者将音频节目转换为一个或多个扬声器馈送并使用一个或多个扬声器将一个扬声器馈送（多个扬声器馈送）转换为声音的处理（在后一种情况下，呈现在本文中有时被称为“被”一个扬声器（多个扬声器）呈现）。可以通过将信号直接应用于所希望的位置处的物理扬声器来（“在”所希望的位置处）平常地呈现音频通道，或者可以使用被设计为（对于听众而言）基本上等同于这样的平常呈现的各种虚拟化（或上混频）技术中的一种技术来呈现一个或多个音频通道。在后一种情况下，可以将每个音频通道转换为将应用于位于通常与所希望的位置不同的（但是可以与所希望的位置相同的）已知位置的一个扬声器（多个扬声器）的一个或多个扬声器馈送，以使得一个扬声器（多个扬声器）响应于该馈送发出的声音将被感知为如从所希望的位置发出一样。这样的虚拟化技术的例子包括通过耳机的双耳呈现（例如，通过使用对于耳机佩带者的模拟多达7.1个通道的环绕声的Dolby Headphone处理）以及波场合成。这样的上混频技术的例子包括来自Dolby的上混频技术（Pro-logic类型）或其他上混频技术（例如，Harman Logic7、Audyssey DSX、DTS Neo等）。
方位（或方位角）：水平面中源相对于听众/观众的角度。通常，0度方位角表示源在听众/观众的正前方，并且随着源围绕听众/观众逆时针方向移动，方位角增大；
高度（或仰角）：垂直面中源相对于听众/观众的角度。通常，0度仰角表示源在与听众/观众相同的水平面中，并且随着源相对于观众向上移动（在从0度到90度范围内），仰角增大；
L：左前音频通道。典型地意在由被定位在大约30度方位、0度高度的扬声器呈现的扬声器通道；
C：前中音频通道。典型地意在由被定位在大约0度方位、0度高度的扬声器呈现的扬声器通道；
R：右前音频通道。典型地意在由被定位在大约-30度方位、0度高度的扬声器呈现的扬声器通道；
Ls：左环绕音频通道。典型地意在由被定位在大约110度方位、0度高度的扬声器呈现的扬声器通道；
Rs：右环绕音频通道。典型地意在由被定位在大约-110度方位、0度高度的扬声器呈现的扬声器通道；以及
前通道：与前置声音级相关联的（音频节目的）扬声器通道。典型地，前通道是立体声节目的L和R通道、或环绕声节目的L、C和R通道。此外，前通道还可以涉及驱动更多扬声器（诸如具有五个前扬声器的SDDS类型）的其他通道，可以存在作为阵列模式或作为分立单个模式的与宽和高通道以及环绕声激励（surrounds firing）相关联的扬声器、以及头顶扬声器。
附图说明
图1是一组三个曲线图，每个曲线图分别是在本发明的实施例中所监视的三个扬声器（左通道扬声器、右通道扬声器和中央通道扬声器）集合中的不同的一个扬声器的脉冲响应（所绘制的幅值对时间）。在执行本发明的实施例来监视扬声器之前，对于每个扬声器的脉冲响应在预备操作中通过用麦克风测量从该扬声器发出的声音来确定。
图2是图1的脉冲响应的频率响应（均是幅值对频率的绘图）的曲线图。
图3是本发明的实施例中所使用的被执行以产生经带通滤波的模板信号的步骤的流程图。
图4是在本发明的实施例中执行的步骤的流程图，该步骤确定经带通滤波的模板信号（根据图3产生）与经带通滤波的麦克风输出信号的互相关。
图5是通过将用于预告片声带的（由左扬声器呈现的）通道1的经带通滤波的模板与在预告片回放期间所测量的经带通滤波的麦克风输出信号进行互相关而产生的互相关信号的功率谱密度（PSD）的绘图，其中，模板和麦克风输出信号均已经用第一带通滤波器（其通带为100Hz-200Hz）进行了滤波。
图6是通过将用于预告片声带的（由中央扬声器呈现的）通道2的经带通滤波的模板与在预告片回放期间所测量的经带通滤波的麦克风输出信号进行互相关而产生的互相关信号的功率谱密度（PSD）的绘图，其中，模板和麦克风输出信号均已经用第一带通滤波器进行了滤波。
图7是通过将用于预告片声带的（由左扬声器呈现的）通道1的经带通滤波的模板与在预告片回放期间所测量的经带通滤波的麦克风输出信号进行互相关而产生的互相关信号的功率谱密度（PSD）的绘图，其中，模板和麦克风输出信号均已经用其通带为150Hz-300Hz的第二带通滤波器进行了滤波。
图8是通过将用于预告片声带的（由中央扬声器呈现的）通道2的经带通滤波的模板与在预告片回放期间所测量的经带通滤波的麦克风输出信号进行互相关而产生的互相关信号的功率谱密度（PSD）的绘图，其中，模板和麦克风输出信号均已经用该第二带通滤波器进行了滤波。
图9是通过将用于预告片声带的（由左扬声器呈现的）通道1的经带通滤波的模板与在预告片回放期间所测量的经带通滤波的麦克风输出信号进行互相关而产生的互相关信号的功率谱密度（PSD）的绘图，其中，模板和麦克风输出信号均已经用其通带为1000Hz-2000Hz的第三带通滤波器进行了滤波。
图10是通过将用于预告片声带的（由中央扬声器呈现的）通道2的经带通滤波的模板与在预告片回放期间所测量的经带通滤波的麦克风输出信号进行互相关而产生的互相关信号的功率谱密度（PSD）的绘图，其中，模板和麦克风输出信号均已经用该第三带通滤波器进行了滤波。
图11是左通道扬声器（L）、中央通道扬声器（C）和右通道扬声器（R）以及本发明的系统的实施例被定位在其中的回放环境1（例如，电影院）的示图。本发明的系统的实施例包括麦克风3和被编程的处理器2。
图12是在本发明的实施例中执行的、从在存在观众时在视听节目（例如，电影）回放期间所捕捉的至少一个麦克风的输出识别观众产生信号（观众信号）的步骤的流程图，这些步骤包括使观众信号与麦克风输出的节目内容分离。
图13是用于对在存在观众时在视听节目（例如，电影）回放期间所捕捉的麦克风的输出（“mj(n)”）进行处理以使观众产生信号（观众信号“d’j(n)”）与麦克风输出的节目内容分离的系统的框图。
图14是在影院里回放视听节目期间观众可以生成的类型的观众产生声音的曲线图（其幅值相对于时间被绘制的掌声）。它是其采样在图13中被标识为采样dj(n)的观众产生声音的例子。
图15是根据本发明的实施例从麦克风的模拟输出（指示在存在观众时回放的视听节目的音频内容和图14的观众产生声音这两者）产生的图14的观众产生声音的估计的曲线图（即，其幅值相对于时间被绘制的估计掌声曲线图）。它是从图13的系统的元件101输出的、其采样在图13中被标识为d’j(n)的观众产生信号的例子。
具体实施方式
本发明的许多实施例在技术上是可能的。根据本公开，如何实现它们对于本领域的普通技术人员将是显见的。将参照图1-15描述本发明的系统、介质和方法的实施例。
在一些实施例中，本发明是一种用于监视音频回放系统（例如，电影院）环境内的扬声器的方法。在这类的典型实施例中，监视方法假设扬声器的初始特性（例如，对每个扬声器的房间响应）已经在初始时间被确定，并且依赖于被定位在该环境内的（例如，被定位在边墙上的）一个或多个麦克风来对该环境中的每个扬声器执行维护检查（在本文中有时被称为质量检查或“QC”或状态检查）以识别以下事件中的一个或多个自从初始时间以来是否发生：(i)扬声器中的任何一个（例如，低音扬声器、中音扬声器或高音扬声器）中的至少一个单独驱动器受损；(ii)扬声器的输出频谱已变化（相对于在所述环境中的扬声器的初始校准中所确定的输出频谱）；以及(iii)例如由于扬声器的更换而导致扬声器的输出的极性变化（相对于在所述环境中的扬声器的初始校准中所确定的极性）。可以周期性地（例如，每天）执行QC检查。
在一类实施例中，（例如，在向观众播放电影之前）在向观众回放视听节目（例如，电影预告片或其他娱乐视听节目）期间，对影院的音频回放系统的各个扬声器执行基于预告片的扬声器质量检查（QC）。因为设想视听节目通常为电影预告片，所以它在本文中常常将被称为“预告片”。质量检查（对于回放系统的每个扬声器）识别模板信号（例如，所测量的在扬声器校准或配准过程期间麦克风响应于扬声器回放预告片的声带而捕捉的初始信号）与被测量的在质量检查期间麦克风响应于（由回放系统的扬声器进行的）预告片的声带的回放而捕捉的状态信号之间的任何差异。当预告片包括宣传影院的视听系统的格式的主题时，使用这样的基于预告片的扬声器QC监视的进一步的优点（对于销售视听系统和/或许可视听系统的实体、以及对于影院所有者而言）是，它激励影院所有者播放预告片以便利于质量检查的执行，同时提供宣传视听系统格式（例如，推销视听系统格式和/或提高视听系统格式的观众意识）的显著益处。
本发明的基于预告片的扬声器质量检查方法的典型实施例在质量检查期间，从在回放系统的所有扬声器回放预告片期间由麦克风所捕捉的状态信号提取各个扬声器的特性。尽管在本发明的任何实施例中，可以使用包括两个或更多个麦克风的麦克风集合（而不是单个麦克风）来在扬声器质量检查期间捕捉状态信号（例如，通过将该集合中的各个麦克风的输出进行组合来产生状态信号），但是为了简单起见，术语“麦克风”在本文中（用于描述和要求保护本发明）广义地用于表示单个麦克风、或者其输出被组合以确定将根据本发明的方法的实施例进行处理的信号的两个或更多个麦克风的集合。
在典型的实施例中，在质量检查期间获得的状态信号本质上是在麦克风处所有的房间-响应卷积扬声器输出信号（各信号是针对在QC期间在预告片回放期间发出声音的各扬声器）的线性组合。在扬声器故障的情况下，通过对状态信号进行处理通过QC而检测到的任何故障模式典型地被传送给影院所有者和/或被影院的音频回放系统的解码器用于改变呈现模式。
在一些实施例中，本发明的方法包括以下步骤：利用源分离算法、模式匹配算法和/或从每个扬声器的唯一指纹提取来获得指示从这些扬声器中的单独扬声器发出的声音的状态信号的处理后的版本（而不是所有房间-响应卷积扬声器输出信号的线性组合）。然而，典型的实施例执行基于互相关/PSD（功率谱密度）的方法来从指示从回放环境中的所有扬声器发出的声音的状态信号监视该环境中的每个单独扬声器的状态（而不利用源分离算法、模式匹配算法或从每个扬声器的唯一指纹提取）。
本发明的方法可以在家庭环境中以及在剧院环境中执行，例如，在家庭影院装置（例如，被装运给用户的、其中麦克风将用于执行该方法的AVR或蓝光播放器）中执行所需的麦克风输出信号的信号处理。
本发明的典型实施例实现基于互相关/功率谱密度（PSD）的方法来从状态信号监视回放环境（其典型地是电影院）中的每个单独扬声器的状态，所述状态信号是指示在视听节目（由该环境中的所有扬声器）回放期间所捕捉的声音的麦克风输出信号。因为视听节目典型地是电影预告片，所以它在下文将被称为预告片。例如，本发明的方法的一类实施例包括以下步骤：
(a)回放其声带具有N个通道的预告片，其中，N是正整数（例如，大于1的整数），包括通过从定位在回放环境中的N个扬声器的集合来发出预告片所确定的声音，其中各扬声器由用于该声带的不同通道的扬声器馈送驱动。典型地，在电影院中存在观众时回放预告片。
(b)获得音频数据，该音频数据指示在步骤(a)中播放预告片期间回放环境中的M个麦克风的集合中的每个麦克风所捕捉的状态信号，其中，M是正整数（例如，M=1或2）。在典型的实施例中，每个麦克风的状态信号是响应于步骤(a)期间播放预告片的麦克风的模拟输出信号，并且通过对该输出信号进行采样而产生指示该状态信号的音频数据。优选地，将该音频数据组织为具有足以获得足够低的频率分辨率的帧大小的帧，并且该帧大小优选地足以确保每个帧中存在来自声带的所有通道的内容；并且
(c)对该音频数据进行处理以对所述N个扬声器的集合中的每个扬声器执行状态检查，包括对于每个所述扬声器和所述M个麦克风的集合中的至少一个麦克风中的每个，将该麦克风捕捉的状态信号（所述状态信号由在步骤(b)中获得的音频数据确定）和模板信号进行比较（例如，识别它们之间是否存在显著差异），其中，模板信号指示（例如，表示）模板麦克风对在初始时间在回放环境中扬声器回放声带的与所述扬声器相应的通道的响应。模板麦克风在初始时间被定位在所述环境中、与步骤(b)期间的所述集合中的相应麦克风至少基本相同的位置处。优选地，模板麦克风是所述集合的相应麦克风，并且在初始时间被定位在所述环境中、与步骤(b)期间的所述相应麦克风相同的位置处。初始时间是执行步骤(b)之前的时间，每个扬声器的模板信号典型地在预备操作（例如，预备扬声器配准过程）中被预先确定，或者在步骤(b)之前（或步骤（b）期间）从对于相应的扬声器-麦克风对的预定房间响应和预告片声带产生。可替换地，可以在处理器中通过从扬声器到相应的一个（或多个）签名麦克风的（被均衡化的或未被均衡化的）扬声器-房间响应的先验知识来计算模板信号（表示一个签名麦克风或多个签名麦克风处的响应）。
步骤(c)优选地包括如下操作：（对于每个扬声器和麦克风）确定所述扬声器和麦克风的模板信号（或所述模板信号的带通滤波版本）与所述麦克风的状态信号（或其带通滤波版本）的互相关，并从该互相关的频域表示（例如，功率谱）识别模板信号与状态信号之间的差异（在任何显著差异存在的情况下）。在典型的实施例中，步骤(c)包括以下操作：（对于每个扬声器和麦克风）将带通滤波器应用于（扬声器和麦克风的）模板信号和（麦克风的）状态信号，并（对于每个麦克风）确定该麦克风的每个经带通滤波的模板信号与该麦克风的经带通滤波的状态信号的互相关，并从该互相关的频域表示（例如，功率谱）识别模板信号与状态信号之间的差异（在任何显著差异存在的情况下）。
所述方法的这类实施例假设知晓包含任何均衡或其它滤波器的扬声器的房间响应（典型地在预备操作（例如，扬声器配准或校准操作）期间获得）并且知晓预告片声带。另外，与平移定律相关的任何其它处理以及转到扬声器馈送的其它信号的指示优选地在电影处理器中被建模以在签名麦克风处获得模板信号。为了确定每个扬声器-麦克风对的在步骤(c)中采用的模板信号，可以执行以下步骤。通过用与扬声器定位于相同的环境中（例如，房间里）的麦克风测量从该扬声器发出的声音来（例如，在预备操作期间）确定每个扬声器的房间响应（脉冲响应）。然后，将预告片声带的每个通道信号与相应的脉冲响应（由用于该通道的扬声器馈送驱动的扬声器的脉冲响应）进行卷积，以确定该通道的（麦克风的）模板信号。每个扬声器-麦克风对的模板信号（模板）是在执行监视（质量检查）方法期间、在扬声器发出预告片声带的相应通道所确定的声音的情况下、在麦克风处预计输出的麦克风输出信号的模拟版本。
可替换地，可以执行以下步骤来确定用于每个扬声器-麦克风对的在步骤(c)中采用的每个模板信号。每个扬声器由用于预告片声带的相应通道的扬声器馈送驱动，并且用与该扬声器位于相同的环境中（例如，房间里）的麦克风（例如，在预备操作期间）测量所得到的声音。对于每个扬声器的麦克风输出信号是该扬声器（和相应麦克风）的模板信号，并且从它是在执行监视（质量检查）方法期间、在扬声器发出预告片声带的相应通道所确定的声音的情况下、在麦克风处预计输出的信号的意义上来讲，它是模板。
对于每个扬声器-麦克风对，扬声器的模板信号（该模板信号是被测量模板或被模拟模板）与在执行本发明的监视方法期间麦克风响应于预告片声带而捕捉的被测量状态信号之间的任何显著差异指示扬声器的特性的意外变化。
我们接着参照图3和图4更详细地描述示例性实施例。该实施例假设存在N个扬声器，每个扬声器呈现预告片声带的不同通道，M个麦克风的集合用于确定用于每个扬声器-麦克风对的模板信号，并且同一麦克风集合在步骤(a)中回放预告片期间用于产生该集合中的每个麦克风的状态信号。指示每个状态信号的音频数据通过对相应麦克风的输出信号进行采样而产生。
图3示出被执行以确定步骤(c)中所用的模板信号（每个扬声器-麦克风对各一个模板信号）的步骤。
在图3的步骤10中，通过用第“j”麦克风（其中，索引j的范围为从1至M）测量从第“i”扬声器（其中，索引i的范围为从1至N）发出的声音来（在步骤(a)、(b)和(c)之前的操作期间）确定每个扬声器-麦克风对的房间响应（脉冲响应hji(n)）。该步骤可以按常规方式实现。以下将描述的图1中示出了三个扬声器-麦克风对的示例性房间响应（每个房间响应是通过使用同一麦克风响应于三个扬声器中的不同扬声器发出的声音而确定的）。
然后，在图3的步骤12中，将预告片声带的每个通道信号xi(n)（其中，x(k) i(n)表示第“i”通道信号xi(n)的第“k”帧）与脉冲响应中的每个相应脉冲响应（对于被用用于该通道的扬声器馈送驱动的扬声器的每个脉冲响应hji(n)）进行卷积，以确定每个麦克风-扬声器对的模板信号yji(n)，其中，图3的步骤12中y(k) ji(n)表示模板信号yji(n)的第“k”帧。在这种情况下，如果第“i”扬声器发出预告片声带的第“i”通道所确定的声音（并且其他扬声器都不发出声音），则每个扬声器-麦克风对的模板信号（模板）yji(n)是在执行本发明的监视方法的步骤(a)和(b)期间将预计的、第“j”麦克风的输出信号的模拟版本。
然后，在图3的步骤14中，用Q个不同带通滤波器hq(n)中的每个对每个模板信号y(k) ji(n)进行带通滤波，以产生用于第“j”麦克风和第“i”扬声器的经带通滤波的模板信号，如图3所示，经带通滤波的模板信号的第“k”帧是，其中，索引q在从1至Q的范围内。每个不同的滤波器hq(n)具有不同的通带。
图4示出在步骤(b)中被执行以获得音频数据的步骤、以及（在步骤(c)期间）被执行以实现该音频数据的处理的操作。
在图4的步骤20中，对于M个麦克风中的每个，响应所有的N个扬声器回放预告片声带（在图3的步骤12中所利用的相同声带xi(n)），获得麦克风输出信号zj(n)。如图4所示，第“j”麦克风的麦克风输出信号的第“k”帧为zj (k)(n)。如图4中的步骤20的文本所指示的，在步骤20期间所有的扬声器的特性都与它们在房间响应的预确定期间（在图3中的步骤10中）所具有的特性相同的理想情况下，在步骤20中对于第“j”麦克风确定的麦克风输出信号的每个帧zj (k)(n)与以下卷积的总和（对所有扬声器求和）相同：对于第“i”扬声器和第“j”麦克风的预定房间响应（hji(n)）与预告片声带的第“i”通道的第“k”帧x(k) i(n)的卷积。如图4中的步骤20的文本还指示的，在步骤20期间的扬声器的特性与它们在房间响应的预确定期间（在图3的步骤10中）所具有的特性不相同的情况下，在步骤20中对于第“j”麦克风确定的麦克风输出信号将不同于在先前句子中所描述的理想麦克风输出信号，而是将指示以下卷积的总和（对所有扬声器求和）：对于第“i”扬声器和第“j”麦克风的当前（例如，变化的）房间响应与预告片声带的第“i”通道的第“k”帧x(k) i(n)的卷积。麦克风输出信zj(n)是在本公开内容中所提及的本发明的状态信号的例子。
然后，在图4的步骤22中，用在步骤12中也利用的Q个不同带通滤波器hq(n)中的每个对在步骤20中确定的麦克风输出信号的每个帧zj (k)(n)进行带通滤波，以产生第“j”麦克风的经带通滤波的麦克风输出信号，如图3所示，经带通滤波的模板信号的第“k”帧是，其中，索引q在从1至Q的范围内。
然后，在图4的步骤24中，对于每个扬声器（即，每个通道）、每个通带和每个麦克风，将在步骤20中对于该麦克风确定的经带通滤波的麦克风输出信号的每个帧与在图3的步骤14中对于同一扬声器、麦克风和通带确定的经带通滤波的模板信号的相应帧进行互相关，以确定对于第“i”扬声器、第“q”通带和第“j”麦克风的互相关信号。
然后，在图4的步骤26中，在步骤24中确定的每个互相关信号经过时域到频域变换（例如，傅立叶变换），以确定对于第“i”扬声器、第“q”通带和第“j”麦克风的互相关功率谱。每个互相关功率谱Φ(k) ji,q(n)（在本文中有时被称为互相关PSD）是相应的互相关信号的频域表示。在以下将讨论的图5-10中绘制了这样的互相关功率谱（及其平滑版本）的例子。
在步骤28中，对在步骤26中确定的每个互相关PSD进行分析（例如，绘制和分析），以确定从互相关PSD显见的、任一扬声器的至少一种特性（即，在图3的步骤10中预确定的任一房间响应）的（相关频率通带中的）任何显著变化。步骤28可以包括绘制每个互相关PSD以用于后来的视觉确认。步骤28可以包括：使互相关功率谱平滑，确定计算平滑后的谱的变化的度量，并确定该度量是否超过了用于这些平滑后的谱中的每个的阈值。扬声器特性的显著变化的确定（例如，扬声器故障的确认）可以基于帧和其他麦克风信号。
接着将参照图5-11描述参照图3和图4所描述的方法的示例性实施例。在电影院（图11中所示的房间1）里执行该示例性方法。在房间1的前墙上，安装了显示屏幕和三个前通道扬声器。这些扬声器是左通道扬声器（图11的“L”扬声器）、中央通道扬声器（图11中的“C”扬声器）和右通道扬声器（图11的“R”扬声器），左通道扬声器在执行该方法期间发出指示电影预告片声带的左通道的声音，中央通道扬声器在执行该方法期间发出指示该声带的中央通道的声音，右通道扬声器在执行该方法期间发出指示该声带的右通道的声音。根据本发明的方法对（安装在房间1的边墙上的）麦克风3的输出进行处理（由适当编程的处理器2进行处理）以监视扬声器的状态。
示例性方法包括以下步骤：
(a)回放其声带具有三个通道（L、C和R）的预告片，包括从左通道扬声器（“L”扬声器）、中央通道扬声器（“C”扬声器）和右通道扬声器（“R”扬声器）发出该预告片所确定的声音，其中，每个扬声器被定位在电影院里，并且在电影院里在存在观众（图11中被标识为观众A）时回放该预告片；
(b)获得音频数据，该音频数据指示在步骤(a)中回放预告片期间电影院里的麦克风所捕捉的状态信号。该状态信号是步骤(a)期间麦克风的模拟输出信号，并且指示该状态信号的音频数据通过对该输出信号进行采样而产生。将音频数据组织为具有如下帧大小（例如，16K的帧大小，即，每一帧16,384=(128)2个采样）的帧，该帧大小足以获得足够低的频率分辨率，并且足以确保在每个帧中存在来自声带的所有三个通道的内容；并且
(c)对该音频数据进行处理以对L扬声器、C扬声器和R扬声器执行状态检查，包括对于每个所述扬声器，识别模板信号与状态信号之间的差异（如果任何显著差异存在），该模板信号指示麦克风（与步骤(b)中所使用的麦克风相同、被定位在与步骤(b)中的麦克风相同的位置处）在初始时间对于扬声器播放预告片的声带的相应通道的响应，该状态信号通过在步骤(b)中获得的音频数据确定。“初始时间”是执行步骤(b)之前的时间，每个扬声器的模板信号被从对于每个扬声器-麦克风对的预定房间响应和预告片声带确定。
在示例性实施例中，步骤(c)包括（对于每个扬声器）确定所述扬声器的模板信号的第一带通滤波版本与状态信号的第一带通滤波版本的互相关、所述扬声器的模板信号的第二带通滤波版本与状态信号的第二带通滤波版本的互相关、以及所述扬声器的模板信号的第三带通滤波版本与状态信号的第三带通滤波版本的互相关。从这九个互相关中的每个的频域表示，识别每个扬声器（在执行步骤(b)期间）的状态与该扬声器在初始时间的状态之间的差异（如果任何显著差异存在）。可替换地，通过以其他方式对这些互相关进行分析来识别这样的差异（如果任何显著差异存在）。
通过将截止频率为fc=600Hz并且阻带衰减为100dB的椭圆高通滤波器（HPF）应用于在步骤(a)期间回放预告片期间用于L扬声器（有时被称为“通道1”扬声器）的扬声器馈送来模拟通道1扬声器的受损低频驱动器。用于预告片声带的其他两个通道的扬声器馈送未用椭圆形HPF进行滤波。这模拟了仅对于通道1扬声器的低频驱动器的损坏。C扬声器（有时被称为“通道2”扬声器）的状态被假设为与它在初始时间的状态相同，R扬声器（有时被称为“通道3”扬声器）的状态被假设为与它在初始时间的状态相同。
每个扬声器的模板信号的第一带通滤波版本是通过用第一带通滤波器对模板信号进行滤波而产生的，状态信号的第一带通滤波版本是通过用第一带通滤波器对状态信号进行滤波而产生的，每个扬声器的模板信号的第二带通滤波版本是通过用第二带通滤波器对模板信号进行滤波而产生的，状态信号的第二带通滤波版本是通过用第二带通滤波器对状态信号进行滤波而产生的，每个扬声器的模板信号的第三带通滤波版本是通过用第三带通滤波器对模板信号进行滤波而产生的，状态信号的第三带通滤波版本是通过用第三带通滤波器对状态信号进行滤波而产生的。
这些带通滤波器中的每个均具有足以使得在它的通带中具有足够的过渡带滚降和良好的阻带衰减的线性相位和长度，以使得音频数据的三个倍频带可以被分析：100-200Hz之间的第一带（第一带通滤波器的通带）、150-300Hz之间的第二带（第二带通滤波器的通带）、以及1-2kHz之间的第三带（第三带通滤波器的通带）。第一带通滤波器和第二带通滤波器是具有2K个采样的群延迟的线性相位滤波器。第三带通滤波器具有512个采样的群延迟。这些滤波器在通带中可以任意地为线性相位、非线性相位或准线性相位。
如下获得在步骤(b)期间获得的音频数据。不是实际上用麦克风测量从扬声器发出的声音，而是通过将对于每个扬声器-麦克风对的预定房间响应与预告片声带（其中，用于预告片声带的通道1的扬声器馈送被用椭圆形HPF使得失真）进行卷积来模拟这样的声音的测量。
图1示出预定房间响应。图1的顶部曲线图是由从左通道（L）扬声器发出并且被房间1里的图11的麦克风3测量的声音确定的、L扬声器的脉冲响应（相对于时间所绘制的幅值）的绘图。图1的中间曲线图是由从中央扬声器（C）发出并且被房间1里的图11的麦克风3测量的、C扬声器的脉冲响应（相对于时间所绘制的幅值）的绘图。图1的底部曲线图是由从右通道（R）扬声器发出并且被房间1里的图11的麦克风3测量的声音确定的、R扬声器的脉冲响应（相对于时间所绘制的幅值）的绘图。对于每个扬声器-麦克风对的脉冲响应（房间响应）在用以监视扬声器的状态的步骤(a)和(b)的执行之前的预备操作中被确定的。
图2是图1的脉冲响应的频率响应（每个是幅值对频率的绘图）的曲线图。为了产生这些频率响应中的每个，对相应的脉冲响应进行傅立叶变换。
更具体地讲，如下产生在示例性实施例的步骤(b)期间获得的音频数据。将在步骤(a)中产生的经HPF滤波的通道1信号与通道1扬声器的房间响应进行卷积，以确定指示将由麦克风3在受损的通道1扬声器回放预告片期间所测量的受损的通道1扬声器的输出的卷积。将用于预告片声带的通道2的（未滤波的）扬声器馈送与通道2扬声器的房间响应进行卷积，以确定指示将由麦克风3在通道2扬声器回放预告片的通道2期间所测量的通道2扬声器的输出的卷积，并且将用于预告片声带的通道3的（未滤波的）扬声器馈送与通道3扬声器的房间响应进行卷积，以确定指示将由麦克风3在通道3扬声器回放预告片的通道3期间所测量的通道3扬声器的输出的卷积。对这些所得的卷积进行求和，以产生指示状态信号的音频数据，该状态信号模拟在所有三个扬声器（其中通道1扬声器具有受损的低频驱动器）回放预告片期间麦克风3的预计输出。
将上述带通滤波器（一个具有100-200Hz之间的通带、第二个具有150-300Hz之间的通带、第三个具有1-2kHz之间的通带）中的每个应用于在步骤(b)中获得的音频数据，以确定以上所提及的状态信号的第一带通滤波版本、状态信号的第二带通滤波版本、以及状态信号的第三带通滤波版本。
L扬声器的模板信号通过将对于L扬声器（和麦克风3）的预定房间响应与预告片声带的左通道（通道1）进行卷积而确定。C扬声器的模板信号通过将对于C扬声器（和麦克风3）的预定房间响应与预告片声带的中央通道（通道2）进行卷积而确定。扬声器的模板信号通过将对于R扬声器（和麦克风3）的预定房间响应与预告片声带的右通道（通道3）进行卷积而确定。
在示例性实施例中，在步骤(c)中对以下信号执行以下相关分析：
通道1扬声器的模板信号的第一带通滤波版本与状态信号的第一带通滤波版本的互相关。这个互相关经过傅立叶变换以确定（在上述图4的步骤26中产生的类型的）通道1扬声器的100-200Hz带的互相关功率谱。图5中绘制了该互相关功率谱和该功率谱的平滑版本S1。被执行以产生所绘制的平滑版本的平滑通过用简单的四次多项式来拟合互相关功率谱来实现（但是在所描述的示例性实施例的变型中利用各种其他平滑方法中的任何一种）。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）；
通道1扬声器的模板信号的第二带通滤波版本与状态信号的第二带通滤波版本的互相关。这个互相关经过傅立叶变换以确定通道1扬声器的150-300Hz带的互相关功率谱。图7中绘制了该互相关功率谱和该功率谱的平滑版本S3。被执行以产生所绘制的平滑版本的平滑通过用简单的四次多项式拟合互相关功率谱来实现（但是在所描述的示例性实施例的变型中利用各种其他平滑方法中的任何一种）。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）；
通道1扬声器的模板信号的第三带通滤波版本与状态信号的第三带通滤波版本的互相关。这个互相关经过傅立叶变换以确定通道1扬声器的1000-2000Hz带的互相关功率谱。图9中绘制了该互相关功率谱和该功率谱的平滑版本S5。被执行以产生所绘制的平滑版本的平滑通过用简单的四次多项式拟合互相关功率谱来实现（但是在所描述的示例性实施例的变型中利用各种其他平滑方法中的任何一种）。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）；
通道2扬声器的模板信号的第一带通滤波版本与状态信号的第一带通滤波版本的互相关。这个互相关经过傅立叶变换以确定（在上述图4的步骤26中产生的类型的）通道2扬声器的100-200Hz带的互相关功率谱。图6中绘制了该互相关功率谱和该功率谱的平滑版本S2。被执行以产生所绘制的平滑版本的平滑通过用简单的四次多项式拟合互相关功率谱来实现（但是在所描述的示例性实施例的变型中利用各种其他平滑方法中的任何一种）。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）；
通道2扬声器的模板信号的第二带通滤波版本与状态信号的第二带通滤波版本的互相关。这个互相关经过傅立叶变换以确定通道2扬声器的150-300Hz带的互相关功率谱。图8中绘制了该互相关功率谱和该功率谱的平滑版本S4。被执行以产生所绘制的平滑版本的平滑通过用简单的四次多项式拟合互相关功率谱来实现（但是在所描述的示例性实施例的变型中利用各种其他平滑方法中的任何一种）。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）；
通道2扬声器的模板信号的第三带通滤波版本与状态信号的第三带通滤波版本的互相关。这个互相关经过傅立叶变换以确定通道2扬声器的1000-2000Hz带的互相关功率谱。图10中绘制了该互相关功率谱和该功率谱的平滑版本S6。被执行以产生所绘制的平滑版本的平滑通过用简单的四次多项式拟合互相关功率谱来实现（但是在所描述的示例性实施例的变型中利用各种其他平滑方法中的任何一种）。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）；
通道3扬声器的模板信号的第一带通滤波版本与状态信号的第一带通滤波版本的互相关。这个互相关经过傅立叶变换以确定（在上述图4的步骤26中产生的类型的）通道3扬声器的100-200Hz带的互相关功率谱。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）。被执行以产生该平滑版本的平滑可以通过用简单的四次多项式拟合互相关功率谱或者用各种其他平滑方法中的任何一种来实现；
通道3扬声器的模板信号的第二带通滤波版本与状态信号的第二带通滤波版本的互相关。这个互相关经过傅立叶变换以确定通道3扬声器的150-300Hz带的互相关功率谱。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）。被执行以产生该平滑版本的平滑可以通过用简单的四次多项式拟合互相关功率谱或者用各种其他平滑方法中的任何一种来实现；以及
通道3扬声器的模板信号的第三带通滤波版本与状态信号的第三带通滤波版本的互相关。这个互相关经过傅立叶变换以确定通道3扬声器的1000-2000Hz带的互相关功率谱。按以下将描述的方式对互相关功率谱（或它的平滑版本）进行分析（例如，绘制和分析）。被执行以产生该平滑版本的平滑可以通过用简单的四次多项式拟合互相关功率谱或者用各种其他平滑方法中的任何一种来实现。
从上述九个互相关功率谱（或它们中的每一个的平滑版本），识别每个扬声器（在执行步骤(b)期间）在所述三个倍频带中的每个中的状态与该扬声器在初始时间在这三个倍频带中的每个中的状态之间的差异（如果任何显著差异存在）。
更具体地讲，考虑图5-10中绘制的互相关功率谱的平滑版本S1、S2、S3、S4、S5和S6。
由于在通道1中存在的失真（即，在执行步骤(b)期间，通道1扬声器的状态相对于它在初始时间的状态的变化，即，它的低频驱动器的模拟损坏），（分别地，图5、图7和图9的）平滑后的互相关功率谱S1、S3和S5示出在其中对于该通道存在失真的每个频带中（即，在低于600Hz的每个频带中）与零振幅有显著偏差。具体地讲，（图5的）平滑后的互相关功率谱S1示出在其中该平滑后的功率谱包括有用信息的频带（从100Hz至200Hz）中与零振幅有显著偏差，（图7的）平滑后的互相关功率谱S3示出在其中该平滑后的功率谱包括有用信息的频带（从150Hz至300Hz）中与零振幅有显著偏差。然而，（图9的）平滑后的互相关功率谱S5在其中该平滑后的功率谱包括有用信息的频带（从1000Hz至2000Hz）中没有示出与零振幅有显著偏差。
因为在通道2中不存在失真（即，通道2扬声器在执行步骤(b)期间的状态与它在初始时间的状态相同），所以（分别地，图6、图8和图10的）平滑后的互相关功率谱S2、S4和S6在任何频带中都没有示出与零振幅有显著偏差。
在这个上下文下，在相关频带中存在与零振幅的“显著偏差”意味着相关的平滑后的互相关功率谱的振幅的均值或标准差（或均值和标准差中的每个）比0（或该相关的互相关功率谱的另一度量不同于零或另一预定值）大超过对于该频带的阈值。在这个上下文下，相关的平滑后的互相关功率谱的振幅的均值（或标准差）与预定值（例如，零振幅）之间的差值是平滑后的互相关功率谱的“度量”。可以利用除了标准差之外的度量，诸如谱偏差等。在本发明的其他实施例中，根据本发明获得的互相关功率谱（或它们的平滑版本）的某一其他特性用于对其中谱（或它们的平滑版本）包括有用信息的每个频带中的扬声器的状态进行评估。
本发明的典型实施例监视通过使用麦克风捕捉从扬声器发出的声音而测量的由每个扬声器应用于对于视听节目（例如，电影预告片）的通道的扬声器馈送的传递函数、以及变化何时发生的标志。因为典型的预告片并不是一次仅使一个扬声器工作足够长的时间以进行传递函数测量，所以本发明的一些实施例利用互相关平均化方法来使每个扬声器的传递函数与回放环境中的其他扬声器的传递函数分离。例如，在一个这样的实施例中，本发明的方法包括以下步骤：获得音频数据，该音频数据指示在预告片回放期间（例如，电影院中）麦克风所捕捉的状态信号；并对该音频数据进行处理以对用于回放预告片的扬声器执行状态检查，包括对于每个扬声器，将模板信号与通过该音频数据确定的状态信号进行比较（包括执行互相关平均化），所述模板信号指示在初始时间麦克风对扬声器回放预告片的声带的相应通道的响应。比较步骤典型地包括识别模板信号与状态信号之间的差异（如果任何显著差异存在）。互相关平均化（在对音频数据进行处理的步骤期间）典型地包括以下步骤：（对于每个扬声器）确定所述扬声器和麦克风的模板信号（或所述模板信号的带通滤波版本）与所述麦克风的状态信号（或该状态信号的带通滤波版本）的互相关的序列，其中，这些互相关中的每个均是所述扬声器和麦克风的模板信号的一段（例如，一个帧或帧序列）（或所述段的带通滤波版本）与所述麦克风的状态信号的相应段（例如，一个帧或帧序列）（或所述段的带通滤波版本）的互相关；并从这些互相关的平均值识别模板信号与状态信号之间的差异（如果任何显著差异存在）。
因为相关信号随平均值数量线性增加，而不相关信号如平均值数量的平方根那样增加，所以可以利用互相关平均化。因此，信噪比（SRN）如平均值数量的平方根那样改进。不相关信号与相关信号相比很多的情况需要更多的平均值来得到良好的SNR。可以通过将麦克风处的总水平与从正被评估的扬声器预测的水平进行比较来调整平均化时间。
已经提出了（例如，对于蓝牙耳机）在自适应均衡化过程中利用互相关平均化。然而，在本发明以前，尚未提出利用相关平均化来监视在多个扬声器同时发出声音并且每个扬声器的传递函数均需要被确定的环境中的各个扬声器的状态。只要每个扬声器生成与其他扬声器生成的输出信号无关的输出信号，相关平均化就可以用于分离传递函数。然而，因为情况可能并不总是如此，所以所估计的麦克风处的相对信号水平和每个扬声器处的这些信号之间的相关程度可以用于控制平均化过程。
例如，在一些实施例中，在对从扬声器中的一个到麦克风的传递函数进行评估期间，当其他扬声器与正对其传递函数进行评估的扬声器之间的大量相关信号能量存在时，关闭或放慢传递函数估计过程。例如，如果需要0dB SNR，则当从所有其他扬声器的相关分量估计的麦克风处的总声能与其传递函数正被估计的扬声器的估计声能相当时，可以关闭对于每个扬声器-麦克风组合的传递函数估计过程。可以通过确定馈送每个扬声器的、被用讨论中的合适的从每个扬声器到每个麦克风的传递函数进行滤波的信号中的相关能量来获得麦克风处的估计相关能量，这些传递函数典型地在初始校准过程期间已获得。可以逐个频带地进行估计过程的关闭，而不是一次对于整个传递函数进行估计过程的关闭。
例如，对N个扬声器的集合中的每个扬声器的状态检查（对于由该扬声器中的一个扬声器和M个麦克风的集合中的一个麦克风构成的每个扬声器-麦克风对）可以包括以下步骤：
(d)确定所述扬声器-麦克风对的互相关功率谱，其中，所述互相关功率谱中的每个均指示用于所述扬声器-麦克风对的扬声器的扬声器馈送和用于所述N个扬声器的集合中的另一个扬声器的扬声器馈送的互相关；
(e)确定指示用于所述扬声器-麦克风对的扬声器的扬声器馈送的自相关性的自相关功率谱；
(f)用指示对于所述扬声器-麦克风对的房间响应的传递函数对所述互相关功率谱和所述自相关功率谱中的每个进行滤波，从而确定经滤波的互相关功率谱和经滤波的自相关功率谱；
(g)将所述经滤波的自相关功率谱与所有的经滤波的互相关功率谱的均方根总和进行比较；和
(h)响应于确定所述均方根总和与所述经滤波的自相关功率谱相当或大于所述经滤波的自相关功率谱，临时停止或放慢对所述扬声器-麦克风对的扬声器的状态检查。
步骤(g)可以包括逐个频带地将所述经滤波的自相关功率谱与所述均方根总和进行比较的步骤，并且步骤(h)可以包括如下步骤：在其中所述均方根总和与所述经滤波的自相关功率谱相当或者大于所述经滤波的自相关功率谱的每个频带中，临时停止或放慢对所述扬声器-麦克风对的扬声器的状态检查。
在另一类实施例中，本发明的方法对指示至少一个麦克风的输出的数据进行处理以监视观众对视听节目（例如，在电影院里播放的电影）的反应（例如，大笑或鼓掌），并（例如，通过联网的d剧院服务器）将所得的输出数据（指示观众反应）作为服务提供给感兴趣方（例如，制片厂）。该输出数据可以基于观众大笑的频率和响亮程度来告知工作室喜剧做得很好，或者基于观众成员在结束时是否鼓掌了来告知工作室严肃电影做得怎么样。所述方法可以提供可以用于直接投放用于宣传电影的广告的、基于地理的反馈（例如，提供给工作室）。
这类的典型实施例实现以下关键技术：
(i)播放内容（即，在存在观众时回放的节目的音频内容）与（在存在观众时在回放节目期间）每个麦克风所捕捉的观众信号的分离。这样的分离典型地由被耦合以接收每个麦克风的输出的处理器实现，并且通过知道对扬声器馈送的信号、知道对每个“签名”麦克风的扬声器-房间响应、并执行从滤波后信号减去该签名麦克风处的被测信号的时间或频谱减法来实现，其中，该滤波后信号在处理器中在侧链中计算，该滤波后信号通过用扬声器馈送信号对扬声器-房间响应进行滤波而获得。扬声器馈送信号本身可以是实际的任意的电影/广告/预览内容信号的滤波版本，其中相关联的滤波是用均衡化滤波器和诸如平摇的其他处理进行的；以及
(ii)区分一个麦克风（多个麦克风）所捕捉的不同观众信号的内容分析和模式分类技术（也典型地是由被耦合以接收每个麦克风的输出的处理器实现）。
例如，这类实施例中的一个实施例是一种用于监视在回放环境中观众对包括N个扬声器的集合的回放系统所回放的视听节目的反应的方法，其中，N是正整数，其中，所述节目具有包括N个通道的声带。该方法包括以下步骤：(a)在所述回放环境中在存在观众时回放所述视听节目，包括响应于用用于所述声带的通道中的不同通道的扬声器馈送驱动所述回放系统的扬声器中的每个扬声器，从这些扬声器发出所述节目所确定的声音；(b)获得音频数据，该音频数据指示在步骤(a)中发出声音期间所述回放环境中的至少一个麦克风所产生的至少一个麦克风信号；以及(c)对所述音频数据进行处理以从所述音频数据提取观众数据，并对所述观众数据进行分析以确定观众对所述节目的反应，其中，所述观众数据指示所述麦克风信号所指示的观众内容，并且所述观众内容包括在所述节目回放期间所述观众生成的声音。
使播放内容与观众内容分离可以通过执行频谱减法来实现，在频谱减法中，获得每个麦克风处的被测量信号与传送给扬声器的扬声器馈送信号的滤波版本（其中，滤波器是在麦克风处测量的扬声器的经均衡化的房间响应的副本）的总和之间的差值。因此，从在麦克风处响应于组合的节目和观众信号而接收到的实际信号减去预计在麦克风处仅响应于节目而接收到的信号的模拟版本。滤波可以以不同的采样速率进行以在特定频带中得到更好的分辨率。
模式识别可以利用监督式或非监督式的聚类/分类技术。
图12是在本发明的用于监视在回放环境中在由包括N个扬声器的集合的回放系统回放视听节目（具有包括N个通道的声带）期间观众对该节目的反应的方法的示例性实施例中执行的步骤的流程图，其中，N是正整数。
参照图12，该实施例的步骤30包括以下步骤：在回放环境中在观众存在时回放所述视听节目，包括响应于用用于所述声带的通道中的不同通道的扬声器馈送驱动所述回放系统的扬声器中的每个扬声器，从这些扬声器发出由所述节目所确定的声音；并获得音频数据，所述音频数据指示在发出声音期间所述回放环境中的至少一个麦克风所产生的至少一个麦克风信号。
步骤32确定指示在步骤30中由观众生成的声音的观众音频数据（在图12中被称为“观众产生信号”或“观众信号”）。通过从该音频数据去除节目内容来从该音频数据确定观众音频数据。
在步骤34中，从观众音频数据提取时间、频率或时间-频率拼贴特征（tile feature）。
在步骤34之后，执行步骤36、38和40中的至少一个（例如，执行步骤36、38和40所有这些步骤）。
在步骤36中，基于概率性或确定性判定边界，从在步骤34中确定的拼贴特征识别观众音频数据的类型（例如，观众音频数据所指示的、观众对节目的反应的特性）。
在步骤38中，基于非监督式学习（例如，聚类），从在步骤34中确定的拼贴特征识别观众音频数据的类型（例如，观众音频数据所指示的、观众对节目的反应的特性）。
在步骤40中，基于监督式学习（例如，神经网络），从在步骤34中确定的拼贴特征识别观众音频数据的类型（例如，观众音频数据所指示的、观众对节目的反应的特性）。
图13是如下系统的框图，该系统用于对在存在观众时回放具有N个音频通道的视听节目（例如，电影）期间所捕捉的麦克风（一个或多个麦克风的集合中的第“j”麦克风）的输出（“mj(n)”）进行处理，以使该麦克风输出所指示的观众产生内容（观众信号“d’j(n)”）与该麦克风输出所指示的节目内容分离。图13系统用于执行图12方法的步骤32的一种实现，但是其他系统可以用于执行步骤32的其他实现。
图13系统包括处理块100，处理块100被配置为从麦克风输出的相应采样mj(n)产生观众产生信号的每个采样d’j(n)，其中，采样索引n表示时间。更具体地讲，块100包括减法元件101，减法元件101被耦合并且被配置为从麦克风输出的相应采样mj(n)减去所估计的节目内容采样，其中，采样索引n再次表示时间，从而产生观众产生信号的采样d’j(n)。
如图13所指示的，麦克风输出（在与索引n的值相应的时间）的每个采样mj(n)可以被认为是如第“j”麦克风所捕捉的、由N个扬声器（用于呈现节目的声带）响应于节目的N个音频通道而（在与索引n的值相应的时间）发出的声音的采样与该节目回放期间观众生成的观众产生声音（在与索引n的同一值相应的时间）的采样dj(n)求和的总和。如图13中还指示的，被第“j”麦克风所捕捉的第“i”扬声器的输出信号yji(n)等同于节目声带的相应通道与对于相关麦克风-扬声器对的房间响应（脉冲响应hji(n)）的卷积。
图13的块100的其他元件响应于节目声带的通道xi(n)产生估计节目内容采样。在被标记为的元件中，将声带的第一通道（x1(n)）与估计的对于第一扬声器（i=1）和第“j”麦克风的房间响应（脉冲响应）进行卷积。在被标记为的每个其他元件中，将声带的“i”通道（xi(n)）与估计的对于第i扬声器（其中，i在2至N的范围内）和第“j”麦克风的房间响应（脉冲响应）进行卷积。
可以通过用被定位在与扬声器相同的环境中（例如，房间中）的麦克风测量从扬声器发出的声音，来确定对于第“j”麦克风的估计房间响应（例如，在不存在观众的预备操作期间）。预备操作可以是在其中对音频回放系统的扬声器进行初始校准的初始配准过程。从预计每个这样的响应类似于在执行本发明的方法以监视观众对视听节目的反应期间实际上存在的（对于相关的麦克风-扬声器对的）房间响应的意义上来讲，每个这样的响应是“估计”响应，但是它可以不同于在执行本发明的方法期间实际上存在的（对于麦克风-扬声器对的）房间响应（例如，由于自从执行预备操作以后可能发生的麦克风、扬声器、回放环境中的一个或多个随时间的变化导致的）。
可替换地，可以通过自适应地更新初始确定的一组估计房间响应来确定对于第“j”麦克风的估计房间响应（例如，初始确定的估计房间响应是在不存在观众时在预备操作期间确定的）。初始确定的一组估计房间响应可以在初始配准过程中确定，在初始配准过程中，对音频回放系统的扬声器进行初始校准。
对于索引n的每个值，对块100的所有的元件的输出信号进行求和（在加法元件102中），以产生估计的索引n的所述值的节目内容采样。当前估计的节目内容采样被断言到减法元件101，在减法元件101中，从在其反应将被监视的观众存在时在节目回放期间获得的麦克风输出的相应采样mj(n)减去它。
图14是在影院里回放视听节目期间观众可以生成的类型的观众产生声音（掌声幅值对时间）的曲线图。它是其采样在图13中被标识为dj(n)的观众产生声音的例子。
图15是图14的观众产生声音的估计的曲线图（所估计的掌声的幅值对时间），该估计根据本发明的实施例从麦克风的模拟输出（指示在存在观众时图14的观众产生声音以及正回放的视听节目的音频内容这两者）产生。模拟麦克风输出按以下将描述的方式产生。图15的估计信号是在一个麦克风（j=1）和三个扬声器（i=1、2和3）的情况下，从图13系统的元件101输出的、其采样在图13中被标识为d’j(n)的观众产生信号的例子，其中，三个房间响应（hji(n)）是图1的三个房间响应的修改版本。
更具体地讲，对于左扬声器的房间响应hj1(n)是通过添加统计噪声而修改的图1中绘制的“左”扬声器响应。统计噪声（模拟漫反射）被添加以模拟影院里观众的存在。对于图1的“左”通道响应（其假设在房间里不存在观众），在直达声音之后（即，在图1的“左”通道响应的大约头1200个采样之后）添加模拟漫反射以对房间的统计行为进行建模。因为（由墙壁反射引起的）强镜面房间反射在存在观众时将仅稍微地修改（随机性），所以这是合理的。为了确定将添加到非观众响应（图1的“左”通道响应）的漫反射的能量，我们查看非观众响应的混响结尾的能量，并用该能量缩放零均值高斯噪声。然后将该噪声添加到非观众响应的直达声音之外的部分（即，非观众响应的形状由它自己的噪声部分确定）。
类似地，对于中央扬声器的房间响应hj2(n)是通过添加统计噪声而被修改的图1中绘制的“中央”扬声器响应。统计噪声（模拟漫反射）被添加以模拟影院里观众的存在。对于图1的“中央”通道响应（其假设在房间里不存在观众），在直达声音之后（例如，在图1的“中央”通道响应的大约头1200个采样之后）添加模拟漫反射以对房间的统计行为进行建模。为了确定将添加到非观众响应（图1的“中央”通道响应）的漫反射的能量，我们查看非观众响应的混响结尾的能量，并用该能量缩放零均值高斯噪声。然后将该噪声添加到非观众响应的直达声音之外的部分（即，非观众响应的形状由它自己的噪声部分确定）。
类似地，对于右扬声器的房间响应hj3(n)是通过添加统计噪声而被修改的图1中绘制的“右”扬声器响应。统计噪声（模拟漫反射）被添加以模拟影院里观众的存在。对于图1的“右”通道响应（其假设在房间里不存在观众），在直达声音之后（例如，在图1的“右”通道响应的大约头1200个采样之后）添加模拟漫反射以对房间的统计行为进行建模。为了确定将添加到非观众响应（图1的“右”通道响应）的漫反射的能量，我们查看非观众响应的混响结尾的能量，并用该能量缩放零均值高斯噪声。然后将该噪声添加到非观众响应的直达声音之外的部分（即，非观众响应的形状由它自己的噪声部分确定）。
为了产生被断言到图13的元件101的一个输入的模拟麦克风输出采样mj(n)，通过节目声带的相应三个通道x1(n)、x2(n)和x3(n)与前一段中所描述的房间响应（hj1(n)、hj2(n)和hj3(n)）的卷积来产生三个模拟扬声器输出信号yji(n)，其中，i=1、2和3，并对这三个卷积的结果进行求和，并且还与图14的观众产生声音的采样（dj(n)）求和。然后，在元件101中，从模拟麦克风输出的相应采样mj(n)减去估计节目内容采样，以产生所估计的观众产生声音信号（即，图15中用曲线图表示的信号）的采样（d’j(n)）。被图13系统采用以产生估计节目内容采样的估计房间响应是图1的三个房间响应。可替换地，可以通过自适应地更新图1中所绘制的三个初始确定的房间响应来确定用于产生采样的估计房间响应。
本发明的各方面包括一种被配置为（例如，被编程为）执行本发明的方法的任何实施例的系统、以及存储用于实现本发明的方法的任何实施例的代码的计算机可读介质（例如，盘）。例如，这样的计算机可读介质可以包括在图11的处理器2中。
在一些实施例中，本发明的系统是或包括至少一个麦克风（例如，图11的麦克风3）、以及被耦合以从每个所述麦克风接收麦克风输出信号的处理器（例如，图11的处理器2）。每个麦克风在所述系统操作以执行本发明的方法的实施例期间被定位为捕捉从将被监视的扬声器的集合（例如，图11的L、C和R扬声器）发出的声音。典型地，所述声音是在房间（例如，电影院）里在存在观众时由将被监视的扬声器回放视听节目（例如，电影预告片）期间所产生的。所述处理器可以是通用或专用处理器（例如，音频数字信号处理器），并且被用软件（或固件）编程为和/或被以其他方式配置为响应于每个所述麦克风输出信号执行本发明的方法的实施例。在一些实施例中，本发明的系统是或包括被耦合以接收输入音频数据（例如，指示响应于从将被监视的扬声器的集合发出的声音的至少一个麦克风的输出）的处理器（例如，图11的处理器2）。典型地，所述声音是在房间（例如，电影院）里在存在观众时由将被监视的扬声器回放视听节目（例如，电影预告片）期间所产生的。所述处理器（可以是通用或专用处理器）被（用合适的软件和/或固件）编程为（通过执行本发明的方法的实施例）响应于输入音频数据产生输出数据，以使得该输出数据指示扬声器的状态。在一些实施例中，本发明的系统的处理器是音频数字信号处理器（DSP），该DSP是被配置为（例如，被用合适的软件或固件编程为或者以其他方式被配置为响应于控制数据）对输入音频数据执行（包括本发明的方法的实施例）各种操作中的任何一个操作的常规音频DSP。
在本发明的方法的一些实施例中，本文中所描述的步骤中的一些或全部同时执行或者按与本文中所描述的例子中所指定的顺序不同的顺序执行。尽管在本发明的方法的一些实施例中按特定顺序执行步骤，但是在其他实施例中，一些步骤可以同时或者按不同顺序执行。
尽管本文中已经描述了本发明的特定实施例和本发明的应用，但是对于本领域的普通技术人员将是显而易见的是，在不脱离本文中所描述的并且要求保护的本发明的范围的情况下，本文中所描述的实施例和应用可具有许多变型。应当理解，尽管已经示出并描述了本发明的特定形式，但是本发明不限于所描述并且示出的具体实施例或所描述的具体方法。

Claims (44)

1.一种用于监视回放环境中的至少三个扬声器的集合的状态的方法，其中，所述至少三个扬声器包含左/中/右扬声器配置，所述方法包括以下步骤：
(a)回放其声带具有至少三个通道的视听节目，该至少三个通道至少包含左通道、中央通道和右通道，其中所述至少三个扬声器被与所述至少三个声带通道相关联的各扬声器馈送驱动；
(b)获得音频数据，所述音频数据指示由至少一个麦克风捕捉的状态信号，其中所述至少一个麦克风被定位在回放环境中，使得从所述至少三个扬声器发出的声音能够被所述至少一个麦克风捕捉；和
(c)对所述音频数据进行处理以对所述至少三个扬声器中的每个扬声器执行状态检查，包括对于每个扬声器-麦克风对，将相应麦克风捕捉的状态信号与对应的模板信号进行比较，其中，所述模板信号指示模板麦克风对在初始时间在所述回放环境中相应扬声器所进行的回放的响应。
2.根据权利要求1所述的方法，其中，所述视听节目是电影预告片。
3.根据权利要求2所述的方法，其中，所述回放环境是电影院，并且步骤(a)包括在电影院中在存在观众时回放所述预告片的步骤。
4.根据权利要求1所述的方法，其中，所述至少一个麦克风被定位在回放环境中与所述模板麦克风在初始时间被定位的位置基本相同的位置处。
5.根据权利要求1所述的方法，其中，一个麦克风被定位在回放环境中，并且所获得的音频数据指示在回放期间所述回放环境中的所述麦克风所捕捉的状态信号，并且所述模板麦克风是所述麦克风。
6.根据权利要求1所述的方法，其中，步骤(c)包括对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，确定所述扬声器和麦克风的模板信号与所述麦克风的状态信号的互相关。
7.根据权利要求6所述的方法，其中，步骤(c)还包括以下步骤：对于每个所述扬声器-麦克风对，从所述扬声器-麦克风对的互相关的频域表示，识别所述对中的扬声器和麦克风的模板信号与所述麦克风的状态信号之间的差异。
8.根据权利要求6所述的方法，其中，步骤(c)还包括以下步骤：
从每个所述扬声器-麦克风对的互相关，确定所述扬声器-麦克风对的互相关功率谱；
从每个所述扬声器-麦克风对的互相关功率谱，确定所述扬声器-麦克风对的平滑互相关功率谱；和
对至少一个所述扬声器-麦克风对的平滑互相关功率谱进行分析以确定所述对中的扬声器的状态。
9.根据权利要求1所述的方法，其中，步骤(c)还包括以下步骤：
对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，将带通滤波器应用于所述扬声器和麦克风的模板信号以及应用于所述麦克风的状态信号，从而确定经带通滤波的模板信号和经带通滤波的状态信号；和
对于每个所述扬声器-麦克风对，确定所述扬声器和麦克风的经带通滤波的模板信号与所述麦克风的经带通滤波的状态信号的互相关。
10.根据权利要求9所述的方法，其中，步骤(c)包括以下步骤：对于每个扬声器-麦克风对，从所述扬声器-麦克风对的互相关的频域表示，识别所述对中的扬声器和麦克风的经带通滤波的模板信号与所述麦克风的经带通滤波的状态信号之间的差异。
11.根据权利要求9所述的方法，其中，步骤(c)还包括以下步骤：
从每个所述扬声器-麦克风对的互相关，确定所述扬声器-麦克风对的互相关功率谱；
从每个所述扬声器-麦克风对的互相关功率谱，确定所述扬声器-麦克风对的平滑互相关功率谱；和
对至少一个所述扬声器-麦克风对的平滑互相关功率谱进行分析以确定所述对中的扬声器的状态。
12.根据权利要求1所述的方法，其中，步骤(c)包括以下步骤：
对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，确定所述扬声器和麦克风的模板信号与所述麦克风的状态信号的互相关的序列，其中，所述互相关中的每个均是所述扬声器和麦克风的模板信号的一段与所述麦克风的状态信号的相应段的互相关；和
从所述互相关的平均值，识别所述扬声器和麦克风的模板信号与所述麦克风的状态信号之间的差异。
13.根据权利要求1所述的方法，其中，步骤(c)包括以下步骤：
对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，将带通滤波器应用于所述扬声器和麦克风的模板信号以及所述麦克风的状态信号，从而确定经带通滤波的模板信号和经带通滤波的状态信号；
对于每个所述扬声器-麦克风对，确定所述扬声器和麦克风的经带通滤波的模板信号与所述麦克风的经带通滤波的状态信号的互相关的序列，其中，所述互相关中的每个均是所述扬声器和麦克风的经带通滤波的模板信号的一段与所述麦克风的经带通滤波的状态信号的相应段的互相关；和
从所述互相关的平均值，识别所述扬声器和麦克风的经带通滤波的模板信号与所述麦克风的经带通滤波的状态信号之间的差异。
14.根据权利要求1所述的方法，其中，
一个麦克风被定位在回放环境中，
在步骤(b)中获得的音频数据指示在回放期间所述回放环境中的所述麦克风所捕捉的状态信号，
所述模板麦克风是所述麦克风，并且
步骤(c)包括以下步骤：对于每个扬声器，确定所述扬声器的模板信号与所述状态信号的互相关。
15.根据权利要求14所述的方法，其中，步骤(c)还包括以下步骤：对于每个扬声器，从所述扬声器的互相关的频域表示，识别所述扬声器的模板信号与所述状态信号之间的差异。
16.根据权利要求1所述的方法，其中，
一个麦克风被定位在回放环境中，
获得的音频数据指示在回放期间所述回放环境中的所述麦克风所捕捉的状态信号，
所述模板麦克风是所述麦克风，并且步骤(c)包括以下步骤：
对于所述至少三个扬声器的集合中的每个扬声器，将带通滤波器应用于所述扬声器的模板信号和所述状态信号，从而确定经带通滤波的模板信号和经带通滤波的状态信号；和
对于每个所述扬声器，确定所述扬声器的经带通滤波的模板信号与所述经带通滤波的状态信号的互相关。
17.根据权利要求16所述的方法，其中，步骤(c)还包括以下步骤：对于每个扬声器，从所述扬声器的互相关的频域表示，识别所述扬声器的经带通滤波的模板信号与所述经带通滤波的状态信号之间的差异。
18.根据权利要求1所述的方法，其中，
一个麦克风被定位在回放环境中，
所获得的音频数据指示在回放期间所述回放环境中的所述麦克风所捕捉的状态信号，
所述模板麦克风是所述麦克风，并且步骤(c)包括以下步骤：
对于每个扬声器，确定所述扬声器的模板信号与所述状态信号的互相关的序列，其中，所述互相关中的每个均是所述扬声器的模板信号的一段与所述状态信号的相应段的互相关；和
从所述互相关的平均值，识别所述扬声器的模板信号与所述状态信号之间的差异。
19.根据权利要求1所述的方法，其中，
一个麦克风被定位在回放环境中，
在步骤(b)中获得的音频数据指示在回放期间所述回放环境中的所述麦克风所捕捉的状态信号，
所述模板麦克风是所述麦克风，并且步骤(c)包括以下步骤：
对于所述至少三个扬声器的集合中的每个扬声器，将带通滤波器应用于所述扬声器的模板信号和所述状态信号，从而确定经带通滤波的模板信号和经带通滤波的状态信号；
对于所述每个扬声器，确定所述扬声器的经带通滤波的模板信号与所述经带通滤波的状态信号的互相关的序列，其中，所述互相关中的每个均是所述扬声器的经带通滤波的模板信号的一段与所述经带通滤波的状态信号的相应段的互相关；和
从所述互相关的平均值，识别所述扬声器的经带通滤波的模板信号与所述经带通滤波的状态信号之间的差异。
20.根据权利要求1所述的方法，所述方法还包括以下步骤：
对于所述回放环境中由各扬声器中的一个扬声器和模板麦克风的集合中的一个模板麦克风构成的每个扬声器-麦克风对，通过用所述模板麦克风测量在初始时间从所述扬声器发出的声音来确定所述扬声器的脉冲响应；和
对于每个通道，确定用于所述通道的扬声器馈送与被用所述扬声器馈送驱动的扬声器的脉冲响应的卷积，其中，所述卷积确定对于用来确定所述卷积的扬声器-麦克风对的在步骤(c)中采用的模板信号。
21.根据权利要求1所述的方法，所述方法还包括以下步骤：
对于所述回放环境中由各扬声器中的一个扬声器和模板麦克风的集合中的一个模板麦克风构成的每个扬声器-麦克风对，在初始时间用驱动扬声器的扬声器馈送驱动所述扬声器，并用所述模板麦克风测量响应于所述扬声器馈送而从所述扬声器发出的声音，其中，被测量的声音确定用于所述扬声器-麦克风对的在步骤(c)中采用的模板信号。
22.根据权利要求1所述的方法，所述方法还包括以下步骤：
(d)对于所述回放环境中由各扬声器中的一个扬声器和模板麦克风的集合中的一个模板麦克风构成的每个扬声器-麦克风对，通过用所述模板麦克风测量在初始时间从扬声器发出的声音来确定所述扬声器的脉冲响应；
(e)对于每个通道，确定用于所述通道的扬声器馈送与在步骤(a)中被用所述扬声器馈送驱动的扬声器的脉冲响应的卷积；和
(f)对于每个通道，通过将带通滤波器应用于在步骤(e)中对于该通道确定的卷积来确定经带通滤波的卷积，其中，所述经带通滤波的卷积确定在步骤(c)中对于用来确定所述经带通滤波的卷积的扬声器-麦克风对所采用的模板信号。
23.根据权利要求1所述的方法，所述方法还包括以下步骤：
(d)对于所述回放环境中由各扬声器中的一个扬声器和模板麦克风的集合中的一个模板麦克风构成的每个扬声器-麦克风对，在初始时间用在步骤(a)中驱动扬声器的扬声器馈送驱动所述扬声器，并利用所述模板麦克风来产生指示响应于所述扬声器馈送而从所述扬声器发出的声音的麦克风输出信号；
(e)对于每个扬声器-麦克风对，通过将带通滤波器应用于在步骤(d)中产生的麦克风输出信号来确定经带通滤波的麦克风输出信号，其中，所述经带通滤波的麦克风输出信号确定对于用来确定所述经带通滤波的麦克风输出信号的扬声器-麦克风对的在步骤(c)中采用的模板信号。
24.根据权利要求1所述的方法，其中，对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，步骤(c)包括以下步骤：
(d)确定所述扬声器-麦克风对的互相关功率谱，其中，互相关功率谱中的每个均指示用于所述扬声器-麦克风对中的扬声器的扬声器馈送和用于所述至少三个扬声器的集合中的另一个扬声器的扬声器馈送的互相关；
(e)确定自相关功率谱，所述自相关功率谱指示用于所述扬声器-麦克风对中的扬声器的扬声器馈送的自相关性；
(f)用指示对于所述扬声器-麦克风对的房间响应的传递函数对所述自相关功率谱和所述互相关功率谱中的每个进行滤波，从而确定经滤波的自相关功率谱和经滤波的互相关功率谱；
(g)将所述经滤波的自相关功率谱与所有的经滤波的互相关功率谱的均方根总和进行比较；和
(h)响应于确定所述均方根总和与所述经滤波的自相关功率谱相当或大于所述经滤波的自相关功率谱，临时停止或放慢对所述扬声器-麦克风对的扬声器的状态检查。
25.根据权利要求24所述的方法，其中，步骤(g)包括逐个频带地将所述经滤波的自相关功率谱与所述均方根总和进行比较的步骤，并且步骤(h)包括在其中所述均方根总和与所述经滤波的自相关功率谱相当或大于所述经滤波的自相关功率谱的每个频带中，临时停止或放慢对所述扬声器-麦克风对的扬声器的状态检查的步骤。
26.一种用于监视回放环境中至少三个扬声器的集合的状态的系统，其中，所述至少三个扬声器包含左/中/右扬声器配置，所述系统包括：
至少一个麦克风，其中，所述至少一个麦克风被定位在所述回放环境中，使得从所述至少三个扬声器发出的声音被所述至少一个麦克风捕捉；和
处理器，所述处理器与每个麦克风耦合，其中，所述处理器被配置为对音频数据进行处理以对每个扬声器执行状态检查，包括对于每个扬声器-麦克风对，将相应麦克风捕捉的状态信号与对应的模板信号进行比较，其中，所述模板信号指示模板麦克风对在初始时间在所述回放环境中由相应扬声器进行的回放的响应，并且
其中，所述音频数据指示在其声带具有数量与扬声器的数量相关联的通道的视听节目回放期间麦克风集合中的每个麦克风所捕捉的状态信号，其中，所述至少三个扬声器被与至少三个声带相关联的相应扬声器馈送驱动。
27.根据权利要求26所述的系统，其中，所述视听节目是电影预告片，并且所述回放环境是电影院。
28.根据权利要求26所述的系统，其中，所述音频数据指示在所述节目回放期间所述回放环境中的麦克风所捕捉的状态信号，并且所述模板麦克风是所述麦克风。
29.根据权利要求26所述的系统，其中，所述处理器被配置为对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，确定所述扬声器和麦克风的模板信号与所述麦克风的状态信号的互相关。
30.根据权利要求29所述的系统，其中，所述处理器被配置为对于每个所述扬声器-麦克风对，从所述扬声器-麦克风对的互相关的频域表示，识别所述对中的扬声器和麦克风的模板信号与所述麦克风的状态信号之间的差异。
31.根据权利要求29所述的系统，其中，所述处理器被配置为：
从每个所述扬声器-麦克风对的互相关，确定所述扬声器-麦克风对的互相关功率谱；
从每个所述扬声器-麦克风对的互相关功率谱，确定所述扬声器-麦克风对的平滑互相关功率谱；和
对至少一个所述扬声器-麦克风对的平滑互相关功率谱进行分析以确定所述对中的扬声器的状态。
32.根据权利要求26所述的系统，其中，所述处理器被配置为：
对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，将带通滤波器应用于所述扬声器和麦克风的模板信号以及应用于所述麦克风的状态信号，从而确定经带通滤波的模板信号和经带通滤波的状态信号；和
对于每个所述扬声器-麦克风对，确定所述扬声器和麦克风的经带通滤波的模板信号与所述麦克风的经带通滤波的状态信号的互相关。
33.根据权利要求32所述的系统，其中，所述处理器被配置为对于每个扬声器-麦克风对，从所述扬声器-麦克风对的互相关的频域表示，识别所述对的扬声器和麦克风的经带通滤波的模板信号与所述麦克风的经带通滤波的状态信号之间的差异。
34.根据权利要求32所述的系统，其中，所述处理器被配置为：
从每个所述扬声器-麦克风对的互相关，确定所述扬声器-麦克风对的互相关功率谱；
从每个所述扬声器-麦克风对的互相关功率谱，确定所述扬声器-麦克风对的平滑互相关功率谱；和
对至少一个所述扬声器-麦克风对的平滑互相关功率谱进行分析以确定所述对中的扬声器的状态。
35.根据权利要求26所述的系统，其中，所述处理器被配置为：
对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，确定所述扬声器和麦克风的模板信号与所述麦克风的状态信号的互相关的序列，其中，所述互相关中的每个均是所述扬声器和麦克风的模板信号的一段与所述麦克风的状态信号的相应段的互相关；和
从所述互相关的平均值，识别所述扬声器和麦克风的模板信号与所述麦克风的状态信号之间的差异。
36.根据权利要求26所述的系统，其中，所述处理器被配置为：
对于由各扬声器中的一个扬声器和一个所述麦克风构成的每个扬声器-麦克风对，将带通滤波器应用于所述扬声器和麦克风的模板信号以及所述麦克风的状态信号，从而确定经带通滤波的模板信号和经带通滤波的状态信号；
对于每个所述扬声器-麦克风对，确定所述扬声器和麦克风的经带通滤波的模板信号与所述麦克风的经带通滤波的状态信号的互相关的序列，其中，所述互相关中的每个均是所述扬声器和麦克风的模板信号的经带通滤波的模板信号的一段与所述麦克风的经带通滤波的状态信号的相应段的互相关；和
从所述互相关的平均值，识别所述扬声器和麦克风的经带通滤波的模板信号与所述麦克风的经带通滤波的状态信号之间的差异。
37.根据权利要求26所述的系统，其中，一个麦克风被定位在回放环境中，所述音频数据指示在所述节目回放期间所述回放环境中的所述麦克风所捕捉的状态信号，并且所述处理器被配置为对于每个扬声器，确定所述扬声器的模板信号与所述状态信号的互相关。
38.根据权利要求37所述的系统，其中，所述处理器被配置为对于每个扬声器，从所述扬声器的互相关的频域表示，识别所述扬声器的模板信号与所述状态信号之间的差异。
39.根据权利要求26所述的系统，其中，一个麦克风被定位在回放环境中，所述音频数据指示在所述节目回放期间所述回放环境中的所述麦克风所捕捉的状态信号，所述模板麦克风是所述麦克风，并且所述处理器被配置为：
对于每个扬声器，将带通滤波器应用于所述扬声器的模板信号和所述状态信号，从而确定经带通滤波的模板信号和经带通滤波的状态信号；和
对于每个所述扬声器，确定所述扬声器的经带通滤波的模板信号与所述经带通滤波的状态信号的互相关。
40.根据权利要求39所述的系统，其中，所述处理器被配置为对于每个扬声器，从所述扬声器的互相关的频域表示，识别所述扬声器的经带通滤波的模板信号与所述经带通滤波的状态信号之间的差异。
41.根据权利要求26所述的系统，其中，一个麦克风被定位在回放环境中，所述音频数据指示在所述节目回放期间所述回放环境中的所述麦克风所捕捉的状态信号，所述模板麦克风是所述麦克风，并且所述处理器被配置为：
对于每个扬声器，确定所述扬声器的模板信号与所述状态信号的互相关的序列，其中，所述互相关中的每个均是所述扬声器的模板信号的一段与所述状态信号的相应段的互相关；和
从所述互相关的平均值，识别所述扬声器的模板信号与所述状态信号之间的差异。
42.根据权利要求26所述的系统，其中，一个麦克风被定位在回放环境中，所述音频数据指示在所述节目回放期间所述回放环境中的所述麦克风所捕捉的状态信号，所述模板麦克风是所述麦克风，并且所述处理器被配置为：
对于每个扬声器，将带通滤波器应用于所述扬声器的模板信号和所述状态信号，从而确定经带通滤波的模板信号和经带通滤波的状态信号；
对于所述每个扬声器，确定所述扬声器的经带通滤波的模板信号与所述经带通滤波的状态信号的互相关的序列，其中，所述互相关中的每个均是所述扬声器的经带通滤波的模板信号的一段与所述经带通滤波的状态信号的相应段的互相关；和
从所述互相关的平均值，识别所述扬声器的经带通滤波的模板信号与所述经带通滤波的状态信号之间的差异。
43.根据权利要求26所述的系统，其中，所述处理器被配置为：
对于所述回放环境中由各扬声器中的一个扬声器和M个模板麦克风的集合中的一个模板麦克风构成的每个扬声器-麦克风对，通过用所述模板麦克风测量在初始时间从所述扬声器发出的声音来确定所述扬声器的脉冲响应，其中M是正整数；和
对于每个通道，确定用于所述通道的扬声器馈送与在状态信号捕捉期间被用所述扬声器馈送驱动的扬声器的脉冲响应的卷积，其中，所述卷积确定对于用来确定所述卷积的扬声器-麦克风对的模板信号。
44.根据权利要求26所述的系统，其中，所述处理器被配置为：
对于所述回放环境中由各扬声器中的一个扬声器和M个模板麦克风的集合中的一个模板麦克风构成的每个扬声器-麦克风对，通过用所述模板麦克风测量在初始时间从扬声器发出的声音来确定所述扬声器的脉冲响应，其中M是正整数；
对于每个通道，确定用于所述通道的扬声器馈送与在捕捉状态信号期间被用所述扬声器馈送驱动的扬声器的脉冲响应的卷积；和
对于每个通道，通过将带通滤波器应用于对于该通道确定的卷积来确定经带通滤波的卷积，其中，所述经带通滤波的卷积确定对于用来确定所述经带通滤波的卷积的扬声器-麦克风对的模板信号。
CN201280032462.0A 2011-07-01 2012-06-27 音频回放系统监视 Active CN103636236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610009534.XA CN105472525B (zh) 2011-07-01 2012-06-27 音频回放系统监视

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161504005P 2011-07-01 2011-07-01
US61/504,005 2011-07-01
US201261635934P 2012-04-20 2012-04-20
US61/635,934 2012-04-20
US201261655292P 2012-06-04 2012-06-04
US61/655,292 2012-06-04
PCT/US2012/044342 WO2013006324A2 (en) 2011-07-01 2012-06-27 Audio playback system monitoring

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610009534.XA Division CN105472525B (zh) 2011-07-01 2012-06-27 音频回放系统监视

Publications (2)

Publication Number Publication Date
CN103636236A CN103636236A (zh) 2014-03-12
CN103636236B true CN103636236B (zh) 2016-11-09

Family

ID=46604044

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280032462.0A Active CN103636236B (zh) 2011-07-01 2012-06-27 音频回放系统监视
CN201610009534.XA Active CN105472525B (zh) 2011-07-01 2012-06-27 音频回放系统监视

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610009534.XA Active CN105472525B (zh) 2011-07-01 2012-06-27 音频回放系统监视

Country Status (4)

Country Link
US (2) US9462399B2 (zh)
EP (1) EP2727378B1 (zh)
CN (2) CN103636236B (zh)
WO (1) WO2013006324A2 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176665A1 (en) * 2008-11-24 2014-06-26 Shindig, Inc. Systems and methods for facilitating multi-user events
JP5693579B2 (ja) * 2009-08-03 2015-04-01 アイマックス コーポレイション 映画館の拡声器を監視して品質問題を保障するためのシステム及び方法
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
EP2949133B1 (en) * 2013-01-24 2019-02-13 Dolby Laboratories Licensing Corporation Automatic loudspeaker polarity detection
US9271064B2 (en) * 2013-11-13 2016-02-23 Personics Holdings, Llc Method and system for contact sensing using coherence analysis
US9704491B2 (en) 2014-02-11 2017-07-11 Disney Enterprises, Inc. Storytelling environment: distributed immersive audio soundscape
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9704507B2 (en) * 2014-10-31 2017-07-11 Ensequence, Inc. Methods and systems for decreasing latency of content recognition
CN105989852A (zh) 2015-02-16 2016-10-05 杜比实验室特许公司 分离音频源
EP3259927A1 (en) * 2015-02-19 2017-12-27 Dolby Laboratories Licensing Corporation Loudspeaker-room equalization with perceptual correction of spectral dips
CN104783206A (zh) * 2015-04-07 2015-07-22 李柳强 一种玉米鸡肉肠
WO2016168408A1 (en) 2015-04-17 2016-10-20 Dolby Laboratories Licensing Corporation Audio encoding and rendering with discontinuity compensation
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9913056B2 (en) 2015-08-06 2018-03-06 Dolby Laboratories Licensing Corporation System and method to enhance speakers connected to devices with microphones
AU2016311335B2 (en) 2015-08-25 2021-02-18 Dolby International Ab Audio encoding and decoding using presentation transform parameters
US10482877B2 (en) * 2015-08-28 2019-11-19 Hewlett-Packard Development Company, L.P. Remote sensor voice recognition
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
JP6437695B2 (ja) 2015-09-17 2018-12-12 ソノズ インコーポレイテッド オーディオ再生デバイスのキャリブレーションを容易にする方法
US9877137B2 (en) 2015-10-06 2018-01-23 Disney Enterprises, Inc. Systems and methods for playing a venue-specific object-based audio
US9734686B2 (en) * 2015-11-06 2017-08-15 Blackberry Limited System and method for enhancing a proximity warning sound
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
JP6620675B2 (ja) * 2016-05-27 2019-12-18 パナソニックＩｐマネジメント株式会社 音声処理システム、音声処理装置及び音声処理方法
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
CN117221801A (zh) * 2016-09-29 2023-12-12 杜比实验室特许公司 环绕声系统中扬声器位置的自动发现和定位
CN108206980B (zh) * 2016-12-20 2020-09-01 成都鼎桥通信技术有限公司 音频配件测试方法、装置和系统
WO2020023856A1 (en) * 2018-07-27 2020-01-30 Dolby Laboratories Licensing Corporation Forced gap insertion for pervasive listening
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
CN109379687B (zh) * 2018-09-03 2020-08-14 华南理工大学 一种线阵列扬声器系统垂直指向性的测量和推算方法
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US11317206B2 (en) * 2019-11-27 2022-04-26 Roku, Inc. Sound generation with adaptive directivity
US11521623B2 (en) 2021-01-11 2022-12-06 Bank Of America Corporation System and method for single-speaker identification in a multi-speaker environment on a low-frequency audio recording
JP2022147961A (ja) * 2021-03-24 2022-10-06 ヤマハ株式会社 測定方法および測定装置
US20240087442A1 (en) * 2022-09-14 2024-03-14 Apple Inc. Electronic device with audio system testing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19901288A1 (de) * 1999-01-15 2000-07-20 Klein & Hummel Gmbh Vorrichtung zur Überwachung der Lautsprecher einer elektro-akustischen Übertragungsanlage
WO2008006952A2 (fr) * 2006-07-13 2008-01-17 Regie Autonome Des Transports Parisiens Procede et dispositif de diagnostic de l'etat de fonctionnement d'un systeme de sonorisation
EP1956865A2 (en) * 2007-02-09 2008-08-13 Sharp Kabushiki Kaisha Filter coefficient calculation device, filter coefficient calculation method, control program, computer-readable storage medium and audio signal processing apparatus

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU1332U1 (ru) 1993-11-25 1995-12-16 Магаданское государственное геологическое предприятие "Новая техника" Гидромонитор
AU2001255525A1 (en) 2000-04-21 2001-11-07 Keyhold Engineering, Inc. Self-calibrating surround sound system
JP4432246B2 (ja) * 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
FR2828327B1 (fr) * 2000-10-03 2003-12-12 France Telecom Procede et dispositif de reduction d'echo
JP3506138B2 (ja) * 2001-07-11 2004-03-15 ヤマハ株式会社 複数チャンネルエコーキャンセル方法、複数チャンネル音声伝送方法、ステレオエコーキャンセラ、ステレオ音声伝送装置および伝達関数演算装置
JP3867627B2 (ja) * 2002-06-26 2007-01-10 ソニー株式会社 観客状況推定装置と観客状況推定方法および観客状況推定プログラム
JP3727927B2 (ja) * 2003-02-10 2005-12-21 株式会社東芝 話者照合装置
DE10331757B4 (de) 2003-07-14 2005-12-08 Micronas Gmbh Audiowiedergabesystem mit einem Datenrückkanal
KR100724836B1 (ko) * 2003-08-25 2007-06-04 엘지전자 주식회사 디지털 오디오 기기에서의 오디오 출력 레벨 조절장치 및방법
JP4376035B2 (ja) * 2003-11-19 2009-12-02 パイオニア株式会社 音響特性測定装置及び自動音場補正装置並びに音響特性測定方法及び自動音場補正方法
JP4765289B2 (ja) * 2003-12-10 2011-09-07 ソニー株式会社 音響システムにおけるスピーカ装置の配置関係検出方法、音響システム、サーバ装置およびスピーカ装置
EP1591995B1 (en) 2004-04-29 2019-06-19 Harman Becker Automotive Systems GmbH Indoor communication system for a vehicular cabin
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
JP2006093792A (ja) 2004-09-21 2006-04-06 Yamaha Corp 特定音声再生装置、及び特定音声再生ヘッドホン
KR100619055B1 (ko) * 2004-11-16 2006-08-31 삼성전자주식회사 오디오/비디오 시스템의 스피커 모드 자동 설정 방법 및장치
US8160261B2 (en) 2005-01-18 2012-04-17 Sensaphonics, Inc. Audio monitoring system
JP2006262416A (ja) * 2005-03-18 2006-09-28 Yamaha Corp 音響システム、音響システムの制御方法および音響機器
JP4189682B2 (ja) 2005-05-09 2008-12-03 ソニー株式会社 スピーカのチェック装置およびチェック方法
US7525440B2 (en) 2005-06-01 2009-04-28 Bose Corporation Person monitoring
JP4618028B2 (ja) * 2005-07-14 2011-01-26 ヤマハ株式会社 アレイスピーカシステム
JP4285457B2 (ja) * 2005-07-20 2009-06-24 ソニー株式会社 音場測定装置及び音場測定方法
US7881460B2 (en) 2005-11-17 2011-02-01 Microsoft Corporation Configuration of echo cancellation
JP2007142875A (ja) * 2005-11-18 2007-06-07 Sony Corp 音響特性補正装置
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
US8126161B2 (en) * 2006-11-02 2012-02-28 Hitachi, Ltd. Acoustic echo canceller system
WO2008096336A2 (en) 2007-02-08 2008-08-14 Nice Systems Ltd. Method and system for laughter detection
US8571853B2 (en) 2007-02-11 2013-10-29 Nice Systems Ltd. Method and system for laughter detection
GB2448766A (en) 2007-04-27 2008-10-29 Thorn Security System and method of testing the operation of an alarm sounder by comparison of signals
US8776102B2 (en) * 2007-10-09 2014-07-08 At&T Intellectual Property I, Lp System and method for evaluating audience reaction to a data stream
DE102007057664A1 (de) 2007-11-28 2009-06-04 K+H Vertriebs- Und Entwicklungsgesellschaft Mbh Lautsprechereinrichtung
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
DE102008039330A1 (de) 2008-01-31 2009-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung
US8385557B2 (en) 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US20100043021A1 (en) * 2008-08-12 2010-02-18 Clear Channel Management Services, Inc. Determining audience response to broadcast content
DE102008064430B4 (de) 2008-12-22 2012-06-21 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung mit automatischer Algorithmenumschaltung
EP2211564B1 (en) * 2009-01-23 2014-09-10 Harman Becker Automotive Systems GmbH Passenger compartment communication system
US20110004474A1 (en) * 2009-07-02 2011-01-06 International Business Machines Corporation Audience Measurement System Utilizing Voice Recognition Technology
US8737636B2 (en) * 2009-07-10 2014-05-27 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for adaptive active noise cancellation
EP2541543B1 (en) 2010-02-25 2016-11-30 Panasonic Intellectual Property Management Co., Ltd. Signal processing apparatus and signal processing method
EP2375410B1 (en) 2010-03-29 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A spatial audio processor and a method for providing spatial parameters based on an acoustic input signal
RS1332U (en) 2013-04-24 2013-08-30 Tomislav Stanojević FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19901288A1 (de) * 1999-01-15 2000-07-20 Klein & Hummel Gmbh Vorrichtung zur Überwachung der Lautsprecher einer elektro-akustischen Übertragungsanlage
WO2008006952A2 (fr) * 2006-07-13 2008-01-17 Regie Autonome Des Transports Parisiens Procede et dispositif de diagnostic de l'etat de fonctionnement d'un systeme de sonorisation
EP1956865A2 (en) * 2007-02-09 2008-08-13 Sharp Kabushiki Kaisha Filter coefficient calculation device, filter coefficient calculation method, control program, computer-readable storage medium and audio signal processing apparatus

Also Published As

Publication number Publication date
US20140119551A1 (en) 2014-05-01
US9462399B2 (en) 2016-10-04
CN103636236A (zh) 2014-03-12
WO2013006324A3 (en) 2013-03-07
EP2727378B1 (en) 2019-10-16
EP2727378A2 (en) 2014-05-07
US9602940B2 (en) 2017-03-21
US20170026766A1 (en) 2017-01-26
WO2013006324A2 (en) 2013-01-10
CN105472525B (zh) 2018-11-13
CN105472525A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN103636236B (zh) 音频回放系统监视
JP7271674B2 (ja) ネットワークマイクロフォンデバイスのノイズ分類による最適化
US11812254B2 (en) Generating scene-aware audio using a neural network-based acoustic analysis
CN106659936A (zh) 用于确定增强现实应用中音频上下文的系统和方法
EP3133833B1 (en) Sound field reproduction apparatus, method and program
CN104937955B (zh) 自动的扬声器极性检测
CA2744429C (en) Converter and method for converting an audio signal
US11915687B1 (en) Systems and methods for generating labeled data to facilitate configuration of network microphone devices
JP2012509632A5 (ja) オーディオ信号を変換するためのコンバータ及び方法
CN116546389A (zh) 一种数字化舞台音响控制系统及其控制方法
Weller et al. Application of a circular 2D hard-sphere microphone array for higher-order Ambisonics auralization
Bergman et al. Perceptual validation of auralized heavy-duty vehicles
US20230104111A1 (en) Determining a virtual listening environment
Heck et al. Ambient Sounds in Auralization–Calibration Method for Spherical Microphones
CN117768352A (zh) 基于语音技术的跨网数据摆渡方法及系统
CN116567510A (zh) 影院声道还音故障检测方法、系统、终端及介质
Warusfel IDENTIFICATION OF BEST-MATCHING HRTFs FROM BINAURAL SELFIES AND MACHINE LEARNING
CN116546412A (zh) 影院多声道还音故障检测方法、系统、终端及介质
BIANCHI Evaluation of artifacts in sound field rendering techniques: from an objective to a subjective approach
Frey et al. Experimental Method for the Derivation of an AIRF of a Music Performance Hall
Frey et al. Spectral verification of an experimentally derived acoustical impulse response function of a music performance hall
Frey The Derivation of the Acoustical Impulse Response Function of
JP2014112767A (ja) インパルス応答生成装置、インパルス応答生成システム及びインパルス応答生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant