CN101663900A - 用于监视和识别广播数据的系统和方法 - Google Patents

Abstract

本发明描述一种用于监视和识别音频广播的系统。该系统包括多个地理上分散的监视台，各监视台接收来自多个音频广播的未知音频数据。识别系统从多个监视台接收未知音频数据并且比较未知音频数据与签名文件的数据库。签名文件或索引集数据库与已知音频文件库对应，从而识别系统能够按照比较来识别未知音频流中的已知音频文件。该系统还包括：神经系统，能够监视和配置多个监视台和识别系统；以及试探和报告系统，能够分析识别系统进行的比较的结果并且使用与各已知音频文件关联的元数据以生成多个音频广播的内容的报告。

Description

用于监视和识别广播数据的系统和方法

技术领域

本发明涉及一种用于监视和识别音频广播的系统。

背景技术

对于自动识别从各种源生成的比如视频、音乐或其它音频或视频信号这样的广播信号的需要与日俱增。广播信号的源包括但不限于地面无线电、卫星无线电、互联网音频和视频、有线电视、地面电视广播和卫星电视。由于广播媒体的数目与日俱增，有版权的作品的所有者或广告客户关注于获得与它们的素材的广播频率有关的数据。音乐跟踪服务提供庞大市场中的主流无线电台的播放列表。任一种连续、实时或近实时识别在由人员进行时是效率低并且劳动密集的。一种监视大量广播源如无线电台和电视台并且识别这些广播的内容的自动化方法因此将为版权持有者、广告客户、艺术家和各种产业提供显著益处。

传统上，已经通过将播放歌曲的无线电台和时间与由无线电台或从第三方源提供的播放列表匹配来进行对音频广播如通过无线电播放的歌曲的识别。这一方法本质上仅限于其信息可用的无线电台。其它方法可以依赖于对广播的统计采样，该采样的结果然后用来估计用于所有广播台的实际播放列表。更多其它方法依赖于在广播信号内嵌入不可听代码。在接收器对嵌入的信号进行解码以提取关于广播信号的识别信息。这一方法的弊端在于需要特殊解码设备以识别信号，并且仅能识别具有嵌入式代码的那些歌曲。

比如音乐或视频内容的版权持有者一般有权因播放他们的歌曲或视频的各实例而获补偿。具体对于音乐版权持有者，确定何时在空中而现在通过互联网在数以千计的无线电台中的任何无线电台播放他们的歌曲是一项令人望而却步的任务。传统上，版权持有者已经将这些境况下的大量版税移交给第三方公司，这些第三方公司向出于商业目的播放音乐的实体收取预订费用以补偿它们的版权所有者名录。这些费用然后基于统计模型分发给版权所有者，这些统计模型被设计成根据哪些歌曲接收最多播放来补偿那些版权所有者。这些统计方法一直仅仅是基于少量样本范围对实际播放实例的很粗略估计。

任何大规模识别系统需要基于内容的检索，在该检索中比较未经识别的广播信号与已知信号的数据库以识别相似或相同数据库信号。基于内容的检索不同于通过网页搜索引擎的现有音频检索，在该音频检索中仅搜索在音频文件周围或与音频文件关联的元数据文本。另外，尽管话音识别可用于将有声信号转换成然后可以使用众所周知的技术来编索引和搜索的文本，但是它并不适用于包含某些音乐和声音的大多数音频信号。音频信号缺乏为搜索和编索引提供标识符的可易于识别的实体，比如字。这样，当前音频检索方案通过计算的感知特性对音频信号编索引，这些感知特性代表信号的各种数量或特征。

另外，现有大规模识别系统一般按照对例如已经表征并且可以与传入广播流做比较的要素如歌曲的数据库的大小的测量而视为大规模。从可以连续监视的广播流的数目或可以出现的同时识别的数目这一观点来看，它们并非是大规模的。

需要的是一种用于同时识别大量广播媒体流内的视频或音频这些要素的系统和方法。

发明内容

因而，根据这里描述的概念描述一种广播监视和识别系统的一个实施例。该系统包括接收来自至少一个广播媒体流的广播数据的至少一个监视台。该系统还包括从至少一个监视台接收广播数据的识别系统，其中识别系统包括签名文件的数据库，各签名文件与已知媒体文件对应。识别系统可操作用以比较广播数据与签名文件以确定广播数据中的媒体元素的身份。分析和报告系统连接到识别系统并且可操作用以生成对广播数据中与已知媒体文件对应的媒体元素进行识别的报告。

在另一实施例中，描述了一种监视和识别广播数据的方法。该方法包括：接收和聚集来自多个广播源的广播数据；比较广播数据与来自签名文件的数据库的签名文件，各签名文件与已知媒体文件对应；并且分析比较的结果以确定广播数据的内容。

在另一实施例中，描述了一种用于监视和识别音频广播的系统。该系统包括多个地理上分散的监视台，各监视台接收来自多个音频广播的未知音频数据。识别系统从多个监视台接收未知音频数据、生成用于未知音频的签名并且比较用于未知音频数据的签名与签名文件的数据库，其中签名文件的数据库与已知音频文件库对应。识别系统能够按照比较的结果来识别未知音频流中的音频文件。神经系统能够监视和配置多个监视台和识别系统，并且试探和报告系统，能够分析识别系统进行的比较的结果并且使用与各已知音频文件关联的元数据以生成多个音频广播的内容的报告。

前文已经相当广义地概括了本发明的特征和技术优点以便可以更好地理解以下对本发明的具体描述。下文将描述形成本发明主题内容的本发明的附加特征和优点。本领域技术人员应当理解可以容易地利用公开的概念和具体实施例作为用于对用于实现本发明相同目的的其它结构进行修改或设计的基础。本领域技术人员也应当了解这样的等效构造并不脱离如所附权利要求中阐述的本发明的精神实质和范围。根据在结合附图来考虑时的以下描述将更好地理解就本发明的组织和操作方法而言均视为本发明之特点的新颖特征以及更多目的和优点。然而将清楚地理解提供各图仅仅是为了图示和描述而本意并非作为对本发明的限制的解读。

附图说明

为了更全面地理解本发明及其优点，参照结合附图进行的描述，在附图中：

图1是根据这里所述概念的监视和识别系统的一个实施例的框图；

图2是进一步图示如图1中所示监视系统的一个实施例的框图；

图3是进一步图示如图1中所示识别系统的一个实施例的框图；

图4是进一步图示如图1中所示试探和报告系统的一个实施例的框图；

图5是进一步图示如图1中所示神经系统的一个实施例的框图；

图6是进一步图示如图1中所示音频发源系统的一个实施例的框图；

图7是用于识别媒体样本的过程的一个实施例的流程图；

图8是图示根据本发明的地标和指纹辨识过程的一个实施例的图；

图9是图示根据本发明的用于地标和指纹匹配的匹配过程的一个实施例的图；

图10是根据这里所述概念的自动识别系统和方法的一个实施例的过程流程和实体图；

图11是图示根据这里所述概念的参考库和组成部件的一个实施例的框图；以及

图12是根据这里所述概念的参考库创建系统和方法的一个实施例的过程流程和实体图。

具体实施方式

现在参照图1，示出用于监视和识别多个广播源的内容的系统100的一个实施例。系统100包括多个监视台101，103，这些监视台如图所示通过监视台103直接地或通过传送网络102连接到网关104。传送网络102可以是任何类型的无线、有线或卫星网络或其任何组合(包括因特网)。

监视台101、103可以在地理上分散并且包括为了监视通过一个或多个类型的广播媒体产生的一个或多个广播而必需的硬件。广播可以是音频和/或视频广播，这些广播包括但不限于空中广播、有线广播、互联网广播、卫星广播或广播信号直接馈送。监视台101可以将广播数据通过传送网络102直接发送到网关104，或监视台101可以对流进行一些初始处理以封装广播信号，该处理包括将模拟信号转换成数字格式、压缩信号或将信号变成识别系统优选的格式的其它处理。

如将参照图2更具体描述的那样，监视台101、103也可以包括用来存储捕获的广播信号的本地存储器，比如硬盘、闪存或随机存取存储器。用以存储或高速缓存广播信号的能力允许在网络中断期间维护数据，或它允许监视台存储数据并且按照由系统100指定的预定时间或间隔批量发送数据。

神经系统105与各监视台101、103通信并且维护包括配置信息的关于各监视台的信息。神经系统105可以基于从系统101或用户输入接收的改变将重新配置信息发送到任何监视系统101、103。将参照图2更具体地描述神经系统105。

在网关104接收的广播数据发送到作为计算群集108一部分的识别系统106。计算群集包括可以动态地重新配置和重新布置以满足系统100的要求的多个可配置的服务器和存储设备。识别系统106包括用来处理广播信号以确定它们的内容的服务器阵列。识别系统106工作用以识别监视台101、103向识别系统106传递的各广播信号中的内容，比如音频或视频要素。将参照图3更具体地讨论识别系统106的操作。音频处理系统107用来生成用于在识别系统中使用的签名文件。将参照图7-9更具体地讨论签名文件的生成。

识别系统106能够与存储区域网络(SAN)和数据库109以及试探报告系统110和客户机应用111通信。SAN 109保持所有监视的内容和与如由识别系统106识别的广播信号的内容有关的数据。此外，SAN 109存储用来支持系统100的资源数据库和分析数据库。试探和报告系统110由识别系统106馈送数据并且分析该数据以将识别过程的结果相关从而提供对在广播信号中出现什么内容的分析。将参照图4更具体地讨论SAN 109以及试探和报告系统110的操作。元数据系统110用来访问与系统的媒体库中存储的各内容文件关联的元数据。音频发源系统接收对用于向系统的媒体库添加的新内容的提交、将新内容发送到音频处理系统107以便包含于系统的媒体库中。

监视系统100的优选实施例高度可缩放并且能够监视和分析来自任何广播源的广播数据。只要监视台能够接收广播信号，该信号的内容就可以通过任何可用传送网络发送到识别系统。监视台101、103被设计成放置于它们可以从特定地理市场接收空中、有线、互联网或卫星广播之处。例如，一个或多个监视台可以放置于洛杉矶区域中以接收和存储洛杉矶区域中的所有广播信号。所需监视台的数目将取决于各监视台能够接收和存储的单个信号的数目。如果在洛杉矶区域中有100个广播信号并且监视台的一个实施例能够接收和存储30个广播信号，则四个单独的监视台将能够收集、存储和发送洛杉矶城大都市地区的所有广播信号。

类似地，如果田纳西州纳什维尔市有20个广播信号，则根据上述实施例单个监视台将能够收集、存储和发送纳什维尔地区的所有广播信号。可以遍布美国部署监视台以接收美国的每一个广播信号，由此允许实质上准确描绘对美国的每个视频和音频要素的使用和广播。尽管可能希望收集和分析特定地区或国家中的每个广播信号的内容，但是监视系统的一个成本更有效的实施例将运用监视台以针对所选数目的广播信号或所选百分比的广播视频和/或音频要素收集广播信号，然后使用统计模型以推测对整个广播市场的估计。

例如，监视台可以被定位成覆盖前200个广播市场，这些代表美国广播信号的估计百分之八十。然后分析和使用用于这些市场的数据以建立对整个广播市场的估计。尽管已经使用美国和某些城市作为例子，但是根据这里所述概念的监视系统可以使用于任何城市、任何地区、任何国家或任何地理区域中并且仍然在这里所述概念的范围内。

现在参照图2，将更具体地描述利用监视台101、103的监视系统200的一个实施例。如图所示，监视台101、103的实施例被配置成接收、存储和发送来自各种源的广播信号。监视台101、103的实施例被配置成捕获广播信号并且在本地储存器如硬盘中将这些信号存储一段时间。可以基于监视的广播信号的数目和类型以及监视台为了能够存储数据以保证尽管有网络停用或延迟仍然可以将它发送到识别系统而需要的时间段来选择各监视台上可用的储存器数量。也可以将数据存储预定数量的时间并且在已知传送网络的利用率低时的时段期间、如例如在上午早间时段期间批量发送数据。

通过可以是任一类数据网络(包括因特网)的传送网络102或通过监视台103与网关104之间的直接连接从监视台101发送数据。可使用传统网络协议来发送数据或可使用为该目的设计的专用网络协议来发送数据。

在启动时，各监视台被编程为联系神经系统105的服务器并且下载为它提供的配置信息。配置信息可以包括但不限于让监视台监视的特定广播信号、针对存储和发送收集的数据的要求以及识别系统106中的特定聚集器的地址，该聚集器负责监视台并且监视台将向该聚集器发送收集的数据。神经系统105为各监视台101、103维护状态信息并且提供接口，系统或用户可以通过该接口为任何监视台创建、更新或更改配置信息。新的、更新的或更改的配置信息然后根据编程的指导从神经系统服务器发送到适当监视台。

现在参照图3，示出识别系统的一个实施例。系统300接收监视台101从监视的广播信号收集的数据，该监视台使用传送网络102发送该数据。如参照图2所言，各监视台被分配识别系统中的一个或多个聚集器301。聚集器301从监视台收集数据(包括广播数据以及源信息或其它数据)并且将广播数据递送到识别处理器302。识别处理器302被关联成如被分配用以进行前端识别303或后端识别304的群集。各前端群集303具有足够的关联服务器以存储已知广播要素如音频的初步数据库。各群集存储的初步数据由用以对广播信号中所见最频繁出现的广播要素的识别集进行识别的必需特性组成。如果前端群集303没有识别媒体样本，则向后端群集304发送未知媒体样本。后端群集304存储系统的媒体库的较大样本或整个媒体库的较大样本、因此能够识别不在初步数据库中的已知媒体段。可以通过添加更多群集或向各群集添加更多服务器来调节识别群集的广度和速度。向后端群集添加服务器允许识别更大广度的媒体样本。向前端群集添加服务器将系统的性能增加至基于识别与未识别的样本之比的阈值。添加附加群集扩展总识别容量。

通过使用这一类群集处理，识别系统106高度地可缩放并且可适应于需要识别的各级广播信号。可以添加更多服务器以增加群集数目并且由此增加可以有效监视的广播信号数目。此外，可以增加每群集的服务器数目和识别集的大小以增加识别时间，由此增加识别系统106的吞吐量。

监视的广播信号中由于在可为识别群集所用的媒体库以外而无法由识别系统群集识别的广播要素在存储于SAN 109中时标记为未知以供进一步处理。进一步处理可以包括对相同未知要素的聚集和/或对未知要素的人工识别。如果未识别的样本能够通过人工过程或其它自动化过程来识别，则新识别的要素然后添加到已知广播要素的全数据库或库。

音频处理系统107也可操作用以创建、更改和管理由识别系统106的群集使用的识别集合。将在识别集合中包括的已知广播要素可以被人工地识别或可以由系统基于对传入广播流的分析来识别。基于输入或分析，音频处理系统107将用于将在识别集合中包括的各已知广播要素的特性组合成单个单位或“片段”，该单位或片段然后基于各服务器在它在识别系统106中的分配群集中的作用来发送到各服务器。

识别系统的识别群集的识别尝试结果然后发送到来自图1的试探和报告系统110以供存储和分析。

现在参照图4，更具体地描述试探和报告系统110的一个实施例。如图所示，试探和报告系统110从识别系统106接收聚集的数据并且处理以进行分析和存储。实际广播数据本身与识别系统生成的信息和已经与广播数据关联的任何其它信息(如例如由监视台关联的源信息)一起传递。

提交的数据和结构由试探系统405取得并且通过试探分析随时间相关以产生随时间对广播数据信号或流的内容的评估。也可以对多个广播信号完成分析。可以用任何可设想的方式将广播信号分组，该方式包括但不限于按照地理、按照广播类型(空中、卫星、有线、因特网等)、按照信号类型(即音频、视频等)、按照风格或可以是感兴趣的任何其它类型的分组。报告系统406生成的报告和分析可以与原始数据和原始识别数据一起存储于识别数据库401、元数据数据库403、音频资源数据库402、核查音频储库404上的SAN 109上或SAN 109的另一部分或SAN 109上存储的数据库上。

试探和报告系统110的输出可以包括原始数据、原始识别数据、核查文件和试探分析的识别结果。可以用任何格式提供用户和客户对来自试探和报告系统的信息的访问，该格式包括使用基于网页的应用对通过因特网门户可用的网页服务的选择或其它类型的网络访问。

现在参照图5更具体地描述来自图1的神经系统105控制的神经系统网络500的一个实施例。如参照图2所述，神经系统105用来向监视台101、103提供配置信息。除了监视和控制监视台101、103之外，神经系统105还负责控制识别系统105和音频处理系统106中的服务器的配置和操作。

神经系统105包括为神经系统500中的各机器监视、控制和存储配置信息的外层(cortex)服务器501。神经系统105也包括网页服务器502，该服务器用来为神经系统网络500中的任何机器提供状态信息以及用于监视、控制和更改配置信息的能力。

在启动时，神经系统网络内的每个机器向神经系统105中的外层服务器501通知它们的存在和它们提供的服务类型。在接收机器的存在和服务的通知之后，神经系统105将向该机器提供它的配置。对于识别系统106中的服务器，神经系统105将分配给各服务器具体任务(例如作为聚集器或识别服务器)并且将该服务器适当地分配给具体群集。来自神经系统网络中的各机器的及时状态消息将保证神经系统105具有神经系统网络500和可用服务的当前和准确拓扑结构。神经系统105可以随着服务需求波动或考虑识别系统105中的其它服务器的故障而实时地重新计划和重新分配识别系统105中的服务器。

可使用将管理、监视和度量功能与消息接发和网络连通一起封装的外层客户机505来构建用于神经系统105的应用504。外层客户机505可远离神经系统105并且使用网络503来访问该系统。光学应用506也可访问神经系统105并且提供用以访问外层服务器和神经系统功能的图形前端。

现在参照图6，描述用于进行音频发源的系统112的一个实施例的框图。音频发源系统112允许向SAN 109中存储的媒体库添加已知媒体样本。从任何类型的源获取已知媒体样本，该源如例如是CD或DVD分割器(ripper)602、发源网页服务器604或第三方提交603。第三方提交可包括艺术家、媒体出版者、内容所有者或希望向媒体库添加内容的其它源。

将向库添加的新媒体样本然后发送到音频处理系统107，并且从元数据系统601检索它们的关联元数据。音频处理系统107取得原始数据如音频数据并且创建签名、地标/指纹、无损压缩文件以供存储。

现在参照图7-9，描述用于识别媒体样本的地标和指纹辨识过程的实施例。识别系统105和音频处理系统106的实施例优选地使用被设计成在捕获的样本中允许高噪声和失真的识别系统和算法。广播信号可以是模拟或数字信号并且可能遭受噪声和失真。模拟信号需要通过模拟到数字转换技术转换成数字信号。

识别系统和音频处理系统在一个优选实施例中使用一种用于在包含大量已知媒体文件的数据库给定时识别外来媒体样本的系统和方法。尽管主要地参照音频数据，但是将理解本发明的方法可以应用于任何类型的媒体样本和媒体文件，这些媒体样本和媒体文件包括但不限于文本、音频、视频、图像和个别媒体类型的任何多媒体组合。在音频的情况下，本发明特别地可用于识别如下样本，这些样本包含例如由背景噪声、传输误差和遗失(dropout)、干扰、带限滤波、量化、时间弯曲(warping)和语音质量的数字压缩造成的高水平线性和非线性失真。如将清楚的那样，识别系统在这样的条件之下起作用，因为即使仅少部分计算的特性免于失真，该系统仍然可以正确地识别失真的信号。本发明可以识别包括声音、语音、音乐的任一类音频或多类音频的任何组合。例子音频样本包括记录的音乐、无线电广播节目和广告。

如这里所指，外来媒体样本是如下所述从各种源获得的任何大小的媒体数据段。为了进行识别，该样本必须表现在本发明所用数据库中编索引的媒体文件的一部分。编索引的媒体文件可以视为原始记录，而样本可以视为原始记录的失真和/或删节版本或表现。通常，该样本仅对应于编索引的文件的小部分。例如，可以对在数据库中编索引的五分钟歌曲的十秒段进行识别。尽管术语“文件”用来描述编索引的实体，但是该实体可以是可以获得其必需值(下文描述)的任何格式。另外，无需在获得这些值之后存储文件或具有对文件的访问权。

在图7中示出概念上图示本发明的方法700的全部过程的框图。下文更具体地描述个别过程。该方法识别胜利媒体文件，即如下媒体文件，该媒体文件的特性指纹相对位置与外来样本的相同指纹的相对位置最接近地匹配。在过程701中捕获外来样本之后，在过程702中计算地标和指纹。地标出现在样本内的特定位置，例如时间戳。地标在样本内的位置优选地取决于样本本身(即依赖于样本质量)并且可再现。也就是说，每当重复该过程时为相同信号计算相同地标。对于各地标，获得对样本在地标处或附近的一个或多个特征进行表征的指纹。特征与地标的接近度由所用指纹辨识方法限定。在一些情况下，如果特征清楚地对应于某一地标而不对应于先前或后续地标，则认为它在该地标附近。在其它情况下，特征对应于多个相邻地标。例如，文本指纹可以是字串，音频指纹可以是频谱分量，而图像指纹可以是像素RGB值。下文描述过程702的两个一般实施例，在一个实施例中依次计算地标和指纹，而在一个实施例中同时计算它们。

在过程703中，样本指纹用来检索数据索引704中存储的匹配指纹集合，其中匹配指纹与媒体文件集合的地标和标识符关联。检索的文件标识符和地标值的集合然后用来生成对应如下对(过程705)，这些对包含(在过程702中计算的)样本地标和计算相同指纹时所在的检索文件地标。然后按照歌曲标识符将所得对应对分类从而生成用于各适用文件的样本地标与文件地标之间的对应集合。针对文件地标与样本地标之间的对准来扫描各集合。也就是说，识别地标对的线性对应，并且根据线性有关的对的数目来给集合评分。当可以在允许的容差内用基本上相同的线性方程描述大量对应的样本位置和文件位置时出现线性对应。例如，如果描述对应对集合的多个方程的斜率变化.+-.5％，则认为整个对应集合线性有关。当然，可以选择任何适当容差。分组最高、即线性有关的对应数目最大的集合的标识符是在过程706中定位和返回的胜利文件标识符。

可以用与数据库中的条目数目的对数成比例的时间分量进行识别。即使对很大数据库仍然可以实质上实时地进行识别。也就是说，可以在时滞小的情况下在获得样本时识别它。该方法可以以5-10秒并且甚至低至1-3秒的段为基础识别声音。在一个优选实施例中，在过程701中捕获样本时实时进行地标辨识和指纹辨识分析这一过程702。在样本指纹变得可用时进行数据库查询(过程703)，积累对应结果而且在这些结果中定期搜寻线性对应。因此，所有方法过程同时而不是以图7中提出的依次线性方式出现。注意该方法部分地类似于文本搜索引擎：用户提交查询样本并且返回声音数据库中编索引的匹配文件。

该方法通常实施为在计算机系统如来自图3的识别服务器302上运行的软件，其中个别过程最高效地实施为独立软件模块。因此，可以认为实施本发明的系统包括地标辨识和指纹辨识对象、编索引的数据库以及用于搜索数据库索引、计算对应并且识别胜利文件的分析对象。在依次地标辨识和指纹辨识的情况下，可以认为地标辨识和指纹辨识对象是不同的地标辨识和指纹辨识对象。用于不同对象的计算机指令代码存储于一个或多个计算机的存储器中并且由一个或多个计算机处理器执行。在一个实施例中，代码对象在单个计算机系统如基于英特尔的个人计算机或其它工作站中群集在一起。在一个优选实施例中，该方法由中央处理单元(CPU)的联网群集实施，其中不同软件对象由不同处理器执行以便分散计算负荷。或者，各CPU可以具有所有软件对象的副本从而允许相同配置的单元的同构网络。在这后一种配置中，各CPU具有数据库索引的子集并且负责搜索它自己的媒体文件子集。

现在参照图8，示出图示创建用于识别的地标/指纹的过程800的一个实施例的图。过程800在接收包含媒体内容的广播信号801时开始。在图8的例子中，内容是由音频波802代表的音频。根据这里所述概念的地标/指纹辨识过程的一个实施例然后应用于音频波802。在音频波801上的有代表性的点标识地标803。

接着，通过将地标与其它附近地标关联将地标分组成星座804。指纹805由在星座中的地标与其它地标之间创建的矢量形成。然后比较来自广播源的指纹与签名储库中的指纹。

储库中的签名是来自已经导出和存储的已知媒体样本的指纹汇集。当来自未知媒体样本的指纹与签名储库中的指纹匹配时出现指纹匹配806。

现在参照图9，该图是图示用于将个别指纹匹配901相关成已知媒体文件的匹配的过程900的一个实施例的图。当未知媒体样本与媒体库中的已知文件匹配时将出现个别匹配，比如匹配903和904。当个别足够个别匹配开始对准(比如将对准902)时已经出现匹配。

在在通过引用将公开内容结合于此、于2002年6月27日公开并且标题为“System and Methods for Recognizing Sound or Music Signals inHigh Noise and Distortion”的美国专利公开第2002/0083060号中以及于2005年8月11日公开并且标题为“Robust and Invariant Audio PatternMatching”的美国专利公开第2005/0177372号中进一步描述可以与这里描述的概念结合使用的识别系统的实施例。

现在参照图10，这是根据这里描述的概念用于广播监视系统的一个实施例的过程和实体流程的一个实施例。过程和实体流程包括系统储库和与这些储库交互的关联过程。储库包括用于原始和处理的广播数据和报告、元数据以及主音频数据和签名文件的储库。尽管在图10中和在对图10的描述中参照用于音频数据和广播的应用，但是如先前所述，该应用可以包括视频、文本或其它数据而不脱离这里所述概念的范围。

原始和处理的广播数据和报告储库比如包括原始数据储库1001、预处理的日志数据1002、处理的日志数据1003、日志数据档案1004以及数据挖掘和报告储库1005。除了广播数据储库之外还有将捕获的广播数据归档的捕获日志档案1014。元数据储库包括产生前元数据数据库1006和产生元数据数据库1007。主音频和签名储库包括主音频数据库1008和签名文件储库1009。有用来导入和导出在主音频文件数据库和签名数据库以及关联元数据储库中使用的数据的附加储库。这些储库分别包括电子数据交换接口(EDI)导出和导入数据库1010和1012以及音频文件和元数据文件申请过程储库1011和1013。

元数据数据库1006和1007包含与签名文件储库1009中的各签名文件和主音频文件档案1008中的链接音频文件中的各文件有关的文本信息。从外部源接收的所有元数据起初将存储于产生前元数据数据库1006中。在产生前元数据从产生前数据库1006移动到产生数据库1007之前应当在质量保证过程1015中检查来自外部源的数据。

签名文件储库1009存储识别群集1016使用的所有签名文件。签名文件由签名创建过程1018创建并且存储于储库中。从储库取出签名文件以创建地标/指纹(LMFP)，这些LMFP布居于由片段创建过程1017创建并且发送到识别群集的片段。主音频文件数据库1008存储用所有格式接收的所有音频文件。主音频文件通常未使用于识别过程中而出于归档目加以保持，如例如如果签名文件丢失或受破坏，则可以访问来自主音频文件数据库1008的对应音频文件并且使用该文件创建新签名文件。

来自原始数据储库1001的数据馈送到识别过程1019，它在该过程中由识别群集1016分析。分析的数据然后放置于预处理的日志数据库1002中。试探功能1020分析处理的数据并且生成在处理的日志数据库1003中存储的数据。人工日志分析和更新过程可以用来进一步处理日志数据档案1004以及数据挖掘和报告储库1005中存储的数据。导出和报告过程1022具有对数据挖掘和报告储库1005的访问权以允许用户访问处理的数据和报告。

如图11所示，产生元数据数据库1007与签名文件储库1009和音频文件储库1008一起包含组成完整参考文件库的信息。参考文件库1100包含用于库中存储的各音频文件1101中的完整信息集合。库中的各音频文件1101具有与它关联的完整元数据文件1102，该元数据文件包括关于音频文件的信息，比如艺术家、标题、轨道长度和系统可能在处理和分析广播数据时使用的任何其它数据。各音频文件1101也具有与它关联的签名文件1103，该签名文件用来将未知广播数据与参考库1100中的已知音频文件匹配。可以通过向适当数据库添加新音频文件、元数据文件和签名文件来向参考库添加新素材。

在图12中示出参考库布居过程的一个实施例。参考库1100可以从多个源接收新音频信息。例如，可以从物理音频产品1202如光盘检索新音频文件1201，或可以用电子音频文件形式1203(比如来自在线音乐储库ITunes的mp3下载)检索它们。也可以有新音频文件的其它外部源1204，比如来自第三方公司，这些公司签约供应用于包含于参考库1100中的音频文件及其关联元数据。电子音频文件1203存储于音频EDI储库1205中，而外部源音频文件1204存储于外部签名交换储库1206中。

所有新音频文件格式发送到音频产品处理功能1207。音频产品处理功能1207提取与音频文件关联的元数据并且如图10中所示将它发送到预处理的元数据数据库1006。原始音频文件1210存储于主音频文件数据库1008中。如果已经为音频文件、比如为外部源音频文件1204创建签名文件1209，则签名文件直接地存储于签名文件储库1009中。如果没有用于音频文件的签名文件，则将压缩的WAV文件1211发送到签名文件创建过程1018，在该过程中创建并在签名文件储库1009中存储签名文件1209。

对于没有关联元数据的音频文件，可以针对音频文件单独地供应元数据。可以用电子方式1212获得或可以人工地1213录入元数据。用电子方式获得的元数据存储于元数据EDI储库1214中。电子1212和人工1213这两类元数据在存储于产生前元数据数据库1006中之前由人工元数据过程1215处理。

任何大规模监视和识别系统中的一个挑战是开发强大的数据管理系统。监视和识别系统的原始输出数量大并且不经过大量预处理就可能用处不大。产生的原始数据的数量取决于参考库群体、系统工作循环、音频样本长度设置和识别分辨率设置。此外，原始数据结果仅区分经识别的与未经识别的段。这允许很大量的聚集的未经识别的如下段，该段包括参考数据中未包括的诸如音乐、谈话、停滞区、宣传等内容。应当开发用以处理和预处理这一原始数据的过程。

无论广播数据的元素何时由于参考数据库缺乏它而未由系统自动地识别，系统都可以被编程为将作品标注为未知。这一未知段然后可以作为未知参考音频段保存于未知参考库中。如果音频轨道随后由系统记入，则应当标注它以供人工识别。应当可经由屏上用户接口访问被标记以供人工识别的所有音频轨道。这一用户接口将允许被授权的用户人工地识别音频轨道。一旦用户已经识别轨道并且录入关联元数据，这一轨道在以往或将来监视的活动日志中的所有出现将表现为被识别(具有关联元数据)。针对这些歌曲录入的元数据在它传播到产生元数据数据库之前必须通过适当质量保证过程。

如上所述，必须通过人工或自动化过程来识别试探算法已经标注的任何“未知”音频段。一旦被识别，标注的段的所有实例应当被更新以反映识别它们的关联元数据。此外，应当更新所有标注以反映从“未知”到“被识别”的状态改变。下文描述人工和自动化过程。

被授权的用户必须容易地访问并且人工地修改作为重复的未识别的作品来标注的所有项目。用户应当能够播放原始音频轨道以供人工识别和元数据更新。一旦被识别，系统应当在先前未识别的轨道的所有出现中传播更新。此外，向人工识别的轨道附加的元数据必须被标注和提交到元数据导入和QA系统以供检查和并入于产生元数据数据库中。

该系统应当提供对通过音频识别系统作为重复的未识别的作品来标注的项目的自动化重新提交直至被人工地识别或从这一循环人工地去除。这将允许系统一旦项目在参考库中的对应参考添加到参考库就识别可能由于参考库中缺乏该参考项目而起初尚未识别的项目。

虽然已经具体地描述本发明及其优点，但是应当理解这里可以进行各种改变、替换和更改而不脱离如所附权利要求限定的本发明。另外，本意并非使本申请的范围限于说明书中所述过程、机器、产品、物体组成、装置、方法和步骤的具体实施例。如根据公开内容将容易了解的那样，可以利用当前存在或以后开发的执行与这里描述的对应实施例基本上相同的功能或实现基本上相同的结果的过程、机器、产品、物体组成、装置、方法和步骤。因而，所附权利要求旨在于在它们的范围内包括这样的过程、机器、产品、物体组成、装置、方法或步骤。

Claims (28)

1.一种广播监视和识别系统，包括：

至少一个监视台，接收来自至少一个广播媒体流的广播数据；

识别系统，从所述至少一个监视台接收所述广播数据，所述识别系统包括签名文件的数据库，各签名文件与已知媒体文件对应，所述识别系统可操作用以比较所述广播数据与所述签名文件以确定所述广播数据中的媒体元素的身份；以及

分析和报告系统，连接到所述识别系统并且可操作用以生成对所述广播数据中与已知媒体文件对应的所述媒体元素进行识别的报告。

2.根据权利要求1所述的系统，其中所述识别系统通过生成用于所述广播数据的签名并且比较用于所述广播数据的所述签名与所述签名文件来比较所述广播数据与所述签名文件。

3.根据权利要求1所述的系统，其中所述识别系统包括多个服务器，所述多个服务器包括聚集服务器和识别服务器，所述聚集服务器接收所述广播数据并且将所述广播数据发送到所述聚集服务器以供识别。

4.根据权利要求3所述的系统，其中所述识别服务器按照群集来组织，各群集包括多个识别服务器，并且其中各群集至少包括签名文件的所述数据库中的所述签名文件的子集。

5.根据权利要求3所述的系统，还包括可操作用以监视和控制所述监视台和所述识别系统的神经系统。

6.根据权利要求5所述的系统，其中所述神经系统将配置信息发送到所述至少一个监视台中的各监视台以及所述聚集服务器和识别服务器中的各服务器。

7.根据权利要求6所述的系统，其中所述神经系统可操作用以重新分配所述识别系统中的所述服务器的功能。

8.根据权利要求1所述的系统，其中所述分析和报告系统使用试探分析来分析来自所述识别系统的所述数据。

9.根据权利要求8所述的系统，其中所述分析和报告系统可操作用以基于所述试探分析来生成报告。

10.根据权利要求1所述的系统，还包括可操作用以存储由所述监视和识别系统接收的和生成的所述数据的存储区域网络。

11.根据权利要求1所述的系统，其中所述已知媒体文件和签名的所述数据库包括参考库。

12.根据权利要求11所述的系统，其中所述参考库包括用于各已知媒体文件的元数据。

13.根据权利要求1所述的系统，其中所述广播数据是音频数据。

14.根据权利要求1所述的系统，其中所述广播数据是视频数据。

15.一种监视和识别广播数据的方法，包括：

接收和聚集来自多个广播源的广播数据；

生成所述广播数据的签名；

比较用于所述广播数据的所述签名与来自签名文件的数据库的签名文件，各签名文件与已知媒体文件对应；并且

分析所述比较的结果以确定所述广播数据的内容。

16.根据权利要求15所述的方法，还包括基于对所述比较的分析来生成报告。

17.根据权利要求16所述的方法，还包括在生成所述报告时使用与各签名文件关联的元数据。

18.根据权利要求15所述的方法，其中所述广播数据是音频数据。

19.根据权利要求15所述的方法，其中所述广播数据是视频数据。

20.一种用于监视和识别音频广播的系统，所述系统包括：

多个地理上分散的监视台，各所述监视台接收来自多个音频广播的未知音频数据；

识别系统，从所述多个监视台接收所述未知音频数据并且比较所述未知音频数据与签名文件的数据库，其中签名文件的所述数据库与已知音频文件库对应，并且所述识别系统能够根据所述比较来识别所述未知音频流中的音频文件；

神经系统，可操作用以监视和配置所述多个监视台和所述识别系统；以及

试探和报告系统，能够分析所述识别系统进行的所述比较的结果并且使用与各所述已知音频文件关联的元数据来生成多个音频广播的内容的报告。

21.根据权利要求20所述的系统，其中所述识别系统包括多个服务器，所述多个服务器包括聚集服务器和识别服务器，所述聚集服务器接收所述广播数据并且将所述广播数据发送到所述识别服务器以供识别。

22.根据权利要求21所述的系统，其中所述识别服务器按照群集来组织，各群集包括多个识别服务器。

23.根据权利要求22所述的系统，其中各群集至少包括签名文件的所述数据库中的所述签名文件的子集。

24.根据权利要求20所述的系统，其中所述广播数据是音频数据。

25.根据权利要求20所述的系统，其中所述广播数据是视频数据。

26.根据权利要求20所述的系统，其中所述广播是空中无线电广播。

27.根据权利要求20所述的系统，其中所述广播是卫星无线电广播。

28.根据权利要求20所述的系统，其中所述广播是因特网广播。

Images