CN103931202A - 信息处理装置、信息处理方法、信息提供装置和信息提供系统 - Google Patents

Abstract

本发明的目的在于基于从内容的音频信息中提取的特征点信息来适当地提供内容信息。即使在正在客户端装置(140)上聆听副音频的情况下，客户端装置(140)也能仅从主音频中提取特征点信息并且向信息提供服务器(150)发出查询，从而可以通过不容易具有副音频特征点信息的信息提供服务器(150)实现ACR服务。另外，在传递具有主音频和多组音频信息的内容的情况下，信息提供服务器(150)不需要准备副音频特征点信息，因此不需要增加数据库的容量。

Description

信息处理装置、信息处理方法、信息提供装置和信息提供系统

技术领域

本说明书中所公开的技术涉及从用于自动内容识别的内容中提取特征点信息的信息处理装置和信息处理方法、基于从内容中提取的特征点信息而提供内容的信息的信息提供装置、以及基于从内容中提取的特征点信息而提供内容的信息的信息提供系统。

背景技术

近年来，开发了用于辨识并理解图像和声音的技术，并且消费类器械的各种应用已使用这样的用于辨识并理解图像和声音的各种技术。作为示例，例示了在使用因特网的客户端服务器系统中所构造的ACR(自动内容辨识)，其被称为ACR服务，并且提出了各种应用。

作为ACR服务的一种应用，可以例示诸如检测盗版的内容权利限制。当通过例如因特网分发内容时，识别内容，以使用这样的辨识和理解技术来检查内容是否是合法的。近来，由于文件共享服务的普及，对于使用图像和声音来更准确地识别内容的需求已提高。

另外，作为ACR服务的另一应用，可以例示向观看和聆听内容的用户提供附加值的服务。例如，对广播或分发的内容进行识别，并且以与该内容的观看和聆听同步的方式通过因特网提供与该内容相关的信息。由美国的Gracenote(加利福利亚州伯克利的Gracenote公司)提供的CDDB音乐识别服务识别致密盘(CD)并且提供对于与所识别的CD相关的信息(专辑名称、艺术家名字、曲目列表、因特网上的相关内容(专辑封面、艺术家、粉丝网站)等)的访问。

在ARC服务中，例如在对内容进行解码和显示的最终阶段中，从内容中提取水印(电子水印)或指纹(特征点信息)并识别该内容，而且该服务不依赖于内容的传递链。

当识别包括广播节目的视频信息和音频信息的内容等时，考虑仅使用视频信息和音频信息之一来识别内容的方法和使用这两条信息两种来识别内容的方法。

例如，作为仅使用音频信息来识别内容的方法，提出了如下方法：通过对在多个振幅带或时隙中的每一个内波形的段出现的次数进行计数来使用已被数字采样的波形的一段或多段形成波形的振幅标志，执行与数据库中的振幅标志的模糊比较，并且从而在表示波形的记录数据库中发现波形的匹配(例如，参照专利文献1)。

根据ACR服务的预期应用、内容辨识率的指标、系统设计和对操作成本的限制等，在应该识别内容时是使用视频信息和音频信息中的仅一个还是使用视频信息和音频信息两者被定义为系统设计期间的服务规范或应用规范的一部分。

目前，考虑到系统设计和操作成本，认为仅使用音频信息来实现ACR服务对于减轻关于要处理的信息量和处理数的负荷是最有利的。这是因为存在很多如下情况：在这些情况下，与视频信息相比，这样的音频信息可能具有更少的用于识别内容的特征点信息的数据量。

然而，由于存在大量要处理的内容，即使每条内容的特征点信息的数据量小，在ACR服务的服务器侧要准备的特征点信息的数据量也会增加。在系统设计和操作方面，处理音频信息的ACR服务中的数据库的增大的物理容量是具有挑战的任务。

关于在系统设计方面的任务，如果要处理的内容的数量增加，则存储有用于识别内容的特征点信息的数据库的容量也增大，并且用于识别的过程和在识别中所花费的时间也增加。另外，关于在系统操作方面的任务，如果要处理的内容的数量增加，则存储有用于识别内容的特征点信息的数据库的容量增加，并且用于准备物理数据库的设施投资、维护开支等增大。本发明人考虑到当仅使用音频信息时也需要对于这样的任务采取措施。

引用列表

专利文献

专利文献1JP2004-511838T

发明内容

技术问题

本说明书中所公开的技术的目的在于提供一种良好的信息处理装置和信息处理方法，其能够从包括音频信息的内容中适当地提取特征点信息，以使得施加于ACR服务的服务器侧的系统设计和操作的负担减轻。

本说明书中所公开的技术的另一目的在于提供一种良好的信息提供装置，其可以基于从内容的音频信息中提取的特征点信息来适当地提供该内容的信息，以使得系统设计和操作的负担减轻。

另外，本说明书中所公开的又一目的在于提供一种良好的信息提供系统，其可以基于从内容的音频信息中提取的特征点信息来适当地提供内容的信息，以使得施加于ACR服务的服务器侧的系统设计和操作的负担减轻。

针对问题的解决方案

根据本申请的第一方面，为了实现上述目的，提供了一种信息处理装置，其被配置为仅利用主声音数据实现音频ACR功能，该装置包括：输入单元，配置为包括主声音和一个或多个副声音的内容被输入至该输入单元；声音输出单元，被配置为通过对所输入的内容中所包括的主声音或一个或多个副声音中的任一个进行解码和再现来输出声音；以及特征点信息生成单元，被配置为根据所输入的内容中所包括的主声音来生成特征点信息。

根据本申请的第二方面，第一方面所描述的信息处理装置的特征点信息生成单元被配置为当执行自动内容辨识操作时执行生成特征点信息的处理，并且辨识主声音和副声音，由此即使在观看和聆听副声音时也能够始终生成主声音的特征点信息。

根据本申请的第三方面，当用于观看和聆听的声音输出单元通过对副声音进行解码和再现来输出声音时，第一方面所描述的信息处理装置的特征点信息生成单元被配置为当执行自动内容辨识操作时对主声音进行解码和再现，由此针对主声音的解码结果而生成特征点信息。也就是说，信息处理装置的特征在于以自动内容辨识操作作为时机来开始对主声音的解码和再现，因此，不需要始终同时再现主声音和副声音。

根据本申请的第四方面，第三方面所描述的信息处理装置被配置为在聆听副声音时根据解码和再现的主声音生成特征点信息，并且不输出主声音作为声音。

根据本申请的第五方面，输入至输入单元的内容与图像复用。另外，第一方面所描述的信息处理装置被配置为还包括解复用器单元，该解复用器单元被配置为对所输入的内容进行解复用，该解复用器单元执行以包括在内容中的所有声音为目标的处理，该声音输出单元仅对解复用后的主声音和一个或多个副声音当中要观看和聆听的声音信号进行解码和再现并接着输出声音，并且当观看和聆听到副声音时执行自动内容辨识操作时，特征点信息生成单元对解复用的主声音进行解码和再现，并接着关于主声音的解码结果而生成特征点信息。也就是说，信息处理装置的特征在于，仅对在主信号和副信号当中的要观看和聆听的任一声音信号进行解码，并且当观看和聆听到副声音时，以自动内容辨识操作作为时机而开始对主声音的解码和再现，并且不需要始终同时再现主声音和副声音。

根据本申请的第六方面，根据第一方面的信息处理装置还包括内容识别单元，其被配置为基于特征点信息生成单元根据主声音生成的特征点信息来识别所输入的内容。

根据本申请的第七方面，根据第六方面的信息处理装置还包括被配置为连接至网络的通信接口单元，并且内容识别单元被配置为经由通信接口单元检查参考特征点信息数据库，由此获取内容识别信息，在参考特征点信息数据库中，内容识别信息与内容中所包括的主声音的特征点信息相关联。

根据本申请的第八方面，根据第七方面的信息处理装置还包括相关信息获取单元，其被配置为通过经由通信接口单元检查存储有每条内容的相关信息的相关信息数据库，来获取内容识别单元所识别的内容的相关信息。

另外，根据本申请的第九方面，提供了一种信息处理方法，包括以下步骤：输入被配置为包括主声音和一个或多个副声音的内容；通过对所输入的内容中所包括的主声音和一个或多个副声音中的任一个进行解码和再现来输出声音；以及根据所输入的内容中所包括的主声音来生成特征点信息。

另外，根据本申请的第十方面，提供了一种信息提供装置，被配置为包括参考特征点信息数据库，在参考特征点信息数据库中，根据包括主声音和一个或多个副声音的内容的主声音而生成的特征点信息与内容识别信息相关联，并且响应于被配置为包括特征点信息的查询而返回内容识别信息，而且仅主声音的特征点信息被编译为数据库，并且通过在检查内容的特征点信息时仅使用主声音来最小化数据库的容量。

另外，根据本申请的第十一方面，提供了一种信息提供系统，其被配置为包括：内容分发装置，被配置为分发被配置为包括主声音和一个或多个副声音的内容；客户端装置，被配置为用于利用任一音频通道观看和聆听从内容分发装置分发的内容，并且根据主声音生成特征点信息；以及信息提供服务器，被配置为包括参考特征点信息数据库，并且提供对应于来自客户端装置的特征点信息的查询的内容识别信息，在参考特征点信息数据库中，根据内容的主声音所生成的特征点信息与内容识别信息相关联。

然而，这里所提到的“系统”是指多个装置(或者实现特定功能的功能模块)的逻辑集合，并且各装置或功能模块是否布置在单个壳体内不是特别重要。

发明的有益效果

根据本说明书中所公开的技术，可以提供良好的信息处理装置和信息处理方法，其可以通过仅从内容的音频信息之中的主声音中提取特征点信息而减轻在施加于ACR服务的服务器的在系统涉及和操作方面的负担。

另外，根据本说明书中所公开的技术，可以提供良好的信息提供装置，其可以通过仅基于从内容的音频信息之中的主声音中提取的特征点信息提供内容的信息来减轻系统设计和操作的负担。

此外，根据本说明书中所公开的技术，可以提供良好的信息提供系统，其可以通过仅基于从内容的音频信息之中的主声音中提取的特征点信息而提供内容的信息来减轻施加于ACR服务的服务器的系统设计和操作的负担。

通过基于稍后将描述的实施例和附图的更详细描述，将使得本说明书中所公开的技术的其他目的、特征和优点更明显。

附图说明

图1是示出与观看和聆听同步地提供与内容相关的附加值信息的信息提供系统100的配置的图。

图2是示出客户端装置140的配置示例的图。

图3是示意性地示出与包括多个音频通道的内容相对应的解复用器单元217和声音解码单元219的内部配置的图。

图4是示出用于在控制微处理器单元214的控制下执行ACR功能的操作的处理过程的流程图。

具体实施方式

下文中，将参照附图详细描述本说明书中所公开的技术的实施例。

作为ACR服务的示例，图1示出与观看和聆听同步地向观看和聆听内容的用户提供与该内容相关的附加值信息的信息提供系统100的配置。附图中所示的信息提供系统100由分发广播内容的内容分发装置110、客户端装置140(诸如用户用以观看所分发的内容的电视接收机)和提供与内容相关的附加信息的信息提供服务器150构成。

内容分发装置110由广播站、内容提供方等操作，并且以线缆、卫星、IPTV等的形式分发内容。该内容包括视频信息和音频信息，但存在如下内容的情况：除了作为音频信息的主声音之外，该内容还具有一个或多个副声音。另外，随着当前广播数字化等，与内容同时分发包括相关应用分发控制信息等的元数据。这样的元数据包括内容识别符等。当原始元数据到达客户端装置140时，ACR服务可通过从元数据中提取内容识别符来实现。

从由广播站、内容提供方等管理的内容分发装置110分发(或广播)的内容不限于直接由诸如TV接收机等客户端装置140接收，并且还存在内容首先由诸如每个区域的有线电视公司的广播中继站120接收并接着再分发的情形。还可以假定其中加入有多个广播中继站。广播中继站120可从原始广播时隙以时间间隔分发内容，或者改变节目的构成。出于该原因，当广播中继站120再分发广播内容时，从内容分发装置110分发的原始元数据可能改变，或者以广播中继站120的独有元数据替代。根据上述元数据的改变或替代，存在原始元数据中所包括的部分或全部信息(诸如，内容识别符)丢失的情况。在元数据丢失之后，内容的属性不清楚。

如上所述，从内容分发装置110或广播中继站120分发的广播内容与元数据一起到达每个家庭。然而，内容不限于直接由诸如TV接收机的客户端装置140接收，并且如图所示，存在首先通过用于有线或卫星广播的专用机顶盒(STB)130或者IPTV接收内容的情况。机顶盒130一般将所接收到的广播内容分成元数据和由视频信息和音频信息构成的内容主体，并且经由RF(射频)线缆等将内容主体传送至诸如TV接收机的客户端装置140。

简而言之，图1所示的信息提供系统100是通过诸如有线电视公司的广播中继站120或机顶盒130阻断来自广播站的元数据的使用情况。在这样的情况下，客户端装置140不能根据元数据中所包括的内容识别符来识别正在观看和聆听的内容。因此，在根据本实施例的信息提供系统100中，为了实现ACR服务，替代内容识别符，使用从构成内容的视频信息或音频信息中提取的特征点信息来识别内容。

由广播站、内容提供方等操作的内容分发装置110经由例如因特网将附加至所分发的内容的元数据传送到信息提供服务器150。另外，内容分发装置110针对每条所分发的内容来提取特征点信息，并且经由因特网等将该信息传送到信息提供服务器150。

信息提供服务器150具有存储有元数据的元数据数据库151以及存储有每条内容的特征点信息的参考特征点信息数据库152。元数据数据库151与内容识别符相关联地管理每条内容的元数据、与内容相关的广告、链接至节目的应用程序等。另外，参考特征点信息数据库152与内容识别符相关联地管理每条内容的特征点信息。

另一方面，如果从诸如电视接收机的客户端装置140侧上用户已观看和聆听的内容中提取特征点信息，则客户端装置经由因特网等向信息提供服务器150发出查询。

响应于来自客户端装置140的关于特征点信息的查询，信息提供服务器150检查参考特征点信息数据库152以将相应的内容识别符返回到客户端装置140作为检查结果。以此方式，客户端装置140可以确定丢失了元数据的内容属性。

当客户端装置140获得作为检查结果的内容识别符时，客户端装置进一步基于内容识别符来向信息提供服务器150发出查询。然后，响应于内容识别符的查询，信息提供服务器150检查元数据数据库151以向用户提供内容的元数据、与内容相关的广告、链接至节目的应用程序等。作为提供方法，除了将数据直接传送到客户端装置140之外，可将数据分发给与客户端装置140相关联的可移动装置(诸如智能电话)。

如上所述，当基于从内容中提取的特征点信息代替内容识别符来识别内容时，为了实现ACR服务，考虑仅使用视频信息和音频信息之一来识别内容的方法以及使用视频信息和音频信息两者来识别内容的方法。在本实施例中，考虑到系统设计和操作成本，ACR服务被设置为仅使用音频信息来实现。这是因为由于用于识别内容的音频信息的特征点信息的数据量可能小，因此认为音频信息在减轻要处理的信息量和处理量的负荷方面比视频信息更有益。

然而，随着要处理的内容的条数增加，在ACR服务的服务器中要准备的特征点信息的数据量增加。在系统设计和操作方面，处理音频信息的ACR服务的数据库的增大的物理容量具有挑战的任务。

关于系统设计方面的任务，如果要处理的内容的条数增加，则存储有用于识别内容的特征点信息的参考特征点信息数据库152的容量增加，并且用于识别的处理和在识别中所花费的时间也增加。另外，关于系统操作方面的任务，如果要处理的内容的条数增加，则参考特征点信息数据库152的容量增加，并且用于准备物理数据库的设施投资、维护支出等增加。

这里，将考虑提取具有多条音频信息(诸如主声音和副声音)的内容的特征点信息的情况。如果在客户端装置140中观看和聆听副声音而不是主声音期间操作ACR服务，则从副声音中提取特征点信息，并且客户端装置向信息提供服务器150发出查询。在这种情况下，为了识别内容，信息提供服务器150需要在参考特征点信息数据库152中不仅准备主声音的特征点信息而且还准备副声音的特征点信息，因而，难以解决减小数据库的容量的上述任务。另外，如果在参考特征点信息数据库152中仅准备主声音的特征点信息，则当在客户端装置140在观看和聆听副声音时ACR可能不起作用。

因此，在本实施例中，ACR服务被设计为：甚至当在客户端装置140中观看和聆听副声音时，即使信息提供服务器150尚未通过仅提取主声音的特征点信息并向信息提供服务器150发出查询来准备副声音的特征点信息，也在观看和聆听副声音期间正常起作用。另外，即使当从内容分发装置110分发具有主声音和多条音频信息的内容时，客户端装置140也发出关于从主声音中提取的特征点信息的查询，因而，信息提供服务器150无需准备副声音的特征点信息，并且数据库的容量可以不增加。

图2示出了客户端装置140的配置示例。

从抛物线天线、电缆线路、STB(附图中均未示出)等输入的输入调制(RF)信号被作为输入从输入终端201提供至前端单元210中的调谐器单元211并被选择。解调单元212执行例如QPSK(正交相移键控)解调。来自解调单元212的输出被提供至误差检测和校正单元213。误差检测和校正单元213尽可能与检测误差同时执行校正处理。

对代码进行解密所需的密钥连同解密程序一起存储在控制微计算机单元214、ROM(只读存储器)单元215、RAM(随机存取存储器)单元216等中。当对已传送的数字信号进行编码时，需要用于对代码进行解密的密钥和解密处理。因而，控制微计算机单元214从ROM单元215、RAM单元216等读取用以对代码进行解密的密钥，然后将该密钥提供至解复用器单元(DEMUX)217。

使用该密钥，解复用器单元217对编码的数字信号进行解密。应注意，与解密所需的密钥一起，解密程序、收费信息等也存储在存储器中。

解复用器单元217从误差检测和校正单元213接收输出信号，然后将输出信号存储在用于数据缓冲存储器的RAM单元216的适当存储器区域中(或者在解复用器单元217内的存储器区域中)。然后，从RAM单元216适当地读取数据并接着将其分离成视频基本流和音频基本流，然后，视频基本流被提供至图像解码单元218并且音频基本流被提供至声音解码单元219。此时，时钟生成单元220从复用的编码数据量中提取重新形成系统时钟所需的信息，并且将其用在图像解码单元218和声音解码单元219的处理中。

当内容具有多个音频通道时，根据总数提取由解复用器单元217提取的音频基本流。例如，当存在主音频通道和副音频通道时，解复用器单元217提取两个基本流。

应该注意，在例如ISO(国际标准化组织)/IEC(国际电工委员会)13818-1(日内瓦，1995)的书面标准中详细规定了解复用器单元217的处理。

图像解码单元218适当地将输入的编码数据存储在RAM216中，并且对已以MPEG(运动图像专家组)的形式压缩编码的图像信号执行解码处理。在例如ISO/IEC13818-2的书面标准(日内瓦，1995)中详细规定了图像解码单元218的处理。解码后的图像信号被提供至显示图像构成单元221。在显示图像构成单元221中，例如，将信号转换成NTSC(国家电视系统委员会)系统的亮度信号(Y)、色度信号(C)和复合信号(CV)。然后，通过D/A转换器单元222将信号转换成模拟信号，然后输出该信号。以例如S视频信号的形式从输出终端223输出视频信号。

声音解码单元219使得RAM单元216适当地存储从解复用器单元217提供的编码的声音信号，并且对已以MPEG形式压缩并编码的声音信号执行解码处理。在例如ISO/IEC13818-3的书面标准(日内瓦，1995)中详细规定了声音解码单元219的处理。解码后的数字声音信号被提供至D/A转换器单元224以将其转换成模拟信号。此时，左右通道的声音信号被适当地处理，然后从输出终端25输出作为左右通道的声音输出。

当内容具有多个音频通道时，解复用器单元217提取多个音频基本流(如上所述)，并且声音解码单元219设置有针对每个音频通道的解码部。

控制微计算机单元214根据存储在ROM单元215中的程序来执行各种处理。例如，控制微计算机单元经由系统总线203控制在例如调谐器单元211、解调单元212、误差检测和校正单元213等中所执行的处理。另外，控制微计算机单元经由系统总线203控制解复用器单元217、图像解码单元218、声音解码单元219和显示图像构成单元221的处理块，并且控制对ROM单元215和RAM单元216执行的每个存储器地址的读写处理等。另一方面，控制微计算机单元214可以从用户接口单元227直接接收预定命令的输入，该用户接口单元227从远程命令器(图中未示出)等接收输入的信息。用户接口单元227输入用于调谐并调整音量、选择音频通道、操作ACR功能等的指令。

IP(互联网协议)接口(IP/IF)单元230使得客户端装置140通过诸如以太网(注册商标)、Wi-Fi等的广域网连接至诸如因特网的宽带网络。IP接口单元230在例如启动ACR服务时连接至信息提供服务器150，以在传送从内容中提取的特征点信息或者获取与内容相关的元数据时使用。

图3示意性地示出与包括多个音频通道的内容相对应的解复用器单元217和声音解码单元219的内部配置。如上所述，当输入至客户端装置140的内容具有多个音频通道时，解复用器单元217根据总数提取音频基本流。另外，声音解码单元219设置有针对每个音频通道的解码部。此外，当观看和聆听具有多个音频通道的内容时，作为观看和聆听的目标的音频通道的切换被从用户接口单元227输入至控制微计算机单元214。

在本实施例中，为了客户端装置140低功耗和ACR操作加速的目的，直到解复用器单元217为止，以主音频通道和副音频通道两者为目标来执行解码处理，但声音解码单元219使用内部切换(SW)功能来仅对作为观看和聆听的目标的任何一个音频通道执行解码处理。例如，假设用于识别主声音或副声音的识别信息被赋予每个音频通道的数据，由此，在解码期间可以确定数据是主声音还是副声音。

在这种状态下，当从用户接口单元227输入ACR功能的操作的指令时，声音解码单元219在控制微计算机单元214的控制下通过解复用器单元217对于如下数据执行用于获取主声音的特征点信息的处理，该数据为已存储在RAM单元216中的期望音频通道的解码结果。

然后，客户端装置140从IP接口单元230经由因特网等向信息提供服务器150发出对所获取的主声音的特征点信息的查询。

信息提供服务器150至少管理参考特征点信息数据库152中与内容识别符相关联的从内容分发装置110分发的内容的主声音的特征点信息。当通过响应于来自客户端装置140的对主声音的特征点信息的查询而检查参考特征点信息数据库152来识别内容时，信息提供服务器150将对应的内容识别符作为检查结果返回到客户端装置140。

当客户端装置140获得作为检查结果的内容识别符时，客户端装置进一步基于内容识别符来向信息提供服务器150发出查询。然后，响应于对内容识别符的查询，信息提供服务器150检查元数据数据库151以向用户提供内容的元数据、与内容相关的广告、链接至节目的应用程序等。

应该注意，通过检查参考特征点信息数据库152来使用内容识别符，信息提供服务器150可通过进一步检查元数据数据库151来获取元数据，然后将元数据作为检查结果返回到客户端装置140，而不是将内容识别符返回到客户端装置140。

客户端装置140首先将经由IP接口单元230从信息提供服务器150接收到的元数据、与内容相关的广告、链接至节目的应用程序等存储在RAM单元216中。

控制微计算机单元214根据应用规范对已存储在RAM单元216中的元数据、与内容相关的广告、链接至节目的应用程序等进行处理。

作为从信息提供服务器150提供元数据等的方法，除了直接传送至客户端装置140之外，元数据可被分发到与客户端装置140相关联的可移动装置(诸如智能电话)。

图4以流程图的形式示出用于在控制微计算机单元214的控制下执行ACR功能的操作的处理过程。

当在客户端装置140中观看和聆听内容时通过用户接口单元227等指示开始ACR操作时(在步骤S401中为是)，控制微计算机单元214检查是否正在观看和聆听主声音(步骤S402)。

这里，当不是正在观看和聆听主声音(也就是说，正在观看和聆听副声音)时(在步骤S402中为否)，声音解码单元219通过解复用器单元217开始对已存储在RAM单元216中的主声音通道进行解码(步骤S407)。另外，当正在观看和聆听主声音时(在步骤S402中为是)，声音解码单元219对作为观看和聆听目标的主声音通道进行解码。

然后，控制微计算机单元214开始用于获取关于主声音通道的解码结果数据的特征点信息的处理(步骤S403)。

当完成主声音的特征点信息的创建时(在步骤S404中为是)，在控制微计算机单元214的控制下基于特征点信息识别正在观看和聆听的内容(步骤S405)。更具体地，从IP接口单元230经由因特网等向信息提供服务器150发出关于所获取的主声音的特征点信息的查询。

信息提供服务器150至少管理参考特征点信息数据库152中与内容识别符相关联的从内容分发装置110分发的内容的主声音的特征点信息。响应于来自客户端装置140的关于主声音的特征点信息的查询，信息提供服务器150检查参考特征点信息数据库152。当客户端装置从信息提供服务器150接收检查结果并从而可以识别内容时(在步骤S406中为是)，结束当前处理例程。

当客户端装置可以仅从正在观看和聆听的音频通道提取特征点信息时，存在如下情况：在客户端装置侧观看和聆听副声音时，即使客户端装置与在数据库中仅准备了主声音的特征点信息的信息提供服务器协作，音频ACR功能对于包括多个音频通道的内容也不起作用。另一方面，在本实施例中，客户端装置140可以可靠地生成主声音的特征点信息而不管正在观看和聆听什么音频通道，因而，可以与在数据库中仅准备了主声音的特征点信息的信息提供服务器协作地实现音频ACR功能。

另外，由于信息提供服务器150更好地关于包括多个音频通道的这种内容来操作仅针对主声音的特征点信息的数据库，因此可以将数据块的容量限制到最小水平，相应地，可以实现在操作效率、操作成本、维护成本等方面最佳的信息提供系统100。

另外，还可以如下配置本技术。

(1)一种信息处理装置，包括：

输入单元，包括主声音和一个或多个副声音的内容被输入至所述输入单元；

声音输出单元，其被配置为通过对所输入的内容中所包括的所述主声音或所述一个或多个副声音进行解码和再现来输出声音；以及

特征点信息生成单元，其被配置为根据所输入的内容中所包括的所述主声音来生成特征点信息。

(2)根据(1)所述的信息处理装置，其中，所述特征点信息生成单元在执行自动内容识别操作时执行用于生成所述特征点信息的处理。

(3)根据(1)所述的信息处理装置，其中，当用于观看和聆听的所述声音输出单元通过对所述副声音进行解码和再现来输出声音时，所述特征点信息生成单元在执行自动内容识别操作时对所述主声音进行解码和再现，由此针对所述主声音的解码结果而生成所述特征点信息。

(4)根据(3)所述的信息处理装置，其中，解码和再现后的主声音不作为声音输出。

(5)根据(1)所述的信息处理装置，

其中，输入至所述输入单元的内容被与图像复用，

其中，所述信息处理装置还包括：

解复用器单元，其被配置为对所输入的内容进行解复用，

其中，所述解复用器单元执行以所述内容中包括的所有声音为目标的处理，

其中，所述声音输出单元通过仅对解复用后的主声音和一个或多个副声音当中的要观看和聆听的声音信号进行解码和再现来输出声音，并且

其中，当在观看并聆听所述副声音时执行自动内容识别操作时，所述特征点信息生成单元对解复用后的主声音进行解码和再现，并且针对所述主声音的解码结果而生成所述特征点信息。

(6)根据(1)所述的信息处理装置，还包括：

内容识别单元，其被配置为基于由所述特征点信息生成单元根据所述主声音所生成的所述特征点信息来识别所输入的内容。

(7)根据(6)所述的信息处理装置，还包括：

通信接口单元，其被配置为连接至网络，

其中，所述内容识别单元经由所述通信接口单元检查参考特征点信息数据库，由此获取内容识别信息，其中，在所述参考特征点信息数据库中，所述内容识别信息与所述内容中所包括的主声音的特征点信息相关联。

(8)根据(7)所述的信息处理装置，还包括：

相关信息获取单元，其被配置为通过经由所述通信接口单元检查相关信息数据库来获取由所述内容识别单元识别出的内容的相关信息，其中，在所述相关信息数据库中存储有每条内容的相关信息。

(9)一种信息处理方法，包括以下步骤：

输入包括主声音和一个或多个副声音的内容；

通过对所输入的内容中所包括的所述主声音或所述一个或多个副声音进行解码和再现来输出声音；以及

根据所输入的内容中所包括的所述主声音来生成特征点信息。

(10)一种信息提供装置，包括：

参考特征点信息数据库，在所述参考特征点信息数据库中，根据包括主声音和一个或多个副声音的内容中的所述主声音而生成的特征点信息与内容识别信息相关联，

其中，响应于包括特征点信息的查询而返回所述内容识别信息。

(11)一种信息提供系统，包括：

内容分发装置，其被配置为分发包括主声音和一个或多个副声音的内容；

客户端装置，其被配置为用于利用任意音频通道观看和聆听从所述内容分发装置分发的内容，并且根据所述主声音生成特征点信息；以及

信息提供服务器，其被配置为包括参考特征点信息数据库，并且提供与来自所述客户端装置的特征点信息的查询相对应的内容识别信息，其中，在所述参考特征点信息数据库中，根据所述内容的主声音所生成的特征点信息与所述内容识别信息相关联。

工业应用性

本领域的技术人员应理解，根据设计要求和其它因素，可进行各种修改、组合、子组合和变更，只要它们落在在所附权利要求或其等同方案的范围内即可。

本说明书中所公开的技术在用于根据包括多个音频通道的内容生成特征点信息并基于特征点信息识别内容的处理中展现了主要特征，并且识别内容之后的处理不受具体限制。尽管本说明书中的描述关注于向诸如电视接收机的客户端或者诸如智能电话的移动装置分发内容的元数据、与内容修改的广告、链接至节目的应用程序等的信息提供系统的实施例，但是在本说明书中所公开的技术可以用在使用诸如内容权利控制的ACR功能的各种服务中。

简而言之，以例示的形式公开了本发明并且不应限制性解释本发明。为了确定本实施例中所公开的技术的要旨，应该考虑专利权利要求书。

附图标记列表

100    信息提供系统

110    内容分发装置

120    中继站

130    机顶盒

140    客户端装置

150    信息提供服务器

151    元数据数据库

152    参考特征点信息数据库

201    输入终端

203    系统总线

210    前端单元

211    调谐器单元

212    解调单元

213    误差检测和校正单元

214    控制微计算机单元

215    ROM单元

216    RAM单元

217    解复用器单元

218    图像解码单元

219    声音解码单元

220    时钟生成单元

221    显示图像构成单元

222    D/A转换器单元

223    输出终端

224    D/A转换器单元

225    输出终端

227    用户接口单元

230    IP接口单元

Claims (11)

1.一种信息处理装置，包括：

输入单元，包括主声音和一个或多个副声音的内容被输入至所述输入单元；

声音输出单元，其被配置为通过对所输入的内容中所包括的所述主声音或所述一个或多个副声音进行解码和再现来输出声音；以及

特征点信息生成单元，其被配置为根据所输入的内容中所包括的所述主声音来生成特征点信息。

2.根据权利要求1所述的信息处理装置，其中，所述特征点信息生成单元在执行自动内容识别操作时执行用于生成所述特征点信息的处理。

3.根据权利要求1所述的信息处理装置，其中，当用于观看和聆听的所述声音输出单元通过对所述副声音进行解码和再现来输出声音时，所述特征点信息生成单元在执行自动内容识别操作时对所述主声音进行解码和再现，由此针对所述主声音的解码结果而生成所述特征点信息。

4.根据权利要求3所述的信息处理装置，其中，解码和再现后的主声音不作为声音输出。

5.根据权利要求1所述的信息处理装置，

其中，输入至所述输入单元的内容被与图像复用，

其中，所述信息处理装置还包括：

解复用器单元，其被配置为对所输入的内容进行解复用，

其中，所述解复用器单元执行以所述内容中包括的所有声音为目标的处理，

其中，所述声音输出单元通过仅对解复用后的主声音和一个或多个副声音当中的要观看和聆听的声音信号进行解码和再现来输出声音，并且

其中，当在观看并聆听所述副声音时执行自动内容识别操作时，所述特征点信息生成单元对解复用后的主声音进行解码和再现，并且针对所述主声音的解码结果而生成所述特征点信息。

6.根据权利要求1所述的信息处理装置，还包括：

内容识别单元，其被配置为基于由所述特征点信息生成单元根据所述主声音所生成的所述特征点信息来识别所输入的内容。

7.根据权利要求6所述的信息处理装置，还包括：

通信接口单元，其被配置为连接至网络，

其中，所述内容识别单元经由所述通信接口单元检查参考特征点信息数据库，由此获取内容识别信息，其中，在所述参考特征点信息数据库中，所述内容识别信息与所述内容中所包括的主声音的特征点信息相关联。

8.根据权利要求7所述的信息处理装置，还包括：

相关信息获取单元，其被配置为通过经由所述通信接口单元检查相关信息数据库来获取由所述内容识别单元识别出的内容的相关信息，其中，在所述相关信息数据库中存储有每条内容的相关信息。

9.一种信息处理方法，包括以下步骤：

输入包括主声音和一个或多个副声音的内容；

通过对所输入的内容中所包括的所述主声音或所述一个或多个副声音进行解码和再现来输出声音；以及

根据所输入的内容中所包括的所述主声音来生成特征点信息。

10.一种信息提供装置，包括：

参考特征点信息数据库，在所述参考特征点信息数据库中，根据包括主声音和一个或多个副声音的内容中的所述主声音而生成的特征点信息与内容识别信息相关联，

其中，响应于包括特征点信息的查询而返回所述内容识别信息。

11.一种信息提供系统，包括：

内容分发装置，其被配置为分发包括主声音和一个或多个副声音的内容；

客户端装置，其被配置为用于利用任意音频通道观看和聆听从所述内容分发装置分发的内容，并且根据所述主声音生成特征点信息；以及

信息提供服务器，其被配置为包括参考特征点信息数据库，并且提供与来自所述客户端装置的特征点信息的查询相对应的内容识别信息，其中，在所述参考特征点信息数据库中，根据所述内容的主声音所生成的特征点信息与所述内容识别信息相关联。