CN104137560B

CN104137560B - 图像显示设备及其操作方法

Info

Publication number: CN104137560B
Application number: CN201380008968.2A
Authority: CN
Inventors: 文京洙; 金相铉; 金镇泌; 池爱娣; 李俊徽
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2012-02-10
Filing date: 2013-02-08
Publication date: 2018-07-24
Anticipated expiration: 2033-02-08
Also published as: WO2013119082A1; EP2800392A1; US20150020094A1; EP2800392A4; KR20140125766A; CN104137560A; JP2015512198A; JP6294238B2

Abstract

本发明涉及一种用于操作图像显示装置的方法，并且尤其涉及用于操作具有显示单元的视频显示装置的方法，该方法包括以下步骤：获得未被压缩的音频‑视频内容；通过显示单元重播未被压缩的音频‑视频内容；基于未被压缩的音频‑视频内容中的一些，提取视频特性信息和音频特性信息中的至少一个；通过对包括视频特性信息和音频特性信息中的至少一个的查询的响应获得未被压缩的音频‑视频内容的内容信息；基于内容信息获得增补服务；以及通过显示单元重播增补服务。

Description

图像显示设备及其操作方法

技术领域

本公开涉及一种视频显示装置及其操作方法。

背景技术

随着数字广播正为其广泛传播铺平道路，广播站传送视听(AV)内容和增强型服务数据两者，该增强型服务数据可以被链接到主AV内容以提供信息和服务或者可以为了其它用途而被单独提供。

然而，在当前的广播环境下每个家庭中的视频显示装置可能不太可能直接以无线方式接收广播信号。更确切地说，对于大多数情况，每个家庭中的视频显示装置被连接到广播接收装置以显示广播接收装置提供的未被压缩的视听内容。

另外，广播接收装置从服务器(被称为多频道视频节目分发商(MVPD))接收内容。MVPD从广播站接收广播信号，从所接收的广播信号中提取内容，将所提取的内容转换成具有正确传输格式的信号，并且将转换的信号提供给广播接收装置。在这些过程期间，MVPD可以排除所提取的增强型服务数据或者可以添加其它的增强型服务数据，使得强迫广播接收装置接收取决于MVPD的增强型服务。

因为广播接收装置从从MVPD接收的信号中提取主AV数据并且仅将未压缩的视听数据提供到视频显示装置，仅从广播接收装置而非视频显示装置提供的增强型服务是可用的。

发明内容

技术问题

实施例提供能够进行正确的内容识别的视频显示装置及其操作方法。

技术方案

实施例涉及一种用于操作包括显示单元的视频显示装置的方法，该方法包括：获得未被压缩的AV内容；通过显示单元播放未被压缩的AV内容；基于未被压缩的AV内容的部分，提取该部分的视频特性信息和音频特性信息中的至少一个；通过对包括视频特性信息和音频特性信息中的至少一个的查询的响应获得未被压缩的AV内容的内容信息；基于内容信息获得增强型服务；以及通过显示单元播放增强型服务。

根据另一实施例的视频显示装置包括：显示单元；接收单元，该接收单元被配置为获得未被压缩的AV内容；增强型服务管理单元，该增强型服务管理单元被配置为基于未被压缩的AV内容的部分提取该部分的视频特性信息和音频特性信息中的至少一个，通过对包括视频特性信息和音频特性信息中的至少一个的查询的响应获得未被压缩的AV内容的内容信息，并且基于内容信息获得增强型服务；以及回放控制单元，该回放控制单元被配置为在显示单元上播放未被压缩的AV内容和增强型服务。

有益效果

根据实施例的视频显示装置可以基于视频特性信息识别内容，尽管在视频显示装置中播放的内容不包括音频信号或者包括多个音频信号。

根据实施例的视频显示装置可以基于诸如广播公司标志的视频特性信息识别内容，尽管通过不同的频道广播相同的节目。

当机顶盒的在屏显示被重叠在内容的视频图像上时，根据实施例的视频显示装置可以基于音频特性信息或者采样窗口识别内容。

附图说明

图1是图示根据实施例的网络拓扑的框图。

图2是图示根据实施例的基于水印的网络拓扑的框图。

图3是图示根据实施例的基于水印的网络拓扑中的数据流的梯形图。

图4是图示根据实施例的基于水印的内容识别时序的视图。

图5是图示根据实施例的基于指纹的网络拓扑的框图。

图6是图示根据实施例的基于指纹的网络拓扑中的数据流的梯形图。

图7是图示根据实施例的包含查询结果的ACR-Resulttype的XML模型图的视图。

图8是图示根据实施例的基于水印和指纹的网络拓扑的框图。

图9是图示根据实施例的基于水印和指纹的网络拓扑中的数据流的梯形图。

图10是图示根据实施例的视频显示装置的框图。

图11是图示根据实施例的同步主AV内容的回放时间与增强型服务的回放时间的方法的流程图。

图12是图示根据实施例的同步主AV内容的回放时间与增强型服务的回放时间的方法的概念图。

图13是根据实施例的当执行自动播放应用时的屏幕。

图14是根据实施例的当执行内容提供商应用时的屏幕。

图15是根据实施例的用于控制ACR功能的用户界面的视图。

图16是图示根据实施例的控制视频显示装置的方法的流程图。

图17是图示根据本发明的实施例的网络拓扑的视图。

图18是图示根据本发明的各种实施例的Live+应用的视图。

图19是图示根据本发明的各种实施例的执行Live+应用的方法的视图。

图20是图示根据本发明的实施例的Live+应用的选项卡功能的视图。

图21是图示根据本发明的实施例的第三方服务器90的架构的视图。

图22是图示根据本发明的实施例的用于自动执行应用的视频显示装置的操作的梯形图。

图23是图示根据本发明的实施例的用于频道无关的应用的视频显示装置的操作的梯形图。

图24是图示根据本发明的实施例的用于频道无关的应用的视频显示装置的操作的梯形图。

图25是图示根据本发明的实施例的视频显示装置的概念图。

图26是图示根据本发明的另一实施例的视频显示装置的操作的梯形图。

图27是根据本发明的实施例的ACR配置信息的XML模型图。

图28是图示根据本发明的另一实施例的视频显示装置的操作的梯形图。

图29是根据本发明的实施例的ACR配置信息的XML模型图。

图30是根据本发明的实施例的显示卫星运营商Dish网络的MVPD标志的EPG窗口的视图。

图31是根据本发明的实施例的显示有线电视运营商ComCast的MVPD标志的EPG窗口的视图。

图32是示出根据本发明的实施例的显示有线电视运营商Comcast的MVPD标志的EPG窗口的视图。

图33是根据本发明的实施例的显示卫星运营商DirecTV的MVPD标志的菜单窗口的视图。

图34是根据本发明的实施例的频道映射处理的视图。

图35是根据本发明的实施例的频道映射处理的视图。

图36是根据本发明的实施例的视频显示装置的概念图。

图37是根据本发明的实施例的视频显示装置的概念图。

图38是图示根据另一实施例的基于指纹的视频显示装置的结构的框图。

图39是图示根据另一实施例的基于水印的视频显示装置的结构的框图。

图40是根据另一实施例的包含查询请求的ACR-Resulttype的XML模型图。

图41是图示根据另一实施例的基于指纹的视频显示装置的结构的框图。

图42是图示根据另一实施例的基于指纹的视频显示装置的结构的框图。

具体实施方式

下文中，将参考附图更加详细地描述涉及本发明的移动终端。考虑到在撰写说明书的过程中的容易，在以下的描述中给予或混合用于组件的名词后缀“引擎”、“模块”和“单元”。即，名词后缀它们自身并没有分别可区分的含义或作用。

将会根据实施例参考图1至图9描述网络拓扑。

图1是图示根据实施例的网络拓扑的框图。

如图1中所示，网络拓扑包括内容提供服务器10、内容识别服务提供服务器20、多频道视频分发服务器30、增强型服务信息提供服务器40、多个增强型服务提供服务器50、广播接收装置60、网络70和视频显示装置100。

内容提供服务器10可以对应于广播站并且广播包括主视听内容的广播信号。广播信号还可以包括增强型服务。增强型服务可以或者可以不涉及主视听内容。增强型服务可以具有格式，诸如服务信息、元数据、额外数据、编译执行文件、网页应用、超文本标记语言(HTML)文档、XML文档、层叠风格表(CSS)文档、音频文件、视频文件、ATSC 2.0内容和诸如统一资源定位符(URL)的地址。可能存在至少一个内容提供服务器。

内容识别服务提供服务器20提供内容识别服务，该内容识别服务允许视频显示装置100基于主视听内容识别内容。内容识别服务提供服务器20可以或者不可以编辑主视听内容。可能存在至少一个内容识别服务提供服务器。

内容识别服务提供服务器20可以是水印服务器，该水印服务器编辑主视听内容，以将可以看到标志的可视水印插入主视听内容中。此水印服务器可以将每帧的左上或右上处的内容提供商的标志作为水印插入主视听内容中。

另外，内容识别服务提供服务器20可以是水印服务器，该水印服务器编辑主视听内容，以将内容信息作为不可视水印插入主视听内容中。

另外，内容识别服务提供服务器20可以是指纹服务器，该指纹服务器从主视听内容的一些帧或音频采样中提取特性信息并且将其存储。此特性信息被称为签名。

多频道视频分发服务器30从多个广播站接收并复用广播信号并且将复用的广播信号提供到广播接收装置60。特别地，多频道视频分发服务器30对所接收的广播信号执行解调和频道解码，以提取主视听内容和增强型服务，并且然后，对所提取的主视听内容和增强型服务执行频道编码，以产生复用信号，用于分发。此时，因为多频道视频分发服务器30可以排除所提取的增强型服务或者可以添加其他的增强型服务，所以广播站可以不提供其引导的服务。可能存在至少一个多频道视频分发服务器。

广播装置60可以调谐用户选择的频道并且接收经调谐频道的信号，并且然后，对所接收的信号执行解调和频道解码以提取主视听内容。广播装置60通过H.264/运动图像专家组4先进视频编码(MPEG-4AVC)、Dolby(杜比)AC-3或运动图像专家组-2高级音频编译(MPEG-2AAC)算法对被提取的主视听内容进行解码，以产生未压缩的主视听AV内容。广播接收装置60通过其外部输入端口将所产生的未压缩的主AV内容提供到视频显示装置100。

增强型服务信息提供服务器40响应于视频显示装置的请求，提供关于涉及主AV内容的至少一个可用增强型服务的增强型服务信息。可能存在至少一个增强型服务提供服务器。增强型服务信息提供服务器40可以提供关于多个可用增强型服务当中的具有最高优先级的增强型服务的增强型服务信息。

增强型服务提供服务器50响应于视频显示装置的请求，提供涉及主AV内容的至少一个可用增强型服务。可能存在至少一个增强型服务提供服务器。

视频显示装置100可以是均包括显示单元的电视机、笔记本电脑、手机和智能电话。视频显示装置100可以从广播接收装置60接收未压缩的主AV内容，或者从内容提供服务器10或多频道视频分发服务器30接收包括经编码的主AV内容的广播信号。视频显示装置100可以通过网络70从内容识别服务提供服务器20接收内容识别服务，通过网络70从增强型服务提供服务器40接收涉及主AV内容的至少一个可用增强型服务的地址，并且从增强型服务提供服务器50接收涉及主AV内容的至少一个可用增强型服务。

内容提供服务器10、内容识别服务提供服务器20、多频道视频分发服务器30、增强型服务信息提供服务器40和多个增强型服务提供服务器50中的至少两个可以以一个服务器的形式被组合并且可以由一个提供商操作。

图2是图示根据实施例的基于水印的网络拓扑的框图。

如图2中所示，基于水印的网络拓扑还可以包括水印服务器21。

如图2中所示，水印服务器21编辑主AV内容，以将内容信息插入其中。多频道视频分发服务器30可以接收并且分发包括经更改的主AV内容的广播信号。特别地，水印服务器可以使用下述的数字加水印技术。

数字水印是一种用于将可能几乎不可删除的信息插入数字信号中的过程。例如，数字信号可以是音频、图片或视频。如果复制数字信号，则在复制品中包括插入的信息。一个数字信号可以同时携带多个不同的水印。

在可视加水印的过程中，被插入的信息在图片或视频中可能是可识别的。典型地，被插入的信息可以是识别媒体拥有者的文本或标志。如果电视广播站将其标志添加在视频的角落处，则这是可识别的水印。

在不可视加水印的过程中，尽管信息作为数字数据被添加到音频、图片或视频中，但是用户可以意识到预定数量的信息但是可能无法识别。可以通过不可视加水印传递秘密的消息。

加水印的一个应用是用于防止数字媒体的非法复制的版权保护系统。例如，复制装置在复制数字媒体之前从数字媒体获得水印，并且基于水印的内容确定是否进行复制。

加水印的另一个应用是数字媒体的源追踪。在分发路径的每个点处水印被嵌入在数字媒体中。如果以后发现了这种数字媒体，则可以从数字媒体提取水印并且可以从水印的内容识别分发源。

不可视加水印的另一个应用是对数字媒体的描述。

数字媒体的文件格式可以包括称为元数据的附加信息，并且数字水印与元数据的区别在于数字水印作为数字媒体的AV信号自身被传递。

加水印方法可以包括扩频、量化和调幅。

如果通过额外编辑获得经标记的信号，则加水印方法对应于扩频。尽管已知扩频水印十分强大，但是因为水印干扰嵌入的主信号，所以没有包含太多的信息。

如果通过量化获得经标记的信号，则加水印方法对应于量化型。量化水印弱，可以包括大量信息。

如果在空间域中通过与扩频类似的额外编辑方法获得经标记的信号，则加水印方法对应于调幅。

首先，在操作101中内容提供服务器10发送包括主AV内容和增强型服务的广播信号。

在操作103中，水印服务器21接收内容提供服务器10提供的广播信号，通过编辑主AV内容将可视水印诸如标志或作为不可视水印的水印信息插入主AV内容中，并且将加水印的主AV内容和增强型服务提供到MAPD 30。

通过不可视水印插入的水印信息可以包括水印用途、内容信息、增强型服务信息和可用增强型服务中的至少一个。水印功能代表非法复制防止、收视率和增强型服务获取中的一个。

内容信息可以包括提供主AV内容的内容提供商的识别信息、主AV内容识别信息、内容信息获取中使用的内容段的时间信息、通过其主AV内容被广播的频道的名字、通过其主AV内容被广播的频道的标志、通过其主AV内容被广播的频道的描述、使用信息报告时间段、使用信息获取的最短使用时间以及涉及主AV内容的可用增强型服务信息中的至少一个。

如果视频显示装置100使用水印以获取内容信息，则被用于内容信息获取的内容段的时间信息可以是其中嵌入所使用水印的内容段的时间信息。如果视频显示装置100使用指纹获取内容信息，则被用于内容信息获取的内容段的时间信息可以是从其中提取特性信息的内容段的时间信息。被用于内容信息获取的内容段的时间信息可以包括用于内容信息获取的内容段的开始时间、用于内容信息获取的内容段的持续时间和用于内容信息获取的内容段的结束时间中的至少一个。

使用信息报告地址可以包括主AV内容观看信息报告地址和增强型服务使用信息报告地址中的至少一个。使用信息报告时间段可以包括主AV内容观看信息报告时间段和增强型服务使用信息报告时间段中的至少一个。用于使用信息获取的最短使用时间可以包括用于主AV内容观看信息获取的最短观看时间和用于增强型服务使用信息提取的最短使用时间中的至少一个。

基于在超过最短观看时间的时间内观看主AV内容，视频显示装置100获取主AV内容的观看信息并且在主AV内容观看信息报告时间段内将所获取的观看信息报告到主AV内容观看信息报告地址。

基于在超过最短使用时间的时间内使用增强型服务，视频显示装置100获取增强型服务使用信息并且在增强型服务使用信息报告时间段内将所获取的使用信息报告到增强型服务使用信息报告地址。

增强型服务信息可以包括关于是否存在增强型服务的信息、增强型服务地址提供服务器地址、用于各个可用增强型服务的获取路径、各个可用增强型服务的地址、各个可用增强型服务的开始时间、各个可用增强型服务的结束时间、各个可用增强型服务的使用期限、各个可用增强型服务的获取模式、各个可用增强型服务的请求时间段、各个可用增强型服务的优先级信息、各个可用增强型服务的说明、各个可用增强型服务的类别、使用信息报告地址、使用信息报告时间段和使用信息获取的最短使用时间中的至少一个。

可用增强型服务的获取路径可以用IP或高级电视系统委员会-移动/手持(ATSCM/H)来表示。如果可用增强型服务的获取路径是ATSCM/H，则增强型服务信息还可以包括频率信息和频道信息。各个可用增强型服务的获取模式可以表示推或拉。

此外，水印服务器21可以将水印信息作为不可视水印插入主AV内容的标志中。

例如，水印服务器21可以在标志的预定位置插入条形码。此时，标志的预定位置可以对应于显示标志的区域底部处的第一行。当接收包括其中插入条形码的标志的主AV内容时，视频显示装置100可以不显示条形码。

例如，水印服务器21可以在标志的预定位置处插入条形码。此时，标志可以保持其形式。

例如，水印服务器21可以在M个帧的各个标志处插入N比特的水印信息。即，水印服务器21可以在M个帧中插入M*N个水印信息。

在操作S105中，MVPD 30接收包括加水印的主AV内容和增强型服务的广播信号并且产生复用信号，以将其提供到广播接收装置60。此时，复用信号可以不包括所接收的增强型服务或者可以包括新的增强型服务。

在操作S106中，广播接收装置60调谐用户选择的频道并且接收经调谐频道的信号，解调所接收的信号，对经解调的信号执行频道解码和AV解码以产生未压缩的主AV内容，并且然后，将所产生的未压缩的主AV内容提供到视频显示装置100。

此外，在操作S107中，内容提供服务器10还通过无线频道广播包括主AV内容的广播信号。

另外，在操作S108中，MVPD 30可以在没有经过广播接收装置60的情况下将包括主AV内容的广播信号直接发送到视频显示装置100。

视频显示装置100可以通过广播接收装置60接收未压缩的主AV内容。另外，视频显示装置100可以通过无线频道接收广播信号，并且然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。另外，视频显示装置100可以从MVPD接收广播信号，并且然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。视频显示装置100从所获得的主AV内容的一些帧或音频采样片段中提取水印信息。如果水印信息对应于标志，则视频显示装置100确认与从多个标志和多个水印服务器地址之间的对应关系中提取的标志对应的水印服务器地址。当水印信息对应于标志时，视频显示装置100不能够仅通过标志来识别主AV内容。另外，当水印信息不包括内容信息时，视频显示装置100不能够识别主AV内容，但是水印信息可以包括内容提供商识别信息或水印服务器地址。当水印信息包括内容提供商识别信息时，视频显示装置100可以确认与从多个内容提供商识别信息和多个水印服务器地址之间的对应关系中提取的内容提供商识别信息对应的水印服务器地址。以这样的方式，在操作S109中，当视频显示装置100不能够仅通过水印信息识别视频显示装置100的主AV内容时，它访问与所获得的水印服务器地址对应的水印服务器21，以发送第一查询。

在操作S111中，水印服务器21向第一查询提供第一应答。第一应答可以包括内容信息、增强型服务信息和可用增强型服务中的至少一个。

如果水印信息和第一应答不包括增强型服务地址，则视频显示装置100不能够获得增强型服务。然而，水印信息和第一应答可以包括增强型服务地址提供服务器地址。以这样的方式，视频显示装置100没有通过水印信息和第一应答获得服务地址或增强型服务。在操作S119中，如果视频显示装置100获得增强型服务地址提供服务器地址，则它访问与所获得的增强型服务地址提供服务器地址对应的增强型服务信息提供服务器40，以发送包括内容信息的第二查询。

增强型服务信息提供服务器40搜索涉及第二查询的内容信息的至少一个可用增强型服务。以后，在操作S121中，增强型服务信息提供服务器40向视频显示装置100提供用于至少一个可用增强型服务的增强型服务信息作为对第二查询的第二应答。

在操作S123中，如果视频显示装置100通过水印信息、第一应答或第二应答获得至少一个可用增强型服务地址，则它访问至少一个可用增强型服务地址以请求增强型服务，然后，在操作S125中，获得增强型服务。

图4是图示根据实施例的基于水印的内容识别时序的视图。

如图4中所示，当广播接收装置60被打开并且调谐频道，并且另外，视频显示装置100通过外部输入端口111从广播接收装置60接收经调谐频道的主AV内容时，视频显示装置100可以从主AV内容的水印中感测内容提供商标识符(或广播站标识符〉。然后，视频显示装置100可以基于感测到的内容提供商标识符从主AV内容的水印中感测内容信息。

此时，如图4中所示，内容提供商标识符的检测可用时间段可以与内容信息的检测可用时间段不同。特别地，内容提供商标识符的检测可用时间段可以比内容信息的检测可用时间段短。通过此，视频显示装置100可以具有用于仅检测必要信息的有效配置。

图5是图示根据实施例的基于指纹的网络拓扑的框图。

如图5中所示，网络拓扑还可以包括指纹服务器22。

如图5中所示，指纹服务器22没有编辑主AV内容，而是从主AV内容的一些帧或音频采样片段中提取特性信息并且存储所提取的特性信息。然后，当从视频显示装置100接收特性信息时，指纹服务器22提供与所接收的特性信息对应的AV内容的时间信息和标识符。

首先，在操作S201中，内容提供服务器10发送包括主AV内容和增强型服务的广播信号。

在操作S203中，指纹服务器22接收内容提供服务器10提供的广播信号，从主AV内容的多个帧片段或多个音频片段中提取多条特性信息，并且创建与多个特性信息对应的多个查询结果的数据库。查询结果可以包括内容信息、增强型服务信息和可用增强型服务中的至少一个。

在操作S205中，MVPD 30接收包括主AV内容和增强型服务的广播信号并且产生复用信号，以将其提供到广播接收装置60。此时，复用信号可以排除所接收的增强型服务或者可以包括新的增强型服务。

在操作S206中，广播接收装置60调谐用户选择的频道并且接收经调谐频道的信号，解调所接收的信号，对经解调的信号执行频道解码和AV解码以产生未压缩的主AV内容，然后，将所产生的未压缩的主AV内容提供到视频显示装置100。

此外，在操作S207中，内容提供服务器10还通过无线频道广播包括主AV内容的广播信号。

另外，MVPD 30可以在没有经过广播接收装置60的情况下将包括主AV内容的广播信号直接发送到视频显示装置100。

视频显示装置100可以通过广播接收装置60接收未压缩的主AV内容。另外，视频显示装置100可以通过无线频道接收广播信号，并且然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。另外，视频显示装置100可以从MVPD 30接收广播信号，并且然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。在操作S213中，视频显示装置100从所获得的主AV内容的一些帧或音频采样片段中提取特性信息。

在操作S215中，视频显示装置100访问与预定的指纹服务器地址对应的指纹服务器22，以发送包括所提取的特性信息的第一查询。

在操作S217中，指纹服务器22向第一查询提供作为第一应答的查询结果。如果第一应答对应于失败，则视频显示装置100访问与另一个指纹服务器地址对应的指纹服务器22，以发送包括所提取的特性信息的第一查询。

指纹服务器22可以提供可扩展标记语言(XML)文档作为查询结果。将参考图7和表1描述包含查询结果的XML文档的示例。

如图7中所示，包含查询结果的ACR-Resulttype包括ResultCode属性和ContentID、NTPTimestamp、SignalingChannelInformation以及ServiceInformation元素。

例如，如果ResultCode属性具有200，则这可能意味着查询结果是成功的。例如，如果ResultCode属性具有404，则这可能意味着查询结果是不成功的。

SignalingChannelInformation元素包括SignalingChannelURL，并且SignalingChannelURL元素包括UpdateMode和PollingCycle属性。UpdateMode属性可以具有拉(Pull)值或推(Push)值。

ServiceInformation元素包括ServiceName、ServiceLogo、ServiceDescription元素。

表1图示包含查询结果的ACR-ResultType的XML模型。

[表1]

作为ContentID元素，ATSC内容标识符可以如表2中所示地使用。

[表2]

如表2中所示，ATSC内容标识符具有包括TSID和房号的结构。

16位不带符号的整数TSID携带传输流标识符。

用当在完成广播之后能够重新使用content_id值时的那天中的小时，设置5位不带符号的整数end_of_day。

用当不能够重新使用content_id值时的天数，设置9位不带符号的整数unique_for。

Content_id代表内容标识符。视频显示装置100每天在end_of_day的对应时间中将unique_for减少了1，并且假定如果unique_for不是0，则content_id是唯一的。

此外，作为ContentID元素，可以如下所述地使用ATSC-M/H服务的全局服务标识符。

全局服务标识符具有下面的形式。

-urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>

在此，<region>是包括ISO 639-2规定的两个字符的国际国家代码。用于本地服务的<xsid>是如在<region>中定义的TSID的十进制数，并且<xsid>(区域性服务)(major>69)是“0”。<serviceid>是用<major>或<minor>定义的。<major>代表主频道号，并且<minor>代表次频道号。

全局服务标识符的示例如下。

-urn:oma:bcast:iauth:atsc:service:us:1234:5.1

-urn:oma:bcast:iauth:atsc:service:us:0:100.200

此外，作为ContentID元素，可以如下所述地使用ATSC内容标识符。

ATSC内容标识符具有下面的形式。

urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>

在此，<xsid>是包括ISO 639-2规定的两个字符的国际国家代码。用于本地服务的<xsid>是如在<region>中定义的TSID的十进制数，并且可以后面跟着“.”<serviceid>。用于(区域性服务)(major>69)的<xsid>是<serviceid>。<content_id>是表2中定义的content_id字段的base64符号，<unique_for>是用于表2中定义的unique_for的十进制数符号，并且<end_of_day>是表2中定义的end_of_day字段的十进制数符号。

下文中，再次描述图6。

在操作S219中，如果查询结果不包括增强型服务地址或增强型服务，而是包括增强型服务地址提供服务器地址，则视频显示装置100访问与所获得的增强型服务地址提供服务器地址对应的增强型服务信息提供服务器40，以发送包括内容信息的第二查询。

增强型服务信息提供服务器40搜索涉及第二查询的内容信息的至少一个可用的增强型服务。随后，在操作S221中，增强型服务信息提供服务器40将用于至少一个可用增强型服务的增强型服务信息作为对第二查询的第二应答提供到视频显示装置100。

在操作S223中，如果视频显示装置100通过第一应答或第二应答获得至少一个可用的增强型服务地址，则它访问至少一个可用增强型服务地址以请求增强型服务，然后在操作S225中，获得增强型服务。

当UpdateMode属性具有拉值时，视频显示装置100通过SignalingChannelURL将HTTP请求发送到增强型服务提供服务器50，并且响应于请求，从增强型服务提供服务器50接收包括PSIP二进制流的HTTP应答。在这种情况下，视频显示装置100可以根据如PollingCycle属性指定的轮询(Polling)时间段发送HTTP请求。另外，SignalingChannelURL元素可以具有更新时间属性。在这种情况下，视频显示装置100可以根据如更新时间属性指定的更新时间发送HTTP请求。

如果UpdateMode属性具有推值，则视频显示装置100可以通过XMLHTTPRequestAPI从服务器异步地接收更新。在视频显示装置100通过XMLHTTPRequest对象向服务器发送异步请求之后，如果信令信息有变化，则服务器通过频道提供信令信息作为应答。如果会话等待时间有限制，则服务器产生会话超时应答并且接收器识别所产生的超时应答以再次发送请求，使得接收器和服务器之间的信令频道可以一直保持。

图8是示出根据实施例的基于水印和指纹的网络拓扑的框图。

如图8中所示，基于水印和指纹的网络拓扑还可以包括水印服务器21和指纹服务器22。

如图8中所示，水印服务器21将内容提供商识别信息插入主AV内容中。水印服务器21可以将内容提供商识别信息作为可视水印如标志或不可视水印插入主AV内容中。

指纹服务器22不编辑主AV内容，而是从主AV内容的一些帧或音频采样的某些片段中提取特性信息并且存储所提取的特性信息。然后，当从视频显示装置100接收特性信息时，指纹服务器22提供与所接收的特性信息对应的AV内容的时间信息和标识符。

首先，在操作S301中，内容提供服务器10发送包括主AV内容和增强型服务的广播信号。

在操作S303中，水印服务器21接收内容提供服务器10提供的广播信号，通过编辑主AV内容将可视水印诸如标志或作为不可视水印的水印信息插入主AV内容中，并且将加水印的主AV内容和增强型服务提供到MVPD 30。通过不可视水印插入的水印信息可以包括内容信息、增强型服务信息和可用增强型服务中的至少一个。内容信息和增强型服务信息如上所述。

在操作S305中，MVPD 30接收包括加水印的主AV内容和增强型服务的广播信号并且产生复用信号，以将其提供到广播接收装置60。此时，复用信号可以排除所接收的增强型服务或者可以包括新的增强型服务。

在操作S306中，广播接收装置60调谐用户选择的频道并且接收经调谐频道的信号，解调所接收的信号，对经解调的信号执行频道解码和AV解码以产生未压缩的主AV内容，然后，将所产生的未压缩的主AV内容提供到视频显示装置100。

此外，在操作S307中，内容提供服务器10还通过无线频道广播包括主AV内容的广播信号。

另外，在操作S308中，MVPD 30可以在不经过广播接收装置60的情况下将包括主AV内容的广播信号直接发送到视频显示装置100。

视频显示装置100可以通过广播接收装置60接收未压缩的主AV内容。另外，视频显示装置100可以通过无线频道接收广播信号，然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。另外，视频显示装置100可以从MVPD 30接收广播信号，并且然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。视频显示装置100从所获得的主AV内容的一些帧或时间段的音频采样中提取水印信息。如果水印信息对应于标志，则视频显示装置100确认与从多个标志和多个水印服务器地址之间的对应关系中提取的标志对应的水印服务器地址。当水印信息对应于标志时，视频显示装置100不能够仅通过标志来识别主AV内容。另外，当水印信息不包括内容信息时，视频显示装置100不能够识别主AV内容，但是水印信息可以包括内容提供商识别信息或水印服务器地址。当水印信息包括内容提供商识别信息时，视频显示装置100可以确认与从多个内容提供商识别信息和多个水印服务器地址之间的对应关系中提取的内容提供商识别信息对应的水印服务器地址。以这样的方式，在操作S309中，当视频显示装置100不能够仅通过水印信息识别视频显示装置100的主AV内容时，它访问与所获得的水印服务器对应的水印服务器21，以发送第一查询。

在操作S311中，水印服务器21为第一查询提供第一应答。第一应答可以包括指纹服务器地址、内容信息、增强型服务信息和可用增强型服务中的至少一个。内容信息和增强型服务信息如上所述。

在操作S313中，如果水印信息和第一应答包括指纹服务器地址，则视频显示装置100从主AV内容的音频采样的一些帧或某个片段中提取特性信息。

在操作S315中，视频显示装置100访问与第一应答中的指纹服务器地址对应的指纹服务器22，以发送包括所提取的特性信息的第二查询。

在操作S317中，指纹服务器22将查询结果作为第二应答提供给第二查询。

在操作S319中，如果查询结果不包括增强型服务地址或增强型服务，而是包括增强型服务地址提供服务器地址，则视频显示装置100访问与所获得的增强型服务地址提供服务器地址对应的增强型服务信息提供服务器40，以发送包括内容信息的第三查询。

增强型服务信息提供服务器40搜索涉及第三查询的内容信息的至少一个可用增强型服务。随后，在操作S321中，增强型服务信息提供服务器40将用于至少一个可用的增强型服务的增强型服务信息作为对第三查询的第三应答提供到视频显示装置100。

在操作S323中，如果视频显示装置100通过第一应答、第二应答或第三应答获得至少一个可用增强型服务地址，则它访问至少一个可用增强型服务地址以请求增强型服务，并且然后，在操作S325中，获得增强型服务。

然后，参考图10，将会描述根据实施例的视频显示装置100。

图10是图示根据实施例的视频显示装置的框图。

如图10中所示，视频显示装置100包括广播信号接收单元101、解调单元103、频道解码单元105、解复用单元107、AV解码单元109、外部输入端口111、播放控制单元113、播放装置120、增强型服务管理单元130、数据发送/接收单元141和存储器150。

广播信号接收单元101从内容提供服务器10或MVPD 30接收广播信号。

解调单元103对所接收的广播信号进行解调，以产生经解调的信号。

频道解码单元105对经解调的信号执行频道解码，以产生经频道解码数据。

解复用单元107将主AV内容和增强型服务与经频道解码数据分开。被分开的增强型服务被存储在增强型服务存储单元152中。

AV解码单元109对被分开的主AV内容执行AV解码，以产生未压缩的主AV内容。

此外，外部输入端口111从广播接收装置60、数字多功能盘(DVD)播放器、蓝光(Blu-ray)盘播放器等接收未压缩的主AV内容。外部输入端口111可以包括DSUB端口、高清晰度多媒体接口(HDMI)端口、数字视频接口(DVI)端口、复合端口、组件端口和S视频端口中的至少一个。

播放控制单元113控制播放装置120，以根据用户的选择，播放AV解码单元109产生的未压缩的主AV内容和从外部输入端口111接收的未压缩的主AV内容中的至少一个。

播放装置120包括显示单元121和扬声器123。显示单元121可以包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT LCD)、有机发光二极管(OLED)、柔性显示器和3D显示器中的至少一个。

增强型服务管理单元130获得主AV内容的内容信息并且基于获得的内容信息获得可用的增强型服务。特别地，如上所述，增强型服务管理单元130可以基于未压缩的主AV内容的音频采样的一些帧或某个片段，获得主AV内容的识别信息。在本说明书中这被称为自动内容识别(ACR)。

数据发送/接收单元141可以包括高级电视系统委员会-移动/手持(ATSC-M/H)频道发送/接收单元141a和IP发送/接收单元141b。

存储器150可以包括存储介质诸如闪存存储器类型、硬盘类型、多媒体卡微型、卡型存储器诸如SD或XD存储器、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘和光盘中的至少一种类型。视频显示装置100可以与网络存储器相链接而操作，在互联网上执行存储器150的存储功能。

存储器150可以包括内容信息存储单元151、增强型服务存储单元152、标志存储单元153、设置信息存储单元154、书签存储单元155、用户信息存储单元156和使用信息存储单元157。

内容信息存储单元151存储与多个特性信息对应的多个内容信息。

增强型服务存储单元152可以存储与多个特性信息对应的多个增强型服务或者与多个内容信息对应的多个增强型服务。

标志存储单元153存储多个标志。另外，标志存储单元153还可以存储与多个标志相对应的内容提供商标识符或者与多个标志对应的水印服务器地址。

设置信息存储单元154存储用于ACR的设置信息。

书签存储单元155存储多个书签。

用户信息存储单元156存储用户信息。用户信息可以包括用于至少一个服务的至少一个账户信息、区域性信息、家庭成员信息、首选流派信息、视频显示装置信息和使用信息范围中的至少一个。至少一个账户信息可以包括用于使用信息测量服务器的账户信息和社交网络服务诸如推特和脸书的账户信息。区域性信息可以包括地址信息和邮政区码。家庭成员信息可以包括家庭成员的数量、每个成员的年龄、每个成员的性别、每个成员的宗教信仰和每个成员的工作。可以用运动、电影、戏剧、教育、新闻、娱乐和其它流派中的至少一个设置首选流派信息。视频显示装置信息可以包括信息诸如类型、制造商、固件版本、分辨率、型号、OS、浏览器、存储装置可用性、存储装置容量和视频显示装置的网速。一旦设置了使用信息范围，视频显示装置100在设置范围内收集并报告主AV内容观看信息和增强型服务使用信息。可以在每个虚拟频道中设置使用信息范围。另外，可以在整个物理频道内设置使用信息测量可容许范围。

使用信息提供单元157存储由视频显示装置100收集的主AV内容观看信息和增强型服务使用信息。另外，视频显示装置100基于收集的主AV内容观看信息和增强型服务使用信息分析服务使用模式，并且将经分析的服务使用模式存储在使用信息存储单元157中。

增强型服务管理单元130可以从指纹服务器22或内容信息存储单元151获得主AV内容的内容信息。如果在内容信息存储单元151中没有与所提取的特性信息对应的内容信息或者充分的内容信息，则增强型服务管理单元130可以通过数据发送/接收单元141接收额外的内容信息。此外，增强型服务管理单元130可以连续地更新内容信息。

增强型服务管理单元130可以从增强型服务提供服务器50或增强型服务存储单元153获得可用的增强型服务。如果在增强型服务存储单元153中没有增强型服务或充分的增强型服务，则增强型服务管理单元130可以通过数据发送/接收单元141更新增强型服务。此外，增强型服务管理单元130可以连续地更新增强型服务。

增强型服务管理单元130可以从主AV内容中提取标志，然后，可以查询标志存储单元155，以获得与所提取的标志对应的内容提供商标识符或水印服务器地址。如果在标志存储单元155中没有与所提取的标志对应的标志或充分的标志，则增强型服务管理单元130可以通过数据发送/接收单元141接收额外的标志。此外，增强型服务管理单元130可以连续地更新标志。

增强型服务管理单元130可以通过各种方法将从主AV内容中提取的标志与标志10存储单元155中的多个标志进行比较。各种方法可以减少比较运算的负荷。

例如，增强型服务管理单元130可以基于颜色特性执行比较。即，增强型服务管理单元130可以将所提取的标志的颜色特性与标志存储单元155中的标志的颜色特性进行比较，以确定它们是否相同。

此外，增强型服务管理单元130可以基于字符识别执行比较。即，增强型服务管理单元130可以将从所提取的标志中识别的字符与从标志存储单元155中的标志中识别的字符进行比较，以确定它们是否相同。

此外，增强型服务管理单元130可以基于标志的简档执行比较。即，增强型服务管理单元130可以将所提取的标志的简档与标志存储单元155中的标志的简档进行比较，以确定它们是否相同。

然后，参考图11和图12，将会描述同步主AV内容的回放时间与增强型服务的回放时间的方法。

增强型服务信息可以包括增强型服务的开始时间。此时，视频显示装置100可能需要在开始时间开始增强型服务。然而，因为视频显示装置100在没有时间戳的情况下接收发送未压缩的主AV内容的信号，所以主AV内容的播放时间的参考时间与增强型服务的开始时间的参考时间不同。尽管视频显示装置100接收具有时间信息的主AV内容，但是主AV内容的播放时间的参考时间可以与增强型服务的开始时间的参考时间不同，如同重新广播一样。因此，视频显示装置100可能需要将主AV内容的参考时间与增强型服务的参考时间同步。特别地，视频显示装置100可能需要将主AV内容的回放时间与增强型服务的开始时间同步。

首先，在操作S801中，增强型服务管理单元130提取主AV内容的某个片段。主AV内容的片段可以包括主AV内容的一些视频帧或某个音频片段中的至少一个。增强型服务管理单元130提取主AV内容的该片段的时间被指定为Tn。

增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。更加详细地，增强型服务管理单元130对所提取的片段中的通过不可视水印编码的信息进行解码，以获得内容信息。另外，增强型服务管理单元130可以提取所提取的片段中的特性信息，并且基于所提取的特性信息，从指纹服务器22或内容信息存储单元151获得主AV内容的内容信息。增强型服务管理单元130获得内容信息的时间被指定为Tm。

此外，内容信息包括所提取的片段的开始时间Ts。在内容信息获取时间Tm之后，增强型服务管理单元130基于Ts、Tm、以及Tn将主AV内容的回放时间与增强型服务的开始时间同步。更加详细地，增强型服务管理单元130将内容信息获取时间Tp视为通过下述等式1计算出的时间Tp。

[等式1]

Tp＝Ts+(Tm-Tn)

另外，增强型服务管理单元130将当内容信息获取时间之后Tx流逝时的时间视为Tp+Tx。

然后，在操作8807中，增强型服务管理单元130在所获得的内容信息中获得增强型服务和其开始时间Ta。

在操作S809中，如果被同步的主AV内容的回放时间与增强型服务的开始时间Ta相同，则增强型服务管理单元130开始所获得的增强型服务。更加详细地，当满足下述等式2时，增强型服务管理单元130可以开始增强型服务。

[等式2]

Tp+Tx＝Ta

图12是示出根据实施例的将主AV内容的回放时间与增强型服务的回放时间同步的方法的概念图。

如图12中所示，视频显示装置100在系统时间Tn期间提取AV采样。

视频显示装置100从所提取的AV采样中提取特性信息，并且将包括所提取的特性信息的查询发送到指纹服务器22，以接收查询结果。视频显示装置100通过解析查询结果，确认在Tm处所提取的AV采样的开始时间Ts是否对应于11000ms。

因此，视频显示装置100将根据等式1确认的所提取的AV采样的开始时间的时间视为Ts+(Tm–Tn)，使得，然后，主AV内容的回放时间可以与增强型服务的开始时间同步。

接着，将会参考图13至图14描述根据各种实施例的ACR应用。

ACR应用可以包括自动播放应用、内容提供商应用和视频显示制造商应用。

图13是根据实施例的当执行自动播放应用时的画面。

自动播放应用自动地播放增强型服务，即使当在用户没有采取动作时。从这个意义上讲，在本说明书中自动播放应用被指定为往后靠应用。

在没有用户输入的情况下，自动播放应用根据主AV内容的回放时间自动地播放增强型服务，诸如内容提供商或广播站在主AV内容的播放期间提供的场景相关信息。即，内容提供商或广播站完全控制自动播放应用。例如，当自动播放应用与特定频道或者特定内容相关时，当视频显示装置100进入与自动播放应用相关的频道或者内容时，在没有用户输入的情况下视频显示装置100可以自动地执行相对应的自动播放应用。然后，当视频显示装置100变成在与自动播放应用相关的频道或者内容之外时，可以在没有用户输入的情况下自动地终止相对应的自动播放应用。在这种意义上讲，在本说明书中自动播放应用将会被称为频道依赖的应用或者内容依赖的应用。

如图13中所示，一旦执行自动播放应用，画面200就可以包括播放减少的主AV内容的子画面210和其中显示附加信息的子画面220。其中显示附加信息的子画面200可以在空间上与其中播放主AV内容的子画面210分离。

此外，当执行自动播放应用时，其中显示附加信息的区域可以是半透明的。在这种情况下，其中显示附加信息的区域可以与其中播放主AV内容的区域重叠。

图14是根据实施例的当执行内容提供商应用时的画面。

在本说明书中，内容提供商应用被指定为完全交互式应用。

如图14(A)中所示，视频显示装置100下载并存储多个应用。图14(A)图示应用的图标230。多个应用当中的内容提供商应用是由内容提供商创建并分发的应用，并且因此，可以处于内容提供商的控制下。

视频显示装置100的用户可以从应用商店下载内容提供商应用并且确定是否要执行所下载的内容提供商应用。

图14(B)是当执行内容提供商应用时的画面。如图14(B)中所示，画面200可以包括其中播放减少的主AV内容的子画面210和其中显示附加信息的子画面220。

视频显示装置制造商应用是由视频显示装置制造商创建并控制的，并且当制造视频显示装置100时可以预先被存储。即，视频显示装置制造商应用可以提供相同的服务和用户界面，不论内容提供商或内容如何。

视频显示装置制造商应用可以单独地包括其中显示内容提供商提供的增强型服务的区域和其中显示视频显示装置制造商提供的增强型服务的区域。视频显示装置100的用户可以确定是否要执行视频显示装置制造商应用。

视频显示装置制造商应用可以具有两种类型。

第一种类型的视频显示装置制造商应用具有缩放用户界面。具有缩放用户界面的视频显示装置制造商应用减小其中显示主AV内容的区域的尺寸，以在缩小的区域中显示所有主AV内容。另外，具有缩放用户界面的视频显示装置制造商应用重塑其中显示应用的具有L或者倒L形的结构的区域。

第二种类型的视频显示装置制造商应用具有重叠的用户界面。具有重叠的用户界面的视频显示装置制造商应用保持其中显示主AV内容的区域的尺寸，并且将其中显示应用的区域重叠在主AV内容上。因为其中显示应用的区域覆盖主AV内容，所以应用区域可以是半透明的。

像这样，视频显示装置制造商应用不取决于任何单个内容提供商或者任何单个频道。尽管描述了由视频显示装置制造商制造这样的应用，但是本发明不限于此。不取决于任何单个内容提供商或者任何单个频道的应用没有通过频道变化而执行或者没有通过频道变化而终止。为了在下面的说明书中便于描述，不取决于任何单个内容提供商或者任何单个频道的应用可以被称为频道无关的应用、视频显示装置制造商应用或者Live+应用。

然后，将会参考图15和图16描述根据实施例的ACR功能的开/关控制。

图15是根据实施例的用于控制ACR功能的用户界面的视图。

如图15中所示，播放控制单元113显示ACR功能设置窗口。用户可以通过ACR功能设置窗口对ACR功能进行激活或停用。

当激活ACR功能时，用户可以选择ACR模式。ACR模式可以被设置为具有自动播放应用模式、内容提供商应用模式和视频显示制造商应用模式中的一个。

当以上述方式设置ACR功能模式时，播放控制单元113将设置信息存储在设置信息存储单元154上。

图16是示出根据实施方式的控制视频显示装置的方法的流程图。

在操作S1901中，增强型服务管理单元130确认ACR功能是否启动。

如果ACR功能被停用，则增强型服务管理单元130不再执行内容信息获得程序。

如果激活ACR功能，则在操作S1902中增强型服务管理单元130提取主AV内容的某个片段。

在操作S1903中，增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。

在操作S1905中，增强型服务管理单元130将主AV内容的参考时间与替选广告的参考时间同步。

在操作S1907中，增强型服务管理单元130基于所获得的内容信息获得增强型服务。增强型服务管理单元130基于内容信息获得增强型服务信息，然后基于增强型服务信息获得增强型服务。

然后，在操作S1909中，增强型服务管理单元130确认ACR模式。

在操作S1911中，增强型服务管理单元130根据ACR模式播放增强型服务。

更详细地，如果ACR模式是自动播放应用模式，则增强型服务管理单元130执行自动播放应用，并且所执行的自动播放应用播放所获得的增强型服务。

如果ACR模式是内容提供商应用模式，则增强型服务管理单元130在后台执行与所获得的内容信息对应的内容提供商应用。增强型服务管理单元130在接收与增强型服务使用对应的用户输入时显示内容提供商应用。此内容提供商应用可以播放所获得的增强型服务。替代内容提供商应用在后台自动执行，可以通过用户输入执行。

如果ACR模式是视频显示装置制造商应用模式，则增强型服务管理单元130在后台执行视频显示装置制造商应用。增强型服务管理单元130在接收与增强型服务使用对应的用户输入时显示视频显示装置制造商应用。此视频显示装置制造商应用可以播放所获得的增强型服务。替代视频显示装置制造商应用在后台自动执行，可以通过用户输入执行。

下文中，将会参考图17至图42描述根据本发明的实施例的第三方增强型服务。

图17是图示根据本发明的实施例的网络拓扑的视图。

如在图17中所示，网络拓扑包括诸如广播公司/CP后端服务器的内容提供服务器10、诸如增强型服务提供服务器50的第三方服务器90、诸如ACR服务器的内容识别服务提供服务器20、以及诸如ACR智能TV的视频显示装置100。

视频显示装置100可以通过使用频道依赖的应用或者诸如内容依赖的应用的Leanback应用从内容提供服务器10获得广播公司增强型服务，并且可以通过使用诸如频道无关的应用的Live+应用从第三方服务器90获得第三方增强型服务。

诸如频道依赖的应用的Leanback应用，是广播公司或者CP提供的应用，并且也提供通过节目单元或者场景单元同步的服务。因为广播公司是生产节目的主体，所以其掌握哪一个场景是在节目中。因此，广播公司可以显示对于特定场景最适合的内容。一旦视频显示装置100识别节目，则其从相对应的节目的内容提供服务器10下载Leanback应用，并且然后，自动地执行被下载的Leanback应用。然而，当视频显示装置100将当前频道变成与执行的Leanback应用无关的另一频道时，其自动地终止相对应的Leanback应用，并且如果存在改变的频道的Leanback应用，则其执行相对应的Leanback应用。

Live+应用是第三方(例如，制造商)提供的应用，被预先安装在TV中，并且可以被一直执行，不论用户当前观看的频道或者节目如何，不同于Leanback应用。与本发明建议的ACR架构相关，Live+应用显示通过场景单元同步的节目有关的增强型信息和内容。Live+应用具有一致的用户界面并且一直被执行，不论节目如何。即使当广播公司没有提供与节目有关的附加信息时Live+应用可以通过使用节目有关的元数据提供各种服务。例如，Live+应用可以提供关于节目的基本信息和对其中出现节目演员的电影的推荐。因为Live+应用具有被指配给广播公司/CP的区域，所以当广播公司提供与节目有关的附加信息时其可以在相对应的区域上显示相对应的与节目有关的增强型数据。例如，广播公司提供的增强型数据可以包括用户当前观看的节目的事先广播的重放和场景同步的内容(例如，产品购买、地点预定、音乐源购买和下载、以及产品广告)。

视频显示装置100包括ACR模块，该ACR模块从未经压缩的AV内容提取签名，并且通过被提取的签名查询内容识别服务提供服务器20以便于识别节目。而且，视频显示装置100基于被识别的节目驱动与节目有关的应用。在节目识别之后可以下载Leanback应用并且然后执行。当TV被发布时通过制造商可以预先安装Leanback应用，或者可以从应用商店下载并且安装。

内容识别服务提供服务器20存储被广播的节目的音频和/或视频的签名。内容识别服务提供服务器20可以通过使用签名捕获系统来提取并且存储实时广播的签名，并且可以从广播公司接收包括与特定节目相对应的签名的ACR DB并且然后可以进行存储。内容识别服务提供服务器20的ACR DB存储节目的内容ID、签名、时间戳、以及URL。在本说明书中，可以使用两种类型的内容ID。

第一类型的内容ID，作为广播公司直接指配的ID，是唯一地标识广播公司中的节目的标识符。广播公司可以将内容ID以其所期待的格式指配给节目。当向内容提供服务器10请求节目有关的增强型数据时可以使用内容ID。

作为全局唯一内容ID的第二类型的内容ID，是唯一地标识全国或者全球节目的标识符。因为通过国家广播频道、本地广播频道、有线广播、或者卫星广播发送节目，所以为了提取所有节目的签名，多个签名捕获设备可以被安装在多个区域中。而且，为了在全国或者全世界唯一地标识和区分各个节目，全局唯一内容ID可以被指配给各个节目。为了将各个节目映射到全局唯一内容ID，可以使用元数据。因为除了诸如节目有关的附加信息的元数据之外，元数据数据库还包括节目时间表信息，所以通过使用元数据数据库从捕获系统递送的签名可以被映射到某个节目中。捕获系统获知被提取的签名与哪个区域、频道、以及时间有关，并且因此，当利用此信息搜索元数据数据库时，可以找到节目。内容识别服务提供服务器20和第三方服务器90可以共享元数据数据库，并且可以通过使用元数据数据库通过全局唯一内容ID识别节目。全局唯一内容ID的格式可以由操作服务器的第三方指定，或者可以从元数据数据库提供。

从第三方服务器90提供Live+应用提供的所有服务。第三方服务器90可以从视频显示装置100接收内容识别服务提供服务器20递送的全局唯一内容ID。第三方服务器90可以通过全局唯一内容ID从元数据数据库提取与全局唯一内容ID相对应的节目有关的元数据，并且基于被提取的元数据，可以将与节目有关的各种服务提供给视频显示装置100。另外，如果存在关于广播公司提供的被识别的节目的附加信息，则第三方服务器90访问广播公司服务器以便于接收节目有关的增强性数据，并且进行处理并且将其提供给视频显示装置100。广播公司通过Live+应用提供的节目有关的增强型数据具有与通过Leanback应用提供的增强型数据相同的内容但是不同的用户界面。然而，在另一实施例中，根据广播公司，通过Live+应用提供的节目有关的增强型数据可以不同于Leanback应用提供的增强型数据。

对于多个广播公司或者多个CP可以存在多个内容提供服务器10。内容提供服务器10具有节目导向的Leanback应用和Leanback应用输出的节目有关的增强数据。

图18是图示根据本发明的各种实施例的Live+应用的视图。

Live+应用可以调整主AV媒体内容的大小，以便于在屏幕的左上区域上显示，可以在屏幕的右区域上显示节目有关的附加信息，并且可以在屏幕的底区域上显示节目有关的广告。Live+应用可以在右区域中的内容区域的顶区域上显示多个选项卡。多个选项卡可以包括节目选项卡、推荐选项卡、话题选项卡、以及加选项卡。

视频显示装置100可以显示主画面或我的应用画面。我的应用画面是显示被安装在视频显示装置100中的应用的列表的画面。

在接收从在主画面或者我的应用画面上示出的多个应用中选择Live+应用的用户输入之后，视频显示装置100可以执行Live+应用。

另外，当播放广播时，视频显示装置100可以通过定时器以预定的时间间隔显示通知存在Live+应用的的图形，并且当接收与此图形有关的用户输入时，可以执行Live+应用。

节目选项卡提供关于观众当前观看的节目的基本信息和节目的重放服务。视频显示装置100可以从第三方服务器90的元数据DB中取回节目基本信息。通过第三方服务器90，视频显示装置100可以从创建相对应的节目的内容提供服务器10带来关于节目重放服务的信息。

推荐选项卡可以推荐与当前节目有关的另一AV内容，即，与当前节目有关的电影或者视频(例如，Youtube)或者应用。第三方服务器90可以基于当前节目的标题、流派、或者演员表确定用于推荐的电影或者视频，并且然后可以处理关于此的信息以提供视频显示装置100的Live+应用的推荐选项卡。

话题选项卡提供与当前节目有关的会话内容相对应的推特文章。第三方服务器90可以基于当前节目的标题、流派、或者演员表搜寻当前节目有关的推特文章，并且然后可以处理搜索到的文章以提供视频显示装置100的Live+应用的话题选项卡。

加选项卡是广播公司提供节目有关的数据的区域。加选项卡可以如原样提供从广播公司接收到的信息，或者可以提供从广播公司服务器接收到并且通过第三方服务器90处理的信息。对加选项卡提供的数据的类型和数目没有限制。加选项卡可以提供诸如产品购买、地点预定、音乐源购买、以及产品广告的各种增强型数据。然而，当来自于广播公司服务器的信息被如原样提供给加选项卡时，第三方服务器90处理来自于广播公司服务器的信息以被适配Live+应用的内容区域的位置和大小，并且然后将已处理的信息提供给视频显示装置100。

如在图21中所示，第三方服务器90包括应用层、服务组件层、后端系统层、以及数据组件层。

应用层可以通过传递接口与包括视频显示装置100的各种装置通信。应用层可以包括应用商店组件。应用商店组件可以支持开发者通过其注册应用的接口，并且也可以支持通过其一般用户搜索、下载、并且安装应用的接口。另外，Live+应用可以通过应用商店组件接收第三方服务器90中的诸如广告、搜索、以及推荐的服务。

服务组件层可以通过服务集成接口与应用层通信。服务组件层包括广告服务组件、集成搜索组件、推荐组件、以及ACR组件。服务组件层从后端系统层接收被处理的数据并且将它们传递到应用层。ACR组件可以通过使用从视频显示装置100接收到的内容ID(Content ID)、全局内容ID(Global Content ID)、时间戳、以及广播公司服务器URL通过后端系统层的元数据组件获得节目有关的基本附加信息。另外，为了与节目有关的搜索结果，ACR组件可以传递从元数据获得的关于节目标题和演员的信息。

后端系统层从数据组件层读取原始数据并且进行处理并且将该数据传递到服务组件层。后端系统层可以包括搜索引擎安全组件、DRAM组件、元数据组件、广告平台组件、以及ACR组件。

数据组件层可以具有实际的数据。在此，数据组件层可以包括文件仓库、集成的DB、用户简档仓库、元数据仓库、以及广告数据存储。用户简档仓库可以存储关于观众或者用户的性别、年龄、区域、收入、家庭成员、首选的流派、以及首选的节目的信息。元数据仓库可以包括关于内容的标题、剧集、导演、概要、演员表、频道、以及广播时间的信息。第三方服务器90可以接收来自于元数据提供商的关于内容的信息或者实时广播指南信息(例如，在ATSC陆地波、PSIP的情况下)，并且然后可以将接收到的信息存储在元数据仓库中。

图22是根据本发明的实施例的用于自动执行应用的视频显示装置的操作的梯形图。

首先，在操作S2105中，视频显示装置100从主AV内容的一些帧或者主AV内容的音频采样的片段中提取特性信息，并且将包括被提取的特性信息的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22。

在操作S2107中，指纹服务器22查询在来自于ACR DB的ACR查询请求消息中的特性信息以识别与特性信息相对应的节目，并且将包括关于被识别的节目的内容信息的ACR查询响应提供给视频显示装置100。此时，ACR查询响应消息可以包括关于节目识别是否成功的信息、内容信息、以及Leanback应用的URL。如在上面所提及的，内容信息可以包括被识别的节目的内容ID和时间戳。在此，内容ID的格式可以是只有相对应的广播公司识别的格式。特别地，这是广播公司将相对应节目的ACR DB提供给内容识别服务提供服务器20的情况。

当节目识别成功并且Leanback应用URL有效时，在操作S2109中，视频显示装置100通过相对应Leanback应用URL的请求Leanback应用。

在操作S2111中，内容提供服务器10提供视频显示装置100请求视频显示装置10的Leanback应用。因此，视频显示装置100可以下载Leanback应用。

当视频显示装置100成功地下载Leanback应用时，在操作S2113中，其自动地执行相对应的Leanback应用。

在视频显示装置100中执行的Leanback应用从视频显示装置100中的ACR引擎中定期地获得内容ID和时间戳，并且在操作S2115中，将包括所获得的内容ID和时间戳的增强型数据请求消息发送到内容提供服务器10，并且然后请求与内容ID和时间戳对应的场景有关的增强型数据。

内容提供服务器10将被请求的增强型数据传递给Leanback应用。因为Leanback应用是广播公司提供的应用，所以一个广播公司的内容提供服务器10的界面可以不同于另一广播公司的内容提供服务器10的界面。当存在与场景有关的附加信息时，Leanback应用可以重复地执行操作S2113和S2117。

在接收执行被安装的Live+应用的用户输入之后，在操作S2201中视频显示装置100执行Live+应用。

当ACR功能被关闭时，在操作S2203中在视频显示装置100中执行的Live+应用打开ACR模块。

在操作S2205中，视频显示装置100从主AV内容的一些帧或者主AV内容的音频采样的片段中提取特性信息，并且将包括被提取的特性信息的ACR查询请求消息发送到与指纹服务器22相对应的ACR服务器。

在操作S2207中，指纹服务器22从ACR DB中查询ACR查询请求消息中的特性信息以识别与特性信息相对应的节目，并且将包括关于被识别的节目的内容信息的ACR查询响应消息提供给视频显示装置100。此时，ACR查询响应消息可以包括关于节目识别是否成功的信息和内容信息。如在上面所提及的，内容信息可以包括被识别的节目的全局唯一内容ID和时间戳。

在操作S2209中，在视频显示装置100中执行的Live+应用接收用于服务类型选择的用户输入。此时，服务类型可以对应于节目类型、推荐类型、会话类型、以及加类型中的至少一个。例如，与所选择的服务类型相对应的增强型数据可以是与演员表成员有关的实时新闻和推荐其中节目演员表成员作为主角出现的电影的服务。

在视频显示装置100中执行的Live+应用从视频显示装置100中的ACR引擎中获得关于当前识别的节目的内容信息，并且在操作S2211中将节目有关的内容请求消息发送到第三方服务器90以便于请求与所选择的服务类型相对应的请求增强型数据。此时，节目有关的内容请求消息可以包括关于当前识别的节目的内容信息和关于所选择的服务类型的信息。

Live+应用可以通过ajax调用将基于HTTP的请求发送到第三方服务器90。此时传递的参数可以包括服务类型、内容ID、全局内容ID、时间戳、以及广播公司服务器URL。HTTP请求可以使用下面的语法传递基于HTTP GET的参数。

[表3]

<service name>是Live+应用请求的服务的名称。在本实施例中，可以使用下面的<service name>。

-“getProgram”：是用于接收节目有关的基本信息和先前的剧集的服务名称，并且被用于Live+应用的节目选项卡。

-“getRecommends”：是用于接收节目有关的推荐(VOD推荐和应用推荐)的数据的服务名称，并且被用于Live+应用的推荐选项卡。

-“getTalk”：是用于接收与文章/推特有关的节目的服务名称，并且被用于Live+应用的话题选项卡。

-“getPlus”：是用于接收广播公司提供的节目有关的增强型数据的服务名称，并且被用于Live+应用的加选项卡。

<Content ID>是广播公司传递给内容识别服务提供服务器20的值，并且是广播公司内部使用以便于唯一地标识节目的内容ID。

<Global Content ID>被用于唯一地和全局地标识节目，并且为此，内容识别服务提供服务器20和第三方服务器90可能需要使用相同的元数据DB。全局内容ID可以遵循元数据DB的内容ID格式。

<timestamp>通知被识别的节目的当前观看时间并且是从内容识别服务提供服务器20传递的值。

<广播服务器URL>当广播公司提供节目有关的增强型数据时被传递，并且通过此值，第三方服务器90可以访问广播公司服务器。

为了定位与被递送的全局内容ID相对应的节目的增强型数据，在操作S2213中第三方服务器90搜索元数据仓库。元数据仓库将关于与被传递的全局内容ID相对应的节目的增强型数据的搜索结果返回到第三方服务器90。

在操作S2221中，第三方服务器90处理来自于元数据仓库的接收到的节目增强型数据并且将被处理的增强型数据提供给在视频显示装置100中执行的Live+应用。第三方服务器90可以通过ajax调用在基于HTTP的响应中发送被处理的增强型数据。

图24是图示根据本发明的另一实施例的用于频道无关的应用的视频显示装置的操作的梯形图。

在接收执行被安装的Live+应用的用户输入之后，在操作S2301中视频显示装置100执行Live+应用。

在操作S2305中，视频显示装置100的ACR引擎从主AV内容的一些帧或者主AV内容的音频采样的片段中提取特性信息，并且将包括被提取的特性信息的ACR查询请求消息发送到与指纹服务器22相对应的ACR服务器。

在操作S2307中，指纹服务器22从ACR DB中查询ACR查询请求消息中的特性信息以识别与特性信息相对应的节目，并且将包括关于被识别的节目的内容信息的ACR查询响应信息提供给视频显示装置100的ACR引擎。此时，ACR查询响应消息可以包括关于节目识别是否成功的信息、内容信息、以及内容提供服务器10的URL。如在上面所提及的，内容信息可以包括识别的节目的全局唯一内容ID和识别的节目的广播公司标识的内容ID和时间戳。在另一实施例中，视频显示装置100可以事先具有内容提供服务器10的URL，而不从ACR查询响应消息中获得URL。

在操作S2309中，在视频显示装置100中执行的Live+应用接收用于服务类型选择的用户输入。此时，服务类型可以对应于节目类型、推荐类型、会话类型、以及加类型中的至少一个。例如，与所选择的服务类型相对应的增强型数据可以是与演员表成员有关的实时新闻和推荐其中节目演员表成员作为主角出现的电影的服务。

在视频显示装置100中执行的Live+应用从视频显示装置100中的ACR引擎中获得关于当前识别的节目的内容信息，并且在操作S2311中将节目有关的内容请求消息发送到第三方服务器90以便于请求与所选择的服务类型相对应的请求增强型数据。此时，节目有关的内容请求消息可以包括关于当前识别的节目的内容信息、关于所选择的服务类型的信息、以及广播公司内容提供服务器10的URL。

为了定位与被递送的全局内容ID相对应的节目的增强型数据，在操作S2313中第三方服务器90搜索元数据仓库。元数据仓库将关于与被传递的全局内容ID相对应的节目的增强型数据的搜索结果返回到第三方服务器90。

在操作S2317中，第三方服务器90访问被传递的广播公司内容提供服务器10的URL，并且将包括被传递的广播公司内容ID和时间戳的元数据请求消息发送到内容提供服务器10，以便于向内容提供服务器10请求与当前场景有关的增强型数据。

在操作S2319中，第三方服务器90从内容提供服务器10接收与当前场景有关的增强型数据。

在操作S2321中，第三方服务器90处理来自于元数据仓库的接收到的节目增强型数据和来自于内容提供服务器10的接收到的节目增强型数据的一个或者组合，并且将被处理的增强型数据提供给在视频显示装置100中执行的Live+应用。

图25是图示根据本发明的实施例的视频显示装置的概念图。

如在图25中所示，视频显示装置100包括音频/视频驱动器601、ACR引擎603、ACR中间件605、ACR用户界面607、以及ACR插件609。

音频/视频驱动器601从TV的外部输入捕获音频/视频信号并且将其传递给ACR引擎603。音频/视频驱动器601可以提供API以允许ACR引擎603访问音频/视频缓冲器。音频/视频驱动器601也可以提供关于从诸如HDMI的外部输入输入的音频/视频的特性信息。例如，在音频的情况下，音频/视频驱动器601可以提供诸如采样深度、采样速率、声道的数目(单声道/立体声)、采样的数目、以及采样时间的信息。在视频的情况下，音频/视频驱动器601可以提供诸如视频格式、和视频的宽度、高度、步幅、流时间、输入类型(HDMI1、HDMI2、合成、组件等等)、以及每秒帧数的信息。

ACR引擎603可以作为附加的处理被执行，并且可以通过使用在上面提及的各种方法识别节目。ACR引擎603从音频/视频采样提取签名，并且将被提取的签名传递到ACR服务器以识别内容。如上所述，ACR引擎603可以取决于平台的实施调用API以访问音频/视频缓冲器，并且可以通过诸如套接字ACR引擎603除了签名之外还将ACR查询请求发送到ACR服务器、并且从ACR服务器接收包括内容识别是否成功、内容ID、全局内容ID、时间戳、Leanback应用URL以及广播公司服务器URL的ACR查询响应的方法，将通过音频/视频驱动器601捕获到的音频/视频流传递给ACR处理。ACR引擎603可以将来自于ACR服务器的结果传递给ACR中间件605。

ACR中间件605是与DTV处理的中间件相对应的模块，并且处理来自于ACR引擎603的ACR控制并且ACR查询响应。ACR中间件605通过执行或者终止ACR处理或者开始或者停止ACR引擎603来控制ACR。另外，ACR中间件605通过解析ACR查询响应存储诸如内容ID、全局内容ID、以及时间戳的值。ACR中间件605可以提供API以将被存储的值发送到ACR UI或者可以通过消息队列和全局变量将被存储的值发送到ACR用户接口607。另外，为了将诸如内容ID、全局内容ID、以及时间戳的数据传递给诸如Live+应用或者Leanback应用的ACR应用，ACR中间件605可以通过共享的存储器和套接字的进程间通信(IPC)将数据传递给网络浏览器。

为了ACR开/关的ACR控制，ACR用户接口607可以向用户显示UI，或者可以通过TV的状态条UI向用户提供关于被识别的节目的名称和时间的信息。

当ACR中间件605将要被传递给ACR应用的诸如内容ID、全局内容ID、以及时间戳的数据传递给浏览器，ACR插件609接收数据。ACR插件609可以通过插件对象接口将相对应的值传递给ACR应用。在下面示出根据实施例的ACR插件609的接口。

[表4]

如在上面所提及的，元数据提供关于被识别的节目的基本的元数据。

backendURL表示广播公司/CP服务器的URL。

getACRMetadata()是用于获得关于被识别的节目的基本元数据的函数并且返回与元数据属性相同的值。

getBackendURL()是用于返回广播公司/CP服务器的URL的函数。

NotifyACRAppLaunched()是用于当诸如移动终端的第二画面和TV配对并且ACR应用在TV上执行特定的URL或者应用时通知第二画面的应用的函数。

SetAppInfo()是用于通知ACR应用的当前状态和相对应的应用的第二画面版本的应用URL。

onContentChanged()是当识别的节目被改变时调用的回调函数。

onMediaTimeUpdated()是每次通过ACR改变时间戳调用的回调函数。

onAppShow()是在TV和第二屏幕配对的情况下，当在第二画面中的应用移向TV时调用的回调函数。

onAppHide()是在TV和第二屏幕配对的情况下，当在TV中的应用移向第二画面时调用的回调函数。

图26是图示根据另一实施例的基于指纹的网络拓扑的框图。

如在图26中所示，网络拓扑进一步包括视频指纹服务器23和音频指纹服务器24。

如在图26中所示的视频指纹服务器23没有编辑主AV内容，但是从主AV内容中提取可视视频特性信息并且存储提取的可视视频特性信息。然后，在从视频显示装置100接收视频特性信息之后，视频指纹服务器23提供与接收到的视频特性信息相对应的AV内容的标识符和时间信息。

如在图26中所示的音频指纹服务器24没有编辑主AV内容，但是从主AV内容中提取可听见的音频特性信息并且存储被提取的可听见的音频特性信息。然后，在从视频显示装置100接收音频特性信息之后，音频指纹服务器24提供与接收到的音频特性信息相对应的AV内容的标识符和时间信息。

在此，当视频特性信息和音频特性信息被同时使用时，如在图26中所示的视频显示装置100可以单独地访问视频指纹服务器23或者音频指纹服务器24。

图27是图示根据另一实施例的基于指纹的网络拓扑的框图。

如在图27中所图示，网络拓扑进一步包括存储视频特性信息和音频特性信息的指纹服务器22。

如在图27中所示的指纹服务器22没有编辑主AV内容，但是从主AV内容提取可视视频特性信息或者可听音频特性信息并且存储提取的可视视频特性信息或者可听音频特性信息。然后，在从视频显示装置100接收视频特性信息之后，指纹服务器22提供与接收到的视频特性信息相对应的AV内容的标识符和时间信息，或者，在从视频显示装置100接收音频特性信息之后，指纹服务器22提供与接收到的音频特性信息相对应的AV内容的标识符和时间信息。

在此，尽管视频特性信息和音频特性信息被同时使用，如在图27中所示的视频显示装置100可以访问单个指纹服务器22。

图28是图示根据另一实施例的基于指纹的视频显示装置的结构的框图。

参考图28，调谐器/解调器/解复用器301从接收到的陆地广播信号(RF)恢复模拟音频视频信号，并且将被恢复的模拟音频视频信号发送到ADC/AV解码器303。

ADC/AV解码器303将模拟音频视频信号、模拟视频信号或者模拟音频信号转换成数字模拟音频视频信号、数字视频信号或者数字音频信号，并且然后解码数字信号。

例如，模拟音频视频信号可以是通过调谐器/解调器/解复用器301恢复的模拟音频视频信号。模拟视频信号例如可以是从外部输入装置发送的模拟视频信号(合成/S视频/组件/RGB)。模拟音频信号例如可以是从外部输入装置发送的模拟音频信号(音频)。

数字信号处理器305处理数字音频视频信号、数字视频信号或者数字音频信号。

数字信号处理器305可以处理通过ADC/AV解码器303解码的数字音频视频信号、数字视频信号或者数字音频信号。此外，数字信号处理器305可以处理通过高清多媒体接口(HDMI)或者数字视频交互(DVI)从外部输入装置发送的数字音频视频信号、数字视频信号以及数字音频信号中的至少一个。

数字信号处理器305捕获音频流以生成音频采样，并且然后将生成的音频采样发送到音频FP模块307。数字信号处理器305捕获视频流以生成视频采样，并且然后将生成的视频采样发送到视频FP模块309。数字信号处理器305将画面信息发送到显示器321。

音频FP模块307可以分析和处理音频采样以提取特性信息(音频签名)。

视频FP模块309分析和处理视频采样以提取视频特性信息(视频签名)。

网络I/F 311对当前播放的主AV内容的内容信息进行查询同时将音频特性信息(音频签名)发送到上述音频指纹服务器24或者能够提供音频指纹服务的指纹服务器22，并且从音频指纹服务器24或者指纹服务器22接收查询的结果(查询/响应)。

网络I/F 313对当前播放的主AV内容的内容信息进行查询同时将视频特性信息(视频签名)发送到上述视频指纹服务器23或者能够提供视频指纹服务的指纹服务器22，并且从视频指纹服务器22或者指纹服务器22接收查询的结果(查询/响应)。

音频查询结果解析器315分析从音频指纹服务器24或者能够提供音频指纹服务的指纹服务器22发送的查询结果，并且提取视频显示装置100所要求的元数据。

视频查询结果解析器317分析从视频指纹服务器23或者能够提供视频指纹服务的指纹服务器22发送的查询结果，并且提取视频显示装置100所要求的元数据。

元数据存储319存储被提取的元数据。

显示器321显示关于画面的场景有关的信息。

图29图示根据实施例的用于控制指纹功能的用户界面。

如在图29中所示，播放控制单元113显示指纹功能设置窗口。用户可以通过指纹功能设置窗口激活或者停用指纹功能。

当指纹功能被激活时，用户可以选择指纹设置模式。根据实施例的指纹设置模式可以被设置为手动设置模式和自动设置模式。

当手动设置模式被激活时，用户可以选择签名模式。根据实施例的签名模式可以被设置为音频签名模式、视频签名模式、以及音频和视频签名模式中的一个。

此外，当手动设置模式被激活时，用户可以选择签名传输时间段。签名传输时间段可以根据视频显示装置100的功能而改变，并且视频显示装置100可以自动地设置签名传输时间段。在视频显示装置100自动地设置签名传输时间段的情况下，视频显示装置100可以将预定的默认值设置为签名传输时间段，或者可以根据发送签名的网络的环境的状态设置签名传输时间段。

当自动设置模式被激活时，用户可以选择签名模式。根据实施例的签名模式可以被设置为音频首选模式、视频首选模式、以及并行音频和视频模式中的一个。

根据音频首选模式，当对音频特性信息的查询的结果是失败时发送包括视频特性信息的查询(音频优先，然后视频指纹识别)。根据视频首选模式，当对视频特性信息的查询的结果是失败时发送包括音频特性信息的查询(视频优先，然后音频指纹识别)。根据并行音频和视频模式，包括音频特性信息的查询和包括视频特性信息的查询被并行地发送(并行指纹识别)。通过如上所述的视频显示装置100可以自动地设置根据实施例的在签名模式下的签名传输时间段，但是不限于此。

当如上所述指纹功能的模式被设置时，播放控制单元113将设置信息存储在设置信息存储单元154中。

在包括音频特性信息的查询和包括视频特性信息的查询被并行发送的情况下，视频显示装置100的资源的使用可能增加，降低装置的性能。为了防止视频显示装置100的性能降低，签名传输时间段可能需要根据网络的环境的状态被改变。在下文中，将会参考图30至图31描述根据实施例的签名传输时间段的变化。

图30是图示根据实施例的指纹时间段的变化的曲线图。

参考图30，视频显示装置100设置A指纹(A FP)的时间段和B指纹(B FP)的时间段，使得当内容没有被识别时两个时间段短，并且当内容被识别使得减少视频显示装置100的资源使用时增加B指纹(B FP)的时间段。在此，A指纹(A FP)或者B指纹(B FP)可以表示音频特性信息或者视频特性信息，并且A指纹(A PF)的时间段和B指纹(B FP)的时间段可以表示签名传输时间段。

图31是图示根据另一实施例的指纹时间段的变化的曲线图。

参考图31，视频显示装置100可以在内容的识别之后增加A指纹(A FP)的时间段和B指纹(B FP)的时间段，并且然后如果B指纹识别失败则可以仅减少A指纹(A PF)的时间段。在此，B指纹识别可以表示包括音频特性信息或者视频特性信息的查询的传输，并且B指纹识别的失败可以表示对音频特性信息或者视频特性信息的查询结果的失败。

结果，根据实施例，根据指纹时间段的变化，对其应用多个指纹识别操作的视频显示装置10，减少对于失败的指纹识别的资源的使用并且增加对于成功的指纹识别的资源的使用，从而提高识别内容的效率。

当指纹被用于获得内容信息时，各种因素可能影响指纹的使用，并且根据情形可以应用各种设置。为此，用于基于指纹的ACR的设置信息也可以被存储在上述存储单元154中。在基于用于ACR的设置信息视频特性信息和音频特性信息被并行使用的情况下，可以得出组合视频特性信息和音频特性信息的方法。用于ACR的设置信息可以通过用户输入或者视频显示装置100的检测来获得，或者可以从诸如内容提供服务器或者指纹服务器的内容识别服务提供服务器20提供。

播放控制单元113可以基于在设置信息存储单元154中存储的用于ACR的设置信息进行操作。可替选地，播放控制单元113可以基于影响ACR操作的信息操作，其中从外部，例如，内容提供服务器10或者指纹服务器22提供该信息。

用于ACR的设置信息可以包括关于根据外部输入接口的类型的信号输入的信息、关于签名传输的时间段的信息、关于作为视频特性信息提取区域的采样窗口的信息、以及关于对于与音频特性信息相对应的查询结果不同于与视频特性信息相对应的查询结果的情况的优先级确定的信息。

关于根据外部输入接口的类型的信号输入的信息可以包括指示是否通过多个外部输入接口分别输入的信号包括音频信号和视频信号的信息和关于音频信号和视频信号中的每一个的格式信息。

视频显示装置100可以基于指示是否通过多个外部输入接口分别输入的信号包括音频信号和视频信号的信息来操作。例如，基于指示通过第一外部输入接口输入的信号不包括音频信号的信息，视频显示装置100可以仅根据从第一外部输入接口接收到的信号提取和使用视频特性信息。此外，使用关于被存储在设置信息存储单元154中的音频信号和视频信号中的每一个的格式信息视频显示装置100可以更加快速地执行内容识别操作。

根据外部输入接口的类型，视频显示装置100可以收集和存储关于根据外部输入接口的类型的信号输入的信息，并且可以存储关于最近输入的信号的信息。此外，在被连接到外部输入接口的外部输入装置是可识别的情况下，视频显示装置100也可以根据各个外部输入装置的类型存储关于信号输入的信息。例如，因为视频显示装置100可以获得关于通过HDMI连接的外部输入装置的信息，视频显示装置100可以存储关于根据外部输入装置的类型的外部输入装置的信息。在关于外部输入装置的信息是不可获得的情况下，视频显示装置100可以存储关于最近输入的信号的信息。

关于签名传输的时间段的信息可以表示多频繁地执行签名传输的信息，并且可以被设置为诸如5秒钟的时间段。签名传输时间段可以不仅包括基本的签名传输时间段，而且包括在视频特性信息和音频特性信息被并行使用的情况下组合和使用特性信息和音频特性信息的时间段。当视频特性信息被用作签名时，视频显示装置100的内容识别速度高。相反地，由于大量数据的处理，诸如CUP使用的资源消耗增加。因此，签名传输时间段可以被动态地设置以便于适当地控制内容识别速度和视频显示装置100的资源消耗，并且关于签名传输时间段设置的信息可以作为用于ACR的设置信息被存储。

关于签名传输时间段的信息例如可以包括指示对于初始内容识别信息使用视频特性信息或者并行使用视频特性信息和音频特性信息的信息、指示倘若确认通过音频特性信息观看相同服务或者相同内容在内容识别之后逐渐地增加视频特性信息的传输时间段的信息、以及指示当通过音频特性信息检测被观看的服务或者内容的变化时通过视频特性信息或者音频特性信息和音频特性信息立即尝试正确内容识别的信息。在此，例如可以以下述方式增加视频特性信息的传输时间段，即，在从观看相同内容的时间开始的5分钟内时间段是5秒、在从观看相同内容的时间开始经过5分钟之后的10分钟内时间段增加到10秒、在从观看相同内容的时间开始经过10分钟之后的15分钟内时间段增加到20秒、以及在从观看相同内容的时间开始经过15分钟之后随着观看时间增加了5分钟时间段增加到两倍。然而，视频特性信息的传输时间段不限于此。

根据关于按照商业运营商而相互不同的广播接收装置的GUI特性信息，可以指定关于采样窗口的信息，采样窗口是视频特性信息提取区域。即，当从视频显示装置100发送的视频特性信息相对应的查询结果失败时，指纹服务器22可以分析视频显示装置100的模式历史以评估广播接收装置或者多频道视频经销商的运营商，并且可以考虑到关于广播接收装置或者运营商的多频道视频经销商的GUI特性信息指定采样窗口。因此，视频显示装置100可以根据视频显示装置100的类型和广播接收装置或者多频道视频经销商的类型使用不同的采样窗口。视频显示装置100可以将关于采样窗口的信息作为用于ACR的设置信息存储，并且然后可以请求包括采样窗口的查询。

对于与音频特性信息相对应的查询请求不同于与视频特性信息相对应的查询请求的情况的优先级确定的信息可以包括要被确定为优先级的预先指定的信息的方法或者通过算法计算要被确定为优先级的信息的方法。特别地，在预先指定一条信息的方法不同于通过算法确定优先级信息的方法的情况下，基于关于被存储为用于ACR的设置信息的优先级确定的信息，视频显示装置100可以将任何一种信息确定为签名。

图32是图示根据实施例在基于指纹的网络拓扑中的内容识别的数据流的梯形图。

在操作S2401中诸如广播公司/CP的内容提供服务器10提取内容的指纹并且确定ACR查询时间段。

广播公司/CP可以建立用于由广播公司/CP拥有的所有节目的ACR DB，或者可以建立用于特定节目的ACR DB。在为特定节目，例如，广播公司/CP拥有的流行节目，建立ACR DB的情况下，可以减少服务器维护成本，并且对节目识别进行询问所耗费的时间可以减少。

广播公司/CP可以使用通过ACR运营商提供的工具提取节目的指纹，可以确定节目的ACR查询时间段，并且然后可以存储具有被提取的指纹的ACR查询时间段。

可以根据内容的特性确定节目的ACR查询时间段。

例如，根据与内容有关的附加服务是否存在，可以确定ACR查询时间段。在与服务有关的附加服务不存在的情况下，ACR查询时间段可以被确定为节目完成的时间。相反地，在与服务有关的附加服务存在的情况下，ACR查询时间段可以被更多地缩短。如果不存在与内容有关的附加服务，则仅当节目完成时发送ACR查询，使得没有发送不必要的ACR查询，并且从而，成本可以减少。相反地，如果存在与内容有关的附加服务，则ACR查询时间段可以被设置为短使得提供与节目同步的附加服务。

对于另一示例，根据ACR查询的用途，诸如广播公司的观众计量，可以确定ACR查询时间段。因此，尽管不存在与内容有关的附加服务，但是广播公司可以将ACR查询时间段确定为短的时间，例如，3秒钟，以便于执行观众计量。

如上所述，对于每个频道或者每个内容，内容提供服务器10可以不同地确定ACR查询时间段使得ACR查询时间段适合于使用广播公司的ACR查询的用途或者内容的特性。

其后，在操作S2403中，内容提供服务器10将被提取的指纹和被确定的ACR查询时间段发送到指纹服务器22。在此，内容提供服务器10将用于节目的内容ID映射到指纹以便于发送指纹。

在节目被广播之前或者在与指纹的提取相同的时间，内容提供服务器10可以发送指纹和ACR查询时间段。例如，在节目被广播之前，广播公司/CP可以将用于预先生产的节目的指纹和ACR查询时间段发送到指纹服务器22。可替选地，在直播节目被广播的情况下，广播公司/CP可以实时提取用于直播节目的指纹，并且然后可以将提取的指纹和ACR查询时间段发送到指纹服务器22。

在操作S2405中，指纹服务器22存储接收到的指纹和ACR查询时间段。指纹服务器22可以将节目的内容ID、时间戳、指纹以及ACR查询时间段存储在ACR DB中。

其后，在操作S2407中，视频显示装置100从主AV内容的部分帧的音频采样或者部分间隔提取指纹，并且将包括提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22。

在操作S2409中，指纹服务器22从ACR DB中查询被包括在ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括用于识别的节目的第一ACR查询时间段的ACR查询响应消息提供给视频显示装置100。在此，除了第一ACR查询时间段，ACR查询响应消息还可以包括各种类型的内容信息。在下文中，将会参考图33和表5描述关于被包括在ACR查询响应消息中的节目的内容信息的示例。

图33是根据另一实施例的包含查询结果的ACR-Resulttype的XML模型图。

如在图33中所示，包含查询结果的ACR-Resulttype包括ResultCode属性和内容ID、NTPTimestamp、QueryInterval以及Confidence元素。

例如，如果ResultCode属性具有200的值，则可以意指查询结果是成功的。如果ResultCode属性具有404的值，则可以意指查询结果是不成功的。

NTPTimestamp元素可以包括从其提取指纹的内容片段的开始时间和结束时间中的至少一个。

QueryInterval元素表示ACR查询时间段，并且指示下一个ACR查询的传输时间。下一个ACR查询时间可以表示绝对时间或者相对时间。绝对ACR查询时间可以表示要发送下一个ACR查询的时间，并且相对ACR查询时间可以表示在发送下一个ACR查询之前的等待时间。

Confidence元素表示内容识别的精确度。根据映射的程度，Confidence元素可以具有0至100的值。例如，当确认指纹被精确地映射到节目时，Confidence元素可以具有100的值。

表5图示包含查询结果的ACR-ResultType的XML模型。

[表5]

在下文中，将会再次描述图32。

其后，在操作S2411中，在经过了与第一ACR查询时间段相对应的时间之后，如果视频显示装置100从主AV内容的另一部分帧或者另一部分片段的音频采样提取指纹，并且将包括被提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22，在操作S2413中，指纹服务器22从ACR DB中查询被包括在ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括用于识别的节目的第二ACR查询时间段的ACR查询响应消息发送到视频显示装置100。

此外，在操作S2415中，在经过了与第二ACR查询时间段相对应的时间之后，如果视频显示装置100从主AV内容的另一部分帧或者另一部分片段的音频采样提取指纹，并且将包括被提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22，在操作S2417中，指纹服务器22从ACR DB中查询被包括在ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括用于识别的节目的第三ACR查询时间段的ACR查询响应消息提供给视频显示装置100。

在此，第一至第三ACR查询时间段可以相互相同或者不同。

在下文中，将会参考图34和表6和表7描述根据实施例的确定ACR查询时间段的方法。

图34是图示根据实施例被包括在基于指纹的网络拓扑中的多个多个视频显示装置的每一个的指纹时间段的图。

参考图34，节目A表示不具有有关的附加服务的一小时节目，并且节目B表示具有有关的附加服务的30分钟节目。因此广播公司建立用于节目A和节目B的ACR DB，其中用于节目A的ACR查询频率被设置为最小值，而用于流行节目的节目B的ACR查询频率被设置为较高。

参考图34，当在第一时间点t1改变频道以开始节目A的回放时，第一视频显示装置(装置1)从指纹服务器22接收如在表6中所图示的ACR查询响应。

[表6]

参考表6，QueryInterval表示在发送下一个ACR查询之前等待的相对ACR查询时间，并且具有秒的单位。表示内容的当前回放时间的NTPTimestamp可以被显示为相对于内容的开始时间的相对时间并且具有毫秒的单位。QueryInterval和NTPTimestamp的表示和单位与表7和图9中的相同。

参考表6，第一视频显示装置(装置1)可以在时间点t3a请求下一个ACR查询，在该时间点t3a，在ACR查询响应的接收之后经过了2700秒钟，即，45分钟。可以理解，从节目A的开始时间开始，在第一视频显示装置(装置1)的当前观看时间点，经过了900000毫秒，即，15分钟。

参考图34，当在第二时间点t2改变频道以开始节目A的回放时，第二视频显示装置(装置2)从指纹服务器22接收如在表7中所图示的ACR查询响应。

[表7]

参考表7，第二视频显示装置(装置2)可以在时间点t3b请求下一个ACR查询，在该时间点t3b，在ACR查询响应的接收之后经过了905秒钟，即，15分钟。可以理解，从节目A的开始时间开始，在第二视频显示装置(装置2)的当前观看时间点，经过了2700000毫秒，即，45分钟。

在此，为了防止多个ACR查询从多个视频显示装置并行发送，广播公司可以不同地确定用于视频显示装置的ACR查询时间段。例如，如在表6和7中所示，ACR查询时间段可以被设置使得在第一视频显示装置(装置1)发送下一个ACR查询的时间和第二视频显示装置(装置2)发送下一个ACR查询的时间之间存在5秒钟的时间差。

再次参考图34，当第一视频显示装置(装置1)在时间点t3a请求下一个ACR查询时，第一视频显示装置(装置1)从指纹服务器22接收如在表8中所示的ACR查询响应。在此，时间点t3a可以是节目B的回放开始时间。

[表8]

参考表8，第一视频显示装置(装置1)可以在第四时间点t4请求下一个ACR查询，在该第四时间点t4，在接收ACR查询响应之后经过了300秒钟，即，5分钟。可以理解，第一视频显示装置(装置1)的当前观看时间点是节目B的开始时间点。

再次参考图34，当第二视频显示装置(装置2)在时间点t3b请求下一个ACR查询时，第二视频显示装置(装置2)从指纹服务器22接收如在表9中所示的ACR查询响应。在此，在节目B的回放的开始之后在时间点t3b可以经过了5秒钟。

[表9]

参考表9，第二视频显示装置(装置2)在ACR查询响应的接收之后经过了300秒钟，即，5分钟的时间点(未被图示)请求下一个ACR查询。可以理解，从节目B的开始时间开始，在第一视频显示装置(装置1)的当前观看时间点，经过了5000毫秒，即，5分钟。

图35是图示根据另一实施例的用于在基于指纹的网络拓扑的内容识别的数据流的梯形图。

在操作S2501中，诸如广播公司/CP的内容提供服务器10提取内容的指纹并且确定指纹类型。

广播公司/CP可以使用由ACR运营商提供的工具提取节目的指纹，可以确定节目的指纹类型，并且然后可以存储指纹类型和被提取的指纹。

节目的指纹类型可以被确定为包括视频指纹和音频指纹中的至少一个的类型。

其后，在操作S2503中内容提供服务器10将提取的指纹和确定的指纹类型发送到指纹服务器22。在此，内容提供服务器10将用于节目的内容ID映射到指纹以便于发送指纹。

内容提供服务器10可以在节目被广播之前或者与指纹的提取的同时发送指纹和指纹类型。例如，在节目被广播之前，广播公司/CP可以将用于预先产生的节目的指纹和指纹类型发送到指纹服务器22。可替选地，在直播节目被广播的情况下，广播公司/CP可以实时提取用于直播节目的指纹，并且然后可以将提取的指纹和指纹类型发送到指纹服务器22。

在操作S2505中，指纹服务器22存储接收到的指纹和指纹类型。指纹服务器22可以将从广播公司发送的节目的内容ID、时间戳、指纹以及指纹类型存储在ACR DB中。

其后，在操作S2507中，视频显示装置100从主AV内容的部分帧或者部分间隔的音频采样中提取指纹，并且将包括提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22。

在此，通过视频显示装置100提取的指纹可以是默认类型的指纹。根据拥有相对应的内容的广播公司，通过视频显示装置100提取的指纹的默认类型可以是不同的，并且通过被包括在网络中的多个视频显示装置提取的指纹的默认类型可以相同不同。

在操作S2509中，指纹服务器22从ACR DB中查询被包括在ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括用于识别的节目的下一个指纹类型的ACR查询响应消息提供给视频显示装置100。

在此，除了下一个指纹类型，ACR查询响应消息还可以包括各种类型的内容信息。在下文中，将会参考图36和表10描述关于被包括在ACR查询响应消息中的节目的内容信息的示例。

图36是根据另一实施例的包含查询结果的ACR-Resulttype的XML模型图。

如在图36中所示，包含查询结果的ACR-Resulttype包括ResultCode属性和内容ID、NTPTimestamp、NextFPType以及Confidence元素。

NextFPType元素表示下一个指纹类型，即，要通过视频显示装置100提取并且被映射在指纹服务器22中的类型。在操作S2501中，NextFPType元素可以表示根据内容的特性通过广播公司预先确定的相对应的节目的指纹类型。在此，下一个指纹类型可以是包括视频指纹和音频指纹中的至少一个的类型。根据内容的特性，为了单条内容可以确定单个指纹类型，或者根据用于单条内容的时间戳可以确定多个不同的指纹类型。

表10图示包含查询结果的ACR-ResultType的XML模型。

[表10]

在下文中，将会再次描述图35。

其后，在操作S2511中，视频显示装置100从主AV内容的部分帧或者部分间隔的音频采样提取指纹，并且将包括提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22。

此外，通过视频显示装置100提取的指纹可以是被包括在操作S2509中接收到的ACR查询响应消息中的下一个指纹类型的指纹。

在操作S2513中，指纹服务器22从ACR DB中查询被包括在操作S2511中接收到的ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括用于识别的节目的下一个指纹类型的ACR查询响应消息提供给视频显示装置100。

在下文中，将会参考图13至15描述根据实施例的确定指纹和ACR查询时间段的准则。

首先，在通过诸如体育广播的各种频道广播相似的视频的情况下，难以识别视频特性信息识别节目。然而，因为由于不同的广播公司的体育评论导致类似的视频可以具有不同的音频信号，所以使用音频特性信息可以识别节目。因此，各个广播公司可以预先确定指纹类型作为音频指纹。

在此第一情况下，如果由于节目的开始或者频道切换导致节目变成观看的主题，则诸如TV的视频显示装置100将包括从节目提取的指纹的ACR查询请求消息发送到指纹服务器22。在此，视频显示装置100可以提取预定的默认类型的指纹或者可以提取音频指纹和视频指纹。

已经接收到ACR查询请求消息的指纹服务器22从ACR DB中查询被包括在ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括被识别的节目的预先确定的下一个指纹类型的ACR查询响应消息提供给视频显示装置100。表11图示在第一情况下从指纹服务器22提供给视频显示装置100的ACR查询响应。

[表11]

如在表11中所示，第一情况下的下一个指纹类型是音频指纹类型。

其次，在国家假日的庆典或者演讲被广播或者从已经生产和广播节目的另一广播公司购买的联合节目被广播的情况下，通过音频信号可以识别内容本身。然而，因为广播公司不能够被识别，所以根据广播公司的内容不能够被识别。

对于第二情况，可能有必要使用视频指纹识别内容和广播公司标志。可替选地，使用音频指纹可以识别内容并且使用视频指纹可以附加地识别广播公司标志。然而，实施例不限于此。

表12图示在第二情况下从指纹服务器22提供给视频显示装置100的ACR查询响应。

[表12]

如在表12中所示，第二情况的下一个指纹类型是音频和视频指纹类型。

当在泡沫剧或者电影中播放背景音乐时不可以识别内容。在此第三情况下，如果根据内容的时间线改变指纹类型，则内容可以被更加清楚地识别。在此，如果视频显示装置100根据预定的时间段发送ACR查询请求，则指纹服务器22可以根据内容的类型在预定的时间发送包括预定的指纹类型的ACR查询响应。在此，视频显示装置100可以提取被包括在接收到的ACR查询响应中的指纹类型的指纹并且可以在下一个ACR查询请求中包括提取的指纹。

表13图示在第三情况下从指纹服务器22提供给视频显示装置100的ACR查询响应。

[表13]

如在表13中所示，第三情况的下一个指纹类型可以根据内容的当前回放时间(NTPTimestamp)被改变。例如，当内容的当前回放时间是300000秒钟，即，5分钟时，下一个指纹类型可以是音频指纹类型并且，当内容的当前回放时间是900000秒钟，即，15分钟时，下一个指纹类型可以是视频指纹类型。

在视频指纹被用于识别包括标题或字幕信息的内容的情况下，如果字幕信息被重叠在视频图像上，则根据视频指纹算法内容识别可能失败。

如果甚至在这样的情况下内容识别是成功的，则这意指内容识别包括噪声。因此，虚警可能发生。虚警表示不同的内容被视为相同的内容的情况。例如，当在不同的节目之间出现类似的场景时，节目可能被识别为相同的节目。

将会参考图37至图40描述为了防止由于视频指纹导致的错误使用采样窗口的指纹技术。

图37是图示根据另一实施例的在基于指纹的网络拓扑中的内容识别的数据流的梯形图。

在操作S2601中，诸如广播公司/CP的内容提供服务器10提取内容的指纹并且指定采样窗口。

采样窗口表示用于从内容的整个画面提取视频指纹的区域。在此，采样窗口可以是远离在节目中输出字幕信息的空间而指定的视频区域。广播公司/CP不仅产生内容而且确定在视频图像上输出字幕信息的位置。因此，广播公司/CP可以通知要为了视频指纹采样的区域。

广播公司/CP可以使用由ACR运营商提供的工具提取节目的指纹，可以根据节目的字幕信息输出位置指定采样窗口，并且然后可以存储采样窗口和被提取的指纹。

在节目的整个片段上字幕信息被输出到相同的位置的情况下，对于节目，采样窗口可以始终被指定为相同的。相反地，在根据节目的时间片段将字幕信息输出到不同的区域的情况下，根据节目的片段可以不同地指定采样窗口。

其后，在操作S2603中，内容提供服务器10将提取的指纹和指定的采样窗口发送到指纹服务器22。在此，内容提供服务器10将用于节目的内容ID映射到指纹以便于发送指纹。

内容提供服务器10可以在节目被广播之前或者在与指纹的提取的同时发送指纹和采样窗口。例如，在节目被广播之前，广播公司/CP可以将用于预先产生的节目的指纹和指定的采样窗口发送到指纹服务器22。可替选地，在直播节目被广播的情况下，广播公司/CP可以实时提取用于直播节目的指纹，并且然后可以将提取的指纹和采样窗口发送到指纹服务器22。

在操作S2605中，指纹服务器22存储接收到的指纹和被指定的采样窗口。指纹服务器22可以将从广播公司发送的节目的内容ID、时间戳、指纹以及指纹类型存储在ACR DB中。

其后，在操作S2607中，视频显示装置100从主AV内容的部分帧或者部分间隔的音频采样中提取指纹，并且将包括提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22。

在操作S2609中，指纹服务器22从ACR DB中查询被包括在ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括用于识别的节目的第一采样窗口的ACR查询响应消息提供给视频显示装置100。

在此，除了采样窗口，ACR查询响应消息还可以包括各种类型的内容信息。在下文中，将会参考图38和表14描述关于被包括在ACR查询响应消息中的节目的内容信息的示例。

图38是根据另一实施例的包含查询结果的ACR-Resulttype的XML模型图。

如在图38中所示，包含查询结果的ACR-Resulttype包括ResultCode属性和内容ID、NTPTimestamp、SamplingWindow以及Confidence元素。

SamplingWindow元素表示对于ACR查询所要求的采样窗口的有效时间、位置、以及大小。

SamplingWindow元素可以包括x元素、y元素、宽度元素以及高度元素，其中各个元素的单位是像素。x元素可以是采样窗口的左上侧的x坐标。y元素可以是采样窗口的左上侧的y坐标。宽度元素可以是采样窗口的宽度。高度元素可以是采样窗口的高度。

此外，图38的SamplingWindow可以包括ValidFrom元素和ValidTo元素。ValidFrom元素可以是采样窗口的有效采样开始时间。ValidTo元素可以是采样窗口的有效采样结束时间。视频显示装置10可以使用与采样窗口的有效时间，即，在采样窗口的有效采样开始时间和采样窗口的采样结束时间之间的时间，相对应的采样窗口。

Confidence元素表示内容识别的精确度。根据映射的程度Confidence元素可以具有0至100的值。例如，当确认指纹被精确地映射到节目时，Confidence元素可以具有100的值。

表14图示包含查询结果的ACR-ResultType的XML模型。

[表14]

在下文中，将会再次描述图37。

其后，在操作S2611中，视频显示装置100从主AV内容的部分帧或者部分间隔的音频采样提取指纹，并且将包括被提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22。

此外，通过视频显示装置100提取的指纹可以是通过被包括在操作S2609中接收到的ACR查询响应消息中的采样窗口的指纹。

在操作S2613中，指纹服务器22从ACR DB中查询被包括在操作S2611中接收到的ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括用于识别的节目的第二采样窗口的ACR查询响应消息提供给视频显示装置100。

在此，根据是否节目是相同的、节目是否具有字幕信息、以及字幕信息的位置是否改变，第一采样窗口和第二采样窗口的SamplingWindow元素可以相互相同或者不同。

在视频指纹被用于识别内容的情况下，如果在屏显示(OSD)被重叠在要被发送到视频显示装置100的节目视频，则根据视频指纹算法内容识别可能失败。在屏显示可以包括菜单、电子节目指南(EPG)、频道条以及窗口小部件。在屏显示可以表示从除了内容提供服务器10和指纹服务器22之外的运营商提供的信息。在下文中，运营商可以表示除了内容提供服务器10和指纹服务器22之外的运营商，诸如MVPD运营商30或者广播接收装置60。由于在屏显示，在上面提及的虚警可能发生。

在下文中，将会参考图39和图40描述其中评估被连接到视频显示装置100的MVPD30并且根据关于评估的MVPD 30的GUI特性信息指定采样窗口的方法。

图39是图示根据另一实施例的在基于指纹的网络拓扑中的内容识别的数据流的梯形图。

在操作S2701中，诸如广播公司/CP的内容提供服务器10提取内容的指纹。

广播公司/CP可以使用由ACR运营商提供的工具提取节目的指纹，并且可以存储被提取的指纹和节目的内容ID和时间戳。

其后，在操作S2703中，内容提供服务器10将提取的指纹和指定的采样窗口发送到指纹服务器22。在此，内容提供服务器10将用于节目的内容ID映射到指纹以便于发送指纹。

内容提供服务器10可以在节目被广播之前或者与指纹的提取的同时发送指纹。例如，在节目被广播之前，广播公司/CP可以将用于预先产生的节目的指纹发送到指纹服务器22。可替选地，在直播节目被广播的情况下，广播公司/CP可以实时提取用于直播节目的指纹，并且然后可以将被提取的指纹发送到指纹服务器22。

在操作S2705中指纹服务器22存储接收到的指纹。指纹服务器22可以将从广播公司发送的节目的内容ID、时间戳以及指纹存储在ACR DB中。

此外，在操作S2707中，指纹服务器22从内容提供服务器10获得用于各个运营商的GUI特性信息。GUI特性信息表示关于与在屏显示有关的位置、大小以及形状的信息。GUI特性信息可以从广播公司提供，可以从第三方运营商传送，或者可以通过ACR运营商直接地检测。

其后，在操作S2709中，视频显示装置100从主AV内容的部分帧或者部分间隔的音频采样提取指纹，并且将包括提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22。

在操作S2711中，指纹服务器22从ACR DB中查询被包括在ACR查询请求消息中的指纹以识别与指纹相对应的节目。

在操作S2713中，当不存在匹配指纹的节目时，指纹服务器22分析通过视频显示装置100发送的指纹当中的失败的指纹的列表，以便评估已经提供在屏显示的运营商。指纹服务器22通过分析失败的指纹的列表比较用于各个运营商的多条GUI特性信息，并且，作为比较的结果，评估已经提供在屏显示的运营商。

在操作S2715中，指纹服务器22检索被评估的运营商的GUI特性信息，并且根据检索到的GUI特性信息产生采样窗口。

其后，在操作S2717中，指纹服务器22将包括识别失败和产生的采样窗口的ACR查询请求消息发送到视频显示装置100。

在此，除了识别失败和采样窗口,ACR查询响应消息还可以包括各种类型的内容信息。在下文中，将会参考图40和表15描述关于被包括在ACR查询响应消息中的节目的内容信息的示例。

图40是根据另一实施例的包含查询结果的ACR-Resulttype的XML模型图。

如在图40中所示，包含查询结果的ACR-Resulttype包括ResultCode属性和内容ID、NTPTimestamp、SamplingWindow以及Confidence元素。

例如，如果ResultCode属性具有200的值，则可以意指查询结果是成功的。如果ResultCode属性具有404的值，则可以意指查询结果是不成功的。被包括在图39的操作S2717中发送的ACR查询响应消息中的ResultCode属性可以具有404的值。

SamplingWindow元素表示对于ACR查询所要求的采样窗口的位置和大小。

此外，图40的SamplingWindow可以包括guiType元素。guiType元素可以显示在屏的GUI类型，诸如菜单和电子界面指南，作为字符串。在此，根据guiType元素，相对应的内容可以具有多个不同的采样窗口。

表15图示包含查询结果的ACR-ResultType的XML模型。

[表15]

在下文中，将会再次描述图39。

其后，在操作S2719中，视频显示装置100从主AV内容的部分帧或者部分间隔的音频采样提取指纹，并且将包括提取的指纹的ACR查询请求消息发送到与ACR服务器相对应的指纹服务器22。

此外，通过视频显示装置100提取的指纹可以是通过被包括在操作S2717中接收到的ACR查询响应消息中的采样窗口的指纹。

在操作S2721中，指纹服务器22从ACR DB中查询被包括在操作S2719中接收到的ACR查询请求消息中的指纹以识别与指纹相对应的节目，并且将包括识别成功的ACR查询响应消息提供给视频显示装置100。

接下来，将会参考图41和图42描述根据各种实施例的视频显示装置的结构。

图41是示出根据另一实施例的基于指纹的视频显示装置的结构的框图。

如图41中所示，调谐器501从通过广播频道发送的8-VSB RF信号中提取符号。

8-VSB解调器503对调谐器501提取的8-VSB符号进行解调并且恢复有意义的数字数据。

VSB解码器505对8-VSB解调器503用于恢复ATSC主服务和ATSC M/H服务的数字数据进行解码。

MPEG-2 TP解复用器507从通过8-VSB信号发送的MPEG-2传输包中过滤出视频显示装置100将要处理的传输包或者PVR存储器中存储的MPEG-2传输包，以将过滤出的传输包转达到处理模块。

PES解码器539缓冲并恢复通过MPEG-2传输流发送的分组基本流。

PSI/PSIP解码器541缓冲并分析通过MPEG-2传输流发送的PSI/PSIP段数据。经分析的PSI/PSIP数据由服务管理器(未示出)收集，然后以服务地图和指南数据的形式存储在DB中。

DSMCC段缓冲器/处理器511通过MPEG-2 TP和IP分组封装处理供DSMCC段数据，以进行文件传输。

IP/UDP数据包缓冲器/报头解析器513缓冲并恢复通过DSMCC可寻址的段封装和通过MPEG-2 TP发送的IP分组，以分析各个数据包的报头。另外，IP/UDP数据包缓冲器/报头解析器513缓冲和恢复通过IP分组发送的UDP数据包，并且然后分析和处理被恢复的UDP报头。

流组件处理器557可以包括ES缓冲器/处理器、PCR处理器、STC模块、解扰器、CA流缓冲器/处理器和服务信令段缓冲器/处理器。

ES缓冲器/处理器缓冲并恢复基本流诸如以PES形式发送的视频和音频数据，以将其传递到正确的A/V解码器。

PCR处理器处理用于音频和视频流的时间同步的节目时钟基准(PCR)数据。

STC模块校正使用通过PCR处理器接收的基准时钟值来校正A/V解码器的时钟值，以执行时间同步。

当向接收到的IP分组施加扰频时，解扰器通过使用CA流处理器传递的加密钥恢复负载的数据。

CA流缓冲器/处理器缓冲并处理用于对EMM和ECM进行解扰的数据诸如加密值，所述数据是通过MPEG-2 TS或IP流针对条件接入函数发送的。CA缓冲器/处理器的输出被传递到解扰器，并且然后，解扰器将承载的A/V数据和文件数据的MPEG-2 TP或IP分组进行解扰。

服务信令段缓冲器/处理器缓冲、恢复并分析以IP分组形式发送的NRT服务信令信道段数据。服务管理器(未示出)收集经分析的NRT服务信令信道段数据并且将其以服务图和指南数据的形式存储。

A/V解码器561对通过ES处理器接收的音频/视频数据进行解码，以将其向用户呈现。

MPEG-2服务解复用器(未示出)可以包括MPEG-2 TP缓冲器/解析器、解扰器和PVR存储模块。

MPEG-2 TP缓冲器/解析器(未示出)缓冲并恢复通过8-VSB信号发送的MPEG-2传输包，并且还检测并处理传输包报头。

解扰器通过对MPEG-2 TP中的被施加扰频的包负载使用由CA流处理器传递的加密钥来恢复负载的数据。

PVR存储模块根据用户请求存储通过8-VSB信号接收的MPEG-2TP并且根据用户的请求时输出MPEG-2 TP。PVR存储模块可以由PVR管理器(未示出)控制。

文件处理器551可以包括ALC/LCT缓冲器/解析器、FDT处理器、XML解析器、文件重构缓冲器、解压缩器、文件解码器和文件存储器。

ALC/LCT缓冲器/解析器缓冲并恢复通过UDP/IP流发送的ALC/LC数据，并且分析ALC/LCT的报头和报头扩展。ALC/LCT缓冲器/解析器可以由NRT服务管理器(未示出)控制。

FDT处理器分析并处理通过ALC/LCT会话发送的FLUTE协议的文件说明表。FDT处理器可以由NRT服务管理器(未示出)控制。

XML解析器分析通过ALC/LCT会话发送的XML文档，并且然后，将经分析的数据发送到正确的模块诸如FDT处理器和SG处理器。

文件重构缓冲器恢复通过ALC/LCT、FLUTE会话发送的文件。

如果通过ALC/LCTT和FLUTE会话发送的文件被压缩，则解压缩器执行处理以对文件进行解压缩。

文件解码器对文件重构缓冲器中恢复的文件、在解压缩器中解压缩的文件或从文件存储器中提取的文件进行解码。

如果有必要，文件存储器存储或提取经恢复的文件。

M/W(未示出)处理数据如文件，该数据不是通过DSMCC段和IP分组发送的A/V流。M/W引擎将经处理的数据传递到呈现管理器模块。

SG处理器(未示出)收集并分析以XML文档形式发送的服务指南数据，然后将数据传递到EPG管理器。

服务管理器(未示出)收集并分析通过MPEG-2传送流发送的PSI/PSIP数据和通过IP流发送的服务信令段数据，以产生服务地图。服务管理器(未示出)将所产生的服务地图存储在服务地图&指南数据库中，并且控制对用户想要的服务的访问。通过操作控制器控制器(未示出)控制服务管理器，并且其控制调谐器501、MPEG-2 TP解复用器507和IP分组缓冲器/处理器513。

NRT服务管理器(未示出)对通过FLUTE会话以对象/文件形式发送的NRT服务执行整体管理。NRT服务管理器(未示出)可以控制FDT处理器和文件存储器。

应用管理器(未示出)对以对象和文件形式发送的应用数据执行整体管理。

UI管理器(未示出)通过用户接口将用户输入传递到操作控制器，并且开始针对用户请求的服务的处理。

操作控制器(未示出)处理通过UI管理器接收的用户的命令，并且允许必要模块的管理器执行相对应的动作。

指纹提取器565从AV流中提取指纹特性信息。

指纹比较器567将通过指纹提取器提取的特性信息与参考指纹进行比较，以找到相同的内容。指纹比较器567可以使用本地存储的参考指纹DB并且可以在互联网上查询指纹查询服务器以接收结果。通过比较结果获得的匹配的结果数据可以被传递到应用并且可以被使用。

因为ACR功能管理模块或应用模块基于ACR提供增强型服务，所以应用569在观看中识别广播内容，以提供与其有关的增强型服务。

图42是图示根据另一个实施方式的基于水印的视频显示装置的结构的框图。

尽管图42的基于水印的视频显示装置与图42的基于指纹的视频显示装置类似，但是基于指纹的视频显示装置不包括指纹提取器565和指纹比较器567，但是还包括水印提取器566。

水印提取器566从音频/视频流中提取以水印形式插入的数据。所提取的数据可以被传递到应用并且可以被使用。

根据实施例，上述方法也能够被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质的例子包括只读介质(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置和载波(如通过互联网进行的数据发送)。

上述实施方式的配置和方法在没有任何限制的情况下被应用到视频显示装置，并且实施方式中的全部或部分可以被选择性组合以具有各种修改形式。

Claims

1.一种用于操作包括显示单元的视频显示装置的方法，所述方法包括：

获得未被压缩的AV内容；

通过所述显示单元播放所述未被压缩的AV内容；

从所述未压缩的AV内容的第一部分的第一视频帧或第一音频采样提取第一指纹信息，其中所述第一指纹信息的类型是默认类型；

将包括所述第一指纹信息的第一查询发送到指纹服务器；

基于第一查询获得查询响应消息，所述查询响应消息包括所述未被压缩的AV内容的内容信息，其中所述查询响应消息包括下一个查询类型信息、时间戳元素和信任元素，所述下一个查询类型信息指示用于第二查询的视频类型或者音频类型，所述时间戳元素包括从其提取所述第一指纹信息的内容片段的开始时间和结束时间中的至少一个，所述信任元素表示内容识别的精确度；

根据所述下一个查询类型信息和所述时间戳元素从被包括在用于发送所述第二查询的所述未被压缩的AV内容的第二部分中的第二视频帧或第二视频采样提取第二指纹信息，

基于所述第二查询获得增强型服务；以及

通过所述显示单元播放所述增强型服务，

其中，所述提取第二指纹信息包括：

当所述下一个查询类型信息指示视频类型时，从第二视频帧提取视频类型指纹信息，以及

当所述下一个查询类型信息指示音频类型时从第二音频采样中提取音频类型指纹信息，

其中，所述下一个查询类型信息由内容提供商确定，并且在节目被广播之前被发送到所述指纹服务器，

其中基于所述第二查询获得增强型服务包括：

从所述指纹服务器获得基于所述第二查询的响应，其中所述响应包括用于增强型服务提供服务器的信令信道URL属性，更新模式属性和用于请求所述增强型服务的轮询周期属性，所述更新模式属性表示获得所述增强型服务信息的方法，

当所述更新模式属性表示第一模式时，通过使用所述轮询周期属性和所述信令信道URL属性接收所述增强型服务，以及

当所述更新模式元素表示第二模式时，通过使用所述信令信道URL属性异步地接收所述增强型服务。

2.根据权利要求1所述的方法，其中，

所述查询响应消息包括所述未被压缩的AV内容的标识符、与所述第一部分相对应的时间信息、以及下一个查询时间信息中的至少一个，所述方法包括：

基于所述下一个查询时间信息，发送包括所述第二指纹信息的所述第二查询。

3.根据权利要求2所述的方法，其中，

所述下一个查询时间信息对应于绝对下一个查询时间信息，所述绝对下一个查询时间信息是关于请求所述下一个查询的时间的信息，所述方法包括：

基于所述绝对下一个查询时间信息，发送包括所述第二指纹信息的所述第二查询。

4.根据权利要求2所述的方法，其中，

所述下一个查询时间信息对应于相对下一个查询时间信息，所述相对下一个查询时间信息是关于直到请求所述下一个查询时所花费的时间的信息，所述方法包括：

基于与所述部分相对应的时间信息和所述相对下一个查询时间信息，发送包括所述第二指纹信息的所述第二查询。

5.根据权利要求1所述的方法，其中，

所述查询响应消息包括所述未被压缩的AV内容的标识符和第一采样窗口信息，其中，

第一采样窗口对应于位于在所述未被压缩的AV内容的字幕的专属区域上的视频特性信息提取区域，所述方法包括：

请求下一个查询，所述下一个查询包括根据所述第一采样窗口信息提取的所述视频特性信息。

6.根据权利要求5所述的方法，其中，所述第一采样窗口信息包括所述第一采样窗口的位置信息、大小信息以及时间信息。

7.根据权利要求6所述的方法，其中，所述第一采样窗口的所述位置信息包括所述第一采样窗口的一侧的上端或者下端的关于x坐标的信息和关于y坐标的信息。

8.根据权利要求6所述的方法，其中，所述第一采样窗口的所述大小信息包括所述第一采样窗口的关于水平长度的信息和关于竖直长度的信息。

9.根据权利要求6所述的方法，其中，所述第一采样窗口的所述时间信息包括所述第一采样窗口的关于有效采样开始时间点的信息和关于有效采样结束时间点的信息。

10.根据权利要求1所述的方法，其中，所述获得未被压缩的AV内容的内容信息包括通过对查询的响应获得第二采样窗口信息，其中，

第二采样窗口对应于基于GUI特性信息确定的区域，所述方法包括：

请求下一个查询，所述下一个查询包括根据所述第二采样窗口信息提取的视频特性信息。

11.根据权利要求10所述的方法，其中，所述内容信息包括用于与视频特性信息和音频特性信息中的至少一个相对应的未被压缩的AV内容识别失败的通知信息。

12.根据权利要求10所述的方法，其中，基于用于将所述未被压缩的AV内容提供给所述视频显示装置的每个提供商的GUI特性信息确定所述第二采样窗口。

13.根据权利要求12所述的方法，其中，

所述第二采样窗口信息包括所述第二采样窗口的位置信息、大小信息以及GUI类型信息，其中，

所述第二采样窗口的所述位置信息包括所述第二采样窗口的一侧的上端或者下端的关于x坐标的信息和关于y坐标的信息，其中，

所述第二采样窗口的所述大小信息包括所述第二采样窗口的关于水平长度的信息和关于竖直长度的信息，其中，

所述第二采样窗口的所述GUI类型信息包括其中在屏显示(OSD)的GUI类型被表达为字符串的信息。

14.一种视频显示装置，包括：

显示单元；

接收单元，所述接收单元被配置为获得未被压缩的AV内容；

增强型服务管理单元，所述增强型服务管理单元被配置为从所述未压缩的AV内容的第一部分的第一视频帧或第一音频采样提取第一指纹信息，将包括所述第一指纹信息的第一查询发送到指纹服务器，基于所述第一查询获得查询响应消息，所述查询响应消息包括所述未被压缩的AV内容的内容信息，其中所述查询响应消息包括下一个查询类型信息、时间戳元素和信任元素，所述下一个查询类型信息指示用于第二查询的视频类型或者音频类型，所述时间戳元素包括从其提取所述第一指纹信息的内容片段的开始时间和结束时间中的至少一个，所述信任元素表示内容识别的精确度，根据所述下一个查询类型信息和所述时间戳元素从被包括在用于发送所述第二查询的所述未被压缩的AV内容的第二部分中的第二视频帧或第二视频采样提取第二指纹信息，并且基于所述第二查询获得增强型服务；以及

回放控制单元，所述回放控制单元被配置为在所述显示单元上播放所述未被压缩的AV内容和所述增强型服务，

其中，当所述下一个查询类型信息指示视频类型时，所述增强型服务管理单元从第二视频帧提取视频类型指纹信息，以及当所述下一个查询类型信息指示音频类型时从第二音频采样中提取音频类型指纹信息，

其中，所述第一指纹信息的类型是默认类型，

其中，所述增强型服务管理单元基于所述第二查询从所述指纹服务器获得响应，其中所述响应包括用于增强型服务提供服务器的信令信道URL属性，更新模式属性和用于请求所述增强型服务的轮询周期属性，所述更新模式属性表示获得所述增强型服务信息的方法，

当所述更新模式元素表示第二模式时，通过使用所述信令信道URL异步地接收所述增强型服务。

15.根据权利要求14所述的视频显示装置，其中，

所述查询响应消息包括所述未被压缩的AV内容的标识符、与所述部分相对应的时间信息、下一个查询时间信息、以及采样窗口信息中的至少一个，其中，

所述增强型服务管理单元基于与所述第一部分相对应的时间信息、所述采样窗口信息中的至少一个提取第二指纹信息，并且基于所述下一个查询信息发送所述第二查询。