CN103229513A - 视频显示装置及其控制方法 - Google Patents

Abstract

本发明涉及包括显示单元的视频显示装置。所述视频显示装置获取通过从广播信号中排除服务信息而获得的未压缩视听内容，并且通过所述显示单元再现所述未压缩视听内容。所述视频显示装置基于所述未压缩视听内容的部分来获取所述未压缩视听内容的内容信息，基于所述内容信息获取附加服务，并且通过所述显示单元再现所述附加服务。

Description

视频显示装置及其控制方法

技术领域

本发明涉及视频显示装置及其控制方法。

背景技术

随着数字广播正为其广泛传播铺平道路，广播站发送主视听（AV）内容和增强型服务数据二者，增强型服务数据可以联合主AV内容来提供信息和服务或者可以出于其它目的被单独提供。

然而，在当前的广播环境下，每个家庭中的视频显示装置可能不太可能直接以无线方式接收广播信号。确切地说，对于大多数情况，每个家庭中的视频显示装置连接到广播接收装置，以显示广播接收装置提供的未压缩的视听内容。

另外，广播接收装置从服务器（称为多频道视频节目分发商（MVPD））接收内容。MVPD从广播站接收广播信号，从所接收的广播信号中提取内容，将所提取的内容转换成具有正确传输格式的信号，并且将经转换的信号提供给广播接收装置。在这些过程期间，MVPD可以不包括所提取的增强型服务内容或者可以添加另外的增强型服务数据，使得广播站可以用于提供AV内容，但是可以不提供广播站引导的增强型服务。

因为广播接收装置由从MVPD接收的信号中提取主AV数据并且只将未压缩的视听数据提供到视频显示装置，只有从广播接收装置而非视频显示装置提供的增强型服务是可用的。此外，广播站可以不提供其自身引导的增强型服务。

另外，即使当广播站通过无线频道提供增强型服务时，由于带宽限制，导致可能不足以提供增强型服务。

发明内容

技术问题

实施方式提供用于广播站引导的可用增强型服务的视频显示装置及其控制方法。

在一个实施方式中，一种控制包括显示单元的视频显示装置的方法包括以下步骤：获得未压缩视听（AV）内容；通过所述显示单元播放所述未压缩AV内容；基于所述未压缩AV内容的片断，获得所述未压缩AV内容的内容信息；基于所述内容信息，获得增强型服务；以及通过所述显示单元播放所述增强型服务。

在另一个实施方式中，一种视频显示装置包括：显示单元；接收单元，其用于获得未压缩AV内容；增强型服务管理单元，其基于所述未压缩AV内容的片段获得所述未压缩AV内容的内容信息并且基于所述内容信息获得增强型服务；以及播放控制单元，其在所述显示单元上播放所述未压缩AV内容和所述增强型服务。

在以下的附图和描述中阐述一个或多个实施方式的细节。根据描述和附图和权利要求书，其它特征将是显而易见的。

附图说明

图1是示出根据实施方式的网络拓扑的框图。

图2是示出根据实施方式的基于水印的网络拓扑的框图。

图3是示出根据实施方式的基于水印的网络拓扑中的数据流的梯形图。

图4是示出根据实施方式的基于水印的内容识别时序的视图。

图5是示出根据实施方式的基于指纹的网络拓扑的框图。

图6是示出根据实施方式的基于指纹的网络拓扑中的数据流的梯形图。

图7是示出根据实施方式的包含查询结果的ACR-Resulttype的XML架构图的视图。

图8是示出根据实施方式的基于水印和指纹的网络拓扑的框图。

图9是示出根据实施方式的基于水印和指纹的网络拓扑中的数据流的梯形图。

图10是示出根据实施方式的视频显示装置的框图。

图11是根据实施方式的增强型服务管理单元的层次结构关系图。

图12是示出根据实施方式的增强型服务管理单元的操作的流程图。

图13是根据实施方式的增强型服务管理单元的层次结构关系图。

图14是示出根据实施方式的增强型服务管理单元的操作的流程图。

图15是根据实施方式的增强型服务管理单元的层次结构关系图。

图16是示出根据实施方式的增强型服务管理单元的操作的流程图。

图17是根据实施方式的增强型服务管理单元的层次结构关系图。

图18是示出根据实施方式的增强型服务管理单元的操作的流程图。

图19是示出根据实施方式的将主AV内容的播放时间与增强型服务的播放时间同步的方法的流程图。

图20是示出根据实施方式的将主AV内容的播放时间与增强型服务的播放时间同步的方法的概念图。

图21是根据实施方式的当执行自动播放应用程序时的画面。

图22是根据实施方式的当执行内容提供商应用程序时的画面。

图23是根据实施方式的当执行具有缩放用户界面的视频显示装置制造商应用程序时的画面。

图24是根据实施方式的当执行具有重叠的用户界面的视频显示装置制造商应用程序时的画面。

图25是示出根据实施方式的执行视频显示装置制造商应用程序的方法的流程图。

图26是根据实施方式的当显示应用程序选择菜单时的画面。

图27是根据实施方式的当选择视频显示装置制造商应用程序中的节目主菜单的全部子菜单时的画面。

图28是根据实施方式的当选择视频显示装置制造商应用程序中的节目主菜单的参与子菜单时的画面。

图29是根据实施方式的当选择视频显示装置制造商应用程序中的节目主菜单的发现子菜单时的画面。

图30是示出根据实施方式的搜索方法的流程图。

图31是根据实施方式的当选择视频显示装置制造商应用程序中的信息主菜单的搜索子菜单时的画面。

图32是根据实施方式的当选择视频显示装置制造商应用程序中的信息主菜单的搜索子菜单时的另一个画面。

图33是示出根据实施方式的聊天窗口显示方法的流程图。

图34是根据实施方式的当选择视频显示装置制造商应用程序中的信息主菜单的Twitter子菜单时的画面。

图35是示出根据实施方式的新闻获得方法的流程图。

图36是根据实施方式的当选择视频显示装置制造商应用程序中的信息主菜单的新闻子菜单时的画面。

图37是示出根据实施方式的观众列表显示方法的流程图。

图38是根据实施方式的当选择视频显示装置制造商应用程序中的社交主菜单的观众列表子菜单时的画面。

图39是根据实施方式的当视频显示装置获得朋友列表和观看信息时的信号流。

图40是根据另一个实施方式的当视频显示装置获得朋友列表和观看信息时的信号流。

图41是示出根据实施方式的优先显示方法的流程图。

图42是根据实施方式的当选择视频显示装置制造商应用程序中的社交主菜单的优先显示子菜单时的画面。

图43是示出根据实施方式的数字媒体下载方法的流程图。

图44是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的前一剧集子菜单时的画面。

图45是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的VOD子菜单时的画面。

图46是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的应用程序子菜单时的画面。

图47是示出根据实施方式的目录显示方法的流程图。

图48是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的风格子菜单时的画面。

图49是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的音乐子菜单时的画面。

图50是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的另一个子菜单时的画面。

图51是根据实施方式的用于控制ACR功能的用户界面的视图。

图52是示出根据实施方式的控制视频显示装置的方法的流程图。

图53是示出根据实施方式的广告供选择方法的流程图。

图54是示出根据另一个实施方式的广告供选择方法的流程图。

图55是示出根据实施方式的场景相关信息显示方法的流程图。

图56是根据实施方式的用于选择场景相关信息显示模式的用户界面。

图57是示出根据实施方式的场景相关信息显示方法的流程图。

图58是示出根据实施方式的场景相关信息的用户选择显示方法的流程图。

图59是示出根据实施方式的场景相关信息的用户选择显示方法的概念图。

图60是示出根据实施方式的显示综合场景相关信息的方法的流程图。

图61是示出根据实施方式的显示综合场景相关信息的方法的概念图。

图62示出主AV内容的赞助商广告的综合画面。

图63是示出根据实施方式的存储分级（rating）设置信息的方法的流程图。

图64是根据实施方式的存储分级设置信息的用户界面。

图65是示出根据实施方式的播放基于分级的主AV内容的方法的流程图。

图66是示出根据另一个实施方式的播放基于分级的主AV内容的方法的流程图。

图67是示出根据另一个实施方式的播放基于分级的主AV内容的方法的流程图。

图68是示出根据实施方式的注册到使用信息测量服务器的方法的流程图。

图69是示出根据实施方式的用户信息的XML架构图的视图。

图70是示出根据实施方式的获得、报道和使用使用信息的方法的流程图。

图71是根据实施方式的主AV内容观看信息项的XML架构图。

图72是根据实施方式的增强型服务使用信息项的XML架构图。

图73至图76是根据实施方式的基于用户特征的增强型服务的概念图。

图77是示出根据另一个实施方式的基于指纹的视频显示装置的结构的框图。

图78是示出根据另一个实施方式的基于水印的视频显示装置的结构的框图。

具体实施方式

下文中，将参照附图更详细地描述涉及本发明的移动终端。在书写说明书的过程中，为了容易，在以下的描述中，提供或混合组件的名词后缀“引擎”、“模块”和“单元”。也就是说，名词后缀自身并没有分别可区分的含义或作用。

将根据实施方式参照图1至图9描述网络拓扑。

图1是示出根据实施方式的网络拓扑的框图。

如图1中所示，网络拓扑包括内容提供服务器10、内容识别服务提供服务器20、多频道视频分发服务器30、增强型服务信息提供服务器40、多个增强型服务提供服务器50、广播接收装置60、网络70和视频显示装置100。

内容提供服务器10可以对应于广播站并且广播包括主视听内容的广播信号。广播信号还可以包括增强型服务。增强型服务可以涉及或者可以不涉及主视听内容。增强型服务可以具有一些格式，如服务信息、元数据、额外数据、编译执行文件、网页应用、超文本标记语言（HTML）文档、XML文档、层叠风格表（CSS）文档、音频文件、视频文件、ATSC2.0内容和地址（如统一资源定位符（URL））。可能存在至少一个内容提供服务器。

内容识别服务提供服务器20提供内容识别服务，该内容识别服务允许视频显示装置100基于主视听内容识别内容。内容识别服务提供服务器20可以编辑或者可以不编辑主视听内容。可能存在至少一个内容识别服务提供服务器。

内容识别服务提供服务器20可以是水印服务器，水印服务器编辑主视听内容，以将可以看到徽标的可视水印插入主视听内容中。这个水印服务器可以将每帧的左上或右上的内容提供商的徽标作为水印插入主视听内容中。

另外，内容识别服务提供服务器20可以是水印服务器，水印服务器编辑主视听内容，以将内容信息作为不可视水印插入主视听内容中。

另外，内容识别服务提供服务器20可以是指纹服务器，指纹服务器从主视听内容的一些帧或音频样本中提取特征信息并且将其存储。这个特征信息被称为签名。

多频道视频分发服务器30从多个广播站接收并复用广播信号并且将复用的广播信号提供到广播接收装置60。尤其是，多频道视频分发服务器30对所接收的广播信号执行解调和频道解码，以提取主视听内容和增强型服务，然后对所提取的主视听内容和增强型服务执行频道编码，以产生复用信号供分发。此时，因为多频道视频分发服务器30可以不包括所提取的增强型服务或者可以添加另外的增强型服务，所以广播站可以不提供其引导的服务。可能存在至少一个多频道视频分发服务器。

广播装置60可以调谐用户选择的频道并且接收经调谐频道的信号，然后对所接收的信号执行解调和频道解码，以提取主视听内容。广播装置60通过H.264/运动图像专家组-4先进视频编码（MPEG-4AVC）、Dolby AC-3或运动图像专家组-2先进音频编码（MPEG-2ACC）算法对所提取的主视听内容进行解码，以产生未压缩的主视听（AV）内容。广播接收装置60通过其外部输入端口将所产生的未压缩的主AV内容提供到视频显示装置100。

增强型服务信息提供服务器40响应于视频显示装置的请求，提供与涉及主AV内容的至少一个可用增强型服务有关的增强型服务信息。可能存在至少一个增强型服务提供服务器。增强型服务信息提供服务器40可以提供与多个可用增强型服务之中具有最高优先级的增强型服务有关的增强型服务信息。

增强型服务提供服务器50响应于视频显示装置的请求，提供涉及主AV内容的至少一个可用增强型服务。可能存在至少一个增强型服务提供服务器。

视频显示装置100可以是均包括显示单元的电视机、笔记本电脑、手机和智能电话。视频显示装置100可以从广播接收装置60接收未压缩的主AV内容，或者从内容提供服务器10或多频道视频分发服务器30接收包括经编码的主AV内容的广播信号。视频显示装置100可以通过网络70从内容识别服务提供服务器20接收内容识别服务，通过网络70从增强型服务提供服务器40接收涉及主AV内容的至少一个可用增强型服务的地址，并且从增强型服务提供服务器50接收涉及主AV内容的至少一个可用增强型服务。

内容提供服务器10、内容识别服务提供服务器20、多频道视频分发服务器30、增强型服务信息提供服务器40和多个增强型服务提供服务器50中的至少两个可以按一个服务器的形式组合并且可以由一个提供商操作。

图2是示出根据实施方式的基于水印的网络拓扑的框图。

如图2中所示，基于水印的网络拓扑还可以包括水印服务器21。

如图2中所示，水印服务器21编辑主AV内容，以将内容信息插入其中。多频道视频分发服务器30可以接收并分发包括经更改的主AV内容的广播信号。具体地，水印服务器可以使用下述的数字加水印技术。

数字水印是一种用于将可能几乎不能被删除的信息插入数字信号中的过程。例如，数字信号可以是音频、图片或视频。如果复制数字信号，则在复制品中包括插入的信息。一个数字信号可以同时携带多个不同的水印。

在可视加水印的过程中，被插入的信息在图片或视频中可能能被识别出来。典型地，被插入的信息可以是识别媒体拥有者的文本或徽标。如果电视广播站将其徽标添加在视频的角落处，则这是可识别的水印。

在不可视加水印的过程中，尽管信息作为数字数据被添加到音频、图片或视频中，但是用户可以获知预定量的信息但是可能无法识别它。可以通过不可视加水印传递秘密的消息。

加水印的一个应用是用于防止数字媒体的非法复制的版权保护系统。例如，复制装置在复制数字媒体之前从数字媒体获得水印，并且基于水印的内容判定是否进行复制。

加水印的另一个应用是数字媒体的源追踪。在分发路径的每个点，水印被嵌入在数字媒体中。如果这种数字媒体之后被发现，则可以从数字媒体提取水印并且可以从水印的内容识别分发源。

不可视加水印的另一个应用是对数字媒体的说明。

数字媒体的文件格式可以包括称为元数据的附加信息，并且数字水印与元数据的区别在于数字水印被作为数字媒体的AV信号自身传递。

加水印方法可以包括扩频、量化和调幅。

如果通过额外编辑获得经标记的信号，则加水印方法对应于扩频。尽管已知的是扩频水印十分强，但是因为水印干扰嵌入的主信号，所以没有包含太多的信息。

如果通过量化获得经标记的信号，则加水印方法对应于量化型。量化水印弱，可以包括大量信息。

如果在空间域中通过与扩频类似的额外编辑方法获得经标记的信号，则加水印方法对应于调幅。

图3是示出根据实施方式的基于水印的网络拓扑中的数据流的梯形图。

首先，在操作S101中，内容提供服务器10发送包括主AV内容和增强型服务的广播信号。

在操作S103中，水印服务器21接收内容提供服务器10提供的广播信号，通过编辑主AV内容将可视水印如徽标或作为不可视水印的水印信息插入主AV内容中，并且将加水印的主AV内容和增强型服务提供到MVPD30。

通过不可视水印插入的水印信息可以包括水印功能、内容信息、增强型服务信息和可用增强型服务中的至少一者。水印功能代表非法复制防止、收视率和增强型服务获取中的一者。

内容信息可以包括提供主AV内容的内容提供商的识别信息、主AV内容识别信息、内容信息获取过程中使用的内容段的时间信息、主AV内容通过其广播的频道的名字、主AV内容通过其广播的频道的徽标、对主AV内容通过其广播的频道的说明、使用信息报告时间段、使用信息获取的最短使用时间和涉及主AV内容的可用增强型服务信息中的至少一个。

如果视频显示装置100使用水印获取内容信息，则用于内容信息获取的内容段的时间信息可以是其中嵌入所使用水印的内容段的时间信息。如果视频显示装置100使用指纹获取内容信息，则用于内容信息获取的内容段的时间信息可以是从其中提取特征信息的内容段的时间信息。用于内容信息获取的内容段的时间信息可以包括用于内容信息获取的内容段的起始时间、用于内容信息获取的内容段的持续时间和用于内容信息获取的内容段的结束时间中的至少一个。

使用信息报告地址可以包括主AV内容观看信息报告地址和增强型服务使用信息报告地址中的至少一个。使用信息报告时间段可以包括主AV内容观看信息报告时间段和增强型服务使用信息报告时间段中的至少一个。使用信息获取的最短使用时间可以包括主AV内容观看信息获取的最短观看时间和增强型服务使用信息提取的最短使用时间中的至少一个。

基于在超过最短观看时间的时间内观看主AV内容，视频显示装置100获取主AV内容的观看信息并且在主AV内容观看信息报告时间段内将所获取的观看信息报告到主AV内容观看信息报告地址。

基于在超过最短使用时间的时间内使用增强型服务，视频显示装置100获取增强型服务使用信息并且在增强型服务使用信息报告时间段内将所获取的使用信息报告到增强型服务使用信息报告地址。

增强型服务信息可以包括关于是否存在增强型服务的信息、增强型服务地址提供服务器地址、每个可用增强型服务的获取路径、每个可用增强型服务的地址、每个可用增强型服务的起始时间、每个可用增强型服务的结束时间、每个可用增强型服务的使用期限、每个可用增强型服务的获取模式、每个可用增强型服务的请求时间段、每个可用增强型服务的优先级信息、每个可用增强型服务的说明、每个可用增强型服务的类别、使用信息报告地址、使用信息报告时间段和使用信息获取的最短使用时间中的至少一个。

可用增强型服务的获取路径可以用IP或先进电视系统委员会-移动/手持（ATSCM/H）表达。如果可用增强型服务的获取路径是ATSC M/H，则增强型服务信息还可以包括频率信息和频道信息。每个可用增强型服务的获取模式可以代表推（Push）或拉（Pull）。

此外，水印服务器21可以将水印信息作为不可视水印插入主AV内容的徽标中。

例如，水印服务器21可以在徽标的预定位置插入条形码。此时，徽标的预定位置可以对应于显示徽标的区域底部的第一行。当接收包括其中插入了条形码的徽标的主AV内容时，视频显示装置100可以不显示条形码。

例如，水印服务器21可以在徽标的预定位置插入条形码。此时，徽标可以保持其形式。

例如，水印服务器21可以在M个帧的各个徽标处插入N位水印信息。也就是说，水印服务器21可以在M个帧中插入M*N水印信息。

在操作S105中，MVPD30接收包括加水印的主AV内容和增强型服务的广播信号并且产生复用信号，以将其提供到广播接收装置60。此时，复用信号可以不包括所接收的增强型服务或者可以包括新的增强型服务。

在操作S106中，广播接收装置60调谐用户选择的频道并且接收经调谐频道的信号，解调所接收的信号，对经解调的信号执行频道解码和AV解码以产生未压缩的主AV内容，然后，将所产生的未压缩的主AV内容提供到视频显示装置100。

此外，在操作S107中，内容提供服务器10还通过无线频道广播包括主AV内容的广播信号。

另外，在操作S108中，MVPD30可以将包括主AV内容的广播信号不经过广播接收装置60而直接发送到视频显示装置100。

视频显示装置100可以通过广播接收装置60接收未压缩的主AV内容。另外，视频显示装置100可以通过无线频道接收广播信号，然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。另外，视频显示装置100可以从MVPD30接收广播信号，然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。视频显示装置100从所获得的主AV内容的一些帧或音频样本片段中提取水印信息。如果水印信息对应于徽标，则视频显示装置100确认与从多个徽标和多个水印服务器地址之间的对应关系中提取的徽标对应的水印服务器地址。当水印信息对应于徽标时，视频显示装置100不可以只通过徽标来识别主AV内容。另外，当水印信息不包括内容信息时，视频显示装置100不可以识别主AV内容，但是水印信息可以包括内容提供商识别信息或水印服务器地址。当水印信息包括内容提供商识别信息时，视频显示装置100可以确认与从多个内容提供商识别信息和多个水印服务器地址之间的对应关系中提取的内容提供商识别信息对应的水印服务器地址。以此方式，在操作S109中，当视频显示装置100不可以只通过水印信息识别视频显示装置100的主AV内容时，它访问与所获得的水印服务器地址对应的水印服务器21，以发送第一查询。

在操作S111中，水印服务器21向第一查询提供第一应答。第一应答可以包括内容信息、增强型服务信息和可用增强型服务中的至少一个。

如果水印信息和第一应答不包括增强型服务地址，则视频显示装置100不可以获得增强型服务。然而，水印信息和第一应答可以包括增强型服务地址提供服务器地址。以此方式，视频显示装置100没有通过水印信息和第一应答获得服务地址或增强型服务。在操作S119中，如果视频显示装置100获得增强型服务地址提供服务器地址，则它访问与所获得的增强型服务地址提供服务器地址对应的增强型服务信息提供服务器40，以发送包括内容信息的第二查询。

增强型服务信息提供服务器40搜索涉及第二查询的内容信息的至少一个可用增强型服务。随后，在操作S121中，增强型服务信息提供服务器40向视频显示装置100提供至少一个可用增强型服务的增强型服务信息作为对第二查询的第二应答。

在操作S123中，如果视频显示装置100通过水印信息、第一应答或第二应答获得至少一个可用增强型服务地址，则它访问至少一个可用增强型服务地址以请求增强型服务，然后，在操作S125中，获得增强型服务。

图4是示出根据实施方式的基于水印的内容识别时序的视图。

如图4中所示，当广播接收装置60打开并且调谐频道，并且另外视频显示装置100通过外部输入端口111从广播接收装置60接收经调谐频道的主AV内容时，视频显示装置100可以从主AV内容的水印中感测内容提供商标识符（或广播站标识符）。然后，视频显示装置100可以基于感测到的内容提供商标识符，从主AV内容的水印中感测内容信息。

此时，如图4中所示，内容提供商标识符的检测可用时间段可以与内容信息的检测可用时间段不同。具体地，内容提供商标识符的检测可用时间段可以比内容信息的检测可用时间段短。据此，视频显示装置100可以具有用于只检测必要信息的有效构造。

图5是示出根据实施方式的基于指纹的网络拓扑的框图。

如图5中所示，网络拓扑还可以包括指纹服务器22。

如图5中所示，指纹服务器22不编辑主AV内容，而是从主AV内容的一些帧或音频样本片段中提取特征信息并且存储所提取的特征信息。然后，当从视频显示装置100接收特征信息时，指纹服务器22提供与所接收的特征信息对应的AV内容的时间信息和标识符。

图6是示出根据实施方式的基于指纹的网络拓扑中的数据流的梯形图。

首先，在操作S201中，内容提供服务器10发送包括主AV内容和增强型服务的广播信号。

在操作S203中，指纹服务器22接收内容提供服务器10提供的广播信号，从主AV内容的多个帧片段或多个音频片段中提取多条特征信息，并且创建与多个特征信息对应的多个查询结果的数据库。查询结果可以包括内容信息、增强型服务信息和可用增强型服务中的至少一个。

在操作S205中，MVPD30接收包括主AV内容和增强型服务的广播信号并且产生复用信号，以将其提供到广播接收装置60。此时，复用信号可以不包括所接收的增强型服务或者可以包括新的增强型服务。

在操作S206中，广播接收装置60调谐用户选择的频道并且接收经调谐频道的信号，解调所接收的信号，对经解调的信号执行频道解码和AV解码以产生未压缩的主AV内容，然后，将所产生的未压缩的主AV内容提供到视频显示装置100。

此外，在操作S207中，内容提供服务器10还通过无线频道广播包括主AV内容的广播信号。

另外，MVPD30可以将包括主AV内容的广播信号不经过广播接收装置60而直接发送到视频显示装置100。

视频显示装置100可以通过广播接收装置60接收未压缩的主AV内容。另外，视频显示装置100可以通过无线频道接收广播信号，然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。另外，视频显示装置100可以从MVPD30接收广播信号，然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。在操作213中，视频显示装置100从所获得的主AV内容的一些帧或音频样本片段中提取特征信息。

在操作S215中，视频显示装置100访问与预定的指纹服务器地址对应的指纹服务器22，以发送包括所提取的特征信息的第一查询。

在操作S217中，指纹服务器22向第一查询提供作为第一应答的查询结果。如果第一应答对应于失败，则视频显示装置100访问与另一个指纹服务器地址对应的指纹服务器22，以发送包括所提取的特征信息的第一查询。

指纹服务器22可以提供可扩展标记语言（XML）文档作为查询结果。将参照图7和表1描述包含查询结果的XML文档的例子。

图7是示出根据实施方式的包含查询结果的ACR-Resulttype的XML架构图的视图。

如图7中所示，包含查询结果的ACR-Resulttype包括ResultCode属性和ContentID、NTPTimestamp、SignalingChannelInformation和ServiceInformation要素。

例如，如果ResultCode属性具有200，则这可能意味着查询结果是成功的。例如，如果ResultCode属性具有404，则这可能意味着查询结果是不成功的。

SignalingChannelInformation要素包括SignalingChannelURL，并且SignalingChannelURL要素包括UpdateMode和PollingCycle属性。UpdateMode属性可以具有Pull值或Push值。

ServiceInformation要素包括ServiceName、ServiceLogo和ServiceDescription要素。

表1示出包含查询结果的ACR-Resulttype的XML架构图。

[表1]

作为ContentID要素，ATSC内容标识符可以如表2中所示地使用。

[表2]

如表2中所示，ATSC内容标识符具有包括TSID和房号的结构。

16位不带符号的整数TSID携带传输流标识符。

用当在完成广播之后可以重新使用content_id值时的那天中的小时，设置5位不带符号的整数end_of_day。

用当不可以重新使用content_id值时的天数，设置9位不带符号的整数unique_for。

content_id代表内容标识符。视频显示装置100每天在end_of_day的对应时间中将unique_for减去1，并且假定如果unique_for不是0，则content_id是唯一的。

此外，作为Contentid要素，可以如下所述地使用ATSC-M/H服务的全局服务标识符。

全局服务标识符具有下面的形式。

-urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>

这里，<region>是包括ISO639-2规定的两个字符的国际国家代码。本地服务的<xsid>是如<region>中定义的TSID的十进制数，并且<xsid>（区域性服务）（major>69）是“0”。<serviceid>是用<major>或<minor>定义的。<major>代表主频道号，并且<minor>代表次频道号。

全局服务标识符的例子如下。

-urn:oma:bcast:iauth:atsc:service:us:1234:5.1

-urn:oma:bcast:iauth:atsc:service:us:0:100.200

此外，作为ContentID要素，可以如下所述地使用ATSC内容标识符。

ATSC内容标识符具有下面的形式。

urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>

这里，<region>是包括ISO639-2规定的两个字符的国际国家代码。本地服务的<xsid>是如<region>中定义的TSID的十进制数，并且可以后面跟着“.”<serviceid>。（区域性服务）（major>69）的<xsid>是<serviceid>。<content_id>是表2中定义的content_id域的Base64符号，<unique_for>是表2中定义的unique_for域的十进制数符号，并且<end_of_day>是表2中定义的end_of_day域的十进制数符号。

下文中，再描述图6。

在操作S219中，如果查询结果不包括增强型服务地址或增强型服务，而是包括增强型服务地址提供服务器地址，则视频显示装置100访问与所获得的增强型服务地址提供服务器地址对应的增强型服务信息提供服务器40，以发送包括内容信息的第二查询。

增强型服务信息提供服务器40搜索涉及第二查询的内容信息的至少一个可用增强型服务。随后，在操作S221中，增强型服务信息提供服务器40将至少一个可用增强型服务的增强型服务信息作为对第二查询的第二应答提供到视频显示装置100。

在操作S223中，如果视频显示装置100通过第一应答或第二应答获得至少一个可用增强型服务地址，则它访问至少一个可用增强型服务地址以请求增强型服务，然后在操作S225中，获得增强型服务。

当UpdateMode属性具有Pull值时，视频显示装置100通过SignalingChannelURL将HTTP请求发送到增强型服务提供服务器50，并且响应于请求，从增强型服务提供服务器50接收包括PSIP二进制流的HTTP应答。在这种情况下，视频显示装置100可以根据如PollingCycle属性指定的Polling时间段发送HTTP请求。另外，SignalingChannelURL要素可以具有更新时间属性。在这种情况下，视频显示装置100可以根据如更新时间属性指定的更新时间发送HTTP请求。

如果UpdateMode属性具有Push值，则视频显示装置100可以通过XMLHTTPRequest API从服务器异步地接收更新。在视频显示装置100通过XMLHTTPRequest对象向服务器发送异步请求之后，如果信令信息有变化，则服务器通过频道提供信令信息作为应答。如果会话等待时间有限制，则服务器产生会话超时应答并且接收器识别所产生的超时应答以再次发送请求，使得接收器和服务器之间的信令频道可以一直保持。

图8是示出根据实施方式的基于水印和指纹的网络拓扑的框图。

如图8中所示，基于水印和指纹的网络拓扑还可以包括水印服务器21和指纹服务器22。

如图8中所示，水印服务器21将内容提供商识别信息插入主AV内容中。水印服务器21可以将内容提供商识别信息作为可视水印如徽标或不可视水印插入主AV内容中。

指纹服务器22不编辑主AV内容，而是从主AV内容的一些帧或音频样本的某些片段中提取特征信息并且存储所提取的特征信息。然后，当从视频显示装置100接收特征信息时，指纹服务器22提供与所接收的特征信息对应的AV内容的时间信息和标识符。

图9是示出根据实施方式的基于水印和指纹的网络拓扑中的数据流的梯形图。

首先，在操作S301中，内容提供服务器10发送包括主AV内容和增强型服务的广播信号。

在操作S303中，水印服务器21接收内容提供服务器10提供的广播信号，通过编辑主AV内容将可视水印如徽标或作为不可视水印的水印信息插入主AV内容中，并且将加水印的主AV内容和增强型服务提供到MVPD30。通过不可视水印插入的水印信息可以包括内容信息、增强型服务信息和可用增强型服务中的至少一个。内容信息和增强型服务信息如上所述。

在操作S305中，MVPD30接收包括加水印的主AV内容和增强型服务的广播信号并且产生复用信号，以将其提供到广播接收装置60。此时，复用信号可以不包括所接收的增强型服务或者可以包括新的增强型服务。

在操作S306中，广播接收装置60调谐用户选择的频道并且接收经调谐频道的信号，解调所接收的信号，对经解调的信号执行频道解码和AV解码以产生未压缩的主AV内容，然后，将所产生的未压缩的主AV内容提供到视频显示装置100。

此外，在操作S307中，内容提供服务器10还通过无线频道广播包括主AV内容的广播信号。

另外，在操作S308中，MVPD30可以将包括主AV内容的广播信号不经过广播接收装置60而直接发送到视频显示装置100。

视频显示装置100可以通过广播接收装置60接收未压缩的主AV内容。另外，视频显示装置100可以通过无线频道接收广播信号，然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。另外，视频显示装置100可以从MVPD30接收广播信号，然后，可以对所接收的广播信号进行解调和解码，以获得主AV内容。视频显示装置100从所获得的主AV内容的一些帧或时间段的音频样本中提取水印信息。如果水印信息对应于徽标，则视频显示装置100确认与从多个徽标和多个水印服务器地址之间的对应关系中提取的徽标对应的水印服务器地址。当水印信息对应于徽标时，视频显示装置100不可以只通过徽标来识别主AV内容。另外，当水印信息不包括内容信息时，视频显示装置100不可以识别主AV内容，但是水印信息可以包括内容提供商识别信息或水印服务器地址。当水印信息包括内容提供商识别信息时，视频显示装置100可以确认与从多个内容提供商识别信息和多个水印服务器地址之间的对应关系中提取的内容提供商识别信息对应的水印服务器地址。以此方式，在操作S309中，当视频显示装置100不可以只通过水印信息识别视频显示装置100的主AV内容时，它访问与所获得的水印服务器对应的水印服务器21，以发送第一查询。

在操作S311中，水印服务器21为第一查询提供第一应答。第一应答可以包括指纹服务器地址、内容信息、增强型服务信息和可用增强型服务中的至少一个。内容信息和增强型服务信息如上所述。

在操作S313中，如果水印信息和第一应答包括指纹服务器地址，则视频显示装置100从主AV内容的音频样本的一些帧或某个片段中提取特征信息。

在操作S315中，视频显示装置100访问与第一应答中的指纹服务器地址对应的指纹服务器22，以发送包括所提取的特征信息的第二查询。

在操作S317中，指纹服务器22将查询结果作为第二应答提供给第二查询。

在操作S319中，如果查询结果不包括增强型服务地址或增强型服务，而是包括增强型服务地址提供服务器地址，则视频显示装置100访问与所获得的增强型服务地址提供服务器地址对应的增强型服务信息提供服务器40，以发送包括内容信息的第三查询。

增强型服务信息提供服务器40搜索涉及第三查询的内容信息的至少一个可用增强型服务。随后，在操作S321中，增强型服务信息提供服务器40将至少一个可用增强型服务的增强型服务信息作为对第三查询的第三应答提供到视频显示装置100。

在操作S323中，如果视频显示装置100通过第一应答、第二应答或第三应答获得至少一个可用增强型服务地址，则它访问至少一个可用增强型服务地址以请求增强型服务，然后在操作S325中，获得增强型服务。

然后，参照图10和图18，将根据实施方式描述视频显示装置100。

图10是示出根据实施方式的视频显示装置的框图。

如图10中所示，视频显示装置100包括广播信号接收单元101、解调单元103、频道解码单元105、解复用单元107、AV解码单元109、外部输入端口111、播放控制单元113、播放装置120、增强型服务管理单元130、数据发送/接收单元141和存储器150。

广播信号接收单元101从内容提供服务器10或MVPD30接收广播信号。

解调单元103对所接收的广播信号进行解调，以产生经解调的信号。

频道解码单元105对经解调的信号执行频道解码，以产生经频道解码数据。

解复用单元107将主AV内容和增强型服务与经频道解码数据分开。被分开的增强型服务被存储在增强型服务存储单元152中。

AV解码单元109对被分开的主AV内容执行AV解码，以产生未压缩的主AV内容。

此外，外部输入端口111从广播接收装置60、数字多功能盘（DVD）播放器、蓝光（Blu-ray）盘播放器等接收未压缩的主AV内容。外部输入端口111可以包括DSUB端口、高清晰度多媒体接口（HDMI）端口、数字视频接口（DVI）端口、复合端口、组件端口和S-视频端口中的至少一个。

播放控制单元113控制播放装置120，以根据用户的选择，播放AV解码单元109产生的未压缩的主AV内容和从外部输入端口111接收的未压缩的主AV内容中的至少一个。

播放装置120包括显示单元121和扬声器123。显示单元121可以包括液晶显示器（LCD）、薄膜晶体管-液晶显示器（TFT LCD）、有机发光二极管（OLED）、柔性显示器和3D显示器中的至少一个。

增强型服务管理单元130获得主AV内容的内容信息并且基于获得的内容信息获得可用的增强型服务。具体地，如上所述，增强型服务管理单元130可以基于未压缩的主AV内容的音频样本的一些帧或某个片段，获得主AV内容的识别信息。在这个说明书中，这被称为自动内容识别（ACR）。

数据发送/接收单元141可以包括先进电视系统委员会-移动/手持（ATSC M/H）频道发送/接收单元141a和IP发送/接收单元141b。

存储器150可以包括存储介质如闪存存储器类型、硬盘类型、多媒体卡微型、卡型存储器如SD或XD存储器、随机存取存储器（RAM）、静态随机存取存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘和光盘中的至少一种类型。视频显示装置100可以与网络存储器连接地操作，从而在互联网上执行存储器150的存储功能。

存储器150可以包括内容信息存储单元151、增强型服务存储单元152、徽标（LOGO）存储单元153、设置信息存储单元154、书签存储单元155、用户信息存储单元156和使用信息存储单元157。

内容信息存储单元151存储与多个特征信息对应的多个内容信息。

增强型服务存储单元152可以存储与多个特征信息对应的多个增强型服务或者与多个内容信息对应的多个增强型服务。

徽标存储单元153存储多个徽标。另外，徽标存储单元153还可以存储与多个徽标对应的内容提供商标识符或者与多个徽标对应的水印服务器地址。

设置信息存储单元154存储ACR的设置信息。

书签存储单元155存储多个书签。

用户信息存储单元156存储用户信息。用户信息可以包括至少一个服务的至少一个账户信息、区域性信息、家庭成员信息、优先类别信息、视频显示装置信息和使用信息范围中的至少一个。至少一个账户信息可以包括使用信息测量服务器的账户信息和社交网络服务如Twitter和Facebook的账户信息。区域性信息可以包括地址信息和邮政区码。家庭成员信息可以包括家庭成员的数量、每个成员的年龄、每个成员的性别、每个成员的宗教信仰和每个成员的工作。可以用运动、电影、戏剧、教育、新闻、娱乐和其它类别中的至少一个设置优选类别信息。视频显示装置信息可以包括信息如类型、制造商、固件版本、分辨率、型号、OS、浏览器、存储装置可用性、存储装置容量和视频显示装置的网速。一旦设置了使用信息范围，视频显示装置100就在设置范围内收集并报告主AV内容观看信息和增强型服务使用信息。可以在每个虚拟频道中设置使用信息范围。另外，可以在整个物理频道内设置使用信息测量可容许范围。

使用信息提供单元157存储由视频显示装置100收集的主AV内容观看信息和增强型服务使用信息。另外，视频显示装置100基于收集的主AV内容观看信息和增强型服务使用信息分析服务使用模式，并且将经分析的服务使用模式存储在使用信息存储单元157中。

增强型服务管理单元130可以从指纹服务器22或内容信息存储单元151获得主AV内容的内容信息。如果在内容信息存储单元151中没有与所提取的特征信息对应的内容信息或者足够的内容信息，则增强型服务管理单元130可以通过数据发送/接收单元141接收额外的内容信息。此外，增强型服务管理单元130可以连续地更新内容信息。

增强型服务管理单元130可以从增强型服务提供服务器50或增强型服务存储单元153获得可用的增强型服务。如果在增强型服务存储单元153中没有增强型服务或足够的增强型服务，则增强型服务管理单元130可以通过数据发送/接收单元141更新增强型服务。此外，增强型服务管理单元130可以连续地更新增强型服务。

增强型服务管理单元130可以从主AV内容中提取徽标，然后，可以查询徽标存储单元155，以获得与所提取的徽标对应的内容提供商标识符或水印服务器地址。如果在徽标存储单元155中没有与所提取的徽标对应的徽标或足够的徽标，则增强型服务管理单元130可以通过数据发送/接收单元141接收额外的徽标。此外，增强型服务管理单元130可以连续地更新徽标。

增强型服务管理单元130可以通过各种方法将从主AV内容中提取的徽标与徽标存储单元155中的多个徽标进行比较。这各种方法可以减少比较运算的负荷。

例如，增强型服务管理单元130可以基于颜色特性执行比较。也就是说，增强型服务管理单元130可以将所提取的徽标的颜色特性与徽标存储单元155中的徽标的颜色特性进行比较，以判定它们是否相同。

此外，增强型服务管理单元130可以基于字符识别执行比较。也就是说，增强型服务管理单元130可以将从所提取的徽标中识别的字符与从徽标存储单元155中的徽标中识别的字符进行比较，以判定它们是否相同。

此外，增强型服务管理单元130可以基于徽标的轮廓执行比较。也就是说，增强型服务管理单元130可以将所提取的徽标的轮廓与徽标存储单元155中的徽标的轮廓进行比较，以判定它们是否相同。

下文中，参照图11和图18，将根据各种实施方式描述增强型服务管理单元130。

图11是根据实施方式的增强型服务管理单元的层次结构关系图。

如图11中所示，增强型服务管理单元130可以包括操作系统131a、音频驱动器132a、视频驱动器133a、网络驱动器134a、ACR平台应用程序接口（API）135a、至少一个ACR引擎136a、ACR守护进程137a、ACR中间件138a和至少一个ACR应用程序139a。

当如图11中所示地使用增强型服务管理单元130时，用户不需要一定识别频道或内容并且可以一直执行ACR操作。

增强型服务管理单元130可以通过数据发送/接收单元141访问应用程序存储件，以下载应用程序。

音频驱动器132a可以访问用于音频指纹或音频水印的音频缓冲器。

视频驱动器133a可以访问用于视频指纹或视频水印的音频缓冲器。

网络驱动器134a允许ACR引擎136a访问数据发送/接收单元141。

平台API135a提供API，以允许ACR引擎136a访问音频驱动器132a、视频驱动器133a和网络驱动器134a。

因为多个广播站或内容提供商分别使用不同的内容识别服务，所以视频显示装置100可以包括多个ACR引擎136a。也就是说，视频显示装置100可以包括多个视频水印提取算法、多个音频水印提取算法、多个视频签名提取算法和多个音频签名提取算法中的至少一个的ACR引擎。基于水印的ACR引擎136a可以提取水印信息，然后可以从所提取的水印信息中获得水印功能、内容信息、增强型服务信息和可用增强型服务中的至少一个。基于指纹的ACR引擎136a可以提取主AV内容的某个片段的特征信息，然后可以基于所提取的特征信息，获得内容信息、增强型服务信息和可用增强型服务中的至少一个。

ACR守护进程137a管理至少一个ACR引擎136a。连续地执行该守护进程，以处理周期性服务请求。守护进程合适地传递所收集的请求，以允许另一个程序来处理它们。ACR守护进程137a可以管理ACR引擎136a的执行和终止。ACR守护进程137a在多个ACR引擎136a之中搜索与当前的主AV内容匹配的ACR引擎。具体地，如果因为执行多个ACR引擎而使系统资源被大大消耗，则ACR守护进程137a根据特定规则或优先级逐一地顺序执行多个ACR引擎136a，以确认内容识别是否是成功的。另外，如果多个ACR引擎136a之一成功地进行内容识别，则ACR守护进程137a针对所识别内容获得并执行与增强型服务对应的ACR应用程序139a。虽然ACR引擎136a成功地执行内容识别，但是如果由于频道改变导致内容不再被识别，则ACR守护进程137a可以终止ACR应用程序139a。

ACR中间件138a用作至少一个ACR应用程序139a的浏览器。

ACR应用程序139a可以向用户提供由ACR增强的用户体验。ACR应用程序139a可以是从应用程序商店或互联网下载的应用程序，或者可以是统一资源定位符（URL）。ACR应用程序139a可以提供内容目标广告、内容提供商门户服务、节目特定服务（如电子节目指南（EPG））或内容提供商特定服务。在ACR应用程序139a通过ACR应用程序与ACR引擎136a交互时，它从ACR引擎136a接收内容信息或签名并且额外获得与内容信息或签名对应的增强型服务，以在播放装置120中播放它们。为此，在以下的表3中示出ACR应用程序139a使用的ACR应用程序接口。

[表3]

图12是示出根据实施方式的增强型服务管理单元的操作的流程图。

在操作S401中，当广播接收装置60和视频显示装置100启动并且选择视频显示装置100的外部输入端口111时，ACR守护进程137a通过至少一个ACR引擎136a获得经调谐频道中广播的主AV内容的内容信息。

然后，在操作S403中，ACR守护进程137a获得涉及内容信息的可用增强型服务。

在操作S405中，ACR守护进程137a执行在后台获得的增强型服务。

在操作S407中，ACR守护进程137a在显示单元121上显示颜色按钮，以通知用户，增强型服务是可用的。

在操作S409中，当ACR守护进程137a接收增强型服务的使用时，它在播放装置120中在后台播放执行的增强型服务。

在操作S411中，如果改变或主AV内容发生改变，则ACR守护进程137a通过至少一个ACR引擎136a识别改变并且终止增强型服务。

图13是根据实施方式的增强型服务管理单元的层次结构关系图。

如图13中所示，增强型服务管理单元130可以包括操作系统131b、音频驱动器132b、视频驱动器133b、网络驱动器134b、ACR平台应用程序接口（API）135b、至少一个ACR引擎136b、ACR引擎管理单元137b、ACR中间件138b和至少一个ACR应用程序139b。

当如图13中所示地使用增强型服务管理单元130时，用户可能需要一定识别频道或内容。然而，因为对ACR的查询的次数减少，所以服务器耗费可能降低。

图13的增强型服务管理单元130中的音频驱动器132b、视频驱动器133b、网络驱动器134b、ACR平台API135b、至少一个ACR引擎136b和ACR中间件138b与图11的增强型服务管理单元130中的那些132a、133a、134a、135a、136a和138a相同或类似。因此，将省略对其的详细描述。

ACR引擎管理单元137b管理至少一个ACR引擎136b的列表并且将ACR引擎136b的选择接口提供给ACR应用程序139b。

ACR应用程序139b可以为用户提供由ACR增强的用户体验。ACR应用程序139b可以是从应用程序商店或互联网下载的应用程序，或者可以是简单的统一资源定位符（URL）。ACR应用程序139b可以提供内容目标广告、内容提供商门户服务、节目特定服务（如电子节目指南（EPG））或内容提供商特定服务。

在ACR应用程序139b通过ACR中间件138b的ACR应用程序接口与ACR引擎管理单元137b交互时，它可以选择所要使用的ACR引擎136b。为此，在以下的表4和表5中示出ACR应用程序139b使用的ACR应用程序接口。

[表4]

[表5]

当ACR应用程序139b通过ACR中间件138b的ACR应用程序接口与ACR引擎136b交互时，它控制ACR引擎136b，并且从ACR引擎136b接收内容信息或签名，以额外获得与内容信息或签名对应的增强型服务。然后，ACR应用程序139b在播放装置120中播放它们。为此，在以下的表6中示出ACR应用程序139b使用的ACR应用程序接口。

[表6]

因此，在表7中示出使用这种ACR应用程序接口的内容提供商相关应用程序的指纹样本代码的一个例子。

[表7]

因此，在表8中示出使用这种ACR应用程序接口的内容提供商相关应用程序的指纹样本代码的一个例子。

[表8]

因此，在表9中示出使用这种ACR应用程序接口的内容提供商相关应用程序的加水印样本代码的一个例子。

[表9]

因此，在表10中示出使用这种ACR应用程序接口的内容提供商相关应用程序的加水印样本代码的一个例子。

[表10]

图14是示出根据实施方式的增强型服务管理单元的操作的流程图。

尽管广播接收装置60和视频显示装置100启动并且选择视频显示装置100的外部输入端口111，但是视频显示装置100可以在执行ACR应用程序139b之前不执行自动内容识别。

在操作S501中，一旦识别主AV内容的频道的用户执行对应的频道相关ACR应用程序139b，ACR应用程序139b向ACR引擎管理单元137b查询与ACR应用程序139b使用的ACR引擎136b相关的信息并且接收它。

然后，ACR应用程序139b在操作S503中启动它使用的ACR引擎136b并且在操作S505中通过ACR引擎136b获得内容信息。

ACR应用程序139b在操作S507中通过获得的内容信息获得涉及主AV内容的可用增强型服务，并且在操作S509中在显示单元121上显示颜色按钮，以通知用户增强型服务是可用的。

在操作S511中，当ACR应用程序139b接收增强型服务的使用时，它在播放装置120中播放增强型服务。

在操作S513中，当ACR中间件138b接收涉及终止ACR应用程序139b的用户输入时，它终止ACR应用程序139b。

图15是根据实施方式的增强型服务管理单元的层次结构关系图。

如图15中所示，增强型服务管理单元130可以包括操作系统131c、音频驱动器132c、视频驱动器133c、网络驱动器134c、ACR平台API135c、ACR引擎136c、ACR中间件138c和至少一个ACR应用程序139c。

当如图15中所示地使用增强型服务管理单元130时，用户可能需要一定识别频道或内容。然而，因为对ACR的查询的数量可能减少，所以服务器消耗可能减少。

图15的增强型服务管理单元130中的音频驱动器132c、视频驱动器133c、网络驱动器134c、ACR平台API135c和ACR中间件138c与图11的增强型服务管理单元130中的那些132a、133a、134a、135a和138a相同或类似。因此，将省略对其的详细描述。

ACR引擎136c从主AV内容的音频样本的一些帧或某个片段中提取特征信息，以向ACR调节服务器（未示出）发送包括所提取的特征信息的查询。ACR调节服务器可以响应于查询发送指纹服务器地址。另外，ACR调节服务器可以发送与特征信息对应的内容信息连同指纹服务器地址。

当从ACR引擎136c接收指纹服务器地址时，ACR应用程序139c向与指纹服务器地址对应的指纹服务器发送包括ACR引擎136c所提取的特征信息的查询。为此，在以下的表11中示出ACR应用程序139c使用的ACR应用程序接口。

[表11]

因此，在表12中示出使用这种ACR应用程序接口的指纹样本代码的一个例子。

[表12]

图16是示出根据实施方式的增强型服务管理单元的操作的流程图。

在操作S601中，当广播接收装置60和视频显示装置100启动并且选择视频显示装置100的外部输入端口111时，ACR引擎136c从主AV内容的音频样本的一些帧或某个片段中提取特征信息，以向ACR调节服务器（未示出）发送包括所提取的特征信息的查询。

在操作S603中，ACR引擎136c接收响应于查询的指纹服务器地址。

ACR应用程序139c通过getACRBackend()方法从ACR引擎136c获得指纹服务器地址。

在操作S607中，ACR应用程序139c通过getSignature()方法从ACR引擎136c获得主AV内容的某个视频帧片段或某个音频片段的特征信息。

在操作S609中，ACR应用程序139c向与所获得的指纹服务器地址对应的指纹服务器发送包括所获得的特征信息的查询。

在操作S611中，ACR应用程序139c接收响应于查询的内容信息。

ACR应用程序139c在操作S613中基于所获得的内容信息获得可用增强型服务，并且在操作S615中在显示单元121上显示颜色按钮，以通知用户增强型服务是可用的。

在操作S617中，当ACR应用程序139c接收增强型服务的使用时，它在播放装置120中播放增强型服务。

在操作S619中，当ACR中间件138c接收涉及终止ACR应用程序139c的用户输入时，它终止ACR应用程序139c。

图17是根据实施方式的增强型服务管理单元的层次结构关系图。

如图17中所示，增强型服务管理单元130可以包括操作系统131d、音频驱动器132d、视频驱动器133d、网络驱动器134d、ACR平台API135d、至少一个ACR引擎136d、ACR引擎管理单元137d、应用程序管理单元138d和至少一个ACR应用程序139d。

当如图17中所示地使用增强型服务管理单元130时，用户不需要一定识别频道或内容，并且可以一直执行ACR操作。

图17的增强型服务管理单元130中的音频驱动器132d、视频驱动器133d、网络驱动器134d、ACR平台API135d和多个ACR引擎与图11的增强型服务管理单元130中的那些132a、133a、134a、135a和136a相同或类似。因此，将省略对其的详细描述。

ACR引擎管理单元137d确认ACR引擎136d与从外部输入端口111接收的主AV内容匹配并且确认ACR引擎136d与应用程序139d匹配。此时，ACR引擎管理单元137d控制多个ACR引擎136d，以同时或顺序地执行水印提取或查询发送。ACR引擎管理单元137d通过优先级控制多个ACR引擎136d。如果多个ACR引擎136d之一成功识别主AV内容，则ACR引擎管理单元137d将其余ACR引擎置于休眠模式，并且从正在工作的ACR引擎获得主AV内容的内容信息。

当应用程序管理单元138d与ACR引擎管理单元137d交互时，它控制ACR应用程序的产生、开始、停止、休眠和终止。

ACR应用程序139d可以是内置的应用程序。ACR应用程序139d可以通过表13中示出的函数控制ACR引擎136b。

[表13]

图18是示出根据实施方式的增强型服务管理单元的操作的流程图。

在操作S701中，当广播接收装置60和视频显示装置100启动并且选择视频显示装置100的外部输入端口111时，ACR引擎管理单元137d确认ACR引擎136a与从外部输入端口111接收的主AV内容匹配。此时，ACR引擎管理单元137d控制多个ACR引擎136d，以同时或顺序地执行水印提取或查询发送。ACR引擎管理单元137d通过优先级控制多个ACR引擎136d。

如果多个ACR引擎136d之一成功识别主AV内容，则ACR引擎管理单元137d在操作S702中将其余ACR引擎置于休眠模式，并且在操作S703中从正在工作的ACR引擎获得主AV内容的内容信息。

然后，ACR引擎管理单元137d在操作S704中确认涉及内容信息的可用应用程序，并且请求应用程序管理单元138d执行经确认的应用程序139d。

在操作S705中，应用程序管理单元138d在后台执行经确认的应用程序139d。

在操作S707中，在后台执行的应用程序139d在显示单元121上显示颜色按钮，以通知用户增强型服务是可用的。

在操作S709中，当在后台执行的应用程序139d从用户接收增强型服务的使用时，它在播放装置120中播放增强型服务。

如果在操作S710中频道或主AV内容被改变，则ACR引擎管理单元137d在操作S711中确认与应用程序139d匹配的ACR引擎136a并且将经确认的ACR引擎136a连接到应用程序139d。此时，ACR引擎管理单元137d控制多个ACR引擎136d，以同时或顺序地执行水印提取或查询发送。

如果应用程序管理单元138d在操作S712中接收用于终止应用程序139d的用户输入，则它在操作S713中终止应用程序139d。

然后，参照图19和图20，将描述根据实施方式的将主AV内容的播放时间与增强型服务的播放时间同步的方法。

然后，参照图19和图20，将描述根据实施方式的将主AV内容的播放时间与增强型服务的播放时间同步的方法。

增强型服务信息可以包括增强型服务的开始时间。此时，视频显示装置100可能需要在开始时间开始增强型服务。然而，因为视频显示装置100在没有时间戳的情况下接收发送未压缩的主AV内容的信号，所以主AV内容的播放时间的参考时间与增强型服务的开始时间的参考时间不同。尽管视频显示装置100接收具有时间信息的主AV内容，但是主AV内容的播放时间的参考时间可以与增强型服务的开始时间的参考时间不同，如同重新广播一样。因此，视频显示装置100可能需要将主AV内容的参考时间与增强型服务的参考时间同步。具体地，视频显示装置100可能需要将主AV内容的播放时间与增强型服务的开始时间同步。

首先，在操作S801中，增强型服务管理单元130提取主AV内容的某个片段。主AV内容的该片段可以包括主AV内容的一些视频帧或某个音频片段中的至少一个。增强型服务管理单元130提取主AV内容的该片段的时间被指定为Tn。

增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。更详细地，增强型服务管理单元130对所提取的片段中的用不可视水印编码的信息进行解码，以获得内容信息。另外，增强型服务管理单元130可以提取所提取的片段中的特征信息，并且基于所提取的特征信息，从指纹服务器22或内容信息存储单元151获得主AV内容的内容信息。增强型服务管理单元130获得内容信息的时间被指定为Tm。

此外，内容信息包括所提取的片段的开始时间Ts。在内容信息获取时间Tm之后，增强型服务管理单元130基于Ts、Tm和Tn将主AV内容的播放时间与增强型服务的开始时间同步。更详细地，增强型服务管理单元130将内容信息获取时间Tm视为通过以下的等式1计算出的时间Tp。

[等式1]

Tp=Ts+(Tm-Tn)

另外，增强型服务管理单元130将内容信息获取时间之后过去的Tx的时间视为Tp+Tx。

然后，在操作S807中，增强型服务管理单元130在所获得的内容信息中获得增强型服务和其开始时间Ta。

在操作S809中，如果被同步的主AV内容的播放时间与增强型服务的开始时间Ta相同，则增强型服务管理单元130开始所获得的增强型服务。更详细地，当满足以下的等式2时，增强型服务管理单元130可以开始增强型服务。

[等式2]

Tp+Tx=Ta

图20是示出根据实施方式的将主AV内容的播放时间与增强型服务的播放时间同步的方法的概念图。

如图20中所示，视频显示装置100在系统时间Tn期间提取AV样本。

视频显示装置100从所提取的AV样本中提取特征信息，并且将包括所提取的特征信息的查询发送到指纹服务器22，以接收查询结果。视频显示装置100通过解析查询结果，确认所提取的AV样本的开始时间Ts是否对应于11000ms的Tm。

因此，视频显示装置100将根据等式1确认的所提取的AV样本的开始时间的时间视为Ts+（Tm-Tn），使得，在此之后，主AV内容的播放时间可以与增强型服务的开始时间同步。

接着，将参照图21至图50根据各种实施方式描述ACR应用程序。

ACR应用程序可以包括自动播放应用程序、内容提供商应用程序和视频显示制造商应用程序。

图21是根据实施方式的当执行自动播放应用时的画面。

自动播放应用程序自动地播放增强型服务，即使是在用户没有采取动作时。从这个意义上讲，在本说明书中，自动播放应用程序被指定为往后靠应用程序（lean backapplication）。

在没有用户输入的情况下，自动播放应用程序根据主AV内容的播放时间自动地播放增强型服务，如内容提供商或广播站在主AV内容的播放期间提供的场景相关信息。也就是说，内容提供商或广播站完全控制自动播放应用程序。

如图21中所示，一旦执行自动播放应用程序，画面200就可以包括播放减少的主AV内容的子画面210和其中显示附加信息的子画面220。其中显示附加信息的子画面200可以在空间上与其中播放主AV内容的子画面210分开。

此外，当执行自动播放应用程序时，其中显示附加信息的区域可以是半透明的。在这种情况下，其中显示附加信息的区域可以与其中播放主AV内容的区域重叠。

图22是根据实施方式的当执行内容提供商应用程序时的画面。

在本说明书中，内容提供商应用程序被指定为完全交互式应用程序。

如图22(A)中所示，视频显示装置100下载并存储多个应用程序。图22(A)示出应用程序的图标230。多个应用程序之中的内容提供商应用程序是由内容提供商创建并分发的应用程序，因此，可以处于内容提供商的控制下。

视频显示装置100的用户可以从应用程序商店下载内容提供商应用程序并且判定是否要执行所下载的内容提供商应用程序。

图22(B)是当执行内容提供商应用程序时的画面。如图22(B)中所示，画面200可以包括其中播放减少的主AV内容的子画面210和其中显示附加信息的子画面220。

下文中，将参照图23至图50根据实施方式描述视频显示装置制造商应用程序。

视频显示装置制造商应用程序是由视频显示装置制造商创建并控制的，并且当制造视频显示装置100时可以预先被存储。也就是说，视频显示装置制造商应用程序可以提供相同的服务和用户界面，而不管内容提供商或内容为何。

视频显示装置制造商应用程序可以单独包括其中显示内容提供商提供的增强型服务的区域和其中显示视频显示装置制造商提供的增强型服务的区域。视频显示装置100的用户可以判定是否要执行视频显示装置制造商应用程序。

视频显示装置制造商应用程序可以具有两种类型。

第一种类型的视频显示装置制造商应用程序具有缩放用户界面。具有缩放用户界面的视频显示装置制造商应用程序减小其中显示主AV内容的区域的尺寸，以在减小的区域中显示所有主AV内容。另外，具有缩放用户界面的视频显示装置制造商应用程序重新确定其中显示应用程序的区域的形状，使其具有L或倒L形的结构。

第二种类型的视频显示装置制造商应用程序具有重叠的用户界面。具有重叠的用户界面的视频显示装置制造商应用程序保持其中显示主AV内容的区域的尺寸，并且将其中显示应用程序的区域重叠在主AV内容上。因为其中显示应用程序的区域覆盖主AV内容，所以应用程序区域可以是半透明的。

图23是根据实施方式的当执行具有缩放用户界面的视频显示装置制造商应用程序时的画面。

如图23中所示，当执行具有缩放用户界面的视频显示装置制造商应用程序时的画面300包括：主内容区310，其中显示主AV内容；主菜单区320，其中显示主菜单；通知区330，其中显示通知消息；控制按钮区340，其中显示用于控制视频显示装置制造商应用程序的控制按钮；子菜单区350，其中显示子菜单；附加信息区360，其中显示附加信息；和广告区370，其中显示广告。

控制按钮区340包括：结束按钮341，其用于结束视频显示装置制造商应用程序；隐藏按钮342，其用于隐藏视频显示装置制造商应用程序；和返回按钮343，其用于返回之前的信息。

在具有缩放用户界面的视频显示装置制造商应用程序中，主AV内容区310位于画面300的左上部；主菜单区320和通知区330位于主AV内容区310的下部；控制按钮区340位于左上部；子菜单区350位于控制按钮区340和附加信息区360之间；广告区370位于右下部；并且附加信息区360位于子菜单区350和广告区370之间。然而，它们的位置可能发生变化。

图24是根据实施方式的当执行具有重叠的用户界面的视频显示装置制造商应用时的画面。

如图24中所示，如同具有缩放用户界面的视频显示装置制造商应用程序一样，当执行具有重叠的用户界面的视频显示装置制造商应用程序时的画面300包括：主内容区310，其中显示主AV内容；主菜单区320，其中显示主菜单；通知区330，其中显示通知消息；控制按钮区340，其中显示用于控制视频显示装置制造商应用程序的控制按钮；子菜单区350，其中显示子菜单；附加信息区360，其中显示附加信息；和广告区370，其中显示广告。

在具有重叠的用户界面的视频显示装置制造商应用程序中，主AV内容区310位于画面300的左上部；主菜单区320和通知区330位于主AV内容区310的下部；控制按钮区340位于左上部；子菜单区350位于控制按钮区340和附加信息区360之间；广告区370位于右下部；并且附加信息区360位于子菜单区350和广告区370之间。然而，它们的位置可能发生变化。

下文中，将主要描述具有缩放用户界面的视频显示装置制造商应用程序。

视频显示装置制造商应用程序从内置于视频显示装置100内的ACR引擎接收必要信息并且很大程度上根据其符号具有两种类型的菜单。

第一种类型的菜单是针对时间不敏感增强型服务。也就是说，当选择涉及时间不敏感增强型服务的菜单时，视频显示装置100获得当前在画面上播放的主AV内容的标识符，基于所获得的标识符获得增强型服务，并且在附加信息区360上显示所获得的增强型服务。这种时间不敏感增强型服务的例子包括标题、类别、演员、导演和其它人的评价、短剪辑和短说明。通过这种基础信息，视频显示装置100可以与社交网络服务如Facebook和Twitter连接以搜索附加信息，或者提供经推荐的服务和相关的广告。

第二种类型的菜单是针对时间敏感增强型服务。也就是说，当选择涉及时间敏感增强型服务的菜单时，视频显示装置100获得当前在画面上播放的主AV内容的标识符和播放时间信息，基于所获得的标识符和播放时间信息获得时间敏感增强型服务，并且在附加信息区360上显示所获得的增强型服务。

视频显示装置制造商应用程序的主菜单包括节目菜单、信息菜单、社交菜单、推荐菜单和目录菜单。在这些菜单之中，时间不敏感菜单包括信息菜单、社交菜单、推荐菜单和目录菜单，并且时间敏感菜单包括节目菜单。如果选择时间不敏感菜单，则可以调用时间敏感应用程序。除了这五个主菜单之外，可以添加其它的主菜单。如果选择各个主菜单，则在子菜单区350上显示所选择主菜单的子菜单。

图25是示出根据实施方式的执行视频显示装置制造商应用程序的方法的流程图。

当在操作S901中通过压下遥控器的特定键接收与应用程序选择菜单显示对应的用户输入，将运动遥控器朝向下方向晃动，在播放主AV内容的同时将运动遥控器的光标在画面的底部方向上缩放时，在操作S903中，视频显示装置100显示图26的应用程序选择菜单。

图26是根据实施方式的当显示应用程序选择菜单时的画面。

如图26中所示，应用程序选择菜单380位于画面300的底部。应用程序选择菜单380可以是半透明的。

应用程序选择菜单380包括安装在视频显示装置100中的多个应用程序的执行图标。所显示的执行图标中的一个图标对应于视频显示装置制造商应用程序的执行图标。

当在操作S905中通过操纵遥控器中的左箭头键和右箭头键或者根据运动遥控器的移动移动光标来接收与视频显示装置制造商应用程序的图标选择对应的用户输入时，在操作S907中，视频显示装置100执行视频显示装置制造商应用程序。通过这个步骤，如果用户想的话，他/她可以立即执行应用程序，而不用在观看主AV内容的同时访问应用程序商店。

一旦执行视频显示装置制造商应用程序，就显示其主菜单。如果默认选择的是节目菜单，则在子菜单区350上显示其子菜单。在节目菜单的子菜单之中，默认选择的是全部子菜单。注意力放在全部子菜单上。随着时间流逝，自动地更新显示在附加信息区360上的增强型服务。<-按钮用于返回到前一菜单并且X按钮用于在关闭视频显示装置制造商应用程序之后返回到整个画面。

然后，将参照图27至图29根据实施方式描述视频显示装置制造商应用程序。

节目主菜单是用于在附加信息区360上显示应用程序的菜单，该菜单与正在播放的主AV内容在时间上相关。可以由内容拥有者如TV广播商提供显示与主AV内容相链接的应用程序的增强型服务信息。视频显示装置100分析增强型服务信息，以按正确时序在附加信息区360中显示对应的应用程序。画面中的UI在以下的图中示出。

节目菜单包括全部子菜单、参与子菜单和发现子菜单。

全部子菜单是用于在附加信息区360上显示涉及参与子菜单和发现子菜单的全部应用程序的菜单。参与子菜单是用于在节目中显示引导节目参与（如投票）的应用程序的菜单。发现子菜单是用于显示应用程序如场景相关信息的菜单。可以根据内容拥有者想要的应用程序的内容，添加或编辑节目菜单的子菜单。

图27是根据实施方式的当选择视频显示装置制造商应用程序中的节目主菜单的全部子菜单时的画面。

当选择全部子菜单即节目主菜单的第一子菜单时，视频显示装置100显示涉及参与子菜单的全部应用程序并且在附加信息区360上显示子菜单。

当选择全部子菜单时，视频显示装置100在附加信息区360上显示与特定时间同步的应用程序或事件。如果不存在与特定时间同步的应用程序，则视频显示装置100可以保留附加信息区350为空的空间。然而，因为空的空间没有刺激与用户的额外互动，所以如果没有与特定时间同步的应用程序，则视频显示装置100可以收集在现在之前出现的应用程序或事件以显示历史。

当用户进入视频显示装置制造商应用程序时，可以看到，用户可以在观看主AV内容的同时意图执行涉及主AV内容的交互式应用程序。在操纵多个菜单的同时，用户在特定时间可能没有观看到事件。具体地，当用户操纵菜单寻求时间不敏感增强型服务时，可能会出现以上情况。因此，在进入视频显示装置制造商应用程序之后，如果在操纵期间出现时间敏感事件，则视频显示装置100在通知区330上显示针对此的通知消息，以通知用户广播站在当前时间广播了特定事件。

当用户通过视频显示装置制造商应用程序确认音乐信息或地点信息时，出现时间链接应用程序，视频显示装置100在通知区330上显示通知消息。当接收与按压“转到（Go To）”按钮对应的用户输入时，视频显示装置100进入涉及出现时间链接应用程序的子菜单并且在附加信息区360上显示出现时间链接应用程序。通知消息可以是文本消息。另外，视频显示装置100可以用数字显示所传递的应用程序的数量。可以用Push方法将通知消息传递给观众。

图28是根据实施方式的当选择视频显示装置制造商应用程序中的节目主菜单的参与子菜单时的画面。

如图28中所示，一旦选择参与子菜单，视频显示装置100就在附加信息区360上显示引导观众参与（如投票）的应用程序。如果出现观众参与应用程序，则视频显示装置100将其在附加信息区360上显示。如果观众参与应用程序正进行投票，则视频显示装置100可以显示投票问题和投票结果。此外，视频显示装置100显示当前事件并且为了观众的方便起见，还在当前事件的底部显示观众参与的前一个事件。

图29是根据实施方式的当选择视频显示装置制造商应用程序中的节目主菜单的发现子菜单时的画面。

如图29中所示，一旦选择发现子菜单，视频显示装置100就在附加信息区360上除了观众参与应用程序之外还显示所有时间链接应用程序。例如，视频显示装置100在主AV内容中示出的产品或地点显示场景相关信息。视频显示装置100可以同时显示当前的场景相关信息和前一个场景相关信息。

此外，视频显示装置100可以显示通知消息，通知在子菜单上存在时间链接应用程序或事件。例如，如果出现观众参与应用程序，则视频显示装置100在参与子菜单上显示具有闪烁N的图标以引导观众参与。如果用户在预定时间内没有响应于该通知，则视频显示装置100可以去除该通知。

下文中，将参照图30至图36根据实施方式描述视频显示装置制造商应用程序的信息主菜单。

信息主菜单对应于时间敏感区。如同节目主菜单的UI一样，信息主菜单没有以应用程序自动显示并且在特定时间消失的UI方式进行操作。当然，尽管可以通过这个菜单显示上述时间链接应用程序，但是当选择除了节目主菜单之外的主菜单时，可以链接第二服务如搜索服务或Twitter服务。

信息主菜单包括搜索子菜单、Twitter子菜单和新闻子菜单。

然后，将参照图30至图32根据实施方式描述视频显示装置制造商应用程序中的信息主菜单的搜索子菜单。

图30是示出根据实施方式的搜索方法的流程图。

视频显示装置100提取主AV内容的某个片段并且基于所提取的片段获得内容信息。

一旦在操作S1002中选择视频显示装置制造商应用程序中的信息主菜单的搜索子菜单，在操作S1003中，视频显示装置100就基于所获得的内容信息获得包括与增强型服务对应的多个搜索项的搜索列表。搜索列表包括类别、演员、导演、地点和产品中的至少一个。

在操作S1007中，视频显示装置100在附加信息区360上显示搜索列表。将参照图30描述搜索列表的显示例子。

图31是根据实施方式的当选择视频显示装置制造商应用程序中的信息主菜单的搜索子菜单时的画面。

如图31中所示，搜索列表包括主AV内容的符号。视频显示装置100可以在附加信息区360上显示搜索项的图片或名字中的至少一个。

当在操作S1009中通过遥控器的光标选择多个搜索项中的一个时，在操作S1011中视频显示装置100搜索关于所选的搜索项的信息。此时，视频显示装置100可以使用互联网搜索引擎如Google。此外，视频显示装置100可以使用信息如Tribune媒体或IMDb。

在操作S1013中，视频显示装置100显示搜索到的关于附加信息区360的信息。因为搜索到的结果是通过服务提供商的编程（如Open API）自动获取的，所以可以大大节省画面设计的时间。将参照图32描述搜索信息的显示例子。

图32是根据实施方式的当选择视频显示装置制造商应用程序中的信息主菜单的搜索子菜单时的另一个画面。

如图32中所示，视频显示装置100在附加信息区360上显示针对所选择的搜索项的搜索结果。此外，视频显示装置在附加信息区360上设置Twitter按钮和编辑按钮，以关注演员的Twitter或者编辑演员的简档如全部影片目录或传记。

像这样，如果使用根据实施方式的搜索方法，则可以通过一次点击搜索涉及主AV数据的信息，使得可以不那么费力地输入搜索词。

接着，将参照图33至图34根据实施方式描述视频显示装置制造商应用程序中的信息主菜单的Twitter子菜单。

图33是示出根据实施方式的聊天窗口显示方法的流程图。

在操作S1101中，视频显示装置100提取主AV内容的某个片段并且基于所提取的片段获得内容信息。

一旦在操作S1102中选择视频显示装置制造商应用程序中的信息主菜单的Twitter子菜单，在操作S1103中视频显示装置100就基于所获得的内容信息获得与增强型服务对应的Twitter聊天列表。视频显示装置100在Twitter的Hashtag上写上节目名字，以下载涉及该节目的Twitter聊天列表。这个聊天列表链接到Twitter并且实时地持续更新。

在操作S1107中，视频显示装置100通过用户选择或者自动地在附加信息区360上显示Twitter聊天列表中的一个聊天窗口。将参照图34描述聊天窗口的显示例子。

图34是根据实施方式的当选择视频显示装置制造商应用程序中的信息主菜单的Twitter子菜单时的画面。

如图34中所示，视频显示装置100在附加信息区360上显示聊天窗口，以支持观看同一节目的观众之间进行聊天。

当广播节目时，该节目的用户可以实际上直接在聊天室中写消息。如果视频显示装置100具有如同智能TV一样的登录机制，则视频显示装置100的用户可以在进入菜单时立即在他自己的ID处于登录状态的情况下开始聊天。如果不方便通过遥控器对视频显示装置100进行输入，则视频显示装置100可以只显示聊天消息。如果视频显示装置100链接到第二装置如智能电话或平板电脑，则可以使用第二装置的输入装置键入消息。尽管Hashtag中的信息基本上是节目名字，但是它可以被选择作为演员或导演的标记，即，上述其它基本信息，使得可以用户可以选择性地参与对应主题的聊天。

接着，将参照图35至图36根据实施方式描述视频显示装置制造商应用程序中的信息主菜单的新闻子菜单。

图35是示出根据实施方式的新闻获得方法的流程图。

在操作S1201中，视频显示装置100提取主AV内容的某个片段并且基于所提取的片段获得内容信息。

一旦在操作S1202中选择视频显示装置制造商应用程序中的信息主菜单的新闻子菜单，在操作S1203中视频显示装置100就基于所获得的内容信息获得与增强型服务对应的新闻。此时，新闻可以涉及或者可以不涉及主AV内容。或者，新闻可以由主AV内容的广播商提供。如果广播商没有通过Open API提供新闻，则视频显示装置100可以通过互联网服务如Google或Yahoo的新闻馈送接收新闻。

在操作S1207中，视频显示装置100在附加信息区360上显示所获得的新闻。将参照图36描述新闻的显示例子。

图36是根据实施方式的当选择视频显示装置制造商应用程序中的信息主菜单的新闻子菜单时的画面。

如图36中所示，视频显示装置100可以在附加信息区360上显示所获得的新闻。

下文中，将参照图37至图42根据实施方式描述视频显示装置制造商应用程序的社交主菜单。

社交主菜单对应于时间不敏感区。如同节目主菜单的UI一样，社交主菜单没有以应用程序自动显示并且在特定时间消失的UI方式进行操作。当然，尽管可以通过这个菜单显示上述时间链接应用程序，但是当选择除了节目主菜单之外的主菜单时，可以链接第二服务如Facebook。

社交主菜单包括观众列表子菜单和优先显示子菜单。

然后，将参照图37至图40根据实施方式描述视频显示装置制造商应用程序中的社交主菜单的观众列表子菜单。

图37是示出根据实施方式的观众列表显示方法的流程图。

在操作S1301中，视频显示装置100提取主AV内容的某个片段并且基于所提取的片段获得内容信息。

一旦在操作S1302中选择视频显示装置制造商应用程序中的社交主菜单的观众列表子菜单，在操作S1303中视频显示装置100就基于所获得的内容信息获得与朋友列表以及每个朋友是否观看主AV内容有关的信息。视频显示装置100可以与社交网络服务如Facebook链接，以获得观看主AV内容的朋友的列表。

在操作S1307中，视频显示装置100在附加信息区360上显示所获得的观众列表。将参照图38描述观众列表的显示例子。

图38是根据实施方式的当选择视频显示装置制造商应用程序中的社交主菜单的观众列表子菜单时的画面。

如图38中所示，视频显示装置100可以在附加信息区360上显示与所获得的观众列表对应的观众的照片和名字。

具体地，视频显示装置100可以显示朋友列表连同每个朋友是否观看内容或者可以只显示当前观看内容的朋友的列表。

当在操作S1309中从所显示的朋友中选择一个朋友时，在操作S1311中视频显示装置100确认所选择的朋友是否匹配主AV内容。

如果所选择的朋友观看主AV内容，则在操作S1313中视频显示装置100在附加信息区360上显示所选择朋友的的聊天窗口。

另外，如果所选择的朋友没有观看主AV内容，则在操作S1315中视频显示装置100将推荐观看主AV内容的消息发送到所选择朋友的电子邮件或移动电话。即使所选择的朋友没有观看主AV内容，视频显示装置100也可以在附加信息区360上显示所选择朋友的聊天窗口。

为了聊天，用户可以使用视频显示装置100的遥控器或者与视频显示装置100连接的第二装置的输入装置，并且可以通过智能电话的社交网络服务应用程序与朋友聊天，而不管视频显示装置100如何。在任一种情况下，社交网络服务的聊天画面可以在视频显示装置100的画面上显示。通过评价节目的按钮，用户可以将他/她的意图发送给朋友。例如，用户可以通知朋友他/她当前观看主AV内容并且可以通过“好（good）”按钮推荐没有观看主AV内容的朋友观看该主AV内容。

像这样，视频显示装置100通过观众列表子菜单使用ACR技术自动地识别谁正在观看什么节目。为了确认谁正在观看哪个节目，用户需要登录。一旦登录账号在视频显示装置100中注册，每当视频显示装置100启动时，用户就可以自动地登录。因此，视频显示装置100识别谁正在观看主AV内容。

图39是根据实施方式的当视频显示装置获得朋友列表和观看信息时的信号流。

如图39中所示，如果朋友A的视频显示装置播放主AV内容A，则在操作S1401中它将主AV内容A的标识符和朋友A的标识符发送到SNS提供服务器75。

另外，如果朋友B的视频显示装置播放主AV内容A，则在操作S1403中它将主AV内容A的标识符和朋友B的标识符发送到SNS提供服务器75。

如果视频显示装置100播放主AV内容A，则在操作S1405中它将用户ID和主AV内容A的标识符发送到SNS提供服务器75。

在操作S1407中，SNS提供服务器75基于朋友关系信息和接收到的内容标识符，确认与视频显示装置100的朋友列表和每个朋友是否观看主AV内容有关的信息。

图40是根据实施方式的当视频显示装置获得朋友列表和观看信息时的信号流。

如图40中所示，如果朋友A的视频显示装置播放主AV内容A，则在操作S1501中它将朋友A的标识符发送到SNS提供服务器75并且在操作S1503中将主AV内容A发送到ACR服务器。ACR服务器77可以是水印服务器21、指纹服务器22、增强型服务信息提供服务器40和增强型服务提供服务器50中的一个。

另外，如果朋友B的视频显示装置播放主AV内容A，则在操作S1505中它将朋友B的标识符发送到SNS提供服务器75，并且在操作S1507中将主AV内容A发送到ACR服务器77。

在操作1509中，视频显示装置100将用户ID发送到SNS提供服务器75。

然后，在操作S1511中，SNS提供服务器75将与用户ID对应的朋友列表提供到ACR服务器75。

此外，如果视频显示装置100播放主AV内容A，则在操作S1513中它将用户ID和主AV内容A的标识符发送到ACR服务器75。

在操作S1515中，ACR服务器75基于与用户ID和内容标识符对应的朋友列表，确认与视频显示装置100的朋友列表和每个朋友是否观看主AV内容有关的信息，然后将确认的信息提供到视频显示装置100。

然后，将参照图41至图42根据实施方式描述视频显示装置制造商应用程序中的社交主菜单的优先显示子菜单。

图41是示出根据实施方式的优先显示方法的流程图。

在操作S1601中，视频显示装置100提取主AV内容的某个片段并且基于所提取的片段获得内容信息。

一旦在操作S1602中选择视频显示装置制造商应用程序中的社交主菜单的优先显示子菜单，在操作S1603中视频显示装置100就基于所获得的内容信息获得包括多个优先显示项的优先显示列表。这里，优先显示项可以包括预览或预览地址。预览可以是图像或短视频。预览可以直接由广播商通过Open API提供，或者可以通过互联网服务的搜索引擎获得，或者通过只从广播商的互联网服务器提取必要部分而获得。可以提供与对应于几分钟的时间间隔的重要场景对应的图像或者可以提供一个节目的一个图像。

在操作S1607中，视频显示装置100在附加信息区360上显示获得的优先显示列表。将参照图42描述观众列表的显示例子。

图42是根据实施方式的当选择视频显示装置制造商应用程序中的社交主菜单的优先显示子菜单时的画面。

如图42中所示，视频显示装置100可以在优先显示列表中显示预览并且在附加信息区360上显示用于优先显示的“喜欢它”按钮。

一旦在操作S1609中选择与一个优先显示项对应的“喜欢它”按钮，在操作S1611中视频显示装置100就将与所选择的优先显示项对应的预览和简单文本张贴在SNS如Facebook上。这里，简单文本可以是自动产生的，或者可以是通过遥控器或第二装置的输入装置输入的。

下文中，将参照图43至图46根据实施方式描述视频显示装置制造商应用程序的推荐主菜单。

推荐主菜单对应于时间不敏感区。如同节目主菜单的UI一样，推荐主菜单没有以应用程序自动显示并且在特定时间消失的UI方式进行操作。当然，通过这个菜单，可以显示上述时间链接应用程序，但是如果选择了推荐菜单，则可以链接另一个服务。

推荐主菜单可以包括前一剧集子菜单、VOD子菜单和应用程序子菜单。

图43是示出根据实施方式的数字媒体下载方法的流程图。

在操作S1701中，视频显示装置100提取主AV内容的某个片段并且基于所提取的片段获得内容信息。

一旦在操作S1702中选择视频显示装置制造商应用程序中的推荐主菜单，在操作S1703中视频显示装置制造商应用程序就基于所获得的内容信息获得数字媒体列表。如果选择前一剧集子菜单，则视频显示装置100获得前一剧集列表。如果选择VOD子菜单，则视频显示装置100获得涉及主AV内容或者主AV内容的提供商推荐的VOD列表。如果选择应用程序子菜单，则视频显示装置100获得涉及主AV内容或者主AV内容的提供商推荐的VOD列表。这里，数字媒体列表可以包括预览、预览地址和图标相关图像。

在操作S1707中，视频显示装置制造商应用程序在附加信息区360上显示所获得的数字媒体列表。

参照图44描述前一剧集列表的例子。

图44是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的前一剧集子菜单时的画面。

如图44中所示，视频显示装置100在附加信息区360上显示前一剧集列表的预览和标题。像这样，根据实施方式，视频显示装置100可以在没有用户操纵的情况下自动搜索并显示前一剧集。

将参照图45描述VOD列表的显示例子。

图45是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的VOD子菜单时的画面。

如图45中所示，视频显示装置100在附加信息区360上显示VOD列表的预览和标题。像这样，根据实施方式，视频显示装置100可以在没有用户操纵的情况下自动搜索并显示涉及主AV内容的VOD。

将参照图46描述应用程序列表的显示例子。

图46是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的应用子菜单时的画面。

如图46中所示，视频显示装置100在附加信息区360上显示应用程序列表的图标和应用程序名称。像这样，根据实施方式，视频显示装置100可以在没有用户操纵的情况下自动搜索并显示涉及主AV内容的应用程序。

一旦在操作S1709中从数字媒体列表中选择一项，在操作S1711中视频显示装置制造商应用程序就下载与所选择项对应的数字媒体。此时，视频显示装置100可以在支付之后下载数字媒体。如果所选项是前一剧集或VOD，则视频显示装置100可以播放所下载的数字媒体。如果所选项是应用程序，则视频显示装置可以自动播放所下载的应用程序或者可以通过用户的选择播放它。

像这样，根据实施方式，视频显示装置可以通过简单操纵下载数字媒体。

下文中，将参照图47至图50根据实施方式描述视频显示装置制造商应用程序的目录主菜单。

目录主菜单对应于时间不敏感区。如同节目主菜单的UI一样，目录主菜单没有以应用程序自动显示并且在特定时间消失的UI方式进行操作。当然，通过这个菜单，可以显示上述时间链接应用程序，但是如果选择了目录菜单，则可以链接另一个服务。

目录主菜单可以包括风格子菜单、音乐主菜单和其它子菜单。

图47是示出根据实施方式的目录显示方法的流程图。

在操作S1801中，视频显示装置100提取主AV内容的某个片段并且基于所提取的片段获得内容信息。

一旦在操作S1802中选择视频显示装置制造商应用程序中的目录主菜单，在操作S1803中视频显示装置制造商应用程序就基于所获得的内容信息获得目录列表。如果选择风格子菜单，则视频显示装置100获得涉及主AV内容或者主AV内容的提供商推荐的装扮（clothing）目录列表。如果选择音乐子菜单，则视频显示装置100获得涉及主AV内容或者主AV内容的提供商推荐的音乐目录列表。如果选择其它子菜单，则视频显示装置100获得涉及主AV内容或者主AV内容的提供商推荐的产品或地点目录列表。这里，数字媒体列表可以包括相关图像、价格信息、说明和优惠券。优惠券可以是数字或QR代码。视频显示装置100可以只在用户观看主AV内容时显示优惠券，或者可以允许用户在将优惠券存储在存储器150上之后在有效期内使用优惠券。

在操作S1807中，视频显示装置制造商应用程序在附加信息区360上显示所获得的目录列表。

将参照图48描述装扮目录列表的显示例子。

图48是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的风格子菜单时的画面。

如图48中所示，视频显示装置100在附加信息区360上显示制作者信息、价格信息、涉及主AV内容的装扮的说明信息。像这样，根据实施方式，视频显示装置100可以在没有用户操纵的情况下自动搜索并显示装扮目录。

参照图49描述音乐目录列表的例子。

图49是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的音乐子菜单时的画面。

如图49中所示，视频显示装置100在附加信息区360上显示演唱者信息、价格信息、涉及主AV内容的音乐的说明信息。像这样，根据实施方式，视频显示装置100可以在没有用户操纵的情况下自动搜索并显示音乐目录。

将参照图50描述其它目录列表的显示例子。

图50是根据实施方式的当选择视频显示装置制造商应用程序中的推荐主菜单的其它子菜单时的画面。

如图50中所示，视频显示装置100在附加信息区360上显示价格信息和涉及主AV内容的产品和地点的说明信息。像这样，根据实施方式，视频显示装置100可以在没有用户操纵的情况下自动搜索并显示涉及主AV内容的产品或地点目录。

一旦在操作S1809中从目录列表中选择一项，则在操作S1811中视频显示装置制造商应用程序显示与所选项对应的购买项。

像这样，根据实施方式，用户可以通过简单操纵购买产品。

可以在目录列表中的每项中设置购买后评价按钮和书签按钮。

一旦选择购买后评价按钮，视频显示装置100就可以在附加信息区360上显示产品的用后评价。另外，用户可以写入购买后评价。

另外，在通过书签按钮对特定项加书签之后，用户可以通过社交主菜单的观众列表子菜单推荐加书签的项。

在这种情况下，视频显示装置100可以将书签项信息提供到ACR服务器77或SNS提供服务器75。

然后，接收推荐的用户的视频显示装置100基于从主AV内容提取的片段获得内容信息，并且如果主AV内容基于所获得的内容信息对应于所推荐项的广告的话，则可以显示推荐消息如“这个产品是由朋友U推荐的”。另外，可以显示短视频来替代推荐消息。

然后，将参照图51和图52根据实施方式描述ACR功能的开启/关闭控制。

图51是根据实施方式的用于控制ACR功能的用户界面的视图。

如图51中所示，播放控制单元113显示ACR功能设置窗口。用户可以通过ACR功能设置窗口对ACR功能进行激活或去激活。

当激活ACR功能时，用户可以选择ACR模式。ACR模式可以被设置为具有自动播放应用程序模式、内容提供商应用程序模式和视频显示制造商应用程序模式中的一个。

当用以上方式设置ACR功能模式时，播放控制单元113将设置信息存储在设置信息存储单元154上。

图52是示出根据实施方式的控制视频显示装置的方法的流程图。

在操作S1901中，增强型服务管理单元130确认ACR功能是否启动。

如果去激活ACR功能，则增强型服务管理单元130不再执行内容信息获得程序。

如果激活ACR功能，则在操作S1902中增强型服务管理单元130提取主AV内容的某个片段。

在操作S1903中，增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。

在操作S1905中，增强型服务管理单元130将主AV内容的参考时间与替代广告的参考时间同步。

在操作S1907中，增强型服务管理单元130基于所获得的内容信息获得增强型服务。增强型服务管理单元130基于内容信息获得增强型服务信息，然后基于增强型服务信息获得增强型服务。

然后，在操作S1909中，增强型服务管理单元130确认ACR模式。

在操作S1911中，增强型服务管理单元130根据ACR模式播放增强型服务。

更详细地，如果ACR模式是自动播放应用程序模式，则增强型服务管理单元130执行自动播放应用程序，并且所执行的自动播放应用程序播放所获得的增强型服务。

如果ACR模式是内容提供商应用程序模式，则增强型服务管理单元130在后台执行与所获得的内容信息对应的内容提供商应用程序。增强型服务管理单元130在接收与增强型服务使用对应的用户输入时显示内容提供商应用程序。这个内容提供商应用程序可以播放所获得的增强型服务。作为内容提供商应用程序在后台自动执行的替代方式，内容提供商应用程序可以通过用户输入执行。

如果ACR模式是视频显示装置制造商应用程序模式，则增强型服务管理单元130在后台执行视频显示装置制造商应用程序。增强型服务管理单元130在接收与增强型服务使用对应的用户输入时显示视频显示装置制造商应用程序。这个视频显示装置制造商应用程序可以播放所获得的增强型服务。作为视频显示装置制造商应用程序在后台自动执行的替代方式，视频显示装置制造商应用程序可以通过用户输入执行。

下文中，将参照图53和图54根据实施方式描述广告供选择方法。

图53是示出根据实施方式的广告供选择方法的流程图。

首先，在操作S2001中，增强型服务管理单元130提取主AV内容的某个片段。

在操作S2003中，增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。

然后，在操作S2005中，增强型服务管理单元130基于所获得的内容信息获得广告供选择信息（advertisement alternative information），即，增强型服务信息。

增强型服务管理单元130可以接收同时包括主AV内容的内容信息和广告供选择信息二者的查询结果。表14示出查询结果的例子。

[表14]

在表14中，<queryresult>标记是根标记，并且代表来自指纹服务器22的查询应答。<content>标记表示主AV内容的整个信息。<playtime>标记示出主AV内容的整个播放时间。视频显示装置100可以通过<playtime>标记中的信息计算主AV内容的结束时间。<broadcastor>标记表示主AV内容的广播站信息。

<signature>标记表示视频显示装置100用于产生签名的AV样本的时间信息。<signature>标记中的<starttime>标记包括用于产生签名的AV样本的开始时间，并且<signature>标记中的<endtime>标记包括用于产生签名的AV样本的结束时间。视频显示装置100可以通过<starttime>标记和<endtime>标记中的信息连续地同步主AV内容的播放时间。

<AD>标记包括涉及当前按时间顺序播放的内容的所有广播替代信息。视频显示装置100预先接收并存储广告文件或流或者可以通过<AD>标记中的信息将其缓冲。此外，视频显示装置100可以通过<AD>标记中的信息用主AV内容适当地取代同步时间处的广告。

<ad1>标记包括关于用于广播替代的一个广播的信息。<adtype>标记代表广告的类型，并且通知接收器广告是媒体文件或媒体流。<category>标记表示广告的类别项，并且视频显示装置100通过使用<category>标记选择并显示用户想要的广告，如果在同一广告时间存在多个广告的话。<adname>标记表示广告的名称。

<starttime>标记表示供选择广告的开始时间，并且<endtime>表示供选择广告的结束时间。供选择广告的开始时间和结束时间是从主AV内容的开始计算出的时间戳值并且用ms表达。<adRUL>标记包括供选择广告的位置信息。<description>标记包括对供选择广告的说明。

在发送广告供选择信息之后，可以只发送表15中示出的内容信息。

[表15]

在操作S2007中，增强型服务管理单元130访问广告供选择信息中的供选择广告地址，以获得供选择广告文件。如表14中所示，如果广告供选择信息包括多个广告地址，则增强型服务管理单元130获得多个供选择广告文件。

在操作S2009中，增强型服务管理单元130将主AV内容的播放时间与供选择广告的开始时间同步。

如果主AV内容的同步播放时间与共选择广告的开始时间相同，则在操作S2011中增强型服务管理单元130开始供选择广告以取代主AV内容的广告。

图54是示出根据另一个实施方式的广告供选择方法的流程图。

首先，在操作S2101中，增强型服务管理单元130提取主AV内容的某个片段。

在操作S2103中，增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。此时，内容信息的内容对应于表15。

在操作S2104中，增强型服务管理单元130将主AV内容的播放时间与供选择广告的开始时间同步。

然后，在操作S2105中，增强型服务管理单元130基于所获得的内容信息获得广告供选择信息，即，增强型服务信息。

增强型服务管理单元130可以接收同时包括主AV内容的内容信息和广告供选择信息的查询结果。表16示出查询结果的例子。

[表16]

在操作S2107中，增强型服务管理单元130访问广告供选择信息中的供选择广告地址，以获得供选择广告文件。

如果主AV内容的同步播放时间与供选择广告的开始时间相同，则在操作S2111中增强型服务管理单元130开始供选择广告以取代主AV内容的广告。

接着，将参照图55和图62根据实施方式描述场景相关信息显示方法。

图55是示出根据实施方式的场景相关信息显示方法的流程图。图56是根据实施方式的用于选择场景相关信息显示模式的用户界面。

当在操作S2201中由用户从多个菜单中选择场景相关信息显示模式时，在操作S2203中增强型服务管理单元130在显示单元121上显示用于选择多个场景相关信息显示模式中的至少一个的画面。

如图56中所示，多个场景相关信息显示模式可以包括即时显示模式、用户选择显示模式、综合显示模式和场景相关信息忽略模式。

当在操作S2205中选择多个场景相关信息显示模式中的一个时，在操作S2207中，增强型服务管理单元130在显示单元121上显示用于选择多个场景相关信息类别项中的至少一个的画面。

如图56中所示，多个场景相关信息类别项可以包括各种项，如摄影地点、美食和餐厅。

当在操作S2209中选择多个场景相关信息类别项中的至少一个时，在操作S2211中增强型服务管理单元130将所选择的场景相关信息显示模式和所选择的场景相关信息类别项存储在设置信息存储单元157上。

图57是示出根据实施方式的场景相关信息显示方法的流程图。

首先，在操作S2301中，增强型服务管理单元130提取主AV内容的某个片段。

在操作S2303中，增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。

在操作S2304中，增强型服务管理单元130将主AV内容的播放时间与场景相关信息（即增强型服务信息）的开始时间同步。

然后，在操作S2305中，增强型服务管理单元130基于所获得的内容信息获得场景相关信息，即，增强型服务信息。

增强型服务管理单元130可以接收同时包括主AV内容的内容信息和场景相关信息的查询结果。表17示出查询结果的例子。

[表17]

在操作S2307中，增强型服务管理单元130访问查询结果中的场景相关信息地址，以获得场景相关信息。

如果在操作S2308中主AV内容的同步播放时间与场景相关信息的开始时间相同，则增强型服务管理单元130根据存储在设置信息存储单元157中的场景相关信息显示模式和场景相关信息类别项，处理场景相关信息。

此时，如果在操作S2309中所选择的场景相关信息显示模式是即时显示模式并且所获得的场景相关信息的类别对应于相关于所选择的场景相关信息显示模式而选择的场景相关信息类别项，则在操作S2310中增强型服务管理单元130不考虑用户的操纵播放所获得的场景相关信息。

此时，如果在操作S2311中所选择的场景相关信息显示模式是场景相关信息忽略模式并且所获得的场景相关信息的类别对应于相关于所选择的场景相关信息显示模式而选择的场景相关信息类别项，则在操作S2312中增强型服务管理单元130可以忽略所获得的场景相关信息。也就是说，增强型服务管理单元130可以不显示场景相关信息的指示符并且可以不执行场景相关信息。此时，如果所选择的场景相关信息显示模式是场景相关信息忽略模式，则增强型服务管理单元130可以忽略所获得的场景相关信息，而不管所选择的场景相关信息类别项如何。

如果在操作S2313中所选择的场景相关信息显示模式是用户选择显示模式并且所获得的场景相关信息的类别项对应于相关于所选择的场景相关信息显示模式而选择的场景相关信息类别项，则增强型服务管理单元130可以在显示单元121上显示用于通知存在所获得的场景相关信息的指示符，并且可以在播放装置120中播放与增强型服务显示用户输入对应的所获得的场景相关信息。将参照图58和图59对此进行描述。

图58是示出根据实施方式的场景相关信息的用户选择显示方法的流程图。图59是示出根据实施方式的场景相关信息的用户选择显示方法的概念图。

一旦达到与场景相关信息对应的应用程序1的开始时间，在操作S2315中视频显示装置100就在显示单元121上显示至少一个指示符。如图59中所示，至少一个指示符可以包括即时观看指示符、加书签指示符和关闭指示符。

当在操作S2316中接收与即时观看指示符对应的用户输入时，在操作S2317中视频显示装置100在播放装置120中播放所获得的场景相关信息。

当在操作S2319中接收与关闭指示符对应的用户输入时，在操作S2321中视频显示装置100关闭所显示的指示符并且终止所获得的场景相关信息。

当在操作S2323中接收与加书签指示符对应的用户输入时，在操作S2325中视频显示装置100将所获得的场景相关信息的书签存储在存储单元155中。此时，书签包括书签标识、场景相关信息地址、场景相关信息说明、场景相关信息的可用时间和与场景相关信息对应的主AV内容的拍摄图像。

随后，当在操作S2327中视频显示装置100接收与书签显示对应的用户输入或者到达预定的书签显示时间时，在操作S2329中视频显示装置100可以在显示单元121上显示至少一个书签。预定设置的书签显示时间可以是主AV内容的结束时间。可以通过使用类别项和可用时间作为分类标准来显示多个书签。

当在操作S2331中用户点击场景相关信息地址或说明时，在操作S2333中视频显示装置100播放所点击的场景相关信息。

另外，当在操作S2335中用户点击与场景相关信息对应的主AV内容的拍摄图像时，在操作S2337中视频显示装置100在与拍摄图像对应的点播放主AV内容。此时，视频显示装置100可以按流格式接收主AV内容并且可以播放它。

如果在操作S2314中所选择的场景相关信息显示模式是综合显示模式并且所获得的场景相关信息的类别项对应于相关于所选择的场景相关信息显示模式而选择的场景相关信息类别项，则增强型服务管理单元130将不管用户的操纵如何而获得的场景相关信息的书签存储在书签存储单元155中。将参照图60和图61对此进行描述。

图60是示出根据实施方式的显示综合场景相关信息的方法的流程图。图61是示出根据实施方式的显示综合场景相关信息的方法的概念图。

如果所选择的场景相关信息显示模式是综合显示模式并且所获得的场景相关信息的类别项对应于相关于所选择的场景相关信息显示模式而选择的场景相关信息类别项，则在操作S2339中增强型服务管理单元130将不管用户的操纵如何而获得的场景相关信息的书签存储在书签存储单元155中，而不显示指示符。此时，书签包括书签标识、场景相关信息地址、场景相关信息说明、场景相关信息的可用时间和与场景相关信息对应的主AV内容的拍摄图像。

随后，当在操作S2341中视频显示装置100接收与书签显示对应的用户输入或者到达预定的书签显示时间时，在操作S2343中视频显示装置100可以在显示单元121上显示至少一个书签。预定设置的书签显示时间可以是主AV内容的结束时间。如图61中所示，可以通过使用类别项和可用时间作为分类标准来显示多个书签。

当在操作S2345中用户点击场景相关信息地址或说明时，在操作S2347中视频显示装置100播放所点击的场景相关信息。

另外，当在操作S2349中用户点击与场景相关信息对应的主AV内容的拍摄图像时，在操作S2351中视频显示装置100在与拍摄图像对应的点播放主AV内容。此时，视频显示装置100可以按流格式接收主AV内容并且可以播放它。

如果如图62中所示地使用显示综合场景相关信息的方法，则可以综合并显示主AV内容的赞助商。

图62示出主AV内容的赞助商广告的综合画面。

如图62中所示，当视频显示装置100接收与书签显示对应的用户输入或者到达预定的书签显示时间时，视频显示装置100可以显示主AV内容的赞助商广告的综合画面。此时，主AV内容的赞助商广告项以图标形式显示，并且一旦图标被点击，视频显示装置100就可以显示与所点击图标对应的服务页面。

接着，参照图63和图67，将根据实施方式描述根据分级信息控制视频显示装置100的方法。

图63是示出根据实施方式的存储分级设置信息的方法的流程图。图64是根据实施方式的存储分级设置信息的用户界面。

当在操作S2401中用户从多个菜单中选择分级设置菜单时，在操作S2403中管理单元130在显示单元121上显示密码输入的画面。

如果在操作S2405中输入正确的密码，则在操作S2407中增强型服务管理单元130在显示单元121上显示分级设置画面。如图64中所示，可以通过分级设置画面输入多个分级设置项。每个分级设置项可以包括分级应用时间和分级值。分级值可以包括所有年龄可用、超过7岁可用、超过12岁可用和超过19岁可用。

一旦在操作S2409中通过分级设置画面输入分级设置信息，在操作S2441中增强型服务管理单元130就将所输入的分级设置信息存储在设置信息存储单元157中。

图65是示出根据实施方式的播放基于分级的主AV内容的方法的流程图。

首先，在操作S2501中，增强型服务管理单元130提取主AV内容的某个片段。

在操作S2503中，增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。表18示出所获得的内容信息的例子。

[表18]

如表18中所示，当前主AV内容的分级对应于超过12岁可用。

在操作S2505中，增强型服务管理单元130判定所获得的内容信息中的主AV内容分级信息是否满足所设置的主AV分级信息。

如果所获得的内容信息中的主AV内容分级信息不满足所设置的主AV分级信息，则在操作S2507中增强型服务管理单元130获得用于防止播放主AV内容的增强型服务，如马赛克、图片、广告和密码输入画面，然后播放所获得的增强型服务。

如果在操作S2509中通过密码输入画面输入正确的密码，则在操作S2511中增强型服务管理单元130取消用于防止播放主AV内容的增强型服务。

在操作S2513中，增强型服务管理单元130记录不满足所设置的主AV分级信息的事件和取消用于防止播放主AV内容的增强型服务的事件。

然后，在操作S2515中，增强型服务管理单元130根据预定的报告时间或用户请求，将所记录的事件信息报告到预定的电子邮件。

图66是示出根据另一个实施方式的播放基于分级的主AV内容的方法的流程图。

首先，在操作S2601中，增强型服务管理单元130提取主AV内容的某个片段。

在操作S2603中，增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。表19示出所获得的内容信息的例子。

[表19]

如表19中所示，内容信息包括具有分别与多个时隙对应的多个分级信息项的分级信息。每个分级信息项具有开始时间、结束时间和分级值。

在表19中，当前主AV内容的30秒和100秒之间的时隙的分级值对应于超过12岁可用；当前主AV内容的15秒和300秒之间的时隙的分级值对应于超过19岁可用；当前主AV内容的700秒和1000秒之间的时隙的分级值对应于超过19岁可用；并且当前主AV内容的3000秒和10000秒之间的时隙的分级值对应于超过12岁可用。

在操作S2604中，增强型服务管理单元130将主AV内容的播放时间与分级信息的时间同步。

在操作S2605中，增强型服务管理单元130基于所获得的内容信息中的主AV内容分级信息，判定在播放主AV内容时的分级信息是否满足所设置的主AV分级信息。

如果当播放主AV内容时的分级信息不满足所设置的主AV分级信息，则在操作S2607中增强型服务管理单元130获得用于防止播放主AV内容的增强型服务，如马赛克、图片、广告和密码输入画面，然后播放所获得的增强型服务。

如果在操作S2609中通过密码输入画面输入正确的密码，则在操作S2611中增强型服务管理单元130取消用于防止播放主AV内容的增强型服务。

在操作S2613中，增强型服务管理单元130记录不满足所设置的主AV分级信息的事件和取消用于防止播放主AV内容的增强型服务的事件。

然后，在操作S2615中，增强型服务管理单元130根据预定的报告时间或用户请求，将所记录的事件信息报告到预定的电子邮件。

图67是示出根据另一个实施方式的播放基于分级的主AV内容的方法的流程图。

首先，在操作S2701中，增强型服务管理单元130提取主AV内容的某个片段。

在操作S2703中，增强型服务管理单元130基于所提取的片段获得主AV内容的内容信息。

在操作S2704中，增强型服务管理单元130将主AV内容的播放时间与删除片段AV内容（即增强型服务）的开始时间同步。

然后，在操作S2705中，增强型服务管理单元130基于所获得的内容信息获得增强型服务信息。

增强型服务管理单元130可以接收同时包括主AV内容的内容信息和增强型服务信息二者的查询结果。表20示出查询结果的例子。

表20示出所获得的内容信息的例子。

[表20]

如表20中所示，内容信息包括具有分别与多个时隙对应的多个分级信息项的分级信息。每个分级信息项均具有开始时间、结束时间、分级值和删除AV内容地址。

如表20中所示，当前主AV内容的30分和35分之间的时隙的分级值对应于超过19岁可用，并且从删除AV内容地址“www.movie.com/part/12345.avi”获得删除的对应时隙的AV内容。当前主AV内容的55分30秒和61分40秒之间的时隙的分级值对应于超过19岁可用，并且从删除AV内容地址“www.movie.com/part/12346.avi”获得删除的对应时隙的AV内容。

在操作S2707中，增强型服务管理单元130访问删除片段的AV内容的地址，以获得删除的AV内容。

在操作S2709中，增强型服务管理单元130判定删除片段中的AV内容的分级信息是否满足所设置的主AV分级信息。

如果删除片段中的AV内容的分级信息满足所设置的主AV分级信息并且主AV内容的同步播放时间与删除片段中的AV内容的开始时间相同，则在操作S2711中，增强型服务管理单元130停止播放主AV内容，存储所接收的主AV内容，并且播放删除时隙中的AV内容。

如果主AV内容的同步播放时间与删除片段中的AV内容的结束时间相同，则在操作S2712中增强型服务管理单元130从停止回放主AV内容时开始播放所存储的主AV内容，以提供连续的AV内容。

在操作S2713中，增强型服务管理单元130记录在删除时隙中播放主AV内容的事件。

然后，在操作S2715中，增强型服务管理单元130根据预定的报告时间或用户请求，将所记录的事件信息报告到预定的电子邮件。

接着，将参照图68和图76根据实施方式描述使用信息报告方法。

视频显示装置100可以包括用于将其自身注册到使用信息测量服务器以报告使用信息的操作、用于获得使用信息的操作和用于报告和使用使用信息的操作。

图68是示出根据实施方式的注册到使用信息测量服务器的方法的流程图。

如图68中所示，视频显示装置100与使用信息测量服务器80通信。使用信息测量服务器80可以是内容提供服务器10、内容识别服务提供服务器20、多频道视频分发服务器30、增强型服务信息提供服务器40、多个增强型服务提供服务器50、广播接收装置60或视频显示装置100中的一个模块，或者可以是家庭内部或外部的额外服务器。

首先，在操作S2801中，视频显示装置100收集用户信息。视频显示装置100从用户接收并收集账户信息、家庭成员信息、优选类别信息和使用信息范围，然后将收集到的用户信息存储在用户信息存储单元156中。视频显示装置100可以从用户信息存储单元156收集视频显示装置信息。

然后，在操作S2803中，视频显示装置100产生包括收集到的用户信息的注册请求消息。注册请求消息可以包括如图69中所示的XML类型文档。

图69是示出根据实施方式的用户信息的XML架构图的视图。

如图69中所示，包含用户信息的UserProfile要素具有id、password和terminalID属性和Region、Demographic、Favorite、SNS和Terminal要素。

id和password属性包括使用信息测量服务器80的账户信息。TerminalID属性包括视频显示装置100的标识。

Region要素包括Country、City、Address和Zip要素。Country要素包括国家信息；City要素包括城市信息；Address要素包括地址信息；并且Zip要素包括邮政区码。Region要素中的信息允许按照区域具有不同的广告和产品介绍。

Demographic要素包括Age、Sex、Religion、Income和Family Type要素。Age要素包括年龄信息；Sex要素包括性别信息；并且Religion要素包括宗教信息。Income要素包括家庭收入信息，并且Family Type要素包括家庭成员类型信息。Demographic要素中的信息允许按照家庭成员类型定制服务。

Favorite要素包括MainCategory要素和SubCategory要素。MainCategory要素包括主优选类别，并且SubCategory要素包括次优选类别。

SNS要素包括Facebook要素和Twitter要素。Facebook要素包括Facebook账户信息并且Twitter要素包括Twitter账户信息。

Terminal要素包括Type、Manufacturer、FirmwareVer、Resolution、Model、OS、Brower、Storage和Network要素。Type要素包括视频显示装置类型信息；Manufacturer要素包括视频显示装置制造商信息，并且FirmwareVer要素包括视频显示装置的固件版本信息。Resolution要素包括视频显示装置的分辨率信息；Model要素包括视频显示装置的型号信息；并且OS要素包括视频显示装置的OS信息。Browser要素包括视频显示装置的浏览器信息；Storage要素包括视频显示装置的存储信息；并且Network要素包括视频显示装置的网络信息。

此外，注册请求消息还可以包括使用信息范围。可以在每个虚拟频道中设置使用信息范围。另外，可以在整个实体频道内设置使用信息范围。

在操作S2805中，视频显示装置100将所产生的注册请求消息发送到使用信息测量服务器80，以请求注册。

图70是示出根据实施方式的获得、报道和使用使用信息的方法的流程图。

首先，在操作S2901中，增强型服务管理单元130提取主AV内容的某个片段。

在操作S2903中，增强型服务管理单元130基于所提取片段获得主AV内容的内容信息。更详细地，增强型服务管理单元130对所提取片段中的用不可视水印编码的信息进行解码，以获得内容信息。另外，增强型服务管理单元130可以在所提取片段中提取特征信息，并且基于所提取的特征信息，从指纹服务器22或内容信息存储单元151获得主AV内容的内容信息。

在操作S2904中，增强型服务管理单元130将主AV内容的播放时间与增强型服务信息的开始时间同步。

然后，在操作S2905中，增强型服务管理单元130基于所获得的内容信息获得增强型服务信息。

在操作S2907中，增强型服务管理单元130基于所获得的内容信息获得增强型服务。

增强型服务管理单元130在操作S2909中基于连续获得的内容信息，收集使用信息范围内的主AV内容观看信息，并且将收集到的主AV内容观看信息存储在使用信息存储单元157中。主AV内容观看信息可以包括主AV内容标识和主AV观看时间信息。主AV内容观看时间信息可以包括主AV内容的观看开始时间和观看结束时间。

增强型服务管理单元130在操作S2911中基于与所获得的增强型服务的执行、操纵和结束对应的用户输入，收集使用信息范围内的增强型服务使用信息，并且将收集到的增强型服务使用信息存储在使用信息存储单元157中。增强型服务使用信息可以包括增强型服务标识符和增强型服务使用时间信息。增强型服务使用时间信息可以包括增强型服务的使用开始时间和使用结束时间。

在操作S2913中，增强型服务管理单元130获得使用信息测量服务器80的地址和报告时间段。使用信息测量服务器80的地址和报告时间段可以是预定的。增强型服务管理单元130从内容信息或增强型服务信息获得使用信息测量服务器80的地址和报告时间段。

另一方面，增强型服务管理单元130基于所提取的主AV内容片断获得内容信息和增强型服务信息，并且从所获得的信息获得ATSC2.0元数据。增强型服务管理单元130从ATSC2.0元数据服务的服务信令信道中提取使用报告位置表，如表21或表22，并且从表中获得报告地址和报告时间段。使用报告位置表可以具有下信令时间段如1分钟时间段，并且这可以减少宽带使用。

[表21]

如表21中所示，使用报告位置表可以发信号通知多个报告地址和报告时间段。多个报告时间段分别对应于多个报告地址。

[表22]

如表22中所示，使用报告位置表可以发信号通知多个报告地址和一个共用报告时间段。

在操作S2915中，增强型服务管理单元130产生包括至少一个主AV内容观看信息项和至少一个增强型服务使用信息项的报告信息。

将参照图71和图72描述主AV内容观看信息项和增强型服务使用信息项的例子。

图71是根据实施方式的主AV内容观看信息项的XML架构图。

如图71中所示，与主AV内容观看信息项对应的AudienceMeasurement要素包括id属性、password属性和terminalID属性以及ContentInfo要素和TimeInfo要素。

id和password属性包括使用信息测量服务器80的账户信息。terminalID属性包括视频显示装置100的标识符。

ContentInfo要素包括Id要素、Name要素、ChallelName要素、Country要素、Genre要素和HD要素。

ID要素包括主AV内容标识符。具体地，作为主AV内容标识符，Id要素可以包括传输流标识符Transport Stream ID、源标识source_id、ATSC内容标识或全球服务标识符。

Name要素包括主AV内容名称；ChannelName要素包括被广播的主AV内容的频道名称；Country要素包括被广播的主AV内容的国家信息；并且Genre要素包括主AV内容的类别信息。

TimeInfo要素包括TotalWatchingTime要素和Slot要素。

TotalWatchingTime要素包括主AV内容观看时间信息。

将参照图72描述增强型服务使用信息项的例子。

图72是根据实施方式的增强型服务使用信息项的XML架构图。

如图72中所示，与增强型服务使用信息项对应的UsageMonitor要素包括id属性、password属性、terminalID属性和ServiceInfo要素。

ServiceInfo要素包括bound属性和simplyDisplay属性和Id要素、Name要素、Category要素、Purchase要素和UserInteraction要素。

bound属性被设置成结合（bound）或未结合（unbound）。结合意味着增强型服务与主AV内容链接，未结合意味着增强型服务不与主AV内容链接。

simlDisla属性被设置成具有简单信息显示或用户互动

Id要素包括增强型服务标识符；Name要素包括增强型服务名称；并且category要素包括增强型服务种类。

Purchase要素包括ProductName要素、MakerName要素、AdditionalInfo要素、Price要素和ContentID要素。ProductName要素包括增强型服务产品名称；MakerName要素包括增强型服务产品的制造商名称；AdditionalInfo要素包括关于增强型服务的额外信息；Price要素包括增强型服务产品的价格信息；并且ContentID要素包括增强型服务产品的内容标识符。

UserInteraction要素包括Time要素和Level要素。

Time要素包括From要素和To要素。From要素包括增强型服务使用开始时间并且To要素包括增强型服务使用结束时间。

Level要素包括关于非互动、触发选择、广告内容观看、产品购买和全互动的信息。

此外，如表23中所示，根据增强型服务的种类，ID要素和time要素的内容可以有所不同。

[表23]

如表23中所示，如果增强型服务对应于网页书签服务，则Id要素包括TSID，并且Time要素包括用于设置网页书签的时间和当在再访问网页书签之后使用增强型服务的时间。

如果增强型服务对应于非实时（NRT）服务，则ID要素包括TSID、source_id、service_id和content_linkage，并且Time要素包括Action、start_time和end_time。

在操作S2917中，增强型服务管理单元130通过账户信息登陆使用信息测量服务器80。如果必要的话，可以省去这个操作。

在操作S2919中，增强型服务管理单元130在报告时间段内将报告信息发送到与报告地址对应的使用信息测量服务器80。此时，增强型服务管理单元130通过HTTP请求发送报告信息并且当接收到HTTP应答时终止报告。另外，增强型服务管理单元130将包括特有标识如视频显示装置100的标识的HTTP请求发送到使用信息测量服务器80，并且在从使用信息测量服务器80接收到包括报告请求的应答之后发送报告信息。

在操作S2921中，使用信息测量服务器80将累积使用信息提供到内容提供服务器10，以允许内容提供服务器10使用它。具体地，内容提供服务器10提供定制内容和目标广告，并且基于累积的使用信息为账单付费。

此外，在操作S2923中，使用信息测量服务器80可以基于观众信息和所报告的使用信息，识别用户的统计和行为特征。

在操作S2925中，增强型服务管理单元130基于所获得的用户特征，获得各种增强型服务。将参照图73至图76描述基于用户特征的增强型服务。如果使用信息测量服务器80是视频显示装置100中的一个模块，则增强型服务管理单元130可以从增强型服务存储单元152获得增强型服务。如果使用信息测量服务器80是内容提供服务器10、内容识别服务提供服务器20、多频道视频分发服务器30、增强型服务信息提供服务器40、多个增强型服务提供服务器50或广播接收装置60中的一个模块，则它可以从对应装置获得增强型服务。

图73至图76是根据实施方式的基于用户特征的增强型服务的概念图。

如图73中所示，用户特征是用户喜欢观看特定AV内容。在这种情况下，增强型服务管理单元130可以获得推荐改变其中广播特定AV内容的频道的增强型服务。增强型服务管理单元130显示所获得的增强型服务并且当接收到用于确认频道改变的用户输入时接收并播放对应频道的AV内容。

如图74中所示，用户特征是用户喜欢看特定类别。在这种情况下，增强型服务管理单元130可以获得推荐当前AV内容的增强型服务或者与用户喜爱的类别对应的增强型服务。增强型服务管理单元130显示所获得的增强型服务，并且当接收到用于确认观看的用户输入时接收并播放对应的AV内容或增强型服务。

如图75中所示，用户特征是用户喜欢在特定时间观看TV。在这种情况下，增强型服务管理单元130可以接收用户通常观看TV的特定时间的目标广告，并且可以播放接收到的目标广告。

如图76中所示，具有类似用户特征的用户可以被分组。基于判定视频显示装置100的用户被包括在哪个组内，可以推荐对应组的用户最优选的内容或增强型服务。增强型服务管理单元130获得推荐具有类似用户特征的用户当前选择或观看的AV内容的增强型服务。另外，增强型服务管理单元130获得推荐社交网络上的类似用户当前选择或观看的AV内容的增强型服务。

接着，将参照图77和图78描述根据各种实施方式的视频显示装置的结构。

图77是示出根据另一个实施方式的基于指纹的视频显示装置的结构的框图。

如图77中所示，调谐器501从通过广播频道发送的8-VSB RF信号中提取符号。

8-VSB解调器503对调谐器501提取的8-VSB符号进行解调并且恢复有意义的数字数据。

VSB解码器505对8-VSB解调器503用于恢复ATSC主服务和ATSC M/H服务的数字数据进行解码。

MPEG-2TP解复用器507从通过8-VSB信号发送的MPEG-2传输包中过滤出视频显示装置100将要处理的传输包或者PVR存储器中存储的MPEG-2传输包，以将过滤出的传输包转达到处理模块。

PES解码器539缓冲并恢复通过MPEG-2传输流发送的分组基本流。

PSI/PSIP解码器541缓冲并分析通过MPEG-2传输流发送的PSI/PSIP段数据。经分析的PSI/PSIP数据由服务管理器（未示出）收集，然后以服务地图和指南数据的形式存储在DB中。

DSMCC段缓冲器/处理器511通过MPEG-2TP和IP数据包封装处理供DSMCC段数据，以进行文件发送。

IP/UDP数据包缓冲器/头部解析器513缓冲并恢复通过DSMCC可寻址段封装并且通过MPEG-2TP发送的IP数据包，以分析每个数据包的头部。另外，IP/UDP数据包缓冲器/头部解析器513缓冲并恢复通过IP数据包发送的UDP数据包，然后分析并处理经恢复的UDP头部。

流组件处理器557可以包括ES缓冲器/处理器、PCR处理器、STC模块、解扰器、CA流缓冲器/处理器和服务信令段缓冲器/处理器。

ES缓冲器/处理器缓冲并恢复基本流如以PES形式发送的食品和音频数据，以将其传递到正确的A/V解码器。

PCR处理器处理用于音频和视频流的时间同步的节目时钟基准（PCR）数据。

STC模块校正使用通过PCR处理器接收的基准时钟值来校正A/V解码器的时钟值，以执行时间同步。

当向接收到的IP数据包施加扰频时，解扰器通过使用CA流处理器传递的加密钥恢复负载的数据。

CA流缓冲器/处理器缓冲并处理用于对EMM和ECM进行解扰的数据如加密值，所述数据是通过MPEG-2TS或IP流针对条件接收函数发送的。CA流缓冲器/处理器的输出被传递到解扰器，然后解扰器将携载A/V数据和文件数据的MPEG-2TP或IP数据包进行解扰。

服务信令段缓冲器/处理器缓冲、恢复并分析以IP数据包形式发送的NRT服务信令信道段数据。服务管理器（未示出）收集经分析的NRT服务信令信道段数据并且将其以服务图和指南数据的形式存储。

A/V解码器561对通过ES处理器接收的音频/视频数据进行解码，以将其向用户程序。

MPEG-2服务解复用器（未示出）可以包括MPEG-2缓冲器/解析器、解扰器和PVR存储模块。

MPEG-2TP缓冲器/解析器（未示出）缓冲并恢复通过8-VSB信号发送的MPEG-2传输包，并且还检测并处理传输包头部。

解扰器通过对MPEG-2TP中的被施加扰频的包负载使用由CA流处理器传递的加密钥来恢复负载的数据。

PVR存储模块在用户请求时存储通过8-VSB信号接收的MPEG-2并且在用户请求时输出MPEG-2TP。PVR存储模块可以受PVR管理器（未示出）控制。

文件处理器551可以包括ALC/LCT缓冲器/解析器、FDT处理器、XML解析器、文件重构缓冲器、解压缩器、文件解码器和文件存储器。

ALC/LCT缓冲器/解析器缓冲并恢复通过UDP/IP流发送的ALC/LCT数据，并且分析ALC/LCT的头部和头部扩展。ALC/LCT缓冲器/解析器可以受NRT服务管理器（未示出）控制。

FDT处理器分析并处理通过ALC/LCT会话发送的FLUTE协议的文件说明表。FDT处理器可以受NRT服务管理器（未示出）控制。

XML解析器分析通过ALC/LCT会话发送的XML文档，然后将经分析的数据发送到正确的模块如FDT处理器和SG处理器。

文件重构缓冲器恢复通过ALC/LCT、FLUTE会话发送的文件。

如果通过ALC/LCT和FLUTE会话发送的文件被压缩，则解压缩器执行处理以对文件进行解压缩。

文件解码器对文件重构缓冲器中恢复的文件、在解压缩器中解压缩的文件或从文件存储器中提取的文件进行解码。

如果有必要，文件存储器存储或提取经恢复的文件。

M/W机（未示出）处理数据如文件，该数据不是通过DSMCC段和IP数据包发送的A/V流。M/W机将经处理的数据传递到呈现管理器模块。

SG处理器（未示出）收集并分析以XML文档形式发送的服务指南数据，然后将数据传递到EPG管理器。

服务管理器（未示出）收集并分析通过MPEG-2传输流发送的PSI/PSIP数据和通过IP流发送的服务信令段数据，以产生服务地图。服务管理器（未示出）将所产生的服务地图存储在服务地图&指南数据库中，并且控制进入用户想要的服务。服务管理器受操作控制器（未示出）控制，并且控制调谐器501、MPEG-2TP解复用器507和IP数据包缓冲器/处理器513。

NRT服务管理器（未示出）对通过FLUTE会话以对象/文件形式发送的NRT服务执行整体管理。NRT服务管理器（未示出）可以控制FDT处理器和文件存储器。

应用程序管理器（未示出）对以对象和文件形式发送的应用程序数据执行整体管理。

UI管理器（未示出）通过用户接口将用户输入传递到操作控制器，并且开始针对用户请求的服务的处理。

操作控制器（未示出）处理通过UI管理器接收的用户的命令，并且允许必要模块的管理器执行对应动作。

指纹提取器565从AV流中提取指纹特征信息。

指纹比较器567将通过指纹提取器提取的特征信息与基准指纹进行比较，以找到相同的内容。指纹比较器567可以使用本地存储的基准指纹DB并且可以在互联网上查询指纹查询服务器以接收结果。通过比较结果获得的匹配的结果数据可以被传递到应用程序并且可以被使用。

因为ACR功能管理模块或应用程序模块基于ACR提供增强型服务，所以应用程序569在观看过程中识别广播内容，以提供涉及它的增强型服务。

图78是示出根据另一个实施方式的基于水印的视频显示装置的结构的框图。

尽管图78的基于水印的视频显示装置与图77的基于指纹的视频显示装置类似，但是基于指纹的视频显示装置不包括指纹提取器565和指纹比较器567，但是还包括水印提取器566。

水印提取器566从音频/视频流中提取以水印形式插入的数据。所提取的数据可以被传递到应用程序并且可以被使用。

根据实施方式，广播站所引导的服务是可用的。具体地，实施方式提供替代的广告服务、场景相关信息提供服务、基于分级的内容服务和基于用户属性的服务。

另外，服务器和视频显示装置的负荷减少。

另外，根据实施方式，即使当接收没有时间信息的AV内容或者与增强型服务具有不同基准时间的AV内容时，视频显示装置也可以将时间敏感增强型服务与AV内容同步。

此外，根据实施方式，在不用不方便地使用遥控器进行文本输入的情况下，涉及主AV内容的信息搜索、聊天、新闻搜索、数字媒体下载、产品类别下载和产品购买是可用的。

此外，本发明的以上方法还可以被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质的例子包括只读介质（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光学数据存储装置和载波（如通过互联网进行的数据发送）。

上述实施方式的构造和方法在没有任何限制的情况下被应用到视频显示装置，并且实施方式中的全部或部分可以被选择性组合以具有各种修改形式。

尽管已经参照实施方式的多个示例性实施方式描述了实施方式，但是应该理解，本领域的技术人员可以料想到将落入本发明的精神和范围内的众多其它修改形式和实施方式。更具体地，在本发明、附图和所附权利要求书的范围内，主题组合布置的组件部分和/或布置的各种变化形式和修改形式是可能的。除了组件部分和/或布置的变化形式和修改形式之外，对于本领域的技术人员，替代使用也将是显而易见的。

Claims (50)

1.一种控制包括显示单元的视频显示装置的控制方法，所述控制方法包括以下步骤：

获得未压缩视听内容；

通过所述显示单元播放所述未压缩视听内容；

基于所述未压缩视听内容的片断，获得所述未压缩视听内容的内容信息；

基于所述内容信息，获得增强型服务；以及

通过所述显示单元播放所述增强型服务。

2.根据权利要求1所述的控制方法，其中所述内容信息包括所述未压缩视听内容的标识符和与所述片段对应的时间信息，

其中所述方法还包括以下步骤：

基于所述片段的播放时间和所述内容信息的获取时间之间的时间差和与所述片段对应的时间信息，从所述内容信息的获取时间开始，将所述增强型服务的开始时间与所述未压缩视听内容的播放时间同步，

其中播放所述增强型服务的步骤包括：

当所述视听内容的同步播放时间对应于所述增强型服务的开始时间时，开始所述增强型服务。

3.根据权利要求1所述的控制方法，其中获得所述内容信息的步骤包括：

从嵌入所述片段中的水印信息获得所述内容信息。

4.根据权利要求1所述的控制方法，其中获得所述内容信息的步骤包括：

提取所述片段的特征信息；以及

通过对包括所述特征信息的查询的应答，获得所述内容信息。

5.根据权利要求1所述的控制方法，其中获得所述内容信息的步骤包括：

从所述片段提取徽标；

通过访问与所提取徽标对应的访问地址，获得内容信息提供地址；

提取所述片段的特征信息；以及

通过将包括所述特征信息的查询发送到所述内容信息提供地址，获得所述内容信息。

6.根据权利要求1所述的控制方法，其中

所述未压缩视听内容包括第一广告；

所述增强型服务包括第二广告；以及

播放所述增强型服务的步骤包括：播放所述第二广告来替代所述第一广告。

7.根据权利要求1所述的控制方法，该控制方法还包括以下步骤：显示用于选择多个显示方法中的至少一个显示方法的第一画面，

其中播放所述增强型服务的步骤包括：基于所述第一画面根据从所述多个显示方法中选择的显示方法，播放所述增强型服务。

8.根据权利要求7所述的控制方法，其中所述多个显示方法包括：

第一模式，其用于不考虑用户的操纵播放所述增强型服务；

第二模式，其用于对应于用户的操纵播放所述增强型服务；

第三模式，其用于忽略所述增强型服务；以及

第四模式，其用于不考虑用户的操纵存储所述增强型服务的书签。

9.根据权利要求7所述的控制方法，该控制方法还包括以下步骤：显示用于选择多个服务种类中的至少一个服务种类的第二画面，

其中根据所选择的显示方法播放所述增强型服务的步骤包括：

基于所述第二画面，根据所选择的显示方法，播放与从所述多个服务种类之中选择的服务种类对应的增强型服务。

10.根据权利要求1所述的控制方法，其中所述内容信息包括所述未压缩视听内容的分级信息；并且

播放所述增强型服务的步骤包括：

通过对设置分级信息和所述未压缩视听内容的所述分级信息进行比较，将所述增强型服务应用到所述未压缩视听内容。

11.根据权利要求10所述的控制方法，其中将所述增强型服务应用到所述未压缩视听内容的步骤包括：

如果所述未压缩视听内容的分级信息不满足所述设置分级信息，则播放所述增强型服务以防止播放所述未压缩视听内容。

12.根据权利要求10所述的控制方法，其中所述未压缩视听内容的分级信息包括分别与多个时隙对应的多个分级信息项；并且

将所述增强型服务应用到所述未压缩视听内容的步骤包括：

如果对应的分级信息项的分级值不满足多个时隙中的各个时隙中的所述设置分级信息，则播放所述增强型服务以防止播放所述未压缩视听内容。

13.根据权利要求10所述的控制方法，其中所述未压缩视听内容的分级信息包括时隙的视听内容地址和分级值；并且

将所述增强型服务应用到所述未压缩视听内容的步骤包括：如果所述时隙的分级值满足所述时隙处的所述设置分级信息则停止播放所述视听内容，以及播放从所述视听内容地址获得的另一个视听内容。

14.根据权利要求10所述的控制方法，其中所述设置分级信息包括多个分级设置项，每个分级设置项均包括分级应用时间信息和分级值。

15.根据权利要求1所述的控制方法，该控制方法还包括以下步骤：基于所述内容信息收集所述未压缩视听内容的观看信息，

其中基于所述内容信息获得所述增强型服务的步骤包括：基于从所述观看信息获得的用户特征，获得所述增强型服务。

16.根据权利要求15所述的控制方法，该控制方法还包括以下步骤：收集所述增强型服务的使用信息，其中从所述观看信息和所述使用信息获得所述用户特征。

17.根据权利要求15所述的控制方法，其中所述增强型服务对应于用于推荐用户喜欢观看的另一个视听内容的服务、用于推荐与用户喜欢观看的类别对应的另一个视听内容的服务、目标广告和用于推荐具有与所述用户特征类似的特征的用户选择的另一个视听内容的服务中的至少一种服务。

18.根据权利要求1所述的控制方法，其中所述视频显示装置还包括存储器，所述控制方法还包括以下步骤：

在所述显示单元上，显示内容信息获得功能设置窗口；

通过所述内容信息获得功能设置窗口，接收内容信息获得设置信息；以及

将所述内容信息获得设置信息存储在所述存储器上，

其中获得所述内容信息的步骤包括：当所述内容信息获得设置信息对应于激活时，获得所述内容信息。

19.根据权利要求18所述的控制方法，其中所述内容信息获得功能设置窗口支持多个内容信息获得模式之中的一个选择；

所述控制方法还包括以下步骤：通过所述内容信息获得功能设置窗口接收所述多个内容信息获得模式中的一个内容信息获得模式，并且将接收到的内容信息获得模式存储在所述存储器上；以及

通过所述显示单元播放所述增强型服务的步骤包括：通过使用与所述存储器中的所述内容信息获得模式对应的应用程序，通过所述显示单元播放所述增强型服务。

20.根据权利要求19所述的控制方法，其中所述多个内容信息获得模式包括：

第一模式，在所述第一模式中，第一应用程序不考虑用户的操纵自动播放所述增强型服务；

第二模式，在所述第二模式中，由内容提供商管理的第二应用程序播放所述增强型服务；以及

第三模式，在所述第三模式中，由视频显示装置制造商管理的第三应用程序播放所述增强型服务。

21.根据权利要求20所述的控制方法，该控制方法还包括以下步骤：当所述存储器中的所述内容信息获得模式是所述第二模式时，执行所述第二应用程序，

其中所述内容信息包括所述未压缩视听内容的标识符和与所述片段对应的时间信息；以及

所述第二应用程序基于所述内容信息获得与所述时间信息相关的服务并且当选择特定菜单时显示所获得的服务。

22.根据权利要求20所述的控制方法，该控制方法还包括以下步骤：当所述存储器中的所述内容信息获得模式是所述第二模式时，执行所述第二应用程序，

其中所述第二应用程序基于所述内容信息获得至少一个搜索项，当选择特定菜单时在所述显示单元上显示所述至少一个搜索项，并且当从所述至少一个搜索项中选择一个项时在所述显示单元上显示关于所选项的信息。

23.根据权利要求20所述的控制方法，该控制方法还包括以下步骤：当所述存储器中的所述内容信息获得模式是所述第二模式时，执行所述第二应用程序，

其中所述第二应用程序基于所述内容信息获得观看所述视听内容的朋友的列表，在所述显示单元上显示所获得的朋友的列表，并且当从所述朋友的列表中选择一个朋友时显示所选择的朋友的聊天窗口。

24.根据权利要求20所述的控制方法，该控制方法还包括以下步骤：当所述存储器中的所述内容信息获得模式是所述第二模式时，执行所述第二应用程序，

其中所述第二应用程序基于所述内容信息获得数字媒体列表，当选择特定菜单时在所述显示单元上显示所述数字媒体列表，并且当从所述数字媒体列表中选择一个项时下载与所选项对应的数字媒体。

25.根据权利要求20所述的控制方法，该控制方法还包括以下步骤：当所述存储器中的所述内容信息获得模式是所述第二模式时，执行所述第二应用程序，

其中所述第二应用程序基于所述内容信息获得目录列表，当选择特定菜单时在所述显示单元上显示所述目录列表，并且当从所述目录列表中选择一个项时在所述显示单元上显示所选项的购买页面。

26.一种视频显示装置，该显示装置包括：

显示单元；

接收单元，其用于获得未压缩视听内容；

增强型服务管理单元，其基于所述未压缩视听内容的片段获得所述未压缩视听内容的内容信息并且基于所述内容信息获得增强型服务；以及

播放控制单元，其在所述显示单元上播放所述未压缩视听内容和所述增强型服务。

27.根据权利要求26所述的视频显示装置，其中所述内容信息包括所述未压缩视听内容的标识符和与所述片段对应的时间信息；并且

所述增强型服务管理单元基于所述片段的播放时间和所述内容信息的获取时间之间的时间差和与所述片段对应的时间信息，从所述内容信息的所述获取时间开始，将所述增强型服务的开始时间与所述未压缩视听内容的播放时间同步，并且当所述视听内容的同步播放时间对应于所述增强型服务的开始时间时开始所述增强型服务。

28.根据权利要求26所述的视频显示装置，其中所述增强型服务管理单元从所述片段中嵌入的水印信息获得所述内容信息。

29.根据权利要求26所述的视频显示装置，其中所述增强型服务管理单元提取所述片段的特征信息并且通过对包括所述特征信息的查询的应答来获得所述内容信息。

30.根据权利要求26所述的视频显示装置，其中所述增强型服务管理单元从所述片段提取徽标；

通过访问与所提取徽标对应的访问地址，获得内容信息提供地址；

提取所述片段的特征信息；以及

通过将包括所述特征信息的查询发送到所述内容信息提供地址，获得所述内容信息。

31.根据权利要求26所述的视频显示装置，其中所述未压缩视听内容包括第一广告；

所述增强型服务包括第二广告；并且

所述增强型服务管理单元播放所述第二广告来替代所述第一广告。

32.根据权利要求26所述的视频显示装置，该视频显示装置还包括显示用于选择多个显示方法中的至少一个显示方法的第一画面，

其中所述增强型服务管理单元基于所述第一画面根据从所述多个显示方法中选择的显示方法，播放所述增强型服务。

33.根据权利要求32所述的视频显示装置，其中所述多个显示方法包括：

第一模式，其用于不考虑用户的操纵播放所述增强型服务；

第二模式，其用于对应于用户的操纵播放所述增强型服务；

第三模式，其用于忽略所述增强型服务；以及

第四模式，其用于不考虑用户的操纵存储所述增强型服务的书签。

34.根据权利要求32所述的视频显示装置，其中所述增强型服务管理单元显示用于选择多个服务种类中的至少一个服务种类的第二画面，并且基于所述第二画面，根据所选择的显示方法，播放与从所述多个服务种类之中选择的服务种类对应的增强型服务。

35.根据权利要求26所述的视频显示装置，其中所述内容信息包括所述未压缩视听内容的分级信息；并且

所述增强型服务管理单元通过对设置分级信息和所述未压缩视听内容的所述分级信息进行比较，将所述增强型服务应用到所述未压缩视听内容。

36.根据权利要求35所述的视频显示装置，其中如果所述未压缩视听内容的分级信息不满足所述设置分级信息，则所述增强型服务管理单元播放所述增强型服务以防止播放所述未压缩视听内容。

37.根据权利要求35所述的视频显示装置，其中所述未压缩视听内容的分级信息包括分别与多个时隙对应的多个分级信息项；并且

如果所述未压缩视听内容的分级信息不满足多个时隙中的各个时隙中的所述设置分级信息，则所述增强型服务管理单元播放所述增强型服务以防止播放所述未压缩视听内容。

38.根据权利要求35所述的视频显示装置，其中所述未压缩视听内容的分级信息包括时隙的视听内容地址和分级值；并且

如果所述时隙的分级值满足所述时隙处的所述设置分级信息则所述增强型服务管理单元停止播放所述视听内容，并且播放从所述视听内容地址获得的另一个视听内容。

39.根据权利要求35所述的视频显示装置，其中所述设置分级信息包括多个分级设置项，每个分级设置项均包括分级应用时间信息和分级值。

40.根据权利要求26所述的视频显示装置，其中所述增强型服务管理单元基于所述内容信息收集所述未压缩视听内容的观看信息，并且基于从所述观看信息获得的用户特征，获得所述增强型服务。

41.根据权利要求40所述的视频显示装置，其中所述增强型服务管理单元收集所述增强型服务的使用信息，并且从所述观看信息和所述使用信息获得所述用户特征。

42.根据权利要求40所述的视频显示装置，其中所述增强型服务对应于用于推荐用户喜欢观看的另一个视听内容的服务、用于推荐与用户喜欢观看的类别对应的另一个视听内容的服务、目标广告和用于推荐具有与所述用户特征类似的特征的用户选择的另一个视听内容的服务中的至少一种服务。

43.根据权利要求26所述的视频显示装置，该视频显示装置还包括存储器，

其中所述播放控制单元在所述显示单元上显示内容信息获得功能设置窗口，通过所述内容信息获得功能设置窗口接收内容信息获得设置信息，并且将所述内容信息获得设置信息存储在所述存储器上；并且

当所述内容信息获得设置信息对应于激活时，所述增强型服务管理单元获得所述内容信息。

44.根据权利要求43所述的视频显示装置，其中所述内容信息获得功能设置窗口支持多个内容信息获得模式之中的一个选择；

所述播放控制单元通过所述内容信息获得功能设置窗口接收所述多个内容信息获得模式中的一个内容信息获得模式，并且将接收到的内容信息获得模式存储在所述存储器上；并且

与所述存储器中的所述内容信息获得模式对应的应用程序通过所述显示单元播放所述增强型服务。

45.根据权利要求44所述的视频显示装置，其中所述多个内容信息获得模式包括：

第一模式，在所述第一模式中，第一应用程序不考虑用户的操纵自动播放所述增强型服务；

第二模式，在所述第二模式中，由内容提供商管理的第二应用程序播放所述增强型服务；以及

第三模式，在所述第三模式中，由视频显示装置制造商管理的第三应用程序播放所述增强型服务。

46.根据权利要求45所述的视频显示装置，其中当所述存储器中的所述内容信息获得模式是所述第二模式时所述增强型服务管理单元执行所述第二应用程序；

所述内容信息包括所述未压缩视听内容的标识符和与所述片段对应的时间信息；并且

所述第二应用程序基于所述内容信息获得与所述时间信息相关的服务并且当选择特定菜单时显示所获得的服务。

47.根据权利要求45所述的视频显示装置，其中当所述存储器中的所述内容信息获得模式是所述第二模式时，所述增强型服务管理单元执行所述第二应用程序；并且

所述第二应用程序基于所述内容信息获得至少一个搜索项，当选择特定菜单时在所述显示单元上显示所述至少一个搜索项，并且当从所述至少一个搜索项中选择一个项时在所述显示单元上显示关于所选项的信息。

48.根据权利要求45所述的视频显示装置，其中当所述存储器中的所述内容信息获得模式是所述第二模式时，所述增强型服务管理单元执行所述第二应用程序；并且

所述第二应用程序基于所述内容信息获得观看所述视听内容的朋友的列表，在所述显示单元上显示所获得的朋友的列表，并且当从所述朋友的列表中选择一个朋友时显示所选择的朋友的聊天窗口。

49.根据权利要求45所述的视频显示装置，其中当所述存储器中的所述内容信息获得模式是所述第二模式时，所述增强型服务管理单元执行所述第二应用程序；并且

所述第二应用程序基于所述内容信息获得数字媒体列表，当选择特定菜单时在所述显示单元上显示所述数字媒体列表，并且当从所述数字媒体列表中选择一个项时下载与所选项对应的数字媒体。

50.根据权利要求45所述的视频显示装置，其中当所述存储器中的所述内容信息获得模式是所述第二模式时，所述增强型服务管理单元执行所述第二应用程序，

所述第二应用程序基于所述内容信息获得目录列表，当选择特定菜单时在所述显示单元上显示所述目录列表，并且当从所述目录列表中选择一个项时在所述显示单元上显示所选项的购买页面。

Images