CN106304851A - 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法 - Google Patents

发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法 Download PDF

Info

Publication number
CN106304851A
CN106304851A CN201680001083.3A CN201680001083A CN106304851A CN 106304851 A CN106304851 A CN 106304851A CN 201680001083 A CN201680001083 A CN 201680001083A CN 106304851 A CN106304851 A CN 106304851A
Authority
CN
China
Prior art keywords
information
content
service
watermark
audio frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680001083.3A
Other languages
English (en)
Inventor
梁承律
郭珉诚
文京洙
高祐奭
洪性龙
权祐奭
李长远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN106304851A publication Critical patent/CN106304851A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking

Abstract

提出一种发送广播信号的方法。在发送广播信号的方法中,提出在使用陆地广播网络和互联网支持未来混合广播的环境下能够支持未来广播服务的系统。另外,提出在支持未来混合广播的环境中使用陆地广播网络和互联网两者的有效信令方法。

Description

发送广播信号的装置、接收广播信号的装置、发送广播信号的 方法和接收广播信号的方法
技术领域
本发明涉及一种发送广播信号的装置、一种接收广播信号的装置和发送和接收广播信号的方法。
背景技术
由于模拟广播信号传输接近终结,正在开发用于发送/接收数字广播信号的各种技术。数字广播信号可以包括除了模拟广播信号之外的大量的视频/音频数据,并且进一步包括除了视频/音频数据之外的各种类型的附加数据。
发明内容
技术问题
也就是说,数字广播系统可以提供HD(高分辨率)图像、多声道音频和各种附加服务。但是,考虑到移动接收设备,对于数字广播,大量数据传输的数据传输效率、传输/接收网络的鲁棒性和网络灵活性需要改进。
技术方案
本发明提供一种能够在使用陆地广播网络和互联网支持未来的混合广播的环境下有效地支持未来广播服务的系统和有关信令方法。
有益效果
本发明能够在使用陆地广播网络和互联网支持未来的混合广播的环境下有效地支持未来广播服务。另外,本发明提出一种有效地利用视频WM和音频WM的结构和方法。
附图说明
附图被包括以提供对本发明进一步的理解并且被合并且组成本申请的一部分,图示本发明的实施例,并且与该说明书一起用来解释本发明的原理。在附图中:
图1是示出根据本发明的实施例的协议栈的图;
图2是示出根据本发明的实施例的服务发现过程的图;
图3是示出根据本发明的一个实施例的低等级信令(LLS)表和服务列表表(SLT)的图;
图4是示出根据本发明的一个实施例的经由ROUTE递送的USBD和S-TSID的图;
图5是示出根据本发明的一个实施例的经由MMT递送的USBD的图;
图6是示出根据本发明的一个实施例的链路层操作的图;
图7是示出根据本发明的一个实施例的链路映射表(LMT)的图;
图8是图示根据实施例的网络拓扑的框图;
图9是图示根据实施例的基于水印的网络拓扑的框图;
图10是图示根据实施例的在基于水印的网络拓扑的梯形图;
图11是图示根据实施例的基于水印的内容识别时序的视图;
图12是图示根据实施例的基于指纹的网络拓扑的框图;
图13是图示根据实施例的在基于指纹的网络拓扑的数据流的梯形图;
图14是图示根据实施例的包含查询结果的ACR结果类型(ACR-Resulttype)的XML模式图的视图;
图15是图示根据实施例的基于水印和指纹的网络拓扑的框图;
图16是图示根据实施例的在基于水印和指纹的网络拓扑中的数据流的梯形图;
图17是图示根据实施例的视频显示设备的框图;
图18是图示根据实施例的同步主AV内容的回放时间和增强的服务的回放时间的方法的流程图;
图19是图示根据实施例的同步主AV内容的回放时间和增强的服务的回放时间的方法的概念图;
图20是图示根据另一实施例的基于指纹的视频显示设备的结构的框图;
图21是图示根据另一实施例的基于水印的视频显示设备的结构的框图;
图22是示出根据本发明的一个实施例的经由水印方案可以递送的数据的图;
图23是示出根据本发明的一个实施例的时间戳类型字段的值的意义的图;
图24是示出根据本发明的一个实施例的URL协议类型字段的值的意义的图;
图25是图示根据本发明的一个实施例的处理URL协议类型字段的过程的流程图;
图26是示出根据本发明的一个实施例的事件字段的值的意义的图;
图27是示出根据本发明的一个实施例的目的地类型字段的值的意义的图;
图28是示出根据本发明的实施例#1的要被插入到WM中的数据的结构的图;
图29是图示根据本发明的实施例#1的处理要被插入到WM中的数据结构的过程的流程图;
图30是示出根据本发明的实施例#2的要被插入到WM的数据的结构的图;
图31是图示根据本发明的实施例#2的处理要被插入到WM中的数据的结构的过程的流程图;
图32是示出根据本发明的实施例#3的要被插入到WM的数据的结构的图;
图33是图示根据本发明的实施例#4的要被插入到WM中的数据的结构的图;
图34是图示根据本发明的实施例#4的要被插入到第一WM中的数据的结构的图;
图35是图示根据本发明的实施例#4的要被插入到第二WM中的数据的结构的图;
图36是图示根据本发明的实施例#4的处理要被插入到WM中的数据的结果的过程的流程图;
图37是示出根据本发明的另一实施例的基于水印的图像显示设备的结构的图;
图38是示出指纹方案中的根据本发明的一个实施例的数据结构的图;
图39是图示指纹方案中的根据本发明的一个实施例的处理数据结构的流程图;
图40是示出根据本发明的另一实施例的水印有效载荷的结构的图;
图41是示出根据本发明的一个实施例的使用服务/内容信息的水印有效载荷结构中的变化的图;
图42是示出根据本发明的一个实施例的使用NSC字段的水印有效载荷结构中的变化的图;
图43是示出根据本发明的一个实施例的用于链接视频和音频水印的水印有效载荷结构的图;
图44是示出根据本发明的一个实施例的使用链接的视频和音频水印的操作的图;
图45是示出根据本发明的一个实施例的广播内容处理方法的图;以及
图46是示出根据本发明的一个实施例的广播内容处理装置的图。
具体实施方式
现在将详细地介绍本发明的优选实施例,其示例在伴随的附图中图示。在下面将参考伴随的附图给出详细说明,其意欲解释本发明的示例性实施例,而不是示出可以根据本发明实现的仅有的实施例。以下的详细说明包括特定的细节以便提供对本发明深入的理解。但是,对于那些本领域技术人员将是显而易见的,无需这样的特定的细节也可以实践本发明。
虽然在本发明中使用的术语是从通常已知和使用的术语中选择出来的,在本发明的描述中提及的一些术语已经由本申请人以他的或者她的判断选择,其详细的含义在此处本说明书的相关部分中描述。此外,所需要的是,不只是通过实际使用的术语,而是通过每个术语的含义来理解本发明。
本发明提供发送和接收用于未来的广播服务的广播信号的装置和方法。根据本发明的实施例的未来的广播服务包括陆地广播服务、移动广播服务、超高分辨率电视(UHDTV)服务等等。本发明可以根据实施例通过非MIMO(多输入多输出)或者MIMO处理用于未来的广播服务的广播信号。根据本发明的实施例的非MIMO方案可以包括MISO(多输入单输出)方案、SISO(单输入单输出)方案等等。
图1是根据本发明的实施例示出协议栈的图。
服务可以经由多个层传送给接收机。首先,发送侧可以产生服务数据。服务数据可以被处理为在发送侧的传送层上传输,并且服务数据可以被编码为广播信号并在物理层上经广播或者宽带网络发送。
在这里,服务数据可以以ISO基础媒体文件格式(BMFF)产生。ISOBMFF媒体文件可以用于广播/宽带网络传送、媒体封装和/或同步格式。在这里,服务数据是与服务相关的所有数据,并且可以包括配置线性服务的服务组件、其信令信息、非实时(NRT)数据和其他文件。
将描述传送层。传送层可以提供用于发送服务数据的功能。服务数据可以经广播和/或宽带网络传送。
广播服务传送可以包括两种方法。
作为第一种方法,服务数据可以基于MPEG媒体传输(MMT)在媒体处理单元(MPU)中处理,并且使用MMT协议(MMTP)发送。在这种情况下,使用MMTP传送的服务数据可以包括用于线性服务的服务组件和/或其服务信令信息。
作为第二种方法,服务数据可以被处理为DASH分段,并且基于MPEG DASH,使用经单向传输(ROUTE)的实时对象传送发送。在这种情况下,经由ROUTE协议传送的服务数据可以包括用于线性服务的服务组件、其服务信令信息和/或NRT数据。也就是说,NRT数据和非定时的数据,诸如文件,可以经由ROUTE传送。
根据MMTP或者ROUTE协议处理的数据可以经由UDP/IP层被处理为IP分组。在经广播网的服务数据传送中,服务列表表(SLT)也可以经由UDP/IP层在广播网上传送。SLT可以被在低等级信令(LLS)表中传送。稍后将描述SLT和LLS表。
IP分组可以在链路层中被处理为链路层分组。链路层可以将从高层传送的各种格式的数据封装进链路层分组中,然后将该分组传送给物理层。稍后将详细描述链路层。
在混合服务传送中,至少一个服务元素可以被经由宽带路径传送。在混合服务传送中,经宽带传送的数据可以包括DASH格式的服务组件、其服务信令信息和/或NRT数据。此数据可以被经由HTTP/TCP/IP处理,并且经由用于宽带传输的链路层传送给用于宽带传输的物理层。
物理层可以处理从传送层(高层和/或链路层)接收的数据,并且经广播或者宽带网络发送该数据。稍后将给出物理层的详细描述。
将描述该服务。该服务可以是显示给用户的服务组件的集合,该组件可以具有各种媒体类型,该服务可以是连续的或者中断的,该服务可以是实时或者非实时的,并且实时服务可以包括一系列TV节目。
该服务可以具有各种类型。第一,该服务可以是线性音频/视频或者具有基于app的增强的音频服务。第二,该服务可以是基于app的服务、由下载的应用控制的再现/配置。第三,该服务可以是用于提供电子服务指南(ESG)的ESG服务。第四,该服务可以是用于提供紧急警报信息的紧急警报(EA)服务。
当无需基于app的增强的线性服务被经广播网传送的时候,该服务组件可以由(1)一个或多个ROUTE会,或者(2)一个或多个MMTP会话传送。
当具有基于app的增强的线性服务被经广播网传送的时候,该服务组件可以由(1)一个或多个ROUTE会话,或者(2)零或零个以上MMTP会话传送。在这种情况下,用于基于app的增强的数据可以以NRT数据或者其他文件的形式经由ROUTE会话传送。在本发明的一个实施例中,使用两个协议的一个服务的服务组件(流媒体组件)的同时的传送可能是不被允许的。
当基于app的服务被经广播网传送的时候,服务组件可以由一个或多个ROUTE会话传送。在这种情况下,用于基于app的服务的服务数据可以以NRT数据或者其他文件的形式经由ROUTE会话传送。
这样的服务的某些服务组件、某些NRT数据、文件等等可以经由宽带(混合服务传送)传送。
也就是说,在本发明的一个实施例中,一个服务的线性服务组件可以经由MMT协议传送。在本发明的另一个实施例中,一个服务的线性服务组件可以经由ROUTE协议传送。在本发明的另一个实施例中,一个服务的线性服务组件和NRT数据(NRT服务组件)可以经由ROUTE协议传送。在本发明的另一个实施例中,一个服务的线性服务组件可以经由MMT协议传送,并且NRT数据(NRT服务组件)可以经由ROUTE协议传送。在以上描述的实施例中,服务的某些服务组件或者某些NRT数据可以经由宽带传送。在这里,关于基于app的增强的基于app的服务和数据可以根据ROUTE经广播网,或者以NRT数据的形式经由宽带传送。NRT数据可以称为本地缓存的数据。
每个ROUTE会话包括用于完整地或者部分地传送配置该服务的内容组件的一个或多个LCT会话。在流服务传送中,LCT会话可以传送用户服务的单个的组件,诸如音频、视频或者隐藏式字幕流(closed caption stream)。流媒体被格式化为DASH分段。
每个MMTP会话包括用于传送所有或者某些内容组件或者MMT信令消息的一个或多个MMTP分组流。MMTP分组流可以传送已格式化为MPU的组件或者MMT信令消息。
对于NRT用户服务或者系统元数据的传送,LCT会话传送基于文件的内容项目。这样的内容文件可以包括NRT服务的连续的(定时的)或者离散的(非定时的)媒体组件或者元数据,诸如服务信令或者ESG片段。系统元数据(诸如服务信令或者ESG片段)可以经由MMTP的信令消息模式传送。
当调谐器调谐到频率时,接收机可以检测广播信号。接收机可以提取和发送SLT给处理模块。SLT解析器可以解析SLT,并且在信道映射表(channel map)中获得和存储数据。接收机可以获得和将SLT的引导信息(bootstrap information)传送给ROUTE或者MMT客户端。接收机可以获得和存储SLS。USBD可以由信令解析器获得和解析。
图2是示出根据本发明的一个实施例的服务发现过程的图。
由物理层的广播信号帧传送的广播流可以携带低等级信令(LLS)。LLS数据可以经由被传送给公知的IP地址/端口的IP分组的有效载荷携带。此LLS可以根据其类型包括SLT。LLS数据可以以LLS表的形式被格式化。携带LLS数据的每个UDP/IP分组的第一字节可以是LLS表的开始。与示出的实施例不同,用于传送LLS数据的IP流可以与其他的服务数据一起被传送给PLP。
SLT可以允许接收机去经由快速信道扫描产生服务列表,并且提供用于定位SLS的访问信息。SLT包括引导信息。这个引导信息可以允许接收机去获得每个服务的服务层信令(SLS)。当SLS,也就是说,服务信令信息被经由ROUTE传送的时候,引导信息可以包括携带SLS的LCT信道、包括LCT信道的ROUTE会话的目的地IP地址和目的地端口信息。当SLS被经由MMT传送的时候,自举信息可以包括携带SLS的MMTP会话的目的地IP地址和目的地端口信息。
在示出的实施例中,在SLT中描述的服务#1的SLS被经由ROUTE传送,并且SLT可以包括包含由SLS传送的LCT信道的ROUTE会话的引导信息sIP1、dIP1和dPort1。在SLT中描述的服务#2的SLS被经由MMT传送,并且SLT可以包括包含由SLS传送的MMTP分组流的MMTP会话的引导信息sIP2、dIP2和dPort2。
SLS是描述服务的性质的信令信息,并且可以包括用于显著地再现服务,或者提供用于获得服务和该服务的服务组件的接收机能力信息。当每个服务具有单独的服务信令的时候,无需解析在广播流内传送的所有SLS,接收机即可获得用于期望的服务的合适的SLS。
当SLS被经由ROUTE协议传送的时候,SLS可以被经由由SLT指示的ROUTE会话的专用的LCT信道传送。在一些实施例中,这个LCT信道可以是通过tsi=0识别的LCT信道。在这种情况下,SLS可以包括用户服务包描述(bundle description)(USBD)/用户服务描述(USD)、基于服务的传输会话实例描述(S-TSID)和/或媒体表示描述(MPD)。
在这里,USBD/USD是SLS片段的一个,并且可以用作描述服务的详细说明信息的信令中心(signaling hub)。USBD可以包括服务识别信息、设备能力信息等等。USBD可以包括其它的SLS片段(S-TSID、MPD等等)的参考信息(URI参考)。也就是说,USBD/USD可以参考S-TSID和MPD。此外,USBD可以进一步包括用于允许接收机去判定传输模式(广播/宽带网络)的元数据信息。USBD/USD的详细说明将在下面给出。
S-TSID是SLS片段的一个,并且可以提供携带服务的服务组件的传输会话的整个会话描述信息。S-TSID可以提供服务的服务组件经由其传送的ROUTE会话,和/或用于ROUTE会话的LCT信道的传输会话描述信息。S-TSID可以提供与一个服务相关联的服务组件的组件获得信息。S-TSID可以在MPD的DASH表示和服务组件的tsi之间提供映射。S-TSID的组件获得信息可以以相关的DASH表示和tsi的标识符的形式提供,并且在某些实施例中可以或者可以不必包括PLP ID。经由该组件获得信息,接收机可以收集一个服务的音频/视频组件,并且执行DASH媒体分段的缓存和解码。S-TSID可以由如上所述的USBD引用。S-TSID的详细说明将在下面给出。
MPD是SLS片段的一个,并且可以提供服务的DASH媒体表示的描述。MPD可以提供媒体分段的资源标识符,并且提供在识别的资源的媒体表示内的上下文信息。MPD可以描述经广播网传送的DASH表示(服务组件),并且描述经宽带(混合传送)传送的额外的DASH表示。MPD可以由如上所述的USBD引用。
当SLS被经由MMT协议传送的时候,SLS可以被经由由SLT指示的MMTP会话的专用的MMTP分组流传送。在一些实施例中,传送SLS的MMTP分组的packet_id可以具有00的值。在这种情况下,SLS可以包括USBD/USD和/或MMT分组(MP)表。
在这里,USBD是SLS片段的一个,并且可以如由ROUTE协议传送时一样描述服务的详细说明信息。这个USBD可以包括其它的SLS片段的参考信息(URI信息)。MMT的USBD可以参考MMT信令的MP表。在一些实施例中,MMT的USBD可以包括S-TSID和/或MPD的参考信息。在这里,S-TSID是用于经由ROUTE协议传送的NRT数据。甚至当线性服务组件被经由MMT协议传送时,NRT数据可以经由ROUTE协议传送。MPD是在混合服务传送中用于经宽带传送的服务组件。MMT的USBD的详细说明将在下面给出。
MP表是用于MPU组件的MMT的信令消息,并且可以提供携带服务的服务组件的MMTP会话的整个会话描述信息。此外,MP表可以包括经由MMTP会话传送的资产(asset)的描述。MP表是用于MPU组件的流信令信息,并且可以提供对应于一个服务的资产列表和这些组件的位置信息(组件获得信息)。MP表的详细说明可以被在MMT中定义或者修改。在这里,资产是多媒体数据实体,通过一个唯一的ID合并,并且可以意指用于一个多媒体表示的数据实体。资产可以对应于配置一个服务的服务组件。对应于期望的服务的流服务组件(MPU)可以被使用MP表访问。MP表可以由如上所述的USBD引用。
其它的MMT信令消息可以被定义。与服务和MMTP会话有关的附加信息可以由这样的MMT信令消息描述。
ROUTE会话通过源IP地址、目的地IP地址和目的地端口号识别。LCT会话通过在父ROUTE会话范围内唯一的传输会话标识符(TSI)识别。MMTP会话通过目的地IP地址和目的地端口号识别。MMTP分组流通过在父MMTP会话范围内唯一的packet_id识别。
在ROUTE的情况下,S-TSID、USBD/USD、MPD或者传送其的LCT会话可以称为服务信令信道。在MMTP的情况下,USBD/UD、MMT信令消息或者传送其的分组流可以称为服务信令信道。
与示出的实施例不同,一个ROUTE或者MMTP会话可以经由多个PLP传送。也就是说,一个服务可以经由一个或多个PLP传送。与示出的实施例不同,在一些实施例中,配置一个服务的组件可以经由不同的ROUTE会话传送。此外,在一些实施例中,配置一个服务的组件可以经由不同的MMTP会话传送。在一些实施例中,配置一个服务的组件可以在ROUTE会话和MMTP会话中被分割和传送。虽然未示出,配置一个服务的组件可以经由宽带(混合传送)传送。
图3是示出根据本发明的一个实施例的低等级信令(LLS)表和服务列表表(SLT)的图。
LLS表的一个实施例t3010可以包括根据LLS_table_id字段、provider_id字段、LLS_table_version字段和/或LLS_table_id字段的信息。
LLS_table_id字段可以识别LLS表的类型,并且provider_id字段可以识别与由LLS表用信号通知的服务相关联的服务提供者。在这里,服务提供者是使用所有或者一些广播流的广播设备,并且provider_id字段可以识别正在使用广播流的多个广播设备的一个。LLS_table_version字段可以提供LLS表的版本信息。
根据LLS_table_id字段的值,LLS表可以包括以上描述的SLT、包括有关内容报告评级信息的评级区域表(RRT)、用于提供与系统时间相关联的信息的系统时间信息、用于提供与紧急警报相关联的信息的公共警报协议(CAP)消息中的一个。在一些实施例中,其它的信息可以包括在LLS表中。
示出的SLT的一个实施例t3020可以包括@bsid属性、@sltCapabilities属性、sltInetUrl元素和/或服务元素。每个字段可以被根据示出的使用列的值省略,或者可以存在多个字段。
@bsid属性可以是广播流的标识符。@sltCapabilities属性可以提供解码和显著地再现在SLT中描述的所有服务需要的能力信息。sltInetUrl元素可以经宽带提供用于获得服务信令信息的基础URL信息和用于SLT的服务的ESG。sltInetUrl元素可以进一步包括@urlType属性,其可以指示能够被经由URL获得的数据类型。
服务元素可以包括有关在SLT中描述的服务的信息,并且每个服务的服务元素可以存在。服务元素可以包括@serviceId属性、@sltSvcSeqNum属性、@protected属性、@majorChannelNo属性、@minorChannelNo属性、@serviceCategory属性、@shortServiceName属性、@hidden属性、@broadbandAccessRequired属性、@svcCapabilities属性、BroadcastSvcSignaling元素和/或svcInetUrl元素。
@serviceId属性是服务的标识符,并且@sltSvcSeqNum属性可以指示该服务的SLT信息的序列号。@protected属性可以指示是否保护针对该服务的显著的再现所必需的至少一个服务组件。@_majorChannelNo属性和@_minorChannelNo属性可以分别地指示该服务的主要信道编号和次要信道编号。
@serviceCategory属性可以指示该服务的类别。该服务的类别可以包括线性A/V服务、线性音频服务、基于app的服务、ESG服务、EAS服务等等。@shortServiceName属性可以提供该服务的短的名称。@hidden属性可以指示是否该服务是用于测试或者专用用途。@broadbandAccessRequired属性可以指示对于该服务的显著的再现是否宽带接入是必需的。@svcCapabilities属性可以提供针对该服务的解码和显著的再现所必需的能力信息。
BroadcastSvcSignaling元素可以提供与该服务的广播信令相关联的信息。这个元素可以相对于信令经该服务的广播网提供信息,诸如位置、协议和地址。其细节将在下面描述。
svcInetUrl元素可以经宽带提供用于访问服务的信令信息的URL信息。sltInetUrl元素可以进一步包括@urlType属性,其可以指示能够被经由URL获得的数据类型。
以上描述的BroadcastSvcSignaling元素可以包括@slsProtocol属性、@slsMajorProtocolVersion属性、@slsMinorProtocolVersion属性、@slsPlpId属性、@slsDestinationIpAddress属性、@slsDestinationUdpPort属性和/或@slsSourceIpAddress属性。
@slsProtocol属性可以指示用于传送服务(ROUTE、MMT等等)的SLS的协议。@slsMajorProtocolVersion属性和@slsMinorProtocolVersion属性可以分别地指示用于传送该服务的SLS的协议的主要版本号和次要版本号。
@slsPlpId属性可以提供用于识别传送该服务的SLS的PLP的PLP标识符。在一些实施例中,这个字段可以被省略,并且由SLS传送的PLP信息可以使用以下描述的LMT的信息和SLT的引导信息的组合检查。
@slsDestinationIpAddress属性、@slsDestinationUdpPort属性和@slsSourceIpAddress属性可以分别地指示目的地IP地址、目的地UDP端口和传送服务的SLS的传输分组的源IP地址。这些可以识别由SLS传送的传输会话(ROUTE会话或者MMTP会话)。这些可以包括在引导信息中。
图4是示出根据本发明的一个实施例,经由ROUTE传送的USBD和S-TSID的图。
示出的USBD的一个实施例t4010可以具有bundleDescription根元素。bundleDescription根元素可以具有userServiceDescription元素。userServiceDescription元素可以是一个服务的实例。
userServiceDescription元素可以包括@_globalServiceID属性、@_serviceId属性、@serviceStatus属性、@fullMPDUri属性、@sTSIDUri属性、名称元素、serviceLanguage元素、capabilityCode元素和/或deliveryMethod元素。每个字段可以根据示出的使用列的值被省略,或者可以存在多个字段。
@globalServiceID属性是该服务的全球唯一标识符,并且可以用于与ESG数据(Service@globalServiceID)相联系。@serviceId属性是对应于SLT的服务项的参考,并且可以等于SLT的服务ID信息。@serviceStatus属性可以指示该服务的状态。这个字段可以指示是否该服务是有效或者无效。
@fullMPDUri属性可以参考该服务的MPD片段。MPD可以提供经如上所述的广播或者宽带网络传送的服务组件的再现描述。@sTSIDUri属性可以参考该服务的S-TSID片段。S-TSID可以提供与访问携带如上所述的服务的传输会话相关联的参数。
名称元素可以提供服务的名称。这个元素可以进一步包括@lang属性,并且这个字段可以指示由名称元素提供的名称的语言。serviceLanguage元素可以指示该服务可用的语言。也就是说,这个元素可以安排能够被由服务提供的语言。
capabilityCode元素可以指示显著地再现该服务必需的接收机的能力或者能力组信息。此信息与在服务通告中提供的能力信息格式兼容。
deliveryMethod元素可以关于经该服务的广播或者宽带网络访问的内容提供传输相关的信息。deliveryMethod元素可以包括broadcastAppService元素和/或unicastAppService元素。这些元素中的每个可以具有作为子元素的basePattern元素。
broadcastAppService元素可以包括经广播网传送的DASH表示的传输相关的信息。DASH表示可以包括在服务表示的所有周期上的媒体组件。
这个元素的basePattern元素可以指示用于接收机去执行与分段URL匹配的字形。这可以用于DASH客户端去请求表示的分段。匹配可以隐含在广播网上媒体分段的传输。
unicastAppService元素可以包括经宽带传送的DASH表示的传输相关的信息。DASH表示可以包括在服务媒体表示的所有周期上的媒体组件。
这个元素的basePattern元素可以指示用于接收机去执行与分段URL匹配的字形。这可以用于DASH客户去请求表示的分段。匹配可以暗指在宽带网上媒体分段的传送。
示出的S-TSID的一个实施例t4020可以具有S-TSID根元素。S-TSID根元素可以包括@serviceId属性和/或RS元素。每个字段可以根据示出的使用列的值被省略,或者可以存在多个字段。
@serviceId属性是该服务的标识符,并且可以参考USBD/USD的服务。RS元素可以描述有关经由其该服务的服务组件被传送的ROUTE会话的信息。根据ROUTE会话的数目,多个元素可以存在。RS元素可以进一步包括@bsid属性、@sIpAddr属性、@dIpAddr属性、@dport属性、@PLPID属性和/或LS元素。
@bsid属性可以是该服务的服务组件在其中被传送的广播流的标识符。如果这个字段被省略,默认广播流可以是包括传送该服务的SLS的PLP的广播流。这个字段的值可以等于@bsid属性的值。
@sIpAddr属性、@dIpAddr属性和@dport属性可以分别地指示源IP地址、目的地IP地址和ROUTE会话的目的地UDP端口。当这些字段被省略的时候,缺省值可以是源地址、目的地IP地址和传送SLS(也就是说,S-TSID)的当前的ROUTE会话的目的地UDP端口值。不在当前的ROUTE会话中,这个字段可以不必在传送该服务的服务组件的另一个ROUTE会话中被省略。
@PLPID属性可以指示ROUTE会话的PLP ID信息。如果这个字段被省略,缺省值可以是由S-TSID传送的当前的PLP的PLP ID值。在一些实施例中,这个字段被省略,并且ROUTE会话的PLP ID信息可以被使用以下描述的LMT的信息和RS元素的IP地址/UDP端口信息的组合检查。
LS元素可以描述有关经由其该服务的服务组件被发送的LCT信道的信息。根据LCT信道的数目,多个元素可以存在。LS元素可以包括@tsi属性、@PLPID属性、@bw属性、@startTime属性、@endTime属性、SrcFlow元素和/或RepairFlow元素。
@tsi属性可以指示LCT信道的tsi信息。使用这些,经由其该服务的服务组件被传送的LCT信道可以被识别。@PLPID属性可以指示LCT信道的PLP ID信息。在一些实施例中,这个字段可以被省略。@bw属性可以指示LCT信道的最大带宽。@startTime属性可以指示LCT会话的开始时间,并且@endTime属性可以指示LCT信道的结束时间。
SrcFlow元素可以描述ROUTE的信源流。ROUTE的信源协议被用于发送传送对象,并且至少一个信源流可以在一个ROUTE会话内被建立。信源流可以传送作为对象流的相关的对象。
RepairFlow元素可以描述ROUTE的修复流。根据信源协议传送的传送对象可以根据前向纠错(FEC)被保护,并且修复协议可以对于允许FEC保护的FEC框架。
图5是示出根据本发明的一个实施例,经由MMT传送的USBD的图。
示出的USBD的一个实施例可以具有bundleDescription根元素。bundleDescription根元素可以具有userServiceDescription元素。userServiceDescription元素可以是一个服务的实例。
userServiceDescription元素可以包括@globalServiceID属性、@serviceId属性、名称元素、serviceLanguage元素、contentAdvisoryRating元素、信道元素、mpuComponent元素、routeComponent元素、broadbandComponent元素和/或ComponentInfo元素。每个字段可以根据示出的使用列的值被省略,或者可以存在多个字段。
@globalServiceID属性、@serviceId属性、名称元素和/或serviceLanguage元素可以等于经由ROUTE传送的USBD的字段。contentAdvisoryRating元素可以指示该服务的内容报告评级。此信息与在服务通告中提供的内容报告评价信息格式兼容。信道元素可以包括与该服务相关联的信息。这个元素的详细说明将在下面给出。
mpuComponent元素可以提供作为该服务的MPU传送的服务组件的描述。这个元素可以进一步包括@mmtPackageId属性和/或@nextMmtPackageId属性。@mmtPackageId属性可以参考作为该服务的MPU传送的服务组件的MMT包。@nextMmtPackageId属性可以就时间而言参考在由@mmtPackageId属性引用的MMT包之后要使用的MMT包。经由这个元素的信息,MP表可以被参考。
routeComponent元素可以包括该服务的服务组件的描述。即使当线性服务组件被经由MMT协议传送时,NRT数据也可以根据如上所述的ROUTE协议传送。这个元素可以描述有关这样的NRT数据的信息。这个元素的详细说明将在下面给出。
broadbandComponent元素可以包括经宽带传送的服务的服务组件的描述。在混合服务传送中,一个服务的某些服务组件或者其他的文件可以被经宽带传送。这个元素可以描述有关这样的数据的信息。这个元素可以进一步包括@fullMPDUri属性。这个属性可以参考描述经宽带传送的服务组件的MPD。除了混合服务传送之外,广播信号可能由于在隧道中传送而被减弱,并且因此,这个元素可能是支持在宽带和宽带之间切换所必需的。当广播信号变弱的时候,服务组件经宽带获得,并且当广播信号变得强的时候,服务组件经广播网获得以保证服务连续性。
ComponentInfo元素可以包括有关该服务的服务组件的信息。根据该服务的服务组件的数目,多个元素可以存在。这个元素可以描述每个服务组件的类型、作用、名称、标识符或者保护。这个元素的详细信息将在下面描述。
以上描述的信道元素可以进一步包括@serviceGenre属性、@serviceIcon属性和/或ServiceDescription元素。@serviceGenre属性可以指示服务的类型(genre),并且@serviceIcon属性可以包括该服务的代表性图标的URL信息。ServiceDescription元素可以提供该服务的服务描述,并且这个元素可以进一步包括@serviceDescrText属性和/或@serviceDescrLang属性。这些属性可以指示服务描述的文本和在文本使用的语言。
以上描述的routeComponent元素可以进一步包括@sTSIDUri属性、@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性、@sTSIDSourceIpAddress属性、@sTSIDMajorProtocolVersion属性和/或@sTSIDMinorProtocolVersion属性。
@sTSIDUri属性可以参考S-TSID片段。这个字段可以等于经由ROUTE传送的USBD的字段。这个S-TSID可以提供经由ROUTE传送的服务组件的访问相关信息。这个S-TSID可以根据MMT协议在传送线性服务组件的状态下对于根据ROUTE协议传送的NRT数据存在。
@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性和@sTSIDSourceIpAddress属性可以指示目的地IP地址、目的地UDP端口和携带以上描述的S-TSID的传输分组的源IP地址。也就是说,这些字段可以识别携带以上描述的S-TSID的传输会话(MMTP会话或者ROUTE会话)。
@sTSIDMajorProtocolVersion属性和@sTSIDMinorProtocolVersion属性可以分别地指示用于传送以上描述的S-TSID的传输协议的主要版本号和次要版本号。
以上描述的ComponentInfo元素可以进一步包括@componentType属性、@componentRole属性、@componentProtectedFlag属性、@componentId属性和/或@componentName属性。
@componentType属性可以指示该组件的类型。例如,这个属性可以指示是否该组件是音频、视频或者隐藏式字幕组件。@componentRole属性可以指示该组件的作用。例如,如果该组件是音频组件,则这个属性可以指示主要音频、音乐、评论(commentary)等等。如果该组件是视频组件,则这个属性可以指示主要视频。如果该组件是隐藏式字幕组件,则这个属性可以指示常规字幕或者易于阅读的类型。
@componentProtectedFlag属性可以指示是否服务组件被保护,例如,加密。@componentId属性可以指示该服务组件的标识符。这个属性的值可以是对应于这个服务组件的MP表的asset_id(资产ID)。@componentName属性可以指示该服务组件的名称。
图6是示出根据本发明的一个实施例的链路层操作的图。
链路层可以是在物理层和网络层之间的层。发送侧可以从网络层到物理层发送数据,并且接收侧可以从物理层到网络层发送数据(t6010)。链路层的目的是将所有输入分组类型压缩(抽象)为用于由物理层处理的一个格式,并且保证仍然未定义的输入分组类型的灵活性和可扩充性。此外,链路层可以提供用于压缩(抽象)输入分组的头部的不必要的信息以有效地发送输入数据的选项。链路层的操作,诸如开销降低、封装等等称为链路层协议,并且使用这个协议产生的分组可以称为链路层分组。链路层可以执行功能,诸如分组封装、开销降低和/或信令传输。
在发送侧上,链路层(ALP)可以对于输入分组执行开销降低过程,然后将输入分组封装进链路层分组。此外,在一些实施例中,链路层可以无需执行开销降低过程而执行封装进链路层分组。由于链路层协议的使用,在物理层上的数据传输开销可以被显著地降低,并且根据本发明的链路层协议可以提供IP开销降低和/或MPEG-2TS开销降低。
当示出的IP分组被作为输入分组输入的时候(t6010),链路层可以顺序地执行IP头部压缩、适配和/或封装。在一些实施例中,某些处理可以被省略。例如,RoHC模块可以执行IP分组头部压缩以降低不必要的开销。上下文信息可以经由适配过程提取,并且带外发送。IP头部压缩和适配过程可以被统称为IP头部压缩。此后,IP分组可以经由封装过程被封装进链路层分组。
当MPEG 2 TS分组被作为输入分组输入的时候,链路层可以对于TS分组顺序地执行开销降低和/或封装过程。在一些实施例中,某些过程可以被省略。在开销降低中,链路层可以提供同步字节去除、空分组删除和/或公用头部去除(压缩)。经由同步字节去除,可以每个TS分组提供1字节的开销降低。空分组删除可以在接收侧上以重新插入是可允许的方式执行。此外,删除(压缩)可以以在连续头部之间的公共信息可以在接收侧上被恢复的方式执行。开销降低过程中的某些可以被省略。此后,经由该封装过程,TS分组可以被封装进链路层分组。用于TS分组封装的链路层分组结构可以不同于其它类型的分组。
首先,将描述IP头部压缩。
IP分组可以具有固定的头部格式,但是,通信环境所必需的某些信息对于广播环境可能是不必要的。链路层协议可以压缩IP分组的头部以提供用于降低广播开销的机制。
IP头部压缩可以采用头部压缩器/解压缩器和/或适配模块。IP头部压缩器(RoHC压缩器)可以基于RoHC方案降低每个IP分组头部的大小。此后,适配模块可以提取上下文信息,并且从每个分组流产生信令信息。接收机可以分析与分组流相关联的信令信息,并且将上下文信息附加给分组流。RoHC解压缩器可以恢复分组头部以重新配置初始IP分组。
在下文中,将描述适配。
在单方向链路的传输中,当接收机不具有上下文信息的时候,解压缩器无法恢复接收的分组头部,直到接收到完整的上下文为止。这可能导致信道变化延迟和接通延迟。因此,经由适配功能,在压缩器和解压缩器之间的配置参数和上下文信息可以带外发送。
上下文信息被从压缩的IP分组中提取,并且各种方法可以根据适配模式使用。
模式#1指的是对于压缩的分组流不执行操作的模式,并且适配模块作为缓存器操作。
模式#2指的是从压缩的分组流检测到IR分组以提取上下文信息(静态链)的模式。在提取之后,IR分组被转换为IR-DYN分组,并且IR-DYN分组可以在分组流(而不是初始IR分组内)以相同的顺序被发送。
模式#3(t6020)指的是从压缩的分组流检测到IR和IR-DYN分组以提取上下文信息的模式。静态链和动态链可以被从IR分组中提取,并且动态链可以被从IR-DYN分组中提取。在提取之后,IR和IR-DYN分组被转换为常规压缩分组。转换的分组可以在分组流(而不是初始IR和IR-DYN分组内)以相同的顺序被发送。
在每个模式中,上下文信息被提取,并且剩余的分组可以被根据用于压缩的IP分组的链路层分组结构封装和发送。上下文信息可以被作为链路层信令根据用于信令信息的链路层分组结构封装和发送。
提取的上下文信息可以被包括在RoHC-U描述表(RDT)中,并且可以与RoHC分组流分开地被发送。上下文信息可以经由特定的物理数据路径与其它的信令信息一起被发送。特定的物理数据路径可以指的是常规PLP、低等级信令(LLS)在其中传送的PLP、专用PLP或者L1信令路径中的一个。在这里,RDT可以是上下文信息(静态链和/或动态链)和/或包括与头部压缩相关联的信息的信令信息。
接收机可以选择第一PLP,并且在获得分组流之前,首先获得SLT、RDT等等的信令信息。当获得信令信息的时候,可以选择携带分组流的PLP。适配模块可以解析上下文信息,并将上下文信息与压缩的分组合并。为此,分组流可以被恢复并且被传送给RoHC解压缩器。此后,可以开始解压缩。
在下文中,将描述分组封装。
链路层协议可以将所有类型的输入分组,诸如IP分组、TS分组等等封装进链路层分组。为此,独立于网络层(在这里,MPEG-2TS分组被认为是网络层分组)的协议类型,物理层仅处理一种分组格式。每个网络层分组或者输入分组被修改为通用链路层分组的有效载荷。
在分组封装过程中,可以使用分段。如果网络层分组太大而无法在物理层中被处理,则网络层分组可以被分段为两个或更多个分段。链路层分组头部可以包括用于发送侧分段和接收侧重新组合的字段。每个分段可以被以与原始位置相同的顺序封装进链路层分组。
在分组封装过程中,也可以使用级联。如果网络层分组足够地小,使得链路层分组的有效载荷包括几个网络层分组,则可以执行级联。链路层分组头部可以包括用于执行级联的字段。在级联时,输入分组可以被以与初始输入顺序相同的顺序封装进链路层分组的有效载荷。
链路层分组可以包括头部和有效载荷。头部可以包括基础头部、附加的头部和/或可选择的头部。附加的头部可以根据情形(诸如级联或者分段)被进一步增加,并且附加的头部可以包括适用于情形的字段。此外,对于附加信息的传送,可以进一步包括可选择的头部。可以预先定义每个头部结构。如上所述,如果输入分组是TS分组,则可以使用具有不同于其它分组的分组的链路层头部。
在下文中,将描述链路层信令。
链路层信令可以在比IP层更低的等价上操作。接收侧可以获得比LLS、SLT、SLS等等的IP等级信令更快的链路层信令。因此,链路层信令可以被在会话建立之前获得。
链路层信令可以包括内部链路层信令和外部链路层信令。内部链路层信令可以是在链路层上产生的信令信息。这包括以上描述的RDT或者以下描述的LMT。外部链路层信令可以是从外部模块、外部协议或者高层接收的信令信息。链路层可以将链路层信令封装进链路层分组,并且传送该链路层分组。用于链路层信令的链路层分组结构(头部结构)可以被定义,并且链路层信令信息可以根据这个结构被封装。
图7是示出根据本发明的一个实施例的链路映射表(LMT)的图。
LMT可以提供经由PLP携带的高层会话列表。此外,LMT可以提供用于处理携带高层会话的链路层分组的附加信息。
有关经由一个PLP发送的IP流或者传输会话的信息可以经由LMT来获得。相比之下,可以获得有关特定的传输会话经由哪个PLP传送的信息。
在一些实施例中,在以上描述的SLT、SLS等等中的PLP标识符信息可用于指示经由哪个PLP发送由SLT或者SLS指示的特定的传输会话的确认信息可以被确认。
在另一个实施例中,在以上描述的SLT、SLS等等中的PLP标识符信息将被省略,并且由SLT或者SLS指示的特定的传输会话的PLP信息可以通过参考LMT中的信息确认。在这种情况下,接收机可以合并LMT和其它的IP等级信令信息以识别PLP。即使在这个实施例中,SLT、SLS等等中的PLP信息也可以不被省略,并且可以保持在SLT、SLS等等中。
根据示出的实施例的LMT可以包括signaling_type字段、PLP_ID字段、num_session字段和/或有关每个会话的信息。虽然示出的实施例的LMT描述经由一个PLP发送的IP流,PLP环可以在某些实施例中被增加给LMT以描述有关多个PLP的信息。
signaling_type字段可以指示由表传送的信令信息的类型。用于LMT的signaling_type字段的值可以被设置为0x01。PLP_ID字段可以识别与LMT相对应的PLP。num_session字段可以指示经由通过PLP_ID字段识别的PLP传送的高层会话的数目。
根据由num_session字段指示的数目,可以包括有关每个会话的信息。此信息可以包括src_IP_add字段、dst_IP_add字段、src_UDP_port字段、dst_UDP_port字段、SID_flag字段、compressed_flag字段、SID字段和/或context_id字段。
src_IP_add字段、dst_IP_add字段、src_UDP_port字段和dst_UDP_port字段可以指示源IP地址、目的地IP地址、在经由通过PLP_ID字段识别的PLP传送的高层会话之中传输会话的源UDP端口和目的地UDP端口。
SID_flag字段可以指示是否传送传输会话的链路层分组在可选择的头部中具有SID字段。传送高层会话的链路层分组可以在可选择的头部中具有SID字段,并且SID字段值可以等于在LMT中的SID字段的值。
compressed_flag字段可以指示是否头部压缩被应用于传送传输会话的链路层分组的数据。此外,以下描述的context_id字段的存在/不存在可以根据这个字段的值确定。SID字段可以指示传送传输会话的链路层分组的SID(子流ID)。
context_id字段可以在RDT中提供用于上下文id(CID)的参考。RDT的CID信息可以指示压缩IP分组流的上下文ID。RDT可以提供压缩IP分组流的上下文信息。经由这个字段,RDT和LMT可以是相关联的。
在本发明的信令信息/表的以上描述的实施例中,字段、元素或者属性可以被省略,或者可以以其它的字段替换。在一些实施例中,附加的字段、元素或者属性可以被增加。
在本发明的一个实施例中,一个服务的服务组件可以被经由多个ROUTE会话传送。在这种情况下,SLS可以经由SLT的引导信息获得。S-TSID和MPD可以通过SLS的USBD被引用。S-TSID可以不仅描述由SLS传送的ROUTE会话,而且描述由服务组件携带的另一个ROUTE会话的传输会话描述信息。为此,经由多个ROUTE会话传送的服务组件可以都被收集。这类似地可适用于一个服务的服务组件被经由多个MMTP会话传送的情形。仅供参考,一个服务组件可以同时地由多个服务使用。
在本发明的另一个实施例中,ESG服务的引导可以由广播或者宽带网络执行。通过经宽带获得ESG,可以使用SLT的URL信息。ESG信息可以使用这个URL来请求。
在本发明的另一个实施例中,一个服务的一个服务组件可以经广播网传送,并且另一个服务组件可以经宽带(混合)传送。S-TSID可以描述经广播网传送的组件,使得ROUTE客户端获得期望的服务组件。此外,USBD可以具有基础模式信息以描述哪个分段(哪个组件)被经由哪个路径传送。因此,接收机可以确认要从宽带服务请求的分段和在广播流中要检测的分段。
在本发明的另一个实施例中,可以执行服务的可扩展编码。USBD可以具有提供该服务所必需的所有能力信息。例如,当在HD或者UHD中提供一个服务的时候,USBD的能力信息可以具有“HD或者UHD”的值。接收机可以检查哪个组件被重现以便使用MPD提供UHD或者HD服务。
在本发明的另一个实施例中,通过经由传送SLS的LCT信道传送的LCT分组的TOI字段,可以识别哪个SLS片段被使用LCT分组(USBD,S-TSID,MPD等等)传送。
在本发明的另一个实施例中,要用于基于app的增强/基于app的服务的app组件可以作为NRT组件经广播网传送,或者可以经宽带传送。此外,用于基于app的增强的app信令可以通过与SLS一起被传送的应用信令表(AST)执行。此外,用于要由app执行的操作示意的事件可以以事件消息表(EMT)的形式与SLS一起被传送,可以在MPD中用信号通知,或者可以在DASH表示内以方框的形式带内信号通知。AST、EMT等等可以经宽带传送。基于App的增强等等可以被使用收集的app组件和这样的信令信息提供。
在本发明的另一个实施例中,CAP消息可以在以上描述的用于紧急警报的LLS表中被包括和提供。也可以提供用于紧急警报的富媒体内容。富媒体可以由CAP消息用信号通知,并且如果富媒体存在,则富媒体可以作为由SLT用信号通知的EAS服务提供。
在本发明的另一个实施例中,线性服务组件可以根据MMT协议经广播网传送。在这种情况下,该服务的NRT数据(例如,app组件)可以根据ROUTE协议经广播网传送。此外,服务的数据可以经宽带传送。接收机可以使用SLT的引导信息访问传送SLS的MMTP会话。根据MMT的SLS的USBD可以引用MP表,使得接收机获得已格式化为根据MMT协议传送的MPU的线性服务组件。此外,USBD可以进一步引用S-TSID,使得接收机获得根据ROUTE协议传送的NRT数据。此外,USBD可以进一步引用MPD以提供经宽带传送的数据的再现描述。
在本发明的另一个实施例中,接收机可以经由网络套接字(web socket)方法将能够获得文件内容项目(文件等等)的位置URL信息和/或流组件传送给配套设备(companiondevice)。配套装置的应用可以经由使用这个URL的HTTP GET通过请求获得组件、数据等等。此外,接收机可以将信息(诸如系统时间信息、紧急警报信息等等)传送给配套设备。
图8是图示根据实施例的网络拓扑的框图。
如在图8中所示,网络拓扑包括内容提供服务器10、内容识别服务提供服务器20、多频道视频分布服务器30、增强型服务信息提供服务器40、多个增强型服务提供服务器50、广播接收设备60、网络70以及视频显示设备100。
内容提供服务器10可以对应于广播站并且广播包括主音频-可视内容的广播信号。广播信号可以进一步包括增强型服务。增强型服务可以或者可以不与主音频-可视内容有关。增强型服务可以具有诸如服务信息、元数据、附加数据、编译的执行文件、web应用、超文本标记语言(HTML)文档、XML文档、层叠样式表(CSS)文档、音频文件、视频文件、ATSC2.0内容、以及诸如统一资源定位符(URL)的地址的格式。可以存在至少一个内容提供服务器。
内容识别服务提供服务器20提供允许视频显示设备100基于主音频-可视内容识别内容的内容识别服务。内容识别服务提供服务器20可以或者可以不编辑主音频-可视内容。可以存在识别服务提供服务器的至少一个内容。
内容识别服务提供服务器20可以是编辑主音频-可视内容以将可以查看标识的可视水印插入到主音频-可视内容的水印服务器。此水印服务器可以在主音频-可视内容中的每个帧的左上或者右上处插入内容提供商的标识作为水印。
另外,内容识别服务提供服务器20可以是编辑主音频-可视内容以将内容信息插入到主音频-可视内容作为不可视水印的水印服务器。
另外,内容识别服务提供服务器20可以是从主音频-可视内容的一些帧或者音频采样中提取特征信息并且进行存储的指纹服务器。此特征信息被称为签名。
多频道视频分布服务器30从多个广播站接收和复用广播信号并且将复用的广播信号提供给广播接收设备60。特别地,多频道视频分布服务器30对接收到的广播信号执行解调和信道解码以提取主音频-可视内容和增强型服务,并且然后,对提取的主音频-可视内容和增强型服务执行信道编码以生成用于分布的复用的信号。在这一点上,因为多频道视频分布服务器30可以排除提取的增强型服务或者可以添加其它的增强型服务,所以广播站可以不提供通过其引导的服务。可以存在至少一个多频道视频分布服务器。
广播设备60可以调谐由用户选择的频道并且接收调谐的频道的信号,并且然后,对接收到的信号执行解调和信道解码以提取主音频-可视内容。广播设备60通过H.264/运动图像专家组-4高级视频编译(MPEG-4AVC)、杜比AC-3或者运动图像专家组-2高级音频编译(MPEG-2AAC)算法解码提取的主音频-可视内容以生成未被压缩的主音频-可视(AV)内容。广播接收设备60通过其外部输入端口将生成的未被压缩的主AV内容提供给视频显示设备100。
增强型服务信息提供服务器40响应于视频显示设备的请求提供关于与主AV内容有关的至少一个可用的增强型服务的增强型服务信息。可以存在至少一个增强型服务提供服务器。增强型服务信息提供服务器40可以提供关于在多个可用的增强型服务当中具有最高的优先级的增强型服务的增强型服务信息。
增强型服务提供服务器50响应于视频显示设备的请求提供与主AV内容有关的至少一个可用的增强型服务。可以存在至少一个增强型服务提供服务器。
视频显示设备100可以是电视、笔记本计算机、手机、以及智能电话,其均包括显示单元。视频显示设备100可以从广播接收设备60接收未被压缩的主AV内容或者从内容提供服务器10或者多频道视频分布服务器30接收包括编码的主AV内容的广播信号。视频显示设备100可以通过网络70从内容识别服务提供服务器20接收内容识别服务,通过网络70从增强型服务信息提供服务器40接收与主AV内容有关的至少一个可用增强型服务的地址,以及从增强型服务提供服务器50接收与主AV内容有关的至少一个可用增强型服务。
内容提供服务器10、内容识别服务提供服务器20、多频道视频分布服务器30、增强型服务信息提供服务器40、以及多个增强型服务提供服务器50中的至少两个可以以一个服务器的形式被组合并且可以通过一个运营商来操作。
图9是图示根据实施例的基于水印的网络拓扑的框图。
如在图9中所示,基于水印的网络拓扑可以进一步包括水印服务器21。
如在图9中所示,水印服务器21编辑主AV内容以将内容信息插入到其中。多频道视频分布服务器30可以接收并且分别包括修改的主AV内容的广播信号。特别地,水印服务器可以使用下面描述的数字水印技术。
数字水印是将几乎可能是不可删除的信息插入到数字信号的过程。例如,数字信号可以是音频、图片或者视频。如果数字信号被复制,则插入的信息被包括在复制中。一个数字信号可以同时携带数个不同的水印。
在可视的水印中,插入的信息可以在图片或者视频中是可识别的。通常,插入的信息可以是识别媒体所有者的文本或者日志。如果电视广播站在视频的角落中添加其标识,则这是可识别的水印。
在不可视的水印中,尽管作为数字数据的信息被添加到音频、图片或者视频,但是用户可以意识到预先确定的数量的信息但是可以不识别它。私密消息可以通过不可视的水印被递送。
水印的一个应用是用于防止数字媒体的非法复制的版权保护系统。例如,复制设备在复制数字媒体之前从数字媒体获得水印,并且基于水印的内容确定是否复制。
水印的另一应用是数字媒体的来源跟踪。在分布路径的每个点处在数字媒体中嵌入水印。如果稍后找到这样的数字媒体,则可以从数字媒体中提取水印并且从水印的内容可以识别分布来源。
不可视的水印的另一应用是对于数字媒体的描述。
用于数字媒体的文件格式可以包括被称为元数据的附加信息,并且可以区分数字水印与作为数字媒体的AV信号本身被递送的元数据。
水印方法可以包括扩展频谱、量化、以及振幅调制。
如果通过附加的编辑获得标记的信号,则水印方法对应于扩展频谱。虽然已知扩展频谱水印相当强大,但是并没有包含很多信息,因为水印干扰嵌入的主信号。
如果通过量化获得标记的信号,则水印方法对应于量化类型。量化水印弱,可以包含更多的信息。
如果通过与在空间域中的扩展频谱相似的附加的编辑方法获得标记的信号,则水印方法对应于振幅调制。
图10是图示根据实施例的在基于水印的网络拓扑的数据流的梯形图。
首先,内容提供服务器10在操作S101中发送包括主AV内容和增强型服务的广播信号。
在操作S103中,水印服务器21接收内容提供服务器10提供的广播信号,通过编辑主AV内容将诸如标识的可视水印或者作为不可视的水印的水印信息插入到主AV内容,并且将被水印的主AV内容和增强型服务提供给MVPD30。
通过不可视的水印插入的水印信息可以包括水印用途、内容信息、增强型服务信息、以及可用的增强型服务中的至少一个。水印用途表示非法复制防止、收视率、以及增强型服务获取中的一个。
内容信息可以包括提供主AV内容的内容提供商的识别信息、主AV内容识别信息、在内容信息获取中使用的内容部分的时间信息、通过其广播AV内容的频道的名称、通过其广播主AV内容的频道的标识、通过其广播主AV内容的频道的描述、使用信息保护时段、用于使用信息获取的最小使用时间、以及与主AV内容有关的可用增强型服务信息中的至少一个。
如果视频显示设备100使用水印以获取内容信息,则被用于内容信息获取的内容部分的时间信息可以是嵌入被使用的水印的内容部分的时间信息。如果视频显示设备100使用指纹以获取内容信息,则被用于内容信息获取的内容部分的时间信息可以是提取特征信息的内容部分的时间信息。被用于内容信息获取的内容部分的时间信息可以包括用于内容信息获取的内部分的开始时间、用于内容信息获取的内容部分的持续时间、以及用于内容信息获取的内容部分的结束时间中的至少一个。
使用信息报告地址可以包括主AV内容观看信息报告地址和增强型服务使用信息报告地址中的至少一个。使用信息报告时段可以包括主AV内容观看信息报告时段和增强型服务使用信息报告时段中的至少一个。用于使用信息获取的最低使用时间可以包括用于主AV内容观看信息获取的最小观看时间和用于增强型服务使用信息提取的最低使用时间。
基于在超过最低观看时间内观看主AV内容,视频显示设备100获取主AV内容的观看信息并且在主AV内容观看信息报告时段中向主AV内容观看信息报告地址报告获取的观看信息。
基于在超过最低使用时间内使用增强型服务,视频显示设备100获取增强型服务使用信息并且在增强型服务使用信息报告时段中向增强型服务使用信息报告地址报告获取的使用信息。
增强型服务信息可以包括关于增强型服务是否存在的信息、提供服务器地址的增强型服务地址、各个可用增强型服务的获取路径、用于各个可用增强型服务的地址、每个可用的增强型服务的开始时间、每个可用增强型服务的结束时间、每个可用的增强型服务的寿命、每个可用增强型服务的获取模式、每个可用的增强型服务的请求时段、每个可用增强型服务的优先级信息、每个可用增强型服务的描述、每个可用增强型服务的种类、使用信息报告地址、使用信息报告时段、以及用于使用信息获取的最小使用时间中的至少一个。
可用增强型服务的获取路径可以以IP或者高级电视系统委员会-移动/手持(ATSCM/H)表示。如果可用增强型服务的获取路径是ATSCM/H,则增强型服务信息可以进一步包括频率信息和频道信息。每个可用增强型服务的获取模式可以表示推或拉。
此外,水印服务器21可以将作为不可视的水印的水印信息插入到主AV内容的标识中。
例如,水印服务器21可以在标识的预先确定的位置处插入条形码。在这一点上,标识的预先确定的位置可以对应于在显示标识的区域的底部处的第一行。当接收包括具有被插入的条形码的标识的主AV内容时视频显示设备100可以不显示条形码。
例如,水印服务器21可以在标识的预先确定的位置处插入条形码。在这一点上,标识可以保持其形式。
例如,水印服务器31可以在M个帧的标识中的每一个处插入N比特水印信息。即,水印服务器21可以在M个帧中插入M*N比特的水印信息。
在操作S105中MVPD30接收包括被水印的主AV内容和增强型服务的广播信号并且生成复用的信号以将其提供给广播接收设备60。在这一点上,复用的信号可以排除接收到的增强型服务或者可以包括新增强型服务。
在操作S106中广播接收设备60调谐用户选择的频道并且接收调谐的频道,解调接收到的信号,对解调的信号执行信道解码和AV解码以生成未被压缩的主AV内容,并且然后,将生成的未被压缩的主AV内容提供给视频显示设备100。
此外,在操作107中内容提供服务器10也通过无线信道广播包括主AV内容的广播信号。
另外,在操作S108中在没有经过广播接收设备60的情况下MVPD30可以向视频显示设备100直接地发送包括主AV内容的广播信号。
视频显示设备100可以通过广播接收设备60接收未被压缩的主AV内容。另外,视频显示设备100可以通过无线信道接收广播信号,并且然后,可以解调和解码接收到的广播信号以获得主AV内容。另外,视频显示设备100可以从MVPD30接收广播信号,并且然后,可以解调和解码接收到的广播信号以获得主AV内容。视频显示设备100从获得的主AV内容的音频采样的一些帧或者部分提取水印信息。如果水印信息对应于标识,则视频显示设备100确认与从多个标识与多个水印服务器地址之间的相对应的关系提取的标识相对应的水印服务器地址。当水印信息对应于标识时,视频显示设备100不能够识别仅具有标识的主AV内容。另外,当水印信息不包括内容信息时,视频显示设备100不能够识别主AV内容但是水印信息可以包括内容提供商识别信息或者水印服务器地址。当水印信息包括内容提供商识别信息时,视频显示设备100可以确认与从多个内容提供商识别信息和多个水印服务器地址之间的相对应关系提取的内容提供商识别信息相对应的水印服务器地址。以这样的方式,当视频显示设备100不能够识别仅具有水印信息的主AV内容时,在操作S109中其接入与获得的水印服务器地址相对应的水印服务器21以发送第一查询。
水印服务器21在操作S111中将第一答复提供给第一查询。第一答复可以包括内容信息、增强型服务信息和可用增强型服务中的至少一个。
如果水印信息和第一答复不包括增强型服务地址,则视频显示设备100不能够获得增强型服务。然而,水印信息和第一答复可以包括增强型服务地址提供服务器地址。以这样的方式,视频显示设备100没有通过水印信息和第一答复获得服务地址或者增强型服务。如果视频显示设备100获得提供增强型服务地址提供服务器地址,则在操作S119中其接入与获得的增强型服务地址提供服务器地址相对应的增强型服务信息提供服务器40以发送包括内容信息的第二查询。
增强型服务信息提供服务器40搜索与第二查询的内容信息有关的至少一个可用的增强型服务。稍后,在操作S121中增强型服务信息提供服务器40将用于至少一个可用增强型服务的增强型服务信息作为对第二查询的第二答复提供给视频显示设备100。
如果视频显示设备100通过水印信息、第一答复、或者第二答复,获得至少一个可用增强型服务地址,则在操作S123中其接入至少一个可用的增强型服务地址以请求增强型服务,并且然后,在操作S125中获得增强型服务。
图11是图示根据实施例的基于水印的内容识别时序的视图。
如在图11中所示,当广播接收设备60被接通并且调谐信道,并且,视频显示设备100通过外部输入端口111从广播接收设备60接收调谐的信道的主AV内容时,视频显示设备100可以从主AV内容的水印感测内容提供商标识符(或者广播站标识符)。然后,视频显示设备100可以基于感测到的内容提供商标识符从主AV内容的水印感测内容信息。
在这一点上,如在图11中所示,内容提供商标识符的检测可用时段可以不同于内容信息的检测可用时段。特别地,内容提供商标识符的检测可用时段可能比内容信息的短。通过此,视频显示设备100可以具有用于仅检测必要的信息的有效配置。
图12是图示根据实施例的基于指纹的网络拓扑的框图。
如在图12中所示,网络拓扑可以进一步包括指纹服务器22。
如在图12中所示,指纹服务器22没有编辑主AV内容,但是从主AV内容的音频采样的部分或者一些帧中提取特征信息并且存储提取的特征信息。然后,当从视频显示设备100接收特征信息时,指纹服务器22提供与接收到的特征信息相对应的AV内容的标识符和时间信息。
图13是图示根据实施例的在基于指纹的网络拓扑中的数据流的梯形图。
首先,内容提供服务器10在操作S201中发送包括主AV内容和增强型服务的广播信号。
指纹服务器22在操作S203中从主AV内容的多个音频部分或者多个帧部分提取多条特征信息,并且建立用于与多个特征信息相对应的多个查询结果的数据库。查询结果可以包括内容信息、增强型服务信息、以及可用增强型服务中的至少一个。
在操作S205中MVPD30接收包括主AV内容和增强型服务的广播信号并且生成复用的信号以将其提供给广播接收设备60。在这一点上,复用的信号可以排除接收到的增强型服务或者可以包括新的增强型服务。
广播接收设备60在操作S206中调谐用户选择的频道并且接收调谐的频道的信号,解调接收到的信号,对解调的信号执行信道解码和AV解码以生成未被压缩的主AV内容,并且然后,将生成的未被压缩的主AV内容提供给视频显示设备100。
此外,内容提供服务器10在操作S207中也通过无线信道广播包括主AV内容的广播信号。
另外,MVPD30可以在没有经过广播接收设备60的情况下向视频显示设备100直接地发送包括主AV内容的广播信号。
视频显示设备100可以通过广播接收设备60接收未被压缩的主AV内容。另外,视频显示设备100可以通过无线信道接收广播信号,并且然后,可以解调和解码接收到的广播信号以获得主AV内容。另外,视频显示设备100可以从MVPD30接收广播信号,并且然后,可以解调和解码接收到的广播信号以获得主AV内容。视频显示设备100在操作S213中从获得的主AV内容的音频采样的部分或者一些帧提取特征信息。
视频显示设备100在操作S215中接入与预先确定的指纹服务器地址相对应的指纹服务器22以发送包括提取的特征信息的第一查询。
指纹服务器22在操作S217中提供作为对第一查询的第一答复的查询结果。如果第一答复对应于失败,则视频显示设备100接入与另一指纹服务器地址相对应的指纹服务器22以发送包括提取的特征信息的第一查询。
指纹服务器22可以提供作为查询结果的可扩展的标记语言(XML)文档。包含查询结果的XML文档的示例将会被描述。
图14是图示根据实施例的包括查询结果的ACR-结果类型(ACR-Resulttype)的XML模式图的视图。
如在图14中所示,包括查询结果的ACR-结果类型(ACR-Resulttype)的包括结果代码(ResultCode)属性和内容ID(ContentID)、NTP时间戳(NTPTimestamp)、信令信道信息(SignalingChannelInformation)、以及服务信息(ServiceInformation)元素。
例如,如果结果代码(ResultCode)属性具有200,则这可以意指查询结果是成功的。例如,如果结果类型(ResultCode)属性具有404,则这可以意指查询结果是不成功的。
信令信道信息(SignalingChannelInformation)元素包括信令信道URL(SignalingChannelURL),并且信令信道URL(SignalingChannelURL)元素包括更新模式(UpdateMode)和轮询周期(PollingCycle)属性。更新模式(UpdateMode)属性可以具有Pull值或者Push值。
服务信息(ServiceInformation)元素包括服务名称(ServiceName)、服务标识(ServiceLogo)以及服务描述(ServiceDescription)元素。
包含查询结果的ACR-结果类型(ACR-ResultType)的XML模式在下面被图示。
[表1]
作为ContentID元素,ATSC内容标识符可以被使用,如下面的表中所示。
[表2]
如在表中所示,ATSC内容标识符具有包括TSID和门牌号的结构。
16比特的无符号的整数TSID携带传输流标识符。
5比特的无符号的整数end_of_day被设置有在广播结束之后能够重用content_id值时的一天中的小时。
9比特的无符号的整数unique_for被设置有当content_id值不能够被重用时的天数。
Content_id表示内容标识符。视频显示设备100在与end_of_day每日的对应时间中将unique_for减少了1,并且假定如果unique_for不是0则content_id是唯一的。
此外,作为ContentID元素,用于ATSC-M/H服务的全球服务标识符可以被使用,如下面所描述的。
全球服务标识符具有下述形式。
-urn:oma:bcast:iauth:atsc:service:<region>:<xsid>:<serviceid>
在此,<region>是包括通过ISO639-2规定的两个字符的国际国家代码。用于本地服务的<xsid>是如在<region>中定义的TSID的十进制数,并且<xsid>(区域服务)(major>69)是“0”。<serviceid>被定义有<major>或者<minor>。<major>表示主频道编号,并且<minor>表示次频道编号。
全球服务标识符的示例如下。
-urn:oma:bcast:iauth:atsc:service:us:1234:5.1
-urn:oma:bcast:iauth:atsc:service:us:0:100.200
此外,作为ContentID元素,ATSC内容标识符可以被使用,如下面所描述的。
ATSC内容标识符具有下述形式。
urn:oma:bcast:iauth:atsc:content:<region>:<xsidz>:<contentid>:<unique_for>:<end_of_day>
在此,<region>是包括通过ISO639-2规定的两个字符的国际国家代码。用于本地服务的<xsid>是如在<region>中定义的TSID的十进制数,并且可以被被"."<serviceid>跟随。用于(区域服务)(major>69)的<xsid是<serviceid>。<content_id>是在上面描述的表中所定义的content_id字段的base64符号,<unique_for>是在上面描述的表中的unique_for字段的十进制数符号,并且<end_of_day>是在上面描述的表中定义的end_of_day字段的十进制数符号。
在下文中,再次描述图13。
如果查询结果不包括增强型服务地址或者增强型服务但是包括增强型服务地址提供服务器地址,则在操作S219中视频显示设备100接入与获得的增强型服务地址提供服务器地址相对应的增强型服务信息提供服务器40以发送包括内容信息的第二查询。
增强型服务信息提供服务器40搜索与第二查询的内容信息有关的至少一个可用增强型服务。稍后,增强型服务信息提供服务器40在操作S221中将用于至少一个可用的增强型服务的增强型服务信息作为对第二查询的第二答复提供给视频显示设备100。
如果视频显示设备100通过第一答复或者第二答复获得至少一个可用的增强型服务地址,则在操作S223中接入至少一个可用的增强型服务地址以请求增强型服务,并且然后在操作S225中获得增强型服务。
当(UpdateMode)属性具有Pull值时,视频显示设备100通过(SignalingChannelURL)将HTTP请求发送到增强型服务提供服务器50并且响应该请求从增强型服务提供服务器50接收包括PSIP二进制流的HTTP答复。在这样的情况下,视频显示设备100可以根据被指定为(PollingCycle)属性的轮询时段发送HTTP请求。另外,(SignalingChannelUR)L元素可以具有更新时间信息。在这样的情况下,视频显示设备100可以根据被指定为更新时间属性的更新时间发送HTTP请求。
如果更新模式(UpdateMode)属性具有Push值,则视频显示设备100可以通过XMLHTTPRequestAPI从服务器异步地接收更新。在视频显示设备100通过XMLHTTPRequest对象将异步请求发送到服务器,如果存在信令信息的变化,则服务器通过信道提供作为答复的信令信息。如果在会话待机时间中存在限制,则服务器生成会话超时答复并且接收机识别生成的超时答复以再次发送请求,使得一直可以保持接收机和服务器之间的信道。
图15是图示根据实施例的基于水印和指纹的网络拓扑的框图。
如在图15中所示,基于水印和指纹的网络拓扑可以进一步包括水印服务器21和指纹服务器22。
如在图15中所示,水印服务器21将内容提供商识别信息插入到主AV内容。水印服务器21可以将作为诸如标识的可视水印或者不可视的水印的内容提供商识别信息插入到主AV内容。
指纹服务器22不可以编辑主AV内容,但是可以从主AV内容的音频采样的特定的部分或者一些帧提取特征信息并且存储提取的特征信息。然后,当从视频显示设备100接收特征信息时,指纹服务器22提供与接收到的特征信息相对应的AV内容的时间信息和标识符。
图16是图示根据实施例的基于水印和指纹的网络拓扑中的数据流的梯形图。
首先,内容提供服务器10在操作S301中发送包括主AV内容和增强型服务的广播信号。
在操作S303中,水印服务器21接收内容提供服务器10提供的广播信号,通过编辑主AV内容将诸如标识的可视水印或者作为不可视的水印的水印信息插入到主AV内容,并且将水印的主AV内容和增强型服务提供给MVPD30。通过不可视的水印插入的水印信息可以包括内容信息、增强型服务信息、以及可用的增强型服务中的至少一个。在上面描述了内容信息和增强型服务信息。
在操作S305中MVPD30接收包括水印的主AV内容和增强型服务的广播信号并且生成复用的信号以将其提供给广播接收设备60。在这一点上,复用的信号可以排除接收到的增强型服务或者可以包括新增强型服务。
在操作S306中广播接收设备60调谐用户选择的频道并且接收调谐的频道,解调接收到的信号,对解调的信号执行信道解码和AV解码以生成解压缩的主AV内容,并且然后,将被生成的解压缩的主AV内容提供给视频显示设备100。
此外,在操作307中内容提供服务器10也通过无线信道广播包括主AV内容的广播信号。
另外,在操作S308中在没有经过广播接收设备60的情况下MVPD30可以向视频显示设备100直接地发送包括主AV内容的广播信号。
视频显示设备100可以通过广播接收设备60接收未被压缩的主AV内容。另外,视频显示设备100可以通过无线信道接收广播信号,并且然后,可以解调和解码接收到的广播信号以获得主AV内容。另外,视频显示设备100可以从MVPD30接收广播信号,并且然后,可以解调和解码接收到的广播信号以获得主AV内容。视频显示设备100从获得的主AV内容的音频采样的一些帧或者部分提取水印信息。如果水印信息对应于标识,则视频显示设备100确认与从多个标识与多个水印服务器地址之间的相对应的关系提取的标识相对应的水印服务器地址。当水印信息对应于标识时,视频显示设备100不能够识别仅具有标识的主AV内容。另外,当水印信息不包括内容信息时,视频显示设备100不能够识别主AV内容但是水印信息可以包括内容提供商识别信息或者水印服务器地址。当水印信息包括内容提供商识别信息时,视频显示设备100可以确认与从多个内容提供商识别信息和多个水印服务器地址之间的相对应关系提取的内容提供商识别信息相对应的水印服务器地址。以这样的方式,当视频显示设备100不能够识别仅具有水印信息的主AV内容时,在操作S309中其接入与获得的水印服务器地址相对应的水印服务器21以发送第一查询。
水印服务器21在操作S311中将第一答复提供给第一查询。第一答复可以包括指纹服务器地址、内容信息、增强型服务信息、以及可用增强型服务中的至少一个。在上面描述了内容信息和增强型服务信息。
如果水印信息和第一答复包括指纹服务器地址,则视频显示设备100在操作S313中从主AV内容的音频采样的特定部分或者一些帧提取特征信息。
视频显示设备100在操作S315中接入与第一答复中的指纹服务器地址相对应的指纹服务器22以发送包括提取的特征信息的第二查询。
在操作S317中指纹服务器22提供作为对第二查询的第二答复的查询结果。
如果查询结果不包括增强型服务地址或者增强型服务而是包括增强型服务地址提供服务器地址,则在操作S319中视频显示设备100接入与获得的增强型服务地址提供服务器地址相对应的增强型服务信息提供服务器40以发送包括内容信息的第三查询。
增强型服务信息提供服务器40搜索与第三查询的内容信息有关的至少一个可用的增强型服务。稍后,在操作S321中增强型服务信息提供服务器40将用于至少一个可用增强型服务的增强型服务信息作为对第三查询的第三答复提供给视频显示设备100。
如果视频显示设备100通过第一答复、第二答复、或者第三答复获得至少一个可用增强型服务地址,则在操作S325中其接入至少一个可用的增强型服务地址以请求增强型服务,并且然后,在操作S325中获得增强型服务。
然后,参考图17,将会描述根据实施例的视频显示设备100。
图17是图示根据实施例的视频显示设备的框图。
如在图17中所示,视频显示设备100包括广播信号接收单元101、解调单元103、信道解码单元105、解复用单元107、AV解码单元109、外部输入端口111、播放控制单元113、播放设备120、增强型服务管理单元130、数据发送/接收单元141、以及存储器150。
广播信号接收单元101从内容提供服务器10或者MVPD30接收广播信号。
解调单元103解调接收到的广播信号以生成解调的信号。
信道解码单元105对被解调的信号执行信道解码以生成信道解码的数据。
解复用单元107使主AV内容与增强型服务与信道解码的数据分离。分离的增强型服务被存储在增强型服务存储单元152中。
AV解码单元109对分离的主AV内容执行AV解码以生成未被压缩的主AV内容。
此外,外部输入端口111从广播接收设备60、数字多功能盘(DVD)播放器、蓝光光盘播放器等等接收未被压缩的主AV内容。外部输入端口111可以包括DSUB端口、高清多媒体接口(HDMI)端口、数字可视接口(DVI)端口、复合端口、组件端口以及S视频端口中的至少一个。
播放控制单元113根据用户的选择控制播放设备120以播放AV解码单元109生成的未被压缩的主AV内容和从外部输入端口111接收到的未被压缩的主AV内容中的至少一个。
播放设备120包括显示单元121和扬声器123。显示单元121可以包括液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、以及3D显示器中的至少一个。
增强型服务管理单元130获得主AV内容的内容信息并且基于获得的内容信息获得可用的增强型服务。特别地,如上所述,增强型服务管理单元130可以基于未被压缩的主AV内容的音频采样的特定部分或者一些帧获得主AV内容的识别信息。在本说明书中这被称为自动内容识别(ACR)。
数据发送/接收单元141可以包括高级电视系统委员会-移动/手持式(ATSC-M/H)信道发送/接收单元141a和IP发送/接收单元141b。
存储器150可以包括诸如闪存型、硬盘型、多媒体卡微型、诸如SD或者XD存储器的卡式存储器、随机接入存储器(RAM)、静态随机接入存储器(SRAM)、只读存储器(ROM)、电可擦写可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、以及光盘的存储介质中的至少一个。视频显示设备100可以链接互联网中执行存储器150的存储功能的网络存储进行操作。
存储器150可以包括内容信息存储单元151、增强型服务存储单元152、标识存储单元153、设置信息存储单元154、书签存储单元155、用户信息存储单元156、以及使用信息存储单元157。
内容信息存储单元151存储与多个特征信息相对应的多个内容信息。
增强型服务存储单元152可以存储与多个特征信息相对应的多个增强型服务或者与多个内容信息相对应的多个增强型服务。
标识存储单元153存储多个标识。另外,标识存储单元153可以进一步存储与多个标识相对应的内容提供商标识符或者与多个标识相对应的水印服务器地址。
设置信息存储单元154存储用于ACR的设置信息。
书签存储单元155存储多个书签。
用户信息存储单元156存储用户信息。用户信息可以包括用于至少一个服务的至少一个账户信息、区域信息、家庭成员信息、首选类型信息、视频显示设备信息、以及用户信息范围中的至少一个。至少一个账号信息可以包括用于使用信息测量服务器的账户信息和诸如推特(Twitter)和脸谱(Facebook)的社交网络服务的账户信息。区域信息可以包括地址信息和邮政编码。家庭成员信息可以包括家庭成员的数目、每个成员的年龄、每个成员的性别、每个成员的信仰、以及每个成员的职业。首选的类型信息可以被设置有运动、电影、戏剧、教育、新闻、娱乐、以及其它类型中的至少一个。视频显示设备信息可以包括诸如视频显示设备的类型、制造商、固件版本、分辨率、型号、OS、浏览器、存储设备可用性、存储设备容量、以及视频显示设备的网络速度的信息。一旦使用信息范围被设置,视频显示设备100在设置的范围内收集和报告主AV内容观看信息和增强型服务使用信息。使用信息范围可以在每个虚拟信道中被设置。可替选地,在整个物理信道上可以设置使用信息测量可容许范围。
使用信息提供单元157存储通过视频显示设备100收集的主AV内容观看信息和增强型服务使用信息。另外,视频显示设备100基于收集的主AV内容观看信息和增强型服务使用信息分析服务使用模式,并且将分析的服务使用模式存储在使用信息存储单元157中。
增强型服务测量单元130可以从指纹服务器22或者内容信息存储单元151获得主AV内容的内容信息。如果在内容信息存储单元151中不存在对应于提取的特征信息的内容信息或者充分的内容信息,则增强型服务管理单元130可以通过数据发送/接收单元141接收附加的内容信息。此外,增强型服务管理单元130可以连续地更新内容信息。
增强型服务管理单元130可以从增强型服务提供服务器50或者增强型服务存储单元153获得可用的增强型服务。如果在增强型服务存储单元153中不存在增强型服务或者充分的增强型服务,则增强型服务管理单元130可以通过发送/接收单元141更新增强型服务。此外,增强型服务管理单元130可以连续地更新增强型服务。
增强型服务管理单元130可以从主AV内容提取标识,并且然后,可以对标识存储单元155进行查询以获得对应于提取的标识的内容提供商标识符或者水印服务器地址。如果在标识存储单元155中不存在对应于提取的标识的标识或者充分的标识,则增强型服务管理单元130可以通过数据发送/接收单元141接收附加的标识。此外,增强型服务管理单元130可以连续地更新标识。
增强型服务管理单元130可以通过各种方法将从主AV内容提取的标识与标识存储单元155中的多个标识进行比较。各种方法可以减小比较操作的负载。
例如,增强型服务管理单元130可以基于颜色特性执行比较。即,增强型服务管理单元130可以将提取的标识的颜色特性与标识存储单元155中的标识的颜色特性进行比较以确定是否它们相同。
此外,增强型服务管理单元130可以基于字符识别执行比较。即,增强型服务管理单元130可以将从提取的标识识别的字符与从标识存储单元155中的标识识别的字符进行比较以确定是否它们相同。
此外,增强型服务管理单元130可以基于标识的轮廓执行比较。即,增强型服务管理单元130可以将提取的标识的轮廓与标识存储单元155中的标识的轮廓进行比较以确定是否它们是相同的。
然后,参考图18和图19,将会描述根据实施例的同步主AV内容的回放时间和增强型服务的回放时间的方法。
图18是图示根据实施例的同步主AV内容的回放时间和增强型服务的回放时间的方法的流程图。
增强型服务信息可以包括增强型服务的启动时间。在这一点上,视频显示设备100可能需要在启动时间启动增强型服务。然而,因为视频显示设备100接收发送不具有时间戳的未被压缩的主AV内容的信号,主AV内容的播放时间的参考时间不同于增强型服务的启动时间的参考时间。尽管视频显示设备100接收具有时间信息的主AV内容,但是主AV内容的播放时间的参考时间可以不同于增强型服务的启动时间的参考时间,像重新广播一样。因此,视频显示设备100可能需要将主AV内容的参考时间与增强型服务的参考时间同步。特别地,视频显示设备100可能需要将主AV内容的回放时间与增强型服务的启动时间同步。
首先,增强型服务管理单元130在操作S801中提取主AV内容的特定的部分。主AV内容的部分可以包括主AV内容的特定的音频部分或者一些视频帧中的至少一个。增强型服务管理单元130提取主AV内容的部分的时间被指定为Tn。
增强型服务管理单元130基于提取的部分获得主AV内容的内容信息。更加详细地,增强型服务管理单元130解码在提取的部分中的通过不可视的水印编码的信息以获得内容信息。另外,增强型服务管理单元130可以提取被提取的部分中的特征信息,并且基于提取的特征信息从指纹服务器22或者内容信息存储单元151获得主AV内容的内容信息。增强型服务管理单元130获得内容信息的时间被指定为Tm。
此外,内容信息包括提取的部分的开始时间Ts。在内容信息获取时间Tm之后,增强型服务管理单元130基于Ts、Tm以及Tn同步主AV内容的回放时间与增强型服务的启动时间。更加详细地,增强型服务管理单元130将内容信息获取时间Tm视为能够通过Tp=Ts+(Tm-Tn)计算的时间Tp。
另外,增强型服务管理单元130将当在内容信息获取时间之后Tx流逝时的时间视为Tp+Tx。
然后,在操作S807中增强型服务管理单元130基于获得的内容信息获得增强型服务的增强型服务启动时间Ta。
如果主AV内容的同步的回放时间与增强型服务的启动时间Ta相同,则增强型服务管理单元130在操作S809中启动获得的增强型服务。更加详细地,当Tp+Tx=Ta被满足时,增强型服务管理单元130可以启动增强型服务。
图19是图示根据实施例的同步主AV内容的回放时间与增强型服务的回放时间的方法的概念图。
如在图19中所示,视频显示设备100在系统时间Tn期间提取AV采样。
视频显示设备100从提取的AV采样提取特征信息,并且将包括提取的特征信息的查询发送到指纹服务器22以接收查询结果。视频显示设备100通过解析查询结果确认是否提取的AV采样的开始时间Ts对应于11000ms。
因此,视频显示设备100将提取的AV采样的开始时间被确认时的时间视为Ts+(Tm-Tn),使得,然后,主AV内容的回放时间可以与增强型服务的开始时间同步。
图20是图示根据另一实施例的基于指纹的视频显示设备的结构的框图。
如在图20中所示,调谐器501从通过空中信道发送的8-VSBRF信号提取符号。
8-VSB解调器503解调调谐器501提取和恢复有意义的数字数据的8-VSB符号。
VSB解码器505解码8-VSB解调器503恢复ATSC主服务和ATSCM/H服务的数字数据。
MPEG-2TP解复用器507过滤来自于通过8-VSB信号发送的MPEG-2传输分组或者被存储在PVR存储中的MPEG-2传输分组的视频显示设备100要处理的传输分组以将过滤的传输分组中继转发给处理模块。
PES解码器539缓冲和恢复通过MPEG-2传输流发送的分组化基本流。
PSI/PSIP解码器541缓冲和分析通过MPEG-2传输流发送的PSI/PSIP会部分数据。通过服务管理器(未示出)收集分析的PSI/PSIP数据,并且然后,以服务映射和指引数据的形式将其存储在DB中。
DSMCC部分缓冲器/处理程序511通过MPEG-2TP和IP数据报封装缓冲和处理用于文件传输的DSMCC部分数据。
IP/UDP数据报缓冲/报头解析器513缓冲和恢复通过DSMCC可寻址的部分封装并且通过MPEG-2TP发送的IP数据报以分析每个数据报的报头。另外,IP/UDP数据报缓冲/报头解析器513缓冲和恢复通过IP数据报发送的UDP数据报,并且然后分析和处理恢复的UDP报头。
流组件处理程序557可以包括ES缓冲器/处理程序、PCR处理程序、STC模块、解扰器、CA流缓冲器/处理程序、以及服务信令部分缓冲器/处理程序。
ES缓冲/处理程序缓冲和恢复诸如以PES形式发送的视频和音频数据的基本流以将其递送给合适的A/V解码器。
PCR处理程序处理被用于音频和视频流的时间同步的程序时钟参考(PCR)数据。
STC模块通过使用通过PCR处理程序接收到的参考时间值校正A/V解码器的时钟值以执行时间同步。
当加扰被应用于接收到的IP数据报时,解扰器通过使用从CA流处理程序递送的加密密钥恢复有效载荷的数据。
CA流缓冲器/处理程序缓冲和处理通过MPEG-2TS或者IP流为有条件接入功能发送的诸如用于EMM和ECM的解扰的密钥值的数据。CA流缓冲器/处理程序的输出被递送给解扰器,并且然后,解扰器解扰携带A/V数据和文件数据的MPEG-2TP或者IP数据报。
服务信令部分缓冲器/处理程序缓冲、恢复、并且分析以IP数据报的形式发送的NRT服务信令信道部分数据。服务管理器(未示出)收集分析的NRT服务信令信道部分数据并且以服务映射和指引数据的方式将其存储在DB中。
A/V解码器561解码通过ES处理程序接收到的音频/视频数据以向用户进行呈现。
MPEG-2服务解复用器(未示出)可以包括MPEG-2TP缓冲器/解析器、解扰器、以及PVR存储模块。
MPEG-2TP缓冲器/解析器(未示出)缓冲和恢复通过8-VSB信号发送的MPEG-2传输分组,并且也检测和处理传输分组报头。
解扰器通过使用在MPEG-2TP中的可加扰的被应用的分组有效载荷上从CA流处理程序递送的加密密钥恢复有效载荷的数据。
PVR存储模块根据用户的请求存储通过8-VSB信号接收到的MPEG-2TP并且根据用户的请求输出MPEG-2TP。PVR存储模块可以由PVR管理器(未示出)控制。
文件处理程序551可以包括ALC/LCT缓冲器/解析器、FDT处理程序、XML解析器、文件重建缓冲器、解压器、文件解码器、以及文件存储器。
ALC/LCT缓冲器/解析器缓冲和恢复通过UDP/IP流发送的ALC/LCT数据,并且分析ALC/LCT的报头和报头扩展。ALC/LCT缓冲器/解析器可以由NRT服务管理器(未示出)控制。
FDT处理程序分析和处理通过ALC/CLT会话发送的FLUTE协议的文件描述表。FDT处理程序可以由NRT服务管理器(未示出)控制。
XML解析器分析通过ALC/LCT会话发送的XML文档,并且然后,将分析的数据递送给诸如FDT处理程序和SG处理程序的合适的模块。
文件重建缓冲器恢复通过ALC/LCT、FLUTE会话发送的文件。
如果通过ALC/LCT和FLUTE会话发送的文件被压缩,则解压缩器执行解压缩文件的过程。
文件解码器解码在文件重建缓冲器中的恢复的文件、在解压缩器中解压缩的文件、或者从文件存储器提取的文件。
如有必要文件存储器存储或者提取恢复的文件。
M/W引擎(未示出)处理不是通过DSMCC部分和IP数据报发送的A/V流的诸如文件的数据。M/W引擎将处理的数据递送给呈现管理器模块。
SG处理程序(未示出)收集和分析以XML文档形式发送的服务指引数据,并且然后,将其递送给EPG管理器。
服务管理器(未示出)收集和分析通过MPEG-2传输流发送的PSI/PSIP数据和通过IP流发送的服务信令部分数据,使得生成服务映射。服务管理器(未示出)将生成的服务映射存储在服务映射&指引数据库中,并且控制对用户想要的服务的接入。通过操作控制器(未示出)控制服务管理器,并且控制调谐器501、MPEG-2TP解复用器507、以及IP数据报缓冲器/处理程序513。
NRT服务管理器(未示出)对通过FLUTE会话在对象/文件中发送的NRT服务执行整体管理。NRT服务管理器(未示出)可以控制FDT处理程序和文件存储。
应用管理器(未示出)对以对象和文件的形式发送的应用数据执行整体管理。
UI管理器(未示出)通过用户接口将用户输入递送给操作控制器,并且开始用于用户请求的服务的过程。
操作控制器(未示出)处理通过UI管理器接收到的用户的命令,并且允许必要的模块的管理器执行相对应的行为。
指纹提取器565从AV流提取指纹特征信息。
指纹比较器567将通过指纹提取器提取的特征信息与参考指纹进行比较以找到相同的内容。指纹比较器567可以使用存储在本地的参考指纹DB并且可以在互联网上查询指纹查询服务器以接收结果。通过比较结果获得的匹配的结果数据可以被递送给应用并且被使用。
作为基于ACR提供增强型服务的ACR功能管理模块或者应用模块,应用569在观看中识别广播内容以提供与其有关的增强型服务。
图21是图示根据另一实施例的基于水印的视频显示设备的结构的框图。
虽然图21的基于水印的视频显示设备与图20的基于视频的显示设备相似,但是基于指纹的视频显示设备不包括指纹提取器565和指纹比较器567,但是进一步包括水印提取器566。
水印提取器566从音频/视频流中提取以水印形式插入的数据。提取的数据可以被递送给应用并且可以被使用。
图22是示出根据本发明的一个实施例的经由水印方案可以递送的数据的图。
如上所述,经由WM的ACR的目的是为了在能够仅接入不可压缩的音频/视频的环境(即,其中从有线/卫星/IPTV等等接收音频/视频的环境)下从不可压缩的音频/视频获得与内容的信息有关的补充服务。这样的环境可以被称为ACR环境。在ACR环境中,因为接收机仅接收不可压缩的音频/视频数据,所以接收机不可以确认当前被显示的内容。因此,接收机使用内容源ID、广播节目的当前时间点以及与通过WM递送的有关应用的URL信息以识别显示的内容并且提供交互的服务。
在使用音频/视频水印(WM)的与广播节目有关的补充服务的递送中,通过作为最简单的方法的WM可以递送所有的补充信息。在这样的情况下,通过WM检测器可以检测所有的补充信息以同时处理通过接收机检测的信息。
然而,在这样的情况下,如果被插入到音频/视频数据中的WM的数量增加,则音频/视频的总质量可能劣化。为此,仅最低的必要的数据可以被插入到WM。用于使接收机有效地接收和处理大量的信息的同时插入最少量的数据作为WM的WM数据的结构需要被定义。甚至在相对被数据的数量很少影响的指纹方案中用于WM的数据结构可以被同等地使用。
如所示的,根据本发明的一个实施例的经由水印方案递送的数据可以包括内容源的ID、时间戳、交互应用URL、时间戳的类型、URL协议类型、应用事件、目的地类型等等。另外,各种类型的数据可以经由根据本发明的WM方案被递送。
本发明提出当经由WM方案执行ACR时被包括在WM中的数据的结构。对于示出的数据类型,通过本发明提出最有效的结构。
经由根据本发明的一个实施例的水印方案能够递送的数据包括内容源的ID。在使用机顶盒的环境中,当多频道视频内容传输商(MVPD)没有经由机顶盒递送节目有关的信息时,接收机(终端或者TV)可以不检查节目名称、频道信息等等。因此,用于识别特定的内容源的唯一的ID可能是必要的。在本发明中,内容源的ID类型没有被限制。内容源的ID的示例可以如下。
首先,全球节目ID可以是用于识别每个广播节目的全球标识符。可以通过内容提供商直接地创建此ID或者可以以由权威机构指定的格式创建。ID的示例可以包括北美的“TMS元数据”的TMSId、是电影/广播节目标识符的EIDRID等等。
全球频道ID可以是用于识别所有频道的频道标识符。在由机顶盒提供的MVPD之间频道号不同。另外,即使在相同的MVPD中,根据用户指定的服务频道号可以不同。全球频道ID可以被用作没有被MVPD等等影响的全球标识符。根据实施例,经由陆地波发送的频道可以由主频道号和次频道号识别。如果仅使用节目ID,因为当数个广播站广播相同的节目时问题可能出现,所以全球频道ID可以被用于指定特定的广播频道。
要被插入到WM中的内容源的ID的示例可以包括节目ID和频道ID。节目ID和频道ID中的一个或者两者或者通过组合两个ID获得的新的ID可以被插入到WM中。根据实施例,每个ID或者组合的ID可以被散列以减少数据的数量。每个内容源的ID可以是字符串类型或者整数类型。在整数类型的情况下,发送的数据的数量可以被进一步减少。
另外,根据本发明的一个实施例的经由水印方案能够递送的数据可以包括时间戳。接收机应获知当前观看的内容的时间点。此时间相关的信息可以被称为时间戳并且可以被插入到WM中。时间相关的信息可以采用绝对时间(UTC、GPS等等)或者媒体时间的形式。为了精确度,时间有关的信息可以以毫秒为单位被递送并且根据实施例以更小的单位被递送。根据时间戳的类型信息时间戳可以具有可变的长度。
根据一个实施例的经由水印方案能够递送的数据可以包括交互式应用的URL。如果与当前观看的广播节目有关的交互式应用存在,应用的URL可以被插入到WM中。接收机可以经由浏览器检测WM,获得URL,并且执行应用。
图23是示出根据本发明的一个实施例的时间戳类型字段的值的意义的图。
本发明提出作为经由水印方案能够递送的数据之一的时间戳类型字段。另外,本发明提出时间戳类型字段的有效数据结构。
时间戳类型字段可以被分配5个比特。时间戳的前面的两个比特可以意指时间戳的大小并且接下来的3个比特可以意指由时间戳指示的时间信息的单位。在此,前面的两个比特可以被称为时间戳大小字段并且接下来的3个比特可以被称为时间戳单位字段。
如所示的,根据时间戳的大小和时间戳的单位值,真实的时间戳信息的可变数量可以被插入到WM中。使用这样的可变性,设计者可以根据时间戳的精确度选择被分配给时间戳的大小及其单位。如果时间戳的精确度增加,则能够在精确的时间提供交互式的服务。然而,随着时间戳的精确度增加系统复杂性增加。考虑到此权衡,分配给时间戳的大小及其单位可以被选择。
如果时间戳类型字段的前面的两个比特是00,则时间戳可以具有1个字节的大小。如果时间戳类型字段的前面的两个比特是01、10和11,则时间戳的大小可以分别是2、4、以及8个字节。
如果时间戳类型字段的最后的三个比特是000,则时间戳可以具有毫秒的单位。如果时间戳类型字段的最后的三个比特是001、010和011,则时间戳可以分别具有秒、分钟以及小时的单位。101至111的时间戳类型字段的最后的三个比特可以被保留以供将来使用。
在此,如果时间戳类型字段的最后的三个比特是100,则单独的时间代码可以被用作单位替代诸如毫秒或者秒的特定时间单位。例如,时间代码可以以是SMPTE的时间代码形式的HH:MM:SS:FF形式插入到WM中。在此,HH可以是小时单位,MM可以是分钟单位并且SS可以是秒单位。FF可以是帧信息。不是时间单位的帧信息可以被同时递送以提供帧精确的服务。真实的时间戳可以具有排除冒号的HHMMSSFF的形式以便于被插入到WM中。在这样的情况下,时间戳大小值可以具有11(8个字节)并且时间戳单位值可以是100。在可变单元的情况下,本发明没有限制如何插入时间戳。
例如,如果时间戳类型信息具有10的值并且时间戳单位信息具有000的值,则时间戳的大小可以是4个比特并且时间戳的单位可以是毫秒。这时,如果时间戳是Ts=3265087,位于时间戳的后面的3个数字087可以意指毫秒的单位并且剩余的数字3265可以意指秒单位。因此,当此时间戳被解释时,当前时间可以意指在插入WM的节目开始之后54分25.087秒已经流逝。这仅是示例性的并且时间戳用作经过时间并且可以指示接收机的时间或者片段,与内容无关。
图24是示出根据本发明的一个实施例的URL协议类型字段的值的意义的图。
本发明提出作为经由水印方案能够递送的数据之一的URL协议类型字段。另外,本发明提出URL协议类型字段的有效数据结构。
在上述的信息当中,URL的长度通常长使得要被插入的数据的数量相对大。如上所述,随着被插入到WM的数据的数量减少,效率增加。因此,通过接收机可以处理URL的固定部分。因此,本发明提出URL协议类型字段。
URL协议类型字段可以具有3个比特的大小。服务提供商可以使用URL协议类型字段设置WM中的URL协议。在这样的情况下,可以从域开始插入交互式应用的URL并且可以将其发送到WM。
接收机的WM检测器可以首先解析URL协议类型字段,获得URL协议信息并且将协议前缀到其后发送的URL值,从而生成整个URL。接收机可以经由浏览器访问被完成的URL并且执行交互性应用。
在此,如果URL协议类型字段的值是000,则URL协议可以被直接地指定并且被插入到WM的URL字段。如果URL协议类型字段的值是001、010和011,则URL协议可以分别是http://、https://和ws://。100至111的URL协议类型字段值可以被保留以供将来使用。
应用URL可以经由浏览器(以网络应用的形式)使能33应用的执行。另外,根据实施例,可以引用内容源ID和时间戳信息。在后述的情况下,为了将内容源ID信息和时间戳信息递送给远程服务器,可以以下述形式表达最终的URL。
请求URL:http://domain/path?cid=123456&t=5005
在本实施例中,内容源ID可以是123456并且时间戳可以是5005。cid可以意指要被报告给远程服务器的内容源ID的查询标识符。t可以意指要被报告给远程服务器的当前时间的查询标识符。
图25是图示根据本发明的一个实施例的处理URL协议类型字段的过程的流程图。
首先,服务提供商47010可以将内容递送给WM插入器47020(s47010)。在此,服务提供商47010可以执行与上述内容供应服务器相似的功能。
WM插入器47020可以将WM插入到被递送的内容(s47020)。在此,WM插入器47020可以执行与上述水印服务器相似的功能。WM插入器47020可以通过WM算法将上述的WM插入到音频或者视频。在此,插入的WM可以包括上述应用URL信息、内容源ID信息等等。例如,插入的WM可以包括上述的时间戳类型字段、时间戳、内容ID等等。上述的协议类型字段可以具有001的值并且URL信息可以具有atsc.org的值。插入到WM的字段的值仅是示例性的并且本发明不限于本实施例。
WM插入器47020可以发送插入WM的内容(s47030)。可以由服务提供商47010执行插入WM的内容的传输。
STB47030可以接收插入WM的内容,并且输出不可压缩的A/V数据(或者原始A/V数据)(s47040)。在此,STB47030可以意指上述广播接收装置或者机顶盒。STB47030可以被安装在接收机的内部或者外部。
WM检测器47040可以检测从接收到的不可压缩的A/V数据检测被插入的WM(s47050)。WM检测器47050可以检测通过WM插入器47020插入的WM并且将检测到的WM递送给WM管理器。
WM管理器47050可以解析检测到的WM(s47060)。在上述实施例中,WM可以具有001的URL协议类型字段值并且atsc.org的URL值。因为URL协议类型值是001,所以这可以意指http://protocol被使用。WM管理器47050可以使用此信息组合http://和atsc.org以生成整个URL(s47070)。
WM管理器47050可以将完成的URL发送给浏览器47060并且启动应用(s47080)。在一些情况下,如果也应递送内容源ID和时间戳信息,则应用可以以http://atsc.org?cid=xxx&t=YYY的形式启动。
终端的WM检测器47040和WM管理器47050被组合以在一个模块中执行其功能。在这样的情况下,可以在一个模块中处理步骤s45050、s47060和s47070。
图26是示出根据本发明的一个实施例的事件字段的值的意义的图。
本发明提出作为经由水印方案能够递送的数据之一的事件字段。另外,本发明提出事件字段的有效数据结构。
经由从WM提取的URL可以启动应用。经由更加详细的事件可以控制应用。能够控制应用的事件可以通过事件字段指示和递送。即,如果与当前观看的广播节目有关的交互式应用存在,则应用的URL可以被发送并且可以使用事件控制应用。
事件字段可以具有3个比特的大小。如果事件字段的值是000,则这可以指示“准备”命令。准备是在执行应用之前的准备步骤。已经接收到此命令的接收机可以事先下载与应用有关的内容项目。另外,接收机可以释放必要的资源以便于执行应用。在此,释放必要的资源可以意指存储器被清除或者其它的未被完成的应用被完成。
如果事件字段值是001,则这可以指示“执行”命令。执行可以是用于执行应用的命令。如果事件字段值是010,则这可以指示“挂起”命令。挂起可以意指被执行的应用被挂起。如果事件字段值是011,则这可以指示“终止”命令。终止可以是用于完成已经执行的应用的命令。100至111的事件字段值可以被保留以供将来使用。
图27是示出根据本发明的一个实施例的目的地类型字段的值的意义的图。
本发明提出作为经由水印方案能够递送的数据之一的目的地类型字段。另外,本发明提出目的地类型字段的有效数据结构。
随着DTV相关技术的发展,通过配套设备以及TV接收机的屏幕可以提供与广播内容有关的补充服务。然而,配套设备不可以接收广播节目或者可以接收广播节目但是不可以检测WM。因此,在用于提供与当前广播内容有关的补充服务的应用当中,如果要通过配套设备执行的应用存在,则其有关信息应被递送给配套设备。
这时,即使在其中接收机和配套设备相互作用的环境下,有必要获知通过其消耗从WM检测到的数据或者应用的设备。即,关于是否通过接收机或者配套设备消耗数据或者应用的信息可能是必需的。为了递送诸如WM的信息,本发明提出目的地类型字段。
目的地类型字段可以具有3个比特的大小。如果目的地类型字段的值是0x00,则这可以指示在所有的设备处指向通过WM检测到的数据或者应用。如果目的地类型字段的值是0x01,则这可以指示在TV接收机处指向通过WM检测到的数据或者应用。如果目的地类型字段的值是0x02,则这可以指示在智能电话处指向通过WM检测到的数据或者应用。如果目的地类型字段的值是0x03,则这可以指示在平板处指向通过WM检测到的数据或者应用。如果目的地类型字段的值是0x04,则这可以指示在个人计算机处指向通过WM检测到的数据或者应用。如果目的地类型字段的值是0x05,则这可以指示在远程服务器处指向通过WM检测到的数据或者应用。0x06至0xFF的目的地类型字段值可以被保留以供将来使用。
在此,远程服务器可以意指具有与广播节目有关的所有补充信息的服务器。此远程服务器可以位于终端的外部。如果远程服务器被使用,则被插入到WM中的URL不可以指示特定应用的URL但是可以指示远程服务器的URL。接收机可以经由远程服务器的URL与远程服务器通信并且接收与广播节目有关的补充信息。这时,接收到的补充信息可以是诸如当前的广播节目的类型、演员信息、梗概等等的各种信息以及与其有关的应用的URL。根据系统接收到的信息可以不同。
根据另一实施例,目的地类型字段的各个比特可以被分配给各个设备以指示应用的目的地。在这样的情况下,数个目的地可以经由逐位OR被同时指定。
例如,当0x01指示TV接收机时,0x02指示智能电话,0x04指示平板,0x08指示PC并且0x10指示远程服务器,如果目的地类型字段具有0x06的值,则在智能电话和平板处可以指向应用或者数据。
根据通过上述WM管理器解析的WM的目的地类型字段的值,WM管理器可以将每个应用或者数据递送给配套设备。在这样的情况下,WM管理器是用于在接收机中处理与配套设备的相互作用的模块并且可以递送与每个应用或者数据有关的信息。
图28是示出根据本发明的实施例#1的要被插入到WM中的数据的结构的图。
在本实施例中,插入到WM中的数据可以具有诸如时间戳类型字段、时间戳、内容ID、事件字段、目的地类型字段、URL协议类型字段以及URL的信息。在此,数据的顺序可以被改变并且每个数据可以根据实施例被省略。
在本实施例中,时间戳类型字段的时间戳大小字段可以具有01的值并且时间戳单位字段可以具有000的值。这可以意指2个比特被分配给时间戳并且时间戳具有毫秒的单位。
另外,事件字段具有001的值,这意指应用应被立即执行。目的地类型字段具有0x02的值,这可以意指通过WM递送的数据应被递送给智能电话。因为URL协议类型字段具有001的值并且URL具有atsc.org的值,所以这可以意指补充信息或者应用的URL是http://atsc.org。
图29是图示根据本发明的实施例#1的处理要被插入到WM的数据结构的过程的流程图。
在服务提供商处将内容递送给WM插入器的步骤s5110,在WM插入器将接收到的内容插入到WM的步骤s51020、在WM插入器处发送插入WM的内容的步骤s51030、在STB处接收插入WM的内容并且输出不可压缩的A/V数据的步骤s51040、在WM检测器检测WM的步骤s51050、在WM管理器解析检测到的WM的步骤s51060和/或在WM管理器处生成整个URL的步骤s51070可以等于上述的步骤。
WM管理器是根据解析的WM的目的地类型字段在接收机中的配套设备协议模块并且可以递送有关数据(s51080)。配套设备协议模块可以管理与接收机中的配套设备的相互作用和通信。配套设备协议模块可以与配套设备配对。根据实施例,配套设备协议模块可以是UPnP设备。根据实施例,配套设备协议模块可以位于终端的外部。
根据目的地类型字段配套设备协议模块可以将有关数据递送给配套设备(s51090)。在实施例#1中,目的地类型字段的值是0x02并且插入到WM中的数据可以是用于智能电话的数据。因此,配套设备协议模块可以将解析的数据发送到智能电话。即,在本实施例中,配套设备可以是智能电话。
根据实施例,WM管理器或者设备协议模块可以在将数据递送给配套设备之前执行数据处理过程。配套设备可以具有便携性但是可以具有相对较差的处理/计算能力和少量的存储。因此,接收机可以替代配套设备处理数据并且将处理的数据递送给配套设备。
这样的处理可以被实现为各种实施例。首先,WM管理器或者配套设备协议模块可以仅选择通过配套设备要求的数据。另外,根据实施例,如果事件字段包括指示应用被完成的信息,则应用有关的信息不可以被递送。另外,如果数据被划分并且经由数个WM被发送,则数据可以被存储和组合并且然后最终的信息可以被递送给配套设备。
接收机可以使用时间戳替代配套设备执行同步并且递送与被同步的应用有关的命令或者将已经同步的交互式服务递送给配套设备并且配套设备可以仅执行显示。时间戳相关信息不可以被递送,时基可以仅被保持在接收机中并且当特定的事件被激活时有关信息可以被递送给配套设备。在这样的情况下,在没有保持时基的情况下,当有关的信息被接收时,配套设备可以根据时间激活事件。
与上面的描述相似,终端的WM检测器和WM管理器可以被组合以在一个模块中执行其功能。在这样的情况下,可以在一个模块中执行步骤s51050、s51060、s51070以及s51080。
另外,根据实施例,配套设备也可以具有WM检测器。当每个配套设备接收插入WM的广播节目时,每个配套设备可以直接地检测WM并且然后将WM递送给另一个配套设备。例如,智能电话可以检测和解析WM并且将有关的信息递送给TV。在这样的情况下,目的地类型字段可以具有0x01的值。
图30是示出根据本发明的实施例#2的要被插入到WM中的数据的结构的图。
在本实施例中,被插入到WM中的数据可以具有诸如时间戳类型字段、时间戳、内容ID、事件字段、目的地类型字段、URL协议类型字段以及URL的信息。在此,数据的顺序可以被改变并且每个数据可以根据实施例被省略。
在本实施例中,时间戳类型字段的时间戳大小字段可以具有01的值并且时间戳单位字段可以具有000的值。这可以意指2个比特被分配给时间戳并且时间戳具有毫秒的单位。内容ID可以具有123456的值。
另外,事件字段具有001的值,这意指应用应被立即执行。目的地类型字段具有0x05的值,这可以意指通过WM递送的数据应被递送给远程服务器。因为URL协议类型字段具有001的值并且URL具有remoteserver.com的值,这可以意指补充信息或者应用的URL是http://remoteserver.com。
如上所述,如果远程服务器被使用,则可以从远程服务器接收广播节目的补充信息。这时,内容ID和时间戳可以作为参数被插入到远程服务器的URL并且从远程服务器进行请求。根据实施例,远程服务器可以经由API的支持获得关于当前广播的节目的信息。这时,API可以使远程服务器获取被存储在接收机中的内容ID和时间戳或者递送有关的补充信息。
在本实施例中,如果内容ID和时间戳作为参数被插入到远程服务器的URL,则整个URL可以是http://remoteserver.com?cid=123456&t=5005。在此,cid可以意指要被报告给远程服务器的内容源ID的查询标识符。在此,t可以意指要被报告给远程服务器的当前时间的查询标识符。
图31是图示根据本发明的实施例#2的处理要被插入到WM的数据结构的过程的流程图。
在服务提供商处将内容递送给WM插入器的步骤s53010,在WM插入器将接收到的内容插入到WM的步骤s53020、在WM插入器处发送插入WM的内容的步骤s53030、在STB处接收插入WM的内容并且输出不可压缩的A/V数据的步骤s53040、在WM检测器检测WM的步骤s53050、在WM管理器处解析检测到的WM的步骤s53060可以等于上述的步骤。
WM管理器可以经由解析的目的地类型字段0x05与远程服务器通信。WM管理器可以使用URL协议类型字段值和URL值生成URLhttp://remoteserver.com。另外,使用内容ID和时间戳值最终可以生成URLhttp://remoteserver.com?cid=123456&t=5005。WM管理器可以使用最终的URL发出请求(s53070)。
远程服务器可以接收请求并且将适合于广播节目的有关的应用的URL发送到WM管理器(s53080)。WM管理器可以将接收到的应用的URL发送到浏览器并且启动该应用(s53090)。
与上面的描述相似,终端的WM检测器和WM管理器可以被组合以在一个模块中执行其功能。在这样的情况下,可以在一个模块中执行步骤s53050、s53060、s53070以及s53090。
图32是示出根据本发明的实施例#3的要被插入到WM的数据的结构的图。
本发明提出作为经由水印方案能够递送的数据之一的递送类型字段。另外,本发明提出递送类型字段的有效数据结构。
为了减少由于被插入到WM的数据的数量的增加音频/视频内容的质量的劣化,WM可以被划分和插入。为了指示是否划分和插入WM,可以使用递送类型字段。经由递送类型字段,其可以确定是否检测一个WM或者数个WM以便于获取广播相关信息。
如果递送类型字段具有0的值,则这可以意指所有的数据被插入到一个WM并且被发送。如果递送类型字段具有1的值,则这可以意指数据被划分和插入到数个WM并且被发送。
在本实施例中,递送类型字段的值是0。在这样的情况下,WM的数据结构可以以将递送类型字段附加到上述数据结构的形式被配置。虽然递送类型字段位于本发明的重要部分处,但是递送类型字段可以位于别处。
如果递送类型字段具有0的值则WM管理器或者WM检测器可以通过参考WM的长度解析WM。这时,考虑到预先确定的字段的比特的数目可以计算WM的长度。例如,如上所述,事件字段的长度可以是3个比特。内容ID和URL的大小可以被改变但是根据实施例比特的数目可能被限制。
图33是示出根据本发明的实施例#4的要被插入到WM的数据的结构的图。
在本实施例中,递送类型字段的值可以是1。在这样的情况下,数个字段可以被添加到WM的数据结构。
WMId字段用作用于识别WM的标识符。如果数据被划分成数个WM并且被发送,则WM检测器需要识别具有划分的数据的每个WM。这时,均具有划分的数据的WM可以具有相同的WMId字段值。WMId字段值可以具有8个比特的大小。
块编号字段可以指示在均具有划分的数据的WM当中的当前的WM的识别号。根据其传输的顺序均具有划分的数据的WM的值可以增加1。例如,在均具有划分的数据的WM当中的第一WM的情况下,块编号字段的值可以是0x00。第三WM和其后续的WM可以具有0x01、0x02、…的值。块编号字段可以具有8个比特的大小。
最后的块编号字段可以指示在均具有划分的数据的WM当中的最后的WM的识别号。WM检测器或者WM管理器可以收集和解析检测到的WM直到上述块编号字段的值变成等于最后的块编号字段的值。最后的块编号字段可以具有8个比特的大小。
块长度字段可以指示WM的总长度。在此,WM意指均具有划分的数据的WM中的一个。块长度字段可以具有7个比特的大小。
内容ID标志字段可以指示是否内容ID被包括在均具有划分的数据的WM当中的当前的WM的有效载荷中。如果内容ID被包括,则内容ID标志字段可以被设置为1,并且,否则,可以被设置为0。内容ID标志字段可以具有1个比特的大小。
事件标志字段可以指示是否事件字段被包括在均具有划分的数据的WM当中的当前的WM的有效载荷中。如果事件字段被包括,则事件标志字段可以被设置为1并且,否则,可以被设置为0。事件标志字段可以具有1个比特的大小。
目的地标志字段可以指示是否目的地类型字段被包括在均具有划分的数据的WM当中的当前的WM的有效载荷中。如果目的地类型字段被包括,则目的地类型字段可以被设置为1,并且,否则,可以被设置为0。目的地类型字段可以具有1个比特的大小。
URL协议标志字段可以指示是否URL协议标志字段被包括在均具有划分的数据的WM当中的当前的WM的有效载荷中。如果URL协议标志字段被包括,则URL协议标志字段可以被设置为1,并且,否则,可以被设置为0。URL协议标志字段可以具有1个比特的大小。
URL标志字段可以指示是否URL信息被包括在均具有划分的数据的WM当中的当前的WM的有效载荷中。如果URL信息被包括,则URL标志字段可以被设置为1,并且,否则,可以被设置为0。URL标志字段可以具有1个比特的大小。
有效载荷可以包括除了上述字段之外的真实数据。
如果数据被划分成数个WM并且被发送,则有必要获知关于当插入每个WM时的信息。在这样的情况下,根据实施例,时间戳可以被插入到每个WM。这时,时间戳类型字段也可以被插入到插入时间戳的WM中,以便于当插入WM时获知。可替选地,根据实施例,接收机可以存储和使用WM时间戳类型信息。接收机可以基于第一时间戳、最后的时间戳或者每个时间戳执行同步。
如果数据被划分成数个WM并且被发送,使用标志字段可以调节每个WM的大小。如上所述,如果通过WM发送的数据的数量增加,则音频/视频内容的质量可能被影响。因此,根据发送的音频/视频帧可以调节插入到帧中的WM的大小。这时,通过上述标志字段可以调节WM的大小。
例如,假定内容的视频帧中的任意一个仅具有黑屏。如果根据内容切换场景,仅具有黑屏的一个视频可以被插入。在此视频帧中,即使当大量的WM被插入也不可能劣化内容的质量。即,用户没有感觉到内容质量的劣化。在这样的情况下,具有大量的数据的WM可以被插入到此视频帧。这时,插入到视频帧的WM的标志字段的大多数值可能是1。这是因为WM具有大多数字段。特别地,具有大量的数据的URL字段可以被包括在WM中。因此,相对少量的数据可以被插入到其它的视频帧。被插入到WM中的数据的数量可以根据设计者的意图而被改变。
图34是示出根据本发明的实施例#4的要被插入到第一WM的数据的结构的图。
在本实施例中,如果递送类型字段的值是1,即,如果数据被划分成数个WM并且被发送,则第一WM的结构可以等于在图34中示出的结构。
在均具有划分的数据的WM当中,第一WM可以具有0x00的块编号字段值。根据实施例,如果块编号字段的值被不同地使用,则示出的WM不可以是第一WM。
接收机可以检测第一WM。通过WM管理器可以解析检测到的WM。这时,能够看到WM的递送类型字段是1并且块编号字段的值不同于最后的块编号字段的值。因此,WM管理器可以存储解析的信息直到具有0x00的WMID的剩余的WM被接收。特别地,是URL信息的atsc.org也可以被存储。因为最后的块编号字段的值是0x01,当在未来进一步接收到一个WM时,具有0x00的WMID的所有的WM可以被接收。
在本实施例中,标志字段的所有值是1。因此,能够看到诸如事件字段的信息被包括在此WM的有效载荷中。另外,因为时间戳值是5005,所以与插入此WM的部分相对应的时间可以是5.005秒。
图35是示出根据本发明的实施例#4的要被插入到第二WM的数据的结构的图。
在本实施例中,如果递送类型字段的值是1,即,如果数据被划分成数个WM并且被发送,则第二WM的结构可以等于在图35中示出的结构。
在均具有划分的数据的WM当中,第二WM可以具有0x01的块编号字段值。根据实施例,如果块编号字段的值被不同地使用,被示出的WM不可以是第二WM。
接收机可以检测第二WM。WM管理器可以解析检测到的第二WM。这时,因为块编号字段的值等于最后的块编号字段的值,所以能够看到此WM是具有0x00的WMId值的WM的最后的WM。
在标志字段当中,因为URL标志的值是1,所以能够看到URL信息被包括。因为块编号字段的值是0x01,所以此信息可以被与已经存储的信息组合。特别地,已经存储的atsc.org部分和被包括在第二WM中的/apps/app1.html部分可以被组合。另外,在已经存储的信息中,因为URL协议类型字段的值是001,最后组合的URL可以是http://atsc.org/apps/app1.html。可以经由浏览器启动此URL。
根据第二WM,与插入第二WM的部分相对应的时间可以是10.005秒。接收机可以基于第一WM的5.005秒执行时间同步或者可以基于最后的WM的10.005秒执行时间同步。在本实施例中,在5秒钟的间隔WM被发送两次。因为在没有递送WM的5秒钟期间内仅可以发送音频/视频,所以内容的质量的劣化可以被防止。即,即使当数据被划分成数个WM并且被发送时,质量劣化可以被减少。根据实施例可以改变当WM被划分和插入时的时间。
图36是图示根据本发明的实施例#4的处理要被插入到WM的数据的结构的过程的流程图。
在服务提供商处将内容递送给WM插入器的步骤s58010、在WM插入器处将接收到的内容插入到WM#1的步骤s58020、在WM插入器处发送插入WM#1的内容的步骤s58030、接收插入WM#1的内容和输出不可压缩的W/V数据的步骤s58040、以及在WM检测器处检测WM#1的步骤步骤s58050可以等于上述步骤。
在本发明的实施例#4中WM#1意指插入划分的数据的WM中的一个并且可以是第一WM。如上所述,此WM的块编号字段是0x00并且URL信息可以是atsc.org。
WM管理器可以解析和存储检测到的WM#1(s58060)。这时,WM管理器可以通过参考每个字段的比特的数目和WM的总长度执行解析。因为块编号字段的值不同于最后的块编号字段的值并且递送类型字段的值是1,所以WM管理器可以解析和存储WM并且然后等待下一个WM。
在此,在服务提供商处将内容递送到WM插入器的步骤s58070、在WM插入器处将接收到的内容插入到WM#2的步骤s58080、在WM插入器处发送插入WM#2的内容的步骤s58090、在STB处接收插入WM#2的内容并且输出不可压缩的A/V数据的步骤s58100和/或在WM检测器检测WM#2的步骤s58110可以等于上述步骤。
在本发明的实施例#4中WM#2意指插入划分的数据的WM中的一个并且可以是第二WM。如上所述,此WM的块编号字段是0x01并且URL信息可以是/apps/app1.html。
WM管理器可以解析和存储检测到的WM#2(s58120)。通过解析WM#2获得的信息和通过解析已经存储的WM#1获得的信息可以被组合以生成整个URL(s58130)。在这样的情况下,整个URL可以是如上所述的http://atsc.org/apps/app1.html。
在WM管理器处根据目的地类型字段将有关的数据递送给接收机的配套设备协议模块的步骤s58140和在配套设备协议模块处根据目的地类型字段将有关数据递送给配套设备的步骤s58150可以等于上述的步骤。
如上所述通过WM#1可以递送目的地类型字段。这是因为本发明的实施例#4的第一WM的目的地标志字段值是1。如上所述,此目的地类型字段值可以被解析并且被存储。因为目的地类型字段值是0x02,所以这可以指示用于智能电话的数据。
配套设备协议模块可以与配套设备通信以处理有关的信息,如上所述。如上所述,WM检测器和WM管理器可以被组合。组合的模块可以执行WM检测器和WM管理器的功能。
图37是示出根据本发明的另一实施例的基于水印的图像显示装置的结构的图。
本实施例与上述基于水印的图像显示装置的结构相似,不同之处在于WM管理器t59010和配套设备协议模块t59020被添加在水印提取器s59030的下面。剩余的模块可以等于上述模块。
水印提取器t59030可以对应于上述的WM检测器。水印提取器t59030可以等于具有与上述基于水印的图像显示装置的结构相同的名称。WM管理器t59010可以对应于上述WM管理器并且配套设备协议模块t59020可以对应于上述配套设备协议模块。在上面已经描述了模块的操作。
图38是示出指纹方案中的根据本发明的一个实施例的数据结构的图。
在指纹(FP)ACR系统的情况下,与使用WM的情况相比较可以减少音频/视频内容的质量的劣化。在指纹ACR系统的情况下,因为从ACR服务器接收补充信息,所以质量劣化可能比被直接地插入到内容的WM的低。
当从ACR服务器接收到信息时,因为质量劣化被减少,如上所述,在没有变化的情况下被用于WM的数据结构可以被使用。即,即使在FP方案中通过本发明提出的数据结构也可以被使用。可替选地,根据实施例,仅WM数据结构的中的一些可以被使用。
如果WM的上述数据结构被使用,则0x05的目的地类型字段的意义可以被改变。如上所述,如果目的地类型字段的值是0x05,则接收机从远程服务器请求数据。在FP方案中,因为通过ACR服务器执行远程服务器的功能,所以目的地类型字段值0x05可以被删除或者重新定义。
剩余字段可以等于上述字段。
图39是图示指纹方案中的根据本发明的一个实施例的处理数据结构的过程的流程图。
服务提供商可以从要被发送的广播节目中提取指纹(FP)(s61010)。在此,服务提供商可以等于上述服务提供商。服务提供商可以使用由ACR公司提供的工具或者使用其工具提取每个内容的指纹。服务提供商可以提取音频/视频指纹。
服务提供商可以将提取的指纹递送给ACR服务器(s61020)。在预生成节目的情况下发送广播节目之前指纹可以被递送给ACR服务器或者在直播节目的情况下FP一被提取就可以将指纹递送给ACR服务器。如果实时提取FP并且将其递送给ACR服务器,则服务提供商可以将内容ID指配给内容并且指配诸如传输类型、目的地类型或者URL协议类型的信息。指配的信息可以被映射到实时提取的FP并且被递送给ACR服务器。
ACR服务器可以将接收到的FP及其有关的信息存储在ACRDB中(s61030)。接收机可以从外部接收到的音频/视频信号提取FP。在此,音频/视频信号可以是不可压缩的信号。此FP可以被称为签名。接收机可以使用FP将请求发送到服务器(s61040)。
ACR服务器可以比较接收到的FP和ACRDB。如果匹配接收到的FP的FP在ACRDB中出现,则由接收机广播的内容可以被识别。如果内容被识别,则递送类型信息、时间戳、内容ID、事件类型信息、目的地类型信息、URL协议类型信息、URL信息等等可以被发送到接收机(s61050)。
在此,在被包括在上述字段的状态下可以发送各个信息。例如,在被包括在目的地类型字段的状态下可以发送目的地类型信息。当响应接收机时,在上述的WM中使用的数据结构可以被用作递送的数据的结构。
接收机可以解析从ACR服务器接收到的信息。在本实施例中,因为目的地类型字段的值是0x01,所以能够看到通过TV执行URL的应用。使用URL协议类型字段的值和URL信息可以生成最终的URLhttp://atsc.org。生成URL的过程可以等于上述过程。
接收机可以使用URL经由浏览器执行广播有关的应用(s61060)。在此,浏览器可以等于上述的浏览器。步骤s61040、s614050、和s61060可以被重复。
图40是示出根据本发明的另一实施例的水印有效载荷的结构的图。
示出的实施例的水印有效载荷可以包括域类型信息、服务器ULR信息、时间戳信息以及/或者触发器类型信息。在一些实施例中,示出的水印有效载荷可以被用作音频或者视频水印。在此,水印可以被称为WM。在一些实施例中,WM有效载荷可以具有50个比特的大小并且WM系统可以以1.5秒的间隔递送50个比特。
域类型信息可以指示WM有效载荷的类型。域类型信息可以指示如何指配服务器URL信息和有效载荷的时间戳信息的大小。根据域类型信息,在服务器URL字段的服务器代码和时间戳字段的间隔代码之间的唯一性的范围中存在折衷。根据被指配给字段的大小,域类型信息可以指示是否有效载荷具有小的域、中等的域或者大的域。在一些实施例中,域类型信息可以具有1个比特的大小。在这样的情况下,域类型信息可以指示是否有效载荷具有小的域或者大的域。
服务器URL信息可以包括服务器代码。此服务器代码可以是用于识别作为用于补充内容获取的开始点操作的服务器的值。服务器URL信息或者服务器代码可以是能够获取补充内容的互联网地址或者IP地址的格式或者被映射到这样的地址的特定代码。能够访问通过服务器URL信息可以确认的URL以获取各种补充内容。
补充内容可以意指除了当前从MVPD发送到接收机的服务/内容之外的可以被提供给观众的内容。补充内容可以包括服务、内容、时间表、应用数据、可替选的组件或者应用有关的信息。补充内容可以被称为交互式服务信息。另外,补充内容可以包括用于提供广播服务/内容的交互式服务的应用特性信息。另外,补充内容可以包括特定应用的事件信息。在此,事件信息可以是用于发起要被通过应用执行的行为的通知或者信令信息。
时间戳信息可以包括间隔代码。此间隔代码可以是用于识别有效载荷被嵌入到的内容的间隔的值。时间戳信息或者间隔代码可以识别有效载荷的嵌入间隔或者可以识别WM分组或者WM有效载荷被嵌入的内容的传输时间信息或者嵌入多少WM分组或者WM有效载荷。当识别嵌入多少WM分组或者WM有效载荷时,WM之间的时间间隔可以被预先确定。在一些实施例中,时间戳信息可以被称为间隔信息。
触发器类型信息可以用信号通知何时事件是可用的。改变连续的WM有效载荷内的触发器信息的值可以指示从事件服务器获取事件/事件是可用的。在此,事件可以是上述事件信息。在此,事件可以是动态事件。动态事件可以意指在最后一刻获知其开始时间的事件。例如,直播广播服务的事件信息可以是动态事件。在此,事件服务器是动态事件服务器并且可以是HTTP服务器。在一些实施例中,触发器类型信息可以被称为查询信息、查询标志等等。
即,触发器类型信息可以指示是否需要访问根据服务器URL信息的URL。在一些实施例中,触发器类型信息可以指示是否获取应用特性信息或者是否在访问URL之后获取事件信息。事件信息是时间敏感信息,并且因此需要被与应用特性信息相区分,以便于防止通过不必要地使用资源没有获取必要的时间敏感信息以获取非时间敏感信息。在一些实施例中,触发器类型信息可以指示是否改变要被获取的应用特性信息,在下面将会详细地对此进行描述。
在一些实施例中,服务器URL信息和时间戳信息可以具有30个比特或者17个比特的大小(小域类型)、22个比特或者25个比特的大小(中等域类型)以及18个比特或者29个比特的大小(大域类型)。在一些实施例中,这些值可以被改变。在这样的情况下,小域可以具有十亿个服务器代码和大约54.6个小时的间隔代码,中等域可以具有4.2百万个服务器代码和大约1.59年的间隔代码并且大的域可以具有262,144个服务器代码和大约25.5年的间隔代码。
在一些实施例中,服务器URL信息和时间戳信息可以具有31个比特或者17个比特的大小(小的域类型)和23个比特或者25个比特的大小(大的域类型)。在这样的情况下,域类型信息可以具有1个比特的大小并且触发器类型信息可以具有1个比特的大小。在一些实施例中,这些值可以被改变。
在一些实施例中,示出的WM有效载荷的触发器类型信息可以具有2个比特的大小。如果触发器类型信息是00,则这指示通过访问服务器URL可以获取应用特性信息,并且与能够使用先前的WM的服务器URL获取的特性信息相比较此特性信息没有被改变。如果触发器类型信息是01,则这指示可以通过访问服务器URL获取应用特性信息,并且与使用先前的WM的服务器URL获取的特性信息相比较此特性信息被改变。如果触发器类型信息是10,则这指示通过访问服务器URL可以获取事件信息。11的触发器类型信息可以被保留以供将来使用。
在一些实施例中,如果触发器类型信息被指配2个比特,则触发器类型信息的值的意义可以被改变。例如,如果触发器类型信息是00,则这指示不存在能够在此间隔通过从服务器发出请求能够获取的附加的应用、组件或者信息。在这样的情况下,请求(查询)可以被发送到服务器。如果触发类型信息是01,则则这指示存在能够在此间隔通过从服务器发出请求能够获取的附加的应用、组件或者信息。在这样的情况下,请求(查询)可以被发送到服务器。如果触发器类型信息是10,则这指示通过访问服务器URL可以获取事件信息。因此,在这样的情况下,即使当最近发出请求时,应再次发出请求。11的触发器类型信息可以被保留以供将来使用。
在一些实施例中,上述WM有效载荷的结构可以被组合。另外,在一些实施例中,上述有效载荷的信息的指配的大小可以被组合。例如,根据小、中等以及大的域,对于服务器URL信息和时间戳信息的大小,1个比特的触发器类型信息或者2个比特的触发器类型信息可以被组合。另外,对于各种情况,可以组合1比特的域类型信息或者2个比特的域类型信息。
图41是示出根据本发明的一个实施例的在使用服务/内容信息的水印有效载荷结构中的变化的图。
服务信息和/或内容信息可以被添加到各个WM有效载荷结构或者各个可组合的WM有效载荷结构并且在各个WM有效载荷结构或者各个可组合的WM有效载荷结构中被递送。在此,服务信息可以与嵌入WM的服务有关。此服务信息可以是以服务ID或者频道ID的格式。当服务信息被包括在WM有效载荷中并且在WM有效载荷中被递送时,服务器可以仅选择性地提供特定服务/频道的补充内容(交互式服务)。另外,当改变正在被观看的服务/频道时,可以快速地完成先前的服务/频道的交互式服务。在此,内容信息可以与嵌入WM的内容有关。内容信息可以是内容ID的格式。当内容信息被包括在WM有效载荷中并且在WM有效载荷中被递送时,服务器可以选择性地提供特定内容的补充内容(交互式服务)。
在示出的实施例(t502010)中,服务信息和/或内容信息被添加到上述WM有效载荷中的一个。在示出的实施例(t502020)中,上述WM有效载荷结构被最小化并且然后服务信息和/或内容信息被添加。在这样的情况下,域类型信息被省略并且服务器URL信息、时间戳信息以及触发器类型信息的大小分别被减少到18个比特、17个比特以及2个比特。在两个实施例中,根据有关的广播系统,服务器信息和内容信息可以具有任意的大小(x和y个比特)。在一些实施例中,仅服务信息和内容信息中的一个可以被添加。
图42是示出根据本发明的一个实施例的使用NSC字段的水印有效载荷结构中的变化的图。
上述WM有效载荷结构中的每一个可以被改变以添加无补充内容(NSC)字段。NSC字段可以指示是否补充内容是可用的。NSC字段可以作为1比特标志操作。在上面已经描述了该补充内容。
通过减少上述域类型信息的大小可以获取用于NSC字段的1个比特。在一些实施例中,域类型信息的大小可以被减少到1个比特。如上所述,域类型信息可以包括WM有效载荷的类型。在这样的情况下,域类型信息可以指示是否WM有效载荷是小的域或者大的域。即,如果两种类型的域是充分的,则域类型信息的1个比特可以被指配给NSC字段以指示是否补充内容是可用的。在一些实施例中,在没有减少域类型信息的大小的情况下NSC字段可以被添加到上述WM有效载荷结构。
在本实施例中,在小的域中,服务器URL字段可以具有22个比特的大小并且时间戳字段可以具有25个比特的大小。在大的域中,服务器URL字段可以具有18个比特的大小并且时间戳字段可以具有29个比特的大小。小的域可以具有大约4.2百万个服务器代码和大约1.59年的间隔代码并且大的域可以具有大约262,144个服务器代码和大约25.5年的间隔代码。在此,触发器类型信息可以具有1个比特或者2个比特的大小。
根据关于WM有效载荷的信息,接收机可以将请求(查询)发送到服务器。(1)当接收机接收(调谐)第一水印的片段并且发出请求时,(2)当根据补充内容的请求信息进一步发出请求时,并且(3)当根据上述触发器类型信息发出请求时,可以发出请求。
根据NSC字段的添加,当不存在补充内容时可以不发出请求。例如,当接收机首先接收水印时,可以不发出请求。因此,在频道切换中,NSC字段的添加可以是有效的。另外,即使当补充内容不存在时,服务/内容也可以被标注(加水印)以便于报告服务使用。即使在这样的情况下,NSC字段的添加也可以是有效的。特别地,NSC字段的添加在用于递送用于存储和使用的报告的机制中可以是进一步有效的。即,通常,当大量的内容被标注(被加水印)但是补充内容不存在时NSC字段的添加可以是有效的。另外,在SMPTE开放式ID中连续地加水印的内容可以是优选的。在这样的情况下,连续的标注的内容可以在确定公共的WM解决方案中支持(aid)两个SDO。
图43是示出根据本发明的一个实施例的用于链接视频和音频水印的水印有效载荷结构的图。
本发明提出作为一个实施例的同时嵌入视频WM和音频WM的方法。为此,视频WM有效载荷的一部分可以被指配给音频WM有效载荷。视频WM有效载荷(例如,30至60个字节)的一部分(例如,50个比特)可以携带音频WM有效载荷的复制信息。复制信息可以等于音频WM有效载荷的信息和音频WM有效载荷的副本。
另外,视频WM和音频WM可以被同步并且被发送。视频WM可以包括至少一个或者多个消息块并且消息块中的一个可以具有此结构的WM有效载荷。在这样的情况下,在服务/内容的音频中嵌入的音频WM可以具有与视频WM相同的WM有效载荷。这时,用于递送视频WM有效载荷的消息块的第一视频帧可以是对准与其相对应的音频WM的一部分的时间。在一些实施例中,视频WM和音频WM可以是在预先确定的错误内对准的时间。在一些实施例中,消息块可以包括多个视频帧并且每个视频帧可以具有重复的相同的视频WM有效载荷。在一些实施例中,音频WM有效载荷的一部分可以被指配以携带视频WM有效载荷的副本。
例如,当用户从MVPD机顶盒(STB)检索并且显示电子服务指南(ESG)时可能出现问题。首先,仅当音频WM被使用时,虽然ESG被显示,但是音频可以被连续地播放。然而,音频WM客户端可能不知道ESG正在被显示。因此,应用可以被连续地执行并且图形可能重叠ESG,从而引起干扰。
另外,如果仅视频WM被使用,当ESG被显示时,视频WM客户端可以识别WM消失并且判断观众已经改变频道或者已经完成交互式事件。因此,虽然观众试着在不改变频道的情况下关闭ESG并且在预先确定的点处恢复交互式服务,但是可以通过视频WM客户端完成应用。
因此,音频WM和视频WM被有效地配合使用。不同于音频WM,视频WM可以通知接收机主视频不集中于屏幕(ESG被使用)。另外,不同于视频WM,当ESG被使用时,音频WM可以连续地提供WM信息。因此,接收机可以跟踪是否在操作ESG的同时WM或者有关的补充内容被改变。
因此,可以通过视频WM识别正在被显示在屏幕上的ESG,并且可以通过音频WM连续地执行适当的接收机操作。例如,如果应用不提供图形(例如,背景应用),则应用可以被连续地执行,不论ESG如何。例如,如果应用提供图形,则应用可以被抑制直到ESG消失。例如,当应用接收事件时,接收机可以在背景上处理事件直到ESG消失。即,通过链接音频WM和视频WM可以解决此问题。
图44是示出根据本发明的一个实施例的使用链接的视频和音频水印的操作的图。
首先,将会描述当在屏幕上显示ESG时的用户的操作。首先,可以将最初的服务/内容从广播站递送给诸如STB的MVPD(t505010)。诸如STB或者有线电视(cable)的外部输入源可以将最初的服务/内容递送给接收机(t505020)。在此,递送的AV内容是处于未被压缩的状态并且可以具有链接的音频WM和视频WM。接收机可以感测音频WM和视频WM并且执行与其相对应的操作。
在此,用户可以从STB的遥控器请求ESG(t505030)。STB可以在TV屏幕上显示ESG(t505040)。ESG可以被覆盖在正在被回放的AV内容上。TV接收机可以感测音频WM但是不可以感测视频WM(t505050)。接收机可以识别主视频内容被覆盖有诸如ESG的其它图形,访问链接的音频WM并且无缝接地执行必要的操作。
接下来,将会描述当用户静音内容时的操作。在上面已经描述了通过STB接收AV内容的TV接收机的步骤t505010至t505020。在此,用户可以从STB的遥控器请求静音(t505030)。STB可以静音AV内容(t505040)。TV接收机可以感测视频WM但是不可以感测音频WM(t505050)。接收机可以识别主音频内容被静音并且通过链接的视频WM有效载荷获取音频WM有效载荷数据。因此,接收机能够无缝接地执行必要的操作。
图45是示出根据本发明的一个实施例的广播内容处理方法的图。
根据本发明的一个实施例的广播内容处理方法可以包括从外部输入源接收广播内容、从广播内容提取音频或者视频水印、从由水印产生的URL请求广播内容的补充内容并且/或者从服务器获取补充内容。
首先,接收机的接收单元可以从外部输入源接收广播内容。外部输入源可以意指诸如STB、有线电视(cable)或者卫星的MVPD。从广播流获取广播内容并且可以是未被压缩的AV内容。此广播内容可以包括音频和/或视频组件并且音频WM和视频WM可以被嵌入在这些组件中。
接收机的提取器可以从广播内容提取音频WM和视频WM中的至少一个。接收机的网络接口可以从通过由音频/视频WM产生的URL指定的服务器请求补充内容。补充内容与广播内容有关并且在上面已经描述了其详情。可以从服务器URL信息或者WM有效载荷的服务器代码获得URL。网络接口可以从服务器获取补充内容。音频/视频WM可以被用于递送与广播内容有关的辅助数据。
在根据本发明的另一实施例的广播内容处理方法中,音频WM中的至少一个可以包括音频WM有效载荷并且音频WM有效载荷可以包括可以分别等于上述的域类型信息、服务器URL信息、时间戳信息以及/或者触发器类型信息的域类型信息、服务器信息、间隔信息以及/或者查询信息。
在根据本发明的另一实施例的广播内容处理方法中,域类型信息可以指定音频WM有效载荷的类型,服务器信息可以识别用于获取补充内容的服务器,间隔信息可以识别嵌入音频WM有效载荷的音频组件的间隔,并且查询信息可以用信号通知是否来自于服务器的事件信令是可能的。在上面已经详细地描述了这些。事件信令可以对应于用于开始应用的操作的上述事件信息。
在根据本发明的另一实施例的广播内容处理方法中,视频WM中的至少一个可以包括视频WM有效载荷并且视频WM有效载荷可以包括包含与音频WM有效载荷相同的信息的至少一个消息块。如上所述,视频WM有效载荷可以指配和包括用于音频WM有效载荷的空间。
在根据本发明的另一实施例的广播内容处理方法中,包括与音频WM有效载荷的相同的信息的视频WM可以是对准携带音频WM有效载荷的音频WM的时间。在上面详细地描述了音频和视频WM之间的链接。
在根据本发明的另一实施例的广播内容处理方法中,补充内容可以包括thisComponent信息和/或otherComponent信息。thisComponent信息可以描述关于其中被用于请求补充内容的WM有效载荷被感测的服务组件的信息。可以通过WM有效载荷的服务器信息/间隔信息请求补充内容。otherComponent信息可以描述在除了通过thisComponent信息描述的组件之外的组件当中的具有等于WM有效载荷的WM有效载荷的组件。此WM有效载荷可以是视频或者音频WM。
根据本发明的另一实施例的广播内容处理方法可以进一步包括识别音频或者视频WM中的一个消失并且从组件提取未消失的WM的接收机的提取器。如在上述操作中,当ESB被显示在屏幕上或者被静音时,接收机可以识别视频或者音频WM消失,访问具有相同的有效载荷的WM并且无缝接地执行正常的操作。
现在将会描述根据本发明的一个实施例的广播内容处理方法(发送侧)。在附图中未示出此方法。
根据本发明的实施例的广播内容处理方法(发送侧)可以包括服务数据生成模块,该服务数据生成模块生成具有视频/音频组件的广播服务;WM嵌入模块,该WM嵌入模块将视频/音频WM嵌入到视频/音频组件;服务数据生成模块,该服务数据生成模块生成与广播服务有关的信令信息;以及/或者发送单元,该发送单元将广播服务数据和信令信息发送到MVPD。在一些实施例中,该方法可以进一步包括服务数据生成模块,该服务数据生成模块生成广播服务的补充内容并且将补充内容递送到补充内容服务器;和WM嵌入模块,该WM嵌入模块在WM中包括与此服务器有关的信息和补充内容。
根据本发明的实施例的广播内容处理方法(发送侧)可以对应于根据本发明的上述实施例的广播内容处理方法。根据本发明的实施例的广播内容处理方法(发送侧)可以具有与上述广播内容处理方法的实施例相对应的实施例。
在一些实施例中上述步骤可以被省略或者被替换成执行相似/相同的操作的其它步骤。
图46是示出根据本发明的一个实施例的广播内容处理装置的图。
根据本发明的一个实施例的广播内容处理装置可以包括上述接收单元、提取器和/或网络接口。在上面已经描述了模块和块。根据本发明的实施例的广播内容处理装置和其中的模块/块可以执行本发明的广播内容处理方法的上述实施例。
现在将会描述根据本发明的一个实施例的广播内容处理装置(发送侧)。在附图中未示出此装置。根据本发明的实施例的广播内容处理装置(发送侧)可以包括上述服务数据生成模块、WM嵌入模块以及/或者发送单元。在上面已经描述块和模块。根据本发明的实施例的广播内容处理装置和其中的模块/块可以执行本发明的广播内容处理方法(发送侧)的上述实施例。
装置的块/模块可以是用于执行被存储在存储器中的连续的过程的处理器并且可以是位于装置的内部/外部的硬件元件。在一些实施例中上述步骤可以被省略或者被替换成执行相似/相同操作的其它步骤。
模块或者单元可以是执行被存储在存储器(或者存储单元)中的连序过程的处理器。在前面提到的实施例中描述的步骤可以由硬件/处理器执行。在以上所述的实施例中描述的模块/块/单元可以作为硬件/处理器操作。由本发明提出的方法可以作为代码被执行。这样的代码可以被写在处理器可读的存储介质上,并且因此,可以由通过装置提供的处理器读取。
虽然为了方便起见,实施例已经被参考各个附图描述,但这些实施例可以被组合以实现新的实施例。此外,设计存储用于实现前面提到的实施例的程序的计算机可读的记录介质在本发明的范围之内。
根据本发明的装置和方法不局限于以上描述的实施例的配置和方法,并且所有或者一些实施例可以被有选择地组合以获得各种修改。
由本发明提出的方法可以被作为存储在被包括在网络设备中的处理器可读的记录介质中的处理器可读的代码实现。处理器可读的记录介质包括存储由处理器可读的数据的各种记录介质。处理器可读的记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等等和作为载波的实现,诸如经互联网的传输。此外,,处理器可读的记录介质可以被分布到经由网络连接的计算机系统,作为以分布方式可读的代码被存储和执行。
虽然为了说明性的目的已经公开了本发明的优选实施例,但那些本领域技术人员将理解,不脱离如在随附的权利要求中公开的本发明的范围和精神,各种修改、添加和替换是允许的。这样的修改不应该从本发明的技术精神或者预期中被单独地理解。
在本说明书中提及装置和方法发明两者,并且装置和方法发明两者的描述可以被互补地应用于彼此。
本领域技术人员应该理解,不脱离本发明的精神和必要特征,本发明可以以除了在此处阐述的那些之外的其他的特定方法实现。因此,本发明的范围将由所附的权利要求及其合法的等同物,而不由以上的描述来确定,而且出现在所附的权利要求的含义和等效范围内的所有的变化被意欲包含在其中。
在本说明书中,装置发明和方法发明两者都被提及,并且装置发明和方法发明两者的描述可以被互补地应用。
发明模式
各种实施例已经以用于实施本发明的最佳模式被描述。
工业实用性
本发明适用于广播信号提供领域。
如相关领域技术人员将认识和理解的,在本发明的精神和范围内的各种等效的修改是允许的。因此,本发明意欲覆盖本发明的改进和变化,只要它们落入所附的权利要求和其等同物的范围之内。

Claims (14)

1.一种处理广播内容的方法,所述方法包括:
从外部输入源接收广播内容,其中,所述广播内容是从广播流导出的,所述广播内容包括其中视频水印被嵌入的视频组件和其中音频水印被嵌入的音频组件;
从所述广播内容提取所述音频或者视频水印中的至少一个;
向通过从所述音频或者视频水印的有效载荷构造的URL指定的服务器请求用于所述广播内容的补充内容;以及
从所述服务器检索所述补充内容,
其中,所述音频或者视频水印包括用于所述广播内容的辅助数据。
2.根据权利要求1所述的方法,
其中,所述音频水印中的至少一个音频水印包括音频水印有效载荷,
所述音频水印有效载荷包括域类型信息、服务器信息、间隔信息或者查询信息。
3.根据权利要求2所述的方法,
其中所述域类型信息指定所述音频水印有效载荷的类型,
所述服务器信息识别用于所述补充内容的获取的服务器,
所述间隔信息识别其中所述音频水印有效载荷被嵌入的音频组件的间隔,并且
所述查询信息用信号通知何时来自所述服务器的事件信令是可用的,所述事件信令发起将由应用采取的动作。
4.根据权利要求3所述的方法,
其中,所述视频水印中的至少一个视频水印包括视频水印有效载荷,
所述视频水印有效载荷包括包含与所述音频水印有效载荷相同的信息的至少一个消息块。
5.根据权利要求4所述的方法,
其中,包括与所述音频水印有效载荷相同的信息的所述视频水印与携带所述音频水印有效载荷的所述音频水印时间对准。
6.根据权利要求3所述的方法,
其中,所述补充内容包括描述从其携带所述服务器信息和所述间隔信息的所述音频或者视频水印有效载荷被检测的特定组件的信息,
其中,所述补充内容进一步包括描述除了携带一致的音频或者视频水印有效载荷的所述特定组件之外的组件的信息。
7.根据权利要求4所述的方法,其中,所述方法进一步包括:
识别所述音频或者视频水印中的任意一个消失;以及
从与所述广播内容的相对应的组件提取所述音频或者视频组件中的另一个。
8.一种用于处理广播内容的装置,所述装置包括:
接收单元,所述接收单元从外部输入源接收广播内容,其中,所述广播内容是从广播流导出的,所述广播内容包括其中视频水印被嵌入的视频组件和其中音频水印被嵌入的音频组件;
提取器,所述提取器从所述广播内容提取所述音频或者视频水印中的至少一个;
网络接口,所述网络接口向通过从所述音频或者视频水印的有效载荷构造的URL指定的服务器请求用于所述广播内容的补充内容,
其中,所述网络接口从所述服务器检索所述补充内容,
其中,所述音频或者视频水印包括用于所述广播内容的辅助数据。
9.根据权利要求8所述的装置,
其中,所述音频水印中的至少一个音频水印包括音频水印有效载荷,
所述音频水印有效载荷包括域类型信息、服务器信息、间隔信息或者查询信息。
10.根据权利要求9所述的装置,
其中,所述域类型信息指定所述音频水印有效载荷的类型,
所述服务器信息识别用于所述补充内容的获取的服务器,
所述间隔信息识别其中所述音频水印有效载荷被嵌入的所述音频组件的间隔,并且
所述查询信息用信号通知何时来自所述服务器的事件信令是可用的,所述事件信令发起将由应用采取的动作。
11.根据权利要求10所述的装置,
其中,所述视频水印中的至少一个视频水印包括视频水印有效载荷,
所述视频水印有效载荷包括包含与所述音频水印有效载荷相同的信息的至少一个消息块。
12.根据权利要求11所述的装置,
其中,包括与所述音频水印有效载荷相同的信息的所述视频水印与携带所述音频水印有效载荷的所述音频水印时间对准。
13.根据权利要求10所述的装置,
其中,所述补充内容包括描述从其携带所述服务器信息和所述间隔信息的所述音频或者视频水印有效载荷被检测的特定组件的信息,
其中,所述补充内容进一步包括描述除了携带一致的音频或者视频水印有效载荷的所述特定组件之外的组件的信息。
14.根据权利要求11所述的装置,
其中,所述提取器识别所述音频或者视频水印中的任意一个消失,并且从与所述广播内容的相对应的组件提取所述音频或者视频组件中的另一个。
CN201680001083.3A 2015-04-23 2016-04-21 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法 Pending CN106304851A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562151447P 2015-04-23 2015-04-23
US62/151,447 2015-04-23
US201562152037P 2015-04-24 2015-04-24
US62/152,037 2015-04-24
US201562154733P 2015-04-30 2015-04-30
US201562155445P 2015-04-30 2015-04-30
US62/155,445 2015-04-30
US62/154,733 2015-04-30
PCT/KR2016/004174 WO2016171496A1 (ko) 2015-04-23 2016-04-21 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Publications (1)

Publication Number Publication Date
CN106304851A true CN106304851A (zh) 2017-01-04

Family

ID=57143334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680001083.3A Pending CN106304851A (zh) 2015-04-23 2016-04-21 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法

Country Status (6)

Country Link
US (1) US20170078765A1 (zh)
EP (1) EP3288277A4 (zh)
JP (1) JP6294503B2 (zh)
KR (2) KR101805538B1 (zh)
CN (1) CN106304851A (zh)
WO (1) WO2016171496A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110022486A (zh) * 2017-12-11 2019-07-16 丰田自动车株式会社 信息提供设备和信息提供方法
CN110267062A (zh) * 2019-07-26 2019-09-20 深圳Tcl新技术有限公司 拼装视频帧的优化方法、装置、可读存储介质及系统
TWI673984B (zh) * 2017-03-14 2019-10-01 日商索尼半導體解決方案公司 送訊裝置、收訊裝置、及資料處理方法
CN112449749A (zh) * 2019-06-28 2021-03-05 海信视像科技股份有限公司 数字内容发送装置、发送方法、数字内容接收装置、接收方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007224A1 (ko) * 2015-07-06 2017-01-12 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
KR102219103B1 (ko) * 2016-11-04 2021-02-23 샤프 가부시키가이샤 동적 이벤트 시그널링
KR20200021280A (ko) * 2018-08-20 2020-02-28 (주)스마일게이트스토브 게임 아이템의 구매를 위한 서버, 컨텐츠 제공자 단말 및 시청자 단말
US11356747B2 (en) 2018-12-21 2022-06-07 The Nielsen Company (Us), Llc Apparatus and methods to associate different watermarks detected in media
KR102457065B1 (ko) 2021-02-18 2022-10-20 주식회사 엘지유플러스 컨텐츠 제공 서버 및 그 제어 방법, 컨텐츠 제공 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1679104A (zh) * 2002-09-03 2005-10-05 皇家飞利浦电子股份有限公司 通过冗余水印编码的拷贝保护
CN103283251A (zh) * 2010-12-26 2013-09-04 Lg电子株式会社 广播服务发送方法、广播服务接收方法和广播服务接收设备
US20140013374A1 (en) * 2012-07-05 2014-01-09 Lg Electronics Inc. Method and apparatus for processing digital service signals
WO2014014252A1 (en) * 2012-07-16 2014-01-23 Lg Electronics Inc. Method and apparatus for processing digital service signals

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US7644282B2 (en) * 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
JP2001292427A (ja) * 2000-04-06 2001-10-19 Nippon Television Network Corp コンテンツの連動方法、及びそのシステム
US7970899B2 (en) 2006-03-03 2011-06-28 Barracuda Networks Inc Integrated data flow packet admission and traffic management apparatus
US8228910B2 (en) 2007-05-09 2012-07-24 Entropic Communications, Inc. Aggregating network packets for transmission to a destination node
KR100902887B1 (ko) 2008-10-17 2009-06-16 주식회사 씨케이앤비 디지털 영상 장치의 영상 왜곡 판단 테스트 자동화 시스템
EP2257067A1 (en) * 2009-05-29 2010-12-01 Thomson Licensing Method for inserting watermark assistance data in a bitstream, method of watermarking said bitstream, device implementing the method of watermarking and bitstream comprising the watermark assistance data
US9661371B2 (en) * 2011-05-24 2017-05-23 Lg Electronics Inc. Method for transmitting a broadcast service, apparatus for receiving same, and method for processing an additional service using the apparatus for receiving same
KR101893151B1 (ko) * 2011-08-21 2018-08-30 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
WO2013058633A1 (ko) * 2011-10-20 2013-04-25 엘지전자 주식회사 방송 서비스 수신 방법 및 방송 서비스 수신 장치
US9286912B2 (en) * 2012-09-26 2016-03-15 The Nielsen Company (Us), Llc Methods and apparatus for identifying media
KR102113503B1 (ko) * 2013-08-26 2020-06-05 삼성전자주식회사 전자 장치 및 전자 장치에서 컨텐츠 제공 방법
WO2015138798A1 (en) * 2014-03-13 2015-09-17 Verance Corporation Interactive content acquisition using embedded codes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1679104A (zh) * 2002-09-03 2005-10-05 皇家飞利浦电子股份有限公司 通过冗余水印编码的拷贝保护
CN103283251A (zh) * 2010-12-26 2013-09-04 Lg电子株式会社 广播服务发送方法、广播服务接收方法和广播服务接收设备
US20140013374A1 (en) * 2012-07-05 2014-01-09 Lg Electronics Inc. Method and apparatus for processing digital service signals
WO2014014252A1 (en) * 2012-07-16 2014-01-23 Lg Electronics Inc. Method and apparatus for processing digital service signals

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI673984B (zh) * 2017-03-14 2019-10-01 日商索尼半導體解決方案公司 送訊裝置、收訊裝置、及資料處理方法
CN110402582A (zh) * 2017-03-14 2019-11-01 索尼半导体解决方案公司 发送设备、接收设备和数据处理方法
US11889145B2 (en) 2017-03-14 2024-01-30 Sony Corporation Transmission apparatus, reception apparatus, and data processing method
CN110022486A (zh) * 2017-12-11 2019-07-16 丰田自动车株式会社 信息提供设备和信息提供方法
CN112449749A (zh) * 2019-06-28 2021-03-05 海信视像科技股份有限公司 数字内容发送装置、发送方法、数字内容接收装置、接收方法
CN110267062A (zh) * 2019-07-26 2019-09-20 深圳Tcl新技术有限公司 拼装视频帧的优化方法、装置、可读存储介质及系统
CN110267062B (zh) * 2019-07-26 2022-07-08 深圳Tcl新技术有限公司 拼装视频帧的优化方法、装置及可读存储介质

Also Published As

Publication number Publication date
JP2017522742A (ja) 2017-08-10
JP6294503B2 (ja) 2018-03-14
KR101805538B1 (ko) 2017-12-07
KR20160137954A (ko) 2016-12-02
WO2016171496A1 (ko) 2016-10-27
KR20170136006A (ko) 2017-12-08
US20170078765A1 (en) 2017-03-16
EP3288277A4 (en) 2018-09-12
KR101838084B1 (ko) 2018-03-13
EP3288277A1 (en) 2018-02-28

Similar Documents

Publication Publication Date Title
CN106304851A (zh) 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法
CN104471951B (zh) 处理数字服务信号的方法及装置
CN104137560B (zh) 图像显示设备及其操作方法
US9860611B2 (en) Broadcast service transmitting method, broadcasting service receiving method and broadcast service receiving apparatus
US8990844B2 (en) Method and apparatus for processing digital service signals
CN103975602B (zh) 广播服务接收方法和广播服务接收装置
CN104584569B (zh) 用于处理数字服务信号的方法及装置
CN103283219B (zh) 接收广播服务的方法和设备
CN103283220B (zh) 发送广播服务的方法、接收广播服务的方法和接收广播服务的设备
CN105009596B (zh) 视频显示设备及其操作方法
EP3270601B1 (en) Self-adaptive streaming medium processing method and apparatus
CN107852530A (zh) 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法
CA2851888C (en) Method of processing non-real time service and broadcast receiver
CN103650482B (zh) 发送和接收广播服务的方法及其接收装置
KR102130191B1 (ko) 수신 장치, 수신 방법, 송신 장치, 및 송신 방법
MX2015001908A (es) Aparato y metodo para procesar un servicio interactivo.
KR20150013110A (ko) 방송 프로그램과 관련한 양방향 서비스를 처리하는 장치 및 방법
US20180220172A1 (en) Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method and broadcast signal receiving method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170104