CN112019884B - 发送广播信号的方法和设备及接收广播信号的方法和设备 - Google Patents

Abstract

根据本发明的一个实施例的广播信号发送方法可包括以下步骤：生成广播服务的服务数据，其中，该服务数据包括广播服务中所包括的服务组件；生成用于用信号通知广播服务的服务信令信息；以及发送包括服务数据和服务信令信息的广播信号。

Description

发送广播信号的方法和设备及接收广播信号的方法和设备

本申请是原案申请号为201680039890.4的发明专利申请(申请日：2016年7月1日，发明名称：广播信号发送装置、广播信号接收装置、广播信号发送方法和广播信号接收方法)的分案申请。

技术领域

本发明涉及用于发送广播信号的设备、用于接收广播信号的设备以及用于发送和接收广播信号的方法。

背景技术

由于模拟广播信号传输接近终结，正在开发用于发送/接收数字广播信号的各种技术。数字广播信号可以包括模拟广播信号以外的大量的视频/音频数据，并且除了视频/音频数据之外还包括各种类型的附加数据。

发明内容

技术问题

数字广播系统可提供HD(高清晰度)图像、多声道音频和各种附加服务。然而，对于数字广播，用于传输大量数据的数据传输效率、发送/接收网络的鲁棒性以及考虑移动接收设备的网络灵活性需要改进。

技术方案

本发明的目的可通过提供一种在使用地面广播网络和互联网支持下一代混合广播的环境中有效地支持下一代广播信号的系统以及相关信令方法来实现。

有益效果

本发明可在使用地面广播网络和互联网支持下一代混合广播的环境中有效地支持下一代广播服务。

本发明可支持一种针对包括在广播服务中的服务组件提供详细信令的方法。

本发明可提供一种在发送广播服务的方法中有效地提供关于字幕的信息的方法。

附图说明

附图被包括以提供对本发明的进一步理解，附图示出本发明的实施例并且与说明书一起用来说明本发明的原理。

附图中：

图1是示出根据本发明的实施例的协议栈的图；

图2是示出根据本发明的一个实施例的服务发现过程的图；

图3是示出根据本发明的一个实施例的低级别信令(LLS)表和服务列表表(SLT)的图；

图4是示出根据本发明的一个实施例的通过ROUTE传送的USBD和S-TSID的图；

图5是示出根据本发明的一个实施例的通过MMT传送的USBD的图；

图6是示出根据本发明的一个实施例的链路层操作的图；

图7是示出根据本发明的一个实施例的链路映射表(LMT)的图；

图8是示出根据本发明的实施例的下一代广播服务的广播信号发送装置的结构的图；

图9是示出根据本发明的实施例的时间交织器的写操作的图；

图10是根据本发明的实施例的包括在频率交织器中的交织地址生成器的框图，该交织地址生成器根据各个FFT模式包括主PRBS生成器和子PRBS生成器；

图11是示出根据本发明的实施例的混合广播接收设备的框图；

图12是示出根据本发明的实施例的基于DASH的自适应流传输模型的总体操作的图；

图13是根据本发明的实施例的接收机的框图；

图14是示出根据本发明的实施例的媒体文件的配置的图；

图15是示出根据本发明的实施例的颜色空间的字幕相关信息的句法的图；

图16是示出根据本发明的实施例的颜色扩展的元数据的图；

图17是示出根据本发明的实施例的用于字幕的滚动支持的元数据的图；

图18是示出根据本发明的实施例的用于字幕的滚动支持的元数据的图；

图19示出根据本发明的实施例的字幕的3D支持信息；

图20是示出根据本发明的另一实施例的字幕的3D支持信息的图；

图21是示出根据本发明的实施例的字幕的呈现定时选项信息的图；

图22是示出根据本发明的实施例的字幕的呈现锚定时间信息的图；

图23和图24是示出根据本发明的实施例的使用ISOBMFF用信号通知字幕的呈现锚定时间的方法的图；

图25是示出根据本发明的实施例的字幕的缩放区域信息的图；

图26是示出根据本发明的实施例的字幕的播放速度信息和宽高比信息的图；

图27是示出根据本发明的实施例的经由HTTP的动态自适应流传输(DASH)数据模型的图；

图28是示出根据本发明的实施例的在MPD中指定字幕信息的方法的图；

图29是示出根据本发明的实施例的用于在MPD中指定字幕信息的描述符的图；

图30是示出根据本发明的实施例的包括在MPD中的字幕相关信息的图；

图31是示出根据本发明的实施例的字幕相关信息的详细信息的图；

图32是示出根据本发明的实施例的字幕相关信息的详细信息的图；

图33是示出根据本发明的实施例的基于MMT协议的信令流的图；

图34是示出根据本发明的实施例的通过SLT的引导处理的图；

图35是示出根据本发明的另一实施例的USBD的一部分的图；

图36是示出根据本发明的另一实施例的USBD的一部分的图；

图37是示出根据本发明的实施例的字幕信息的图；

图38是示出根据本发明的另一实施例的字幕信息的图；

图39是示出根据本发明的另一实施例的字幕信息的图；

图40是示出根据本发明的实施例的MMT消息格式的图；

图41是示出根据本发明的实施例的作为信令表的装置能力信息(DCI)表的图；

图42是示出根据本发明的实施例的MP表的一部分的图；

图43是示出根据本发明的实施例的多个描述符的图；

图44是示出根据本发明的实施例的用信号通知字幕相关信息的方法的图；

图45是示出根据本发明的另一实施例的用信号通知字幕相关信息的方法的图；

图46至图48是示出根据本发明的另一实施例的用信号通知字幕相关信息的方法的图；

图49是示出根据本发明的实施例的发送广播信号的方法的图；以及

图50是示出根据本发明的实施例的广播信号发送设备的图。

具体实施方式

现在将详细地介绍本发明的优选实施例，其示例在伴随的附图中图示。在下面将参考伴随的附图给出详细说明，其意欲解释本发明的示例性实施例，而不是示出可以根据本发明实现的仅有的实施例。以下的详细说明包括特定的细节以便提供对本发明深入的理解。但是，对于那些本领域技术人员将是显而易见的，无需这样的特定的细节也可以实践本发明。

虽然在本发明中使用的术语是从通常已知和使用的术语中选择出来的，在本发明的描述中提及的一些术语已经由本申请人以他的或者她的判断选择，其详细的含义在此处本说明书的相关部分中描述。此外，所需要的是，不只是通过实际使用的术语，而是通过每个术语的含义来理解本发明。

本发明提供了发送和接收用于未来广播服务的广播信号的设备和方法。根据本发明的实施例的未来广播服务包括地面广播服务、移动广播服务、超高清电视(UHDTV)服务等。本发明可以根据一个实施例通过非MIMO(多输入多输出)或者MIMO来处理用于未来广播服务的广播信号。根据本发明的实施例的非MIMO方案可以包括MISO(多输入单输出)方案、SISO(单输入单输出)方案等。

图1是示出根据本发明的实施例的协议栈的图。

服务可以通过多个层传送给接收机。首先，发送侧可以生成服务数据。服务数据可以被处理以用于在发送侧的传送层上传输，并且服务数据可以被编码为广播信号并在物理层处经由广播或者宽带网络发送。

这里，服务数据可以按照ISO基础媒体文件格式(BMFF)生成。ISO BMFF媒体文件可以用于广播/宽带网络传送、媒体封装和/或同步格式。这里，服务数据是与服务相关的所有数据，并且可以包括配置线性服务的服务组件、其信令信息、非实时(NRT)数据和其它文件。

将描述传送层。传送层可以提供用于发送服务数据的功能。服务数据可以经由广播和/或宽带网络传送。

广播服务传送可以包括两种方法。

作为第一种方法，服务数据可以基于MPEG媒体传输(MMT)在媒体处理单元(MPU)中处理，并且使用MMT协议(MMTP)发送。在这种情况下，使用MMTP传送的服务数据可以包括用于线性服务的服务组件和/或其服务信令信息。

作为第二种方法，服务数据可以被处理为DASH分段，并且基于MPEG DASH使用经由单向传输(ROUTE)的实时对象传送来发送。在这种情况下，通过ROUTE协议传送的服务数据可以包括用于线性服务的服务组件、其服务信令信息和/或NRT数据。也就是说，NRT数据和非定时数据(例如，文件)可以通过ROUTE传送。

根据MMTP或者ROUTE协议处理的数据可以通过UDP/IP层被处理为IP分组。在经由广播网络的服务数据传送中，服务列表表(SLT)也可以通过UDP/IP层经由广播网络传送。SLT可以在低级别信令(LLS)表中传送。稍后将描述SLT和LLS表。

IP分组可以在链路层中被处理为链路层分组。链路层可以将从高层传送的各种格式的数据封装进链路层分组中，然后将分组传送给物理层。稍后将描述链路层。

在混合服务传送中，至少一个服务元素可以通过宽带路径传送。在混合服务传送中，经由宽带传送的数据可以包括DASH格式的服务组件、其服务信令信息和/或NRT数据。此数据可以通过HTTP/TCP/IP处理，并且通过用于宽带传输的链路层传送给用于宽带传输的物理层。

物理层可以处理从传送层(高层和/或链路层)接收的数据，并且经由广播或者宽带网络发送该数据。稍后将给出物理层的详细描述。

将描述服务。服务可以是显示给用户的服务组件的集合，组件可以具有各种媒体类型，服务可以是连续的或者间断的，服务可以是实时的或者非实时的，并且实时服务可以包括一系列TV节目。

服务可以具有各种类型。第一，服务可以是线性音频/视频或者具有基于app的增强的音频服务。第二，服务可以是由下载的应用控制其再现/配置的基于app的服务。第三，服务可以是用于提供电子服务指南(ESG)的ESG服务。第四，服务可以是用于提供紧急警报信息的紧急警报(EA)服务。

当没有基于app的增强的线性服务经由广播网络传送时，服务组件可以由(1)一个或更多个ROUTE会话或者(2)一个或更多个MMTP会话传送。

当具有基于app的增强的线性服务经由广播网络传送时，服务组件可以由(1)一个或更多个ROUTE会话或者(2)零或更多个MMTP会话传送。在这种情况下，用于基于app的增强的数据可以按照NRT数据或者其它文件的形式通过ROUTE会话传送。在本发明的一个实施例中，使用两个协议同时传送一个服务的线性服务组件(流媒体组件)可能是不被允许的。

当基于app的服务经由广播网络传送时，服务组件可以由一个或更多个ROUTE会话传送。在这种情况下，用于基于app的服务的服务数据可以按照NRT数据或者其它文件的形式通过ROUTE会话传送。

这种服务的一些服务组件、一些NRT数据、文件等可以通过宽带传送(混合服务传送)。

也就是说，在本发明的一个实施例中，一个服务的线性服务组件可以通过MMT协议传送。在本发明的另一个实施例中，一个服务的线性服务组件可以通过ROUTE协议传送。在本发明的另一个实施例中，一个服务的线性服务组件和NRT数据(NRT服务组件)可以通过ROUTE协议传送。在本发明的另一个实施例中，一个服务的线性服务组件可以通过MMT协议传送，并且NRT数据(NRT服务组件)可以通过ROUTE协议传送。在以上描述的实施例中，服务的一些服务组件或者一些NRT数据可以通过宽带传送。这里，基于app的服务和关于基于app的增强的数据可以根据ROUTE经由广播网络传送，或者按照NRT数据的形式通过宽带传送。NRT数据可以称为本地缓存数据。

各个ROUTE会话包括用于完整地或者部分地传送配置服务的内容组件的一个或更多个LCT会话。在流服务传送中，LCT会话可以传送用户服务的各个组件，例如音频、视频或者隐藏式字幕流(closed caption stream)。流媒体被格式化为DASH分段。

各个MMTP会话包括用于传送所有或者一些内容组件或者MMT信令消息的一个或更多个MMTP分组流。MMTP分组流可以传送已格式化为MPU的组件或者MMT信令消息。

对于NRT用户服务或者系统元数据的传送，LCT会话传送基于文件的内容项目。这些内容文件可以包括NRT服务的连续的(定时的)或者离散的(非定时的)媒体组件或者诸如服务信令或者ESG片段的元数据。诸如服务信令或者ESG片段的系统元数据可以通过MMTP的信令消息模式传送。

在调谐器调谐到频率的同时，接收机可以检测广播信号。接收机可以提取并发送SLT给处理模块。SLT解析器可以解析SLT，并且在信道映射(channel map)中获取和存储数据。接收机可以获取SLT的引导信息(bootstrap information)并将其传送给ROUTE或者MMT客户端。接收机可以获取和存储SLS。USBD可以由信令解析器获取和解析。

图2是示出根据本发明的一个实施例的服务发现过程的图。

由物理层的广播信号帧传送的广播流可以承载低级别信令(LLS)。LLS数据可以通过传送给公知的IP地址/端口的IP分组的有效载荷来承载。此LLS可以根据其类型包括SLT。LLS数据可以按照LLS表的形式被格式化。承载LLS数据的每个UDP/IP分组的第一字节可以是LLS表的开始。与所示出的实施例不同，用于传送LLS数据的IP流可以与其它服务数据一起被传送给PLP。

SLT可以使得接收机能够通过快速信道扫描生成服务列表，并且提供用于定位SLS的访问信息。SLT包括引导信息。此引导信息可以使得接收机能够获取各个服务的服务层信令(SLS)。当SLS(也就是说，服务信令信息)通过ROUTE传送时，引导信息可以包括承载SLS的LCT信道、包括LCT信道的ROUTE会话的目的地IP地址以及目的地端口信息。当SLS通过MMT传送时，引导信息可以包括承载SLS的MMTP会话的目的地IP地址和目的地端口信息。

在所示出的实施例中，在SLT中描述的服务#1的SLS通过ROUTE传送，并且SLT可以包括包含由SLS传送的LCT信道的ROUTE会话的引导信息sIP1、dIP1和dPort1。在SLT中描述的服务#2的SLS通过MMT传送，并且SLT可以包括包含由SLS传送的MMTP分组流的MMTP会话的引导信息sIP2、dIP2和dPort2。

SLS是描述服务的性质的信令信息，并且可以包括用于显著地再现服务或者提供用于获取服务和服务的服务组件的信息的接收机能力信息。当各个服务具有单独的服务信令时，无需解析在广播流内传送的所有SLS，接收机即可获取用于期望的服务的合适SLS。

当SLS通过ROUTE协议传送时，SLS可以通过由SLT指示的ROUTE会话的专用LCT信道传送。在一些实施例中，该LCT信道可以是通过tsi＝0识别的LCT信道。在这种情况下，SLS可以包括用户服务包描述(bundle description)(USBD)/用户服务描述(USD)、基于服务的传输会话实例描述(S-TSID)和/或媒体呈现描述(MPD)。

这里，USBD/USD是一个SLS片段，并且可以用作描述服务的详细描述信息的信令中心(signaling hub)。USBD可以包括服务识别信息、设备能力信息等。USBD可以包括其它SLS片段(S-TSID、MPD等)的引用信息(URI引用)。也就是说，USBD/USD可以引用S-TSID和MPD。此外，USBD可以进一步包括用于使得接收机能够判定传输模式(广播/宽带网络)的元数据信息。USBD/USD的详细描述将在下面给出。

S-TSID是一个SLS片段，并且可以提供承载服务的服务组件的传输会话的总体会话描述信息。S-TSID可以提供传送服务的服务组件的ROUTE会话，和/或用于ROUTE会话的LCT信道的传输会话描述信息。S-TSID可以提供与一个服务相关联的服务组件的组件获取信息。S-TSID可以在MPD的DASH表示与服务组件的tsi之间提供映射。S-TSID的组件获取信息可以按照相关联的DASH表示和tsi的标识符的形式提供，并且在一些实施例中可以包括或者可以不包括PLP ID。通过组件获取信息，接收机可以收集一个服务的音频/视频组件，并且执行DASH媒体分段的缓冲和解码。S-TSID可以如上所述由USBD引用。S-TSID的详细描述将在下面给出。

MPD是一个SLS片段，并且可以提供服务的DASH媒体呈现的描述。MPD可以提供媒体分段的资源标识符，并且提供在所识别的资源的媒体呈现内的上下文信息。MPD可以描述经由广播网络传送的DASH表示(服务组件)，并且描述经由宽带(混合传送)传送的附加DASH呈现。MPD可以如上所述由USBD引用。

当SLS通过MMT协议传送时，SLS可以通过由SLT指示的MMTP会话的专用MMTP分组流传送。在一些实施例中，传送SLS的MMTP分组的packet_id可以具有00的值。在这种情况下，SLS可以包括USBD/USD和/或MMT分组(MP)表。

这里，USBD是一个SLS片段，并且可以如ROUTE中一样描述服务的详细描述信息。此USBD可以包括其它SLS片段的引用信息(URI信息)。MMT的USBD可以引用MMT信令的MP表。在一些实施例中，MMT的USBD可以包括S-TSID和/或MPD的引用信息。这里，S-TSID是用于通过ROUTE协议传送的NRT数据。甚至当线性服务组件通过MMT协议传送时，NRT数据也可以经由ROUTE协议传送。MPD是在混合服务传送中用于经由宽带传送的服务组件。MMT的USBD的详细描述将在下面给出。

MP表是用于MPU组件的MMT的信令消息，并且可以提供承载服务的服务组件的MMTP会话的总体会话描述信息。此外，MP表可以包括通过MMTP会话传送的资产(asset)的描述。MP表是用于MPU组件的流信令信息，并且可以提供对应于一个服务的资产列表和这些组件的位置信息(组件获取信息)。MP表的详细描述可以在MMT中定义或者修改。这里，资产是多媒体数据实体，通过一个唯一ID组合，并且可以意指用于一个多媒体呈现的数据实体。资产可以对应于配置一个服务的服务组件。对应于期望的服务的流服务组件(MPU)可以使用MP表来访问。MP表可以如上所述由USBD引用。

可定义其它MMT信令消息。与服务和MMTP会话关联的附加信息可以由这些MMT信令消息描述。

ROUTE会话通过源IP地址、目的地IP地址和目的地端口号来识别。LCT会话通过在父ROUTE会话的范围内唯一的传输会话标识符(TSI)来识别。MMTP会话通过目的地IP地址和目的地端口号来识别。MMTP分组流通过在父MMTP会话的范围内唯一的packet_id来识别。

在ROUTE的情况下，S-TSID、USBD/USD、MPD或者传送其的LCT会话可以称为服务信令信道。在MMTP的情况下，USBD/UD、MMT信令消息或者传送其的分组流可以称为服务信令信道。

与所示出的实施例不同，一个ROUTE或者MMTP会话可以经由多个PLP传送。也就是说，一个服务可以通过一个或更多个PLP传送。与所示出的实施例不同，在一些实施例中，配置一个服务的组件可以通过不同的ROUTE会话传送。此外，在一些实施例中，配置一个服务的组件可以通过不同的MMTP会话传送。在一些实施例中，配置一个服务的组件可以被分割并在ROUTE会话和MMTP会话中传送。虽然未示出，配置一个服务的组件可以通过宽带(混合传送)传送。

图3是示出根据本发明的一个实施例的低级别信令(LLS)表和服务列表表(SLT)的图。

LLS表的一个实施例t3010可以包括根据LLS_table_id字段、provider_id字段、LLS_table_version字段和/或LLS_table_id字段的信息。

LLS_table_id字段可以识别LLS表的类型，并且provider_id字段可以识别与由LLS表用信号通知的服务相关联的服务提供商。这里，服务提供商是使用所有或者一些广播流的广播商，并且provider_id字段可以识别正在使用广播流的多个广播商中的一个。LLS_table_version字段可以提供LLS表的版本信息。

根据LLS_table_id字段的值，LLS表可以包括以上描述的SLT、包括关于内容咨询评级的信息的评级区域表(RRT)、用于提供与系统时间相关联的信息的SystemTime信息、用于提供与紧急警报相关联的信息的公共警报协议(CAP)消息中的一个。在一些实施例中，其它信息可以包括在LLS表中。

所示出的SLT的一个实施例t3020可以包括@bsid属性、@sltCapabilities属性、sltInetUrl元素和/或Service元素。各个字段可以根据所示出的使用列的值被省略，或者可以存在多个字段。

@bsid属性可以是广播流的标识符。@sltCapabilities属性可以提供解码和显著地再现SLT中描述的所有服务所需的能力信息。sltInetUrl元素可以提供用于经由宽带获得用于SLT的服务的服务信令信息和ESG的基础URL信息。sltInetUrl元素可以进一步包括@urlType属性，其可以指示能够通过URL获得的数据的类型。

Service元素可以包括关于SLT中描述的服务的信息，并且可以存在各个服务的Service元素。Service元素可以包括@serviceId属性、@sltSvcSeqNum属性、@protected属性、@majorChannelNo属性、@minorChannelNo属性、@serviceCategory属性、@shortServiceName属性、@hidden属性、@broadbandAccessRequired属性、@svcCapabilities属性、BroadcastSvcSignaling元素和/或svcInetUrl元素。

@serviceId属性是服务的标识符，并且@sltSvcSeqNum属性可以指示服务的SLT信息的序列号。@protected属性可以指示服务的显著再现所需的至少一个服务组件是否受到保护。@_majorChannelNo属性和@_minorChannelNo属性可以分别指示服务的主信道号和次信道号

@serviceCategory属性可以指示服务的类别。服务的类别可以包括线性A/V服务、线性音频服务、基于app的服务、ESG服务、EAS服务等。@shortServiceName属性可以提供服务的短名称。@hidden属性可以指示服务是否用于测试或者专用用途。@broadbandAccessRequired属性可以指示服务的显著再现是否需要宽带接入。@svcCapabilities属性可以提供服务的解码和显著再现所需的能力信息。

BroadcastSvcSignaling元素可以提供与服务的广播信令相关联的信息。此元素可以相对于经由服务的广播网络的信令提供诸如位置、协议和地址的信息。其细节将在下面描述。

svcInetUrl元素可以提供用于经由宽带访问服务的信令信息的URL信息。sltInetUrl元素可以进一步包括@urlType属性，其可以指示能够通过URL获得的数据的类型。

以上描述的BroadcastSvcSignaling元素可以包括@slsProtocol属性、@slsMajorProtocolVersion属性、@slsMinorProtocolVersion属性、@slsPlpId属性、@slsDestinationIpAddress属性、@slsDestinationUdpPort属性和/或@slsSourceIpAddress属性。

@slsProtocol属性可以指示用于传送服务的SLS的协议(ROUTE、MMT等)。@slsMajorProtocolVersion属性和@slsMinorProtocolVersion属性可以分别指示用于传送服务的SLS的协议的主版本号和次版本号。

@slsPlpId属性可以提供用于识别传送服务的SLS的PLP的PLP标识符。在一些实施例中，此字段可以被省略，并且由SLS传送的PLP信息可以使用以下描述的LMT的信息和SLT的引导信息的组合来检查。

@slsDestinationIpAddress属性、@slsDestinationUdpPort属性和@slsSourceIpAddress属性可以分别指示传送服务的SLS的传输分组的目的地IP地址、目的地UDP端口和源IP地址。这些可以识别由SLS传送的传输会话(ROUTE会话或者MMTP会话)。这些可以包括在引导信息中。

图4是示出根据本发明的一个实施例的通过ROUTE传送的USBD和S-TSID的图。

所示出的USBD的一个实施例t4010可以具有bundleDescription根元素。bundleDescription根元素可以具有userServiceDescription元素。userServiceDescription元素可以是一个服务的实例。

userServiceDescription元素可以包括@_globalServiceID属性、@_serviceId属性、@serviceStatus属性、@fullMPDUri属性、@sTSIDUri属性、name元素、serviceLanguage元素、capabilityCode元素和/或deliveryMethod元素。各个字段可以根据所示出的使用列的值被省略，或者可以存在多个字段。

@globalServiceID属性是服务的全球唯一标识符，并且可以用于与ESG数据(Service@globalServiceID)相联系。@serviceId属性是对应于SLT的服务条目的引用，并且可以等于SLT的服务ID信息。@serviceStatus属性可以指示服务的状态。这个字段可以指示服务是活动的还是不活动的。

@fullMPDUri属性可以引用服务的MPD片段。MPD可以如上所述提供经由广播或者宽带网络传送的服务组件的再现描述。@sTSIDUri属性可以引用服务的S-TSID片段。S-TSID可以如上所述提供与访问承载服务的传输会话相关联的参数。

name元素可以提供服务的名称。这个元素可以进一步包括@lang属性，并且这个字段可以指示由name元素提供的名称的语言。serviceLanguage元素可以指示服务的可用语言。也就是说，这个元素可以安排能够由服务提供的语言。

capabilityCode元素可以指示显著地再现服务所需的接收机的能力或者能力组信息。此信息与在服务通告中提供的能力信息格式兼容。

deliveryMethod元素可以针对经由服务的广播或者宽带网络访问的内容提供传输相关信息。deliveryMethod元素可以包括broadcastAppService元素和/或unicastAppService元素。这些元素中的每一个可以具有basePattern元素作为子元素。

broadcastAppService元素可以包括经由广播网络传送的DASH表示的传输相关信息。DASH表示可以包括在服务呈现的所有周期上的媒体组件。

这个元素的basePattern元素可以指示用于接收机执行与分段URL的匹配的字符图形。这可以用于DASH客户端请求表示的分段。匹配可以意指经由广播网络传送媒体分段。

unicastAppService元素可以包括经由宽带传送的DASH表示的传输相关信息。DASH表示可以包括在服务媒体呈现的所有周期上的媒体组件。

这个元素的basePattern元素可以指示用于接收机执行与分段URL的匹配的字符图形。这可以用于DASH客户端请求表示的分段。匹配可以意指经由宽带传送媒体分段。

所示出的S-TSID的一个实施例t4020可以具有S-TSID根元素。S-TSID根元素可以包括@serviceId属性和/或RS元素。各个字段可以根据所示出的使用列的值被省略，或者可以存在多个字段。

@serviceId属性是服务的标识符，并且可以引用USBD/USD的服务。RS元素可以描述关于传送服务的服务组件的ROUTE会话的信息。根据ROUTE会话的数目，可以存在多个元素。RS元素可以进一步包括@bsid属性、@sIpAddr属性、@dIpAddr属性、@dport属性、@PLPID属性和/或LS元素。

@bsid属性可以是传送服务的服务组件的广播流的标识符。如果这个字段被省略，则默认广播流可以是包括传送服务的SLS的PLP的广播流。这个字段的值可以等于@bsid属性的值。

@sIpAddr属性、@dIpAddr属性和@dport属性可以分别指示ROUTE会话的源IP地址、目的地IP地址和目的地UDP端口。当这些字段被省略时，默认值可以是传送SLS(也就是说，S-TSID)的当前ROUTE会话的源地址、目的地IP地址和目的地UDP端口值。不在当前ROUTE会话中，这个字段可以在传送服务的服务组件的另一个ROUTE会话中不被省略。

@PLPID属性可以指示ROUTE会话的PLP ID信息。如果这个字段被省略，则默认值可以是由S-TSID传送的当前PLP的PLP ID值。在一些实施例中，这个字段被省略，并且ROUTE会话的PLP ID信息可以使用以下描述的LMT的信息和RS元素的IP地址/UDP端口信息的组合来检查。

LS元素可以描述关于发送服务的服务组件的LCT信道的信息。根据LCT信道的数目，可以存在多个元素。LS元素可以包括@tsi属性、@PLPID属性、@bw属性、@startTime属性、@endTime属性、SrcFlow元素和/或RepairFlow元素。

@tsi属性可以指示LCT信道的tsi信息。使用此信息，传送服务的服务组件的LCT信道可以被识别。@PLPID属性可以指示LCT信道的PLP ID信息。在一些实施例中，这个字段可以被省略。@bw属性可以指示LCT信道的最大带宽。@startTime属性可以指示LCT会话的开始时间，并且@endTime属性可以指示LCT信道的结束时间。

SrcFlow元素可以描述ROUTE的源流。ROUTE的源协议被用于发送传送对象，并且可以在一个ROUTE会话内建立至少一个源流。源流可以将关联的对象作为对象流传送。

RepairFlow元素可以描述ROUTE的修复流。根据源协议传送的传送对象可以根据前向纠错(FEC)来保护，并且修复协议可以定义允许FEC保护的FEC框架。

图5是示出根据本发明的一个实施例的通过MMT传送的USBD的图。

所示出的USBD的一个实施例可以具有bundleDescription根元素。bundleDescription根元素可以具有userServiceDescription元素。userServiceDescription元素可以是一个服务的实例。

userServiceDescription元素可以包括@globalServiceID属性、@serviceId属性、Name元素、serviceLanguage元素、contentAdvisoryRating元素、Channel元素、mpuComponent元素、routeComponent元素、broadbandComponent元素和/或ComponentInfo元素。各个字段可以根据所示出的使用列的值被省略，或者可以存在多个字段。

@globalServiceID属性、@serviceId属性、Name元素和/或serviceLanguage元素可以等于通过ROUTE传送的USBD的字段。contentAdvisoryRating元素可以指示服务的内容咨询评级。此信息与在服务通告中提供的内容咨询评级信息格式兼容。Channel元素可以包括与服务相关联的信息。这个元素的详细描述将在下面给出。

mpuComponent元素可以提供作为服务的MPU传送的服务组件的描述。这个元素可以进一步包括@mmtPackageId属性和/或@nextMmtPackageId属性。@mmtPackageId属性可以引用作为服务的MPU传送的服务组件的MMT包。@nextMmtPackageId属性可以在时间方面引用在@mmtPackageId属性所引用的MMT包之后要使用的MMT包。通过这个元素的信息，MP表可以被引用。

routeComponent元素可以包括服务的服务组件的描述。即使当线性服务组件通过MMT协议传送时，NRT数据也可以如上所述根据ROUTE协议传送。这个元素可以描述关于这种NRT数据的信息。这个元素的详细描述将在下面给出。

broadbandComponent元素可以包括经由宽带传送的服务的服务组件的描述。在混合服务传送中，一个服务的一些服务组件或者其它的文件可以经由宽带传送。这个元素可以描述关于这种数据的信息。这个元素可以进一步包括@fullMPDUri属性。这个属性可以引用描述经由宽带传送的服务组件的MPD。除了混合服务传送之外，广播信号可能由于在隧道中传播而减弱，并且因此，这个元素可能是支持宽带和宽带之间的切换所必需的。当广播信号弱时，服务组件经由宽带获取，并且当广播信号变强时，服务组件经由广播网络获取以确保服务连续性。

ComponentInfo元素可以包括关于服务的服务组件的信息。根据服务的服务组件的数目，可以存在多个元素。这个元素可以描述各个服务组件的类型、作用、名称、标识符或者保护。这个元素的详细信息将在下面描述。

以上描述的Channel元素可以进一步包括@serviceGenre属性、@serviceIcon属性和/或ServiceDescription元素。@serviceGenre属性可以指示服务的流派(genre)，并且@serviceIcon属性可以包括服务的代表性图标的URL信息。ServiceDescription元素可以提供服务的服务描述，并且这个元素可以进一步包括@serviceDescrText属性和/或@serviceDescrLang属性。这些属性可以指示服务描述的文本以及在文本中使用的语言。

以上描述的routeComponent元素可以进一步包括@sTSIDUri属性、@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性、@sTSIDSourceIpAddress属性、@sTSIDMajorProtocolVersion属性和/或@sTSIDMinorProtocolVersion属性。

@sTSIDUri属性可以引用S-TSID片段。这个字段可以等于通过ROUTE传送的USBD的字段。这个S-TSID可以提供通过ROUTE传送的服务组件的访问相关信息。这个S-TSID可以在根据MMT协议传送线性服务组件的状态下对于根据ROUTE协议传送的NRT数据存在。

@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性和@sTSIDSourceIpAddress属性可以指示承载上述S-TSID的传输分组的目的地IP地址、目的地UDP端口和源IP地址。也就是说，这些字段可以识别承载以上描述的S-TSID的传输会话(MMTP会话或者ROUTE会话)。

@sTSIDMajorProtocolVersion属性和@sTSIDMinorProtocolVersion属性可以分别指示用于传送以上描述的S-TSID的传输协议的主版本号和次版本号。

以上描述的ComponentInfo元素可以进一步包括@componentType属性、@componentRole属性、@componentProtectedFlag属性、@componentId属性和/或@componentName属性。

@componentType属性可以指示组件的类型。例如，这个属性可以指示组件是否是音频、视频或者隐藏式字幕组件。@componentRole属性可以指示组件的作用。例如，如果组件是音频组件，则这个属性可以指示主音频、音乐、评论(commentary)等。如果组件是视频组件，则这个属性可以指示主视频。如果组件是隐藏式字幕组件，则这个属性可以指示常规字幕或者易于阅读的类型。

@componentProtectedFlag属性可以指示服务组件是否受到保护，例如，被加密。@componentId属性可以指示服务组件的标识符。这个属性的值可以是对应于这个服务组件的MP表的asset_id(资产ID)。@componentName属性可以指示服务组件的名称。

图6是示出根据本发明的一个实施例的链路层操作的图。

链路层可以是物理层和网络层之间的层。发送侧可以从网络层到物理层发送数据，并且接收侧可以从物理层到网络层发送数据(t6010)。链路层的目的是将所有输入分组类型压缩(抽象)为用于由物理层处理的一个格式，并且确保还未定义的输入分组类型的灵活性和可扩展性。此外，链路层可以提供压缩(抽象)输入分组的头的不必要的信息以有效地发送输入数据的选项。链路层的诸如开销降低、封装等的操作被称为链路层协议，并且使用这个协议生成的分组可以称为链路层分组。链路层可以执行诸如分组封装、开销降低和/或信令传输的功能。

在发送侧，链路层(ALP)可以针对输入分组执行开销降低过程，然后将输入分组封装进链路层分组。此外，在一些实施例中，链路层可以在不执行开销降低过程的情况下执行封装进链路层分组。由于链路层协议的使用，在物理层上的数据传输开销可以显著地降低，并且根据本发明的链路层协议可以提供IP开销降低和/或MPEG-2 TS开销降低。

当所示出的IP分组作为输入分组输入时(t6010)，链路层可以依次执行IP头压缩、适配和/或封装。在一些实施例中，一些处理可以被省略。例如，RoHC模块可以执行IP分组头压缩以降低不必要的开销。上下文信息可以通过适配过程提取并且带外发送。IP头压缩和适配过程可以被统称为IP头压缩。此后，IP分组可以通过封装过程被封装进链路层分组。

当MPEG 2 TS分组作为输入分组输入时，链路层可以针对TS分组依次执行开销降低和/或封装过程。在一些实施例中，一些过程可以被省略。在开销降低中，链路层可以提供同步字节去除、空分组删除和/或公共头去除(压缩)。通过同步字节去除，每TS分组可提供1字节的开销降低。空分组删除可以按照可在接收侧进行重新插入的方式执行。此外，删除(压缩)可以按照连续头之间的公共信息可以在接收侧恢复的方式执行。一些开销降低过程可以被省略。此后，通过封装过程，TS分组可以被封装进链路层分组。用于TS分组的封装的链路层分组结构可以不同于其它类型的分组。

首先，将描述IP头压缩。

IP分组可以具有固定的头格式，但是通信环境所需的一些信息对于广播环境可能是不必要的。链路层协议可以压缩IP分组的头以提供用于降低广播开销的机制。

IP头压缩可以包括头压缩器/解压缩器和/或适配模块。IP头压缩器(RoHC压缩器)可以基于RoHC方法来减小各个IP分组的大小。然后，适配模块可以提取上下文信息，并且从各个分组流生成信令信息。接收机可以解析与对应分组流相关的信令信息，并且将上下文信息附加给分组流。RoHC解压缩器可以恢复分组头以重新配置原始IP分组。在下文中，IP头压缩可仅指经由头压缩器的IP头压缩器，并且可以是将IP头压缩器和适配模块的适配过程组合的概念。这可与解压缩中一样。

在下文中，将描述适配。

在单方向链路的传输中，当接收机不具有上下文信息时，解压缩器无法恢复所接收的分组头，直到接收到完整的上下文为止。这可能导致信道变化延迟和接通延迟。因此，通过适配功能，在压缩器和解压缩器之间的配置参数和上下文信息可以带外发送。适配功能可利用上下文信息和/或配置参数来构造链路层信令。适配功能可利用先前配置参数和/或上下文信息通过各个物理帧周期性地发送链路层信令。

从压缩的IP分组中提取上下文信息，并且可以根据适配模式使用各种方法。

模式#1是指对于压缩的分组流不执行操作并且适配模块作为缓冲器操作的模式。

模式#2是指从压缩的分组流检测IR分组以提取上下文信息(静态链)的模式。在提取之后，IR分组被转换为IR-DYN分组，并且IR-DYN分组可以代替原始IR分组在分组流内以相同的顺序发送。

模式#3(t6020)是指从压缩的分组流检测IR和IR-DYN分组以提取上下文信息的模式。可以从IR分组提取静态链和动态链，并且可以从IR-DYN分组提取动态链。在提取之后，IR和IR-DYN分组被转换为常规压缩分组。所转换的分组可以代替原始IR和IR-DYN分组在分组流内以相同的顺序发送。

在各个模式中，上下文信息被提取，并且剩余分组可以根据用于压缩的IP分组的链路层分组结构来封装和发送。上下文信息可以作为链路层信令根据用于信令信息的链路层分组结构来封装和发送。

所提取的上下文信息可以被包括在RoHC-U描述表(RDT)中，并且可以与RoHC分组流分开地发送。上下文信息可以通过特定物理数据路径与其它信令信息一起发送。特定物理数据路径可以意指常规PLP、传送低级别信令(LLS)的PLP、专用PLP或者L1信令路径中的一个。这里，RDT可以是上下文信息(静态链和/或动态链)和/或包括与头压缩相关联的信息的信令信息。在一些实施例中，RDT可每当上下文信息改变时发送。在一些实施例中，RDT可在每一个物理帧中发送。为了在每一个物理帧中发送RDT，可重用先前RDT。

接收机可选择第一PLP并且在获取分组流之前首先获取SLT、RDT等的信令信息。在获取信令信息时，接收机可组合信息以获取服务-IP信息-上下文信息-PLP的映射。即，接收机可识别发送服务的IP流、通过PLP发送的IP流等，并且获取PLP的对应上下文信息。接收机可选择用于传送特定分组流的PLP并且对PLP进行解码。适配模块可解析上下文信息并将上下文信息与压缩的分组组合。由此，分组流可被恢复并发送到RoHC解压缩器。然后，可开始解压缩。在这种情况下，接收机可检测IR分组并根据适配模式从首先接收到的IR分组开始解压缩(模式1)，可检测IR-DYN分组并从首先接收到的IR-DYN分组开始解压缩(模式2)，或者可从任何一般压缩的分组开始解压缩(模式3)。

在下文中，将描述分组封装。

链路层协议可以将诸如IP分组、TS分组等的所有类型的输入分组封装进链路层分组。为此，独立于网络层的协议类型，物理层仅处理一种分组格式(这里，MPEG-2TS分组被视为网络层分组)。各个网络层分组或者输入分组被修改为通用链路层分组的有效载荷。

在分组封装过程中，可以使用分段。如果网络层分组太大而无法在物理层中被处理，则网络层分组可以被分段为两个或更多个分段。链路层分组头可以包括用于发送侧的分段和接收侧的重组的字段。各个分段可以按照与原始位置相同的顺序封装进链路层分组。

在分组封装过程中，也可以使用级联。如果网络层分组足够地小，使得链路层分组的有效载荷包括多个网络层分组，则可以执行级联。链路层分组头可以包括用于执行级联的字段。在级联时，输入分组可以按照与原始输入顺序相同的顺序封装进链路层分组的有效载荷。

链路层分组可以包括头和有效载荷。头可以包括基础头、附加头和/或可选头。附加头可以根据情形(例如，级联或者分段)被进一步增加，并且附加头可以包括适用于情形的字段。此外，对于附加信息的传送，可以进一步包括可选头。可以预先定义各个头结构。如上所述，如果输入分组是TS分组，则可以使用具有不同于其它分组的分组的链路层头。

在下文中，将描述链路层信令。

链路层信令可以在比IP层更低的级别上操作。接收侧可以比LLS、SLT、SLS等的IP级别信令更快地获取链路层信令。因此，链路层信令可以在会话建立之前获取。

链路层信令可以包括内部链路层信令和外部链路层信令。内部链路层信令可以是在链路层生成的信令信息。这包括以上描述的RDT或者以下描述的LMT。外部链路层信令可以是从外部模块、外部协议或者高层接收的信令信息。链路层可以将链路层信令封装进链路层分组，并且传送该链路层分组。可定义用于链路层信令的链路层分组结构(头结构)，并且可以根据该结构封装链路层信令信息。

图7是示出根据本发明的一个实施例的链路映射表(LMT)的图。

LMT可以提供通过PLP承载的高层会话的列表。此外，LMT可以提供用于处理承载高层会话的链路层分组的附加信息。这里，高层会话可被称为多播。有关通过一个PLP发送的IP流或者传输会话的信息可以通过LMT来获取。相比之下，可以获取有关特定传输会话通过哪个PLP传送的信息。

LMT可通过被识别为传送LLS的任何PLP来发送。这里，用于传送LLS的PLP可通过物理层的L1详细信令信息的LLS标志来识别。LLS标志可以是针对各个PLP指示是否通过对应PLP发送LLS的标志字段。这里，L1详细信令信息可对应于稍后将描述的PLS2数据。

即，LMT也可与LLS一起通过同一PLP来发送。各个LMT可如上所述描述PLP与IP地址/端口之间的映射。如上所述，LLS可包括SLT，并且在这方面，LMT所描述的IP地址/端口可以是与通过诸如对应LMT的PLP发送的SLT所描述的任何服务有关的任何IP地址/端口。

在一些实施例中，以上描述的SLT、SLS等中的PLP标识符信息可用于确认指示通过哪个PLP发送由SLT或者SLS指示的特定传输会话的信息。

在另一个实施例中，以上描述的SLT、SLS等中的PLP标识符信息将被省略，并且由SLT或者SLS指示的特定传输会话的PLP信息可以通过参考LMT中的信息来确认。在这种情况下，接收机可以组合LMT和其它IP级别信令信息以识别PLP。即使在这个实施例中，SLT、SLS等中的PLP信息也不被省略，并且可以留在SLT、SLS等中。

根据所示出的实施例的LMT可以包括signaling_type字段、PLP_ID字段、num_session字段和/或有关各个会话的信息。虽然所示出的实施例的LMT描述了通过一个PLP发送的IP流，在一些实施例中可将PLP循环添加到LMT以描述有关多个PLP的信息。在这种情况下，如上所述，LMT可利用PLP循环描述与随其发送的SLT所描述的所有服务有关的所有IP地址/端口的PLP。

signaling_type字段可指示由表传送的信令信息的类型。用于LMT的signaling_type字段的值可被设定为0x01。signaling_type字段可被省略。PLP_ID字段可识别要描述的目标PLP。当使用PLP循环时，各个PLP_ID字段可识别各个目标PLP。从PLP_ID字段起的字段可被包括在PLP循环中。这里，下面所述的PLP_ID字段可以是PLP循环的一个PLP的标识符，随后的字段可以是与对应PLP对应的字段。

num_session字段可指示通过PLP_ID字段所识别的PLP传送的高层会话的数目。根据由num_session字段指示的数目，可以包括有关各个会话的信息。此信息可以包括src_IP_add字段、dst_IP_add字段、src_UDP_port字段、dst_UDP_port字段、SID_flag字段、compressed_flag字段、SID字段和/或context_id字段。

src_IP_add字段、dst_IP_add字段、src_UDP_port字段和dst_UDP_port字段可以指示通过PLP_ID字段所识别的PLP传送的高层会话当中的传输会话的源IP地址、目的地IP地址、源UDP端口和目的地UDP端口。

SID_flag字段可以指示传送传输会话的链路层分组是否在可选头中具有SID字段。传送高层会话的链路层分组可以在可选头中具有SID字段，并且SID字段值可以等于LMT中的SID字段的值。

compressed_flag字段可以指示头压缩是否被应用于传送传输会话的链路层分组的数据。此外，以下描述的context_id字段的存在/不存在可以根据这个字段的值来确定。当应用头压缩(compressed_flag＝1)时，RDT可存在，并且RDT的PLP ID字段可具有与当前compressed_flag字段有关的对应PLP_ID字段相同的值。

SID字段可指示用于传送对应传输会话的链路层分组的子流ID(SID)。链路层分组可包括具有与可选头中的当前SID字段相同的值的SID。由此，接收机可利用LMT的信息和链路层分组头的SID信息来过滤链路层分组，而无需解析所有链路层分组。

context_id字段可以提供对RDT中的上下文id(CID)的引用。RDT的CID信息可以指示压缩IP分组流的上下文ID。RDT可以提供压缩IP分组流的上下文信息。通过这个字段，RDT和LMT可以相关联。

在本发明的信令信息/表的以上描述的实施例中，字段、元素或者属性可以被省略，或者可以由其它字段替换。在一些实施例中，可添加附加字段、元素或者属性。

在本发明的一个实施例中，一个服务的服务组件可以通过多个ROUTE会话传送。在这种情况下，SLS可以通过SLT的引导信息获取。S-TSID和MPD可以通过SLS的USBD被引用。S-TSID可以不仅描述由SLS传送的ROUTE会话，而且描述由服务组件承载的另一个ROUTE会话的传输会话描述信息。为此，通过多个ROUTE会话传送的服务组件可以全部被收集。这类似地适用于一个服务的服务组件通过多个MMTP会话传送的情况。仅供参考，一个服务组件可以同时由多个服务使用。

在本发明的另一个实施例中，ESG服务的引导可以由广播或者宽带网络执行。通过经由宽带获取ESG，可以使用SLT的URL信息。可以使用该URL来请求ESG信息。

在本发明的另一个实施例中，一个服务的一个服务组件可以经由广播网络传送，并且另一个服务组件可以经由宽带(混合)传送。S-TSID可以描述经由广播网络传送的组件，使得ROUTE客户端获取期望的服务组件。此外，USBD可以具有基础模式信息以描述哪些分段(哪些组件)通过哪个路径传送。因此，接收机可以确认要从宽带服务请求的分段和要在广播流中检测的分段。

在本发明的另一个实施例中，可以执行服务的可伸缩编码。USBD可以具有渲染服务所需的所有能力信息。例如，当以HD或者UHD提供一个服务时，USBD的能力信息可以具有值“HD或者UHD”。接收机可以使用MPD检查哪个组件被再现以便渲染UHD或者HD服务。

在本发明的另一个实施例中，通过经由传送SLS的LCT信道传送的LCT分组的TOI字段，可以识别使用LCT分组(USBD、S-TSID、MPD等)传送哪个SLS片段。

在本发明的另一个实施例中，要用于基于app的增强/基于app的服务的app组件可以作为NRT组件经由广播网络传送，或者可以经由宽带传送。此外，用于基于app的增强的app信令可以通过与SLS一起传送的应用信令表(AST)来执行。此外，作为要由app执行的操作的信令的事件可以按照事件消息表(EMT)的形式与SLS一起被传送，可以在MPD中用信号通知，或者可以在DASH表示内以盒的形式带内用信号通知。AST、EMT等可以经由宽带传送。基于App的增强等可以使用所收集的app组件和这样的信令信息来提供。

在本发明的另一个实施例中，可以在以上描述的LLS表中包括和提供CAP消息以用于紧急警报。也可以提供用于紧急警报的富媒体内容。富媒体可以由CAP消息用信号通知，并且如果富媒体存在，则富媒体可以作为由SLT用信号通知的EAS服务来提供。

在本发明的另一个实施例中，线性服务组件可以根据MMT协议经由广播网络传送。在这种情况下，服务的NRT数据(例如，app组件)可以根据ROUTE协议经由广播网络传送。此外，服务的数据可以经由宽带传送。接收机可以使用SLT的引导信息访问传送SLS的MMTP会话。根据MMT的SLS的USBD可以引用MP表，使得接收机获取已格式化为根据MMT协议传送的MPU的线性服务组件。此外，USBD可以进一步引用S-TSID，使得接收机获取根据ROUTE协议传送的NRT数据。此外，USBD可以进一步引用MPD以提供经由宽带传送的数据的再现描述。

在本发明的另一个实施例中，接收机可以通过网络套接字(web socket)方法将能够获取文件内容项目(文件等)和/或流组件的位置URL信息传送给配套设备(companiondevice)。配套装置的应用可以使用该URL通过HTTP GET经由请求获取组件、数据等。此外，接收机可以将诸如系统时间信息、紧急警报信息等的信息传送给配套设备。

图8是示出根据本发明的实施例的下一代广播服务的广播信号发送装置的结构的图。

根据本发明的实施例的下一代广播服务的广播信号发送装置可包括输入格式块1000、比特交织编码和调制(BICM)块1010、帧构建块1020、正交频分复用(OFDM)生成块1030和信令生成块1040。将描述广播信号发送装置的各个块的操作。

根据本发明的实施例，输入数据可使用IP流/分组和MPEG2-TS作为主输入格式，并且其它流类型可被处理为一般流。

输入格式块1000可利用应用了独立编码和调制的一个或更多个数据管道将各个输入流解复用。数据管道可以是用于鲁棒性控制的基本单位并且可影响服务质量(QoS)。一个或更多个服务或服务组件可影响一个数据管道。数据管道可以是用于传送服务数据的物理层中的逻辑信道或者用于传送一个或更多个服务或服务组件的元数据。

由于QoS依赖于根据本发明的实施例的下一代广播服务的广播信号发送装置所提供的服务的特性，所以需要经由不同的方法来处理与各个服务对应的数据。

BICM块1010可包括应用于没有应用MIMO的配置(或系统)的处理块和/或应用了MIMO的配置(或系统)的处理块，并且可包括多个处理块以用于处理各个数据管道。

没有应用MIMO的BICM块的处理块可包括数据FEC编码器、比特交织器、星座映射器、信号空间分集(SSD)编码块和时间交织器。应用了MIMO的BICM块的处理块与没有应用MIMO的BICM块的处理块的不同之处在于还包括信元字解复用器和MIMO编码块。

数据FEC编码器可对输入BBF执行FEC编码以利用外编码(BCH)和内编码(LDPC)生成FECBLOCK过程。外编码(BCH)可以是选择性编码方法。比特交织器可对数据FEC编码器的输出进行交织以利用LDPC码和调制方法的组合实现优化的性能。星座映射器可使用QPSK、QAM-16、不规则QAM(NUQ-64、NUQ-256、NUQ-1024)或不规则星座(NUC-16、NUC-64、NUC-256，NUC-1024)来调制来自比特交织器或信元字解复用器的信元字，并提供功率归一化星座点。NUQ具有任意类型，但是QAM-16和NUQ具有正方形形状。所有的NUQ和NUC均可针对各个码率具体地定义并且由PLS2数据的参数DP_MOD用信号通知。时间交织器可在数据管道级别上操作。时间交织的参数可针对各个数据管道不同地设定。

根据本发明的时间交织器可被设置在BICM链与帧构建器之间。在这种情况下，根据本发明的时间交织器可根据物理层管道(PLP)模式选择性地使用卷积交织器(CI)和块交织器(BI)，或者可使用全部。根据本发明的实施例的PLP可以是使用与上述DP相同的概念使用的物理路径，并且其术语可根据设计者意图而改变。根据本发明的实施例的PLP模式可根据广播信号发送机或广播信号发送装置所处理的PLP的数目包括单PLP模式或多PLP模式。根据PLP模式使用不同时间交织方法的时间交织可被称为混合时间交织。

混合时间交织器可包括块交织器(BI)和卷积交织器(CI)。在PLP_NUM＝1的情况下，可不应用BI(BI关)，仅CI可应用。在PLP_NUM>1的情况下，可应用BI和CI二者(BI开)。在PLP_NUM>1的情况下应用的CI的结构和操作可能不同于在PLP_NUM＝1的情况下应用的CI的结构和操作。混合时间交织器可执行与上述混合时间交织器的逆操作对应的操作。

信元字解复用器可用于将单信元字流分成双信元字流以便于MIMO处理。MIMO编码块可使用MIMO编码方法来处理信元字解复用器的输出。根据本发明的MIMO编码方法可被定义为全速率空间复用(FR-SM)，以用于经由接收机侧的复杂度的相对低的增加来提供容量的增加。MIMO处理可在数据管道级别应用。当一对星座映射器输出NUQ e_1,i和e_2,i被输入到MIMO编码器时，一对MIMO编码器输出g1,i和g2,i可由各个传输天线的相同载波k和OFDM符号l发送。

帧构建块1020可将一个帧中的输入数据管道的数据信元映射到OFDM符号，并执行频率交织以用于频域分集。

根据本发明的实施例，帧可被分成前导码、一个或更多个帧信令符号(FSS)和正常数据符号。前导码可以是用于提供基本传输参数的组合以便于信号的有效发送和接收的特殊符号。前导码可用信号通知帧的基本传输参数和传输类型。具体地，前导码可指示在当前帧中当前是否提供紧急警报服务(EAS)。FSS的目标可以是发送PLS数据。为了快速同步和信道估计以及PLS数据的快速解码，FSS可具有密度比正常数据符号更高的管道模式。

帧构建块可包括：延迟补偿块，其用于调节数据管道与对应PLS数据之间的定时以确保在发送侧数据管道与对应PLS数据之间时间一致；信元映射器，其用于将PLS、数据管道、辅助流、虚拟流等映射到帧中的OFDM符号的有效载波；以及频率交织器。

频率交织器可随机地交织从信元映射器接收的数据信元以提供频率分集。频率交织器可针对与包括两个顺序的OFDM符号的OFDM符号对相对应的数据进行操作，或者使用不同的交织种子顺序针对与一个OFDM符号对应的数据进行操作，以便在单个帧中获取最大交织增益。

OFDM生成块1030可通过由帧构建块生成的信元来调制OFDM载波，插入导频，并生成时域信号以用于传输。对应块可依次插入保护间隔，并且可应用PAPR降低处理以生成最后RF信号。

信令生成块1040可生成在各个功能块的操作中使用的物理层信令信息。根据本发明的实施例的信令信息可包括PLS数据。PLS可提供用于将接收机连接到物理层数据管道的元件。PLS数据可包括PLS1数据和PLS2数据。

PLS1数据可以是在具有固定大小、编码和调制的帧中发送到FSS的PLS数据的第一组合，用于发送关于系统的基本信息以及数据PLS2数据所需的参数。PLS1数据可提供包括接收和解码PLS2数据所需的参数的基本传输参数。PLS2数据可以是发送到FSS的PLP数据的第二组合，用于发送数据管道和系统的更详细的PLS数据。PLS2信令还可包括PLS2静态数据(PLS2-STAT数据)和PLS2动态数据(PLS2-DYN数据)的两种类型的参数。PLS2静态数据可以是在帧组的持续时间期间为静态的PLS2数据，而PLS2动态数据可以是每帧动态地改变的PLS2数据。

PLS2数据可包括FIC_FLAG信息。快速信息信道(FIC)可以是用于发送跨层信息以用于实现快速服务获取和信道扫描的专用信道。FIC_FLAG信息可经由1比特字段指示当前帧组中是否使用快速信息信道(FIC)。当对应字段的值被设定为1时，在当前帧中可提供FIC。当对应字段的值被设定为0时，在当前帧中可不发送FIC。BICM块1010可包括用于保护PLS数据的BICM块。用于保护PLS数据的BICM块可包括PLS FEC编码器、比特交织器和星座映射器。

PLS FEC编码器可包括：加扰器，其用于加扰PLS1数据和PLS2数据；BCH编码/零插入块，其用于使用缩短用于PLS保护的BCH码对加扰的PLS1和2数据执行外编码，并且在BCH编码之后插入零比特；LDPC编码块，其用于使用LDPC码来执行编码；以及LDPC奇偶校验打孔块。在零插入的输出比特被LDPC编码之前，仅PLS1数据可被置换。比特交织器可交织各个缩短并打孔的PLS1数据和PLS2数据，并且星座映射器可将比特交织的PLS1数据和PLS2数据映射到星座。

根据本发明的实施例的下一代广播服务的广播信号接收装置可执行参照图8所描述的下一代广播服务的广播信号发送装置的逆操作。

根据本发明的实施例的下一代广播服务的广播信号接收装置可包括：同步和解调模块，其用于执行与广播信号发送装置所执行的逆操作对应的解调；帧解析模块，其用于解析输入信号帧以提取由用户所选择的服务发送的数据；解映射和解码模块，其用于将输入信号转换成比特区域数据，根据需要将比特区域数据解交织，对为了传输效率而应用的映射执行解映射，并且纠正在传输信道中出现的错误以用于解码；输出处理器，其用于执行由广播信号发送装置应用的各种压缩/信号处理过程的逆操作；以及信令解码模块，其用于从同步和解调模块所解调的信号中获取并处理PLS信息。帧解析模块、解映射和解码模块以及输出处理器可使用从信令解码模块输出的PLS数据来执行功能。

在下文中，将描述定时器交织器。根据本发明的实施例的时间交织组可被直接映射到一个帧，或者可被分散在P_I个帧上。另外，各个时间交织组可被分成一个或更多个(N_TI)时间交织块。这里，各个时间交织块可对应于时间交织器存储器的一个使用。时间交织组中的时间交织块可包括不同数目的XFECBLOCK。通常，在帧生成过程之前，时间交织器也可用作关于数据管道数据的缓冲器。

根据本发明的实施例的时间交织器可以是扭曲行列块交织器。根据本发明的实施例的扭曲行列块交织器可将第一XFECBLOCK写到时间交织存储器的第一列中，将第二XFECBLOCK写到下一列中，并且按照相同的方式将剩余XFECBLOCK写到时间交织块中。在交织阵列中，可在对角方向上从第一行到最后一行读取信元(作为起始列的最左列在右方向上沿着行读取)。在这种情况下，为了在接收机侧实现单存储器去交织，而不管时间交织块中的XFECBLOCK的数目如何，用于扭曲行列块交织器的交织阵列可将虚拟XFECBLOCK插入到时间交织存储器中。在这种情况下，为了在接收机侧实现单存储器去交织，虚拟XFECBLOCK需要被插入到另一最前面的XFECBLOCK中。

图9是示出根据本发明的实施例的时间交织器的写操作的图。

图的左部所示的块示出了TI存储器地址阵列，并且图的右部所示的块示出了针对两个连续的TI组，两个或一个虚拟FEC块被插入到TI组的最前面的组中时的写操作。

根据本发明的实施例的频率交织器可包括用于生成要应用于与符号对相对应的数据的交织地址的交织地址生成器。

图10是根据本发明的实施例的包括在频率交织器中的交织地址生成器的框图，该交织地址生成器根据各个FFT模式包括主PRBS生成器和子PRBS生成器。

(a)是针对8K FFT模式的交织地址生成器的框图，(b)是针对16K FFT模式的交织地址生成器的框图，(c)是针对32K FFT模式的交织地址生成器的框图。

针对OFDM符号对的交织过程可使用一个交织序列并且将在下面描述。首先，对于l＝0、…、N_sym-1，要在一个OFDM符号O_m,l中交织的可用数据信元(来自信元映射器的输出信元)可被定义为O_m,l＝[x_m,l,0,…,x_m,l,p,…,x_m,l,Ndata-1]。在这种情况下，x_m,l,p可以是第m帧中的第l OFDM符号的第p信元，并且N_data可以是数据信元的数目。在帧信令符号的情况下，N_data＝C_FSS，在正常数据的情况下，N_data＝C_data，在帧边缘符号的情况下，N_data＝C_FES。另外，对于l＝0、…、N_sym-1，交织数据信元可被定义为P_m,l＝[v_m,l,0,…,v_m,l,Ndata-1]。

针对OFDM符号对，对于每一对的第一OFDM符号，交织的OFDM符号对可根据v_m,l,Hi(p)＝x_m,l,p,p＝0,…,N_data-1给出，对于每一对的第二OFDM符号可根据v_m,l,p＝x_m,l,Hi(p),p＝0,…,N_data-1给出。在这种情况下，H_l(p)可以是基于PRBS生成器和子PRBS生成器的循环移位值(符号偏移)生成的交织地址。

图11是示出根据本发明的实施例的混合广播接收设备的框图。

混合广播系统可与地面广播网络和互联网结合发送广播信号。混合广播接收设备可通过地面广播网络(广播网络)和互联网(宽带)接收广播信号。混合广播接收设备可包括物理层模块、物理层I/F模块、服务/内容获取控制器、互联网访问控制模块、信令解码器、服务信令管理器、服务指南管理器、应用信令管理器、警报信号管理器、警报信令解析器、定向信令解析器、流媒体引擎、非实时文件处理器、组件同步器、定向处理器、应用处理器、A/D处理器、装置管理器、数据共享和通信单元、再分配模块、配套装置和/或外部管理模块。

物理层模块可通过地面广播信道接收广播相关信号，处理所接收的信号，将所处理的信号转换为适当格式，并将该信号传送给物理层I/F模块。

物理层I/F模块可从自物理层模块获得的信息获取IP数据报。另外，物理层I/F模块可将所获取的IP数据报转换为特定帧(例如，RS帧、GSE等)。

服务/内容获取控制器可执行控制操作以用于通过广播信道和/或宽带信道获取服务、内容以及与其有关的信令数据。

互联网访问控制模块可控制通过宽带信道获取服务、内容等的接收机操作。

信令解码器可对通过广播信道获取的信令信息进行解码。

服务信令管理器可从IP数据报提取与服务扫描和/或内容有关的信令信息，解析所提取的信令信息并管理信令信息。

服务指南管理器可从IP数据报提取通告信息，管理服务指南(SG)数据库并提供服务指南。

应用信令管理器可从IP数据报提取与应用获取有关的信令信息，解析信令信息并管理信令信息。

警报信令解析器可从IP数据报提取与警报有关的信令信息，解析所提取的信令信息并管理信令信息。

定向信令解析器可从IP数据报提取与服务/内容个性化或定向有关的信令信息，解析所提取的信令信息并管理信令信息。另外，定向信令解析器可将所解析的信令信息传送给定向处理器。

流媒体引擎可从IP数据报提取用于A/V流的音频/视频数据并且将音频/视频数据解码。

非实时文件处理器可提取诸如应用的NRT数据和文件类型数据，解码并管理所提取的数据。

组件同步器可使诸如流音频/视频数据和NRT数据的内容和服务同步。

定向处理器可基于从定向信令解析器接收的定向信令数据来处理与服务/内容个性化有关的操作。

应用处理器可处理应用相关信息和下载的应用状态并表示参数。

A/V处理器可基于解码的音频/视频数据和应用数据来执行音频/视频渲染相关操作。

装置管理器可执行与外部装置的连接和数据交换。另外，装置管理器可执行管理可连接的外部装置的操作(例如，外部装置的添加/删除/更新)。

数据共享和通信单元可处理与混合广播接收机与外部装置之间的数据传输和交换有关的信息。这里，可在混合广播接收机与外部装置之间发送和交换的数据可以是信令数据、A/V数据等。

当广播接收机无法直接接收地面广播信号时，再分配模块可获取与未来广播服务和内容有关的信息。另外，当广播接收机无法直接接收地面广播信号时，再分配模块可支持未来广播系统获取未来广播服务和内容。

配套装置可通过连接到根据本发明的广播接收机来共享音频、视频或信令数据。配套装置可以是连接到广播接收机的外部装置。

外部管理模块可指用于广播服务/内容提供的模块。例如，外部管理模块可以是未来广播服务/内容服务器。外部管理模块可以是连接到广播接收器的外部装置。

图12是示出根据本发明的实施例的基于DASH的自适应流传输模型的总体操作的图。

本发明提出了用于提供包括字幕的内容的下一代媒体服务提供方法。本发明提出了当提供字幕信息时的相关元数据和发送元数据的方法。由此，内容可自适应地调节并且可随字幕提供。

在UHD广播等的情况下，无法由现有内容表现亮度，从而提供高真实感。通过引入HDR，内容图像的亮度的表现范围增加，因此与先前情况相比，内容的各个场景的特性之间的差异可增加。为了有效地利用HDR表现字幕，可定义元数据并将其发送给接收机。可基于接收机所接收的元数据根据服务提供商的意图或接收机性能适当地提供内容的图像。

本发明提出了一种基于诸如ISOBMFF的媒体文件用信号通知字幕显示方法的方法。本发明提出了一种存储并用信号通知与视频轨道(流)有关的字幕信息的方法。本发明提出了一种存储并用信号通知视频样本、视频样本组或者与视频样本条目有关的字幕信息的方法。

根据本发明的发送/接收字幕信息的方法可用于生成用于支持3D的内容。即，当生成用于支持字幕的内容的媒体文件，生成在MPEG DASH中操作的DASH分段，或者生成在MPEGMMT中操作的MPU时，可使用根据本发明的方法。接收机(包括DASH客户端、MMT客户端等)可从解码器等获取字幕信息(标志、参数、盒等)，并且可基于该信息有效地提供对应内容。

根据所示实施例的基于DASH的自适应流传输模型可在HTTP服务器和DASH客户端之间写操作。这里，经由HTTP的动态自适应流传输(DASH)可以是用于支持基于HTTP的自适应流传输的协议，并且可根据网络情况动态地支持流传输。因此，可无缝地提供AV内容再现。

首先，DASH客户端可获取MPD。可从诸如HTTP服务器的服务提供商发送MPD。MPD可依据根据上述实施例的传送来发送。DASH客户端可使用MPD中描述的分段的访问信息来向服务器请求对应分段。这里，该请求可反映网络状态并且可被执行。

DASH客户端可获取对应分段，然后在媒体引擎中处理该分段，然后将该分段显示在画面上。DASH客户端可实时地反映再现时间和/或网络情况，并且请求并获取所需的分段(自适应流传输)。由此，可无缝地再现内容。

媒体呈现描述(MPD)可按照XML的形式被表示为包含用于允许DASH客户端动态地获取分段的详细信息的文件。在一些实施例中，MPD可与上述MPD相同。

DASH客户端控制器可反映网络情况以生成用于请求MPD和/或分段的命令。控制器可控制所获取的信息用在诸如媒体引擎的内部块中。

MPD解析器可实时地解析所获取的MPD。由此，DASH客户端控制器可生成用于获取所需分段的命令。

分段解析器可实时地解析所获取的分段。诸如媒体引擎的内部块可根据分段中所包括的信息来执行特定操作。

HTTP客户端可向HTTP服务器请求所需的MPD和/或分段。HTTP客户端可将从服务器获取的MPD和/或分段发送到MPD解析器或分段解析器。

媒体引擎可使用包括在片段中的媒体数据将内容显示在画面上。在这种情况下，可使用MPD的信息。

图13是根据本发明的实施例的接收机的框图。

根据所示实施例的接收机可包括调谐器、物理层控制器、物理帧解析器、链路层帧处理器、IP/UDP数据报过滤器、DTV控制引擎、路由客户端、分段缓冲器控制、MMT客户端、MPU重构、媒体处理器、信令解析器、DASH客户端、ISO BMFF解析器、媒体解码器和/或HTTP访问客户端。接收机的各个详细块可以是硬件处理器。

调谐器可通过地面广播信道来接收和处理广播信号以按照适当形式(物理帧等)调谐广播信号。物理层控制器可使用作为接收目标的广播信道的RF信息等来控制调谐器、物理帧解析器等的操作。物理帧解析器可解析所接收的物理帧，并经由与物理帧有关的处理来获取链路层帧等。

链路层帧处理器可从链路层帧获取链路层信令等，或者可获取IP/UDP数据报并且可执行相关计算。IP/UDP数据报过滤器可从所接收的IP/UDP数据报过滤特定IP/UDP数据报。DTV控制引擎可管理组件之间的接口并经由参数的传输等来控制各个操作。

路由客户端可处理经由单向传输的实时对象传送(ROUTE)分组以用于支持实时对象传输，并且收集和处理多个分组以生成一个或更多个基础媒体文件格式(ISOBMFF)对象。分段缓冲器控制可控制与路由客户端与dash客户端之间的分段传输有关的缓冲器。

MMT客户端可处理MPEG媒体传输(MMT)传输协议分组以用于支持实时对象传输，并且收集和处理多个分组。MPU重构可从MMTP分组重新配置媒体处理单元(MPU)。媒体处理器可收集和处理重新配置的MPU。

信令解析器可获取和解析DTV广播服务相关信令(链路层/服务层信令)并基于此来生成和/或管理信道映射等。该组件可处理低级别信令和服务级别信令。

DASH客户端可执行实时流或自适应流传输相关计算并处理所获取的DASH分段等。ISO BMFF解析器可从ISO BMFF对象提取音频/视频的数据、相关参数等。媒体解码器可处理所接收的音频和视频数据的解码和/或呈现。HTTP访问客户端可向HTTP服务器请求特定信息并处理对该请求的响应。

图14是示出根据本发明的实施例的媒体文件的配置的图。

为了存储和发送诸如音频或视频的媒体数据，可定义形式化的媒体文件格式。在一些实施例中，根据本发明的媒体文件可具有基于ISO基础媒体文件格式(ISO BMFF)的文件格式。

根据本发明的媒体文件可包括至少一个盒。这里，盒可以是包括媒体数据或者与媒体数据有关的元数据的数据块或对象。盒可以是层级间结构，因此，可根据层级间结构对媒体进行分类，使得媒体文件具有适合于存储和/或发送大规模媒体数据的格式。媒体文件可具有用于容易地访问媒体信息的结构，例如，用于允许用户移动媒体内容的特定点的结构。

根据本发明的媒体文件可包括ftyp盒、moov盒和/或mdat盒。

ftyp盒(文件类型盒)可提供对应媒体文件的文件类型或兼容性相关信息。ftyp盒可包括对应媒体文件的媒体数据的配置版本信息。解码器可参考ftyp盒识别对应媒体文件。

moov盒(电影盒)可以是包括对应媒体文件的媒体数据的元数据的盒。moov盒可用作所有元数据的容器。moov盒可以是元数据相关盒当中的最上层的盒。在一些实施例中，媒体文件中可仅存在一个moov盒。

mdat盒(媒体数据盒)可以是包含对应媒体文件的实际媒体数据的盒。媒体数据可包括音频样本和/或视频样本，并且mdat盒可用作包含媒体样本的容器。

在一些实施例中，上述moov盒还可包括作为下层盒的mvhd盒、trak盒和/或mvex盒。

mvhd盒(电影头盒)可包括对应媒体文件中所包括的媒体数据的媒体呈现相关信息。即，mvhd盒可包括诸如对应媒体呈现的媒体生成时间、改变时间、时间间隔、周期等的信息。

trak盒(轨道盒)可提供与对应媒体数据的轨道有关的信息。trak盒可包括诸如音频轨道或视频轨道的流相关信息、呈现相关信息以及访问相关信息的信息。根据轨道的数目，可存在多个trak盒。

在一些实施例中，trak盒还可包括tkhd盒(轨道头盒)作为下层盒。tkhd盒可包括关于trak盒所指示的对应轨道的信息。tkhd盒可包括诸如对应轨道的生成时间、改变时间和轨道标识符的信息。

mvex盒(电影扩展盒)可指示对应媒体文件中存在下述moof盒。为了知道特定轨道的所有媒体样本，需要扫描moof盒。

在一些实施例中，根据本发明的媒体文件可被分割成多个片段(t14010)。由此，媒体文件可被分段并存储或发送。媒体文件的媒体数据(mdat盒)可被分段成多个片段，并且各个片段可包括moof盒和分段的mdat盒。在一些实施例中，为了使用片段，可能需要ftyp盒和/或moov盒的信息。

moof盒(电影片段盒)可提供对应片段的媒体数据的元数据。moof盒可以是对应片段的元数据相关盒当中的最上层的盒。

mdat盒(媒体数据盒)可如上所述包括实际媒体数据。该mdat盒可包括与各个对应片段对应的媒体数据的媒体样本。

在一些实施例中，上述moof盒可包括mfhd盒和/或traf盒作为下层盒。

mfhd盒(电影片段头盒)可包括与多个片段化片段的关系有关的信息。mfhd盒可包括序列号，并且可指示通过将对应片段的媒体数据分段而获得的数据序列。可使用mfhd盒来检查分段的数据是否被省略。

traf盒(轨道片段盒)可包括关于对应轨道片段的信息。traf盒可提供包括在对应片段中的分段的轨道片段的元数据。traf盒可提供元数据以解码/再现对应轨道片段中的媒体样本。根据轨道片段的数目，可存在多个traf盒。

在一些实施例中，上述traf盒可包括tfhd盒和/或trun盒作为下层盒。

tfhd盒(轨道片段头盒)可包括对应轨道片段的头信息。tfhd盒可针对上述traf盒所指示的轨道片段的媒体样本提供基本样本大小、周期、偏移和标识符的信息。

trun盒(轨道片段运行盒)可包括对应轨道片段相关信息。trun盒可包括诸如各个媒体样本的周期、大小和再现时间的信息。

上述媒体文件和媒体文件的片段可作为分段被处理和发送。该分段可包括初始化分段和/或媒体分段。

根据所示实施例t14020的文件可以是包含除了媒体数据之外与媒体解码器的初始化有关的信息的文件。该文件可对应于例如上述初始化分段。初始化分段可包括上述ftyp盒和/或moov盒。

根据所示实施例t14030的文件可以是包含上述片段的文件。该文件可对应于例如上述媒体分段。媒体分段可包括上述moof盒和/或mdat盒。媒体分段还可包括styp盒和/或sidx盒。

styp盒(分段类型盒)可提供用于识别分段的片段的媒体数据的信息。styp盒可针对分段的片段执行与上述ftyp盒相同的功能。在一些实施例中，styp盒可具有与ftyp盒相同的格式。

sidx盒(分段索引盒)可提供指示分段的片段的索引的信息。由此，该盒可指示对应分段的片段的序列。

在一些实施例(t14040)中，还可包括ssix盒，并且ssix盒(子分段索引盒)可被进一步分段为子分段，并且在这种情况下，可提供指示子分段的索引的信息。

媒体文件的盒还可包括基于所示实施例t14050中所示的盒和FullBox形式的进一步扩展信息。在该实施例中，size字段和largesize字段可以按照字节为单位指示对应盒的长度。version字段可指示对应盒格式的版本。type字段可指示对应盒的类型和标识符。flags字段可指示与对应盒有关的标志等。

图15是示出根据本发明的实施例的颜色空间的字幕相关信息的句法的图。利用广播信号发送的字幕相关信息可考虑以下因素。首先，可考虑设计的兼容性。字幕信息需要具有媒体内容的设计的兼容性，并且在这方面，设计的兼容性可被定义为这样的特性：对应字幕信息能够被共同地使用而无需针对多个不同的应用的单独操作。即，设计的兼容性可指示在字幕信息的单次实现的情况下对应字幕信息多次适用于多个应用。其次，可考虑文本的可见性。包括在字幕信息中的文本的可见性需要根据字幕的制作者的意图来维持。第三，可考虑个性化。关于字幕信息，例如指示字体大小和颜色的字幕属性可基于用户设置而改变。基于所考虑的因素，本发明可提出使用作为一种用于广播系统的字幕信息的生成的TTML的电影和电视工程师协会(SMPTE)定时文本(SMPTE-TT)。除了字幕文本之外，字幕信息还可包括字幕文本的元数据。以下，将指定将元数据添加到TTML并发送元数据的信令方法。元数据可包括字幕的可见性信息、字幕的信息用户控制以及字幕的呈现定时信息。字幕的可见性信息可包括根据字幕制作者预期的预期颜色空间、3D字幕支持信息和滚动信息。用于用户控制的字幕信息可包括用于当针对字幕启用用户控制时允许字幕区域的大小变化的信息。另外，字幕的呈现定时信息可指示呈现的锚定时间。

关于预期颜色空间的信息可提供以下效果。预期颜色空间可使得字幕制作者能够使用标准RGB(sRGB)以外的其它颜色空间。关于预期颜色空间的信息可详细说明用于定义字幕文本和字幕区域的信息。这里，可针对前景和背景的各个颜色定义字幕区域的颜色空间。可存在两种方法来定义关于预期颜色空间的信息。作为第一种方法，指定预定义的颜色空间的名称。例如，类似BT.2020和DCI-P3，可在元数据中指定预定义的颜色空间的名称。如图所示，当颜色空间的元数据指定“BT709”或“BT2020”时，针对颜色空间BT709或BT2020预定义的数值可用作颜色空间信息。例如，当在元数据中指定BT709时，xRed、yRed、xGreen、yGreen、xBlue、yBlue、xWhite和yWhite可分别具有值6400、3300、3000、6000、1500、600、3127和3290。作为第二种方法，可直接指定与颜色空间关联的红色、绿色、蓝色和白色点的CIExy坐标。此方法可以是用于灵活地指定颜色空间的一般方法。在所示的句法中，xRed、yRed、xGreen、yGreen、xBlue、yBlue、xWhite和yWhite可被表示为与颜色空间关联的红色、绿色、蓝色和白色点的CIExy坐标的原始值的10000倍的值。

图16是示出根据本发明的实施例的颜色扩展的元数据的图。为了利用上述颜色空间的颜色指定上述前景和背景的颜色，可另外定义颜色扩展的元数据。在这种情况下，预期颜色空间的信息可包括8比特或以上。前景的颜色扩展信息可被定义为元数据中的tts:colorExt。tts:colorExt属性可用于指定性质，该性质定义了当超过8比特用于颜色时与由流入区域中的内容生成的区域关联的标记的前景颜色。tts:colorExt的值可由<colorExt>定义，并且应用目标可以是span。背景的颜色扩展信息可被定义为元数据中的tts:backgroundColorExt。tts:backgroundColorExt属性用于指定性质，该性质定义了当SRGB颜色空间以外的其它颜色空间适用时由流入区域中的内容生成的区域的背景颜色。tts:backgroundColorExt的值可由<colorExt>定义，并且应用目标可以是body、div、p、region和span。图的下部所示的<colorExt>可表示应用于颜色扩展的颜色的值，并且可根据<colorExt>的大小表示r-value、g-value、b-value和/或a-value。

图17是示出根据本发明的实施例的用于字幕的滚动支持的元数据的图。滚动支持信息可提供字幕制作者所预期的预期滚动效果的描述。滚动支持信息可包括自然和平滑的滚动效果的信息。这里，滚动可以指移除前一时间点字幕段落并显示新字幕段落。用于字幕的滚动支持的元数据可指定滚动方向和滚动量。这里，滚动量可使用单元或像素单位。图的上部示出实际显示在字幕区域上的字幕，图的下部示出字幕元数据。在字幕元数据中，滚动方向可被定义为bottom2top，并且滚动量可被定义为line 1。因此，当需要字幕的滚动时，字幕可从下到上以1行为单位滚动。字幕元数据可指定在00:00:00和00:00:08之间显示“The snow glows white on the mountain”，在00:00:04和00:00:12之间显示“not afootprint to be seen”，在00:00:08到00:00:16之间显示“Akingdom of isolation andit looks like Queen”。因此，如图的上部所示，在字幕区域#1中，可在0s和4s之间显示段落“The snow glows white on the mountain”，可在4s和8s之间显示“The snow glowswhite on the mountain”和“not a footprint to be seen”。另外，可在8s和12s之间显示“not a footprint to be seen”和“A kingdom of isolation and it looks likeQueen”。具体地，在8s处增加新段落“A kingdom of isolation and it looks likeQueen”，因此，可基于关于滚动方向和滚动量的信息从下到上滚动1行。结果，在第一字幕区域中作为前一时间点的段落的“The snow glows white on the mountain”可滚出。

图18是示出根据本发明的实施例的用于字幕的滚动支持的元数据的图。tts:scrollDirection可指定定义了字幕区域中的字幕内容的滚动方向的性质。其值可由<scrollDirection>表示，并且可具有值“Top2Bottom”、“Bottom2Top”、“Left2Right”和“Right2Left”。在Top2Bottom的情况下，字幕滚动方向可被定义为从上到下，在Bottom2Top的情况下，字幕滚动方向可被定义为从下到上，在Left2Right的情况下，字幕滚动方向可被定义为从左到右，在Right2Left的情况下，字幕滚动方向可被定义为从右到左。tts:scrollDirection可被应用于整个字幕区域。

tts:scrollType可指定定义了字幕区域中的内容的滚动类型的性质。其值可由<scrollType>表示，可指定滚动单位是行还是像素，并且还可指定滚动单位的数量。即，当scrollType为Line 1时，这可表示滚动类型是以1行逐行滚动。tts:scrollType可被应用于整个字幕区域。

tts:scrollSpeed可指定定义了字幕区域中的内容的滚动速度的性质。其值可由<scrollSpeed>表示，并且可到小数点第一位以秒为单位表示滚动速度。tts:scrollSpeed可被应用于整个字幕区域。

如图的下部所示，滚动方向和滚动类型可分别作为<scrollDirection>和<scrollType>一起定义在tts:Scroll中。

图19示出根据本发明的实施例的字幕的3D支持信息。字幕的3D支持信息可使得字幕制作者能够精确地在3D视频上定位字幕区域。字幕的视差信息可被应用于3D内容。包括在字幕元数据中的3D支持信息可指定字幕区域的视差值。如图的左部所示，当没有定义视差值时，字幕区域可被定位在与画面平面对应的零视差平面上。然而，当在元数据中指定字幕区域的视差值时，可根据从视差参数导出的深度值将字幕区域定位并指定在特定深度。在正视差值的情况下，对应字幕文本平面可被定位在画面平面后面，另一方面，在负视差值的情况下，对应字幕文本平面可被定位在画面平面前面。

这里，当按照百分比格式指定字幕区域的视差值时，视差可取决于所显示的图像的宽度分辨率。元数据中的tts:disparity可指定定义了与由流到字幕区域的内容生成的区域关联的字幕的视差信息的性质。tts:disparity可被指定为ttm:disparity、ttp:disparity等，并且可通过tts:zIndexExt被定义为z轴方向上的值。如图所示，tts:disparity可具有值<disparity>。<disparity>可被定义为标量值或百分比值。

图20是示出根据本发明的另一实施例的字幕的3D支持信息的图。如上所述，字幕的视差信息也可通过tts:zIndexExt来用信号通知。如图的左部所示，tts:zIndex属性可用于指定定义了特定区域的视差(即，偏移值)的性质。tts:zIndex属性可具有上述<disparity>的值，并且可被应用于区域。图的右部示出在字幕信息中应用tts:disparity的示例。

可针对各个区域应用tts:disparity。如图所示，针对区域id 1的区域的tts:disparity可被设定为0，针对区域id 2的区域的tts:disparity可被设定为-10％。因此，关于显示在具有区域id 1的区域中的段落“I passed by his garden,and marked,with oneeye,How the Owl and the Panther were sharing a pie.”，视差0被应用于对应区域，因此，该段落可被显示为零视差。关于显示在具有区域id 2的区域中的段落“The Panthertook pie-crust,and gravy,and meat,While the Owl had the dish as its share ofthe treat.”，视差-10％被应用于对应区域，因此，该段落可被显示在画面平面的前面与图像的水平分辨率的10％对应的值处。

图21是示出根据本发明的实施例的字幕的呈现定时选项信息的图。可调节TTML中的字幕文本的呈现时间，并且可用信号通知呈现定时选项信息以用于各种观看模式下其它媒体与字幕之间的同步。呈现定时选项信息可指定字幕文本的呈现时间的锚定点(时间)。字幕文本可与呈现时间的锚定点关联。TTML中的元数据可指定媒体时间中的呈现时间的锚定点。具体地，SMPTE-TT中的时间基准可以是媒体。这里，可不使用时间基准的“smpte”和“clock”。表示时间的方法，图的上部所示的<time expression>可以是offset-time或clock-time。当使用offset-time时，度量可以是(tick,t)。除非另外定义，否则帧频可为30fps。

当<time expression>使用clock-time或没有利用tick(时钟滴答)度量的offset-time时，呈现时间M可如下定义。

M＝referenceBegin+3600*hours+60*minutes+seconds+((frames+(subFrames/subFrameRate))/effectiveFrameRate)

这里，referenceBegin可根据最近的祖先时间容器是使用并行(par)还是顺序(seq)语义来确定。在顺序语义的情况下，当不存在并行或在前的兄弟定时元素时，referenceBegin可以是与最近的祖先时间容器的开始部分对应的媒体时间。另选地，当时间容器是Root Temporal Extent时，referenceBegin可为0。否则，当存在顺序且在前的兄弟定时元素时，referenceBegin可以是与紧接在前的兄弟时间元素的有效端对应的媒体时间。hours、minutes、seconds、frames和subFrames组件可在<time expression>中存在对应值时应用，否则，所述组件可被设定为0。subFrameRate可以是ttp:subFrameRate参数的计算的值，并且effectiveFrameRate(以每秒帧数为单位)可根据frameRate*frameRateMultipler来计算。frameRate可以是ttp:frameRate参数的计算的值。frameRateMultipler可以是ttp:frameRateMultiplier参数的计算的值。

根据本发明的另一实施例，当<time expression>使用利用tick度量的offset-time时，呈现时间M可如下定义。

M＝referenceBegin+ticks/tickRate

这里，referenceBegin与以上描述中相同，“ticks”与<time expression>中所指定的值相同。另外，tickRate可以是ttp:tickRate参数的计算的值。

图22是示出根据本发明的实施例的字幕的呈现锚定时间信息的图。在先前的图中，referenceBegin可以指呈现锚定时间。可在TTML中用信号通知呈现锚定时间。ttp:presentationAnchorTime或ttm:presentationAnchorTime可包括指定文档实例的呈现时间的开始的属性。呈现锚定时间可用于字幕与其它媒体数据之间的同步，并且可随上述呈现时间偏移一起使用以用于计算各个字幕文本的显示时间。指定呈现锚定时间的方法可以是上述<time expression>方法。

图23和图24是示出根据本发明的实施例的使用ISOBMFF来用信号通知字幕的呈现锚定时间的方法的图。在以上的图中，呈现锚定时间信息在TTML中发送，但是根据本实施例，呈现锚定时间信息可在ISOBMFF的特定盒中用信号通知。在图中，composition_time_offset可指定电影片段或轨道中的任何样本的最早呈现时间的呈现时间偏移。如图23所示，composition_time_offset可在轨道头盒(tkhd)、轨道扩展盒(trex)和轨道片段头盒(tfhd)中发送。另外，可另外定义tfhd的tf_flag，并且在0x000004的情况下，这可指示对应轨道的composition_time_offset信息存在。

如图24所示，composition_time_offset也可在分段索引盒(sidx)和轨道运行盒(trun)中发送。另外，可另外定义trun的tr_flag，并且在0x000008的情况下，这可指示对应轨道的composition_time_offset信息存在。

图25是示出根据本发明的实施例的字幕的缩放区域信息的图。缩放区域信息可使得字幕制作者能够定义在所定义的区域上字幕区域的扩展程度。换言之，缩放区域信息可隐含地指定不应该定位字幕的区域。即，可使用缩放区域信息来限制字幕区域的扩展程度，以限制字幕区域与内容部分地交叠的程度。关于字幕区域的缩放极限的信息可用于保护产品植入式广告(PPL)。缩放区域信息可指定定义了字幕区域所允许的缩放因子的性质。缩放区域信息可指定字幕区域的扩展方向，并且可指定与原始尺寸关联的扩展比。在图中，ttp:regionScaleDirection可定义字幕区域的缩放方向。关于字幕区域的缩放方向的信息ttp:regionScaleDirection可使用tts:regionScaleDirection或ttm:regionScaleDirection来定义。ttp:regionScaleDirection的值可针对<scaleDirection>定义，详细地，可具有值“Top”、“Bottom”、“TopNBottom”、“Left”、”Right”、“LeftNRight”或“All”。即，字幕区域可在向上方向、向下方向、上下方向、向左方向、向右方向、左右方向、或向前方向等上扩展缩放。

ttp:regionScaleLimit可定义字幕区域的缩放极限。关于字幕区域的缩放极限的信息ttp:regionScaleLimit可使用tts:regionScaleLimit或ttm:regionScaleLimit来定义。ttp:regionScaleLimit的值可由<scale>定义。详细地，<scale>可具有标量值或百分比值，标量值可由单位的数量表示，百分比值可由％表示。这里，单位可具有像素、em和c的值。这里，em可以指基于当前使用的文本的大小的相对单位。

如图中所示，关于字幕区域的缩放方向和缩放极限的信息可一起定义在<regionScale>中，并且可分别由<scaleDirection>和<scale>定义。这里，ttp:regionScaleLimit的值可根据ttp:regionScaleDirection的值按照不同的方式解释。例如，当ttp:regionScaleDirection被设定为“Top”时，字幕区域可与区域高度关联，并且可向上扩展。

图26是示出根据本发明的实施例的字幕的播放速度信息和宽高比信息的图。

除了上述信息以外，可在TTML中用信号通知字幕的播放速度的元数据。字幕的播放速度信息可由ttp:playOutSpeed定义，并且在一些实施例中，可由ttm:playOutSpeed或tts:playOutSpeed定义。字幕的播放速度信息可将针对字幕的预期播放速度定义为字幕区域中每分钟的字数。该信息可使接收设备能够为阅读速度慢的用户调节字幕输出速度。

可在TTML中用信号通知宽高比的元数据。宽高比信息可用于表示内容制作者在内容制作期间所针对的显示器的宽高比。字幕的宽高比信息可由ttp:displayAspectRatio定义，并且在一些实施例中，可由ttm:displayAspectRatio或tts:displayAspectRatio定义。该信息可使接收设备能够为不同类型的显示器调节字幕文本区域。宽高比信息可包括画面的水平和垂直信息。

可在TTML中用信号通知替代宽高比的元数据。替代宽高比信息可用于表示内容制作者在内容制作期间所针对的显示器的替代宽高比。字幕的替代宽高比信息可由ttp:alternativeAspectRatio定义，并且可使接收设备能够为不同类型的显示器调节字幕文本区域。替代宽高比信息可包括替代画面的水平和垂直信息。

在UHD的情况下，根容器区域可以是有效视频。对tts：extent和tts:origin的引用可以是有效视频。就UHD分辨率而言，上述字幕相关信息的格式可以是在tts:extent中将<length>表示为c或em单位的百分比格式或标量格式。可能不推荐使用在tts:extent中以px为单位表示<length>的标量格式。这是因为在基于像素的情况下，经常仅显示一个字的一部分。当在tts:extent中使用以px为单位表示<length>的标量格式时，tts:origin和tts:extent值之和不能超过分辨率的宽度和高度。

当UHD下的字幕的原始目标帧频不同于视频的帧频时，字幕呈现的开始/结束时间可被映射到媒体时间。所有视频/音频呈现时间可被映射到媒体时间。关于字体大小控制，可能推荐的是，可将tts:overflow设定为“visible”，可将tts:wrapOption设定为“wrap”，可设定ttp:regionScaleDirection，并且可设定ttp:regionScaleType。

图27是示出根据本发明的实施例的经由HTTP的动态自适应流传输(DASH)数据模型的图。

根据本发明的实施例的发送装置可按照MPEG DASH用信号通知视差信息，使得基于DASH的客户端提供3D视频服务。即，根据本发明的实施例的发送装置可用信号通知3D视频内容的显示信息。根据本发明的实施例，按照MPEG DASH的视差配置信息的信令可被应用于基于DASH的系统。例如，信令可被应用于ATSC 3.0、DVB IPTV和基于DASG的流传输系统等。

依据根据本发明的实施例的DASH数据模型，包括关于媒体呈现的信息的MPD可包括关于一个或更多个周期的信息。一个周期可包括关于一个或更多个适配集合的信息。关于一个适配集合的信息可包括关于一个或更多个表示的信息。关于一个表示的信息可包括关于一个或更多个分段的信息。关于分段的信息可包括关于初始化分段和一个或更多个媒体分段的信息。

下面的图中所示的实施例对应于更详细地描述MPD的图。

MPD可由Period元素、AdaptationSet元素、Representation元素、SubRepresentation元素、ContentComponent元素和/或SegmentBase元素的关系来表示。MPD元素可包括@id、@profile、@type@availabilityStartTime、@minBufferTime@suggestedPresentationDelay、ProgramInformation(0..N)、Location(0..N)、Period(0..N)和/或Metrics(0..N)。这里，@profile和/或@minBufferTime可以是强制字段。Period元素可包括@id、@start、@duration、AssetIdentifier(0..1)、EventStream(0..N)、AdaptationSet(0..N)和/或Subset(0..N)。AdaptationSet元素可包括@id、@group、@min(max)Bandwidth、@min(max)Width、@min(max)Height、@min(max)FrameRate、Common、Accessibility(0..N)、Role(0..N)、Rating(0..N)、Viewpoint(0..N)、ContentComponent(0..N)和/或Representation(0..N)。Representation元素可包括@id、@bandwidth、@dependencyId、Common、BaseURL(0..N)、SegmentBase(0..1)、SegmentList(0..1)、SegmentTemplate(0..1)和/或SubRepresentation(0..N)。这里，@id和/或@bandwidth可以是强制字段。SubRepresentation元素可包括@level、@dependencyLevel、@bandwidth、@contentComponent和/或Common。ContentComponent元素可包括@id、@lang、@contentType、@par、Accessibility(0..N)、Role(0..N)、Rating(0..N)和/或Viewpoint(0..N)。这里，当AdaptationSet中不存在@lang、@contentType和/或@par时，可在ContentComponent中定义或不定义这些字段。SegmentBase元素可包括@timescale、@presentationTimeOffset、@timeShiftBufferDepth、@availabilityTimeOffset、Initialization(0..1)和/或RepresentationIndex(0..1)。根据本发明的实施例的DASH数据模型可包括Common属性和元素。Common属性和元素可包括@mimeType、@width、@height、@sar、@framerate、@audiosamplingRate、@codec、@startWithSAP、FramePacking(0..N)、AudioChannelConfiguration(0..N)、ContentProtection(0..N)、EssentialProperty(0..N)、SupplementalProperty(0..N)和/或InbandEventStream(0..N)。上述Common属性和元素可被应用于AdaptationSet、Representation和/或SubRepresentation中。

在附图和以上描述中，名称的前部附有@的字段可指示属性，没有@的字段可指示元素。在元素的名称后面的(0..N)可指示存在对应元素的最小值0和最大值N。这里，N可指示不存在限制。根据本发明的实施例，MPD中的元素或属性的描述可符合DASH标准中的定义。MPD可以是媒体呈现的描述以便提供流服务。Period可指示媒体呈现的间隔。所有周期的顺序序列可被包括在媒体呈现中。Segment可指示与MPD所描述的URL和字节范围关联的数据的单位。Adaptation Set可指示一个或更多个媒体内容组件的可交换编码版本的集合。Representation可指传输格式的一个或更多个媒体流的组合和封装。Sub-Representation可指示由MPD描述的Representation的一部分。

以下，本发明提出了在基于上述MPEG经由HTTP的动态自适应流传输(以下，DASH)等的流服务期间的字幕(隐藏式字幕)相关信令方法。具体地，将描述在MPD上用信号通知字幕(隐藏式字幕)的3D支持、滚动、呈现定时偏移和缩放因子的方法。

图28是示出根据本发明的实施例的在MPD中指定字幕信息的方法的图。本发明提出了一种在基于MPEG经由HTTP的动态自适应流传输(以下，DASH)的流服务期间提供隐藏式字幕的信令方法。当广播服务通过DASH等发送或经由互联网流传输时，字幕(隐藏式字幕)相关信息等可在DASH媒体呈现描述(以下，MPD)中通过如图中所示的SupplementalProperty描述符或EssentialProperty描述符来用信号通知。在一些实施例中，字幕相关信息可被表示在其它描述符或元素中。所述描述符或元素可作为低级信息包括在MPD的AdaptationSet、Representation、SubRepresentation等中。所述描述符可包括@schemeIdUri、@value和@id信息。

图29是示出根据本发明的实施例的用于在MPD中指定字幕信息的描述符的图。隐藏式字幕相关信息可按照所示的格式通过MPD来用信号通知。字幕相关信息描述符可包括指示字幕相关信息的@schmeIdUri，并且例如可类似urn:mpeg:dash:closed-caption:201x设定。这可指示隐藏式字幕配置方案的方案ID。@value可包括language、accessibility、aspect_ratio、alternative_aspect_ratio、scaling_support、scrolling_support、Playout_speed、extended_color_use、3D_support和/或3D_disparity信息。language信息可指示隐藏式字幕的语言信息。这可依照ISO639.2/B等由语言代码表示。这可包括一种或更多种语言代码。accessibility信息可指示隐藏式字幕等的目标用户等，详细地，可指示0:正常、1:易于阅读、2:视觉障碍、以及3:听力障碍。aspect_ratio信息可指示隐藏式字幕作者所预期的宽高比。例如，这可由4:3、16:9、21:9等表示。alternative_aspect_ratio信息可指示隐藏式字幕的可兼容宽高比。这可由4:3、16:9、21:9等表示。scaling_support信息可指示隐藏式字幕的原始隐藏式字幕区域在接收机上呈现期间是否可根据需要扩展。另选地，该信息可指示隐藏式字幕等中是否包括根据扩展的详细参数。当对应区域在接收机上呈现期间可扩展时，对应信息可被设定为“1”。scrolling_support信息可指示隐藏式字幕是否能够在隐藏式字幕区域上滚动或者基于其的详细参数是否包括在隐藏式字幕中。当可滚动时，对应信息可被设定为“1”。Playout_speed信息可指示当隐藏式字幕在接收机上呈现时原始隐藏式字幕区域中的播出速度。extended_color_use信息可指示隐藏式字幕是否使用利用8比特或以上配置的颜色值。3D_support信息可指示隐藏式字幕是否支持3D。当支持3D时，对应信息的值可被设定为“1”。当隐藏式字幕支持3D时，3D_disparity信息可基于画面指示字幕中的最前面的隐藏式字幕的3D位置。即，该信息可指示视频中的多个隐藏式字幕区域的视差的最前面的值(最小视差)。当该信息具有负值时，该信息可指示基于画面的向前突出效果的程度，当该信息具有正值时，这可按照相反的方式使用。

图30是示出根据本发明的实施例的包括在MPD中的字幕相关信息的图。通过上述方法，可如图中所示指定DASH MPD上与字幕有关的信令。如图中所示，字幕相关信息可被指定为定义为schemeIdUri＝“mpeg:dash:closed-caption:201x”的SupplementalProperty，并且在图中可在AdaptationSet中指定，但是在一些实施例中，该信息可包括在Representation、SubRepresentation等中。

图31是示出根据本发明的实施例的字幕相关信息的详细信息的图。当隐藏式字幕支持滚动等时，MPD可按照图的上部所示的格式用信号通知详细参数等。滚动相关详细参数可包括@schmeIdUri，并且例如可类似urn:mpeg:dash:closed-caption-scroll:201x设定。这可指示隐藏式字幕滚动配置方案的方案ID。@value可包括Scrolling_direction、scrolling_type、scrolling_amount和/或scrolling_speed信息。Scrolling_direction信息可指示关于隐藏式字幕的隐藏式字幕区域在接收机上滚动的方向的信息。详细地，对应信息可具有值“Top2Bottom”、“Bottom2Top”、“Left2Right”、“Right2Left”等。这已如上面所述。当隐藏式字幕的隐藏式字幕区域支持在接收机上的滚动时，scrolling_type信息可指示滚动的进行类型等。例如，这可指示滚动是以行(或单元)为单位执行还是以像素为单位执行。当隐藏式字幕的隐藏式字幕信息支持在接收机上的滚动时，scrolling_amount信息可指示滚动程度等。这可由单元数、像素数等表示。当隐藏式字幕的隐藏式字幕区域支持在接收机上的滚动时，scrolling_speed信息可指示滚动速度等。这可按照秒为单位表示(如果需要，这可向下表示到小数位)。

当隐藏式字幕的原始隐藏式字幕区域在接收机上呈现期间可根据需要扩展时，MPD可按照所示的格式用信号通知详细参数等。缩放相关详细参数可包括@schmeIdUri，并且例如可类似urn:mpeg:dash:closed-caption-scale:201x设定。这可指示隐藏式字幕缩放配置方案的方案ID。@value可包括scale_direction和/或scale_limit信息。scale_direction信息可指示关于隐藏式字幕的隐藏式字幕区域可扩展的方向的信息。详细地，对应信息可具有值“Top”、“Bottom”、“TomNBottom”、“Left”、“Right”、“LeftNRight”、“All”等。这已如上面所述。当隐藏式字幕的隐藏式字幕区域可扩展时，scale_limit信息可指示扩展极限等。这可由单元数、像素数等表示，或者可由百分比等表示。这已如上面所述。

图32是示出根据本发明的实施例的字幕相关信息的详细信息的图。如图中所示，MPD可用信号通知包括在隐藏式字幕中的呈现定时的呈现锚定时间。另外，MPD可指示视频/音频组件等的呈现锚定时间。锚定时间相关详细参数可包括@schmeIdUri，并且例如可类似urn:mpeg:dash:anchor_presentation:201x设定。这可指示包括隐藏式字幕的媒体要素的呈现锚定时间的方案ID。@value可包括Time_format和/或Time_value信息。Time_format信息可指示呈现锚定时间的格式信息。这可具有值UTC、clock、offset、PTP等。另外，Time_value信息可包括呈现锚定时间值。这可根据time_format按照不同的格式表示。例如，当time_format是clock时，这可按照hour:minute:second(小数位的秒或帧)的形式表示。这可按照hours“:”minutes“:”seconds(fraction|“:”frames(“.”sub-frames))的形式表示。根据本发明的另一实施例，当time_format为offset时，这可基于tick_rate:tick_rate按照tick数的形式来表示。

MPD可按照图的下部所示的格式用信号通知包括在隐藏式字幕中的呈现定时的偏移。另外，MPD可指示视频/音频组件等的呈现偏移。呈现定时偏移相关详细参数可包括@schmeIdUri，并且例如可类似urn:mpeg:dash:presentation_offset:201x设定。这可指示包括隐藏式字幕的媒体要素的呈现偏移的方案ID。@value可包括Time_format和/或Time_value信息。Time_format信息可指示呈现定时偏移的格式信息。这可具有值clock、offset等。Time_value信息可包括呈现定时偏移值。这可根据time_format按照不同的格式表示。例如，当time_format为clock时，这可按照hour:minute:second(小数位的秒或帧)的形式表示。这可按照hours“:”minutes“:”seconds(fraction|“:”frames(“.”sub-frames))的形式表示。根据本发明的另一实施例，当time_format为offset时，这可基于tick_rate:tick_rate按照tick数的形式来表示。当隐藏式字幕基于定时文本时，字幕信息可包括关于隐藏式字幕的呈现开始和结束的信息。接收机可基于上述信令信息来调节包括在隐藏式字幕中的呈现定时。

图33是示出根据本发明的实施例的基于MMT协议的信令流的图。

首先，获取SLT并利用SLT获取SLS的处理可相同。在基于MMT的信令的情况下，SLS可包括USBD和/或MMTP消息。可从USBD获取关于与服务关联的MMT分组的信息。利用此信息，可从服务信令信道获取MPT(MP表)消息。可通过MPT消息获取服务的服务组件。在所示的实施例中，可获取关于用于可伸缩编码内容的基本层的资产的信息和/或关于用于增强层的资产的信息。另外，可获取能够获取各个资产的路径(传输会话等)。这里，资产可对应于服务的服务组件。可通过该路径获取、解码和回放MPU。详细引导过程已如上面所述。

在一些实施例中，可定义MPT消息以外的MMPT消息。可通过这些消息传送服务的附加信息项。例如，可通过这些消息传送可伸缩编码相关信息、3D相关信息、HDR相关信息、色域相关信息、服务组件的附加信息等。在一些实施例中，还可通过这些消息传送经由宽带传送的服务组件的MPD、应用信令的表和事件信息。

图34是示出根据本发明的实施例的通过SLT的引导处理的图。

如上所述，可通过SLT的引导信息来执行SLS引导。如上所述，SLT可被处理成IP/UDP并发送，或者可在不被处理成IP/UDP的情况下发送。通常，诸如SLT的低级信令(LLS)可在传输中通过最鲁棒的方法传送。

如果通过ROUTE协议发送SLS，则接收机可通过SLT的引导信息来访问SLS。利用ROUTE SLS的信息，可获取服务的服务组件。这里，SLS和服务组件可通过ROUTE、UDP和IP协议来发送。

如果通过MMT协议发送SLS，则接收机可通过SLT的引导信息来访问SLS。利用MMTPSLS的信息，可获取服务的服务组件。MMTP SLS可包括USBD和/或MMTP消息。如上所述，USBD可引用MMTP消息，并且MMTP消息的MPT消息可提供用于获取通过MMT协议传送的流组件的信息项。MMT的USBD还可引用S-TSID以用于获取通过ROUTE协议传送的服务的NRT组件。除了上述MPT消息之外，还可定义用于提供其它信息项的其它MMTP消息。这里，SLS和服务组件可通过MMT、UDP和IP协议来发送。这里，NRT组件可通过ROUTE、UDP和IP协议来发送。详细的引导方法已如上面所述。

图35是示出根据本发明的另一实施例的USBD的一部分的图。类似用于ROUTE、MMT、3GPP等的用户服务描述(USD)，如图中所示，包括关于服务的信息的服务信令信息可用信号通知服务级别信息。其句法与图中相同。所述元素或属性可包括在MMT信令信息(例如，MP表)或者3GPP服务信令或ROUTE信令的一部分中。所述信息项的细节已参照图4和图5描述。

图36是示出根据本发明的另一实施例的USBD的一部分的图。本发明提出了一种用信号通知广播服务以及包括在服务中的服务组件的能力信息的方法。本发明提出了一种用信号通知服务/服务组件的视频/音频/隐藏式字幕信息的方法。本发明提出了一种用信号通知关于服务/服务组件的基于SMPTE-TT或CEA-809的隐藏式字幕的信息的方法。在一些实施例中，上述信息项可在SLT或其它服务信令信息中发送。在一些实施例中，信息项可根据ROUTE或MMT在USBD中发送。在一些实施例中，信息项可被定义为ROUTE SLS之一并且可随其它SLS一起发送，或者可被定义为MMTP SLS之一并且可在上述MMTP消息之一中发送。在一些实施例中，信息项可在MPD中发送，并且在这种情况下，可在上述EssentialProperty和/或SupplementalProperty中发送。在一些实施例中，信息项可被包括在MMTP消息的上述MPT消息中，或者可在单独定义的MMTP消息之一中发送。在一些实施例中，信息项可按照XML或二进制形式由各种描述符定义，或者可利用元素来配置并且可根据ROUTE、MMT、3GPP等在信令信息中发送。信息项将在下面详细描述。

在一些实施例中，ROUTE或MMT的上述USBD可包括ComponentInfo元素。ComponentInfo元素已如上面所述。在一些实施例中，ComponentInfo元素可被扩展为还包括所示的字段。

在所示的实施例中，ComponentInfo元素还可包括@componentType、@componentRole、@componentGroupId、@essentialIndicator、@dependentComponentID、@protocolType、@rt、@targetDevice、@componentCodec、@componentProfile、@componentLang、@width、@height、Accessibility、Capability、Rating、Targeting、ComponentDescription和/或ComponentProperty。在一些实施例中，可仅将所增加的字段中的一些增加到ComponentInfo元素。

@componentType可指示组件类型，并且当对应属性被设定为2时，这可指示字幕组件。

@componentRole可以是指示组件的类型或作用的属性。关于本发明，@componentRole可指示包括字幕作为组件的视频被包括在对应组件中。在这种情况下，@componentRole可被设定为11。@componentRole可用于字幕组件。当上述@componentType具有值2时，@componentRole为0可指示主，@componentRole为1可指示替代，@componentRole为2可指示补充，@componentRole为3可指示正常，@componentRole为4可指示易于阅读，@componentRole为5可指示文字描述(描述视频组件的文字描述)。

@componentGroupId可以是组件组的标识符。这里，组件组可以是组件的集合。包括在组件组中的组件可指示相同场景，或者可以是组合以生成呈现的组件。例如，包括用于提供完整音频的音乐、对话和音效的服务组件可被分成一个组件组。包括3D图像的左图像和右图像的服务组件可被分成一个组件组。

@essentialIndicator可指示对应组件是不是对应服务的必要组件。当此字段为1时，对应组件可以是对应服务的必要组件。@dependentComponentID可指示非独立组件的标识符。例如，关于增强视频组件，此字段可指示基本视频组件的标识符。

@protocolType可指示用于发送对应组件的传输协议。例如，此字段可指示ROUTE或MMT协议。@rt可指示对应组件是不是实时组件。

@targetDevice可指示对应组件所针对的目标装置。例如，当此字段的值为0、1、2和3时，对应组件可分别指示主装置、配套装置、主&配套装置以及用于在主画面上插入的组件。

@componentCodec可提供用于对应组件的编解码器信息。@componentProfile可指示对应组件的配置。@componentLang可指示对应组件中所使用的语言。特别是音频和隐藏式字幕组件可使用此字段。@width可指示由对应视频组件发送的视频媒体呈现的水平尺寸。@height可指示由对应视频组件发送的视频媒体呈现的垂直高度。

Accessibility可提供对应组件的可访问性相关信息。Capability可提供对应组件的能力相关信息。Rating可提供对应组件的分级相关信息。Targeting可提供对应组件的定向或个性化相关信息。ComponentDescription可提供对应组件的组件描述信息。该信息可包括编解码器相关的编码参数。ComponentProperty可提供用于处理对应组件的组件属性。

ComponentInfo元素中的上述@componentType字段可指示对应组件的类型，并且在这方面，当该字段具有值0、1、2和3时，对应组件可分别指示音频、视频、字幕和应用组件。

@componentRole字段可指示对应组件的作用。该作用可根据所指示的组件类型来指示，并且在音频组件的情况下，当该字段具有值1、2、3、4、5、6和7时，对应音频组件可起到完整主(complete main)、音乐、效果、对话、评论、视觉障碍、听觉障碍、画外音和子集的作用。这里，视觉/听觉障碍可意指对应音频组件是用于视觉/听觉障碍者的音频组件。画外音可意指对应音频组件描述视频组件。

在视频组件的情况下，根据该字段的值，对应视频组件可起到主视频、替代相机视图、手语、3D左图像、3D右图像、3D视频深度信息、包含视频的字幕等的作用。在字幕组件的情况下，根据该字段的值，对应字幕组件可起到主、替代、补充、正常、易于阅读等的作用。

在一些实施例中，上述ROUTE或MMT的USBD的剩余部分可修改。修改可根据情况的数量而组合。在一些实施例中，USBD还可包括@providerid、@serviceCategory、@spIndicator、@serviceStatus、@shortServiceName和/或capabilityCode。

@providerid可识别对应服务的服务提供商。@serviceCategory可指示对应服务的类别。@spIndicator可与上述@protected属性相同。@serviceStatus可与上述@servicestatus属性相同。@shortServiceName可指示对应服务的短名称。capabilityCode可指示由接收机提供对应服务的有意义的媒体呈现所需的能力和能力组。

在一些实施例中，除了上述Channel元素以外，USBD还可包括@majorChannelNo、@minorChannelNo和/或@serviceLang。

@majorChannelNo和@minorChannelNo可指示对应服务的主/次信道号。@serviceLang可指示对应服务的主要语言。

在一些实施例中，代替上述routeComponent和broadbnadComponet，USBD还可包括dashComponent元素。dashComponent元素可包括@fullMPDUri、@sTSIDUri和/或deliveryMethod元素。

@fullMPDUri可提供MPD对通过广播网络或宽带发送的服务组件的引用信息。@sTSIDUri可提供对应服务的服务组件的传输会话相关信息。deliveryMethod可提供对应服务的服务组件的传输相关信息项。如上所述，该字段还可包括通过广播网络/宽带发送的各个组件的元素和/或其basePattern信息。

图37是示出根据本发明的实施例的字幕信息的图。当对应服务组件是隐藏式字幕流组件时，字幕信息可包括与隐藏式字幕流组件有关的字幕描述信息。字幕信息可具有根据上述实施例的描述符中的一种形式，或者可具有元素的形式。这可由上述componentProperty元素等表示。在所示的实施例中，字幕信息可按照描述符的形式定义。@schemeIdUri可以是用于识别对应描述具有字幕信息的字幕方案的URI。在这种情况下，@schemeIdUri可具有值urn:atsc3.0:caption:201x。@value可具有根据字幕方案来定义含义的值。所述值将在下面描述。@id可指示对应描述符的标识符。在相同标识符的情况下，字段可包括相同的方案ID、值和参数。

图的上部所示的实施例可指示@value的上述参数。caption_codec可指示对应字幕组件的编码类型。在一些实施例中，该字段可指示“CEA-608”、“CEA-708”、“SMPTE-TT”等。lang可包括对应字幕组件的语言信息。当对应字幕组件的类型为CEA-708时，caption_service_number可包括对应字幕的服务编号。easy_reader_flag可以是指示对应字幕组件是不是易于阅读型的标志。aspect_ratio可指示对应字幕组件的显示宽高比。在一些实施例中，该字段可指示“4:3”、“16:9”等。3D supported可指示对应字幕组件是否支持3D。在一些实施例中，字幕信息可按照具有子字段的字幕元素的形式来定义上述@value的各个参数。

例如，当隐藏式字幕流组件包括基于SMPTE-TT的英语字幕时，可如图的左下部所示用信号通知组件。关于USBD/USD中的component info元素，@componentType被设定为值0x03，@componentRole被设定为main，并且component info元素包括字幕相关组件。component info元素可包括对应组件的组件描述元素。这里，如图的右下部所示，组件描述元素可具有方案ID“urn:atsc3.0:caption:201x”，并且@value可具有值“SMPTE-TT,ENG,,false,4:3,false”。@value的参数可顺序地具有根据参数的上述定义的含义。

另外，当HEVC视频流组件的比特流中包括基于CEA-708的隐藏式字幕数据等时，可使用上述方法用信号通知具有上述HEVC视频数据相关信息项的隐藏式字幕相关信息项。

图38是示出根据本发明的另一实施例的字幕信息的图。当对应服务组件是隐藏式字幕流组件时，字幕信息可包括与其相关的字幕描述信息。字幕信息可具有根据上述实施例的描述符的形式之一，或者可具有元素的形式。该信息可由上述componentProperty元素等表示。另外，当Representation/AdaptationSet等在DASH中包括隐藏式字幕时，该信息可包括以下形式作为DASH MPD的Essential Property Descriptor、supplemental PropertyDescriptor等。在所示的实施例中，字幕信息可按照描述符的形式定义。@schemeIdUri可以是用于识别对应描述符具有与字幕信息有关的字幕方案的URI。在这种情况下，@schemeIdUri可具有值urn:atsc3.0:caption:201x。@value可具有根据字幕方案来定义含义的值。所述值将在下面描述。所示的实施例可指示上述@value的各个参数。caption_codec可指示对应字幕组件的编码类型。在一些实施例中，该字段可指示“CEA-608”、“CEA-708”、“SMPTE-TT”等。lang可包括对应字幕组件的语言信息。当对应字幕组件的类型为CEA-70时，caption_service_number可包括对应字幕的服务编号。accessibility可指示包括在对应字幕组件中的隐藏式字幕的目标用户等，其信息可具有以下值。详细地，该信息可指示0:正常、1:易于阅读、2:视觉障碍以及3:听觉障碍。aspect_ratio可指示对应字幕组件的显示宽高比。在一些实施例中，该字段可指示“4:3”、“16:9”、“21:9”等。alternative_aspect_ratio可指示对应字幕组件的可兼容显示宽高比。在一些实施例中，该字段可指示“4:3”、“16:9”、“21:9”等。scaling_support可指示隐藏式字幕的原始隐藏式字幕区域在接收机上呈现期间是否可根据需要扩展。另选地，该字段可指示隐藏式字幕等是否包括根据扩展的详细参数。当对应区域在接收机上呈现期间可扩展时，该字段可具有“1”。scrolling_support可指示是否支持隐藏式字幕的原始隐藏式字幕区域在接收机上的滚动。另选地，该字段可指示隐藏式字幕中是否包括根据其的详细参数。当允许滚动时，对应信息可具有“1”。playout_speed可指示隐藏式字幕的原始隐藏式字幕区域在接收机上呈现期间的播放速度。extended_color_use可指示隐藏式字幕是否使用利用8比特或以上配置的颜色值。3Dsupported可指示对应字幕组件是否支持3D。当隐藏式字幕支持3D时，3D_disparity可基于画面指示字幕中的最前面的隐藏式字幕的3D位置。当3D_disparity具有负值时，该信息可指示基于画面的向前突出效果的程度，当3D_disparity具有正值时，这可按照相反的方式使用。该信息可明确地指示视频中的多个隐藏式字幕区域的视差的最前面的值(最小视差)。在一些实施例中，字幕信息可按照具有上述@value的各个参数作为子字段的字幕元素的形式来定义。

图39是示出根据本发明的另一实施例的字幕信息的图。当对应服务组件是隐藏式字幕流组件时，字幕信息可包括相关的字幕描述信息。字幕信息可具有根据上述实施例的描述符的形式之一，或者可具有元素的形式。该信息可由上述componentProperty元素等表示。另外，当Representation/AdaptationSet等在DASH中包括隐藏式字幕时，该信息可包括以下形式作为DASH MPD的Essential Property Descriptor、supplemental PropertyDescriptor等。在所示的实施例中，下面将仅描述与图38相比另外包括的信息。其它信息项已如上所述。在所示的实施例中，字幕信息可按照描述符的形式定义。@schemeIdUri可以是用于识别对应描述符具有与字幕信息有关的字幕方案的URI。在这种情况下，@schemeIdUri可具有值urn:atsc3.0:caption:201x。@value可具有根据字幕方案来定义含义的值。现在描述所增加的@values。Profile可指示使用基于XML的定时文本等指示隐藏式字幕的形式。例如，该字段可指示TTML、IMSC、EBU-TT-D等。profile_version可指示由上述profile指示的形式的版本信息。即，当profile指示TTML时，该字段可指示TTML1或TTML2，当profile使用IMSC时，该字段可指示IMSC1、IMSC2等。sub-profile可指示由上述profile指示的形式中的详细配置。例如，在IMSC的情况下，该字段可指示仅图像配置、仅文本配置等。即，该字段可指示字幕是否仅包括图像以及仅包括文本，以及另外，图像和文本是否混合。WCG_support可指示隐藏式字幕是否使用宽色域。Color_gamut可指示关于隐藏式字幕所使用的色域的信息。该字段可包括色域类型(BT 709、BT2020等)，并且另外，可包括红色、绿色、蓝色和白色点的CIExy坐标值。HDR_support可指示隐藏式字幕是否包括HDR内容。HDR可包括指示隐藏式字幕所使用的HDR相关参数的组合的标识符。在一些实施例中，HDR可具有以下值。在0的情况下，可指示未指定。在1的情况下，这可指示EOTF:SMPTE ST2084，比特深度:12比特/像素，峰亮度:10000nit，编解码器:HEVC双编解码器(HEVC+HEVC)，并且元数据使用SMPTE ST 2086和SMPTE ST 2094。在2的情况下，这可指示EOTF:SMPTE ST2084，比特深度:10比特/像素，峰亮度:4000nit，编解码器:HEVC单编解码器，并且元数据使用SMPTE ST2086和SMPTE ST 2094。在3的情况下，这可指示EOTF:BBC EOTF，比特深度:10比特/像素，峰亮度:1000nit，并且编解码器:HEVC单编解码器。在4-255的情况下，这可指示为未来使用预留。因此，HDR可包括指示OETF_type、max_mastering_display_luminance、min_mastering_display_luminance、average_frame_luminance_level、max_frame_pixel_luminance等的值。

图40是示出根据本发明的实施例的MMT消息格式的图。上述ComponentDescription或Component property元素可被表示为DASH MPD的Essential PropertyDescriptor、supplemental Property Descriptor等，并且可在MPD中发送。根据本发明的另一实施例，本发明所提出的描述符等可在所示的mmt_atsc3_message的消息有效载荷等中发送。mmt_atsc3_message可包括以下信息。message_id可指示用于唯一地识别mmt_atsc3_message的标识符。Version可指示对应消息的版本，每当消息的信息改变时，该版本增加1。Length可指示mmt_atsc3_message的长度(以字节为单位)。service_id可以是用于识别包括在mmt_atsc3_message的有效载荷中的服务的标识符。atsc3_message_content_type可以是用于识别包括在mmt_atsc3_message的有效载荷中的消息内容的时间的标识符。atsc3_message_content_version可以是指示atsc3_message内容中的信息是否改变的版本信息。atsc3_message_content_compression可指示对包括在atsc3_message中的数据应用的压缩类型。URI_length可指示用于识别与消息有效载荷的服务关系的URI的长度。URI_byte可指示与对应消息所传送的内容有关的URI。atsc3_message_content_length可指示对应消息所传送的内容的长度。atsc3_message_content_byte可指示对应消息所传送的内容的字节。

图41是示出根据本发明的实施例的作为信令表的装置能力信息(DCI)表的图。MMT信令可包括DCI表作为用于提供关于广播服务的组件消费所需的装置能力的信息的信令表。DCI表可包括table_id、version、length、number_of_assets、asset_id()、mime_type()和codec_complexity_flag信息。当codec_complexity_flag被设定为1并且各个资产的top level mime_type()为视频时，DCI表还可包括诸如video_codec_complexity的video_average_bitrate、video_maximum_bitrate、horizontal_resolution、vertical_resolution、temporal_resolution和video_minimum_buffer_size的信息。当codec_complexity_flag被设定为1并且各个资产的top level mime_type()为音频时，DCI表还可包括诸如audio_codec_complexity的audio_average_bitrate、audio_maximum_bitrte和audio_minimum_buffer_size的信息。当codec_complexity_flag被设定为0时，DCI表还可包括download_capability的required_storage信息。DCI表还可包括asset_descriptors并且还可包括其中的num_asset_descriptors信息。DCI表还可包括与num_asset_descriptors对应的asset_descriptors并且还可包括包含各个asset_descriptors的内容的asset_descriptors_byte信息。

table_id信息可指示DCI表的标识符。version信息可指示DCI表的版本信息。length信息可指示在对应字段后面的字段的长度信息。number_of_assets信息可指示由DCI表指定的资产的数量。asset_id()可指示各个资产的标识符，并且mime_type()信息可指示各个资产的mime时间。codec_complexity_flag可以是指示编解码器复杂度的标志信息。video_average_bitrate信息可指示视频数据的平均比特率，并且video_maximum_bitrate信息可指示视频数据的最大比特率。horizontal_resolution信息可指示水平分辨率，vertical_resolution信息可指示垂直分辨率，temporal_resolution信息可指示时间分辨率。video_minimum_buffer_size信息可指示用于视频数据的最小缓冲区大小。audio_average_bitrate信息可指示音频数据的平均比特率，并且audio_maximum_bitrate信息可指示音频数据的最大比特率。audio_minimum_buffer_size信息可指示用于音频数据的最小缓冲区大小。download_capability可定义下载所需的能力，并且可包括指示下载所需的存储大小的required_storage信息。num_asset_descriptors信息可指示资产描述符的数量。asset_descriptors_byte信息可根据mime_type()的值等包括包含资产相关详细信息等的资产级别描述符。

图42是示出根据本发明的实施例的MP表的一部分的图。关于MMT上的服务中所包括的资产(与组件对应)的信息可利用MP表来用信号通知。上述MPT消息可发送MP表。如上所述，可通过MMTP消息发送诸如可访问性、3D和字幕的信息项。如图中所示，信息项可被包括在MPT消息的一部分中并且可被发送，或者可作为MMT信令通过单独定义的MMTP消息来发送。信息项和传输格式将在下面详细描述。

信息项可按照描述符的形式在MPT消息或其它MMTP消息中发送，并且在一些实施例中，描述符可对应于资产描述符。描述符可在诸如SDT或EIT的DVB SI服务信令中发送或者可随其一起发送。

在一些实施例中，如图中所示，可在MMT上用信号通知关于服务组件(与资产对应)的信息。下面将描述的字段可被进一步添加到MMTP消息。

service type字段可指示关于包括对应服务组件或资产的服务的类型的信息。mime_type_len字段可指示mime_type的长度。mime_type()字段可指示对应资产的mime_type。MMT上的服务中所包括的资产的mime_type()可用信号通知对应编解码器的代码和详细信息(类似RFC 6381)。例如，该字段可包括general_profile_space、general_profile_idc、general_profile_compatibility_flags、general_tier_flag、general_level_idc和等，并且另外，在可伸缩(分层)HEVC等的情况下，可用信号通知子层相关信息等。

asset_role_flag字段可指示是否包括对应服务组件(资产)的作用信息。asset_target_flag字段可指示是否包括对应服务组件的目标画面信息。asset_group_flag字段可指示对应服务组件是否属于特定组件组。当对应服务组件属于特定组件组时，本字段的值可为1。rt_flag字段可指示对应服务组件是否实时/非实时地发送。当本字段的值为1时，对应服务组件可实时地发送。

asset_role字段可指示对应服务组件的作用。例如，当本字段的值为0、1、2、3、4、5、6和7时，这可指示对应服务组件起到主视频、替代相机视图、其它替代视频组件、手语、跟随主题视频、3D左图像、3D右图像、3D深度信息等的作用。

asset_target字段可指示对应服务组件所针对的目标装置。该字段可与@targetDevice的上述定义相同。asset_group_id字段可提供包括对应服务组件的组件组的标识符。组件组已如上所述。

图43是示出根据本发明的实施例的多个描述符的图。所示的描述符可作为资产描述符等在诸如上述MMT的MP表和DCI表的服务信令表中发送，并且可作为DVB SI(SDT或EIT)等的服务信令的一部分发送。如图中所示，accessibility_descriptor可按照以下形式用信号通知关于与各个组件有关的可访问性的信息。accessibility_descriptor可包括以下字段。descriptor_tag字段可以是accessibility_descriptor的标识符。descriptor_length字段可指示对应accessibility_descriptor的长度。num_of_accessibility字段可指示后续accessibility_code的数量。accessibility_codefield可包括关于关联的可访问性的信息。该字段可包括以下值。0x00:视觉障碍，0x01:听觉障碍，0x02:支持3D，0x03-0xFF:为未来使用预留。

capability_descriptor可按照图的中部所示的形式用信号通知关于与组件有关的能力的信息。capability_descriptor可包括以下字段。num_capability_codes字段可指示包括在对应描述符中的能力代码的数量。essential_indicator字段可以是指示回放服务/组件是否需要支持后续能力代码的标志。当该字段的值为1时，这可指示后续能力代码是回放服务/组件所需的属性。capability_category字段可指示应用能力的目标，或者可指示能力的类别。capability_code字段可指示服务/组件的能力代码。

当一个或更多个组件被分组以构成一个场景时，asset_group_descriptor可按照图的下部所示的形式用信号通知关于作为对应组件组的资产组的信息。asset_group_descriptor可包括以下字段。asset_group_id字段可以是资产组的标识符。num_of_accessibility字段可指示包括在对应资产组中的资产的数量。asset_id()字段可指示各个资产的标识符。

图44是示出根据本发明的实施例的用信号通知字幕相关信息的方法的图。

当MMT资产是隐藏式字幕流组件时，该信息可包括作为上述MMT的MP表、DCI表等的asset_descriptor示出的隐藏式字幕描述符。另选地，当asset_type在具有与HEVC视频流对应的值的同时具有以下隐藏式字幕描述符作为资产描述符时，这可指示HEVC视频比特流中包括隐藏式字幕数据。

这可包括在MMT的另一信令表中。如图中所示，可通过上述表用信号通知与广播服务的字幕有关的信息项。隐藏式字幕描述符可包括以下字段。descriptor_tag字段可以是指示对应描述符包括关于隐藏式字幕流的信息的标识符。descriptor_length字段可指示对应描述符的长度。caption_lang字段可包括隐藏式字幕组件中所使用的语言信息。caption_codec字段可指示隐藏式字幕组件的编码格式信息等。在一些实施例中，该字段可具有以下值。0x01:CEA-608，0x02:CEA-708，0x03:SMPTE定时文本，0x04:EBU-TT-D，0x05:CFF-TT，0x06-0x1F:为未来使用预留。easy_reader字段可以是指示隐藏式字幕组件数据是不是易于阅读型的标志。wide_aspect_ratio字段可以是指示隐藏式字幕组件数据是否支持宽显示宽高比的标志，并且在一些实施例中可具有以下值。0x01-4:3，0x02-16:9，0x03-0x04:为未来使用预留。3d_supported字段可指示对应隐藏式字幕组件可指示是否支持3D。url_flag字段可指示是否存在用于获取与对应后续隐藏式字幕组件关联的字幕信息和数据的URL，当该字段的值为1时，可存在URL_length、URL_text字段等。当隐藏式字幕组件的编码格式与CEA-708相同时，caption_service_number字段可包括与字幕服务关联的服务编号。URL_length字段可指示后续URL_text()的长度。URL_text字段可包括用于获取与对应隐藏式字幕组件关联的字幕信息和数据的URL。通过其，可通过宽带获取对应字幕服务数据。在一些实施例中，广播节目相关信息的值/字段/信息项可被省略或者可按照其它形式配置。

图45是示出根据本发明的另一实施例的用信号通知字幕相关信息的方法的图。当MMT资产是隐藏式字幕流组件时，该信息可包括作为上述MMT的MP表、DCI表等的asset_descriptor示出的隐藏式字幕描述符。另选地，当asset_type在具有与HEVC视频流对应的值的同时具有以下隐藏式字幕描述符作为资产描述符时，这可指示HEVC视频比特流中包括隐藏式字幕数据。

这可包括在MMT的另一信令表中。如图中所示，可通过上述表用信号通知与广播服务的字幕有关的信息项。在图44中所包括的上述字段中，隐藏式字幕描述符还可包括以下字段。这里将不给出重复的描述。target_accessibility字段可指示隐藏式字幕等的目标用户等，现在描述其信息。该信息可具有以下值。0:正常，1:易于阅读，2:视觉障碍，3:听觉障碍。aspect_ratio字段可指示隐藏式字幕作者所预期的预期宽高比。在一些实施例中该字段可具有以下值。0x01-4:3，0x02-16:9，0x03:21:9，0x04-:为未来使用预留。alternative_aspect_ratio_flag字段可指示是否包括隐藏式字幕的可兼容宽高比信息。scrolling_supported字段可以是指示是否可支持隐藏式字幕的区域中的滚动功能的标志。scaling_supported字段可以是指示隐藏式字幕的原始隐藏式字幕区域在接收机上呈现期间是否可根据需要扩展的标志。playout_speed_flag字段可以是指示是否包括隐藏式字幕的播放速度信息的标志。extended_color_use字段可指示是否使用以隐藏式字幕的8比特或以上配置的颜色值。当隐藏式字幕支持3D时，min_disparity字段可基于画面指示字幕中的最前面的隐藏式字幕的3D位置。当该信息具有负值时，该信息可指示基于画面的向前突出效果的程度，当该信息具有正值时，这可按照相反的方式使用。该信息可明确地指示视频中的多个隐藏式字幕区域的视差的最前面的值(最小视差)。scroll_direction字段可指示隐藏式字幕的隐藏式字幕区域在接收机上滚动的方向的信息。该字段可指示值“Top2Bottom”、“Bottom2Top”、“Left2Right”、“Right2Left”等。当隐藏式字幕的隐藏式字幕区域支持在接收机上滚动时，scroll_type字段可指示滚动的进行类型等。例如，这可指示滚动是以行(或单元)为单位执行还是以像素为单位执行。当隐藏式字幕的隐藏式字幕信息支持在接收机上滚动时，scrolling_amount信息可指示滚动程度等。这可由单元数、像素数等表示。当隐藏式字幕的隐藏式字幕区域支持在接收机上滚动时，scrolling_speed信息可指示滚动速度等。这可按照秒为单位表示(如果需要，这可向下表示到小数位)。scale_direction字段可指示关于隐藏式字幕的隐藏式字幕区域可扩展的方向的信息。这可具有值“Top”、“Bottom”、“TomNBottom”、“Left”、“Right”、“LeftNRight”、“All”等。当隐藏式字幕的隐藏式字幕区域可扩展时，Scale_limit_format字段可指示扩展极限程度等。这可由单元数、像素数等表示，或者可由百分比等表示。当隐藏式字幕的隐藏式字幕区域可扩展时，Scale_limit_value字段可指示扩展极限程度等。Playout_speed字段可指示隐藏式字幕的原始隐藏式字幕区域在接收机上呈现期间的播放速度。这可按照秒为单位表示(如果需要，这可向下表示到小数位)。

图46至图48是示出根据本发明的另一实施例的用信号通知字幕相关信息的方法的图。当MMT资产是隐藏式字幕流组件时，该信息可包括作为上述MMT的MP表、DCI表等的asset_descriptor示出的隐藏式字幕描述符。另选地，当asset_type在具有与HEVC视频流对应的值的同时具有以下隐藏式字幕描述符作为资产描述符时，这可指示HEVC视频比特流中包括隐藏式字幕数据。

这可包括在MMT的另一信令表中。如图46和图47所示，可通过上述表用信号通知与广播服务的字幕有关的信息项。在图44和图45的上述字段中，隐藏式字幕描述符还可包括以下字段。这里将不给出重复的描述。Profile字段可指示字幕的编码格式中的配置信息。例如，当字幕根据基于XML的定时文本等来编码时，这可指示使用定时文本等指示隐藏式字幕的格式(例如，TTML、IMSC和EBU-TT-D)。Profile_version字段可指示由上述profile指示的格式的版本信息。即，当profile指示TTML时，该字段可指示TTML1或TTML2，当profile使用IMSC时，该字段可指示IMSC1、IMSC2等。sub-profile字段可指示由上述profile指示的形式中的详细配置。例如，在IMSC的情况下，该字段可指示仅图像配置、仅文本配置等。另选地，该字段可指示字幕是否仅包括图像以及仅包括文本，以及另外，图像和文本是否混合。wcg_use字段可指示隐藏式字幕是否使用宽色域。color_gamut_included字段可指示是否包括隐藏式字幕所使用的色域相关信息。hdr_use字段可指示隐藏式字幕是否包括HDR内容。

color_gamut_type字段可指示色域的类型，即，在编码/解码期间使用(要使用)的基色的色度坐标。color_primary_flag字段可以是指示是否存在关于在编码/解码期间使用或要使用的基色的色度坐标的详细信息的标志。color_primaryRxfield可指示在编码/解码期间使用或要使用的基色中的R颜色的x坐标。color_primaryRyfield可指示在编码/解码期间使用或要使用的基色中的R颜色的y坐标。color_primaryGxfield可指示在编码/解码期间使用或要使用的基色中的G颜色的x坐标。color_primaryGyfield可指示在编码/解码期间使用或要使用的G颜色的y坐标。color_primaryBxfield可指示在编码/解码期间使用或要使用的B颜色的x坐标。color_primaryByfield可指示在编码/解码期间使用或要使用的B颜色的y坐标。color_whitePxfield可指示在编码/解码期间使用或要使用的基色中的白色点的x坐标。color_whitePyfield可指示在编码/解码期间使用或要使用的基色中的白色点的y坐标。hdr_param_set字段可指示标识符，该标识符指示包括在字幕中的HDR内容的HDR相关参数的组合。根据实施例，该字段可具有图48所示的值。hdr_config_flag字段可以是指示字幕中是否包括DHR内容的HDR参数的详细信息的标志。当对应值为“1”时，可存在OETF_type、max_mastering_display_luminance、min_mastering_display_luminance、average_frame_luminance_level和max_frame_pixel_luminance字段的值。

OETF_typefield可指示对字幕中的HDR内容应用的光电传递函数的标识符。该字段的值可具有以下值。0:预留，1:ITU-R BT.1886，2:ITU-R REC.709，3:ITU-R BT.2020，4-255:为未来使用预留。max_mastering_display_luminancefield可指示主控显示器的峰亮度的值。该字段可具有介于100和10000之间的值。min_mastering_display_luminancefield可指示主控显示器的最小亮度值(小数值)。该字段可具有介于0和1.0之间的值。average_frame_luminance_levelfield可指示字幕中的HDR内容的亮度级别的平均值当中的最大值。max_frame_pixel_luminancefield可指示字幕中的各个HDR内容的最大像素亮度值中的最大值。

图49是示出根据本发明的实施例的发送广播信号的方法的图。广播信号发送方法可生成服务数据(DS49010)。除了通过广播信号发送的视频和音频数据以外，服务数据还可包括字幕数据。广播信号发送方法可生成用于用信号通知服务数据的信令信息(DS49020)。根据本发明的信令信息可包括上述服务级别信令信息，并且可包括上述字幕相关信息。本字幕相关信息的信令信息已如参照图15至图48所述。广播信号发送方法可发送包括服务数据和信令信息的广播信号(DS49030)。这里，信令信息可包括关于字幕的信息。如上面参照图15至图48所述，关于字幕的信息可按照与字幕文本数据一起发送的元数据的形式发送。在这种情况下，关于字幕的信息可在服务数据中发送。关于字幕的信息可作为单独的表或描述符在SDT、EIT等的DVB SI服务信令中发送，或者可一起发送。关于字幕的信息可在上述ISOBMFF的盒中发送。在这种情况下，关于字幕的信息也可在服务数据中一起发送。关于字幕的信息可作为分离信令信息在单独的表或描述符中发送。例如，如上所述，关于字幕的信息可在MPEG-DASH的MPD中发送，或者如上所述可作为MMT的MP表、DCI表等的asset_descriptor发送。如上所述，关于字幕的信息可包括滚动方向、滚动速度、滚动类型、缩放、3D视差、颜色空间、宽高比和/或呈现锚定时间相关信息。

图50是示出根据本发明的实施例的广播信号发送装置的图。广播信号发送装置可通过服务数据生成单元D50010生成服务数据。除了通过广播信号发送的视频和音频数据以外，服务数据还可包括字幕数据。广播信号发送设备可通过信令生成单元D50020生成用于用信号通知服务数据的信令信息。服务数据生成单元D50010和信令生成单元D50020可各自作为处理器来具体实现和操作，并且在一些实施例中，可被集成为一个处理器并操作。根据本发明的信令信息可包括上述服务级别信令信息，并且可包括上述字幕相关信息。本字幕相关信息的信令信息已如参照图15至图48所述。广播信号发送方法可利用发送机D50030发送包括服务数据和信令信息的广播信号。这里，信令信息可包括关于字幕的信息。如参照图15至图48所述，关于字幕的信息可按照与字幕文本数据一起发送的元数据的形式发送。在这种情况下，关于字幕的信息可在服务数据中一起发送。关于字幕的信息可在上述ISOBMFF的盒中发送。在这种情况下，关于字幕的信息也可在服务数据中一起发送。关于字幕的信息可作为分离信令信息在单独的表或描述符中发送。例如，如上所述，关于字幕的信息可在MPEG-DASH的MPD中发送，或者可作为MMT的MP表、DCI表等的asset_descriptor发送。关于字幕的信息可作为单独的表或描述符在SDT、EIT等的DVB SI服务信令中发送。如上所述，关于字幕的信息可包括滚动方向、滚动速度、滚动类型、缩放、3D视差、颜色空间、宽高比和/或呈现锚定时间相关信息。

模块或者单元可以是执行被存储在存储器(或者存储单元)中的连序过程的处理器。在前面提到的实施例中描述的步骤可以由硬件/处理器执行。在以上所述的实施例中描述的模块/块/单元可以作为硬件/处理器操作。由本发明提出的方法可以作为代码被执行。这样的代码可以被写在处理器可读的存储介质上，并且因此，可以由通过设备提供的处理器读取。

虽然为了方便起见，实施例已经被参考各个附图描述，但这些实施例可以被组合以实现新的实施例。此外，设计存储用于实现前面提到的实施例的程序的计算机可读的记录介质在本发明的范围之内。

根据本发明的设备和方法不局限于以上描述的实施例的配置和方法，并且所有或者一些实施例可以被有选择地组合以获得各种修改。

根据本发明的图像处理方法可以被作为存储在被包括在网络设备中的处理器可读的记录介质中的处理器可读的代码实现。处理器可读的记录介质包括存储由处理器可读的数据的各种记录介质。处理器可读的记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等和作为载波的实现，诸如经互联网的传输。此外，处理器可读的记录介质可以被分布到经由网络连接的计算机系统，作为以分布方式可读的代码被存储和执行。

发明模式

各种实施例已经以用于实施本发明的最佳模式被描述。

工业实用性

本发明适用于广播信号提供领域。

如相关领域技术人员将认识和理解的，在本发明的精神和范围内的各种等效的修改是允许的。因此，本发明意欲覆盖本发明的改进和变化，只要它们落入所附的权利要求和其等同物的范围之内。

Claims (12)

1.一种用于发送广播信号的方法，该方法包括以下步骤：

构建信号帧，所述信号帧包括一个或更多个服务组件、用于至少一个服务组件的服务层信令SLS信息、以及用于提供引导信息的服务列表表SLT，所述引导信息用于发现所述SLS信息，

所述一个或更多个服务组件包括隐藏式字幕组件，

其中，所述引导信息包括承载所述SLS信息的MPEG媒体传输协议MMTP会话的目的地IP地址和目的地端口，

字幕资产描述符包括易于阅读信息，所述易于阅读信息表示用于所述隐藏式字幕组件的数据是否与易于阅读字幕相关；以及

发送包括所述信号帧的所述广播信号。

2.根据权利要求1所述的方法，

所述字幕资产描述符包括用于表示隐藏式字幕是否支持3D视频的3D支持信息。

3.根据权利要求1所述的方法，

其中，所述字幕资产描述符还包括用于表示图像字幕或文本字幕的配置信息，

所述配置信息的第一值指示图像字幕，并且所述配置信息的第二值指示文本字幕。

4.根据权利要求1所述的方法，

其中，所述字幕资产描述符还包括表示显示宽高比的宽高比信息，

针对所述宽高比信息的第一值，所述宽高比为16：9，针对所述宽高比信息的第二值，所述宽高比为4：3，并且针对所述宽高比信息的第三值，所述宽高比为21：9。

5.根据权利要求1所述的方法，

其中，所述字幕资产描述符还包括表示用于字幕组件的资产的语言的信息。

6.一种用于发送广播信号的设备，该设备包括：

帧构建器，该帧构建器被配置为构建信号帧，所述信号帧包括一个或更多个服务组件、用于至少一个服务组件的服务层信令SLS信息、以及用于提供引导信息的服务列表表SLT，所述引导信息用于发现所述SLS信息，

所述一个或更多个服务组件包括隐藏式字幕组件，

其中，所述引导信息包括承载所述SLS信息的MPEG媒体传输协议MMTP会话的目的地IP地址和目的地端口，

字幕资产描述符包括易于阅读信息，所述易于阅读信息表示用于所述隐藏式字幕组件的数据是否与易于阅读字幕相关；以及

发送器，该发送器被配置为发送包括所述信号帧的所述广播信号。

7.根据权利要求6所述的设备，

所述字幕资产描述符包括用于表示隐藏式字幕是否支持3D视频的3D支持信息。

8.根据权利要求6所述的设备，

其中，所述字幕资产描述符还包括用于表示图像字幕或文本字幕的配置信息，

所述配置信息的第一值指示图像字幕，并且所述配置信息的第二值指示文本字幕。

9.根据权利要求6所述的设备，

其中，所述字幕资产描述符还包括表示显示宽高比的宽高比信息，

针对所述宽高比信息的第一值，所述宽高比为16：9，针对所述宽高比信息的第二值，所述宽高比为4：3，并且针对所述宽高比信息的第三值，所述宽高比为21：9。

10.根据权利要求6所述的设备，

其中，所述字幕资产描述符还包括表示用于字幕组件的资产的语言的信息。

11.一种用于接收广播信号的方法，该方法包括以下步骤：

接收包括信号帧的所述广播信号；

解析所述信号帧，所述信号帧包括一个或更多个服务组件、用于至少一个服务组件的服务层信令SLS信息、以及用于提供引导信息的服务列表表SLT，所述引导信息用于发现所述SLS信息，

所述一个或更多个服务组件包括隐藏式字幕组件，

其中，所述引导信息包括承载所述SLS信息的MPEG媒体传输协议MMTP会话的目的地IP地址和目的地端口，

所述MMTP会话传送MMTP消息，所述MMTP消息包括与至少一个隐藏式字幕组件的隐藏式字幕相关联的字幕资产描述符，

所述字幕资产描述符包括易于阅读信息，所述易于阅读信息表示用于所述隐藏式字幕组件的数据是否与易于阅读字幕相关；以及

对所述一个或更多个服务组件的数据进行解码。

12.一种用于接收广播信号的设备，该设备包括：

调谐器，该调谐器被配置为接收包括信号帧的所述广播信号；

帧解析器，该帧解析器被配置为解析所述信号帧，所述信号帧包括一个或更多个服务组件、用于至少一个服务组件的服务层信令SLS信息、以及用于提供引导信息的服务列表表SLT，所述引导信息用于发现所述SLS信息，

所述一个或更多个服务组件包括隐藏式字幕组件，

其中，所述引导信息包括承载所述SLS信息的MPEG媒体传输协议MMTP会话的目的地IP地址和目的地端口，

所述MMTP会话传送MMTP消息，所述MMTP消息包括与至少一个隐藏式字幕组件的隐藏式字幕相关联的字幕资产描述符，

所述字幕资产描述符包括易于阅读信息，所述易于阅读信息表示用于所述隐藏式字幕组件的数据是否与易于阅读字幕相关；以及

解码器，该解码器被配置为对所述一个或更多个服务组件的数据进行解码。

Images