CN106464961B

CN106464961B - 接收装置、发送装置以及数据处理方法

Info

Publication number: CN106464961B
Application number: CN201480078642.1A
Authority: CN
Inventors: 北里直久; 北原淳; 出叶义治; 山岸靖明
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-05-12
Filing date: 2014-12-05
Publication date: 2019-12-13
Anticipated expiration: 2034-12-05
Also published as: EP3145205A4; WO2015173986A1; US20170064371A1; EP3145205A1; US9807448B2; EP3145205B1; CN106464961A; JP6331670B2; KR20170007246A; JP2015216524A; KR102256350B1

Abstract

本发明提供用于实现TTML字幕数据的稳健显示控制的装置和方法。具有包含作为由MMT格式限定的MMT数据包的有效载荷的TTML字幕数据以及对应于所述TTML字幕数据的字幕信息的包含TTML字幕数据的数据包的形式的信令消息从发送装置中传输给接收装置。例如，所述信令消息限定时间模式(TMD)(即，控制字幕显示定时的模式)或者选择性执行实时字幕显示、根据TTML标记的显示等的操作模式(OPM)。这允许所述接收装置根据规定的模式执行显示控制。

Description

接收装置、发送装置以及数据处理方法

技术领域

本公开涉及接收装置、发送装置以及数据处理方法。更具体而言，本公开涉及用于通过例如广播波发送或接收数据的接收装置和发送装置以及数据处理方法。

背景技术

存在用于在视频上叠加和显示字幕的各种系统，并且越来越多地使用能够控制显示区域、显示定时等的具有可扩展标记语言(XML)形式的作为字幕数据的时间文本标记语言(TTML)。

TTML可以与网络应用(例如，HTML5)相关联，并且具有可以不仅使用字符代码而且使用位图的性能。

注意，例如，在专利文献1(特开2012-169885号公报)中描述了TTML。

现有技术文献

专利文献

专利文献1：特开2012-169885号公报

发明内容

本发明要解决的问题

例如，在VOD等中使用TTML字幕数据作为字幕数据，但是未清楚提出用于在TV广播中传输TTML字幕数据的特定方法。

本公开的目的在于，提供一种用于通过广播波发送/接收TTML字幕数据并且在接收侧上基于TTML字幕数据进行各种字幕显示控制的接收装置和发送装置以及数据处理方法。

问题的解决方案

本公开的第一方面在于：

一种接收装置，包括：

通信单元，用于接收TTML字幕数据存储数据包以及包括对应于所述TTML字幕数据的字幕相关信息的信令消息，TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据；以及

数据处理单元，用于通过使用TTML字幕数据和信令消息进行字幕显示控制。

进一步，本公开的第二方面在于：

一种发送装置，包括：

数据处理单元，用于生成TTML字幕数据存储数据包以及包括对应于所述TTML字幕数据的字幕相关信息的信令消息，TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据；以及

通信单元，用于传输TTML字幕数据存储数据包和信令消息。

进一步，本公开的第三方面在于：

一种由接收装置执行的数据处理方法，

其中，通信单元接收TTML字幕数据存储数据包以及包括对应于所述TTML字幕数据的字幕相关信息的信令消息，TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据；并且

所述数据处理单元通过使用TTML字幕数据和信令消息进行字幕显示控制。

进一步，本公开的第四方面在于：

一种由发送装置执行的数据处理方法，

其中，数据处理单元生成TTML字幕数据存储数据包以及包括对应于所述TTML字幕数据的字幕相关信息的信令消息，TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据；并且

通信单元传输TTML字幕数据存储数据包和信令消息。

基于本公开的示例性实施方式或者下面描述的附图，通过更详细的描述，本公开的其他目标、特征以及优点显而易见。注意，在本说明书中的系统是多个装置的逻辑集体结构，并且在每个结构中的装置不必在相同的外壳内。

本发明的效果

通过根据本公开的一个示例性实施方式的结构，实现用于实现精确的TTML字幕数据显示控制的装置和方法。

具体而言，将在其内存储作为以MMT格式限定的MMT数据包的有效载荷的TTML字幕数据的TTML字幕数据存储数据包以及包括对应于所述TTML字幕数据的字幕相关信息的信令消息从发送装置中传输给接收装置。信令消息限定作为字幕显示定时控制模式的时间模式(TMD)或操作模式(OPM)，用于选择性执行字幕的立即显示或其基于TTML描述的显示，并且接收装置可以在指定模式中进行显示控制。

通过该结构，实现用于实现精确的TTML字幕数据显示控制的装置和方法。

注意，在本说明书中描述的效果仅仅是示例性的，而非限制性的，可以提供额外效果。

附图说明

[图1]是用于解释用于执行根据本公开的处理的通信系统的示例性结构的示图；

[图2]是示出具有MMT格式的堆栈模型的示图；

[图3]是用于解释发送装置的示例性结构的示图；

[图4]是用于解释接收装置的示例性结构的示图；

[图5]是用于解释MMT数据包的结构的示图；

[图6]是用于解释MMT数据包的结构的示图；

[图7]是用于解释具有MMT格式的数据传输的示图；

[图8]是用于解释具有MMT格式的数据传输的示图；

[图9]是用于解释PA消息的示图；

[图10]是用于解释MMT包表(MPT)的示图；

[图11]是用于解释MMT包表(MPT)的示图；

[图12]是用于解释MMT包表(MPT)的示图；

[图13]是用于解释从发送装置中传输给接收装置的数据的示图；

[图14]是用于解释从发送装置中传输给接收装置的字幕相关的数据的示图；

[图15]是用于解释TTML字幕数据的结构和示例性使用的示图；

[图16]是用于解释在MPT中记录的字幕相关的信息的示图；

[图17]是用于解释在MPT中记录的字幕类型的示图；

[图18]是用于解释在MPT中记录的数据模式的示图；

[图19]是用于解释在MPT中记录的显示模式的示图；

[图20]是用于解释在MPT中记录的操作模式的示图；

[图21]是用于解释在MPT中记录的显示格式的示图；

[图22]是用于解释在MPT中记录的压缩模式的示图；

[图23]是用于解释MH事件信息表(EIT)的结构的示图；

[图24]是用于解释设置TMD＝1:TTML描述+EIT开始时间模式时的处理的示图；

[图25]是用于解释UTC-NPT-参考/EMT的数据结构的示图；

[图26]是用于解释设置TMD＝2:TTML描述+NPT模式时的处理的示图；

[图27]是用于解释设置TMD＝3:TTML描述+绝对时间模式时的处理的示图；

[图28]是用于解释设置TMD＝4:TTML描述+参考开始时间模式时的处理的示图；

[图29]是用于解释设置TMD＝4:TTML描述+参考开始时间模式时的处理的示图；

[图30]是用于解释MPU时间戳描述符MPU

[图31]是用于解释设置TMD＝5:TTML描述+MPU_时间戳模式时的处理的示图；

[图32]是用于解释设置TMD＝8:MPU_时间戳模式时的处理的示图；

[图33]是用于解释设置TMD＝15:无时间控制模式时的处理的示图；

[图34]是用于解释设置OPM＝0:实时模式时的处理的示图；

[图35]是用于解释设置OPM＝1:分段模式时的处理的示图；

[图36]是用于解释设置OPM＝2:节目模式时的处理的示图；

[图37]是示出用于解释由发送装置执行的处理序列的流程图的示图；

[图38]是示出用于解释由接收装置执行的处理序列的流程图的示图；

[图39]是示出用于解释作为发送装置和接收装置的通信装置的示例性硬件结构的示图。

具体实施方式

下面，参考示图，详细描述根据本公开的接收装置、发送装置以及数据处理方法。注意，根据以下项目，进行描述。

1、通信系统的示例性结构

2、发送装置和接收装置的结构以及MPEG媒体传输(MMT)

3、MMT格式的细节

4、MMT包表(MPT)

5、从发送装置中传输给接收装置的数据和TTML字幕数据的概述

6、在MMT包表(MPT)中记录的字幕相关的信息

7、在每个时间模式(TMD)中的具体处理

7-1、设置TMD＝1:TTML描述+EIT开始时间模式时的处理

7-2、设置TMD＝2:TTML描述+NPT模式时的处理

7-3、设置TMD＝3:TTML描述+绝对时间模式时的处理

7-4a、设置TMD＝4:TTML描述+参考开始时间模式时的处理(第一实例)

7-4b、设置TMD＝4:TTML描述+参考开始时间模式时的处理(第二实例)

7-5、设置TMD＝5:TTML描述+MPU时间戳模式时的处理

7-6、设置TMD＝8:MPU时间戳模式时的处理

7-7、设置TMD＝15:无时间控制模式时的处理

8、在操作模式(OPM)的每个模式中的具体处理

8-1：在设置OPM＝0:实时模式时的处理

8-2：在设置OPM＝1:分段模式时的处理

8-3：在设置OPM＝2:节目模式时的处理

9、由发送装置和接收装置执行的处理的处理序列

10、发送装置和接收装置的示例性结构

11、本公开的结构的概述

【1、通信系统的示例性结构】

参考图1，首先描述用于执行根据本公开的处理的通信系统的示例性结构。

如图1所示，通信系统10具有：发送装置20，该发送装置是用于发送视频数据、音频数据、字幕数据、以及诸如控制信息的各种项目等数据的通信装置；以及接收装置30，该接收装置是用于接收从发送装置20中发送的数据的通信装置。

具体而言，发送装置20是用于提供各种节目的内容的装置，例如，广播站21。

另一方面，接收装置30是典型用户的客户端装置，并且例如，具体由TV 31、PC 32或便携式终端33配置而成。

使用广播波，将在发送装置20与接收装置30之间的数据通信制成单向通信。

主要以MPEG媒体传输(MMT)格式执行从发送装置20到接收装置30的数据通信。

在通过广播波或网络传输作为内容结构数据的编码数据，例如，视频、音频以及字幕时，MMT格式限定数据传输系统(传输格式)。

发送装置20编码内容数据，生成包括编码数据和编码数据的元数据的数据文件，并且在MMT中限定的MMT数据包内存储生成的编码数据，以通过广播波或网络传输。

除了要再现的数据，例如，视频、音频以及字幕，从发送装置20中传输给接收装置30的数据还由指导信息(例如，节目指南)、通知信息以及控制信息配置而成。

【2、发送装置和接收装置的结构以及MPEG媒体传输(MMT)】

如上所述，主要以MPEG媒体传输(MMT)格式执行从发送装置20到接收装置30的数据通信。

参考图2等，详细描述发送装置和接收装置的结构以及将MMT格式用于MPEG媒体传输(MMT)的数据交换处理。

图2是示出具有MMT格式的堆栈模型的示图。

在图2示出的MMT堆栈模型中，物理层(PHY)存在于最低层内。物理层分成用于广播处理的广播层以及用于网络处理的宽带层。

MMT使用用于广播和网络的两个通信网络实现处理。

在用于广播处理的广播层的顶部，存在类型长度值(TLV)层。TLV是在其内限定IP数据包多路复用系统的格式定义层。多路复用多个IP数据包，以作为TLV数据包传输。TLV-SI是具有TLV格式的信令消息传输层。

信令消息由在接收装置30内接收内容(节目)所需要的设置信息、指导信息(例如，节目指南)、通知信息、控制信息等配置而成。

存储在TLB层内生成的TLV数据包内的信令消息是TLV-SI，并且存储在MMT数据包内的信令消息是在最高层内指示的MMT-SI。

在TLB层的顶部设置UDP/IP层。

UDP/IP层详细可分成IP层和UDP层，而是用于限定传输的层，以在IP数据包的有效载荷内存储UDP数据包。

在UDP/IP层的顶部设置MMT层和文件传输方法层。

可使用用于传输存储在IP数据包内的MMT数据包的系统以及将文件传输方法用作不使用MMT数据包的数据传输系统来在IP数据包中进行数据传输的系统。

在MMT层的顶部设置以下层：

作为视频编解码器的HEVC以及在其上的视频数据；

作为音频编解码器的AAC以及在其上的音频数据；

使用MMT数据包传输的信令消息(MMT-SI)；

字幕数据；

作为节目信息的电子节目指南(EPG)；

数据的每个项目存储在MMT数据包内，以传输。

注意，时间(NTP：网络时间协议)是绝对时间信息，并且直接存储在UDP数据包内以被传输。

可以使用与MMT不同的文件传输方法，传输用于执行其他数据传输、内容下载等的数据服务。

图3示出在图1示出的发送装置20的示例性结构。

如图3所示，发送装置20具有内容提供单元51、信息处理单元52、时钟信号生成单元(NTP)53、视频数据处理单元54、音频数据处理单元55、字幕数据处理单元56、用于主要对存储在MMT数据包内的信令消息执行处理的信令消息处理单元57、用于对存储在TLV数据包内的信令消息执行处理的TLV信令消息处理单元58、IP服务多路复用器(MUX)59、TLV多路复用器(MUX)60以及通信单元(调制/传输单元)61。

例如，内容提供单元51由在其内存储节目内容的存储单元配置而成。此外，其可以由数据获取单元配置而成，例如，用于现场广播的TV摄像头或麦克风。可替换地，可以配置成具有外部服务器等的通信单元，用于供应内容。

内容提供单元51将诸如视频、音频以及字幕等内容分别输出给视频数据处理单元54、音频数据处理单元55以及字幕数据处理单元56。

注意，可以在信息处理单元52中生成字幕数据。

信息处理单元52生成在接收装置30中精确接收和再现由内容提供单元51提供的内容所需要的信息(信令消息)，例如，用于由内容提供单元51提供的内容的生成的字幕、生成的控制信息、或生成的指导信息。

将由信息处理单元52生成的字幕数据提供给字幕数据处理单元56。将信令消息提供给信令消息处理单元57和TLV信令消息处理单元58。

时钟信号生成单元53生成与从NTP服务器(未示出)中获得的时间信息同步的时间信息，用于传输绝对时间信息，并且将包括生成的时间信息的IP数据包传输给IP服务多路复用器59。

进一步，在时钟信号生成单元53中生成的时钟信号也输出给视频数据处理单元54、音频数据处理单元55以及字幕数据处理单元56，并且在视频数据处理单元54、音频数据处理单元55以及字幕数据处理单元56内生成IP数据包设置时钟信息。

视频数据处理单元54编码并且数据包化从内容提供单元51中发送的视频信号，并且将在其内包括存储视频数据的MMT数据包的IP数据包发送给IP服务多路复用器59。进一步，音频数据处理单元55编码并且数据包化从内容提供单元51中发送的音频信号，并且将在其内包括音频MMT数据包的IP数据包发送给IP服务多路复用器59。

进一步，字幕数据处理单元56编码并且数据包化从内容提供单元51或信息处理单元52中发送的字幕信号，并且将在其内包括字幕MMT数据包的IP数据包发送给IP服务多路复用器59。

注意，通过根据本公开的结构，字幕数据将时间文本标记语言(TTML)用作具有可扩展标记语言(XML)形式的字幕数据，能够控制显示区域或显示定时。

下面详细描述TTML字幕数据。

信令消息处理单元57基于从信息处理单元52中发送的信息生成信令消息，并且生成包括MMT数据包的IP数据包(其中，信令消息设置在有效载荷内)，并且将其发送给IP服务多路复用器59。

TLV信令消息处理单元58基于从信息处理单元52中发送的信息生成信令消息，并且生成TLV数据包(其中，信令消息设置在有效载荷内)，并且将其发送给TLV多路复用器60。

发送装置20为每个发送信道(广播信道)提供IP服务多路复用器59。用于一个信道的IP服务多路复用器59生成IP数据包(包括从每个数据处理单元54到57中发送的视频、音频、字幕以及信令消息中的每个)，并且将其发送给TLV多路复用器60。

TLV多路复用器60多路复用从IP服务多路复用器59中输出的IP数据包以及从TLV信令消息处理单元58中输出的TLV信令消息，并且生成和给通信单元61输出包括该数据的TLV数据包。

通信单元61对TLV多路复用器60中生成的TLV数据包执行RF调制处理等，并且输出所产生的广播波。

图4示出了在图1示出的接收装置30的示例性结构。在图4示出的接收装置30具有通信单元71、解复用器72以及解复用器72的元件(包括TLV处理单元73、UDP/IP处理单元74、MMT处理单元75、MMT-SI滤波器76以及TLV-SI滤波器77)。

进一步具有时钟信号生成单元78、视频数据处理单元79、音频数据处理单元80、字幕数据处理单元81、控制单元82以及叠加单元83。

通信单元(调谐器/解调单元)71接收RF调制信号，并且对其执行解调处理，从而获得广播流。解复用器72对广播流执行解复用处理和数据包分离处理。

在包括TLV处理单元73、UDP/IP处理单元74、MMT处理单元75、MMT-SI滤波器76以及TLV-SI滤波器77的解复用器72的每个元件的处理中，获得下面描述的每个MMT数据包或信令消息，并且将其输出给相应的处理单元。

(1)将存储在IP数据包内的NTP时间信息输出给时钟信号生成单元78；

(2)将存储在MMT数据包内的视频数据输出给视频数据处理单元79；

(3)将存储在MMT数据包内的音频数据输出给音频数据处理单元80；

(4)将存储在MMT数据包内的字幕数据输出给字幕数据处理单元81；

(5)将存储在MMT数据包或TLV数据包内的信令消息输出给控制单元82。

注意，MMT-SI滤波器76选择存储在MMT数据包内的MMT信令消息，并且TLV-SI滤波器77选择和输出存储在TLV数据包内的TLV信令消息。反复传输相同的信令消息，因此，每个滤波器确认在数据包内的版本集，并且选择和获得具有新版本的信令消息，并且将其输出给控制单元82，而无需获得已经获得的信令消息。

控制单元82基于在解复用器72内获得的信令消息或者通过用户操作单元(未示出)的来自用户的操作信息，控制在接收装置30内的每个单元的操作。

由控制单元82获得的信令消息输入至视频数据处理单元79、音频数据处理单元80以及字幕数据处理单元81内，并且应用于在每个数据处理单元中的处理。

时钟信号生成单元78基于在解复用器72内获得的NTP时间信息，生成与NTP时间信息同步的时间信息。

注意，由时钟信号生成单元78生成的时钟信号输入到视频数据处理单元79、音频数据处理单元80以及字幕数据处理单元81内，并且可以同步和输出在每个数据处理单元中生成的数据。

视频数据处理单元79对解复用器72内获得的编码视频数据执行解码处理等，从而生成输出视频信号。进一步，音频数据处理单元80对解复用器72内获得的编码音频数据执行解码处理等，从而生成输出音频信号。进一步，字幕数据处理单元81解码在解复用器72内获得的编码字幕数据，从而输出字幕显示信号。

注意，字幕数据处理单元81进行字幕输出控制，以确定字幕的显示时间、显示区域等，并且在确定的显示定时处将字幕输出给叠加单元83。

下面详细描述显示控制处理。

由时钟信号生成单元78生成的时钟信号输入到视频数据处理单元79、音频数据处理单元80以及字幕数据处理单元81内，并且同步和输出在每个数据处理单元中生成的数据。

叠加单元83执行在由视频数据处理单元79生成的视频信号上叠加由字幕数据处理单元81生成的字幕数据并且将其输出。

注意，如上所述，通过根据本公开的结构，字幕数据使用作为具有可扩展标记语言(XML)形式的字幕数据的时间文本标记语言(TTML)，使得能够控制显示区域、显示时间等。

下面详细描述TTML字幕数据。

【3、MMT格式的细节】

在图1示出的通信系统10假设MMT主要用作传输系统，用于将广播信号从发送装置20中传输给接收装置30。

在MMT用作传输系统时，数据存储在MMT数据包内以被传输。

参考图5等，描述MMT数据包的结构。

MMT数据包是格式化为使用MMT协议传输的媒体数据的单位。

图5中的(a)示出MMT数据包的整个结构的示图。

在1代入数据包计数器标记“C”内时，表示在箭头C中表示的数据包计数器字段存在于MMT数据包。数据包计数器是通过计算的MMT数据包的整数值写入的32位长度字段，并且每当传输MMT数据包时增加1。

在1代入扩展标记“X”内时，表示具有在箭头中表示的扩展报头。图5中的(b)示出扩展报头的示例性结构。扩展报头由16位长度类型字段、长度字段以及header_extensin_value字段配置而成。header_extensin_value字段的字节长度写入长度字段内。不符合MMT规范的扩展信息可以写入header_extensin_value字段内。

表示MMT数据包的有效载荷数据的类型的类型值写入类型字段内。类型值的定义如下。

0x00：MPU

0x01：通用对象

0x02：信令消息

0x00：修复符号

类型＝0x00的有效载荷是媒体呈现单元(MPU)。MPU是设置为视频、音频、字幕等的一个单元的单元。例如，一个图片是视频的1MPU。一个TTML文件设置为字幕的1MPU。

注意，1MPU根据需要分成多个媒体段单元(MFU)，以存储在MMT数据包内。

类型＝0x02的有效载荷是信令消息。这由在接收装置内的设置信息、通知信息、指导信息、关于传输数据(视频、音频、字幕)的属性信息、控制信息等配置而成。

其他类型与根据本公开的处理没有直接关系，因此，省略其描述。

在1代入随机接入点(RAP)标记内时，表示MMT数据包的有效载荷包括具有数据类型的数据流的随机接入点。

用于区别资源(asset)的整数值写入16位长度packet_id字段内。在字段内的值由MMT数据包所属的资源的asset_id造成。

在数据包标识符(packet_id)与资源标识符(asset_id)之间的映射由MMT包表(MPT)表示，作为信令消息的一部分。

下面详细描述MPT。

注意，资源是用于信号系列的数据单位组。视频数据、音频数据以及字幕数据分别设置为不同的资源。进一步，在传输包括多个视频数据的不同项目的视频数据(例如，多视点视频)时，拍摄的视频设置为不同的资源，例如，相机1的资源1和相机2的资源2。

在字幕数据的情况下，根据字幕的类型，设置单独资源。

注意，字幕的类型由各种元素区分，例如，包括日语或英语的语言、字幕类型以及限定字幕显示定时的时间模式，并且假设相应元素相同的TTML字幕数据是一个资源。

在NTP协议中限定的短格式中，在32位长度时间戳字段内描述MMT数据包的传输时间。

在32位长度packet_sequence_number字段内描述用于区分具有相同packet_id的数据包的整数值(在MMT传输路径上的序号)。

在32位长度packet_counter字段内描述MMT数据包的序号。

图6中的(c)示出在其内存储作为视频、音频或字幕的一个单位的MPU或作为MPU的分割数据的MFU的MMT数据包的有效载荷的示例性结构。在其内存储作为MPU的分割数据的MPU或MFU的MMT数据包称为MPU模式MMT数据包。这是“0x00”写入MMT报头内的类型字段内的时间。MPU模式MMT数据包用于传输数据，例如，视频、音频或字幕。

在MPU片段类型(FT)字段内的4位值中表示片段类型。FT值的定义如下：

0：MPU元数据

1：电影片段元数据

2：MPU

在1写入时间(T)标记内时，表示用于传输时间媒体的MPU分成片段，并且在其内写入0时，表示用于传输非时间媒体的MPU分成片段。

通过使用MMT数据包的数据传输时，可以传输时间媒体(例如，作为流媒体的视频或音频)以及非时间媒体(例如，文件)。

时间(T)标记旨在用于识别MPU是时间媒体还是非时间媒体。

在片段标识符(f_i)字段内的2位中表示关于在有效载荷内的数据单位的片段的信息。f_i的4个值的定义如下。

0：存储整数个数据单位(MPU)

1：存储数据单位(MPU)的第一片段(MFU)

2：存储数据单位(MPU)的中间片段(MFU)

3：存储数据单位(MPU)的最后片段(MFU)

在8位长度fragment_counter字段内描述包括在MMT有效载荷之前的相同数据单位的片段的有效载荷的数量。

在16位长度DU_length字段内描述造成16位长度DU_length字段的数据的长度(DU：数据单位)。在A标记是0时，没有DU_length字段。

DU_Header是数据单位的报头。在FT值是0或1时(或者在不是MFU时)，不存在DU_Header。MFU包括时间媒体的样本或子样本或者非时间媒体的项目。

MPU或作为MPU的分割数据的MFU存储在DU_payload内。具体而言，存储视频、音频或字幕的编码数据。在字幕数据的情况下，在根据本公开的结构内使用时间文本标记语言(TTML)。下面详细描述TTML的字幕数据。

图6中的(d)示出MFU的DU_Header的示例性结构，其中，时间媒体设置在有效载荷内。进一步，图6中的(e)示出MFU的DU_Header的示例性结构，其中，非时间媒体设置在有效载荷内。如在图6的(e)中所示，非时间媒体的DU_Header由3位长度item_ID配置而成，其是作为MFU的一部分传输的项目的标识符。项目是配置HTML文档数据或者由HTML文档参考的单媒体数据的应用的资源。可以在由item_ID指定的MMT传输路径上，在MMT数据包的报头内的packet_id、在扩展报头内的packet_id、以及在DU报头内的item_ID的组合中，唯一指定项目。

如上所述，在图5示出的MMT数据包的报头内的类型组是能够识别有效载荷是由视频、音频以及字幕配置的MPU还是信令消息的类型信息。

类型＝0x00的有效载荷是由视频、音频以及字幕配置成的媒体呈现单元(MPU)。

类型＝0x02的有效载荷是信令消息。

图7是用于解释存储MPU的数据包的结构以及存储信令消息的数据包的示例性结构的示图。

通过实例示出以下数据包结构：

(A)视频数据(MPU)

(B)字幕数据(MPU)

(C)信令数据

(A)和(B)通过实例示出视频和字幕的MPU，并且例如，MPU是作为视频、音频或字幕的一个单位的单位组。例如，一个图片是视频的1MPU。一个TTML文件设置为字幕的1MPU。

一个MPU根据需要分成多个媒体段单位(MFU)，以存储在MMT数据包内。

MMT数据包存储在UDP数据包内，并且UDP数据包进一步存储在IP数据包内。

进一步，虽然未示出，但是IP数据包存储在TLV数据包内以被传输。

另一方面，类型＝0x02的有效载荷是(C)信令消息。这由在接收装置内的设置信息、通知信息、指导信息、关于传输数据(视频、音频以及字幕)的属性信息、控制信息等配置。

信令消息不在单位设置内，例如，MPU/MFU，并且按照其顺序由(例如)序号限定，以存储在MMT数据包内。

注意，通过根据本公开的结构，字幕数据使用时间文本标记语言(TTML)。

TTML文件具有比视频数据更少量的数据，因此，在很多情况下，不需要划分(分成片段)。因此，如图8所示，例如，假设包括TTML字幕数据的一个TTML文件是1MPU，并且在很多情况下，MPU存储在MMT数据包内，以传输。

【4、MMT包表(MPT)】

根据本公开，使用MMT数据包传输的字幕数据是TTML和字幕数据，并且传输字幕数据的控制信息(例如，显示控制)，作为信令消息。

通过实例，包括字幕数据的控制信息的信令消息是MMT包表(MPT)。

下面描述MMT包表(MPT)。

在MMT协议中使用的信令消息包括在接收装置中用于数据传输控制或数据解码和再现处理所需要的信息。

MMT信令消息使用典型的格式，该格式由3个共同的字段、每个信令消息类型特有的一个字段、以及消息有效载荷配置而成。消息有效载荷传输信令信息。

参考图9，描述PA消息，其包括MMT包表(MPT)，作为包括用于字幕数据的控制信息的信令消息。

数据包访问(PA)消息传输PA表，PA表具有在接收装置中用于数据接收和解码以及再现处理所需要的信息的各种项目。PA表包括多个表格，一个表格是MMT包表(MPT)。

描述在图9的右边示出的PA消息的数据结构。

message_id是用于在信令信息的各种项目中识别PA消息的16位固定值。

version是表示PA消息的版本的8位整数值参数。在更新配置MPT的甚至一些参数时，例如，版本增加+1。length是表示在以字节为单位的字段之后立即计算的PA消息的尺寸的32位长度参数。

设置在有效载荷字段内的在每个表格中的索引信息设置在扩展字段内。8位table_id、8位table_version以及16位table_length设置在该字段内。

在PA消息中的有效载荷字段内记录关于每个表格的详细信息。

还在其内记录关于MMT包表(MPT)的详细信息。

下面参考图10到图13，描述MMT包表(MPT)的数据结构。

MMT包表(MPT)的结构分成3个部分，前部分、中间部分以及后部分，这分别在图10到图12示出。

参考图10，描述MPT标题部分的结构。

table_id是用于在信令消息的各种项目中识别MPT的8位固定值。

version是表示MPT的版本的8位整数值。例如，在更新配置MPT的甚至一些参数时，版本增加+1。length是表示在以字节为单位的字段之后立即计算的MPT的尺寸的32位长度参数。

MMT_package_id是关于整个数据包的识别信息，包括资源的元件，例如，在广播信号(视频、音频以及字幕)中传输的所有信号和文件。识别信息是文本信息。

MMT_package_id_length表示以字节为单位的文本信息的尺寸。

MP_table_descriptors字段是存储整个数据包的描述符的区域。

MPT_table_descriptor_length是表示以字节为单位的字段的尺寸N2的16位长度参数。然后，考虑用于各种目的的描述符，假设MP_table_descriptor多达N2字节(设置一个或多个资源)。

下面，参考图11，描述MPT的中间部分的结构。

number_of_assets是表示资源(信号或文件)的数量的8位参数，作为配置数据包的元素。设置与number_of_asset(N3)一样多的以下回路(资源回路)。

相应参数asset_id_len、asset_id、gen_loc_info、asset_dsc_len以及asset_descriptor作为资源信息的单独项目设置在一个资源回路内。

asset_id是用于唯一识别资源的文本信息。

asset_id_len表示以字节为单位的asset_id的尺寸。

asset_clock_relation_flag描述在资源是(例如)TTML字幕数据时为字幕显示定时参考的资源或时钟信息所使用的在其内的时钟。

asset_timescale记录由资源参考的时钟ID。

下面参考图12，描述MPT的后部分的结构。

MMT_general_loc_info是表示资源获取位置的信息。根据本示例性实施方式，在作为资源获取位置的传输路径上，通过数据包id的形式描述。因此，在MPT上使用asset_id，从而在MMT传输路径上提取相关数据包ID。

asset_descriptor字段是存储资源的描述符的区域。asset_dsc_len表示以字节为单位的asset_descriptor字段的尺寸N5。然后，考虑用于各种目的的描述符，假设asset_descriptor由N5(一个或多个资源)设置。

在其内记录与资源相关的控制信息。

在资源是TTML字幕数据时，描述TTML字幕数据显示控制信息。

注意，根据每种类型的字幕数据，设置对应于字幕数据的资源。

字幕的类型由各种元素区分，例如，包括日语或英语的语言、字幕类型以及限定字幕显示定时的时间模式，并且假设相应元素相同的TTML字幕数据是一个资源。

下面详细描述在PMT中记录的与字幕相关的控制信息及其使用形式。

【5、从发送装置中传输给接收装置的数据和TTML字幕数据的概述】

下面参考图13等，描述在图1示出的从发送装置20中传输给接收装置30的数据和TTML字幕数据。

图13是用于解释发送装置20的示例性传输数据的示图。

图13示出了从发送装置20中传输给接收装置30的数据的类型。从发送装置20中传输给接收装置30的数据是以下数据：

(a)视频MPU 91

(b)音频MPU 92

(c)字幕MPU 93到95

(d)信令消息96

在MMT数据包内存储数据的每个项目，作为以MMT格式限定的MMT数据包的有效载荷，以被传输。

传输(a)视频MPU 91、(b)音频MPU 92以及(c)字幕MPU 93到95，作为在媒体呈现单元(MPU)内的时间媒体。

字幕数据是TTML字幕数据，并且以资源为单位传输。示出的#1到#3对应于资源标识符。

如上所述，为每种类型的字幕设置资源，并且例如，根据日语或英语等语言、或者诸如典型的字幕或用于听力有障碍的人的字幕的类型，为具有不同数据形式的每个字幕设置资源。

信令消息96包括MPT，用于上述字幕控制等。注意，除了MPT以外，信令消息96还由指导信息(例如，节目指南)、通知信息、控制信息等配置。

字幕数据叠加在要显示的视频数据上，并且需要控制，用于显示位置或显示时间。

下面参考图14等，描述字幕数据的处理。

图14是示出参考图13描述的从发送装置20中传输给接收装置30的字幕数据以及用于控制字幕数据的信息的示图。

从发送装置20中传输给接收装置30的字幕相关的数据包括以下数据：

字幕MPU 93，包括作为字幕数据的TTML字幕数据，以及

信令消息96，存储对应于TTML字幕数据的控制信息等。

数据的这些项目包括用于在接收装置30中显示字幕所需要的数据。

作为MPU，根据本公开的发送装置20传输具有可扩展标记语言(XML)形式的时间文本标记语言(TTML)数据，作为字幕数据。

注意，一个TTML字幕数据设置为一个媒体呈现单元(MPU)，而MPU分成多个项目，以生成MFU，其可以MFU的单位存储在MFU数据包内，用于传输。

信令消息96包括存储应用于TTML字幕数据显示控制中的控制信息的MPT、或上面参考图9到图12描述的MPT、以及其他信息(MH-EIT)。

在MH-事件信息表(EIT)内记录节目的要广播的信息，例如，标题、广播时间/日期以及内容。

除了以上数据，信令消息96还包括在接收装置30内可使用的通知数据的各种项目。

图15是示出作为MPU存储在MMT数据包内的具有XML形式的TTML字幕数据的示例性结构的示图。

例如，如图15中的(B)所示，TTML字幕数据存储在参考图13和图14描述的(A)字幕MPU 71内。

如图15中的(C)所示，例如，TTML字幕数据具有XML形式，并且除了实际显示的字符串，还被配置成能够描述关于显示区域和显示时间的信息。

接收装置30解释TTML字幕数据，并且执行生成在图15中的(D)所示的显示数据或者字幕叠加在从其他MMT数据包中获取和解码的视频数据上的显示数据并且在显示单元上显示该显示数据的处理。

【6、在MMT包表(MPT)中记录的字幕相关的信息】

下面描述在MMT包表(MPT)中记录的字幕相关的信息。

MMT包表(MPT)是将PA消息配置成信令消息的表格，如上面参考图9到图12所述。

在MMT包表(MPT)内记录基于资源的属性信息或控制信息，用于作为MPU在MMT数据包内传输的TTML字幕数据。

图16示出了在MPT中记录的字幕信息描述符(字幕描述符)。即，字幕信息描述符是对应于作为MPU设置的TTML字幕数据的属性信息或控制信息。

在图16示出的数据是在作为上面描述的在图12的信令数据的MMT包表(MPT)内在asset_descriptor_byte内或之后的字段内记录的基于资源的信息。

如图16所示，在字幕信息描述符(字幕描述符)记录字段内记录以下描述符：

(1)语言代码(ISO_639_language_code)

(2)字幕类型(类型)

(3)时间模式(TMD)

(4)显示模式(DMF)

(5)操作模式(OPM)

(6)显示格式(格式)

(7)压缩模式(Compression_mode)

下面依次详细描述该信息。

(1)语言代码(ISO_639_language_code)

语言代码(ISO_639_language_code)是表示语言的类型的数据，作为在ISO639-2中限定的语言代码。

例如，在日语的情况下，采用jpn(01101010 01110000 01101110)。

(2)字幕类型(类型)

字幕类型(类型)是表示字幕的类型的信息。

图17示出具体实例。

00＝字幕基本信息

01＝字幕扩展信息

10＝字符叠加

记录用于区分字幕类型的信息。

注意，字幕基本信息表示基本字幕数据。字幕扩展信息用于改变字符显示形式，用于丰富表达。仅仅在可以在接收装置中立即时使用。字符叠加是用于区分爆炸新闻等的字符的数据。

(3)时间模式(TMD)

时间模式(TMD)表示用于控制字幕显示时间的时间控制模式。具体而言，如图18所示，记录任何以下模式：

0001＝TTML描述+EIT开始时间；

0010＝TTML描述+NPT；

0011＝TTML描述+绝对时间；

0100＝TTML描述+参考开始时间；

0101＝TTML描述+MPU时间戳

1000＝MPU时间戳

1111＝无呈现控制(例如，在接收时立即显示)

“TTML描述”是在上面参考在图15中的(c)描述的TTML字幕数据内记录的显示时间的描述。

在图15中的(c)描述的TTML字幕数据内记录以下显示时间控制信息：

TTML描述是用于显示字符“你好(HELLO)”的显示时间的描述，用于从在节目开始之后的427秒的时间点开始的一秒。

然而，由于在实际节目显示期间插入的商业消息或爆炸新闻，所以不必进行仅仅根据TTML字幕数据的描述的显示时间控制。

在任何情况下，在MPT内记录的时间模式(TMD)用于使字幕能够在与视频精确一致的显示时间显示。

注意，下面描述在时间模式(TMD)中具有四个模式的具体处理。

(4)显示模式(DMF)

显示模式(DMF)是关于字幕显示模式的信息。在图19示出其具体实例。

显示模式(DMF)由4位配置而成，其中，更高的2位(位3到2)表示在接收时的处理形式，并且更低的2位(位1到0)表示在接收/再现时的处理形式。

在更高的2位中的在接收时的处理形式限定在其内接收存储TTML字幕数据的MPU时的处理，并且限定任何以下显示模式：

00＝在接收时自动显示

01＝在接收时不自动显示

10＝在接收时选择性显示

00＝在接收时自动显示是限定根据在接收在其内存储TTML的MPU时所接收的TTML字幕数据以及MPT控制信息显示字幕的模式。

01＝在接收时不自动显示是限定未显示在接收在其内存储TTML的MPU时所接收的字幕的模式。

10＝在接收时选择性显示是能够根据(例如)遥控器的用户设置显示或者不显示在接收在其内存储TTML的MPU时所接收的TTML字幕数据的字幕的模式。

在更低的2位中记录/再现时的处理形式限定在介质(例如，硬盘)内记录节目等并且然后再现节目时的处理，并且限定任何以下显示模式：

00＝在记录/再现时自动显示

01＝在记录/再现时不自动显示

10＝在记录/再现时选择性显示

00＝在记录/再现时自动显示是限定根据在再现在其内存储TTML的包括MPU的内容时根据TTML字幕数据和MPT控制信息显示字幕的模式。

01＝在记录/再现时不自动显示是限定在再现在其内存储TTML的包括MPU的内容时未显示在TTML字幕数据内记录的字幕的模式。

10＝在记录/再现时选择性显示是在再现(例如)内容时能够根据遥控器的用户设置显示或者不显示TTML字幕数据的字幕的模式。

(5)操作模式(OPM)

操作模式(OPM)是应用于字幕显示控制的操作模式定义信息。在图20示出其具体实例。以下模式可以设置为用于操作模式(OPM)。

00＝实时模式

01＝分段模式

10＝节目模式

00＝实时模式是例如在接收时立即显示所接收的TTML字幕数据的模式。这是为例如显示同时解释的字幕数据所设置的模式。

01＝分段模式是应用于预先准备字幕数据的内容中的模式，例如，电影内容，并且是在MPT和TTML字幕数据控制信息中限定的显示时间显示的模式。

10＝节目模式是如下一种模式，其中，准备记录一个节目的所有字幕的TTML文件，并且该文件从发送装置中传输给接收装置，并且接收装置使用TTML文件执行节目的字幕显示。

注意，下面详细描述在设置每个操作模式(OPM)时处理的具体实例。

(6)显示格式(格式)

显示格式(格式)是限定在其上显示字幕数据的显示屏的显示格式的描述符。具体而言，如图21所示，如下设置以下格式：

0000＝1920×1080(HD)

0001＝3840×2160(4K)

0010＝7860×4320(8K)

例如，这些表示对应于显示屏的字幕数据。

(8)压缩模式(Compression_mode)

压缩模式(Compression_mode)是表示TTML字幕数据的压缩模式的描述符。具体而言，如图22所示，设置任何以下压缩模式：

000＝未压缩

001＝在EXI中压缩

010＝在BIM中压缩

011＝在ZIP中压缩

例如，设置表示对TTML执行上述哪个压缩处理的信息。

【7、在每个时间模式(TMD)中的具体处理】

下面描述作为在MPT中记录的一个字幕信息描述符(字幕描述符)的在每个时间模式(TMD)中的具体处理。

如参考图18所示，时间模式(TMD)表示用于控制字幕显示时间的时间控制模式。具体而言，如图18所示，记录任何以下模式：

0001＝TTML描述+EIT开始时间；

0010＝TTML描述+NPT；

0011＝TTML描述+绝对时间；

0100＝TTML描述+参考开始时间；

0101＝TTML描述+MPU时间戳

1000＝MPU时间戳

1111＝无呈现控制(例如，在接收时立即显示)

下面描述对应于7个时间模式设置的接收装置的字幕显示控制的具体处理。

【7-1、设置TMD＝1:TTML描述+EIT开始时间模式时的处理】

首先，参考图23和图24，描述在TMD＝1的时间模式(TMD)中或者在0001＝TTML描述+EIT开始时间的设置中的字幕显示控制。

在TMD＝1模式设置中，接收装置30使用在TTML中描述的字幕显示时间以及在MH-事件信息表(EIT)中的记录信息控制显示时间。

MH-事件信息表(EIT)是在其内记录信令消息96的结构信息、或者关于节目的要广播的标题、广播时间/日期、内容的信息的表格，如上面参考图14所述。

通过实例，在图23描述MH-EIT的具体结构。

如图23所述，在MH-EIT内记录以下数据：

(a)节目ID(event_id)

(b)节目开始时间(start_time)

(c)节目持续时间(duration)

例如，包括这种信息。

接收装置30使用在MH-EIT内记录的(b)节目开始时间(start_time)，确定TTML字幕数据的字幕显示时间。

参考图24，描述由接收装置30执行的TTML字幕数据显示时间控制处理。

图24示出了以下数据：

(a)MH-EIT

(b)MPT

(c)在MPU中的TTML

(d)通过字幕显示的示例性视频

进一步，示出的字幕资源(MPU/MFU)和信令分别表示存储在从发送装置20到接收装置30中的MMT数据包内的MPU/MFU以及信令消息的每个信道。

接收装置30从信令消息的传输信道中获得MPT和MH-EIT，并且从字幕资源信道中获得MPU，包括TTML字幕数据。

进一步，在图24的最上部分显示时间轴(t)。

start_time＝t0的信息作为节目开始时间信息记录在(a)MH-EIT内。

该信息表示在节目开始时的绝对时间。

TMD＝1(＝0001)的数据作为时间模式存储在(b)MPT内。

这是上面参考图18描述的TMD＝0001＝TTML描述+EIT开始时间的设置，并且表示该设置是用于根据TTML描述和EIT开始时间描述执行确定字幕显示时间的过程的内容。

在(c)MPU中的TTML内存在<p begin＝”427s”dur＝”1s”>的数据，作为字幕显示时间信息。

这是用于显示在TTML内记录的字幕数据“你好”的描述数据，用于从在节目开始之后的427秒开始的一秒。

注意，<div region＝”r1”>的数据是用于指定字幕“你好”的显示区域的信息。

首先，接收装置30确认应用于内容中的TTML字幕数据显示时间控制具有参考MPT的TMD＝0001＝TTML描述+EIT开始时间的设置。

即，确认该设置是内容，用于根据TTML描述和EIT开始时间描述执行确定字幕显示时间的处理。

然后，接收装置30参考记录在TTML和EIT内的字幕显示时间信息。

在MPU中的TTML中记录<p begin＝”427s”dur＝”1s”>的数据，作为字幕显示时间信息。

在EIT内记录start_time＝t0的信息，作为节目开始时间信息。

接收装置30确认在EIT内作为节目开始时间信息记录的start_time＝t0的节目开始绝对时间信息，并且基于保持在接收装置30内的时钟，从绝对时间t0开始计算在<pbegin＝”427s”dur＝”1s”>的MPU中的TTML中的字幕显示时间信息中记录的427秒。

在从节目开始时间(t0)经过427秒(t1)时，显示在TTML字幕数据内记录的“你好”。

显示结果是在图24中的(d)示出的显示数据。

【7-2、设置TMD＝2:TTML描述+NPT模式时的处理】

下面参考图25和图26，描述在TMD＝2的时间模式(TMD)中或者在0002＝TTML描述+NPT的设置中的字幕显示控制。

在TMD＝2模式设置中，接收装置30使用在TTML中描述的字幕显示时间以及在NPT参考信息【正常播放时间(NPT)+参考/EMT】中的记录信息控制显示时间。

NPT参考信息【正常播放时间(NPT)+参考/EMT】是信息消息96的结构信息，并且具有UTC(协调的通用时间)时间信息(st)、正常播放时间(NPT)时间信息(nt)以及在时间信息的两个项目之间的对应数据。UTC是绝对时间信息。

NPT的更新数据依次从发送装置20中传输给接收装置30。

通过实例，在图25描述NPT-参考/EMT的具体结构。

如图25所述，在NPT-参考/EMT内记录以下数据：

(a)UTC时间信息(UTC_Reference)

(b)NPT时间信息(NPT_Reference)

例如，包括该信息。

(a)UTC时间信息(UTC_Reference)是对应于绝对时间的时间信息，并且是在发送装置和接收装置中同步的时间信息。

NPT是节目开始的时间信息以及(例如)在因CM而造成节目中断时停止的时间信息，并且在节目进行时计算。

即，UTC时间信息(UTC_Reference)始终进行，但是NPT时间信息(NPT_Reference)仅仅在节目进展时进展，并且在因CM等而造成中断时不进展。

在图25示出的NPT-参考/EMT在发送装置20中依次更新，并且传输给接收装置30。

(a)UTC时间信息(UTC_Reference)更新为数据，表示与时间经过时相同的经过，而(b)NPT时间信息(NPT_Reference)是在节目中断时未更新的时间信息，并且表示对应于广播的节目时间的时间。

对于节目开始时间，NPT时间开始计算，作为(a)UTC时间信息(UTC_Reference)＝t0并且(b)NPT时间信息(NPT_Reference)＝0，并且后续时间信息同样增大。

注意，在64位NTP格式中描述时间信息的两个项目，并且以秒为单位在32位中表示，但是假设在实际操作中，以秒为单位通过大约16位的精度使用。在这种情况下，使用更低的16位，用0代替。

然而，在节目中断造成在节目开始之后发生(例如)CM时，在增大时，时间信息的两个项目偏移。

即，假设以下内容；

(a)UTC时间信息(UTC_Reference)＝u1

(b)NPT时间信息(NPT_Reference)＝n1

接收装置30使用在NPT中记录的信息的两个项目之间的对应信息，确定TTML字幕数据的字幕显示时间：

(a)UTC时间信息(UTC_Reference)＝u1

(b)NPT时间信息(NPT_Reference)＝n1

参考图26，描述由接收装置30执行的TTML字幕数据显示时间控制处理。

图26示出了以下数据：

(a)MPT

(b)在MPU中的TTML

(c)NPT-参考/EMT

(d)通过字幕显示的示例性视频

示出的字幕资源(MPU/MFU)和信令分别表示存储在从发送装置20到接收装置30中的MMT数据包内的MPU/MFU以及信令消息的每个信道。

接收装置30从信令消息的传输信道中获得MPT和NPT-参考/EMT，并且从字幕资源信道中获得MPU，包括TTML字幕数据。

在图23的最上部分显示NPT和UTC的时间轴(t)。

TMD＝2(＝0010)的数据作为时间模式记录在(a)MPT内。

这是上面参考图18描述的TMD＝0010＝TTML描述+NPT的设置，并且表示该设置是用于根据TTML描述和NPT描述执行确定字幕显示时间的过程的内容。

在(b)MPU中的TTML内存在<p begin＝”276392t”dur＝”1s”>的数据，作为字幕显示时间信息。

进一步，存在<tt ttp:tickrate＝”65536”>的数据。

<tt ttp:tickrate＝”65536”>表示以1/65536秒为单位计算的时间。这对应于在NTP格式中在时间表达中由0代替的更低的16位的更高位表示的值。因此，<p begin＝”276392t”dur＝”1s”>表示在时间表达中的字幕显示开始时间，更高位是更低位的276392，在NTP格式中由0代替。即，建立276392(小数)＝437A8(十六进制)，因此，在NTP格式中假设0000000437A80000(十六进制)。

在参考图21描述的TTML中，以秒为单位描述字幕显示时间，作为数据，而在图26示出的实例中，在NTP格式中描述。

在NTP格式中在时间表达中，在从节目开始时间到达0000000437A80000(十六进制)时，描述数据用于显示在TTML内记录的字幕数据“你好”一秒。

在(c)NPT-参考/EMT中记录在时间信息的两个项目之间的对应信息：

(a)UTC时间信息(UTC_Reference)＝u1

(b)NPT时间信息(NPT_Reference)＝n1

注意，依次更新NPT-参考/EMT，并且接收装置30使用最近的NPT-参考/EMT。

首先，接收装置30确认应用于内容中的TTML字幕数据显示时间控制参考NPT具有参考MPT的TMD＝0010＝TTML描述+NPT的设置。

即，确认该设置是内容，用于根据TTML描述和NPT-参考/EMT描述执行确定字幕显示时间的处理。

然后，接收装置30表示记录在TTML和最近的NPT-参考/EMT内的字幕显示时间信息。

在MPU中的TTML中记录<p begin＝”276392t”dur＝”1s”>，作为字幕显示时间信息，并且在NPT-参考/EMT中记录在时间信息的两个项目之间的对应信息：

(a)UTC时间信息(UTC_Reference)＝u1

(b)NPT时间信息(NPT_Reference)＝n1

注意，依次更新NPT，并且接收装置30使用最近的NPT-参考/EMT。

例如，获得在TTML内记录的字幕显示时间之前立即获得的NPT-参考/EMT，并且获得在UTC与NPT之间的对应数据。

例如，假设在C84F3804230A0000(十六进制)的NTP中表示的绝对时间，获得NPT参考信息。

例如，在获得的NPT参考信息内记录在时间信息的两个项目之间的对应数据：

(a)UTC时间信息(UTC_Reference)＝u1＝C84F380314260000(十六进制)

(b)NPT时间信息(NPT_Reference)＝n1＝0000000122370000(十六进制)

NPT时间信息(n1)是节目的计算的实际广播时间的值，并且在插入CM时比UTC时间信息(s1)更慢前进，以此类推。

接收装置30基于在时间信息的两个项目之间的对应数据，将在TTML字幕数据内记录的字幕时间信息或<p begin＝”276392t”dur＝”1s”>(这是作为字幕显示开始时间的276392t的NPT时间值)插入绝对数据ut1内。

即，将在最近的NPT参考信息中的NPT的差值加入在NPT格式中的绝对时间中，从而计算校正的STC值，作为字幕显示时间。

例如，如下设置最佳的NPT-参考/EMT：

(a)UTC时间信息(UTC_Reference)＝u1＝C84F380314260000(十六进制)

(b)NPT时间信息(NPT_Reference)＝n1＝0000000122370000(十六进制)

在该设置中，假设字幕显示开始时间ut1＝C84F380314260000+(0000000437A80000-0000000122370000)＝C84F38062997(十六进制)，并且在基于接收装置的NTP的时钟达到值时，字幕显示开始。

显示结果是在图26中的(d)示出的显示数据。

【7-3、设置TMD＝3:TTML描述+绝对时间模式时的处理】

参考图27，描述在TMD＝3的时间模式(TMD)中或者在0011＝TTML描述+绝对时间时间的设置中的字幕显示控制。

在TMD＝3模式设置中，接收装置30使用在TTML中描述的字幕显示时间以及绝对时间控制显示时间。

绝对时间是能够由保持在接收装置中的时钟测量的时间信息。

参考图27，描述由接收装置30执行的TTML字幕数据显示时间控制处理。

图27示出了以下数据：

(a)MPT

(b)在MPU中的TTML

(c)通过字幕显示的示例性视频

接收装置30从信令消息的传输信道中获得MPT，并且从字幕资源信道中获得MPU，包括TTML字幕数据。

进一步，在图27的最上部分显示时间轴(t)。

TMD＝3(＝0011)的数据作为时间模式存储在(a)MPT内。

这是上面参考图18描述的TMD＝0011＝TTML描述+绝对时间的设置，并且表示该设置是用于根据TTML描述和绝对时间执行确定字幕显示时间的过程的内容。

在MPU中的(b)TTML内存在<p begin＝”13:40:11”dur＝”1s”>的数据，作为字幕显示时间信息。

这是用于显示在TTML内记录的字幕数据“你好”的描述数据，用于从在绝对时间＝13:40:11的一秒。

注意，数据<div region＝”r1”>是用于指定字幕“你好”的显示区域的信息。

首先，接收装置30确认应用于内容中的TTML字幕数据显示时间控制具有参考MPT的TMD＝0001＝TTML描述+绝对时间的设置。

即，确认该设置是内容，用于根据TTML描述和绝对时间执行确定字幕显示时间的处理。

然后，接收装置30参考记录在TTML内的字幕显示时间信息。

在MPU中的TTML中记录<p begin＝”13:40:11s”dur＝”1s”>的数据，作为字幕显示时间信息。

接收装置30根据内部时钟，计算绝对时间信息。注意，在接收装置中的时钟由外部接收的绝对时间信息依次校正，并且接收装置30可以获得正确的绝对时间信息。

在TTML字幕数据中描述的时间13:40:11的时间点(t1)，接收装置30显示在TTML字幕数据内记录的“你好”。

显示结果是在图27中的(c)示出的显示数据。

【7-4a、设置TMD＝4:TTML描述+参考开始时间模式时的处理(第一实例)】

下面参考图28，描述在TMD＝4的时间模式(TMD)中或者在0100＝TTML描述+参考开始时间的设置中的字幕显示控制。

在TMD＝4模式设置中，接收装置30使用在TTML中描述的字幕显示时间以及作为在MH-事件信息表(EIT)中的记录信息的参考开始时间(参考开始时间)控制显示时间。

根据本示例性实施方式，例如，在MH-事件信息表(EIT)内记录精确的开始时间，表示以ms为单位的节目开始时间，作为更高精度的时间信息。

接收装置30根据在MPU(TTML)内记录的显示时间信息，测量时间，高精度时间信息＝参考开始时间，以ms为单位作为开始点(t0)记录在MH-EIT内。

参考图28，描述由接收装置30执行的TTML字幕数据显示时间控制处理。

图28示出了以下数据：

(a)MH-EIT

(b)MPT

(c)在MPU中的TTML

(d)通过字幕显示的示例性视频

进一步，在图28的最上部分显示时间轴(t)。

start_time＝t0和precice_starttime＝t0的信息作为节目开始时间信息记录在(a)MH-EIT内。

该信息表示在节目开始时的绝对时间。

在该实例中，例如，以ms为单位，记录精确开始时间，作为高精度时间信息。

TMD＝4(＝0100)的数据作为时间模式存储在(b)MPT内。

这是上面参考图18描述的TMD＝0100＝TTML描述+参考开始时间的设置，并且表示该设置是用于根据TTML描述和在EIT中的高精度精确开始时间描述执行确定字幕显示时间的过程的内容。

在MPU中的(c)TTML内存在<p begin＝”427153ms”dur＝”1s”>的数据，作为字幕显示时间信息。

这是用于显示在TTML内记录的字幕数据“你好”的描述数据，用于从在节目开始之后的427153毫秒(ms)开始的一秒。

首先，接收装置30确认应用于内容中的TTML字幕数据显示时间控制具有参考MPT的TMD＝0001＝TTML描述+参考开始时间的设置。

即，确认该设置是内容，用于根据TTML描述和在EIT中的开始时间描述(精度开始时间)执行确定字幕显示时间的处理。

在MPU中的TTML中记录<p begin＝”427153ms”dur＝”1s”>的数据，作为字幕显示时间信息。

这是以ms为单位的高精度时间信息。

在EIT内记录精确开始时间＝t0的信息，作为节目开始时间信息。

这也是以ms为单位的高精度时间信息。

接收装置30确认在EIT内作为节目开始时间信息记录的精确开始时间＝t0(ms)的节目开始绝对时间信息，并且基于保持在接收装置30内的系统时钟的时钟计数，从绝对时间t0(ms)开始计算在<p begin＝”427153s”dur＝”1s”>的信息中记录的427153毫秒(ms)，该信息是在MPU中的TTML字幕显示时间信息。

在从节目开始时间(t0)经过427153毫秒时的时间点(t1)，显示在TTML字幕数据内记录的“你好”。

显示结果是在图28中的(d)示出的显示数据。

在该实例中，与在上面参考图24描述的TMD＝1的实例中一样，使用MH-EIT，并且通过TMD＝4结构，MH-EHT时间信息和TTML时间信息是以毫秒(ms)为单位的高精度时间信息，这能够更精确地进行字幕显示控制。

【7-4b、设置TMD＝4:TTML描述+参考开始时间模式时的处理(第二实例)】

下面参考图29，描述在TMD＝4的时间模式(TMD)中或者在0100＝TTML描述+参考开始时间的设置中的字幕显示控制的另一个实例(第二实例)。

在TMD＝4模式设置(第二实例)中，在MPT中记录参考开始时间，从而根据MPT和TTML描述控制显示时间，而不使用MH-事件信息表(EIT)。

在该实例中，例如，在MPT中以ms为单位记录精确开始时间，作为高精度时间信息。

参考图29，描述由接收装置30执行的TTML字幕数据显示时间控制处理。

图29示出了以下数据：

(a)MPT

(b)在MPU中的TTML

(c)通过字幕显示的示例性视频

在图29的最上部分显示时间轴(t)。

TMD＝4(＝0100)的数据作为时间模式存储在(a)MPT内。

进一步，在MPT中记录precice_starttime＝t0的信息，作为节目开始时间信息。

该信息表示在节目开始时的绝对时间。

在MPU中的(b)TTML内存在<p begin＝”427153ms”dur＝”1s”>的数据，作为字幕显示时间信息。

即，确认该设置是内容，用于根据TTML描述和在MPT中的开始时间描述(精度开始时间)执行确定字幕显示时间的处理。

然后，接收装置30参考记录在TTML和MPT内的字幕显示时间信息。

这是以ms为单位的高精度时间信息。

在MPT内记录精确开始时间＝t0的信息，作为节目开始时间信息。

这也是以ms为单位的高精度时间信息。

接收装置30确认在MPT内作为节目开始时间信息记录的精确开始时间＝t0(ms)的节目开始绝对时间信息，并且基于保持在接收装置30内的系统时钟的时钟计数，从绝对时间t0(ms)开始在MPU的TTML中计算在<p begin＝”427153s”dur＝”1s”>的字幕显示时间信息中记录的427153毫秒(ms)。

显示结果是在图29中的(c)示出的显示数据。

而且，在该实例中，与在上面参考图28描述的TMD＝4(第一实例)的情况下一样，在MPT中的时间信息和在TTML中的时间信息是以毫秒(ms)为单位的高精度时间信息，这能够更精确地进行字幕显示控制。

【7-5、设置TMD＝5:TTML描述+MPU时间戳模式时的处理】

下面参考图30和图31，描述在TMD＝5的时间模式(TMD)中或者在0100＝TTML描述+MPU时间戳的设置中的示例性字幕显示控制。

在TMD＝5模式设置中，使用在MPT中记录的MPU时间戳，根据MPU时间戳和TTML描述，控制显示时间。

可以在MPT中记录中对应于在MPU中作为资源控制信息的数据的一个项目设置的资源(在该实例中，字幕数据)处理开始时间的时间戳。

例如，以ms为单位记录时间戳，作为高精度时间信息。

图30示出了在MPT中记录的MPU时间戳描述符的数据结构。

如图所示，在MPT中记录的MPU时间戳描述符中，记录表示应用时间戳的MPU的MPU序号以及MPU相关的时间戳(MPU_presentation_timestamp)，作为对应于该序号的MPU相关的时间信息。

例如，时间戳是以ms为单位记录的高精度时间信息。

接收装置30根据在MPU(TTML)内记录的显示时间信息，测量时间，具有高精度时间戳，以ms为单位作为开始点(t0)记录在MPT内。

参考图31，描述由接收装置30执行的TTML字幕数据显示时间控制处理。

图31示出了以下数据：

(a)MPT

(b)在MPU中的TTML

(c)通过字幕显示的示例性视频

进一步，在图31的最上部分显示时间轴(t)。

TMD＝5(＝0101)的数据作为时间模式记录在(a)MPT内。

这是上面参考图18描述的TMD＝0101＝TTML描述+参考开始时间的设置，并且该设置表示用于根据TTML描述和在MPT中记录的MPU时间戳执行确定字幕显示时间的过程的内容。

如在图31的(a)MPT中所示，在MPT中记录mpu_presentation_timestamp＝t0的信息，作为MPU相关的时间戳。

这是关于为对应于要处理的TTML的MPU设置的MPU处理时间等的时间信息。

例如，以ms为单位，记录时间戳，作为高精度时间信息。

在(b)MPU中的TTML内存在<p begin＝“120234ms”>的数据，作为字幕显示时间信息。

这是用于显示在TTML内记录的字幕数据“你好”的描述数据，用于从时间戳指定的开始时间(t0)之后的120243毫秒(ms)。

首先，接收装置30确认应用于内容中的TTML字幕数据显示时间控制具有参考MPT的TMD＝0101＝TTML描述+MPU时间戳的设置。

即，确认该设置是内容，用于根据TTML描述和在MPT中记录的MPU时间戳执行确定字幕显示时间的处理。

在MPU中的TTML中记录<p begin＝“120234ms”>的数据，作为字幕显示时间信息。

这是以ms为单位的高精度时间信息。

在MPT内记录MPU时间戳(mpu_presentation_timestamp)＝t0的信息，作为开始时间信息。

这也是以ms为单位的高精度时间信息。

接收装置30确认在MPT内作为开始时间信息记录的MPU时间戳＝t0(ms)的开始时间信息，并且基于保持在接收装置30内的系统时钟的时钟计数，从时间t0(ms)开始在MPU中计算在<p begin＝“120234s”>的TTML字幕显示时间信息中记录的120234毫秒(ms)。

在从节目开始时间(t0)经过120234毫秒时的时间点(t1)，显示在TTML字幕数据内记录的“你好”。

显示结果是在图31中的(c)示出的显示数据。

而且，在该实例中，与在上面参考图28和图29描述的TMD＝4的情况下一样，在MPT中的时间信息和在TTML中的时间信息是以毫秒(ms)为单位的高精度时间信息，这能够更精确地进行字幕显示控制。

【7-6、设置TMD＝8:MPU时间戳模式时的处理】

下面参考图32，描述在TMD＝8的时间模式(TMD)中或者在1000＝MPU时间戳的设置中的示例性字幕显示控制。

在TMD＝6模式设置中，仅仅使用在MPT中记录的MPU时间戳，根据MPU时间戳，控制显示时间。

如上面参考图30所描述的，可以在MPT中记录中对应于在MPU中作为资源控制信息的数据的一个项目设置的资源(在该实例中，字幕数据)处理开始时间的时间戳。

以ms为单位记录时间戳，作为高精度时间信息。

接收装置30使用高就高精度时间戳(MPU_presentation_timestamp)显示在TTML内记录的字幕数据，以ms为单位作为TTML字幕数据显示时间记录在MPT内。

参考图32，描述由接收装置30执行的TTML字幕数据显示时间控制处理。

图32示出了以下数据：

(a)MPT

(b)在MPU中的TTML

(c)通过字幕显示的示例性视频

在图32的最上部分显示时间轴(t)。

TMD＝8(＝1000)的数据作为时间模式记录在(a)MPT内。

这是上面参考图18描述的TMD＝1000＝MPU时间戳的设置，并且该设置表示用于根据在MPT中记录的MPU时间戳执行确定字幕显示时间的过程的内容。

如在图32的(a)MPT中所示，在MPT中记录mpu_presentation_timestamp＝t0的信息，作为MPU相关的时间戳。

例如，以ms为单位，记录时间戳，作为高精度时间信息。

在MPU中的(b)TTML内未记录字幕显示时间信息。

在TMD＝8模式中，执行将由在MPT内记录的时间戳指定的时间(t1)用作在TTML内记录的字幕数据“你好”的显示时间的字幕数据显示处理。

注意，在TTML字幕数据中记录的<div region＝”r1”>的数据是用于指定字幕“你好”的显示区域的信息。

首先，接收装置30确认应用于内容中的TTML字幕数据显示时间控制具有参考MPT的TMD＝1000＝MPU时间戳的设置。

即，确认该设置是内容，用于根据在MPT中记录的MPU时间戳执行确定字幕显示时间的处理。

然后，接收装置30参考记录在MPT内的字幕显示时间信息。

在MPU中记录MPU时间戳(mpu_presentation_timestamp)的信息，作为字幕显示时间信息。

这是以ms为单位的高精度时间信息。

接收装置30确认在MPT内记录的MPU时间戳＝t1(ms)的时间信息，并且在时间t1(ms)显示在TTML字幕数据内记录的“你好”。

显示结果是在图32中的(c)示出的显示数据。

而且，在该实例中，在MPT中的时间信息(时间戳)是以毫秒(ms)为单位的高精度时间信息，这能够更精确地进行字幕显示控制。

【7-7、设置TMD＝15:没有时间控制模式时的处理】

下面参考图33，描述在TMD＝15的时间模式(TMD)中或者在1111＝没有时间控制的设置中的字幕显示控制。

在TMD＝15模式设置中，接收装置30显示没有时间控制的字幕。例如，在接收在其内存储TTML字幕数据的MPU之后，快速进行显示。例如，应用设置，以显示现场翻译的字幕数据或显示爆炸新闻。

参考图33，描述由接收装置30执行的TTML字幕数据显示时间控制处理。

图33示出了以下数据：

(a)MPT

(b)在MPU中的TTML

(c)通过字幕显示的示例性视频

进一步，在图33的最上部分显示时间轴(t)。

TMD＝15(＝1111)的数据作为时间模式记录在(a)MPT内。

这是上面参考图18描述的TMD＝1111＝没有时间控制的设置，并且表示该设置是没有字幕显示时间控制信息的内容。

在MPU中的(b)TTML内不包括字幕显示时间信息的描述。

首先，接收装置30确认应用于内容中的TTML字幕数据显示时间控制具有参考MPT的TMD＝1111＝没有时间控制的设置。

即，确认该设置是没有字幕显示时间控制的内容。

然后，接收装置30参考记录在MPT内的字幕显示时间信息。

在MPU中的TTML中未记录字幕显示时间信息。

在接收包括TTML字幕数据的MPU时，接收装置30立即显示在TTML字幕数据内记录的“你好”。

显示结果是在图33中的(c)示出的显示数据。例如，这是同时解释的字幕显示。

【8、在每个操作模式(OPM)中的具体处理】

下面描述在每个操作模式(OPM)中的具体处理，作为在MPT内记录的一个字幕信息描述符(字幕描述符)。

如参考图20所述，操作模式(OPM)是应用于字幕显示控制的操作模式定义信息。如在图20所示，以下模式可以设置为用于操作模式(OPM)。

00＝实时模式

01＝分段模式

10＝节目模式

00＝实时模式是例如在接收时立即显示所接收的TTML字幕数据的模式。例如，该模式用于显示同时解释的字幕数据。

01＝分段模式是应用于预先准备字幕数据的内容中的模式，例如，电影内容，并且是根据在MPT和TTML字幕数据控制信息中限定的显示时间显示的模式。

10＝节目模式是一种模式，其中，准备记录一个节目的所有字幕的TTML文件，并且该文件从发送装置中传输给接收装置，并且接收装置使用TTML文件执行节目的字幕显示。

下面详细描述在对应于三个操作模式的接收装置中的字幕显示控制的具体实例。

【8-1：在设置OPM＝0:实时模式时的处理】

首先，参考图34，描述在OPM＝0的操作模式(OPM)中或者在OPM＝00＝实时模式的设置中的字幕显示控制。

在OPM＝0模式设置中，接收装置30在接收时立即显示所接收的TTML字幕数据。例如，该模式用于显示同时解释的字幕数据。

图34示出了以下数据：

(a)MPT

(b)到(e)存储TTML字幕数据的MPU

进一步，在图34的更低部分显示时间轴(t)以及TTML字幕数据和随着时间应用的示例性字幕显示。

OPM＝0(＝00)的数据记录在(a)MPT内。

这是上面参考图20描述的OPM＝00＝实时模式的设置，并且表示该设置是在接收时立即显示所接收的TTML字幕数据的模式。

在每个(b)到(e)的MPU中的TTML不包括字幕显示时间信息的描述。

注意，以下数据是用于指定包含在TTML字幕数据的每个项目内的字幕显示区域的信息。

r1、r2以及r3是用于指定不同区域的信息。

首先，接收装置30确认参考MPT的操作模式。

确认该设置是OPM＝00＝实时模式。

即，确认该模式是在接收时立即显示TTML字幕数据的模式。

然后，接收装置30依次接收在其内存储TTML字幕数据的MPU。

接收装置30从所接收的MPU中提取TTML字幕数据，并且根据在TTML字幕数据内记录的显示控制信息(仅仅指定的显示区域)，显示字幕数据。

显示处理结果是在图34的更低部分示出的4个视频。

首先，接收装置接收(b)MPU(TTML1)，并且根据存储在MPU内的TTML1进行字幕显示。

视频(p)是根据存储在(b)MPU(TTML1)内的TTML1显示的字幕叠加视频。

在记录在TTML1内的区域指定信息中，在指定的区域(r1)中显示存储在TTML1内的字幕数据“谢谢(THANK YOU)”。显示定时是时间(t1)。时间(t1)是在接收装置30接收在其内存储TTML1的MPU并且执行必要的处理之后能够显示时的最短时间。

接收装置接收(c)MPU(TTML2)，并且根据存储在MPU内的TTML2执行字幕显示。

视频(q)是根据存储在(c)MPU(TTML2)内的TTML2显示的字幕叠加视频。

在记录在TTML2内的区域指定信息中，在指定的区域(r2)中显示存储在TTML2内的字幕数据“不客气(YOU ARE WELCOME)”。显示定时是时间(t2)。时间(t2)是在接收装置30接收在其内存储TTML2的MPU并且执行必要的处理之后能够显示时的最短时间。

然后，接收装置接收(c)MPU(d)MPU(TTML3)，并且根据存储在MPU内的TTML3执行字幕显示。

视频(r)是根据存储在(d)MPU(TTML3)内的TTML3显示的字幕叠加视频。

在记录在TTML3内的区域指定信息中，在指定的区域(r2)中显示存储在TTML3内的字幕数据“关于那件事(REGARDING THAT MATTER)”。显示定时是时间(t3)。时间(t3)是在接收装置30接收在其内存储TTML3的MPU并且执行必要的处理之后能够显示时的最短时间。

然后，接收装置接收(e)MPU(TTML4)，并且根据存储在MPU内的TTML4执行字幕显示。

视频(s)是根据存储在(e)MPU(TTML4)内的TTML4显示的字幕叠加视频。

在记录在TTML4内的区域指定信息中，在指定的区域(r2)中显示存储在TTML4内的字幕数据“○△×*···”。

进一步，在记录在TTML4内的区域指定信息中，在指定的区域(r3)中显示存储在TTML4内的字幕数据的另一个项目“(门砰响声)”。在本文中，在TTML2、TTML3以及TTML4中的指定区域r2表示相同区域。虽然在该实例中未示出，在指定所谓的卷起模式时，假设在TTML2中的指定区域r2中指定的字符串的后半部分留下并且加有在TTML3中的指定区域r2中指定的字符串，以也在TTML3中显示。在假设的情况下，不能在实时模式中单独处理每个TTML。

如上所述，在设置操作模式(OPM)＝0的实时模式时，接收装置30立即显示存储在所接收的MPU内的TTML字幕数据的字幕。

通过该处理，可以毫不迟疑地在现场广播的谈话中显示翻译的句子。进一步，在操作模式中，可以造成对先前TTML字幕数据的依赖性。

【8-2：在设置OPM＝1:分段模式时的处理】

下面参考图35，描述在OPM＝1的操作模式(OPM)中或者在OPM＝01＝分段模式的设置中的字幕显示控制。

OPM＝1模式设置是应用预先准备字幕数据的内容中的模式，例如，电影内容，并且在该模式中，接收装置30根据在MPT和TTML字幕数据控制信息中限定的显示定时显示。

图35示出了以下数据：

(a)MPT

(b)到(c)在其内存储TTML字幕数据的MPU

进一步，在图35的更低部分显示时间轴(t)以及TTML字幕数据和示例性字幕显示。

OPM＝1(＝01)的数据记录在(a)MPT内。

这是上面参考图20描述的OPM＝01＝分段模式的设置，并且表示该设置是根据在MPT和TTML字幕数据控制信息中的显示定时显示所接收的TTML字幕数据的模式。

在每个(b)到(c)的MPU中的TTML内包括字幕显示定时信息的描述。

在(b)MPU(TTML1)内记录<p begin＝“156s”duration＝“5s”>的字幕显示时间信息。

在(c)MPU(TTML2)内记录<p begin＝“170s”>的字幕显示时间信息，与字幕“不客气”联合。

进一步，记录<p begin＝“175s”>的字幕显示时间信息，与字幕“关于那件事(REGARDING THAT MATTER)”···”○△×*”联合。

记录数据的这两个项目，作为对应于显示区域(r2)的字幕数据显示定时信息。

进一步，在(c)MPU(TTML2)内记录<p begin＝“180s”>的字幕显示定时信息，与字幕“门砰响声”联合。

这作为对应于显示区域(r3)的字幕数据显示定时信息来显示。

注意，在(c)MPU(TTML2)中未描述显示持续时间信息(持续时间)。这是用于自动擦除先前的字幕显示的设置，用于显示后续字幕数据。

以下数据是用于指定包含在TTML字幕数据的每个项目内的字幕显示区域的信息。

r1、r2以及r3是用于指定不同区域的信息。

注意，在TTML字幕数据内指定的字幕数据不能在一个指定的区域内显示时，随着时间依次切换并且显示要显示的字幕。可替换地，执行在几行内的卷起显示或字幕显示，使得在下行内依次显示新字幕，并且与新字幕显示一起依次擦除在上行内的旧字幕。

描述在图35示出的在OPM＝1中的接收装置30的处理。

首先，接收装置30确认参考MPT的操作模式。

确认进行OPM＝01＝分段模式的设置。

即，确认该模式是根据在MPT和TTML字幕数据控制信息中限定的显示定时显示字幕的模式。

然后，接收装置30依次接收在其内存储TTML字幕数据的MPU。

接收装置30从所接收的MPU中提取TTML字幕数据，并且根据在TTML字幕数据内记录的显示控制信息，显示字幕数据。

显示处理结果是在图35的更低部分示出的4个视频。

在记录在TTML1内的区域指定信息中，在指定的区域(r1)中显示存储在TTML1内的字幕数据“谢谢”。显示定时是时间(t1)。

时间(t1)对应于在TTML1内记录的字幕显示定时信息或者<p begin＝“156s”duration＝“5s”>的字幕显示定时信息。

然后，接收装置接收(c)MPU(TTML2)，并且根据存储在MPU内的TTML2执行字幕显示。

视频(q)到(s)是根据存储在(c)MPU(TTML2)内的TTML2显示的字幕叠加视频。

首先，在记录在TTML2内的区域指定信息中，在指定的区域(r2)中显示存储在TTML2内的字幕数据“不客气”。

视频是视频(q)。

显示定时是时间(t2)。时间(t2)对应于与记录在TTML2内的“不客气”对应的字幕显示定时信息或者<p begin＝“170s”>的字幕显示定时信息。

然后，在记录在TTML2内的区域指定信息中，在指定的区域(r2)中显示存储在TTML2内的字幕数据“关于那件事(REGARDING THATMATTER)”。

视频是视频(r)。

显示定时是时间(t3)。时间(t3)对应于与记录在TTML2内的“关于那件事(REGARDING THAT MATTER)”对应的字幕显示定时信息或者<pbegin＝“175s”>的字幕显示定时信息。

然后，在记录在TTML2内的区域指定信息中，在指定的区域(r2)中显示存储在TTML2内的字幕数据“○△×*···”。

视频是视频(s)。

显示定时是时间(t3)。

字幕数据“○△×*···”在记录在TTML2内的“关于那件事(REGARDING THATMATTER)”之后，并且不能落在指定区域(r2)之后，因此，在擦除的旧字幕上重写，以显示。因此，显示定时偏离指定时间(t2)，用于显示。注意，如上所述，可以进行卷起显示。

进一步，在记录在TTML2内的区域指定信息中，在指定的区域(r3)中显示存储在TTML2内的字幕数据“(门砰响声)”。

视频是视频(s)。

显示定时是时间(t3)。时间(t3)对应于与存储在TTML2内的“(门砰响声)”对应的字幕显示定时信息或者<p begin＝“180s”>的字幕显示定时信息。

在通过这种方式设置操作模式(OPM)＝1的分段模式时，接收装置30根据在TTML字幕数据控制信息中限定的显示定时，执行存储在所接收的MPU内的TTML字幕数据的字幕显示。

通过该处理，可以执行与内容的视频场景(例如，电影)同步的字幕显示。在该操作模式中，可以单独处理TTML字幕数据的每个项目。因此，可以处理新TTML字幕数据，对先前TTML字幕数据没有任何影响。

【8-3：在设置OPM＝2:节目模式时的处理】

下面参考图36，描述在OPM＝2的操作模式(OPM)中或者在OPM＝10＝节目模式的设置中的字幕显示控制。

OPM＝2模式设置是一种模式，其中，准备在其内记录一个节目的所有字幕的TTML文件并且该文件从发送装置中反复传输给接收装置，并且接收装置使用TTML文件进行节目的字幕显示。

图36示出了以下数据：

(a)MPT

(b)从MPU中提取的TTML字幕数据(TTML1)

(c)MPT

接收装置30从信令消息的传输信道中获得MPT，并且从字幕资源信道中获得MPU或MFU，包括TTML字幕数据。

进一步，在图36的更低部分显示时间轴(t)以及TTML字幕数据和随着时间应用的示例性字幕显示。

OPM＝2(＝10)的数据记录在(a)MPT内。

这是上面参考图20描述的OPM＝10＝节目模式的设置，并且例如，该设置是使用记录节目的所有字幕的TTML文件执行一个节目的字幕显示的模式。

(b)从MPU或MFU中提取的TTML字幕数据(TTML1)包括一个节目的所有字幕数据。

注意，通过MPU的一个传输，在选择广播服务时，不能显示字幕，因此，在该模式中，反复传输相同TTML字幕数据的MPU。

包括在其内限定显示定时和显示区域的控制信息的描述，用于在(b)TTML1中的字幕数据的每个项目。

记录<p begin＝“156s”duration＝“5s”>的字幕显示定时信息，并且记录<divregion“r1”>的显示区域信息，用于字幕“谢谢”。

进一步，记录<p begin＝“170s”>的字幕显示定时信息，并且记录<divregion“r2”>的显示区域信息，用于字幕“不客气”。

进一步，记录<p begin＝“175s”>的字幕显示定时信息，用于通过<divregion“r2”>的显示区域信息应用的每个字幕“关于那件事(REGARDINGTHAT MATTER)”和“○△×*···”。

进一步，记录<p begin＝“180s”>的字幕显示定时信息，并且记录<divregion“r3”>的显示区域信息，与字幕“门砰响声”联合。

注意，如上面参考图35所述，在TTML字幕数据内指定的字幕数据不能在一个指定的区域内显示时，随着时间依次切换并且显示要显示的字幕。可替换地，执行在几行内的卷起显示或字幕显示，使得在下行内依次显示新字幕，并且依次擦除在上行内的旧字幕，用于显示新字幕。

描述在图36示出的在OPM＝2中的接收装置30的处理。

首先，接收装置30确认参考MPT的操作模式。

确认该设置是OPM＝10＝节目模式。

即，确认该设置是根据记录一个节目的所有字幕的TTML字幕数据文件显示字幕的模式。

一旦接收存储一个节目的整个TTML字幕数据的MPU，接收装置30就不需要接收反复传输的MPU。

接收装置30提取节目的TTML字幕数据，并且根据在TTML字幕数据内记录的显示控制信息，显示字幕数据。

显示处理结果是在图36的更低部分示出的4个视频。

接收装置根据重构的TTML1执行字幕显示。

视频(p)是根据TTML1显示的字幕叠加视频。

接收装置使用相同的TTML1依次执行字幕显示。

视频(q)到(s)是根据TTML1显示的字幕叠加视频。

在记录在TTML1内的区域指定信息中，在指定的区域(r2)中显示存储在TTML1内的字幕数据“不客气”。

视频是视频(q)。

显示定时是时间(t2)。时间(t2)对应于与记录在TTML1内的“不客气”对应的字幕显示定时信息或者<p begin＝“170s”>的字幕显示定时信息。

然后，在记录在TTML1内的区域指定信息中，在指定的区域(r2)中显示存储在TTML1内的字幕数据“关于那件事(REGARDING THATMATTER)”。

视频是视频(r)。

显示定时是时间(t3)。时间(t3)对应于与记录在TTML1内的“关于那件事(REGARDING THAT MATTER)”对应的字幕显示定时信息或者<pbegin＝“175s”>的字幕显示定时信息。

然后，在记录在TTML1内的区域指定信息中，在指定的区域(r2)中显示存储在TTML1内的字幕数据“○△×*···”。

视频是视频(s)。

显示定时是时间(t3)。

字幕数据“○△×*···”在记录在TTML1内的“关于那件事(REGARDING THATMATTER)”之后，并且不能落在指定区域(r2)之后，因此，在擦除的旧字幕上重写，以显示。因此，显示定时偏离指定时间(t2)，用于显示。注意，如上所述，可以进行卷起显示。

进一步，在记录在TTML1内的区域指定信息中，在指定的区域(r3)中显示存储在TTML1内的字幕数据“(门砰响声)”。

视频是视频(s)。

显示定时是时间(t3)。时间(t3)对应于与存储在TTML1内的“(门砰响声)”对应的字幕显示定时信息或者<p begin＝“180s”>的字幕显示定时信息。

在通过这种方式设置操作模式(OPM)＝2的节目模式时，接收装置30接收一个节目的TTML字幕数据文件仅仅一次，并且省略反复传输的数据。

通过该处理，不需要在内容(例如，电影)的内容显示周期内平行执行MPU接收和分析处理，这减轻了在接收装置上的处理负荷。而且，在该操作模式中，可以单独执行TTML字幕数据的每个项目的处理。因此，可以处理新TTML字幕数据，对先前TTML字幕数据没有任何影响。

参考图34到图36，描述在每个操作模式(OPM)中的接收装置30的处理。

如上所述，在MPT内记录的操作模式(OPM)可以如下设置：

00＝实时模式

01＝分段模式

10＝节目模式

00＝实时模式是在接收时立即显示所接收的TTML字幕数据的模式。例如，该模式用于显示同时解释的字幕数据等。

01＝分段模式是应用于预先准备字幕数据的内容中的模式，例如，电影内容，并且是根据在MPT和TTML字幕数据控制信息中限定的显示定时显示的模式。

实时模式(OPM＝00)与分段模式(OPM＝01)的不同之处在于，OPM＝00用于根据所接收的TTML立即显示字幕，而OPM＝01用于基于在所接收的TTML中记录的时间显示字幕。

根据以上示例性实施方式，在参考图34的OPM＝00中的示例性处理中，在所接收的TTML中不包括字幕显示定时的描述。

因此，如果在所接收的TTML中不包括字幕显示定时的描述时遵循实时显示的规则，则所有模式可以是OPM＝01。

在如上所述的OPM＝00中，可以不独立于预先接收的TTML字幕数据，执行处理。另一方面，在OPM＝01，可以单独处理TTML字幕数据的每个项目。在接收装置中的处理需要用于确定是否在内存区域内重写最近接收的TTML字幕数据用于存储先前的TTML字幕数据显示数据或者是否在另一个区域内暂时存储用于确认关系的信息。即，表示是否可能具有基于预先接收的TTML字幕数据的字幕显示和单独的处理的标记(单独的处理可能性标记)可以设置在MPT内。

OPM＝2设置是使用一个节目的TTML字幕数据执行处理的模式，并且表示是否反复传输相同的TTML字幕数据的标记(重复标记)可以设置为在MPT中具有相同意义的标记。

【9、由发送装置和接收装置执行的处理的处理序列】

下面参考在图37和图38示出的流程图，描述由发送装置和接收装置执行的处理的处理序列。

首先，参考在图37示出的流程图，描述由发送装置20执行的处理。在发送装置20中的数据处理单元中执行根据在图37所示的流程的处理。例如，在数据处理单元中具有节目执行功能的CPU的控制下，根据存储在存储单元内的节目，执行处理。

注意，在图37示出的流程用于主要解释在字幕上的处理。

在步骤S101中，发送装置生成在其内存储TTML字幕数据的一个或多个MPU。进一步，根据需要，生成MFU，作为分割的MPU数据。

MPU是根据字幕的类型的资源相关的单元，在其内存储TTML字幕数据。生成MPU，作为每种类型的字幕限定的资源相关的数据。

不仅根据语音的类型，而且根据字幕通道标签、字幕类型等，区分字幕的类型。

以资源为单位，在MPT内记录控制信息或属性信息，并且属于相同资源的TTML字符数据经受相同的控制。

然后，在步骤S102中，生成存储对应于在步骤S102中生成的MPU的控制信息的MPT。

MPT是存储字幕相关的控制信息或上面参考图9到图12以及图16到图22描述的属性信息的多个项目的表格。

如上所述，在MPT中，在字幕信息描述符【字幕描述符】记录字段内记录以下描述符：

(1)语言代码(ISO_639_language_code)

(2)字幕类型(类型)

(3)时间模式(TMD)

(4)显示模式(DMF)

(5)操作模式(OPM)

(6)显示格式(格式)

(7)压缩模式(Compression_mode)

字幕相关的控制信息和属性信息是基于资源的，并且根据基于资源的控制信息，例如，显示定时控制，属于相同资源的MPT字符数据经受控制。

然后，在步骤S103中，生成存储MPT或MFU、MPT以及其他信令消息的数据包。

在步骤S105中，发送装置20传输存储关于MPU/MFU或MPT的信息的数据包。

注意，发送装置20另外生成和传输在其内存储视频和音频的数据包或者在其内存储其他控制信息的数据包。

下面参考在图30示出的流程图，描述由接收装置30执行的处理。在接收装置30中的数据处理单元中执行根据在图30所示的流程的处理。例如，在数据处理单元中具有节目执行功能的CPU的控制下，根据存储在存储单元内的节目，执行处理。

注意，在图30示出的流程用于主要解释对字幕的处理。

在步骤S201中，接收装置接收从发送装置20中传输的数据包。

在步骤S202中，基于所接收的数据包的资源标识符(MMT数据包的数据包ID)，根据每种类型的数据(例如，视频、音频或字幕)，将数据包分类。

然后，在步骤S203中，接收装置30获得存储作为MMT数据包的有效载荷存储的TTML字幕数据的MPU或MFU以及存储MPU相关的控制信息的MPT。

然后，在步骤S204中，使用在MPU或MFU内记录的TTML字幕数据或者信令消息(例如，在其内存储MPU相关的控制信息的MPT的记录信息的每个条目)以及其他时间信息，执行字幕数据显示控制。

【10、发送装置和接收装置的示例性结构】

图39示出用于解释作为发送装置20和接收装置30适用的通信装置的示例性硬件结构。

中央处理单元(CPU)401用作数据处理单元，用于根据存储在只读存储器(ROM)402或存储单元408内的节目，执行各种处理。例如，按照根据上述示例性实施方式描述的序列，执行处理。在随机存取存储器(RAM)403内存储由CPU 401执行的节目或数据。CPU 401、ROM402以及RAM 403通过总线404彼此连接。

CPU 401通过总线404连接至I/O接口405，并且I/O接口405连接至由各种开关、键盘、鼠标、麦克风等构成的输入单元406以及输出单元407(显示器或扬声器)。CPU 401响应于从输入单元406输入的指令，执行各种处理，并且例如，将处理结果输出给输出单元407。

例如，连接至I/O接口405的存储单元408由硬盘等配置成，并且在其内存储由CPU401执行的节目或数据的各种项目。通信单元409用作通过网络(例如，互联网或局域网)的数据交换单元以及广播波交换单元，并且与外部装置进行通信。

连接至I/O接口405的驱动器410驱动可移除介质411，例如，磁盘、光盘、磁光盘或半导体存储器，例如，记忆卡，并且记录或读取数据。

注意，可以进行数据编码或解码，作为数据处理单元的CPU 401的处理，并且可以提供编解码器，作为用于执行编码处理或解码处理的专用硬件。

【11、本公开的结构的概述】

参考具体实例，详细描述根据本公开的示例性实施方式。然而，在不背离本公开的范围的情况下，本领域的技术人员可以修改或代替示例性实施方式。即，本发明通过示例性形式公开，并且不应在其解释中受到限制。应参考权利要求，用于确定本公开的精神。

注意，在本说明书中公开的技术可以如下配置。

(1)一种接收装置，包括：

通信单元，用于接收TTML字幕数据存储数据包以及包括对应于TTML字幕数据的字幕相关信息的信令消息，TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据；以及

数据处理单元，用于使用TTML字幕数据和信令消息进行字幕显示控制。

(2)根据(1)所述的接收装置，

其中，所述TTML字幕数据存储数据包是一个TTML字幕数据文件被设置为以MMT格式限定的媒体呈现单元(MPU)的MMT数据包。

(3)根据(1)或(2)所述的接收装置，

其中，所述信令消息是在以MMT格式限定的MMT包表(MPT)中记录字幕相关的信息消息。

(4)根据(3)所述的接收装置，

其中，所述MPT包括为每种类型的字幕设置的基于资源的字幕显示控制信息，并且

所述数据处理单元根据在所述MPT中记录的基于资源的字幕显示控制信息，进行字幕显示控制。

(5)根据(3)或(4)所述的接收装置，

其中，所述MPT包括在其内限定字幕显示定时的时间模式(TMD)设置信息，并且

所述数据处理单元根据在所述MPT中记录的设定时间模式(TMD)进行字幕显示定时控制。

(6)根据(5)所述的接收装置，

其中，在所述MPT中的时间模式(TMD)被配置成能够使用TTML描述和事件信息表(EIT)指定模式，并且

在所述MPT中的设定时间模式是指定使用TTML描述和EIT的模式时，所述数据处理单元使用在所述TTML字幕数据中描述的显示定时控制信息以及从所述EIT中获得的内容开始时间信息，确定字幕显示定时。

(7)根据(5)所述的接收装置，

其中，在所述MPT中的时间模式(TMD)被配置成能够使用TTML描述和正常播放时间(NPT)指定模式，并且

在所述MPT中的设定时间模式是指定使用TTML描述和NPT的模式时，所述数据处理单元使用在所述TTML字幕数据中描述的显示定时控制信息以及在从NPT参考信息中获得的NPT时间信息与UTC(协调的通用时间)时间信息之间的对应数据，确定字幕显示定时。

(8)根据(5)所述的接收装置，

其中，在所述MPT中的时间模式(TMD)被配置成能够使用TTML描述和绝对时间指定模式，并且

在所述MPT中的设定时间模式是指定使用TTML描述和绝对时间的模式时，所述数据处理单元使用在所述TTML字幕数据中描述的显示定时控制信息以及绝对时间，确定字幕显示定时。

(9)根据(5)所述的接收装置，

其中，在所述MPT中的时间模式(TMD)被配置成能够使用TTML描述以及作为关于在EIT或MPT中记录的内容开始时间的高精度时间信息的参考开始时间(reference_starttime)指定模式，并且

在所述MPT中的设定时间模式是指定使用TTML描述和在EIT或MPT中记录的时间信息(参考开始时间)的模式时，所述数据处理单元使用在所述TTML字幕数据中描述的显示定时控制信息以及在EIT或MPT中记录的时间信息(参考开始时间)，确定字幕显示定时。

(10)根据(5)所述的接收装置，

其中，在所述MPT中的时间模式(TMD)被配置成能够使用在所述MPT中记录的MPU时间戳指定模式，并且

在所述MPT中的设定时间模式是指定使用MPU时间戳的模式时，所述数据处理单元使用在所述MPT中记录的MPU时间戳，确定字幕显示定时。

(11)根据(5)所述的接收装置，

其中，在所述MPT中的时间模式(TMD)被配置成能够指定不指示TTML字幕数据显示定时控制的模式，并且

在所述MPT中的设定时间模式是不指示TTML字幕数据显示定时控制的模式时，所述数据处理单元进行字幕显示定时控制，以立即显示TTML字幕数据。

(12)根据(3)到(11)中任一项所述的接收装置，

其中，所述MPT包括在其内限定字幕显示定时的操作模式(OPM)设置信息，并且

所述数据处理单元根据在所述MPT中记录的设定操作模式(OPM)进行字幕显示控制。

(13)根据(12)所述的接收装置，

其中，在所述MPT中的操作模式(OPM)被配置成能够指定模式(a)到(c)：

(a)在接收时立即显示TTML字幕数据的实时模式，

(b)根据TTML描述显示TTML字幕数据的分段模式，并且

(c)使用基于节目的TTML字幕数据执行字幕显示处理的节目模式，并且

所述数据处理单元根据在所述MPT中记录的操作模式指定信息进行显示控制。

(14)一种发送装置，包括：

数据处理单元，用于生成TTML字幕数据存储数据包以及包括对应于TTML字幕数据的字幕相关信息的信令消息，TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据；以及

通信单元，用于传输TTML字幕数据存储数据包和信令消息。

(15)根据(14)所述的发送装置，

其中，所述TTML字幕数据存储数据包是其中一个TTML字幕数据文件设置为以MMT格式限定的媒体呈现单元(MPU)的MMT数据包。

(16)根据(14)或(15)所述的发送装置，

其中，所述数据处理单元生成信令消息，其中，在以所述MPT格式中限定的MMT包表(MPT)记录为每种类型的字幕设置的基于资源的字幕显示控制信息。

(17)根据(14)到(16)中任一项所述的发送装置，

其中，所述数据处理单元选择性应用(a)到(e)的任一个中的信息，从而生成信令消息，包括用于确定字幕数据时间的时间模式(TMD)指定信息；

(a)事件信息表(EIT)；

(b)NPT(正常播放时间)；

(c)绝对时间；

(d)指示内容开始时间的高精度参考开始数据(reference_starttime)；以及

(e)在其内限定TTML字幕数据处理时间的MPU时间戳。

(18)根据(14)到(17)中任一项所述的发送装置，

其中，所述数据处理单元生成信令消息，信令消息包括操作模式(OPM)指定信息，以选择性执行TTML字幕数据的立即显示或其基于TTML描述的显示。

(19)一种由接收装置执行的数据处理方法，

其中，所述通信单元接收TTML字幕数据存储数据包以及包括对应于TTML字幕数据的字幕相关信息的信令消息，TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据；并且

所述数据处理单元使用TTML字幕数据和信令消息进行字幕显示控制。

(20)一种由发送装置执行的数据处理方法，

其中，所述数据处理单元生成TTML字幕数据存储数据包以及包括对应于TTML字幕数据的字幕相关信息的信令消息，TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据；并且

所述通信单元传输TTML字幕数据存储数据包和信令消息。

可以在硬件、软件或其组合中执行在本说明书中描述的一系列处理。在软件中执行处理时，可以在其内记录处理序列的节目可以安装在包含在专用硬件内的计算机中的存储器内，用于执行，或者节目可以安装在能够执行各种处理的通用计算机内，用于执行。例如，节目可以预先记录在记录介质内。节目可以从记录介质中安装到计算机内，此外，节目可以通过网络(例如，局域网(LAN)或互联网)接收并且安装在记录介质内，例如，包含的硬盘。

注意，根据本描述，在说明书中描述的各种处理可以在时间序列中执行，或者可以根据用于执行处理的装置的处理能力或者根据需要并行或单独执行。在本说明书中，系统是多个装置的逻辑集体结构，并且在每个结构中的装置不必在相同的外壳内。

工业实用性

如上所述，根据本公开的一个示例性实施方式，可以实现用于实现精确的TTML字幕数据显示控制的装置和方法。

具体而言，将存储作为以MMT格式限定的MMT数据包的有效载荷的TTML字幕数据的TTML字幕数据存储数据包以及包括对应于所述TTML字幕数据的字幕相关信息的信令消息从发送装置中传输给接收装置。在信令消息内限定作为字幕显示定时控制模式的时间模式(TMD)或操作模式(OPM)，以选择性执行字幕的立即显示或其基于TTML描述的显示，并且接收装置可以在指定模式中进行显示控制。

通过该结构，可以实现用于实现精确的TTML字幕数据显示控制的装置和方法。

符号说明

10：通信系统

20：发送装置

21：广播站

30：接收装置

31：TV

32：PC

33：便携式终端

51：内容提供单元

52：信息处理单元

53：时钟信号生成单元

54：视频数据处理单元

55：音频数据处理单元

56：字幕数据处理单元

57：信令数据处理单元

58：TLV信令数据处理单元

59：IP服务多路复用器

60：TLV多路复用器

61：通信单元

71：通信单元

72：解复用器

73：TLV处理单元

74：UDP/IP处理单元

75：MMT处理单元

76：MMT-SI滤波器

77：TLV-SI滤波器

78：时钟信号生成单元

79：视频数据处理单元

80：音频数据处理单元

81：字幕数据处理单元

82：控制单元

83：叠加单元

91：视频MPU

92：音频MPU

93到95：字幕MPU

96：信令消息

401：CPU

402：ROM

403：RAM

404：总线

405：I/O接口

406：输入单元

407：输出单元

408：存储单元

409：通信单元

410：驱动器

411：可移除介质。

Claims

1.一种接收装置，包括：

通信单元，用于接收TTML字幕数据存储数据包以及信令消息，所述TTML字幕数据存储数据包存储作为以MPEG媒体传输(MMT)格式限定的MMT数据包的有效载荷的时间文本标记语言(TTML)字幕数据，所述信令消息包括与所述TTML字幕数据对应的字幕显示控制信息；以及

数据处理单元，用于通过使用所述TTML字幕数据和所述信令消息进行字幕显示控制，

其中，所述字幕显示控制信息包括时间模式(TMD)标识符，所述时间模式标识符是能够识别通过使用所述TTML字幕数据的描述数据来确定字幕显示定时的模式以及在不使用所述TTML字幕数据的描述数据的情况下来确定字幕显示定时的模式的标识符，并且

所述数据处理单元根据所述时间模式标识符选择性地使用所述TTML字幕数据的描述数据来进行字幕显示定时控制或者不使用所述TTML字幕数据的描述数据来进行字幕显示定时控制，

其中，所述信令消息是其中字幕显示控制信息记录在以MMT格式限定的MMT包表(MPT)中的消息。

2.根据权利要求1所述的接收装置，

其中，所述TTML字幕数据存储数据包是其中一个TTML字幕数据文件被设置为以MMT格式限定的媒体呈现单元(MPU)的MMT数据包。

3.根据权利要求1所述的接收装置，

其中，所述MMT包表包括为每种类型的字幕设置的基于资源的字幕显示控制信息，并且

所述数据处理单元根据在所述MMT包表中记录的所述基于资源的字幕显示控制信息，进行字幕显示控制。

4.根据权利要求1所述的接收装置，

其中，在所述MMT包表中的所述时间模式(TMD)标识符被配置成能够使用TTML描述和事件信息表(EIT)来识别模式，并且

当所述MMT包表中的设定的所述时间模式标识符是指定使用所述TTML描述和所述事件信息表的标识符时，所述数据处理单元通过使用在所述TTML字幕数据中描述的显示定时控制信息以及从所述事件信息表中获得的内容开始时间信息，来确定字幕显示定时。

5.根据权利要求1所述的接收装置，

其中，在所述MMT包表中的所述时间模式(TMD)标识符被配置成能够使用TTML描述和正常播放时间(NPT)来识别模式，并且

当所述MMT包表中的设定的所述时间模式标识符是指定使用所述TTML描述和所述正常播放时间(NPT)的标识符时，所述数据处理单元通过使用在所述TTML字幕数据中描述的显示定时控制信息以及在从正常播放时间(NPT)参考信息中获得的正常播放时间(NPT)时间信息与UTC(协调的通用时间)时间信息之间的对应数据，来确定字幕显示定时。

6.根据权利要求1所述的接收装置，

其中，在所述MMT包表中的所述时间模式(TMD)标识符被配置成能够使用TTML描述和绝对时间来识别模式，并且

在所述MMT包表中的设定的所述时间模式标识符是指定使用所述TTML描述和所述绝对时间的标识符时，所述数据处理单元通过使用在所述TTML字幕数据中描述的显示定时控制信息以及所述绝对时间，来确定字幕显示定时。

7.根据权利要求1所述的接收装置，

其中，在所述MMT包表中的所述时间模式(TMD)标识符被配置成能够使用TTML描述以及作为在事件信息表或MMT包表中记录的关于内容开始时间的高精度时间信息的参考开始时间(reference_starttime)来识别模式，并且

当所述MMT包表中的设定的所述时间模式标识符是指定使用所述TTML描述和在所述事件信息表或所述MMT包表中记录的时间信息(reference_starttime)的标识符时，所述数据处理单元通过使用在所述TTML字幕数据中描述的显示定时控制信息以及在所述事件信息表或所述MMT包表中记录的时间信息(reference_starttime)，来确定字幕显示定时。

8.根据权利要求1所述的接收装置，

其中，在所述MMT包表中的所述时间模式(TMD)标识符被配置成能够使用在所述MMT包表中记录的MPU时间戳来指定模式，并且

当所述MMT包表中的设定的所述时间模式标识符是指定使用所述MPU时间戳的标识符时，所述数据处理单元通过使用在所述MMT包表中记录的所述MPU时间戳，来确定字幕显示定时。

9.根据权利要求1所述的接收装置，

其中，在所述MMT包表中的所述时间模式(TMD)标识符被配置成能够指定不指示TTML字幕数据显示定时控制的标识符，并且

当所述MMT包表中的设定的所述时间模式标识符是不指示TTML字幕数据显示定时控制的标识符时，所述数据处理单元进行用于立即显示所述TTML字幕数据的字幕显示定时控制。

10.根据权利要求1所述的接收装置，

其中，所述MMT包表包括操作模式(OPM)标识符，所述操作模式(OPM)标识符在其内限定字幕显示控制信息，并且

所述数据处理单元根据在所述MMT包表中记录的操作模式(OPM)标识符进行字幕显示控制。

11.根据权利要求10所述的接收装置，

其中，在所述MMT包表中的所述操作模式(OPM)标识符被配置成能够识别模式(a)到(c)：

(a)在接收时立即显示TTML字幕数据的实时模式，

(b)根据TTML描述显示TTML字幕数据的分段模式，以及

(c)通过使用基于节目的TTML字幕数据执行字幕显示处理的节目模式，并且

所述数据处理单元根据在所述MMT包表中记录的所述操作模式标识符进行显示控制。

12.一种发送装置，包括：

数据处理单元，用于生成TTML字幕数据存储数据包以及信令消息，所述TTML字幕数据存储数据包存储作为以MMT(MPEG媒体传输)格式限定的MMT数据包的有效载荷的TTML(时间文本标记语言)字幕数据，所述信令消息包括与所述TTML字幕数据对应的字幕显示控制信息；以及

通信单元，用于发送所述TTML字幕数据存储数据包和所述信令消息，

所述数据处理单元生成包括所述字幕显示控制信息的信令消息，所述字幕显示控制信息能够使接收所述信令消息的接收装置根据所述时间模式标识符选择性地使用所述TTML字幕数据的描述数据来进行字幕显示定时控制或者不使用所述TTML字幕数据的描述数据来进行字幕显示定时控制，

其中，所述数据处理单元生成为每种类型的字幕设置的基于资源的字幕显示控制信息记录在以MMT格式限定的MMT包表(MPT)中的信令消息。

13.根据权利要求12所述的发送装置，

14.根据权利要求12所述的发送装置，

其中，所述数据处理单元选择性应用(a)到(e)的任一个中的信息，从而生成包括用于确定字幕显示定时的时间模式(TMD)标识符的信令消息；

(a)事件信息表(EIT)；

(b)NPT(正常播放时间)；

(c)绝对时间；

(e)在其内限定TTML字幕数据处理时间的MPU时间戳。

15.根据权利要求12所述的发送装置，

其中，所述数据处理单元生成包括操作模式(OPM)标识符的信令消息，以选择性执行TTML字幕数据的立即显示或其基于TTML描述的显示。

16.一种由接收装置执行的数据处理方法，

其中，通信单元接收TTML字幕数据存储数据包以及信令消息，所述TTML字幕数据存储数据包存储作为以MMT(MPEG媒体传输)格式限定的MMT数据包的有效载荷的TTML(时间文本标记语言)字幕数据，所述信令消息包括与所述TTML字幕数据对应的字幕显示控制信息；并且

数据处理单元通过使用所述TTML字幕数据和所述信令消息进行字幕显示控制，

所述字幕显示控制信息包括时间模式(TMD)标识符，

所述时间模式标识符是能够识别通过使用所述TTML字幕数据的描述数据来确定字幕显示定时的模式以及在不使用所述TTML字幕数据的描述数据的情况下来确定字幕显示定时的模式的标识符，并且

17.一种由发送装置执行的数据处理方法，

其中，数据处理单元生成TTML字幕数据存储数据包以及信令消息，所述TTML字幕数据存储数据包存储作为以MMT(MPEG媒体传输)格式限定的MMT数据包的有效载荷的TTML(时间文本标记语言)字幕数据，所述信令消息包括与所述TTML字幕数据对应的字幕显示控制信息；并且

通信单元发送所述TTML字幕数据存储数据包和所述信令消息，

所述字幕显示控制信息包括时间模式(TMD)标识符，