CN106134208B - 发送设备、发送方法、接收设备以及接收方法 - Google Patents
发送设备、发送方法、接收设备以及接收方法 Download PDFInfo
- Publication number
- CN106134208B CN106134208B CN201480077769.1A CN201480077769A CN106134208B CN 106134208 B CN106134208 B CN 106134208B CN 201480077769 A CN201480077769 A CN 201480077769A CN 106134208 B CN106134208 B CN 106134208B
- Authority
- CN
- China
- Prior art keywords
- time
- information
- display unit
- unit
- presentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
- H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
- H04J3/0664—Clock or time synchronisation among packet nodes using timestamps unidirectional timestamps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
- H04H60/13—Arrangements for device control affected by the broadcast information
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Electric Clocks (AREA)
- Circuits Of Receivers In General (AREA)
Abstract
本发明的目标是在使用IP方案进行传输的广播系统中建立良好时钟同步和良好呈现同步。生成与外部获得的时间信息同步的时钟。生成包括时钟的频率信息并且与外部获得的时间信息同步的时间信息。发送广播信号,其包括传输媒体;用于获取基于所生成的时间信息获得的传输媒体的多个呈现单元中的每一个的解码时间和呈现时间的时间获取信息;以及所所生成的时间信息。
Description
技术领域
本技术涉及一种发送设备、一种发送方法、一种接收设备以及一种接收方法,并且更具体而言,涉及一种发送包括例如视频和音频等的传输媒体的IP方案的广播信号的发送设备。
背景技术
作为下一代广播方案,研究了基于IP协议执行基于MP4ISO基媒体文件格式的内容格式的传输的诸如MMT的传输方案,(例如,参考非专利文献1)。通过MP4ISO基媒体文件格式,为了获得由现有技术的MPEG2系统供应的图像单元的PTS/DTS,可以传输对应于称为moof盒(moof box)的元数据的时间信息。
在这种情况下,为了进行有效的传输,需要以GOP为单位统一传输编码数据的元数据。在这种情况下,在发送侧或接收侧,需要具有对应于GOP的延迟,并且整个延迟量增加了对应于GOP的量,使得不满足低延迟的要求。此外,由于元数据由对应于GOP的量来确定,数据包丢失的影响。
引用列表
非专利文献
非专利文献1:Study of ISO/IEC CD 23008-1MPEG Media Transport,[online],[search data:May,7,2013],Internet<URL:http://mpeg.chiariglione.org/standards/mpeg-h/mpeg-media-transport>
发明内容
本发明要解决的问题
本技术良好地在IP方案中进行传输的广播方案中实现时钟同步和呈现同步。
问题的解决方案
根据本技术的一个概念,提供了一种发送设备,包括:时钟生成单元,其生成与从外部获得的时间信息同步的时钟;时间信息生成单元,其生成包括由所述时钟生成单元所生成的时钟的频率信息并且与从外部获得的时间信息同步的时间信息;以及发送单元,发送广播信号,该广播信号包括传输媒体、用于获取基于所述时间信息生成单元所生成的时间信息而获得的传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息、以及所述时间信息生成单元所生成的时间信息。
在本技术中,由时钟生成单元生成与从外部获得的时间信息同步的时钟。例如,按照网络时间协议(NTP)根据IEEE 1588PTP从NTP服务器或其他设备中获取NTP长格式的时间信息。
包括所述时钟生成单元所生成的时钟的频率信息并且与从外部获得的时间信息同步的时间信息由时间信息生成单元生成。例如,时钟生成单元所生成的时钟的频率可以被配置成2**n Hz。因此,可以由时间信息生成单元生成对应于NTP长格式的时间信息。
包括传输媒体、用于获取基于所述时间信息生成单元所生成的时间信息而获得的传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息、以及所述时间信息生成单元所生成的时间信息的广播信号由发送单元传输。
例如,对于包括传输媒体的预定数量的呈现单元的每个呈现单元组,所述时间获取信息可以包括:所述呈现单元组的第一呈现单元的呈现时间,以及通过参考所述第一呈现单元的呈现时间,计算所述呈现单元组的每个呈现单元的解码时间和呈现时间的持续时间信息。
例如,所述持续时间信息可以包括由从所述第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息、表示每个呈现单元的持续时间的信息、以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。在这种情况下,在每个呈现单元的持续时间是固定的情况下,可以抑制传输持续时间信息所需要的位数。
此外,例如,所述持续时间信息可以包括由从所述第一呈现单元的呈现时间偏移的偏移持续时间表示的解码时间信息以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。在这种情况下,通过将由偏移持续时间表示的解码时间信息相加到第一呈现单元的呈现时间,可以获得每个呈现单元的每个解码时间,使得简化计算过程。
此外,例如,所述持续时间信息可以包括由从所述第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息、从在第二和后续呈现单元中的每个之前的呈现单元的解码时间偏移的偏移持续时间表示的解码时间信息、以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。在这种情况下,第二和后续解码时间信息由在每个呈现单元之前的呈现单元的解码时间偏移的偏移持续时间表示,使得可以抑制编码时间信息所需要的位数。
例如,所述广播信号可以包括:第一数据包,其包括传输媒体;第二数据包,其包括关于传输媒体的信息;以及第三数据包,其包括由所述时间信息生成单元生成的时间信息,并且可以将所述第一呈现时间和持续时间信息插入所述第二数据包内。在这种情况下,将持续时间信息插入包括关于传输媒体的信息的第二数据包内,使得可以将在接收侧根据解码时间和呈现时间执行处理的延迟向下抑制为低水平。
此外,例如,所述广播信号可以包括:第一数据包,其包括传输媒体;第二数据包,其包括关于传输媒体的信息;以及第三数据包,其包括由所述时间信息生成单元生成的时间信息,可以将所述第一呈现时间插入所述第二数据包内,并且可以将所述持续时间信息插入所述第一数据包内。在这种情况下,将持续时间信息插入包括关于传输媒体的信息的第一数据包内,使得可以将在接收侧根据解码时间和呈现时间执行处理的延迟向下抑制为低水平。
在这种情况下,例如,可以将所述持续时间信息插入所述第一数据包的扩展报头内。此外,在这种情况下,例如,在包括所述呈现单元的头部时,所述扩展报头可以安装在所述第一数据包内。因此,抑制生成的信息量,从而可以节省宽带。此外,在这种情况下,例如,所述扩展报头可以始终安装在所述第一数据包内,并且可以将表示在所述第一数据包内是否包括所述呈现单元的头部的标志信息进一步插入所述扩展报头内。因此,可以抑制报头信息量的干扰,从而可以简化在接收侧的报头处理。
通过这种方式,在本技术中,在广播信号内包括时间信息,包括与从外部获得的时间信息同步的时钟的频率信息。因此,在接收侧,可以基于时间信息,生成与发送侧的时钟相同的时钟(系统时钟),使得可以实现时钟同步。
此外,在本技术中,在广播信号内包括用于获取基于包括与从外部获得的时间信息同步的时钟的频率信息并且与从外部获得的时间信息同步的时间信息而获得的传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息。因此,在接收侧,可以基于根据包含在传输信号内的时间信息生成的时间信息以及传输媒体的每个呈现单元的呈现时间信息,可以实现呈现同步。
根据本技术的另一个概念,提供了一种接收设备,包括:接收单元,其接收广播信号,包括传输媒体、用于获取传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息、以及包括与从外部获得的时间信息同步的时钟的频率信息并且与从外部获得的时间信息同步的时间信息;时间信息生成单元,其基于包含在广播信号内的时间信息生成时钟并且使用所述时钟生成与时间信息同步的时间信息;时间计算单元,其基于包含在所述广播信号内的时间获取信息,计算所述传输媒体的每个呈现单元的解码时间和呈现时间;以及处理单元,其基于由所述时间计算单元计算的解码时间和呈现时间以及由所述时间信息生成单元生成的时间信息,处理包含在每个呈现单元的广播信号内的传输媒体。
在本技术中,由接收单元接收广播信号。广播信号包括传输媒体、用于获取传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息、以及包括与从外部获得的时间信息同步的时钟的频率信息并且与从外部获得的时间信息同步的时间信息。
例如,对于包括传输媒体的预定数量的呈现单元的每个呈现单元组,用于获取传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息包括:所述呈现单元组的第一呈现单元的呈现时间,以及通过参考所述第一呈现单元的呈现时间,计算所述呈现单元组的每个呈现单元的解码时间和呈现时间的持续时间信息。此外,在这种情况下,所述持续时间信息可以包括由从所述第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息、表示每个呈现单元的持续时间的信息、以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
此外,例如,所述广播信号可以包括:第一数据包,其包括传输媒体;第二数据包,其包括关于传输媒体的信息;以及第三数据包,其包括时间信息,并且可以将所述第一呈现时间和持续时间信息插入所述第二数据包内。此外,例如,所述广播信号可以包括:第一数据包,其包括传输媒体;第二数据包,其包括关于传输媒体的信息;以及第三数据包,其包括时间信息,可以将所述第一呈现时间插入所述第二数据包内,并且可以将所述持续时间信息插入所述第一数据包内。
由时钟信息生成单元基于包含在广播信号内的时间信息生成时钟并且使用所述时钟生成与时间信息同步的时间信息。此外,由时间计算单元基于包含在所述广播信号内的时间获取信息,计算所述传输媒体的每个呈现单元的解码时间和呈现时间。此外,由处理单元基于由所述时间计算单元计算的解码时间和呈现时间以及由每个呈现单元的时间信息生成单元生成的时间信息,处理包含在广播信号内的传输媒体。
通过这种方式,在本技术中,基于与包含在广播信号内的从外部获得的时间信息相关的时间信息,生成与发送侧的时钟相同的时钟(系统时钟)以及包括时钟的频率信息的时间信息。此外,根据基于时钟所获得的传输媒体的每个呈现单元的解码时间和呈现时间、时间信息以及包含在广播信号内的时间获取信息,对应每个呈现单元处理传输媒体。因此,可以实现时钟同步和呈现同步。
本发明的效果
根据本技术,在IP方案中进行传输的广播方案中,能够良好地实现时钟同步和呈现同步。在本说明书中公开的效果是示例性效果,而非限制性,并且可以获得额外效果。
附图说明
[图1]是示出作为一个实施方式的发送/接收系统的构成例的方框图。
[图2]是用于说明在发送/接收系统中的时钟同步和呈现同步的示图。
[图3]是示出MMT方案协议栈的示图。
[图4]是示出MMT方案广播流(广播信号)的构成例的示图。
[图5]是示出MMT数据包和MMT扩展报头的构成例的示图。
[图6]是示出MMT有效载荷和DU报头的构成例的示图。
[图7]是示出在MMT文件和MMTP有效载荷之间的对应关系的实例的示图。
[图8]是示出PA消息和MP表的构成例的示图。
[图9]是示出PA消息的主要参数的说明的示图。
[图10]是示出MP表的主要参数的说明的示图。
[图11]是示出MPU时间戳描述符的结构例的示图。
[图12]是用于说明在MMT方案广播流中的传输序列的示图。
[图13]是示出插入第一形式的偏移信息的扩展报头的结构例的示图。
[图14]是示出插入第一形式的偏移信息的扩展报头的结构例的主要信息的内容的示图。
[图15]是示出在接收侧根据第一形式的偏移信息计算解码时间DT和呈现时间PT的方法的示图。
[图16]是示出各呈现单元的解码时间DT和呈现时间PT的计算公式的示图。
[图17]是示出插入第二形式的偏移信息的扩展报头的结构例的示图。
[图18]是示出插入第二形式的偏移信息的扩展报头的结构例的主要信息的内容的示图。
[图19]是示出在接收侧根据第二形式的偏移信息计算解码时间DT和呈现时间PT的方法的示图。
[图20]是示出各呈现单元的解码时间DT和呈现时间PT的计算公式等的示图。
[图21]是示出扩展报头的传输频率的第一形式的示图。
[图22]是示出扩展报头的传输频率的第二形式的示图。
[图23]是示出MPU扩展时间戳描述符的结构例的示图。
[图24]是示出在接收侧计算解码时间DT和呈现时间PT的方法的示图。
[图25]是示出MPU扩展时间戳描述符的另一个结构例的示图。
[图26]是示出MPU扩展时间戳描述符的另一个结构例的示图。
[图27]是示出在接收侧计算解码时间DT和呈现时间PT的方法的示图。
[图28]是示出各呈现单元的解码时间DT和呈现时间PT的计算公式等的示图。
[图29]是用于说明插入MPU扩展时间戳描述符的MPT和AV编码数据的延迟调整的示图。
[图30]是示出广播发送系统的构成例的方框图。
[图31]是示出接收器的构成例的方框图。
[图32]是用于说明NTP服务器以及由NTP服务器供应的时间信息的格式的示图。
[图33]是示出用于说明在MMT方案中的时钟同步/呈现同步方法的广播发送系统侧的构成例的方框图。
[图34]是示出用于说明在MMT方案中的时钟同步/呈现同步方法的接收器侧的构成例的方框图。
具体实施方式
在后文中,描述用于执行本发明的模式(在后文中称为“实施方式”)。按照以下顺序进行描述。
1、实施方式
2、变形例
<1、实施方式>
[发送/接收系统的构成例]
图1是示出作为一个实施方式的发送/接收系统10的构成例的方框图。发送/接收系统10配置有广播发送系统100和接收器200。
广播发送系统100发送互联网协议(IP)型广播信号,其包括传输媒体,例如,视频和音频。广播发送系统100从外部获取时间信息。例如,通过网络时间协议(NTP)从NTP服务器或者通过IEEE 1588PTP从其他的装置获取NTP长格式的时间信息。
广播发送系统100生成与从外部获取的时间信息同步的时钟(系统时钟)以及生成包括时钟的频率信息的时间信息。在实施方式中,时钟的频率并非设置为应用于现有技术的广播系统的27MHz,而是设置为2**nHz。此外,在实施方式中,设置n=24。然而,可以使用其他整数,例如,24到28的任何整数。通过这种方式,时钟的频率设置为2**n Hz,使得促进生成与从外部获得的NTP长格式的时间信息同步的时间信息,并且生成的时间信息对应于NTP长格式。
广播信号包括传输媒体、用于获取基于生成的时间信息而获得的传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息以及所生成的时间信息。在实施方式中,对于包括传输媒体的预定数量的呈现单元的每个呈现单元组,所述时间获取信息包括:呈现单元组的第一呈现单元的呈现时间,以及通过参考所述第一呈现单元的呈现时间来计算所述呈现单元组的各呈现单元的解码时间和呈现时间的偏移信息。
接收器200接收从广播发送系统100中发送的上述IP方案广播信号。接收器200基于包含在广播信号内的时间信息,生成包括与包含在广播信号内的时间信息同步的2**nHz的时钟(系统时钟)和2**n Hz的时钟的频率信息的时间信息。此外,接收器200基于包含在广播信号内的时间获取信息,获得传输媒体的每个呈现单元的解码时间和呈现时间。接收器200基于获得的每个呈现单元的解码时间和呈现时间以及生成的时间信息处理包含在广播信号内的传输媒体。
在发送/接收系统10中,允许广播发送系统100和接收器200具有上述构成,使得与现有技术中的MPEG2-TS方案类似地实现时钟同步和呈现同步。
参考图2,描述在发送/接收系统中的时钟同步和呈现同步。例如,发送系统和接收系统分别对应于上述广播发送系统100和上述接收器200。发送系统被配置成包括生成2**nHz的系统时钟的时钟生成单元11以及生成时间信息的时钟单元(时间信息生成单元)12。此外,发送系统被配置成包括编码处理单元13、打包/时间戳附加单元14以及编码缓冲器15。
在编码处理单元13中,编码传输媒体,例如,视频或音频。打包/时间戳附加单元14将编码的传输媒体打包,并且基于由时钟单元12生成的时间信息,为传输媒体的每个呈现单元添加呈现时间信息。接下来,传输媒体的数据包暂时储存在编码缓冲器15内,以在适当的定时传输。
接收系统被配置成包括生成2**n Hz的系统时钟的时钟生成单元21以及生成时间信息的时钟单元(时间信息生成单元)22。此外,接收系统被配置成包括解码缓冲器23、拆包/定时调整单元24以及解码处理单元25。
解码缓冲器23暂时储存所接收的传输媒体的数据包。通过参照时钟单元22在添加的呈现时间信息中的定时生成的时间信息,拆包/定时调整单元24提取并且拆包储存在解码缓冲器23内的传输媒体的数据包。解码处理单元25解码通过拆包所获得的传输媒体,以获得基带的传输媒体。
在图1示出的发送/接收系统10中,实现时钟同步和呈现同步。稍后,将详细描述时钟同步/呈现同步方案。在本文中,时钟同步主要表示由发送系统的时钟生成单元11生成的系统时钟的频率与由接收系统的时钟生成单元21生成的系统时钟的频率变成相同的频率。然而,这些频率不必是相同的频率,但是可以有利的是,这些频率保持整数倍数的关系等。在不实现时钟同步的情况下,在接收侧继续进行接收期间,发生故障,例如,发生跳帧。
呈现同步表示发送系统的时钟单元12的时间信息和接收系统的时钟单元22的时间信息彼此一致,并且传输媒体的每个呈现单元的呈现时间信息被加入传输媒体的数据包中。在本文中,在发送系统的时钟单元12的时间信息与接收系统的时钟单元22的时间信息一致的情况下,考虑从发送系统到接收系统的传输延迟。在未实现呈现同步的情况下,在接收侧不能,获得进行视频和音频的同步并且在缓冲器没有故障的情况下获得适当的呈现。
返回图1,如上所述,IP方案广播信号从广播发送系统100发送给接收器200。在实施方式中,以MPEG媒体传输(MMT)方案传输IP方案广播信号。
图3示出MMT方案协议栈。物理层(PHY)存在于较低级别中。物理层包括调制方案、纠错方案等。在物理层上存在有类型长度值(TLV)的传输数据包层。在TLV的传输数据包上堆叠IP数据包。
此外,在IP数据包上堆叠用户数据报协议(UDP)。另一方面,在TLV的传输数据包上堆叠作为信令信息的传输控制信号。此外,MMT数据包堆叠在UDP上。MMT数据包的有效载荷部包括MMT片段单元(MFU)或者包括关于传输媒体的信息的信令消息,MFU包括传输媒体的编码数据,例如,视频或音频。如图所示,进一步包括时间信息的网络时间协议(NTP)数据包存在于UDP上。
图4示出MMT方案广播流(广播信号)的构成例。图4(a)示出视频基本流(视频ES)。视频基本流分成具有预定尺寸的大块(chuck),并且设置在MFU的有效载荷部内,如图4(b)所示。
如图4(c)所示,MMT有效载荷报头附加到MFU,使得构成MMTP有效载荷。如图4(d)所示,MMT报头进一步附加到MMTP有效载荷中,使得构成MMT数据包。此外,包括信令消息的MMT数据包也存在于有效载荷部中。如图4(e)所示,将UDP报头、IP报头以及TLV报头加入MMT数据包,使得生成构成MMT方案广播流的TLV数据包。
此外,包括NTP的时间信息的NTP数据包也存在于TLV数据包中。此外,虽然未示出,但是作为TLV数据包,也存在诸如音频和字幕的其他传输媒体的包括MMT数据包的TLV数据包。MMT方案广播流包括包含传输媒体的第一数据包(MMT数据包)、包含信令信息的第二数据包(MMT数据包)以及包括时间信息的第三数据包(NTP数据包)。
图5(a)示出MMT数据包的构成例(语法)。MMT数据包被配置成包括MMT报头和MMT有效载荷。1位标志信息“C”表示是否具有字段“packet_counter”。示出的实例示出了存在“packet_counter”的实例。2位字段“FEC”表示前向纠错(FEC)的格式。
1位标志信息“X”表示是否具有MMT扩展报头,即,字段“header_extension”。在示出的实例中,示出存在“header_extension”的实例。1位标志信息“R”表示是否包括随机访问点,从而包括I图像。
6位字段“type”表示MMT数据包的类型。例如,“0x00”表示在有效载荷内包括媒体处理单元(MPU)的MMT数据包,并且“0x02”表示在有效载荷内包括信令消息的MMT数据包。
16位字段“packet_id”是用于识别视频、音频等的资产(asset)的标识符。32位字段“时间戳(timestamp)”表示用于传输的类型戳,即,MMT数据包从发送侧中出来的时间。以NTP短格式表示时间。“packet_sequence_number”表示具有相同“packet_id”的MMT数据包的顺序号。32位字段“packet_counter”表示不考虑“packet_id”的所有MMT数据包的顺序号。
在上述“X”的1位标志信息是“1”时,作为MMT扩展报头的字段“header_extension”设置在32位字段“packet_counter”之后。构成MMT有效载荷的字段“payload data(有效载荷数据)”和字段“source_FEC_payload_ID”在其后。
图5(b)示出MMT扩展报头的构成例(语法)。16位字段“类型(type)”表示扩展报头的类型。16位字段“长度(length)”表示后续扩展报头的字节尺寸。扩展报头的字节尺寸根据扩展报头的类型而不同。扩展报头的主体被插入到字段“header_extension_value”内。
图6(a)示出设置在上述MMT数据包的字段“有效载荷数据(payloaddata)”内的MMT有效载荷的构成例(语法)。该实例示出了MMT报头的“类型(type)”是“0x00”的MPU模式的情况。在第一部分内具有报头信息。16位字段“length”表示整个MMT有效载荷的字节尺寸。4位字段“FT”表示字段类型。“0”表示包括有“MPU元数据(MPU metadata)”;“1”表示包括“电影片段元数据(Movie Fragment metadata)”;并且“2”表示包括“MPU”。
在本文中,通过细分(即,分割)MPU,获得MMT片段单元(MFU)。例如,在视频的情况下,MFU可以设置为对应于一个NAL单元。此外,例如,在通信网络传输线路上传输的情况下,MFU可以配置成一个MTU尺寸或多个MTU尺寸。
此外,MTU从随机访问点(RAP)开始并且包括一个访问单元(AU)或多个AU。更具体而言,例如,在某些情况下,一个图像组(GOP)的图像可以具有一个MPU的配置。根据每个资产来定义MPU。因此,仅仅包括视频数据的视频的MPU由视频的资产产生,并且仅仅包括音频数据的音频的MPU由音频的资产产生。
1位标志信息“T”表示传输的是时控媒体(timed media)还是非时控媒体。“1”表示时控媒体,并且“0”表示非时控媒体。在实施方式中,假设传输时控媒体。
2位字段“f_i”表示整数个数据单元(DU)是否插入字段“DU有效载荷(DUpayload)”内以及插入通过数据单元的分割获得的第一、中间以及最后片段中的哪个。“0”表示插入整数个数据单元;“1”表示插入第一片段;“2”表示插入中间片段;并且“3”表示插入最后片段。
1位标志信息“A”表示多个数据单元是否插入字段“DU有效载荷”内。“1”表示插入多个数据单元,并且“0”表示不插入多个数据单元。在“f_i”是1到3时,8位字段“frag_counter”表示片段的数量。
32位字段“MPU_sequence_number”是表示MPU的顺序的数字并且是识别MPU的信息。例如,在一个GOP构成一个MPU的情况下,在GOP的“MPU_sequence_number”是“i”时,下一个GOP的“MPU_sequence_number”变成“i+1”。
字段“DU_length”、字段“DU_header”以及字段“DU_payload”设置在字段“MPU_sequence_number”之后。在上述“A=0”,即,在字段“DU有效载荷”内不插入多个数据单元的情况下,不存在16位字段“DU_length”。此外,在“FT=0/1”,即,包括有“MPU元数据”或“电影片段元数据”的情况下,不存在字段“DU_header”,。
图6(b)示出“DU_header”的构成例(语法)。该实例示出了“T=1”的情况,即,传输时控媒体的情况。32位字段“movie_fragment_sequence_number”表示MMT单元中的序号。例如,在划分I图像时,每个划分的图像变成MFU。32位字段“sample_number”表示在图像单元内的数字,例如,在视频的情况下。32位字段“偏移(offset)”表示从图像的前头起的偏移值(字节值),例如,在视频的情况下。
在MMT方案中,基于分割的ISO基媒体文件格式(ISO BMFF),在内容格式中传输视频等的传输媒体。图7示出在传输一个GOP的视频数据时在MMT文件和MMTP有效载荷之间的对应关系的实例。
MMT文件的配置与MP4文件的配置基本上大致相同。首先,具有盒体“ftyp”。随后,具有MMT特有盒体“mmpu”。随后,具有盒体“moov”,作为整个文件的元数据。
随后,具有电影片段。电影片段包括插入控制信息的盒体“moof”以及插入视频的编码数据的盒体“mdat”。在本文中,由于假设一个GOP构成一个MPU,所以仅仅具有电影片段的一个组合。
盒体(box)“ftyp”、“mmpu”以及“moov”中的每个的元数据,作为“MPU元数据”由一个MMT数据包传输。在这种情况下,“FT=0”。盒体“moof”的元数据,作为“电影片段元数据”由一个MMT数据包传输。在这种情况下,“FT=1”。包含在盒体“mdat”内的视频的编码数据分成“MFU”,并且每个MFU由一个MMT数据包传输。在这种情况下,“FT=2”。
接下来,描述MMT封包表(MMT package table,MPT)。如上所述,在MMT数据包中,在有效载荷内还存在包括信令消息的MMT数据包。作为信令消息之一,具有包括MMT的封包访问消息(PA消息)。MMT表示哪些组分(资产)构成一个广播服务。
图8示出封包访问消息(PA消息)和MP表(MPT:MMT封包表)的构成例。图9示出PA消息的主要参数的说明,并且图10示出MP表的主要参数的说明。
“message_id”是识别在各种类型的信令信息内的PA消息的固定值。“版本(version)”是表示PA消息的版本的8位整数值。例如,在其中构成MP表的一些参数也被更新的情况下,执行+1增量。“长度”是仅仅在该字段之后进行计数的字节数,以表示PA消息的尺寸。
设置在有效载荷字段内的表的索引信息设置在字段“扩展”内。与表的数量相同数量的字段“table_id”、相同数量的字段“table_version”以及相同数量的字段“table_length”设置在该字段内。“table_id”是识别表的固定值。“table_version”表示表的版本。“table_length”表示指示表的尺寸的字节数量。
MPT和预定数量的其他表设置装置PA消息的有效载荷的字段内。在后文中,描述MPT的配置。
“table_id”是在各种类型的信令信息内识别MP表的固定值。“版本”是表示MP表的版本的8位整数值。例如,在构成MP表的一些参数也被更新的情况下,执行+1增量。“长度”是仅仅在该字段之后进行计数的字节数,以表示MP表的尺寸。
“pack_id”是作为整个封包的识别信息,包括作为元件的由广播信号传输的所有信号和文件。识别信息是文本信息。“pack_id_len”表示文本信息的尺寸(字节数量)。字段“MPT_descripors”是与整个封包相关的描述符的储存区域。“MPT_dsc_len”表示字段的尺寸(字节数量)。
“num_of_asset”表示资产(信号、文件)的数量,作为构成封包的分量。设置对应于上述数字的以下资产回路。“asset_id”是唯一识别资产的信息(资产ID)。识别信息是文本信息。“asset_id_len”表示文本信息的尺寸(字节数量)。“gen_loc_info”是表示资产的获取站点的位置的信息。
字段“asset_descriptors”是与资产相关的描述符的储存区域。“asset_dsc_len”表示字段的尺寸(字节数量)。作为储存在字段“asset_descriptors”内的描述符,具有MPU时间戳描述符(MPU_timestamp_descriptor)。在描述符中,描述MPU的头部的呈现单元的呈现时间。
图11示出MPU时间戳描述符的结构例(语法)。16位字段“descriptor_tag”表示描述符类型。在本文中,字段表示MPU时间戳描述符。8位字段“descriptor_length”表示描述符的长度(尺寸),并且字段表示后续字节数量,作为描述符的长度。
存在与MPU的数量相同的数量的“MPU_sequence_number”和“MPU_presentation_time”的组合。如上所述,32位字段“MPU_sequence_number”是表示MPU的顺序的数字并且是识别MPU的信息。64位字段“MPU_presentation_time”表示MPU的头部的呈现单元的呈现时间。例如,在MPU=GOP的情况下,呈现时间表示GOP的头部的图像的呈现时间。
图12示出MMT方案传输序列的实例。在图中示出传输包括一个GOP的视频数据的MPU的实例。首先,传输在有效载荷内包括包含MPT的信令消息的MMT数据包。上述MPU时间戳描述符插入MPT内。在由编码器执行编码时,索引GOP的头部的图像的呈现时间,并且在MPU时间戳描述符中描述呈现时间。
在传输在有效载荷内包括包含MPT的信令消息的MMT数据包之后,传输在有效载荷内包括GOP的MMT数据包。在这种情况下,GOP分段,以MFU为单位传输。在MFU之前加入MMT有效载荷报头,使得配置MMTP有效载荷。整个MMTP有效载荷变成MMT数据包的有效载荷数据。
此时,虽然在GOP的数据之前,传输“MPU元数据”,但是在GOP的数据之后,传输“电影片段元数据”。在“电影片段元数据”内包括用于计算GOP的每个图像的解码时间(DT)和呈现时间(PT)的元数据。基本上,如果其并非在编码GOP的数据之后,则不能获得用于计算GOP的每个图像的DT和PT的信息。因此,在GOP的数据之后,传输“电影片段元数据”。
在使用“电影片段元数据”计算GOP的每个图像的DT和PT的情况下,在解码器中,需要延迟GOP的数据,直到接收“电影片段元数据”。因此,虽然在发送侧未延迟GOP的数据,但是在接收侧延迟数据。
[DT/PT信息的传输]
在实施方式中,将用于获取传输媒体的每个呈现单元(样本)的解码时间DT和呈现时间PT的时间获取信息(DT/PT信息)插入在有效载荷内包括媒体处理单元(MPU)的MMT数据包或者在有效载荷内包括信令消息的MMT数据包内,以传输。因此,可以将在接收侧根据解码时间和呈现时间执行处理的延迟向下抑制为低水平。
“使用MMT数据包的MMT扩展报头”
首先,描述使用包括MPU(MFU)的MMT数据包的MMT扩展报头的情况(参考图5(a)和5(b))。在这种情况下,每个样本(呈现单元)的DT/PT信息设置在包括样本的MMT数据包的MMT扩展报头(header_extension)内。
更具体而言,DT/PT信息设置在包括表示DT/PT信息的特定类型信息的扩展报头内。在这种情况下,作为DT/PT信息,用于通过参考在上述MPT的MPU时间戳描述符内描述的MPU的头部的呈现单元的呈现时间来计算呈现单元的解码时间和呈现时间的持续时间信息插入扩展报头内。
作为持续时间信息,例如,如下考虑第一形式和第二形式。描述第一形式的持续时间信息。第一形式的偏移信息包括由偏移持续时间表示的从第一呈现单元的呈现时间起的解码时间信息以及从解码时间起由偏移持续时间表示的呈现时间信息。
图13示出插入第一形式的持续时间信息的扩展报头(header_extension)的结构例(语法)。图14示出在结构例中的主要信息的内容(语义)。16位字段“类型”表示设置DT/PT信息的扩展报头,即,“dt_pt_shortcut_extension”。
16位字段“长度”表示在其后的扩展报头的字节尺寸。在此处,长度是固定值“4”。1位标志信息“PU_start_indicator”表示在MMT数据包内是否包括样本(呈现单元)的头部。“1”表示包括样本的头部,并且“0”表示不包括样本的头部。
17位字段“decoding_time_offset”表示从第一呈现单元的呈现时间起由偏移持续时间表示的解码时间信息。即,字段表示包含在MMT数据包内的视频、音频等的样本(呈现单元),并且样本的解码时间通过从包括MPU时间戳描述符的样本的MPU的“MPU_presentation_time”起由偏移持续时间表示。
在这种情况下,例如,字段由以1/(2**16)秒为单位的值表示。在这种情况下,精度大约是65KHz。此外,在这种情况下,由于“decoding_time_offset”具有正和负符号位,例如,在GOP包括15个图像并且持续时间是0.5秒时,对应于两个GOP的时间宽度可以由17位字段“decoding_time_offset”覆盖。因此,例如,在通过增加精度,字段可以表示为以1/(2**17)秒为单位的值的情况下,可以覆盖对应于一个GOP的时间宽度。
14位字段“presentation_time_offset”表示从解码时间偏移的持续时间表示的呈现时间信息。即,字段表示包含在MMT数据包内的视频、音频等的样本(呈现单元),并且表示相同样本的解码时间和呈现时间的持续时间。在这种情况下,例如,字段表示为1/(2**16)秒的值。
图15示出在接收侧计算解码时间DT和呈现时间PT的方法。如图所示,从包含在作为信令消息的MPT内的MPU时间戳描述符的字段“MPU_presentation_time”中获取第一呈现单元的呈现时间mpt。此外,从MMT数据包的扩展报头的字段“decoding_time_offset”和字段“presentation_time_offset”中获取每个呈现单元(样本)的解码时间信息dto和呈现时间信息pto。
在接收侧,使用以下公式(1)和(2),如图16(b)所示,基于获取信息,计算每个呈现单元的解码时间DT和呈现时间PT。
DT=mpt+dto...(1)
PT=DT+pto...(2)
在接收侧,如图16(a)所示,根据基于稍后描述的从发送侧传输的时间信息以及所计算的解码时间DT和所计算的呈现时间PT生成的时间信息(NTP),执行传输媒体的每个呈现单元的解码和呈现的控制。
接下来,描述第二形式的持续时间信息。第二形式的持续时间信息包括由从第一呈现单元的呈现时间偏移的持续时间表示的并且首先传输的呈现单元的解码时间信息、在第二和后续呈现单元中的每个之前从呈现单元的解码时间偏移的持续时间表示的解码时间信息、以及由从每个呈现单元的解码时间偏移的持续时间表示的呈现时间信息。
图17示出插入第二形式的持续时间信息的扩展报头(header_extension)的结构例(语法)。图18示出在结构例中的主要信息的内容(语义)。16位字段“类型”表示设置DT/PT信息的扩展报头,即,“dt_pt_shortcut_extension”。
16位字段“长度”表示在其后的扩展报头的字节尺寸。在此处,长度是固定值“4”。1位标志信息“PU_start_indicator”表示在MMT数据包内是否包括样本(呈现单元)的头部。“1”表示包括样本的头部,并且“0”表示不包括样本的头部。
16位字段“decoding_time_offset”表示由关于第一呈现单元的呈现时间起的偏移持续时间表示的解码时间信息。此外,字段表示由在相对于第二和后续呈现单元中的每个的解码时间之前的呈现单元中的解码时间起的偏移持续时间表示的解码时间信息。
即,字段表示包含在MMT数据包内的视频、音频等的样本(呈现单元),并且样本的解码时间由与紧接在前面的样本的偏移持续时间表示。然而,仅仅在第一样本的情况下,字段由与包括MPU时间戳描述符的样本的MPU的“MPU_presentation_time”的偏移持续时间表示。
在这种情况下,例如,字段由以1/(2**16)秒为单位的值表示。在这种情况下,精度大约是65KHz。此外,在这种情况下,由于“decoding_time_offset”具有正和负符号位,例如,在GOP包括15个图像并且持续时间是0.5秒时,对应于一个GOP的时间可以由16位字段“decoding_time_offset”表示。此外,在第二形式的偏移信息的情况下,估计值“decoding_time_offset”实际上不增大,与第一形式的偏移信息不同。因此,例如,在通过增加精度,字段可以表示为以1/(2**18)秒为单位的值。
15位字段“presentation_time_offset”表示由与解码时间的偏移持续时间表示的呈现时间信息。即,字段表示包含在MMT数据包内的视频、音频等的样本(呈现单元),并且表示相同样本的解码时间和呈现时间的持续时间。在这种情况下,例如,字段表示以1/(2**16)秒为单位的值。
图19示出在接收侧计算解码时间DT和呈现时间PT的方法。如图所示,从包含在作为信令消息的MPT内的MPU时间戳描述符的字段“MPU_presentation_time”中获取第一呈现单元的呈现时间mpt。此外,从MMT数据包的扩展报头的字段“decoding_time_offset”和字段“presentation_time_offset”中获取每个呈现单元(样本)的解码时间信息dto和呈现时间信息pto。
在接收侧,使用以下公式(3)和(4),如图20(b)所示,基于获取信息,计算每个呈现单元的解码时间DT和呈现时间PT。
DT=mpt+Σdto...(3)
PT=DT+pto...(4)
在接收侧,如图20(a)所示,根据基于稍后描述的从发送侧传输的时间信息以及所计算的解码时间DT和所计算的呈现时间PT生成的时间信息(NTP),执行传输媒体的每个呈现单元的解码和呈现的控制。
“扩展报头的传输频率”
接下来,相对于扩展报头(header_extension)的传输频率,例如,考虑以下第一和第二形式。在第一形式中,如图21所示,仅仅在包括样本(呈现单元)的头部的情况下,MMT扩展报头安装在MMT数据包内。在这种情况下,抑制生成的信息量,因此,可以节省带宽。
在第二形式中,如图22所示,始终在MMT数据包内安装MMT扩展报头。在这种情况下,仅仅在包括样本(呈现单元)的头部的情况下,设置“PU_start_indicator=1”。在这种情况下,可以抑制报头信息量的干扰,从而可以简化在接收侧的报头处理。
如上所述,将DT/PT信息插入MMT数据包的MMT扩展报头内,以传输,使得不延迟MPU的数据,响应于接收每个呈现单元(样本)的数据,可以立即计算呈现单元的解码时间和呈现时间。因此,可以将在接收侧根据解码时间和呈现时间执行处理的延迟向下抑制为低水平。
“使用MPU扩展时间戳描述符”
接下来,描述使用新定义的MPU扩展时间戳描述符(MPU_extended_timestamp_descriptor)的情况。在这种情况下,MPU的每个样本(呈现单元)的DT/PT信息设置在MPU扩展时间戳描述符内。
MPU扩展时间戳描述符储存在MPT的字段“asset_descriptors”(参考图8)内。作为包含在MPU扩展时间戳描述符内的每个样本(呈现单元)的DT/PT信息,与在DT/PT信息插入MMT数据包的MMT扩展报头内的上述情况的描述一样,考虑第一和第二形式。
即,第一形式的持续时间信息包括由从第一呈现单元的呈现时间偏移的偏移持续时间表示的解码时间信息以及由从解码时间偏移的偏移持续时间表示的呈现时间信息。此外,第二形式的持续时间信息包括由从第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息、从在第二和后续呈现单元中的每个之前的呈现单元的解码时间偏移的偏移持续时间表示的解码时间信息、以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
图23示出MPU时间戳描述符的结构例(语法)。16位字段“descriptor_tag”表示描述符类型。在本文中,字段表示MPU时间戳描述符。8位字段“descriptor_length”表示描述符的长度(尺寸),并且字段表示后续字节数量,作为描述符的长度。
存在与MPU的数量相同的数量的“MPU_sequence_number”和“number_of_PU”。32位字段“MPU_sequence_number”是表示MPU的命令的数并且是识别MPU的信息。16位字段“number_of_PU”表示包含在MPU内的样本(呈现单元)的数。此外,存在与样本(呈现单元)的数量相同的数量的16位字段“presentation_time_offset”和16位字段“decoding_time_offset”的组合。
虽然省略了详细描述,但是与设置在MMT数据包的上述MMT扩展报头的字段“decoding_time_offset”和字段“presentation_time_offset”内的解码时间信息和呈现时间信息(参考图13和17)相同的解码时间信息和呈现时间信息设置在字段“decoding_time_offset”和字段“presentation_time_offset”内。
图24示出在接收侧计算解码时间DT和呈现时间PT的方法。该实例示出了作为DT/PT信息的持续时间信息是第二形式的持续时间信息的情况。
如图所示,从包含在作为信令消息的MPT内的MPU时间戳描述符的字段“MPU_presentation_time”中获取第一呈现单元的呈现时间mpt。此外,从包含在作为信令消息的MPT内的MPU扩展时间戳描述符的字段“decoding_time_offset”和字段“presentation_time_offset”中获取每个呈现单元(样本)的解码时间信息dto和呈现时间信息pto。
在接收侧,使用上述公式(3)和(4),基于获取信息,计算每个呈现单元的解码时间DT和呈现时间PT(参考图20(b))。在接收侧,根据基于稍后描述的从发送侧传输的时间信息以及所计算的解码时间DT和所计算的呈现时间PT生成的时间信息(NTP),执行传输媒体的每个呈现单元的解码和呈现的控制(参考图20(a))。
此外,作为包含在MPU扩展时间戳描述符内的每个样本(呈现单元)的DT/PT信息,还可以考虑第三形式的持续时间信息,在DT/PT信息插入MMT数据包的MMT扩展报头内的上述情况下,未描述该持续时间信息。即,第三持续时间信息包括由丛第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息、表示每个呈现单元的持续时间的信息、以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
图25和26示出MPU扩展时间戳描述符的结构例(语法)。16位字段“descriptor_tag”表示描述符类型。在本文中,字段表示MPU扩展时间戳描述符。8位字段“descriptor_length”表示描述符的长度(尺寸),并且字段表示后续字节数量,作为描述符的长度。
1位字段“timescale_flg”表示标志,该标志表示是否描述时标名称。在描述时标名称的情况下,字段设置为“1”。此外,在使用预先定义的时标的情况下,字段设置为“0”。2位字段“PU_duration_description_type”表示呈现单元持续时间的描述类型。在使用预先定义的固定值的情况下,字段设置为“0”;在指定固定值的情况下,字段设置为“2”。
在“timescale_flg=1”时,存在32位字段“timescale”。该字段是表示在描述符中的持续时间的单元的值,并且是诸如90k或2**n值。通过将该值除以一秒所获得的持续时间定义为单元(单位)。此外,由于32位大,所以考虑根据模式指示该值。例如,可以考虑作为8位,“1”表示90k,“2”表示2**16等。
在“PU_duration_description_type=1”时,存在16位字段“default_PU_duration”。该字段表示默认呈现单元持续时间,该持续时间是基于时标的在描述符的有效范围内的呈现单元持续时间的固定值。呈现单元持续时间是表示在“PU_duration_description_type=1”中的每个呈现单元的持续时间的信息。此外,在“PU_duration_description_type=0”的情况下,由于每个呈现单元的持续时间是限定的固定值,所以“PU_duration_description_type=0”本身是表示每个呈现单元的持续时间的信息。
此外,存在与MPU的数量相同的数量的字段“MPU_sequence_number”、相同的数量的字段“SAP_type”、“initial_decoding_time_offset”、以及相同的数量的字段“number_of_PU”。32位字段“MPU_sequence_number”是表示MPU的命令的数字并且是识别MPU的信息。
3位字段“SAP_type”表示GOP的配置和依赖性,作为MPU。例如,“SAP_type=1”表示GOP以I图像开始并且是关闭的GOP(closed GOP)。此外,例如,“SAP_type=2”表示GOP以B图像开始并且是关闭的GOP。此外,例如,“SAP_type=3”表示GOP是打开的GOP。
16位字段“initial_decoding_time_offset”是初始解码时间偏移,表示基于时标在从开始点偏移的偏移时间首先传输的呈现单元的解码时间。初始解码时间偏移是由从第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息。
8位字段“number_of_PU”表示包含在MPU内的样本(呈现单元)的数量。此外,存在与样本的数量相同的数量的16位字段“decoding_presentation_time_offset”。该字段是解码/呈现时间偏移,表示基于时标的从相同呈现单元的解码时间到呈现时间的持续时间。解码/呈现时间偏移是呈现时间信息,该信息由与每个呈现单元的解码时间的偏移持续时间表示。
在“PU_duration_description_type=2”时,存在与包含在MPU内的样本(呈现单元)的数量相同的数量的16位字段“PU_duration”。该字段表示基于时标的每个样本(呈现单元)的呈现单元持续时间。呈现单元持续时间是表示在“PU_duration_description_type=2”的情况下每个呈现单元的持续时间的信息。
图27示出在接收侧计算解码时间DT和呈现时间PT的方法。如图所示,从包含在作为信令消息的MPT内的MPU时间戳描述符的字段“MPU_presentation_time”中获取第一呈现单元的呈现时间mpt。
此外,从包含在作为信令消息的MPT内的MPU时间戳描述符的字段“initial_decoding_time_offset”中获取首先传输的呈现单元(样本)的解码时间信息idto。此外,从描述符的字段“decoding_presentation_time_offset”中获取每个呈现单元(样本)的呈现时间信息dpto。
此外,基于描述符的描述信息,获取表示每个呈现单元(样本)的持续时间的信息Pud。即,在“PU_duration_description_type=0”的情况下,表示每个呈现单元的持续时间的信息Pud定义为预先定义的固定值。此外,在“PU_duration_description_type=1”的情况下,从字段“default_PU_duration”中获取表示每个呈现单元的持续时间的信息Pud,作为固定值。此外,在“PU_duration_description_type=2”的情况下,从字段“default_PU_duration”中获取表示每个呈现单元的持续时间的信息Pud。
在接收侧,使用以下公式(5)、(6)以及(7),如图28(b)所示,基于获取信息,计算每个呈现单元的解码时间DTk和呈现时间PTk。
DTk=mpt+((k-1)*PUd-idto)*2N/ts...(5)
DTk=mpt+(ΣPUdi-idto)*2N/ts...(6)
PTk=DTk+dptok*2N/ts...(7)
公式(5)是在“PU_duration_description_type=0/1”的情况下,计算每个呈现单元的解码时间DTk的公式。公式(6)是在“PU_duration_description_type=2”的情况下,计算每个呈现单元的解码时间DTk的公式。在本文中,项“ΣPudi”在k=1的情况下变成0,并且在k>1的情况下变成从i=1到k-1的总和。
在DTk和PTk与单元一致的状态中,获得每个计算公式,即,从MPU时间戳描述符的字段“MPU_presentation_time”中获得的第一呈现单元的呈现时间mpt的1/(2**N)秒(参考图28(a))。在每个公式中,在项“2N/ts”中,执行允许由“时标”表示的单元根据mpt单元的减少。
在接收侧,根据基于稍后描述的从发送侧传输的时间信息以及所计算的解码时间DTk和如上所述所计算的呈现时间PTk生成的时间信息(NTP),执行传输媒体的每个呈现单元的解码和呈现的控制(参考图28(a))。
接下来,描述MPU扩展时间戳描述符的传输序列。虽然MPU扩展时间戳描述符设置在MPU的AV数据之前,如图29所示,但是在AV信号输入编码器缓冲器(Enc缓冲器)以作为广播流传输之前的DT/PT确定时间,MPU扩展时间戳描述符立即设置在MPT内。
如果在AV数据内存在与在缓冲器内的GOP或更多对应的延迟,则由于在MPU扩展时间戳描述符中不存在延迟,所以DT/PT信息可以在从解码器缓冲器(Dec缓冲器)中输出时,在接收器内安全地设置为处于可用状态。
如上所述,将DT/PT信息插入MPU扩展时间戳描述符内,以传输,使得在不延迟MPU的数据的情况下,响应于接收每个呈现单元(样本)的数据,可以立即计算呈现单元的解码时间和呈现时间。因此,可以将在接收侧根据解码时间和呈现时间执行处理的延迟向下抑制为低水平。
图30示出广播发送系统100的构成例。广播发送系统100被配置成包括NTP时钟生成单元(时钟单元)111、信号发送单元112、视频编码器113、音频编码器114以及MMT信令编码单元115。此外,广播发送系统100被配置成包括TLV信令生成单元116、N个IP服务多路复用器117-1到117-N、TLV多路复用器118以及调制/发送单元119。
在NTP时钟生成单元(时钟单元)111中,生成与从外部获取的NTP时间信息同步的NTP时间信息,并且将包括NTP时间信息的IP数据包传输给IP服务多路复用器117-1。信号发送单元112是例如TV台中的演播室或者记录再生装置,例如,VTR,以及是发送作为传输媒体的基带信号(例如,视频或音频)的系统。
在视频编码器113中,从信号发送单元112中传输的视频信号被编码并且进一步打包,并且包括视频的MMT数据包的IP数据包传输给IP服务多路复用器117-1。在音频编码器114中,从信号发送单元112中传输的音频信号被编码并且进一步打包,并且包括音频的MMT数据包的IP数据包传输给IP服务多路复用器117-1。
在本文中,在如上所述使用MMT数据包的MMT扩展报头的情况下,包括用于获取在数据包内包含的样本(呈现单元)的解码时间(DT)和呈现时间(PT)的时间获取信息(DT/PT信息)的扩展报头设置在视频的MMT数据包或音频的MMT数据包内。
在MMT信令编码单元115中,生成信令消息,并且包括信令消息设置在有效载荷部内的MMT数据包的IP数据包传输给IP服务多路复用器117-1。信令消息包括MMT封包表(MPT)。将MPU时间戳描述符(MPU_timestamp_descriptor)插入MPT内。在本文中,在如上所述使用新定义的MPU扩展时间戳描述符(MPU_extended_timestamp_descriptor)的情况下,将MPU扩展时间戳描述符进一步插入MPT内。
在IP服务多路复用器117-1中,执行从各编码器中传输的IP数据包的时分多路复用。此时,在IP服务多路复用器117-1中,UDP报头和TLV报头加入每个IP数据包,使得设置了TLV数据包。在IP服务多路复用器117-1中,配置插入一个转发器内的一个信道部分。IP服务多路复用器117-2到117-N具有与IP服务多路复用器117-1的功能相同的功能,使得配置插入一个转发器内的其他信道部分。
在TLV信令生成单元116中,生成信令消息,并且生成信令信息设置在有效载荷部内的TLV数据包。在TLV多路复用器118中,多路复用由IP服务多路复用器117-1到117-N和TLV信令生成单元116生成的TLV数据包,使得生成MMT方案广播流(参考图4(e))。在调制/发送单元119中,对由TLV多路复用器118生成的MMT方案广播流执行RF调制处理,并且将所产生的流传输给RF传输线。
图31示出接收器200的构成例。接收器200被配置成包括调谐器/解调单元201、多路分用器202、NTP时钟再生单元(时钟单元)203以及系统控制单元204。此外,接收器200被配置成包括视频控制单元205、视频解码缓冲器206、视频解码器207、音频控制单元208、音频解码缓冲器209以及音频解码器210。
在调谐器/解调单元201中,从天线(未示出)中接收中间频率信号,并且解调该信号,使得获得MMT方案广播流(参考图4(e))。在多路分用器202中,对广播流执行多路分用处理和拆包处理,并且提取NTP时间信息、信令信息、视频和音频的编码数据以及视频和音频的DT/PT信息。
在多路分用器202中,由MMT-SI滤波器单元202a执行滤波,使得提取MMT信令信息(信令消息),并且将信令信息传输给系统控制单元204。此外,在多路分用器202中,由TLV-SI滤波器单元202b执行滤波,使得提取TLV信令信息,并且将TLV信令信息传输给系统控制单元204。
由多路分用器202提取的NTP时间信息传输给NTP时钟再生单元203。在NTP时钟再生单元203中,再生与NTP时间信息同步的NTP时间信息。通过这种方式再生的NTP时间信息传输给视频控制单元205和音频控制单元208。
由多路分用器202提取的视频的编码数据暂时储存在视频解码缓冲器206内。此外,由多路分用器202提取的音频的编码数据暂时储存在音频解码缓冲器209内。
在如上所述使用MMT数据包的MMT扩展报头的情况下,在多路分用器202中,从视频和音频的MMT数据包的MMT扩展报头中提取视频和音频的DT/PT信息,以分别传输给视频控制单元205和音频控制单元208。
另一方面,在如上所述使用MPU扩展时间戳描述符的情况下,在系统控制单元204中,从MPT的视频和音频的MPU扩展时间戳描述符(参考图23、图25或图26)中提取视频和音频的DT/PT信息,以分别传输给视频控制单元205和音频控制单元208。
此外,在系统控制单元204中,从MPT的视频和音频的MPU时间戳描述符(参考图11)中提取视频和音频的MPU的第一样本(呈现单元)的呈现时间,以分别传输给视频控制单元205和音频控制单元208。
在视频控制单元205中,基于MPU的第一样本(呈现单元)的呈现时间以及MPU的每个样本(呈现单元)的DT/PT信息(参考上述公式(1)和(2)、公式(3)和(4)、或者公式(5)、(6)以及(7)),计算各样本(呈现单元)的解码时间DT和呈现时间PT。
在视频控制单元205中,允许视频解码器207对储存在视频解码缓冲器206内的每个样本(呈现单元)的编码视频执行解码和呈现的指令。在这种情况下,在视频控制单元205中,通过参考从NTP时钟再生单元203中供应的NTP时间信息,在如上所述获得的解码时间DT和呈现时间PT的定时,执行指令。
在视频解码器207中,基于视频控制单元205的指令,对储存在视频解码缓冲器206内的每个样本(呈现单元)的编码视频执行解码处理。因此,在呈现时间PT的定时,从视频解码器207中依次输出每个样本(呈现单元)的视频。
此外,在音频控制单元208中,基于MPU的第一样本(呈现单元)的呈现时间以及MPU的每个样本(呈现单元)的DT/PT信息(参考上述公式(1)和(2)、公式(3)和(4)、或者公式(5)、(6)以及(7)),计算各样本(呈现单元)的解码时间DT和呈现时间PT。
在音频控制单元208中,允许音频解码器210对储存在音频解码缓冲器209内的每个样本(呈现单元)的编码音频执行解码和呈现的指令。在这种情况下,在音频控制单元208中,通过参考从NTP时钟再生单元203中供应的NTP时间信息,在如上所述获得的解码时间DT和呈现时间PT的定时,执行指令。
在音频解码器210中,基于音频控制单元208的指令,对储存在音频解码缓冲器209内的每个样本(呈现单元)的编码音频执行解码处理。因此,在呈现时间PT的定时,从音频解码器210中依次输出每个样本(呈现单元)的音频。
现在,描述网络时间协议(NTP)。NTP是由国际电信联盟(ITU)作为互联网标准规定的协议。客户端(例如,个人电脑或智能电话)根据NTP协议访问NTP服务器,使得获得时间信息。
如图32(a)所示,对于NTP服务器,具有层(层次),并且数字越低,精度就越高。例如,层1(层次1)的NTP服务器与原子时钟直接相关联,并且时间信息的误差小于1μs。由NTP服务器供应的时间信息由从1900年1月1日累积的秒数表示(UTC;协调世界时).
图32(b)示出由NTP服务器供应的时间信息的格式(NTP时间戳长格式)。时间信息具有64位格式,上面32位表示UTC的累积秒数,并且下面32位表示次秒(不足秒,subsecond)。图32(c)示出由NTP服务器供应的时间信息的格式(NTP时间戳短格式)。时间信息具有32位格式,上部16位表示UTC的累积秒数,并且下部16位表示次秒。
在客户端(例如,个人电脑或智能电话)根据NTP协议访问NTP服务器并且获得时间信息的情况下,不清楚访问NTP服务器的哪一层。因此,同步访问多个NTP服务器,并且取平均值,使得抑制变化,并且获得更精确的时间信息。
图33和图34示出了在MMT方案中的时钟同步/呈现同步方法。图33示出了广播发送系统100侧的构成例。图34示出了接收器200侧的构成例。
首先,参考图33,描述广播发送系统100侧的构成例。广播发送系统100被配置成包括NTP/IP接口131和32位寄存器132a和132b。此外,广播发送系统100被配置成包括:生成2**24Hz的时钟(系统时钟)的压控振荡器133;构成时钟单元的8位计数器134a、16位计数器134b以及32位计数器134c;以及比较器135。此外,广播发送系统100被配置成包括打包单元136、视频编码处理单元137、打包单元138、编码缓冲器139、视频同步控制单元140、MMT信令编码单元141以及多路复用器142。
例如,NTP/IP接口131以预定的时间间隔通过互联网访问NTP服务器(未示出),使得获取64位格式的时间信息(参考图32(b))。在32位寄存器132a和132b中,储存由NTP/IP接口131获取的64位格式时间信息。上面32位的位数据储存在32位寄存器132a内,并且下面32位的位数据储存在32位寄存器132b内。每当由NTP/IP接口131获取64位格式时间信息,更新储存在32位寄存器132a和132b内的内容。
在本文中,在时间信息的获取频率足够高的情况下,上述配置有利。然而,在频率低的情况下,可以考虑寄存器132a和132b作为自动指示时间的计数器连续操作,使得再生NTP服务器的时钟。在本文中,在表示获取的时间信息的下面32位的寄存器132b的输出全部变成0时,表示时间信息的上面32位的寄存器132a的输出设置为32位计数器134c的初始值,并且16位计数器134b和8位计数器134a均设置为0。设置操作限于在激活广播发送系统100时的一次。
在压控振荡器133中,生成2**24Hz的时钟(系统时钟)。在8位计数器134a中,计数从压控振荡器133中输出的2**24Hz的时钟。在16位计数器134b中,计数8位计数器134a的进位输出。即,在实施方式中,8位计数器134a和16位计数器134b构成24位计数器。
在32位计数器134c中,计数作为16位计数器134b的进位输出的1Hz的时钟,使得可以获得32位的位输出,作为高度精确的时间信息(再生UTC)。通过从初始值起计数器的运算,8位计数器134a、16位计数器134b以及32位计数器134c的56位位输出变成系统时间时钟(STC),作为时间信息。
在比较器135中,在更新储存在32位寄存器132a和132b内的内容时,上述56位系统时间时钟被锁存,并且与储存在寄存器内的内容相比,即,从NTP服务器中获取的时间信息(排除下面8位)。接下来,将比较误差信号作为控制信号从比较器135中供应给压控振荡器133。
压控振荡器133、计数器134a、134b以及134c以及比较器135构成锁相环(PLL)电路。因此,在压控振荡器133中,生成与从NTP服务器中获取的64位格式时间信息同步的2**24Hz的时钟(系统时钟)。此外,在计数器134a、134b以及134c中,生成56位时间信息,包括2**24Hz的时钟的频率信息并且与从NTP服务器中获取的64位格式时间信息同步。
将56位时间信息供应给打包单元136。在打包单元136中,将全零的8位加入56位时间信息的低电平中,以获得64位格式时间信息(参考图28(b))。在打包单元136中,基于64位时间信息,生成IP数据包,该IP数据包包括具有2**24Hz的时钟的频率信息的NTP时钟参考(NTP_CR:NTP时钟参考)。
在视频编码处理单元137中,与由压控振荡器133获得的2**24Hz的时钟同步地编码视频(视频数据)。在这种情况下,适当地乘以或者除以时钟2**24Hz,以转换成要使用的期望频率。在打包单元138中,编码视频的基本流分成具有预定尺寸的大块,并且生成MMT数据包,其中,每个大块包含在有效载荷部内。MMT数据包通过编码缓冲器139传输给多路复用器142。
在MMT信令编码单元141中,生成信令消息,并且将包括信令消息设置在有效载荷部内的MMT数据包的IP数据包传输给多路复用器142。
由计数器134a、134b以及134c获得的56位时间信息供应给视频同步控制单元140。在视频同步控制单元140中,基于头部的图像(样本=呈现单元)的编码定时,获得由视频编码处理单元137所编码的视频的每个GOP的各图像的呈现时间(PT)。将呈现时间mpt供应给MMT信令生成单元141。
在MMT信令编码单元141中,对于由视频编码处理单元137编码的视频的每个GOP,生成包括图像的呈现时间mpt的MPU时间戳描述符(MPU_timestamp_descriptor),并且生成包括插入有描述符的MMT封包表(MPT)的信息消息。
此外,在视频同步控制单元140中,对于由视频编码处理单元137编码的视频的每个GOP,基于每个图像的编码定时,生成上述DT/PT信息(用于获取解码时间DT和呈现时间PT的时间获取信息)。
在如上所述使用MMT数据包的MMT扩展报头的情况下,由视频同步控制单元140生成的DT/PT信息供应给打包单元138。在打包单元138中,包括DT/PT信息的MMT扩展报头(header_extension)设置在视频的MMT数据包内。
此外,在如上所述使用MMT扩展时间戳描述符(MPU_extended_timestamp_descriptor)的情况下,由视频同步控制单元140生成的DT/PT信息供应给MMT信令编码单元141。在MMT信令编码单元141中,对于由视频编码处理单元137编码的视频的每个GOP,生成包括每个图像的DT/PT信息的MMT扩展时间戳描述符,并且生成包括插入描述符的MMT封包表(MPT)的信息消息。
如上所述,将包括NTP时钟参考的IP数据包、包括编码视频的MMT数据包、以及包括信令消息的MMT数据包供应给多路复用器142。此外,虽然未示出,但是生成包括编码音频等的MMT数据包,与包括编码视频的MMT数据包一样,并且将MMT数据包供应给多路复用器142。在多路复用器142中,将进一步需要的报头加入每个数据包中,使得生成MMT方案广播流。传输MMT方案广播流,作为广播信号。
接下来,参考图34描述接收器200侧的构成例。接收器200被配置成包括:多路分用器231;压控振荡器232,其生成2**24Hz的时钟(系统时钟);构成时钟单元的8位计数器233a、16位计数器233b以及32位计数器233c;以及比较器234。此外,接收器200被配置成包括MMT信令解码单元235、视频同步控制单元236、拆包单元237、解码缓冲器238、以及视频解码处理单元239。在本文中,生成系统时钟的压控振荡器232不必具有与发送系统的频率相同的频率,并且例如,甚至在2**22Hz的情况下,可以使用2**n(n是整数)。
将作为接收的广播信号的MMT方案广播流供应给多路分用器231。在多路分用器231中,从包括NTP时钟参考(NTP_CR)的IP数据包中提取NTP_CR。在调谐期间或者在供电期间,首先接收的64位NTP_CR的上面56位设置为在配置有计数器233a、计数器233b以及计数器233c的56位计数器中的初始值,并且将随后接收的NTP_CR供应给比较器234。
压控振荡器232、计数器233a、233b以及233c以及比较器234构成锁相环(PLL)电路。因此,在压控振荡器232中,生成与NTP_CR同步的2**24Hz的时钟(系统时钟)。2**24Hz的时钟的频率等于由上述广播发送系统100的压控振荡器133生成的时钟的频率,使得实现时钟同步。
此外,在计数器233a、233b以及233c中,生成与NTP_CR同步的系统时钟。系统时钟与由上述广播发送系统100的计数器134a、134b以及134c生成的系统时钟一致。因此,如上所述,将用于获取视频和音频的每个呈现单元的解码时间DT和呈现时间PT的信息(呈现时间mpt和DT/PT信息)插入MMT方案广播流内,使得实现呈现同步。
由多路分用器231提取的信令消息供应给MMT信令解码单元235。在MMT信令解码单元235中,从包含在MMT封包表(MPT)内的MPU时间戳描述符(MPU_timestamp_descriptor)中提取视频的每个GOP的图像的呈现时间mpt。将呈现时间mpt供应给视频同步控制单元236。
此外,在如上所述使用MPU扩展时间戳描述符(MPU_extended_timestamp_descriptor)的情况下,在MMT信令解码单元235中,从包含在MMT封包表(MPT)内的MPU扩展时间戳描述符中提取视频的每个GOP的每个图像的DT/PT信息。将DT/PT信息供应给视频同步控制单元236。
将由多路分用器231提取的包括编码视频的MMT数据包供应给拆包单元237,以拆包。由拆包单元237获得编码数据暂时储存在解码缓冲器238内。
此外,在如上所述使用MMT数据包的MMT扩展报头的情况下,在拆包单元237中,从包含在MMT数据包内的MMT扩展报头(header_extension)中提取视频的每个GOP的每个图像的DT/PT信息。将DT/PT信息供应给视频同步控制单元236。
将由计数器233a、233b以及233c生成的系统时钟供应给视频同步控制单元236。在这种情况下,不必供应所有56位,而是仅仅可以供应对应于由视频同步控制单元236计算的解码时间DT和呈现时间PT的精度的位数。
例如,在由视频同步控制单元236计算的解码时间(DT)和呈现时间(PT)的精度是1/2**16秒(大约15μs)的情况下,仅仅32位计数器233c和16位计数器233b的(32+16)位输出就足够。此外,在更高精度的情况下,例如,1/2**18秒(3.8μs),还需要8位计数器233a的位输出。
在视频同步控制单元236中,基于呈现时间mpt以及DT/PT信息(参考上述公式(1)和(2)、公式(3)和(4)、或者公式(5)、(6)以及(7)),计算视频的每个GOP的每个图像的解码时间DT和呈现时间PT。在视频同步控制单元236中,允许视频解码处理单元239对储存在解码缓冲器238内的每个图像的编码视频执行解码和呈现的指令。在这种情况下,在视频同步控制单元236中,通过参考由计数器233a、233b以及233c生成的系统时钟,在如上所述获得的解码时间DT和呈现时间PT,执行指令。
在视频解码处理单元239中,基于视频同步控制单元236的指令,在储存在解码缓冲器238内的每个图像的编码视频上执行解码处理。因此,在呈现时间PT,从视频解码处理单元239中依次输出每个图像的视频。此外,虽然未示出,但是在多路分用器231中,还提取并且处理包括编码音频的MMT数据包,与上述视频的情况一样,以获得基带的音频数据,使得输出音频。
如上所述,在图1示出的发送/接收系统10中,在MMT方案广播系统内包括了包括时钟的频率信息、与从外部获得的时间信息同步的时间信息(NTP_CR)。因此,在接收侧,基于时间信息,可以生成与发送侧的时钟相同的时钟(系统时钟),使得可以实现时钟同步。
在这种情况下,时钟的频率设置为2**n Hz(例如,n=24到28),使得促进生成与从外部获得的NTP长格式时间信息同步的时间信息,并且可以允许生成的时间信息对应于NTP长格式。
此外,在图1示出的发送/接收系统10中,将用于获取基于与从外部获取的时间信息同步的时间信息(系统时钟)获得的视频和音频的每个呈现单元的解码时间DT和呈现时间PT的信息(呈现时间mpt、DT/PT信息插入MMT方案广播流内。因此,可以基于该信息和时间信息(系统时钟),实现呈现同步。
此外,在图1示出的发送/接收系统10中,MMT数据包的MMT扩展报头或新定义的MPU扩展时间戳描述符用于传输用于获取每个样本(呈现单元)的解码时间DT和呈现时间PT的DT/PT信息。因此,可以将在接收侧根据解码时间和呈现时间执行处理的延迟向下抑制为低水平。
<2、变形例>
在上述实施方式中,示出了处理MMT方案广播流的实例。虽然省略了详细描述,但是本技术可以适用于甚至使用相同广播流的情况。
此外,本技术可以采用如下配置:
(1)一种发送设备,包括:
时钟生成单元,其生成与从外部获得的时间信息同步的时钟;
时间信息生成单元,其生成包括所述时钟生成单元所生成的时钟的频率信息并且与从外部获得的时间信息同步的时间信息;以及
发送单元,其发送广播信号,包括传输媒体、用于获取基于所述时间信息生成单元所生成的时间信息而获得的传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息、以及所述时间信息生成单元所生成的时间信息。
(2)根据(1)所述的发送设备,
其中,对于包括传输媒体的预定数量的呈现单元的每个呈现单元组,所述时间获取信息包括:
所述呈现单元组的第一呈现单元的呈现时间,以及
通过参考所述第一呈现单元的呈现时间,计算所述呈现单元组的每个呈现单元的解码时间和呈现时间的持续时间信息。
(3)根据(2)所述的发送设备,
其中,所述持续时间信息包括
由从所述第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息、表示每个呈现单元的持续时间的信息、以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
(4)根据(2)所述的发送设备,
其中,所述持续时间信息包括
由从所述第一呈现单元的呈现时间偏移的偏移持续时间表示的解码时间信息以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
(5)根据(2)所述的发送设备,
其中,所述持续时间信息包括
由从所述第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息、从在第二和后续呈现单元中的每个之前的呈现单元的解码时间偏移的偏移持续时间表示的解码时间信息、以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
(6)根据(2)到(4)中任一项所述的发送设备,
其中,所述广播信号包括:第一数据包,其包括传输媒体;第二数据包,其包括关于传输媒体的信息;以及第三数据包,其包括由所述时间信息生成单元生成的时间信息,并且
将所述第一呈现时间和持续时间信息插入所述第二数据包内。
(7)根据(2)到(4)中任一项所述的发送设备,
其中,所述广播信号包括:第一数据包,其包括传输媒体;第二数据包,其包括关于传输媒体的信息;以及第三数据包,其包括由所述时间信息生成单元生成的时间信息,
将所述第一呈现时间插入所述第二数据包内,并且
将所述持续时间信息插入所述第一数据包内。
(8)根据(7)所述的发送设备,其中,将所述持续时间信息插入所述第一数据包的扩展报头内。
(9)根据(8)所述的发送设备,
其中,在包括所述呈现单元的头部时,所述扩展报头安装在所述第一数据包内。
(10)根据(8)所述的发送设备,
其中,所述扩展报头始终安装在所述第一数据包内,并且将表示在所述第一数据包内是否包括所述呈现单元的头部的标志信息进一步插入所述扩展报头内。
(11)根据(1)到(10)中任一项所述的发送设备,
其中,由所述时钟生成单元生成的时钟的频率是2**n Hz。
(12)一种发送方法,包括:
时钟生成步骤,生成与从外部获得的时间信息同步的时钟;
时间信息生成步骤,用于生成包括在所述时钟生成步骤中生成的时钟的频率信息并且与从外部获得的时间信息同步的时间信息;以及
传输步骤,用于传输广播信号,包括传输媒体、用于获取基于在所述时间信息生成步骤中生成的时间信息而获得的传输媒体的每个呈现单元的解码时间和呈现时间的时间信息、以及在所述时间信息生成步骤中生成的时间信息。
(13)一种接收设备,包括:
接收单元,其接收广播信号,包括传输媒体、用于获取传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息、以及包括与从外部获得的时间信息同步的时钟的频率信息并且与从外部获得的时间信息同步的时间信息;
时间信息生成单元,其基于包含在广播信号内的时间信息生成时钟并且使用所述时钟生成与该时间信息同步的时间信息;
时间计算单元,其基于包含在所述广播信号内的时间获取信息,计算所述传输媒体的每个呈现单元的解码时间和呈现时间;以及
处理单元,其基于由所述时间计算单元计算的解码时间和呈现时间以及由所述时间信息生成单元生成的时间信息,处理包含在每个呈现单元的广播信号内的传输媒体。
(14)根据(13)所述的接收设备,
其中,对于包括传输媒体的预定数量的呈现单元的每个呈现单元组,
用于获取传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息包括:
所述呈现单元组的第一呈现单元的呈现时间,以及
通过参考所述第一呈现单元的呈现时间,计算所述呈现单元组的每个呈现单元的解码时间和呈现时间的持续时间信息。
(15)根据(14)所述的接收设备,
其中,所述持续时间信息包括:
由从所述第一呈现单元的呈现时间偏移的偏移持续时间表示的并且首先传输的呈现单元的解码时间信息、表示每个呈现单元的持续时间的信息、以及由从每个呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
(16)根据(14)或(15)所述的接收设备,
其中,所述广播信号包括:第一数据包,其包括传输媒体;第二数据包,其包括关于传输媒体的信息;以及第三数据包,其包括时间信息,并且
将所述第一呈现时间和持续时间信息插入所述第二数据包内。
(17)根据(14)或(15)所述的接收设备,
其中,所述广播信号包括:第一数据包,其包括传输媒体;第二数据包,其包括关于传输媒体的信息;以及第三数据包,其包括时间信息,
将所述第一呈现时间插入所述第二数据包内,并且
将所述持续时间信息插入所述第一数据包内。
(18)一种接收方法,包括:
接收步骤,用于接收广播信号,包括传输媒体、用于获取传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息、以及包括与从外部获得的时间信息同步的时钟的频率信息,并且与从外部获得的时间信息同步的时间信息;
时间信息生成步骤,用于基于包含在广播信号内的时间信息生成时钟并且使用所述时钟生成与该时间信息同步的时间信息;
时间计算步骤,用于基于包含在所述广播信号内的时间获取信息,计算所述传输媒体的每个呈现单元的解码时间和呈现时间;以及
处理步骤,用于基于在所述时间计算步骤中计算的解码时间和呈现时间以及在所述时间信息生成步骤中生成的时间信息,处理包含在每个呈现单元的广播信号内的传输媒体。
(19)一种发送设备,包括:
时钟生成单元,其生成与从外部获得的时间信息同步的2**n Hz的时钟;
时间信息生成单元,其生成时间信息,包括所述时钟生成单元所生成的2**n Hz的时钟的频率信息并且与从外部获得的时间信息同步;以及
发送单元,其传输广播信号,包括传输媒体、用于获取基于所述时间信息生成单元所生成的时间信息的传输媒体的每个呈现单元的解码时间和呈现时间的时间信息、以及所述时间信息生成单元所生成的时间信息。
(20)根据(19)所述的发送设备,其中,n是整数24到28中的任一个。
本技术的主要特征在于,使用MMT数据包的MMT扩展报头或新定义的MPU扩展时间戳描述符来传输DT/PT信息,用于获取每个样本(呈现单元)的解码时间DT和呈现时间PT,使得可以将在接收侧根据解码时间和呈现时间执行处理的延迟向下抑制为低水平(参考图15、图19、图24以及图27)。此外,本技术的主要特征在于,系统时钟的频率设置为2**nHz(例如,n=24到28),使得促进生成与从外部获得的NTP长格式时间信息同步的时间信息,并且可以允许生成的时间信息对应于NTP长格式(参考图33)。
附图标记列表
10:发送/接收系统
100:广播发送系统
111:NTP时钟生成单元
112:信号发送单元
113:视频编码器
114:音频编码器
115:MMT信令编码单元
116:TLV信令生成单元
117-1到117-N:IP服务多路复用器
118:TLV多路复用器
119:调制/发送单元
131:NTP/IP接口
132a、132b:32位寄存器
133:压控振荡器
134a:8位计数器
134b:16位计数器
134c:32位计数器
135:比较器
136:打包单元
137:视频编码处理单元
138:打包单元
139:编码缓冲器
140:视频同步控制单元
141:MMT信令编码单元
142:多路复用器
200:接收器
201:调谐器/解调单元
202:多路分用器
202a:MMT-SI滤波器单元
202b:TLV-SI滤波器单元
203:NTP时钟再生单元
204:系统控制单元
205:视频控制单元
206:视频解码缓冲器
207:视频解码器
208:音频控制单元
209:音频解码缓冲器
210:音频解码器
231:多路分用器
232:压控振荡器
233a:8位计数器
233b:16位计数器
233c:32位计数器
234:比较器
235:MMT信令解码单元
236:视频同步控制单元
237:拆包单元
238:解码缓冲器
239:视频解码处理单元
Claims (4)
1.一种发送设备,包括:
时间获取信息生成单元,生成用于获取传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息;以及
发送单元,发送包括所述传输媒体和所述时间获取信息的广播信号,
其中,对于包括所述传输媒体的预定数量的呈现单元的每个呈现单元组,所述时间获取信息包括:所述呈现单元组的第一呈现单元的呈现时间、以及用于通过参考所述第一呈现单元的呈现时间来计算所述呈现单元组的各呈现单元的解码时间和呈现时间的持续时间信息,
所述广播信号包括:包括所述传输媒体的第一数据包和包括关于所述传输媒体的信息的第二数据包,
所述第一呈现单元的呈现时间和所述持续时间信息被插入到所述第二数据包中,以及
所述持续时间信息包括:首先被传输的呈现单元的解码时间信息,所述解码时间信息由从所述第一呈现单元的呈现时间偏移的偏移持续时间来表示;表示各呈现单元的持续时间的信息;以及从各呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
2.一种发送方法,包括:
时间获取信息生成步骤,生成用于获取传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息;以及
发送步骤,发送包括所述传输媒体和所述时间获取信息的广播信号,
其中,对于包括所述传输媒体的预定数量的呈现单元的每个呈现单元组,所述时间获取信息包括:所述呈现单元组的第一呈现单元的呈现时间、以及用于通过参考所述第一呈现单元的呈现时间来计算所述呈现单元组的各呈现单元的解码时间和呈现时间的持续时间信息,
所述广播信号包括:包括所述传输媒体的第一数据包和包括关于所述传输媒体的信息的第二数据包,
所述第一呈现单元的呈现时间和所述持续时间信息被插入到所述第二数据包中,以及
所述持续时间信息包括:首先被传输的呈现单元的解码时间信息,所述解码时间信息由从所述第一呈现单元的呈现时间偏移的偏移持续时间来表示;表示各呈现单元的持续时间的信息;以及从各呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息。
3.一种接收设备,包括接收单元,所述接收单元接收广播信号,所述广播信号包括传输媒体和用于获取所述传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息,
其中,对于包括所述传输媒体的预定数量的呈现单元的每个呈现单元组,所述时间获取信息包括:所述呈现单元组的第一呈现单元的呈现时间、以及用于通过参考所述第一呈现单元的呈现时间来计算所述呈现单元组的各呈现单元的解码时间和呈现时间的持续时间信息,
所述广播信号包括:包括所述传输媒体的第一数据包和包括关于所述传输媒体的信息的第二数据包,
所述第一呈现单元的呈现时间和所述持续时间信息被插入到所述第二数据包中,
所述持续时间信息包括:首先被传输的呈现单元的解码时间信息,所述解码时间信息由从所述第一呈现单元的呈现时间偏移的偏移持续时间来表示;表示各呈现单元的持续时间的信息;以及从各呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息,以及
所述接收设备进一步包括:
时间计算单元,基于所述广播信号中包括的所述时间获取信息,计算所述传输媒体的每个呈现单元的解码时间和呈现时间;以及
处理单元,基于由所述时间计算单元计算的解码时间和呈现时间,对应每个呈现单元处理所述广播信号中包括的所述传输媒体。
4.一种接收方法,包括接收步骤,所述接收步骤接收广播信号,所述广播信号包括传输媒体和用于获取所述传输媒体的每个呈现单元的解码时间和呈现时间的时间获取信息,
其中,对于包括所述传输媒体的预定数量的呈现单元的每个呈现单元组,所述时间获取信息包括:所述呈现单元组的第一呈现单元的呈现时间、以及用于通过参考所述第一呈现单元的呈现时间来计算所述呈现单元组的各呈现单元的解码时间和呈现时间的持续时间信息,
所述广播信号包括:包括所述传输媒体的第一数据包和包括关于所述传输媒体的信息的第二数据包,
所述第一呈现单元的呈现时间和所述持续时间信息被插入到所述第二数据包中,
所述持续时间信息包括:首先被传输的呈现单元的解码时间信息,所述解码时间信息由从所述第一呈现单元的呈现时间偏移的偏移持续时间来表示;表示各呈现单元的持续时间的信息;以及从各呈现单元的解码时间偏移的偏移持续时间表示的呈现时间信息,以及
所述接收方法进一步包括:
时间计算步骤,基于所述广播信号中包括的所述时间获取信息,计算所述传输媒体的每个呈现单元的解码时间和呈现时间;以及
处理步骤,基于所述时间计算步骤中计算的解码时间和呈现时间,对应每个呈现单元处理所述广播信号中包括的所述传输媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014081391 | 2014-04-10 | ||
JP2014-081391 | 2014-04-10 | ||
JP2014112002A JP5708866B1 (ja) | 2014-04-10 | 2014-05-30 | 送信装置、送信方法、受信装置および受信方法 |
JP2014-112002 | 2014-05-30 | ||
PCT/JP2014/080561 WO2015155907A1 (ja) | 2014-04-10 | 2014-11-18 | 送信装置、送信方法、受信装置および受信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106134208A CN106134208A (zh) | 2016-11-16 |
CN106134208B true CN106134208B (zh) | 2018-03-27 |
Family
ID=53277154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480077769.1A Active CN106134208B (zh) | 2014-04-10 | 2014-11-18 | 发送设备、发送方法、接收设备以及接收方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9942292B2 (zh) |
EP (1) | EP3131301B1 (zh) |
JP (4) | JP5708866B1 (zh) |
CN (1) | CN106134208B (zh) |
BR (1) | BR112016022965B1 (zh) |
PH (1) | PH12016501971A1 (zh) |
WO (1) | WO2015155907A1 (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016048912A (ja) * | 2014-08-27 | 2016-04-07 | パナソニックIpマネジメント株式会社 | 復号装置、逆多重化装置、復号方法及び逆多重化方法 |
CN105491394B (zh) * | 2014-09-17 | 2020-05-15 | 北京三星通信技术研究有限公司 | 发送mmt包的方法及装置、接收mmt包的方法 |
EP4277170A3 (en) * | 2014-11-20 | 2024-01-17 | Panasonic Intellectual Property Corporation of America | Transmitting method, receiving method, transmitting device, and receiving device |
US10085051B2 (en) * | 2015-02-13 | 2018-09-25 | Samsung Electronics Co., Ltd. | Method and apparatus for converting MMTP stream to MPEG-2TS |
CN113259749A (zh) | 2015-08-06 | 2021-08-13 | 麦克赛尔株式会社 | 广播接收装置 |
KR20180080186A (ko) * | 2015-11-05 | 2018-07-11 | 소니 주식회사 | 컨텐츠 재생 장치, 및 컨텐츠 재생 방법 |
CN105554134B (zh) * | 2015-12-23 | 2018-12-18 | 小米科技有限责任公司 | 信息同步方法及装置 |
JP6744092B2 (ja) * | 2015-12-24 | 2020-08-19 | 日本電気株式会社 | 送信装置、受信装置、送信方法及び受信方法 |
JP6115904B1 (ja) * | 2016-06-17 | 2017-04-19 | 株式会社すなおネット | 食品製品及び食品製品の提供方法 |
JP6951094B2 (ja) * | 2017-03-22 | 2021-10-20 | 株式会社東芝 | 放送システム、制御装置、および再生制御方法 |
US10986402B2 (en) * | 2018-07-11 | 2021-04-20 | Qualcomm Incorporated | Time signaling for media streaming |
WO2020075235A1 (ja) * | 2018-10-10 | 2020-04-16 | 株式会社メディアリンクス エルエスアイラボ | クロック生成装置およびクロック生成方法 |
CN109669918B (zh) * | 2018-12-13 | 2023-04-28 | 成都心吉康科技有限公司 | 数据展示方法、装置及可穿戴健康设备 |
CN109587541A (zh) * | 2018-12-13 | 2019-04-05 | 青岛海信传媒网络技术有限公司 | 一种数字电视业务处理方法、装置和电视终端 |
JP7210272B2 (ja) | 2018-12-28 | 2023-01-23 | 株式会社東芝 | 放送システム、エンコーダ、多重化装置、多重化方法、系統切替装置、および同期制御装置 |
JP2021168520A (ja) * | 2020-07-07 | 2021-10-21 | マクセル株式会社 | 放送受信装置における映像と音声の再生同期方法 |
JP2021168521A (ja) * | 2020-07-07 | 2021-10-21 | マクセル株式会社 | 放送受信装置における映像、音声及び字幕の再生同期方法 |
CN114189737B (zh) * | 2021-12-06 | 2024-08-06 | 国微集团(深圳)有限公司 | 一种数字电视快速切台方法及数字电视 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10200854A (ja) * | 1997-01-13 | 1998-07-31 | Sony Corp | 記録装置、再生装置及び記録再生装置 |
CN101820540A (zh) * | 2009-12-25 | 2010-09-01 | 北京惠信博思技术有限公司 | 一种mpeg-2编码复用的方法 |
CN102065319A (zh) * | 2009-11-18 | 2011-05-18 | 特克特朗尼克国际销售有限责任公司 | 用于多路复用h.264基本流的方法和装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3278794B2 (ja) * | 1995-03-14 | 2002-04-30 | 日本電信電話株式会社 | 分散型実時間連続メディア処理装置 |
JP3462087B2 (ja) * | 1998-06-17 | 2003-11-05 | 日本放送協会 | デジタル放送送出装置及びデジタル放送のデータ構造 |
JP4256715B2 (ja) * | 2003-04-28 | 2009-04-22 | パナソニック株式会社 | デジタル放送受信装置 |
KR101885852B1 (ko) | 2011-09-29 | 2018-08-08 | 삼성전자주식회사 | 컨텐트 전송 및 수신 방법 및 장치 |
KR20130078643A (ko) * | 2011-12-30 | 2013-07-10 | 한국전자통신연구원 | Mmt 복합 전달 서비스에서 mmt 패킷 스트림 동기화를 위한 mmt 제어 계층 시그널링을 이용한 타이밍 정보 제공 방법 및 mmt 패킷 스트림 동기화 방법 |
JP2013229689A (ja) * | 2012-04-24 | 2013-11-07 | Sharp Corp | 再生装置、配信装置、データ構造、再生方法、配信方法、制御プログラム、および記録媒体 |
JP5641090B2 (ja) * | 2013-03-14 | 2014-12-17 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP6652320B2 (ja) * | 2013-12-16 | 2020-02-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 送信方法、受信方法、送信装置及び受信装置 |
-
2014
- 2014-05-30 JP JP2014112002A patent/JP5708866B1/ja active Active
- 2014-11-18 WO PCT/JP2014/080561 patent/WO2015155907A1/ja active Application Filing
- 2014-11-18 CN CN201480077769.1A patent/CN106134208B/zh active Active
- 2014-11-18 BR BR112016022965-7A patent/BR112016022965B1/pt not_active IP Right Cessation
- 2014-11-18 US US15/116,463 patent/US9942292B2/en active Active
- 2014-11-18 EP EP14888953.8A patent/EP3131301B1/en not_active Not-in-force
- 2014-11-28 JP JP2014242245A patent/JP5708876B1/ja active Active
- 2014-11-28 JP JP2014242255A patent/JP5708877B1/ja active Active
-
2015
- 2015-02-12 JP JP2015024966A patent/JP6330681B2/ja active Active
-
2016
- 2016-10-04 PH PH12016501971A patent/PH12016501971A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10200854A (ja) * | 1997-01-13 | 1998-07-31 | Sony Corp | 記録装置、再生装置及び記録再生装置 |
CN102065319A (zh) * | 2009-11-18 | 2011-05-18 | 特克特朗尼克国际销售有限责任公司 | 用于多路复用h.264基本流的方法和装置 |
CN101820540A (zh) * | 2009-12-25 | 2010-09-01 | 北京惠信博思技术有限公司 | 一种mpeg-2编码复用的方法 |
Non-Patent Citations (1)
Title |
---|
Media transport technologies for Next Generation Broadcasting Systems;Shuichi AOKI;《NHK Science and Technical Research Laboratories R&D Report》;20130715(第140期);22-31 * |
Also Published As
Publication number | Publication date |
---|---|
CN106134208A (zh) | 2016-11-16 |
JP2015207992A (ja) | 2015-11-19 |
US9942292B2 (en) | 2018-04-10 |
JP5708876B1 (ja) | 2015-04-30 |
JP2015207990A (ja) | 2015-11-19 |
WO2015155907A1 (ja) | 2015-10-15 |
JP5708866B1 (ja) | 2015-04-30 |
JP2015207989A (ja) | 2015-11-19 |
JP5708877B1 (ja) | 2015-04-30 |
PH12016501971B1 (en) | 2016-12-19 |
US20170012765A1 (en) | 2017-01-12 |
EP3131301A4 (en) | 2018-02-14 |
PH12016501971A1 (en) | 2016-12-19 |
EP3131301B1 (en) | 2019-10-30 |
JP6330681B2 (ja) | 2018-05-30 |
JP2015207984A (ja) | 2015-11-19 |
BR112016022965B1 (pt) | 2023-02-28 |
BR112016022965A2 (pt) | 2022-07-19 |
EP3131301A1 (en) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106134208B (zh) | 发送设备、发送方法、接收设备以及接收方法 | |
JP7533685B2 (ja) | 受信装置および受信方法 | |
CA2904115C (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
CN105264846A (zh) | 发送装置、传输流的发送方法以及处理装置 | |
EP3035690A1 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
KR20130138777A (ko) | 멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치 | |
CN105308974A (zh) | 传输装置、传输方法、再现装置、再现方法以及接收装置 | |
US20110255556A1 (en) | Method for transport stream synchronizing in a multiplexer comprising an external corpocessor | |
WO2016139908A1 (ja) | 復号装置、受信機器、送信機器、送受信システム、復号方法、および復号用プログラムが記憶された記憶媒体 | |
JP2018182677A (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法 | |
JP2018182617A (ja) | 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法 | |
JP6318953B2 (ja) | 送信装置、送信方法、受信装置および受信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |