CN107211170A - 传输装置、传输方法、接收装置以及接收方法 - Google Patents

传输装置、传输方法、接收装置以及接收方法 Download PDF

Info

Publication number
CN107211170A
CN107211170A CN201680009873.6A CN201680009873A CN107211170A CN 107211170 A CN107211170 A CN 107211170A CN 201680009873 A CN201680009873 A CN 201680009873A CN 107211170 A CN107211170 A CN 107211170A
Authority
CN
China
Prior art keywords
captions
bag
stream
video
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680009873.6A
Other languages
English (en)
Other versions
CN107211170B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107211170A publication Critical patent/CN107211170A/zh
Application granted granted Critical
Publication of CN107211170B publication Critical patent/CN107211170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

为了简化在接收侧的可变速度再现模式下的字幕显示处理。本发明生成由在其有效载荷中具有编码图像数据的视频包构成的视频流。本发明另外生成由在其有效载荷中具有字幕信息的字幕包构成的字幕流。本发明另外生成并传输包括视频流和字幕流的复用流。当生成复用流时，本发明将字幕包分配至随机存取位置。

Description

传输装置、传输方法、接收装置以及接收方法
技术领域
本技术涉及传输装置、传输方法、接收装置和接收方法，并且具体地，涉及传输字幕信息和图像数据的传输装置等。
背景技术
传统地，诸如数字视频广播(DVB)的广播包括将字幕信息作为位图数据传输的操作。近年来，提出了以文本字符编码传输字幕信息，即，基于文本的传输。在这种情况下，在接收侧上执行根据分辨率的字体开发。
此外，在字幕信息基于文本传输的情况下，提出了为文本信息提供定时信息。作为文本信息，例如，由万维网联盟(W3C)提出了定时文本标记语言(TTML)(参考专利文献1)。
文献列表
专利文献
专利文献1：JP 2012-169885 A
发明内容
本发明要解决的问题
本技术的目的在于简化接收侧上的可变速度再现模式下的字幕显示处理。
问题的解决方案
本技术的概念是一种传输装置，该传输装置包括：视频编码单元，该视频编码单元生成由在有效载荷中具有编码图像数据的视频包形成的视频流；字幕编码单元，字幕编码单元生成由在有效载荷中具有字幕信息的字幕包形成的字幕流；复用流生成单元，生成包括视频流和字幕流的复用流；以及传输单元，传输复用流。复用流生成单元将字幕包布置在随机存取位置处。
在本技术中，由在有效载荷中具有编码图像数据的视频包形成的视频流由视频编码单元生成。由在有效载荷中具有字幕信息的字幕包形成的字幕流由字幕编码单元生成。例如，字幕信息可以是具有显示定时信息的预定格式的字幕的文本信息。在这种情况下，例如，预定格式的字幕的文本信息可以是TTML以及TTML的派生格式中的一种。
至少包括视频流和字幕流的复用流由复用流生成单元生成。在这种情况下，字幕包布置在随机存取位置处。例如，视频包和字幕包中的每一个可以是PES包，并且复用流可以是MPEG2传输流。复用流由传输单元传输。
以此方式，本技术在复用视频流和字幕流时，将字幕包布置在随机存取位置处。因此，当从复用流取出随机存取位置处的视频包时，接收侧也可取出到字幕包，使能够简化可变速度再现模式下的字幕显示处理。
应注意，在本技术中，例如，字幕编码单元可将其值等于或接近插入随机存取位置处的视频包的报头的时间戳插入位置中的时间戳的值的时间戳插入字幕包的报头的时间戳插入位置中。在这种情况下，当参考时间戳在复用流中执行包复用时，字幕包布置在随机存取位置处。
此外，在本技术中，例如，字幕编码单元可将指示字幕的显示时间的唯一(unique，独特的)时间戳插入字幕包的报头和有效载荷中的一个中。在这种情况下，接收侧可基于该唯一时间戳容易控制字幕的显示定时。
此外，在本技术中，例如，复用流生成单元可将指示唯一时间戳已被插入字幕包中的标识信息插入复用流中。在这种情况下，接收侧可基于该标识信息容易识别唯一时间戳已被插入。在这种情况下，例如，指示插入位置的信息可被添加至标识信息。在这种情况下，接收侧可基于指示插入位置的信息容易获得唯一时间戳。
此外，本技术的另一概念是一种接收装置，该接收装置包括接收单元，该接收单元接收复用流，该复用流包括由在有效载荷中具有编码图像数据的视频包形成的视频流并且包括由在有效载荷中具有字幕信息的字幕包形成的字幕流。在接收装置中，字幕包布置在复用流中的随机存取位置处。接收装置进一步包括处理单元，该处理单元从复用流中取出随机存取位置处的字幕包和视频包并且执行字幕显示处理。
在本技术中，接收单元接收复用流，该复用流包括由在有效载荷中具有编码的图像数据的视频包形成的视频流以及由在有效载荷中具有字幕信息的字幕包形成的字幕流。在复用流中，字幕包布置在随机存取位置处。由处理单元从复用流取出随机存取位置处的字幕包和视频包，由此执行字幕显示处理。
以此方式，在本技术中，字幕包布置在复用流中的随机存取位置处，并且从复用流取出随机存取位置处的字幕包和视频包，由此执行字幕显示处理。因此，能够简化可变速度再现模式下的字幕显示处理。
应注意，在本技术中，也允许例如其值等于或接近插入随机存取位置处的视频包的报头的时间戳插入位置中的时间戳的值的第一时间戳插入字幕包的报头的时间戳插入位置中，并且指示字幕的显示时间的第二时间戳插入字幕包的报头和有效载荷中的一个，并且处理单元在正常再现模式下参考第二时间戳执行字幕显示处理。在这种情况下，能够容易控制字幕显示定时。
在这种情况下，例如，也允许配置为使得指示第二时间戳已被插入字幕包中的标识信息被插入复用流中，并且处理单元基于标识信息从字幕包提取第二时间戳，并且使用该第二时间戳。
本发明的效果
根据本技术，能够简化接收侧在可变速度再现模式下进行的字幕显示处理。应注意，在本说明书中此处描述的效果被提供以用于示例性说明的目的，而并非旨在限制性的。仍然也可预期其他额外效果。
附图说明
[图1]是示出根据实施方式的传输-接收系统的示例性配置的框图。
[图2]是示出广播传送系统的流生成单元的示例性配置的框图。
[图3]是用于示出TTML结构的示图。
[图4]是各自示出存在于TTML结构的报头(头，head)中的元数据、式样以及布局的元素中的每一个的示例性结构的示图。
[图5]是示出TTML结构的主体的示例性结构的示图。
[图6]是示意性示出控制单元中的定时管理单元的示例性配置的示图。
[图7]是用于示出字幕显示定时管理单元的详细配置的示图。
[图8]是示出PES包的示例性配置的示图。
[图9]是示出“PES扩展”的示例性配置(1/2)的示图。
[图10]是示出“PES扩展”的示例性配置(2/2)的示图。
[图11]是示出布置在“PES包数据字节”的区域中的PES有效载荷(PES_payload)的示例性配置的示图。
[图12]示出PES扩展和PES有效载荷的示例性配置中的新元素的内容。
[图13]是示出字幕rap描述符的示例性结构以及示例性结构中的信息的主要内容的示图。
[图14]是示出传输流TS的示例性配置的示图。
[图15]是示出电视接收器的示例性配置的示图。
[图16]是示意性示出用于在随机存取点(RAP)位置处读取的字幕PES包的解码和输出的处理定时的示图。
[图17]是用于示出传统复用的示图。
[图18]是用于示出根据本技术的复用的示图。
具体实施方式
在下文中，将描述本发明的实施方式(在下文中，实施方式(多个实施方式))。应注意，将按照以下顺序呈现描述。
1.实施方式
2.变形例
<1.实施方式>
[传输-接收系统的示例性配置]
图1示出根据实施方式的传输-接收系统10的示例性配置。传输-接收系统10包括广播传送系统100和电视接收器200。广播传送系统100通过广播波传输作为复用流的传输流TS。传输流TS包括视频流和字幕流。视频流由在有效载荷中具有图像数据的视频PES包形成。字幕流由在有效载荷中具有字幕(文字说明)信息的字幕PES包形成。
被插入至字幕PES包的报头的时间戳插入位置中的时间戳的值等于或接近于插入至随机存取位置处的视频PES包的报头的时间戳插入位置中的时间戳的值。此外，指示字幕的显示时间的唯一时间戳被插入至字幕PES包的报头和有效载荷中的一个。
当字幕流与视频流等复用时，包括字幕PES包(在下文中，简称为PES包)的TS包布置在随机存取位置处。在这种情况下，例如，如上所述，参考插入至报头的时间戳插入位置中的时间戳，字幕PES包被布置在随机存取位置处，即，接近于随机存取位置处的视频PES包的位置。
指示唯一时间戳已被插入字幕PES包中的标识信息被插入至传输流TS中。标识信息例如插入在节目映射表下。如上所述，唯一时间戳插入至字幕PES包的报头和有效载荷中的一个。指示插入位置的信息被添加至标识信息。
电视接收器200接收通过广播波从广播传送系统100发送的传输流TS。如上所述，传输流TS至少包括视频流和字幕流。应注意，在某些情况下，传输流TS包括音频流。视频流由在有效载荷中具有图像数据的视频PES包形成。字幕流由在有效载荷中具有字幕信息的字幕PES包形成。此外，在传输流TS的复用中，字幕PES包布置在随机存取位置处。
电视接收器200从传输流TS取出在随机存取位置处的字幕PES包和视频PES包，并且执行字幕(文字说明)显示处理。例如，在可变速度再现模式下，从传输流TS的随机存取位置取出的字幕PES包被立即处理，并且字幕被显示。
此外，例如，在正常再现模式中，基于插入字幕PES包的报头和有效载荷中的一个中的、指示字幕的显示时间的唯一(unique，独特的)时间戳处理从传输流TS的随机存取位置取出的字幕PES包，由此在显示时间时显示字幕。在这种情况下，电视接收器200基于插入传输流TS中的标识信息从字幕PES包中提取唯一时间戳，并且使用所提取的唯一时间戳。
[广播传送系统的流生成单元的示例性配置]
图2示出广播传送系统100的流生成单元110的示例性配置。流生成单元110包括控制单元111、视频编码器112、音频编码器113、文本格式转换器114、字幕编码器115以及TS格式器(复用器)116。
控制单元111包括例如中央处理单元(CPU)，并且控制流生成单元110中的每一个部分的操作。视频编码器112输入图像数据DV，编码图像数据DV，并且生成由在有效载荷中具有编码图像数据的视频PES包形成的视频流(PES流)。音频编码器113输入声音数据DA，编码声音数据DA，并且生成由具有编码声音数据的音频PES包形成的音频流(PES流)。
文本格式转换器114输入文本数据(字符码)DT作为字幕信息，并且获得具有显示定时信息的预定格式的字幕的文本信息。在文本信息包括例如TTML或TTML派生格式时，实施方式是TTML用作文本信息格式的情况。
图3示出TTML结构。TTML是基于XML描述的。元数据、式样和布局中的每一个元素存在于报头(头，head)中。图4的(a)示出元数据(TTM:TTML元数据)的示例性结构。元数据包括元数据标题信息和版权信息。
图4的(b)示出式样(TTS:TTML式样)的示例性结构。除了标识符(id)以外，式样包括诸如颜色、字体(fontFamily)、大小(fontSize)以及对齐(textAlign)的信息。图4的(c)示出布局(区域:TTML布局)的示例性结构。除了布置有字幕的区域的标识符(id)以外，布局包括诸如范围(extent)、偏移(padding)、背景颜色(backgroundColor)以及对齐(displayAlign)的信息。
图5示出主体的示例性结构。所示的实例包括指示三个字幕(即，字幕1、字幕2和字幕3)的信息。针对每一个字幕，描述显示开始定时和显示结束定时以及文本数据。例如，关于字幕1，显示开始定时是“0.76s”，显示结束定时是“3.45s”，并且文本数据是“这似乎是一个悖论，不是吗？(It seems a paradox,dose it not)”。
返回图2，字幕编码器115将由文本格式转换器114获得的TTML转换为各种片段，并且生成由在有效载荷中布置这些片段(字幕信息)的字幕PES包形成的字幕流(PES流)。
在控制单元111的控制下，字幕编码器115将时间戳(第一时间戳)插入至字幕PES包的报头的时间戳插入位置中，该时间戳的值等于或接近于插入至随机存取位置处的视频PES包(即，作为随机存取点(RAP)的对象的视频PES包)的报头的时间戳插入位置中的时间戳的值。
应注意，作为RAP的对象的视频PES包的头部表示例如在有效载荷中具有帧内图片(I图片)的编码图像数据的视频PES包的头部。在RAP再现时，包括在作为RAP的对象的视频PES包中的帧内图片的编码图像数据仅从传输流TS解码并作为图像显示。
此外，在控制单元111的控制下，字幕编码器115将指示字幕的显示时间(显示开始时间、显示结束时间)的唯一时间戳(第二时间戳)插入字幕PES包的报头和有效载荷中的一个。
图6示意性示出控制单元111中的定时管理单元120的示例性配置。定时管理单元120包括视频定时管理单元121、音频定时管理单元122、RAP定时管理单元123和字幕显示定时管理单元124。
视频定时管理单元121管理待插入至每个视频PES包的时间戳插入位置中的时间戳(视频存取单元的时间戳)。视频编码器112基于视频定时管理单元121的管理信息，将时间戳插入每一个视频PES包的时间戳插入位置中。
音频定时管理单元122管理待插入至每一个音频PES包的时间戳插入位置中的时间戳(音频存取单元的时间戳)。音频编码器113基于音频定时管理单元122的管理信息，将时间戳插入每一个音频PES包的时间戳插入位置中。
RAP定时管理单元123管理作为RAP的对象的视频PES包的时间戳，并且还管理音频PES包中的待成为RAP的对象的音频PES包。在这种情况下，在RAP时，具有与作为RAP的对象的视频PES包的时间戳接近的时间戳的音频PES包被处理为待再现的对象。
基于作为RAP的对象的音频PES包的管理信息，如以后描述的，TS格式器116将作为RAP的对象的音频PES包布置在随机存取位置处，即，与作为RAP的对象的视频PES包的位置接近的位置处。
字幕显示定时管理单元124管理字幕PES包的第一时间戳(插入报头的时间戳插入区域中的时间戳)和第二时间戳(插入报头和有效载荷中的一个的、指示字幕显示时间的唯一时间戳)。字幕编码器115基于字幕显示定时管理单元124的管理信息，将第一时间戳和第二时间戳插入字幕PES包中。
图7示出字幕显示定时管理单元124的详细配置。字幕显示定时管理单元124基于从RAP定时管理单元123获得的RAP定时信息获得第一时间戳(字幕流的时间戳)。此外，字幕显示定时管理单元124对包括在TTML主体中的相对开始时间“开始”和相对结束时间“结束”执行时间戳精度换算，并且获得第二时间戳(显示开始时间戳和显示结束时间戳)。
应注意，如图5所示，在多个区域的显示定时相互不同的情况下，对最早定时处的区域的相对开始时间“开始”和相对结束时间“结束”执行时间戳精度换算，并且获得显示开始时间戳和显示结束时间戳作为第二时间戳。
在这种情况下，作为第二时间戳的显示开始时间戳和显示结束时间戳用于在接收侧对最早区域的显示控制。此外，为了后续区域的显示控制，生成并使用显示时间戳(显示开始时间戳和显示结束时间戳)，该显示时间戳基于由TTML主体提供的与最早区域的相对时间的差经历时间戳精度换算。
“第二时间戳(唯一时间戳)的插入位置”
现在，将描述第二时间戳(唯一时间戳)的插入位置的具体实例。图8示出PES包的示例性配置(语法构造)。第一时间戳插入33位区域中，即，由箭头P表示的报头的时间戳插入区域。时间戳插入区域存在于构成报头的“可选PES报头”下的“可选字段”中。
如上所述，第二时间戳插入报头和有效载荷中的一个。在插入报头中的情况下，第二时间戳插入例如由箭头Q指示的“PES扩展字段数据”的区域中。“PES扩展字段数据”存在于“PES扩展”下的“可选字段”中。应注意，“PES扩展”存在于构成报头的“可选PES报头”下的“可选字段”中。与之相比，在插入有效载荷中的情况下，第二时间戳插入由箭头R指示的“PES包数据字节”的区域中。
图9和图10示出“PES扩展”的示例性配置(语法构造，syntax)。图11示出布置在“PES包数据字节”的区域中的PES有效载荷(PES_payload)的示例性配置(语法构造，Syntax)。图12示出示每一个例性配置中的新元素的内容(语义)。
首先，将描述图9和图10所示的PES扩展的示例性配置。作为标记信息，新定义了“PES_extension_negflag_new”的标记信息。标记信息指示新定义数据被布置在PES报头的扩展区域(PES扩展)中。“0”指示新定义数据布置在PES报头的扩展区域中。“1”指示新定义数据未布置在PES报头的扩展区域中。
当“PES_extension_negflag_new”是“0”时，这表示存在8位字段的“extension_type”。该字段指示新定义数据的类型。“1”指示它是指示字幕的显示的开始和结束的时间戳。当“extension_type”是“1”时，这表示存在33位字段的“subtitle_start_time”和33位字段的“subtitle_end_time”。
33位字段的“subtitle_start_time”指示以系统的时钟精度表示字幕显示的开始时间的值(显示开始时间戳)。33位字段的“subtitle_end_time”指示以系统的时钟精度表示字幕显示的结束时间的值(显示结束时间戳)。
接下来，将描述图11所示的PES有效载荷(PES_payload)的示例性配置。字幕PES包被定义为专用PES包。在专用PES包的情况下，由于“PES包数据字节”可被自由限定，所以指示显示的开始和结束的时间戳被插入至专用PES包的一部分中。
8位字段的“private_type”指示专用PES包的类型。“EC”指示它是具有时间戳的字幕流。“timestamp_insertion_flag”的标记信息指示时间戳布置在包有效载荷的开始处。“1”指示布置有时间戳。“0”指示未布置时间戳。当“timestamp_insertion_flag”是“1”时，这表示存在33位字段的“subtitle_start_time”和33位字段的“subtitle_end_time”。
返回图2，TS格式器116将由视频编码器112生成的视频流、由音频编码器113生成的音频流以及由字幕编码器115生成的字幕流封包为传输包并且复用该封包流，由此获得传输流TS作为复用流。
当以此方式复用每一个流时，TS格式器116基于第一时间戳(插入报头的时间戳插入位置中的时间戳)，将字幕PES包布置在随机存取位置(即，与作为RAP的对象的视频PES包的位置接近的位置)处。此外，此时，基于作为RAP的对象的音频PES包的管理信息，TS格式器116将作为RAP的对象的音频PES包布置在随机存取位置(即，与作为RAP的对象的视频PES包的位置接近的位置)处。
此外，TS格式器116将指示第二时间戳(指示字幕显示时间的唯一时间戳)已被插入字幕PES包中的标识信息插入传输流TS中。在本实施方式中，TS格式器116将字幕rap描述符(Subtitle_rap_descriptor)插入与节目映射表(PMT)下的字幕流相对应的字幕基本流循环。
图13(a)示出字幕rap描述符的示例性结构(语法)。图13(b)示出示例性结构中的主要信息的内容(语义)。8位字段的“descriptor_tag”指示描述符类型，具体地，此处指示这是字幕rap描述符。8位字段的“descriptor_length”指示描述符的长度(大小)，并且指示后续字节长度作为描述符的长度。
“subtitle_presentation_time_flag”的标记信息指示是否以不同于(主要在延迟定时上不同)传统时间戳(第一时间戳)的定时来执行字幕显示，即，是否存在对于字幕特有的显示时间戳布置。“1”指示执行延迟显示(布置有对于字幕特有的显示时间戳)。“0”指示不执行延迟显示(未布置对于字幕特有的显示时间戳)。
当“subtitle_presentation_time_flag”是“1”时，这表示存在2位字段的“time_insertion_type”。该字段指示对于字幕特有的显示时间戳的插入类型，即，在字幕中插入时间戳。“01”指示插入PES报头扩展部分中。“10”指示插入PES专用流有效载荷中。
图14示出传输流TS的示例性配置。在该示例性配置中，存在由PID 1标识的视频PES包“Video PES”，即，视频流的PES包。此外，在该示例性配置中，存在由PID 2标识的音频PES包“Audio PES”，即，音频流的PES包。此外，在该示例性配置中，存在由PID 3标识的字幕PES包“Subtitle PES”，即，字幕流的PES包。
PES包由PES报头和PES有效载荷形成。在视频PES包中，DTS/PTS的时间戳插入PES报头中，并且视频编码流(编码图像数据)插入PES有效载荷中。此外，在音频PES包中，PTS的时间戳插入PES报头中，并且音频编码流(编码声音数据)插入PES有效载荷中。
此外，在字幕PES包中，PTS时间戳(第一时间戳)插入PES报头中，并且字幕编码流(作为字幕信息的多个字幕片段)插入PES有效载荷中。此外，作为第二时间戳(唯一时间戳)的显示开始时间戳“subtitle_start_time”和显示结束时间戳“subtitle_end_time”存在于PES报头和PES有效载荷中的一个中。
此外，传输流TS包括节目映射表(PMT)作为节目特定信息(PSI)。PSI是描述包括在传输流TS中的基本流中的每一个属于哪个节目的信息。此外，传输流TS包括事件信息表(EIT)作为用于执行对每一个事件的管理的服务信息(SI)。EIT包括用于每个节目的元数据的描述。
描述与整个节目相关的信息的节目描述符存在于PMT中。此外，具有与每一个基本流相关的信息的基本流循环也存在于PMT中。在该示例性配置中，存在视频基本流循环(Video ES loop)、音频基本流循环(Audio ES loop)以及字幕基本流循环(Subtitle ESloop)。
诸如包标识符(PID)的信息布置在每一个循环中，并且描述与基本流相关的信息的描述符也布置在每一个循环中。作为描述符中的一个，上述字幕rap描述符(Subtitle_rap_descriptor)布置在字幕基本流循环中。
将简要描述图2所示的流生成单元110的操作。图像数据DV被提供至视频编码器112。视频编码器112编码图像数据DV，并且生成由在有效载荷中具有编码图像数据的视频PES包形成的视频流(PES流)。该视频流被提供至TS格式器116。
此外，声音数据DA被提供至音频编码器113。音频编码器113编码声音数据DA，并且生成由具有编码声音数据的音频PES包形成的音频流(PES流)。该音频流被提供至TS格式器116。
此外，作为字幕信息的文本数据(字符码)DT被提供至文本格式转换器114。在该示例性情况中，文本格式转换器114获得具有显示定时信息的预定格式的字幕的文本信息，即，TTML。TTML被提供至字幕编码器115。
字幕编码器115将TTML转换为各种片段，并且生成由字幕PES包形成的字幕流。在每个字幕PES包中，这些片段布置在有效载荷中。该字幕流被提供至TS格式器116。
在生成字幕流时，在控制单元111的控制下，字幕编码器115将时间戳(第一时间戳)插入字幕PES包的报头的时间戳插入位置中，该时间戳的值等于或接近插入至作为RAP对象的视频PES包的报头的时间戳插入位置中的时间戳的值。
此外，在生成字幕流时，在控制单元111的控制下，字幕编码器115将指示字幕的显示时间(显示开始时间、显示结束时间)的唯一时间戳(第二时间戳)插入字幕PES包的报头和有效载荷中的一个中。
TS格式器116将由视频编码器112生成的视频流、由音频编码器113生成的音频流以及由字幕编码器115生成的字幕流封包为传输包，并且复用该封包流，由此生成传输流TS作为复用流。
当以此方式复用每一个流时，在控制单元111的控制下，字幕PES包基于第一时间戳(插入报头的时间戳插入位置中的时间戳)布置在随机存取位置处，即，与作为RAP对象的视频PES包的位置接近的位置。
此外，此时，在控制单元111的控制下，基于作为RAP的对象的音频PES包的管理信息，作为RAP的对象的音频PES包布置在随机存取位置处，即，与作为RAP的对象的视频PES包的位置接近的位置。
此外，TS格式器116将标识信息插入传输流TS中。标识信息指示第二时间戳(指示字幕的显示时间的唯一时间戳)已被插入字幕PES包中。即，TS格式器116将字幕rap描述符(Subtitle_rap_descriptor)布置在与节目映射表(PMT)下的字幕流相对应的字幕基本流循环中。
[电视接收器的示例性配置]
图15示出电视接收器200的示例性配置。电视接收器200包括接收单元201、TS分析单元(解复用器)202、视频解码器203、视频叠加单元204、面板驱动电路205以及显示面板206。此外，电视接收器200包括音频解码器207、声音输出电路208、扬声器209以及字幕解码器210。此外，电视接收器200包括CPU 221、闪存ROM 222、DRAM 223、内部总线224、远程控制接收单元225以及远程控制传输器226。
CPU 221控制电视接收器200中的每一个部分的操作。闪存ROM 222存储控制软件和数据。DRAM 223构成CPU 221的工作区域。CPU 221将从闪存ROM 222读取的软件和数据展开到DRAM 223上以激活软件，并且控制电视接收器200中的每一个部分。
远程控制接收单元225接收从远程控制传输器226传输的远程控制信号(远程控制代码)，并且将接收的信号提供至CPU 221。CPU 221基于该远程控制代码控制电视接收器200中的每一个部分。CPU 221、闪存ROM 222和DRAM 223连接至内部总线224。
接收单元201接收通过广播波从广播传送系统100发送的传输流TS。如上所述，传输流TS包括视频流、音频流和字幕流。TS分析单元202从传输流TS中提取视频流、音频流和字幕流中的每一个的PES包。
应注意，由接收单元201接收的传输流TS被临时存储在存储介质(缓冲器或存储器)201a中，并且与再现模式相对应的一部分被取出并发送至TS分析单元202。例如，在正常再现模式中，流的所有存储部分被发送至TS分析单元202。与之相比，在可变速度再现模式中，与双倍速度相对应的流的、包括RAP位置(随机存取位置)的部分间歇部分被发送至TS分析单元202。具体地，在RAP再现模式中，与RAP位置(随机存取位置)相对应的部分被单独发送至TS分析单元202。
此外，TS分析单元202提取插入传输流TS中的各种类型的信息，并且将所提取的信息发送至CPU 221。该信息也包括指示字幕rap描述符(Subtitle_rap_descriptor)的信息。利用该配置，CPU 221可容易识别第二时间戳(唯一时间戳)已被插入字幕PES包中，并且可容易识别插入位置，并且可使用该识别信息来控制字幕解码器210。
音频解码器207对由TS分析单元202提取的音频PES包执行解码处理，并且随后获得声音数据。声音输出电路208对声音数据执行所需要的处理，诸如D/A转换和放大，并且将所处理的数据提供至扬声器209。视频解码器203对由TS分析单元202提取的视频PES包执行解码处理，并且随后获得图像数据。
在正常再现模式下，用于音频解码器207和视频解码器203中的PES包中的每一个的解码和输出处理由插入报头中的时间戳控制，然而，在可变速度再现模式下，该处理不由时间戳控制而是在从TS分析单元202提供包之后立即执行。
字幕解码器210对由TS分析单元202提取的字幕PES包执行解码处理，并且获得待叠加在图像数据上的区域中的每一个的位图数据。在正常再现模式下字幕解码器210中解码并输出字幕PES包的处理由插入报头和有效载荷中的一个中的第二时间戳(唯一时间戳)控制，然而，在可变速度再现模式下，处理不由第二时间戳控制而是在从TS分析单元202提供包之后立即执行。
例如，图16示意性示出针对在RAP位置处读取的字幕PES包的解码和输出的处理定时。在正常再现模式的情况下，解码通过由显示开始时间戳指示的时间完成，作为解码结果的位图数据的输出从该时间开始并且继续直至由显示结束时间戳指示的时间。在这种情况下，从由显示开始时间戳指示的时间到由显示结束时间戳指示的时间的时间段是字幕显示时段。
与之相比，在可变速度再现模式的情况下，解码在从存储介质201a读取之后立即执行，并且开始作为解码结果的位图数据的输出。该输出持续时间是字幕显示时段。输出持续时间是根据可变速度再现的双倍速度和字幕显示维持功能确定的。
返回图15，视频叠加单元204将从字幕解码器210获得的区域中的每一个的位图数据叠加在由视频解码器203获得的图像数据上。面板驱动电路205基于由视频叠加单元204获得的显示图像数据驱动显示面板206。显示面板206包括例如，液晶显示器(LCD)、有机电致发光(EL)显示器。
将简要描述图15所示的电视接收器200的操作。接收单元201接收通过广播波从广播传送系统100发送的传输流TS。传输流TS包括视频流、音频流和字幕流。
传输流TS经由存储介质201a被提供至TS分析单元202。在这种情况下，与再现模式相对应的一部分被取出并发送至TS分析单元202。例如，在正常再现模式中，流的所有存储部分被发送至TS分析单元202。与之相比，在可变速度再现模式中，与双倍速度相对应的流的包括RAP位置(随机存取位置)的部分间歇部分被发送至TS分析单元202。具体地，在RAP再现模式中，与RAP位置(随机存取位置)相对应的部分被单独地发送至TS分析单元202。
由TS分析单元202提取的视频PES包被提供至视频解码器203。视频解码器203对由TS分析单元202提取的视频PES包执行解码处理，并且随后获得图像数据。在正常再现模式下针对视频PES包中的每一个的解码和输出处理由插入报头中的时间戳控制，然而，在可变速度再现模式下该处理不由时间戳控制，而是在从TS分析单元202提供包之后立即执行。图像数据被提供至视频叠加单元204。
此外，由TS分析单元202提取的字幕流(PES流)被提供至字幕解码器210。字幕解码器210处理每一个区域的片段数据，并且获得待叠加在图像数据上的每一个区域的位图数据。在正常再现模式下，解码并输出字幕PES包的处理由插入报头和有效载荷中的一个的第二时间戳(唯一时间戳)控制，然而，在可变速度再现模式下该处理不由第二时间戳控制而是在从TS分析单元202提供包之后立即执行(参考图16)。
从字幕解码器210输出的每一个区域的位图数据被提供至视频叠加单元204。视频叠加单元204将从字幕解码器210输出的每一个区域的位图数据叠加在通过视频解码器203获得的图像数据上。
通过视频叠加单元204获得的显示图像数据被提供至面板驱动电路205。面板驱动电路205基于显示视频数据驱动显示面板206。因此，叠加有字幕的图像被显示在显示面板206上。在这种情况下，图像在正常再现模式中以正常速度显示为正常再现图像，然而，图像在可变速度再现模式中显示为与双倍速度相对应的可变再现图像。
此外，由TS分析单元202提取的音频PES包被提供至音频解码器207。音频解码器207对音频PES包执行解码处理，并且随后获得声音数据。在正常再现模式下，针对每一个音频PES包的解码和输出处理由插入报头中的时间戳控制，然而，在可变速度再现模式下，该处理不由时间戳控制而是在从TS分析单元202提供包之后立即执行。
该声音数据被提供至声音输出电路208。声音输出电路208对声音数据执行必要处理，诸如D/A转换和放大。随后，所处理的声音数据被提供至扬声器209。利用该配置，从扬声器209获得与显示面板206的显示图像相对应的声音输出。
如上所述，在图1所示的传输-接收系统10中，在传输侧生成作为复用流的传输流TS时，字幕PES包布置在随机存取位置处。因此，当从复用流取出在随机存取位置处的视频PES包时，接收侧也可取出到字幕PES包，使能够简化可变速度再现模式下的字幕显示处理。
例如，图17的(a)至图17的(f)示出传统复用。图17的(a)示出构成视频流的视频PES包序列。“V_TS00”、“V_TS10”、“V_TS20”、“V_TS30”…中的每一个指示插入报头的时间戳，而“V0”、“V10”、“V20”、“V30”…中的每一个指示布置在有效载荷中的编码图像数据。
图17的(b)示出构成音频流的音频PES包序列。“A_TS00”、“A_TS10”、“A_TS20”、“A_TS30”…中的每一个指示插入报头的时间戳，而“A0”、“A10”、“A20”、“A30”…中的每一个指示布置在有效载荷中的编码声音数据。
图17的(c)示出构成字幕流的字幕PES包序列。“S_TS15”、“S_TS19”、“S_TS35”、“S_TS39”…中的每一个指示插入报头中的时间戳，而“S15”、“S19”、“S35”、“S39”…中的每一个指示布置在有效载荷中的字幕信息。时间戳插入字幕PES包的报头中，而不管插入视频PES包和音频PES包中的每一个的报头中的时间戳。
图17的(d)示出复用流(传输流TS)中的PES包中的每一个的示例性布置。在复用时，参考插入每一个PES包的报头中的时间戳来确定每一个PES包的布置。在这种情况下，字幕PES包都布置在显示时段略微之前的位置处，而不管RAP位置(随机存取位置)。
在RAP再现中，例如，如图17的(e)中的再现方法1所示，针对每一个RAP位置，通过读取具有一定长度的PES包来执行解码处理，导致图像显示和声音输出。在这种情况下，由于字幕PES包不必布置在RAP位置处，所以不显示字幕。
应注意，在该RAP再现中，为了显示字幕，如图17的(f)的再现方法2所示，也可预期，除了读取RAP位置以外，也可执行字幕PES包的读取。在这种情况下，除了执行跳转至读取RAP位置以外，必须重复至读取字幕PES包的跳转，并且该重复将使再现过程变复杂。此外，由于必须等待图像显示和声音输出直至完成字幕PES包的读取，所以图像显示和声音输出会出现延迟。
图18的(a)至图18的(e)示出本技术的复用。图18的(a)示出构成视频流的视频PES包序列。“V_TS00”、“V_TS10”、“V_TS20”、“V_TS30”…中的每一个指示插入报头中的时间戳，而“V0”、“V10”、“V20”、“V30”…中的每一个指示布置在有效载荷中的编码图像数据。
图18的(b)示出构成音频流的音频PES包序列。“A_TS00”、“A_TS10”、“A_TS20”、“A_TS30”…中的每一个指示插入报头中的时间戳，而“A0”、“A10”、“A20”、“A30”…中的每一个指示布置在有效载荷中的编码图像数据。
图18的(c)示出构成字幕流的字幕PES包序列。“S_TS10”、“S_TS30”…中的每一个指示插入报头中的时间戳，而“S10”、“S130”…中的每一个指示布置在有效载荷中的字幕信息。将时间戳(第一时间戳)插入字幕PES包的报头中，该时间戳的值等于或接近于插入作为RAP的对象的视频PES包的报头中的时间戳的值。
图18的(d)示出复用流(传输流TS)中的PES包中的每一个的示例性布置。在复用时，参考插入每一个PES包的报头中的时间戳来确定每一个PES包的布置。在这种情况下，与作为RAP的对象的视频PES包和音频PES包的情况相似，字幕PES包布置在RAP位置(随机存取位置)处。
在RAP再现中，如图18的(e)中的再现方法3所示，例如，针对每一个RAP位置，读取具有一定长度的PES包，并且执行解码处理。在这种情况下，字幕PES包被读取并且与视频PES包和音频PES包一起经历解码处理，并且这使字幕显示能够与图像显示和声音输出一起适当执行。
以此方式，通过执行如在本技术中描述的复用，不必重复读取字幕PES包所需的跳转，这不同于如图17的(f)所示的再现方法2中用于读取RAP位置的跳转，使能够实现在接收侧为了进行字幕显示而执行的可变速度再现处理的简化。
此外，在图1所示的传输-接收系统10中，指示字幕的显示时间的第二时间戳(唯一时间戳)被插入字幕PES包的报头和有效载荷中的一个。利用该配置，接收侧可基于唯一时间戳容易控制字幕的显示定时。
此外，图1所示的传输-接收系统10将指示唯一时间戳已被插入字幕PES包中的标识信息插入传输流TS中。利用该配置，接收侧可基于标识信息容易识别唯一时间戳已被插入，并且可有效提取唯一时间戳。
<2.变形例>
应注意，上述实施方式示出使用TTML作为具有显示定时信息的预定格式的字幕的文本信息的示例性情况。然而，本技术不限于此，并且可想到使用具有等同于TTML的信息的其他定时文本信息。例如，可使用TTML的派生格式。此外，在本技术中，传统类型的位图格式可以以完全相似的方式自然应用为字幕。
此外，尽管上述实施方式示出传输-接收系统10包括广播传送系统100和电视接收器200的情况，但是本技术可应用于的传输-接收系统的配置不限于此。例如，可允许具有包括与数字接口(诸如，高清晰多媒体接口(HDMI))连接的机顶盒和监控器的配置，数字接口用作电视接收器200的一部分。应注意，“HDMI”是注册商标。
此外，本技术也可如下配置。
(1)一种传输装置，包括：
视频编码单元，生成由在有效载荷中具有编码图像数据的视频包形成的视频流；
字幕编码单元，生成由在有效载荷中具有字幕信息的字幕包形成的字幕流；
复用流生成单元，生成包括视频流和字幕流的复用流；以及
传输单元，传输复用流，
其中，复用流生成单元将字幕包布置在随机存取位置处。
(2)根据(1)所述的传输装置，
其中，字幕编码单元将时间戳插入字幕包的报头的时间戳插入位置中，该时间戳的值等于或接近在随机存取位置处插入视频包的报头的时间戳插入位置中的时间戳的值。
(3)根据(2)所述的传输装置，其中，字幕编码单元将指示字幕的显示时间的唯一时间戳插入字幕包的报头和有效载荷中的一个。
(4)根据(3)所述的传输装置，
其中，复用流生成单元将指示唯一时间戳已被插入字幕包中的标识信息插入复用流中。
(5)根据(4)所述的传输装置，
其中，指示插入位置的信息被添加至标识信息。
(6)根据(1)至(5)中任一项所述的传输装置，
其中，字幕信息是具有显示定时信息的预定格式的字幕的文本信息。
(7)根据(6)所述的传输装置，
其中，预定格式的字幕的文本信息是TTML以及TTML的派生格式中的一种。
(8)根据(1)至(7)中任一项所述的传输装置，
其中，视频包和字幕包中的每一个是PES包，并且复用流是MPEG2传输流。
(9)一种传输方法，包括：
视频编码步骤，生成由在有效载荷中具有编码图像数据的视频包形成的视频流；
字幕流生成步骤，生成由在有效载荷中具有字幕信息的字幕包形成的字幕流；
复用流生成步骤，生成包括视频流和字幕流的复用流；以及
传输步骤，通过传输单元传输复用流，
其中，复用流生成步骤将字幕包布置在随机存取位置处。
(10)一种接收装置，包括接收单元，接收单元接收复用流，复用流包括由在有效载荷中具有编码图像数据的视频包形成的视频流并且包括由在有效载荷中具有字幕信息的字幕包形成的字幕流，
字幕包布置在复用流中的随机存取位置处，
接收装置进一步包括处理单元，处理单元从复用流中提取在随机存取位置处的字幕包和视频包并且执行字幕显示处理。
(11)根据(10)所述的接收装置，
其中，将第一时间戳插入字幕包的报头的时间戳插入位置中，第一时间戳的值等于或接近于插入随机存取位置处的视频包的报头的时间戳插入位置中的时间戳的值，
指示字幕的显示时间的第二时间戳被插入字幕包的报头和有效载荷中的一个，并且
处理单元在正常再现模式下参考第二时间戳执行字幕显示处理。
(12)根据(11)所述的接收装置，
其中，指示第二时间戳已被插入字幕包中的标识信息被插入复用流中，并且
处理单元基于标识信息从字幕包提取第二时间戳，并且使用第二时间戳。
(13)一种接收方法，包括通过接收单元接收复用流的接收步骤，复用流包括由在有效载荷中具有编码图像数据的视频包形成的视频流并且包括由在有效载荷中具有字幕信息的字幕包形成的字幕流，
字幕包布置在复用流中的随机存取位置处，
接收方法进一步包括从复用流中取出在随机存取位置处的字幕包和视频包并且执行字幕显示处理的处理步骤。
本技术的主要特征是通过在将传输流TS生成为复用流时，将字幕PES包布置在随机存取位置处，来实现接收侧上的可变速度再现模式下的字幕显示处理的简化(参考图18的(a)至图18的(e))。
参考符号列表
10 传输-接收系统
100 广播传送系统
110 流生成单元
111 控制单元
112 视频编码器
113 音频编码器
114 文本格式转换器
115 字幕编码器
116 TS格式器(复用器)
120 定时管理单元
121 视频定时管理单元
122 音频定时管理单元
123 RAP定时管理单元
124 字幕显示定时管理单元
200 电视接收器
201 接收单元
201a 存储介质
202 TS分析单元
203 视频解码器
204 视频叠加单元
205 面板驱动电路
206 显示面板
207 音频解码器
208 声音输出电路
209 扬声器
210 字幕解码器
221 CPU

Claims (13)

1.一种传输装置，包括：
视频编码单元，生成由在有效载荷中具有编码图像数据的视频包形成的视频流；
字幕编码单元，生成由在有效载荷中具有字幕信息的字幕包形成的字幕流；
复用流生成单元，生成包括所述视频流和所述字幕流的复用流；
以及
传输单元，传输所述复用流，
其中，所述复用流生成单元将所述字幕包布置在随机存取位置处。
2.根据权利要求1所述的传输装置，
其中，所述字幕编码单元将时间戳插入所述字幕包的报头的时间戳插入位置中，所述时间戳的值等于或接近于插入所述随机存取位置处的所述视频包的报头的时间戳插入位置中的时间戳的值。
3.根据权利要求2所述的传输装置，
其中，所述字幕编码单元将指示字幕的显示时间的唯一时间戳插入所述字幕包的报头和有效载荷之一中。
4.根据权利要求3所述的传输装置，
其中，所述复用流生成单元将指示所述唯一时间戳已被插入所述字幕包中的标识信息插入所述复用流中。
5.根据权利要求4所述的传输装置，其中，指示插入位置的信息被添加至所述标识信息。
6.根据权利要求1所述的传输装置，
其中，所述字幕信息是具有显示定时信息的预定格式的字幕的文本信息。
7.根据权利要求6所述的传输装置，
其中，所述预定格式的字幕的所述文本信息是TTML和所述TTML的派生格式中的一种。
8.根据权利要求1所述的传输装置，
其中，所述视频包和所述字幕包中的每一个是PES包，并且所述复用流是MPEG2传输流。
9.一种传输方法，包括：
视频编码步骤，生成由在有效载荷中具有编码图像数据的视频包形成的视频流；
字幕流生成步骤，生成由在有效载荷中具有字幕信息的字幕包形成的字幕流；
复用流生成步骤，生成包括所述视频流和所述字幕流的复用流；
以及
传输步骤，通过传输单元传输所述复用流，
其中，所述复用流生成步骤将所述字幕包布置在随机存取位置处。
10.一种接收装置，包括接收单元，所述接收单元接收复用流，所述复用流包括由在有效载荷中具有编码图像数据的视频包形成的视频流并且包括由在有效载荷中具有字幕信息的字幕包形成的字幕流，
所述字幕包布置在所述复用流中的随机存取位置处，
所述接收装置进一步包括处理单元，所述处理单元从所述复用流中取出所述字幕包和在所述随机存取位置处的所述视频包并且执行字幕显示处理。
11.根据权利要求10所述的接收装置，
其中，第一时间戳被插入所述字幕包的报头的时间戳插入位置中，所述第一时间戳的值等于或接近于插入所述随机存取位置处的所述视频包的报头的时间戳插入位置中的时间戳的值，
指示字幕的显示时间的第二时间戳被插入所述字幕包的报头和有效载荷之一中，并且
所述处理单元在正常再现模式下参考所述第二时间戳执行字幕显示处理。
12.根据权利要求11所述的接收装置，
其中，指示所述第二时间戳已被插入所述字幕包中的标识信息被插入所述复用流中，并且
所述处理单元基于所述标识信息从所述字幕包提取所述第二时间戳，并且使用所述第二时间戳。
13.一种接收方法，包括通过接收单元接收复用流的接收步骤，所述复用流包括由在有效载荷中具有编码图像数据的视频包形成的视频流并且包括由在有效载荷中具有字幕信息的字幕包形成的字幕流，
所述字幕包布置在所述复用流中的随机存取位置处，
所述接收方法进一步包括从所述复用流中取出所述字幕包和在所述随机存取位置处的所述视频包并且执行字幕显示处理的处理步骤。
CN201680009873.6A 2015-02-20 2016-02-09 传输装置、传输方法、接收装置以及接收方法 Active CN107211170B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-031800 2015-02-20
JP2015031800 2015-02-20
PCT/JP2016/053869 WO2016132977A1 (ja) 2015-02-20 2016-02-09 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN107211170A true CN107211170A (zh) 2017-09-26
CN107211170B CN107211170B (zh) 2020-07-10

Family

ID=56689236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680009873.6A Active CN107211170B (zh) 2015-02-20 2016-02-09 传输装置、传输方法、接收装置以及接收方法

Country Status (5)

Country Link
US (1) US10225589B2 (zh)
EP (1) EP3261353B1 (zh)
JP (4) JP6729547B2 (zh)
CN (1) CN107211170B (zh)
WO (1) WO2016132977A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111896A (zh) * 2018-01-16 2018-06-01 北京三体云联科技有限公司 一种字幕同步方法及装置
CN114302215A (zh) * 2021-12-29 2022-04-08 北京奕斯伟计算技术有限公司 视频数据流解码系统、方法、电子设备和介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103328532B (zh) 2010-01-19 2016-05-25 赛里根Ii有限公司 用于定向生物标志信号放大的试剂
EP3285492B1 (en) * 2015-04-13 2021-06-02 Sony Corporation Reproduction device and reproduction method
EP4221169A1 (en) * 2022-01-31 2023-08-02 Koa Health B.V. Sucursal en España System and method for monitoring communication quality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170819A1 (en) * 2005-01-29 2006-08-03 Samsung Electronics Co., Ltd. Method of controlling ouput time and output priority of caption information and apparatus thereof
CN1822175A (zh) * 2004-12-02 2006-08-23 索尼株式会社 再现装置、再现方法、再现程序、记录介质以及数据结构
US20090214178A1 (en) * 2005-07-01 2009-08-27 Kuniaki Takahashi Reproduction Apparatus, Video Decoding Apparatus, and Synchronized Reproduction Method
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032607A (ja) * 2002-06-28 2004-01-29 Sanyo Electric Co Ltd ディジタル映像再生装置
JP4781600B2 (ja) * 2002-09-24 2011-09-28 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US8745687B2 (en) * 2005-02-15 2014-06-03 Sony Corporation Digital closed caption transport in standalone stream
US20070154176A1 (en) * 2006-01-04 2007-07-05 Elcock Albert F Navigating recorded video using captioning, dialogue and sound effects
JP4779981B2 (ja) 2007-02-01 2011-09-28 三菱電機株式会社 デジタル映像情報データ生成装置、デジタル映像情報記録装置、デジタル映像情報再生装置、及びデジタル映像情報データ生成方法
EP2211347B1 (en) 2007-11-01 2013-01-16 Panasonic Corporation Recording medium, reproducing device, recording device, reproducing method, and recording method
JP4992931B2 (ja) * 2009-04-20 2012-08-08 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
BR112014013976A2 (pt) * 2011-12-16 2017-06-13 Sony Corp dispositivos de recepção e de distribuição, programa, método para distribuição realizado por um dispositivo de distribuição, e, sistema de distribuição
KR101781887B1 (ko) * 2014-02-23 2017-09-26 엘지전자 주식회사 방송 신호 송수신 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1822175A (zh) * 2004-12-02 2006-08-23 索尼株式会社 再现装置、再现方法、再现程序、记录介质以及数据结构
US20060170819A1 (en) * 2005-01-29 2006-08-03 Samsung Electronics Co., Ltd. Method of controlling ouput time and output priority of caption information and apparatus thereof
US20090214178A1 (en) * 2005-07-01 2009-08-27 Kuniaki Takahashi Reproduction Apparatus, Video Decoding Apparatus, and Synchronized Reproduction Method
CN103416069A (zh) * 2012-01-13 2013-11-27 索尼公司 发送设备、发送方法、接收设备以及接收方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111896A (zh) * 2018-01-16 2018-06-01 北京三体云联科技有限公司 一种字幕同步方法及装置
CN108111896B (zh) * 2018-01-16 2020-05-05 北京三体云联科技有限公司 一种字幕同步方法及装置
CN114302215A (zh) * 2021-12-29 2022-04-08 北京奕斯伟计算技术有限公司 视频数据流解码系统、方法、电子设备和介质
CN114302215B (zh) * 2021-12-29 2023-09-29 北京奕斯伟计算技术股份有限公司 视频数据流解码系统、方法、电子设备和介质

Also Published As

Publication number Publication date
JP2023001309A (ja) 2023-01-04
EP3261353A4 (en) 2018-07-18
JP6729547B2 (ja) 2020-07-22
JP7176598B2 (ja) 2022-11-22
CN107211170B (zh) 2020-07-10
WO2016132977A1 (ja) 2016-08-25
JPWO2016132977A1 (ja) 2017-11-30
JP2020174367A (ja) 2020-10-22
EP3261353B1 (en) 2021-03-31
US20180007406A1 (en) 2018-01-04
US10225589B2 (en) 2019-03-05
JP6927374B2 (ja) 2021-08-25
JP2021184626A (ja) 2021-12-02
EP3261353A1 (en) 2017-12-27

Similar Documents

Publication Publication Date Title
JP7176598B2 (ja) 送信方法
JP6825558B2 (ja) 送信装置、送信方法、再生装置および再生方法
RU2701172C2 (ru) Передающее устройство, способ передачи, приемное устройство и способ приема
US10511802B2 (en) Transmission device, transmission method, reproducing device and reproducing method
US11765330B2 (en) Transmitter, transmission method, receiver, and reception method
JP6900907B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN109479154A (zh) 发送装置、发送方法、接收装置和接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant