CN108702530B - 发送装置、发送方法、接收装置及接收方法 - Google Patents

发送装置、发送方法、接收装置及接收方法 Download PDF

Info

Publication number
CN108702530B
CN108702530B CN201780013445.5A CN201780013445A CN108702530B CN 108702530 B CN108702530 B CN 108702530B CN 201780013445 A CN201780013445 A CN 201780013445A CN 108702530 B CN108702530 B CN 108702530B
Authority
CN
China
Prior art keywords
time
packet
display
subtitle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780013445.5A
Other languages
English (en)
Other versions
CN108702530A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108702530A publication Critical patent/CN108702530A/zh
Application granted granted Critical
Publication of CN108702530B publication Critical patent/CN108702530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/07—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information characterised by processes or methods for the generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13—Arrangements for device control affected by the broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Abstract

本发明在不改变有关字幕的文本信息的显示定时的情况下保证当执行发送时与系统定时相关性，并且在接收侧在适当定时能够显示字幕。根据本发明，与采样时段同步地生成并发送分组，分组的有效载荷包括与具有显示定时信息的字幕相关的文本信息的文档。在分组的报头中，包括用于指示对应采样时段的开始时间的第一时间轴上的时间戳。在分组的有效载荷部分中，进一步包括与显示定时相关并与对应采样时段的开始时间相关联的第二时间轴的基准时间信息。

Description

发送装置、发送方法、接收装置及接收方法
技术领域
本技术涉及发送器、发送方法、接收器和接收方法，并且更具体地，涉及用于发送具有显示定时信息的字幕的文本信息的文件的发送器等。
背景技术
常规地，例如，在利用数字视频广播(DVB)等的广播中，执行用于发送字幕的信息作为位图数据的操作。近来，已经提出以文本字符码，即，以基于文本的方式发送字幕信息。在这种情况下，通过接收侧根据分辨率放大字体。
此外，在字幕信息以基于文本的方式发送的情况下，已经提出文本信息包括定时信息。作为文本信息，例如，万维网联盟(W3C)提出定时文本标记语言(TTML)(参考专利文献1)。
引用列表
专利文献
专利文献1：日本专利申请特开号2012-169885。
发明内容
本发明要解决的问题
认为是与采样时段(固定部分)同步地生成并发送包括TTML的文档的分组。在这种情况下，分组的报头包括指示对应采样时段的开始时间的时间戳。关于时间戳，在整个系统中统一管理定时。
TTML的域的显示定时(开始、结束)仅是每个TTML封装的相对定时，并且显示定时不与系统同步。另一方面，针对每个内容生成TTML的字幕并且在发布时独立于定时管理。因此，同步方法需要在不改变作为TTML的字幕的相对定时的显示定时(开始、结束)的情况下保证在发送时与系统定时相关联。
本技术的目标是在不改变字幕的文本信息中的显示定时的情况下保证在发送时与系统定时相关联并且通过接收侧在适当定时显示字幕。
问题的解决方案
本技术的原理是
发送器，包括
分组发送单元，与采样时段同步地生成并发送分组，在分组中具有显示定时信息的字幕的文本信息的文档包括在有效载荷中，其中
指示对应采样时段的开始时间的第一时间轴上的时间戳包括在分组的报头中，并且
分组的有效载荷进一步包括与显示定时相关的第二时间轴的基准时间信息，显示定时与对应采样时段的开始时间相关联。
在本技术中，由发送单元与采样时段同步地生成并发送分组。分组的有效载荷包括具有显示定时信息的字幕的文本信息的文档。例如，分组可以是PES分组。此外，字幕的文本信息可以TTML或者来源于TTML的格式进行描述。
分组的报头包括指示对应采样时段的开始时间的第一时间轴上的时间戳。此外，分组的有效载荷进一步包括与显示定时相关的第二时间轴的基准时间信息，显示定时与对应采样时段的开始时间相关联。例如，基准时间信息可以是指示对应采样时段的开始时间的时间信息。此外，例如，基准时间信息可以是指示由显示定时信息指示的显示开始时间与对应采样时段的开始时间之间的差值的时间信息，或者由显示定时信息指示的显示结束时间与对应采样时段的开始时间之间的差值的时间信息。此外，例如，可以由第一时间轴上的90kHz的计数值指示时间，并且可以由第二时间轴上的时分秒帧指示时间。
此外，例如，分组的有效载荷可包括第一片段和第二片段，第一片段具有字幕的文本信息的文档，第二片段具有与显示定时相关的基准时间信息。然后，在这种情况下，可以利用识别信息将第一片段和对应于第一片段的第二片段相关联。
如上所述，在本技术中，分组的报头包括指示对应采样时段的开始时间的第一时间轴上的时间戳，并且分组的有效载荷包括于显示定时相关的第二时间轴的基准时间信息，显示定时与对应采样时段的开始时间相关联。因此，可以在不改变字幕的文本信息中的显示定时的情况下保证在发送时与系统定时相关联，并且接收侧可以在适当定时显示字幕。
应注意，在本技术中，例如，分组发送单元可以在由显示定时信息指示的显示开始时间经过之后的采样时段中生成并发送分组。例如，这使得能够在由信道转换引起的随机访问时增加字幕的显示概率。
此外，本技术的另一个概念是
接收器，包括
接收单元，与采样时段同步地接收分组，在分组中具有显示定时信息的字幕的文本信息的文档包括在有效载荷中，其中
指示对应采样时段的开始时间的第一时间轴上的时间戳包括在分组的报头中，并且
分组的有效载荷进一步包括与显示定时相关的第二时间轴的基准时间信息，显示定时与对应采样时段的开始时间相关联，并且
接收器进一步包括控制单元，该控制单元基于时间戳和基准时间信息根据字幕的文本信息控制字幕的显示定时。
在本技术中，接收单元与采样时段同步地接收分组，在分组中具有显示定时信息的字幕的文本信息的文档包括在有效载荷中。在此，分组的报头包括指示对应采样时段的开始时间的第一时间轴上的时间戳。此外，分组的有效载荷进一步包括与显示定时相关的第二时间轴的基准时间信息，显示定时与对应采样时段的开始时间相关联。
控制单元基于时间戳和基准时间信息根据字幕的文本信息控制字幕的显示定时。例如，控制单元可以通过使用时间戳和基准时间信息将由显示定时信息指示的显示开始时间和显示结束时间转换为第一时间轴上的时间，并且通过使用所转换的时间控制字幕的显示定时。此外，例如，当提前处于由显示定时信息指示的显示开始时间时，控制单元可以根据字幕的文本信息执行控制以立即地显示字幕。
以此方式，在本技术中，分组的报头包括指示对应采样时段的开始时间的第一时间轴上的时间戳，分组的有效载荷包括与显示定时相关的第二时间轴的基准时间信息，显示定时与对应采样时段的开始时间相关联，并且基于时间戳和基准时间信息根据字幕的文本信息控制字幕的显示定时。因此，可以在适当定时显示字幕。
应注意，在本技术中，例如，分组的有效载荷包括第一片段和第二片段是可行的，第一片段具有字幕的文本信息的文档，第二片段具有与显示定时相关的基准时间信息，利用识别信息将第一片段和对应于第一片段的第二片段相关联，并且控制单元通过使用包括在与第一片段相关联的第二片段中的基准时间信息根据包括在第一片段中的字幕的文本信息控制字幕的显示定时。利用这种控制，可以避免使用错误的基准时间信息控制显示定时。
本发明的效果
根据本技术，可以在不改变字幕的文本信息中的显示定时的情况下保证在发送时与系统定时相关联，并且接收侧可以在适当定时显示字幕。应注意，本文中描述的效果仅是示例性的并且不局限于此。此外，可能存在其他效果。
附图说明
[图1]是根据实施方式的发送/接收系统的示例性配置的框图。
[图2]是广播发送系统的流生成单元的示例性配置的框图。
[图3]是描述TTML结构的示图。
[图4]是TTML结构的报头(头部)中存在的元数据、类型和布局的每个元素的示例性结构的示图。
[图5]是TTML结构的主体的示例性结构的示图。
[图6]是字幕PES分组的示例性生成定时的示图。
[图7]是描述基准时间信息的示图。
[图8]是字幕PES分组的示例性内容(分组结构)的示意图。
[图9]是在重播的情况下的字幕PES分组的示例性内容的示意图。
[图10]是字幕PES分组的示例性内容(分组结构)的示意图。
[图11]是已经单独生成的两个字幕内容的实例的示图。
[图12]是在字幕内容S1和S2存在的情况下的字幕PES分组的示例性内容(分组结构)的示意图。
[图13]是在有关字幕内容S1和S2的TTLM文档和基准时间片段存在于字幕PES分组中的情况下的示例性布置序列的示图。
[图14]是字幕PES分组的示例性结构的示图。
[图15]是字幕PES分组(PES_packet)的示例性结构和“PES_data_byte_field()”的示例性结构的示图。
[图16]是TT字幕片段类型的示例性定义的示图。
[图17]是示例性结构中的主要信息的TTML片段和内容等的示例性结构的示图。
[图18]是示例性结构中的主要信息的基准时间片段和内容等的示例性结构的示图。
[图19]是电视接收器的示例性配置的框图。
[图20]是当CPU接收字幕PES分组时每次执行的字幕显示控制的示例性处理程序的示图。
具体实施方式
以下将描述用于执行本发明的模式(称为“实施方式”)。应注意，将按以下顺序进行描述。
1.实施方式
2.变形例
1.实施方式
[发送/接收系统的示例性配置]
图1是作为实施方式的发送/接收系统10的示例性配置。发送/接收系统10包括广播发送系统100和电视接收器200。
广播发送系统100发送MPEG-2发送流(在下文中简称为“发送流”)TS作为广播波上的复用流。
发送流TS具有字幕流以及视频流和音频流。视频流包括其中编码图像数据布置在有效载荷中的视频PES分组。音频流包括其中编码音频数据布置在有效载荷中的音频PES分组。
字幕流包括其中具有显示定时信息的字幕的文本信息的文档被布置在有效载荷中的字幕PES分组，显示定时信息在实施方式中作为具有TTML文档(TTML document)的片段分组。与采样时段(固定部分)同步生成字幕PES分组。
字幕PES分组的报头包括指示对应采样时段的开始时间的第一时间轴上的时间戳。时间戳是所谓的显现时间戳(Presentation Time Stamp，PTS)，并且时间用90kHz的计数值指示。在这种情况下，PTS配置采样开始时间。关于PTS，在整个系统中统一管理定时。
此外，字幕PES分组的有效载荷包括有关显示定时(开始、结束)的第二时间轴的基准时间信息，显示定时与对应采样时段的开始时间相关联。显示定时(开始，结束)仅是用于TTML的每个封装的相对定时。显示定时不与系统同步并且在发布时独立于定时管理。在本实施方式中，基准时间信息是指示对应采样时段的开始时间的时间信息，并且在基准时间信息中，时间由时分秒帧指示。
字幕PES分组的有效载荷包括第一片段(TTML_segment)和第二片段(Reftime_segment)，第一片段(TTML_segment)具有以上描述的字幕的文本信息的文档，第二片段(Reftime_segment)具有与以上描述的显示定时相关的基准时间信息。在此，第一片段和对应于第一片段的第二片段形成一对(组)，并且这些片段具有相同的识别信息且彼此相关联。在存在已经单独生成的多个字幕内容的情况下，字幕PES分组的有效载荷可包括多对(组)第一片段和第二片段。然而，可以利用识别信息彼此识别这些对。
电视接收器200从广播发送系统100接收在广播波上发送的发送流TS。如上所述，发送流TS包括字幕流以及视频流和音频流。如上所述，字幕流由字幕PES分组进行配置。字幕PES分组包括具有字幕的文本信息的文档的第一片段(TTML_segment)以及具有与显示定时相关的基准时间信息的第二片段(Reftime_segment)。
电视接收器200基于时间戳和基准时间信息根据字幕的文本信息控制显示字幕的定时。如上所述，时间戳是有关第一时间轴的时间信息，并且基准时间信息是有关类似于包括在TTML中的显示定时信息的第二时间轴的时间信息。电视接收器200将由显示定时信息指示的显示开始时间和显示结束时间转换为第一时间轴上的时间并且通过使用所转换的时间控制字幕显示定时。
在此，第一片段和对应于第一片段的第二片段形成一对(组)，并且这些片段具有相同的识别信息且彼此相关联。电视接收器200通过使用包括在与第一片段相关联的第二片段中的基准时间信息根据包括在第一片段中的字幕的文本信息控制字幕显示定时。
应注意，为了在由信道转换引起的随机访问时增加字幕的显示概率，包括相同TTML文档的字幕PES分组可以与多个采样时段同步连续发送。在那种情况下，在每个字幕PES分组中，因为对应采样时段提前，因此由包括在字幕PES分组中的基准时间信息指示的时间顺序改变。在这种情况下，在由显示定时信息指示的显示开始时间过去之后的采样时段中生成并发送字幕PES分组。当由显示定时信息指示的显示开始时间被设置在采样时段的开始时间之前时，接收器200执行控制以立即地显示字幕。
[广播发送系统的流生成单元的示例性配置]
图2是广播发送系统100的流生成单元110的示例性配置。流生成单元110包括控制单元111、视频编码器112、音频编码器113、文本格式转换单元114、字幕编码器115和TS格式器(多路复用器)116。
例如，控制单元111包括中央处理单元(CPU)并且控制流生成单元110中的单元的操作。视频编码器112接收图像数据DV，编码图像数据DV，并且在有效载荷中生成包括具有编码图像数据的视频PES分组的视频流(PES流)。音频编码器113接收音频数据DA，编码音频数据DA，并且生成包括具有编码音频数据的音频PES分组的音频流(PES流)。
文本格式转换单元114接收作为字幕信息的文本数据(字符码)和包括文本数据的显示控制信息的数据DT并且获取具有显示定时信息的预定格式的字幕的文本信息。例如，作为文本信息，被认为是使用TTML或者来源于TTML的格式。在本实施方式中，使用TTML。
图3是TTML的文档(文件)的示例性结构。TTML是基于XML描述的。在TTML中，存在头部(head)和主体(body)。此外，元数据(metadata)、类型(styling)和布局(layout)的每个元素存在于头部(head)中。
图4的(a)示出了元数据(TTM：TTML元数据)的示例性结构。元数据包括有关元数据的标题的信息以及有关版权(copyright)的信息。
图4的(b)示出了类型(TTS：TTML类型)的示例性结构。除了标识符(id)之外，该类型包括诸如颜色(color)、字体(fontFamily)、尺寸(fontSize)、对齐(textAlign)等信息。
图4的(c)示出了布局(区域：TTML布局)的示例性结构。除了布置字幕的区域的标识符(id)之外，该布局包括诸如范围(extent)、偏移(padding)、背景颜色(backgroundColor)、对齐(displayAlign)等信息。
图5示出了主体(body)的示例性结构。在图5中的实例中，包括有关字幕1(subtitle 1)的信息。描述了显示开始时间和显示结束时间，并且描述了文本数据。例如，关于字幕1(subtitle 1)，显示开始定时为“3s”，显示结束定时为“6s”，并且文本数据为“我现在要去车站”。
返回图2，字幕编码器115生成包括通过文本格式转换单元114获取的TTML文档的TTML片段(TTML_segment)。然后，字幕编码器115生成包括其中TTML片段布置在有效载荷中的字幕PES分组的字幕流(PES流)。
字幕编码器115与采样时段同步生成字幕PES分组，并且将指示对应采样时段的开始时间的第一时间轴上的时间戳作为PTS插入至字幕PES分组的报头。在第一时间轴上，由90kHz的计数值指示时间。
图6示出了示例性生成字幕PES分组的定时。在图6中，垂直线指示采样时段(固定部分)之间的分界线。在这个实例中，与某个采样时段同步生成具有作为PTS的时间戳A(Timestamp A)的字幕PES分组，时间戳A(Timestamp A)指示采样时段的开始时间。字幕PES分组的有效载荷包括具有TTLM文档的TTML片段(TTML_segment)，TTLM文档具有其中显示开始时间为“J”并且显示结束时间为“K”的显示定时信息。
此外，在该实例中，与某个采样时段同步生成具有作为PTS的时间戳B(TimestampB)的字幕PES分组，时间戳B(Timestamp B)指示采样时段的开始时间。字幕PES分组的有效载荷包括具有TTLM文档的TTML片段(TTML_segment)，TTLM文档具有其中显示开始时间为“P”并且显示结束时间为“R”的显示定时信息。
此外，字幕编码器115基于通过控制单元111的定时管理生成具有与显示定时相关的第二时间轴的基准时间信息的基准时间片段(Reftime_segment)，显示定时与对应采样时段的开始时间相关联。然后，字幕编码器115包括字幕PES分组的有效载荷中的基准时间片段(Reftime_segment)。在第二时间轴上，由时分秒帧指示时间。
参考图7，将进一步描述基准时间信息。与采样时段的开始对应的第一时间轴上的时间假设为“timestamp 1”。此外，字幕(subtitle)的显示定时(开始、结束)是第二时间轴的时间信息。假设显示开始时间(开始)为“Time1”，与采样时段的开始对应的第二时间轴上的时间为“Reftime1”，并且“Time1”和“Reftime1”之间的差值为Δ。在这种情况下，“Reftime1”是基准时间信息。
通过将基准时间信息插入至字幕PES分组的有效载荷并且发送基准时间信息，接收侧可以将作为第二时间轴的时间信息的字幕的显示定时(开始、结束)转换为第一时间轴并且通过使用转换的时间控制字幕的显示定时。
以下公式(1)指示获取作为对应于Δ时段的90kHz精度的值的“delta90”的换算公式。此外，以下公式(2)指示获取作为对应于第二时间轴上的显示开始时间(开始)的第一时间轴上的时间的“timestamp2”的换算公式。此外，以下公式(3)指示获取作为对应于第二时间轴的显示结束时间(结束)的第一时间轴上的时间的“Timestamp3”的换算公式。应注意，假设显示结束时间(结束)为“Time1'”。此外，在这些公式中，Time1、Reftime1和Time1'中的每一个的单位是“秒”。
delta90＝(Time1-Reftime1)*90K···(1)
timestamp2＝timestamp1+delta90···(2)
timestamp3＝timestamp2+(Time1′-Time1)*90K···(3)
应注意，在上文中，描述了其中显示开始时间“Time1”大于时间“Reftime1”的普通情况。然而，显示开始时间“Time1”可以与时间“Reftime1”一致。在那种情况下，作为基准时间信息的“Reftime1”被设置为“Time1”。在这种情况下，可以省略基准时间信息的发送。
图8是字幕PES分组的示例性内容(分组结构)的示意图。该实例对应于以上描述的图6。具有作为PTS的时间戳A(Timestamp A)的字幕PES分组的有效载荷包括：具有显示定时信息的TTLM文档的TTML片段(TTML_segment)，在显示定时信息中，显示开始时间为“J”并且显示结束时间为“K”，以及包括具有基准时间信息“Reftime1”的基准时间片段(Reftime_segment)。
在这种情况下，例如，通过以下公式(4)，接收侧可以获取作为具有90kHz精度的第一时间轴上的时间的“Ts_Am”，90kHz精度对应于第二时间轴上的显示开始时间(开始)。
TS_Am＝timestampA +(J-Reftime1)*90K···(4)
此外，具有作为PTS的时间戳B(Timestamp B)的字幕PES分组的有效载荷包括：具有显示定时信息的TTLM文档的TTML片段(TTML_segment)，在显示定时信息中，显示开始时间为“P”并且显示结束时间为“R”，以及包括具有基准时间信息“Reftime2”的基准时间片段(Reftime_segment)。此外，在这种情况下，可以省略基准时间片段(Reftime_segment)的插入。
在这种情况下，例如，通过以下公式(5)，接收侧可以获取作为具有90kHz精度的第一时间轴上的时间的“Ts_Bm”，90kHz精度对应于第二时间轴上的显示开始时间(开始)。
TS_Bm＝timestampB+(P-Reftime2)*90K
＝timestampB···(5)
图9示意性地示出了相同TTML文档在不同的广播时间区域中再分配的情况下，例如，在重播的情况下的字幕PES分组的示例性内容。PTS1的时间戳在原始广播时附接，并且PTS2的时间戳在重播时附接。在有效载荷中，在原始广播和重播时包括具有显示定时信息的TTLM文档的TTML片段(TTML_segment)，在显示定时信息中，显示开始时间为“00：00：03”并且显示结束时间为“00：00：06”。
此外，在有效载荷中，在原始广播时包括具有“00：00：01”作为基准时间信息“Reftime1”的基准时间片段(Reftime_segment)，并且在重播时具有“00：00：01”作为基准时间信息“Reftime2”的基准时间片段(Reftime_segment)。在这种情况下，α是从PTS1至作为显示开始时间的PTS1_1的时间延迟α等于从PTS2至作为显示开始时间的PTS2_1的时间延迟β。另一方面，可以分别对“Reftime1”和“Reftime2”设置不同的值。在这种情况下，延迟量α和β彼此不同。
因此，接收侧可以在原始广播时通过以下公式(6)获取作为具有90kHz精度的第一时间轴上的时间的“PTS1_1”，90kHz精度与第二时间轴上的显示开始时间(开始)对应。
PTS1_1＝PTS1+(3sec-1sec)*90K···(6)
因此，接收侧可以在重播时通过以下公式(7)获取作为具有90kHz精度的第一时间轴上的时间的“PTS2_1”，90kHz精度与第二时间轴上的显示开始时间(开始)对应。利用这种处理，类似于原始广播的时间，可以在重播时控制字幕的显示定时。
PTS2_1＝PTS2+(3sec-1sec)*90K···(7)
应注意，在图8中的实例中，在采样时段中仅发送一次包括具有显示定时信息的TTLM文档的字幕PES分组，在显示定时信息中显示开始时间为“J”并且显示结束时间为“K”，并且在采样时段中仅发送一次包括具有显示定时信息的TTLM文档的字幕PES分组，在显示定时信息中显示开始时间为“P”并且显示结束时间为“R”。
然而，为了在由信道转换引起的随机访问时增加字幕的显示概率，被认为是与采样时段同步连续生成包括相同TTLM文档的字幕PES分组并且连续发送所生成的分组。在那种情况下，在每个字幕PES分组中，因为对应采样时段提前，因此由包括在字幕PES分组中的基准时间信息指示的时间顺序改变。
图10是字幕PES分组的示例性内容(分组结构)的示意图。具备时间戳A0(Timestamp A0)、时间戳A1(Timestamp A1)和时间戳A2(Timestamp A2)的全部字幕PES分组具有有效载荷中的显示定时信息的TTLM文档，在显示定时信息中显示开始时间为“J”并且显示结束时间为“K”。然而，包括在字幕PES分组中的基准时间信息变为“Reftime10”、“Reftime11”和“Reftime12”。在这种情况下，在具有时间戳A1和A2的字幕PES分组中，显示开始时间“J”是在基准时间信息指示的时间之前。接收侧可以发现显示开始时间已经过去。
此外，类似地，具有时间戳B0(Timestamp B0)、时间戳B1(Timestamp B1)和时间戳B2(Timestamp B2)的全部字幕PES分组在有效载荷中具有显示定时信息的TTLM文档，在显示定时信息中显示开始时间为“P”并且显示结束时间为“R”。然而，包括在字幕PES分组中的基准时间信息变为“Reftime20”、“Reftime21”和“Reftime22”。在这种情况下，在具有时间戳B1和B2的字幕PES分组中，显示开始时间“P”是在基准时间信息指示的时间之前。接收侧可以发现显示开始时间已经过去。
应注意，在上文中，已经描述了其中字幕PES分组的有效载荷包括与单个字幕内容相关的TTML片段(TTML_segment)和基准时间片段(Reftime_segment)的实例。然而，被认为是包括与多个字幕内容相关的TTML片段和基准时间片段，多个字幕内容在字幕PES分组的有效载荷中单独产生。
即，一对或多对(组)TTML片段和基准时间片段可以包括在字幕PES分组的有效载荷中。鉴于此，如随后将描述的，在每对中，利用识别信息“segment_associate_id”将TTML片段和基准时间片段彼此相关联。
图11示出了单独产生的两个字幕内容的实例。例如，字幕内容S1与视频同步，并且通过使用字幕内容S1显示与各个角色的语音有关的字幕。此外，例如，字幕内容S2不与视频同步，并且通过使用字幕内容S2显示故事或场景的说明、演员信息和其他一般信息(例如，天气预报等)的字幕。
图12示意性地示出了存在字幕内容S1和S2的情况下的字幕PES分组的示例性内容(分组结构)。具有时间戳A(Timestamp A)作为PTS的字幕PES分组的有效载荷包括具有显示定时信息的TTLM文档的TTML片段“S1 TTML”，在显示定时信息中，有关字幕内容S1的显示开始时间为“S1_b1”并且显示结束时间为“S1_e1”，并且有效载荷包括具有基准时间信息“A_S1”的基准时间片段“Reftime A_S1”。
此外，在字幕PES分组中，有效载荷包括具有显示定时信息的TTLM文档的TTML片段“S2 TTML”，在显示定时信息中，有关字幕内容S2的显示开始时间为“S2_b1”并且显示结束时间为“S2_e1”，并且有效载荷包括具有基准时间信息“A_S2”的基准时间片段“Reftime A_S2”。
此外，具有时间戳B(Timestamp B)作为PTS的字幕PES分组的有效载荷包括具有显示定时信息的TTLM文档的TTML片段“S1 TTML”，在显示定时信息中，有关字幕内容S1的显示开始时间为“S1_b2”并且显示结束时间为“S1_e2”，并且有效载荷包括具有基准时间信息“B_S1”的基准时间片段“Reftime B_S1”。
此外，在字幕PES分组中，有效载荷包括具有显示定时信息的TTLM文档的TTML片段“S2 TTML”，在显示定时信息中，有关字幕内容S2的显示开始时间为“S2_b2”并且显示结束时间为“S2_e2”，并且有效载荷包括具有基准时间信息“B_S2”的基准时间片段“Reftime B_S2”。
此外，具有时间戳C(Timestamp C)作为PTS的字幕PES分组的有效载荷包括具有显示定时信息的TTLM文档的TTML片段“S1 TTML”，在显示定时信息中，有关字幕内容S1的显示开始时间为“S1_b3”并且显示结束时间为“S1_e3”，并且有效载荷包括具有基准时间信息“C_S1”的基准时间片段“Reftime C_S1”。
图13是在有关字幕内容S1和S2的TTLM文档和基准时间片段存在于字幕PES分组中的情况下的示例性布置序列的示图。这个实例对应于具有图12中的时间戳A(Timestamp A)作为PTS的字幕PES分组。
在图13的(a)中，基准时间片段“Reftime A_S1”、TTLM文档“S1 TTML”、基准时间片段“Reftime A_S2”和TTML片段“S2 TTML”以此顺序布置。在图13的(b)中，基准时间片段“Reftime A_S1”、基准时间片段“Reftime A_S2”、TTLM文档“S1 TTML”和TTML片段“S2TTML”以此顺序布置。这些布置顺序仅是实例，并且可以使用其他布置顺序。应注意，利用识别信息“segment_associate_id1”将基准时间片段“Reftime A_S1”和TTLM文档“S1 TTML”彼此相关联，并且利用“segment_associate_id2”将基准时间片段“Reftime A_S2”和TTML片段“S2 TTML”彼此相关联。
此外，如图13的(c)所示，可以布置单个基准时间片段“Reftime A”、TTLM文档“S1TTML”和TTML片段“S2 TTML”。在这种情况下，单个基准时间片段“Reftime A_S”包括多条关联信息，并且TTLM文档“S1 TTML”与“segment_associate_id1”相关联，以及TTLM文档“S2TTML”与“segment_associate_id2”相关联。
图14示出了字幕PES分组的示例性结构。图14的(a)示出了包括单个字幕内容的数据的情况。PTS包括在报头中，并且一对的基准时间片段和TTML片段存在于有效载荷中。图14的(b)是图14的(a)的变形例并且是省略基准时间信息的发送的情况，并且只有TTML片段存在于有效载荷中。
图14的(c)示出了包括多个(在此为两个)字幕内容的数据的情况。PTS包括在报头中，并且两对的基准时间片段和TTML片段存在于有效载荷中。图14的(d)示出了包括多个(在此为两个)字幕内容的数据的情况。PTS包括在报头中，并且一个基准时间片段和两个TTML片段存在于有效载荷中。
图15的(a)示出了字幕PES分组(PES_packet)的示例性结构。“0x000001”的固定模式(fixed pattern)被布置在24位字段“PES_startcode_prefix”中。8位字段“stream_id”指示流标识符。在字幕PES分组的情况下，描述了指示“专用流1”的值的“10111101”。16位字段“PES_packet_length”指示随后字节的数量作为PES分组的长度(大小)。
在“PES_packet_length”之后，存在字段“Optional_PES_header()”。在这个字段中，布置诸如PTS和DTS的时间戳。在这个字段之后，存在字段“PES_packet_data_byte”。这个字段对应于PES有效载荷。在这个字段中，布置用于包含数据的“PES_data_byte_field()”。
图15的(b)示出了“PES_data_byte_field()”的示例性结构。8位字段“data_identifier”指示用于识别具有容器部分的一种数据的标识符。因为常规字幕(在位图的情况下)被认为是由“0x20”指示，因此可以利用新数值，例如“0x21”来识别文本。
8位字段“subtitle_stream_id”指示用于识别一种字幕流的标识符。例如，在用于发送文本信息的字幕流的情况下，布置新数值“0x01”，并且字幕流可以与用于发送位图的常规字幕流“0x00”不同。
在字段“subtitle_stream_id”之后，字段“Subtitling_segments()”存在于“00001111”模式之后。片段分组布置在该字段中。在该字段之后，存在8位字段“end_of_PES_data_field_marker”。该字段是指示PES分组的结束的标记。
图16示出了TT字幕片段类型(TT_subtitle segment_type)的示例性定义。字符串“0xA0”指示TTML片段(TTML_segment)。字符串“0xA1”指示基准时间片段(Reftime_segment)。
图17的(a)示出了TTML片段(TTML_segment)的示例性结构(语法)。图17的(b)示出了示例性结构中的主要信息的内容(语义)等。8位字段“sync_byte”是指示片段的开始的专用字。8位字段“segment_type”指示一种片段(片段类型)。在此，布置指示作为TTML片段(TTML_segment)的片段的字符串“0xA0”。
16位字段“segment_length”指示随后字节的数量作为字幕片段的长度(大小)。4位字段“TTML_version_number”指示信息的更新版本。在更新信息的情况下，值增加一个。8位字段“segment_associate_id”指示用于识别相互关联的片段的识别信息。在字段“segment_payload()”中，布置了TTML文档。
图18的(a)示出了基准时间片段(Reftime_segment)的示例性结构(语法)。图18的(b)示出了示例性结构中的主要信息的内容(语义)等。8位字段“sync_byte”是指示片段的开始的专用字(unique word)。8位字段“segment_type”指示一种片段(片段类型)。在此，布置了指示基准时间片段(Reftime_segment)的字符串“0xA1”。
16位字段“segment_length”指示随后字节的数量作为字幕片段的长度(大小)。4位字段“reftime_version_number”指示信息的更新版本。在更新信息的情况下，值增加一个。8位字段“number_of_reftime_targets”指示目标的数量，“Reftime”提供至目标。8位字段“segment_associate_id”指示用于识别相互关联的片段的识别信息。
8位字段“reftime_hour”指示以十进制的基准时间信息描述的小时。8位字段“reftime_minute”指示以十进制的基准时间信息描述的分钟。8位字段“reftime_second”指示以十进制的基准时间信息描述的秒。8位字段“reftime_frame”指示以十进制的基准时间信息描述的帧。
返回图2，TS格式器116TS打包并多路复用通过视频编码器112生成的视频流、通过音频编码器113生成的音频流、以及通过字幕编码器115生成的字幕流以便获取作为复用流的发送流TS。
将简要描述图2中示出的流生成单元110的操作。将图像数据DV提供至视频编码器112。视频编码器112编码图像数据DV并且在有效载荷中生成包括具有编码图像数据的视频PES分组的视频流(PES流)。视频流被提供至TS格式器116。
此外，音频数据DA被提供至音频编码器113。音频编码器113编码音频数据DA并且生成包括具有编码音频数据的音频PES分组的音频流(PES流)。音频流被提供至TS格式器116。
此外，包括作为数据的字幕信息和显示控制信息的文本数据(字符码)的数据DT被提供至文本格式转换单元114。文本格式转换单元114以具有显示定时信息(在此，TTML)的预定格式获取字幕的文本信息。TTML被提供至字幕编码器115。
字幕编码器115生成包括通过文本格式转换单元114获取的TTML文档的TTML片段(TTML_segment)。然后，字幕编码器115生成包括其中TTML片段布置在有效载荷中的字幕PES分组的字幕流(PES流)。
字幕编码器115与采样时段同步地生成字幕PES分组并且将指示对应采样时段的开始时间的第一时间轴上的时间戳(90kHz精度)作为PTS插入至字幕PES分组的报头。
此外，字幕编码器115基于通过控制单元111的定时管理生成具有与显示定时相关的第二时间轴的基准时间信息(时分秒帧)的基准时间片段(Reftime_segment)，显示定时与对应采样时段的开始时间相关联。然后，字幕编码器115使基准时间片段(Reftime_segment)包括在字幕PES分组的有效载荷中。
通过字幕编码器115生成的字幕流被提供至TS格式器116。TS格式器116TS打包并多路复用通过每个编码器生成的流并且生成作为复用流的发送流TS。
[电视接收器的示例性配置]
图19示出了电视接收器200的示例性配置。电视接收器200包括接收单元201、TS分析单元(多路分解器)202、视频解码器203、视频重叠单元204、面板驱动电路205和显示面板206。此外，电视接收器200包括音频解码器207、音频输出电路208、扬声器209和字幕解码器210。此外，电视接收器200进一步包括CPU 221、闪存ROM 222、DRAM 223、内部总线224、远程控制接收单元225和远程控制发送器226。
CPU 221控制电视接收器200的每个单元的操作。闪存ROM 222存储控制软件并且保存数据。DRAM 223配置CPU 221的工作区。CPU 221在DRAM 223上开发从闪存ROM 222读取的软件和数据以激活该软件并且控制电视接收器200的每个单元。
远程控制接收单元225接收从远程控制发送器226发送的远程控制信号(远程控制码)并且将信号提供至CPU 221。CPU 221基于远程控制码控制电视接收器200的每个单元。CPU 221、闪存ROM 222和DRAM 223连接至内部总线224。
接收单元201接收从广播发送系统100发送的在广播波上的发送流TS。如上所述，发送流TS包括视频流、音频流和字幕流。TS分析单元202从发送流TS提取视频流、音频流和字幕流。
音频解码器207解码包括在通过TS分析单元202提取的音频流中的音频PES分组以获取音频数据。音频输出电路208在音频数据上执行诸如D/A转换和放大的必要处理并且将数据提供至扬声器209。视频解码器203解码包括在通过TS分析单元202提取的视频流中的视频PES分组以获取图像数据。
字幕解码器210解码包括在通过TS分析单元202提取的字幕流中的字幕PES分组以获取待重叠在图像数据上的每个区域(字幕图形数据)的位图数据。如上所述，字幕PES分组的有效载荷包括TTML片段，该TTML包括TTML文档(参考图3至图5和图17)以及具有基准时间信息的基准时间片段(参考图18)。字幕解码器210从TTML片段提取TTML文档并且基于该TTML文档获取每个区域的位图数据。
此外，字幕解码器210从TTML文档(参考图5)的主体提取有关每个区域的显示定时(开始、结束)的信息并且将该信息发送至CPU 221。显示定时(开始，结束)仅是用于TTML的每个封装的相对定时。显示定时不与系统同步并且在发布时独立于定时管理。
此外，字幕解码器210从基准时间片段提取有关每个区域的显示定时的第二时间轴的基准时间信息并且将该信息发送至CPU 221。此外，字幕解码器210将具有包括在字幕PES分组的报头中的90kHz精度的第一时间轴上的时间戳(PTS)发送至CPU 221。关于时间戳(PTS)，在整个系统中统一管理定时。
通过使用时间戳和基准时间信息(由第二时间轴指示的采样时段的开始时间)，CPU 221将由与显示定时(开始、结束)相关的信息指示的每个区域的显示开始时间和显示结束时间转换为具有90kHz精度的第一时间轴上的时间(参考以上公式(2)和(3))。
应注意，与单独生成的多个字幕内容相关的TTML片段和基准时间片段可以包括在字幕PES分组的有效载荷中。即，不仅一对而且两对或多对(组)TTML片段和基准时间片段可以包括在字幕PES分组的有效载荷中。
然而，如上所述，在每对中，利用识别信息“segment_associate_id”将TTML片段和基准时间片段彼此相关联。在CPU 221将包括在TTML片段中的TTML文档中的每个区域的显示开始时间和显示结束时间转换为具有90kHz精度的时间的情况下，CPU 221通过使用与TTML片段相关联的基准时间片段的基准时间信息防止错误转换。
视频重叠单元204将从字幕解码器210获取的每个区域的位图数据重叠在通过视频解码器203获取的图像数据上。在这种情况下，在CPU 221的控制下，视频重叠单元204仅在具有如上所述转换的90kHz精度的从显示开始时间至显示结束时间的时段中重叠每个区域的位图数据。
此外，为了在由信道转换引起的随机访问时增加字幕的显示概率，考虑在与采样时段同步中连续生成并发送包括相同TTLM文档的字幕PES分组(参考图10)。在那种情况下，由与显示定时(开始)相关的信息指示的每个区域的显示开始时间可以处于由基准时间信息指示的基准时间(采样时段的开始时间)“Reftime”之前。
当由与显示定时(开始)相关的信息指示的每个区域的显示开始时间处于由基准时间信息指示的采样时段的开始时间之前时，视频重叠单元204在CPU 221的控制下将从字幕解码器210获取的每个区域的位图数据直接重叠在通过视频解码器203获取的图像数据上。
图20中的流程图示出了当CPU 221接收字幕PES分组时每次执行字幕显示控制的示例性处理程序。应注意，在这个实例中，基准“J”和“K”分别指示由与显示定时(开始、结束)相关的信息所指示的显示开始时间和显示结束时间(参考图10)。
在步骤ST1中，CPU221确定“Reftime”是否小于“J”。当“Reftime”小于“J”(例如，图10中的“Reftime 10”)时，在步骤ST2中，CPU 221等到系统时钟对应于“J”的定时并且执行控制，以将每个区域的位图数据重叠在图像数据上并且在“J”的定时时开始显示字幕。
当在步骤ST1中“Reftime”不小于“J”时，CPU 221在步骤ST3中确定“Reftime”是否大于或等于“J”且小于或等于“K”。当“Reftime”大于或等于“J”且小于或等于“K”(例如，图10中的“Reftime 11”)时，该程序进行至步骤ST4。
在步骤ST4中，CPU 221确定从“Reftime”至“K”的时间是否长于或等于阈值TH，即，是否存在“Reftime”至“K”的充足时间。当存在充足时间时并且当字幕显示已经开始且在显示的结束之前存在足够时间时，在步骤ST5中，CPU 221直接执行将每个区域的位图数据重叠在图像数据上并且开始字幕的显示的控制。
此外，当在步骤ST3中“Reftime”不大于或等于“J”并且小于或等于“K”时，并且此外，当步骤ST4中从“Reftime”至“K”的时间不长于或等于阈值TH时，CPU 221在步骤ST6中执行控制以便不将每个区域的位图数据重叠在图像数据上，即，不显示字幕。
返回图19，面板驱动电路205基于通过视频重叠单元204获取的用于显示的图像数据驱动显示面板206。例如，显示面板206包括液晶显示器(LCD)、有机电致发光(EL)显示器等。
将简要描述图19中示出的电视接收器200的操作。接收单元201接收从广播发送系统100发送的广播波上的发送流TS。发送流TS包括视频流、音频流和字幕流。
发送流TS被提供至TS分析单元202。TS分析单元202从发送流TS提取视频流、音频流和字幕流。通过TS分析单元202提取的视频流(PES流)被提供至视频解码器203。视频解码器203解码包括在视频流中的视频PES分组以获取图像数据。图像数据被提供至视频重叠单元204。
此外，通过TS分析单元202提取的字幕流(PES流)被提供至字幕解码器210。字幕解码器210解码包括在字幕流中的字幕PES分组以获取待重叠在图像数据上的每个区域(字幕图形数据)的位图数据。
在这种情况下，从包括在字幕PES分组的有效载荷中的TTML片段提取TTML文档，并且基于TTML文档获取每个区域的位图数据。
此外，字幕解码器210从TTML文档的主体提取有关每个区域的显示定时(开始、结束)的信息(参考图5)并且将该信息发送至CPU 221。此外，字幕解码器210从基准时间片段提取有关每个区域的显示定时的第二时间轴的基准时间信息并且将所提取的信息发送至CPU 221。此外，字幕解码器210提取具有包括在字幕PES分组的报头中的90kHz精度的第一时间轴上的时间戳(PTS)并且将该时间戳发送至CPU 221。
通过使用时间戳和基准时间信息(由第二时间轴指示的采样时段的开始时间)，CPU 221将由与显示定时(开始、结束)相关的信息指示的每个区域的显示开始时间和显示结束时间转换为具有90kHz精度的第一时间轴上的时间。(参考以上公式(2)和(3))。
从字幕解码器210输出的每个区域的位图数据被提供至视频重叠单元204。视频重叠单元204将从字幕解码器210获取的每个区域的位图数据重叠在通过视频解码器203获取的图像数据上。在这种情况下，在CPU 221的控制下，视频重叠单元204仅在具有如上所述转换的90kHz精度的从显示开始时间至显示结束时间的时段中重叠每个区域的位图数据。
应注意，在这种情况下，当由与显示定时(开始)相关的信息指示的每个区域的显示开始时间处于采样时段的开始时间之前时，视频重叠单元204在CPU 221的控制下将从字幕解码器210获取的每个区域的位图数据立即地重叠在通过视频解码器203获取的图像数据上。
通过视频重叠单元204获取的用于显示的图像数据被提供至面板驱动电路205。面板驱动电路205基于用于显示的视频数据来驱动显示面板206。利用这种驱动，在显示面板206上显示在其上重叠区域的图像。
如上所述，在图1中示出的发送/接收系统10中，广播发送系统100与采样时段同步地生成并发送字幕PES分组，字幕PES分组的报头包括指示对应采样时段的开始时间的第一时间轴上的时间戳(PTS)，并且字幕PES分组的有效载荷包括与每个区域的显示定时相关的第二时间轴的基准时间信息，显示定时与对应采样时段的开始时间相关联。因此，可以在不改变字幕的文本信息中的显示定时的情况下保证发送时与系统定时相关联，并且接收侧可以在适当定时显示字幕。
此外，在图1中示出的发送/接收系统10中，广播发送系统100在包括在字幕PES分组的有效载荷中的每对TTML片段和基准时间片段中，利用识别信息将TTML片段和基准时间片段互相关联。因此，在接收侧将包括在某个TTML片段中的TTML文档中的每个区域的显示开始时间和显示结束时间转换为具有90kHz精度的时间的情况下，可以通过使用与TTML片段相关联的基准时间片段的基准时间信息防止错误转换。
此外，在图1中示出的发送/接收系统10中，电视接收器200基于包括在字幕PES分组的报头中的时间戳(PTS)和包括在有效载荷中的基准时间信息根据字幕的文本信息控制字幕的显示定时。因此，可以在适当定时显示字幕。
2.变形例
应注意，在上述实施方式中，包括在字幕PES分组的有效载荷中的基准时间信息假设为指示对应采样时段的开始时间“Reftime”的时间信息。然而，还可以认为是使用由显示定时信息指示的显示开始时间与采样时段的开始时间或者对应于由显示定时信息指示的显示结束时间的采样时段的开始时间之间的差值“Δ”(参考图7)的时间信息。
此外，在上述实施方式中，已经描述了其中TTML以具有显示定时信息的预定格式用作字幕的文本信息的实例。然而，本技术不限于此，并且被认为是使用具有等同于TTML的信息的其他定时文本信息。例如，可以使用来源于TTML的格式。
此外，在上述实施方式中，已经描述了包括广播发送系统100和电视接收器200的发送/接收系统10。然而，可以应用本技术的发送/接收系统的配置不限于此。例如，可以使用其中电视接收器200的一部分利用与诸如高清晰多媒体接口(HDMI)的数字接口连接的机顶盒和监测器替换。应注意，“HDMI”是注册商标。
此外，在上述实施方式中，已经描述了其中容器(复用流)是MPEG-2发送流的实例。自然地，本技术可以类似应用于复用流是MMT流、DASH/ISOBMFF流等的情况。
此外，本技术可以具有以下配置。
(1)一种发送器，包括：
分组发送单元，被配置为与采样时段同步地生成并发送分组，在所述分组中具有显示定时信息的字幕的文本信息的文档包括在有效载荷中，其中
指示对应采样时段的开始时间的第一时间轴上的时间戳包括在所述分组的报头中，并且
所述分组的有效载荷进一步包括与显示定时相关的第二时间轴的基准时间信息，所述显示定时与所述对应采样时段的开始时间相关联。
(2)根据项(1)所述的发送器，其中
所述基准时间信息是指示所述对应采样时段的开始时间的时间信息。
(3)根据项(1)所述的发送器，其中
所述基准时间信息是指示由所述显示定时信息指示的显示开始时间与所述对应采样时段的开始时间之间的差值的时间信息，或者是指示由所述显示定时信息指示的显示结束时间与所述对应采样时段的开始时间之间的差值的时间信息。
(4)根据项(1)至(3)中任一项所述的发送器，其中
由所述第一时间轴上的90kHz的计数值来指示时间，并且由所述第二时间轴上的时分秒帧来指示时间。
(5)根据项(1)至(4)中任一项所述的发送器，其中
所述分组是PES分组。
(6)根据项(1)至(5)中任一项所述的发送器，其中
所述分组的所述有效载荷包括第一片段和第二片段，所述第一片段具有所述字幕的文本信息的文档，所述第二片段具有与所述显示定时相关的所述基准时间信息。
(7)根据项(6)所述的发送器，其中
利用识别信息将所述第一片段和对应于所述第一片段的所述第二片段相关联。
(8)根据项(1)至(7)中任一项所述的发送器，其中
所述分组发送单元在由所述显示定时信息指示的所述显示开始时间经过之后的采样时段中还生成并发送分组。
(9)一种发送方法，包括：
由发送单元与采样时段同步地生成并发送分组，在所述分组中具有显示定时信息的字幕的文本信息的文档包括在有效载荷中，其中
指示对应采样时段的开始时间的第一时间轴上的时间戳包括在所述分组的报头中，并且
所述分组的有效载荷进一步包括与显示定时相关的第二时间轴的基准时间信息，所述显示定时与所述对应采样时段的开始时间相关联。
(10)一种接收器，包括：
接收单元，被配置为与采样时段同步地接收分组，在所述分组中具有显示定时信息的字幕的文本信息的文档包括在有效载荷中，其中
指示对应采样时段的开始时间的第一时间轴上的时间戳包括在所述分组的报头中，并且
所述分组的有效载荷进一步包括与所述显示定时相关的第二时间轴的基准时间信息，所述显示定时与所述对应采样时段的开始时间相关联，
接收器进一步包括：
控制单元，被配置为基于所述时间戳和所述基准时间信息根据所述字幕的所述文本信息控制所述字幕的显示定时。
(11)根据项(10)所述的接收器，其中
所述控制单元通过使用所述时间戳和所述基准时间信息将由所述显示定时信息指示的显示开始时间和显示结束时间转换为所述第一时间轴上的时间，并且通过使用所转换的时间控制所述字幕的所述显示定时。
(12)根据项(10)或(11)所述的接收器，其中
当由所述显示定时信息指示的所述显示开始时间处于所述采样时段的开始时间之前时，所述控制单元根据所述字幕的所述文本信息执行控制以立即地显示所述字幕。
(13)根据项(10)至(12)中任一项所述的接收器，其中
所述分组的所述有效载荷包括第一片段和第二片段，所述第一片段具有所述字幕的文本信息的文档，所述第二片段具有与所述显示定时相关的基准时间信息，
利用识别信息将所述第一片段和对应于所述第一片段的所述第二片段相关联，并且
所述控制单元通过使用所述基准时间信息根据包括在所述第一片段中的所述字幕的文本信息控制所述字幕的显示定时，所述基准时间信息包括在与所述第一片段相关联的所述第二片段中。
(14)一种接收方法，包括：
由接收单元与采样时段同步地接收分组，在所述分组中具有显示定时信息的字幕的文本信息的文档包括在有效载荷中，其中
指示对应采样时段的开始时间的第一时间轴上的时间戳包括在所述分组的报头中，
所述分组的有效载荷进一步包括与显示定时相关的第二时间轴的基准时间信息，所述显示定时与所述对应采样时段的开始时间相关联，并且
所述接收单元基于所述时间戳和所述基准时间信息根据所述字幕的所述文本信息控制所述字幕的显示定时。
本技术的主要特点是在不改变字幕的文本信息中的显示定时的情况下保证在发送时与系统定时相关联，并且接收侧可以通过与采样时段同步地生成并发送字幕PES分组在适当定时显示字幕，在报头中包括指示对应采样时段的开始时间的第一时间轴上的时间戳(PTS)，并且在有效载荷中包括与每个区域的显示定时相关的第二时间轴的基准时间信息(参考图7和图8)显示定时与对应采样时段的开始时间相关联。
参考符号列表
10 发送/接收系统
100 广播发送系统
110 流生成单元
111 控制单元
112 视频编码器
113 音频编码器
114 文本格式转换单元
115 字幕编码器
116 TS格式器
200 电视接收器
201 接收单元
202 TS分析单元
203 视频解码器
204 视频重叠单元
205 面板驱动电路
206 显示面板
207 音频解码器
208 音频输出电路
209 扬声器
210 字幕解码器
221 CPU
222 闪存ROM
223 DRAM
224 内部总线
225 远程控制接收单元
226 远程控制发送器。

Claims (15)

1.一种发送器，包括：
分组发送单元，被配置为生成并发送分组，
其中，所述分组的报头包括显现时间戳PTS，所述PTS指示包括所述分组的采样时段的开始时间，所述PTS为作为时钟的计数值的指示第一时间轴上所述采样时段的所述开始时间的基准时间信息，
其中，所述分组的有效载荷包括字幕的文本信息和显示定时信息，所述显示定时信息指示显示所述字幕的显示开始时间和显示结束时间，所述显示开始时间和所述显示结束时间相对于所述分组在第二时间轴上，并且至少代表小时、分钟和秒，以及
所述分组的有效载荷进一步包括指示所述第二时间轴上所述采样时段的开始时间的时间信息。
2.根据权利要求1所述的发送器，其中
所述基准时间信息是指示由所述显示定时信息指示的显示开始时间与对应的采样时段的开始时间之间的差值的时间信息，或者是指示由所述显示定时信息指示的显示结束时间与对应的采样时段的开始时间之间的差值的时间信息。
3.根据权利要求1所述的发送器，其中
所述时钟是90 kHz时钟。
4.根据权利要求1所述的发送器，其中
所述分组是PES分组。
5.根据权利要求1所述的发送器，其中
所述分组的所述有效载荷包括第一片段和第二片段，所述第一片段具有所述字幕的文本信息，所述第二片段具有与所述显示定时相关的所述基准时间信息。
6.根据权利要求5所述的发送器，其中
利用识别信息将所述第一片段和对应于所述第一片段的所述第二片段相关联。
7.根据权利要求1所述的发送器，其中
所述分组发送单元被配置为在由所述显示定时信息指示的所述显示开始时间经过之后的采样时段中生成并发送分组。
8.一种发送方法，包括：
生成并发送分组，
其中，所述分组的报头包括显现时间戳PTS，所述PTS指示包括所述分组的采样时段的开始时间，所述PTS为作为时钟的计数值的指示第一时间轴上所述采样时段的所述开始时间的基准时间信息，
其中，所述分组的有效载荷包括字幕的文本信息和显示定时信息，所述显示定时信息指示显示所述字幕的显示开始时间和显示结束时间，所述显示开始时间和所述显示结束时间相对于所述分组在第二时间轴上，并且至少代表小时、分钟和秒，以及
所述分组的有效载荷进一步包括指示所述第二时间轴上所述采样时段的开始时间的时间信息。
9.一种接收器，包括：
接收单元，被配置为接收分组，
其中，所述分组的报头包括显现时间戳PTS，所述PTS指示包括所述分组的采样时段的开始时间，所述PTS为作为时钟的计数值的指示第一时间轴上所述采样时段的所述开始时间的基准时间信息，
其中，所述分组的有效载荷包括字幕的文本信息和显示定时信息，所述显示定时信息指示显示所述字幕的显示开始时间和显示结束时间，所述显示开始时间和所述显示结束时间相对于所述分组在第二时间轴上，并且至少代表小时、分钟和秒，以及
所述分组的有效载荷进一步包括指示所述第二时间轴上所述采样时段的开始时间的时间信息。
10.根据权利要求9所述的接收器，其中，所述接收器进一步包括控制单元，其中，所述控制单元被配置为通过使用所述时间戳和所述基准时间信息将由所述显示定时信息指示的显示开始时间和显示结束时间转换为所述第一时间轴上的时间，并且通过使用所转换的时间控制所述字幕的所述显示定时。
11.根据权利要求9所述的接收器，其中，所述接收器进一步包括控制单元，其中，当由所述显示定时信息指示的所述显示开始时间处于所述采样时段的开始时间之前时，所述控制单元被配置为根据所述字幕的所述文本信息执行控制以立即地显示所述字幕。
12.根据权利要求9所述的接收器，其中，
所述分组的所述有效载荷包括第一片段和第二片段，所述第一片段具有所述字幕的文本信息，所述第二片段具有与所述显示定时相关的基准时间信息，
利用识别信息将所述第一片段和对应于所述第一片段的所述第二片段相关联，并且
所述接收器进一步包括控制单元，其中，所述控制单元通过使用所述基准时间信息根据包括在所述第一片段中的所述字幕的文本信息控制所述字幕的显示定时，所述基准时间信息包括在与所述第一片段相关联的所述第二片段中。
13.根据权利要求9所述的接收器，其中
所述时钟是90 kHz时钟。
14.根据权利要求9至13中任一项所述的接收器，其中，所述接收器为包括显示面板和扬声器的电视接收器。
15.一种接收方法，包括：
接收分组，
其中，所述分组的报头包括显现时间戳PTS，所述PTS指示包括所述分组的采样时段的开始时间，所述PTS为作为时钟的计数值的指示第一时间轴上所述采样时段的所述开始时间的基准时间信息，
其中，所述分组的有效载荷包括字幕的文本信息和显示定时信息，所述显示定时信息指示显示所述字幕的显示开始时间和显示结束时间，所述显示开始时间和所述显示结束时间相对于所述分组在第二时间轴上，并且至少代表小时、分钟和秒，以及
所述分组的有效载荷进一步包括指示所述第二时间轴上所述采样时段的开始时间的时间信息。
CN201780013445.5A 2016-12-27 2017-12-19 发送装置、发送方法、接收装置及接收方法 Active CN108702530B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-253318 2016-12-27
JP2016253318 2016-12-27
PCT/JP2017/045474 WO2018123719A1 (ja) 2016-12-27 2017-12-19 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN108702530A CN108702530A (zh) 2018-10-23
CN108702530B true CN108702530B (zh) 2022-03-29

Family

ID=62708178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780013445.5A Active CN108702530B (zh) 2016-12-27 2017-12-19 发送装置、发送方法、接收装置及接收方法

Country Status (7)

Country Link
US (3) US10965927B2 (zh)
EP (1) EP3404923A4 (zh)
JP (1) JP7026621B2 (zh)
CN (1) CN108702530B (zh)
AU (1) AU2017387992B2 (zh)
SG (1) SG11201806194XA (zh)
WO (1) WO2018123719A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017387992B2 (en) * 2016-12-27 2022-10-20 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN117714805A (zh) * 2022-09-08 2024-03-15 海信电子科技（深圳）有限公司 一种显示设备及字幕显示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988520A (zh) * 2011-12-16 2014-08-13 索尼公司 接收装置、控制接收装置的方法、分发装置、分发方法、程序以及分发系统
WO2016159636A1 (ko) * 2015-03-30 2016-10-06 엘지전자 주식회사 방송 신호 송수신 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973862B1 (ko) * 2002-09-25 2010-08-03 파나소닉 주식회사 재생장치, 광 디스크, 기록매체, 재생방법
JP2007282163A (ja) * 2006-04-12 2007-10-25 Matsushita Electric Ind Co Ltd データパケット、放送データ生成装置、放送データ受信装置
JPWO2010038409A1 (ja) * 2008-09-30 2012-03-01 パナソニック株式会社 再生装置、記録媒体、及び集積回路
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
JP6399686B2 (ja) * 2014-02-21 2018-10-03 日本放送協会 受信機
JP6825558B2 (ja) * 2015-04-13 2021-02-03 ソニー株式会社 送信装置、送信方法、再生装置および再生方法
AU2017387992B2 (en) * 2016-12-27 2022-10-20 Sony Corporation Transmission device, transmission method, reception device, and reception method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988520A (zh) * 2011-12-16 2014-08-13 索尼公司 接收装置、控制接收装置的方法、分发装置、分发方法、程序以及分发系统
WO2016159636A1 (ko) * 2015-03-30 2016-10-06 엘지전자 주식회사 방송 신호 송수신 방법 및 장치

Also Published As

Publication number Publication date
JPWO2018123719A1 (ja) 2019-10-31
US20210185290A1 (en) 2021-06-17
CN108702530A (zh) 2018-10-23
EP3404923A4 (en) 2019-01-30
US20190052856A1 (en) 2019-02-14
US20220417485A1 (en) 2022-12-29
WO2018123719A1 (ja) 2018-07-05
US11470296B2 (en) 2022-10-11
AU2017387992A1 (en) 2018-09-06
EP3404923A1 (en) 2018-11-21
US10965927B2 (en) 2021-03-30
US11765330B2 (en) 2023-09-19
AU2017387992B2 (en) 2022-10-20
SG11201806194XA (en) 2018-08-30
JP7026621B2 (ja) 2022-02-28

Similar Documents

Publication Publication Date Title
JP7020406B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11765330B2 (en) Transmitter, transmission method, receiver, and reception method
JP7176598B2 (ja) 送信方法
RU2701172C2 (ru) Передающее устройство, способ передачи, приемное устройство и способ приема
CN107431835B (zh) 发送装置、发送方法、再现装置以及再现方法
US10511802B2 (en) Transmission device, transmission method, reproducing device and reproducing method
US11290785B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method for transmitting subtitle text information
CN109479154B (zh) 发送装置、发送方法、接收装置和接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant