CN103688532B - 流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统 - Google Patents

流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统 Download PDF

Info

Publication number
CN103688532B
CN103688532B CN 201280036267 CN201280036267A CN103688532B CN 103688532 B CN103688532 B CN 103688532B CN 201280036267 CN201280036267 CN 201280036267 CN 201280036267 A CN201280036267 A CN 201280036267A CN 103688532 B CN103688532 B CN 103688532B
Authority
CN
Grant status
Grant
Patent type
Prior art keywords
ttml
document
instance
information
segment
Prior art date
Application number
CN 201280036267
Other languages
English (en)
Other versions
CN103688532A (zh )
Inventor
山岸靖明
北里直久
出叶义治
高林和彦
平林光浩
Original Assignee
索尼公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data, processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data, processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data, processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a Uniform Resource Locator [URL] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/60Selective content distribution, e.g. interactive television, VOD [Video On Demand] using Network structure or processes specifically adapted for video distribution between server and client or between remote clients; Control signaling specific to video distribution between clients, server and network components, e.g. to video encoder or decoder; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/60Selective content distribution, e.g. interactive television, VOD [Video On Demand] using Network structure or processes specifically adapted for video distribution between server and client or between remote clients; Control signaling specific to video distribution between clients, server and network components, e.g. to video encoder or decoder; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using dedicated Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0884Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection
    • H04N7/0885Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of additional display-information, e.g. menu for programme or channel selection for the transmission of subtitles

Abstract

本技术涉及可以减少在流式传输中的与字幕的显示有关的处理负荷的用于流式传输分发的装置和方法、用于流式传输接收的装置和方法、流式传输系统、程序和记录介质。一种流式传输分发装置包括:内容片断产生部分,被配置为产生由MP4文件格式定义的片段;以及字幕片段产生部分,被配置为产生存储与要在该内容中显示的字幕有关的TTML文档实例的片段,该片段由MP4文件格式定义,其中,向片段的头部信息添加实例分类区分信息,该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕有关的渲染上下文的TTML文档实例。

Description

流式传输分发装置和方法、流式传输接收装置和方法、流式传 输系统

技术领域

[0001] 本技术涉及用于流式传输分发的装置和方法、用于流式传输接收的装置和方法、 流式传输系统、程序和记录介质,具体地,涉及一种能够减少流式传输中的与字幕显示有关 的处理负荷的用于流式传输分发的装置和方法、用于流式传输接收的装置和方法、流式传 输系统、程序和记录介质。

背景技术

[0002] 近来一直在进行使用IP(互联网协议)来分发运动图像的诸如IPTV等的互联网流 式传输的标准化。例如,一直在进行适用于基于HTTP (超文本传输协议)流式传输的VoD (视 频点播)流式传输和直播流式传输的方式的标准化。在这种标准化的工作中,考虑了使用 MP4文件格式作为在容器层中使用的格式。

[0003]另外,当存在作为HTTP流式传输的构成要素的字幕时,通常使用由W3C (万维网联 盟)定义的TTML(Timed Text Markup Language,时序文本标记语言hTTML也正在被其它标 准化组采用,并且,作为主导格式正在引起注意。

[0004] 根据文档实例的分类,TTML主要被分成两种类型。一种类型是被称为“初始化文档 实例”的文档实例,例如,该文档实例是通过规定作为字幕显示的字符的颜色、字体、显示位 置等的描述而形成的实例。另一种类型是被称为“主体文档实例”的文档实例,该文档实例 是由作为字幕实际显示的诸如字符串的描述形成的实例。

[0005] 当使用TTML时,在“主体文档实例”中描述的字符串可以根据字符的颜色、字体、显 示位置等(该颜色、字体、显示位置等例如在“初始化文档实例”中描述)而被依次显示。

[0006]具体地说,用于接收流并进行显示的接收器可以被配置为:首先分析“初始化文档 实例”,从而识别字符的颜色、字体、显示位置等,之后显示通过分析“主体文档实例”而获得 的字符串。也就是说,接收器不必每次都分析作为诸如字符的颜色、字体、显示位置等的定 义信息的渲染上下文(rendering context),从而可以减少与字幕的显示有关的处理负荷。 [0007]另外,已经提出了一种流接收装置,其能够以其中2D节目和3D节目相互混合的组 织格式实现高效的频带管理和在接收器一侧的高效的信道切换处理(例如,参见专利文献 1)。

[0008] 引文列表 [0009]专利文献

[0010]专利文献 1:JP2011-097227A

发明内容 [0011] 技术问题

[0012]与电影、电视剧等内容不同,例如,在要将字幕插入到诸如新闻、体育转播等的直 播内容的图像中的情况下,无法预先确定字幕的字符串。因此,根据需要在广播(流式传输) 期间插入字幕的字符串的处理是必需的。在这种情况下,希望使接收器接收TTML的“初始化 文档实例”并分析渲染上下文,之后根据需要接收“主体文档实例”。

[0013]另外,例如,存在这样的情况:希望根据要作为字幕显示的字符串的内容(希望强 调的文本、指示惊讶或困惑的情感表达文本等)来改变渲染上下文。在这种情况下,还可以 预先通过TTML的“初始化文本实例”来定义多种渲染上下文,之后规定要在“主体文档实例” 中使用的渲染上下文。

[0014] 但是,MP4文件格式没有定义一种在区分TTML实例的类型的情况下存储TTML实例 的方法,因此,接收器不能识别TTML实例的类型。因此,在诸如IPTV等的互联网流式传输中 显示字幕时,期望减少与渲染上下文的分析有关的处理负荷。

[0015]鉴于这种情形而公开了本技术,本技术使得可以减少流式传输中的与字幕的显示 有关的处理负荷。

[0016] 问题的解决方案

[0017] 根据本技术的第一方面,提供一种流式传输分发装置,包括:内容片段产生部分, 被配置为产生存储要通过流式传输分发的内容的数据的片段,该片段由MP4文件格式定义; 和字幕片段产生部分,被配置为产生存储与要在所述内容中显示的字幕有关的TTML (时序 文本标记语言)文档实例的片段,该片段由MP4文件格式定义。在该流式传输分发装置中,所 述字幕片段产生部分向所述片段的头部信息添加实例分类区分信息,该实例分类区分信息 用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下 文的TTML文档实例。

[0018] 字幕片段产生部分可以将其中记述了 TTML文档实例的样本与记述内容识别信息 一起存储在所述片段中,该记述内容识别信息用于分别地识别与字幕有关的TTML文档实例 的记述内容。

[0019]流式传输分发装置还可以包括:电影头部产生部分,被配置为在包括多个片段的 电影的头部信息中添加片段分类区分信息,该片段分类区分信息用于指示电影包括存储 TTML文档实例的片段。

[0020]流式传输分发装置还可以包括:电影头部产生部分,被配置为在包括多个片段的 电影的头部信息中添加片段分类区分信息,该片段分类区分信息用于指示电影包括存储 TTML文档实例的片段。电影头部产生部分将规定与字幕有关的渲染上下文的TTML文档实例 存储在片段分类区分信息中,并且实例分类区分信息不被添加到片段的头部信息中。

[0021]根据本发明的第一方面,提供一种流式传输分发方法,包括:通过内容片段产生部 分,产生存储要通过流式传输分发的内容的的数据的片段,该片段由MP4文件格式定义;通 过字幕片段产生部分,产生存储与要在所述内容中显示的字幕有关的TTML (时序文本标记 语言)文档实例的片段,该片段由MP4文件格式定义;以及通过所述字幕片段产生部分,向所 述片段的头部信息添加实例分类区分信息,该实例分类区分信息用于区分在所述片段中存 储的所述TTML文档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。

[0022]根据本发明的第一方面,提供一种使计算机充当流式传输分发装置的程序,该流 式传输分发装置包括:内容片段产生部分,被配置为产生存储要通过流式传输分发的内容 的数据的片段,该片段由MP4文件格式定义;和字幕片段产生部分,被配置为产生存储与要 在所述内容中显示的字幕有关的TTML(时序文本标记语言)文档实例的片段,该片段由职4 文件格式定义。在该流式传输分发装置中,字幕片段产生部分向所述片段的头部信息添加 实例分类区分信息,该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例 是否为规定与所述字幕有关的渲染上下文的TTML文档实例。

[0023]在本发明的第一方面中,产生存储要通过流式传输分发的内容的数据的片段,该 片段由MP4文件格式定义,产生存储与要在该内容中显示的字幕有关的TTML (时序文本标记 语言)文档实例的片段,该片段由MP4文件格式定义,并且向片段的头部信息添加实例分类 区分信息,该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕 有关的渲染上下文的TTML文档实例。

[0024]根据本发明的第二方面,提供一种流式传输接收装置,包括:电影接收部分,被配 置为接收包括多个片段的电影的数据,所述片段由MP4文件格式定义;TTML(时序文本标记 语言)判定部分,被配置为基于指示所述电影包括存储TTML文档实例的片段的片段分类区 分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片段分类区分信息被添 加到所述电影的头部信息;以及TTML解码部分,被配置为当所述电影被判定为包括存储所 述TTML文档实例的片段时,提取存储所述TTML文档实例的片段并对该片段进行解码。

[0025] TTML解码部分可以基于实例分类区分信息来区分在片段中存储的TTML文档实例 的分类,并且对TTML文档实例进行解码,该实例分类区分信息用于区分在片段中存储的 TTML文档实例是否为规定与字幕有关的渲染上下文的TTML文档实例,并且该实例分类区分 信息被包含在片段的头部信息中。

[0026] TTML解码部分可以基于实例分类区分信息来区分在片段中存储的TTML文档实例 的分类,该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕有 关的渲染上下文的TTML文档实例,该实例分类区分信息被包含在片段的头部信息中,并且 流式传输接收装置还可以包括:解码判定部分,被配置为当在片段中存储的TTML文档实例 被区分为规定与字幕有关的渲染上下文的TTML文档实例时,基于记述内容识别信息来判定 是否要对TTML文档实例进行解码,该记述内容识别信息用于分别地识别在片段中存储的 样本中的与字幕有关的TTML文档实例的记述内容。

[0027]当电影被判定为包括存储TTML文档实例的片段时,TTML解码部分可以对规定与字 幕有关的渲染上下文的TTML文档实例进行解码,规定与字幕有关的渲染上下文的TTML文档 实例被包括在片段分类区分信息中。

[0028]根据本发明的第二方面,提供一种流式传输接收方法,包括:电影接收部分接收包 括多个片段的电影的数据,所述片段由MP4文件格式定义;TTML判定部分基于指示电影包括 存储TTML文档实例的片段的片段分类区分信息来判定该电影是否包括存储TTML文档实例 的片段,该片段分类区分信息被添加到电影的头部信息;以及当判定电影包括存储TTML文 档实例的片段时,TTML解码部分提取存储TTML文档实例的片段并对该片段进行解码。

[0029]根据本发明的第二方面,提供一种使计算机充当流式传输接收装置的程序,该流 式传输接收装置包括:电影接收部分,被配置为接收包括多个片段的电影的数据,所述片段 由MP4文件格式定义;TTML判定部分,被配置为基于指示所述电影包括存储TTML文档实例 的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片 段分类区分信息被添加到所述电影的头部信息;以及TTML解码部分,被配置为当所述电影 被判定为包括存储所述TTML文档实例的片段时,提取存储所述TTML文档实例的片段并对 该片段进行解码。

[0030]根据本发明的第二方面,接收包括多个片段的电影的数据,所述片段由MP4文件格 式定义,基于指示电影包括存储TTML文档实例的片段的片段分类区分信息来判定该电影是 否包括存储TTML文档实例的片段,该片段分类区分信息被添加到电影的头部信息,并且当 电影被判定为包括存储TTML文档实例的片段时,存储TTML文档实例的片段被提取和解码。 [0031]根据本技术的第三方面,提供一种流式传输系统,包括流式传输分发装置,该流式 传输分发装置包括:内容片段产生部分,被配置为产生存储要通过流式传输分发的内容的 数据的片段,该片段由MP4文件格式定义;和字幕片段产生部分,被配置为产生存储与要在 所述内容中显示的字幕有关的TTML(时序文本标记语言)文档实例的片段,该片段由MP4文 件格式定义。在该流式传输分发装置中,字幕片段产生部分被配置为向所述片段的头部信 息添加实例分类区分信息,该实例分类区分信息用于区分在所述片段中存储的所述TTML文 档实例是否为规定与所述字幕有关的渲染上下文的TTML文档实例。该流式传输系统还包括 流式传输接收装置,该流式传输接收装置包括:电影接收部分,被配置为接收包括多个片段 的电影的数据,所述片段由MP4文件格式定义;TTML判定部分,被配置为基于指示所述电影 包括存储TTML文档实例的片段的片段分类区分信息来判定所述电影是否包括存储所述 TTML文档实例的片段,该片段分类区分信息被添加到所述电影的头部信息;以及TTML解码 部分,被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时,提取存储所述 TTML文档实例的片段并对该片段进行解码。

[0032]在本发明的第三方面中,产生存储要通过流式传输分发的内容的数据的片段,该 片段由MP4文件格式定义,产生存储与要在该内容中显示的字幕有关的TTML (时序文本标记 语言)文档实例的片段,该片段由MP4文件格式定义,并且向片段的头部信息添加实例分类 区分信息,该实例分类区分信息用于区分在片段中存储的TTML文档实例是否为规定与字幕 有关的渲染上下文的TTML文档实例。另外,接收包括多个片段的电影的数据,所述片段由 MP4文件格式定义,基于指示电影包括存储TTML文档实例的片段的片段分类区分信息来判 定该电影是否包括存储TTML文档实例的片段,该片段分类区分信息被添加到电影的头部信 息,并且当电影被判定为包括存储TTML文档实例的片段时,存储TTML文档实例的片段被提 取和解码。

[0033]本发明的有益效果

[0034]根据本技术,可以减少流式传输中的与字幕的显示有关的处理负荷。

附图说明

[0035] 图1是帮助解释TTML的构成的示图。

[0036] 图2是示出MP4文件格式中的“BOX”的构成的示图。

[0037]图3是帮助解释“BOX”的层次结构的示图。

[0038]图4是帮助解释使用MP4文件格式的流式传输的示图。

[0039]图5是帮助解释” Movie”的构成的示图。

[0040]图6是帮助解释”Movie”中的“BOX”结构的示图。

[0041]图7是帮助解释“非片段电影”的构成的示图。

[0042]图8是帮助解释“片段电影”的构成的示图。

[0043] 图9是帮助解释“moov”的“BOX”的构成的示图。

[0044] 图10是示出在“初始化文档实例”的情况下的“moof”的“BOX”的构成的示图。

[0045] 图11是示出在“主体文档实例”的情况下的“moof’的“BOX”的构成的示图。

[0046] 图12是帮助解释当存储TTML文档实例时“mdat”的“样本”的记述格式的示图。

[0047] 图13是示出根据本技术的实施例的流式传输系统的构成例子的框图。

[0048] 图14是示出“初始化文档实例”的记述的例子的示图。

[0049] 图15是示出“主体文档实例”的记述的例子的示图。

[0050] 图16是示出基于图15的“主体文档实例”显示的字幕的示图。

[0051] 图17是示出“主体文档实例”的记述的另一个例子的示图。

[0052] 图18是示出基于图17的“主体文档实例”显示的字幕的示图。

[0053] 图19是帮助解释字幕的显示的例子的示图。

[0054] 图20是帮助解释流式传输分发处理的例子的流程图。

[0055] 图21是帮助解释字幕数据插入处理的例子的流程图。

[0056] 图22是帮助解释内容再现处理的例子的流程图。

[0057] 图23是帮助解释TT解码处理的例子的流程图。

[0058] 图24是帮助解释“moov”的“BOX”的另一种构成的不图。

[0059] 图25是帮助解释对应于图24的字幕的显示的例子的示图。

[0060] 图26是示出个人计算机的构成的例子的框图。

具体实施方式

[0061] 在下文中将参照附图描述本文中公开的技术的优选实施例。

[0062] 首先将对TTML (时序文本标记语言)进行描述。TTML是由W3C (万维网联盟)定义的 标记语言,并且可以规定文本的显示位置(布局)、显示的定时等。

[0063] 例如,当以TTML描述的信息被从服务器发送并由客户端分析时,可以在客户端的 显示器上在规定的时间、以规定的字体且在规定的区域中显示预定的字符串。当由此使用 以TTML描述的信息时,例如,可以容易地实现与内容的图像和音频同步地显示字幕。

[0064] TTML由被称为文档实例的文本的聚合体形成。文档实例主要被分类为两种类型。 一种类型是被称为“初始化文档实例”的文档实例,例如,该文档实例是通过规定作为字幕 显示的字符的颜色、字体、显示位置等的描述而形成的实例。另一种类型是被称为“主体文 档实例”的文档实例,该文档实例是由作为字幕实际显示的诸如字符串的描述形成的实例。 [0065] 图1是帮助解释TTML的构成的示图。

[0066]图1中示出的实例21是“初始化文档实例”。在该实例21中描述了诸如“head”、 “styling”、“layout”的标签。“stying”和“layout”标签规定渲染上下文,诸如作为字幕显 示的字符的颜色、字体、显示位置等。

[0067] 例如,在本例子中,渲染上下文(si)由描述“〈region xml: id=” subtitleArea” style=”sl”…”定义。例如,诸如“31”、“32”的多种渲染上下文可以在一个“初始化文档实 例”中定义。

[0068]图1中示出的实例22是“主体文档实例”。在该实例22中描述了诸如“body”、“div”、 “P”…的标签。例如,描述“<p xml: id=...>”规定字幕的字符串以及字符串的显示开始时间 和显示结束时间。

[0069] 因此,TTML是具有由实例21和实例22的组合形成的层次结构的描述。由实例21和 实例22的组合形成的层次结构被示出在图1中的实例22的左侧。 _

[0070] 例如,通过使用于接收和显示流的接收器接收和分析图1中示出的TTML,可以在内 容中的预定时间段中显示预定字符串。也就是说,适当地,基于由实例22中的“p”标签规定 的字符串、显示开始时间和显示结束时间,在接收器的显示器上改变字幕显示。在图1的例 子中,随着时间的流逝,选择并显示由实例2 2中的“ p ”标签规定的字符串F1、字符串 F2、......。

[0071] 另外,在时序文本标记语言(TTML) 1 • 0等中公开了TTML的细节。

[0072] 接下来将对MP4文件格式进行描述。MP文件格式提供高自由度,并且被定义为使得 MP4文件由被称为“BOX (框)”的各种大小的数据的集合形成。存在可以自由地增加的各种 “BOX”。

[0073] 图2示出MP4文件格式的“BOX”的构成的示图。在如“Box大小”和“Box类型”所示的 区域中描述正在讨论的“BOX”的大小和类型(种类)。例如,如“Box数据”所示的区域存储编 码的视频数据、音频数据、字幕数据等。

[0074]另外,MP4文件格式被定义为使得上述的“BOX”具有层次结构。具体地说,如图3所 示,较低层中的“BOX”可以被存储在较高层中的“BOX”的“Box Data”区域中。

[0075]在MP4文件格式中,诸如音频数据的解码单位和视频数据的一帧的要发送的内容 的单位数据例如被称为“样本(Sample)”。多个样本形成一个“块(Chunk)”。例如,如图4所 示,音频的“块”和视频的“±夬”形成流。

[0076]在MP4文件格式中,一系列的视频的“±夬”的集合体或一系列的音频的“±夬”的集合 体例如被称为“轨道(Track) ”。通过集成多个轨道而形成的数据被称为“电影(Movie) ”。 [0077]图5是帮助解释”Movie”的构成的示图。在图5的例子中,视频“轨道”和音频“轨道” 形成一个”Movie”。

[0078] “Movie”具有如上所述的“BOX”结构。图6是帮助解释“Movie”中的“BOX”结构的示 图。在图6的例子中,“电影元数据box”和“电影数据box”被存储在“Movie”的“BOX”中。

[0079] “电影元数据box”是描述与在“电影数据box”中存储的每一个“样本”的存储位置 有关的信息(例如“adrs=1000”等)以及与再现时刻和再现持续时间有关的信息(例如,“ a t =10”等)的“BOX”。“电影元数据box”还描述所需的编解码器参数等。“电影数据b〇x”是存储 每个“样本”的“BOX”。另外,在MP4文件格式的标准中,“电影元数据box”被称为“moov”并且 “电影数据box”被称为“mdat”。

[00S0]当如图6所示的“Movie”由接收器接收和分析时,样本i、样本2、样本3、……可以 分别在时刻t0、时刻110、时刻t20、……被再现。

[0081]另外,“Movie”被粗略分类为两种类型。一种类型被称为“非片段电影,,,其适合于 诸如电影、电视剧等的内容的发送。另一种类型被称为“片段电影”,其适合于诸如新闻、体 育转播等直播内容的发送。

[0082]图7是帮助解释“非片段电影”的构成的示图。 _3]如图7所示,被称为“文件类型(ftyp) ”的“丽,,被设置在“非片段电影”的头部。“文 件类型(f typ) ”是存储文件类型、兼容性信息等的“B〇x”。

[0084] 在“(ftyp)”之后,布置上述的“moov”,并且布置上述的“mdat”。如上所述,“moov” 描述编解码器参数、存储位置信息、再现时间信息等。“moov”可以说是整个“Movie”的头部 信息。另外,如上所述,“mdat”存储由音频数据的解码单位、视频数据的一帧等形成的“样 本,,。

[0085]在“非片段电影”中,“moov”定义整个“Movie”的植染上下文。具体地说,在诸如电 影、电视剧等的内容的情况下,再现图像、音频和字幕的定时是预先知道的,因此,可以在接 收到每个“样本”之前定义整个“Movie”的渲染上下文。

[0086]在诸如新闻、体育转播等直播内容的情况下,再现图像、音频和字幕的定时是预先 不知道的。因此,“片段电影”被用于发送直播内容。

[0087]图8是帮助解释“片段电影”的构成的示图。

[0088]如图8所示,与“非片段电影”的情况一样,“片段电影”具有“ftyp”和“moov”。但是, 在“ftyp”和“moov”之后的是被称为“片段(Fragment)”的多个“BOX”。“片段”包括被称为“电 影片段(m〇〇f) ” 的 “BOX” 和 “mdat”。

[0089]如图8所示,每一个“片段”具有“moof”,并且“m00f”可以说是“片段”的头部信息。 “moof”描述与在正在讨论的“片段”中存储的“mdat”的“样本”有关的存储位置信息、再现时 间信息等。也就是说,在“片段电影”中,与“非片段电影”不同,在每一个“片段”中定义每一 个“片段”的再现上下文。

[0090]另外,图8中示出的“电影片段随机访问(mfra)”是在“片段电影”的末尾处插入的 “BOX”,并且“电影片段随机访问(mfra)”存储用于随机访问的信息等。

[0091]另外,图7和图8中示出的例子表示作为MP4文件格式的“Movie”的构成。例如,当执 行互联网流式传输等时,上面参考图7和图8描述的数据以预定传输格式被分发。在该传输 格式中,例如,图8中不出的“moov”被插入在“片段”之间,并且被重复地分发多次。

[0092]近来一直在进行使用IP (互联网协议)来分发运动图像的诸如IPTV等的互联网流 式传输的标准化。例如,一直在进行适用于基于HTTP (超文本传输协议)流式传输的VoD (视 频点播)流式传输和实时流式传输的方式的标准化。在这种标准化的工作中,考虑了使用 MP4文件格式作为在容器层中使用的格式。

[0093]另外,当存在作为流式传输的构成要素的字幕时,常使用TTML,并且TTML也在流式 传输的标准化中引起关注。

[0094]例如,当字幕要被插入到诸如新闻、体育转播等的直播内容的图像中时,必须预先 确定字幕的字符串。因此,根据需要在广播(流式传输)期间插入字幕的字符串的处理是必 需的。在这种情况下,例如,希望使接收器接收TTML中的“初始化文档实例”并分析渲染上下 文,之后根据需要接收“主体文档实例”。

[0095]另外,例如,存在这样的情况:甚至在相同的内容中,也希望根据要作为字幕显示 的字符串的内容(希望被强调的文本、指示惊讶或困惑的情感表达文本等)来改变渲染上下 文。在这种情况下,还可以预先通过TTML中的“初始化文本实例”来定义多种渲染上下文,之 后规定要在“主体文档实例”中使用的渲染上下文。

[0096] 但是,MP4文件格式没有定义一种在区分TTML实例的类型的情况下来存储TTML实 例的方法,因此接收器需要识别TTML实例的类型。因此,在过去,在以MP4文件格式发送的诸 如IPTV等的互联网流式传输中,例如,没有其他的选择,不得不每次都与要作为字幕显示的 字符串一起分析渲染上下文。在这种情形中,期望在诸如IPTV等的互联网流式传输中在显 示字幕时减少与渲染上下文的分析有关的处理负荷。

[0097] 因此,本技术使得可以如下地使用MP4文件格式在区分TTML实例的类型的情况下 来存储TTML实例。

[0098] 假设将本技术应用于将字幕插入在作为“片段电影”发送的内容中的情况。于是, TTML文档实例作为“片段”中的“mdat”的“样本”被存储和发送。也就是说,图1中的实例21或 实例22等适当地作为“片段”中的“mdat”的“样本”被存储,以便显示要被插入到正被流式传 输的内容中的字幕。

[0099] 首先,本技术使得可以基于在“moov”的“BOX”中描述的信息把互联网流式传输识 别为包括在T T M L中描述的信息。具体地说,本技术使得可以在 “moov. trak.mdia.minf • stbl • stsd”中提供描述,该描述指不在TTML中描述的信息被包括。

[0100] 图9是帮助解释“moov”的“BOX”的构成的示图。如上所述,“BOX”利用层次结构。被 称为“stsd”的“BOX”被提供作为比“moov”的“BOX”低的层中的“BOX”(描述为 “moov. trak.mdia.minf. stbl. stsd”)。“stsd”是用于存储用于轨道数据再现的头部丨目息的 “BOX”。

[0101] 在本技术中,当在TTML中描述的信息被包括时,在“stsd”的“sampleEntry”中描述 4CC(four_character_code (4字符码))“ttml”。另外,过去的标准规定表示音频数据的4CC “MP4A”、表示视频数据的4CC“MP4V”等被存储在“stsd”中。

[0102] 另外,当在TTML中描述的信息被包括时,在“moov. trak.mdia.hdlr”的 “HandlerType” 中提供描述“text”。

[0103] 此外,本技术使得可以基于在“moof”的“BOX”中描述的信息来区分作为正在讨论 的“片段”中的“mdat”的“样本”存储的TTML文档实例是“初始化文档实例”还是“主体文档实 例”。

[0104]具体地说,被称为“ttsd”的“BOX”被新提供作为比“moof”的“BOX”中被称为“traf” 的“BOX”低的层中的“BOX”。当“ttsd”的“initFlag”被描述为“true”时,指示在正在讨论的 “片段”中存储的TTML文档实例是“初始化文档实例”。另外,当“ttsd”的“initFlag”被描述 为“false”时,指示在正在讨论的“片段”中存储的TTML文档实例是“主体文档实例”。

[0105]图10是当在正在讨论的“片段”中存储的T TML文档实例是“初始化文档实例”时 “moof”的“BOX”的构成的示图。如图10所示,“traf”存在于比“moof”低的层中,并且“ttsd” 被提供作为甚至更低的层中的“BOX”。描述“initFlag: ‘true’”被提供作为在“ttsd”中存储 的信息。

[0106]图11是当在正在讨论的“片段”中存储的TTML文档实例是“主体文档实例”时 “moof”的“BOX”的构成的示图。如图11所示,“traf”存在于比“moof”低的层中,并且“ttsd” 被提供作为甚至更低的层中的“BOX”。描述“initFlag: ‘false’”被提供作为在“ttsd”中存 储的信息。

[0107]此外,本技术使得接收器可以确定发送到接收器的TTML文档实例的描述内容是否 被改变(更新)。具体地说,例如,如图12所示,定义当存储TTML文档实例时“mdat”的“样本” 的描述格式。

[0108] 在本技术中,新提供图12中示出的字段“unsined id (16) document-id;”。在字段 “unsined id (16) document-id;”中描述用于识别正在讨论的“样本”中描述的TTML文档实 例的标识符。例如,该标识符是给予每个文档实例的ID或版本。当然,当文档实例改变时,上 述标识符也改变。因此,接收器能够确定文档实例是否被改变。

[0109] 另外,图 12中示出的字段“unsined int (I6) text-length;”存储在字段“unsined int®) text [text-length]中存储的文本的文本长度。TTML文档实例被存储在图12中示 出的字段“unsined int(8) text[text-length];”中。

[0110] 当例如在多个信道上通过流式传输广播内容时,不知道观看者在哪个时间选择哪 个频道,从而需要定期地发送渲染上下文的定义信息(即,“初始化文档实例”)。在这种情况 下,当每当接收器接收到“初始化文档实例”而使接收器解析“初始化文档实例”时,增加了 接收器的处理负荷,因此,希望基于一次解析“初始化文档实例”来定义随后的渲染上下文。

[0111] 但是,当“初始化文档实例”的内容被更新时,渲染上下文改变。因此,接收器需要 重新执行解析。因此,如上所述,本技术使得接收器可以确定发送的TTML文档实例的描述内 容是否改变(更新)。

[0112] 综上所述,在本技术中,“ttml”被提供作为在“moov”中的“stsd”的“sampleEntry” 中描述的新4CC (f our_character_code)。于是,使得可以通过参考“moov”中的“stsd”的描 述来确定TTML文档实例被存储在“片段”中。

[0113] 另外,在本技术中,“ ttsd”被提供作为每个“片段”的比“moof”低的层中的“BOX”。 于是,“initFlag: ‘true’ ”或“initFlag: ‘false’ ”被描述为在“ttsd”中存储的信息,以使得 可以区分在正在讨论的“片段”中存储的TTML是“初始化文档实例”还是“主体文档实例”。

[0114] 此外,在本技术中,在“mdat”的“样本”中提供字段“unsined id (16) document-id;”。于是,使得可以基于在该字段中存储的标识符来确定TTML文档实例的描述内容是否 被改变(更新)。

[0115]因此,当使用MP4文件格式来发送TTML文档实例时,可以区分TTML实例的类型地存 储TTML实例,并且可以容易地识别对描述内容的更新。因此,根据本技术,例如可以减少诸 如IPTV等的流式传输中的与字幕的显示有关的处理负荷。

[01161图13是示出根据本技术的实施例的流式传输系统的配置的例子的框图。图13中示 出的流式传输系统100包括TT (定时文本)服务器121、PTV服务器122和IPTV客户端123。

[0117] 例如,图13中示出的IPTV服务器122被配置为用于内容的流式传输广播的发送器。 例如,图13中示出的IPTV客户端123被配置为用于接收流式传输广播的接收器。例如,TT月艮 务器121是用于产生与要插入到通过流式传输广播而广播的内容中的字幕有关的数据的装 置。

[0118] TT服务器121包括TT (定时文本)片段产生部分141和样本插入部分142。

[0119] TT片段产生部分141 描述 “moov” 中的 “stsd” 的 “sampleEntry” 中的4CC“ttml”,并 且描述“moov. trak.mdia.hdlr”的“HandlerType”中的“text”。(与稍后将描述的“片段”的 产生相比,该处理的频率较低)。另外,TT片段产生部分141产生“片段”的数据,其中,TTML文 档实例如上面参照图8描述的那样被存储。此时,TT片段产生部分141提供“ttsd”作为在比 “moof”低的层中的“BOX”。然后,TT片段产生部分141根据产生的文档实例的类型将 “initFlag: ‘true’ ”或“initFlag:false’ ”记述为在“ttsd”中存储的信息。

[0120]例如,当在正在讨论的“片段”中存储的TTML文档实例是“初始化文档实例”时, “initFlag: ‘true’”被描述为在“ttsd”中存储的信息。另外,例如,当在正在讨论的“片段” 中存储的TTML文档实例是“主体文档实例”时,“initFlag: ‘false’ ”被描述为在“ttsd”中存 储的信息。

[0121] 样本插入部分142产生TTML文档实例,并且将TTML文档实例作为“mdat”的“样本” 插入在由TT片段产生部分141产生的“片段”中。

[0122] 此时,如上面参照图12所述,样本插入部分142提供字段“unsined id (16) document-id;”。然后,样本插入部分I42在字段“unsined id (l6) document-id;”中描述用 于识别正在讨论的“样本”中描述的TTML文档实例的标识符。另外,当文档实例改变时,上述 标识符也改变。

[0123]另外,由NTP同步时间戳产生部分151产生的时间戳被适当地供应到TT片段产生部 分141和样本插入部分142。

[0124] IPTV服务器122包括内容样本产生部分161、片段复用器162和片段分发部分163。 [0125]例如,内容样本产生部分161对形成内容的声音数据和图像数据等进行编码,并且 产生音频数据和视频数据等。然后,基于音频数据和视频数据等,内容样本产生部分161产 生“样本”的数据。

[0126]片段复用器162产生其“mdat”包括由内容样本产生部分161产生的“样本”的数据 的“片段”。然后,片段复用器162将由TT服务器121产生的“片段”和由片段复用器162自身 产生的“片段”进行复用。也就是说,将存储视频数据、音频数据等的“片段”以及存储TTML文 档实例的“片段”进行复用。

[0127]片段分发部分163经由网络等把包括由片段复用器162复用的“片段”的“片段电 影”分发。从而,通过流式传输来分发内容。

[0128]另外,由NTP同步时间戳产生部分151产生的时间戳被适当地供应到内容样本产生 部分161和片段复用器162。

[0129] IPTV客户端123包括计时部分181、片段解复用器182、TT (定时文本)解码器183、内 容解码器184和显示控制部分185。

[0130]计时部分181将NTP同步时间信息供应到各个部分。

[0131]片段解复用器182经由网络等接收从IPTV服务器122发送的“片段电影”,并且提取 形成“片段电影”的每个“片段”。然后,片段解复用器182分析“moov”中的“stsd”的 “sampleEntry”的描述,以确定在正在讨论的“片段电影”中是否有存储TTML文档实例的“片 段”。也就是说,当“moov”中的“stsd”的“sampleEntry”的描述是“ttml”时,确定在正在讨论 的“片段电影”中有存储TTML文档实例的“片段”。

[0132]当确定有存储TTML文档实例的“片段”时,片段解复用器182检查每个“片段”的 “moof”中的“ttsd”,以确定当前的“片段”是否存储TTML文档实例。也就是说,具有在比 “moof”低的层中提供的“ttsd”的“片段”被确定为是存储TTML文档实例的“片段”,并且被供 应到TT解码器183。另一方面,没提供有“moof”中的“ttsd”的“片段,,被确定为没有存储 TTML文档实例的“片段”(音频数据、视频数据等的“片段”),并且被供应到内容解码器184。 [0133] TT解码器183是用于对存储TTML文档实例的“样本”的数据进行解码的功能块。另 夕卜,在TT解码器1抑中的解码主要是指对TTML文档实例的解析。

[0134]基于每个“片段”的“m〇〇f”中的“ttsd”的描述,TT解码器183确定在正在讨论的“片 段”中存储的TTML文档实例的类型。也就是说,当“ttsd”的描述是“initFlag: ‘true’”时,确 定正在讨论的“片段”存储“初始化文档实例”。另一方面,当“ttsd”的描述是“initFlag: ‘false’ ”时,确定正在讨论的“片段”存储“主体文档实例”。

[0135] 当确定“初始化文档实例”被存储时,TT解码器183存储“片段”中的“mdat”的“样 本”的字段“unsined id (16) document-id 中描述的标识符。然后,TT解码器183分析在 “mdat”的“样本”中存储的“初始化文档实例”的描述,并且设置渲染上下文。

[0136] 之后,TT解码器183将在字段“unsined id (16) document-id;”中描述的标识符与 预先存储的标识符进行比较,以确定“初始化文档实例”是否改变了。只有当确定“初始化文 档实例”被改变时,TT解码器183才对在“mdat”的“样本”中存储的“初始化文档实例”的描 述进行分析,并且再次设置渲染上下文。

[0137] 另外,当确定“主体文档实例”被存储时,TT解码器183对在“mdat”的“样本”中存储 的“主体文档实例”进行分析,并且产生字幕显示数据。在TT解码器183中产生的字幕显示数 据与关于显示时间的信息一起被供应到显示控制部分185。

[0138] 内容解码器184对在“mdat”的“样本”中存储的音频数据和视频数据等进行解码, 并且产生图像显示数据和声音输出数据等。在内容解码器184中产生的图像显示数据和声 音输出数据等与关于显示时间和输出时间的信息等一起被供应到显示控制部分185。

[0139]显示控制部分185基于关于显示时间的信息等产生图像信号,以在叠加在内容的 图像上的状态下显示字幕。显示控制部分185将图像信号供应到在图中未示出的显示器等。 另外,显示控制部分185基于关于输出时间的信息等来产生声音信号,以输出内容的声音。 显示控制部分185将声音信号供应到在图中未示出的扬声器等。

[0140]例如,这种流式传输系统100可以如下控制字幕的显示。

[0141]例如,如图14所示的TTML文档实例被TT服务器121存储在“片段”中,并且从IPTV月艮 务器122分发。图14是“初始化文档实例”的描述的例子。

[0142]然后,如图15所示的TTML文档实例被TT服务器121存储在“片段”中,并且从IPTV月艮 务器122分发。图15是“主体文档实例”的描述的例子。

[0143]当在根据图14中的描述设置的渲染上下文中显示由图15中的描述规定的字符串 时,例如,可以显示如图16中所示的字幕。

[0144]之后,如图17所示的TTML文档实例被TT服务器121存储在“片段”中,并且从IPTV月艮 务器122分发。图17是“主体文档实例”的描述的另一个例子。

[0145] 当在根据图14中的描述设置的渲染上下文中显示由图17中的描述规定的字符串 时,例如,可以显示如图18中所示的字幕。

[0146] 另外,由“主体文档实例”中的标签“<p>”规定的字符串是字幕的字符串。当在标签 “<P>”内规定了时间时,根据该时间规定来显示字符串。当没有时间规定时或者当只规定了 显示期间(持续时间)时,进行控制以在作为在正在讨论的“样本”中的“decodingTime”识别 的再现时间处开始显示。

[0147]具体地说,如图I9所示,分析作为各个“片段”(即,片段0、片段1和片段2)中的 “mdat”的“样本”而存储的TTML文档实例,并且显示字幕。

[0148]在这种情况下,假设图14中示出的“初始化文档实例”(初始实例)被存储在片段〇 的mdatO中。另外,假设图I5中示出的“主体文档实例”(主体实例1)被存储在片段U^mdati 中。此外,假设图17中示出的“主体文档实例”(主体实例2)被存储在片段2的mdat2中。

[0149] 在图19的例子中,基于在片段0的mdatO的样本0中存储的初始实例来设置渲染上 下文。之后,在时刻tl,基于在片段1的mdatl的样本1中存储的主体实例1来显示如图16所 示的字幕。此外,之后,在时刻t2,基于在片段2的mdat2的样本2中存储的主体实例2来显示 如图18所示的字幕。

[0150] 另外,上述的时刻tl和时刻t2是基于与moof相对应的第一mdat中存储的第一“样 本”的“解码时间”或者moov. trak.mdia.minf. stbl. stts来计算的,其中所述解码时间在 moof • traf. tfdt 中被描述。

[0151] 也就是说,为了识别在TTML文档实例中描述的字符串的显示时间,使用存储文档 实例的MP4文件“样本”的呈现时刻。

[0152] 接下来将参照图20的流程图来描述图13中的IPTV服务器122的流式传输分发处 理的例子。例如,该处理是在经由网络等分发作为“片段电影”的直播内容的情况下执行的, 其中字幕被插入在直播内容中。

[0153] 在步骤S21中,IPTV服务器122获得内容的数据。此时,例如,获得形成内容的声音 数据和图像数据等。

[0154] 在步骤S22中,例如,内容样本产生部分161对形成内容的声音数据和图像数据等 进行编码,并且产生音频数据和视频数据等。然后,基于音频数据和视频数据等,内容样本 产生部分161产生“样本”的数据。

[0155] 在步骤S23中,片段复用器162产生其“mdat”包括在步骤S22中产生的“样本”的数 据的“片段”。

[0156] 在步骤S24中,TT服务器121执行稍后将参照图21描述的字幕数据插入处理。由此, 关于字幕的数据被插入到要通过流式传输分发的内容的数据中。

[0157] 将在下面参照图21的流程图来描述图20的步骤S24中的字幕数据插入处理的详细 例子。

[0158] 在步骤S41中,产生TTML文本。

[0159] 在步骤S42中,TT片段产生部分141在“moov”中的“stsd”的“sampleEntry”中记述 4CC “ttml”,并且在 “moov • trak • mdia. hdlr” 的 “HandlerType” 中记述 “text”。(与稍后将描 述的“片段”的产生相比,该处理的频率较低)。另外,TT片段产生部分141产生存储有TTML 文档实例的“片段”的数据。此时,TT片段产生部分141提供“ttsd”作为在比“moof”低的层中 的“BOX”。然后,TT片段产生部分141根据产生的文档实例的类型,将“initFlag: ‘true’”或 “initFlag:false’ ”记述为在“ttsd”中存储的信息。

[0160] 例如,当在正在讨论的“片段”中存储的TTML文档实例是“初始化文档实例”时, “initFlag: "true’”被记述为在“ttsd”中存储的信息。另外,例如,当在正在讨论的“片段” 中存储的TTML文档实例是“主体文档实例”时,“initFlag: ‘false’”被记述为在“ttsd”中存 储的信息。

[0161] 在步骤S43中,样本插入部分142基于在步骤S41中产生的TTML文本来产生TTML文 档实例,并且将TTML文档实例作为“mdat”的“样本”插入在步骤S42中产生的“片段”中。

[0162] 此时,如上面参照图12所述,样本插入部分142提供字段“unsined id (16) document-id;”。然后,样本插入部分142在字段“unsined id (16) document-id;”中记述用 于识别正在讨论的“样本”中描述的TTML文档实例的类型的标识符。另外,当文档实例改变 时,上述的标识符也改变。

[0163] 在步骤S44中,样本插入部分142输出通过步骤S43的处理而被插入了 TTML文档实 例的“片段”。由此,正在讨论的“片段”被供应到IPTV服务器122中的片段复用器162。

[0164]另外,由NTP同步时间戳产生部分151产生的时间戳被适当地供应到TT片段产生部 分141和样本插入部分142。

[0165]返回到图20,在步骤S24的处理之后,在步骤S25中片段复用器162将在图21中的步 骤S41的处理中产生的“片段”和在步骤S23的处理中产生的“片段”进行复用。也就是说,将 存储视频数据、音频数据等的“片段”与存储TTML文档实例的“片段”进行复用。

[0166]在步骤S26中,片段复用器162产生“片段电影”的数据。

[0167]在步骤S27中,片段分发部分163经由网络等分发在步骤S26的处理中产生的“片段 电影”。

[0168]由此执行了流式传输分发处理。

[0169]接下来将参照图22的流程图来描述图13中的IPTV客户端123的内容再现处理的 例子。

[0170] 在步骤sei中,IPTV客户端123的片段解复用器182接收通过图20中的步骤S27的处 理分发的“片段电影”。

[0171]在步骤se2中,片段解复用器182分析在步骤S61中接收到的“片段电影”的“moov” 中的 “stsd” 的 “sampleEntry” 的描述。

[0172]在步骤Se3中,片段解复用器182提取形成在步骤S61中接收到的“片段电影”的每 个“片段”。

[0173]在步骤S64中,片段解复用器182基于步骤S62的处理中的分析结果来确定在正在 讨论的“片段电影”中是否存在存储TTML文档实例的“片段”。此时,当“moov”中的“stsd”的 “sampleEntry”的描述是“ttml”时,确定在正在讨论的“片段电景中有存储TTML文档实例 的“片段”。

[0174] 当在步骤SM中确定在正在讨论的“片段电影”中有存储TTML文档实例的“片段” 时,处理进入步骤S65。

[0175]在步骤S65中,片段解复用器182和TT解码器183执行下面参照图23的流程图描述 的TT解码处理。

[0176]将在下面参照图23的流程图来描述图22的步骤S65中的TT解码处理的详细例子。 [0177] 在步骤S81中,片段解复用器182检查每个“片段”的“moof”中的“ttsd”。

[0178] 在步骤S82中,片段解复用器182确定正在讨论的“片段”是否存储TTML文档实例。 此时,具有在比“moof”低的层中提供的“ttsd”的“片段”被确定为存储TTML文档实例的“片 段”。另一方面,未提供有“moof”中的“ttsd”的“片段”被确定为没有存储TTML文档实例的 “片段”(音频数据、视频数据等的“片段”)。

[0179]当在步骤S82中确定正在讨论的“片段”存储TTML文档实例时,处理进入步骤S83。 [0180] 在步骤SS3中,TT解码器183基于正在讨论的“片段”的“m00f”中的“ttsd”的描述来 确定该“片段”中存储的TTML文档实例的类型。此时,当“ttsd”的描述是“initFlag: ‘true’” 时,确定正在讨论的“片段”存储“初始化文档实例”。另一方面,当“ttsd”的描述是 “initFlag: ‘false’ ”时,确定正在讨论的“片段”存储“主体文档实例”。

[0181]当在步骤S83的处理中确定存储了“初始化文档实例”时,处理进入步骤S84。

[0182] 在步骤S84中,TT解码器183获得在字段“unsined id(16) document-id;”中描述 的标识符。

[0183]在步骤S85中,TT解码器IS3将在步骤S84中获得的标识符与预先存储的标识符进 行比较,以确定“初始化文档实例”是否改变。另外,当首次接收到“初始化文档实例”时,确 定“初始化文档实例”改变。

[0184] 当在步骤S85中确定“初始化文档实例”改变时,处理进入步骤S86。

[0185] 在步骤S86中,TT解码器183存储“片段”中的“mdat”的“样本”的字段“unsined id (16) document-id;”中描述的标识符。另外,当例如在多个信道上通过流式传输来广播内容 时,将正在讨论的标识符与信道相关联地存储。

[0186] 在步骤S87中,TT解码器183分析(解码)在“mdat”的“样本”中存储的“初始化文档 实例”的描述。

[0187] 在步骤S88中,TT解码器183基于在步骤S87中的分析结果来设置渲染上下文。

[0188]另外,当在步骤S85中确定“初始化文档实例”未改变时,跳过步骤SS6至S88的处 理。

[0189]另一方面,当在步骤S83的处理中确定存储了 “主体文档实例”时,处理进入步骤 S89。

[0190] 在步骤S89中,TT解码器IS3分析(解码)在“mdat”的“样本”中存储的“主体文档实 例”。

[0191]在步骤S90中,TT解码器183基于在步骤S89中的分析结果来产生字幕显示数据。在 步骤S90中产生的字幕显示数据与关于显示时间的信息一起被供应到显示控制部分185。

[0192] 当在步骤S82中确定正在讨论的“片段”没有存储TTML文档实例时,处理进入图22 中的步骤S66。

[0193] 由此执行了 TT解码处理。

[0194] 返回到图22的描述,当在步骤S64中确定在正在讨论的“片段电影”中没有存储 TTML文档实例的“片段”时,处理进入步骤S66。

[0195] 在步骤S66中,内容解码器1S4对在“mdat”的“样本”中存储的音频数据和视频数据 等进行解码。

[0196] 在步骤S67中,内容解码器1S4输出作为步骤S66的处理结果而获得的图像显示数 据和声音输出数据等。在步骤S67中产生的图像显示数据和声音输出数据等与关于显示时 间和输出时间的信息等一起被供应到显示控制部分185。

[0197] 在步骤S68中,显示控制部分185基于关于显示时间的信息等产生图像信号,以在 叠加在内容的图像上的状态下显示字幕。显示控制部分185将图像信号供应到在图中未示 出的显示器等。另外,显示控制部分185基于关于输出时间的信息等来产生声音信号,以输 出内容的声音。显示控制部分185将声音信号供应到在图中未示出的扬声器等。

[0198]也就是说,在图22的步骤S67的处理中产生的图像显示数据和声音输出数据以及 在图23的步骤S90的处理中产生的字幕显示数据相互同步地显示或输出。

[0199]在步骤S69中,确定“片段电影”是否结束。例如,当接收到图8中示出的“电影片段 随机访问(mfra)’时,确足片段电影结束。另外,例如,当用户给出了停止接收的命令时, 确定“片段电影”结束。

[0200]当在步骤S69中确定“片段电影”尚未结束时,处理返回到步骤S63。另一方面,当 在步骤S69中确定“片段电影”结束时,处理结束。

[0201]由此执行了内容再现处理。

[0202]在上文中,如上面参照图9所述,当在TTML中描述的信息被包括时,在 “moov • trak • mdia _minf • stbl • stsd” 的 “sampleEntry” 中描述“ttml”。但是,可以将“初始化 文档实例”进一步存储在 “moov • trak _mdia .minf • stbl. stsd” 中。

[0203]图24是帮助解释存储“初始化文档实例”的“moov”的“BOX”的构成的示图。如图24 所不,如图9的情况一样,在 “moov • trak _mdia _minf • stbl • stsd” 的 “sampleEntry” 中描述 40:九1:1111”,并且这个40^1:1111”之后跟随着描述“71'(:〇11打8{...”。

[0204] 在图24中的描述“TTconfig . ’ 中提供字段“unsined id (16) document-id;”。 如参照图12描述的情况一样,这是记述用于识别TTML文档实例的标识符的字段。例如,该 标识符是给予每个文档实例的ID或版本。当然,当文档实例改变时,上述标识符也改变。因 此,接收器能够确定文档实例是否被改变。

[0205] 另外,图24中示出的字段“unsined int (16) text-length;”存储在字段“unsined int⑻text [text-length]中存储的文本的文本长度。TTML文档实例被存储在图24中不 出的字段“unsined int (8) text [text-length]中。在图24的例子中,只有“初始化文档 实例”被存储在字段“unsined int (8) text [text-length]中,并且“主体文档实例”没有 被存储在字段“unsined int (8) text [text-length]中。

[0206] 此外,在如图24所示配置 “moov” 的情况下,“ini tFlag: ‘true’ ”或 “initFlag: ‘false’ ”不必在作为比“moof”的“traf”低的层中的“BOX”的“ttsd”中记述(可以记述,但是 是无意义的信息)。也就是说,在本情况下,作为每个“片段”中的“mdat”的“样本”被存储的 TTML文档实例仅仅是“主体文档实例”。因此,不必指示在正在讨论的“片段”中存储的TTML 文档实例是“初始化文档实例”还是“主体文档实例”。

[0207] 此外,在如图24所示配置“moov”的情况下,当IPTV服务器122的TT片段产生部分 141产生“片段电影”的数据时,例如,TT片段产生部分141在“moov”中的“stsd”的 “sampleEntry”中记述4CC“ttml”,并且在“moov.trak_mdia.hdlr 的 HandlerType 中记述 “text”。另外,TT片段产生部分141将图24中的描述“TTconf i g {. . • ”添加到“moov”中的 “stsd”。另外,在这种情况下,“初始化文档实例”被存储在字段“unsined int⑻text [text—length]中。

[0208] 在如图24所示配置“moov”的情况下,IPTV客户端123的片段解复用器182分析“片 段电影”的“moov”中的“stsd”的“sampleEntry”的描述,以确走在正在讨论的片段电必中 是否有存储TTML文档实例的“片段”。在这种情况下,当确定有存储TTML文档实例‘片段” 时卿,当在“stsd”的“sampleEntry”中记述了 4CC ttml时),描述TTconfig{_..被供应 到TT解码器183。

[0209] 然后,TT解码器183获得在字段“unsined id (I6) document-id;’’中描述的标识符, 并且将在字段“unsined id (16) document-id;,,中描述的标识符与预先存储的标识符进行 比较,以确定“初始化文档实例,,是否被改变。当确定“初始化文档实例’’被改变时,TT解码器 183存储在字段“unsined id (16) document-id;”中描述的标识符。另外,当在多个信道上通 过流式传输来广播内容时,例如,将正在讨论的标识符与信道相关联地存储。

[0210]此外,TT解码器I83分析(解码)在字段“unsined int ⑻ text [text-length]中 存储的“初始化文档实例”的描述。然后,基于分析结果来设置渲染上下文。

[0211]在如图24所示配置“moov”的情况下,如图25所示,作为各个“片段”(即,片段1和片 段2)中的“mdat”的“样本”存储的TTML文档实例被分析,并且字幕被显示。

[0212]在这个例子中,假设图15中示出的“主体文档实例”(主体实例1)被存储在片段_ mdatl中。此外,假设图17中示出的“主体文档实例”(主体实例2)被存储在片段2的mdat2中。 [0213] 在图25的例子中,基于在“moov”的“stsd”中存储的“初始化文档实例(初始实例)” 来设置渲染上下文。之后,在时刻tl,基于在片段1中的mdatl的样本1中存储的主体实例1来 显示如图16所示的字幕。此外,之后,在时刻t2,基于在片段2中的mdat2的样本2中存储的主 体实例2来显示如图18所示的字幕。

[0214] 另外,上述的时刻tl和时刻t2是基于与moof相对应的第一mdat中存储的第一“样 本”的“解码时间”或者moov. trak.mdia.minf .stbl .stts来计算的,其中所述解码时间在 moof • traf • tfdt 中描述。

[0215]由此,可以将“初始化文档实例”进一步存储在 “moov. trak.mdia.minf. stbl. stsd” 中。

[0216] 要注意,上述的一系列处理不仅可以通过硬件来实现,还可以通过软件来实现。当 上述的一系列处理要通过软件来实现时,构成软件的程序从网络或记录介质被安装到并入 在专用硬件中的计算机或者例如如图26所示的通用个人计算机700上,该个人计算机可以 通过在其上安装各种程序来执行各种性能。

[0217] 在图26中,CPU (中央处理单元)701根据在ROM (只读存储器)702中存储的程序或者 从存储部分708加载到RAM (随机存取存储器)703中的程序来执行各种处理。RAM703适当地 还存储CPU701执行各种处理所需的数据等。

[0218] CPU701、ROM702和RAM703经由总线704互连。总线704还与输入-输出接口 705连 接。

[0219] 输入输出接口 705与以下部件连接:由键盘、鼠标等构成的输入部分706,由通过 LCD (液晶显示器)等形成的显示器、扬声器等构成的输出部分707,由硬盘等构成的存储部 分7〇8,以及由调制解调器和诸如LAN卡的网络接口卡等构成的通信部分709。通信部分709 经由包括互联网的网络执行通信处理。

[0220]输入-输出接口 705根据需要还与驱动器710连接。诸如磁盘、光盘、磁光盘、半导体 存储器等的可移动介质711适当地被加载到驱动器710中。从这些可移动介质读取的计算机 程序根据需要被安装到存储部分708中。

[0221]当上述的一系列处理要通过软件来实现时,构成软件的程序从诸如互联网等的网 络或者诸如可移动介质711等的记录介质来安装。

[0222]另外,记录介质不仅由图26中示出的可移动介质711形成,还由R0M702、在存储部 分7〇8中包括的硬盘等来形成,可移动介质711被分发给用户以与装置本体分开地分发程 序并且在可移动介质711上记录有程序,并且可移动介质711包括磁盘(包括软盘(注册商 标))、光盘(包括CD-ROM (压缩盘-只读存储器)和DVD (数字多功能盘))、磁光盘(包括MD (迷 你盘(注册商标))、半导体存储器等,并且R0M702、在存储部分7〇8中包括的硬盘等在其上记 录有程序并且在预先并入在装置本体中的状态下被分发给用户。

[0223] 要注意,在本说明书中的上述的一系列处理不仅包括按照描述的顺序按时间顺序 执行的处理,还包括不一定按时间顺序执行而是并行或分别地执行的处理。

[0224] 另外,本技术的实施例并不局限于前述的实施例,而是可以在不脱离本技术的精 神的情况下进行各种改变。

[0225]要注意,本技术还可以采用以下的构成。

[0226] (1) 一种流式传输分发装置,包括:

[0227] 内容片段产生部分,被配置为产生存储要通过流式传输分发的内容的数据的片 段,该片段由MP4文件格式定义;和

[0228] 字幕片段产生部分,被配置为产生存储与要在所述内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段,该片段由MP4文件格式定义,

[0229] 其中,所述字幕片段产生部分向所述片段的头部信息添加实例分类区分信息,该 实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字 幕有关的渲染上下文的TTML文档实例。

[0230] (2)根据⑴的流式传输分发装置,其中字幕片段产生部分将其中记述了TTML文档 实例的样本与记述内容识别信息一起存储在该片段中,该记述内容识别信息用于分别地识 别与字幕有关的TTML文档实例的记述内容。

[0231] (3)根据(1)或⑵的流式传输分发装置,还包括:

[0232]电影头部产生部分,被配置为在包括多个片段的电影的头部信息中添加片段分类 区分信息,该片段分类区分信息用于指示电影包括存储TTML文档实例的片段。

[0233] ⑷根据⑴或⑵的流式传输分发装置,还包括:

[0234]电影头部产生部分,被配置为在包括多个片段的电影的头部信息中添加片段分类 区分信息,该片段分类区分信息用于指示电影包括存储TTML文档实例的片段,其中 [0235]电影头部产生部分将规定与字幕有关的渲染上下文的TTML文档实例存储在片段 分类区分信息中,并且实例分类区分信息不被添加到片段的头部信息中。

[0236] ⑸一种流式传输分发方法,包括:

[°237]通过内容片段产生部分,产生存储要通过流式传输分发的内容的的数据的片段, 该片段由MP4文件格式定义;

[0238]通过字幕片段产生部分,产生存储与要在所述内容中显示的字幕有关的TTML (时 序文本标记语言)文档实例的片段,该片段由MP4文件格式定义;以及 [0239]通过所述字幕片段产生部分,向所述片段的头部信息添加实例分类区分信息,该 实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字 幕有关的渲染上下文的TTML文档实例。

[024°] ⑹一种用于使计算机充当流式传输分发装置的程序,该流式传输分发装置包括:

[0241]内容片段产生部分,被配置为产生存储要通过流式传输分发的内容的数据的片 段,该片段由MP4文件格式定义;和

[0242]字幕片段产生部分,被配置为产生存储与要在所述内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段,该片段由MP4文件格式定义,

[0243]其中,所述字幕片段产生部分向所述片段的头部信息添加买例分类区分息,该 实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字 幕有关的渲染上下文的TTML文档实例。

[0244] ⑺一种记录介质,在该记录介质上记录有⑹的程序。

[0245] ⑻一种流式传输接收装置,包括:

[0246]电影接收部分,被配置为接收包括多个片段的电影的数据,所述片段由MP4文件格 式定义;

[0247] TTML判定部分,被配置为基于指示所述电影包括存储TTML文档实例的片段的片 段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片段分类区分 信息被添加到所述电影的头部信息;以及

[0248] TTML解码部分,被配置为当所述电影被判定为包括存储所述TTML文档实例的片 段时,提取存储所述TTML文档实例的片段并对该片段进行解码。

[0249] (9)根据⑻的流式传输接收装置,其中,TTML解码部分基于实例分类区分信息来 区分在所述片段中存储的所述TTML文档实例的分类,并且对所述TTML文档实例进行解码, 该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述 字幕有关的渲染上下文的TTML文档实例,并且该实例分类区分信息被包括在所述片段的头 部信息中。

[0250] (10)根据⑻或⑼的流式传输接收装置,其中

[0251] TTML解码部分基于实例分类区分信息来区分在所述片段中存储的所述TTML文档 实例的分类,该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为 规定与所述字幕有关的渲染上下文的TTML文档实例,该实例分类区分信息被包括在所述片 段的头部彳目息中,并且

[0252]流式传输接收装置还包括解码判定部分,该解码判定部分被配置为:当在所述片 段中存储的所述TTML文档实例被区分为规定与所述字幕有关的渲染上下文的TTML文档实 例时,基于记述内容识别信息来判定是否要对所述TTML文档实例进行解码,该记述内容识 别信息用于分别地识别在所述片段中存储的样本中的与所述字幕有关的TTML文档实例的 记述内容。

[0253] (11)根据⑻或⑼的流式传输接收装置,其中,当电影被判定为包括存储TTML文 档实例的片段时,TTML解码部分对规定与字幕有关的渲染上下文的TTML文档实例进行解 码,所述规定与字幕有关的渲染上下文的TTML文档实例被包括在片段分类区分信息中。

[0254] (12) —种流式传输接收方法,包括:

[0255] 通过电影接收部分,接收包括多个片段的电影的数据,所述片段由MP4文件格式定 义;

[0256] 通过TTML判定部分,基于指示所述电影包括存储TTML文档实例的片段的片段分类 区分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片段分类区分信息 被添加到所述电影的头部信息;以及

[0257] 当所述电影被判定为包括存储所述TTML文档实例的片段时,通过TTML解码部分, 提取存储所述TTML文档实例的片段并对该片段进行解码。

[0258] (13) 一种用于使计算机充当流式传输接收装置的程序,该流式传输接收装置包 括:

[0259]电影接收部分,被配置为接收包括多个片段的电影的数据,所述片段由MP4文件格 式定义;

[0260] TTML判定部分,被配置为基于指示所述电影包括存储TTML文档实例的片段的片 段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片段分类区分 信息被添加到所述电影的头部信息;以及

[0261] TTML解码部分,被配置为当所述电影被判定为包括存储所述TTML文档实例的片 段时,提取存储所述TTML文档实例的片段并对该片段进行解码。

[0262] (14) 一种记录介质,在该记录介质上记录有(13)的程序。

[0263] (15) —种流式传输系统,包括:

[0264]流式传输分发装置,包括:

[0265]内容片段产生部分,被配置为产生存储要通过流式传输分发的内容的数据的片 段,该片段由MP4文件格式定义;和

[0266] 字幕片段产生部分,被配置为产生存储与要在所述内容中显示的字幕有关的TTML (时序文本标记语言)文档实例的片段,该片段由MP4文件格式定义,

[0267]所述字幕片段产生部分被配置为向所述片段的头部信息添加实例分类区分信息, 该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述 字幕有关的渲染上下文的TTML文档实例;以及 [0268]流式传输接收装置,包括:

[0269]电影接收部分,被配置为接收包括多个片段的电影的数据,所述片段由MP4文件格 式定义;

[0270] TTML判定部分,被配置为基于指示所述电影包括所述存储TTML文档实例的片段的 片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片段分类区 分信息被添加到所述电影的头部信息;以及

[0271] TTML解码部分,被配置为当所述电影被判定为包括存储所述TTML文档实例的片段 时,提取存储所述TTML文档实例的片段并对该片段进行解码。

[0272] [附图标记列表]

[0273] 100流式传输系统,1211T服务器,122IPTV服务器,123IPTV客户端,141IT片段产 生部分,142样本插入部分,151时间戳产生部分,161内容样本产生部分,162片段复用器, I63片段分发部分,1S1计时部分,182片段解复用器,183TT解码器,184内容解码器,185显 示控制部分。

Claims (13)

1. 一种用于分发流式直播内容的流式传输分发装置,包括: 内容片段产生部分,被配置为产生存储要通过流式传输分发的内容的数据的片段,该 片段由MP4文件格式定义;和 字幕片段产生部分,被配置为产生存储与要在所述内容中显示的字幕有关的时序文本 标记语言TTML文档实例的片段,该片段由MP4文件格式定义, 其中,所述字幕片段产生部分向所述片段的头部信息添加实例分类区分信息,该实例 分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有 关的渲染上下文的TTML文档实例, 其中,所述字幕片段产生部分将其中记述所述TTML文档实例的样本与记述内容识别信 息一起存储在所述片段中,该记述内容识别信息用于分别地识别与所述字幕有关的TTML文 档实例的记述内容,用以区分所述TTML文档实例是初始化文档实例还是主体文档实例,以 及 其中,仅当所述TTML文档实例是初始化文档实例时,所述样本包括指示在所述初始化 文档实例产生后所述初始化文档实例是否改变的标识符。
2. 根据权利要求1所述的流式传输分发装置,还包括: 电影头部产生部分,被配置为在包括多个所述片段的电影的头部信息中添加片段分类 区分信息,该片段分类区分信息用于指示所述电影包括存储所述TTML文档实例的片段。
3. 根据权利要求1所述的流式传输分发装置,还包括: 电影头部产生部分,被配置为在包括多个所述片段的电影的头部信息中添加片段分类 区分信息,该片段分类区分信息用于指示所述电影包括存储所述TTML文档实例的片段,其 中 所述电影头部产生部分将规定与所述字幕有关的渲染上下文的TTML文档实例存储在 片段分类区分信息中,并且 所述实例分类区分信息不被添加到所述片段的头部信息。
4. 根据权利要求1所述的流式传输分发装置,其中所述标识符为ID或版本信息。
5. —种用于分发流式直播内容的流式传输分发方法,包括以下步骤: 通过内容片段产生部分,产生存储要通过流式传输分发的内容的的数据的片段,该片 段由MP4文件格式定义; 通过字幕片段产生部分,产生存储与要在所述内容中显示的字幕有关的时序文本标记 语言TTML文档实例的片段,该片段由MP4文件格式定义; 通过所述字幕片段产生部分,向所述片段的头部信息添加实例分类区分信息,该实例 分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所述字幕有 关的渲染上下文的TTML文档实例;以及 通过所述字幕片段产生部分将其中记述所述TTML文档实例的样本与记述内容识别信 息一起存储在所述片段中,该记述内容识别信息用于分别地识别与所述字幕有关的TTML文 档实例的记述内容,用以区分所述TTML文档实例是初始化文档实例还是主体文档实例, 其中,仅当所述TTML文档实例是初始化文档实例时,所述样本包括指示在所述初始化 文档实例产生后所述初始化文档实例是否改变的标识符。
6.根据权利要求5所述的流式传输分发方法,其中所述标识符为ID或版本信息。
7. —种用于接收流式直播内容的流式传输接收装置,包括: 电影接收部分,被配置为接收包括多个片段的电影的数据,所述片段由MP4文件格式定 义; 时序文本标记语言TTML判定部分,被配置为基于指示所述电影包括存储TTML文档实例 的片段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片 段分类区分信息被添加到所述电影的头部信息;以及 TTML解码部分,被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时, 提取存储所述TTML文档实例的片段并对该片段进行解码, 其中,所述TTML解码部分基于实例分类区分信息来区分在所述片段中存储的所述TTML 文档实例的分类,该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是 否为规定与字幕有关的渲染上下文的TTML文档实例,该实例分类区分信息被包括在所述片 段的头部信息中, 其中,所述流式传输接收装置还包括解码判定部分,该解码判定部分被配置为:当在所 述片段中存储的所述TTML文档实例被区分为规定与所述字幕有关的渲染上下文的TTML文 档实例时,基于记述内容识别信息来判定是否要对所述TTML文档实例进行解码,该记述内 容识别信息用于分别地识别与所述片段中存储的样本中的所述字幕有关的TTML文档实例 的记述内容,用以区分所述TTML文档实例是初始化文档实例还是主体文档实例,以及 其中,所述样本包括指示所述初始化文档实例是否改变的标识符,以及仅当所述解码 判定部分判定所述TTML文档实例是初始化文档实例并且所述标识符指示所述初始化文档 实例在所述初始化文档实例产生后改变时,所述TTML解码部分分析所述初始化文档实例的 记述。
8. 根据权利要求7所述的流式传输接收装置,其中,当所述电影被判定为包括存储所述 TTML文档实例的片段时,所述TTML解码部分对规定与所述字幕有关的渲染上下文的TTML文 档实例进行解码,所述规定与所述字幕有关的渲染上下文的TTML文档实例被包括在片段分 类区分信息中。
9. 根据权利要求7所述的流式传输接收装置,其中所述标识符为ID或版本信息。
10. —种用于接收流式直播内容的流式传输接收方法,包括以下步骤: 通过电影接收部分,接收包括多个片段的电影的数据,所述片段由MP4文件格式定义; 通过时序文本标记语言TTML判定部分,基于指示所述电影包括存储TTML文档实例的片 段的片段分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片段分 类区分信息被添加到所述电影的头部信息; 当所述电影被判定为包括存储所述TTML文档实例的片段时,通过TTML解码部分,提取 存储所述TTML文档实例的片段并对该片段进行解码; 通过所述TTML解码部分基于实例分类区分信息来区分在所述片段中存储的所述TTML 文档实例的分类,该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是 否为规定与字幕有关的渲染上下文的TTML文档实例,该实例分类区分信息被包括在所述片 段的头部信息中; 通过解码判定部分,当在所述片段中存储的所述TTML文档实例被区分为规定与所述字 幕有关的渲染上下文的TTML文档实例时,基于记述内容识别信息来判定是否要对所述TTML 文档实例进行解码,该记述内容识别信息用于分别地识别与所述片段中存储的样本中的所 述字幕有关的TTML文档实例的记述内容,用以区分所述TTML文档实例是初始化文档实例还 是主体文档实例,所述样本包括指示所述初始化文档实例是否改变的标识符;以及 仅当所述解码判定部分判定所述TTML文档实例是初始化文档实例并且所述标识符指 示所述初始化文档实例在所述初始化文档实例产生后改变时,通过所述TTML解码部分,分 析所述初始化文档实例的记述。
11. 根据权利要求10所述的流式传输接收方法,其中所述标识符为ID或版本信息。
12. —种用于分发和接收流式直播内容的流式传输系统,包括: 流式传输分发装置,包括: 内容片段产生部分,被配置为产生存储要通过流式传输分发的内容的数据的片段,该 片段由MP4文件格式定义;和 字幕片段产生部分,被配置为产生存储与要在所述内容中显示的字幕有关的时序文本 标记语言TTML文档实例的片段,该片段由MP4文件格式定义, 其中,所述字幕片段产生部分被配置为向所述片段的头部信息添加实例分类区分信 息,该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是否为规定与所 述字幕有关的渲染上下文的TTML文档实例, 其中,所述字幕片段产生部分将其中记述所述TTML文档实例的样本与记述内容识别信 息一起存储在所述片段中,该记述内容识别信息用于分别地识别与所述字幕有关的TTML文 档实例的记述内容,用以区分所述TTML文档实例是初始化文档实例还是主体文档实例,和 其中,仅当所述TTML文档实例是初始化文档实例时,所述样本包括指示在所述初始化 文档实例产生后所述初始化文档实例是否改变的标识符;以及 流式传输接收装置,包括: 电影接收部分,被配置为接收包括多个片段的电影的数据,所述片段由MP4文件格式定 义; TTML判定部分,被配置为基于指示所述电影包括所述存储TTML文档实例的片段的片段 分类区分信息来判定所述电影是否包括存储所述TTML文档实例的片段,该片段分类区分信 息被添加到所述电影的头部信息;以及 TTML解码部分,被配置为当所述电影被判定为包括存储所述TTML文档实例的片段时, 提取存储所述TTML文档实例的片段并对该片段进行解码, 其中,所述TTML解码部分基于实例分类区分信息来区分在所述片段中存储的所述TTML 文档实例的分类,该实例分类区分信息用于区分在所述片段中存储的所述TTML文档实例是 否为规定与所述字幕有关的渲染上下文的TTML文档实例,该实例分类区分信息被包括在所 述片段的头部信息中, 其中,所述流式传输接收装置还包括解码判定部分,该解码判定部分被配置为:当在所 述片段中存储的所述TTML文档实例被区分为规定与所述字幕有关的渲染上下文的TTML文 档实例时,基于记述内容识别信息来判定是否要对所述TTML文档实例进行解码,该记述内 容识别信息用于分别地识别与所述片段中存储的样本中的所述字幕有关的TTML文档实例 的记述内容,用以区分所述TTML文档实例是初始化文档实例还是主体文档实例,以及 其中,所述样本包括指示所述初始化文档实例是否改变的标识符,以及仅当所述解码 判定部分判定所述TTML文档实例是初始化文档实例并且所述标识符指示所述初始化文档 实例在所述初始化文档实例产生后改变时,所述TTML解码部分分析所述初始化文档实例的 记述。
13.根据权利要求12所述的流式传输系统,其中所述标识符为ID或版本信息。
CN 201280036267 2011-07-29 2012-07-11 流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统 CN103688532B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201161513131 true 2011-07-29 2011-07-29
US61/513,131 2011-07-29
PCT/JP2012/067719 WO2013018517A1 (ja) 2011-07-29 2012-07-11 ストリーミング配信装置および方法、ストリーミング受信装置および方法、ストリーミングシステム、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
CN103688532A true CN103688532A (zh) 2014-03-26
CN103688532B true CN103688532B (zh) 2018-05-04

Family

ID=47629048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201280036267 CN103688532B (zh) 2011-07-29 2012-07-11 流式传输分发装置和方法、流式传输接收装置和方法、流式传输系统

Country Status (7)

Country Link
US (2) US9113178B2 (zh)
EP (1) EP2739047A4 (zh)
JP (1) JP6062363B2 (zh)
KR (1) KR20140044861A (zh)
CN (1) CN103688532B (zh)
RU (1) RU2618373C2 (zh)
WO (1) WO2013018517A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988520B (zh) 2011-12-16 2017-05-10 索尼公司 接收装置、控制接收装置的方法、分发装置、分发方法、分发系统
CN104581341B (zh) * 2013-10-24 2018-05-29 华为终端有限公司 种字幕显示方法及字幕显示设备
JP6399686B2 (ja) * 2014-02-21 2018-10-03 日本放送協会 受信機
US9860574B2 (en) * 2014-02-23 2018-01-02 Lg Electronics Inc. Method and apparatus for transceiving broadcast signal
JP6384119B2 (ja) * 2014-05-15 2018-09-05 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
KR20170007333A (ko) * 2014-07-11 2017-01-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US20170142499A1 (en) * 2014-07-29 2017-05-18 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
CN105847724B (zh) * 2016-04-12 2018-12-07 深圳市极酷威视科技有限公司 一种视频录制断电保护方法及装置
US10169325B2 (en) 2017-02-09 2019-01-01 International Business Machines Corporation Segmenting and interpreting a document, and relocating document fragments to corresponding sections

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004334A1 (ja) * 2002-06-26 2004-01-08 Matsushita Electric Industrial Co., Ltd. 多重化装置および逆多重化装置
JP3836077B2 (ja) * 2002-11-14 2006-10-18 松下電器産業株式会社 伝送データ構造及びそれを伝送するための方法並びに装置
JP2005086362A (ja) * 2003-09-05 2005-03-31 Matsushita Electric Ind Co Ltd データ多重化方法、データ送信方法およびデータ受信方法
EP1530337B1 (en) * 2003-11-06 2006-09-06 Matsushita Electric Industrial Co., Ltd. Optimized transmission of text sample format descriptions for streaming timed text
KR20050078907A (ko) * 2004-02-03 2005-08-08 엘지전자 주식회사 고밀도 광디스크의 서브타이틀 재생방법과 기록재생장치
JP2006238147A (ja) * 2005-02-25 2006-09-07 Toshiba Corp コンテンツ再生装置、字幕再生方法及びプログラム
JP4356645B2 (ja) * 2005-04-28 2009-11-04 ソニー株式会社 字幕生成装置及び方法
CA2695645C (en) * 2007-08-20 2017-05-23 Nokia Corporation Segmented metadata and indexes for streamed multimedia data
JP4561815B2 (ja) * 2007-11-26 2010-10-13 ソニー株式会社 ファイル記録装置、ファイル再生装置、ファイル編集装置、ファイル記録方法、ファイル再生方法、ファイル編集方法、ファイル記録方法のプログラム、ファイル再生方法のプログラム、ファイル編集方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法のプログラムを記録した記録媒体、ファイル編集方法のプログラムを記録した記録媒体
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
KR101476934B1 (ko) * 2010-07-19 2014-12-30 엘지전자 주식회사 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치

Also Published As

Publication number Publication date Type
JPWO2013018517A1 (ja) 2015-03-05 application
EP2739047A4 (en) 2015-03-25 application
US20130185760A1 (en) 2013-07-18 application
US9113178B2 (en) 2015-08-18 grant
RU2618373C2 (ru) 2017-05-03 grant
RU2014102004A (ru) 2015-07-27 application
US20150304730A1 (en) 2015-10-22 application
EP2739047A1 (en) 2014-06-04 application
CN103688532A (zh) 2014-03-26 application
WO2013018517A1 (ja) 2013-02-07 application
JP6062363B2 (ja) 2017-01-18 grant
KR20140044861A (ko) 2014-04-15 application

Similar Documents

Publication Publication Date Title
US20100135646A1 (en) Storage/playback method and apparatus for mpeg-2 transport stream based on iso base media file format
US20080129864A1 (en) Distribution of Closed Captioning From a Server to a Client Over a Home Network
US20120311625A1 (en) Systems and methods for managing media content based on segment-based assignment of content ratings
KR20030062138A (ko) 디지털 지상파 데이터 방송을 위한 데이터 부호화 장치 및그 방법
US20110119396A1 (en) Method and apparatus for transmitting and receiving data
US20110145430A1 (en) Streaming method and apparatus operating by inserting other content into main content
US6993789B1 (en) DTV data service application and receiver mechanism
US20130125187A1 (en) Method for transceiving media files and device for transmitting/receiving using same
US20110019870A1 (en) Embedding interactive data into an audiovisual content by watermarking
CN101576930A (zh) 把由第一用户观看的视频内容项的关键帧发布到第二用户
US20130271657A1 (en) Receiving apparatus for providing hybrid service, and hybrid service providing method thereof
US20120005303A1 (en) Method and apparatus for transmitting and receiving a content file including multiple streams
KR100837721B1 (ko) 개인화된 디지털 방송 콘텐츠의 소비를 위한 통합 형식인코딩 장치와, 이의 디코딩 장치 및 인코딩 방법
US20110064249A1 (en) Method for generating and playing object-based audio contents and computer readable recording medium for recording data having file format structure for object-based audio service
CN101076106A (zh) Iptv二维帧标记信息互动视频系统
US20160055607A1 (en) Content management based on dither-like watermark embedding
CN1897658A (zh) 一种单向网的网页点播多媒体应用的系统及实现方法
US20110231520A1 (en) Method and apparatus for adaptively streaming content including plurality of chapters
US20120059954A1 (en) Providing enhanced content
US20120090009A1 (en) Video Assets Having Associated Graphical Descriptor Data
CN101452723A (zh) 一种媒体文件播放方法、播放系统及一种媒体播放器
KR20110053177A (ko) 부분화에 기초한 적응적인 스트리밍 방법 및 장치
WO2015174086A1 (en) A method of decoding a content bitstream
JP2015027082A (ja) 送信方法および受信方法
CN1988665A (zh) 一种dvb实时广告播放方法和播放系统

Legal Events

Date Code Title Description
C10 Entry into substantive examination
GR01