CN105611320B - 收发媒体文件的方法以及使用该方法发送/接收的装置 - Google Patents

收发媒体文件的方法以及使用该方法发送/接收的装置 Download PDF

Info

Publication number
CN105611320B
CN105611320B CN201610186917.4A CN201610186917A CN105611320B CN 105611320 B CN105611320 B CN 105611320B CN 201610186917 A CN201610186917 A CN 201610186917A CN 105611320 B CN105611320 B CN 105611320B
Authority
CN
China
Prior art keywords
media
pts
time
presentation time
mpeg2
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610186917.4A
Other languages
English (en)
Other versions
CN105611320A (zh
Inventor
金庆镐
李贤在
W·奇亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105611320A publication Critical patent/CN105611320A/zh
Application granted granted Critical
Publication of CN105611320B publication Critical patent/CN105611320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions

Abstract

本发明涉及收发媒体文件的方法以及使用该方法发送/接收的装置。一种发送包括MPEG2传输流中的媒体分量的媒体片段的方法，所述方法包括：将所述媒体分量分割为所述媒体片段，其中，各个所述媒体片段包括第一呈现单元PU的第一呈现时间，其中，将所述第一PU的所述第一呈现时间映射至媒体呈现时间轴；以及发送具有所述第一PU的所述第一呈现时间的各个所述媒体片段，其中，基于所述第一PU的第一呈现时间戳PTS和第二PU的第二PTS之差来计算所述第一PU的所述第一呈现时间。

Description

收发媒体文件的方法以及使用该方法发送/接收的装置
本申请是申请号为201180044822.4、国际申请号为PCT/KR2011/005307、申请日为2011年7月19日、发明名称为“收发媒体文件的方法以及使用该方法发送/接收的装置”的发明专利申请的分案申请。
技术领域
本公开涉及一种发送和接收基于MPEG-2传输流(TS)的媒体文件的方法和装置。
背景技术
如今，诸如地面广播、有线广播或卫星广播、或数字多媒体广播(DMB)的数字广播主要利用MPEG-2 TS来流化AV(音频/视频)内容。
另外，随着互联网的快速发展，经互联网协议(IP)网络作为主传输网络来提供内容的多媒体业务变得活跃。数字广播正朝着需要更多流量的方向发展，就像立体3维(3D)视频广播、超高清(UHD)广播、3D多视点视频广播或全息广播一样。
然而，经IP网络利用具有188字节固定长度包的序列的MPEG-2 TS可能无法有效率地传输分辨率高于现有技术HDTV的内容。
发明内容
技术问题
实施方式提供一种发送和接收基于MPEG-2 TS的媒体文件以与另一媒体同步地将其回放的方法和装置。
技术方案
在一个实施方式中，一种发送基于MPEG2 TS的媒体文件的方法，所述方法包括：针对形成媒体文件中所包括的节目的至少一个节目元素，将呈现单元(PU)的呈现时间戳(PTS)映射至媒体呈现时间(MPT)以用于与其他媒体同步；将包括映射的媒体呈现时间的同步信息与所述媒体文件一起发送，其中为发送的媒体文件的片段(segment)中的第一PU提供所述媒体呈现时间。
在另一实施方式中，一种接收基于MPEG2 TS的媒体文件的方法，所述方法包括：接收媒体文件与同步信息；提取形成所述媒体文件中所包括的节目的至少一个节目元素的PU的MPT；利用提取的媒体呈现时间回放所述媒体文件，其中所述MPT是从接收的媒体文件的片段中的第一PU的PTS映射的。
在另一实施方式中，一种发送基于MPEG2 TS的媒体文件的装置，所述装置包括：控制器，其针对形成媒体文件中所包括的节目的节目元素，将各片段中所包括的PU当中的第一PU的PTS或发生PTS不连续之后的第一PU的PTS映射至MPT，以用于与其他媒体同步；网络接口单元，其将包括映射的MPT的同步信息与所述媒体文件一起发送。
在另一实施方式中，一种接收基于MPEG2 TS的媒体文件的装置，所述装置包括：网络接口单元，其接收媒体文件和同步信息；解码单元，其解码接收的媒体文件；同步单元，其利用所述同步信息中所包括的MPT使解码的媒体文件与其他媒体同步，其中所述MPT是从接收的媒体文件的片段中的第一PU的PTS或发生PTS不连续之后的第一PU的PTS映射的。
技术效果
根据实施方式，由于基于MPEG-2 TS的媒体文件与包括媒体呈现时间的同步信息一起传输，所以可随机访问媒体文件并容易地使媒体文件与安装在接收装置内部或外部附接的其他媒体同步，并播放该媒体文件。
另外，由于当呈现时间戳(PTS)处发生不连续时的时间点的媒体呈现时间被提供给接收装置方，即使在发生PTS不连续的情况下，媒体文件也可与媒体呈现时间同步地回放。
附图说明
图1是示出ISO基本媒体文件格式的配置的示图。
图2是示出MPEG2打包基本流(PES)包的结构的示图。
图3是示出MPEG TS的结构的示图。
图4是示出MPEG2传输流(TS)的呈现时间戳(PTS)对媒体呈现时间(MPT)的曲线图。
图5是示出呈现MPEG2 TS中所包括的任何呈现单元(PU)的方法的实施方式的示图。
图6是示出根据实施方式的发送媒体文件的装置的示意性配置的框图。
图7是示出根据实施方式的发送媒体文件的方法的流程图。
图8是示出与媒体播放时间轴(timeline)同步地呈现MPEG2 TS中所包括的任何PU的方法的实施方式的示图。
图9和图10是示出包括同步信息的片段索引盒(SIB，Segment Index Box)的配置的示图。
图11和图12是示出包括同步信息的可扩展标记语言(XML)文件的配置的示图。
图13是示出从根据实施方式的发送装置发送的媒体文件结构的实施方式的示图。
图14是示出根据实施方式的接收媒体文件的装置的配置的框图。
图15是示出根据实施方式的接收媒体文件的方法的流程图。
图16是示出利用媒体呈现描述(MPD)创建的片段列表的实施方式的示图。
图17是示出与3GPP媒体文件同步地播放基于MPEG2 TS的媒体文件的方法的实施方式的示图。
图18和图19是示出利用MPEG基于HTTP的动态自适应流(DASH)的MPD实现媒体文件的方法的实施方式的示图。
图20是示出根据本发明第一实施方式的IPTV接收器的配置的框图。
图21是示出根据本发明第二实施方式的IPTV接收器的配置的框图。
具体实施方式
现在将参照图1-21详细说明本公开的实施方式，其示例示于附图中。
将参照附图详细描述根据实施方式的发送和接收基于MPEG-2传输流(TS)的媒体文件的方法和装置。然而，本发明可以许多不同的形式实施，而不应被解释为限于本文所阐述的实施方式；相反，可通过增加、变更或改变容易地得到包括在其他倒退发明中或落入本公开的精神和范围内的替代实施方式，这些实施方式将充分向本领域技术人员传达本发明的概念。
图1示出ISO基本媒体文件格式的配置。为了流化图示ISO基本媒体文件格式，可采用“分片文件(fragmented file)”格式。
参照图1，分片文件可通过将媒体轨道划分为多个分片来形成，每一分片包括电影分片(moof)盒和媒体数据(mdat)盒。
moof盒之后的mdat盒包括分片媒体数据，这一组合的moof-mdat对可形成单个分片。
在分片的ISO基本媒体文件格式中，一般定时字段可被提供样本表(ST)盒，例如解码样本时间(stts)盒或合成样本时间(ctts)盒。然而，由于上述定时字段存在于moov(电影)盒中，所以它们很少用在传输定时信息中。
同时，由于moov盒被精细编码，所以假设对于客户机方(例如，接收装置)而言所有先前的样本均是有效的，以便访问期望的样本。对于流应用而言上述假设不适用。
位于媒体文件的末尾处的电影分片随机访问(mfra)文件可用于提供对包括随机访问点的分片的参考。
然而，mfra盒使用参考分片的相对于文件的开始处的绝对字节偏移，并且未被分片。因此，可在存储状态下(类似记录处理)提供分片的媒体文件的定时信息，但在流媒体应用下不可使用。
因此，图1所示的ISO基本媒体文件格式不提供用于流化分片的轨道的定时信息。
另一方面，片段是媒体文件发送和接收的单位，其配置可不同地定义。
例如，在“3GPP Adaptive HTTP Streaming(AHS)”、“OIPF HTTP AdaptiveStreaming(HAS)”和“HTTP Streaming of MPEG media”中，片段包括一个或多个电影分片，在一个周期中，各片段具有大致相同的持续时间。在“3GPP AHS”中，定义了片段的整个结构，并允许使用片段作为精细下载单位或者利用字节范围来下载片段的一部分。
3GPP文件格式可包括片段索引(sidx)盒，其为分片中的轨道提供轨道播放起始时间，以便提供关于丢失的轨道的定时信息，可从解码时间恢复播放时间。
“3GPP AHS”客户机可利用大致创建的时间轴获取片段，并利用sidx盒重构各轨道的定时。一旦下载了整个片段或片段的一部分，定时信息可包括在文件中，以便用于随后播放。
在“Microsoft Smooth Streaming(MS SS)”中，片段可被定义为一个分片，这一个分片可包括一个轨道。分片是用于下载的基本单位，不使用术语“片段”。
“MS SS”可为ManifestResponse文件内的各分片提供FragmentTime属性，可在StreamFragmentElement字段中提供该信息。
在前述“MS SS”中，由于轨道分片中仅存在一个轨道，所以单个FragmentTime足以表示轨道分片的定时。可针对各轨道请求定时信息，以便允许在随机访问之后开始同步的呈现以及可替换的呈现之间的切换。
在存储有定时信息的文件中执行“MS SS”媒体文件的存储，这通过将媒体文件存储在MS PIFF中或者将定时信息包括在mfra盒中来执行。
图2示出MPEG2PES包结构，图3示出MPEG2 TS结构。
参照图2，由MPEG编码器压缩的MPEG2视频流可打包成预定大小的PES包。
PES包包括PES报头和PES包数据字段，PES报头可包括可选PES报头。另外，可选PES报头包括可选字段510，可选字段510包括PTS字段和DTS字段。
PTS字段可包括呈现时间戳(PTS)信息，DTS字段可具有解码时间戳(DTS)信息。
视频流与音频流之间的同步可用时间戳来实现，时间戳是表示何时呈现各解码单位(称为视频和音频流的访问单位)的时间信息。
例如，可提供音频流中的PTS以及视频流中的PTS和DTS作为时间信息。可通过比较先前的时间戳与系统时钟(STC)(是解码器的时间基准)并确定是否呈现视频和音频流来使视频和音频流彼此同步。
参照图3，MPEG2 TS的传输包包括4字节报头以及随后的184字节有效载荷，总共具有188字节大小，而不管预期的传输机制如何。
有效载荷可包括PES包、节目关联表(PAT)、节目映射表(PMT)等，报头可包括多个字段，例如同步字节和调整字段。
调整字段可包括可选字段，所述可选字段可包括写有时间基准信息的PCR信息的节目时钟基准(PCR)字段。
PCR插入MPEG2 TS的报头中，以作为PTS和STS的基准时钟用于编码器和解码器之间的同步。
PTS用于一个节目中所包括的元素流的同步呈现，但与诸如协调世界时间(UTC)的外部时钟没有任何同步关系。
另外，无法确保PTS的连续性，因此PTS可能发生不连续或重置。.
例如，在诸如数字视频广播的MPEG2 TS的应用字段中，可通过PCR递送PTS的前述不连续，就在对应事件之前出现如图3所示的不连续指示符。
PTS可用于一个节目的同步呈现，但不足以用于与一般呈现时间轴(例如，HTTP流媒体业务中所用的媒体呈现时间轴)同步的呈现。
为了与一般呈现时间轴同步地使用PTS，需要考虑初始同步、随机访问之后的同步以及PTS不连续之后的同步。
图4示出MPEG2 TS的PTS与媒体呈现时间(MPT)之间的关系的曲线图。
在图4中，实线指示媒体呈现时间轴，所有媒体中的呈现通过其同步，虚线指示PTS时间轴，其表示节目内的本地呈现时间。
MPT指示如ISO基本媒体文件格式中所定义的对应文件内的时间，从“0”开始。
PTS可表示为时标PTS时间轴，其中在90KHz时钟下测量的值被表示为33比特大小。
参照图4，媒体呈现时间轴可从manifest文件(例如，媒体呈现描述(MPD))中所提供的呈现起始偏移开始。
PTS时间轴可从任意点开始，并且在一些情况下具有不连续d。
不同于ISO基本媒体，MPEG TS允许在分片具有188字节大小的范围内直接分片。基于MPEG2 TS的“Apple HTTP Streaming”或“OIPF HAS”使用与按照预定周期将MPEG2 TS分割为片段的方案相同的方案。
在这种情况下，对于各媒体分量而言，片段周期通常并不精确。MPEG2 TS中所包括的节目的媒体分量使用PCR或PTS作为基准按照粗略的周期将MPEG2 TS分成片段，因此片段周期在轨道间可能有所不同。
“Apple HTTP Streaming”和“OIPF HAS”不指定或参考表示MPEG2 TS的定时信息的另外的方式，使用粗略时间轴下载MPEG TS，并将片段的起始时间设置到该粗略时间轴。
由于“MS SS”不涉及MPEG2 TS媒体文件的递送，可能难以将“MS SS”直接应用于MPEG2 TS的传输。另外，“MS SS”针对各分片仅允许一个轨道，因此“MS SS”不适用于具有多个复用节目的传输流。
在下载一部分文件或整个文件之后，需要将对应文件存储为MPEG TS文件，并且需要定时信息有效以便于未来回放。因此，可能难以实现与利用“MS SS”的MPEG2 TS文件传输中的媒体呈现时间轴的完美同步。
图5示出呈现MPEG2 TS中所包括的任何呈现单元(PU)的方法的实施方式。
参照图5，MPEG2 TS包分别具有固定的188字节大小，并且可以以包括一个或多个包(例如，3个MPEG2 TS包)的片段为单位来传输。
同时，客户机方(例如，接收装置)可尝试接收任何片段，将任何呈现单元PUy与媒体呈现轴同步，并呈现PUy。
此时，在包括待呈现的呈现单元PUy的片段的先前片段中可能发生PTS不连续，因此在随机访问的情况下，由于PTS不连续，对应片段可能不能被接收为有效的片段。
即，在基于MPEG2 TS的媒体文件中，未针对片段中的随机访问或连续访问提供用于PU的精确媒体呈现时间信息。这可能在PTS不连续的情况下引起更多限制。
当MPEG2 TS与媒体呈现时间不同步时，内部存储或流化的基于MPEG2 TS的媒体文件与其他媒体(例如，ISO基本媒体文件格式媒体或另一种基于MPEG TS的媒体)彼此不同步，无法回放媒体文件。
根据实施方式，MPEG2 TS媒体文件可通过用信令将基于MPEG2 TS的媒体文件的时间轴映射至媒体呈现时间来与其他媒体同步。
例如，根据实施方式的发送装置可将形成媒体文件中所包括的节目的至少一个节目元素的PU的PTS映射至媒体呈现时间，包括映射的媒体呈现时间的同步信息(缩写为sync信息)可与映射的媒体呈现时间一起传输。
图6示出根据实施方式的媒体文件发送装置的示意性配置的框图。图示发送装置可包括控制器110和网络接口单元120。
参照图6，控制器110可通过将形成基于MPEG2 TS的媒体文件中所包括的节目的节目元素的PU的PTS映射至媒体呈现时间，来产生将提供给客户机方(例如，接收装置)的sync信息。
网络接口单元120可将包括映射的媒体呈现时间的sync信息与基于MPEG2 TS的媒体文件一起发送给接收装置。
根据实施方式，发送给客户机方的sync信息可提供给任一节目元素中所包括的各片段的第一PU。
在这种情况下，sync信息可用于恢复从特定片段的第一PU至MPEG2 TS中所包括的下一PTS不连续发生点的所有PU的呈现时间。
另外，在片段中发生PTS不连续之后可针对第一PU提供sync信息，sync信息可用于恢复从PTS不连续发生点至MPEG2 TS中所包括的下一PTS不连续的下一PTS不连续发生点的所有PU的呈现时间。
同时，PTS不连续不再发生，sync信息发生点可用于恢复从PTS不连续发生点至MPEG2 TS中所包括的对应片段的末尾的所有PU的呈现时间。
基于MPEG2 TS的回放可包括属于一个节目的多个节目元素，可向客户机方传输用于任一节目元素的sync信息。
即，当任一节目元素与媒体呈现时间同步时，剩余节目元素可利用MPEG2 TS所提供的同步机制与一个节目同步。
以下将参照图7至图13描述根据实施方式的发送媒体文件的方法。
图7是示出根据实施方式的发送媒体文件的方法的流程图。将结合根据图6所示实施方式的发送媒体文件的装置来描述图示发送媒体文件的方法。
参照图7，发送装置100的控制器110选择将要发送的媒体文件中所包括的节目元素中的一个(操作S200)。
例如，控制器110可选择形成节目的视频轨道和音频轨道当中的视频轨道作为基准节目元素。
然后，控制器110将选择的节目元素的PU的PTS映射至媒体呈现时间(操作S210)。
参照图8，可向客户机方传输针对片段的属于特定节目元素的PU当中的第一PU的媒体呈现时间，例如，MPT1至MPTn，作为sync信息。
同时，当将要呈现特定呈现单元PUy时，可通过映射PU的PTS来计算PUy的媒体呈现时间MPT0，如下式1所示。
式1
MPTo＝((PTS1-PTSk)/timescalePTS)*timescale+MPTn
在式1中，PTS1表示PUy的PTS，PTSk表示位于PUy之前的呈现单元PUx的PTS，MPTn表示PUx的媒体呈现时间。
timescalePTS表示PTS的时钟，例如90kHz，timescale表示MPT的时钟。
例如，发送装置100的控制器110恢复PTSs，即，分别为PUy的PTS1和PUx的PTSk，并利用恢复的PTS1和PTSk如式1所示通过线性插值计算下一媒体呈现时间MPT0。
如图8所示，在片段中发生PTS不连续之后，可向客户机方传输针对第一PU的媒体呈现时间，例如，MPTm，作为sync信息。
因此，即使在特定片段中发生不连续的情况下，也可参照式1通过上述线性插值计算特定呈现单元的媒体呈现时间。
如上所述，参照图8针对一个节目元素中包括PUx和PUy的示例性情况描述了将呈现单元的PTS映射至媒体呈现时间的方法。然而，在不同的节目元素分别包括PUx和PUy的情况下，可利用上述方法计算特定呈现单元的媒体呈现时间。
网络接口单元120将包括计算出的媒体呈现时间的sync信息与媒体文件一起传输给客户机方(操作S220)。
根据上述映射方案，可基于给定媒体呈现时间的PTS搜索特定呈现单元(其可用于随机访问或流切换)。
例如，可如下式2所示计算PTS1(任何媒体呈现时间MPT0的PTS值)。
式2
PTS1＝((MPTo-MPTn)/timescale)*timescalePTS+PTSk
当媒体呈现时间由第二单位而非由时钟表示时，式2可简化为下式3：
式3
PTS1＝(MPTo-MPTn)*timescalePTS+PTSk
根据本发明的实施方式，发送装置100发送片段中所包括的PU当中的第一PU或发生PTS不连续之后的第一PU的媒体呈现时间(MP1、MPm和MPTn)(如图8所示)，或者根据上述映射方法获得另一PU的媒体呈现时间MPT0，并将获得的MPT0传输给客户机方作为sync信息。
以下将参照图9至图12详细描述传输给客户机方的sync信息的配置。
sync信息可以下列方式结构化。
首先，选择MPEG2 TS媒体文件的节目中所包括的多个节目元素中的任一个作为基准节目元素，将选择的基准节目的第一PU的媒体呈现时间提供给客户机方。
为了处理片段中所包括的PTS不连续，将从选择的基准节目的第一PU至下一PTS不连续发生时间点(或者当未发生PTS不连续时，至对应片段的末尾)的持续时间提供给客户机。
当PTS不连续发生两次或更多次时，将从任一个PTS不连续至下一PTS不连续(或者当未发生PTS不连续时，至对应片段的末尾)的持续时间提供给客户机方。
另外，还可将紧接着PTS不连续发生之后的基准节目元素的PU的PTS提供给客户机方。
可利用如上所述创建的sync信息恢复片段中所包括的所有PU的媒体呈现时间。
然而，除了如上所述用于同步呈现的用信号通知的信息之外，PTS不连续之前和之后的持续时间可进一步划分为更小的持续时间，客户机方可使用此附加信令来进行随机访问等。
如上所述，尽管用信号通知节目中的任一节目元素的呈现时间对于使任何节目元素与媒体呈现时间轴同步而言可能是必要且足够的，但sync信息的语法可允许用信号通知多个节目元素的呈现时间。
这对于客户机尝试选择性地呈现节目元素而言可能是有利的。
例如，当MPEG2 TS节目包括不同语言的两个音频轨道L1和L2时，客户机可能想要在音频轨道之间仅回放L1轨道。
此时，如果用于媒体呈现时间的信令仅提供给L2，则客户机需要从L1提取PTS信息以恢复呈现时间。然而，用于媒体呈现时间的信令提供给L1和L2二者，客户机无需提取单独的PTS信息以恢复呈现时间。
为了分割发送的MPEG2 TS媒体文件，如传输协议所要求的根据基准轨道周期粗略分割媒体文件，可将片段的边界调节至MPEG2 TS包。
根据实施方式，上述sync信息可被表示为二进制编码的格式文件或XML文件。
图9和图10示出包括sync信息的片段索引盒的配置的实施方式，其是以二进制格式表示sync信息的示例。
根据实施方式，结合图6至图8描述的sync信息可基于一般ISO基本媒体文件格式数据类型以二进制格式表示，并具有与3GPP AHS中所用的sidx盒类似的结构。
参照图9，sync信息可由MPEG2片段索引盒m2si形成，特定片段中可包括一个或多个m2si盒。
m2si盒可针对MPEG2 TS的一个或多个节目元素提供MPEG2 TS中所包括的PU的媒体呈现时间。
片段可再分为多个MPEG2 TS包组(MTPG)，MTPG可由相邻MPEG2 TS包的集合形成。
当选择一个节目元素(例如，视频节目元素)作为基准节目元素时，可在第一循环中提供至少第一样本，即，基准节目元素的PU的呈现时间。
可从第一MTPG开始对片段中所包括的各MTPG执行第二循环。在第二循环中，各MTPG的基准节目元素的呈现持续时间可设置有从MPEG2 TS的第一字节至片段中的对应MTPG的字节偏移。
MTPG的呈现持续时间可以是属于MTPG的基准节目元素的所有PU的呈现持续时间之和。
在第二循环中，可提供关于MTPG的基准节目元素中是否包括随机访问点(RAP)的信息。当包括RAP时，还可提供与对应片段中的第一样本的呈现时间的呈现时间偏移。
不同于3GPP AHS的sidx盒，m2si盒可位于片段的起始位置处，并且不允许层次结构，从而可容易地移除m2si盒。
参照图10所示的语法结构，标志可形成24比特整数标志，并定义如下。
timescale-present表示对应盒中是否存在媒体呈现时间的时标，其标志值可为“0x000001”。
pts-present表示是否针对所有写入的MTPG均包括基准轨道的第一PU的PTS，其标志值可为“0x000002”。
timescale是媒体呈现时间轴的时标。当一个媒体呈现中提供一个或多个timescale时，其值对于所有呈现而言可均相同。
reference_PID提供传输基准节目元素的MPEG2 TS包的包标识符(PID)。
program_element_count表示下一循环中索引的节目元素的数量，可指定为1或更大的值。
referenc_count表示第二循环中索引的节目元素的数量，可具有1或更大的值。
PID表示其中传输提供representation_time的节目元素的MPEG2 TS包的PID，对应循环中的PID与reference_PID相同。
presentation_time可表示由以timescale表示的PID标识的节目元素中的第一样本的呈现时间。
reference_offset可表示从MPEG2 TS片段的第一字节至由对应循环的重复参考的MPTG的第一字节的字节距离。
MTPG_duration为参考的MPTG提供基准节目元素的呈现周期，可表示在对应轨道的时标中。
PTS可表示对应MPTG的基准节目元素的第一PU的MPEG2 TS PTS。
contains_RAP可设置为“1”，以表示参考的MPTG中的基准节目元素包括RAP。
discontinuity可设置为“1”，以表示对应MPTG从不连续开始。
当contains_RAP设置为“1”时，RAP_delta_time可提供RAP的呈现时间偏移，以对应于片段中的基准节目元素的第一样本的呈现时间。当contains_RAP设置为“0”时，RAP_delta_time可维持为“0”。
图11和图12示出包括sync信息的XML文件的配置的实施方式。
参照图11，XML文件可包括MPEG2 TS的一个或多个节目元素的PU的媒体呈现时间，片段可再分为相邻的MTPG。
当选择一个节目元素(例如，视频节目元素)作为基准节目元素时，在第一元素中提供至少第一样本的呈现时间，即，基准节目元素的呈现单元。
另外，第二元素用于从第一MTPG开始的片段中所包括的各MTPG。第二元素可为片段的各MTPG提供基准节目元素的呈现周期。
MTPG的呈现周期可以是属于对应组的基准节目元素的所有PU的呈现周期之和。
第二元素可提供关于MTPG的基准节目元素是否包括RAP的信息。当包括RAP时，可为对应片段中的第一样本的呈现时间进一步提供呈现时间偏移。
图11示出具有图10所示配置的sync信息的图表，对图示图表的详细描述与上面结合图9和图10的描述相同。因此，将省略其描述。
图13示出从根据实施方式的发送装置发送的媒体文件的文件结构的实施方式。
参照图13，结合图9和图10描述的m2si盒可附在划分为片段单元的MPEG2 TS之前。MPEG2 TS数据可选择性地包封在mdat盒中以方便访问和划界。
如图13所示，当sync信息以二进制格式附加时，m2si盒可附在mdat盒之前。
媒体文件格式可从片段类型(styp)盒开始，styp盒可具有设置为“styp”的盒类型、“etsf”的名称以及设置为“1”的minor_version。除此之外，styp盒可具有与ISO/IEC14496-12 ISO基本媒体文件格式中定义的文件类型盒(ftyp)相同的语法结构。
以下将参照图14和图15描述媒体文件接收方法和装置的实施方式。
根据实施方式的接收装置300可接收媒体文件与sync信息，从接收的sync信息提取PU的媒体呈现时间，然后利用提取的媒体呈现时间回放媒体文件。
由接收装置300接收的sync信息的配置可与上面结合图6至图13所描述的相同。因此，将省略其详细描述。
图14示出根据实施方式的媒体文件接收装置的配置的框图。图示接收装置300可包括网络接口单元310、解码单元320和同步单元330。
参照图14，接收装置300的网络接口单元310(例如，HTTP接口)接收媒体文件与sync信息，解码单元320可对接收的媒体文件解码，并输出解码的媒体文件。
同步单元330可利用sync信息中所包括的媒体呈现时间使解码的媒体文件与媒体呈现时间轴同步。
例如，网络接口单元310可从发送单元100接收具有如上面结合图6至图13所描述的配置的sync信息与MPEG2 TS。
解码单元320可包括用于解码MPEG2 TS的第二解码器322，第二解码器322可以是一般MPEG2 TS解码器。
第二解码器322可从网络接口单元310接收MPEG2 TS以解码，并输出其解码的PU和PTS。
同步单元330可通过接收的sync信息识别被提供媒体呈现时间的呈现单元。为此，网络接口单元310恢复被提供呈现时间的PU的PTS，并将恢复的PTS传输给同步单元330，或者从发送装置100接收对应单元的呈现时间和PTS。
为了恢复PTS，可使用基本流时间恢复。
解码单元320还可包括第一解码器321，以将通过网络接口单元310接收的另一媒体文件解码，第一解码器321可以是用于恢复另一种格式的媒体文件(例如，3GPP文件格式)的解码器，或者与第二解码器322相同的MPEG2 TS解码器。
同步单元330可利用从发送装置100发送来的解码信息(例如，PU的媒体呈现时间)使从第二解码器322输出的基于MPEG2 TS的媒体文件与从第一解码器321输出的另一媒体文件同步。
接收装置300可将通过同步单元330同步的基于MPEG2 TS的媒体文件与另一媒体文件一起回放。
根据另一实施方式，解码的MPEG2 TS可存储在接收装置300中所准备的存储器(未示出)中。接收的m2si盒或xml文件中所包括的sync信息也可存储在接收装置300中。
存储的sync信息可稍后用于与其他媒体分量的同步呈现。
另外，对于PTS不连续的字节偏移可作为属性存储在包括sync信息的m2si盒或xml文件中。
在这种情况下，由于MPEG2 TS的所有片段被组合，所以同步盒或文件中提供的字节偏移应该对应于MPEG2 TS文件的开始。
图16示出利用MPD创建的片段列表的实施方式。
执行HTTP流化的客户机可访问MPD，并在特定客户机本地时间“NOW”从MPD创建图16所示的片段列表。
“NOW”可表示当从MPD形成MPD实例时基准客户机中的时钟的当前值。
不与HTTP流媒体服务器同步但与UTC同步的客户机可能由于有效性而经历片段访问问题。HTTP流媒体客户机应该使其自己的时钟与精确世界时同步。
图17示出使基于MPEG2 TS的媒体文件与3GPP媒体文件同步并回放的方法的实施方式。
参照图17，可利用sync信息(如上面结合图6至图12所描述的)使MPEG2 TS媒体文件中所包括的特定PU PUy与对应于3GPP媒体文件的样本同步并回放。
在图17所示的实施方式中，包括MPD信息、片段的3GPP文件格式信息和sync信息的m2si盒可给出如下。
-MPD信息：
availabilityStartTime＝2010-05-30T 09:30:10Z
SegmentInfo duration＝PT2S(示出的片段边界针对片段#32)
-片段的3GPP FF信息：
time_scale＝48000
track_ID 1＝(视频)
decode_time＝2974186
composition_offset＝1602
track_ID 2＝(音频)
decode_time＝2976000
-m2si(对应)
PID＝101
presentation_time＝2977120
在这种情况下，用于渲染PUy(根据上面结合图5至图8描述的映射方法回放的PU)的UTC可如下式4所示计算。
式4
PUy＝(((PTS1-PTSk)/time_scale_ext)+presentation_time/time_scale)+availabilityStartTime
在式4中，可通过将PUy的PTS“43249500”代入PTS1，将被提供媒体呈现时间“29977120”的PU的PTS“43245300”代入PTSk，将PTS的时钟“90000”代入time_scale_ext，将3GPP文件格式信息中所给出的“48000”代入time_scale，将MDP信息中所给出的“2010-05-30T 09:30:10Z”代入availabilityStartTime，来获得用于渲染PUy的UTC“2010-05-30T09:31:02.07Z”。
图18和图19示出利用MPEG基于HTTP的动态自适应流媒体(DASH)的MPD实现媒体文件的方法的实施方式。
如图18所示，索引片段(是如上面结合图6至图17所述的sync信息)可单独地存在于MPEG-DASH中。
媒体文件可用具有与上面结合图13所述相同的媒体文件结构的语法来实现，索引数据可存储于MPEG2 TS媒体文件之后。因此，可大大减少存储的文件数量。
另外，客户机可确认有多少字节对应于索引数据，有多少尾部(tailing)对应于媒体文件中的媒体数据。
在这种情况下，客户机可识别出媒体片段的统一资源定位符(URL)与对应于媒体片段的索引片段的URL一致。因此，客户机可结合请求划分片段。
一般客户机可能不使用这种优化，而是可通过两个ttp请求获得相同的效果。
无法使用索引数据的另一客户机可忽略索引数据，仅获取媒体数据。
结合图1至图19所描述的接收并处理基于MPEG2 TS的媒体文件的方法可由根据实施方式的IPTV接收器来执行。
为此，IPTV接收器可接收从发送方(例如，媒体服务器)发送来的媒体文件，媒体文件的格式可具有结合图6至图19所描述的配置。
IPTV接收器可使MPEG2 TS与其他媒体同步，并利用从发送方接收的sync信息来回放。
IPTV接收器可执行结合图14和图15所描述的接收媒体文件的方法。
以下将参照图20和图21详细描述根据实施方式的IPTV接收器的配置。
图20示出根据实施方式的IPTV接收器配置的框图。
根据实施方式的IPTV接收器可包括单独的调谐器以用于接收地面广播、有线广播或卫星广播。然而，在本公开中，为了方便将主要描述具有接收经IP网络提供的IPTV业务的配置的IPTV接收器。
ITF指示开放IPTV终端功能，可指由支持IPTV业务所必需的功能模块形成的接收器。
IPTV接收器可包括网络接口单元502、TCP/IP管理器502、业务递送管理器504、PVR管理器505、解复用器(Demux)508、数据解码器507、音频/视频解码器512、显示和OSD单元515、应用管理器513和514、业务信息(SI)和元数据数据库(DB)511、业务发现管理器509、业务控制管理器503、元数据管理器510和内容DB 506。
参照图20，网络接口单元501从网络接收包以及向网络发送包。即，网络接口单元501经网络从业务提供商接收业务或媒体内容。
TCP/IP管理器502针对由IPTV接收器接收的包以及从IPTV接收器发送的包管理从源至目的地的包递送。另外，TCP/IP管理器502将接收的包分类以使其对应于适当的协议，并将分类的包输出给业务发现管理器509、业务控制管理器503和元数据管理器510。
业务递送管理器504控制接收的业务数据。例如，在控制实时流化的情况下，业务递送管理器504可使用RTP/RTCP。
当利用RTP传输实时流媒体数据时，业务递送管理器504根据RTP解析接收的数据包，并根据业务管理器514的控制将解析的数据包传输给Demux 508或将其存储到内容DB506。另外，业务递送管理器504利用RTCP将网络接收信息反馈给提供业务的服务器方。
Demux 508将接收的包解复用为音频、视频和节目特定信息数据，并将解复用的数据分别传输给音频/视频解码器512和数据解码器507。
例如，数据解码器507将诸如PSI的业务信息解码。即，数据解码器507接收由Demux508解复用的PSI部分、节目和业务信息协议(PSIP)部分或DVB-SI部分，并将接收的部分解码。
数据解码器507将接收的部分解码以产生用于业务信息的数据库，用于业务信息的数据库存储在SI和元数据DB 511中。
音频/视频解码器512将从Demux 508接收的视频数据和音频数据解码。在音频/视频解码器512中解码的视频数据和音频数据通过显示和OSD单元515提供给用户。
应用管理器513和514管理IPTV接收器的整个状态，提供用户界面，并管理其他管理器。为此，应用管理器包括用户界面管理器513和业务管理器514。
用户界面管理器513利用在屏显示(OSD)为用户提供图形用户界面(GUI)，并根据来自用户的键输入执行接收器操作。例如，当从用户接收到用于频道选择的键输入时，用户界面管理器513将键输入信号传输给业务管理器514。
业务管理器514控制与业务有关的管理器，例如业务递送管理器504、业务发现管理器509、业务控制管理器503和元数据管理器510。
业务管理器514产生频道映射，并根据从用户界面管理器513接收的键输入利用该频道映射选择频道。业务管理器514接收用于数据解码器507的频道业务信息，并将选择的频道的音频和视频PID设置到Demux 508。
业务发现管理器509提供选择提供业务的业务提供商所必需的信息。当从业务管理器514接收到用于频道选择的信号时，业务发现管理器509利用该信息搜索业务。
业务控制管理器503选择并控制业务。例如，业务控制管理器503在用户选择实时广播业务时使用互联网组管理协议(IGMP)或RTSP(其方案与现有技术相同)，或者在用户选择视频点播(VOD)业务时利用RTSP选择并控制业务。
RTP可为实时流化提供技巧模式(trick mode)。另外，业务控制管理器503可通过IMC网关利用IP多媒体子系统(IMS)初始化并管理会话。上述协议仅是示例，可用其他协议代替。
元数据管理器510管理与业务有关的元数据，并将所述元数据存储在SI和元数据DB 511中。
SI和元数据DB 511和内容DB 506可分别利用非易失性RAM(NVRAM)或闪存来实现，并且还可实现于相同存储区域上逻辑上分离的两个区上。
PVR管理器505是用于记录和呈现实时流媒体内容的模块，并且可针对记录的内容收集元数据，并创建将提供给用户的附加信息，例如缩略图或索引。
根据实施方式的IPTV接收器的控制器的功能可实现为分成多个模块，例如图20所示的TCP/IP管理器502、业务递送管理器504、PVR管理器505、应用管理器513和514、业务发现管理器509、业务控制管理器503和元数据管理器510。
例如，TCP/IP管理器502可利用上述目标包信息过滤SD&S信息，并控制网络接口单元501仅向服务器请求与特定包(例如，IPTV接收器所订制的包)对应的有效载荷或片段，并接收所述有效载荷或片段。
另选地，TCP/IP管理器502可利用目标包信息过滤以多播方案接收的SD&S信息，并使得解码器507仅解析并处理与特定包对应的有效载荷或片段。
图21示出根据另一实施方式的IPTV的配置的功能框图。在图21中，实线指示数据路径，虚线指示控制信号路径。
线缆调制解调器或DSL调制解调器等601(是使得ITF在物理层连接至IP网络的接口)解调通过物理介质发送来的信号，并恢复数字信号。
以太网NIC 602从通过物理接口接收的信号恢复IP数据。IP网络栈607根据IP协议栈处理各层。
XML解析器609解析接收的IP数据当中的XML文档。文件处理器608处理接收的IP数据当中通过FLUTE等以文件类型传输的数据。
SI处理器611处理接收的文件类型数据当中与IPTV业务信息对应的部分，并将处理的数据存储在存储器612中。EPG处理器610处理接收的文件类型数据当中与IPTV EPG信息对应的部分，并将处理的数据存储在存储器612中。
存储器612存储各种数据，例如SI数据和EPG信息数据等。
SI解码器613从存储器612读取SI数据，然后分析并获得频道映射信息。EPG解码器614分析存储在存储器612中的EPG数据，并恢复形成EPG.所必需的信息。
ITF操作控制器615是控制频道改变或EPG显示的ITF操作的主控制器。
频道业务管理器616可根据用户输入执行诸如频道改变的操作。应用管理器617可根据用户输入执行诸如EPG显示的应用业务。
MPEG-2解复用器603从接收的IP数据报提取MPEG2 TS数据，并根据PID将提取的数据传输给对应模块。
MPEG2PSI/PSIP解析器604提取A/V数据的PID或包括节目元素的连接信息的PSI/PSIP数据，并解析提取的数据。
A/V解码器605将输入的音频和视频数据解码，并将解码的数据递送至显示模块606。显示模块606显示解码的A/V数据或应用。
到目前为止以发送装置100和接收装置300之间发送和接收的媒体文件包括MPEG2TS数据的情况为例描述了根据实施方式的发送和接收媒体数据的装置和方法。然而，本公开不限于此，而是可应用于除MPEG2 TS之外的各种传输流格式。
本发明还可实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是能够存储稍后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储。
计算机可读记录介质还可分布于联网的计算机系统上，以使得计算机可读代码以分布式方式存储和执行。另外，用于实现本发明的功能程序、代码和代码段可由本发明所属技术领域的程序员容易地解释。
尽管已参照其若干示意性实施例描述了实施方式，应该理解，本领域技术人员可想到许多其他将落入本公开的原理的精神和范围内的修改和实施方式。更具体地讲，可对本公开、附图和所附权利要求书的范围内的主题组合的组成部分和/或布置方式进行各种变化和修改。除了组成部分和/或布置方式方面的变化和修改之外，对于本领域技术人员而言，替代使用也将是明显的。

Claims (12)

1.一种发送包括MPEG2传输流中的媒体分量的媒体片段的方法，所述方法包括：
将所述媒体分量分割为所述媒体片段，其中，各个所述媒体片段包括第一呈现单元PU的第一呈现时间，其中，将所述第一PU的所述第一呈现时间映射至媒体呈现时间轴；以及
发送具有所述第一PU的所述第一呈现时间的各个所述媒体片段，
其中，基于所述第一PU的第一呈现时间戳PTS和第二PU的第二PTS之差来计算所述第一PU的所述第一呈现时间，并且
其中，通过呈现时间戳的时钟来衡量所述第一PTS和所述第二PTS之差。
2.根据权利要求1所述的方法，其中，通过所述媒体呈现时间轴的时钟来衡量所述第一PTS和所述第二PTS之差。
3.根据权利要求1所述的方法，其中，将所述第一呈现时间映射至媒体呈现时间轴以用于与程序中包括的其他媒体分量同步。
4.根据权利要求1所述的方法，其中，所述第一呈现时间是各个所述媒体片段中的最前面的PU的呈现时间。
5.根据权利要求1所述的方法，其中，通过在发生PTS不连续之后使用插值来获得所述第一呈现时间。
6.根据权利要求1所述的方法，其中，将所述第一PU的所述第一PTS调整为33比特。
7.一种发送包括MPEG2传输流中的媒体分量的媒体片段的装置，所述装置包括：
处理器，所述处理器将所述媒体分量分割为所述媒体片段，其中，各个所述媒体片段包括第一呈现单元PU的第一呈现时间，其中，将所述第一PU的所述第一呈现时间映射至媒体呈现时间轴；以及
发送器，所述发送器发送具有所述第一PU的所述第一呈现时间的各个所述媒体片段，
其中，基于所述第一PU的第一呈现时间戳PTS和第二PU的第二PTS之差来计算所述第一PU的所述第一呈现时间，并且
其中，通过呈现时间戳的时钟来衡量所述第一PTS和所述第二PTS之差。
8.根据权利要求7所述的装置，其中，通过所述媒体呈现时间轴的时钟来衡量所述第一PTS和所述第二PTS之差。
9.根据权利要求7所述的装置，其中，将所述第一呈现时间映射至媒体呈现时间轴以用于与程序中包括的其他媒体分量同步。
10.根据权利要求7所述的装置，其中，所述第一呈现时间是各个所述媒体片段中的最前面的PU的呈现时间。
11.根据权利要求7所述的装置，其中，通过在发生PTS不连续之后使用插值来获得所述第一呈现时间。
12.根据权利要求7所述的装置，其中，将所述第一PU的所述第一PTS调整为33比特。
CN201610186917.4A 2010-07-19 2011-07-19 收发媒体文件的方法以及使用该方法发送/接收的装置 Active CN105611320B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36574610P 2010-07-19 2010-07-19
US61/365,746 2010-07-19
US201161453948P 2011-03-17 2011-03-17
US61/453,948 2011-03-17
CN201180044822.4A CN103109540B (zh) 2010-07-19 2011-07-19 收发媒体文件的方法以及使用该方法发送/接收的装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180044822.4A Division CN103109540B (zh) 2010-07-19 2011-07-19 收发媒体文件的方法以及使用该方法发送/接收的装置

Publications (2)

Publication Number Publication Date
CN105611320A CN105611320A (zh) 2016-05-25
CN105611320B true CN105611320B (zh) 2018-10-19

Family

ID=45497289

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610186917.4A Active CN105611320B (zh) 2010-07-19 2011-07-19 收发媒体文件的方法以及使用该方法发送/接收的装置
CN201180044822.4A Active CN103109540B (zh) 2010-07-19 2011-07-19 收发媒体文件的方法以及使用该方法发送/接收的装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201180044822.4A Active CN103109540B (zh) 2010-07-19 2011-07-19 收发媒体文件的方法以及使用该方法发送/接收的装置

Country Status (5)

Country Link
US (4) US9131274B2 (zh)
EP (1) EP2597870B1 (zh)
KR (6) KR101476934B1 (zh)
CN (2) CN105611320B (zh)
WO (1) WO2012011724A2 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101476934B1 (ko) * 2010-07-19 2014-12-30 엘지전자 주식회사 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치
CN103141115B (zh) * 2010-10-05 2016-07-06 瑞典爱立信有限公司 用于媒体流传送的客户端、内容创建器实体及其方法
TW201246873A (en) * 2011-02-11 2012-11-16 Interdigital Patent Holdings Method and apparatus for updating metadata cross reference to related applications
WO2012125006A2 (ko) * 2011-03-16 2012-09-20 한국전자통신연구원 레프리젠테이션을 사용하는 스트리밍 콘텐츠 제공 장치 및 방법
RU2618373C2 (ru) * 2011-07-29 2017-05-03 Сони Корпорейшн Устройство и способ распределения потоковой передачи данных, устройство и способ приема потоковой передачи данных, система потоковой передачи данных, программа и носитель записи
US9590814B2 (en) * 2011-08-01 2017-03-07 Qualcomm Incorporated Method and apparatus for transport of dynamic adaptive streaming over HTTP (DASH) initialization segment description fragments as user service description fragments
US9286384B2 (en) 2011-09-21 2016-03-15 Sonos, Inc. Methods and systems to share media
WO2013089437A1 (ko) * 2011-12-12 2013-06-20 엘지전자 주식회사 미디어 컨텐트를 수신하는 장치 및 방법
US9425948B2 (en) * 2012-01-26 2016-08-23 Qualcomm Incorporated Techniques for synchronizing a clock of a wired connection when transmitted over a wireless channel
CN105393548A (zh) * 2013-04-16 2016-03-09 Lg电子株式会社 广播发射设备、广播接收设备、操作广播发射设备的方法和操作广播接收设备的方法
US9398351B2 (en) * 2013-06-24 2016-07-19 Samsung Electronics Co., Ltd. Method and apparatus for converting content in multimedia system
JP2015015706A (ja) * 2013-07-03 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
JP6498882B2 (ja) * 2013-07-22 2019-04-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 蓄積方法、再生方法、蓄積装置、および再生装置
JP6510205B2 (ja) * 2013-10-11 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置および受信装置
US9838729B2 (en) * 2013-11-06 2017-12-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Recovering channel bonded program streams
US20150201253A1 (en) * 2014-01-10 2015-07-16 Samsung Electronics Co., Ltd. Methods and apparatus for universal presentation timeline alignment
JP6309639B2 (ja) 2014-01-13 2018-04-11 エルジー エレクトロニクス インコーポレイティド １つ以上のネットワークを介して放送コンテンツを送信又は受信するための方法及び装置
CA2937293C (en) * 2014-01-31 2021-05-18 Sony Corporation Transmission device, transmitting method, reception device, and receiving method
CN106464677A (zh) * 2014-04-09 2017-02-22 Lg电子株式会社 发送/接收广播信号的方法和设备
CN104079957B (zh) * 2014-06-25 2017-09-01 广东欧珀移动通信有限公司 一种多媒体设备同步操作的方法及系统
US10645432B2 (en) 2015-01-07 2020-05-05 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving media information in communication system
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
CN106034262B (zh) * 2015-03-13 2021-01-22 中兴通讯股份有限公司 自适应流媒体处理方法及装置
CN107925784B (zh) * 2015-08-06 2021-07-09 麦克赛尔株式会社 广播接收装置、输出影像信息生成方法、广播接收方法和录像方法
CN106470291A (zh) * 2015-08-19 2017-03-01 飞思卡尔半导体公司 从音频/视频解码器中的时间同步中的中断中恢复
EP3968645A1 (en) * 2015-12-11 2022-03-16 InterDigital Madison Patent Holdings, SAS Scheduling multiple-layer video segments
US10098082B2 (en) * 2015-12-16 2018-10-09 Sonos, Inc. Synchronization of content between networked devices
TWI559753B (zh) * 2016-03-16 2016-11-21 晶睿通訊股份有限公司 傳輸隨選影音檔案的方法
CN105872484B (zh) * 2016-06-04 2017-07-21 武汉诚迈科技有限公司 一种监控录像异常的保护方法
US9967689B1 (en) 2016-09-29 2018-05-08 Sonos, Inc. Conditional content enhancement
KR102090070B1 (ko) * 2018-10-31 2020-03-17 카테노이드 주식회사 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682718A (zh) * 2007-04-04 2010-03-24 韩国电子通信研究院 基于iso基本媒体文件格式的mpeg-2传输流的存储/回放方法和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100482287B1 (ko) * 2002-10-26 2005-04-14 한국전자통신연구원 디지털 데이터 방송을 위한 동기화 스트림 데이터 삽입장치 및 그 방법
DE10355345A1 (de) * 2003-11-25 2005-06-23 Deutsche Thomson-Brandt Gmbh Verfahren und Vorrichtung zum Speichern oder Wiederfinden von definierten Positionen in einem Datenstrom
KR100646851B1 (ko) * 2004-11-03 2006-11-23 한국전자통신연구원 오디오/비디오 서비스와 데이터 서비스의 동기화를 위한지상파 디지털멀티미디어방송 송/수신 시스템
WO2006126852A1 (en) 2005-05-26 2006-11-30 Electronics And Telecommunications Research Institute Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting
KR20060131502A (ko) * 2005-06-16 2006-12-20 삼성전자주식회사 멀티미디어 데이터 서비스 방법 및 이를 위한 장치
KR100724867B1 (ko) * 2005-07-28 2007-06-04 삼성전자주식회사 디지털 멀티미디어 방송 시스템에서 멀티 채널 전송을 위한멀티 채널 생성 및 재생 방법
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
CN101188589B (zh) * 2006-11-15 2012-06-06 上海瑞高信息技术有限公司 广播数据在卫星同步分配网中的同步适配方法及装置
CN101282230B (zh) * 2007-04-05 2011-04-20 中兴通讯股份有限公司 广播数据全网同步的实现方法
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
KR101476934B1 (ko) 2010-07-19 2014-12-30 엘지전자 주식회사 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101682718A (zh) * 2007-04-04 2010-03-24 韩国电子通信研究院 基于iso基本媒体文件格式的mpeg-2传输流的存储/回放方法和设备

Also Published As

Publication number Publication date
CN103109540B (zh) 2016-04-27
KR20160150111A (ko) 2016-12-28
US9699521B2 (en) 2017-07-04
EP2597870B1 (en) 2019-05-22
US9131274B2 (en) 2015-09-08
CN103109540A (zh) 2013-05-15
US20170272840A1 (en) 2017-09-21
KR101651137B1 (ko) 2016-08-25
WO2012011724A2 (ko) 2012-01-26
US20130125187A1 (en) 2013-05-16
US20160073178A1 (en) 2016-03-10
KR20140093763A (ko) 2014-07-28
US20160029068A1 (en) 2016-01-28
KR101689616B1 (ko) 2016-12-26
KR20130050953A (ko) 2013-05-16
US9699522B2 (en) 2017-07-04
KR101727050B1 (ko) 2017-04-14
KR101759959B1 (ko) 2017-07-20
KR20170042811A (ko) 2017-04-19
WO2012011724A3 (ko) 2012-05-03
KR101476934B1 (ko) 2014-12-30
EP2597870A4 (en) 2014-01-22
KR20160099736A (ko) 2016-08-22
EP2597870A2 (en) 2013-05-29
CN105611320A (zh) 2016-05-25
US10129609B2 (en) 2018-11-13
KR20140008478A (ko) 2014-01-21

Similar Documents

Publication Publication Date Title
CN105611320B (zh) 收发媒体文件的方法以及使用该方法发送/接收的装置
CN103262556B (zh) 收发媒体内容的方法和利用该方法进行收发的装置
JP6177843B2 (ja) 部分化を利用した適応的なストリーミング方法及びその装置
US10009660B2 (en) Media content transceiving method and transceiving apparatus using same
JP5988378B6 (ja) データ提供方法及びその装置、並びにデータ受信方法及びその装置
KR101786050B1 (ko) 데이터 전송 방법 및 장치
JP2018182677A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
Veenhuizen et al. Frame accurate media synchronization of heterogeneous media sources in an HBB context

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant