CN102067551B - 媒体流处理 - Google Patents

媒体流处理 Download PDF

Info

Publication number
CN102067551B
CN102067551B CN200880129805.9A CN200880129805A CN102067551B CN 102067551 B CN102067551 B CN 102067551B CN 200880129805 A CN200880129805 A CN 200880129805A CN 102067551 B CN102067551 B CN 102067551B
Authority
CN
China
Prior art keywords
frame
media
timestamp
media frame
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200880129805.9A
Other languages
English (en)
Other versions
CN102067551A (zh
Inventor
克林顿·普里德尔
托比杰恩·埃纳尔松
马格纳斯·威斯特兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN102067551A publication Critical patent/CN102067551A/zh
Application granted granted Critical
Publication of CN102067551B publication Critical patent/CN102067551B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/28—Timers or timing mechanisms used in protocols

Abstract

通过提供具有对应的所分配的缺省时间戳(40)的多个媒体帧(22-26)，来产生媒体帧(12-16、22-26、32-36)的流(1)，所述缺省时间戳根据缺省呈现时间调度定义媒体帧(22-26)的媒体数据的呈现时间。对媒体帧(22-26)的至少一部分分配对应的替换时间戳(50)。这些替换时间戳(50)根据替换呈现时间调度定义媒体帧(22-26)的媒体数据的替换呈现时间。当在媒体帧(22-26)的帧分组(20)的中间位置调收流(1)时，可以利用替换时间戳(50)提供高效的媒体呈现，从而跳过帧分组(20)的某些媒体帧(22、24)。

Description

媒体流处理
技术领域
本发明总体涉及处理和产生包括具有所分配的时间戳的媒体帧在内的媒体流。 
背景技术
通过预测可以利用时间和空间冗余，从而使对视频以及其它类型的媒体和多媒体的紧凑表示成为可能。例如，像素预测是诸如H.261、H.263、MPEG-4以及H.264等视频编码标准的重要部分。在H.264中利用了三种像素预测方法，即帧内预测、帧间预测以及双向预测。帧内预测提供了由当前帧的先前解码像素对当前像素块进行空间预测。帧间预测利用先前解码的帧中相应但移位的像素块来给出当前像素块的时间预测。双向预测给出两个帧间预测的加权平均。因此，帧内预测帧不依赖于视频流中的任何先前帧，而帧间预测帧(包括那些双向预测的帧间预测帧)，利用来自视频流中的一个或多个其它参考帧的运动补偿。 
具有媒体播放器的用户终端仅仅能够在帧内预测帧处开始解码和呈现媒体数据。为了能够调收(tune-in)视频流而没有太长延时，通常周期性地发送帧内预测帧。然而，帧内预测帧与帧间预测帧相比，在比特的数量上通常更大，从而显著地增加了视频流中的开销。 
典型地，视频流的媒体帧及其携带帧的数据包在流中聚集在一起。例如，在系统前向纠错(FEC)的情况下，携带帧的数据包聚集至不同的FEC块中，并与修复信息一起发送。在解码顺序下，这样的FEC块应从帧内预测帧开始，从而差错不会在FEC块间传播。这也避免了较长的调收时间，即FEC调收应与帧内预测帧调收对齐。 
图1示意了这样的将帧16、22-26、32-34划分至FEC块10、20、30中。在图中，I222、I332分别表示FEC块20、30序号2和3的初始帧内预测帧。Pij 16、24、26、34表示FEC块10、20、30序号i的帧间预测帧 j。FEC块20的每个媒体帧22-26具有对应的时间戳40，定义了FEC块20中媒体的呈现或播放时间调度。 
目前，对于传统编码序列的平均调收时间是1.5×FEC块大小。首先，必须等待整个FEC块，以能够执行FEC解码。每个FEC块具有单个帧内预测帧，还需要平均等待额外的半个FEC块，以获得帧内预测帧。这是因为：在FEC块开始之后进行调收，由于帧间预测帧的时间预测属性，在后续FEC块的下一个帧内预测帧前，阻止解码器和媒体播放器开始解码和呈现媒体数据。 
在图1的上部分，用户终端在帧间预测帧P23和P24之间调收流1。这意味着用户终端将仅仅接收当前FEC块20的帧间预测帧P24至P27。因此，用户终端在可以发起媒体播放之前，必须等待接收到下一FEC块30的帧内预测帧I332，这在图1的下部分进行了示例说明。用户终端在可以对包执行解码之前，还需要等待整个FEC块。这是因为FEC块中稍后的数据包被用于修复较早的包，并且不希望在每次出现可修复的差错时暂停。该图通过指示调收以及指示在缓存整个FEC块后接着进行播放来对此进行表示。但是，因为用户终端没有正确接收到FEC块20的先前帧I2、P21至P23，因此将不能使用接收到的帧间预测帧P24至P27。 
现在利用当前实施的技术，可以对数据包进行交织。在该情况下，可以将FEC块10、20的初始帧内预测帧12、22放至FEC块10、20的末尾，这在图2中进行了示意。图2与图1相比，各个FEC块10、20、30内媒体帧的顺序12-16、22-26、32-36已进行了交换。 
在与图1中相同的发送顺序下的时间点调收，用户终端现在将接收到帧间预测帧P21至P23，以及当前FEC块20的帧内预测帧I2。因此，FEC块20的一部分是可解码的。 
然而，该交织将部分调收延时向序列中移动了一小段距离。因此，播放帧I2、P21、P22、P23，就好像调收位于FEC块20的起始。然而，因为没有接收到FEC块20的下四帧P24至P27，在本例中，将显示帧P23，直至可以播放来自下一FEC块30的第9帧I332。结果，将P23的媒体数据显示很长的一段时间，这变得在视觉上对用户没有吸引力。当调收FEC块的末尾时，该问题将进一步加剧，意味着连续呈现中的延时可以很大，直至FEC 块的长度。 
发明内容
本发明实施例克服了现有技术配置中的上述以及其它缺点。 
一般目的在于提供一种媒体帧的流，允许根据不同的呈现时间调度来对媒体帧进行替换处理。 
通过由所附专利权利要求所限定的实施例来满足该目的以及其它目的。 
简要地，实施例涉及产生包括多个媒体帧的流。这些媒体帧中的每一个具有对应的所分配的缺省时间戳。这些缺省时间戳根据缺省呈现时间调度，定义媒体帧的媒体数据的呈现时间。对流中多个媒体帧中的至少一部分分配至少一个对应的替换时间戳。这些替换时间戳根据至少一个替换呈现时间调度，定义媒体帧的媒体数据的替换呈现时间。 
当将流中的媒体数据组织成不同的帧分组时，尤其是在帧分组中以分层帧发送顺序来组织媒体帧时，使用替换时间戳尤其具有优势。当在该帧分组中的中间位置调收流时(即丢失帧分组的至少一个或多个媒体帧)，即使不在帧分组的开始调收，替换时间戳也可以用于实现高效的数据处理。在该情况下，针对所调收的帧分组接收到的媒体帧的替换时间戳用于确定这些媒体帧的媒体数据的替换呈现时间调度。因此，通过根据替换时间戳而不是传统的缺省时间戳来执行媒体呈现，可以使由于所丢失的分组的一个或多个媒体帧所导致的在媒体呈现中的任何间隙的影响降低，或甚至不存在。 
实施例还涉及用于产生和处理流的媒体帧的设备以及涉及这样的流。 
附图说明
通过结合附图参考下面的描述，可以最佳地理解本实施例及其目的以及优势，其中， 
图1示意性地示出了根据现有技术的媒体帧的流的发送和呈现。 
图2示意性地示出了采用交织媒体帧的媒体帧的流的发送和呈现。 
图3是示出了根据实施例的产生媒体帧的流的方法的流程图。 
图4示意性地示出了根据实施例的采用替换时间戳的媒体帧的流的发送和呈现。 
图5示意性地示出了根据另一实施例的采用替换时间戳的媒体帧的流的发送和呈现。 
图6是示出了根据实施例的用于产生媒体帧的流的设备的示意框图。 
图7是示出了根据实施例的处理媒体帧的流的方法的流程图。 
图8是示出了图7中的流处理方法的附加可选步骤的流程图。 
图9是示出了图7中的流处理方法的附加可选步骤的流程图。 
图10是示出了图7中的流处理方法的附加可选步骤的流程图。 
图11是示出了图7中的流处理方法的附加可选步骤的流程图。 
图12是根据本实施例的用于处理媒体帧的流的设备的示意框图；以及 
图13是可以在其中实现实施例的无线通信系统的一部分的示意概要图。 
具体实施方式
在附图中，对于相应的或相似的元素将采用相同的参考符号。 
实施例涉及包括携带媒体帧的数据包在内的媒体流的产生以及使用。如现有技术所知，该媒体帧或更准确地说携带媒体帧的媒体数据的数据包包含所分配的时间戳。在解码以及呈现或播放期间使用这些时间戳，以定义媒体的呈现或播放顺序和时间。在现有技术配置中，每个媒体帧具有单个时间戳，定义该媒体帧的媒体的呈现时间。 
本发明的实施例采取了截然不同的方法，对媒体流中的至少某些媒体帧分配替换时间戳。作为结果，这些媒体帧中的每一个具有多个所分配的时间戳，定义媒体帧中媒体的不同的呈现时间。因此，使用根据替换呈现时间调度定义呈现时间的至少一个替换时间戳，来补充根据缺省呈现时间调度定义呈现时间的传统的缺省时间戳。 
如以下所公开，诸如媒体播放器、转码器等媒体处理终端可以将媒体流的替换时间戳用于不同目的。 
媒体或多媒体数据指可以由内容提供商或服务器提供给媒体播放器 来呈现数据的任何数据。典型的优选示例包括视频数据和/或音频数据。媒体数据还可以是可伸缩视频数据以及可以被处理并呈现以形成不同场景的富媒体的形式，包括可伸缩矢量图(SVG)。 
根据本实施例的媒体流包括多个媒体帧，每个媒体帧包括媒体数据。从而，该媒体帧可以是携带视频数据的视频媒体帧。传统上将视频媒体帧分类为帧内预测帧(I帧)或帧间预测帧，包括预测帧(P帧)以及双向预测帧(B帧)。媒体帧还可以是携带音频数据的音频帧。在可伸缩视频数据的情况下，媒体帧可以与可伸缩视频数据的基本层相对应或携带适用于基本层的附加增强层的数据。传统上，富媒体包括场景或随机访问点，以及所谓的场景更新。因此，媒体帧还可以携带该场景数据或场景更新数据。 
图3是示出了根据实施例的产生媒体帧的流的方法的流程图。该方法从步骤S1开始，其中，提供多个媒体帧。在步骤S1中提供帧可以通过从先前已经录入了媒体数据的可访问媒体存储器取得帧的媒体数据来实现。可选地，从某些其它外部单元接收媒体帧，在该外部单元中，已经存储、记录或产生了媒体数据。另一种可能性是实际创建媒体数据，诸如记录视频序列或合成产生媒体数据。 
对在步骤S1中提供的媒体帧分别分配了根据缺省呈现时间调度定义媒体帧的媒体呈现时间的缺省时间戳。该缺省时间戳是分配给媒体帧的传统时间戳并在媒体处理(诸如对媒体进行解码或呈现)期间使用。通常，媒体帧具有由缺省时间戳规定的所定义的呈现顺序和时间。 
如现有技术所知，媒体帧的媒体数据可以装在一个数据包中，或按照发送顺序通常是连续的多个数据包中。在前一种情况下，在媒体帧和数据包之间具有一对一的关系，意味着可以将对媒体帧分配的缺省时间戳看作被分配给携带媒体帧的数据的数据包，或反之亦然。在后一种情况下，优选地，对携带媒体帧的数据的全部数据包分配该媒体帧的缺省时间戳。因此，优选地，与单个媒体帧相关联的全部这些数据包包含相同的缺省时间戳的通知。下面，将缺省或替换时间戳讨论为被分配给媒体帧。然而，如上所公开，这也涵盖对携带媒体帧的数据的数据包分配缺省和替换时间戳。 
在可选的但是优选实施例中，所提供的具有缺省时间戳的媒体帧被组织到多个帧分组之中。该帧分组包括流的多个媒体帧，优选地，由缺省时间戳定义的多个连续的媒体帧。与媒体流相关联的在现有技术中所使用的该帧分组的非限定性示例是所谓的前向纠错编码(FEC)块或组。在视频数据的情况下，该FEC块包括帧内预测帧，其后按照由缺省时间戳定义的呈现顺序跟着多个帧间预测帧。FEC是一种对数据发送进行差错控制的系统，借助该系统，在媒体数据中增加冗余，并且接收方可以利用冗余来纠正在数据发送和接收期间发生的差错。 
优选地，按照分层帧发送顺序来组织属于帧分组(诸如FEC块)的媒体帧。在该情况下，优选地，在发送顺序的末尾提供分层顶层帧，而在发送顺序的开始提供分层底层帧。该帧发送顺序与由所分配的时间戳定义的媒体帧的呈现顺序不同，并且通常并不相关。在图1所示的现有技术配置中，帧分组20的媒体帧22至26的发送顺序与帧呈现顺序相符。然而，在图2中，帧分组20的媒体帧22至26的发送顺序基本上与由分配给媒体帧22至26的缺省时间戳40定义的呈现顺序相反。通常，通过交织实现的该分层帧发送顺序是优选的，这是因为即使调收发生在FEC块20开始之后的某个位置，该分层帧发送顺序也允许调收媒体播放器解码和呈现媒体数据22-26的至少一部分。 
因此，优选的实施方案提供了帧分组中的媒体帧的分层帧发送顺序，其中，最重要的媒体帧在发送顺序的最后，最不重要的帧在发送顺序的开始。在视频媒体数据和使用FEC块作为帧分组的情况下，分层的顶层帧(即FEC块的最重要的帧)通常是帧内预测帧。相应地，分层的底层帧(即FEC块的最不重要的帧)通常是不作为媒体流中任何其它帧间预测帧的参考帧的任何帧间预测帧。因此，没有其它帧间预测帧是基于这些最不重要的媒体帧来进行预测的。作为结果，分层帧发送顺序优选地包括：帧内预测帧在末尾，前面是用作媒体流中至少一个其它帧间预测帧的参考帧的任何其它帧间预测帧，不作为媒体流中的任何其它帧间预测帧的参考帧的任何帧间预测帧在发送顺序的开始。 
在可伸缩视频媒体的情况下，分层顶层帧可以是携带基本层的媒体数据的媒体帧。分层上较不重要的帧可以是携带附加增强层的媒体帧。因此， 这些较不重要的媒体帧中的每一个提高了媒体流的帧率。 
上述给出的优选示例示出了通过将媒体帧的发送顺序与缺省呈现顺序基本反向的反向交织。然而实施例不局限于该反向交织，任何类型的发送顺序以及交织都可以使用。举例而言，如果在帧分组期间存在场景变化，在帧分组中可以提供一个以上帧内预测帧。在该情况下，对于帧分组，可以将多个帧内预测帧放置在发送顺序的末尾。可选地，在呈现顺序中，可以将帧内预测帧放置在场景之后。 
图1中的流产生方法的下一步骤S3对流中的至少一部分媒体帧的每个媒体帧分别确定替换时间戳。这些替换时间戳根据替换呈现时间调度定义媒体帧的媒体替换呈现时间。因此，至少一部分媒体流具有至少两组根据不同呈现时间调度的时间戳。 
在步骤S3的实施例中，将替换时间戳确定为相对于分配给媒体帧的缺省时间戳的对应的时间偏移。可选地，在步骤S3中，可以将替换时间戳确定为相对于另一媒体帧(尤其是同一帧分组中的另一媒体帧)的呈现时间的对应的时间偏移。图4示出了该概念。在图中，当前媒体分组20的每个媒体帧22至26包括根据缺省呈现时间调度定义帧分组中的媒体的呈现时间的对应的缺省时间戳40。媒体帧22至26也包括对应的时间戳50。这些替换时间戳50被定义为相对于根据分层帧发送顺序的帧分组20的第一媒体帧26的时间偏移。 
因此，分配给发送顺序中第一媒体帧26的替换时间戳具有偏移值零。在发送顺序中的下一媒体帧P26具有偏移值1，等等。如这里进一步描述的，这些偏移值可以用于提供高效的流调收，而不具有与现有技术相关联的缺点。 
有利地，可以基于媒体帧的帧发送顺序来定义在步骤S3中对媒体帧确定的替换时间戳。这在图4中作了进一步示出，其中，偏移的值(即替换时间戳50)取决于在FEC块20的发送顺序中媒体帧22至26的相对位置。在该示例性示例中，对于FEC块20中较晚发送的媒体帧，偏移值50增加，最小的偏移值50被分配给FEC块的发送顺序中的第一个媒体帧26。 
在前述中内容，对每个媒体帧分配了一替换时间戳。然而本实施例并不局限于此。截然相反，可以对媒体流中的至少一部分媒体帧分配多个替 换时间戳。这些多个替换时间戳根据不同的替换时间调度，定义媒体帧中媒体的不同的替换呈现时间。例如，在进行调收的情况下，为了减少如以下进一步所述的等待媒体呈现的起始的时段，每个媒体帧使用多个替换时间戳的这种实施例是有优势的。 
返回图3，一旦诸如根据任何先前公开的任一实施例确定了替换时间戳，就将替换时间戳分配给媒体流中的媒体帧。可以将替换时间戳分配给媒体流中的全部媒体帧，或仅仅其中的一部分，分配给帧分组中的全部媒体帧或仅仅其中的一部分。对同一帧分组的媒体帧分配的替换时间戳可以是不同的，或至少其中的一部分可以是相同的。 
方法以所产生的媒体流结束，在该媒体流中，每个媒体帧具有对应的缺省时间戳，并且媒体帧的至少某些具有至少一个对应的所分配的替换时间戳。 
图6是用于产生媒体帧的流的流产生设备100的示意框图。流产生设备100包括帧提供器120，被实现用于提供多个媒体帧，每个媒体帧具有对应的缺省时间戳。可以将帧提供器120连接至记录或产生媒体帧的媒体的内部或外部媒体引擎170。可选地，帧提供器120从流产生设备100的连接接收器110接收媒体帧(通常具有编码形式或作为未编码媒体数据)。然后接收器110通过有线或无线通信，从通信系统中的外部终端接收媒体数据。作为另一可选方案，帧提供器120可以从流产生设备100的连接帧存储器160取得媒体帧或将被组织成媒体帧的媒体数据。 
流产生设备100优选地包括可选时间戳确定器140，确定媒体帧的替换时间戳。如前所述，该时间戳确定器140可以将替换时间戳确定为相对于分配给媒体帧的缺省时间戳的对应的时间偏移，或相对于流中另一媒体帧的呈现时间的时间偏移。可选地，时间戳确定器140可以基于流产生设备100的发送器110向一个或多个用户终端发送媒体帧所用的相对帧发送顺序，确定替换时间戳。时间戳确定器140可以针对应该分配以替换时间戳的每个媒体帧确定一个或多个替换时间戳。 
时间戳分配器130将所确定的替换时间戳分配给由帧提供器120提供的媒体帧的至少一部分中的每个媒体帧。可以通过发送器110，将所形成的具有缺省时间戳和至少一个替换时间戳的媒体帧直接发送给一个或多 个外部单元，例如转码器、具有媒体播放器的用户终端等。可选地，可以将所形成的媒体帧录入帧存储器160，以稍后获取并发送至外部单元。 
可选帧组织器150在流产生设备100中实现，用于将所提供的以及所处理的媒体帧组织成帧分组，例如FEC块。优选地，帧组织器150以分层帧发送顺序来组织帧分组中的媒体帧，如前所述，分层的顶层帧在发送顺序的最后，分层的底层帧在发送顺序的开始。 
根据本实施例产生的媒体帧可以由发送器110以例如多播或广播发送来发送给一个或多个用户终端。可选地，流产生设备100仅仅产生媒体流的媒体帧，而将媒体帧转发给用户终端是由有线或无线通信系统的某些其它设备来实现的，流产生设备100可以在有线或无线通信系统中实现。 
可以硬件、软件或硬件与软件的结合提供流产生设备100的单元110至140。有利地，可以将流产生设备100布置在有线或优选地无线的基于射频的通信系统中。流产生设备100可以构成内容提供器或服务器的一部分，或可以与之连接。 
图7是示出了根据本实施例的处理媒体流的媒体帧的方法的流程图。在该实施例中，流包括多个帧分组(例如FEC块)，每个帧分组包括多个媒体帧。媒体帧具有对应的缺省时间戳，根据缺省呈现时间定义媒体帧的媒体数据的呈现时间。媒体帧的至少某些还包括至少一个替换时间戳，每一个替换时间戳都如前所述。 
参考图4和图7，方法起始于步骤S10中，该步骤涉及在帧分组20的中间点调收流1。在下一步骤S11中接收帧分组20的剩余帧I2、P21至P23。 
如果根据现有技术使用缺省时间戳40来对媒体帧进行解码和呈现，那么将会发生参考图2在背景技术中说明的问题。然而，在步骤S12中，使用接收到的媒体帧I2、P21至P23的替换时间戳50来确定替换呈现时间调度。因此，在该情况下，使用替换时间戳50，而不仅仅是缺省时间戳40，来确定在定义媒体帧的对应的呈现时间时所使用的呈现时间调度。 
在图4的示例中，替换时间戳50采用时间偏移的形式，较晚发送的帧分组20的媒体帧具有较大的偏移值。因此，对接收到的帧分组20的媒体帧I2、P21至P23分配了替换时间戳值7、6、5和4。在步骤S12中，识 别接收到的媒体帧I2、P21至P23的最小的替换时间戳值，即在本情况中是4。 
下一步骤S13根据在步骤S12中基于替换时间戳确定的替换时间调度，来呈现接收到的媒体帧I2、P21至P23。因此，在图4的示例中，呈现时间戳应该从时间戳序号5＝1+4开始。这导致与较早时间戳相对应的任何媒体被跳过。换言之，将图2的现有技术与图4的实施例相比，在相同的播放时间开始呈现媒体帧I2、P21至P23，但是使用的是不同的起始时间戳，根据本实施例是5，而根据现有技术是1。在该实施例中，该替换时间调度提供了根据第一帧分组20的时间戳5、6、7、8连续无中断地呈现媒体数据，接着平滑地继续呈现第二帧分组30的媒体帧32、34，而没有任何中断或者在播放中推迟显示。 
这意味着，图4中的实施例解决了如图2中一旦开始呈现就会使一个媒体帧P23推迟显示的问题。图4中的实施例向观看用户提供了一种在视觉上更加具有吸引力的解决方案：一旦媒体呈现开始，无需中断或不自然地推迟显示媒体数据。截然相反，呈现平滑地通过当前帧分组20的媒体帧I2、P21至P23，并进行至下一帧分组30的媒体帧I3、P31。 
图8是示出了图7中的处理方法的附加、可选步骤的流程图。方法从图7中的步骤S12继续。下一步骤S20从接收到的当前帧分组20的媒体帧I2、P21至P23中识别起始帧。在优选实施例中，帧分组20具有媒体帧22至26的分层组织，其中，从解码角度而言最重要的媒体帧在发送顺序中处于帧分组20的末尾。因此，通常将起始帧22识别为针对帧分组20接收到的最后一帧I2。一般地，起始帧22是媒体帧22，可以根据该帧开始解码而无需参考流1中的任何其它帧。因此起始帧22可以是视频流1的帧内预测帧或者是可伸缩视频流1中的基本层帧。可以基于包括在媒体帧22至26(例如媒体帧22至26的首部)中的信息或者由媒体帧22至26在帧分组20中的位置来识别起始帧22。 
方法继续值图7中的步骤13，在这一步，从起始帧开始呈现媒体帧，并根据替换呈现时间调度进行呈现。 
参考图4和9，方法从图7中的步骤S13继续至图9中的步骤S30。步骤S30接收随后的帧分组30的媒体帧I3、P31至P37。然而，在步骤S31 中，通常是根据缺省时间调度来执行这些媒体帧I3、P31至P37的呈现。因此，替换时间戳用于第一帧分组20的媒体帧I2、P21至P23，其中，调收在发送第一媒体帧P27之后发生。然而，对于随后的帧分组30，其全部媒体帧I3、P31至P37都被接收到并能进行解码和呈现，可以根据由缺省时间戳定义的缺省时间调度来进行呈现。可选地，基于第一帧分组20的替换时间戳确定并被应用于帧分组20的全部媒体帧I2、P21至P23的同一时间偏移也可以应用于随后的帧分组30的帧I3、P31至P37。因此，接着，基于缺省时间戳以及所确定的时间偏移，定义这些随后的帧分组30的呈现时间调度。 
优选地，对每个后续接收到的帧分组执行由步骤S30和S31定义的循环，通过线L1对此进行了说明。 
图10是示出了图7中的处理方法的附加、可选步骤的流程图。方法从图7中的步骤S11继续。在该实施例中，如结合图4所示意的，对于接收到的媒体帧中的至少一部分可用的替换时间戳具有时间偏移的形式。下一步骤S40识别针对当前帧分组接收到的媒体帧的时间偏移的最小偏移。接着，至少部分基于所识别的最小时间偏移，来确定帧分组的替换呈现时间调度。在典型实施中，所识别的时间偏移确定帧分组的起始帧的呈现起始时间。因此，所识别的时间偏移允许确定呈现起始帧的媒体数据的特定时间，例如，应由媒体播放器发起帧分组的I帧。 
确定替换呈现时间调度的特殊实施例既使用替换时间戳又使用缺省时间戳来定义替换呈现时间调度。举例并参考图4，接收到的当前帧分组20中的媒体帧I2、P21至P23的最小替换时间戳50是4。此时，可以将该值加至接收到的媒体帧I2、P21至P23的缺省时间戳40，以获得定义媒体帧I2、P21至P23的实际呈现时间的更新后的时间戳。因此，在该示例性示例中，起始帧22将得到时间戳1+4＝5，并且按照呈现顺序的其它随后的媒体帧P21至P23得到时间戳6至8。因此，以时间戳5开始这些媒体帧I2、P21至P23的呈现。 
图5示出了分配和使用替换时间戳的可选实施例。首先，该实施例示出了不是帧分组20中的所有媒体帧22至26都必须具有对应的替换时间戳。当使用替换时间戳以提供高效调收媒体流1时，在帧分组20的起始 后紧接着调收而没有任何分配的替换时间戳时发生的、将媒体帧中的一个的媒体数据显示几毫秒是可以接受的。因此，在帧分组20中用户终端调收的越晚，现有技术的问题变得越严重。这意味着，优选地，将任何替换时间戳分配给帧分组20的发送顺序中的至少最后几个媒体帧。然而，如果所有媒体帧或者至少帧分组中的大部分具有对应的所分配的或相关联的时间戳，最能高效利用与调收相关联的替换时间戳的良好效果。 
图5还示出了与图4中的实施例相比的另一差别。在图4中，帧分组20的每个媒体帧22至26具有唯一的替换时间戳50，该时间戳50是根据帧发送顺序基于帧分组20中的媒体帧22至26的相对位置定义的。实际上，媒体帧22至26不一定具有唯一的替换时间戳50。截然相反，帧分组20的媒体帧22至26的至少两个可以具有相同的所分配的替换时间戳50。 
在图5中，具有替换时间戳50的所有媒体帧I2、P21至P24具有相同的时间戳值。将图5中的情况与图4相比，在帧P24和P23之间调收媒体流1的用户终端将接收与图4中相同的媒体帧I2、P21至P23。然而，最小的替换时间戳(即在该示例中的偏移值)是3而不是4。因此，所计算的起始帧22的时间戳是1+3＝4，表示起始时间戳实际上比图4中小1。在图5中，由于分配相同的替换时间戳，因此在继续呈现来自下一帧分组30的媒体帧32、34的媒体数据之前，媒体帧P23中的一个的媒体数据实际上将被显示两个呈现时刻。因此，与图4相比，这提供的结果在某种程度上要差一些，但是与图2所示的相应的现有技术相比，依然取得了显著的改善。因此，本实施例仅仅对某些媒体帧分配替换时间戳，并且对多个媒体帧分配相同的替换时间戳，依然比现有技术有所改善。 
图11是示出了图7中的处理方法的替换、可选步骤的流程图。方法从图7的步骤S11继续。接着的附加步骤S50可应用于对媒体帧分配多个替换时间戳的情况。在该情况下，步骤S50针对每个接收到的具有多个所分配的替换时间戳的媒体帧，识别要使用的替换时间戳。此外，优选地，至少部分基于在帧分组中调收流的位置，执行步骤S50中的识别过程。因此，如果调收在帧分组中发生的很早，在步骤S50中，针对媒体帧，识别对应的第一个替换时间戳。然而，如果调收在帧分组中发生得较晚，那么优选地识别对应的第二个、不同的替换时间戳。这允许用户终端针对当前 情况识别最合适的替换时间戳的集合。作为结果，与第二用户终端在媒体流的帧分组中的第二位置调收相比，典型地，第一用户终端在同一帧分组中的第一位置调收将使用替换时间戳的另一集合。 
因此，优选地，用户终端使用包含在媒体帧中的信息(诸如媒体帧的缺省时间戳或者其它信息)来确定媒体帧在帧分组的发送顺序中的位置。例如，携带媒体帧的数据包可以包含首部信息，允许识别数据包的对应包数目。在步骤S50中，任何此类被包括的信息都可以用来确定在帧分组中的调收位置，以及识别正确的替换时间戳。 
方法继续至图7中的步骤S12，在这里使用所识别的替换时间戳来确定所接收的媒体数据的替换呈现调度。 
图12是用于处理媒体帧的设备200的实施例的示意图示。在图中，以具有媒体播放功能的用户终端的形式非限制地示出了设备200。该用户终端200可以例如是无线通信系统的便携式用户终端，诸如移动电话、个人数字助理、具有通信设备的膝上型电脑等。可以从本发明受益的用户终端的其它示例包括计算机、游戏控制台、TV解码器以及其它适于处理和呈现媒体数据的设备。此外，设备200不一定必须是媒体呈现设备。截然相反，设备200可以将这里所公开的替换时间戳用作其它处理目的。例如，适于接收经编码的媒体帧、对其进行解码、接着重新编码媒体帧的转码器可以使用替换时间戳。 
设备200包括接收器210，用于接收媒体流的媒体帧。在实施例中，设备200在媒体帧的帧分组的起始后的某处调收媒体流。因此，设备200不接收当前调收的帧分组的全部媒体帧。 
设备200的调度确定器220使用对于帧分组的所接收的媒体帧的至少某些可用的替换时间戳，来确定所接收的媒体的替换呈现时间调度。 
在第一实施方案中，调度确定器220从携带媒体帧的数据包中提取替换时间戳。这意味着，替换时间戳被包括在携带媒体帧的相同数据包之中。在另一实施方案中，替换时间戳是单独以信号发送的，即，不包括在携带媒体帧的数据包之中。例如，可以使用与涉及将媒体数据转发至设备200的媒体会话相关的控制信道，来单独发送替换时间戳。这可以通过将各替换时间戳与媒体帧或数据包的标识符或者可以应用替换时间戳的帧分组 中的帧位置的标识符相关联来实现。在这种情况下，设备200可以决定是否接收替换时间戳。这意味着，例如通过已经调收至流中而不需要使用替换时间戳的设备200可以不考虑接收到替换时间戳。因此，与将替换时间戳包含在所发送的媒体帧包的情况相比，所发送的媒体帧包的总尺寸在某种程度上可以被保持得更小。 
还有另外一种可能性是在接收到媒体帧之前使用已经在设备200处提供的替换时间戳。例如，可以在设备200的存储器260中对替换时间戳进行硬编码，或者例如在发起或建立媒体会话时接收替换时间戳。如果典型地就每个帧分组的媒体帧的数目而言帧分组具有定义好的大小，或者在帧分组中占据给定位置的媒体帧可以与在另一帧分组中占据同样位置的另一媒体帧使用同样的替换时间戳，该实施例是可行的。参考图4，其中非限制地示出帧分组20包括8个媒体帧22至26。在该情况下，按照发送顺序，每个帧分组20、30中的第一媒体帧26、36具有相同的替换时间戳，第二媒体帧具有相同的替换时间戳，以此类推。 
在该情况下，优选地，设备200包括时间戳识别器250，用于识别至少一个替换时间戳，以在确定所接收的数据的替换呈现时间调度时使用。优选地，时间戳识别器250识别调收流发生在帧分组中的位置。优选地，基于该所识别的位置，确定多个硬编码的替换时间戳或先前提供用以使用的替换时间戳。 
设备200典型地但如上所述并不是必须包括媒体播放器270，执行实际的媒体呈现或播放。媒体播放器270包括或访问解码器275，以根据已知技术来对媒体帧和媒体数据进行解码。经解码的媒体由媒体播放器270呈现，例如在包含在设备200中或与其连接的显示屏280上显示。可选地，或附加的，音频形式的媒体可以通过包含在设备200之中或与其连接的扬声器290来播放。 
可以在设备200中实现可选的帧识别器230，用于识别所调收的帧分组的呈现起始帧。通常，基于包括在所接收的数据包中的信息(例如缺省时间戳)或由数据包携带的标识媒体帧类型的信息(例如帧内预测帧或帧间预测帧)来识别该起始帧。媒体播放器270以包含在所识别的起始帧中的数据，开始媒体呈现，接着根据由调度确定器220所确定的替换呈现时 间调度继续媒体呈现。 
一旦呈现了当前帧分组的所有媒体数据，媒体播放器270就继续来自随后的帧分组的媒体数据。然而，在该情况下，包括在所接收的媒体帧中的缺省时间戳可以用于这些后续媒体帧，意味着媒体呈现根据缺省呈现时间调度继续进行。 
在将替换时间戳定义为相对于缺省时间戳的时间偏移的情况下，优选地，时间调度确定器220基于分配给媒体帧的缺省时间戳以及替换时间戳来确定替换呈现时间调度。 
优选地，由设备200的偏移识别器240来识别确定所接收的媒体的起始呈现时间所用的替换时间戳。优选地，针对当前帧分组，偏移识别器240识别出对正确接收并能够被设备200解码的媒体帧所分配的最小偏移时间。调度确定器220利用该识别的最小偏移值，可选地与缺省时间戳一起，来确定由媒体播放器270所使用的替换呈现时间调度。 
在所接收的媒体帧的至少某些具有多个所分配的替换时间戳的情况下，设备200也可以使用上述时间戳识别器250。然后，时间戳识别器250如前所述优选地基于设备200调收媒体流的位置，选择适用于当前情况的替换时间戳。 
可以硬件、软件或硬件与软件的结合提供设备200的单元210至250、270、275。 
以上主要结合使用替换时间戳来实现高效的调收以及媒体呈现而不长时间显示或播放同一媒体数据描述了实施例。然而，这并不是受益于替换时间戳的唯一有优势的帧处理。如上所述，当转码器设备没有正确接收到帧分组的全部媒体帧时，在媒体转码期间，可以使用替换时间戳。此外，转码器设备可以使用替换时间戳来确定媒体的替换呈现时间调度。 
在该情况下，转码器设备基本上可以以与这里如前所述的解码器一样的方式来使用替换时间戳。例如，转码器设备可以利用替换时间戳，根据帧分组中调收的发生，来选择呈现时间。相应地，转码器设备可以像编码器一样操作，例如，通过将帧分组中的媒体帧的顺序反向，使最重要的帧在帧分组的末尾。然后，转码器设备根据媒体帧在帧分组中的位置与帧分组的末尾之间的距离，对每个媒体帧分配替换时间戳，如时间戳偏移。 
使用替换时间戳的另一示例是当多种类型的媒体(例如，视频和音频媒体)一起处理时。在该情况下，与携带音频帧的数据包相比，可能在单独的媒体流中单独的数据包中发送视频帧。此外，视频帧通常具有缺省时间戳，与分配给音频帧的缺省时间戳是分开的。可以结合视频帧、音频帧或者视频帧和音频帧使用替换时间戳，根据其它类型媒体(例如音频)的已经接收到的媒体量来确定一种类型的媒体(例如视频)的媒体呈现时间调度，或反之亦然。例如，可以基于接收到的音频数据的量，通过分配给视频帧的替换时间戳，来确定视频数据的替换呈现时间调度。因此，如果设备接收了1秒的音频，并且按照解码顺序发送音频数据，那么设备确定，可以将视频推进对应于1秒的FEC块大小的时间戳偏移。接着，设备使用该偏移(即替换时间戳)来调整视频，从而认为存在1秒的视频。另一示例是，设备知道帧的时间戳与下一FEC块的(按显示顺序的)起始帧的时间戳之间的距离的情况。在该情况下，设备可以接收例如2秒的视频，并使用替换时间戳(如偏移)，使得这2秒的视频是当前FEC块的最后两秒，从而提供在FEC块边界上的平滑过渡。 
例如，还可以使用替换时间戳，来快进遍历流的媒体帧。例如，流的媒体数据的呈现可以发生在缺省时间调度期间，在缺省时间调度中，根据缺省时间戳适时呈现所有媒体帧。可选地，根据由替换时间戳定义的替换时间调度，来呈现流的媒体数据。在该情况下，如由替换时间戳所定义的，实际上会跳过某些媒体帧，从而在流中选定的媒体帧之间“跳跃”，并忽略由其它被跳过的媒体帧所携带的媒体数据。 
可以将使用这里所公开的时间戳的替换集理解为，能够根据不同的呈现时间调度，在多个时间点显示图像。当选择在快进时显示某个图像时，因此，可以选择有效时间跨度最大的媒体帧。 
使用替换时间戳的另一示例是在媒体流中实现高效的导航。通过对媒体帧给予替换时间戳，当导航至特定时间时，即使在快进期间，也不要求精确地在由时间戳所定义的这些时间获取媒体帧。例如，不显示时刻10、20、30等等，而是可以更容易地解码媒体帧9、19、29等等。 
图13是可以在其中实现实施例的无线通信系统500的一部分的示意概要图。通信系统500包括一个或多个网络节点或基站400，向连接的用 户终端200提供通信服务。具体地，基站400传送携带具有所分配的缺省时间戳和如上公开的替换时间戳的数据包。基站400包括或连接至包括上述以及在图6中所公开的流产生设备100在内的媒体服务器或提供器300。 
可以以单播发送来发送媒体流，但是如在图中示意性示出的，通常以多播或广播发送的形式来发送。 
本领域技术人员应当能够理解的是，可以在不背离由所附权利要求限定的范围的情况下对本发明做出多种修改以及改变。 

Claims (19)

1.一种产生媒体帧(12-16、22-26、32-36)的流(1)的方法，包括:
提供多个媒体帧(22-26)，所述多个媒体帧(22-26)中的每个媒体帧(22-26)具有所分配的缺省时间戳(40)，缺省时间戳根据缺省呈现时间调度定义所述媒体帧(22-26)的媒体的呈现时间;
对所述多个媒体帧(22-26)的至少一部分中的每个媒体帧(22，24)，分配替换时间戳(50)，所述替换时间戳根据替换呈现时间调度定义所述媒体帧(22-26)的所述媒体的替换呈现时间;以及
将所述多个媒体帧(22-26)组织成帧分组(20)，
其中，在一个帧分组中，分别对顺序发送的媒体帧分配时间戳值递减的缺省时间戳，而分别对所述顺序发送的媒体帧中的至少一部分媒体帧分配时间戳值递增或相等的替换时间戳。
2.根据权利要求1所述的方法，还包括:以分层帧发送顺序，将所述多个媒体帧(22-26)组织成帧分组(20)，使分层的顶层帧(22)位于所述分层帧发送顺序的末尾，以及分层的底层帧(26)位于所述分层帧发送顺序的开始，其中所述流(1)包括多个帧分组(10;20、30)。
3.根据权利要求2所述的方法，其中，所述组织步骤包括:以所述分层帧发送顺序，在所述帧分组(20)中组织所述多个媒体帧(22-26)，使帧内预测帧(22)位于所述分层帧发送顺序的末尾，之前是用作所述多个帧(22-26)的至少一个其它帧间预测帧的参考帧的所述多个媒体帧(22-26)的任何帧间预测帧(24)，并且不用作所述多个帧(22-26)的至少一个其它帧间预测帧的参考帧的所述多个媒体帧(22-26)的任何帧间预测帧(26)位于所述分层帧发送顺序的开始。
4.一种用于产生媒体帧(12-16、22-26、32-36)的流(1)的设备(100)，包括:
帧提供器(120)，用于提供多个媒体帧(22-26)，所述多个媒体帧(22-26)中的每个媒体帧(22-26)具有所分配的缺省时间戳(40)，所述缺省时间戳根据缺省呈现时间调度定义所述媒体帧(22-26)的媒体的呈现时间;
时间戳分配器(130)，用于对所述多个媒体帧(22-26)的至少一部分中的每个媒体帧(22、24)，分配替换时间戳(50)，所述替换时间戳根据替换呈现时间调度定义所述媒体帧(22、24)的所述媒体的替换呈现时间;以及
帧组织器(150)，用于将所述多个媒体帧组织成帧分组，
其中，在一个帧分组中，分别对顺序发送的媒体帧分配时间戳值递减的缺省时间戳，而分别对所述顺序发送的媒体帧中的至少一部分媒体帧分配时间戳值递增或相等的替换时间戳。
5.根据权利要求4所述的设备，还包括:帧组织器(150)，用于以分层帧发送顺序，将所述多个媒体帧(22-26)组织成帧分组(20)，使分层的顶帧层(22)位于所述分层帧发送顺序的末尾，以及分层的底层帧(26)位于所述分层帧发送顺序的开始，其中，所述流(1)包括多个帧分组(10、20、30)。
6.根据权利要求4或5所述的设备，还包括:时间戳确定器(140)，用于针对所述多个媒体帧(22-26)的所述至少一部分中的每个媒体帧(22、24)，将所述替换时间戳(50)确定为相对于分配给所述媒体帧(22、24)的所述缺省时间戳(40)的时间偏移。
7.根据权利要求4或5所述的设备，还包括:时间戳确定器(140)，用于针对所述多个媒体帧(22-26)的所述至少一部分中的每个媒体帧(22、24)，将所述替换时间戳(50)确定为相对于所述多个媒体帧(22-26)中的另一媒体帧(26)的呈现时间的时间偏移。
8.根据权利要求4或5所述的设备，还包括:时间戳确定器(140)，用于针对所述多个媒体帧(22-26)的所述至少一部分中的每个媒体帧(22、24)，根据与所述多个媒体帧(22-26)相关联的帧发送顺序，基于所述媒体帧(22、24)的相对发送时间，确定所述替换时间戳(50)。
9.根据权利要求6所述的设备，还包括:时间戳确定器(140)，用于针对所述多个媒体帧(22-26)的所述至少一部分中的每个媒体帧(22、24)，根据与所述多个媒体帧(22-26)相关联的帧发送顺序，基于所述媒体帧(22、24)的相对发送时间，确定所述替换时间戳(50)。
10.根据权利要求7所述的设备，还包括:时间戳确定器(140)，用于针对所述多个媒体帧(22-26)的所述至少一部分中的每个媒体帧(22、24)，根据与所述多个媒体帧(22-26)相关联的帧发送顺序，基于所述媒体帧(22、24)的相对发送时间，确定所述替换时间戳(50)。
11.一种处理多个帧分组(10、20、30)的流(1)的媒体帧(12-16、22-26、32-36)的方法，其中，所述帧分组(10、20、30)包括多个媒体帧(12-16、22-26、32-36)，每个媒体帧(22-26)具有缺省时间戳(40)，所述缺省时间戳根据缺省呈现时间调度定义帧分组(20)的所述多个媒体帧(22-26)的呈现时间，所述方法包括:
在所述多个帧分组(10、20、30)中的一个帧分组(20)的中间点调收所述流(1);
接收所述中间点之后的所述帧分组(20)的媒体帧(22、24);以及
基于对所述帧分组(20)可用的至少一个替换时间戳(50)，针对所述接收到的媒体帧(22、24)，确定替换呈现时间调度，
其中，在一个帧分组中，顺序发送的媒体帧分别被分配了时间戳值递减的缺省时间戳，而所述顺序发送的媒体帧中的至少一部分媒体帧分别被分配了时间戳值递增或相等的替换时间戳。
12.根据权利要求11所述的方法，还包括:
在所述接收到的媒体帧(22、24)中识别所述帧分组(20)的呈现起始帧(22);以及
根据所述替换呈现时间调度，从所述呈现起始帧(22)开始呈现所述接收到的媒体帧(22、24)。
13.根据权利要求12所述的方法，还包括:根据至少一个后续帧分组(30)的缺省呈现时间调度，呈现所述流(1)的所述至少一个后续帧分组(30)的多个媒体帧(32-36)。
14.一种用于处理多个帧分组(10、20、30)的流(1)的媒体帧(12-16、22-26、32-36)的设备(200)，所述帧分组(10、20、30)包括多个媒体帧(12-16、22-26、32-36)，每个媒体帧(22-26)具有缺省时间戳(40)，所述缺省时间戳根据缺省呈现时间调度定义帧分组(20)的所述多个媒体帧(22-26)的呈现时间，所述设备(200)包括:
接收器(210)，用于接收所述帧分组(20)的中间调收点之后的所述多个帧分组(10、20、30)的帧分组(20)的媒体帧(22、24);以及
时间调度确定器(220)，用于基于对所述帧分组(20)可用的至少一个替换时间戳(50)，针对所述接收到的媒体帧(22、24)，确定替换呈现时间调度，
其中，在一个帧分组中，顺序发送的媒体帧分别被分配了时间戳值递减的缺省时间戳，而所述顺序发送的媒体帧中的至少一部分媒体帧分别被分配了时间戳值递增或相等的替换时间戳。
15.根据权利要求14所述的设备，还包括:
帧识别器(230)，用于在所述接收到的媒体帧(22、24)中识别所述帧分组(20)的呈现起始帧(22);以及
媒体播放器(270)，用于根据所述替换呈现时间调度从所述呈现起始帧(22)开始呈现所述接收到的媒体帧(22、24)。
16.根据权利要求15所述的设备，其中，所述媒体播放器(270)被配置为:根据至少一个后续帧分组(30)的缺省呈现时间调度，呈现所述流(1)的所述至少一个后续帧分组(30)的多个媒体帧(32-36)。
17.根据权利要求14至16中任一项所述的设备，其中，所述调度确定器(220)被配置为:基于分配给所述接收到的媒体帧(22、24)的所述至少一个替换时间戳(50)以及所述缺省时间戳(40)，确定所述替换呈现时间调度。
18.根据权利要求14至16中任一项所述的设备，其中，所述替换时间戳(50)是时间偏移，并且所述帧分组(20)的所述多个帧(22、24)的至少一部分具有对应的所分配的时间偏移，所述设备(200)还包括:偏移识别器(240)，用于在所述接收到的媒体帧(22、24)中识别最小时间偏移;其中，所述调度确定器(220)被配置为:基于所述最小时间偏移，确定所述替换呈现时间调度。
19.根据权利要求17所述的设备，其中，所述替换时间戳(50)是时间偏移，并且所述帧分组(20)的所述多个帧(22、24)的至少一部分具有对应的所分配的时间偏移，所述设备(200)还包括:偏移识别器(240)，用于在所述接收到的媒体帧(22、24)中识别最小时间偏移;其中，所述调度确定器(220)被配置为:基于所述最小时间偏移，确定所述替换呈现时间调度。
CN200880129805.9A 2008-06-16 2008-11-27 媒体流处理 Expired - Fee Related CN102067551B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US6172508P 2008-06-16 2008-06-16
US61/061,725 2008-06-16
PCT/SE2008/051364 WO2009154529A1 (en) 2008-06-16 2008-11-27 Media stream processing

Publications (2)

Publication Number Publication Date
CN102067551A CN102067551A (zh) 2011-05-18
CN102067551B true CN102067551B (zh) 2014-04-16

Family

ID=41434282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880129805.9A Expired - Fee Related CN102067551B (zh) 2008-06-16 2008-11-27 媒体流处理

Country Status (7)

Country Link
US (1) US8831402B2 (zh)
EP (1) EP2291957B1 (zh)
JP (1) JP5524193B2 (zh)
CN (1) CN102067551B (zh)
CA (1) CA2728138A1 (zh)
TW (1) TW201002081A (zh)
WO (1) WO2009154529A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5492218B2 (ja) 2008-10-29 2014-05-14 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 隣接基地局間でのセルタイプ情報共有
US8311092B2 (en) * 2009-02-06 2012-11-13 Broadcom Corporation Network packet aware data encoding
EP3018881A1 (en) * 2010-02-19 2016-05-11 Telefonaktiebolaget LM Ericsson (publ) Method and arrangement for adaptation in http streaming
CN102256119B (zh) * 2010-05-20 2013-06-05 华为终端有限公司 视频录制的方法及装置
CN102547300B (zh) 2010-12-17 2015-01-21 华为技术有限公司 帧类型的检测方法和装置
CN103442216B (zh) * 2013-08-22 2016-09-07 中国电子科技集团第三十八研究所 监控视频时间的校准装置及其校准方法
EP3049916B1 (en) * 2013-09-24 2021-12-22 Telefonaktiebolaget LM Ericsson (publ) Simplified creation of an application in a selected stream processing platform
JP6101380B2 (ja) * 2016-02-17 2017-03-22 日本放送協会 パケット受信装置
US9940898B2 (en) * 2016-02-25 2018-04-10 Nvidia Corporation Variable refresh rate video capture and playback
CN108337532A (zh) * 2018-02-13 2018-07-27 腾讯科技（深圳）有限公司 演出片段的标注方法、视频播放方法、装置及系统
US11871082B2 (en) * 2019-12-30 2024-01-09 MyFitnessPal, Inc. Methods and apparatus for media playback based on cue points

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816492B1 (en) * 2000-07-31 2004-11-09 Cisco Technology, Inc. Resequencing packets at output ports without errors using packet timestamps and timestamp floors
EP1585334A1 (en) * 2004-04-02 2005-10-12 Samsung Electronics Co., Ltd. Method and client for playing a video stream.
CN101138245A (zh) * 2005-03-07 2008-03-05 艾利森电话股份有限公司 多媒体信道切换

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5535008A (en) 1993-03-16 1996-07-09 Victor Company Of Japan, Ltd. Method for jump-reproducing video data of moving picture coded with high efficiency
US6119213A (en) * 1995-06-07 2000-09-12 Discovision Associates Method for addressing data having variable data width using a fixed number of bits for address and width defining fields
WO1997013362A1 (en) * 1995-09-29 1997-04-10 Matsushita Electric Industrial Co., Ltd. Method and device for encoding seamless-connection of telecine-converted video data
US6871006B1 (en) * 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
DE60132624T2 (de) * 2000-10-24 2009-01-29 Aol Llc Verfahren zum verteilen von werbung unter verwendung einer eingebetteten medien-abspielerseite
CA2326368A1 (en) * 2000-11-20 2002-05-20 Adexact Corporation Method and system for targeted content delivery, presentation, management, and reporting
US6970640B2 (en) * 2001-05-14 2005-11-29 Microsoft Corporation Systems and methods for playing digital video in reverse and fast forward modes
JP2003264804A (ja) 2002-03-12 2003-09-19 Hitachi Ltd データ配信システム、データ配信装置、デジタル受信機、データ配信方法
US7155109B2 (en) * 2002-06-14 2006-12-26 Microsoft Corporation Programmable video recorder having flexible trick play
US7313313B2 (en) * 2002-07-25 2007-12-25 Microsoft Corporation Audio/video synchronization with no clean points
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
FR2859859A1 (fr) * 2003-09-16 2005-03-18 France Telecom Procede et module de reception de signaux de television
EP1712082A1 (en) * 2004-01-13 2006-10-18 Digital Media Solutions Pty Limited Method and system for still image channel generation, delivery and provision via a digital television broadcast system
US7539187B2 (en) * 2004-07-07 2009-05-26 Qvidium Technologies, Inc. System and method for low-latency content-sensitive forward error correction
US7751324B2 (en) 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
US20090222873A1 (en) * 2005-03-07 2009-09-03 Einarsson Torbjoern Multimedia Channel Switching
US7606234B2 (en) 2005-06-14 2009-10-20 Microsoft Corporation Multi-stream acknowledgement scheduling
ATE548854T1 (de) * 2005-08-15 2012-03-15 Nds Ltd Video-trickwiedergabesystem
US20070067480A1 (en) 2005-09-19 2007-03-22 Sharp Laboratories Of America, Inc. Adaptive media playout by server media processing for robust streaming
US7826536B2 (en) 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
JP5063944B2 (ja) 2006-07-07 2012-10-31 三菱電機株式会社 録画機能付デジタル放送受信機
WO2008031263A1 (en) 2006-09-07 2008-03-20 Thomson Licensing Method and apparatus for encoding groups of pictures of a video sequence, each of said groups including an intra encoded picture and more than two predicted encoded pictures
US9628746B2 (en) * 2007-08-22 2017-04-18 Time Warner Cable Enterprises Llc Apparatus and method for remote wireless control of digital video recorders and the like
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816492B1 (en) * 2000-07-31 2004-11-09 Cisco Technology, Inc. Resequencing packets at output ports without errors using packet timestamps and timestamp floors
EP1585334A1 (en) * 2004-04-02 2005-10-12 Samsung Electronics Co., Ltd. Method and client for playing a video stream.
CN101138245A (zh) * 2005-03-07 2008-03-05 艾利森电话股份有限公司 多媒体信道切换

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Nokia.《Reduction of Tune-In Delay in MBMS Streaming》.《3GPP TSG-SA4#33 Meeting,S4-040743，http://www.3gpp.org/ftp/tsg_SA/WG4_CODEC/TSGS4_33/Docs/》.2004,全文. *
第15页第4至7行
第18页第32行至第19页第12行，附图3A-3B,4A-4C,摘要.

Also Published As

Publication number Publication date
WO2009154529A1 (en) 2009-12-23
US20110103766A1 (en) 2011-05-05
CA2728138A1 (en) 2009-12-23
JP5524193B2 (ja) 2014-06-18
US8831402B2 (en) 2014-09-09
JP2011524682A (ja) 2011-09-01
EP2291957A4 (en) 2013-10-09
EP2291957B1 (en) 2014-07-02
CN102067551A (zh) 2011-05-18
TW201002081A (en) 2010-01-01
EP2291957A1 (en) 2011-03-09

Similar Documents

Publication Publication Date Title
CN102067551B (zh) 媒体流处理
CN100505823C (zh) 健壮模式交错播送存储内容
US6674477B1 (en) Method and apparatus for processing a data series including processing priority data
JP5788101B2 (ja) メディアデータのネットワークストリーミング
JP5866359B2 (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
CN1235406C (zh) 在数字视频解码器中提供无缝流交换的系统和数据格式
CN100531298C (zh) 用于执行画中画功能的多媒体信号匹配系统和方法
JP2017022715A (ja) コード化ビデオデータのネットワークストリーミング
CN1973545A (zh) 用于可缩放媒体编码和传输的多个互操作性点
JPH11225168A (ja) 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置
CN102217272A (zh) 产生数据流的编码器和方法
US20150095450A1 (en) Utilizing multiple switchable adaptation sets for streaming media data
CN106416268A (zh) 复用分层编码内容的方法和装置
CN100589545C (zh) 发送和接收运动图像数据的方法及其设备
KR20050052482A (ko) 화상 · 음성 송신장치 및 수신장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140416

Termination date: 20211127

CF01 Termination of patent right due to non-payment of annual fee