CN101310535B - 用于渐进式信道切换的方法和设备 - Google Patents

用于渐进式信道切换的方法和设备 Download PDF

Info

Publication number
CN101310535B
CN101310535B CN2006800429307A CN200680042930A CN101310535B CN 101310535 B CN101310535 B CN 101310535B CN 2006800429307 A CN2006800429307 A CN 2006800429307A CN 200680042930 A CN200680042930 A CN 200680042930A CN 101310535 B CN101310535 B CN 101310535B
Authority
CN
China
Prior art keywords
frame
refresh
sequence
data
refreshes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800429307A
Other languages
English (en)
Other versions
CN101310535A (zh
Inventor
维贾雅拉克希米·R·拉韦恩德拉恩
帕尼库马尔·巴米迪帕蒂
田涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101310535A publication Critical patent/CN101310535A/zh
Application granted granted Critical
Publication of CN101310535B publication Critical patent/CN101310535B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17336—Handling of requests in head-ends
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Abstract

本发明提供一种处理多媒体数据帧序列的方法。所述方法实现渐进式刷新图像数据。所述方法包括通过渐进式增加区域来动态选择所述序列的帧的部分进行刷新，并排除将未刷新的区域作为其它帧的潜在参考数据。

Description

用于渐进式信道切换的方法和设备
相关申请案的交叉参考
在35U.S.C.§119下主张优先权
本专利申请案主张基于2005年9月27日申请的题为“用于渐进式信道切换的方法和设备(A METHOD AND APPARATUS FOR PROGRESSIVE CHANNEL SWITCHING)”的第60/721,566号临时申请案的优先权，所述临时申请案转让给本受让人且明确地以引用方式并入本文中。
技术领域
本发明针对用于分配以实现数据流的随机存取的方式进行编码的数字数据的方法、设备和系统。
背景技术
数字视频和音频压缩技术已经迎来了数字多媒体销售急剧成长的时代。自从20世纪90年代早期开始，例如ITU-T的视频编码专家组(VCEG)和ISO/IEC的运动图片专家组等国际标准组织已经开发了多个国际视频记录标准。所开发的标准包括(例如)MPEG-1、MPEG-2、MPEG-4(统称为MPEG-x)、H.261、H.262、H.263和H.264(统称为H.26x)。
国际视频记录标准遵循所谓的基于块的混合视频编码方法。在所述基于块的混合视频编码方法中，像素用作图片或帧(正如其通常所称的或将在本申请案中所称的)的数字表示基础。一群组像素形成所谓的块。用于执行数字压缩操作的常见块大小称为宏块。宏块由16×16个像素组成。子宏块由包括(例如)16×8、8×16、8×8、8×4、4×8和4×4个像素的较小像素集合组成。也可对子宏块执行压缩操作，因此为了不混淆本发明的发明性方面，将把所述操作论述为对可包括所有块大小或块大小群组的帧部分进行操作。一群组宏块形成所谓的片。片可由具有(例如)行、列、正方形或矩形形式的邻近宏块组成。片还可由分离宏块或由分离且邻近宏块的组合组成。将多个片分组在一起，以在形成视频序列的帧序列的一个时间点处形成帧。
MPEG-x和H.26x标准描述了非常适合于使用固定或可变长度源编码技术来压缩和传递视频、音频和其它信息的数据处理和操作技术。明确地说，上文提及的标准和其它混合编码标准及技术将使用帧内编码技术(例如行程编码、霍夫曼编码等)和帧间编码技术(例如正向和反向预测编码、运动补偿等)来压缩视频信息。具体地说，在视频处理系统的情况下，混合视频处理系统的特征在于用帧内和/或帧间运动补偿编码对视频帧进行基于预测的压缩编码。
帧间编码技术利用视频序列中的各帧之间的时间相关性。通常用于此目的的时间预测减少了压缩位流中的随机接入点，因为除非当前帧所参考的帧已先行解码，否则不能完成当前时间预测帧的解码。因此，在解码器或用户应用端处，可能不会即时播放所接收的位流(在流媒体的情况下具有下载文件或串流位的形式)。而是，可仅在流/文件中的预定随机接入点(例如，帧内编码帧或IDR帧)处开始解码。在H.264中引进IDR或即时解码器刷新帧，且可将其用作随机接入点。对于任何上述帧间编码技术，在IDR帧之前(在时间上)的信息不可用作后续帧的参考。在视频流应用中，尤其是在多播情形中，从用户体验的观点考虑，即时(或尽快)解码的能力可能是优选的。
帧内编码技术所产生的压缩比帧间编码技术所产生的压缩少。因此，增加IDR和帧内编码帧的频率可在提供频繁的随机接入点的同时导致过高的位速率。需要一种改进的且位速率潜在更低的用以提供随机接入点的方法。
流视频系统通常可能需要在不同信道之间切换。通常应对花费在从旧信道切换到新信道的最大时间设定上限以改进用户体验。
传统上，在每个图片群组(GOP)的开始处引进内(I-)帧，以限制编码器与解码器之间的漂移。I-帧还可用于减轻由噪声信道所导致的误差传播，且其在高级视频编码(AVC)的构架中与即时解码刷新(IDR)的概念组合时尤其有效。
使用I-帧的方法可借用于信道切换。可在每个GOP的开始处放置IDR I-帧，这可去除新GOP中的视频内容对旧GOP中的内容的依赖。
然而，使用此方案存在若干缺点。
第一，I-帧大小庞大，这通常在每个GOP的开始处导致即时位速率的峰值。帧大小的峰值对平均值比随着巨大I-帧而增加，这可能需要较大的解码缓冲器和较严格的解码器定时，否则，数据突发可能阻塞解码器。此效应可使硬件解码器基于ARM或DSP的设计更加复杂且昂贵。
第二，在I-帧中的各宏块(MB)之间存在许多空间相依性。虽然AVC标准允许I-帧内部的空间预测，但所述预测限于近邻且仅具有因果方式。帧内编码MB的总数目至少是图片中的MB数目，因为所有所述MB在相同时间点上进行帧内更新。然而，如果选择在多个时间点上对图片的一部分进行帧内更新，那么可使用运动估计以减少可能需要的内MA的数目。
第三，初始I-帧中的某些帧内编码MB可能永远不会在随后图片中用作参考。举例来说，一个物体可在若干帧的周期中消失。如果所述物体移出图片或由其它物体覆盖，那么会发生这种情况。在此情况下，表示此物体的MB可能不需要进行帧内编码，因为随后帧不再包含此物体且不从其进行预测。另一实例是单帧相机闪光。由于相机闪光帧上的显著亮度变化，其MB通常对于将来帧(没有相机闪光)的预测来说是没有用的。类似地，相机闪光区域可以不进行帧内编码以改进编码效率。
发明内容
本发明揭示渐进式刷新多媒体数据帧的方法、设备和系统。举例来说，渐进式刷新可在所需的多媒体数据内容源从一个信道改变到另一信道时使用。此方案有效地降低帧大小的峰值对平均值比和需要进行帧内编码的MB的数目。
一个方面是一种处理多媒体数据帧序列的方法，所述方法包括：选择所述序列的第一帧的第一部分；通过对所述第一部分进行帧内编码来刷新所述第一部分；选择所述序列的第二帧的至少一个第二部分，其中所述至少一个第二部分覆盖所述第二帧的与第一部分处在同一位置的区域；通过对所述至少一个第二部分进行编码来刷新所述至少一个第二部分；动态选择第二帧的至少一个第三部分；通过对所述至少一个第三部分进行编码来刷新所述至少一个第三部分，其中所述至少一个第二部分和所述至少一个第三部分视情况用作后续帧的参考数据。
另一方面是一种经配置以处理多媒体数据帧序列的设备，所述设备包括：用于选择所述序列的第一帧的第一部分的装置；用于通过对所述第一部分进行帧内编码来刷新所述第一部分的装置；用于选择所述序列的第二帧的至少一个第二部分的装置，其中所述至少一个第二部分覆盖所述第二帧的与所述第一部分处在同一位置的区域；用于通过对所述至少一个第二部分进行编码来刷新所述至少一个第二部分的装置；用于动态选择所述第二帧的至少一个第三部分的装置；用于通过对所述至少一个第三部分进行编码来刷新所述至少一个第三部分的装置，其中所述至少一个第二部分和所述至少一个第三部分视情况用作后续帧的参考数据。
另一方面是一种经配置以处理多媒体数据帧序列的电子装置，所述装置包括：第一选择模块，其经配置以选择所述序列的第一帧的第一部分；第一编码模块，其经配置以通过对所述第一部分进行帧内编码来刷新所述第一部分；第二选择模块，其经配置以选择所述序列的第二帧的至少一个第二部分，其中所述至少一个第二部分覆盖所述第二帧的与所述第一部分处在同一位置的区域；第二编码模块，其经配置以通过对所述至少一个第二部分进行编码来刷新所述至少一个第二部分；第三选择模块，其经配置以动态选择所述第二帧的至少一个第三部分；第三编码模块，其经配置以通过对所述至少一个第三部分进行编码来刷新所述至少一个第三部分，其中所述至少一个第二部分和所述至少一个第三部分视情况用作后续帧的参考数据。
另一方面是一种具有指令的机器可读媒体，所述指令用于致使机器执行处理多媒体数据帧序列的方法，所述方法包括：选择所述序列的第一帧的第一部分；通过对所述第一部分进行帧内编码来刷新所述第一部分；选择所述序列的第二帧的至少一个第二部分，其中所述至少一个第二部分覆盖所述第二帧的与第一部分处在同一位置的区域；通过对所述至少一个第二部分进行编码来刷新所述至少一个第二部分；动态选择所述第二帧的至少一个第三部分；通过对所述至少一个第三部分进行编码来刷新所述至少一个第三部分，其中所述至少一个第二部分和所述至少一个第三部分视情况用作后续帧的参考数据。
附图说明
图1是用于编码和解码多媒体数据的通用通信系统的方框图；
图2是编码装置的方框图；
图3A描绘基于帧的位流的顺序存取；
图3B描绘基于帧的位流的随机存取；
图4说明获取帧序列的实例；
图5说明获取帧序列的另一实例；
图6描绘其中刷新多媒体数据帧的帧序列；
图7描绘其中动态刷新多媒体数据帧的帧序列；
图8描绘具有B个帧的帧序列，其中刷新多媒体数据帧；和
图9是说明在帧序列上刷新多媒体数据帧的实例的流程图。
具体实施方式
本文描述用于对数字数据帧序列进行编码以便使得接收装置的用户能够更加有效地存取视频流的方法、设备和系统。所述方法、设备和系统提供帧内编码接入点方法的低位速率替代方案。已经省略了某些细节，以便不混淆本发明的发明性方面。本申请案中未描述的具体细节属于所属领域的技术人员的知识范围内。
图1是用于编码和解码流图片的通用通信系统的方框图。系统100包括编码器装置105和解码器装置110。编码器装置105进一步包括帧内编码组件115、预测编码组件120、获取序列组件125、存储器组件130和通信组件175。编码器装置105能够使用通信组件175中所含有的通信逻辑从外部来源135处接收数据。外部来源135可以是(例如)外部存储器、因特网、现场视频和/或音频馈入，且接收所述数据可包括有线和/或无线通信。外部来源135中所含有的数据可处于原始(未编码)或编码状态。帧内编码组件115用于对帧(片、宏块和子宏块)的帧内编码部分进行编码。预测编码组件120用于对帧的预测部分进行编码，其中包括正向预测、反向预测和双向预测。除含有用于编码预测帧的逻辑之外，预测编码组件120还含有用于选择预测部分的参考帧的逻辑。
编码器装置105可存取原始或已编码数据以进行编码。可存取已编码数据，以便用帧间编码部分替换帧内编码部分，且反之亦然，从而将已编码帧序列转换为获取序列，所述获取序列以渐进方式刷新整个多媒体数据帧。在存取已编码数据(帧内编码或帧间编码数据)时，帧内编码组件115和预测编码组件120中所含有的逻辑对所述已编码数据进行解码，从而产生经重构的原始数据。接着可以一种包括获取序列的方式对此重构的原始数据或已存取的原始数据进行编码。获取序列组件125含有用于确定获取序列中的每一获取帧的哪些部分应由帧内编码组件115进行帧内编码且所述获取序列中的每一获取帧的哪些部分应由预测编码组件120进行帧间编码的逻辑。获取序列组件125还含有限制所述获取序列中的哪些帧可由其它帧的帧间编码部分参考的逻辑。在编码之后，将已编码帧存储在存储器组件130或外部存储器中。外部存储器可与外部来源135或独立存储器组件(未图示)相同。通信组件175含有用于联合网络140进行传输(Tx)的逻辑。网络140可以是例如电话、电缆和光纤等有线系统或无线系统的一部分。在无线通信系统的情况下，网络140可包含(例如)码分多址(CDMA或CDMA2000)通信系统的一部分，或者所述系统可以是频分多址(FDMA)系统、正交频分多址(OFDMA)系统、例如用于服务行业的GSM/GPRS(通用分组无线电业务)/EDGE(增强型数据GSM环境)或TETRA(陆地集群无线电)移动电话技术等时分多址(TDMA)系统、宽带码分多址(WCDMA)、高数据速率(1xEV-DO或1xEV-DO金牌多播)系统，或大体上任何采用技术组合的无线通信系统。经由网络140传输(Tx)所述已编码帧。下文更充分地描述通过编码器装置105的组件所执行的编码过程。
解码器装置110含有与编码器装置105类似的组件，其中包括帧内解码组件145、预测解码组件150、获取序列组件155、存储器组件160和通信组件180。不具有获取序列组件的解码器装置可通过以正常方式解码来继续进行，其中获取被解码器遗忘且仍然被提供随机接入点。获取序列组件155可允许解码器定位获取序列且仅对适合于获取的那些部分进行解码，从而改进解码过程的效率。解码器装置110接收已经经由网络140或从外部存储装置165传输的已编码数据。通信组件180含有用于联合网络140接收(Rx)已编码数据的逻辑，以及用于从外部存储装置165接收已编码数据的逻辑。外部存储装置165可以是(例如)外部RAM或ROM或者远程服务器。帧内解码组件145用于解码帧内编码数据。预测解码组件150用于解码帧间编码数据。获取序列组件155含有用于实现含有获取序列的位流的初始获取以便在用户进行信道切换之后或在初次获取了信号时刷新到新信道的逻辑。然而，如上所述，缺少获取序列组件155的标准解码器装置还可在没有首先识别获取序列的情况下对其进行解码。正是通过其独立于先前数据的性质，获取序列可在接收时被解码。获取序列含有许多获取帧。首先所述获取序列被识别，且接着所述获取帧的那些帧内编码部分由帧内解码组件145解码。所述获取帧的参考所述经解码的帧内编码部分的任何后续帧间编码部分由预测解码组件150解码。在所述获取序列中所含有的所有获取帧的所有帧内编码部分和后续帧间编码部分均被解码之后，结果是由相组合的帧内编码和帧间编码部分组成的经完全刷新的可视帧。在解码之后，经解码帧可在显示组件170上显示或存储在内部存储器160或外部存储装置165中。显示组件170可以是解码装置的集成部分(例如电话或PDA(个人数字助理)上的显示屏)或外部外围装置。下文更充分地描述通过解码器装置110所执行的解码过程。
如图1的帧内编码块115和帧内解码块145中所使用的帧内编码是一种基于图片的当前部分而不参考其它图片的数字压缩方法。帧内编码首先可使用空间预测，其中像素值可根据其相邻像素值进行预测。目前，只有H.264支持空间预测。H.264支持两种亮度值空间预测模式，即16×16宏块空间预测和4×4子宏块空间预测。H.264提供一种色度预测模式，即8×8。在8×8模式中，以类似于16×16亮度宏块的方式预测8×8色度块。在空间预测之后，使用(例如)离散余弦变换(DCT)或在H.264的情况下使用整数变换来变换剩余信息，且接着对其进行量化。帧内编码可在片等级上进行，其中片可由一群组宏块(16×16个像素宏块)组成。帧内编码片或I-片仅含有帧内编码宏块且不使用时间预测。整个帧可以是帧内编码的(称为I-帧)，且可用作随机接入点。I-帧(或I-片)含有用以显示压缩数据所表示的图片的所有适当信息，这不同于下文论述的帧间编码或预测帧。为此，I-帧在随机存取情形下可用于初始帧。然而，I-帧可能不会提供与帧间编码或预测帧一样多的压缩。
DCT仅仅是可使用的一种类型的可逆二维变换。其它可能变换包括(例如)离散子波变换(DWT)、如H.264中的整数变换或哈达玛(Hadamard)变换。可针对每个宏块改变变换系数的量化。在量化之后，使用例如霍夫曼(Huffman)编码、可变长度编码或二进制算术编码等熵编码以便进一步进行数字压缩。熵编码可用较短编码替换最常发生的位串，且可用较长编码替换最少发生的位串。熵编码可以是内容适应性的，以便利用正被编码的数据中出现的图案。内容适应性编码可在片等级或例如宏块等级或子宏块等级的较低等级上操作。
帧间编码或(如还已知的)预测编码具有时间预测的形式，时间预测可利用使用(例如)运动估计的时间点之间的相似性，以允许比帧内编码更大的数字压缩。帧间编码由图1中的预测编码块120和预测解码块150执行。帧间编码可通过搜寻另一时间点处的参考图片以查找相似块来在宏块等级或更低等级上查看每一图片。如果发现匹配，那么代替存储整个块的所有DCT系数值，系统存储小得多的运动向量和剩余误差。运动向量描述时间图片之间的块移动(或移动缺乏)，且剩余误差分量校正参考点之间的差异。以此方式，实现有效的压缩。
帧间编码包括(例如)根据一个或一个以上参考帧的正向预测、反向预测和双向预测。在正向预测中，参考帧中的匹配宏块(基于成本函数分析)用作对后续帧中的宏块的预测。在反向预测中，参考帧中的匹配宏块(基于成本函数分析)用作对先前帧中的宏块的预测。在双向预测中，正被帧间编码的当前帧位于先前参考帧与后续参考帧之间。将来自先前和后续参考帧的匹配宏块进行组合(使用(例如)简单平均或加权平均进行组合)以形成对当前帧中的宏块的预测。根据任何数目的参考帧的正向预测、反向预测和双向预测在本文中统称为“帧间编码”技术。
图2是通用通信系统的经配置以编码流图片的编码器的方框图。所述编码器可具有与图1的编码器105相似的功能性，且包括用于选择第一部分的模块230，其经配置以选择刷新序列的第一帧的第一部分。所述编码器还包括用于刷新第一部分的模块240，其经配置以对第一部分进行帧内解码以便刷新第一部分。编码器进一步包括用于选择第二部分的模块250，其经配置以选择所述刷新序列的第二帧的第二部分，使得所述第二部分至少覆盖第二帧的与第一部分处在同一位置的区域。编码器还包括用于刷新第二部分的模块260，其经配置以对第二部分进行编码。编码器进一步包括用于动态选择第三部分的模块270和用于刷新第三部分的模块280，其经配置以对第三部分进行编码。
随机存取是指在任何时间点处存取数据的能力。不同于随机存取，顺序存取可能需要解码所有居间点。图3A描绘基于帧的位流的顺序存取。依序对帧20、22、24和26进行解码。如果从帧20正向预测帧22、从帧22正向预测帧24且从帧24正向预测帧26，那么将是这样的情况。图3B描绘基于帧的位流的随机存取。在不对帧20、22或24进行解码的情况下立即解码帧26。如果(例如)帧26是完全帧内编码的帧，那么可对其进行解码。
视频获取具有随机存取的形式，随机存取可涉及其它约束，例如较低OSI(开放系统互连)层处的系统获取。视频获取是指当应用层(其中可驻留视频解码器)能够开始视频显示的状态。在混合编码视频位流的情况下，由于帧间编码的缘故，可能对所有帧均不能完成随机存取或视频获取。解码器可在位流中来回移动以定位随机接入点。对整个帧进行帧内编码是一种提供随机接入点的方法。然而，某些功率受限装置、处理器受限装置或数据速率受限信道可能不能够适应整个数据帧的频繁帧内编码。
获取序列提供对整个视频帧进行帧内编码的替代方案以提供随机接入点。图4是获取序列的实例的说明。获取序列30含有包括帧内编码部分的N个获取帧32(标记为“Acq1”到“Acq N”的帧)。在所述位流中在获取序列外部还展示了非获取帧34(未标记帧)。帧内编码部分可具有任何形状或大小，例如像素、块、子宏块、宏块或片。每一获取帧32还含有由不是帧内编码的剩余块组成的帧间编码部分。非获取帧34还可含有帧内编码部分和帧间编码部分。
图5是获取序列的另一实例的说明。此实例包括散布在获取序列40中的N个获取帧32(标记为“Acq 1”到“Acq N”)之间的非获取帧34。在获取帧之间散布非获取帧增加了视频获取中的延迟，但当较低层不提供相应粒度上的随机存取时，其可提供较好的压缩效率或降低的位速率。获取帧32含有帧内编码部分和帧间编码部分。散布在获取帧32之间的非获取帧34可以遵循或不必遵循如下所述的对帧间编码的限制，这取决于在获取期间获取装置是否解码非获取帧。下文论述的对帧间编码的限制允许获取装置实现正确获取，同时帧间预测部分不会由于对未解码部分的依赖而被破坏。
为了使解码器能建立视频获取，解码器对获取序列中的所述N个获取帧的帧内编码部分进行解码。同样可对其它帧(获取或非获取帧)中所含有的参考获取序列中的先前解码部分(帧间编码或帧内编码部分)的帧间编码部分(正向、反向或双向)进行解码。通过定位帧内编码部分(如下文展现)，可通过组合N个获取帧的帧内编码部分来形成帧内编码复合物。在解码获取序列中的N个获取帧并形成经组合的帧内编码复合物之后，完成视频获取。
一些实施方案利用在数据流中以某些时间间隔定位的获取序列。包括具有规则间隔的时间周期(例如，每隔一或两秒)的获取序列可允许试图随机存取的接收装置容易搜寻少量位流数据以快速定位获取序列并获得视频获取，进而改进用户体验。通常，多个I帧将包括在位流中以允许频繁的随机存取，但代价是压缩较少且数据速率较高或针对相同数据速率来说质量较差。因此，通过所描述的方法，可减少获取位流时的延迟(例如在改变信道时)，同时提供比仅有I帧更低的数据速率。所述方法还可用于产生位于超帧(其是一群组帧)的开始处的帧。在一些实施方案中，超帧包含1秒值的帧。
图6描绘其中通过(例如)图1的获取序列组件125或图2的选择模块225以渐进方式产生经完全刷新的可视帧的帧序列。在此实例中，获取序列包含三个获取帧501到503。获取帧501包含第一刷新部分511，其受限于进行刷新，所述刷新可通过帧内编码完成。在此实例中，第一刷新部分511是不连续的，且处于获取帧501的中心部分中。在一些实例中，第一刷新部分511可以是连续的、非矩形的且/或不处于获取帧的中心部分中。获取帧501的不包括在第一刷新部分511中的部分不受限制，且因此可通过帧内编码或帧间编码加以编码，且可被刷新或不被刷新。举例来说，如果获取帧501的不包括在第一刷新部分511中的部分将参考先前帧的未刷新数据来进行帧间编码，那么同样将不刷新所述部分。
获取帧502包含第二刷新部分512，其覆盖并延伸超过第一刷新部分511的处在同一位置的区域。虽然图6中展示有某些几何特征，但第二刷新部分512不限于所展示的特征。举例来说，第二刷新部分512可具有不规则形状，可以是不连续的，且/或可环绕或部分环绕一个或一个以上不包括在第二刷新部分512中的部分。第二刷新部分512可通过帧内编码或帧间编码加以编码，且受限于进行刷新。因此，刷新部分512是帧内编码或从第一获取帧501的第一刷新部分511预测的。然而，获取帧502的不包括在第二刷新部分512中的部分不受限制，且因此可通过帧内编码或帧间编码加以编码，且可被刷新或不被刷新。
获取帧503包含第三刷新部分513，其覆盖且延伸超过第二刷新部分512的处在同一位置的区域。如图6中所展示，第三刷新部分513大致上完全覆盖获取帧503。第三刷新部分513可通过帧内编码或帧间编码加以编码，且受限于进行刷新。因此，如果对第三刷新部分513的任何部分进行帧间编码，那么其将先前获取帧的已刷新部分(例如第一刷新部分511或第二刷新部分512)用作帧间编码的参考。在此实例中，获取序列包含三个帧。在其它实例中，图1的获取序列组件125或图2的选择模块225可在刷新序列中包括更多或更少的帧。
应了解，对于特定编码标准，可限制对超过获取序列的某些帧的编码。举例来说，在H.264中，通过编码器将5个参考帧进行比较以选择参考数据。接着，在H.264标准下，如果刷新序列在少于5个帧中完成，那么将限制接下来的后续帧参考位于第一获取帧501之前的帧。举例来说，如果刷新在3个获取帧501、502和503中完成，那么可排除将位于获取帧501之前的帧视为用于跟随获取帧501、502和503之后的所述3个帧的参考数据。
应注意，在上述实例中，第一、第二和第三刷新部分511、512和513满足对锚定帧(P-帧或I-帧)的最小区域要求。在一些实例中，在这些锚定帧之间可存在其它类型的帧(例如B-帧)。景象改变可在刷新周期期间发生，且景象改变帧可被编码为I-帧。为了改进编码效率，除最后帧以外的所有景象改变帧均可免除具有刷新部分。
刷新部分的粒度可大于单个像素。在一些实例中，将粒度选择为最小编码单元是足够精确的，因为最流行的视频标准采用基于块的运动估计和变换。在块等级而不是像素等级上运行算法可以最小性能损失明显减少计算负荷。AVC中的块大小为4×4，如果在AVC中实施渐进式刷新算法，那么其是自然选择。
图7描绘其中(例如)通过图1的获取序列组件125或图2的选择模块225以渐进方式产生经完全刷新的可视帧的帧序列。在此实例中，获取序列包含3个获取帧601到603。获取帧601包含刷新部分611，其受限于被刷新，所述刷新可通过帧内编码来完成。获取帧601的不包括在刷新部分611中的部分不受限制，且因此可通过帧内编码或帧间编码加以编码，且可被刷新或不被刷新。举例来说，刷新部分621不包括在刷新部分611中，但仍被帧内编码，且因此被刷新。在编码获取帧601之后，保留对获取帧601的刷新部分的记录。
类似地，获取帧602包含刷新部分612，其覆盖并延伸超出刷新部分611的处在同一位置的区域。刷新部分612可通过帧内编码或帧间编码加以编码，且受限于被刷新。刷新部分622是根据速率失真(R-D)算法来动态选择的，所述算法用与可用数据带宽和数据质量相关的优化函数来确定优选的编码方法(例如，帧内编码)。因此，可通过帧内编码或通过帧间编码基于另一刷新部分(例如刷新部分611)的参考数据对刷新部分612进行编码。在此方面中，可对R-D算法进行修改，以便仅将刷新序列的获取帧的数据视为潜在的参考数据，且因此将位于刷新序列之前的数据的帧排除在外。在编码获取帧602之后，可保留对获取帧602的已刷新部分的记录。
获取帧603包含刷新部分613，其覆盖并延伸超出刷新部分612的处在同一位置的区域。如图7中所展示，刷新部分613大致上完全覆盖获取帧603。刷新部分613可通过帧内编码或帧间编码加以编码，且受限于进行刷新。因此，如果刷新部分613被帧间编码，那么算法视情况将先前获取帧的已刷新部分(例如刷新部分611或刷新部分612)用作帧间编码的参考。
在此实例中，刷新序列包含3个帧。可基于R-D算法向后查看作为参考数据的帧数目来确定刷新序列中有多少获取帧。在一些实施方案中，图1的获取序列组件125或图2的选择模块225可在刷新序列中包含更多或更少的帧。举例来说，刷新序列可在第二与第三获取帧之间包含一个或一个以上额外获取帧。所述额外获取帧每一者将包含第一和第二刷新部分，其中第一刷新部分与先前获取帧的已刷新部分的至少一部分处在同一位置，且第二刷新部分是基于(例如)R-D模式决策算法来动态选择的。可通过帧内编码来刷新所述第一和第二刷新部分中的每一者。或者，可通过帧间编码基于先前获取帧的已刷新部分的参考数据来刷新所述第一和第二刷新部分中的每一者。然而，为了确保第一和第二刷新部分的刷新，可排除先前帧的在那些帧的已刷新部分外部的部分用作当前获取帧的第一和第二刷新部分的参考数据。举例来说，可排除获取帧602的在刷新部分612和622外部的部分用作获取帧602与603之间的第四获取帧(未图示)的参考数据。
如上所述，可排除将位于获取帧601之前的帧视为跟随获取帧601、602和603之后的帧的参考数据。此排除可能在编码标准将另外包括用于考虑的帧的情况下是有利的。
在一些实施方案中，通过源多媒体数据的单次通过来确定每一获取帧的各个刷新和非刷新部分。在其它实施方案中，执行两次或两次以上通过，其中在先前通过中所获得的信息用于修改当前通过的决策。举例来说，在先前通过中，可确定第二帧的一部分为刷新部分。然而，对所述刷新序列的分析可揭示第二帧的所述部分从未在后续帧中用作参考数据。因而，可通过不刷新所述部分来避免用于刷新所述部分的计算负荷的成本。可通过多媒体数据分析的多次通过来获得其它优点和效率。
上述论述适用于锚定帧，所述锚定帧可用作其它帧的参考数据来源。不可用作参考数据来源的B帧或双向帧可发生在锚定帧之间。可从先前帧和后续帧预测B帧。为了减少刷新完成时间，如果B帧发生在被完全刷新的第一获取帧附近，那么限制R-D算法以仅基于先前或随后锚定帧的已刷新数据来编码B帧可能是有利的。
举例来说，图8展示具有三个获取帧801、802和803的刷新序列，所述获取帧是锚定帧。所述刷新序列还具有两个B帧B1和B2。第一B帧B 1发生在锚定帧801与802之间。因为存在未被完全刷新的后续锚定帧(锚定帧802)，所以是否刷新B帧B1不会影响刷新的完成时间。因此，可以不需要限制R-D算法。然而，第二B帧B2位于紧靠经充分刷新的锚定帧803之前。因此，为了实现更短的刷新时间，设定R-D算法以确保仅参考来自后续或先前帧的已刷新数据来编码B帧B2。
一般来说，可使用任何其它锚定帧的参考数据来编码位于刷新序列的第一锚定帧与所述序列的最后未完全刷新的锚定帧之间的任何B帧。然而，为了使刷新时间达到最小，可通过仅参考一个或一个以上先前锚定帧的已刷新部分和/或后续已刷新锚定帧进行编码来对位于未完全刷新的最后锚定帧之间且在第一完全刷新帧之前的任何B帧加以完全刷新。
上述改进限制的刷新时间适用于全像素和子像素运动估计。在AVC中，允许运动向量具有半像素或四分之一像素值。这些子像素值从相邻全像素进行内插。AVC所提出的一个内插滤波器为(1，-5，20，20，-5，1)，其长度大于二。因此，为了确保没有未刷新数据会影响正被刷新的像素，应刷新所有六个有贡献的参考像素。然而，在一些实施方案中，确保刷新两个主要分支的像素就足够了，且尽管非主要分支的像素未被刷新，但由于其它分支的贡献较小，所以视觉假像可以忽略。
在一些实施方案中，可以SKIP(省略)模式来编码锚定帧的部分。在SKIP模式中，参考帧和MV没有被明确编码，而是从上下文得到。类似地，可以DIRECT(直接)模式(空间或时间)来编码B帧的部分。经DIRECT-编码的B部分的参考帧和MV也从上下文得到。在此类实施方案中，如果适当的话，编码器可确保参考已刷新部分来编码经SKIP-编码和经DIRECT-编码的部分。
图9是某些实施方案的方法的流程图。图9展示用于处理多媒体数据帧序列的方法800，所述方法可(例如)用图1的获取序列组件125或图2的选择模块225实施。
在步骤830中，选择第一帧的第一部分。所述选择可基于预定因素(例如大小、形状和位置)来进行。在一些实施方案中，所述选择以动态方式执行，且可基于例如数据和/或其它操作条件或设定等大致实时信息。
在步骤840中，刷新第一部分。举例来说，这可通过对第一部分进行帧内编码来完成。此操作的结果包括第一帧的第一部分被刷新，因为其是基于第一帧或后续帧的源多媒体数据来编码的。第一帧的不包括在第一部分中的部分可能不被刷新。
在步骤850中，选择第二帧的第二部分。所述选择可基于预定因素(例如大小、形状和位置)来进行。在一些实施方案中，所述选择以动态方式执行，且可基于例如数据和/或其它操作条件或设定等大致实时信息。
在步骤860中，刷新第二部分。举例来说，这可通过对第二部分的一些或全部进行帧内编码或通过基于已刷新的第一部分对第二部分的一些或全部进行帧间编码来完成。此操作的结果包括第二帧的第二部分被刷新，因为其是基于第一帧或后续帧的源多媒体数据进行编码的。第二帧的不包括在第二部分中的部分可不被刷新。
在步骤870中，选择第二帧的第三部分。所述选择可动态执行，且可基于例如数据和/或其它操作条件或设定等大致实时信息。举例来说，可使用R-D决策算法来选择第三部分。
在步骤880中，刷新第三部分。举例来说，这可通过对第三部分的一些或全部进行帧内编码或通过基于已刷新的第一部分对第三部分的一些或全部进行帧间编码来完成。此操作的结果包括第二帧的第三部分通过基于第一帧或后续帧的源多媒体数据被编码而得以刷新。第三帧的不包括在第二和第三部分中的部分可被刷新或可不被刷新。位于第二帧之后的帧的部分可通过使用第一、第二和第三部分作为参考数据对其编码而得以刷新。
所描述的方法可用于任何网络(有线的或无线的)。数据误差速率可能相当高的网络(例如，无线LAN(局域网)、无线WAN(广域网)或蜂窝式网络)可受益于使用获取序列。获取序列提供对I帧的低位速率替代方案，以提供可用于多信道视频传递系统中的信道切换的随机接入点。获取序列可趋向于防止误差传播和漂移误差，因为帧内编码部分的引入将形成用于解码的新起始点，因为没有帧间编码部分(其定位在与一个已编码获取帧中所含有的一个帧内编码部分相同的位置中)应参考发生在其中所述部分被帧内编码的已编码获取帧之前的帧。
所描述的方法、设备和系统的各方面包括但不限于以下描述。
一种处理多媒体数据帧序列的方法，所述方法包括：选择所述序列的第一帧的第一部分；通过对所述第一部分进行帧内编码来刷新所述第一部分；选择所述序列的第二帧的至少一个第二部分，其中所述至少一个第二部分覆盖所述第二帧的与第一部分处在同一位置的区域；通过对所述至少一个第二部分进行编码来刷新所述至少一个第二部分；动态选择第二帧的至少一个第三部分；通过对所述至少一个第三部分进行编码来刷新所述至少一个第三部分，其中所述至少一个第二部分和所述至少一个第三部分视情况用作后续帧的参考数据。
一种经配置以处理多媒体数据帧序列的设备，所述设备包括：用于选择所述序列的第一帧的第一部分的装置；用于通过对所述第一部分进行帧内编码来刷新所述第一部分的装置；用于选择所述序列的第二帧的至少一个第二部分的装置，其中所述至少一个第二部分覆盖所述第二帧的与所述第一部分处在同一位置的区域；用于通过对所述至少一个第二部分进行编码来刷新所述至少一个第二部分的装置；用于动态选择所述第二帧的至少一个第三部分的装置；用于通过对所述至少一个第三部分进行编码来刷新所述至少一个第三部分的装置，其中所述至少一个第二部分和所述至少一个第三部分视情况用作后续帧的参考数据。
一种经配置以处理多媒体数据帧序列的电子装置，所述装置包括：第一选择模块，其经配置以选择所述序列的第一帧的第一部分；第一编码模块，其经配置以通过对所述第一部分进行帧内编码来刷新所述第一部分；第二选择模块，其经配置以选择所述序列的第二帧的至少一个第二部分，其中所述至少一个第二部分覆盖所述第二帧的与所述第一部分处在同一位置的区域；第二编码模块，其经配置以通过对所述至少一个第二部分进行编码来刷新所述至少一个第二部分；第三选择模块，其经配置以动态选择所述第二帧的至少一个第三部分；第三编码模块，其经配置以通过对所述至少一个第三部分进行编码来刷新所述至少一个第三部分，其中所述至少一个第二部分和所述至少一个第三部分视情况用作后续帧的参考数据。
一种具有指令的机器可读媒体，所述指令用于致使机器执行处理多媒体数据帧序列的方法，所述方法包括：选择所述序列的第一帧的第一部分；通过对所述第一部分进行帧内编码来刷新所述第一部分；选择所述序列的第二帧的至少一个第二部分，其中所述至少一个第二部分覆盖所述第二帧的与第一部分处在同一位置的区域；通过对所述至少一个第二部分进行编码来刷新所述至少一个第二部分；动态选择所述第二帧的至少一个第三部分；通过对所述至少一个第三部分进行编码来刷新所述至少一个第三部分，其中所述至少一个第二部分和所述至少一个第三部分视情况用作后续帧的参考数据。
所属领域的技术人员将了解可使用多种不同技艺和技术中的任一种来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示整个以上描述中可能引用的数据、指令、命令、信息、信号、位、符号和小片。
所属领域的技术人员将进一步了解，结合本文所揭示的实例描述的各种说明性逻辑块、模块和算法步骤可实施为电子硬件、计算机软件或所述两者的组合。为了清楚说明硬件与软件的这种可交换性，上文已经大体上在其功能性方面描述了各种说明性组件、块、模块、电路和步骤。将此类功能性实施为硬件还是软件取决于特定应用和对整个系统施加的设计限制。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但不应将此类实施方案决策解释为造成与本发明范围的脱离。
结合本文所揭示的实例描述的各种说明性逻辑块、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文描述的功能的其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，所述处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算组件的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。
结合本文所揭示的实例描述的方法或算法的步骤可直接在硬件、由处理器执行的软件模块或所述两者的组合中实施。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在无线调制解调器中。在替代方案中，处理器和存储媒体可作为离散组件驻留在无线调制解调器中。
提供先前对所揭示实例的描述是为了使得所属领域的技术人员能够制作或使用所揭示的实例。所属领域的技术人员将容易了解对这些实例的各种修改，且在不脱离本发明精神或范围的情况下，本文所界定的原理可适用于其它实例。
因此，已经描述了用于通过在另外时间预测帧内使用帧内编码部分来实现从非帧内编码帧处随机存取视频流的方法和系统。

Claims (32)

1.一种处理多媒体数据帧序列的方法，所述方法包含：
选择所述序列的第一帧的第一部分；
通过对所述第一部分进行帧内编码来刷新所述第一部分；
选择所述序列的第二帧的至少一个第二部分，其中所述至少一个第二部分覆盖所述第二帧的与所述第一部分处在同一位置的区域；
刷新所述至少一个第二部分，其中刷新包括基于从所述已刷新的第一部分预测的数据对所述至少一个第二部分的至少一些进行编码；
动态选择所述第二帧的至少一个第三部分；和
刷新所述至少一个第三部分，其中刷新包括从与所述已刷新的第一部分或者所述已刷新的第二部分预测的数据对所述至少一个第三部分的至少一些进行编码，其中将所述至少一个第二部分和所述至少一个第三部分用作后续帧的参考数据。
2.根据权利要求1所述的方法，其中对所述第二或第三部分进行编码包含对所述第二或第三部分进行帧间编码。
3.根据权利要求1所述的方法，其中对所述第二或第三部分进行编码包含对所述第二或第三部分的部分进行帧内编码，其中在所述第一帧内的所述第二和第三部分的对应部分不是帧间编码。
4.根据权利要求1所述的方法，其中单遍处理所述多媒体数据。
5.根据权利要求1所述的方法，其中多于一遍处理所述多媒体数据。
6.根据权利要求1所述的方法，其进一步包含至少部分基于对所述第一、第二和第三部分中的至少一者的所述选择来对所述第一、第二和第三部分中的至少一者进行编码。
7.根据权利要求1所述的方法，其中所述至少一个第二部分包含多个第二部分，且另外其中选择所述第二部分中的一者作为用以刷新所述序列中的另一帧的至少一个部分的参考数据。
8.根据权利要求7所述的方法，其进一步包含减少所述第二部分的区域，其中所述减少是基于所述第二部分中哪些部分已经被选择作为用以刷新所述序列中的另一帧的至少一个部分的参考数据。
9.根据权利要求1所述的方法，其中所述序列的经选择的所述第一帧是超帧中的第一帧。
10.根据权利要求1所述的方法，其中所述第二和第三部分覆盖大致上所述第二帧的全部。
11.根据权利要求1所述的方法，其进一步包含选择性确定所述序列中用于刷新大致上整个帧的帧的总数目。
12.根据权利要求1所述的方法，其中所述第一刷新部分包含所述序列的经选择的所述第一帧的大致中心部分。
13.根据权利要求1所述的方法，其中所述第一刷新部分包含至少一预定的大致矩形区域。
14.根据权利要求1所述的方法，其中排除将所述至少一个第二帧的在所述第二和第三部分外部的部分用作后续帧的参考数据。
15.根据权利要求1所述的方法，其进一步包含刷新双向帧，所述双向帧出现在未经完全刷新的最后锚定帧之后及第一经完全刷新的帧之前。
16.根据权利要求1所述的方法，其进一步包含参考先前帧的多个经加权部分来刷新帧的至少一个部分，其中不刷新所述经加权部分中具有非主要权数的一者或一者以上。
17.一种经配置以处理多媒体数据帧序列的设备，所述设备包含：
用于选择所述序列的第一帧的第一部分的装置；
用于通过对所述第一部分进行帧内编码来刷新所述第一部分的装置；
用于选择所述序列的第二帧的至少一个第二部分的装置，其中所述至少一个第二部分覆盖所述第二帧的与所述第一部分处在同一位置的区域；
用于刷新所述至少一个第二部分的装置，其中刷新包括基于从所述已刷新的第一部分预测的数据对所述至少一个第二部分的至少一些进行编码；
用于动态选择所述第二帧的至少一个第三部分的装置；和
用于刷新所述至少一个第三部分的装置，其中刷新包括从与所述已刷新的第一部分或者所述已刷新的第二部分预测的数据对所述至少一个第三部分的至少一些进行编码，其中所述至少一个第二部分和所述至少一个第三部分用作后续帧的参考数据。
18.根据权利要求17所述的设备，其中所述用于刷新所述第二或第三部分的装置包含用于对所述第二或第三部分进行帧间编码的装置。
19.根据权利要求17所述的设备，其中所述用于刷新所述第二或第三部分的装置包含用于对在所述第二或第三部分的部分进行帧内编码的装置，其中所述第一帧内的所述第二和第三部分的对应部分不是帧间编码。
20.根据权利要求17所述的设备，其中所述设备经配置以单遍处理所述多媒体数据。
21.根据权利要求17所述的设备，其中所述设备经配置以多于一遍处理所述多媒体数据。
22.根据权利要求17所述的设备，其进一步包含用于至少部分基于对所述第一、第二和第三部分中的至少一者的所述选择来对所述第一、第二和第三部分中的至少一者进行编码的装置。
23.根据权利要求17所述的设备，其进一步包含用于选择所述第二部分的多个部分作为用以刷新所述序列中的另一帧的至少一个部分的参考数据的装置。
24.根据权利要求23所述的设备，其进一步包含用于减少所述第二部分的区域的装置，其中所述减少是基于所述第二部分中哪些部分已经被选择作为用以刷新所述序列中的另一帧的至少一个部分的参考数据。
25.根据权利要求17所述的设备，其中所述序列的经选择的所述第一帧是超帧中的第一帧。
26.根据权利要求17所述的设备，其中所述第二和第三部分覆盖大致上所述第二帧的全部。
27.根据权利要求17所述的设备，其进一步包含用于选择性确定所述序列中用于刷新大致上整个帧的帧的总数目的装置。
28.根据权利要求17所述的设备，其中所述第一刷新部分包含所述序列的经选择的所述第一帧的大致中心部分。
29.根据权利要求17所述的设备，其中所述第一刷新部分包含至少一预定的大致矩形区域。
30.根据权利要求17所述的设备，其进一步包含用于排除将所述至少一个第二帧的在所述第二和第三部分外部的部分用作后续帧的参考数据的装置。
31.根据权利要求17所述的设备，其进一步包含用于刷新双向帧的装置，所述双向帧出现在未经完全刷新的最后锚定帧之后及第一经完全刷新的帧之前。
32.根据权利要求17所述的设备，其进一步包含用于参考先前帧的多个经加权部分来刷新帧的至少一个部分的设备，其中不刷新所述经加权部分中具有非主要权数的一者或一者以上。
CN2006800429307A 2005-09-27 2006-09-27 用于渐进式信道切换的方法和设备 Expired - Fee Related CN101310535B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72156605P 2005-09-27 2005-09-27
US60/721,566 2005-09-27
PCT/US2006/037945 WO2007038698A2 (en) 2005-09-27 2006-09-27 Method and apparatus for progressive channel switching

Publications (2)

Publication Number Publication Date
CN101310535A CN101310535A (zh) 2008-11-19
CN101310535B true CN101310535B (zh) 2011-06-22

Family

ID=37726754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800429307A Expired - Fee Related CN101310535B (zh) 2005-09-27 2006-09-27 用于渐进式信道切换的方法和设备

Country Status (8)

Country Link
US (1) US9467659B2 (zh)
EP (1) EP1929786A2 (zh)
JP (1) JP5021655B2 (zh)
KR (1) KR100977691B1 (zh)
CN (1) CN101310535B (zh)
AR (1) AR055664A1 (zh)
TW (1) TW200723858A (zh)
WO (1) WO2007038698A2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
US7996872B2 (en) * 2006-12-20 2011-08-09 Intel Corporation Method and apparatus for switching program streams using a variable speed program stream buffer coupled to a variable speed decoder
JP4678015B2 (ja) * 2007-07-13 2011-04-27 富士通株式会社 動画像符号化装置及び動画像符号化方法
US9628811B2 (en) * 2007-12-17 2017-04-18 Qualcomm Incorporated Adaptive group of pictures (AGOP) structure determination
US8780986B2 (en) * 2008-06-06 2014-07-15 Apple Inc. Refresh pixel group selection and coding adjustment
DE102009011251A1 (de) 2009-03-02 2010-09-09 Siemens Enterprise Communications Gmbh & Co. Kg Multiplexverfahren und zugehörige funktionelle Datenstruktur zum Zusammenfassen digitaler Videosignale
CN102484718B (zh) * 2009-09-03 2014-11-12 日本电气株式会社 视频编码设备、视频编码方法和视频编码程序
CN102484717A (zh) * 2009-09-03 2012-05-30 日本电气株式会社 视频编码设备、视频编码方法和视频编码程序
US20110299591A1 (en) * 2009-09-21 2011-12-08 Mediatek Inc. Video processing apparatus and method
US20110075994A1 (en) * 2009-09-28 2011-03-31 Hsiao-Shu Hsiung System and Method for Video Storage and Retrieval
EP2560386A1 (en) * 2011-08-15 2013-02-20 MediaTek, Inc Video processing apparatus and method
US10666946B2 (en) 2016-07-01 2020-05-26 Intel Corporation Method and system of video coding using display modification input
US10440366B2 (en) 2016-07-01 2019-10-08 Intel Corporation Method and system of video coding using content based metadata
US10880585B1 (en) * 2019-06-12 2020-12-29 Amazon Technologies, Inc. Split-and-stitch media content encoding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689632B2 (ja) * 1989-08-15 1997-12-10 ソニー株式会社 画像信号の伝送装置および伝送方法
JP3210082B2 (ja) * 1992-07-14 2001-09-17 キヤノン株式会社 符号化装置及びその方法
US5471240A (en) 1993-11-15 1995-11-28 Hughes Aircraft Company Nonuniformity correction of an imaging sensor using region-based correction terms
US5612900A (en) 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
US5793895A (en) 1996-08-28 1998-08-11 International Business Machines Corporation Intelligent error resilient video encoder
CN1179574C (zh) * 1998-03-31 2004-12-08 皇家菲利浦电子有限公司 在编码数据流中修改数据的方法和设备
US6502045B1 (en) 1999-05-19 2002-12-31 Ics Systems, Inc. Unified analog/digital waveform software analysis tool with video and audio signal analysis methods
GB2366464A (en) * 2000-08-14 2002-03-06 Nokia Mobile Phones Ltd Video coding using intra and inter coding on the same data
WO2002043385A2 (en) * 2000-10-10 2002-05-30 Broadcom Corporation System and method for special reproduction modes of a digitally encoded video data stream
US6940904B2 (en) 2001-05-29 2005-09-06 Broadcom Corporation Artifact-free displaying of MPEG-2 video in the progressive-refresh mode
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
EP1520431B1 (en) * 2002-07-01 2018-12-26 E G Technology Inc. Efficient compression and transport of video over a network
AU2003246987A1 (en) * 2002-07-09 2004-01-23 Nokia Corporation Method and system for selecting interpolation filter type in video coding
BR0312657A (pt) 2002-07-16 2007-06-26 Nokia Corp método para executar uma restauração gradual do conteúdo de imagem com acesso randÈmico em uma seqüência de vìdeo codificada

Also Published As

Publication number Publication date
US9467659B2 (en) 2016-10-11
CN101310535A (zh) 2008-11-19
JP2009510930A (ja) 2009-03-12
WO2007038698A2 (en) 2007-04-05
WO2007038698A3 (en) 2008-02-07
KR100977691B1 (ko) 2010-08-24
US20070071398A1 (en) 2007-03-29
TW200723858A (en) 2007-06-16
AR055664A1 (es) 2007-08-29
KR20080066723A (ko) 2008-07-16
EP1929786A2 (en) 2008-06-11
JP5021655B2 (ja) 2012-09-12

Similar Documents

Publication Publication Date Title
CN101310535B (zh) 用于渐进式信道切换的方法和设备
US7991053B2 (en) Method and apparatus to enable acquisition of media in streaming applications
JP4805915B2 (ja) 時間的なスケーラビリティのために２方向予測されたフレームを組み立てるための方法及び装置
JP5384694B2 (ja) 多層ビデオ設計のためのレート制御
RU2497303C2 (ru) Видео кодирование с использованием преобразования больше чем 4×4 и 8×8
US20050114093A1 (en) Method and apparatus for motion estimation using variable block size of hierarchy structure
CN105379284A (zh) 动态图像编码装置及其动作方法
US20050129125A1 (en) Method and apparatus for pitcure compression using variable block of arbitrary size
KR20060131962A (ko) 각기 다수의 매크로블록을 포함하는 예측 및 비예측 화상을이용하여 화상 시퀀스를 인코딩하는 방법 및 장치
JP2006517362A (ja) ビデオ符号化
US20080317133A1 (en) Mpeg video decoding method and mpeg video decoder
KR100733991B1 (ko) Ｍｐｅｇ２에서 ｈ．２６４로의 트랜스코딩 방법
JP6234770B2 (ja) 動画像復号処理装置、動画像符号化処理装置およびその動作方法
Devaraju A Study on AVS-M video standard
Sun et al. Video Compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110622

Termination date: 20170927

CF01 Termination of patent right due to non-payment of annual fee