CN101690239B - 用于处理媒体数据的方法和装置 - Google Patents

用于处理媒体数据的方法和装置 Download PDF

Info

Publication number
CN101690239B
CN101690239B CN2007800107721A CN200780010772A CN101690239B CN 101690239 B CN101690239 B CN 101690239B CN 2007800107721 A CN2007800107721 A CN 2007800107721A CN 200780010772 A CN200780010772 A CN 200780010772A CN 101690239 B CN101690239 B CN 101690239B
Authority
CN
China
Prior art keywords
information
medium data
layer
frame
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800107721A
Other languages
English (en)
Other versions
CN101690239A (zh
Inventor
石方
塞伊富拉·哈立德·奥古兹
维贾雅拉克希米·R·拉韦恩德拉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101690239A publication Critical patent/CN101690239A/zh
Application granted granted Critical
Publication of CN101690239B publication Critical patent/CN101690239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Communication Control (AREA)

Abstract

本发明描述使用包括错误检测、再同步和错误恢复的集成错误控制系统来解码视频数据同时维持目标视频质量的设备和方法。可通过包括多个错误弹性设计的联合式编码器-解码器功能性提供稳固的错误控制。在一个方面中，错误恢复可以是经设计以实现可靠的错误检测和错误定位的端到端集成多层错误检测、再同步和恢复机制。错误恢复系统可包括错误检测、再同步和错误恢复子系统的跨层交互。在另一方面中，跨越可缩放压缩视频的基础层和增强层协调可缩放编码位流的错误处理。

Description

用于处理媒体数据的方法和装置
相关申请案的交叉参考
根据35U.S.C.§119主张优先权 
本专利申请案主张2006年4月4日申请的题为“具有帧信息表(FIT)的帧级视频解码(FRAME LEVEL VIDEO DECODING WITH FRAME INFORMATION TABLE(FIT))”的第60/789,443号临时申请案的优先权，所述临时申请案转让给本受让人且在此明确地以引用的方式并入本文中。 
技术领域
本发明针对多媒体信号处理，且更明确地说，针对视频编码和解码。 
背景技术
例如视频编码器等多媒体信号处理系统可使用基于例如MPEG-x和H.26x标准等国际标准的编码方法来编码多媒体数据。此些编码方法通常针对于压缩多媒体数据以用于传输和/或存储。概括来说，压缩是从数据中移除冗余的过程。 
可依据图片序列来描述视频信号，图片包括帧(完整图片)或场(例如，交错视频信号包含图片的交替奇数或偶数行的场)。如本文中所使用，术语“帧”指的是图片、帧或场。帧可由包括个别像素、通常称为区块的像素群组和通常称为切片(slice)的区块群组的各种大小部分的视频数据组成。视频编码方法通过使用无损或有损压缩算法以压缩每一帧来压缩视频信号。帧内编码(本文中称为内编码)指的是使用该帧来编码帧。帧间编码(本文中称为间编码)指的是基于其它(“参考”)帧来编码帧。举例来说，视频信号经常展现空间冗余，其中同一帧中彼此靠近的视频帧样本的若干部分具有至少若干彼此匹配或至少大致匹配的部分。另外，帧经常展现时间冗余，其可使用例如运动补偿预测等技术来移除。 
可(例如，使用可缩放编码)将目标为单个应用的多媒体位流(例如视频位流)编码成两个或两个以上独立层，例如基础层和一个或一个以上增强层。接着，这些层可用于提供可缩放性，例如时间和/或SNR(信噪比)可缩放性。可缩放编码在动态信道中是有用的，在动态信道中可缩放位流可经调适以匹配网络带宽的波动。在易于产生错误的信道中，可缩放编码可通过对基础层和增强层的不等错误保护来增加稳固性。 
无线信道易于产生错误，包括位错误和包丢失。因为视频压缩固有地移除冗余，所以经压缩的数据变为关键的。在传输期间丢失此数据的任何部分会影响解码器处的重构视频质量。如果丢失的数据是用于运动补偿预测和/或空间预测的参考部分的一部分，那么会加剧所述影响，从而引起时间和/或空间错误传播。另外，可缩放编码还可能加剧错误传播。举例来说，如果增强层数据依赖于基础层，那么基础层的丢失可能致使正确接收的增强层数据变得无用。而且，由于内容相依编码和预测编码而可能在解码器处丢失同步，所述内容相依编码和预测编码导致丢失视频的甚至更大部分(倘若能够进行再同步的话，可显示所述视频)。如果由于错误而丢失视频的大部分，那么错误控制、检测和恢复对于解码器应用来说可能是困难的或不可能的。需要一种可靠的错误控制系统，其至少部分包括错误检测、再同步和/或错误恢复且最大程度地利用所接收的信息。 
发明内容
本发明的系统、方法和装置每一者具有若干方面，其中没有单独一者独自负责其所需属性。在不限制如所附权利要求书所表达的本发明范围的情况下，现将简要论述其较显著的特征。在考虑此论述之后，且特别是在阅读标题为“具体实施方式”的部分之后，将了解本发明的样本特征如何向多媒体编码和解码提供优点，所述优点包括(例如)改进的错误隐藏和/或改进的效率。 
提供一种处理多媒体数据的方法。所述方法包括：接收多媒体数据；在第一层中组织关于多媒体数据的描述性信息，其中所述描述性信息与第二层中的多媒体数据的处理相关；和至少部分基于所述描述性信息而提供与第二层中的多媒体数据的处理相关的指令。 
提供一种用于处理多媒体数据的设备。所述设备包括：接收器，其经配置以接收多媒体数据；信息组织器，其经配置以在第一层中组织关于多媒体数据的描述性信息，其中所述描述性信息与第二层中的多媒体数据的处理相关；和错误控制决策子系统，其经配置以至少部分基于所述描述性信息而提供与第二层中的多媒体数据的处理相关的指令。 
提供一种包含程序代码的机器可读媒体。所述程序代码当在一个或一个以上机器上执行时致使所述一个或一个以上机器执行程序操作。所述程序代码包括：用于接收多媒体数据的代码；用于在第一层中组织关于多媒体数据的描述性信息的代码，其中所述描述性信息与第二层中的多媒体数据的处理相关；和用于至少部分基于所述描述性信息而提供与第二层中的多媒体数据的处理相关的指令的代码。
提供一种处理多媒体数据的方法。所述方法包括：接收多媒体数据；在上层中处理多媒体数据；至少部分基于与上层中的多媒体数据的处理相关联的信息而指令下层；和至少部分基于与上层中的多媒体数据的处理相关联的信息而在下层中处理所述多媒体数据。 
提供一种用于处理多媒体数据的设备。所述设备包括：接收器，其经配置以接收多媒体数据；上层解码器子系统，其经配置以在上层中处理多媒体数据，并至少部分基于与上层中的多媒体数据的处理相关联的信息而指令下层；和下层解码器子系统，其经配置以至少部分基于与上层中的多媒体数据的处理相关联的信息而在下层中处理多媒体数据。 
提供一种包含程序代码的机器可读媒体。所述程序代码当在一个或一个以上机器上执行时致使所述一个或一个以上机器执行程序操作。所述程序代码包括：用于接收多媒体数据的代码；用于在上层中处理多媒体数据的代码；用于至少部分基于与上层中的多媒体数据的处理相关联的信息而指令下层的代码；和用于至少部分基于与上层中的多媒体数据的处理相关联的信息而在下层中处理多媒体数据的代码。 
提供一种处理多媒体数据的方法。所述方法包括：接收多媒体数据；从第一层接收关于所述多媒体数据的描述性信息，其中所述描述性信息与第二层中的多媒体数据的处理相关；和至少部分基于所接收的描述性信息而在第二层中处理多媒体数据。 
提供一种用于处理多媒体数据的设备。所述设备包括：接收器，其经配置以接收多媒体数据；解码器，其经配置以从第一层接收关于多媒体数据的描述性信息(其中所述描述性信息与第二层中的多媒体数据的处理相关)，并至少部分基于所接收的描述性信息而在第二层中处理多媒体数据。 
提供一种包含程序代码的机器可读媒体。所述程序代码当在一个或一个以上机器上执行时致使所述一个或一个以上机器执行程序操作。所述程序代码包括：用于接收多媒体数据的代码；用于从第一层接收关于多媒体数据的描述性信息的代码，其中所述描述性信息与第二层中的多媒体数据的处理相关；和用于至少部分基于所接收的描述性信息而在第二层中处理多媒体数据的代码。 
附图说明
图1为说明根据一个方面的多媒体通信系统的方框图。 
图2为例如图1中所说明的系统中的编码器装置105和解码器装置110中的包括跨层错误控制系统的用于划分任务的多层协议堆栈的实例的方框图。
图3A为说明可用于例如图1中所说明的系统的解码器装置的一方面的方框图。 
图3B为说明可用于例如图1中所说明的系统的解码器装置的计算机处理器系统的实例的方框图。 
图4展示多层包化方案的实例的说明。 
图5A为说明在例如图1中所说明的系统中处理多媒体数据的方法的实例的流程图。 
图5B为说明在例如图1中所说明的系统中处理多媒体数据的方法的另一实例的流程图。 
图5C为说明在例如图1中所说明的系统中处理多媒体数据的方法的另一实例的流程图。 
图6为可用于执行图5C中所说明的方法的多层多媒体解码器子系统的实例的方框图。 
图7为说明图5A和5C中所说明的方法中的组织可用于执行某些动作的描述性信息的方法的实例的流程图。 
图8A和8B为说明图7中所说明的方法中的确定错误控制动作的方法的实例的流程图。 
图9绘示包括用于例如图1中所说明的系统的可缩放经编码基础层和增强层的物理层包的实例的结构。 
图10A以图示方式说明当前P帧和位于当前帧之前三个帧的先前经解码的P帧的位置。 
图10B以图示方式说明用于其它错误帧的错误隐藏的经解码帧的旗标表示。 
图10C以图示方式说明用于指示用于使用FRUC隐藏错误帧的两个经解码帧的位置的变量。 
图11为说明可用于例如图1中所说明的系统的解码器装置150的另一实例的功能方框图。 
图12为说明可用于例如图1中所说明的系统的解码器装置150的另一实例的功能方框图。 
图13为说明可用于例如图1中所说明的系统的解码器装置150的另一实例的功能方框图。 
图14为说明可用于例如图1中所说明的系统的解码器装置150的另一实例的功能方框图。
图15为说明可用于例如图1中所说明的系统的解码器装置150的另一实例的功能方框图。 
图16为说明可用于例如图1中所说明的系统的解码器装置150的另一实例的功能方框图。 
具体实施方式
以下详细描述针对本发明的某些特定样本方面。短语“一个方面”、“另一方面”、“另外方面”、“一方面”、“一些方面”、“某些方面”等的使用并不希望暗示在各种方面内元件的各种方面的相互排他性。因此，各种方面和各种方面的元件可被取消和/或组合且仍属于本申请案的范围内。然而，本发明的各种方面可以如权利要求书所界定和涵盖的大量不同方式来体现。在此描述中，参考图式，其中始终用相同数字表示相同部分。 
各方面包括改进多媒体传输系统中的编码器和解码器中的处理的系统和方法。多媒体数据可包括运动视频、音频、静止图像或任何其它适当类型的视听数据中的一者或一者以上。各方面包括使用包括错误检测、再同步和错误恢复的集成错误控制系统来解码视频数据以维持目标视频质量的设备和方法。可通过包括多个错误弹性设计的联合式编码器-解码器功能性提供稳固的错误控制。举例来说，根据一个方面已发现，错误恢复可以是经设计以实现可靠的错误检测和错误定位的端到端集成多层错误检测、再同步和恢复机制。还已发现，通过在数据处理期间实施某一跨层交互可实现处理效能方面的益处。在另一方面中，跨越可缩放压缩视频的基础层和增强层协调可缩放编码位流的错误处理。 
图1为说明根据一个方面的多媒体通信系统100的功能方框图。系统100包括经由网络140而与解码器装置150通信的编码器装置110。在一个实例中，编码器装置从外部来源102接收多媒体信号并编码所述信号以用于在网络140上传输。 
在此实例中，编码器装置110包含耦合到存储器114和收发器116的处理器112。所述处理器112编码来自多媒体数据源的数据并将其提供给收发器116以用于经由网络140传送。 
在此实例中，解码器装置150包含耦合到存储器154和收发器156的处理器152。处理器152可包括通用处理器和/或数字信号处理器和/或专用硬件处理器中的一者或一者以上。存储器154可包括固态或基于磁盘的存储装置或者任何可读且可写随机存取存储器装置中的一者或一者以上。收发器156经配置以经由网络140接收多媒体数据并使其可用于处理器152以供解码。在一个实例中，收发器156包括无线收发器。网络140可包含有线或无线通信系统和/或无线系统中的一者或一者以上，其中所述有线或无线通 信系统包括以太网、电话(例如，POTS)、电缆、电线和光纤系统中的一者或一者以上，所述无线系统包含码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、例如GSM/GPRS(通用分组无线电服务)/EDGE(增强型数据GSM环境)等时分多址(TDMA)系统、TETRA(陆地中继无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率(1xEV-DO或1xEV-DO金牌多播)系统、IEEE802.11系统、媒体FLO系统、DMB系统、正交频分多址(OFDM)系统或DVB-H系统中的一者或一者以上。 
因为无线信道经历随机位错误和突发错误两者，所以错误恢复经设计以有效处理这些错误类型两者。已发现，通过使用集成多层错误控制系统，可有效处理所述两种类型的错误类型。已发现，通过在应用层处使用空间或时间错误隐藏可有效处理影响隔离的视频部分(包括例如一个或若干个像素，或甚至包括一个或一个以上物理层包(PLP)的丢失)的随机位错误。然而，借助于嵌入在传送和同步层中的错误控制模块可更有效地处理导致丢失多个连续PLP的突发错误，如下文论述。 
图2为例如图1中所说明的系统中的编码器装置110和解码器装置150中的包括跨层错误控制系统的用于划分任务的多层协议堆栈的实例的方框图。参看图1和图2，例如编码器装置110和解码器装置150等通信装置可使用用于分配处理任务的多层协议堆栈。编码器装置110和解码器装置150中的上层组件可包括多个应用程序，例如视频或音频编码器和/或解码器。一些实施例可包括意欲同时解码的多个信息流。在这些情况下，还可在上层组件中执行所述多个流的同步任务。在编码器装置110中，上层组件可提供经由无线网络和/或有线网络140传输的位流中的编码时序信息。在解码器装置150中，上层组件可剖析所述多个信息流，使得相关联的应用程序大约同时将其解码。 
编码器装置110的上层组件分布在应用层205和同步层210中的一者或一者以上中。编码器装置110的下层组件分布到传送层215、流和/或媒体接入控制(MAC)层220和物理层225中的一者或一者以上中。类似地，解码器装置150的上层组件分布在应用层230和同步层235中的一者或一者以上中。解码器装置150的下层组件分布到传送层240、流和/或媒体接入控制(MAC)层245和物理层350中的一者或一者以上中。熟练的技术人员将了解这些层且熟悉其中各种任务的分配。应注意，如本文中所使用的术语“上层”和“下层”是相对术语。举例来说，可参考应用层230将同步层235称为下层，但可参考传送层240将同步层235称为上层。 
在此实例中跨越所述层中的每一者提供编码器装置110中的错误弹性系统255。编码器装置110中的下层组件可包括用以提供错误弹性的各种方案。下层组件中所提供的此 些错误弹性方案可包括一个或一个以上错误控制编码方案、交错方案和熟练的技术人员已知的其它方案。解码器装置150中的下层组件可包括实现错误检测和校正的相应错误解码组件。一些经由有线和/或无线网络150引入的错误可能无法由解码器装置110的下层组件校正。对于那些无法校正的错误，例如由编码器装置105的下层组件请求重新传输讹误组分等解决方案可能对于一些情况是不可行的。 
编码器装置150的上层组件可将与各种通信层相关的关于多媒体数据包化的描述性信息附加在标头中。在一些实例中，在各种层级处执行包化以允许多个数据流在编码过程中被分裂(剖析)且在解码期间至少部分使用由编码器的各种层添加的标头信息来重新组合。举例来说，同步层210可添加识别与可同时解码多种类型包的多个解码器组件链接的多种类型包的标头信息。同步层标头信息可包括识别数据序列时间、数据序列持续时间、目的地解码器组件(例如，音频、视频和隐藏字幕)、帧编号、包数目和其它信息的字段。在一些实例中，同步层包可为可变长度。这可归因于各种编码方案，例如包括可变长度编码方案的数字压缩方案。 
传送层215还可将描述性信息附加到传送标头中的传送层包。传送层包可为固定长度，以便支持各种错误编码方案、调制方案和使用固定长度包的其它方案。传送标头可含有识别已从单个同步层包剖析的传送层包的数目的信息。如果同步层包为可变长度，那么含有所述数据所需要的传送层包的数目也可为可变的。 
在一个方面中，包括在传送和/或同步标头中的至少一些信息可包括在目录中。所述目录可包括与例如应用层205、同步层210、传送层215和其它层等各种层相关的标头信息。可将所述目录传送到解码器。所述信息可由解码器装置用于恢复各种错误，包括识别错误接收的错误包的大小、识别下一可用包以便进行再同步和其它操作。来自标头目录的标头信息可用于替代数据流中的丢失或错误的原始标头信息。标头目录的进一步细节可参见2006年9月25日申请的题为“实现H.264和其它变换编码信息的高度有效部分解码的视频编码方法(VIDEO ENCODING METHOD ENABLING HIGHLY EFFICIENTPARTIAL DECODING OF H.264AND OTHER TRANSFORM CODED INFORMATION)”的第11/527,022号申请案，所述申请案转让给本受让人且以引用的方式全部并入本文中。 
在此实例中，跨越所述层中的每一者提供编码器装置150中的错误恢复系统260。解码器装置150可包括用以提供错误恢复的各种方案。此些错误恢复方案可包括下层错误检测和校正组件(例如里德-所罗门编码(Reed-Solomon coding)和/或涡轮编码(Turbo-coding))以及用以替代和/或隐藏不可由下层方法校正的数据的上层错误恢复和/ 或错误隐藏方案。应用层230中的各种错误恢复组件可受益于可用于例如同步层235和传送层240等下层的信息。所述信息可包含在传送层标头、同步层标头、标头目录(如果可用的话)中，或可在解码器处基于对所接收数据的评估而产生。 
如上文所论述，编码器装置110中的错误弹性系统255和解码器装置150中的错误恢复系统260形成本文中称为错误控制系统的端到端集成多层错误检测、再同步和恢复机制。现在将论述错误控制系统的细节。 
应注意，可省略、重新布置、划分和/或组合图1和图2中所示的编码器装置110或解码器装置150的一个或一个以上元件。 
图3A为说明可用于例如图1中所说明的系统100等系统的解码器装置150的一方面的功能方框图。在此方面中，解码器150包含接收器元件302、信息组织器元件304、错误控制决策元件306和多媒体解码器元件308。 
接收器302接收经编码的视频数据(例如，由图1的编码器110编码的数据)。接收器302可经由例如图1的网络140等有线或无线网络而接收经编码的数据。在一个方面中，所接收的数据包括表示源多媒体数据的变换系数。将所述变换系数变换到其中相邻样本的相关性显著减少的域中。举例来说，图像通常在空间域中展现高度的空间相关性。另一方面，经变换的系数通常彼此正交，从而展现零相关性。可用于多媒体数据的变换的一些实例包括(但不限于)DCT(离散余弦变换)、DFT(离散傅立叶变换)、哈德玛(Hadamard)(或沃尔什-哈德玛(Walsh-Hadamard))变换、离散子波变换、DST(离散正弦变换)、哈尔(Haar)变换、斜变换、KL(卡忽南-拉维(Karhunen-Loeve))变换和例如H.264中所使用的整数变换。所述变换用于变换多媒体样本的矩阵或阵列。通常使用二维矩阵，但也可使用一维阵列。 
所接收的数据还包括指示已如何编码经编码的区块的信息。此信息可包括例如运动向量和帧序列编号等帧间编码参考信息，和包括区块大小和空间预测方向性指示符的帧内编码参考信息，以及其它信息。一些所接收的数据包括指示已如何由某一数目的位来约计每一变换系数的量化参数、指示经变换的矩阵中有多少变换系数为非零的非零指示符和其它。 
信息组织器元件304从所述位流收集关于多媒体数据的描述性信息。在一个方面中，信息组织器304解译传送和同步层标头数据以供进一步处理。传送标头可经处理以确定帧和超帧边界，其中超帧是一群组通常可独立解码的帧。超帧可包括覆盖范围在约0.2秒到约2.0秒之间的固定时间周期的帧。超帧大小可经选择以允许合理的获取时间。传 送标头还可经处理以确定帧长度和帧到位流中的字节偏移，以便处理从流/MAC层接收的错误PLP。同步层标头可经处理以提取帧编号并解译基础和增强帧，在错误情况下提取用以内插呈现时间戳记所需的帧速率，和/或内插并导出通过帧速率上转换(FRUC)而内插的帧的PTS。同步标头还可经处理以提取视频帧的呈现时间戳记以与相关联的音频帧同步，且在导致解码器中丢失同步的错误情况下提取随机存取点位置以标记下一再同步点。如果如上文所论述的标头目录可用，那么信息组织器304还可从所述标头目录收集信息。 
除了从标头和标头目录收集信息外，信息组织器304还可产生关于视频数据的描述性信息。各种标头检验和、有效负荷检验和以及错误控制方案均可用于识别数据的哪一部分是错误的。所产生的信息可包括识别数据的这些错误部分的数据。错误数据可为错误分布测量或错误率测量。可在从帧级到切片级(切片是一群组经编码的像素区块)、像素区块级或甚至像素级的任一级上组织错误数据。这些类型的关于错误数据的描述性信息可用于定位并确定错误范围。下文中将论述可由信息组织器304识别、编译、收集、维持、旗标表示或产生的各类型信息的细节。 
在一个方面中，错误控制决策元件306使用由信息组织器304收集和/或产生的描述性信息(例如，以表格形式存储)以提供与多媒体数据的处理相关的指令。错误控制决策元件306分析所述描述性信息，以便定位错误并确定视频的哪些部分受影响和这些部分错误到什么程度。通过使用此信息，错误控制决策元件306可确定用于处理所述错误状况的错误控制方法。在另一方面中，错误控制决策元件306从上层接收反馈信息。所述反馈信息可包括与上层中的多媒体的处理相关联的信息。所述反馈信息可包括向上传递到上层的描述性信息中已不正确的信息。此信息可用于校正存储在下层中的表。另外，反馈信息可包括处理时间、处理动作、处理状态和其它信息。可由错误控制决策元件306分析此类型的信息以确定如何指令上层。 
错误控制决策元件306分析其已收集的信息，以便决定当多媒体数据转发到上层时上层应如何处理所述多媒体数据。决策可包括选择若干错误控制方法中的一者或一者以上。错误控制方法可包括视频数据的错误部分的空间和/或时间错误隐藏。错误控制方法还可包括错误恢复技术，其中对错误数据进行分析以基于上层应用程序可用的上下文或其它信息以某一方式对其作出补救。可使用的时间错误隐藏的极端形式称为帧速率上变换或FRUC。FRUC基于其它帧(通常为横跨待构造的帧的两个帧)来构造新的帧。当数据的错误部分处于可管理的级别(例如，经确定为可视情况隐藏的帧的若干部分、单个 帧或多个帧)时，错误控制决策元件306可指令上层使用空间和/或时间错误隐藏、错误恢复或FRUC，以及其它错误控制方案。然而，如果错误数据的范围太广，那么错误控制元件可指令上层跳过对错误部分的解码。下文论述错误控制决策元件306确定如何指令上层时所使用的细节。 
多媒体解码器元件308执行与可包括音频、视频隐藏字幕和其它的多媒体位流的解码相关的功能。多媒体解码器执行对应于用于编码所述数据的编码操作的逆操作。经编码的数据可为帧间编码数据(例如，时间预测的数据)和/或帧内编码数据。参看图2，可在多个级别(例如传送层240、同步层235和应用层250)处执行由多媒体解码器308执行的功能。传送层功能可包括用于校正错误并识别不可校正错误的错误检测和校正方案。可将经识别的不可校正错误传送到信息组织器304以将其包括于如上文所论述的描述性信息中。同步层功能可包括缓冲多个位流的所接收数据，直到所有同步数据准备好解码为止。此时，将其转发到应用层解码器以进行几乎同时的解码。应用层功能可包括音频、视频和隐藏字幕位流的解压缩。各种解压缩功能可包括解量化和用于重构视频数据的逆变换。在一个方面中，在信息组织器304和错误控制决策元件306已执行上文所论述的功能之后，视频解码器元件308的应用层以解码次序每次一个帧地接收视频帧。 
在一些方面中，可省略、重新布置和/或组合图3A的解码器150的元件中的一者或一者以上。所述元件可由硬件、软件、固件、中间件、微码或其任何组合来实施。下文将参看图5A到图5C中所说明的方法来论述由解码器150的元件执行的动作的细节。 
图3B为说明可用于例如图1中所说明的系统的解码器装置的计算机处理器系统的实例的方框图。此实例的解码器装置150包括预处理器元件320、随机存取存储器(RAM)元件322、数字信号处理器(DSP)元件324和视频核心元件326。 
所述预处理器320在一个方面中用于执行由图3A中的各种元件所执行的动作中的一者或一者以上。预处理器剖析视频位流并将数据写入到RAM322。另外，在一个方面中，预处理器320实施信息组织器234、错误控制决策元件306和多媒体解码器308的预处理部分(例如，错误隐藏、错误恢复等)的动作。通过在预处理器320中执行这些更有效、更少计算强度的动作，可在高效视频核心326中以因果次序进行更多计算强度的视频解码。 
DSP324检索存储于RAM322中的经剖析的视频数据并将其重新组织以由视频核心326来处理。视频核心326执行解量化(还称为再缩放或缩放)、逆变换和解区块功能以及其它视频解压缩功能。视频核心通常以高度优化和管线化型式来实施。由于这点，当 以因果次序解码视频数据时，可以最快方式解码所述视频数据。通过在预处理器中执行无序剖析、错误检测、信息组织或错误控制，针对视频核心中的解码维持因果次序，从而实现改进的总解码效能。 
如上文所论述，信息组织器元件304可收集描述性信息，将其组织成表并将所述表转发到上层以用于错误控制的目的。描述性信息的一个来源是附加到各种包化层的包的各种标头。图4展示多层包化方案的实例的说明。此实例性包化方案用于解释错误控制系统的某些方面，但也可使用其它包化方案。传送层和同步层是成帧与检验和协议。其提供分层机制以在各种层级处(包括例如在超帧(选定数目的经处理的帧)级别处、在视频存取单元(VAU)级别处或在PLP级别处)检测错误。因此，可在这些级别中的任一者或全部处执行有效的错误定位。包含单个视频帧的VAU在应用层处对同步层包提供额外级别的完整性检验。 
在此实例中，应用层包405A和405B可为固定和/或可变长度包。应用层包405A和405B每一者可为完整的视频帧或VAU。同步层将同步层标头(SH)410附加到每一应用层包405A和405B，从而产生同步层包406A和406B(图4中的同步层包406A和406B包括同步层标头410并分别包括应用层包405A和405B)。接着将同步层包406A和406B输入到传送层。在此实例中，传送层包为固定长度。传送层将同步层包拆分成对应于传送层包大小的部分并将传送层标头(TH)415附加到所得传送层包。传送层还可将帧检验和(FCS)附加到每一同步层包(未图示)。FCS可用于检测同步层包中的错误。在此实例中，将包含应用层包405A的同步层包406A分裂成两个传送层包420A和420B，其中包420B包括同步层包406A的剩余部分425B和同步层包406B的第一部分425C。在此实例中，在下一同步层包406B开始之前，将额外传送层标头415附加到传送层包420B的部分425C。第三传送层包420D含有同步层包406B的下一部分425D。 
同步层标头410和传送层标头415可含有目标为使解码器能够重新组合同步层包和应用层包的相似信息。标头可包括例如包大小、包数目、标头在包内的位置、数据序列时间、数据序列持续时间、帧时间、帧编号、随机存取点旗标、帧速率和/或一群组中的相关联包的数目等信息。另外，标头信息可包括将相关联包识别为属于视频位流、音频位流和/或隐藏字幕位流的流识别信息。现将论述传送和同步层标头的特定实例。 
传送层的一个功能是提供优于流/MAC层的基于八位字节的服务的包服务。传送层还提供用以在存在物理层错误的情况下确定其有效负荷包(图4中所示的实例中的VAU)的边界的机制。多个成帧协议可与传送层联合使用。与传送层相关联的成帧协议指定用 于组合其有效负荷包以创建待传递到应用层中的解码器的包的规则。成帧协议还指定用于处理PLP错误和可由解码器预期的所得行为的规则。 
表1中给出传送层标头415中的某些字段的实例性格式。在此实例中，成帧协议规则提供122字节固定长度的PLP。除了指示有效负荷(此实例中的VAU)的开头和末端以外，传送标头还用于将错误PLP传达到上层。 
表1 
表1中的传送标头为一个字节长。七位“长度”字段指示以字节计的有效负荷的长度且具有从0到121个字节的范围(由于PLP为122个字节长且标头为一个字节，因此最大值为121)。设定为“1”的“最后”字段指示此传送层包含有VAU的最后片段。在此实例中，如果PLP经确定为错误的(如由检验和及/或错误校正方案中的一者或一者以上所确定)，那么传送层将“长度”字段的值设定为122，从而将整个PLP标记为不可用于其所转发到的上层。 
表2中给出同步层标头410中的某些字段的实例性格式。同步层包针对视频形成用于传送层的有效负荷。在一个实例中，视频帧形成同步层包。在表2中所示的实例中，同步层包标头410为固定4字节标头，且相应同步层包为对应于一个视频帧的可变长度有效负荷。包括于表2的同步标头字段中的信息可包括例如以下各项等信息：视频帧类型、帧速率、呈现时间戳记、随机存取旗标、超帧内的帧编号，和所述数据是与基础层位流还是与增强层位流相关联，以及其它信息。 
表2 
Figure G2007800107721D00131
“流_ID”字段用于指示多个多媒体流中的有效负荷数据与其相关联的一者(例如，音频、视频、隐藏字幕数据等)。“PTS”字段用于指示可用于同步音频、视频等的呈现时间。“帧_ID”字段包括循环帧编号(例如，7个位表示帧0到127)部分和指示所述数据是基础层数据还是增强层数据的增强位。如果未使用可缩放编码，那么可省略增强位。“RAP_旗标”字段用于指示帧是否可由解码装置用作随机存取点。可在不参考任何其它先前或将来帧或视频的其它部分的情况下解码随机存取点。“帧_速率”字段指示多个可能的帧速率中的一者。帧速率的范围可从约每秒15个帧或更低到约每秒60个帧或更高。“保留”字段可用于传送熟练的技术人员可发现有益的其它类型的信息。 
除了传送标头信息和同步标头信息以外，用于信息组织元件的描述性信息的另一来源可为标头目录，如上文所论述。标头目录是作为(在一个实例中)与视频和/或音频位流分开的辅助信息传输的复制标头信息的表。标头目录信息例如表3中所列出。 
表3 
标头目录可作为可变长度有效负荷传输。所述信息中的许多信息是包化方案的各种标头中的信息的复制(例如，帧速率、呈现时间戳记、随机存取点)。然而，可包括额外信息。此额外信息可包括“B_帧_旗标_位”字段，其指示B帧在超帧内的位置。超帧通常以例如帧内编码帧等可独立解码的帧开始。超帧中的其它帧通常包含单向预测部分(本文中称为P帧部分或简单地称为P帧)和双向预测部分(本文中称为B帧部分或简单地称为B帧)。在表3的实例中，将超帧中的随机存取点映射到“RAP_旗标_位”字段中。 
标头目录提供标头信息和关于某些帧(例如，B帧)在超帧内的位置的额外信息。 此信息可用于替代丢失的标头信息(由于错误而丢失)以及使得信息组织器元件304能够确定原本无法识别的数据的错误部分的可能身份。 
图5A为说明在例如图1中所说明的系统中处理多媒体数据的方法的实例的流程图。过程500在方框505处开始，在方框505处，解码器装置接收经编码的多媒体数据。所述经编码的多媒体数据可具有与多媒体数据位流相关联的压缩数据的形式。解码器装置可经由例如图1中所示的网络140等有线和/或无线网络接收多媒体数据。多媒体数据可包含多个同步和/或不同步位流，其包括(但不限于)音频、视频、隐藏字幕等。多媒体数据可包含多个包化层，其包括应用层包、同步层包和传送层包。所述多个层每一者可包括如上文所论述的标头信息。标头信息可包括例如上文在表1和表2中所列出的信息。视频数据可布置于例如帧、切片、像素区块等部分中。可将帧分组成具有多个帧的超帧。所接收的多媒体数据还可包括如上文所论述的标头目录。所接收的多媒体数据可编码于例如基础层和增强层等可缩放层中。标头目录可含有例如表3中所列出的信息。图3A中的解码器装置150的接收器元件302可执行方框505处的功能。 
在方框505处接收多媒体数据之后，过程500继续进行到方框510，在方框510处，解码器装置组织关于所接收的多媒体数据的描述性信息。如上文参看图3A所论述，在方框505处，信息组织器元件304从位流收集关于多媒体数据的描述性信息。传送标头可经处理以确定帧和超帧边界。传送标头还可经处理以确定帧长度和帧到位流中的字节偏移。同步层标头可经处理以提取帧编号并解译基础和增强帧(例如，对于可缩放编码位流)，提取帧速率，和/或内插并导出帧的PTS。同步标头还可经处理以提取呈现时间戳记或提取随机存取点。如果在方框505处接收到如上文所论述的标头目录，那么在方框510处所识别、编译、收集、维持、旗标表示或产生的信息也可从所述标头目录获得。 
在方框510处组织的描述性信息还可包括关于错误数据的信息。错误数据可包括错误分布测量或错误率测量。可在从帧级到切片级(切片是一群组经编码的像素区块)、像素区块级或甚至像素级的任一级别上组织错误数据。这些类型的关于错误数据的描述性信息可用于定位并确定错误范围。现论述可在方框510处组织的描述性信息表的实例。 
表4列出可在方框510处产生的帧信息表的实例。也可在例如切片、像素区块等其它级别处组织类似的表。 
表4
Figure G2007800107721D00151
帧编号、层(例如，基础或增强)、帧长度、PTS、帧类型、RAP_旗标字段可从已知为不错误的同步层标头获得。如果在方框505处接收到标头目录，那么这些字段还可从所述标头目录获得。如果将若干错误帧级联在一起(例如，由于同步标头的讹误)，那么可将帧长度字段设定为等于级联帧的字节的总数目的值。举例来说，帧类型字段可用于指示I帧、P帧或B帧。这些字段中的一些字段可能由于数据的讹误而无法被填写。 
PLP错误分布字段用于提供与错误数据在所检测帧内的位置相关的描述性信息。每一帧可由如上文参看图4所论述的若干PLP组成。“错误_分布_n”变量含有PLP的哪一部分含有错误数据的指示。可使用若干指示错误分布的方法。举例来说，错误分布可上舍入为帧的1/16部分并可由两字节“错误_分布_n”变量来表示。所述两字节变量的每一频率组或位指示针对所述帧的1/16部分存在错误PLP。值“1”指示针对所述范围存在错误PLP，且“0”指示无错误PLP部分。如果若干帧级联在一起，那么PLP错误分布俘获所述级联帧内的所有PLP的总错误分布。此时，在过程500中，表4中所列出的帧信息表的最后字段“动作”未完成且可在方框515处基于帧信息表中所含有的其它信息来确定。帧信息表可存储于图1中的解码器装置150的存储器元件154中。图3A的解码器装置150的信息组织器304可执行方框510处的功能。 
在方框510处组织描述性信息之后，过程500继续进行到方框515，在所述方框515处，解码器装置提供与第二层中的多媒体数据的处理相关的指令。所述第二层可为上层或下层。上文所论述的实例已涉及下层(例如，传送层和/或同步层)向上层(例如，应用层)提供指令。然而，下文所论述的方法将展示，上层也可基于在上层中获得的描述性信息而向下层提供指令。 
在一个方面中，解码器装置提供与待在另一层(例如，应用层)中执行的错误控制方法相关的指令。错误控制方法可包括各种错误恢复技术。在错误恢复技术中，尝试补救错误数据中所含有的变量值。这些方法可包括使用上文论述的标头目录(如果在方框505处接收到所述标头目录的话)以识别序列层包的帧有效负荷的大小。标头目录可含有识别编码类型、传送层包数目和大小、时序信息等的信息。 
可执行的另一形式的错误控制是错误隐藏。错误隐藏技术通常涉及从其它已经接收 和/或解码的像素值来估计像素值。错误隐藏技术可使用时间和/或空间隐藏。举例来说，如果P帧的一部分是错误的，那么可将错误隐藏选择为基于已经解码的先前帧的时间隐藏。如果B帧的一部分是错误的，那么可使用来自两个其它经接收和/或经解码的帧的时间预测。 
可执行的另一形式的错误控制是FRUC。在FRUC技术中，基于一个或一个以上其它帧来构造完整帧。FRUC技术可使用与用于帧的部分的时间隐藏技术相似的时间隐藏技术，但仅对所述完整帧执行。 
在一个方面中，图3A的解码器装置150的错误控制决策元件306执行方框515处的动作。错误控制决策元件306使用已在方框310处组织的错误分布特征来确定推荐执行各种错误控制技术中的哪一种。下文论述用于确定推荐哪一种错误控制技术的方法的细节。在一些情况下，错误控制决策元件306可确定没有错误控制技术是可行的且可推荐跳过用于一个或一个以上帧的错误控制。在此情况下，可改为显示已被成功解码的上一帧。在一个方面中，将在方框515处确定的错误控制方法存储于如表3中所示的帧信息表的“动作”字段中。将帧信息表传递到其中执行错误控制方法的层。视频解码器从帧信息表中取得相应帧的“动作”项并将其用作引导解码过程的起始点。应注意，可组合、省略、重新布置或以其任何组合处理过程500的一些方框。 
图5B为说明在例如图1中所说明的系统中处理多媒体数据的方法520的另一实例的流程图。方法520可在解码器装置的具有在下层中执行图5A的方法500的下层的应用层中执行。 
方法520在方框525处开始，在所述方框525处，在执行方法520的层处接收多媒体数据。多媒体数据可为多媒体数据的部分，例如帧、切片或像素区块。在一个方面中，在方框525处所接收的多媒体数据的部分已在例如传送层和/或组合传送层包以形成完整同步层包的同步层等下层处被编译。完整同步层包可为完整帧或可被解码的视频的某其它部分。在一些方面中，在方框525处所接收的多媒体数据的部分以其可在多媒体序列中显示的次序被接收。图1中所展示的解码器装置150的多媒体解码器子系统308可执行方框525处的动作。 
在方框525处接收多媒体数据之后，执行过程520的解码器层在方框530处从第一层接收关于多媒体数据的描述性信息。第一层可为下层(例如，传送层或同步层)。在方框530处所接收的描述性信息可在上文论述的过程500的方框510处被识别、编译、收集、维持、旗标表示或产生。在方框530处所接收的描述性信息可具有包括例如上文在 表3或表4中所示的那些条目等条目的帧信息表的形式。帧信息表可包括与处理所述多媒体数据相关的推荐“动作”。图1中所示的解码器装置150的多媒体解码器子系统308可执行方框530处的动作。 
在方框525处接收多媒体数据和在方框530处接收关于多媒体数据的描述性信息之后，过程520在方框535处继续，在所述方框535处，第二层至少部分基于所接收的描述性信息而处理所接收的多媒体数据。如果描述性信息含有推荐的“动作”，那么执行过程520的解码器子系统可能使用或可能不使用所推荐的动作。如上文所论述，所推荐的动作可包含一个或一个以上错误控制技术，其中包括(但不限于)错误恢复技术、错误隐藏技术或跳过解码。解码器装置依据可在错误恢复期间恢复什么数据而可能遵循或可能不遵循所推荐的动作。举例来说，组织在方框530处接收的描述性信息的下层过程可能尚未能识别在错误数据部分中有多少帧。上层错误恢复技术可能能够识别所述错误数据部分中的帧的数目，且可选择执行尚未在帧信息表的“动作”字段中推荐的一些错误恢复或隐藏技术。图1中所示的解码器装置150的多媒体解码器子系统308可执行方框535处的动作。应注意，可组合、省略、重新布置或以其任何组合处理过程520的一些方框。 
图5C为说明在例如图1中所说明的系统中处理多媒体数据的方法540的另一实例的流程图。方法540在方框545处开始，在所述方框545处，解码器装置接收经编码的多媒体数据。在方框545处执行的动作可类似于在图5A中所说明的过程500的方框505处执行的那些动作。图3A中的解码器装置150的接收器元件302可执行方框545处的功能。 
过程540的剩余动作包括在下层处执行的动作550和在上层处执行的动作570。下层动作550包括某些可与在图5A中所说明的过程500中执行的一些动作类似的动作。同样，上层动作570包括某些可与在图5B中所说明的过程520中执行的一些动作类似的动作。 
图5C中所说明的方法540可由例如图6中所示的多层多媒体解码器子系统来执行。在一个方面中，多媒体解码器600包含位于传送层和同步层中的下层媒体模块子系统605。多媒体解码器600还包括位于应用层中的上层子系统。媒体模块子系统605可包括图3A中所说明的信息组织器304和错误控制决策子系统306。应用层包括多媒体解码器，所述多媒体解码器包括视频解码层(VDL)610和错误控制子系统615。下层媒体模块向上层提供描述性信息和/或指令，如向上箭头620所指示。上层子系统610和615可向下 层提供反馈，如箭头625所指示。 
参看图5C，在方框545处接收经编码的多媒体数据之后，过程540在方框555处继续，在所述方框555处，下层组织关于所接收的多媒体数据的描述性信息。在方框555处所执行的动作可类似于在图5A中所说明的过程500的方框510处所执行的那些动作。所述描述性信息可包括例如表3和表4中所说明的信息等上文论述的信息中的任何信息或全部信息。 
在方框555处组织描述性信息之后，过程540在方框560处继续，在所述方框560处，确定与多媒体数据的处理相关的指令。可基于错误分布和在方框555处组织的其它描述性信息来确定所述指令。另外，在过程540中，下层接收来自上层的反馈。反馈可包括与上层中的多媒体数据的处理相关的信息。反馈可包括例如多媒体数据的特定部分的处理时间、上层中所执行的处理动作(例如，错误控制动作)和处理状态(例如，哪些帧已被解码并被显示)等信息。反馈可用于在方框555处重新组织描述性信息。下文论述用于在方框560处确定与多媒体数据的处理相关的指令的方法的细节。图5A中的解码器装置150的错误控制决策子系统306可执行方框560处的动作。 
在方框565处，下层子系统将与多媒体数据的处理相关的描述性信息和/或指令提供给上层子系统。在方框575处，上层子系统接收描述性信息和/或指令。多媒体解码器子系统308可执行方框565和575处的动作。 
在方框575处接收描述性信息和/或指令之后，过程540在方框580处继续，在所述方框580处，上层子系统基于指令和/或描述性信息来处理多媒体数据。在方框580处执行的动作可类似于在图5B中所说明的方法520的方框535处执行的那些动作。如果描述性信息含有推荐的“动作”，那么执行过程540的解码器子系统可能使用或可能不使用所推荐的动作。如上文所论述，所推荐的动作可包含一个或一个以上错误控制技术，其中包括(但不限于)错误恢复技术、错误隐藏技术或跳过解码。解码器装置依据可在错误恢复期间恢复什么数据而可能遵循或可能不遵循所推荐的动作。举例来说，在方框555处组织描述性信息的下层过程可能尚未能识别在错误数据部分中有多少帧。上层错误恢复技术可能能够识别所述错误数据部分中的帧的数目，且可选择执行尚未在帧信息表的“动作”字段中推荐的一些错误恢复或隐藏技术。图1中所示的解码器装置150的多媒体解码器子系统308可执行方框580处的动作。 
过程540在方框585处继续，在所述方框585处，上层多媒体解码器基于在上层动作570中执行的处理而用反馈信息指令下层。反馈可包括解码多媒体数据的某一部分所 需要的处理时间或已完全解码所述数据部分的处理时间。通过将完整处理时间与在方框545处所接收的新多媒体数据的呈现时间戳记进行比较，如果上层处理时间基于过去的处理效能而展示落后的指示，那么下层过程可指令上层跳过某些帧(例如，B帧)。可将在下层处接收的反馈信息组织到在方框555处所组织的描述性信息中。 
反馈还可包括关于上层中所执行的处理动作的细节。举例来说，反馈可指示已针对特定帧或多媒体数据的其它部分进行的特定错误控制技术和/或正常解码动作。反馈还可包括处理状态(例如，帧的成功解码或未成功解码)。通过将处理动作和处理状态反馈信息包括于方框555处所组织的数据中，下层可基于更新的描述性信息而调整在方框560处所确定的指令。如果处理经备份，那么下层可指令上层跳过对例如B帧等某些帧或增强层数据的解码。图1中所示的解码器装置150的多媒体解码器子系统308可执行方框585处的动作。应注意，可组合、省略、重新布置或以其任何组合处理过程540的一些方框。 
图7为说明图5A和图5C中所说明的方法中的组织可用于执行某些动作的描述性信息的方法的实例的流程图。可执行过程700以在图5A中所说明的过程500的方框510处或在图5C中所说明的过程540的方框555处组织描述性信息。过程700在方框705处开始，在所述方框705处，将(例如)在过程500中的方框505处接收到的多媒体数据的超帧存储于存储器缓冲器中。超帧是一群组通常可独立解码的帧。超帧可包括覆盖范围从约0.2秒到约2.0秒的固定时间周期的帧。还可根据固定数目的构成帧来设定超帧的大小，从而具有可变时间周期。超帧大小可经选择以实现合理的获取时间。在方框705处存储多媒体数据的超帧之后，过程700在方框710处继续，在所述方框710处，确定数据是否包括多个层(例如，基础层和一个或一个以上增强层)。如果仅在超帧中编码单个数据层，那么过程700在方框715A处继续。如果在超帧中编码两个或两个以上数据层，那么过程700在方框715B处继续。超帧标头可含有指示超帧内是否存在多个层的旗标。在方框715A或715B处，初始化帧信息表(FIT)。初始化FIT可经执行以将字段设定为某些默认值。在初始化FIT之后，过程700前进到方框720A或方框720B，这取决于超帧是否含有多个层。在任一情况下，在方框720A或方框720B处输入可选标头目录中所含有的信息。标头目录可含有如上文所论述的信息中的任何信息。 
分别在方框715A或方框715B处初始化FIT且在方框720A或方框720B处输入可选标头目录之后，过程700前进以分别在方框725到740或方框745到760处循环通过超帧。在方框730和750处，解码器装置识别完整的视频存取单元(VAU)，解码器装置可 通过可用的标头信息识别所述视频存取单元。标头信息可包括例如表1和表2中所示的传送标头或同步标头(或任何其它标头)中的字段的任一者。还可使用可选标头目录中的信息。将过程700中的VAU假定为帧，但也可在方框730或方框750处识别例如切片或区块等其它部分。在识别完整VAU之后，分别在方框735或方框755处识别经识别的VAU内的视频数据的错误部分。可通过标头检验和失效或传送层检验和失效等来识别所述错误部分。用于检测错误数据的许多技术为所属领域的技术人员所知。错误部分可用于编译FIT的错误分布信息(参见表4中的PLP错误分布和PLP错误率字段)。在方框735或方框755处识别VAU的错误部分之后，分别在方框740或方框760处组织FIT信息。FIT中的信息可包括上文在表4中所论述的信息中的任何信息。过程700继续循环通过超帧(方框725到740或方框745到760)，直到在决策方框725或方框745处识别到超帧的末端为止。当识别到超帧的末端时，过程700继续进行到方框800，在所述方框800处，确定错误控制动作。图3A中的解码器装置150的信息组织器组件304可执行过程700的动作。应注意，可组合、省略、重新布置或以其任何组合处理过程700的一些方框。 
图8A和8B为说明图7中所说明的方法中的确定错误控制动作的方法的实例的流程图。过程800还可经执行以确定错误控制动作并在图5A中所说明的过程500的方框515处或在图5C中所说明的过程540的方框560和565处提供相应指令。在一个方面中，过程800用于确定待提供给上层的错误控制动作。举例来说，基于多媒体帧的错误分布和/或错误率而确定错误控制动作。在另一方面中，过程800识别上层在执行所推荐的错误控制动作时可能会使用的多媒体数据的其它部分。 
如上文所论述，可在例如基础层(例如，最高有效位)和一个或一个以上增强层(例如，最低有效位)等多个层中编码一些多媒体数据。增强层还可含有B帧的所有数据。在这些情况下，FIT含有基础层和增强层两者的部分，且所述层中的任一层或所有层可能是错误的。图9绘示包括用于例如图1中所说明的系统的可缩放编码基础层和增强层的物理层包的实例的结构。基础层900含有多个PLP910，所述PLP910含有传送层标头915、同步层标头920和传送层检验和尾部925。基础层905可含有例如帧930(标记为F1)的I帧和例如帧935(标记为F3)的P帧的最高有效位。增强层950也含有PLP910、传送标头915、同步标头920和传送层检验和925。此实例中的增强层含有I帧930(标记为F1′)和P帧935(标记为F3′)的最低有效位。另外，增强层950含有从I帧930和P帧935双向预测的完整B帧940(标记为F2)的同步层包，其中在构造B帧F2之前组 合并解码基础层和增强层对F1、F1′和F3、F3′。过程800在考虑到此形式的可缩放编码的情况下进行设计。 
过程800在方框805处开始，在方框805处，解码器装置将标头信息集成到含有错误VAU的FIT的部分(例如在图7中所说明的过程700中的方框735和755处所识别的那些)中。标头信息可从正确接收的传送和/或同步层标头获得或从标头目录获得(如果接收到所述标头目录的话)。如果错误数据不能对特定PLP隔离(例如，由于同步丢失)，那么标头目录信息可用于识别PLP边界且可能填充FIT的“PLP错误分布”和/或“PLP错误比率”字段。如果标头目录不可用，那么可将“PLP错误比率”设定为100％。实例性方法800在确定推荐哪一错误控制“动作”时使用“PLP错误比率”。然而，熟练的技术人员将认识到在确定“动作”时利用“PLP错误分布”信息以及其它形式错误数据的方式。 
在方框805处填充与错误帧相关的FIT的字段之后，过程800前进以在方框810处开始循环通过超帧中的帧。在决策方框810处，解码器装置检查FIT PLP错误比率数据并确定连续丢失(即，错误)帧的数目是否大于阈值“丢失_阈值”。如果连续丢失帧的数目超过所述阈值，那么过程800在方框815处继续，在所述方框815处，将丢失帧的FIT的“动作”字段设定为推荐跳过解码丢失帧的值。可将“丢失_阈值”阈值设定为其中其它错误控制技术经确定为无效或经充分降级使得不被保证的帧数目。阈值“丢失_阈值”可在约3个帧到约6个帧的范围内。当针对每秒30个帧的帧速率以大于3个帧的时间距离执行时，时间隐藏技术的效能通常受到降级。较快的帧速率可允许较大的阈值，例如在每秒60个帧的帧速率下为约6个帧到约12个帧。在方框815处将用于丢失帧的“动作”设定为跳过之后，过程800继续进行到决策方框820。如果已到达超帧的末端，那么过程继续到图8B中所说明的过程的剩余部分。如果更多的帧留待处理，那么过程800继续返回到决策方框810。 
在决策方框810处，如果连续丢失的帧的数目不超过阈值(包括完全无错误帧的情况)，那么过程800在决策方框825处继续，在所述决策方框825处，FIT的“帧类型”字段用于确定当前帧是否为B帧。在此实例中，对B帧执行的错误控制动作不同于对P帧和I帧执行的那些动作。如果当前帧不为B帧，那么过程800在决策方框830处继续，在所述决策方框830处，将PLP错误比率(PLP_ERR)与阈值“P_阈值”进行比较。阈值“P_阈值”对PLP错误比率设定界限，满足所述界限，正常错误隐藏技术(例如，空间和时间错误隐藏)是有效的。“P_阈值”阈值可在约20％到约40％的范围内。如果PLP 错误比率超过“P_阈值”阈值，那么在方框835处将用于当前帧的“动作”设定为等于跳过。如果PLP错误比率不超过所述阈值，那么在方框840处将用于当前帧的“动作”设定为指示执行正常错误隐藏(EC)的值。在方框835或方框840处设定用于当前帧的“动作”之后，过程800继续进行到决策方框820，且如果更多的帧剩余在超帧中，那么循环返回到方框810，如上文所论述。 
返回到决策方框825，如果当前帧经确定为B帧，那么过程800继续进行到决策方框845。在所示的实例中，假定B帧位于I帧与P帧之间或位于两个P帧之间。如果先前帧的“动作”已被确定为跳过“动作”，那么在方框850处，过程800将当前B帧的“动作”也设定为跳过。由于从其预测当前B帧的数据不可用，因此B帧的正常构造是不可行的且还可能降级其它错误隐藏选项。 
返回到决策方框845，如果并未将先前帧的“动作”确定为跳过，那么过程800继续进行到方框855，在所述方框855处，将PLP错误比率与另一阈值“B_阈值”进行比较。如果PLP错误比率大于“B_阈值”，那么在方框860处，将用于当前帧的“动作”设定为FRUC，否则在方框865处，将用于当前帧的“动作”设定为正常错误隐藏。此实例中用于B帧的正常错误隐藏是来自两个经解码的帧的时间预测。所述帧通常包含在B帧之前的帧和在B帧之后的帧。然而，还可使用两个先前或两个随后B帧。使用当前B帧的无错误部分的空间隐藏也可与在方框860处确定的正常错误隐藏一起使用。由于存在两个参考帧供选择且在预测时不需要使用两者，因此阈值“B_阈值”可高于用于P帧的阈值“P_阈值”。然而，在一些情况下，与正常错误隐藏相比，FRUC可更为稳固的且可更好地隐藏，因此可将“B_阈值”的值设定为低于“P_阈值”的值。“B_阈值”和“P_阈值”的值可取决于例如信道条件的类型和如何引入错误等条件。FRUC中所使用的隐藏可类似于正常B帧错误隐藏，但其是对全部帧执行。 
在决策方框820处已针对超帧中的所有帧作出“动作”决策之后，过程800继续进行到图8B中的方框870。从方框875到895的循环用可在上层中用于执行所决定的“动作”的信息来填充FIT表。在方框870处，过程800开始另一遍通过FIT(在开头处开始)，并循环通过所有基础和增强层帧。 
在决策方框875处，如果当前帧并非为B帧或待使用FRUC来隐藏的帧，那么过程在方框880处继续，在所述方框880处，使用用于时间错误隐藏的变量“跳过_数目”来填充FIT表。“跳过_数目”变量指示在时间上距离当前帧的帧数目，将使用时间错误隐藏从所述帧数目来预测当前帧。
图10A以图示方式说明当前P帧1005和位于当前帧之前三个帧的先前经解码的P帧1010的位置。在此实例中，将“跳过_数目”变量设定为等于三。因此，将不使用已由解码器跳过的P帧1015和1020。而是，可缩放当前P帧1005的运动向量1025(见经缩放的运动向量1030)以指向先前经解码的P帧1010。图10A将帧说明为一维的，但其实际上为二维的且运动向量1025指向先前帧中的二维位置。在图10A的实例中，帧1010中的对象1035在帧1005中向上移动。如果对象的运动相对恒定，那么运动向量1025的线性外推可准确地指向帧1010中的正确位置，进而将对象1035在帧1005中向上重新定位。对象1035的显示位置可在跳过的帧1015和1020中保持恒定。 
返回到图8B，在确定用于当前帧的“跳过_数目”变量之后，过程800在方框885处继续，在所述方框885处，将由“跳过_数目”变量指示的帧的旗标“MV_旗标”设定为向上层解码器指示应保存帧的经解码值以用于将来错误隐藏的值。图10B以图示方式说明用于其它错误帧的错误隐藏的经解码帧的旗标表示。在图10B的实例中，经解码的帧1040经旗标表示以用于使用正常错误隐藏来隐藏错误帧1045。经解码的帧1050和1055均经旗标表示以用于针对帧1060执行FRUC。这些仅为实例，且位于前面和/或后面的帧的其它组合可用于正常错误隐藏和FRUC。 
返回到图8B，在设定待用于隐藏当前帧的帧的MV_旗标之后，过程800在方框895处继续。在方框895处，解码器检验以查看是否已达到超帧的末端。如果已检测到超帧的末端，那么过程800结束于当前超帧。如果更多的帧剩余在超帧中，那么过程800返回到决策方框875以循环通过剩余帧。 
在方框875处，如果当前帧为B帧或待使用FRUC隐藏的帧，那么过程800在方框890处继续，在所述方框890处，确定定位两个帧的位置以执行双向预测的变量“B_数目”和“b_数目”。图10C以图示方式说明用于指示用于使用FRUC隐藏错误帧的两个经解码的帧的位置的变量(相同变量可用于错误的B帧)。当前错误帧1065已经确定为使用FRUC来隐藏。将变量“b_数目”设定为二以指示位于两个帧以外的先前帧1070是第一参考帧。在所示的实例中，帧1075是使用所接收的运动向量1085来从帧1070预测的。将变量“B_数目”设定为等于3以指示位于帧1070之前三个帧的帧1075是第二参考帧。在所示的实例中，经解码的帧1075是使用所接收的运动向量1085来从帧1070预测的。可缩放所接收的运动向量1085，从而产生经缩放的运动向量1090，以指向错误帧1065。帧1075和1070中由所接收的运动向量1085定位的经解码部分可接着用于隐藏帧1065的由经缩放的运动向量1090定位的部分。在此实例中，B帧1080不用于隐藏帧1065(B 帧通常不用于预测)。通常，最靠近的经正确解码的帧将用于执行错误隐藏。所述两个经解码的帧还均可位于正被隐藏的错误帧的前面或后面。 
在方框890处用“B_数目”和“b_数目”变量填充FIT之后，过程继续循环通过方框875到895，直到整个超帧的FIT被填充为止，此时过程800结束。在一个方面中，在将各个帧和FIT转发到上层以进行解码之前，使用过程700和过程800针对超帧中的所有帧填充FIT。以此方式，帧可以其待被解码的次序来转发。另外，可转发或不转发待被跳过的帧。在另一方面中，一旦针对帧完成过程700和800两者，便可将所述帧和FIT的相应条目转发到上层。图3A中的解码器装置150的错误控制决策子系统306可执行过程800的动作。 
实例性过程700和800将帧用作VAU。然而，VAU还可为切片或像素区块，且可针对这些部分而非帧填充FIT。应注意，可组合、省略、重新布置或以其任何组合处理过程700和800的一些方框。 
图11为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于在第一层中组织关于多媒体数据的描述性信息的装置，其中所述描述性信息与第二层中的多媒体数据的处理相关；和用于至少部分基于描述性信息而提供与第二层中的多媒体数据的处理相关的指令的装置。此方面的一些实例包括：其中所述接收装置包含接收器1102；其中所述组织装置包含信息组织器子系统1104；和其中所述提供装置包含错误控制决策子系统1106。 
图12为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于在第一层中组织关于多媒体数据的描述性信息的装置，其中所述描述性信息与第二层中的多媒体数据的处理相关；和用于至少部分基于描述性信息而提供与第二层中的多媒体数据的处理相关的指令的装置。此方面的一些实例包括：其中所述接收装置包含用于接收的模块1202；其中所述组织装置包含用于组织信息的模块1204；和其中所述提供装置包含用于提供指令的模块1206。 
图13为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于在上层中处理多媒体数据的装置；用于至少部分基于与上层中的多媒体数据的处理相关联的信息而指令下层的装置；和用于至少部分基于与上层中的多媒体数据的处理相关联的信息而在 下层中处理多媒体数据的装置。此方面的一些实例包括：其中所述接收装置包含接收器1302；其中所述上层处理装置包含应用层多媒体解码器子系统1308；其中所述用于指令的装置包含应用层多媒体解码器子系统1308；和其中所述下层处理装置包含传送/同步层多媒体解码器子系统1306。 
图14为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于在上层中处理多媒体数据的装置；用于至少部分基于与上层中的多媒体数据的处理相关联的信息而指令下层的装置；和用于至少部分基于与上层中的多媒体数据的处理相关联的信息而在下层中处理多媒体数据的装置。此方面的一些实例包括：其中所述接收装置包含用于接收的模块1402；其中所述上层处理装置包含用于在上层中处理多媒体的模块1408；其中所述用于指令的装置包含用于在下层中处理多媒体的模块1408；和其中所述下层处理装置包含用于在下层中处理多媒体数据的模块1406。 
图15为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置；用于从第一层接收关于所述多媒体数据的描述性信息的装置，其中所述描述性信息与第二层中的多媒体数据的处理相关；和用于至少部分基于所接收的描述性信息而在第二层中处理多媒体数据的装置。此方面的一些实例包括：其中所述用于接收多媒体数据的装置包含接收器1502；其中所述用于接收描述性信息的装置包含多媒体解码器1508；和其中所述处理装置包含多媒体解码器1508。 
图16为说明可用于在例如图1中所说明的系统中处理多媒体数据的解码器装置150的另一实例的功能方框图。此方面包括：用于接收多媒体数据的装置：用于从第一层接收关于所述多媒体数据的描述性信息的装置，其中所述描述性信息与第二层中的多媒体数据的处理相关；和用于至少部分基于所接收的描述性信息而在第二层中处理多媒体数据的装置。此方面的一些实例包括：其中所述用于接收多媒体数据的装置包含用于接收的模块1602；其中所述用于接收描述性信息的装置包含用于解码多媒体的模块1608；和其中所述处理装置包含用于解码多媒体的模块1608。 
所属领域的技术人员将了解可使用多种不同技艺和技术中的任一种来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示整个以上描述中可能提到的数据、指令、命令、信息、信号、位、符号和小片。 
所属领域的技术人员将进一步了解，结合本文所揭示的实例来描述的各种说明性逻 辑块、模块和算法步骤可实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了清楚说明硬件与软件的这种可交换性，上文已大体上在其功能性方面描述了各种说明性组件、块、模块、电路和步骤。将此功能性实施为硬件还是软件取决于特定应用和对整个系统强加的设计限制。熟练的技术人员可针对每一特定应用以不同方式实施所描述的功能性，但不应将此类实施方案决策解释为造成与所揭示方法的范围的脱离。 
结合本文所揭示的实例来描述的各种说明性逻辑块、组件、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文描述的功能的其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，所述处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心或ASIC核心的一个或一个以上微处理器，或任何其它此类配置。 
结合本文所揭示的实例来描述的方法或算法的步骤可直接在硬件、由处理器执行的软件模块或所述两者的组合中实施。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、光存储媒体或此项技术中已知的任何其它形式的存储媒体中。实例性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和向存储媒体写入信息。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻存在专用集成电路(ASIC)中。ASIC可驻存在无线调制解调器中。在替代方案中，处理器和存储媒体可作为离散组件驻存在无线调制解调器中。 
提供先前对所揭示实例的描述是为了使得所属领域的技术人员能够制作或使用所揭示的方法和设备。所属领域的技术人员将容易了解对这些实例的各种修改，且本文所界定的原理可应用于其它实例并且可添加额外元件。 
因此，已描述用以对多媒体数据执行高度有效且稳固的错误控制的方法和设备。

Claims (69)

1.一种处理多媒体数据的方法，其包含：
接收所述多媒体数据；
在第一层中组织关于所述多媒体数据的描述性信息，其中所述描述性信息与第二层中的所述多媒体数据的处理相关，其中，对所述描述性信息的组织是基于从所述第二层接收的反馈的，所述反馈包括与所述第二层中的所述多媒体数据的处理有关的信息；和
基于所述描述性信息而提供与所述第二层中的所述多媒体数据的所述处理相关的指令。
2.根据权利要求1所述的方法，其进一步包含将所述描述性信息传递到所述第二层。
3.根据权利要求1所述的方法，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、同步信息和预测编码相关信息中的一者或多者。
4.根据权利要求3所述的方法，其中，所述帧特征信息包括帧类型。
5.根据权利要求1所述的方法，其中所述多媒体数据包含一些错误数据，所述方法进一步包含组织所述描述性信息以包括表示所述错误数据在所述多媒体数据内的错误分布的信息。
6.根据权利要求5所述的方法，其进一步包含基于所述错误分布信息而确定所述指令。
7.根据权利要求1所述的方法，其进一步包含基于所述指令而改变所述第二层中的所述多媒体数据的所述处理。
8.根据权利要求1所述的方法，其中所述描述性信息包含元数据。
9.根据权利要求1所述的方法，其进一步包含基于错误分布信息而确定错误控制方法，其中提供给所述第二层的所述指令与所述所确定的错误控制方法相关。
10.根据权利要求9所述的方法，其中所述所确定的错误控制方法包含错误恢复、错误隐藏和内插帧中的一者或多者。
11.一种用于处理多媒体数据的设备，其包含：
接收器，其经配置以接收所述多媒体数据；
信息组织器，其经配置以在第一层中组织关于所述多媒体数据的描述性信息，
其中所述描述性信息与第二层中的所述多媒体数据的处理相关，其中，对所述描述性信息的组织是基于从所述第二层接收的反馈的，所述反馈包括与所述第二层中的所述多媒体数据的处理有关的信息；和
错误控制决策子系统，其经配置以基于所述描述性信息而提供与所述第二层中的所述多媒体数据的所述处理相关的指令。
12.根据权利要求11所述的设备，其中所述信息组织器进一步经配置以将所述描述性信息传递到所述第二层。
13.根据权利要求11所述的设备，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、同步信息和预测编码相关信息中的一者或多者。
14.根据权利要求13所述的设备，其中，所述帧特征信息包括帧类型。
15.根据权利要求11所述的设备，其中所述多媒体数据包含一些错误数据，且所述信息组织器进一步经配置以组织所述描述性信息以包括表示所述错误数据在所述多媒体数据内的错误分布的信息。
16.根据权利要求15所述的设备，其中所述错误控制决策子系统进一步经配置以基于所述错误分布信息而确定所述指令。
17.根据权利要求11所述的设备，其进一步包含多媒体解码器，所述多媒体解码器经配置以基于所述指令而改变所述第二层中的所述多媒体数据的所述处理。
18.根据权利要求11所述的设备，其中所述描述性信息包含元数据。
19.根据权利要求11所述的设备，其中所述错误控制决策子系统进一步经配置以基于错误分布信息而确定错误控制方法，其中提供给所述第二层的所述指令与所述所确定的错误控制方法相关。
20.根据权利要求19所述的设备，其中所述所确定的错误控制方法包含错误恢复、错误隐藏和内插帧中的一者或多者。
21.一种用于处理多媒体数据的设备，其包含：
用于接收所述多媒体数据的装置；
用于在第一层中组织关于所述多媒体数据的描述性信息的装置，其中所述描述性信息与第二层中的所述多媒体数据的处理相关，其中，对所述描述性信息的组织是基于从所述第二层接收的反馈的，所述反馈包括与所述第二层中的所述多媒体数据的处理有关的信息；和
用于基于所述描述性信息而提供与所述第二层中的所述多媒体数据的所述处理相关的指令的装置。
22.根据权利要求21所述的设备，其进一步包含用于将所述描述性信息传递到所述第二层的装置。
23.根据权利要求21所述的设备，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、同步信息和预测编码相关信息中的一者或多者。
24.根据权利要求23所述设备，其中，所述帧特征信息包括帧类型。
25.根据权利要求21所述的设备，其中所述多媒体数据包含一些错误数据，其中用于组织的装置组织所述描述性信息以包括表示所述错误数据在所述多媒体数据内的错误分布的信息。
26.根据权利要求25所述的设备，其进一步包含用于基于所述错误分布信息而确定所述指令的装置。
27.根据权利要求21所述的设备，其进一步包含用于基于所述指令而改变所述第二层中的所述多媒体数据的所述处理的装置。
28.根据权利要求21所述的设备，其中所述描述性信息包含元数据。
29.根据权利要求21所述的设备，其进一步包含用于基于错误分布信息而确定错误控制方法的装置，其中提供给所述第二层的所述指令与所述所确定的错误控制方法相关。
30.根据权利要求29所述的设备，其中所述所确定的错误控制方法包含错误恢复、错误隐藏和内插帧中的一者或多者。
31.一种处理多媒体数据的方法，其包含：
接收所述多媒体数据；
在上层中处理所述多媒体数据；
基于与所述上层中的所述多媒体数据的处理相关联的信息而指令下层；基于与所述上层中的所述多媒体数据的处理相关联的所述信息而在所述下层中处理所述多媒体数据；和
基于与所述上层中的所述多媒体数据的处理相关联的所述信息而在所述下层中组织关于所述多媒体数据的描述性信息，其中，所述上层中的所述多媒体数据的处理是基于所述描述性信息的。
32.根据权利要求3 1所述的方法，其进一步包含基于所述描述性信息而提供与所述上层中的所述多媒体数据的所述处理相关的指令。
33.根据权利要求31所述的方法，其中所述描述性信息包含元数据。
34.根据权利要求31所述的方法，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、同步信息和预测编码相关信息中的一者或多者。
35.根据权利要求34所述的方法，其中，所述帧特征信息包括帧类型。
36.根据权利要求31所述的方法，其中指令所述下层包含：
传递包含处理时间、处理动作和处理状态中的一者或多者的信息。
37.一种用于处理多媒体数据的设备，其包含：
接收器，其经配置以接收所述多媒体数据；
上层解码器子系统，其经配置以在上层中处理所述多媒体数据，并基于与所述上层中的所述多媒体数据的处理相关联的信息而指令下层；
下层解码器子系统，其经配置以基于与所述上层中的所述多媒体数据的处理相关联的所述信息而在所述下层中处理所述多媒体数据；和
信息组织器，所述信息组织器经配置以基于与所述上层中的所述多媒体数据的处理相关联的所述信息而在所述下层中组织关于所述多媒体数据的描述性信息，其中，所述上层中的所述多媒体数据的处理是基于所述描述性信息的。
38.根据权利要求37所述的设备，其进一步包含错误控制决策子系统，所述错误控制决策子系统经配置以基于所述描述性信息而提供与所述上层中的所述多媒体数据的所述处理相关的指令。
39.根据权利要求37所述的设备，其中所述描述性信息包含元数据。
40.根据权利要求37所述的设备，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、同步信息和预测编码相关信息中的一者或多者。
41.根据权利要求40所述的设备，其中，所述帧特征信息包括帧类型。
42.根据权利要求37所述的设备，其中所述上层解码器子系统进一步经配置以通过传递包含处理时间、处理动作和处理状态中的一者或多者的信息来指令所述下层。
43.一种用于处理多媒体数据的设备，其包含：
用于接收所述多媒体数据的装置；
用于在上层中处理所述多媒体数据的装置；
用于基于与所述上层中的所述多媒体数据的处理相关联的信息而指令下层的装置；
用于基于与所述上层中的所述多媒体数据的处理相关联的所述信息而在所述下层中处理所述多媒体数据的装置；和
用于基于与所述上层中的所述多媒体数据的处理相关联的所述信息而在所述下层中组织关于所述多媒体数据的描述性信息的装置，其中，所述上层中的所述多媒体数据的处理是基于所述描述性信息的。
44.根据权利要求43所述的设备，其进一步包含用于基于所述描述性信息而提供与所述上层中的所述多媒体数据的所述处理相关的指令的装置。
45.根据权利要求43所述的设备，其中所述描述性信息包含元数据。
46.根据权利要求43所述的设备，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、同步信息和预测编码相关信息中的一者或多者。
47.根据权利要求46所述的设备，其中，所述帧特征信息包括帧类型。
48.根据权利要求43所述的设备，其中所述用于指令所述下层的装置包含用于传递包含处理时间、处理动作和处理状态中的一者或多者的信息的装置。
49.一种处理多媒体数据的方法，其包含：
接收所述多媒体数据；
从第一层接收关于所述多媒体数据的描述性信息，其中所述描述性信息与第二层中的所述多媒体数据的处理相关，其中，所述第一层中的所述描述性信息是基于从所述第二层接收的反馈而组织的，所述反馈包括与所述第二层中的所述多媒体数据的处理有关的信息；和
基于所述所接收的描述性信息而在所述第二层中处理所述多媒体数据。
50.根据权利要求49所述的方法，其进一步包含：
在所述第二层中接收至少一个指令，其中所述指令基于所述描述性信息；和
基于所述所接收的指令而改变所述第二层中的所述多媒体数据的所述处理。
51.根据权利要求50所述的方法，其中所述所接收的指令与错误控制方法相关。
52.根据权利要求51所述的方法，其中所述错误控制方法包含错误恢复、错误隐藏和内插帧中的一者或多者。
53.根据权利要求49所述的方法，其中所述描述性信息包含元数据。
54.根据权利要求49所述的方法，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、同步信息和预测编码相关信息中的一者或多者。
55.根据权利要求54所述的方法，其中，所述帧特征信息包括帧类型。
56.一种用于处理多媒体数据的设备，其包含：
接收器，其经配置以接收所述多媒体数据；和
解码器，其经配置以从第一层接收关于所述多媒体数据的描述性信息，其中所述描述性信息与第二层中的所述多媒体数据的处理相关，且所述解码器经配置以基于所述所接收的描述性信息而在所述第二层中处理所述多媒体数据，其中，所述第一层中的所述描述性信息是基于从所述第二层接收的反馈而组织的，所述反馈包括与所述第二层中的所述多媒体数据的处理有关的信息。
57.根据权利要求56所述的设备，其中所述解码器进一步经配置以在所述第二层中接收至少一个指令，其中所述指令基于所述描述性信息，且所述解码器进一步经配置以基于所述所接收的指令而改变所述第二层中的所述多媒体数据的所述处理。
58.根据权利要求57所述的设备，其中所述所接收的指令与错误控制方法相关。
59.根据权利要求58所述的设备，其中所述错误控制方法包含错误恢复、错误隐藏和内插帧中的一者或多者。
60.根据权利要求56所述的设备，其中所述描述性信息包含元数据。
61.根据权利要求56所述的设备，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、同步信息和预测编码相关信息中的一者或多者。
62.根据权利要求61所述的设备，其中，所述帧特征信息包括帧类型。
63.一种用于处理多媒体数据的设备，其包含：
用于接收所述多媒体数据的装置；
用于从第一层接收关于所述多媒体数据的描述性信息的装置，其中所述描述性信息与第二层中的所述多媒体数据的处理相关，其中，所述第一层中的所述描述性信息是基于从所述第二层接收的反馈而组织的，所述反馈包括与所述第二层中的所述多媒体数据的处理有关的信息；和
用于基于所述所接收的描述性信息而在所述第二层中处理所述多媒体数据的装置。
64.根据权利要求63所述的设备，其进一步包含：
用于在所述第二层中接收至少一个指令的装置，其中所述指令基于所述描述性信息；和
用于基于所述所接收的指令而改变所述第二层中的所述多媒体数据的所述处理的装置。
65.根据权利要求64所述的设备，其中所述所接收的指令与错误控制方法相关。
66.根据权利要求65所述的设备，其中所述错误控制方法包含错误恢复、错误隐藏和内插帧中的一者或多者。
67.根据权利要求63所述的设备，其中所述描述性信息包含元数据。
68.根据权利要求63所述的设备，其中所述描述性信息包含帧特征信息、基础或增强数据识别信息、时序信息、编码类型、帧类型、同步信息和预测编码相关信息中的一者或多者。
69.根据权利要求68所述的设备，其中，所述帧特征信息包括帧类型。
CN2007800107721A 2006-04-04 2007-04-04 用于处理媒体数据的方法和装置 Active CN101690239B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US78944306P 2006-04-04 2006-04-04
US60/789,443 2006-04-04
US11/696,071 2007-04-03
US11/696,071 US8358704B2 (en) 2006-04-04 2007-04-03 Frame level multimedia decoding with frame information table
PCT/US2007/065940 WO2008063687A2 (en) 2006-04-04 2007-04-04 Frame level multimedia decoding with frame information table

Publications (2)

Publication Number Publication Date
CN101690239A CN101690239A (zh) 2010-03-31
CN101690239B true CN101690239B (zh) 2012-07-25

Family

ID=38861516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800107721A Active CN101690239B (zh) 2006-04-04 2007-04-04 用于处理媒体数据的方法和装置

Country Status (9)

Country Link
US (1) US8358704B2 (zh)
EP (1) EP2080384A2 (zh)
JP (3) JP2009537081A (zh)
KR (1) KR100983169B1 (zh)
CN (1) CN101690239B (zh)
BR (1) BRPI0709888A2 (zh)
CA (1) CA2645014A1 (zh)
RU (1) RU2008143381A (zh)
WO (1) WO2008063687A2 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062312A1 (en) * 2004-09-22 2006-03-23 Yen-Chi Lee Video demultiplexer and decoder with efficient data recovery
JP4971660B2 (ja) * 2005-03-31 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム、記憶媒体
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US20070230356A1 (en) * 2006-04-04 2007-10-04 Kalantri Sacchindrakumar G Method and apparatus for enabling FLO device certification
EP1855436A1 (en) * 2006-05-12 2007-11-14 Deutsche Thomson-Brandt Gmbh Method and apparatus for encrypting encoded audio signal
FR2906433B1 (fr) * 2006-09-22 2009-02-27 Canon Kk Procedes et dispositifs de codage et de decodage d'images, programme d'ordinateur les mettant en oeuvre et support d'informaton permettant de les mettre en oeuvre
KR100862662B1 (ko) 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
US9888817B2 (en) 2014-12-17 2018-02-13 Omachron Intellectual Property Inc. Surface cleaning apparatus
US7969929B2 (en) * 2007-05-15 2011-06-28 Broadway Corporation Transporting GSM packets over a discontinuous IP based network
US20080298468A1 (en) * 2007-06-04 2008-12-04 Mediaphy Corporation Error tagging for decoder
JP4469879B2 (ja) * 2007-08-07 2010-06-02 株式会社東芝 半導体メモリ蓄積装置とその素材管理方法
FR2921529B1 (fr) * 2007-09-21 2009-11-13 Alcatel Lucent Procede de transmission de donnees depuis une infrastructure d'un reseau de radiocommunication vers des equipements utilisateur, et equipements pour la mise en oeuvre du procede
KR100958257B1 (ko) * 2007-11-05 2010-05-17 한국전자통신연구원 특정 장소에서의 선택적 방송 채널 시청 방법 및 시스템
US20090124250A1 (en) * 2007-11-14 2009-05-14 Topaltzas Dimitrios M System and Method for Testing Mobile Telephone Devices using a Plurality of Communication Protocols
US8566108B2 (en) * 2007-12-03 2013-10-22 Nokia Corporation Synchronization of multiple real-time transport protocol sessions
US9210480B2 (en) * 2007-12-20 2015-12-08 Broadcom Corporation Video processing system with layered video coding and methods for use therewith
JP5284652B2 (ja) * 2008-01-30 2013-09-11 京セラ株式会社 データ処理装置及びデータ処理方法並びに電子機器
US9357233B2 (en) 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
US8902996B2 (en) 2008-02-26 2014-12-02 Richwave Technology Corp. Adaptive wireless video transmission systems and methods
US20100080143A1 (en) * 2008-09-30 2010-04-01 Topaltzas Dimitrios M System and Method for Testing Mobile Telephone Data Services
JP4600574B2 (ja) * 2009-01-07 2010-12-15 日本電気株式会社 動画像復号装置、動画像復号方法、及びプログラム
US20120121014A1 (en) * 2009-03-04 2012-05-17 Thomas Rusert Processing of Multimedia Data
US20100269142A1 (en) * 2009-04-16 2010-10-21 Nec Laboratories America, Inc. Utility optimization for scalable video multicast in wireless systems
US8064900B2 (en) * 2009-06-17 2011-11-22 Metrico Wireless, Inc. System, method and device for testing mobile telephone call performance
US9578325B2 (en) * 2010-01-13 2017-02-21 Texas Instruments Incorporated Drift reduction for quality scalable video coding
CN101964188B (zh) * 2010-04-09 2012-09-05 华为技术有限公司 语音信号编码、解码方法、装置及编解码系统
EP2571258B1 (en) * 2010-05-10 2018-04-04 LG Electronics Inc. Apparatus for transmitting a broadcast signal, apparatus for receiving a broadcast signal, and method for transmitting/receiving a broadcast signal using an apparatus for transmitting/receiving a broadcast signal
CA2743738A1 (en) 2010-06-18 2011-12-18 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Multilayer decoding using persistent bits
US20120033620A1 (en) * 2010-08-03 2012-02-09 Nxp B.V. Synchronization for data transfers between physical layers
KR101443061B1 (ko) * 2010-11-12 2014-09-26 한국전자통신연구원 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법
JP4929393B1 (ja) * 2010-11-19 2012-05-09 株式会社東芝 受信装置、受信方法および受信プログラム
US20120221884A1 (en) * 2011-02-28 2012-08-30 Carter Nicholas P Error management across hardware and software layers
US9843844B2 (en) * 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
TWI528793B (zh) * 2011-10-14 2016-04-01 立積電子股份有限公司 用以提供數位視訊內容錯誤復原的方法
KR101978811B1 (ko) * 2012-01-02 2019-08-29 삼성전자주식회사 계층 변조 및 복조 장치 및 이의 방법
WO2014003787A1 (en) * 2012-06-29 2014-01-03 Hewlett-Packard Development Company, L.P. Routing packet from edge device to home network or from home network to remote access network
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US9319684B2 (en) 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
US10194158B2 (en) 2012-09-04 2019-01-29 Qualcomm Incorporated Transform basis adjustment in scalable video coding
KR102059084B1 (ko) * 2012-10-18 2019-12-24 브이아이디 스케일, 인크. 모바일 멀티미디어 스트리밍에 대한 디코딩 복잡도
ES2603827T3 (es) * 2013-02-05 2017-03-01 Telefonaktiebolaget L M Ericsson (Publ) Método y aparato para controlar la ocultación de pérdida de trama de audio
US9530452B2 (en) * 2013-02-05 2016-12-27 Alc Holdings, Inc. Video preview creation with link
US9467700B2 (en) 2013-04-08 2016-10-11 Qualcomm Incorporated Non-entropy encoded representation format
KR20140122835A (ko) * 2013-04-11 2014-10-21 삼성전자주식회사 프로세스 병렬 처리 장치 및 방법
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
US20150009289A1 (en) * 2013-07-08 2015-01-08 Electronics And Telecommunications Research Institute Method and apparatus for providing three-dimensional (3d) video
US20150055527A1 (en) * 2013-08-26 2015-02-26 Qualcomm Incorporated Devices and methods for facilitating power savings by optimized data block decodes in wireless communications systems
US9412024B2 (en) * 2013-09-13 2016-08-09 Interra Systems, Inc. Visual descriptors based video quality assessment using outlier model
US9930250B2 (en) * 2013-09-15 2018-03-27 Mediatek Inc. Method and apparatus for performing image processing operation based on frame/algorithm selection
EP3130097A1 (de) * 2014-04-09 2017-02-15 Hirschmann Automation and Control GmbH Verfahren für ein redundantes übertragungssystem mit prp und mehrfachem datenpaketversand
WO2016031589A1 (ja) * 2014-08-29 2016-03-03 ソニー株式会社 受信装置、及び、受信方法
CN112468846B (zh) * 2014-12-05 2023-06-02 Lg 电子株式会社 广播信号发送方法和装置以及广播信号接收方法和装置
US9860537B2 (en) * 2014-12-16 2018-01-02 Intel Corporation Multi-focus image data compression
US11950745B2 (en) 2014-12-17 2024-04-09 Omachron Intellectual Property Inc. Surface cleaning apparatus
US11071032B2 (en) 2015-03-02 2021-07-20 Corning Optical Communications LLC Gateway coordinating multiple small cell radio access networks
US10728806B2 (en) * 2015-03-02 2020-07-28 Corning Optical Communications LLC Enhanced features for a gateway coordinating multiple small cell radio access networks
US10148510B2 (en) 2015-03-02 2018-12-04 Spidercloud Wireless, Inc. Topology discovery and management and SON orchestration
US10349313B2 (en) * 2015-03-02 2019-07-09 Corning Optical Communications LLC Enhanced features for a gateway coordinating multiple small cell radio access networks
KR102268856B1 (ko) * 2015-03-11 2021-06-24 한국전자통신연구원 미디어 데이터 송신 방법 및 장치
US10129805B2 (en) 2015-03-12 2018-11-13 Spidercloud Wireless, Inc. Hitless software upgrade for a virtualized gateway coordinating multiple small cell radio access networks
US11212539B2 (en) 2017-07-28 2021-12-28 Nvidia Corporation Efficient lossless compression of captured raw image information systems and methods
CN108777606B (zh) * 2018-05-30 2021-07-27 Tcl华星光电技术有限公司 解码方法、设备及可读存储介质
US10986339B2 (en) * 2019-02-08 2021-04-20 Tencent America LLC Method and apparatus for harmonization between transform skip mode and multiple transform selection
US11798128B2 (en) 2020-01-02 2023-10-24 Texas Instruments Incorporated Robust frame size error detection and recovery mechanism to minimize frame loss for camera input sub-systems
CN115053528A (zh) * 2020-01-02 2022-09-13 德克萨斯仪器股份有限公司 稳健的帧尺寸错误检测和恢复机制
CN117376632B (zh) * 2023-12-06 2024-02-06 中国信息通信研究院 基于智能深度合成的数据恢复方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1230856A (zh) * 1998-02-13 1999-10-06 松下电器产业株式会社 解码装置和解码方法
CN1258168A (zh) * 1998-11-02 2000-06-28 三星电子株式会社 视频编码和译码方法
CN1350377A (zh) * 2000-10-19 2002-05-22 华为技术有限公司 一种基于ip应用的抗误码编解码方法
US6530055B1 (en) * 1999-04-26 2003-03-04 Oki Electric Industry Co, Ltd. Method and apparatus for receiving and decoding coded information, including transfer of error information from transmission layer to coding layer
CN1710911A (zh) * 2004-06-19 2005-12-21 三星电子株式会社 处理数字多媒体广播系统中的传输错误的方法和设备
CN1722834A (zh) * 2004-07-13 2006-01-18 三星电子株式会社 使用通用串行总线模块的数据传送设备和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614847B1 (en) * 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
JP3931595B2 (ja) * 2001-07-10 2007-06-20 株式会社日立製作所 データ修正装置及びデータ修正方法
WO2004047010A1 (en) 2002-11-15 2004-06-03 The Arizona Board Of Regents On Behalf Of The University Of Arizona Methods for decoding corrupt jpeg2000 codestreams
BRPI0410300A (pt) * 2003-05-16 2006-05-23 Thomson Licensing receptor unificado para sistemas de modulação em camadas e hierárquica
US20070086515A1 (en) * 2003-12-09 2007-04-19 Koninkiljke Phillips Electronics N.V. Spatial and snr scalable video coding
EP1772017A2 (en) 2004-07-20 2007-04-11 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
US9055298B2 (en) * 2005-07-15 2015-06-09 Qualcomm Incorporated Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1230856A (zh) * 1998-02-13 1999-10-06 松下电器产业株式会社 解码装置和解码方法
CN1258168A (zh) * 1998-11-02 2000-06-28 三星电子株式会社 视频编码和译码方法
US6530055B1 (en) * 1999-04-26 2003-03-04 Oki Electric Industry Co, Ltd. Method and apparatus for receiving and decoding coded information, including transfer of error information from transmission layer to coding layer
CN1350377A (zh) * 2000-10-19 2002-05-22 华为技术有限公司 一种基于ip应用的抗误码编解码方法
CN1710911A (zh) * 2004-06-19 2005-12-21 三星电子株式会社 处理数字多媒体广播系统中的传输错误的方法和设备
CN1722834A (zh) * 2004-07-13 2006-01-18 三星电子株式会社 使用通用串行总线模块的数据传送设备和方法

Also Published As

Publication number Publication date
EP2080384A2 (en) 2009-07-22
CA2645014A1 (en) 2008-05-29
JP2009537081A (ja) 2009-10-22
CN101690239A (zh) 2010-03-31
JP5507606B2 (ja) 2014-05-28
JP2012165431A (ja) 2012-08-30
WO2008063687A3 (en) 2009-10-22
BRPI0709888A2 (pt) 2011-07-26
JP2014042288A (ja) 2014-03-06
KR20090006163A (ko) 2009-01-14
US20070291836A1 (en) 2007-12-20
JP5705941B2 (ja) 2015-04-22
RU2008143381A (ru) 2010-05-10
US8358704B2 (en) 2013-01-22
KR100983169B1 (ko) 2010-09-20
WO2008063687A2 (en) 2008-05-29

Similar Documents

Publication Publication Date Title
CN101690239B (zh) 用于处理媒体数据的方法和装置
CN102396221B (zh) 阻止特技模式操作的支持
US7103669B2 (en) Video communication method and system employing multiple state encoding and path diversity
US20030128755A1 (en) Video codec method in error resilient mode and apparatus therefor
US6952450B2 (en) Unequal error protection of video based on motion vector characteristics
Gringeri et al. Robust compression and transmission of MPEG-4 video
CN101790098A (zh) 用于流式多媒体中优化错误管理的解码器架构
EP1882343A2 (en) Improving error resilience using out of band directory information
Cai et al. An FEC-based error control scheme for wireless MPEG-4 video transmission
CN101313584A (zh) 信道切换帧
Li et al. Data partitioning and reversible variable length codes for robust video communications
Cai et al. FEC-based video streaming over packet loss networks with pre-interleaving
Yin et al. Robust error-resilient approach for MPEG video transmission over Internet
EP1384381A1 (en) Method and device for encoding mpeg-4 video data
GB2332116A (en) Video CODEC method in error resilient mode
CN101176353B (zh) 用于流式多媒体中优化错误管理的解码器架构
TW200803523A (en) Frame level multimedia decoding with frame information table
WO2002019708A1 (en) Dual priority video transmission for mobile applications
KR100899814B1 (ko) 선별적 ｐｃｐ로부터 얻은 ｒｃｐ 슬라이스를 이용한 에러내성 인코딩 및 디코딩 방법 및 장치
JP2000138931A (ja) 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置
CN101218798A (zh) 使用频带外的目录信息改进抗错性
Ling Error-Resilient Coding Tools In MPEG-4
Conci et al. Multiple description video coding by coefficients ordering and interpolation
Superiori et al. Fehlerverschleierungsanalyse in H264/Advanved Video Coding-codierten Videosequenzen
Zaib Transcoding of MPEG-4 compressed video over error-prone channels

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant