CN1965587B - 在允许时域分级的混合视频压缩中进行帧预测的方法和装置 - Google Patents

在允许时域分级的混合视频压缩中进行帧预测的方法和装置 Download PDF

Info

Publication number
CN1965587B
CN1965587B CN200580018470XA CN200580018470A CN1965587B CN 1965587 B CN1965587 B CN 1965587B CN 200580018470X A CN200580018470X A CN 200580018470XA CN 200580018470 A CN200580018470 A CN 200580018470A CN 1965587 B CN1965587 B CN 1965587B
Authority
CN
China
Prior art keywords
frame
time domain
domain classification
deleting
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200580018470XA
Other languages
English (en)
Other versions
CN1965587A (zh
Inventor
陈裴松
维贾亚拉克施密·R·拉维德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN1965587A publication Critical patent/CN1965587A/zh
Application granted granted Critical
Publication of CN1965587B publication Critical patent/CN1965587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及用于提供应用在数字多媒体中的时域分级帧的方法和装置。该方法包含使用可删除的单向预测时域分级帧与帧内编码帧和/或帧间编码帧一起通信。该方法包含有选择性地删除时域分级帧而不予传输或不予解码的能力，以满足例如能量限制、数据率限制、计算限制或信道条件。所提出的实例包括编码器、代码转换器和解码器，其中可以做出丢弃可删除时域分级帧的判决。

Description

在允许时域分级的混合视频压缩中进行帧预测的方法和装置
按照35U.S.C.§119的优先权声明
本专利申请要求2004年4月7日提交的题为“METHOD ANDAPPARATUS FOR PREDICTION FRAME IN HYBRID VIDEOCOMPRESSION TO ENABLE TEMPORAL SCALABILITY”的临时申请No.60/560,433，和2004年11月4日提交的题为“METHOD ANDAPPARATUS FOR PREDICTION FRAME IN HYBRID VIDEOCOMPRESSION TO ENABLE TEMPORAL SCALABILITY”的临时申请No.60/625,700的优先权，上述两个临时申请已转让给本申请的受让人，并通过引用将其清楚地结合在本文中。
技术领域
本发明涉及用于分发以能提供时域分级(temporal scalability)的方式编码的数字数据的方法、装置和系统。
技术背景
由于因特网和无线通信的飞速发展和巨大成功，以及对于多媒体服务日益增长的需求，通过因特网和移动/无线信道的流媒体已引起了极大的注意。在不同种类的网际协议(IP)网络中，视频可以由服务器提供，由一个或多个客户端传送。有线连接包括拨号上网、综合服务数字网(ISDN)、电缆、数字用户线协议(统称为xDSL)、光纤、局域网(LAN)、广域网(WAN)等等。传输模式既可以是单播也可以是多播。各种单独的客户端设备包括个人数字助理(PDA)、膝上型计算机、桌上型计算机、机顶盒、电视、高清晰度电视、移动电话等等，这些设备对于同一内容同时需要不同带宽的位流。连接带宽可能随着时间而快速改变(从9.6kbps到100Mbps，以及100Mbps以上)，并且这种改变可能比服务器的反应更快。
移动/无线通信与不同种类IP网络相似。因为移动/无线信道常常由于多径衰落、阴影效应、码间串扰和噪声干扰而被严重损害，因此通过这些信道传送多媒体内容是极具挑战性的。另外一些原因，例如移动性和竞争通信，也引起带宽变化和损失。信道噪声和被服务用户数量决定信道环境的时变特性。除了环境条件，由于地理位置以及移动漫游，目标网络会从第二代蜂窝网络到第三代蜂窝网络到宽带纯数据网络不断改变。影响可用带宽的所有这些变化都要求多媒体内容传输的自适应速率调整，即使在运行中。因此，在不同种类的无线/有线网络上成功传输视频需要高效编码，以及对变化的网络条件、设备特性和用户偏好的适应性，同时对损耗有复原能力。
为了满足不同的用户需求并适应信道变化，一个视频可以产生多个独立版本的位流，每个版本满足基于传输带宽、用户显示和计算能力的一类约束，但对于服务器存储和多播应用来说这不是有效率的。在分级编码中，在服务器上构造适合高端用户的单个宏位流(macro-bitstream)，用于低端应用的位流只作为该宏位流的子集被嵌入。这样，通过有选择地传输子位流(sub-bitstream)，单个位流就能适应各种应用环境。由分级编码所提供的另一优点是，用于在易错信道中进行鲁棒性视频传输。错误保护和错误隐藏也能容易操作。对于包含最重要信息的基本层位，则应使用更可靠的传输信道或者更好的错误保护。
在诸如MPEG-1、MPEG-2、MPEG-4(统称为MPEG-x)、H.261、H.262、H.263和H.264(统称为H.26x)的混合编码器中，具有空域分级、时域分级和信噪比(SNR)分级。在混合编码中，通过运动补偿预测(MCP)来消除时域冗余。通常把视频分成一系列图像组(GOP)，其中每一GOP都以帧内编码帧开始，后接一组排列的前向预测帧(P)和双向预测帧(B)。P帧和B帧都是帧间编码帧。在大部分MPEG类编码器中，B帧是时域分级的关键。然而，某些类，例如MPEG-4简单类和H.264基本规范类不支持B帧。
在MPEG-4中，基于解码特定位流所需要的解码器能力，类(profile)和级(level)提供了一种定义语法和语义子集的方式。类是整个位流语法的已定义子集。级是施加于位流中参数上的约束的已定义集合。对于任何给定的类，级通常与解码器处理负荷和存储能力相对应。因此类和级对位流进行约束并因而对解码位流的能力进行了限制。通常，如果解码器能够正确解码在特定级上由特定类规定的所有语法元素的所有允许值，则认为该解码器在该级上与该类是一致的。
本发明的目标是提供一种方法和装置，该方法和装置提供简单且有效的时域分级，所提供的时域分级也符合MPEG-4简单类和H.264基本规范类。在ISO/IEC 14496-2中对MPEG-4标准进行了描述，在ISO/IEC 14496-10中对H.264标准进行了描述。
发明内容
描述了一种编码方案，用于在视频压缩和传输方案如MPEG-x或H.26x中提供时域分级，并且为符合MPEG-4简单类和H.264基本规范类的设备提供时域分级。
在一个例子中，编码器或者代码转换器可以创建单个位流，可以使该位流适应于为多个用户提供不同的数据率和视频质量。该单个位流可在运行中创建或存储在存储器中。可以从视频流中忽略时域分级帧，例如，以便满足带宽要求，满足诸如环境噪声的信道条件，或者传输可变质量的视频。
在另一个例子中，为了例如节省电池能量或者解码时间，解码器可以选择忽略解码时域分级帧。
对附图的简要说明
图1A说明了传统MPEG-4简单类数据流；
图1B说明了允许时域分级的传统编码数据流；
图2说明了根据本发明的前向预测时域分级方案的实例；
图3说明了根据本发明的后向预测时域分级方案的实例；
图4说明了使用本发明的前向预测单向时域分级帧的用于显示和编码处理的帧排序的实例；
图5是用于编码和解码流图片的一般通信系统的结构方框图；
图6是代码转换器设备的结构方框图；
图7是说明根据本发明的包括时域分级的编码处理实例的流程；和
图8是说明根据本发明的包括时域分级的视频传输处理实例的流程图。
详细说明
在几个通信系统中，对待传输的数据进行压缩以便能更有效地利用可用的带宽。例如，运动图像专家组(MPEG)开发了几个涉及数字数据传送系统的标准。MPEG-4标准被开发用于通常经历高数据损失的低数据率到高数据率信道。相似的标准是H.264，该标准由ITU-T视频编码专家组(VCEG)跟ISO/IEC MPEG一同开发。
MPEG-x和H.26x标准描述了数据处理和操作技术，这些技术适合于使用定长或变长信源编码技术的视频、音频和其他信息的压缩和传输。具体而言，上面提到的标准，跟其他混合编码标准和技术将使用帧内编码技术(例如，游程编码，哈夫曼编码等)和帧间编码技术(例如，前向和后向预测编码，运动补偿等)来压缩视频信息。尤其是，在视频压缩系统中，混合视频处理系统的特征在于利用帧内和/或帧间运动补偿编码对视频帧进行基于预测的压缩编码。
本文描述了编码视频流的方法、装置和系统，该视频流包括帧内编码帧、前向和后向预测帧以及单向预测时域分级帧。在视频传输过程中，时域分级可在始发设备、中间设备或接收设备中进行。
帧内编码是指编码一个图片(一场或一帧)时不参考任何其他图片，但帧内编码帧可以用作其他帧的参考。术语“内帧(intra-frame)”，“帧内编码帧(intra-coded frame)”和“I帧(I frame)”都是通过在本申请中使用的帧内编码所形成的视频对象的实例。
帧间或预测编码是指参考其他图片来编码图片(一场或者一帧)。与帧内编码帧相比，帧间编码帧或预测编码帧可更高效率地进行编码。本申请中将使用的帧间编码帧的例子有预测帧(前向预测或后向预测，也称为“P帧”)，双向预测帧(也称为“B帧”)和单向预测时域分级帧(也称为“P*帧”)。其他用于帧间编码的术语包括高通(high-pass)编码，残差编码，运动补偿内插和其他为本领域的技术人员所熟知的术语。
在通常的MPEG解码器中，对照参考帧(帧内编码帧或另一预测帧可用作参考帧)对预测编码像素块(也就是，由一个或多个运动矢量和残差成分所组成的块)进行解码。图1A说明了传统的MPEG-4简单类数据流，描述了GOP的帧相关性。GOP10由起始的I帧2，后接数个前向预测P帧14构成。P帧对前面的I或P帧的依赖性会限制只支持前向预测帧的系统(诸如与MPEG-4简单类和H.264基本规范类一致的系统)应用时域分级。删除P帧14中的任一个都可能导致丢失对解码其他P帧至关重要的信息。删除P帧可能导致，例如，视频抖动或者直到下一个I帧16为止解码器都不能连续解码，I帧16标志下一个GOP的开始。
时域分级问题的一个解决办案是现有技术中所使用的双向预测帧。图1B举例说明了允许时域分级的传统编码数据流，其描述了GOP的帧相关性。GOP20由I帧22A、前向预测P帧24和双向预测B帧26组成。每一B帧可以将前向和后向运动矢量与参考I帧22A或前向预测P帧24(也可使用后向预测P帧，但该例中没有示出)的残差结合起来。I帧22B标志下一个GOP的开始。如图1B所示，在I帧22A和P帧24之间或者在P帧24之间，只包含一个B帧。可以在参考帧之间插入几个B帧从而允许时域分级更加灵活。由于没有其他帧依赖B帧作为参考帧，删除B帧26不会丢失任何与其他帧解码相关的信息。B帧26的这个特点可允许将其插入位流，根据编码器、代码转换器和解码器的选择可把B帧26从位流中删去，以适应信道条件、带宽限制、电池能量以及其他考虑。例如，如果在参考帧之间有三个B帧，那么把三个B帧都删去可以使帧率降低四分之三，或者保留中间的B帧并删去其余两个B帧，可以使帧率降低二分之一。数据率也会相应降低。
双向预测，虽然与只进行前向(单向)预测相比，能提供改进的压缩，但是也有负面影响。双向预测需要更多的计算需求。因为对于每一目标宏块不得不进行两次宏块匹配(计算量最大的编码处理)，一次与过去的参考帧匹配，另一次与未来的参考帧匹配，所以双向预测帧会承受额外的编码复杂性。引入B帧也会增加解码器端的计算复杂性并使时序安排变得更加复杂。复杂性增加是MPEG-4简单类和H.264基本规范类不支持双向预测的主要原因。这些类的开发用于电池和处理功率需要得到有效利用的设备，例如移动电话、个人数字助理(PDA)等。本发明为这些能量有限的设备提供了一种支持时域分级的有效方式。
本发明包含单向预测时域分级帧，无须改变MPEG-4的简单类和H.264基本规范类中的任何语法就可提供时域分级。单向预测时域分级帧仅使用前向预测或者后向预测代替传统B帧所使用的两种类型的预测。另外，没有其他的预测帧会参考单向预测时域分级帧。因为没有其他帧依赖于时域分级帧，可以从位流中删去时域分级帧而不会影响其余帧。结果就是，不必要向MPEG-4简单类或H.264基本规范类中引入任何额外语法。添加单个附加位能用于标识一帧是单向预测时域分级帧，还是通常的预测帧。
图2说明了根据本发明的前向预测时域分级方案的实例。GOP200包含I帧210A、P帧212和时域分级帧214。如图2所示，单个前向预测帧可在连续的P帧212之间用作单向预测时域分级P*帧214。应该意识到多个单向时域分级帧可以依赖于单个参考帧。在连续的P帧212之间拥有多个时域分级帧能允许更好的适应性来满足数据率要求。I帧210B是下一个GOP开始的标志。
图3说明了根据本发明的后向预测时域分级方案的实例。GOP300包括I帧310A、P帧312和时域分级帧314。如图3所示，单个后向预测帧可在连续的P帧312之间用作单向预测时域分级P*帧。I帧310B是下一个GOP开始的标志。如后向和前向两种情况所示，没有其他帧参考时域分级帧214和314。因为没有帧参考它们，从编码、传输或者解码中，可以省略时域分级帧，而不影响任何其他帧。依据从传输/解码中排除的单向预测时域分级帧的数量，能够提供逐步降低的视频质量和/或数据率。
因为单向预测时域分级帧需要的计算量比B帧少，单向预测时域分级帧更有利于在能量有限或计算能力有限的设备中使用。因为单向预测时域分级帧不会用于预测后面的P帧，所以与只使用P帧相比，P帧的编码效率会下降。考虑到时域分级所带来的额外的好处，编码效率的下降是可容忍的。图2和图3中所示的单向预测时域分级帧的例子只参考一帧。然而，应认识到单向预测时域分级帧能参考不止一帧。参考前面或后面的多帧会增加计算的复杂性，但也会减小残差的大小。
除了计算上的优点，当使用前向预测单向时域分级帧代替双向帧时，可使延迟时间更短。双向预测帧在其后向预测时所参考的帧之后编码。这可能意味着，在显示B帧之前会有额外的延迟。图4说明了使用本发明的前向预测单向时域分级帧时，显示和编码处理的帧排序的实例。如图4所示，不像双向预测帧，本发明的单向预测时域分级帧能以它们在远程显示器显示时的相同顺序进行编码和传输。顺序编码和传输前向预测单向时域分级帧的能力避免了使用B帧时所遇到的额外的延迟，这对于诸如视频会议之类的应用来说是一个特别的优点。
图5是用于编码和解码流图像的一般通信系统的方框图。系统500包括编码器设备505和解码器设备510。编码器设备505还包括帧内编码部件515、预测编码部件520、时域分级部件525和存储部件530。编码器设备505能够从外部源535存取数据。外部源535可以是，例如，外部存储器、因特网或者实况视频和/或音频传输。外部源535所包含的数据可以是原始状态(未编码)也可以是编码状态。帧内编码部件515用于编码帧内编码帧。预测编码部件520用于编码各种预测帧，包括单向预测时域分级帧。除了包含用于编码预测帧的逻辑，预测编码部件520也包括用于选择参考帧的逻辑和用于排除时域分级帧被其他帧参考的逻辑。预测编码部件520可以存取原始或者已编码数据来进行编码。可以存取已编码数据，以用单向预测时域分级帧代替通常的P帧或I帧。当存取编码数据(帧内编码或者帧间编码数据)时，包含在帧内编码部件515和预测编码部件520中的逻辑解码该编码数据，产生重构的原始数据。重构的原始数据然后可以被编码成单向预测时域分级帧(或者任何其他类型的帧)。
在编码后，已编码帧被存储在存储部件530或外部存储器中。外部存储器可以就是外部源535，也可以是独立的存储器部件(没有示出)。编码帧通过网络540传输(Tx)。网络540可以是有线网络也可以是无线网络。时域分级部件525包括在传输之前决定是否需要时域分级的逻辑。时域分级部件525也包括识别时域分级帧以及如果确定需要时域分级则省略它们不予传输的逻辑。在下文对编码器设备所执行的编码处理进行了更充分地描述。
解码器510包含与编码器505相似的部件，包括，帧内解码部件545，预测解码部件550，时域分级部件555和存储部件560。解码器设备510能接收经过网络540传输来的或者从外部存储565来的编码数据。帧内解码部件545用于解码帧内编码数据。预测解码部件550用于解码预测数据，包括单向预测时域分级帧。时域分级部件555包含在解码之前确定是否需要时域分级的逻辑。在该例中，时域分级部件555也包含识别时域分级帧和如果确定需要时域分级则忽略他们不予解码的逻辑。解码后，解码帧可以显示在显示部件570上或者存储在内部存储器560或外部存储器565中。显示部件570可以是解码器设备上的集成组件，例如电话或者PDA上的显示屏。显示部件570也可以是外部的外围设备。在下面将对解码器设备所执行的解码处理进行更详细的描述。
为使解码器支持单向预测时域分级帧而对编码器做的修改是很小的。因为H.264支持多参考编码，所以如果基本规范解码器能支持至少两个参考帧，那就不必修改解码器以支持单向预测时域分级编码帧。与MPEG-4简单类一致的解码器可能仅允许在缓冲器中有一个参考帧，因此在解码单向前向预测时域分级帧后，将为后面的P帧保留参考帧缓冲器中的参考帧，而不是使用刚刚解码的时域分级帧代替缓冲器中的参考帧。
除了编码和解码设备之外，在称为代码转换器的中间设备中也可进行时域分级。参考图6，示出了代码转换设备的方框图。代码转换设备600位于第一网络605和第二网络620之间。代码转换设备600通过第一网络605从例如图5所描述的编码器设备505的设备接收编码数据。代码转换设备600把所接收的数据存储在存储部件615中。代码转换设备600还包括时域分级部件610。时域分级部件610包括在把数据传输到第二网络620之前确定是否需要时域分级的逻辑。时域分级部件610也包括识别时域分级帧和如果确定需要时域分级则忽略时域分级帧不予传输的逻辑。在下面将对代码转换设备600所执行的转换处理进行更充分地描述。
图7是说明根据本发明包括时域分级的编码处理实例的流程图。编码处理在诸如图5所描述的设备505之类的编码器中进行。把数字视频数据710编码成由多帧组成的GOP。一个GOP以在720编码的帧内编码帧开始。帧内编码帧为后面(或者前面——在具有开放的GOP的后向预测中，其中开放的GOP能参考其他GOP的帧)的至少一部分帧间编码帧充当参考点。编码处理700还包括预测帧的编码730，其可以包括前向预测帧编码或后向预测帧编码。预测帧包含可以参考前面的帧内编码帧或预测编码帧的诸如运动矢量和残差等运动补偿数据。预测帧也可充当其他预测帧(普通帧和时域分级帧)的参考帧。单向预测时域分级帧的编码740允许时域分级。由于这些帧包含参考帧内编码帧或预测帧的运动补偿，所以可以使用跟预测帧730相似的方式来计算这些帧。然而，时域分级帧本身不能被其他帧参考(也就是不能使用时域分级帧预测任何其他帧)。时域分级帧数据也可以包含用来识别该帧为时域分级帧的附加信息。因为其他帧不依赖于时域分级帧的存在，所以可以删除时域分级帧而不会反过来影响其他帧。可以把编码帧存入存储器750以待以后进行传输。也可以无须存储步骤750，编码帧在编码后立即传输。
编码处理700可以持续编码GOP直到视频数据710耗尽为止。为了适应不同目的，GOP可以由不同数量的不同帧类型的帧组成。在GOP中编码较多数量的时域分级帧740能在调整该GOP传输或解码的质量或复杂性时提供更多的灵活性。
图8是根据本发明包括时域分级的视频传输处理实例的流程图。图8左边与例如图5描述的编码器设备505的视频源中的处理相对应，右边与例如图5描述的解码器设备510的目标设备内的处理相对应。无线/有线网络把左右两部分连接起来，该网络可以是无线或有线网络的组合。到新网络的过渡可能包括代码转换器设备，例如图6描述的代码转换器设备600。图8中的处理800首先从存储器810中取回视频帧数据。该存储器可以是先前已创建的永久性存储器，也可以是只在传输时间保持正在计算的帧数据的动态存储器。
判定是否对视频数据820进行时域分级。该判定中需要考虑的因素可能是，例如，提供比最好质量低级别的质量，把数据率降到网络之一的最大通信能力以下，控制流量，节省源或目标设备的电池能量，或者限制编码和/或解码时间。如果要执行时域分级，那么识别时域分级帧并有选择性地从数据流中删除830。因为没有帧会参考时域分级帧，所以删除任何单向预测时域分级帧不会影响任何其他帧。识别可采用的多种形式，包括例如单个附加位或者标志，当被设定为1时，识别该帧为时域分级帧。该附加位或者标志可以使用符合标准的语法也可使用专有方式来编码。如果位流符合标准(和类)，则可以通过相互先验的编码器-服务器通信(网络自适应的情况下)或者相互先验的编码器-解码器标识符(设备的复杂性/功率自适应的情况下)来识别时域分级帧。相互先验的标识符可能是，例如，帧位置(例如，奇数或偶数帧号)，解码或显示时间戳或者帧排序。另一种形式的识别可包括解码器使用位流中关于一帧是否被另一帧参考的信息。没有删除的视频帧通过有线/无线网络840传输到目标设备。如果是多播传输则可能有多个目标设备，或者如果是单播传送则只有一个目标设备。
在目标设备、如图5中解码器设备510的解码器处，或者在中间网络设备、路由器或者如图6所示设备600的代码转换器处，从网络850获取编码视频数据。在获取数据之后，目标设备或者中间网络设备可以分别判定是否提供时域分级860。时域分级的原因与视频源处的时域分级的原因相似，特别是对于中间网络路由器，其时域分级与网络容量或网络负载有关。时域分级的原因也可能包括，例如，节省电池能量，特别是对于资源有限的设备，如PDA、移动电话等等。如果选择了时域分级，那么就把时域分级帧识别出来并忽略它们以满足目标参数，例如，数据率或解码时间。在忽略时域分级帧之后，根据剩余帧类型所决定的方式来解码(880)剩余帧(例如帧内编码解码，前向预测解码等等)。
以上讨论的时域分级决策和删除处理可以在诸如编码器设备505(图5)的编码器、诸如代码转换器设备600(图6)的代码转换器、或诸如解码器设备510(图5)的解码器中执行。在同一位流中，可使用这三种设备的一个或者多个来判决是否删除时域分级帧。
然而，为了解释起来简单，把图7到图8所示的方法显示和描述成一系列动作，但应该理解和意识到本发明不限于动作的次序，因为按照本发明，某些动作可以按不同顺序发生和/或跟其他动作一起发生，本文没有对这些情况进行显示和描述。
虽然结合利用帧内编码帧和前向预测帧作为单向预测时域分级帧的参考帧的例子，对本发明进行了充分地描述，但应清楚其他帧，例如后向预测帧也能作为参考帧。
虽然结合MPEG-x和H.26x类型的压缩方案对本发明进行了充分描述，但应该清楚其他视频压缩方案也可以实现本发明的方法。
本发明的方面包括，但不限于下面的描述。
编码多媒体帧的方法，包括通过单向预测可删除的时域分级帧来编码可删除的时域分级帧，其中可删除的时域分级帧不用于预测任何其他帧。
用于编码多媒体帧的装置，包括用于通过单向预测可删除的时域分级帧来对可删除的时域分级帧进行编码的模块，其中可删除的时域分级帧不用于预测任何其他帧。
用于编码多媒体帧的电子设备，该电子设备配置为通过单向预测可删除的时域分级帧来对可删除的时域分级帧进行编码，其中可删除的时域分级帧不用于预测任何其他帧。
具有使计算机执行编码多媒体帧的方法的指令的计算机可读介质，所述方法包括编码未从其他帧预测的帧内编码帧，编码预测帧，其中预测帧从至少一个帧内编码帧或预测帧进行预测，以及通过单向预测可删除的时域分级帧来编码可删除的时域分级帧，其中可删除的时域分级帧不用于预测任何其他帧。
解码多媒体帧的方法，包括接收编码帧数据，识别经过单向预测的任何可删除时域分级帧，其中可删除时域分级帧不用于预测任何其他帧，以及解码所接收到的编码帧数据，以忽略至少一个可删除时域分级帧不予解码。
用于解码多媒体帧的装置，包括用于接收编码帧数据的模块，用于识别经过单向预测的任何可删除时域分级帧的模块，其中可删除时域分级帧不用于预测任何其他帧，以及用于解码所接收的编码帧数据以忽略至少一个可删除时域分级帧不予解码的模块。
用于解码多媒体帧的电子设备，该电子设备配置为接收编码帧数据，识别经过单向预测的任何可删除时域分级帧，其中可删除时域分级帧不用于预测任何其他帧，以及解码所接收的编码帧数据，以忽略至少一个可删除时域分级帧不予解码。
具有使计算机执行解码多媒体帧的方法的指令的计算机可读介质，所述方法包括接收编码帧数据，识别经过单向预测的任何可删除时域分级帧，其中可删除时域分级帧不用于预测任何其他帧，以及解码所接收的编码帧数据，以忽略至少一个可删除时域分级帧不予解码。
对多媒体帧进行时域分级的方法，包括通过第一网络接收编码帧，通过第一网络接收可删除时域分级帧，其中可删除时域分级帧从至少一个编码帧单向预测，并且可删除时域分级帧不用于预测任何其他帧，通过第二网络传输所接收的编码帧，并忽略可删除时域分级帧而不予传输。
用于对多媒体帧进行时域分级的装置，包括通过第一网络接收编码帧的模块，通过第一网络接收可删除时域分级帧的模块，其中可删除时域分级帧从至少一个编码帧单向预测，并且可删除时域分级帧不用于预测任何其他帧，用于通过第二网络传送所获得的编码帧的模块，以及忽略可删除时域分级帧不予传输的模块。
本领域中的普通技术人员应该理解，信息和信号可以使用多种不同的工艺和技术来表示。例如，以上描述中提到的数据、指令、命令、信息、信号、位、符号和码片，可以通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或者任何它们的组合来表示。
本领域的普通技术人员应该进一步意识到，结合本文示出的例子描述的各种说明性的逻辑块、模块以及算法步骤，可以做为电子硬件、计算机软件或者两者的组合来实现。为了清楚地说明硬件和软件的这种可交换性，各种说明性的部件、块、模块、电路和步骤一般根据它们的功能在上面进行了描述。这样的功能是否作为硬件或软件来实现取决于具体应用和对整个系统所施加的设计约束。熟练的技工可以用不同方式为每一种具体应用实现上面所述的功能，但不应该认为这样的实现决策导致超出本发明的范围。
结合本文公开的例子说明的各种说明性的逻辑块、模块和电路，可以使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑、分立硬件部件、或者任何设计用于执行本文所述功能的它们的组合来实现或实施。通用处理器可以是微处理器，但是，处理器也可以选择是任何传统处理器、控制器、微控制器或者状态机。处理器也可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP核的组合、或者任何其他这样的配置。
结合本文公开的例子说明的方法或者算法的步骤，可以直接实施在硬件、处理器执行的软件模块或者这两者的组合中。软件模块可以驻存在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或者任何其他形式的本领域中已知的存储介质。把示例性存储介质与处理器耦合，以便处理器能从其中读取信息，并向其中写入信息。存储介质也可以选择集成到处理器中。处理器和存储介质可以存在于专用集成电路(ASIC)中。该ASIC可以存在于无线调制调解器中。或者，处理器和存储介质也可以作为分立部件存在于无线调制调解器中。
所公开实例的前面描述用于使本领域的任何普通技术人员能够制造或使用本发明。在不偏离本发明的精神或范围的情况下，本领域中的技术人员可以对这些例子进行各种修改，并且可以在其他例子中应用本申请所定义的原理。
公开了用于对包括帧内编码帧、前向和后向预测帧和单向预测时域分级帧的视频流进行编码、代码转换和解码的方法、装置和系统。

Claims (57)

1.一种在比特流中编码多媒体帧的方法，包括：
通过相对于显示顺序单向地后向预测在所述比特流中的全部可删除时域分级帧，来编码在所述比特流中的一个或多个可删除时域分级帧，其中，所述可删除时域分级帧被编码为使得能够被解码器删除以便依据从解码中排除的所述可删除时域分级帧的数量而逐步降低所述比特流的数据速率，其中，多个单向可删除时域分级帧依赖于单个参考帧；
将包含所述可删除时域分级帧在内的全部所述多媒体帧编码到所述比特流中，其中，不使用任何所述可删除时域分级帧来预测所述多媒体帧。
2.如权利要求1所述的方法，还包括：
将其他多媒体帧中的至少一个编码为帧内编码帧，该帧内编码帧不从其他帧预测。
3.如权利要求2所述的方法，还包括：
将其他多媒体帧中的至少一个编码为预测帧，其中该预测帧从至少一个帧内编码帧或者预测帧预测。
4.如权利要求3所述的方法，其中，所述编码该预测帧包括前向预测该预测帧。
5.如权利要求1所述的方法，还包括：
将已编码帧存储在存储器中。
6.如权利要求1所述的方法，还包括：
使用用于标识所述可删除时域分级帧的附加数据来编码所述可删除时域分级帧。 
7.如权利要求3所述的方法，还包括：
通过网络传输已编码帧。
8.如权利要求3所述的方法，还包括：
通过网络传输已编码的帧内编码帧和已编码的预测帧，而忽略已编码的可删除时域分级帧而不予传输。
9.如权利要求3所述的方法，还包括：
使用运动矢量和残差数据来编码该预测帧；和
使用运动矢量和残差数据来编码所述可删除时域分级帧。
10.如权利要求7所述的方法，还包括：
接收所传输的帧；和
解码所接收的帧。
11.如权利要求7所述的方法，还包括：
接收所传输的帧；
解码所接收的帧内编码帧和所接收的预测帧，而忽略所接收的可删除时域分级帧。
12.如权利要求7所述的方法，还包括：
接收所传输的帧；和
使用先验标识符识别每一个所接收的可删除时域分级帧。
13.一种用于在比特流中编码多媒体帧的装置，包括：
用于通过相对于显示顺序单向地后向预测在所述比特流中的全部可删除时域分级帧来编码在所述比特流中的一个或多个可删除时域分级帧的模块，其中，所述可删除时域分级帧被编码为使得能够被解码器删除以便依据从解码中排除的所述可删除时域分级帧的数量 而逐步降低所述比特流的数据速率，其中，多个单向可删除时域分级帧依赖于单个参考帧；
用于将包含所述可删除时域分级帧在内的全部所述多媒体帧编码到所述比特流中的模块，其中，不使用任何所述可删除时域分级帧来预测所述多媒体帧。
14.如权利要求13所述的装置，还包括：
用于将其他多媒体帧中的至少一个编码为帧内编码帧的模块，该帧内编码帧不是从其他帧预测的。
15.如权利要求14所述的装置，还包括：
用于将其他多媒体帧中的至少一个编码为预测帧的模块，其中，该预测帧是从至少一个帧内编码帧或者预测帧预测的。
16.如权利要求15所述的装置，其中，该用于编码预测帧的模块包括用于前向预测的模块。
17.如权利要求13所述的装置，还包括：
用于将已编码帧存储在存储器中的模块。
18.如权利要求13所述的装置，还包括：
使用用于标识所述可删除时域分级帧的附加数据来编码该可删除时域分级帧的模块。
19.如权利要求15所述的装置，还包括：
用于通过网络传输已编码帧的模块。
20.如权利要求15所述的装置，还包括：
用于通过网络传输已编码的帧内编码帧和已编码的预测帧的模块；和 
用于忽略已编码的可删除时域分级帧而不予传输的模块。
21.如权利要求15所述的装置，还包括：
用于使用运动矢量和残差数据来编码该预测帧的模块；和
用于使用运动矢量和残差数据来编码所述可删除时域分级帧的模块。
22.一种用于在比特流中编码多媒体帧的电子设备，该电子设备配置为
通过相对于显示顺序单向地后向预测在所述比特流中的全部可删除时域分级帧来编码在所述比特流中的一个或多个可删除时域分级帧，其中，所述可删除时域分级帧被编码为使得能够被解码器删除以便依据从解码中排除的所述可删除时域分级帧的数量而逐步降低所述比特流的数据速率，其中，多个单向可删除时域分级帧依赖于单个参考帧；并且
编码包含所述可删除时域分级帧的全部所述多媒体帧，其中，不使用任何所述可删除时域分级帧来预测所述多媒体帧。
23.如权利要求22所述的电子设备，还配置为将其他多媒体帧中的至少一个编码为帧内编码帧，该帧内编码帧不是从其他帧预测的。
24.如权利要求23所述的电子设备，还配置为将其他多媒体帧中的至少一个编码为预测帧，其中，该预测帧是从至少一个帧内编码帧或预测帧预测的。
25.如权利要求24所述的电子设备，还配置为通过使用前向预测来编码该预测帧。
26.如权利要求22所述的电子设备，还配置为将已编码帧存储 在存储器中。
27.如权利要求22所述的电子设备，还配置为使用用于标识所述可删除时域分级帧的附加数据来编码该可删除时域分级帧。
28.如权利要求24所述的电子设备，还配置为通过网络传输已编码帧。
29.如权利要求24所述的电子设备，还配置为通过网络传输已编码的帧内编码帧和已编码的预测帧，以及忽略已编码的可删除时域分级帧而不予传输。
30.如权利要求24所述的电子设备，还配置为使用运动矢量和残差数据来编码该预测帧，以及使用运动矢量和残差数据来编码所述可删除时域分级帧。
31.一种解码多媒体帧的方法，包括：
接收比特流中的包含一个或多个可删除时域分级帧的已编码帧数据，其中，在所述比特流中的全部可删除时域分级帧都是相对于显示顺序而单向地后向预测的，其中，所述可删除时域分级帧不用于预测任何其他帧，并且其中，所述可删除时域分级帧被编码为使得能够被删除以便依据从解码或传输中排除的所述可删除时域分级帧的数量而逐步降低所述比特流的数据速率，其中，多个单向可删除时域分级帧依赖于单个参考帧；
识别被相对于显示顺序单向地后向预测的至少一个所述可删除时域分级帧；和
解码所接收的已编码帧数据，以忽略所识别的至少一个所述可删除时域分级帧而不予解码。
32.如权利要求31所述的方法，还包括： 
随着所述已编码帧数据而接收至少一个帧内编码帧，该帧内编码帧不是从其他帧预测的；和
解码该帧内编码帧。
33.如权利要求32所述的方法，还包括：
随着所述已编码帧数据而接收至少一个预测帧，其中，该预测帧是从至少一个已编码帧预测的；和
解码该预测帧。
34.如权利要求31所述的方法，还包括：
接收被反向预测的可删除时域分级帧之一。
35.如权利要求31所述的方法，其中，该接收步骤包括通过无线网络接收。
36.如权利要求33所述的方法，还包括：
接收被前向预测的预测帧之一。
37.如权利要求31所述的方法，还包括：
使用先验标识符识别所接收的可删除时域分级帧中的每一个。
38.一种用于解码多媒体帧的装置，包括：
用于接收比特流中的包含一个或多个可删除时域分级帧的已编码帧数据的模块，其中，在所述比特流中的全部可删除时域分级帧都是相对于显示顺序而单向地后向预测的，其中，所述可删除时域分级帧不用于预测任何其他帧，并且其中，所述可删除时域分级帧被编码为使得能够被删除以便依据从解码或传输中排除的所述可删除时域分级帧的数量而逐步降低所述比特流的数据速率，其中，多个单向可删除时域分级帧依赖于单个参考帧；
用于识别被相对于显示顺序单向地后向预测的至少一个所述可 删除时域分级帧的模块；和
用于解码所接收的已编码帧数据以忽略所识别的至少一个所述可删除时域分级帧而不予解码的模块。
39.如权利要求38所述的装置，还包括：
用于接收帧内编码帧的模块，该帧内编码帧不是从其他帧预测的；和
用于解码该帧内编码帧的模块。
40.如权利要求39所述的装置，还包括：
用于接收预测帧的模块，其中，该预测帧是从至少一个已编码帧预测的；和
用于解码该预测帧的模块。
41.如权利要求38所述的装置，还包括：
用于接收被前向预测的可删除时域分级帧的模块。
42.如权利要求38所述的装置，其中，该用于接收的模块包括用于通过无线网络进行接收的模块。
43.如权利要求40所述的装置，还包括：
用于接收被前向预测的该预测帧的模块。
44.如权利要求38所述的装置，还包括：
用于使用先验标识符识别所接收的可删除时域分级帧的模块。
45.一种用于解码多媒体帧的电子设备，该电子设备配置为接收比特流中的包含一个或多个可删除时域分级帧的已编码帧数据，其中，在所述比特流中的全部可删除时域分级帧都是相对于显示顺序而单向地后向预测的，其中，所述可删除时域分级帧不用于预测任何其 他帧，并且其中，所述可删除时域分级帧被编码为使得能够被删除以便依据从解码或传输中排除的所述可删除时域分级帧的数量而逐步降低所述比特流的数据速率，其中，多个单向可删除时域分级帧依赖于单个参考帧；并且
其中，该电子设备配置为识别被相对于显示顺序单向地后向预测的至少一个所述可删除时域分级帧，以及解码所接收的已编码帧数据以忽略所识别的至少一个所述可删除时域分级帧而不予解码。
46.如权利要求45所述的电子设备，还配置为接收不是从其他帧预测的帧内编码帧，以及解码该帧内编码帧。
47.如权利要求46所述的电子设备，还配置为接收从至少一个已编码帧预测的预测帧，以及解码该预测帧。
48.如权利要求45所述的电子设备，还配置为接收被前向预测的可删除时域分级帧。
49.如权利要求45所述的电子设备，还配置为通过无线网络接收已编码帧数据。
50.如权利要求47所述的电子设备，还配置为接收被前向预测的该预测帧。
51.如权利要求47所述的电子设备，还配置为使用先验标识符识别所接收的可删除时域分级帧。
52.一种对比特流中的多媒体帧进行时域分级的方法，包括：
通过第一网络接收已编码帧；
通过该第一网络接收一个或多个可删除时域分级帧，其中，所述可删除时域分级帧是从至少一个已编码帧相对于显示顺序单向地后 向预测的，并且其中，所述可删除时域分级帧不用于预测任何其他帧，并且其中，所述可删除时域分级帧被编码为使得能够被删除以便依据从解码或传输中排除的所述可删除时域分级帧的数量而逐步降低所述比特流的视频质量，其中，多个单向可删除时域分级帧依赖于单个参考帧；
通过第二网络传输所接收的已编码帧；和
忽略所述可删除时域分级帧而不予传输。
53.如权利要求52所述的方法，其中，该接收步骤包括通过无线网络接收。
54.如权利要求52所述的方法，其中该传输步骤包括通过无线网络传输。
55.一种用于对比特流中的多媒体帧进行时域分级的装置，包括：
用于通过第一网络接收已编码帧的模块；
用于通过该第一网络接收一个或多个可删除时域分级帧的模块，其中，所述可删除时域分级帧是从至少一个已编码帧相对于显示顺序单向地后向预测的，并且其中，所述可删除时域分级帧不用于预测任何其他帧，并且其中，所述可删除时域分级帧被编码为使得能够被删除以便依据从解码或传输中排除的所述可删除时域分级帧的数量而逐步降低所述比特流的视频质量，其中，多个单向可删除时域分级帧依赖于单个参考帧；
用于通过第二网络传输所获得的已编码帧的模块；和
用于忽略所述可删除时域分级帧而不予传输的模块。
56.如权利要求55所述的装置，其中，该用于接收的模块包括用于通过无线网络进行接收的模块。
57.如权利要求55所述的装置，其中，该用于传输的模块包括 用于通过无线网络进行传输的模块。 
CN200580018470XA 2004-04-07 2005-04-07 在允许时域分级的混合视频压缩中进行帧预测的方法和装置 Active CN1965587B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US56043304P 2004-04-07 2004-04-07
US60/560,433 2004-04-07
US62570004P 2004-11-04 2004-11-04
US60/625,700 2004-11-04
US11/093,874 US8315307B2 (en) 2004-04-07 2005-03-29 Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
US11/093,874 2005-03-29
PCT/US2005/012132 WO2005101851A1 (en) 2004-04-07 2005-04-07 Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability

Publications (2)

Publication Number Publication Date
CN1965587A CN1965587A (zh) 2007-05-16
CN1965587B true CN1965587B (zh) 2013-04-24

Family

ID=34965145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580018470XA Active CN1965587B (zh) 2004-04-07 2005-04-07 在允许时域分级的混合视频压缩中进行帧预测的方法和装置

Country Status (7)

Country Link
US (1) US8315307B2 (zh)
EP (1) EP1733565A1 (zh)
JP (2) JP5069099B2 (zh)
KR (1) KR100799784B1 (zh)
CN (1) CN1965587B (zh)
CA (1) CA2562172C (zh)
WO (1) WO2005101851A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
BRPI0612974A2 (pt) * 2005-04-18 2010-12-14 Clearplay Inc produto de programa de computador, sinal de dados de computador incorporado em uma mÍdia de transmissço, mÉtodo para associar uma apresentaÇço de multimÍdia com informaÇÕes de filtro de conteédo e reprodutor de multimÍdia
JP2007336263A (ja) * 2006-06-15 2007-12-27 Fujifilm Corp 画像処理方法及び装置並びにプログラム
US7456760B2 (en) 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
CN100463526C (zh) * 2006-12-11 2009-02-18 陈耀武 视频延时自适应矫正的解码装置
US8913670B2 (en) 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
EP2028863B1 (en) * 2007-08-21 2015-07-15 BlackBerry Limited System and method for dynamic video deblocking on a mobile device
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
BRPI0721967A2 (pt) * 2007-08-31 2014-03-18 Fujitsu Ltd Dispositivo de produção de sinal e método de produção de sinal
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
JP5197238B2 (ja) * 2008-08-29 2013-05-15 キヤノン株式会社 映像送信装置、その制御方法、および制御方法を実行するプログラム
US20110211633A1 (en) * 2008-11-12 2011-09-01 Ferran Valldosera Light change coding
US9143788B2 (en) * 2008-11-13 2015-09-22 Thomson Licensing Multiple thread video encoding using HRD information sharing and bit allocation waiting
US8687685B2 (en) 2009-04-14 2014-04-01 Qualcomm Incorporated Efficient transcoding of B-frames to P-frames
KR100924309B1 (ko) 2009-06-04 2009-11-02 전자부품연구원 시간확장성과 버퍼상태판단을 통한 품질 적응적 멀티미디어 데이터 스트리밍 방법 및 시스템
US8213506B2 (en) * 2009-09-08 2012-07-03 Skype Video coding
US20120250767A1 (en) * 2009-12-15 2012-10-04 Ferran Valldosera Method and apparatus for bi-directional prediction within p-slices
GB2476271B (en) * 2009-12-17 2015-09-02 Skype Coding data streams
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US20130021512A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Framing of Images in an Image Capture Device
US9584832B2 (en) * 2011-12-16 2017-02-28 Apple Inc. High quality seamless playback for video decoder clients
KR20130101900A (ko) * 2012-03-06 2013-09-16 삼성전자주식회사 전자 장치 및 인코딩 방법
KR101858695B1 (ko) * 2012-04-09 2018-05-16 엘지전자 주식회사 데이터 관리 방법
JP2014103613A (ja) * 2012-11-22 2014-06-05 Jvc Kenwood Corp 画像処理装置、画像処理方法、画像処理プログラム
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
CN103957471B (zh) * 2014-05-05 2017-07-14 华为技术有限公司 网络视频播放的方法和装置
CN104796702B (zh) * 2015-04-22 2018-05-08 无锡天脉聚源传媒科技有限公司 一种h264视频帧率的转换方法及装置
WO2016203539A1 (ja) * 2015-06-16 2016-12-22 三菱電機株式会社 画像符号化方式変換装置及び画像符号化方式変換方法
DE102015110316B4 (de) * 2015-06-26 2021-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtungen, Zytometer, Verfahren und Computerprogramm zum Bereitstellen von Information über zumindest eine Sequenz
US10505994B2 (en) 2015-10-20 2019-12-10 Intel Corporation Technologies for scalable capability detection for multimedia casting
CN108933762B (zh) * 2017-05-25 2020-12-04 腾讯科技（深圳）有限公司 一种媒体流的播放处理方法及装置
CN110999309A (zh) * 2017-08-07 2020-04-10 夏普株式会社 生成装置、再现装置、生成方法、再现方法、控制程序、记录介质
JP7136458B2 (ja) * 2019-07-26 2022-09-13 サイレックス・テクノロジー株式会社 符号化装置、再生装置、作成装置、再生システム、符号化方法、再生方法、作成方法、および、プログラム
CN112040233B (zh) * 2020-11-04 2021-01-29 北京金山云网络技术有限公司 视频编码、视频解码方法和装置、电子设备及存储介质
EP4203472A1 (en) * 2021-12-21 2023-06-28 Axis AB Method and image processing device for encoding a video

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6173013B1 (en) 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
JP3318707B2 (ja) 1996-11-08 2002-08-26 ソニー株式会社 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体
US6408029B1 (en) * 1998-04-02 2002-06-18 Intel Corporation Method and apparatus for simplifying real-time data encoding
JP2000350197A (ja) 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
GB2364842A (en) 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
JP4337248B2 (ja) * 2000-08-31 2009-09-30 ソニー株式会社 画像情報の伝送装置、伝送システムおよび伝送方法
US20030159152A1 (en) * 2001-10-23 2003-08-21 Shu Lin Fast motion trick mode using dummy bidirectional predictive pictures
US7643724B2 (en) * 2001-10-23 2010-01-05 Thomson Licensing Fast motion trick mode using non-progressive dummy predictive pictures
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
FI114433B (fi) * 2002-01-23 2004-10-15 Nokia Corp Otossiirtymän koodaaminen videokoodauksessa
EP1500002A1 (en) 2002-04-29 2005-01-26 Sony Electronics Inc. Supporting advanced coding formats in media files
GB2391413B (en) 2002-07-31 2004-08-25 Motorola Inc Object-based scalable video transmissions
US7826718B2 (en) * 2002-08-09 2010-11-02 Broadcom Corporation Method and apparatus to facilitate the efficient implementation of trick modes in a personal video recording system
US7606308B2 (en) 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Stephan Wenger.Temporal Scalability Using P-pictures forLow-latencyApplications.Multimedia Signal Processing.1998,559-564. *

Also Published As

Publication number Publication date
JP5108078B2 (ja) 2012-12-26
WO2005101851A1 (en) 2005-10-27
CN1965587A (zh) 2007-05-16
JP2011041317A (ja) 2011-02-24
US8315307B2 (en) 2012-11-20
CA2562172A1 (en) 2005-10-27
CA2562172C (en) 2013-12-31
KR20060133090A (ko) 2006-12-22
US20050249285A1 (en) 2005-11-10
KR100799784B1 (ko) 2008-01-31
JP2007533212A (ja) 2007-11-15
EP1733565A1 (en) 2006-12-20
JP5069099B2 (ja) 2012-11-07

Similar Documents

Publication Publication Date Title
CN1965587B (zh) 在允许时域分级的混合视频压缩中进行帧预测的方法和装置
CN1981531B (zh) 构建用于时间可分级的双向预测帧的方法和装置
Xin et al. Digital video transcoding
CN101208873B (zh) 多层视频设计的速率控制
CN101909211B (zh) 基于快速模式判决的h.264/avc高效转码器
TWI538478B (zh) 用於數位視訊處理的裝置及視訊處理器的操作方法
CN101313583B (zh) 多层视频编码
CN101945285A (zh) 一种嵌入式互动应用服务转编码系统
CN100544445C (zh) 一种基于Brew平台的无线视频传输系统
CN101188760A (zh) 一种视频序列的编码方法
US20190356911A1 (en) Region-based processing of predicted pixels
CN101237587A (zh) 一种视频序列的编码方法及采用其的差错控制系统
JP7086208B2 (ja) 双方向イントラ予測のシグナリング
Pahalawatta et al. Review of content‐aware resource allocation schemes for video streaming over wireless networks
TW201330625A (zh) 用於數位視訊處理的裝置及方法
Kurceren et al. Synchronization-Predictive coding for video compression: The SP frames design for JVT/H. 26L
TWI416962B (zh) 在併合視訊壓縮中用於框架預測以致動暫時可擴充性之方法、裝置、及電腦可讀取媒體
Jamali et al. A new approach for distributed image coding in wireless sensor networks
Yang et al. Adaptive Intra Refresh for Screen Content Video Transmission in Dynamic Network
Zhao et al. Influence of MPEG-4 parameters on system energy
Liu et al. Error-resilience packet scheduling for low bit-rate video streaming over wireless channels
Bhuyan et al. Motion adaptive video coding scheme for time‐varying network
KR20020088633A (ko) 동영상 전송장치 및 부호화 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1105058

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1105058

Country of ref document: HK