CN101622880A - 第二回合视频译码中的有效的视频块模式改变 - Google Patents

第二回合视频译码中的有效的视频块模式改变 Download PDF

Info

Publication number
CN101622880A
CN101622880A CN200880006696A CN200880006696A CN101622880A CN 101622880 A CN101622880 A CN 101622880A CN 200880006696 A CN200880006696 A CN 200880006696A CN 200880006696 A CN200880006696 A CN 200880006696A CN 101622880 A CN101622880 A CN 101622880A
Authority
CN
China
Prior art keywords
video blocks
video
coding
bout
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880006696A
Other languages
English (en)
Other versions
CN101622880B (zh
Inventor
陈培松
帕尼库马尔·巴米迪帕提
西塔拉曼·加纳帕蒂·苏布拉马尼安
阿米特·罗哈吉
塞伊富拉·哈利特·奥古兹
斯科特·T·斯韦泽伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101622880A publication Critical patent/CN101622880A/zh
Application granted granted Critical
Publication of CN101622880B publication Critical patent/CN101622880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明描述用于在多回合视频译码情形下进行第二回合视频译码的技术。用于在第二回合期间编码的一些视频块的译码模式可相对于用于第一回合中的所述视频块的所述译码模式而改变。然而，对于具有改变的模式的那些视频块，运动信息不改变。具体来说，可相对于第一译码回合中所使用的模式，在第二译码回合中作出模式改变，而不改变将在解码器处导出运动信息的方式，例如，归因于所述第一回合的原始模式与所述第二回合中所使用的改变的模式之间的类似性。第二回合译码技术还可包括量化参数调整，且所述模式改变可致使所述量化参数调整对所述第二回合译码具有更深远的精细化的效应。

Description

第二回合视频译码中的有效的视频块模式改变
相关申请案
本申请案主张2007年3月2日申请的第60/892,804号美国临时申请案的权益，所述申请案的全文以引用的方式并入本文中。
技术领域
本发明涉及数字视频译码，且更特定来说，涉及多回合视频译码，其中第一回合用于译码视频块且第二回合精细化所述译码以符合位速率约束或达到其它目的。
背景技术
数字视频能力可并入较广范围的设备中，其包括数字电视、数字直播系统、无线通信设备、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录设备、视频游戏设备、视频游戏控制台、蜂窝式或卫星无线电电话等。数字视频设备实施例如MPEG-2、MPEG-4或H.264/MPEG-4第10部分、高级视频译码(AVC)的视频压缩技术以较有效地发射和接收数字视频。视频压缩技术执行空间和时间预测以减少或移除视频序列中固有的冗余。
在视频译码中，视频压缩通常包括空间预测、运动估计和运动补偿。帧内译码依赖于空间预测来减少或移除在给定视频帧内的视频块之间的空间冗余。帧间译码依赖于时间预测来减少或移除在视频序列的连续视频帧的视频块之间的时间冗余。对于帧间译码，视频编码器执行运动估计以追踪在两个或两个以上邻近帧之间的匹配的视频块的移动。运动估计产生运动向量，其指示视频块相对于一个或一个以上参考帧中的对应预测视频块的移位。运动补偿使用运动向量从参考帧或片段产生预测视频块。在运动补偿后，通过从待译码的原始视频块减去预测视频块而产生残余信息(例如残余视频块)。视频编码器通常应用变换、量化和变换系数译码过程以进一步减小与残余块的通信相关联的位速率。
有时，视频译码使用多个回合。在多回合视频译码中，第一视频译码回合用于译码视频块，且第二视频译码回合改变且精细化所述译码。多回合视频译码可用于调整与视频译码相关联的位速率。常规上，第二回合视频译码可重新执行第一视频译码回合的所有译码步骤，但可应用不同水平的量化。然而，第二译码回合期间的所有视频块的完全重新编码是计算上密集的。
发明内容
一般来说，本发明描述用于在多回合视频译码情形下进行第二回合视频译码的技术。第二译码回合精细化第一回合中所执行的译码(例如)以符合位速率约束、利用未使用频宽和/或达到其它目的。根据本发明，在第二回合期间编码的一些视频块的译码模式可相对于第一回合中的用于所述视频块的译码模式而改变。然而，对于具有改变的模式的那些视频块来说，运动信息不改变。作为一实例，双向预测性(B)片段(或帧)可支持所谓的“跳过”模式和所谓的“直接”模式下的视频块译码。在跳过模式和直接模式两者下，(例如)基于相邻视频块的运动信息在解码器处以相同方式导出运动信息。然而，跳过模式与直接模式之间的差异在于，直接模式视频块包括残余信息，而跳过模式视频块不包括残余信息。
根据本发明，第二回合译码可(例如)在跳过模式或直接模式之间改变一些块的视频块模式，而不改变为所述块定义运动信息的方式。举例来说，视频块可从直接模式变为跳过模式或从跳过模式变为直接模式，而不改变在解码器处导出运动信息的方式。可针对从跳过模式变为直接模式的任何视频块添加残余信息，且可针对从直接模式变为跳过模式的任何视频块消除残余信息。对于预测性(P)片段或帧，从跳过模式到帧间16×16模式的第二回合模式改变也可获益于本发明的方面。第二回合译码技术还可包括量化参数调整，且所述模式改变可致使所述量化参数调整对第二译码回合的译码精细化具有比无模式改变而实现的精细化更深远的效应。
在一个实例中，本发明提供一种视频译码方法，其包含：在第一编码回合中对视频块进行编码，其中所述第一编码回合为所述视频块选择定义用于所述视频块的运动信息的视频译码模式，和在第二编码回合中对所述视频块进行编码，其中所述第二编码回合调整与所述视频块相关联的一个或一个以上量化参数，且基于所述调整的量化参数而改变与所述视频块相关联的视频译码模式中的至少一些，其中所述改变的视频译码模式不改变运动信息。
在另一实例中，本发明提供一种设备，其包含在第一编码回合中对视频块进行编码的视频编码器，其中所述第一编码回合为所述视频块选择定义用于所述视频块的运动信息的视频译码模式，且在第二编码回合中对所述视频块进行编码，其中所述第二编码回合调整与所述视频块相关联的一个或一个以上量化参数，且基于所述调整的量化参数而改变与所述视频块相关联的视频译码模式中的至少一些，其中所述改变的视频译码模式不改变所述运动信息。
在另一实例中，本发明提供一种装置，其包含：用于在第一编码回合中对视频块进行编码的装置，其中用于在所述第一编码回合中对视频块进行编码的装置包括用于为所述视频块选择定义用于所述视频块的运动信息的视频译码模式；以及用于在第二编码回合中对所述视频块进行编码的装置，其中用于在所述第二编码回合中对所述视频块进行编码的装置包括用于调整与所述视频块相关联的一个或一个以上量化参数的装置，和用于基于所述调整的量化参数而改变与所述视频块相关联的视频译码模式中的至少一些的装置，其中所述改变的视频译码模式不改变所述运动信息。
本发明中所描述的技术可以硬件、软件、固件或其任何组合实施。如果以软件实施，则软件可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上处理器中执行。执行所述技术的软件最初可存储于计算机可读媒体中且加载并执行于处理器中。
因此，本发明还涵盖一种计算机可读媒体，其包含当在处理器中执行时致使所述处理器进行以下操作的指令：在第一编码回合中对视频块进行编码，其中所述第一编码回合为所述视频块选择定义用于所述视频块的运动信息的视频译码模式；以及在第二编码回合中对所述视频块进行编码，其中所述第二编码回合调整与所述视频块相关联的一个或一个以上量化参数，且基于所述调整的量化参数而改变与所述视频块相关联的所述视频译码模式中的至少一些，其中所述改变的视频译码模式不改变所述运动信息。
在一些情况下，所述计算机可读媒体可形成可出售给制造者和/或用于视频译码装置中的计算机程序产品的部分。所述计算机程序产品可包括所述计算机可读媒体，且在一些情况下，还可包括封装材料。
在附图和以下描述中陈述本发明的一个或一个以上方面的细节。将通过描述和图式并通过权利要求书明白本发明中所描述的技术的其它特征、目标和优点。
附图说明
图1为说明根据本发明的视频编码和解码系统的示范性框图。
图2为说明根据本发明的多回合译码技术的流程图。
图3为从跳过模式变为直接模式的双向预测性(B)片段的视频块的概念说明。
图4为说明其中将B片段的视频块从跳过模式变为直接模式的第二回合译码技术的流程图。
图5为B片段的从直接模式变为跳过模式的视频块的概念说明。
图6为说明其中将B片段的视频块从直接模式变为跳过模式的第二回合译码技术的流程图。
图7为从跳过模式变为帧间16×16模式的预测性(P)片段的视频块的概念说明。
图8为说明其中将P片段的视频块从跳过模式变为帧间16×16模式的第二回合译码技术的流程图。
具体实施方式
本发明描述用于在多回合视频译码情形下进行第二回合视频译码的技术。第二视频译码回合精细化在第一回合中所执行的视频译码以符合位速率约束、利用未使用频宽或达到其它目的。在本发明中，第二译码回合大体上是指在第一译码回合之后的任何后续译码回合。因此，除第二回合系在第一译码回合之后执行之外，短语“第二译码回合”中的术语“第二”并不暗示与其它译码回合的任何排序关系。如本文中所述，第二译码回合实际上可为任何后续译码回合，例如第一译码回合之后的第三或第四译码回合。
根据本发明，在第二译码回合中用于一些视频块的译码模式可相对于第一回合中所使用的译码模式而改变。然而，对于具有模式改变的视频块，运动信息保持相同(即，以相同方式在解码器处导出运动信息)。在一些情况下，第二译码回合可重新使用在第一译码回合期间所执行的任何基于运动的计算，因为对于具有模式改变的那些视频块，运动信息将不变。
在多回合视频译码中，第一回合用于对视频块进行译码且第二回合精细化在第一回合期间所执行的译码。在一些情况下，第二回合译码可完全对信息进行重新编码。然而，为了效率和简单起见，更希望第二回合译码采用在第一回合中所形成的信息中的一些，且精细化在第一回合期间所产生的经译码信息的其它部分。举例来说，可将为第一回合中的视频块定义的运动向量信息指派给第二回合中的相同视频块，而无需重新计算运动向量以确保不引入传播效应。然而，用于第二回合的量化参数可相对于用于第一回合的量化参数而改变。
根据本发明，第二回合译码可(例如)在跳过模式或直接模式之间改变视频块模式。直接模式和跳过模式为定义用于视频块的运动信息的视频译码模式的两个实例。具体来说，直接模式视频块和跳过模式视频块未被编码成包括运动信息，而是，对于这些模式，基于相邻视频块的运动信息在解码器处导出运动信息。作为一实例，本发明提出在第二回合编码中在跳过模式与直接模式之间改变的能力。举例来说，从跳过模式到直接模式的切换可帮助确保量化参数改变将对第二回合编码具有深远的质量增强效应。或者，从直接模式到跳过模式的切换可在第二回合中不执行完全重新编码的情况下提供减小位速率的容易方式。
可针对从跳过模式变为直接模式的任何视频块添加残余信息，且可针对从直接模式变为跳过模式的任何视频块消除残余信息。结合这些模式改变，量化参数改变可在第二译码回合中实现比在无模式改变的情况下可实现的情况更显著的译码增强或调整。本发明所涵盖的特定模式改变不引入任何传播效应，例如归因于运动向量的改变而传播的视频帧的改变，因为直接模式和跳过模式以类似方式(即，基于相邻视频块的运动向量)指派运动向量。第二译码回合中的计算复杂性还可相对于常规技术(例如在第二译码回合期间执行完全重新编码的技术)而降低。
不同类型的视频译码单元(例如，视频块的帧或视频块的片段)可具有可用于译码所述类型的视频译码单元的视频块的不同译码模式。举例来说，在ITU H.264中，存在帧内(I)帧或片段、预测性(P)帧或片段和双向预测性(B)帧或片段。虽然可在帧或片段阶的级别上定义视频译码单元，但为简单起见，以下揭示内容将仅涉及I片段、P片段和B片段。然而，如果可在帧的级别上或以不同方式定义视频译码单元，则还可应用本发明的技术。
I片段具有经由空间预测和帧内译码而译码的视频块。在此情况下，比较所述视频块与同一片段的其它视频块以利用空间冗余。对于I片段的视频块，使用同一片段内的预测性块以定义残余信息，所述残余信息指示经译码的视频块与同一片段内的预测性块之间的差异。I片段通常展现出最少量的压缩(例如，在I片段、P片段和B片段中)，但固有地比其它片段更稳健，因为I片段不依赖于其它片段中的信息进行预测。
P片段具有相对于先前译码的片段的视频块而经由运动估计和运动补偿进行译码的视频块以便利用时间冗余。对于P片段的视频块，可使用先前译码的片段中的预测性块来定义残余信息。又，所述残余信息指代指示经译码的视频块与预测性块之间的差异的信息，对于P片段，所述残余信息驻留于先前译码的片段内以利用时间冗余。
B片段具有相对于驻留于先前译码的片段和/或随后译码的片段中的视频块而经由运动估计和运动补偿进行译码的视频块。对于B片段的视频块，不同片段中的预测性块(在视频序列的正时间方向或负时间方向上)可用于定义残余信息。
I片段可充当其它P或B片段的视频块的帧间预测的参考。因此，P或B片段的视频块可定义返回涉及I片段的视频块的运动信息。类似地，P片段可充当其它P片段或B片段的帧间预测的参考。然而，虽然对ITU H.264的一些精细化允许一些B片段充当参考，但通常不将B片段用作参考。
每一类型的片段(例如，I片段、P片段或B片段)可定义若干可能模式，其可用于对不同视频块进行译码。举例来说，I片段的视频块可定义帧内模式，例如帧内16×16、帧内16×8、帧内8×16、帧内8×8、帧内8×4、帧内4×8、帧内4×4等。P片段的视频块可使用所述帧内模式，且还可定义各种帧间模式，例如帧间16×16、帧间16×8、帧间8×16、帧间8×8、帧间8×4、帧间4×8、帧间4×4等。另外，P片段可定义所谓的“跳过模式”。以所述跳过模式译码的视频块基于相邻视频块的运动向量定义运动向量且不包括任何残余信息。在解码器处，基于相邻视频块的运动向量导出用于跳过模式视频块的运动向量。因此，对于跳过模式视频块，无需编码或输送运动向量信息。
B片段的视频块可支持I和P片段的各种模式，且运动向量可指向视频序列的先前或后续片段。与P片段的视频块一样，B片段的视频块可定义跳过模式。另外，B片段还支持被称为“直接模式”的另一模式。所述直接模式在一些方面类似于跳过模式，但以所述直接模式译码的视频块包括残余信息。具体来说，以所述直接模式译码的视频块可能不具有任何运动向量，因为直接模式视频块基于相邻视频块的运动向量定义运动向量。然而，直接模式视频块包括指示由运动向量识别的视频块与经译码的视频块之间的差异的残余信息。
根据本发明，第二回合译码可在跳过模式或直接模式之间改变B片段的视频块的模式，而不改变为所述视频块定义的运动信息(例如，运动向量)。可为从跳过模式变为直接模式的任何视频块添加残余信息，且可为从直接模式变为跳过模式的任何视频块消除残余信息。类似技术还可应用于P片段的视频块以从跳过模式变为帧间16×16模式。由于P片段可能不支持直接模式，所以通过使用基于用于跳过模式视频块的运动向量计算而导出的所指派运动向量，可使用帧间16×16模式的使用来替代直接模式。在此情况下，在第二回合中将针对在跳过模式(如在第一译码回合期间所选择的)下的P片段的视频块定义的运动向量指派给帧间16×16模式下的视频块。接着产生残余信息以作为预测性视频块与经译码的块之间的差异。在此情况下，虽然视频块可定义为帧间16×16模式块，但其运动向量实际上被计算为已由第一译码回合的跳过模式定义的运动向量。编码器仅将已由第一译码回合的跳过模式定义的运动向量指派为帧间16×16模式下的第二回合的运动向量。帧间16×16模式允许包括用于P片段的视频块的残余信息。
译码中所使用的量化参数可在第二译码回合中相对于第一译码回合而调整。然而，常规上，量化参数的减小(此将产生较佳质量)尤其对B片段可能不具有非常显著的效应，因为跳过模式下的视频块不具有残余信息。通过在B片段中将跳过模式变为直接模式，量化参数的减小可相对于常规译码技术对视频块实现显著得多的效应。这是因为量化参数改变表明残余信息的改变。由于残余信息包括于直接模式视频块中而在跳过模式下不包括，所以需要模式改变以更好地利用量化参数改变对此残余信息的效应。同时，这些特定模式改变将不引入任何不合意的传播效应或与运动信息的改变失配，因为直接模式视频块和跳过模式视频块以相同方式定义运动向量。
图1为说明视频编码和解码系统10的框图。如图1所示，系统10包括源装置2，源装置2经由通信信道15将经译码视频发射到接收装置6。源装置2可包括视频源11、视频编码器12和调制器/发射器14。接收装置6可包括接收器/解调器16、视频解码器18和显示器装置20。如本文中所述，系统10可经配置以应用双回合译码技术，其中关于视频块执行量化参数改变和模式改变，但在第二回合中不改变任何运动向量信息。
在图1的实例中，通信信道15可包含任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线路，或无线媒体与有线媒体的任何组合。通信信道15可形成基于包的网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信信道15一般表示任何适合的通信媒体或不同通信媒体的集合，用于将来自源装置2的视频数据发射到接收装置6。
源装置2产生经译码视频数据以发射到接收装置6。然而，在一些情况下，装置2、6可以实质上对称的方式操作。举例来说，装置2、6中的每一者可包括视频编码和解码组件。因此，系统10可支持视频装置2、6之间的单向或双向视频传输，例如，用于视频串流、视频广播或视频电话。
源装置2的视频源11可包括视频俘获装置，例如视频相机、含有先前俘获的视频的视频档案，或来自视频内容提供者的视频馈送。作为另一替代方案，视频源11可产生作为源视频的基于计算机图形的数据，或现场视频与计算机产生的视频的组合。在一些情况下，如果视频源11为视频相机，则源装置2和接收装置6可形成所谓的照相手机(camera phone)或视频电话。在每一情况下，俘获的、预先俘获的或计算机产生的视频可由视频编码器12编码以经由调制器/发射器14、通信信道15和接收器/解调器16从视频源装置2发射到视频接收装置6的视频解码器18。视频编码器12包括第一回合编码器22和第二回合编码器24以支持本发明的多回合译码技术。在接收并解码视频数据后，接收装置6便使用显示器装置20向用户显示经解码视频数据。显示器装置20可包含例如阴极射线管、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器等多种显示器装置中的任一者，或另一类型的显示器装置。
在一些情况下，虽然本发明的技术并不限于可缩放视频译码(SVC)，但为了空间、时间和/或信噪比(SNR)可缩放性，视频编码器12和视频解码器18可经配置以支持SVC。在一些方面中，视频编码器12和视频解码器18可经配置以支持SVC的精细颗粒SNR可缩放性(FGS)译码。编码器12和解码器18可通过支持基础层和一个或一个以上可缩放增强层的编码、发射和解码来支持各种程度的可缩放性。对于SVC，基础层载运具有基线质量水平的视频数据。一个或一个以上增强层载运额外数据以支持较高空间、时间和/或SNR水平。可以比增强层的传输更可靠的方式传输基础层。举例来说，调制信号的最可靠部分可用于传输基础层，而调制信号的较不可靠部分可用于传输增强层。然而，可以许多其它方式定义SVC方案的不同层。
视频编码器12和视频解码器18可根据视频压缩标准(例如，MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4，第10部分，高级视频译码(AVC))而操作。虽然图2中未展示，但在一些方面中，视频编码器12和视频解码器18可各自分别与音频编码器和解码器整合，且可包括适当的MUX-DEMUX单元或其它硬件和软件，以处置共用数据流或单独数据流中的音频和视频两者的编码。如果可适用，则MUX-DEMUX单元可遵守ITU H.223多路分用器协议或例如用户数据报协议(UDP)等其它协议。
由ITU-T视频译码专家组(VCEG)与ISO/IEC运动图片专家组(MPEG)一起将H.264/MPEG-4(AVC)标准制定为被称为联合视频小组(JVT)的集体合作伙伴的产物。在一些方面中，本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用音视频服务的高级视频译码(Advanced Video Coding for generic audiovisual services)”中描述了H.264标准，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。所述技术还可适用于其它标准或视频译码协议。
如果用于视频广播，则可将本发明中所描述的技术应用于增强型H.264视频译码以用于使用待作为技术标准TIA-1099(“FLO规范”)出版的仅前向链路(FLO)空中接口规范(“用于陆地移动多媒体多播的仅前向链路空中接口规范(Forward Link Only AirInterface Specification for Terrestrial Mobile Multimedia Multicast)”)在陆地移动多媒体多播(TM3)系统中传递实时视频服务。即，通信信道15可包含用以根据FLO规范或类似规范来广播无线视频信息的无线信息信道。FLO规范包括界定适合于FLO空中接口的位流语法与语义和解码过程的实例。或者，可根据例如DVB-H(数字视频广播-掌上型)、ISDB-T(整合服务数字广播-陆地型)或DMB(数字媒体广播)的其它标准来广播视频。因此，源装置2可为移动无线终端、视频串流服务器或视频广播服务器。然而，本发明中所描述的技术不限于任何特定类型的广播、多播或点对点系统。在广播的情况中，源装置2可向多个接收装置广播若干视频数据信道，所述多个接收装置中的每一者可类似于图1的接收装置6。
在其它实例中，调制器/发射器14、通信信道15和接收器解调器16可经配置以用于根据任何有线或无线通信系统进行通信，所述系统包括以下一者或一者以上：以太网、电话(例如，POTS)、电缆、电力线和光纤系统，和/或包含以下一者或一者以上的无线系统：码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、正交频分多址(OFDM)系统、时分多址(TDMA)系统(例如，GSM(全球移动通信系统)、GPRS(通用分组无线电服务)或EDGE(增强型数据GSM环境)、TETRA(陆地集群无线电)移动电话系统)、宽带码分多址(WCDMA)系统、高数据速率1xEV-DO(第一代仅演进数据)或1xEV-DO金多播系统、IEEE 802.11系统、MediaFLOTM系统、DMB系统、DVB-H系统，或用于在两个或两个以上装置之间进行数据通信的另一方案。
视频编码器12和视频解码器18各自可实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器12和视频解码器18中的每一者可包括于一个或一个以上编码器或解码器中，可整合其中的任一者以作为相应移动装置、订户装置、广播装置、服务器或类似物中的组合的编码器/解码器(CODEC)的部分。另外，如可适用，源装置2和接收装置6各自可包括用于发射和接收经编码视频的适当调制、解调、频率转换、滤波和放大器组件，其包括足以支持无线通信的射频(RF)无线组件和天线。然而，为了说明简易性起见，在图2中将所述组件概述为源装置2的调制器/发射器14和接收装置6的接收器/解调器16。调制器/发射器14和接收器/解调器16可各自包含单独或整合的组件。
视频序列包括一系列视频帧。视频编码器12对个别视频帧内的像素块进行操作以对视频数据进行编码。所述视频块可具有固定或变化的大小，且可根据指定的译码标准而在大小上不同。在一些情况下，每一视频帧为一经译码单元，而在其它情况下，每一视频帧可被划分为形成经译码单元的一系列片段。每一片段可包括一系列宏块，其可布置为子块。作为一实例，ITU-T H.264标准支持各种块大小(例如用于亮度分量的16×16或4×4，和用于色度分量的8×8)中的帧内预测，以及各种块大小(例如用于亮度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4以及用于色度分量的对应经缩放大小)中的帧间预测。
较小的视频块可提供较好分辨率，且可用于视频帧内的位置，所述位置包括较高细节水平。一般来说，宏块(MB)和各种子块可被视为视频块。另外，片段可被视为一系列视频块，例如MB和/或子块。如所述，每一片段可为一视频帧的一独立可解码单元。
在基于帧内或帧间的预测性译码之后，额外译码技术可应用于所传输的位流。这些额外译码技术可包括变换技术(例如H.264/AVC中所使用的4×4或8×8整数变换或离散余弦变换DCT)和变换系数译码(例如变换系数的可变长度译码)。变换系数的块可被称为视频块。换句话说，术语“视频块”指代视频数据的块，而不管信息的域。因此，视频块可在像素域或经变换的系数域中。
视频编码器12包括第一回合编码器22和第二回合编码器24，其可为单独组件或过程，或可整合到共用组件或过程中。第一回合编码器22执行第一编码回合以对视频序列的各个帧或片段的视频块进行译码。第二回合编码器22接着精细化在所述第一回合期间所执行的译码。具体来说，为了效率和简单起见，第二回合编码器24采用在所述第一回合中形成的信息中的一些，且精细化在所述第一回合期间所产生的经译码信息的其它部分。举例来说，可将在所述第一回合中针对任何经帧间译码视频块定义的运动信息(例如，运动向量)指派给第二回合中的相同视频块，而无需重新计算运动信息，以确保不引入传播误差。然而，用于第二回合的量化参数可相对于用于第一回合的量化参数而改变。
根据本发明，第二回合编码器24可改变视频块模式(例如，在跳过模式或直接模式之间)，而不导致运动信息或在解码器18或接收装置6处导出所述运动信息的方式的任何改变。可针对从跳过模式变为直接模式的任何视频块添加残余信息，且可针对从直接模式变为跳过模式的任何视频块消除残余信息。结合这些模式改变，量化参数改变可在所述第二译码回合中实现比没有模式改变的情况下可实现的情况更显著的译码增强或调整。本发明所涵盖的特定模式改变不引入任何传播效应，因为直接模式和跳过模式以类似方式(即，基于相邻视频块的运动向量)指派运动向量。
图2为说明根据本发明的视频译码技术的流程图。如图2所示，第一回合编码器22在第一译码回合中对视频块进行编码(31)。在所述第一译码回合期间，第一回合编码器22可定义用于不同视频块的量化参数，且可基于所述量化参数选择译码模式。所述量化参数可界定译码中所使用的量化的水平。举例来说，较低量化参数导致比较高量化参数高的质量和低的压缩。第一回合中所使用的译码模式可视所选的量化参数而定。举例来说，可将拉格朗日乘数(λ)定义为λ＝2-(QP)或λ＝e-(QP)，其中“e”表示自然对数函数的底数(例如，e＝2.718281828459)且QP表示所选的量化参数。因此，对QP的调整可用于缩放拉格朗日乘数。不同的拉格朗日乘数(λ)值可引起不同的模式选择。以此方式，可基于量化参数来选择译码模式。
在选择了适当的译码模式后，第一回合编码器22便根据所选的译码模式对视频块进行编码。举例来说，如果为视频块选择帧内译码模式，则第一回合编码器22执行空间估计和帧内译码以对视频块进行译码。如果为视频块选择帧间译码模式，则第一回合编码器22执行运动估计预测和运动补偿以对视频块进行译码。如果为视频块选择直接译码模式，则第一回合编码器22基于相邻视频块的运动向量来确定所述视频块的运动向量，且产生残余信息以对所述视频块进行译码。在此情况下，对于使用直接模式进行译码的视频块，无需对运动向量信息进行译码，因为可基于相邻视频块的运动向量在解码器处导出所述信息。如果为视频块选择跳过译码模式，则第一回合编码器22不对任何运动或残余信息进行译码。对于使用跳过模式进行译码的视频块，与使用直接模式进行译码的视频块一样，可基于相邻视频块的运动向量在解码器处导出运动向量信息。因此，经由直接模式进行译码的视频块与经由跳过模式进行译码的视频块之间的唯一差异在于，经由直接模式进行译码的视频块包括残余信息，而经由跳过模式进行译码的视频块不具有任何残余信息。
一旦在第一回合中对视频块进行译码(31)，则第二回合编码器24调整用于第二译码回合的量化参数(32)。在此情况下，如果在第一译码回合中产生的数据量相对于可用频宽来说过多，则可增大所述量化参数以在所述第二回合中引起较多量化和较少数据。或者，如果在第一译码回合中产生的数据量相对于可用频宽来说较低，则可减小所述量化参数以在所述第二回合中引起较少量化和较多数据。
另外，第二回合编码器24改变一个或一个以上视频块的译码模式(33)。举例来说，如下文将更详细地描述，跳过视频块可变为直接视频块(针对B片段)或变为帧间16×16视频块(针对P片段)，使得可在不改变运动向量的情况下包括用于所述视频块的残余信息。在此情况下，结合量化参数改变的模式改变可对第二回合译码具有比单独使用量化参数改变可实现的情况更有用的质量增强。同时，模式改变将不引入任何失配或传播效应，因为所改变的模式将相同方式用于运动向量计算。举例来说，可在一个视频块的运动向量改变时显现传播效应，且所述视频块还被用作为参考块以用于不同视频块的译码。在此情况下，第一块的运动向量的改变可影响第二视频块。如果假设第一(参考)视频块的运动向量为X，则第二视频块可能已被译码。如果运动向量变为Y，则在第二视频块依赖于作为其预测性参考的第一视频块的范围内，此不仅对第一视频块具有效应，而且对第二视频块具有效应。这些效应在本文中可被称为传播效应、传播误差或失配。
如果需要更多数据压缩，则可将直接模式视频块(针对B片段)变为跳过模式视频块。此消除用于所述视频块的残余信息，且因此减少视频译码所需的数据量。然而，此还降低质量，其对实现所要位速率来说可能是必要的。所述所要位速率可由服务提供者设置、由服务质量水平设置、由物理频宽约束设置或大体上以任何方式设置。在任何情况下，第二回合编码器24仅可改变指定视频块的模式(从直接到跳过)的信息，且消除在第一译码回合期间所产生的残余信息以对直接视频块进行译码。
如果需要质量增强且存在过多频宽，则可将跳过模式视频块(针对B片段)变为直接模式视频块。在此情况下，产生并包括用于所述视频块的残余信息，此增加视频译码所需的数据的量且允许比单独使用量化参数调整可实现的情况更深远的基于量化参数减小的质量增强。在此情况下，第二回合编码器24可仅改变指定视频块的模式(从直接到跳过)的信息，且产生对直接视频块进行译码所需的残余信息。
通过使用经调整量化参数和改变的模式，第二回合编码器24在第二回合中对视频块进行编码(34)。而且，此精细化在第一回合中执行的视频译码以符合位速率约束、利用未使用频宽或达到其它目的。第二回合编码器24可一起执行量化参数调整(32)、模式改变(33)和第二回合译码(34)，以便以可实现所要位速率增加或减小的方式共同平衡量化参数调整和模式改变的影响。调制器/发射器14可根据物理层调制方案调制经编码信息且经由通信信道15将经编码信息发射到接收装置6(35)。
图3为从跳过模式宏块38变为直接模式宏块39的B片段的视频块的概念说明。图4为说明其中将B片段的视频块从跳过模式变为直接模式的第二回合译码技术的流程图。为了使给定视频块从跳过模式宏块38转换到直接模式宏块39，第二回合编码器24在直接模式下产生用于给定视频块的残余信息。由于跳过宏块和直接宏块以相同方式(基于相邻宏块的运动信息)在解码器处导出运动信息，所以跳过模式到直接模式的改变无需包括任何运动估计。仅改变表示译码模式的信息以反映模式改变，且产生与直接模式宏块相关联的残余信息。
更具体来说，如图4所示，第二回合编码器24为所译码的视频块选择新的量化参数(QP)(41)。在此情况下，所述新的QP可比在第一译码回合期间对视频块进行译码时所使用的那些QP低，此可产生较少量化和较佳分辨率。通过使用所述新的QP，第二回合编码器24计算新的拉格朗日乘数(42)。举例来说，可将拉格朗日乘数计算为λ＝2-(QP)或λ＝e-(QP)，其中“e”表示自然对数函数的底数(例如，e＝2.718281828459)且QP表示所选的量化参数。因此，对QP的调整可用于根据上述等式缩放拉格朗日乘数。拉格朗日乘数(λ)的不同值可引起不同的模式选择。
基于所述缩放的拉格朗日乘数，第二回合编码器24将一个或一个以上跳过宏块转换为直接宏块(43)。具体来说，可基于拉格朗日乘数值计算成本函数，且如果直接宏块在译码速率和/或失真方面提供优势，则可用直接宏块替代跳过宏块。举例来说，跳过模式到直接模式的转换可基于由拉格朗日乘数加权的速率失真(R-D)成本。或者，提供跳过模式到直接模式的转换的另一简单方式为量化每一跳过宏块的残余部分，且如果在量化后存在非零系数，则宣告其为直接宏块。在一个或一个以上跳过宏块到直接宏块的转换之后，第二回合编码器24接着对用于经转换宏块的残余信息进行编码(44)。具体来说，第二回合编码器24可基于相邻视频块的运动向量来计算运动向量，产生由所述运动向量识别的预测性块，且对指示预测性块与已被译码为直接宏块的块之间的差异的残余信息进行译码。然而，可从经编码的位流排除运动向量信息，因为可在解码器处产生此信息。
图5为从直接模式宏块58变为跳过模式宏块59的B片段的视频块的概念说明。图6为说明其中将B片段的视频块从直接模式变为跳过模式的第二回合译码技术的流程图。为了使给定视频块从直接模式宏块58转换为跳过模式宏块59，第二回合编码器24基本上改变模式且在跳过模式下消除用于给定视频块的残余信息。
而且，由于跳过宏块和直接宏块以相同方式(基于相邻宏块的运动信息)在解码器处导出运动信息，所以从直接模式到跳过模式的改变无需包括任何运动估计。仅改变表示译码模式的信息以反映模式改变，且丢弃与直接模式宏块相关联的残余信息。
如图6所示，第二回合编码器24为正被译码的视频块选择新的量化参数(QP)(61)。在此情况下，所述新的QP可比在第一译码回合期间对视频块进行译码所使用的QP高，此可导致较多量化和较低质量。通过使用所述新的QP，第二回合编码器24(例如)通过使用上述等式中的一者缩放拉格朗日乘数来计算新的拉格朗日乘数(62)。拉格朗日乘数(λ)的不同值可引起不同的模式选择。
基于所述缩放的拉格朗日乘数，第二回合编码器24将一个或一个以上直接宏块转换为跳过宏块(63)。可基于拉格朗日乘数值计算成本函数，且如果跳过宏块提供较低成本，则应该用跳过宏块替代直接宏块。或者，可仅宣告不具有任何残余信息(或不具有残余信息的阈值水平)的直接宏块为跳过宏块。第二回合编码器24接着消除用于经转换宏块的残余信息(64)。
图7为从跳过模式宏块78变为帧间16×16宏块79的P片段的视频块的概念说明。图8为说明其中将P片段的视频块从跳过模式变为帧间16×16模式的第二回合译码技术的流程图。不同于B片段，P片段可能不支持直接模式。然而，在此情况下，可修改P片段的从跳过模式到帧间16×16模式的模式改变以提供类似于B片段中的从跳过模式到直接模式的模式改变的效应。
为了将给定视频块从跳过模式宏块78转换为帧间16×16宏块79，第二回合编码器24将所述给定视频块从跳过模式视频块变为帧间模式视频块，基于针对所述跳过模式视频块的运动向量计算而将运动向量指派给帧间模式视频块，且在帧间模式下产生用于所述给定视频块的残余信息。
更具体来说，如图8所示，第二回合编码器24为正被译码的视频块选择新的量化参数(QP)(81)。在此情况下，所述新的QP可比在第一译码回合期间对视频块进行译码时所使用的QP低，此可导致较少量化和较佳质量。通过使用所述新的QP，第二回合编码器24计算新的拉格朗日乘数(82)。而且，可将所述拉格朗日乘数计算为(例如)λ＝2-(QP)或λ＝e-(QP)，其中“e”表示自然对数函数的底数(例如，e＝2.718281828459)且QP表示所选的量化参数。可基于拉格朗日乘数值计算成本函数以有助于选择具有最小成本的模式。所述新的QP根据上述等式缩放所述拉格朗日乘数，且经缩放的拉格朗日乘数用于选择译码模式，所述译码模式可能是或可能不是不同于第一译码回合的那些模式。
基于所述缩放的拉格朗日乘数，第二回合编码器24将一个或一个以上跳过宏块转换为帧间16×16宏块(83)。可基于拉格朗日乘数值计算成本函数，且如果帧间16×16宏块提供较低成本，则应用帧间16×16宏块替代跳过宏块。举例来说，跳过模式到帧间16×16模式的转换可基于由拉格朗日乘数加权的速率失真(R-D)成本。或者，提供跳过模式到帧间16×16模式的转换的另一简单方式为量化每一跳过宏块的残余部分，且如果量化后存在非零系数，则宣告其为帧间16×16宏块。第二回合编码器24基于对应跳过宏块的运动向量将运动信息(例如，运动向量)指派给经转换的帧间16×16宏块。换句话说，虽然第二回合编码器24指示已在帧间16×16模式下对宏块进行译码，但运动向量实际上与由跳过模式定义的原始运动向量相同。通过使用运动向量来识别预测性块，第二回合编码器24接着产生用于经转换的帧间16×16宏块的残余信息并对其进行译码。
即使第二回合编码器24使用常规上仅用于跳过宏块的计算来计算用于帧间16×16模式宏块的运动向量，图8的技术仍保持标准顺应性(例如，遵守ITU H.264)，因为所使用的编码方案不为解码器所知。因此，解码器将仅对所述帧间16×16模式宏块进行解码，且将不询问编码器如何计算所述运动向量。
本文中所描述的技术可以硬件、软件、固件或其任何组合来实施。可在整合的逻辑装置中一起实施描述为模块或组件的任何特征，或作为离散但可互操作的逻辑装置单独地实施。如果以软件实施，则所述技术可至少部分由计算机可读媒体实现，所述计算机媒体包含在执行时执行以上所描述方法中的一者或一者以上的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或替代地，所述技术可至少部分由计算机可读通信媒体实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传送代码且可由计算机存取、读取和/或执行。
代码可由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效整合或离散的逻辑电路。因此，如本文中所使用的术语“处理器”可指以上结构中的任一者或适合于实施本文所描述技术的任何其它结构。另外，在一些方面中，可将本文中所描述的功能性提供在经配置以用于编码和解码的专用软件模块或硬件模块内，或并入组合的视频编码器-解码器(CODEC)中。
已描述本发明的各种实施例。这些和其它实施例在所述权利要求书的范围内。

Claims (32)

1.一种视频译码方法，其包含：
在第一编码回合中对视频块进行编码，其中所述第一编码回合为所述视频块选择定义用于所述视频块的运动信息的视频译码模式；以及
在第二编码回合中对所述视频块进行编码，其中所述第二编码回合调整与所述视频块相关联的一个或一个以上量化参数，且基于所述调整的量化参数改变与所述视频块相关联的所述视频译码模式中的至少一些视频译码模式，其中所述改变的视频译码模式不改变所述运动信息。
2.根据权利要求1所述的方法，其中所述第二编码回合：
基于所述调整的量化参数缩放拉格朗日乘数值；且
基于所述缩放的拉格朗日乘数值改变与所述视频块相关联的所述视频译码模式中的至少一些视频译码模式。
3.根据权利要求1所述的方法，其中所述视频译码模式中的至少一些视频译码模式从跳过模式变为直接模式；且
所述第二译码回合使给定视频块从跳过模式视频块变为直接模式视频块，且在所述直接模式下产生用于所述给定视频块的残余信息。
4.根据权利要求1所述的方法，其中所述视频译码模式中的至少一些视频译码模式从直接模式变为跳过模式；且
所述第二译码回合使给定视频块从直接模式视频块变为跳过模式视频块，且在所述跳过模式下消除用于所述给定视频块的残余信息。
5.根据权利要求1所述的方法，其中所述视频译码模式中的至少一些视频译码模式从跳过模式变为帧间模式；且
所述第二译码回合使给定视频块从跳过模式视频块变为帧间模式视频块，基于对所述跳过模式视频块的运动向量计算将运动向量指派给所述帧间模式视频块，且在所述帧间模式下产生用于所述给定视频块的残余信息。
6.根据权利要求1所述的方法，其进一步包含将在所述第二编码回合中编码的所述视频块发射到另一装置。
7.根据权利要求6所述的方法，其中所述第二译码回合调整所述量化参数且改变所述视频译码模式中的至少一些视频译码模式，以共同调整与发射所述视频块相关联的位速率。
8.根据权利要求1所述的方法，其中在所述第二回合中对所述视频块进行编码包括对预测性(P)片段或帧和双向预测性(B)片段或帧的16×16宏块进行编码，且其中改变所述视频译码模式中的至少一些视频译码模式包含：
针对B片段或帧的至少一些视频块，从跳过宏块模式变为直接宏块模式，以及
针对P片段或帧的至少一些视频块，从跳过宏块模式变为帧间16×16宏块模式。
9.一种包含视频编码器的设备，其：
在第一编码回合中对视频块进行编码，其中所述第一编码回合为所述视频块选择定义用于所述视频块的运动信息的视频译码模式；以及
在第二编码回合中对所述视频块进行编码，其中所述第二编码回合调整与所述视频块相关联的一个或一个以上量化参数，且基于所述调整的量化参数改变与所述视频块相关联的所述视频译码模式中的至少一些视频译码模式，其中所述改变的视频译码模式不改变所述运动信息。
10.根据权利要求9所述的设备，其中所述第二编码回合：
基于所述调整的量化参数缩放拉格朗日乘数值；且
基于所述缩放的拉格朗日乘数值改变与所述视频块相关联的所述视频译码模式中的至少一些视频译码模式。
11.根据权利要求9所述的设备，其中所述视频译码模式中的至少一些视频译码模式从跳过模式变为直接模式；且
所述第二译码回合使给定视频块从跳过模式视频块变为直接模式视频块，且在所述直接模式下产生用于所述给定视频块的残余信息。
12.根据权利要求9所述的设备，其中所述视频译码模式中的至少一些视频译码模式从直接模式变为跳过模式；且
所述第二译码回合使给定视频块从直接模式视频块变为跳过模式视频块，且在所述跳过模式下消除用于所述给定视频块的残余信息。
13.根据权利要求9所述的设备，其中所述视频译码模式中的至少一些视频译码模式从跳过模式变为帧间模式；且
所述第二译码回合使给定视频块从跳过模式视频块变为帧间模式视频块，基于对所述跳过模式视频块的运动向量计算将运动向量指派给所述帧间模式视频块，且在所述帧间模式下产生用于所述给定视频块的残余信息。
14.根据权利要求9所述的设备，其进一步包含调制器/发射器，所述调制器/发射器调制在所述第二编码回合中编码的所述视频块且将其发射到另一装置。
15.根据权利要求14所述的设备，其中所述第二编码回合调整所述量化参数且改变所述视频译码模式中的至少一些视频译码模式，以共同调整与发射所述视频块相关联的位速率。
16.根据权利要求9所述的设备，其中在所述第二回合中对所述视频块进行编码包括对预测性(P)片段或帧和双向预测性(B)片段或帧的16×16宏块进行编码，且其中改变所述视频译码模式中的至少一些视频译码模式包含：
针对B片段或帧的至少一些视频块，从跳过宏块模式变为直接宏块模式，以及
针对P片段或帧的至少一些视频块，从跳过宏块模式变为帧间16×16宏块模式。
17.一种计算机可读媒体，其包含在处理器中执行时致使所述处理器进行以下操作的指令：
在第一编码回合中对视频块进行编码，其中所述第一编码回合为所述视频块选择定义用于所述视频块的运动信息的视频译码模式；以及
在第二编码回合中对所述视频块进行编码，其中所述第二编码回合调整与所述视频块相关联的一个或一个以上量化参数，且基于所述调整的量化参数改变与所述视频块相关联的所述视频译码模式中的至少一些视频译码模式，其中所述改变的视频译码模式不改变所述运动信息。
18.根据权利要求17所述的计算机可读媒体，其中所述第二编码回合：
基于所述调整的量化参数缩放拉格朗日乘数值；且
基于所述缩放的拉格朗日乘数值改变与所述视频块相关联的所述视频译码模式中的至少一些视频译码模式。
19.根据权利要求17所述的计算机可读媒体，其中所述视频译码模式中的至少一些视频译码模式从跳过模式变为直接模式；且
所述第二译码回合使给定视频块从跳过模式视频块变为直接模式视频块，且在所述直接模式下产生用于所述给定视频块的残余信息。
20.根据权利要求17所述的计算机可读媒体，其中所述视频译码模式中的至少一些视频译码模式从直接模式变为跳过模式；且
所述第二译码回合使给定视频块从直接模式视频块变为跳过模式视频块，且在所述跳过模式下消除用于所述给定视频块的残余信息。
21.根据权利要求17所述的计算机可读媒体，其中所述视频译码模式中的至少一些视频译码模式从跳过模式变为帧间模式；且
所述第二译码回合使给定视频块从跳过模式视频块变为帧间模式视频块，基于对所述跳过模式视频块的运动向量计算将运动向量指派给所述帧间模式视频块，且在所述帧间模式下产生用于所述给定视频块的残余信息。
22.根据权利要求17所述的计算机可读媒体，其进一步包含致使将在所述第二编码回合中编码的所述视频块发射到另一装置的指令。
23.根据权利要求22所述的计算机可读媒体，其中所述第二译码回合调整所述量化参数且改变所述视频译码模式中的至少一些视频译码模式，以共同调整与发射所述视频块相关联的位速率。
24.根据权利要求17所述的计算机可读媒体，其中在所述第二回合中对所述视频块进行编码包括对预测性(P)片段或帧和双向预测性(B)片段或帧的16×16宏块进行编码，且其中改变所述视频译码模式中的至少一些视频译码模式包含：
针对B片段或帧的至少一些视频块，从跳过宏块模式变为直接宏块模式，以及
针对P片段或帧的至少一些视频块，从跳过宏块模式变为帧间16×16宏块模式。
25.一种装置，其包含：
用于在第一编码回合中对视频块进行编码的装置，其中用于在所述第一编码回合中对视频块进行编码的装置包括用于为所述视频块选择定义用于所述视频块的运动信息的视频译码模式的装置；以及
用于在第二编码回合中对所述视频块进行编码的装置，其中用于在所述第二编码回合中对所述视频块进行编码的装置包括用于调整与所述视频块相关联的一个或一个以上量化参数的装置，和用于基于所述调整的量化参数改变与所述视频块相关联的所述视频译码模式中的至少一些视频译码模式的装置，其中所述改变的视频译码模式不改变所述运动信息。
26.根据权利要求25所述的装置，其中所述用于在所述第二编码回合中对所述视频块进行编码的装置包括用于基于所述调整的量化参数缩放拉格朗日乘数值的装置，且其中所述用于改变的装置包含用于基于所述缩放的拉格朗日乘数值改变与所述视频块相关联的所述视频译码模式中的至少一些视频译码模式的装置。
27.根据权利要求25所述的装置，其中所述视频译码模式中的至少一些视频译码模式从跳过模式变为直接模式；且
用于在所述第二编码回合中对所述视频块进行编码的装置包括用于使给定视频块从跳过模式视频块变为直接模式视频块的装置，和用于在所述直接模式下产生用于所述给定视频块的残余信息的装置。
28.根据权利要求25所述的装置，其中所述视频译码模式中的至少一些视频译码模式从直接模式变为跳过模式；且
用于在所述第二编码回合中对所述视频块进行编码的装置包括用于使给定视频块从直接模式视频块变为跳过模式视频块的装置，和用于在所述跳过模式下消除用于所述给定视频块的残余信息的装置。
29.根据权利要求25所述的装置，其中所述视频译码模式中的至少一些视频译码模式从跳过模式变为帧间模式；且
用于在所述第二编码回合中对所述视频块进行编码的装置包括用于使给定视频块从跳过模式视频块变为帧间模式视频块的装置，用于基于对所述跳过模式视频块的运动向量计算将运动向量指派给所述帧间模式视频块的装置，和用于在所述帧间模式下产生用于所述给定视频块的残余信息的装置。
30.根据权利要求25所述的装置，其进一步包含用于将在所述第二编码回合中编码的所述视频块发射到另一装置的装置。
31.根据权利要求30所述的装置，其中所述用于在所述第二编码回合中对所述视频块进行编码的装置包括用于调整所述量化参数的装置，和用于改变所述视频译码模式中的至少一些视频译码模式以共同调整与发射所述视频块相关联的位速率的装置。
32.根据权利要求25所述的装置，其中用于在所述第二编码回合中对所述视频块进行编码的装置包括用于对预测性(P)片段或帧和双向预测性(B)片段或帧的16×16宏块进行编码的装置，且其中用于改变所述视频译码模式中的至少一些视频译码模式的装置包含：
用于针对B片段或帧的至少一些视频块从跳过宏块模式变为直接宏块模式的装置，以及
用于针对P片段或帧的至少一些视频块从跳过宏块模式变为帧间16×16宏块模式的装置。
CN2008800066961A 2007-03-02 2008-02-29 一种视频译码方法及用于视频编码的装置 Active CN101622880B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US89280407P 2007-03-02 2007-03-02
US60/892,804 2007-03-02
US11/777,395 US8594187B2 (en) 2007-03-02 2007-07-13 Efficient video block mode changes in second pass video coding
US11/777,395 2007-07-13
PCT/US2008/055553 WO2008109471A1 (en) 2007-03-02 2008-02-29 Efficient video block mode changes in second pass video coding

Publications (2)

Publication Number Publication Date
CN101622880A true CN101622880A (zh) 2010-01-06
CN101622880B CN101622880B (zh) 2013-09-25

Family

ID=39733048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800066961A Active CN101622880B (zh) 2007-03-02 2008-02-29 一种视频译码方法及用于视频编码的装置

Country Status (7)

Country Link
US (1) US8594187B2 (zh)
EP (1) EP2132938B1 (zh)
JP (1) JP5611601B2 (zh)
KR (1) KR101058758B1 (zh)
CN (1) CN101622880B (zh)
TW (1) TW200904197A (zh)
WO (1) WO2008109471A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740070A (zh) * 2011-04-04 2012-10-17 Nxp股份有限公司 两种模式之间可切换的视频解码
CN103327284A (zh) * 2012-12-18 2013-09-25 中兴通讯股份有限公司 无损视频的传输方法、装置及视频通讯系统

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1829027A1 (en) * 2004-12-15 2007-09-05 Telefonaktiebolaget LM Ericsson (publ) Method and device for encoding mode changing of encoded data streams
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
WO2008156548A1 (en) * 2007-06-12 2008-12-24 Thomson Licensing Methods and apparatus supporting multi-pass video syntax structure for slice data
US20090074075A1 (en) * 2007-09-14 2009-03-19 The Hong Kong University Of Science And Technology Efficient real-time rate control for video compression processes
US8077772B2 (en) * 2007-11-09 2011-12-13 Cisco Technology, Inc. Coding background blocks in video coding that includes coding as skipped
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
WO2010033565A1 (en) * 2008-09-16 2010-03-25 Dolby Laboratories Licensing Corporation Adaptive video encoder control
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
DK2476255T3 (en) 2009-09-10 2018-08-06 Guangdong Oppo Mobile Telecommunications Corp Ltd ACCELERATION TECHNIQUES FOR DISTORTION GRADE OPTIMIZED QUANTIZATION
US8532169B2 (en) * 2009-12-23 2013-09-10 General Instrument Corporation Rate control for two-pass encoder using adaptive quantization parameters
US8681858B2 (en) * 2009-12-23 2014-03-25 General Instrument Corporation Rate control for two-pass encoder
KR20110097704A (ko) * 2010-02-23 2011-08-31 삼성전자주식회사 계층 부호화 구조에서 예측 영상을 부호화/복호화하는 방법 및 장치
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8553763B2 (en) 2010-06-10 2013-10-08 Sony Corporation Iterative computation of adaptive interpolation filter
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US9781449B2 (en) * 2011-10-06 2017-10-03 Synopsys, Inc. Rate distortion optimization in image and video encoding
US9338463B2 (en) 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US20140362927A1 (en) * 2013-06-07 2014-12-11 Apple Inc. Video codec flashing effect reduction
BR102015001999A2 (pt) * 2015-01-28 2019-02-26 De Souza Leite Pinho Mauro instrumento para comunicação virtual interativa
US10313675B1 (en) 2015-01-30 2019-06-04 Google Llc Adaptive multi-pass video encoder control
US11496747B2 (en) * 2017-03-22 2022-11-08 Qualcomm Incorporated Intra-prediction mode propagation
US10778938B2 (en) * 2018-12-20 2020-09-15 Hulu, LLC Video chunk combination optimization
CN109862362A (zh) * 2018-12-29 2019-06-07 深圳市网心科技有限公司 一种视频的mpeg2编码方法、系统、介质及设备
AU2020358175A1 (en) * 2019-10-03 2022-04-14 Huawei Technologies Co., Ltd. Coding process for geometric partition mode
CN117356097A (zh) * 2021-04-21 2024-01-05 抖音视界有限公司 用于视频处理的方法、设备和介质
CN113132757B (zh) * 2021-04-21 2022-07-05 北京汇钧科技有限公司 数据处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471319A (zh) * 2002-07-22 2004-01-28 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
CN1487474A (zh) * 2002-07-05 2004-04-07 微软公司 用于数据压缩的改进优化技术
US20060050786A1 (en) * 2004-09-09 2006-03-09 Kabushiki Kaisha Toshiba Moving picture coding apparatus and computer program product
CN1810037A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 帧间的快速模式确定编码

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144424A (en) 1991-10-15 1992-09-01 Thomson Consumer Electronics, Inc. Apparatus for video data quantization control
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
JP2001086512A (ja) 1999-09-14 2001-03-30 Nec Corp 可変ビットレート符号化装置
US20030215011A1 (en) * 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
CA2491522C (en) * 2002-07-01 2014-12-09 E G Technology Inc. Efficient compression and transport of video over a network
CA2508428A1 (fr) 2005-05-20 2006-11-20 Hydro-Quebec Detection, localisation et interpretation de decharge partielle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487474A (zh) * 2002-07-05 2004-04-07 微软公司 用于数据压缩的改进优化技术
CN1471319A (zh) * 2002-07-22 2004-01-28 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
CN1810037A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 帧间的快速模式确定编码
US20060050786A1 (en) * 2004-09-09 2006-03-09 Kabushiki Kaisha Toshiba Moving picture coding apparatus and computer program product

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740070A (zh) * 2011-04-04 2012-10-17 Nxp股份有限公司 两种模式之间可切换的视频解码
CN103327284A (zh) * 2012-12-18 2013-09-25 中兴通讯股份有限公司 无损视频的传输方法、装置及视频通讯系统

Also Published As

Publication number Publication date
WO2008109471A1 (en) 2008-09-12
US20080212677A1 (en) 2008-09-04
CN101622880B (zh) 2013-09-25
KR101058758B1 (ko) 2011-08-24
EP2132938B1 (en) 2015-06-10
US8594187B2 (en) 2013-11-26
JP5611601B2 (ja) 2014-10-22
JP2010520714A (ja) 2010-06-10
KR20090123914A (ko) 2009-12-02
EP2132938A1 (en) 2009-12-16
TW200904197A (en) 2009-01-16

Similar Documents

Publication Publication Date Title
CN101622880B (zh) 一种视频译码方法及用于视频编码的装置
CA2673875C (en) Variable length coding table selection based on block type statistics for refinement coefficient coding
JP5307017B2 (ja) リファインメント係数符号化のためのビデオブロックに基づいた可変長符号化テーブル選択
CN101828399B (zh) 用于可缩放位深度的可缩放视频译码方法和设备
KR101056001B1 (ko) 코딩된 블록 패턴들에 대한 가변 길이 코딩 기술
RU2452128C2 (ru) Адаптивное кодирование информации заголовка видеоблока
CN102474623B (zh) 在视频编码中的非零舍入及预测模式选择方法
KR101057600B1 (ko) 대응 변환 계수 값들의 이력에 기초한 정제 계수 코딩
KR101068428B1 (ko) Ｓｖｃ ｃｇｓ 향상 계층 코딩을 위한 ｃａｖｌｃ 향상
CN102007769A (zh) 用于视频编码中的速率控制的死区参数选择
RU2409003C1 (ru) Выбор таблицы кодирования с переменной длиной на основании типа видеоблока для совершенствования кодирования коэффициентов

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant