CN100576915C - 位流控制的后处理过滤的计算机实现方法 - Google Patents

位流控制的后处理过滤的计算机实现方法 Download PDF

Info

Publication number
CN100576915C
CN100576915C CN200410077189A CN200410077189A CN100576915C CN 100576915 C CN100576915 C CN 100576915C CN 200410077189 A CN200410077189 A CN 200410077189A CN 200410077189 A CN200410077189 A CN 200410077189A CN 100576915 C CN100576915 C CN 100576915C
Authority
CN
China
Prior art keywords
post
control information
processing filtering
video
described control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200410077189A
Other languages
English (en)
Other versions
CN1627824A (zh
Inventor
S·斯里尼瓦杉
C·-L·林
P·苏
T·W·赫尔科布
M·-C·李
J·里巴斯-科贝拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1627824A publication Critical patent/CN1627824A/zh
Application granted granted Critical
Publication of CN100576915C publication Critical patent/CN100576915C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

描述了用于位流控制的过滤的技术和方法。例如，视频编码器将控制信息放入用于编码信息的位流中。视频解码器解码经编码的数据并按照控制信息使用解环形和/或解分块过滤器实现在解码的视频上的后处理过滤。通常，内容著作者规定对编码器的控制信息。控制信息本身是后处理过滤器级，过滤器选择，和/或某些其他类型的信息。在该位流中，对帧内的一个序列，场景，帧，区域，或在某个其他语法层上规定该控制信息。

Description

位流控制的后处理过滤的计算机实现方法
相关专利的引用
本专利申请要求No.60/501,081题为“VIDEO ENCODING ANDDECODING TOOLS AND TECHNIQUES”2003年9月7日申请的美国临时专利申请的权益，其揭示的内容加入在此作为参考。
技术领域
揭示了位流控制的过滤的技术和工具。例如，视频编码器提供用于后处理过滤的控制信息，而视频解码器用解环形(de-ringing)和/或解分块(de-blocking)过滤器执行位流控制的后处理过滤。
背景技术
数字视频耗费大量存储和传输能力。典型的原始数字视频序列包括每秒15或30帧。每帧能包括数万或数十万象素(也称为象元)。每个象素代表图象的最小元素。在原始形式，计算机通常用24位表示一象素。因此，通常原始数字视频序列的每秒位数或位速率是每秒5百万位或更多。
大多数计算机和计算机网络缺乏资源来处理原始视频。因此，工程师使用压缩(也称编码)来减少数字视频的位速率。压缩能是无损的，其中视频质量未受影响，但由于视频的复杂性，位速率的减少有限。或者压缩能是有损的，其中视频质量受影响，但在位速率方面的减少是很惊人。解压缩是压缩的反向。
通常，视频压缩技术包括帧内压缩和帧间压缩。帧内压缩技术压缩通常称为I-帧或主帧的单独帧。帧间压缩技术参照前和/或后帧压缩帧，它们通常称为预测帧，P-帧或B-帧。
微软公司的Windows Media Video Version8[“WMV8”]和9[“WMV9”]均包括视频编码器和视频解码器。编码器使用帧内和帧间压缩，而解码器使用帧内和帧间解压缩。对于视频压缩及解压缩还有若干国际标准，包括电视图象专家组[“MPEG”]1，2和4标准和H.26X标准。类似于WMV8和WMV9，这些标准使用帧内和帧间的压缩和解压缩的组合。
I.基于块的帧压缩和帧解压缩
许多现有技术的编码器使用基于块的帧压缩。为了说明，假设编码器将一视频帧分成各8X8的象素块，并应用8X8的离散余弦转换[“DCT”]到各个块。DCT将给定的8X8的象素块(空间信息)转换到8X8的DCT系数块(频率信息)。DCT操作本身是无损或几乎无损的。解码器量化DCT系数，导致8X8的量化DCT参数块。量化是有损的，即使未完全损失系数信息，也导致精度的损失。然后编码器准备8X8的量化DCT系数的块，用于熵编码并执行熵编码，后者是无损压缩的方式。
对应的解码器执行对应的解码过程。对给定的块，解码器执行熵解码，逆向量化，逆向DCT等，导致重构的块。由于量化，重构的块不等同于原始块。事实上，在重构的块或重构块之间的边界上有显而易见的误差。
II、基于块的帧间压缩和解压缩
许多现有技术编码器使用基于块的运动补偿预测编码，然后转换余量的编码。为了说明，假设编码器将预期的帧分成8X8的象素块。四个8X8的亮度块的组和两个同一地点的色彩块形成一宏块。运动估计逼近宏块相对于参考帧，如以前编码的先前帧的运动。编码器计算宏块的运动向量。在运动补偿中，对使用来自参考帧的信息的宏块，使用运动向量计算预测的宏块。此预测难以完美，所以编码器通常编码在预期的与原始的宏块之间的象素差的块(也称误差块或余量块)。编码器将DCT应用到误差块，得到系数块。编码器量化DCT系数，准备量化DCT系数的块，用于熵编码，并执行熵编码。
对应的解码器执行对应的解码过程。解码器执行熵解码，逆向量化，和逆向DCT等，得出重构的误差块。在分别的运动补偿路径中，解码器使用相对于参考帧的运动向量信息计算预测帧。解码器将预测帧与重构的误差块组合。重构的视频还不等同于对应的原始帧，在重构块或在重构块之间的边界上有显而易见的误差。
III、分块的效果(Artifacts)和环形的效果
有损压缩在重构以后能导致视频中明显的误差，有损压缩越厉害和原始帧的质量越高，看来在重构的视频中更会引入明显的误差。两个共同类型的误差是分块的效果和环形的效果。
基于块的压缩技术具有如易于实现的优点，但引入分块效果，它是当今数字视频中最常见且最烦人类型的扭曲。分块的效果是在重构的视频中围绕块的边缘的可见的间断。尤其在压缩率较高时，量化和截断(如基于块的转换的转换系数的截断)引起分块效果。例如当块被单独量化时，一块能比相邻块量化量多或更少。在重构时，这能引起在两块的边界上的分块效果。或当高频系数被量经时，若块的整个内容不同且必须用高频系数来重构围绕块边界过渡的细节，场地可导致分块的效果。
环形效果是由高频转换系数的量化或截断引起的，不论转换系数是来自基于块的转换或基于子波的转换。两种转换本质上将象素的区域表示成正规波形的和，其中波形的贡献抵消由低频波形引入的扭曲。若高频系统被高度量化，扭曲象低频波形振荡那样变得明显。例如，假设图象区域包括清晰的边缘或轮廓，且高频系数被高度量化，在重构的图象中量化能引起围绕清晰的边界或轮廓的波纹或振荡。
IV、后处理过滤
使用解分块(de-blocking)和解环形(de-ringing)技术能减轻分块效果和环形效果。这些技术常称为后处理技术，因为它们通常在视频已被解码后应用。后处理通常提高重构视频可觉察的质量。
WMV8和WMV9解码器使用专门的过滤器在后处理过程中减少分块和环形的效果。对附加的信息见序列号60/341,674，2001年12月17日申请的美国临时专利申请的附件A和序列号60/488,710，2003年7月18日申请的美国临时专利申请的附件A。执行上述MEPG和H.26X若干标准的软件具有解分块和/或解环形过滤器。例如见：(1)如在验证模型中被测试并在MPEG-4draft N2202的附件F，第15.3中被描述的MPEG-4解分块和解环形过滤器，(2)在Test ModelNear-term被测试的H.263+后处理过滤器，和(3)H.264JM后处理过滤器。此外，许多出版物讨论后处理过滤技术(在某些情况还有某些前处理技术)。例如见(1)Kuo et al.“Adaptive Postprocessor for Block Encuded Images”，IEEE Trans.On Circuits and System for Video Technology，Vol.5，No.4(Aug，1995)，(2)O’Rourke et al.，”Improved Inage Decompression for Reduced Transform CodingArtifacts，”IEEE Trans.On Circuits and System for Video Technology，Vol.5，No.6，(1995)和(3)Segallet al.，“Pre and Post-Processing Algorithms for CompressedVideo Enhancement，”Proc.34th Asilomar Conf.On Signals and Syatems(2000)。
图1是按现有技术后处理的一般图示。视频编码器(110)接收源视频(105)，编码并产生视频位流(115)。视频位流如借助作为流动媒体在网络上的发送，经通道(120)提交。视频解码器(130)接收并解码此视频位流(115)，产生经解码的视频(135)。在解码后的视频上使用如解分块和/或解环形过滤器那样的后处理过滤器(140)，产生经解码，经后处理的视频(145)。
严格讲来，后处理过滤技术不需要解码视频流(115)。解码编码工程师能决定，在设计解码编码器时是否应用那样的技术。例如，决定能根据CPU指令用期是否可用于软件解码器，或根据硬件解码器的额外开销。因为后处理技术通常很大地提高了视频质量，它们通常应用在当今大多数视频解码器。后处理过滤器有时独立于视频编码解码器设计，所以同一解分块和解环形过滤器能应用于不同的编码解码器。
在现有系统中，后处理过滤器被自动地应用到整个视频序列。假设是，后处理过滤总是至少改善视频质量，因此后处理过滤总应加上。对不同系统，按解码器的能力过滤器可具有不同的力度。此外，根据重构的视频的内容的解码器方的估计，某些过滤器可选择地禁止或改变过滤的力度，但此自适应过程仍然是自动执行。这些方法存在若干问题。
首先，后处理过滤总是至少改善视频质量的假设是不正确的。对没有多少损失的压缩的高质量视频，后处理解分块和解环形能消除纹理细节并显著地模糊图象，实际上降低了质量。这对在高位速率编码的高确定视频有时会发生。
其次，在视频位流中没有信息来引导后处理过滤。视频制作者不被允许通过在视频位流中引入控制过滤的信息来控制或适应后处理过滤。
V、环路内(In-Loop)过滤
除了后处理过滤，若干现有系统使用环路内过滤。环路内过滤涉及在编码和解码过程(在解码过程之后应用后处理)的运动补偿期间，在重构的参考帧上的过滤(如解分块过滤)。通过减少在参考帧中的效果，编码和解码器改善了来自参考帧的经运动补偿测帧的质量。例如，见(1)序列号60/341，2001年12月17日申请的美国临时专利申请的4.4节，(2)序列号60/488,471，2003年7月18日申请的美国临时专利申请的4.9节，(3)H.261标准(描述宏块的条件低通过滤)的3.2.3节，(4)H.263标准的3.4.8节和附件J，和H.264标准的有关章节。
尤其是，H.264标准允许视频制作者打开或关闭循环内过滤，并以逐个场景的方式修改过滤的力度。然而，H.264标准不允许视频制作者对帧中区域适应地调节循环过滤。此外，H.264标准只应用一类路内过滤器。
由于视频压缩及解压缩对数字视频的极大重要性，视频压缩及解压缩成为广泛发展的领域是意料之中的。然而不管以前的视频压缩和解压缩技术带来的利益，它们没有下面的技术及工具的优点。
发明内容
总之，详细的描述是针对用于位流控制的过滤的各种技术和工具。例如，视频编码器将控制信息放入位流用于编码视频，视频解码器解码被编码的视频，并按照控制信息执行在被解码的视频的后处理过滤。用这类控制，操作员能允许后处理达到提高视频质量的程度或禁止后处理。在一种情况，操作员控制后处理过滤，以防止过份模糊高确定高位速率视频的重构帧。
各种技术和工具能组合地或单独使用。
在一方面，视频编码器或其他工具接收并编码视频数据，并输出经编码的视频数据和控制信息。控制信息用于在解码后控制视频数据的后处理过滤。后处理过滤包括解分块，解环形，和/或其他类型的过滤。通常，操作人员指定诸如后处理过滤器级(即过滤器力度)或过滤器类型选择的控制信息。根据实现情况，对序列，场景，帧，帧中区域和/或某些其他级指定控制信息。
在另一方面，视频解码器和其他工具接收经编码的视频数据和控制信息，解码经编码的视频数据，并至少部分地根据所接收的控制信息执行对解码的视频数据的后处理过滤。后处理过滤再次包括解分块，解环形和/或其他类型过滤，且根据实现情况，对序列，场景，帧，帧中区域和/或某些其他级指定控制信息。
从参考附图进行的下面对不同实施例的描述，另外的特征和优点将变得一目了然。
附图说明
图1是示出按现有技术的后处理过滤的原理图；
图2是合适计算环境的方框图；
图3是一般的视频编码器系统的方框图；
图4是一般的视频解码器系统的方框图；
图5是示出位流控制的后处理过滤的原理图；
图6是示出用嵌入的用于后处理过滤的控制信息产生位流的技术的流程图；
图7是示出实现位流控制的后处理过滤的技术的流程图。
具体实施方式
本专利涉及用解分块及解环形重构的视频的位流控制的后处理过滤的技术和工具。该技术和工具让操作人员控制后处理过滤，使操作员能让后处理达到提高视频质量的程度，并在另外情况能禁止后处理。例如操作员控制后处理过滤以防止过份地模糊高确定高位速率视频的重构帧。
除其他方面以外，本专利涉及用于规定控制信息，参数化控制信息，发控制信息信号，和按控制信息过滤的技术和工具。各种技术和工具能组合地或独立地使用。不同的实施例实现一个或多个所描述的技术和工具。
虽然许多详细的描述直接关系到在后处理期间的解分块及解环形过滤，此技术和工具也能应用在其他阶段(如在编码和解码中的环路内过滤)，并用于其他类型的过滤。
类似地，虽然许多详细的描述涉及视频编码器和解码器，其它类型的视频处理工具或其他工具能实现一个或多个用于位流控制的过滤的技术。
I、计算环境
图1示出其中能实现若干所描述的实施例的合适的计算环境(200)的一般例子。计算环境(200)不试图对使用或功能的范围提出任何限止，因为能在不同的通用或专用计算环境中实现此技术和工具。
参考图2，计算环境(200)至少包括一个处理单元(210)和存储器(220)。在图2中最基本配置(230)包括在虚线之中。处理单元(210)执行计算机可执行指令，并能是真实或虚拟的处理器。在多处理器系统中，多个处理单元执行计算机可执行指令以增加处理能力。存储器(220)能是易失存储器(如寄存器，高速缓冲器，RAM)，非易失存储器(如ROM，EEPROM，闪存等)，或两者的某种组合。存储器(220)存储实现用于编码器和/或解码器的位流控制的过滤技术的软件(280)。
计算环境能具有附加特征。例如，计算环境(220)包括储存器(240)。一个或多个输入设备(250)，一个或多个输出设备(260)，和一个或多个通讯连接(270)。诸如总线，控制器，或网络那样的互连机制互连了计算环境(200)的组件。通常，操作系统软件(未示出)为在计算环境(200)上执行的其他软件提供操作环境，并协调计算环境(200)各组件的活动。
储存器(240)能是可移除或不可移除的，并包括磁盘，磁带或盒式磁带，CD-ROM，DVD或能用于存储信息并能在计算环境(200)中访问的其他介质。储存器(240)存储实现用于编码器和/或解码器的位控制的过滤技术的软件。
输入设备(250)能是诸如键盘，鼠标，笔或跟踪球的接触输入设备，语音输入设备，扫描设备，或将输入提供给计算环境(200)的其他设备。为了声频或视频编码，输入设备(250)能是声卡、视频卡、TC调谐卡、或类似设备，它们接收以模拟或数字方式或来自CD-ROM或CD-RW中的声频或视频输入，将声频或视频样本读入到计算环境(200)。输出设备(260)能是显示器，打印机，话筒，CD-写入器，或其他从计算环境提供输出的其他设备。
通讯连结(270)使能经通讯媒体通讯到其他计算实体。通讯媒体传递以调制数字信号方式的诸如计算机可执行指令，声频或视频输入或输出，或其他数据那样的信息。调制数据信号是具有以如在信号中编码信息的方式设置或改变的一个或多个其特征的信号。例如，但不限于，通讯媒体包括用电，光，RF，红外或其他载体实现的有线或无线技术。
能在计算机可读介质的一般情况描述此技术和工具。计算机可读介质是在计算环境中能访问的任何可用介质。例如，但不限于在计算机环境(200)中，计算机可读介质包括存储器(220)，储存器(240)，通讯媒体，和任何上述的组合。
此技术和工具能在计算机可执行指令的一般情况描述，如包括在计算环境中的真实或虚拟目标处理器上执行的程序模块。通常，程序模块包括例行程序，程序，库，对象，类，组件，数据结构等，它们完成特定任务或实现特定的抽象数据类型。如在各实施例中描述，程序模块的功能可在各程序模块之间组合或分割。对程序模块的计算机可执行指令能在本地的或分布式计算环境中执行。
II、一般的视频编码器和解码器
图3是一般的视频编码器(300)的方框图，而图4是一般的视频解码器(400)的方框图。
示出的在编码器和解码器中各模块之间的关系表明在编码器和解码器中主要的信息流；为简单起见不示出其他关系。尤其是图3和图4通常不示出表示用于视频序列，帧/域，宏块，块等的编码器设置，方式，表等的周边信息。那样的周边信息通常在该周边信息的熵编码之后在输出位流中发出。输出位流的格式能是Windows Media Video Version9格式或其他格式。
编码器(300)和解码器(400)是基于块的并使用4:2:0的宏块格式，每个宏块包括4个8X8的亮度块(有时处理或16X16的宏块)和2个8X8的色彩块。编码器(300)和解码器(400)在作为视频帧和/或视频域的视频图上操作。另选的，编码器(300)和解码器(400)是基于对象的，使用不同的宏块或块格式，或在不同于8X8块和16X16宏块的大小或配置的象素组上执行操作。
根据实现情况和希望的压缩类型，编码器或解码器的模块能被添加，略去，分割成多个模块，与其他模块组合，和/或用类似模块替代。在另选实施例中，带不同模块和/或其他模块配置的编码器或解码器实行一个或多个所述技术。
A、视频编码器
图3是一般的视频编码器系统的方框图(300)。编码器系统(300)接收包括当前图(305)的一系列视频图，并产生压缩的视频信息(395)作为输出。视频编码器的特定实施例通常使用一般编码器(300)的变种或补充版本。
编码器系统(300)压缩预测图形和主图形。为说明起见，图3示出主图形通过编码器系统(300)的路径和用于前向预测图形的路径。编码器系统(300)的许多组件能用于压缩主图形和预测图形。由那些组件执行的确切操作能随拟压缩的信息的类型而改变。
预测图形(也称对双向预测的P-图形，b-图形或编码间图形(inter-cddedpicture)借助于从一个或多个其他图形的预测(或差别)表示。预测余量是预测和和原始的图形之间的差。相反，主图形(也称i-图形，内编码(intra-coded)图形)不参考其他图形压缩。
若当前图形(305)是前向预测图形，运动估计器(310)估计当前图形(305)的宏块或其他象素组相对于参考图(325)的运动，后者是缓存在图形储存器(320)中重构的以前图形。在另选的实施例中，参考的图形是较后的图形或当前图形是双向预测的。运动估计器(310)输出如运动向量的运动信息作为周边信息。运动补偿器(330)将运动信息(315)应用到参考图形(325)以形成经运动补偿的当前图形预测(335)。然而，预测难以完美，在经运动补偿的当前图形预测(335)和原始的当前图形(305)之间的差是预测余量(345)。另选地，运动估计器和运动补偿器可应用其他类型的运动估计/补偿。
频率转换器(360)将空间域视频信息转换成频域(即频谱的)数据。对基于块的视频图形，频率转换器(360)应用DCT或DCT的变种到象素数据或预测余量数据的块，产生DCT系数的块。另选地，频率转换器(360)使用如富立叶变换那样的另外传统的频率转换或使用子波或子波段分析。在某些实施例中，频率转换器(360)应用8X8，8X4，4X8或其他大小频率转换(如DCT)来预测对被预测图形的余量。
然后量化器(370)量化谱数据系数的块。量化器应用均匀的标量量化到谱数据，其步长按逐个图形或按其他方式变化。另选地，量化器应用其他类型的量化到谱数据系数，如非均匀的，向量的或非自适应量化，或在不使用频率转换的编码器系统中直接量化空间域数据。
当对后续的运动估计/补偿需要重构的当前图形时，逆向量化器(376)在经量化的谱数据系数上完成逆向量化。然后逆向频率转换器(366)完成频率转换器(360)的逆向操作，产生重构的预测余量或重构的主图形数据。若当前图形(305)是主图形，重构的主图形被当作重构的当前图形(未示出)。若当前的图形(305)是预测图形，重构的预测余量被添加到经运动补偿的当前图形预测(335)以形成重构的当前图形。图形储存器(320)缓存重构的当前图形，用于预测下一图形。在某些实施例中，编码器(300)应用环路内解分块过滤器到重构的图形，以自适应地光顺图形中块边界处的间断。对附加的细节，见序列号No.10/322,383，2002年12月17日申请的美国专利申请以及序列号No.10/623,128，2003年7月18日申请的美国专利申请，它们加入这里作为参考。
熵编码器(380)压缩量化器(370)的输出及某些周边信息。通常的熵编码技术包括算术编码，微分编码，霍夫曼(Huffman)编码，运行长度编码，LI编码，词典编码，和上述的组合。熵编码器(380)通常对不同类型的信息使用不同的编码技术，并能从特定编码技术的多个编码表中选择。
熵编码器(380)将压缩的视频信息(395)放入缓冲器(390)。缓冲器级指示器被反馈到位速率自适应模块。压缩的视频信息(395)以定常的或相对定常的位速率从缓存器(390)中废弃，并用于存储以此位速率的后续流。或编码器系统(300)以此可变的速率流动被压缩的视频信息。
在缓存器(390)之前或之后，被压缩的视频信息(395)能被通道编码，以便在网络上发送。通道编码能将误差检测和校正数据应用到经压缩的视频信息(395)。
此外，编码器(300)接收用于过滤操作的控制信息。控制信息能导源于内容的制作者或其他操作人员，并能通过编码器设置或通过应用程序的有计划的控制提供给编码器。或者控制信息能来自其他来源，如编码器(300)本身的模块。控制信息控制过滤操作，如下所述的后处理解分块和/或解环形过滤。编码器(300)在经压缩的视频信息395中的合适语法层上输出控制信息。
B、视频解码器
图4是一般视频解码器系统(400)的方框图。解码器系统(400)接收对视频图形的压缩的序列的信息(495)，并产生包括重构图形(405)的输出。视频解码器的特定实施例通常使用一般的解码器(400)的变种或补充版本。
解码器系统(400)解压缩预测图形和主图形。为说明起见，图4示出主图形通过解码器系统(400)的路径和用于前向预测图形的路径。解码器系统(400)的许多组件被用于解压缩主图形和预测的图形。由那些组件执行的确切操作能随拟解压缩的信息的类型而改变。
缓存器(490)接收对被压缩视频序列的信息(495)，并使被接收的信息对熵解码器(480)可用。缓存器(490)通常以随时间十分不变的速率接收信息。另选地，缓存器(490)以变化的速率接收信息。在缓存器(490)之前或之后，压缩的视频信息能被通常编码并对误差检测及校正作处理。
熵解码器(480)熵解码经熵编码量化数据以及通常应用在编码器执行的熵编码的逆操作的熵编码同边信息。熵解码技术包括算术解码，微分解码，霍夫曼(Huffman)解码，运行长度解码，LI解码，词典解码和上述的组合。熵解码(480)对不同类型的信息频繁地使用不同的解码技术，并能从在特定解码技术中的多个码表中选择。
若拟重构的图形(405)是前向预测的图形，运动补偿器(430)将运动信息(415)应用到参考图形(425)以形成拟重构的图形(405)的预测。例如，运动补偿器(430)使用宏块运动向量以找到在参考图形(425)中的宏块。图形储存器(420)存储以前重构的图形，用作参考图形。另选地，运动补偿器可应用另外类型的运动补偿。由运动补偿器(430)作出的预测难以完美，所以解码器(400)还重构预测余量。
逆向量化器(470)逆向量化熵解码的数据。一般而言，逆向量化器(470)应用均匀的标量量化到熵解码数据，而此熵解码数据的最长按逐个图形或按其他方式改变。另选地，逆向量化器(470)应用如非均匀，向量，或非自适应的逆向量化等其他类型的逆向量化到数据，或在不使用逆向频率转换的解码系统中直接逆向量化空间域数据。
逆向频率转换器(460)将量化的频率域数据转换成空间域视频信息。对基于块的视频图形，逆向频率转换器(460)将逆向DCT[“IDCT”]或IDCT以变种应用到DCT系数的块，分别产生对主图形或预测图形的象素数据或预测余量数据。另选地，逆向频率转换器(460)可应用如逆向富立叶转换那样的另外的传统逆向频率转换，或使用子波或子波段会成。在某些实施例中，逆向频率转换器(460)应用8X8，8X4，4X8或其他大小的逆向频率转换(如IDCT)来预测对预测的图形的余量。
当解码器(400)需要一重构的图形用于后续的运动补偿时，图形储存器(420)缓存了该重构的图形，用于运动补偿。在某些实施例中，解码器(400)应用环路内解分块过滤器到重构的图形，以自适应地光顺在图形的块边界的间断，如序号10/322,383和10/623,128美国专利所述。
解码器(400)执行如解与块和/或解环形过滤的后处理过滤。例如，解码器完成如在WMV8系统，WMV9系统，或上述其他系统的后处理过滤。
解码器(400)接收(作为信息(495)的部分)用于过滤操作的控制信息。控制信息如下所述地影响诸如后处理解分块和/或解环形的过滤。解码器(400)接收在适当语法层的控制信息，并将该信息送到适当的过滤模块。
III、位流控制的后处理过滤
在某些实施例中，视频编码器允许内容著作者或其他操作人员对特定的序列、场景、帧、或帧中的区域控制后处理过滤的级。操作员规定控制信息，它被放入经编码的位流中。解码器按照该控制信息执行后处理过滤，这使得操作员确保该后处理在使用时提高视频质量，且在不需要时禁止此后处理。例如，操作员控制后处理过滤，以防止过份模糊在高确定高位速率视频中的重构帧。
图5是具有位流控制的后处理过滤的系统(500)的一般原理图。图5中示出的组件，输入和输出的细节随实施情况而变化。
视频编码器(510)接收源视频(505)，将其编码，并产生视频位流(515)。例如，视频编码器是如图3中所示的编码器(300)。另选地，系统(500)包括不同的视频编码器(510)。
除了接收源视频(505)，解码器(510)接收由内容制作者或其他操作人员的输入产生的后处理控制信息(512)。例如，著作者将后处理控制信息(512)直接提供给编码器，或调节对后处理过滤的编码器设置。或某些其他应用从著作者接收输入，其他应用将后处理控制信息(512)传送给编码器(510)。另选地，替代操作人员规定后处理控制信息(512)，编码器(510)按照编码解码的参数或视频编码的结果确定控制信息(512)。例如当应用的压缩率增加时，编码器(510)增加过滤器力度(如对较大的量化步距增加过滤器力度或反之；或对更大的编码的位/象素减少过滤器力度或反之)。
编码器(510)将后处理控制信息(512)放入视频位流(515)。编码器(510)将后处理控制信息(512)格式化成固定长度码(如对0级为00，对1级为01，对2级为10等)。或者编码器(510)使用VLC/Huffman表来赋值码(如对0级为0，对1级为10，对2级为110等)，或使用某些另外类型的熵编码。编码器(510)将控制信息(512)放入视频位流(515)的合适语法层的标题中。例如，对一图形的控制信息(512)被放入该图形的图形标题中。对MPEG-2或MPEG-4位流，标题中的位置能是图形标题中私有数据段。
视频位流(515)经由信道(520)提交，如通过作为流式媒体在网上发送。视频解码器(530)接收视频位流(515)。解码器(530)解码经编码的视频数据，产生解码的视频(535)。解码器(530)还检索后处理控制信息(532)(完成任何必要的解码)并将控制信息(532)传送到后处理过滤器(540)。
后处理过滤器(540)使用控制信息(532)将指出的后处理过滤应用到经解码的视频(535)，产生经解码及后处理的视频(545)。例如，后处理过滤器(540)是解环形和/或解分块的过滤器。
图6示出使用对后处理过滤的嵌入的控制信息产生位流的技术(600)。如图3示出的编码器(300)实现该技术(600)。
编码器接收(610)已编码的视频，并还接收(630)用于后处理过滤的控制信息，编码器编码(620)该视频并输出(640)经编码的视频和控制信息。在一个实施例中，编码器编码(620)视频，解码该视频，并给出结果。然后著作者确定对该控制信息的合适的后处理力度等，对后处理力度和其他控制信息的决定作出过程能包括在编码器中实际的后处理(随后解码经编码的帧或视频的其他部分)，其中编码器通过迭代或者估计不同的后处理力度方法等，直到对该帧或视频的其他部分得到一个决定。
例如，图6中示出的技术(600)能在编码期间重复，以便按场景或按帧在位流中嵌入控制信息。更一般地，根据实施情况，技术(600)的阶段能被添加，分割成多个阶段，与其他阶段组成，重新安排和/或用类拟阶段替代，尤其是，控制信息的接收(630)的定时是按实施情况改变。
图7示出用于执行位流控制的后处理过滤的技术(700)。图4中示出的解码器(400)实现此技术(700)。
解码器接收(710)经编码的视频以及用于后处理过滤的控制信息。解码器解码(720)该视频。然后解码器按照控制信息执行(730)后处理过滤。例如，图7中示出的技术(700)在解码期间能重复，以便按逐个场景或按逐个帧检索和应用控制信息。尤其，根据实施情况技术(700)的阶段能被添加，分成多个阶段，与其他阶段组合，重新安排和/或用类似阶段替代。
A、后处理控制信息的类型
对后处理控制信息的内容有若干不同的可能性。控制信息的类型取决于实施情况。对后处理过滤最简单的类型表示一ON/OFF决定。
另外类型的控制信息表示解分块，解环形，和/或其他过滤的后处理级(即力度)。当控制信息代表最大允许的后处理级时，位流控制的后处理特别有用。例如，较高级表明较强的过滤。若著作者指明对给定的视频帧为后处理级3，解码器可应用级0，1，2，3的后处理到给定的帧，但不是4或更高。此方法提供一些灵活性。若软件解码器不具有足够的CPU计算周期可用于对该帧的级3，它可只应用级2等。同时使用最大允许级达到了主要目标-保证视频永不会由于后处理而变得过份模糊。聪明的著作者在解码的视频已具有高质量时将最高允许级设成0(即无后处理)或较低级，而在解码的视频呈现出较大的分块和环形效果时设置较高的级。
另选地，替代最高允许级，控制信息表示确切的级。那样的控制信息规定后处理过滤的强制级，这在著作者要确切的控制后处理时是有用的。或者著作者需要确切的控制后处理时是有用的。或者控制信息表示最小允许级。这如在很底的位速率视频情况著作者希望保证至少应用最小级的后处理过滤时是有用的。
替代对一个或多个过滤器的过滤器级别信息或除此之外，另外类型的控制信息表示过滤器类型选择。例如值0表示无后处理，值1表示解分块，值2表示解环形，值3表示解分块和解环形两者等。
另选地，控制信息包括其他和/或附加类型的信息。
B、对控制信息的语法层
根据实施情况，按序列中逐个场景，按逐个帧，按逐个区域，或按其他方式对序列规定控制信息。这就允许著作者审查重构的视频并根据控制使能的语法层对给定的序列，场景，帧，帧中的区域等自适应地后处理。类似地，位流包括在适当的语法层对序列，场景，帧，帧中的区域等的控制信息的语法单元。
为了对帧中一区域规定控制信息，著作者能定义一个如矩形或椭圆那样区域，并将该区域的大小位置的参数放入位流。对矩形，此区域由边(a，b)和左上角象素位置(x，y)定义，使用固定长度或变长度码编码。对该区域的后处理力度也放入位流。另选地，可使用另外语法规定对帧内不同区域的控制信息，用于后处理过滤。
IV、扩展
在一个或多个实施例中，操作员按逐个场景，逐个帧，逐个区域，或按其他方式规定对一个序列用于环路内过滤的控制信息。控制信息包括过滤器的级(即力度)，过滤器的类型(如从多个可用过滤器选择)，和/或其他类型信息。
已参考各实施例描述与解释了本发明的原理，可以看到各种实施例在安排及细节上加以修改而不背离那样的原理。可以理解，这里描述的程序，过程，或方法不涉及或限于任何特定类型的计算环境，除非另外声明，能使用各种类型的通用专用计算环境，按这里描述的教义完成操作。在软件中示出的实施例的单元能以硬件实现，反之亦然。
考虑到可应用本发明的原理的许多可能的实施例，我们要求所有落入下面权利要求及其等价物的范围和精神的实施例为我们的发明创造。

Claims (22)

1、在一计算机系统中一种计算机实现的方法，其特征在于包括：
接收视频数据；
编码所述视频数据；和
输出所述经编码的视频数据以及用于控制解码以后所述视频数据的后处理过滤的控制信息；
其中所述控制信息方便了解码器对后处理过滤的调节，所述调节至少部分基于所述解码器可用的CPU计算周期。
2、如权利要求1的方法，其特征在于，进一步包括接收所述控制信息作为输入。
3、如权利要求2的方法，其特征在于，由视频编码器接收所述输入。
4、如权利要求2的方法，其特征在于，一应用接收所述输入并将所述控制信息提供给视频编码器。
5、如权利要求1的方法，其特征在于视频编码器根据一个或多个准则规定所述控制信息，且其中所述一个或多个准则包括量化步距和/或视频数据的质量。
6、如权利要求1的方法，其特征在于所述后处理过滤包括应用解分块过滤器。
7、如权利要求1的方法，其特征在于所述后处理过滤包括应用解环形过滤器。
8、如权利要求1的方法，其特征在于所述控制信息包括对后处理过滤的级。
9、如权利要求1的方法，其特征在于所述控制信息包括对后处理过滤的最大允许级。
10、如权利要求1的方法，其特征在于所述控制信息包括对后处理过滤的最小允许级。
11、如权利要求1的方法，其特征在于所述控制信息包括对后处理过滤的过滤器类型选择。
12、如权利要求1的方法，其特征在于还包括熵编码所述控制信息。
13、如权利要求1的方法，其特征在于所述控制后处理过滤包括至少对某些视频数据跳过后处理过滤。
14、如权利要求1的方法，其特征在于所述控制信息规定所述解码器跳过后处理过滤。
15、一个计算机实现的方法，包括：
接收位流中经编码的视频数据以及用于控制后处理过滤的位流中的控制信息；
解码所述经编码的视频数据；
确定可用的CPU计算周期；和
至少部分地根据可用的CPU计算周期对要在所述经解码的视频数据上执行的后处理过滤进行调节。
16、如权利要求15的方法，其特征在于所述后处理过滤包括应用解分块过滤器。
17、如权利要求15的方法，其特征在于所述后处理过滤包括应用一解环形过滤器。
18、如权利要求15的方法，其特征在于所述控制信息包括用于后处理过滤的级。
19、如权利要求15的方法，其特征在于所述控制信息包括用于后处理过滤的最大允许级。
20、如权利要求15的方法，其特征在于所述控制信息包括用于后处理过滤的最小允许级。
21、如权利要求15的方法，其特征在于所述控制信息包括用于后处理过滤的过滤器类型选择。
22、如权利要求15的方法，其特征在于还包括熵解码所述的控制信息。
CN200410077189A 2003-09-07 2004-09-07 位流控制的后处理过滤的计算机实现方法 Active CN100576915C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US50108103P 2003-09-07 2003-09-07
US60/501,081 2003-09-07
US10/680,072 2003-10-06
US10/680,072 US8625680B2 (en) 2003-09-07 2003-10-06 Bitstream-controlled post-processing filtering

Publications (2)

Publication Number Publication Date
CN1627824A CN1627824A (zh) 2005-06-15
CN100576915C true CN100576915C (zh) 2009-12-30

Family

ID=34139062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200410077189A Active CN100576915C (zh) 2003-09-07 2004-09-07 位流控制的后处理过滤的计算机实现方法

Country Status (6)

Country Link
US (1) US8625680B2 (zh)
EP (1) EP1513349B1 (zh)
JP (1) JP4633417B2 (zh)
KR (1) KR100802203B1 (zh)
CN (1) CN100576915C (zh)
ES (1) ES2623298T3 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
WO2005117445A1 (en) * 2004-05-27 2005-12-08 Vividas Technologies Pty Ltd Adaptive decoding of video data
US20060015799A1 (en) * 2004-07-13 2006-01-19 Sung Chih-Ta S Proxy-based error tracking for real-time video transmission in mobile environments
US20060062311A1 (en) * 2004-09-20 2006-03-23 Sharp Laboratories Of America, Inc. Graceful degradation of loop filter for real-time video decoder
JP2008533885A (ja) * 2005-03-15 2008-08-21 ネロ アーゲー 画像データストリームを生成するための装置および方法ならびに画像データストリームを処理するための装置および方法
US8009740B2 (en) * 2005-04-08 2011-08-30 Broadcom Corporation Method and system for a parametrized multi-standard deblocking filter for video compression systems
KR100646233B1 (ko) * 2005-05-30 2006-11-23 연세대학교 산학협력단 코덱 보조정보를 이용한 동영상 화질 평가 시스템 및 방법
US8081684B2 (en) * 2005-08-19 2011-12-20 Qualcomm Incorporated Picture-in-picture processing for video telephony
US8532424B2 (en) * 2005-11-22 2013-09-10 Freescale Semiconductor, Inc. Method and system for filtering image data
JP4828950B2 (ja) 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置
US8897371B2 (en) 2006-04-04 2014-11-25 Qualcomm Incorporated Video decoding in a receiver
WO2008008150A2 (en) * 2006-07-10 2008-01-17 Thomson Licensing Methods and apparatus for enhanced performance in a multi-pass video encoder
JP4229149B2 (ja) * 2006-07-13 2009-02-25 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム
JP5023662B2 (ja) * 2006-11-06 2012-09-12 ソニー株式会社 信号処理システム、信号送信装置、信号受信装置およびプログラム
PL2123051T3 (pl) 2006-12-18 2011-04-29 Koninl Philips Electronics Nv Kompresja i dekompresja obrazu
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
JP4847890B2 (ja) 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
JP2009060541A (ja) * 2007-09-03 2009-03-19 Sharp Corp データ送信装置、データ送信方法、視聴環境制御装置、及び視聴環境制御方法
JP5012647B2 (ja) 2008-04-30 2012-08-29 ソニー株式会社 画像処理装置およびその方法、並びにプログラム
KR101452495B1 (ko) * 2008-05-09 2014-10-21 비반테 코포레이션 복원된 비디오 데이터를 위한 디링잉 필터
US20090328093A1 (en) * 2008-06-30 2009-12-31 At&T Intellectual Property I, L.P. Multimedia Content Filtering
US8249144B2 (en) * 2008-07-08 2012-08-21 Imagine Communications Ltd. Distributed transcoding
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US20100278231A1 (en) * 2009-05-04 2010-11-04 Imagine Communications Ltd. Post-decoder filtering
EP2465265B8 (en) 2009-08-12 2019-01-23 InterDigital VC Holdings, Inc. Methods and apparatus for improved intra chroma encoding and decoding
CN104935934B (zh) * 2009-10-21 2018-04-03 Sk电信有限公司 视频编码装置
JP2013517733A (ja) * 2010-01-19 2013-05-16 サムスン エレクトロニクス カンパニー リミテッド 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化／復号化方法及び装置
US9351017B2 (en) 2010-01-19 2016-05-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding images using a motion vector of a previous block as a motion vector for the current block
US9155070B2 (en) * 2010-01-27 2015-10-06 Lg Electronics Inc. Method and apparatus for transmitting uplink data burst in wireless connection system
US20110299604A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
US8849053B2 (en) 2011-01-14 2014-09-30 Sony Corporation Parametric loop filter
KR102355509B1 (ko) 2011-02-09 2022-02-08 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
US9538128B2 (en) * 2011-02-28 2017-01-03 Cisco Technology, Inc. System and method for managing video processing in a network environment
KR101718953B1 (ko) 2011-10-17 2017-03-22 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
KR20130050406A (ko) 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
CN103118250B (zh) * 2011-11-16 2017-09-26 中兴通讯股份有限公司 一种帧内划分标志的编解码方法及装置
CN106937113B (zh) * 2011-12-05 2020-06-02 同济大学 基于混合色度采样率的图像压缩方法和装置
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
KR102215433B1 (ko) 2012-07-02 2021-02-15 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
US9591302B2 (en) * 2012-07-02 2017-03-07 Microsoft Technology Licensing, Llc Use of chroma quantization parameter offsets in deblocking
EP4250745A3 (en) * 2012-07-09 2023-11-15 Vid Scale, Inc. Power aware video decoding and streaming
CN103841425B (zh) * 2012-10-08 2017-04-05 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
CN102883163B (zh) 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
KR101806949B1 (ko) 2013-03-13 2017-12-08 후아웨이 테크놀러지 컴퍼니 리미티드 깊이 룩업 테이블을 코딩하는 방법
GB2548578B (en) * 2016-03-21 2020-10-07 Advanced Risc Mach Ltd Video data processing system
US10341657B2 (en) * 2017-11-14 2019-07-02 Telefonaktiebolaget Lm Ericsson (Publ) System and method for mitigating motion artifacts in a media streaming network
CN109936715B (zh) * 2017-12-19 2021-09-03 华为技术有限公司 一种mp4文件的处理方法及其相关设备
US10965866B2 (en) * 2018-03-20 2021-03-30 Panasonic Intellectual Property Management Co., Ltd. Image generation system, image display system, image generation method, and moving vehicle
EP3797514A4 (en) 2018-06-13 2021-08-04 Huawei Technologies Co., Ltd. INTRASOLUTION AND / OR ENTRY FILTER FOR VIDEO ENCODING
WO2019240629A1 (en) * 2018-06-13 2019-12-19 Huawei Technologies Co., Ltd. Intra sharpening and/or de-ringing filter for video coding based on a bitstream flag
CN111050175A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 视频编码的方法和装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3133113B2 (ja) 1991-10-28 2001-02-05 株式会社日立製作所 圧縮動画データ伸長再生システム
JPH06249610A (ja) * 1993-02-24 1994-09-09 Hitachi Constr Mach Co Ltd 微動機構
US5684602A (en) * 1993-06-30 1997-11-04 Matsushita Graphic Communication Systems, Inc. Facsimile apparatus with coding/decoding interrupt
JPH07231449A (ja) 1994-02-21 1995-08-29 Sony Corp 画像信号符号化装置及び画像信号復号化装置
JP3283159B2 (ja) 1995-07-07 2002-05-20 日本電信電話株式会社 ソフトウェアによる画像符号化方法
US5825929A (en) 1995-10-05 1998-10-20 Microsoft Corporation Transformation block optimization method
US5787203A (en) 1996-01-19 1998-07-28 Microsoft Corporation Method and system for filtering compressed video images
US5799113A (en) 1996-01-19 1998-08-25 Microsoft Corporation Method for expanding contracted video images
US6324301B1 (en) 1996-01-24 2001-11-27 Lucent Technologies Inc. Adaptive postfilter for low bitrate visual telephony noise removal
JPH1070717A (ja) 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
FI106071B (fi) 1997-03-13 2000-11-15 Nokia Mobile Phones Ltd Mukautuva suodatin
JP3339054B2 (ja) * 1997-03-28 2002-10-28 ソニー株式会社 データ符号化方法及び装置、データ復号方法及び装置、並びに記録媒体
US6281942B1 (en) 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
JPH11122624A (ja) 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
US6959220B1 (en) 1997-11-07 2005-10-25 Microsoft Corporation Digital audio signal filtering mechanism and method
US6125147A (en) * 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
US6380985B1 (en) 1998-09-14 2002-04-30 Webtv Networks, Inc. Resizing and anti-flicker filtering in reduced-size video images
US6366617B1 (en) * 1998-10-09 2002-04-02 Matsushita Electric Industrial Co., Ltd. Programmable filter for removing selected user data from an MPEG-2 bit stream
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6473409B1 (en) 1999-02-26 2002-10-29 Microsoft Corp. Adaptive filtering system and method for adaptively canceling echoes and reducing noise in digital signals
FI117533B (fi) * 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7155414B2 (en) * 2000-04-05 2006-12-26 International Business Machines Corporation License compliance verification system
GB2365647A (en) 2000-08-04 2002-02-20 Snell & Wilcox Ltd Deriving parameters for post-processing from an encoded signal
JP2002232881A (ja) 2001-01-31 2002-08-16 Toshiba Corp 動画像復号化方法及び装置
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7206453B2 (en) 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
US6941263B2 (en) 2001-06-29 2005-09-06 Microsoft Corporation Frequency domain postfiltering for quality enhancement of coded speech
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
CN1738429A (zh) * 2001-09-12 2006-02-22 松下电器产业株式会社 图像解码方法
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US6950473B2 (en) * 2002-06-21 2005-09-27 Seiko Epson Corporation Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding
US20030235250A1 (en) 2002-06-24 2003-12-25 Ankur Varma Video deblocking
US7792194B2 (en) * 2003-04-10 2010-09-07 Lefan Zhong MPEG artifacts post-processed filtering architecture
US7362810B2 (en) * 2003-05-13 2008-04-22 Sigmatel, Inc. Post-filter for deblocking and deringing of video data
US7848229B2 (en) 2003-05-16 2010-12-07 Siemens Enterprise Communications, Inc. System and method for virtual channel selection in IP telephony systems
EP1845729A1 (en) 2006-04-12 2007-10-17 Matsushita Electric Industrial Co., Ltd. Transmission of post-filter hints

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Loop filtering and post-filtering for low-bit-rate moving picturecoding. LEE1 Y-L ET AL.SIGNAL PROCESSING IMAGE COMMUNICATION,ELSEVIER SCIENCE PUBLISHERS,AMS. 2001
Loop filtering and post-filtering for low-bit-rate moving picturecoding. LEE1 Y-L ET AL.SIGNAL PROCESSING IMAGE COMMUNICATION,ELSEVIER SCIENCE PUBLISHERS,AMS. 2001 *

Also Published As

Publication number Publication date
EP1513349A3 (en) 2005-08-10
EP1513349B1 (en) 2017-02-08
KR20050025928A (ko) 2005-03-14
EP1513349A2 (en) 2005-03-09
KR100802203B1 (ko) 2008-02-11
JP4633417B2 (ja) 2011-02-16
US20050053288A1 (en) 2005-03-10
US8625680B2 (en) 2014-01-07
ES2623298T3 (es) 2017-07-10
JP2005086830A (ja) 2005-03-31
CN1627824A (zh) 2005-06-15

Similar Documents

Publication Publication Date Title
CN100576915C (zh) 位流控制的后处理过滤的计算机实现方法
JP5819347B2 (ja) スキップマクロブロックコード化
CN1973546B (zh) 用于高级视频编码的降低分辨率更新模式
CN100355287C (zh) 图象数据的自适应可变长度编码方法
JP3659353B2 (ja) ビデオ画像符号化方法
CN1121120C (zh) 用于视频信号解码装置中用以去除分块效应的方法
US20030152146A1 (en) Motion compensation loop with filtering
CN101166275B (zh) 信息处理设备、方法和程序
CN1407808A (zh) 流量可缩放的视频代码转换器
CN101098473A (zh) 一种图像编码方法及装置
CN1366778A (zh) 视频压缩
CN100555332C (zh) 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置
CN101491106A (zh) 图像处理设备和方法及程序
CN101518085A (zh) 多通道视频编码和解码的方法及装置
CN1246768A (zh) 运动图像代码串变换装置及其方法
CN1319382C (zh) 可伸缩视频编解码器体系结构设计方法
US20060133491A1 (en) Video codec
CN101742323B (zh) 无再损视频编码和解码的方法和装置
CN102055970A (zh) 多重标准视频解码系统
CN100366094C (zh) 细粒度可伸缩视频数据设备及操作方法，接收数据的方法
CN1166208C (zh) 代码转换方法和设备
CN1848960B (zh) 使用非标准化矢量量化编码器的符合视频标准的残差编码
CN103154970A (zh) 视觉优化量化
US20100074326A1 (en) Transcoder unit and method
JP4762486B2 (ja) マルチ・リゾルーション・ビデオ符号化および復号化

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150515

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150515

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.