CN104284199B - 用降低复杂度的去块效应操作进行视频解码方法和装置 - Google Patents

用降低复杂度的去块效应操作进行视频解码方法和装置 Download PDF

Info

Publication number
CN104284199B
CN104284199B CN201310290392.5A CN201310290392A CN104284199B CN 104284199 B CN104284199 B CN 104284199B CN 201310290392 A CN201310290392 A CN 201310290392A CN 104284199 B CN104284199 B CN 104284199B
Authority
CN
China
Prior art keywords
block
frame
boundary
deblocking
effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310290392.5A
Other languages
English (en)
Other versions
CN104284199A (zh
Inventor
李岩
刘孝波
程嘉利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Top Top Technology Hongkong Co ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Priority to CN201310290392.5A priority Critical patent/CN104284199B/zh
Priority to EP14175345.9A priority patent/EP2824925B1/en
Priority to US14/324,104 priority patent/US20150016518A1/en
Publication of CN104284199A publication Critical patent/CN104284199A/zh
Application granted granted Critical
Publication of CN104284199B publication Critical patent/CN104284199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频解码的方法与装置，包括多个帧，每个帧被分为多个像素块进行编码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中，编码器将第一去块效应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提供用于预测算法的参考帧。所述解码方法，包括：重构视频的帧，以生成重构的帧；将第二去块效应滤波器应用在所述重构的帧的部分块边界上；在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过编码器实施了去块效应操作。

Description

用降低复杂度的去块效应操作进行视频解码方法和装置
技术领域
本发明涉及视频解码过程中的去块效应滤波。特别涉及通过在编码器的预测环路中的去块效应来实现编码后视频的去块效应操作。H.264 是一个众所周知的具有这种特性的视频压缩标准。
背景技术
与之前的标准，如MPEG-2，H.263和MPEG-4相比，使用H.264标准进行视频编码比之前的标准平均提高了30％的压缩比。然而，H.264解码的复杂度也较高。在移动电话和其它便携式电子设中，通常使用软件解码器来解码H.264。出于速度的考虑，这样的软件或硬件解决方案通常不被使用。因此，利用有限的CPU资源，使用软件解码器来连续的对高复杂度、高码率视频进行流畅的解码，这仍然较难实现。由H.264标准定义的使用“主”和“高”配置文件的比特流，尤为如此。
商业的H.264软件解码器已经高度优化。因此，其进一步改进的空间不大。为了减少对一个已经被高度优化的符合H.264标准的解码器的解码时间，更可能的是以不符合H.264标准的解码器来实现。但是，使用不符合H.264标准的解码器的风险是，会导致潜在的视频块效应(可见的错误)，从而使视频观看者无法接受。
发明内容
根据本发明的一个方面，一种视频解码的方法，包括多个帧，每个帧被分为多个像素块进行编码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中，编码器将第一去块效应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提供用于预测算法的参考帧。
所述解码方法，包括：
重构视频的帧，以生成重构的帧；
将第二去块效应滤波器应用在所述重构的帧的部分块边界上；
在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过编码器实施了去块效应操作。
本发明人认识到，允许解码器降低一定程度的复杂度是可取的，以便在给定处理能力的情况下得到可能的最佳编码效果。本发明的实施例通过在同一视频帧内的部分块边界施加去块效应滤波器，而在其它块边界不施加的方案来实现这一目标。在部分块边界跳过去块效应步骤(即使编码器已施加过去块效应操作)严格来说，意味着视频解码不当。然而，如果没有足够的处理能力来正确解码视频，这样的方式则是可以接受的。换句话说，解码不当优于没有解码。
本发明人还认识到，一些数据块的边界可能会表现出比其它地方更严重的块效应。根据本发明的实施例，可以有针对性地对块效应严重的块进行去块效应操作，例如，那些更容易被观看者察觉，或干扰观察者的块。对那些块效应较不严重的块则跳过去块效应操作。以这种方式，可以降低解码的复杂度，并且不会使画面质量严重下降。
在传统的、符合H.264标准的解码器中，去块效应滤波器占用整个解码时间的很大一部分，一般大约占总时间的20％至30％。降低去块效应滤波器的复杂度可以有效使H.264解码器增快速度。然而，根据标准，去块效应滤波器是H.264解码器的解码环路中强制性的一部分，因为它存在于编码器的运动补偿环路中。如果在帧中施加非标准的去块效应操作，那么会在此帧中引入错误。不仅导致帧的质量下降，并且也会导致直接或间接引用该帧的其它帧的质量下降。这是因为误差会传播和积累。这些错误不能被恢复，直到下一个即时解码更新(IDR)帧被解码。
根据本发明，改进的去块效应处理降低了解码复杂度，同时允许视频质量适度下降。
预测算法是一个典型的运动补偿处理，其中，所述的参考数据包括先前已解码的帧，或空间补偿处理，其中参考数据包括同一帧的先前的解码部分。这些处理有时也分别被称为“帧间”预测和“帧内”预测。
优选的编码包括用补偿和/或运动补偿的块变换来编码。去块效应滤波器是在空间补偿或运动补偿环路内的。这意味着通常去块效应操作必须在解码器中实现(即它是一个规范，或编码标准的强制性部分)。当解码器中没有实施去块效应操作，解码器重构的帧与编码器编码的帧会不同。
重构视频的帧通常包括，为每个块进行变换系数解码(包括逆量化系数)；对变换系数进行逆块变换。如果该帧被预测性地编码(例如，对 P帧或B帧使用运动补偿或空间补偿，或对I帧仅使用空间补偿)，那么逆变换的结果是预测错误。在这种情况下，重构帧还包括获得参考数据，该参考数据是预测参数用于对每个块进行空间或运动补偿的；并对参考数据应用模式/矢量，已产生对每个块的预测。然后预测块结合预测误差，来产生一个重构的块。当所有的块已被重构，它们一起形成重构的帧。
重构的帧优选的是参考帧，解码方法优选地进一步包括在预测算法中使用部分去块效应操作来重构另一帧。
本发明对于在处理能力有限的情况下解码参考帧特别有利。参考帧是运动补偿算法用于对其它帧进行解码的帧。由于参考帧可以传播到其它后续的基于该参考帧解码的其它帧上，因此参考帧的错误是更为严重的。本发明的实施例允许在有限处理能力情况下解码参考帧，同时最大限度的减少引入参考帧的误差量。
优选地，第二去块效应滤波器应用在两个宏块之间的边界上，并且在至少一个宏块内的块的边界上跳过去块效应滤波器。
宏块是一组一起被编码的块。例如，所有宏块中的块可以共享相同的运动矢量。优选的，每个宏块包括一个亮度分量和两个色度分量。在一些实施例中，一个宏块的亮度分量可以由16个块组成，设置为4×4 的模式。每个块可以是4个像素高乘以4个像素宽，即每个亮度分量包含16×16个像素。宏块可以根据H.264标准被定义。宏块的色度分量可以由4个块组成，设置为2×2的模式。每个块可以是4个像素高乘以4 个像素宽，即宏块的色度分量包含8×8个像素。例如，当颜色格式是 YUV4:2:0即是如此。
本发明人认识到，宏块之间的块边界会比宏块内的块边界出现更严重的块效应。因此，通过选择只在宏块间的边界使用去块效应操作，可以用最小的处理能力，来避免最严重的块效应。
该方法可以包括：与重构帧的色度分量时相比，在重构帧的亮度分量时在更大比例的块边界上应用去块效应操作。
本发明人认识到，对于观看者来说，帧的亮度分量上的块效应往往比帧的色度分量上的更为明显。因此，比起色度分量，将去块效应操作集中在亮度分量上是有利的。
这可能包括：在所有亮度分量的块边界上以及仅在色度分量的块边界的一个子集上应用去块效应操作(即使编码器已应用去块效应操作在色度分量的其它块边界上)。另外，也可以包括：仅在亮度分量的的块边界的一个子集上应用去块效应操作(即使编码器已在亮度分量的其它块边界上应用去块效应操作)，并跳过色度分量的去块效应操作。
该方法可以包括：与重构非参考帧时相比，在重构参考帧时，在更大比例的块边界上应用去块效应操作。参考帧是预测算法用于解码至少一个其它帧的帧。非参考帧是预测算法不能用于解码其它任何帧的帧。
将处理能力集中在参考帧上意味着可以减少参考帧中的块效应，同时基于该参考帧解码的其它帧的块效应也同样被减少。
该方法可以包括：对块边界上部分或全部的跳过去块效应操作的连续的参考帧的数目进行计数；检测到所述计数的数目超过阈值时；在重构后续帧时增加应用去块效应操作的块边界的比例作为响应。
在过多的帧被低质量的解码的情况下，增加去块效应操作量可以帮助避免长序列的帧的可见的块效应。
该方法可以包括：与重构帧间编码宏块时相比，在重构帧内编码宏块时，在更大比例的块边界上应用去块效应操作。
本发明人认识到，帧间编码块的块效应往往比帧内编码块的块效应更为显著。因此，比起帧内编码块，在帧间编码块上集中更多的处理能力是更为有利的。
优选的，视频是符合H.264标准编码的。
去块效应操作是H.264标准规范的一部分，即去块效应滤波器用在编码器中，去块效应滤波器的输出用于产生参考帧。这意味着，符合标准的解码器不能跳过去块效应操作。因此，本发明特别是与降低复杂度的H.264视频的解码相关。
第一去块效应滤波器和第二去块效应滤波器可以是相同的。
即，解码器在执行块边界去块效应时所使用的滤波器与编码器处所使用滤波器是相同的。
根据本发明的另一个方面，提供了一种视频解码的方法，包括多个帧，每个帧被分为多个像素块进行编码，至少一个帧包含在相邻的编码块之间的边界上的去块效应校正。
该解码方法，包括：
对编码块进行解码，以产生解码的块；
从解码块重构视频帧，以产生重构的帧；
仅在重构帧的包含去块效应校正的块边界的子集上应用去块效应滤波器。
在这里，“去块效应校正”是指去块效应滤波器的效果。包括去块效应校正的帧意味着已在预测环路中进行去块效应编码的帧。
根据本发明的又一个方面，提供了对符合H.264标准编码的视频进行解码的方法，包括：
对重构的帧内的部分块边界应用去块效应滤波器；
对重构的帧的其余块边界跳过去块效应操作，即使这些块边界已由编码器实施过去块效应操作。
与重构帧的色度分量时相比，在重构帧的亮度分量时，在更大比例的块边界上应用去块效应操作。
这可以包括：对块边界上部分或全部的跳过去块效应操作的连续的参考帧的数目进行计数；检测到所述计数的数目超过阈值的时；在重构后续帧时增加应用去块效应操作的块边界的比例作为响应。
该方法可以包括：与重构帧间编码宏块相比，在重构帧内编码宏块时，在更大比例的块边界上应用去块效应操作。
根据本发明的再一个方面，提供一种适用于对视频进行解码的视频解码装置，包括多个帧，每个帧被分为多个像素块进行编码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中，编码器将第一去块效应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提供用于预测算法的参考帧。
所述视频解码装置，包括：
帧重构单元，用于重构视频的帧，以生成重构的帧；
去块效应滤波器单元，用于：将第二去块效应滤波器应用在所述重构的帧的部分块边界上；在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过编码器实施了去块效应操作。
附图说明
图1是一个通用的H.264解码器的框图；
图2示出了H.264解码器的去块效应操作；
图3示出了经去块效应滤波器作用后的图2中的相邻块边界的样本；
图4是根据本发明的实施例的去块效应处理的流程图。
具体实施方式
下面参考H.264视频编码标准来描述本发明的实施例。然而，虽然本发明对于解码H.264视频是非常有效的，本领域技术人员应理解，它使用其它编码标准解码的视频中也是有效的，只要是该视频在运动补偿过程中应用了去块效应操作。
在本发明的优先权日，H.264标准的当前版本已被定义在 ITU-TH.264(04/2013)的提案中。还应注意到，同样的标准已发布在 ISO/IEC 14496-10信息技术-音视频对象编码-第10部分：高级视频编码，也发布在MPEG-4AVC。本发明适用于所有版本的H.264/MPEG-4AVC 标准，并且对所有后续版本也将适用，因为所有后续版本都被要求反向兼容之前的版本。
图1是一个H.264解码器的方框图。缓冲器10接收比特流，并对其进行缓冲及解析。编码变换系数从缓冲器10中输出到熵解码和多路分解单元20。熵解码和多路分解单元20的输出端耦合于反扫描和量化单元30的输入端。反扫描和量化单元30的输出端耦合于逆变换单元40的输入端。逆变换单元40通过反扫描和量化单元30将传送给它的编码变换系数进行逆块变换。逆变换单元40的输出是包括像素值(亮度和色度) 的预测误差。逆变换单元的输出被提供给加法器50的第一输入端。
预测算法信息从缓冲器10输出到补偿环路。尤其是，运动矢量被输出到运动补偿处理单元90，空间预测模式信息被输出到空间补偿处理单元110。
对于帧内编码宏块，所述预测是根据当前帧的先前的解码块进行的。这些都存储在当前图片存储器100中。当前图象存储器100的输入端耦合至加法器50的输出端，用于向当前图像存储器100提供重构的宏块。空间补偿处理包括根据同一帧的至少一个先前解码块的内容预测当前块的内容。空间预测模式信息确定哪一个先前解码块被用于预测当前块。对于帧内编码宏块，开关70选择空间补偿处理单元110的输出，并将其作为预测发送给加法器50的第二输入端。
对于帧间编码宏块，该预测是基于至少一个先前已解码的帧。先前已解码的帧存储在多个先前图片存储器80中。运动补偿处理包括根据一个先前解码的帧的一部份区域的内容来预测当前帧的块的内容。当前帧中的不同的块可能根据不同的先前的帧来预测。运动矢量确定先前解码的帧的哪一部分被用来预测当前帧中的块。对于帧间编码的宏块，开关 70选择运动补偿处理单元90的输出，并将其作为预测的帧发送给加法器50的第二输入端。
加法器50的输出是预测误差和预测宏块/帧的总和。加法器50的输出是重构的宏块/帧。
当帧的所有的宏块已被重构，完整的重构帧被提供给去块效应滤波器60的输入端，去块效应滤波器60将执行重构帧的块边界的去块效应操作。这将在下面详细描述。去块效应滤波器60的输出是用于显示的输出。它也被输出到多个先前图片存储器80，在重构其它帧时，被运动补偿算法所使用。
组件10，20，30，40，50，70，80，90，100和110一起组成了帧重构单元，其适于重构视频帧，以产生重构的帧。重构的帧是加法器50 的输出。去块效应滤波器60适用于执行根据本发明的一个实施例的去块效应操作。
除了去块效应滤波器60，图中示出的所有组件的功能与惯用的H.264解码器相似，将是本领域的技术人员所熟悉的。根据本发明的实施例的去块效应滤波器的作用将在后面详细描述。
相对以前的视频编码方法，H.264包含特殊的功能，使其更有效地压缩视频。其中主要作用之一是把去块效应滤波器放入编码环路内，从而使其成为解码器的一个强制步骤。下面介绍符合H.264标准的去块效应操作。H.264在编码器和解码器的运动补偿预测环路内分别施加环内去块效应滤波器，以改善主观和客观视频质量。如图1所示，去块效应滤波器在图像重构过程完成后才被执行。在符合H.264标准的解码器内，去块效应操作可以影响所有被处理的宏块的块边界(包括宏块之间的边界)。
去块效应滤波器被分别应用到亮度和色度分量上。该滤波器被应用到帧的所有的块的边缘(帧的边界处除外)去块效应滤波器在光栅扫描顺序中由宏块应用到宏块。图2示出了示例性的宏块(MB)的滤波。在 H.264标准及在Raja和Mirza(用于JVT H.264/AVC的环路去块效应滤波器”，在SPRA’06：第五界国际科技学术和社会(WSEAS)信号处理、机器人和自动化国际会议，第235-240页，史蒂文斯观点，美国威斯康星州，2006年。国际科技学术和社会(WSEAS)Gulistan Raja和Muhanmmad Javed Mirza)中描述了去块效应滤波器。
图2示出了宏块的亮度分量200a，由4×4布置的16个块210a组成。每个块和整个宏块都是是方形的。每个块210由4×4的模式的16 个像素220a组成。因此，宏块的亮度分量200a由16×16＝256个像素组成。图2还显示了宏块的色度分量200b。块200b包括2×2模式的4块 210b。每个块210b由4×4模式的16个象素220b组成。因此，宏块的色度分量200b由8×8＝64个像素组成。为了方便和清楚起见，仅在每个宏块分量的左上块显示像素。
首先对块内的亮度分量之间的垂直边界进行滤波，即图2中的VLE1、 VLE2、VLE3，VLE4。然后，对块的亮度分量之间的水平边界进行滤波，即HLE1、HLE2、HLE3、HLE4。最后，对色度分量也执行如亮度分量的块之间边界的类似顺序来进行滤波，即先VCE1和VCE2之后再HCE1和HCE2。这里，VLE代表“垂直亮度边缘”，HLE代表“水平亮度边缘”，VCE代表“垂直色度边缘”，HCE代表“水平色度边缘”。VLE1和HLE1(类似于VCE1、 HCE1)是宏块之间的边界。其它块的边界是同一宏块内的块与块之间。
图3示出了两个块之间的边界两侧的各四个像素。去块效应滤波器影响边界每侧至多三个像素样本，即p0，p1，p2和q0，q1，q2。
符合标准的去块效应滤波器的操作可分为如下三个主要步骤：滤波器强度计算，滤波器的决定和滤波器的执行，如Raja和Mirza描述的。去块效应滤波器的边界强度(BS)依赖于几个因素，包括从视频比特流解码得出的量化的变换系数值，宏块的类型，各块的运动矢量(MV)，以及跨越边界的像素值的梯度。这在表1中有更详细的解释。每个相邻亮度块之间的边缘(边界)都有BS。每块都是4个像素宽和4个像素高。色度边缘(边界)的BS值并非独立计算的，亮度边缘的BS值也用于对应的色度分量。该BS是用来选择去块效应滤波器的参数及控制滤波器的强度。
表1：确定BS的条件
在表1中，“&&”指的是一个逻辑“与”的操作。
BS的值是从0到4的整数。当BS的值等于零(BS＝0)，则跳过滤波。即使BS的值大于零(BS＞0)时，仅当下列条件全部为真时才在块边界执行去块效应滤波操作：
|p0-q0|＜α
|p1-p0|＜β
|q1-q0|＜β
阈值α和β的值取决于量化系数的值。对于需要去块效应的边界，根据规则，执行两种滤波方式中的一种。当BS的值是1到3(0＜BS＜4)，使用4抽头滤波器来对p0和p1进行滤波，再用量化系数相关函数来修正。亮度分量的p1和q1是有条件地进行滤波的。当BS的值等于4(BS＝4)，根据不同的约束条件选择一个滤波器。该滤波器可以有不同的抽头数(3 抽头，4抽头或5抽头)。p2，p1，p0，q0，q1和q2的值可以被修改。如前所述，去块效应滤波器的详细信息可以在上述的Raja和Mirza中找到。
根据本发明的一个实施例，改进H.264去块效应滤波器，来减少解码器需要的计算量，同时尽可能地保留图像质量。由于去块效应滤波器占到了H.264解码时间的较大一部分(约20％)，减少去块效应滤波器的计算量是加快H.264解码的很好的方法。然而，正如前面所解释的， H.264解码器内的去块效应滤波器是环路内滤波器。如果去块效应滤波器只是修改了一帧，那么不仅是该帧的质量降低，由于错误的传输和积累，与该帧直接或间接相关的其它帧的质量也会降低。这些错误无法恢复，直到出现IDR帧。
特别地，根据本发明的一个实施例中，去块效应只在宏块(MB)的边界执行，而不是在每个宏块内的块的边界中执行。即与符合H.264标准的滤波器不同，其只在宏块(MB)的边界执行去块效应滤波操作。跳过在其它块边界的去块效应操作。它被称为“MB边界去块效应滤波器”。
参见图2，去块效应滤波器对宏块的亮度分量的边界VLE1、HLE1及宏块的色度分量的边界VCE1、HCE1执行滤波操作。去块效应滤波器跳过VLE2，VLE3，VLE4，HLE2，HLE3，HLE4，VCE2和HCE2。在VLE1，HLE1， VCE1，HCE1内，滤波器的操作与正常的程序是相同的，符合标准的去块效应滤波器方法包括相同的三个步骤：滤波强度计算；滤波器的决定；滤波器的执行(如上面已经解释的)。
这种方法经过了15个测试数据流的测试。数据流的内容包括橄榄球比赛和广播新闻。基准，主流配置，高配置数据流均包括在测试数据流中。数据流的分辨率分别为720×480和1280×720。比特率从用于720 ×480比特流的1Mbps到用于1280×720比特流的4Mbps不等。使用商用H.264解码器用于测试。从手机上测试得到计算时间的结果。使用的手机的模型是三星的GT-I9100。它是一个双核平台，1.2GHz的主频率。软件版本为Android 2.3.3的。
根据本实施例中使用MB边界去块效应滤波器与符合标准的去块效应滤波器相比，可以减少去块效应所需计算时间的80％。也就是说，MB 边界去块效应滤波器只需要花费符合标准的滤波器的20％的时间。比较根据本实施例的MB边界去块效应滤波器与符合标准的滤波器的峰值信号噪声比(PSNR)，具体通过两个滤波器的输出YUV值的差别来比较。相比于商用参考解码器的输出，15个测试数据流的平均亮度PSNR值是 42.92。平均色度Cb和Cr的PSNR值分别为53.35和3.26。15个测试数据流之间的最低亮度PSNR为30.67。最小色度Cb和Cr的PSNR分别为 40.99和39.39。在某些情况下，这些最低PSNR值可能会太低。在主观视频质量测试中，使用MB边界去块效应滤波器后的某些帧可以看见块效应。这是显著减少计算量的一个不可避免的结果。
虽然根据本实施例的MB边界去块效应滤波器可以减少计算量，同时在一定程度上保持图像质量，但也有可能存在图像质量下降太多的情况。减少计算量与图像质量结果之间需要折衷。通过举例的方式，在便携式设备中，希望能够播放主流或高配置的480P和2Mbps的H.264文件。在这种情况下，可能期望画质与标准的解码器不要有明显的视觉差异，而去块效应滤波器的计算时间至少减少50％。
由上述的实施例开始(MB边界去块效应适用于所有的帧)，提出了一个改进，以配合特定的质量/复杂度要求和计算与图像质量之间的折衷管理。这被称为“混合去块效应模式选择”，它包括两个方面。第一个方面是，根据需要的计算量和由此产生的画面质量，来定义不同的去块效应滤波器模式，如表2所示。在一个实施例中，有三个去块效应模式，标记为ID1，ID2，和ID3。随着模式ID的值从1增加到3，计算时间减少，图像质量也降低了。
表2：非标准的解码器中的去块效应模式
可以选择两种或多种混合模式来对视频进行解码。混合去块效应模式选择的第二个方面：根据每个MB的属性来选择去块效应模式，如表3 中所示。注意，在表3中定义的MB的属性与H.264标准中定义的MB的类型不同。在本实施例中，基于各种MB的属性，共有4类。
表3：基于MB属性的选择去块效应模式
在表3的最右边列，X＜＝Y表示用于X类的帧的去块效应的模式ID 被设定为小于或等于用于Y类帧的去块效应的模式ID。
在类别1中，用于宏块的亮度分量的去块效应模式ID被选择为小于等于宏块的色度分量去块效应模式的ID。与宏块的色度分量相比，在宏块的更大的比例的亮度分量边界上施加去块效应操作。上述的类别展现了一个事实，人类视觉系统，对亮度比色度更为敏感，因此在色度分量对块效应的去块效应更不易被感受到。基于这一观察，根据类别1，在色度分量的去块效应可以投入相对较少的努力。根据类别1选择去块效应模式可以大大减少计算时间，而视频质量却下降很少。例如，如果用于色度的去块效应滤波器(模式ID＝3)被完全禁用，去块效应滤波器所需的平均时间减少超过15％。虽然色度分量的PSNR值下降到大约为4，结果是，主观质量评估中得的块效应没有被注意到，因为人的视觉系统对色度的灵敏度较低。
在类别2中，因为I帧最为频繁(直接或间接)预测其它的帧，用于I帧的宏块的去块效应模式ID被选择为小于等于其它类型帧的宏块的去块效应模式ID。这意味着，在I帧的块边界上施加去块效应操作的比例比在其它类型帧施加的比例更大。
需要注意的是，在本上下文中，“直接”引用一个I帧是指通过在I 帧的像素块上施加运动矢量从而生成预测帧。“间接”引用是指通过直接引用I帧被重构的帧继续被当作参考帧用于重构后续的帧。这些后续的帧是被I帧“间接”引用，在这个意义上，重构的I帧中的错误会传播到这些后续的帧中。
一般情况下，因为典型的H.264中的序列帧较少，处理不同的I帧并不会显著改变平均计算时间。然而，发现亮度的PSNR值被提高到2.33，平均的，相比于实施例中使用MB边界去块效应滤波器的所有类型的帧而言。
继续类别2的讨论，其它被用作参考帧的帧的宏块分配到的去块效应模式ID小于等于非参考帧的去块效应模式ID，以此来减少传播误差。这意味着，在参考帧的块边界施加去块效应操作的比例比施加在其它不作为参考帧使用的其它帧的比例更大。
根据类别2的一个施加去块效应操作的例子，用于I帧的去块效应模式ID小于等于用于P帧的去块效应模式ID，用于P帧的去块效应模式ID小于等于用于B帧的去块效应模式ID。
优选地，在I帧施加去块效应操作的块边界的比例比非I帧参考帧更大或相同。
在一个特定的例子中，在不被用作参考帧的帧中禁用去块效应滤波器，在参考帧(包括I帧)的MB边界施加去块效应操作。这对于使用 H.264的“主”和“高”配置文件(MP/HP)的序列编码可能是有利的，特别是因为有许多帧不用于参考帧。然而，对于基准配置文件，对于计算时间的影响较小。在不用作参考帧的帧中禁用去块效应操作，滤波操作花费的时间与在所有帧宏块边界使用去块效应操作相比平均下降 6.83％。亮度PSNR值只减少0.36。基于两者的PSNR值和主观评价的，画面质量显示的差异非常小。
在类别3中，为了限制误差积累，并提高图像质量，该方法可确保使用高质量的滤波器来对帧进行滤波，如果该帧在先的连续的一定数量的参考帧是通过低质量的滤波器滤波的。例如，一个帧可以由标准的去块效应滤波器进行滤波，如果其在先的连续的一定数量的参考帧是通过使用非标准的滤波器来滤波的。在一个示例中，MAX_N被设置为等于5。平均计算时间没有什么变化。平均PSNR值仅提高了0.59，但15个测试序列中有三分之一的测试序列，其最小PSNR值提高超过1。
H.264标准的去块效应滤波通常会在帧内编码宏块边界的大块失真的地方进行强效滤波。因此，在去块效应模式的选择原则中，为了达到更好的画面质量，帧内编码的宏块被分配的去块效应模式ID小于等于帧间编码宏块的去块效应模式ID。因此，去块效应滤波器被应用在帧内编码的宏块的块边界的比例比帧间编码的宏块的的块边界的比例大。换一种方式，宏块用运动预测编码与用空间预测编码相比，跳过的去块效应操作更多。另外，在本实施例中，宏块的类型决定了如何在该宏块的顶部和左侧边界(图2中VLE1，HLE1，VCE1，HCE1)及宏块内的块边界进行滤波。根据下面的及右侧的宏块的类型来决定宏块的底部和右侧边界如何被滤波。
根据给定应用中的视频质量和计算复杂度的要求，该系统可以根据不同的宏块类型来选择不同的去块效应模式。例如，宏块内部可以使用标准的H.264去块效应滤波器；参考帧的宏块间则可使用宏块边界去块效应滤波器。对于非参考帧，去块效应总是可以被跳过。在这个例子中，发现平均PSNR值可以比全部宏块使用MB边界滤波器的方法提高1.98，并且15个序列中的三分之一序列的PNSR最小值提高超过3。同时，由于帧的宏块间比宏块内少，所有平均计算时间只增加了0.86％。
为了进行评估，结合不同宏块去块效应模式选择，对一些“组”进行了定义。各组定义如下：
第1组：所有宏块使用去块效应模式1
第2组：亮度宏块使用去块效应模式1，色度宏块使用去块效应模式3
第3组：色度宏块使用去块效应模式3；
对于亮度宏块
如果包含宏块的帧是I帧或其它参考帧，则使用去块效应模式 1
否则(非参考帧)使用去块效应模式3。
第4组：色度宏块使用去块效应模式3，
对于亮度宏块
如果包含宏块的帧是I帧，则使用去块效应模式1
如果包含宏块的帧是非参考帧，则使用去块效应模式3
其它(非I帧参考帧)
如果帧的数量＝MAX_N，则使用去块效应模式1
其它(帧的数量＜MAX_N)
如果MB是帧内MB，则使用去块效应模式1
其它(MB帧间MB)，则使用去块效应模式2
第5组：色度宏块使用去块效应模式3，
关于亮度宏块
如果包含宏块的帧是I帧，则使用去块效应模式1
如果包含宏块的帧是非参考帧，则使用去块效应模式3
其它(非I帧的参考帧)
如果MB是帧内MB，则使用去块效应模式2
其它(MB是帧间MB)，则使用去块效应模式3
第6组：所有宏块使用去块效应模式3
表4示出了每组的计算时间和PSNR值。根据人体视觉系统中对于色度的敏感度低于亮度的原理，表4只列出了亮度分量的PSNR值。在第2 组和第3组中，H.264基准配置序列的计算时间和PSNR值没有任何区别。当使用5组6组时，块效应发生在某些帧的测试数据流中。因此，第4 组代表一个优选的实施方案。整体的，当标准去块效应滤波器花费20％的总解码时间的情况下，解码时间可以减少12.4％，
表4：不同去块效应滤波器组的计算时间和PSNR值
图4示出了根据本发明的一个实施例的方法的流程图。在步骤410 中，重构第一帧。如果第一帧是I帧，该步骤包括用逆变换单元40中的逆变换块系数来重构预测误差。I帧只能使用帧内预测，不能使用帧间预测。对于使用帧内预测的块，加法器50的另一输入端，是来自于在同一帧中的先前重构的块的预测块。对于不使用帧内预测的块，加法器50 的第二输入将是零。如果第一帧不是I帧(例如，如果它是P帧或B帧)，则无论是帧内预测或帧间预测都可以使用。以与I帧同样的方式，进行帧内预测。使用帧间预测的块，通过逆变换单元40将块系数进行逆变换，来获得预测误差。根据该块的运动矢量和有关的参考帧，使用运动预测来生成预测块。加法器50会在预测块上增加预测误差，以产生重构的块。当所有的块被重构，将它们被结合起来，以形成重构的帧。
在步骤420和步骤430中，使用去块效应滤波器60来进行去块效应操作。具体而言，在步骤420中，在第一帧的块边界的子集使用去块效应滤波器。根据先前所述的原则，在该块边界选择性的应用去块效应操作。在步骤430中，在第一帧的其它块边界跳过去块效应步骤，从而减少解码器的计算工作量。
在步骤440中，去块效应滤波器60的输出被提供给多样先前图像存储器80，用于对后续帧的帧间编码宏块进行解码。由此，(部分)去块效应的第一帧用于运动补偿算法中的参考帧，来重构至少一个其它的帧。
尽管本发明已在附图和前面的描述中进行了示出及详细描述，这样的图示和描述被认为是说明性或示例性的，而不是限制性的，本发明并不限于所公开的实施例。
本实施例的其它变形可以通过附图，公开内容和所附权利要求被本领域技术人员所理解及影响。在权利要求中，词语“包括”不排除其它元件或步骤，并且“一”或“一个”并不排除多个。单一的处理器或其它单元可以执行权利要求中记载的几个项目的功能。记载在相互不同的从属权利要求中并不表示这些手段的组合不能被有利地使用。计算机程序可以存储/分布在适当的介质，如一起提供或作为其它硬件的一部分的光存储介质或固态介质，但也可能是通过因特网或其它形式，如分布在其它有线或无线电信系统中。在权利要求中的任何附图标记不应当被解释为对范围的限制。

Claims (12)

1.一种视频解码的方法，其特征在于，多个帧，每个帧被分为多个像素块进行编码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中，编码器将第一去块效应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提供用于预测算法的参考帧；
所述解码方法，包括：
重构视频的帧，以生成重构的帧；
将第二去块效应滤波器应用在所述重构的帧的两个宏块之间的边界上和部分宏块内的块边界上，如果包含宏块的帧是非I帧参考帧，且帧的数量<MAX_N，且宏块是帧内宏块，则使用去块效应模式1，如果宏块是帧间宏块，则使用去块效应模式2，所述MAX_N表示允许作为参考帧使用及不符合标准的去块效应操作的帧的最大数目,所述去块效应模式1是标准去块效应滤波，所述去块效应模式2是宏块边界去块效应滤波；
在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过编码器实施了去块效应操作。
2.根据权利要求1所述的方法，其特征在于，所述重构的帧是参考帧，所述解码方法还包括：在预测算法中利用重构的参考帧来重构另一帧。
3.根据权利要求1或2所述的方法，其特征在于,包括：与重构帧的色度分量时相比，在重构帧的亮度分量时，在更大比例的块边界上应用去块效应操作。
4.根据权利要求1或2所述的方法，其特征在于，包括：
对部分或全部块边界上跳过去块效应操作的连续的参考帧的数目进行计数；
检测到所述计数的数目超过阈值时；
在重构后续帧时增加应用去块效应操作的块边界的比例作为响应。
5.根据权利要求1或2所述的方法，其特征在于,包括：与重构帧间编码的宏块相比，在重构帧内编码的宏块时，在更大比例的块边界上应用去块效应操作。
6.根据权利要求1或2所述的方法，其特征在于，所述视频是用符合H.264标准的方式进行编码的。
7.根据权利要求1或2所述的方法，其特征在于，所述第一去块效应滤波器和所述第二去块效应滤波器是相同的。
8.一种对符合H.264标准编码的视频进行解码的方法，其特征在于，包括：
将去块效应滤波器应用在重构的帧中的部分块边界上；
在重构的帧的其余块边界上跳过去块效应操作，即使该块边界已通过编码器实施了去块效应操作；
将第二去块效应滤波器应用在所述重构的帧的两个宏块之间的边界上和部分宏块内的块边界上，如果包含宏块的帧是非I帧参考帧，且帧的数量<MAX_N，且宏块是帧内宏块，则使用去块效应模式1，如果宏块是帧间宏块，则使用去块效应模式2，所述MAX_N表示允许作为参考帧使用及不符合标准的去块效应操作的帧的最大数目，所述去块效应模式1是标准去块效应滤波，所述去块效应模式2是宏块边界去块效应滤波。
9.根据权利要求8所述的方法，其特征在于,包括：与重构帧的色度分量时相比，在重构帧的亮度分量时，在更大比例的块边界上应用去块效应操作。
10.根据权利要求8或9所述的方法，其特征在于，包括：
对部分或全部块边界上跳过去块效应操作的连续的参考帧的数目进行计数；
检测到所述计数的数目超过阈值时；
在重构后续帧时增加应用去块效应操作的块边界的比例作为响应。
11.根据权利要求8或9所述的方法，其特征在于,包括：与重构帧间编码的宏块相比，在重构帧内编码的宏块时，在更大比例的块边界上应用去块效应操作。
12.一种用于对视频进行解码的视频解码装置，其特征在于，多个帧，每个帧被分为多个像素块进行编码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中，编码器将第一去块效应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提供用于预测算法的参考帧；
所述视频解码装置，包括：
帧重构单元，用于重构视频的帧，以生成重构的帧；
去块效应滤波器单元，用于：
将第二去块效应滤波器应用在所述重构的帧的两个宏块之间的边界上和部分宏块内的块边界上，如果包含宏块的帧是非I帧参考帧，且帧的数量<MAX_N，且宏块是帧内宏块，则使用去块效应模式1，如果宏块是帧间宏块，则使用去块效应模式2，所述MAX_N表示允许作为参考帧使用及不符合标准的去块效应操作的帧的最大数目，所述去块效应模式1是标准去块效应滤波，所述去块效应模式2是宏块边界去块效应滤波；和
在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过编码器实施了去块效应操作。
CN201310290392.5A 2013-07-11 2013-07-11 用降低复杂度的去块效应操作进行视频解码方法和装置 Active CN104284199B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310290392.5A CN104284199B (zh) 2013-07-11 2013-07-11 用降低复杂度的去块效应操作进行视频解码方法和装置
EP14175345.9A EP2824925B1 (en) 2013-07-11 2014-07-02 Video decoding with reduced-complexity deblocking
US14/324,104 US20150016518A1 (en) 2013-07-11 2014-07-04 Video Decoding with Reduced Complexity Deblocking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310290392.5A CN104284199B (zh) 2013-07-11 2013-07-11 用降低复杂度的去块效应操作进行视频解码方法和装置

Publications (2)

Publication Number Publication Date
CN104284199A CN104284199A (zh) 2015-01-14
CN104284199B true CN104284199B (zh) 2019-02-01

Family

ID=51162487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310290392.5A Active CN104284199B (zh) 2013-07-11 2013-07-11 用降低复杂度的去块效应操作进行视频解码方法和装置

Country Status (3)

Country Link
US (1) US20150016518A1 (zh)
EP (1) EP2824925B1 (zh)
CN (1) CN104284199B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303535B (zh) * 2015-06-08 2022-12-13 上海天荷电子信息有限公司 参考像素取自不同程度重构像素的图像压缩方法和装置
WO2017045101A1 (en) * 2015-09-14 2017-03-23 Mediatek Singapore Pte. Ltd. Advanced deblocking filter in video coding
CN105681815B (zh) * 2015-12-12 2018-12-25 中国航空工业集团公司西安航空计算技术研究所 提高去块效应滤波模块重构数据存储速度的方法
EP3550842A4 (en) * 2016-12-30 2020-06-10 Huawei Technologies Co., Ltd. IMAGE FILTERING METHOD, APPARATUS AND DEVICE
CN106911934B (zh) * 2017-03-01 2020-03-03 北京奇艺世纪科技有限公司 块效应去除方法及去块效应滤波器
EP3571844A1 (en) 2017-03-23 2019-11-27 Huawei Technologies Co., Ltd. Apparatus and method for de-blocking filtering
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
JP7200074B2 (ja) * 2019-09-20 2023-01-06 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652610A (zh) * 2005-01-31 2005-08-10 浙江大学 视频或图像去块滤波的方法和装置
CN101517909A (zh) * 2006-09-15 2009-08-26 飞思卡尔半导体公司 带有选择性色度去块滤波的视频信息处理系统
CN102714718A (zh) * 2009-12-28 2012-10-03 索尼公司 图像处理装置、方法和程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292704B2 (en) * 2003-10-27 2007-11-06 Wayne Lederer Noise attenuating headset
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
EP2020213B1 (en) * 2007-07-28 2010-09-29 Fotona d.d. Laser system for medical removal of body tissue
CN101453651B (zh) * 2007-11-30 2012-02-01 华为技术有限公司 一种去块滤波方法和装置
US20090304085A1 (en) * 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method
CN102316318B (zh) * 2010-07-07 2013-07-03 中国科学院微电子研究所 一种基于h.264标准的去块滤波边界强度计算装置及方法
ES2714349T3 (es) * 2011-01-14 2019-05-28 Ericsson Telefon Ab L M Filtrado de desbloqueo
JP2014526818A (ja) * 2011-09-09 2014-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 低複雑度のデブロッキングフィルタ決定
DK2742691T3 (en) * 2011-10-31 2018-12-10 Hfi Innovation Inc METHOD AND APPARATUS FOR FILTER DEBLOCK WITH SIMPLIFIED INTERFACE STRENGTH
US9560362B2 (en) * 2011-12-22 2017-01-31 Mediatek Inc. Method and apparatus of texture image compression in 3D video coding
US9109212B2 (en) * 2012-07-05 2015-08-18 Jiangnan University Method for enhancing extracellular secretion of recombinant proteins in Escherichia coli by co-expressing Thermobifida fusca cutinase

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652610A (zh) * 2005-01-31 2005-08-10 浙江大学 视频或图像去块滤波的方法和装置
CN101517909A (zh) * 2006-09-15 2009-08-26 飞思卡尔半导体公司 带有选择性色度去块滤波的视频信息处理系统
CN102714718A (zh) * 2009-12-28 2012-10-03 索尼公司 图像处理装置、方法和程序

Also Published As

Publication number Publication date
US20150016518A1 (en) 2015-01-15
EP2824925B1 (en) 2019-02-27
EP2824925A1 (en) 2015-01-14
CN104284199A (zh) 2015-01-14

Similar Documents

Publication Publication Date Title
CN104284199B (zh) 用降低复杂度的去块效应操作进行视频解码方法和装置
JP5878204B2 (ja) 立体ビデオ配信システムのエンコーダ最適化
US8340182B2 (en) Video decoding apparatus and video decoding method
CN103563374B (zh) 图像处理设备及方法
AU2002316666B2 (en) Interpolation of video compression frames
US8139883B2 (en) System and method for image and video encoding artifacts reduction and quality improvement
US8630347B2 (en) Video decoding apparatus and video decoding method
CN102595135B (zh) 一种可伸缩视频编码的方法及装置
JP2011528889A5 (zh)
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
JP2006519565A (ja) ビデオ符号化
CN107211150A (zh) 动态更新质量至较高的色度采样率
CN112929670A (zh) 自适应色度下采样和色彩空间转换技术
CN105379284A (zh) 动态图像编码装置及其动作方法
JP2015521826A (ja) 画像を符号化または復号するための方法およびデバイス
JP2013524669A (ja) 高効率な動画像符号化のためのスーパーブロック
KR20050105271A (ko) 비디오 인코딩
JP2012502591A (ja) 適応ループフィルタを用いた動画符号化システムおよび方法
JP2013258765A (ja) 多格子スパーシティベースフィルタリングを使用するアーチファクト除去フィルタリングのための方法および装置
JP2009021908A (ja) 動画像符号化装置及びプログラム
US9542611B1 (en) Logo detection for macroblock-based video processing
Zhou et al. An interpolation method by predicting the direction of pixel texture changing trend for H. 264/AVC intra prediction
US20110249736A1 (en) Codeword restriction for high performance video coding
US8233709B2 (en) Color effects for compressed digital video
Virk et al. Reduced complexity MPEG2 video post-processing for HD display

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200724

Address after: Room 2113, 21 / F, Sheung Shui Plaza, 39 lung Chen Road, Sheung Shui, New Territories, Hong Kong, China

Patentee after: Top top technology (Hongkong) Co.,Ltd.

Address before: Eindhoven, Netherlands

Patentee before: NXP Corp.

TR01 Transfer of patent right