CN117834865A

CN117834865A - 用于执行质量优化去块的图像处理设备和方法

Info

Publication number: CN117834865A
Application number: CN202311384433.7A
Authority: CN
Inventors: 阿南德·梅赫·科特拉; 塞米赫·艾森力克; 王彪; 高晗; 赵志杰; 陈建乐
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2018-09-24
Filing date: 2019-09-24
Publication date: 2024-04-05
Also published as: KR20210058939A; US20240107077A1; WO2020063555A1; EP3850855A1; JP2022500942A; KR20230141945A; MX2021003365A; KR102584455B1; CN112740706A; CN113411575A; JP7367755B2; CN113411575B; EP4221229A1; EP3850855B1; CA3113538A1; AU2019351346A1; AU2019351346B2; NZ774817A; BR112021005561A2; CN117528079A

Abstract

本发明提供了一种用于图像编码器和/或图像解码器中的图像处理设备(501)，用于对图像中的第一块和第二块之间的块边缘进行去块效应处理，其中，使用块码对所述图像进行编码。所述图像处理设备(501)包括对所述块边缘进行滤波的滤波器(502)。对于待滤波像素中的至少某个像素，其中，所述待滤波像素位于从所述块边缘开始的去块效应范围内，所述去块效应范围垂直于所述块边缘，所述滤波器(502)用于：根据所述像素的原始像素值和至少一个其它像素值，确定经过滤波的像素值；根据所述像素与所述块边缘的距离，确定所述像素的限幅值(clipping value)；使用所述限幅值对所述经过滤波的像素值进行限幅，得到经过去块效应的像素值。

Description

用于执行质量优化去块的图像处理设备和方法

本申请是分案申请，原申请的申请号是201980061633.4，原申请日是2019年09月24日，原申请的全部内容通过引用结合在本申请中。

技术领域

本发明实施例涉及图像处理(例如静止图像和/或视频图像译码)领域。本发明尤其涉及去块效应滤波器的改进。

背景技术

H.264/AVC和HEVC等视频译码方案是根据基于块的混合视频译码的成功原理进行设计的。利用这个原理，首先将图像分割成块，然后通过帧内或帧间预测对每个块进行预测。根据相邻块相对地对这些块进行译码，而且这些块近似原始信号，具有一定程度的相似性。由于经译码块只是近似原始信号，所以近似值之间的差异可能会导致预测块和变换块的边界不连续。通过去块效应滤波器可以减少这些不连续性。HEVC使用最大大小为64×64个像素的编码树单元(coding tree unit，CTU)替换H.264/AVC中的宏块结构。根据四叉树分解方案，可以将CTU分割成更小的编码单元(coding unit，CU)。CU可以细分为最小大小为8×8个像素。HEVC还介绍了预测块(prediction block，PB)和变换块(Transform block，TB)的概念。

在HEVC中，去块效应滤波器包括两种滤波器：普通滤波器和强滤波器。普通滤波器在边缘的两侧修改最多两个像素点(sample)。强滤波器检查边缘的三个额外像素点，与阈值进行比较。如果所有这些检查都为真，则使用强滤波器。强滤波器对边缘的像素点具有更强的平滑效果，而且能够在边缘的两侧修改最多三个像素点。

ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)正在研究下一代视频编解码标准：通用视频译码(Versatile Video Coding，VVC)。这种新的视频编解码标准旨在提供大大超过目前HEVC标准(包括针对屏幕内容译码和高动态范围译码的当前扩展版和近期扩展版)的压缩能力。这两个小组正在联合开展这些探索活动，称为联合视频探索小组(Joint Video Exploration Team，JVET)，以评估小组专家在这一领域提出的压缩技术设计。

VVC测试模型(VVC Test Model，VTM)描述了ITU-T VCEG和ISO/IEC MPEG的联合视频探索小组(Joint Video Exploration Team，JVET)正在研究的协调测试模型的特性，作为HEVC能力之外的潜在增强视频译码技术。VTM 2.0目前使用的去块效应滤波器与HEVC中的去块效应滤波器相同。

然而，目前的去块效应常常会导致过度平滑或模糊，特别是不直接靠近块边缘的区域。这使得去块效应质量比较差。

发明内容

鉴于上述挑战，本发明旨在改进传统的去块效应。本发明的目的是提供一种能够执行去块效应的图像处理设备，从而提高质量。此外，去块效应高效、准确。

本发明实施例由独立权利要求的特征定义，而这些实施例的其它有利实现方式由从属权利要求的特征定义。

根据本发明的第一实施例，提供了一种用于图像编码器和/或图像解码器中的图像处理设备，用于对图像中的第一编码块(英文：a first coding block)和第二编码块(英文：a second coding block)之间的块边缘进行去块效应处理，其中，使用块码对所述图像进行编码。所述图像处理设备包括对所述块边缘进行滤波的滤波器。对于待滤波像素中的至少某些像素，其中，所述待滤波像素位于从所述块边缘开始的去块效应范围内，所述去块效应范围垂直于所述块边缘，所述滤波器用于：根据所述像素的原始像素值和至少一个其它像素值，确定经过滤波的像素值；根据所述像素与所述块边缘的距离，确定所述像素的限幅值(英文：clipping value)；使用所述限幅值对所述经过滤波的像素值进行限幅(英文：clip)，得到经过去块效应的像素值(英文：filtered pixel value after the clipping)。这样降低了过度平滑或模糊的影响，大大提高去块效应的质量。所述图像处理设备可以包括用于执行本发明所述操作的处理电路。所述处理电路可以包括硬件和软件。所述处理电路可以包括(例如)一个或多个处理器和包括程序代码的非易失性存储器。所述程序代码由所述一个或多个处理器执行。当所述程序代码由所述一个或多个处理器执行时，使得所述图像处理设备执行相应的操作。

优选地，所述限幅值是所述原始像素值与所述经过去块效应的像素值之间的最大允许变化量。这进一步限制了过度平滑或模糊。

进一步优选地，所述使用所述限幅值对所述经过滤波的像素值进行限幅，得到经过去块效应的像素值包括：如果所述经过滤波的像素值与所述经过去块效应的像素值之差的绝对值不大于所述像素的限幅值(英文：clipping value)，则将所述经过去块效应的像素值设置为所述经过滤波的像素值。如果所述经过滤波的像素值大于所述原始像素值与所述像素的限幅值之和，则将所述经过去块效应的像素值设置为所述原始像素值与所述限幅值之和；如果所述经过滤波的像素值小于所述原始像素值与所述像素的限幅值之差，则将所述经过去块效应的像素值设置为所述原始像素值与所述限幅值之差。这进一步提高去块效应质量。

优选地，所述滤波器用于：根据所述像素与所述块边缘的距离，使用函数或查找表来确定所述像素的限幅值。这样可以非常准确地设置所述限幅值，因此可以进一步提高去块效应质量。

进一步优选地，所述滤波器用于：根据所述像素与所述块边缘的距离，使用函数来确定所述像素的限幅值，其中，所述函数随着所述像素与所述块边缘的距离的增加而单调地递减。这极大地降低了在所述像素与所述块边缘的距离增加时过度平滑或模糊的影响，从而提高去块效应质量。

优选地，所述函数为指数函数。这使得去块效应质量特别好。

优选地，所述函数为

tc’＝tc+(tc>>i)，

其中，tc’是所述限幅值，

tc是常数值，

i是所述像素与所述块边缘(403、800)的距离，

>>表示右移。这样可以简单地计算所述指数函数。

另一种可供使用的指数函数如下所示：

tc’＝((2×tc)>>i)，

其中，tc’是所述限幅值，

tc是常数值，

i是所述像素与所述块边缘(403、800)的距离，

>>表示右移。这样可以简单地计算所述指数函数。

或者，所述函数为线性函数。这样可以提高去块效应质量，同时保证最低计算复杂度。

优选地，所述函数为

tc’＝tc+(tc–(i×x)，

其中，tc’是所述限幅值，

tc是常数值，

i是所述像素与所述块边缘(403、800)的距离，

x为常数值。这样可以很简单地计算所述线性函数。

优选地，对于位于从所述块边缘开始的去块效应范围内的每个待滤波像素，所述去块效应范围垂直于所述块边缘，所述滤波器用于：根据所述像素的原始像素值和所述至少一个其它像素值，确定所述经过滤波的像素值；根据所述像素与所述块边缘的距离，确定所述像素的限幅值；使用所述限幅值对所述经过滤波的像素值进行限幅，得到所述经过去块效应的像素值。对每个待滤波像素进行相同计算，则实现起来很简单。

或者，在垂直块边缘的情况下根据决策像素行数小于所述块边缘周围的块中的像素行数以及在水平块边缘的情况下根据决策像素列数小于所述块边缘周围的块中的像素列数，所述滤波器判断所述块边缘是否需要进行滤波。然后，对于位于从所述块边缘开始的去块效应范围内的每个待滤波像素，其中，每个待滤波像素不在决策像素列或决策像素行中，所述去块效应范围垂直于所述块边缘，所述滤波器用于：根据所述像素的原始像素值和所述至少一个其它像素值，确定所述经过滤波的像素值；根据所述像素与所述块边缘的距离，确定所述像素的限幅值；使用所述限幅值对所述经过滤波的像素值进行限幅，得到所述经过去块效应的像素值。此外，对于位于从所述块边缘开始的去块效应范围内的每个待滤波像素，其中，每个待滤波像素在决策像素列或决策像素行中，所述去块效应范围垂直于所述块边缘，所述滤波器用于：根据所述像素的原始像素值和所述至少一个其它像素值，确定所述经过滤波的像素值；使用恒定限幅值对所述经过滤波的像素值进行限幅，得到所述经过去块效应的像素值。这表示使用固定的限幅值对所述决策像素列和行中的像素进行滤波，而同时使用范围相关限幅值对所述决策列或行中的像素值进行滤波。这样进一步提高去块效应质量，但会增加计算复杂度。

优选地，所述滤波器的滤波器抽头长度为1个像素、至少2个像素、至少3个像素、至少4个像素、至少5个像素、至少6个像素、至少7个像素、至少8个像素、至少9个像素、至少10个像素、至少11个像素、至少12个像素、至少13个像素、至少14个像素、至少15个像素，或至少16个像素。这样可以将本发明应用于多种不同的滤滤器设计。

根据本发明的第二方面，提供了一种用于对图像进行编码的编码器。所述编码器包括本发明第一方面提供的图像处理设备。

根据本发明的第三方面，提供了一种用于对图像进行解码的解码器。所述解码器包括本发明第一方面提供的图像处理设备。

根据本发明的第四方面，提供了一种用于对图像中的第一编码块和第二编码块之间的块边缘进行去块效应处理的去块效应方法，其中，使用块码对所述图像进行编码。对于待滤波像素中的至少某个像素，其中，所述待滤波像素位于从所述块边缘开始的去块效应范围内，所述去块效应范围垂直于块边缘，所述方法包括：根据所述像素的原始像素值和至少一个其它像素值，确定经过滤波的像素值；根据所述像素与所述块边缘的距离，确定所述像素的限幅值；使用所述限幅值对所述经过滤波的像素值进行限幅，得到经过去块效应的像素值。这样降低了过度平滑或模糊的影响，大大提高去块效应的质量。

根据本发明的第五方面，提供了一种用于对图像进行编码的编码方法。所述编码方法包括本发明第四方面提供的去块效应方法。

根据本发明的第六方面，提供了一种用于对图像进行解码的解码方法。所述解码方法包括本发明第四方面提供的去块效应方法。

最后，根据本发明的第七方面，提供了一种包括程序代码的计算机程序。当所述计算机程序在计算机上运行时，所述程序代码用于执行本发明第四方面、第五方面或第六方面提供的方法。

以下附图和描述详细阐述了一个或多个实施例。其它特征、目的和优点在描述、附图和权利要求中是显而易见的。

附图说明

下文参考所附附图和示意图更加详细地描述本发明实施例，其中：

图1为用于实现本发明实施例的示例性视频编码器的框图；

图2为用于实现本发明实施例的视频解码器的一种示例性结构的框图；

图3为用于实现本发明实施例的示例性视频译码系统的框图；

图4示出了两个示例性编码块(coding blocks)；

图5示出了本发明第一方面提供的图像处理设备的一个实施例；

图6示出了本发明第二方面提供的编码器的一实施例；

图7示出了本发明第三方面提供的解码器的一实施例；

图8示出了包括去块效应之前的相应像素值的示例性块边缘；

图9示出了本发明第四方面提供的图像处理方法的一实施例的流程图。

在下文，相同附图标记指代相同特征或至少在功能上等效的特征。部分地，不同附图中使用了指代相同实体的不同附图标记。

具体实施方式

首先，图1至图3示出图像译码的一般概念。图4和图8示出了传统去块效应滤波器的缺点。图5至图7示出了本发明装置的不同实施例的结构和功能。最后，图9示出了本发明方法的一个实施例。省略了不同附图中的部分类似实体和附图标记。

以下描述中，参考形成本发明一部分并以说明的方式示出本发明实施例的具体方面或可以使用本发明实施例的具体方面的附图。应理解，本发明实施例可以在其它方面中使用，并且可以包括附图中未描绘的结构或逻辑变化。因此，以下详细描述不应以限制性的意义来理解，且本发明的范围由所附权利要求书界定。

例如，应理解，与描述方法有关的公开内容可以对用于执行所述方法的对应设备或系统也同样适用，反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包括一个或多个功能单元等单元来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元分别执行多个步骤中的一个或多个)，即使附图中未明确描述或说明这样的一个或多个单元。另一方面，例如，如果根据一个或多个功能单元等单元来描述具体装置，则对应的方法可以包括一个步骤来执行一个或多个单元的功能(例如，一个步骤执行一个或多个单元的功能，或多个步骤分别执行多个单元中的一个或多个单元的功能)，即使图中未明确描述或说明这样的一个或多个步骤。进一步，应理解的是，除非另外明确说明，本文中所描述的各示例性实施例和/或方面的特征可以相互组合。

视频译码通常是指处理形成视频或视频序列的图像序列。在视频译码领域，术语“帧(frame)”与“图像(picture/image)”可以用作同义词。视频译码包括视频编码和视频解码两部分。视频编码在源侧执行，通常包括处理(例如通过压缩)原始视频图像，以减少表示视频图像所需的数据量(从而更高效地存储和/或传输)。视频解码在目的地侧执行，通常包括相对于编码器作逆处理，以重建视频图像。实施例的视频图像(或总称为图像，下文将进行解释)“译码”应理解为涉及视频图像的“编码”和“解码”。编码部分和解码部分也合称为编解码(CODEC)(编码和解码)。应当理解的是，在编码侧，coding block即可理解为编码块；在解码侧，coding block即可理解为解码块。本文为了便于中文描述，无论编码侧还是解码侧，coding block统一以编码块来做介绍，但不限于此。

在无损视频译码情况下，可以重建原始视频图像，即重建的视频图像与原始视频图像具有相同的质量(假设存储或传输期间没有传输损耗或其它数据丢失)。在有损视频译码情况下，通过量化等执行进一步压缩，来减少表示视频图像的数据量，而解码器侧无法完全重建视频图像，即重建的视频图像的质量比原始视频图像的质量较低或较差。

H.261的几个视频译码标准属于“有损混合型视频编解码器”(即将像素域中的空间预测和时间预测与变换域中用于应用量化的2D变换译码结合)。视频序列中的每个图像通常分割成不重叠的块集合，通常在块级上执行编码。换句话说，在编码器侧，通常在块(视频块)级对视频进行处理(即编码)，例如通过空间(帧内)预测和时间(帧间)预测来生成预测块；从当前块(当前处理的块/待处理的块)中减去预测块，得到残差块；在变换域中对残差块进行变换并量化，以减少待传输(压缩)的数据量，而解码器侧对经编码或压缩的块进行相对于编码器的逆处理，以重建当前块进行表示。另外，编码器与解码器的处理步骤相同，使得编码器和解码器生成相同的预测块(例如，帧内和帧间预测块)和/或重建块，以对后续块进行处理(即译码)。

由于视频图像处理(也称为移动图像处理)和静止图像处理(术语“处理”包括译码)使用许多相同的概念和技术或工具，所以在下文中，术语“图像”用于指代视频序列中的视频图像(如上文所述)和/或静止图像，以避免对视频图像和静止图像进行不必要的重复和区分。如果上述描述仅仅是指静止图像(still picture/still image)，应使用术语“静止图像”。

在结合图4至图9更详细地描述本发明实施例之前，下面结合图1至图3描述了编码器100、解码器200和译码系统300的实施例。

图3是译码系统300(例如图像译码系统300)的一个实施例的概念性或示意性框图。译码系统300包括源设备310。源设备310用于将经编码的数据330(例如经编码的图像330)提供给目的地设备320等，以对经编码的数据330进行解码。

源设备310包括编码器100或编码单元100，并且可以另外(即可选地)包括图像源312、预处理单元314(例如图像预处理单元314)以及通信接口或通信单元318。

图像源312可以包括或者可以是任何类型的用于捕获真实世界图像等的图像捕获设备；和/或任何类型的图像生成设备(例如用于生成计算机动画图像的计算机图形处理器)；或者任何类型的用于获取和/或提供真实世界图像、计算机动画图像(例如屏幕内容、虚拟现实(virtual reality，VR)图像)和/或其任何组合(例如增强现实(augmentedreality，AR)图像)的设备。在下文中，除非另有其它具体说明，所有这些类型的图像和任何其它类型的图像都将称为“图像”，而之前关于术语“图像”(包括“视频图像”和“静止图像”)的解释仍然适用，除非另有明确的不同规定。

(数字)图像为或者可以看作具有强度值的像素点构成的二维阵列或矩阵。阵列中的像素点也可以称为像素(pixel或pel)(图像元素的简称)。阵列或图像在水平方向和垂直方向(或轴)上的像素点的数量限定了图像的大小和/或分辨率。通常采用三种颜色分量来表示颜色，即图像可以表示为或者可以包括三个像素点阵列。在RGB格式或颜色空间中，图像包括对应的红色、绿色和蓝色像素点阵列。但是，在视频译码中，每个像素通常由亮度/色差格式或颜色空间表示，例如YCbCr，包括Y指示的亮度分量(有时也用L指示)以及Cb和Cr指示的两个色度分量。亮度(luminance，简写为luma)分量Y表示亮度或灰度级强度(例如像灰度图像)，而两个色度(chrominance，简写为chroma)分量Cb和Cr表示色度或颜色信息分量。因此，YCbCr格式的图像包括由亮度像素点值(Y)构成的亮度像素点阵列和两个由色度值(Cb和Cr)构成的色度像素点阵列。RGB格式的图像可以转换或变换为YCbCr格式，反之亦然。该过程也称为颜色变换或颜色转换。如果图像是黑白的，则该图像可以只包括亮度像素点阵列。

例如，图像源312可以是用于捕获图像的摄像机、包括或存储之前捕获或生成的图像的存储器(例如图像存储器)，和/或任何类型的用于获取或接收图像的(内部或外部)接口。例如，所述摄像机可以是集成在源设备中的本地或集成摄像机，所述存储器可以是集成在源设备等中的本地或集成存储器。例如，所述接口可以是从外部视频源接收图像的外部接口，其中，所述外部视频源为摄像机等外部图像捕获设备、外部存储器或外部图像生成设备(例如外部计算机图形处理器、计算机或服务器)。所述接口可以是根据任何专有或标准化接口协议的任何类型的接口，例如有线接口或无线接口、光接口。所述用于获取图像数据312的接口可以与通信接口318为同一接口或者可以作为通信接口318的一部分。

为了区分预处理单元314和预处理单元314执行的处理，图像或图像数据313也可以称为原始图像或原始图像数据313。

预处理单元314用于接收(原始)图像数据313并对图像数据313执行预处理，获得预处理图像315或预处理图像数据315。预处理单元314执行的预处理可以包括修剪、颜色格式转换(例如从RGB转换为YCbCr)、调色或去噪等。

编码器100用于接收预处理图像数据315并提供经编码的图像数据171(结合图1等描述更多细节)。

源设备310中的通信接口318可以用于接收经编码的图像数据171并将经编码的图像数据171直接传输到另一设备(例如目的地设备320)或任何其它设备，以便进行存储或直接重建；或者用于分别在存储经编码的数据330和/或将经编码的数据330传输到另一设备(例如目的地设备320)或任何其它设备之前，处理经编码的图像数据171，以便进行解码或存储。

目的地设备320包括解码器200或解码单元200，并且可以另外(即可选地)包括通信接口或通信单元322、后处理单元326和显示设备328。

目的地设备320中的通信接口322用于(例如)直接从源设备310或从存储器(例如编码图像数据存储器)等任何其它源，接收经编码的图像数据171或经编码的数据330。

通信接口318和通信接口322可以用于经由源设备310与目的地设备320之间的直接通信链路(例如直接有线或无线连接)或者经由任何类型的网络(例如有线网络、无线网络或其任何组合，或者任何类型的私网和公网或其任何类型的组合)传输或接收经编码的图像数据171或经编码的数据330。

例如，通信接口318可以用于将经编码的图像数据171封装成合适的格式(例如数据包)，以便在通信链路或通信网络上进行传输，并且还可以用于执行数据丢失保护和数据丢失恢复。

例如，与通信接口318对应的通信接口322可以用于对经编码的数据330进行解封装，获得经编码的图像数据171，并且还可以用于执行数据丢失保护和数据丢失恢复，例如包括差错隐藏。

通信接口318和通信接口322均可以配置为图3中从源设备310指向目的地设备320的经编码的图像数据330的箭头所指示的单向通信接口，或者配置为双向通信接口，并且可以用于发送和接收消息等，以建立连接，确认和/或重新发送包括图像数据的丢失或延迟数据，并交换与通信链路和/或数据传输(例如经编码的图像数据传输)相关的任何其它信息，等等。

解码器200用于接收经编码的图像数据171并提供经解码的图像数据231或经解码的图像231(结合图2等描述更多细节)。

目的地设备320中的后处理器326用于对经解码的图像数据231(例如经解码的图像231)进行后处理，得到后处理图像数据327(例如后处理图像327)。例如，后处理单元326执行的后处理可以包括颜色格式转换(例如从YCbCr转换为RGB)、调色、修剪或重采样，或任何其它处理，以便提供经解码的图像数据231以供显示设备328等显示，等等。

目的地设备320中的显示设备328用于接收后处理图像数据327，以便向用户或观看者等显示图像。显示设备328可以是或者可以包括任何类型的显示器(例如集成或外部显示器或显示屏)，以表示重建图像。例如，显示器可以包括阴极射线管(cathode ray tube，CRT)、液晶显示器(liquid crystal display，LCD)、等离子显示器、有机发光二极管(organic light emitting diode，OLED)显示器或任何其它类型的显示器(例如个人视讯机、全息图(3D)等)。

尽管图3示出了源设备310和目的地设备320作为单独的设备，但是设备实施例还可以同时包括源设备310和目的地设备320或同时包括源设备310和目的地设备320的功能，即源设备310或对应功能以及目的设备320或对应功能。在这些实施例中，可以使用相同的硬件和/或软件或使用单独的硬件和/或软件或其任何组合来实施源设备310或对应功能以及目的地设备320或对应功能。

根据描述，图3所示的源设备310和/或目的地设备320中的不同单元或功能的存在和划分可能根据实际设备和应用而有所不同，这对技术人员来说是显而易见的。

因此，图3所示的源设备310和目的地设备320仅仅是本发明的示例性实施例，且本发明实施例不限于图3所示的实施例。

源设备310和目的地设备320可以包括多种设备中的任一种，包括任何类型的手持设备或固定设备，例如笔记本电脑/膝上型电脑、手机、智能手机、平板或平板电脑、摄像机、台式电脑、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏机、视频流设备、广播接收器设备等(对于大规模专业编码/解码，还包括服务器和工作站，例如网络实体)，并且可以不使用或者可以使用任何类型的操作系统。

图1为编码器100(例如图像编码器100)的一个实施例的示意性/概念性框图。编码器100包括输入端102、残差计算单元104、变换单元106、量化单元108、反量化单元110、逆变换单元112、重建单元114、缓冲器118、环路滤波器120、解码图像缓冲器(decoded picturebuffer，DPB)130、预测单元160(帧间估计单元142、帧间预测单元144、帧内估计单元152、帧内预测单元154)、模式选择单元162、熵编码单元170和输出端172。图1所示的视频编码器100也可以称为混合视频编码器或基于混合视频编解码器的视频编码器。

残差计算单元104、变换单元106、量化单元108和熵编码单元170等形成编码器100的前向信号路径，而反量化单元110、逆变换单元112、重建单元114、缓冲器118、环路滤波器120、解码图像缓冲器(decoded picture buffer，DPB)130、帧间预测单元144和帧内预测单元154等形成编码器的后向信号路径，其中，编码器的后向信号路径对应于解码器(参见图2中的解码器200)的信号路径。

编码器用于通过输入端102等接收图像101或图像101中的图像块103，其中，图像101是形成视频或视频序列的一系列图像中的图像等。图像块103也可以称为当前图像块或待译码图像块，图像101也可以称为当前图像或待译码图像(尤其是在视频译码中将当前图像与同一视频序列(也就是同样包括当前图像的视频序列)中的其它图像(例如先前经编码和/或经解码的图像)区分开)。

在实施例中，编码器100可以包括分割单元(图1未示出)。所述分割单元还可以称为图像分割单元等，用于将图像103分割成多个块(例如类似于块103的块)，通常分割成多个不重叠块。分割单元可以用于对视频序列中的所有图像使用相同的块大小和限定块大小的对应网格，或者用于在图像或图像子集或图像组之间更改块大小，并将每个图像分割成对应的块。

类似于图像101，块103同样是或者可以看作是具有强度值(像素点值)的像素点组成的二维阵列或矩阵，但是块103的尺寸小于图像101的尺寸。换句话说，块103可以包括一个像素阵列(例如，在黑白图像101情况下，包括亮度阵列)或三个像素阵列(例如，在彩色图像101情况下，包括一个亮度阵列和两个色度阵列)或任何其它数量和/或类型的阵列等，取决于所采用的颜色格式。块103在水平方向和垂直方向(或轴)上的像素点的数量限定了块103的大小。

图1所示的编码器100用于逐块对图像101进行编码，例如对每个块103执行编码和预测。

残差计算单元104用于通过以下方式等根据图像块103和预测块165来计算残差块105(后续详细介绍了预测块165)：逐个像素点(逐个像素)从图像块103的像素点值中减去预测块165的像素点值，获得像素域中的残差块105。

变换单元106用于对残差块105的像素点值进行空间频率变换或线性空间变换(例如离散余弦变换(discrete cosine transform，DCT)或离散正弦变换(discrete sinetransform，DST))等变换，获得变换域中的变换系数107。变换系数107也可以称为变换残差系数，表示变换域中的残差块105。

变换单元106可以用于进行DCT/DST整数化近似，例如针对HEVC/H.265指定的核心变换。与正交DCT变换相比，这种整数化近似通常通过某一因子进行缩放。为了维持经过前向变换和逆变换处理的残差块的范数，使用额外的缩放因子作为变换过程的一部分。缩放因子通常是根据某些约束条件来选择的，例如，缩放因子是用于移位运算的2的幂、变换系数的位深度、准确性与实现成本之间的权衡等。例如，在解码器200侧，通过逆变换单元212等为逆变换(以及在编码器100侧，通过逆变换单元112等为对应的逆变换)指定具体的缩放因子；相应地，可以在编码器100侧，通过变换单元106等为正向变换指定对应的缩放因子。

量化单元108用于通过进行标量量化或矢量量化等对变换系数107进行量化，获得量化变换系数109。量化系数109也可以称为量化残差系数109。例如，对于标量量化，可以应用不同程度的缩放来实现较细或较粗的量化。较小的量化步长对应于较细的量化，而较大的量化步长对应于较粗的量化。可以通过量化参数(quantization parameter，QP)指示合适的量化步长。例如，量化参数可以为合适的量化步长的预定义集合的索引。例如，小的量化参数可以对应于精细量化(小的量化步长)，大的量化参数可以对应于粗糙量化(大的量化步长)，反之亦然。量化可以包括除以量化步长，而反量化单元110等执行的对应反量化可以包括乘以量化步长。

根据HEVC的实施例可以用于使用量化参数来确定量化步长。通常，可以根据量化参数使用包含除法的方程式的定点近似来计算量化步长。可以引入额外的缩放因子进行量化和解量化，从而恢复可能由于在量化步长和量化参数的等式的定点近似中使用的缩放而修改的残差块的范数。在一种示例性实现方式中，可以合并逆变换和解量化的缩放。或者，可以使用自定义量化表，并在码流中等将量化表从编码器向解码器指示。量化是有损操作，其中，量化步长越大，损耗越大。

在实施例中，编码器100(或量化单元108)可以用于使用对应的量化参数等方式输出量化方案和量化步长，使得解码器200可以接收并进行对应的反量化。在实施例中，编码器100(或量化单元108)可以用于直接输出或通过熵编码单元170或任何其它熵译码单元进行熵编码后输出量化方案和量化步长。

反量化单元110用于通过以下方式等对量化系数进行与量化单元108的反量化，获得解量化系数111：根据或使用与量化单元108相同的量化步长执行与量化单元108所执行的量化方案的反量化方案。解量化系数111也可以称为解量化残差系数111，对应于变换系数108，但是由于量化造成损耗，解量化系数111通常与变换系数不完全相同。

逆变换单元112用于进行变换单元106进行的变换的逆变换，例如逆离散余弦变换(discrete cosine transform，DCT)或逆离散正弦变换(discrete sine transform，DST)，获得像素域中的逆变换块113。逆变换块113也可以称为逆变换解量化块113或逆变换残差块113。

重建单元114用于通过以下方式等将逆变换块113和预测块165组合起来，获得像素域中的重建块115：以像素点为单位将经解码的残差块113的像素点值和预测块165的像素点值相加。

缓冲器单元116(或简称“缓冲器”116)(例如列缓冲器116)用于缓冲或存储重建块和相应的像素点值，以进行帧内估计和/或帧内预测等。在其它实施例中，编码器可以用于使用存储在缓冲器单元116中的未经滤波的重建块和/或相应的像素点值进行任何类型的估计和/或预测。

在实施例中，可以配置编码器100，使得缓冲器单元116不仅用于存储用于帧内估计152和/或帧内预测154的重建块115，而且还用于环路滤波器单元120(图1未示出这种关系)，和/或使得缓冲器单元116和解码图像缓冲器130形成一个缓冲器。在其它实施例中，编码器100可以用于使用经过滤波的块121和/或来自解码图像缓冲器130的块或像素点(图1未示出)作为帧内估计152和/或帧内预测154的输入或基础。

环路滤波器单元120(或简称“环路滤波器”120)用于通过使用去块样本自适应偏移(sample-adaptive offset，SAO)滤波器或其它滤波器(例如锐化或平滑滤波器或协同滤波器)等方式对重建块115进行滤波，获得经过滤波的块121。经过滤波的块121也可以称为经过滤波的重建块121。环路滤波器120在下文中也称为去块效应滤波器。

在实施例中，环路滤波器单元120可以包括(图1未示出)滤波分析单元和实际滤波器单元，其中，滤波分析单元用于为实际滤波器确定环路滤波器参数。滤波分析单元可以用于将固定的预定滤波器参数应用于实际环路滤波器，从预定滤波参数集合中适应性地选择滤波器参数，或者适应性地为实际环路滤波器计算滤波器参数。

在实施例中，环路滤波器单元120可以包括(图1未示出)一个或多个滤波器(例环路滤波组件和/或子滤波器)，例如串联连接或并联连接或其任何组合方式连接的不同种类或类型的滤波器中的一个或多个滤波器，其中，每个滤波器都可以包括滤波分析单元，以单独确定或与多个滤波器中的其它滤波器联合确定相应的环路滤波器参数，(例如)如上一段所述。

在实施例中，编码器100(具体是环路滤波器单元120)可以用于直接输出或通过熵编码单元170或任何其它熵译码单元进行熵编码后输出环路滤波器参数，使得解码器200可以接收并使用相同的环路滤波器参数进行解码，等等。

解码图像缓冲器(decoded picture buffer，DPB)130用于接收并存储经过滤波的块121。解码图像缓冲器130还可以用于存储同一当前图像或不同图像(例如之前的重建图像)中的其它之前的经过滤波的块(例如之前的经过滤波的重建块121)，并且可以提供完整的之前的重建(即经解码)图像(以及对应的参考块和像素点)和/或部分重建的当前图像(以及对应的参考块和像素点)，以进行帧间估计和/或帧间预测等。

本发明的其它实施例还可以用于将解码图像缓冲器130中的之前经过滤波的块和经过滤波的对应像素点值用于任何类型的估计或预测，例如帧内估计和预测以及帧间估计和预测。

预测单元160，也称为块预测单元160，用于接收或获得图像块103(当前图像101中的当前图像块103)以及经解码的图像数据或至少重建图像数据，例如来自缓冲器116的同一(当前)图像的参考像素点和/或来自解码图像缓冲器130的一个或多个先前经解码的图像的经解码的图像数据231，以及用于处理这些数据以进行预测，即提供预测块165。预测块165可以是帧间预测块145或帧内预测块155。

模式选择单元162可以用于选择预测模式(例如帧内或帧间预测模式)和/或对应的预测块145或155，以用作预测块165来计算残差块105以及对重建块115进行重建。

在实施例中，模式选择单元162可以用于(例如从预测单元160支持的预测模式中)选择预测模式，所述预测模式提供最佳匹配或者说最小残差(最小残差是指传输或存储中更好的压缩)，或提供最小信令开销(最小信令开销是指传输或存储中更好的压缩)，或者同时考虑或平衡以上两者。模式选择单元162可以用于根据率失真优化(rate distortionoptimization，RDO)确定预测模式，即选择提供最小率失真优化的预测模式，或者选择关联率失真至少满足预测模式选择标准的预测模式。

下文将更详细地描述示例性编码器100执行的预测处理(例如，通过预测单元160)和模式选择(例如通过模式选择单元162)。

如上所述，编码器100用于从(预定的)预测模式集合中确定或选择最好或最优的预测模式。预测模式集合可以包括帧内预测模式和/或帧间预测模式等。

帧内预测模式集合可以包括32种不同的帧内预测模式，例如类似于DC(或均值)模式和平面模式的非方向性模式或者如H.264等定义的方向性模式，或者可以包括65种不同的帧内预测模式，例如类似于DC(或均值)模式和平面模式的非方向性模式或者如H.265等定义的方向性模式。

(可能的)帧间预测模式集合取决于可用参考图像(即，存储在DPB 230中的之前至少部分经解码的图像)和其它帧间预测参数，例如取决于是否使用整个参考图像或只使用参考图像的一部分(例如当前块的区域附近的搜索窗口区域)，来搜索最佳匹配参考块，和/或取决于是否使用像素插值(例如二分之一/半像素插值和/或四分之一像素插值)。

除上述预测模式外，还可以使用跳过模式和/或直接模式。

预测单元160还可以用于通过以下方式等将块103分割成较小的块部分或子块：迭代使用四叉树(quad-tree，QT)分割、二叉树(binary-tree，BT)分割或三叉树(triple-tree，TT)或其任何组合；并且用于对块部分或子块中的每一个执行预测等，其中，模式选择包括选择分割块103的树结构以及选择块部分或子块中的每一个使用的预测模式。

帧间估计单元142，也称为帧间图像估计单元142，用于接收或获得图像块103(当前图像101的当前图像块103)和经解码的图像231，或者至少一个或多个之前的重建块(例如一个或多个其它/不同的先前经解码的图像231的重建块)，以进行帧间估计(interestimation/inter picture estimation)。例如，视频序列可以包括当前图像和先前的经解码的图像231，或换句话说，当前图像和先前的经解码的图像231可以是一系列构成视频序列中的图像的一部分或形成一系列构成视频序列的图像。

例如，编码器100可以用于从多个其它图像中的相同或不同图像的多个参考块中获得参考块，并将参考图像(或参考图像索引等)和/或参考块的位置(x坐标和y坐标)与当前块的位置之间的偏移(空间偏移)作为帧间估计参数143提供给帧间预测单元144。这种偏移也称为运动矢量(motion vector，MV)。帧间估计也称为运动估计(motion estimation，ME)，帧间预测也称为运动预测(motion prediction，MP)。

帧间预测单元144用于获得或接收帧间预测参数143，并根据或使用帧间预测参数143执行帧间预测，获得帧间预测块145。

尽管图1示出了两个不同的单元(或步骤)用于帧间译码，即帧间估计142和帧间预测152，但是这两种功能可以通过以下方式等作为一个整体执行(帧间估计通常要求/包括计算帧间预测块，即上述或一“类”帧间预测154)：通过迭代测试可能的帧间预测模式中的所有可能帧间预测模式或预定子集，同时存储当前最佳的帧间预测模式和相应的帧间预测块，并将当前最佳的帧间预测模式和相应的帧间预测块作为(最终的)帧间预测参数143和帧间预测块145，而不用再次执行帧间预测144。

帧内估计单元152用于获得或接收图像块103(当前图像块)以及同一图像的一个或多个之前的重建块(例如重建相邻块)，以进行帧内估计。例如，编码器100可以用于从多个(预定的)帧内预测模式中选择帧内预测模式，并将帧内预测模式作为帧内估计参数153提供给帧内预测单元154。

在实施例中，编码器100可以用于根据最小残差(例如帧内预测模式提供与当前图像块103最相似的预测块155)或最小率失真等优化标准选择帧内预测模式。

帧内预测单元154用于根据帧内预测参数153(例如所选择的帧内预测模式153)确定帧内预测块155。

尽管图1示出了两个不同的单元(或步骤)用于帧内译码，即帧内估计152和帧内预测154，但是这两种功能可以通过以下方式等作为一个整体来执行(帧内估计通常要求/包括计算帧内预测块，即上述或一“类”帧内预测154)：通过迭代测试可能的帧内预测模式中的所有可能帧内预测模式或预定子集，同时存储当前最佳的帧内预测模式和相应的帧内预测块，并将当前最佳的帧内预测模式和相应的帧内预测块作为(最终的)帧内预测参数153和帧内预测块155，而不用再次执行帧内预测154。

熵编码单元170用于单独或联合(或不涉及)对量化残差系数109、帧间预测参数143、帧内预测参数153和/或环路滤波器参数应用熵编码算法或方案(例如可变长度编码(variable length coding，VLC)方案、上下文自适应VLC(context adaptive VLC，CALVC)方案、算术编码方案、上下文自适应二进制算术编码(context adaptive binaryarithmetic coding，CABAC))，获得经编码的图像数据171。输出端172可以使用经编码的码流171的形式等输出经编码的图像数据171。

图2示出了示例性视频解码器200。视频解码器200用于接收(例如)由编码器100编码的经编码的图像数据(例如经编码的码流)171，获得经解码的图像231。

解码器200包括输入端202、熵解码单元204、反量化单元210、逆变换单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器230、预测单元260、帧间预测单元244、帧内预测单元254、模式选择单元260和输出端232。

熵解码单元204用于对经编码的图像数据171执行熵解码，获得量化系数209和/或经解码的译码参数(图2未示出)，例如(经解码)帧间预测参数143、帧内预测参数153和/或环路滤波器参数中的任一个或全部。

在解码器200的实施例中，反量化单元210、逆变换单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器230、预测单元260和模式选择单元260用于执行编码器100(以及相应的功能单元)的逆处理，以对经编码的图像数据171进行解码。

具体而言，反量化单元210在功能上可以与反量化单元110相同，逆变换单元212在功能上可以与逆变换单元112相同，重建单元214在功能上可以与重建单元114相同，缓冲器216在功能可以与缓冲器116相同，环路滤波器220在功能上可以与环路滤波器220相同(关于实际环路滤波器，由于环路滤波器220通常不包括滤波分析单元来根据原始图像101或块103确定滤波器参数，但是从熵解码单元204等(显式地或隐式地)接收或获得用于编码的滤波器参数)，解码图像缓冲器230在功能上可以与解码图像缓冲器130相同。

预测单元260可以包括帧间预测单元244和帧间预测单元254，其中，帧间预测单元244在功能上可以与帧间预测单元144相同，帧内预测单元254在功能上可以与帧内预测单元154相同。预测单元260和模式选择单元262通常用于执行块预测和/或仅从经编码的数据171中获得预测块265(无需原始图像101的任何其它信息)以及用于从熵解码单元204等接收或获得(显式或隐式)预测参数143或153和/或关于所选预测模式的信息。

解码器200用于经由输出端232等输出经解码的图像231，以向用户呈现或供用户观看。

尽管已主要根据视频译码描述了本发明实施例，但需要说明的是，编码器100和解码器200(具体是系统300)的实施例还可以用于静止图像处理或译码，即在视频编码中独立于任何之前或连续的图像的单个图像的处理或译码。通常，在图像处理译码限于单个图像101的情况下，只有帧间估计142、帧间预测144不可用。视频编码器100和视频解码器200的大部分(如果不是全部的话)其他功能(也称为工具或技术)可以同样用于静止图像，例如分割、变换(缩放)106、量化108、反量化110、逆变换112、帧内估计142、帧内预测154、254和/或环路滤波120、220以及熵译码170和熵解码204。

本发明涉及去块效应滤波器(也称为图1和图2中的环路滤波器)的内部工作原理。

图4示出了块边缘403分隔的两个示例性编码块401、402。编码块401、402包括像素行404至407和像素列408至415。尤其在这里，块边缘是垂直块边缘。在本示例中，这两个块的大小为4×4个像素。实际上，也可以使用其它块大小。

对块边界的每个段分别做出去块效应决策。

HEVC中的强去块效应滤波器适用于平滑区域，因为平滑区域中的块伪影更明显。滤波模式用于修改块边界的3个像素点，并实现强低通滤波。另外对每个像素点执行限幅操作。执行限幅操作是为了限制滤波量，从而确保对滤波决策中不使用的像素行不进行过度滤波。如图4所示，不使用像素行405和406来决定是否滤波。这样做是为了降低计算复杂度。这里仅使用决策像素行404和407来确定要执行的滤波。

下文示出了用于确定经过去块效应的像素值的函数：

p₀'＝(p₂+2p₁+2p₀+2q₀+q₁+4)>>3， (7.17)

p₁'＝(p₂+p₁+p₀+q₀+2)>>2， (7.18)

p₂'＝(2p₃+3p₂+p₁+p₀+q₀+4)>>3， (7.19)

P0’、P1’和P2’分别为与原始像素值P0、P1和P2对应的经过滤波的像素值。如图4所示，这里省略了第二索引。

符号“>>”表示右移。右移对应于除以2y，其中，y表示右移量。例如，在函数7.17中，“>>3”表示除以23，相当于除以8。

然后，将修改后的像素点值限幅到范围[Pi–2tc，Pi+2tc]内，其中，Pi是像素i的像素值，tc是常数值。例如，tc可以从一个表格中获得，该表格使用平均量化参数(quantization parameter，QP)作为编入到表格中的索引。在正常情况下，QP值越大，tc值越大。

图8示出了块边缘800处的典型块伪影。可以很容易看出，像素点P0和Q0存在最大失真，而距离块边缘较远的像素点(例如像素点P3和Q3)往往存在较小失真。

由于所有像素值都限幅到相同的限幅范围[Pi–2tc，Pi+2tc]，因此距离块边界远的像素值(例如P3和Q3)也使用相同的限幅范围，从而允许在与像素值P0和Q0相同的范围内进行修改。这种恒定的限幅范围导致距离块边界远的像素点在很大程度也进行了修改，因此导致过度平滑或模糊，有时甚至导致错误的去块效应，从而丢失有意义的图像内容。

根据本发明，适应性地调整限幅范围，而不是所有像素值都使用固定的限幅范围。特别地，根据相应像素与块边缘的距离，适应性地调整限幅范围。

优选地，使用查找表或函数来确定限幅值，使用该限幅值对经过滤波的像素值进行限幅。优选地，这种函数是以像素与边缘的距离为基础的单调递减函数。像素点与边缘/边界的距离越大，为像素限定的限幅值越小。因此，距离块边缘远的像素值与靠近块边缘的像素值相比，限幅值更小，因此在限幅之后，偏差更小。这样控制了滤波量，因此避免了过度平滑或模糊。

优选地，使用指数函数来确定限幅值。然后，限幅值可以确定为

tc’＝tc+(tc>>i)，

其中，tc’是所述限幅值，

tc是常数值，

i是像素与块边缘的距离，

>>表示右移。

这样得到了以下公式，对经过去块效应的像素值进行限幅：

P’a,b＝(Pa,b–(tc+(tc>>i))，

Pa,b+(tc+(tc>>i)))

其中：

P’a,b是像素a,b经过去块效应的像素值，

a是像素列的整数索引，

b是像素行的整数索引，

Pa,b是像素a,b的原始像素值，

i是像素与块边缘的整数距离。

例如，P0,0和Q0,0的限幅值和公式7.17至7.19相同，因为i的值为0(距离为0)。限幅值设置为tc’＝tc+(tc>>0)＝2tc，得到P’0,0＝(P0,0–2tc),P0,0+2tc))。

例如，P’1,0的限幅值减小到tc’＝tc+(tc>>1)＝tc+tc/2＝1,5tc，得到P’1,0＝(P1,0–1,5tc),P1,0+1,5tc))。

例如，P’2,0的限幅值减小到tc’＝tc+(tc>>2)＝tc+tc/4＝1,25tc，得到P’2,0＝(P2,0–1,25tc),P2,0+1,25tc))。

如上所述，随着像素点与块边缘的距离i增加，限幅值逐渐递减。

另一种可供使用的指数函数如下所示：

tc’＝((2×tc)>>i)，

其中，tc’是所述限幅值，

tc是常数值，

i是像素与块边缘的距离，

>>表示右移。

这样产生了以下公式以对经过去块效应的像素值进行限幅：

P’a,b＝(Pa,b–((2×tc)>>i))，

Pa,b+((2×tc)>>i)))

其中，

P’a,b是像素a,b经过去块效应的像素值，

a是像素列的整数索引，

b是像素行的整数索引，

Pa,b是像素a,b的原始像素值，

i是像素与块边缘的整数距离。

然而，指数函数的计算极大提高计算复杂度。在可选实施例中，可以使用线性函数。在这种情况下，限幅值设置为

tc’＝tc+(tc–(i×x)，

其中，tc’是所述限幅值，

tc是常数值，

i是像素与块边缘的距离，

x为常数值。

这导致经过去块效应的像素值要限幅为

P’a,b＝

(Pa,b–(tc+(tc–(i×x)),Pa,b+(tc+(tc–(i×x)))，

其中：

P’a,b是像素a,b经过去块效应的像素值，

a是像素列的整数索引，

b是像素行的整数索引，

Pa,b是像素a,b的原始像素值，

i是像素与块边缘的整数距离，

x是整常数值。

优选地，x根据在去块效应处理过程中使用的平均量化参数(quantizationparameter，QP)确定。通常，x的值随QP值的增加而增加。此外，可以分别推导出8比特视频和10比特视频的x值。

例如，10比特视频的x值可以设置如下：

QP	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18
																			x	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0	0

QP	19	20	21	22	23	24	25	26	27	28	29	30	31	32	33	34	35
																		x	1	1	1	1	1	1	1	1	1	1	1	1	1	2	2	2	2

QP	36	37	38	39	40	41	42	43	44	45	46	47	48	49	50	51	52
																		x	2	2	2	2	2	4	4	5	5	6	6	7	7	8	18	18

QP	53	54	55	56	57	58	59	60	61	62	63	64	65	66	67
																x	10	10	12	12	12	14	14	16	16	16	16	16	16	16	16

又例如，当平均QP值为37时，x的值为2，因此对像素值进行如下修改：

例如，P0,0的限幅值和公式7.17至7.19相同，因为i的值为0(距离为0)。限幅值设置为tc’＝tc+(tc–(0×2)＝2tc，得到P’0,0＝(P0,0–(tc+(tc–(0×2)),P0,0+(tc+(tc–(0×2)))。

例如，P’1,0的限幅值减少到tc’＝tc+(tc–(1×2)＝2tc–2，得到P’1,0＝(P1,0–2tc–2),P1,0+2tc–2))。

例如，P’2,0的限幅值减少到tc’＝tc+(tc–2×2)＝tc+(tc–4)＝2tc–4，得到P’2,0＝(P2,0–(2tc–4)),P2,0+(2tc–4))。

在另一个有利的实施例中，如前所示，只对图4所示的非决策像素行和非决策像素列采用如前所示的距离相关限幅。如前所述，为了判断是否对块边缘执行滤波，使用决策像素行(垂直块边缘)或决策像素列(水平块边缘)中的多个像素。然而，为了降低计算复杂度，并不使用块内的所有像素行/列来做决策。但是，仅在非判决像素行/列中执行范围相关限幅，而不在决策像素行/列中执行。在决策像素行/列中执行常数值的传统限幅。

图5示出了本发明第一方面的一个实施例。这里主要示出了包括滤波器502的图像处理设备501。滤波器502用于执行如上所述的去块效应。

图6示出了本发明第二方面的一个实施例。这里主要示出了包括图像处理设备601的编码器600，图像处理设备601同样包括滤波器602。滤波器602执行如上所述的去块效应。

图7示出了本发明第三方面的一个实施例。这里主要示出了包括图像处理设备701的解码器700，图像处理设备701同样包括滤波器702。滤波器702执行如上所述的去块效应。

最后，图9在流程图中示出了本发明第四方面的一个实施例。在第一步骤1000中，对于待滤波像素中的至少某个像素，其中，所述待滤波像素位于从块边缘开始的去块效应范围内，根据所述像素的原始像素值和至少一个其它像素值，确定经过滤波的像素值。在第二步骤1001中，根据所述像素与所述块边缘的距离，确定所述像素的限幅值。在最后的第三步骤1002中，使用所述限幅值对所述经过滤波的像素值进行限幅，得到经过去块效应的像素值。

应当指出，关于如何根据上文内容执行去块效应的阐述也适用于本发明第四方面提供的方法。

重点需要注意的是，本发明不限于这些实施例，尤其不限于上文所述的编码块大小和滤波器抽头长度。本发明可以应用于任何编码块大小和任何滤波器抽头长度。

缩略语定义

CTU/CTB— 编码树单元/编码树块

CU/CB— 编码单元/编码块

PU/PB— 预测单元/预测块

TU/TB— 变换单元/变换块

HEVC— 高效视频编码

附图标记列表

图1

100 编码器

103 图像块

102 输入端(例如输入端口、输入接口)

104 残差计算[单元或步骤]

105 残差块

106 变换(例如还包括缩放)[单元或步骤]

107 变换系数

108 量化[单元或步骤]

109 量化系数

110 反量化[单元或步骤]

111 解量化系数

112 逆变换(例如还包括缩放)[单元或步骤]

113 逆变换块

114 重建[单元或步骤]

115 重建块

116 (列)缓冲器[单元或步骤]

117 参考像素点

120 环路滤波器[单元或步骤]

121 经过滤波的块

130 解码图像缓冲器(DPB)[单元或步骤]

142 帧间(inter/inter picture)估计[单元或步骤]

143 帧间估计参数(例如参考图像/参考图像索引、运动矢量/偏移)

144 帧间(inter/inter picture)预测[单元或步骤]

145 帧间预测块

152 帧内(intra/intra picture)估计[单元或步骤]

153 帧内预测参数(例如帧内预测模式)

154 帧内(intra frame/picture)预测[单元或步骤]

155 帧内预测块

162 模式选择[单元或步骤]

165 预测块(帧间预测块145或帧内预测块155)

170 熵编码[单元或步骤]

171 经编码的图像数据(例如码流)

172 输出端(输出端口、输出接口)

231 经解码的图像

图2

200 解码器

171 经编码的图像数据(例如码流)

202 输入端(端口/接口)

204 熵解码

209 量化系数

210 反量化

211 解量化系数

212 逆变换(缩放)

213 逆变换块

214 重建(单元)

215 重建块

216 (列)缓冲器

217 参考像素点

220 环路滤波器(环内滤波器)

221 经过滤波的块

230 解码图像缓冲器(DPB)

231 经解码的图像

232 输出端(端口/接口)

244 帧间(inter frame/picture)预测

245 帧间预测块

254 帧内(intra frame/picture)预测

255 帧内预测块

260 模式选择

265 预测块(帧间预测块245或帧内预测块255)

图3

300 译码系统

310 源设备

312 图像源

313 (原始)图像数据

314 预处理器/预处理单元

315 预处理图像数据

318 通信单元/接口

320 目的地设备

322 通信单元/接口

326 后处理器/后处理单元

327 后处理图像数据

328 显示设备/单元

330 发送/接收/传送(经编码)的图像数据

图4

401 编码块

402 编码块

403 块边缘

404 像素行

405 像素行

406 像素行

407 像素行

408 像素列

409 像素列

410 像素列

411 像素列

412 像素列

413 像素列

414 像素列

415 像素列

图5

501 图像处理设备

502 滤波器

图6

600 编码器

601 图像处理设备

602 滤波器

图7

700 解码器

701 图像处理设备

702滤波器

图8

800块边缘

图9

1000 第一步骤

1001 第二步骤

1002 第三步骤

附录A提供了本发明的更多详细信息。

虽然本发明提供了几个实施例，但应理解，在不脱离本发明的精神或范围的情况下，所公开的系统和方法可能通过其它多种具体形式体现。本发明的示例应被视为说明性而非限制性的，且本发明并不限于本文中所给出的细节。例如，各种元件或组件可以组合或集成在另一系统中，或者某些特征可以省略或不实施。

另外，在不脱离本发明范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法组合或集成。展示或论述为彼此耦合或直接耦合或者通信的其它项也可以采用电方式、机械方式或其它方式经由某一接口、设备或中间组件间接地耦合或通信。其它变更、替换、更改示例可以由本领域技术人员在不脱离本文所公开的精神和范围的情况下确定。

下面提供了具体实施例的列表。括号中的附图标记应解释为示例性的，而不是限制性的。

实施例1.一种用于图像编码器(600)和/或图像解码器(700)中的图像处理设备(501、601、701)，用于对图像中的第一编码块(英文：a first coding block)(401)和第二编码块(英文：a second coding block)(402)之间的块边缘(403、800)进行去块效应处理，其特征在于，使用块码对所述图像进行编码；所述图像处理设备(501、601、701)包括对所述块边缘(403、800)进行滤波的滤波器(502、602、702)；对于待滤波像素的至少某个像素，其中，所述待滤波像素位于从所述块边缘(403、800)开始的去块效应范围内，所述去块效应范围垂直于所述块边缘(403、800)，所述滤波器(502、602、702)用于：

根据所述像素的原始像素值和至少一个其它像素值，确定经过滤波的像素值；

根据所述像素与所述块边缘(403、800)的距离，确定所述像素的限幅值；

使用所述限幅值对所述经过滤波的像素值进行限幅，得到经过去块效应的像素值。

实施例2.根据实施例1所述的图像处理设备(501、601、701)，其特征在于，所述限幅值是所述原始像素值与所述经过去块效应的像素值之间的最大允许变化量。

实施例3.根据实施例1或2所述的图像处理设备(501、601、701)，其特征在于，所述使用所述限幅值对所述经过滤波的像素值进行限幅，得到经过去块效应的像素值包括：

如果所述经过滤波的像素值与所述经过去块效应的像素值之差的绝对值不大于所述像素的限幅值，则将所述经过去块效应的像素值设置为所述经过滤波的像素值。

如果所述经过滤波的像素值大于所述原始像素值与所述像素的限幅值之和，则将所述经过去块效应的像素值设置为所述原始像素值与所述限幅值之和；

如果所述经过滤波的像素值小于所述原始像素值与所述像素的限幅值之差，则将所述经过去块效应的像素值设置为所述原始像素值与所述限幅值之差。

实施例4.根据实施例1至3中任一个所述的图像处理设备(501、601、701)，其特征在于，所述滤波器(502、602、702)用于：根据所述像素与所述块边缘(403、800)的距离，使用函数或查找表来确定所述像素的限幅值。

实施例5.根据实施例1至3中任一个所述的图像处理设备(501、601、701)，其特征在于，所述滤波器(502、602、702)用于：根据所述像素与所述块边缘(403、800)的距离，使用函数来确定所述像素的限幅值，其中，所述函数随着所述像素与所述块边缘(403、800)的距离的增加而单调地递减。

实施例6.根据实施例5所述的图像处理设备(501、601、701)，其特征在于，所述函数为指数函数。

实施例7.根据实施例6所述的图像处理设备(501、601、701)，其特征在于，所述函数为tc’＝tc+(tc>>i)，其中，tc’是所述限幅值，tc是常数值，i是所述像素与所述块边缘(403、800)的距离，>>表示右移。

实施例8.根据实施例5的图像处理设备(501、601、701)，其特征在于，所述函数为线性函数。

实施例9.根据实施例8所述的图像处理设备(501、601、701)，其特征在于，所述函数为tc’＝tc+(tc–(i×x)，其中，tc’是所述限幅值，tc是常数值，i是所述像素与所述块边缘(403、800)的距离，x是常数值。

实施例10.根据实施例1至9中任一个所述的图像处理设备(501、601、701)，其特征在于，对于位于从所述块边缘(403、800)开始的去块效应范围内的每个待滤波像素，其中，所述去块效应范围垂直于所述块边缘(403、800)，所述滤波器(502、602、702)用于：

根据所述像素的原始像素值和所述至少一个其它像素值，确定所述经过滤波的像素值；根据所述像素与所述块边缘(403、800)的距离，确定所述像素的限幅值；使用所述限幅值对所述经过滤波的像素值进行限幅，得到所述经过去块效应的像素值。

实施例11.根据实施例1至9中任一个所述的图像处理设备(501、601、701)，其特征在于，在垂直块边缘(403、800)的情况下根据决策像素行数小于所述块边缘(403、800)周围的块中的像素行数以及在水平块边缘(403、800)的情况下根据决策像素列数小于所述块边缘(403、800)周围的块中的像素列数，所述滤波器(502、602、702)用于判断所述块边缘(403、800)是否需要进行滤波；对于位于从所述块边缘(403、800)开始的去块效应范围内的每个待滤波像素，其中，每个待滤波像素不在决策像素列或决策像素行中，所述去块效应范围垂直于所述块边缘(403、800)，所述滤波器(502、602、702)用于：

根据所述像素的原始像素值和所述至少一个其它像素值，确定所述经过滤波的像素值；

使用所述限幅值对所述经过滤波的像素值进行限幅，得到所述经过去块效应的像素值，

对于位于从所述块边缘(403、800)开始的去块效应范围内的每个待滤波像素，其中，每个待滤波像素在决策像素列或决策像素行中，所述去块效应范围垂直于所述块边缘(403、800)，所述滤波器(502、602、702)用于：

使用恒定限幅值对所述经过滤波的像素值进行限幅，得到所述经过去块效应的像素值。

实施例12.根据实施例1至11中任一个所述的图像处理设备(501、601、701)，其特征在于，所述滤波器(502、602、702)的滤波器抽头长度为1个像素、至少2个像素、至少3个像素、至少4个像素、至少5个像素、至少6个像素、至少7个像素、至少8个像素、至少9个像素、至少10个像素、至少11个像素、至少12个像素、至少13个像素、至少14个像素、至少15个像素，或至少16个像素。

实施例13.一种对图像进行编码的编码器，其特征在于，所述编码器包括根据实施例1至12中任一个所述的图像处理设备(501、601、701)。

实施例14.一种对图像进行解码的解码器，其特征在于，所述解码器包括根据实施例1至12中任一个所述的图像处理设备(501、601、701)。

实施例15.一种用于对图像中的第一编码块和第二编码块之间的块边缘(403、800)进行去块效应处理的去块效应方法，其特征在于，使用块码对所述图像进行编码；对于待滤波像素中的至少某个像素，其中，所述待滤波像素位于从所述块边缘(403、800)开始的去块效应范围内，所述去块效应范围垂直于块边缘(403、800)，所述方法包括：

根据所述像素的原始像素值和至少一个其它像素值，确定(1000)经过滤波的像素值；

根据所述像素与所述块边缘(403、800)的距离，确定(1001)所述像素的限幅值；

使用所述限幅值对所述经过滤波的像素值进行限幅(1002)，得到经过去块效应的像素值。

实施例16.一种用于对图像进行编码的编码方法，其特征在于，所述编码方法包括根据实施例15所述的去块效应方法。

实施例17.一种用于对图像进行解码的解码方法，其特征在于，所述解码方法包括根据实施例15所述的去块效应方法。

实施例18.一种包括程序代码的计算机程序产品，其特征在于，当所述计算机程序在计算机上运行时，所述程序代码用于执行根据实施例15至17中任一个所述的方法。

Claims

1.一种用于图像编码器(600)和/或图像解码器(700)中的图像处理设备(501、601、701)，用于对图像中的第一块(401)和第二块(402)之间的垂直块边缘(403、800)进行去块效应处理，其特征在于，所述图像处理设备(501、601、701)包括对所述垂直块边缘(403、800)进行滤波的滤波器(502、602、702)；对于位于从所述垂直块边缘(403、800)开始的去块效应范围内的至少一个待滤波像素，所述滤波器(502、602、702)用于：

根据所述至少一个待滤波像素的原始像素值，得到经过滤波的像素值；

对所述经过滤波的像素值进行限副，

其中，所述至少一个待滤波像素包括第一像素、第二像素和第三像素，所述第二像素和第三像素位于同一决策像素行，所述第一像素位于非决策像素行，所述对所述经过滤波的像素值进行限副包括：

根据所述第一像素与所述块边缘的距离，对所述第一像素的经过滤波的像素值进行限副；对所述第二像素和第三像素采用相同的限副值进行限副。

2.如权利要求1所述的图像处理设备，其特征在于，所述第二像素和第三像素至所述垂直块边缘的距离不同。

3.如权利要求1所述的图像处理设备，其特征在于，所述根据所述第一像素与所述垂直块边缘的距离，对所述第一像素的经过滤波的像素值进行限副，包括：

根据所述根据第一像素与所述垂直块边缘的距离，得到所述第一像素的限幅值；

根据所述第一像素的限副值对所述第一像素的经过滤波的像素值进行限副。

4.根据权利要求1至3中任一项所述的图像处理设备(501、601、701)，其特征在于，所述根据第一像素与所述垂直块边缘的距离，得到所述第一像素的限幅值，包括：

使用函数或查找表来确定所述像素的限幅值。

5.根据权利要求3或4所述的图像处理设备(501、601、701)，其特征在于，所述第一像素的限幅值是单调函数，所述单调函数随着所述像素与所述垂直块边缘(403、800)的距离的增加而递减。

6.根据权利要求1-5中任一项所述的图像处理设备(501、601、701)，其特征在于，所述去块效应范围是垂直于所述垂直块边缘(403、800)的一行或一列中的多个像素点。

7.根据权利要求1至6中任一项所述的图像处理设备(501、601、701)，其特征在于，所述滤波器(502、602、702)用于根据所述像素的原始像素值和所述至少一个其它像素值确定所述经过滤波的像素值。

8.如权利要求1-7中任一项所述的图像处理设备(501、601、701)，其特征在于，所述决策像素行用于确定要执行的滤波。

9.一种用于对图像进行编码的编码器，其特征在于，所述编码器包括根据权利要求1至8中任一项所述的图像处理设备(501、601、701)。

10.一种用于对图像进行解码的解码器，其特征在于，所述解码器包括根据权利要求1至8中任一个所述的图像处理设备(501、601、701)。

11.一种用于对图像中的第一块和第二块之间的垂直块边缘(403、800)进行去块效应处理的去块效应方法，其特征在于，对于位于从所述垂直块边缘(403、800)开始的去块效应范围内的至少一个待滤波像素，所述方法包括：

根据所述至少一个待滤波像素的原始像素值，确定经过滤波的像素值；

对所述经过滤波的像素值进行限副，

其中，所述至少一个待滤波像素包括第一像素、第二像素和第三像素，所述第二像素和第三像素位于同一决策像素行，所述第一像素位于非决策像素行，，所述对所述经过滤波的像素值进行限副包括：

12.如权利要求11所述的去块效应方法，其特征在于，所述第二像素和第三像素至所述垂直块边缘的距离不同。

13.如权利要求11所述的去块效应方法，其特征在于，所述根据第一像素与所述垂直块边缘的距离，对所述第一像素的经过滤波的像素值进行限副，包括：

14.根据权利要求11至13中任一项所述的去块效应方法，其特征在于，所述根据第一像素与所述垂直块边缘的距离，得到所述第一像素的限幅值，包括：

使用函数或查找表来确定所述像素的限幅值。

15.根据权利要求13或14所述的去块效应方法，其特征在于，所述第一像素的限幅值是单调函数，所述单调函数随着所述像素与所述垂直块边缘(403、800)的距离的增加而递减。

16.如权利要求11-15中任一项所述的图像处理设备(501、601、701)，其特征在于，所述决策像素行用于确定要执行的滤波。

17.一种对图像进行编码的编码方法，其特征在于，所述编码方法包括根据权利要求11-16任一项所述的去块效应方法。

18.一种对图像进行解码的解码方法，其特征在于，所述解码方法包括根据权利要求11-16任一项所述的去块效应方法。

19.一种用于图像编码器(600)和/或图像解码器(700)中的图像处理设备(501、601、701)，用于对图像中的第一块和第二块之间的水平块边缘进行去块效应处理，其特征在于，所述图像处理设备(501、601、701)包括对水平块边缘进行滤波的滤波器(502、602、702)；对于位于从所述水平块边缘开始的去块效应范围内的至少一个待滤波像素，所述滤波器(502、602、702)用于：

对所述经过滤波的像素值进行限副，

其中，所述至少一个待滤波像素包括第一像素、第二像素和第三像素，所述第二像素和第三像素位于同一决策像素列，所述第一像素位于非决策像素列，所述对所述经过滤波的像素值进行限副包括：

20.如权利要求19所述的图像处理设备，其特征在于，所述第二像素和第三像素至所述水平块边缘的距离不同。

21.如权利要求19所述的图像处理设备，其特征在于，所述根据所述第一像素与所述水平块边缘的距离，对所述第一像素的经过滤波的像素值进行限副，包括：

根据所述根据第一像素与所述水平块边缘的距离，得到所述第一像素的限幅值；

22.根据权利要求19至21中任一项所述的图像处理设备(501、601、701)，其特征在于，所述根据第一像素与所述水平块边缘的距离，得到所述第一像素的限幅值，包括：使用函数或查找表来确定所述像素的限幅值。

23.根据权利要求21或22所述的图像处理设备(501、601、701)，其特征在于，所述第一像素的限幅值是单调函数，所述单调函数随着所述像素与所述水平块边缘的距离的增加而递减。

24.根据权利要求19-23中任一项所述的图像处理设备(501、601、701)，其特征在于，所述去块效应范围是垂直于所述水平块边缘的一行或一列中的多个像素点。

25.根据权利要求19至24中任一项所述的图像处理设备(501、601、701)，其特征在于，所述滤波器(502、602、702)用于根据所述像素的原始像素值和所述至少一个其它像素值确定所述经过滤波的像素值。

26.如权利要求19-25中任一项所述的图像处理设备(501、601、701)，其特征在于，所述决策像素行用于确定要执行的滤波。

27.一种用于对图像进行编码的编码器，其特征在于，所述编码器包括根据权利要求19至26中任一项所述的图像处理设备(501、601、701)。

28.一种用于对图像进行解码的解码器，其特征在于，所述解码器包括根据权利要求19至27中任一个所述的图像处理设备(501、601、701)。

29.一种用于对图像中的第一块和第二块之间的水平块边缘进行去块效应处理的去块效应方法，其特征在于，对于位于从所述水平块边缘开始的去块效应范围内的至少一个待滤波像素，所述方法包括：

对所述经过滤波的像素值进行限副，

根据所述第一像素与所述水平块边缘的距离，对所述第一像素的经过滤波的像素值进行限副；对所述第二像素和第三像素采用相同的限副值进行限副。

30.如权利要求29所述的去块效应方法，其特征在于，所述第二像素和第三像素至所述块边缘的距离不同。

31.如权利要求29所述的去块效应方法，其特征在于，所述根据第一像素与所述水平块边缘的距离，对所述第一像素的经过滤波的像素值进行限副，包括：

32.根据权利要求29至31中任一项所述的去块效应方法，其特征在于，所述根据第一像素与所述水平块边缘的距离，得到所述第一像素的限幅值，包括：

使用函数或查找表来确定所述像素的限幅值。

33.根据权利要求31或32所述的去块效应方法，其特征在于，所述第一像素的限幅值是单调函数，所述单调函数随着所述像素与所述块边缘的距离的增加而递减。

34.如权利要求29-33中任一项所述的图像处理设备，其特征在于，所述决策像素行用于确定要执行的滤波。

35.一种对图像进行编码的编码方法，其特征在于，所述编码方法包括根据权利要求29-34任一项所述的去块效应方法。

36.一种对图像进行解码的解码方法，其特征在于，所述解码方法包括根据权利要求29-35任一项所述的去块效应方法。

37.一种用于图像编码器(600)和/或图像解码器(700)中的图像处理设备(501、601、701)，用于对图像中的第一块(401)和第二块(402)之间的块边缘(403、800)进行去块效应处理，其特征在于，所述图像处理设备(501、601、701)包括对所述块边缘(403、800)进行滤波的滤波器(502、602、702)，其特征在于，所述滤波器用于：

根据预测块得到重建图像块；

在所述重建图像块的平滑区域使用强去块效应滤波器进行滤波。