CN112822498B

CN112822498B - 图像处理设备和执行有效去块效应的方法

Info

Publication number: CN112822498B
Application number: CN202011261160.3A
Authority: CN
Inventors: 阿南德·梅赫·科特拉; 塞米赫·艾森力克; 赵志杰; 高晗
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2018-03-28
Filing date: 2018-03-28
Publication date: 2022-10-11
Anticipated expiration: 2038-03-28
Also published as: AU2018415347A1; CA3095226A1; JP7087101B2; KR102539110B1; US20240244214A1; US11290721B2; KR20230085940A; AU2018415347B2; EP4171030A1; WO2019185131A1; RU2766557C1; EP3777145A1; KR20200136442A; AU2023278073A1; US20220217353A1; US11909978B2; KR102709661B1; CN112822498A; MX2020010128A; US20210014498A1

Abstract

本发明涉及图像处理领域。本发明尤其涉及改进图像处理设备的去块效应滤波器。为此，本发明提出了一种用于图像编码器和/或图像解码器中的图像处理设备，用于对使用块码进行编码的图像中的第一编码块与第二编码块之间的块边界进行去块效应处理。所述第一块具有块大小(S_A)，而所述第二块具有块大小(S_B)。所述设备包括用于对所述块边界进行滤波的滤波器，用于：修改所述第一编码块的最多M_A个像素点的值，作为第一滤波输出值；修改所述第二编码块的最多M_B个像素点的值，作为第二滤波输出值；将所述第一编码块的最多I_A个像素点的值用作第一滤波输入值；将所述第二编码块的最多I_B个像素点的值用作第二滤波输入值，其中，I_A≠I_B，M_A≠M_B。

Description

图像处理设备和执行有效去块效应的方法

技术领域

本发明实施例涉及图像处理领域，例如静止图像和/或视频图像编码。本发明尤其涉及去块效应滤波器的改进点。

背景技术

图像编码(包括编码和解码)用于广泛的数字图像应用，例如广播数字电视、通过因特网和移动网络的视频传输、视频聊天和视频会议等实时会话应用、DVD中的数字图像记录和蓝光光盘、视频内容获取和编辑系统，以及安全应用中的可携式摄像机监控。

自从1990年H.261标准中基于块的混合视频编码方法发展以来，新的视频编码技术和工具相继出现，并成为新的视频编码标准的基础。大多数视频编码标准的目标之一是在不牺牲图像质量的情况下实现与前一个标准相比的码率降低。进一步的视频编码标准包括 MPEG-1视频、MPEG-2视频、ITU-T H.262/MPEG-2、ITU-T H.263、ITU-T H.264/MPEG-4 第10部分、高级视频编码(Advanced Video Coding，AVC)、ITU-T H.265、高效视频编码 (HighEfficiency Video Coding，HEVC)和这些标准的扩展版本，扩展版本包括缩性和/或三维(three-dimensional，3D)扩展版本。

基于块的图像编码方案的共同点是块边界可能出现边界伪影。这些伪影是由于编码块的独立编码造成的。这些边界伪影对于用户来说通常很容易看到。基于块的图像编码的目标是将边界伪影降低到可见性阈值以下。这通过进行去块效应滤波来完成。一方面，解码侧执行这种去块效应滤波以消除可见边界伪影，另一方面，编码侧执行这种去块效应滤波以完全避免将边界伪影编码到图像中。尤其是对于较小的编码块来说，去块效应滤波可能具有挑战性。

发明内容

鉴于上述挑战，本发明实施例旨在改进传统去块效应滤波。本发明实施例的目的是提供一种能够在较短处理时间内进行去块效应滤波的图像处理设备。此外，去块效应处理应该有效和准确。

本发明的实施例由独立权利要求的特征定义，并且实施例的其它有利实现方式由从属权利要求的特征定义。

根据本发明的第一方面，提供了一种图像处理设备。所述图像处理设备旨在图像编码器和/或图像解码器中使用，用于对使用块码进行编码的图像中的第一编码块与第二编码块之间的块边界进行去块效应处理。所述第一编码块具有块大小S_A(这里的块大小，例如为块的宽度或高度)，所述块大小S_A的方向垂直于所述块边界，而所述第二编码块具有块大小 S_B，所述块大小S_B的方向垂直于所述块边界。所述图像处理设备包括用于对所述块边界进行滤波的滤波器，用于：

–修改与所述块边界相邻的所述第一编码块的最多M_A个像素点的值，作为第一滤波输出值；

–修改与所述块边界相邻的所述第二编码块的最多M_B个像素点的值，作为第二滤波输出值；

–将与所述块边界相邻的所述第一编码块的最多I_A个像素点的值用作第一滤波输入值，用于计算所述第一滤波输出值和/或所述第二滤波输出值；

–将与所述块边界相邻的所述第二编码块的最多I_B个像素点的值用作第二滤波输入值，用于计算所述第一滤波输出值和/或所述第二滤波输出值。

在这里，I_A≠I_B，M_A≠M_B。

这允许以不同方式处理块边界的两侧，因此确保可以并行地进行去块效应处理，与编码块大小无关。因此，显著减少了去块效应滤波的处理时间。

需要说明的是，所述图像处理设备可以包括处理器，用于执行滤波和修改。

有利的是，SA≠SB。

这确保了特别是具有不同编码块大小的块之间的边界可以并行地进行去块效应处理。

优选地，所述图像处理设备包括确定器(803)，用于根据以下内容判断是否对所述块边界进行滤波及/或是执行强滤波还是弱滤波：

–作为第一滤波决策值的与所述块边界相邻的所述第一编码块的最多D_A个像素点的值；

–作为第二滤波决策值的与所述块边界相邻的所述第二编码块的最多D_B个像素点的值。

这允许非常精确和并行地确定实际上对哪些边界进行去块效应处理，哪些边界未进行去块效应处理。

有利的是，所述第一滤波输入值与所述第一滤波决策值相同；所述第二滤波输入值与所述第二滤波决策值相同。

这进一步提高了去块效应处理的效率。

优选地，如果S_A＝4，则滤波器用于：

–将I_A设为3；

–将M_A设为1。

从而确保了非常有效的去块效应处理。

有利的是，如果S_B＝8，则滤波器用于：

–将I_B设为4；

–将M_B设为3或4。

这确保了特别准确和并行的去块效应处理。

优选地，如果S_B＝16，则滤波器

用于：

–将I_B设为8；

–将M_B设为7或8。

从而进一步提高去块效应处理的准确性。

有利的是，如果S_B＞4，则滤波器用于：

–将I_B设为S_B/2；

–将M_B设为S_B/2或S_B/2–1。

从而非常有效的去块效应处理是可能的。

优选地，如果S_A＝8，则滤波器用于：

–将I_A设为S_A/2；

–将M_A设为S_A/2或S_A/2–1。

从而进一步提高块效应和准确性。

优选地，如果S_B＞8，则滤波器用于：

–将I_B设为S_B/2；

–将M_B设为SB/2或SB/2–1。

这进一步提高了去块效应处理的效率和准确性。

有利的是，如果所述块边界是水平块边界，并且如果所述块边界与所述图像的编码树单元(coding tree unit，CTU)块边界重叠，并且如果所述第二编码块是当前块且所述第一编码块是该当前块的相邻块，则所述滤波器用于：

–将I_A设为4；

–将M_A设为3或4。

这显著地减少了存储在水平编码单元边界进行去块效应处理所需的之前编码单元的像素值所需的线路存储器。

根据本发明的第二方面，提供了一种用于对图像进行编码的编码器，包括之前描述的图像处理设备。

这允许对图像进行非常有效和准确的编码。

根据本发明的第三方面，提供了一种用于对图像进行解码的解码器，包括之前示出的图像处理设备。

这允许对图像进行特别准确和有效的解码。

根据本发明的第四方面，提供了一种去块效应方法，用于在图像编码和/或图像解码中，对使用块码进行编码的图像中的第一编码块和第二编码块之间的块边界进行去块效应处理。所述第一编码块具有块大小S_A，块大小S_A的方向垂直于所述块边界。所述第二编码块具有块大小S_B，所述块大小S_B的方向垂直于所述块边界。所述解码包括滤波，包括：

在这里，I_A≠I_B，M_A≠M_B。

这允许进行特别准确和有效的去块效应处理。

有利的是，SA≠SB。

优选地，所述方法包括：根据以下内容判断是否对所述块边界进行滤波及/或是执行强滤波还是弱滤波：

这允许非常精确和并行地确定对哪些边界实际上进行去块效应处理，哪些边界未进行去块效应处理。

这进一步提高了去块效应处理的效率。

优选地，如果S_A＝4，则滤波使用：

–I_A＝3；

–M_A＝1。

从而确保了非常有效的去块效应处理。

有利的是，如果S_B＝8，则滤波使用：

–I_B＝4；

–M_B＝3或4。

这确保了特别准确和并行的去块效应处理。

优选地，如果S_B＝16，则滤波使用：

–I_B＝8；

–M_B＝7或8。

从而进一步提高去块效应处理的准确性。

有利的是，如果S_B＞4，则滤波使用：

–I_B＝S_B/2；

–M_B＝S_B/2或S_B/2–1。

从而非常有效的去块效应处理是可能的。

优选地，如果S_A＝8，则滤波使用：

–I_A＝S_A/2；

–M_A＝S_A/2或S_A/2–1。

从而进一步提高块效应和准确性。

优选地，如果S_B＞8，则滤波使用：

–I_B＝S_B/2；

–M_B＝S_B/2或S_B/2–1。

这进一步提高了去块效应处理的效率和准确性。

有利的是，如果所述块边界是水平块边界，并且如果所述块边界与所述图像的编码树单元(coding tree unit，CTU)块边界重叠，并且如果所述第二编码块是当前块且所述第一编码块是该当前块的相邻块，则所述滤波使用：

–I_A＝4；

–M_A＝3或4。

根据本发明的第五方面，提供了一种用于对图像进行编码的编码，包括之前示出的去块效应方法。

这允许对图像进行非常有效和准确的编码。

根据本发明的第六方面，提供了一种用于对图像进行解码的解码方法，包括之前示出的去块效应方法。

这允许对图像进行非常有效和准确的解码。

根据本发明的第七方面，提供了一种具有程序代码的计算机程序产品，当所述计算机程序在计算机上运行时，用于执行之前所示的方法。

一个或多个实施例的细节在附图和以下描述中阐述。其它特征、目标和优点将从描述、附图和权利要求中显而易见。

附图说明

下文将参考以下附图详细描述本发明实施例，其中：

图1是示出用于实现本发明实施例的视频编码器的示例的框图。

图2是示出用于实现本发明实施例的视频解码器的示例结构的框图。

图3是示出用于实现本发明实施例的视频编码系统的示例的框图。

图4示出了三个示例性编码块。

图5示出了根据本发明第一方面的本发明图像处理设备的第一实施例。

图6示出了根据本发明第二方面的本发明编码器的第一实施例。

图7示出了根据本发明第三方面的本发明解码器的第一实施例。

图8示出了根据本发明第一方面的本发明图像处理设备的第二实施例。

图9示出了本发明的第一方面的图像处理设备的第三实施例采用的三个示例性编码块，包括用于去块效应滤波和针对去块效应滤波修改的不同像素点值。

图10示出了描述用于提高去块效应滤波效率的示例性过程的流程图。

图11示出了在通过图7所示的示例性方法进行滤波期间使用和修改的三个示例性编码块和相应的像素点值。

图12示出了由本发明第一方面的第四实施例滤波的包括多个编码单元的图像。

图13示出了图12的示例性图像的编码块对应的两个示例性编码块，以及在根据本发明第一方面的图像处理设备的第五实施例进行滤波期间使用和修改的像素点值。

图14示出了根据本发明第四方面的图像处理方法的实施例的流程图。

在下文中，相同参考符号是指相同或至少在功能上等效的特征。部分地，在不同的附图中，使用了指代相同实体的不同参考符号。

具体实施方式

首先，图1至图3示出了图像编码的一般概念。图4示出了常规去块效应滤波器的缺点。图5至图13示出并描述了本发明装置的不同实施例的结构与功能。最后，图14示出并描述了本发明方法的实施例。不同附图中的类似实体和参考编号已被部分省略。

在以下描述中，参考构成本发明一部分的附图，附图通过说明的方式示出了本发明实施例的特定方面或可使用本发明实施例的特定方面。应理解，本发明的实施例可用于其它方面，并且包括未在附图中描绘的结构或逻辑变化。因此，以下详细的描述并不当作限定，本发明的范围由所附权利要求书界定。

可以理解的是，与所描述的方法有关的内容对于与用于执行方法对应的设备或系统也同样适用，反之亦然。例如，如果描述了一个或多个特定方法步骤，则对应的设备可以包括一个或多个单元，例如，功能单元，用于执行所描述的一个或多个方法步骤(例如，执行所述一个或多个步骤的一个单元，或各自执行所述多个步骤中的一个或多个步骤的多个单元)，即使图中未明确描述或说明此类一个或多个单元。另一方面，例如，如果基于一个或多个单元(例如，功能单元)来描述特定装置，对应的方法可以包括一个步骤来执行一个或多个单元的功能(例如，执行所述一个或多个单元的功能的一个步骤，或各自执行所述多个单元中的一个或多个单元的功能的多个步骤)，即使图中未明确描述或说明此类一个或多个步骤。此外，应理解，除非另外具体指出，否则本文中描述的各种示例性实施例和/或方面的特征可彼此组合。

视频编码通常指处理构成视频或视频序列的图像序列。在视频编码领域中，术语“帧”、“图像”或“影像”可用作同义词。视频编码包括视频编码和视频解码两部分。视频编码在源侧执行，通常包括处理(例如，压缩)原始视频图像以减少表示视频图像所需的数据量(从而更高效存储和/或传输)。视频解码在目的地侧执行，通常包括相对于编码器作逆处理以重建视频图像。实施例涉及的视频图像(或总称为图像，下文将进行解释)的“编码”应理解为视频图像的“编码”和“解码”。编码部分和解码部分也合称为编解码(编码和解码，CODEC)。

在无损视频编码的情况下，可以重建原始视频图像，即，重建的视频图像与原始视频图像具有相同的质量(假设存储或传输期间没有传输损失或其它数据丢失)。在有损视频编码的情况下，通过量化等执行进一步压缩，以减少表示视频图像所需的数据量，而解码器侧无法完全重建视频图像，即，重建的视频图像的质量与原始视频图像的质量低或差。

从H.261开始的几种视频编码标准都属于“有损混合视频编解码器”(即，将像素点域中的空间预测和时间预测与在变换域中应用量化的2D变换编码结合)。视频序列的每个图像通常被分割成一组不重叠的块，通常在块级上进行编码。换句话说，编码器通常在块(视频块)级处理即编码视频，例如，通过空间(帧内)预测和时间(帧间)预测来生成预测块；从当前块(当前处理/待处理的块)中减去预测块，得到残差块；在变换域中变换残差块并量化残差块，以减少待传输(压缩)的数据量，而解码器侧将相对于编码器的逆处理应用于编码块或压缩块，以重建用于表示的当前块。另外，编码器和解码器步骤相同，使得编码器和解码器生成相同的预测(例如，帧内预测和帧间预测)和/或重建像素，用于处理(，即编码后续块。

由于视频图像处理(也称为运动图像处理)和静止图像处理(术语“包括编码的处理”) 共享许多概念和技术或工具，所以在下文中，术语“图像”用于指代视频序列的视频图像 (如上文所解释)和/或静止图像，以避免视频图像和静止图像之间的不必要的重复和区分。如果所述描述仅指静止图像(still picture或still image)，则应使用术语“静止图像”。

在编码器100的以下实施例中，首先根据图1至图3描述了解码器200和编码系统300，然后根据图4至图14更详细地描述本发明的实施例。

图3是示出了编码系统300(例如图像编码系统300)的实施例的概念性或示意性框图。编码系统300包括源设备310，用于例如向目的地设备320提供编码数据330，例如编码图像330，以用于解码编码数据330。

源设备310包括编码器100或编码单元100，并且可以另外(即可选地)包括图像源312、预处理单元314(例如，图像预处理单元314)以及通信接口或通信单元318。

图像源312可以包括或可以是任何种类的图像捕获设备，例如用于捕获真实世界图像，和/或任何种类的图像生成设备，例如用于生成计算机动画图像的计算机图形处理器，或用于获取和/或提供真实世界图像、计算机动画图像(例如，屏幕内容、虚拟现实(virtual reality，VR)图像和/或其任何组合(例如，增强现实(augmented reality，AR)图像)的任何设备。在下文中，所有这些种类的图像和任何其它种类的图像将称为“图像或影像”，除非另有特别说明，而之前关于术语“图像”一词的解释，包括“视频图像”和“静止图像”仍然适用，除非有明确的不同规定。

(数字)图像是或可被视为具有强度值的像素点(亦可称为样本，英文：sample)的二维数组或矩阵。数组中的像素点也可以称为像素(pixel或pel)(图像元素的简称)。数组或图像在水平和垂直方向(或轴线)上的像素点数定义了图像的大小和/或分辨率。为了表示颜色，通常采用三种颜色分量，即，图像可以表示为或包括三个像素点数组。在RGB格式或颜色空间中，图像包括对应的红色、绿色和蓝色像素点数组。然而，在视频编码中，每个像素通常以亮度/色度格式或在颜色空间中表示，例如，YCbCr，包括由Y表示的亮度分量(有时也用L表示)和由Cb、Cr表示的两个色度分量。亮度(luminance，简写为luma) 分量Y表示亮度或灰阶强度(例如，在灰阶图像中两者相同)，而两个色度分量 (chrominance，简写为chroma)Cb和Cr表示色度或颜色信息分量。相应地，YCbCr格式的图像包括亮度像素点值(Y)的亮度像素点数组和色度值(Cb和Cr)的两个色度像素点数组。RGB格式的图像可以转换成YCbCr格式，反之亦然，该过程也称为颜色变换或转换。如果图像是黑白的的，则该图像可以只包括亮度像素点数组。

图像源312可以是，例如，用于捕获图像的相机、图像存储器等包括或存储之前捕获或生成的图像的存储器，和/或任何种类的获取或接收图像的接口(内部或外部)。例如，相机可以是本地相机或集成在源设备中的集成相机，存储器可以是本地存储器或集成在源设备中的集成存储器。例如，接口可以是用来从外部视频源接收图像的外部接口，外部视频源为类似于相机、外部存储器或外部图像生成设备等外部图像捕获设备，外部图像生成设备为外部计算机图形处理器、计算机或服务器等。接口可以是根据任何私有或标准化接口协议的任何种类的接口，例如，有线或无线接口、光接口。获取图像数据312的接口可以与通信接口 318为同一接口或者是通信接口318的一部分。

为了区分预处理单元314和预处理单元314执行的处理，图像或图像数据313也可以称为原始图像或原始图像数据313。

预处理单元314用于接收(原始)图像数据313，并对图像数据313进行预处理，得到预处理后的图像315或预处理后的图像数据315。预处理单元314执行的预处理可以包括例如修剪、颜色格式转换(例如，从RGB到YCbCr)、调色或去噪。

编码器100用于接收预处理后的图像数据315并提供编码后的图像数据171(例如，将根据图1进一步描述细节)。

源设备310的通信接口318可用于：接收编码后的图像数据171并直接向目的地设备 320或任何其他设备发送编码后的图像数据171，以便存储或直接重建，或分别在存储编码后的数据330和/或向目的地设备320等另一设备或任何其它解码或存储设备发送编码后的数据13之前处理编码后的图像数据171。

目的地设备320包括解码器200或解码单元200，并且可以另外(即，可选地)包括通信接口或通信单元322、后处理单元326和显示设备328。

目的地设备320的通信接口322用于直接从源设备310或从存储器等任何其它源接收编码图像数据171或编码数据330，例如，存储器为编码图像数据存储器。

通信接口318和通信接口322可用于分别通过源设备310与目的地设备320之间的直接通信链路(例如，直接有线或无线连接)，或通过任何种类的网络(例如，有线网络、无线网络或其任何组合、任何种类的私网和公网或其任何种类的组合)来发送编码图像数据171或编码数据330。

通信接口318可用于例如将编码图像数据171打包为合适的格式(例如，数据包)，用于在通信链路或通信网络上传输，还可包括数据丢失保护和数据丢失恢复。

构成通信接口318的对应部分的通信接口322可以例如用于对编码数据330进行解包以获取编码图像数据171，并且还可以用于执行数据丢失保护和数据丢失恢复，例如，包括错误隐藏。

通信接口318和通信接口322均可配置为如图3中从源设备310指向目的地设备320的编码图像数据330的箭头所指示的单向通信接口，或双向通信接口，且可以用于：例如发送和接收消息，以建立连接，确认和/或重新发送丢失或延迟的数据，包括图像数据，并交换与通信链路和/或数据传输(例如，编码图像数据传输)相关的任何其它信息，等等。

解码器200用于接收编码图像数据171并提供解码图像数据231或解码图像231(例如，将根据图2进一步描述细节)。

目的地设备320的后处理器326用于例如对解码图像数据231(例如，解码图像231)进行后处理，以获取后处理图像数据327，例如，后处理图像327。由后处理单元326执行的后处理可以包括，例如颜色格式转换(例如，从YCbCr到RGB)、调色、修剪或重新采样或任何其它处理，例如，用于准备解码图像数据231以例如由显示设备328显示。

目的地设备320的显示设备328用于接收用于后处理图像数据327，以例如向用户或观看者显示图像。显示设备328可以是或包括任何种类的用于表示重建图像的显示器，例如，集成或外部显示屏或显示器。显示器可以例如包括阴极射线管(cathode ray tube，CRT)，液晶显示器(liquid crystal display，LCD)，等离子显示器，有机发光二极管(organic light emitting diode，OLED)显示器或其他任何种类的显示器……投影仪、全息图(3D)……

尽管图3将源设备310和目的地设备320描绘为单独的设备，但是设备的实施例也可以包括源设备310和目的地设备320或同时包括源设备310的对应功能和目的地设备320的对应功能。在这些实施例中，源设备310或对应功能以及目的地设备320或对应功能可以使用相同的硬件和/或软件或通过单独的硬件和/或软件或其任何组合来实现。

根据所述描述，技术人员将清楚地看到，如图3所示的源设备310和/或目的地设备320 中的不同单元或功能的存在和(精确)划分可以根据实际设备和应用而变化。

因此，图3中所示的源设备310和目的地设备320仅仅是本发明的示例性实施例，并且本发明的实施例不限于图3中所示的那些实施例。

源设备310和目的地设备320可包括多种设备中的任意一种，包括任何种类的手持或固定设备，例如，笔记本电脑或膝上型计算机、手机、智能手机、平板或平板电脑、照相机、台式计算机、机顶盒、电视机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备、广播接收器设备等。(也可为用于大规模专业编码/解码的服务器和工作站，例如网络实体)并可以不使用或使用任何种类的操作系统。

图1示出了例如编码器100(例如，图像编码器100)的实施例的示意性/概念性框图。编码器100包括输入端102、残差计算单元104、变换单元106、量化单元108、反量化单元110、逆变换单元112、重建单元114、缓冲器118、环路滤波器120、解码图像缓冲器(decodedpicture buffer，DPB)130、预测单元160[帧间估计单元142、帧间预测单元144、帧内估计单元152、帧内预测单元154]、模式选择单元162、熵编码单元170、输出端172。图1所示的视频编码器100也可以称为混合视频编码器或根据混合视频编解码器的视频编码器。

例如，残差计算单元104、变换单元106、量化单元108和熵编码单元170形成编码器100的正向信号路径，而例如反量化单元110、逆变换单元112、重建单元114、缓冲器118、环路滤波器120、解码图像缓冲器(decoded picture buffer，DPB)130、帧间预测单元144 和帧内预测单元154形成编码器的反向信号通路，其中，编码器的反向信号路径对应于解码器的信号路径(参见图2中的解码器200)。

编码器用于例如通过输入端102接收图像101或图像101的图像块103，例如，形成视频或视频序列的图像序列的图像。图像块103也可以称为当前图像块或待编码图像块，图像 101称为当前图像或待编码图像(尤其在视频编码中，以将当前图像与例如同一视频序列 (即也包括当前图像的视频序列)的之前编码和/或解码图像的其它图像区分开来)。

编码器100的实施例可以包括划分单元(图1中未描绘)，例如，也可以称为图像划分单元，用于将图像103划分成多个块(例如，块103等块)，通常划分为多个不重叠块。划分单元可用于对视频序列的所有图像使用相同的块大小和定义块大小的对应网格，或者改变图像或图像的子集或组之间的块大小，并将每个图像划分成对应块。

与图像101一样，块103也是或可被视为具有强度值(像素点值)的像素的二维数组或矩阵，尽管图像101的维度较小。换句话说，块103可以包括例如一个像素点数组(例如，在单色图像101的情况下，一个亮度数组)或三个像素点数组(例如，在彩色图像101的情况下，一个亮度数组和两个色度数组)或根据所使用的颜色格式的任何其它数目和/或种类的数组。块103的水平和垂直方向(或轴)的像素点数量定义了块103的大小。

如图1所示的编码器100用于逐个块编码图像101，例如，对每个块103执行编码和预测。

残差计算单元104，用于根据图像块103和预测块165，例如，通过从图像块103的像素点值中减去预测块165的像素点值，逐个像素点(逐个像素)计算残差块105(关于预测块165的进一步细节将在后面提供)，以获取像素点域中的残差块105。

变换单元106用于对残差块105的像素点值应用变换，例如，空间频率变换或线性空间变换，例如离散余弦变换(discrete cosine transform，DCT)或离散正弦变换(discrete sine transform，DST)，以获取变换域中的变换系数107。变换系数107也可以称为变换残差系数，表示变换域中的残差块105。

变换单元106可用于应用DCT/DST(例如为HEVC/H.265指定的核心变换)的整数近似值。与正交DCT变换相比，这种整数近似值通常按一定因子进行缩放。为了保持正逆变换处理的残差块的模方，在变换过程中应用了附加的缩放因子。通常根据某些约束选择缩放因子，例如缩放因子是用于移位操作的2的幂次方、变换系数的位深度、精确度和实现成本之间的权衡等。例如，在例如解码器200侧通过逆变换单元212为逆变换指定特定缩放因子(以及在例如编码器100侧通过逆变换单元112，为对应的逆变换指定特定缩放因子)，并且可相应地在例如编码器100侧通过变换单元106为正向变换指定对应的缩放因子。

量化单元108用于对变换系数107进行量化以获取量化系数109，例如，应用标量量化或矢量量化。量化系数109也可以称为量化残差系数109。例如，对于标量量化，可以应用不同的缩放以实现更精细或更粗略的量化。较小的量化步长对应于更精细的量化，而较大的量化步长对应于更粗略的量化。适用的量化步长可以通过量化参数(quantizationparameter， QP)指示。量化参数可以是例如预定义的适用量化步长集合的索引。例如，较小量化参数可以对应于精细量化(较小量化步长)，较大量化参数可以对应于粗略量化(较大量化步长)，反之亦然。量化可以包括除以量化步长，且对应的反解量化，例如，反量化110，可以包括乘以量化步长。

根据HEVC的实施例，可以用于使用量化参数来确定量化步长。通常，量化步长可以根据使用包括除法的等式的定点近似值的量化参数来计算。量化和解量化可以引入额外的缩放因子以恢复残差块的模方，由于在用于量化步长和量化参数的等式的定点近似值中使用的缩放，可以修改残差块的模方。在一个示例性实现方式中，逆变换和解量化的缩放可以组合。或者，可以使用自定义量化表，并以信号形式从编码器发送到解码器，例如，在码流中发送。量化是有损操作，其中损耗随着量化步长的增大而增大。

编码器100(或量化单元108)的实施例可用于例如通过相应的量化参数输出量化方案和量化步长，使得解码器200可以接收并应用对应的反量化。例如，编码器100(或量化单元108)的实施例可用于例如直接或通过熵编码单元170或任何其它熵编码单元熵编码的方式输出量化方案和量化步长。

反量化单元110用于对量化系数应用量化单元108的反量化以获取解量化系数111，例如，通过应用量化单元108基于或使用与量化单元108相同的量化步长应用的量化方案的逆方案。解量化系数111也可以称为解量化残差系数111，并且与变换系数108相对应(尽管由于量化损失通常与变换系数不完全相同)。

逆变换单元112用于应用由变换单元106应用的变换的逆变换，例如，逆离散余弦变换 (discrete cosine transform，DCT)或逆离散正弦变换(inverse discrete sinetransform， DST)，以获取像素域中的逆变换块113。逆变换块113也可以称为逆变换解量化块113或逆变换残差块113。

重建单元114用于将逆变换块113和预测块165组合以获取像素点域中的重建块115，例如，通过将解码残差块113的像素点值和预测块165的像素点值以逐个像素点方式相加。

缓冲单元116(或简称“缓冲器”116)，例如，列缓冲器116，用于缓冲或存储重建块和相应的像素点值，例如用于帧内估计和/或帧内预测。在其它实施例中，编码器可用于使用存储在缓冲单元116中的未滤波重建块和/或相应像素点值进行任何种类的估计和/或预测。

编码器100的实施例可以为使得例如，缓冲单元116不仅用于存储重建块115以用于帧内估计152和/或帧内预测154，而且还用于环路滤波单元120(图1中未示出)，和/或使得例如，缓冲单元116与解码图像缓冲单元130形成一个缓冲器。其它实施例可用于使用滤波块121和/或来自解码图像缓冲器130的块或像素点(两者未在图1中示出)作为帧内估计152和/或帧内预测154的输入或基础。

环路滤波器单元120(或简称“环路滤波器”120)用于对重建块115进行滤波以获取滤波块121，例如，通过应用去块效应采样自适应偏移(sample-adaptive offset，SAO)滤波器或其它滤波器，例如锐化滤波器、平滑滤波器或协同滤波器。滤波块121也可以称为滤波重建块121。环路滤波器120在下文中也称为去块效应滤波器。

环路滤波单元120的实施例可以包括(图1中未示出)滤波分析单元和实际滤波单元，其中滤波分析单元用于为实际滤波器确定环路滤波参数。滤波分析单元可用于将固定的预定滤波器参数应用于实际环路滤波器，从预定滤波参数集中自适应地选择滤波参数，或者自适应地为实际环路滤波器计算滤波参数。

环路滤波单元120的实施例可以包括(图1中未示出)一个或多个滤波器(环路滤波器组件/子滤波器)，例如，一个或多个不同种类或类型的串联连接或并联连接或以任何组合连接的滤波器，其中每个滤波器可包括单独或与多个滤波器中的其它滤波器联合的滤波分析单元，以确定相应的环路滤波参数，如前面段落所描述。

编码器100(分别为环路滤波单元120)的实施例可用于输出环路滤波参数，例如，直接或通过熵编码单元170或任何其它熵编码单元进行熵编码，使得例如解码器200可以接收和应用相同的环路滤波参数用于解码。

解码图像缓冲器(decoded picture buffer，DPB)130用于接收和存储滤波块121。解码图像缓冲器130还可用于存储其它之前滤波的块，例如，相同当前图像或不同图像(例如，之前重建图像)的之前重构和滤波块121，并提供完整的之前重建(即，解码)图像(和对应参考块和像素点)和/或部分重建的当前图像(和对应参考块和像素点)，以例如用于帧间估计和/或帧间预测。

本发明的其它实施例还可以用于将解码图像缓冲器130的之前滤波块和对应的滤波像素点值用于任何种类的估计或预测，例如，帧内估计/帧间估计和帧内预测/帧间预测。

预测单元160，也称为块预测单元160，用于接收或获取图像块103(当前图像101的当前图像块103)以及解码的或至少重建的图像数据，例如，来自缓冲器116的相同(当前)图像的参考像素点和/或来自解码图像缓冲器130的一张或多张之前解码图像的解码图像数据231，以及处理此类数据进行预测，即，提供预测块165，预测块165可以是帧间预测块145或帧内预测块155。

模式选择单元162可用于选择预测模式(例如，帧内预测模式或帧间预测模式)和/或将用作预测块165的对应预测块145或155，用于计算残差块105和对重建块115进行重建。

模式选择单元162的实施例可用于选择预测模式(例如，来自预测单元160支持的哪些预测模式)，所述预测模式提供最佳匹配或换句话说最小残差(最小残差意味着进行传输或存储的更好压缩)，或最小信号传输开销(最小的信令开销意味着进行传输或存储的更好压缩)或两者兼顾或权衡。模式选择单元162可用于根据率失真优化(rate distortionOptimization，RDO)确定预测模式，即，选择提供最小率失真优化的预测模式，或选择至少满足预测模式选择标准的相关联率失真的预测模式。

在下文中，将更详细地解释由示例编码器100执行的预测处理(例如，预测单元160) 和模式选择(例如，通过模式选择单元162进行)。

如上所述，编码器100用于从(预定的)预测模式集中确定或选择最好或最佳预测模式。所述预测模式集可以包括，例如，帧内预测模式和/或帧间预测模式。

帧内预测模式集合可以包括32种不同的帧内预测模式，例如，DC(或平均)模式和平面模式等非定向模式，或例如H.264中所定义的定向模式；或可包括65种不同的帧内预测模式，例如，DC(或平均)模式和平面模式等非定向模式，或如H.265中定义的定向模式。

帧间预测模式集(或可能)取决于可用的参考图像(即，如存储在DBP 230中的之前至少部分解码的图像)以及其它帧间预测参数，例如，是整个参考图像还是只是参考图像的一部分，例如，当前块周围区域的搜索窗口区域，用于搜索最佳匹配的参考块；和/或是否应用像素插值，例如，半像素和/或四分之一像素插值。

除上述预测模式外，可应用跳过模式和/或直接模式。

预测单元160还可以用于将块103划分成更小的块分区或子块，例如，迭代地使用四叉树划分(quad-tree-partitioning，QT)、二进制划分(binary-partitioning，BT)或三叉树划分 (trim-tree-partitioning，TT)或其任何组合；执行(例如)对块分区或子块中的每一个的预测，其中模式选择包括：选择划分后的块103的树结构以及应用于块分区或子块中的每一个的预测模式。

帧间估计单元142，也称为帧间图像估计单元142，用于接收或获得图像块103(当前图像101的当前图像块103)和解码图像231，或至少一个或多个之前的重建块，例如，一个或多个其它/不同之前的解码图像231的重建块，用于帧间估计(inter estimation或interpicture estimation)。例如，视频序列可以包括当前图像和之前的解码图像231，或者换句话说，当前图像和之前的解码图像231可以是组成视频序列的图像序列的一部分或形成视频序列的图像序列。

例如，编码器100可用于从多个其它图像的相同或不同图像的多个参考块中选择参考块，并将参考图像(或参考图像索引……)和/或参考块的位置(x、y坐标)和当前块的位置之间的偏移(空间偏移)作为帧间估计参数143提供给帧间预测单元144。这个偏移也称为运动矢量(motion vector，MV)。帧间估计也称为运动估计(motion estimation，ME)，帧间预测也称为运动预测(motion prediction，MP)。

帧间预测单元144用于获取(例如，接收)帧间预测参数143，并根据或使用所述帧间预测参数143执行帧间预测以获取帧间预测块145。

尽管图1示出了用于帧间编码的两个不同的单元(或步骤)，即帧间估计142和帧间预测144，但是可以作为一个(帧间估计)需要/包括计算一个/所述帧间预测块，即，所述种类的/一种帧间预测144，可例如通过迭代地测试所有可能的帧间预测模式或预定的可能帧间预测模式子集，同时存储当前最佳的帧间预测模式和相应的帧间预测块，以及将所述当前最佳的帧间预测模式和相应的帧间预测块用作(最终)帧间预测参数143和帧间预测块145的方式执行这两个单元的功能，而不另外单独执行帧间预测144。

帧内估计单元152用于获取(例如，接收)图像块103(当前图像块)和一个或多个之前的重建块，例如，相同图像的重建相邻块，用于帧内估计。例如，编码器100可用于从多个(预定的)帧内预测模式中选择帧内预测模式并将其作为帧内估计参数153提供给帧内预测单元154。

编码器100的实施例可用于根据优化准则，例如，最小残差(例如，提供与当前图像块 103最相似的预测块155的帧内预测模式)或最小率失真，选择帧内预测模式。

帧内预测单元154用于根据帧内预测参数153，例如，选定的帧内预测模式153，确定帧内预测块155。

尽管图1示出了用于帧内编码的两个不同的单元(或步骤)，即帧内估计152和帧内预测154，但是可以作为一个(帧内估计)需要/包括计算帧内预测块，即，所述种类的/一种帧内预测154，可例如通过迭代地测试所有可能的帧内预测模式或预定的可能帧内预测模式子集，同时存储当前最佳的帧内预测模式和相应的帧内预测块，以及将所述当前最佳的帧内预测模式和相应的帧内预测块用作(最终)帧内预测参数153和帧内预测块155的方式执行这两个单元的功能，而不另外单独执行帧内预测154。

熵编码单元170用于对量化残差系数109、帧间预测参数143、帧内预测参数153上和/ 或环路滤波参数单独或联合(或完全不联合)应用熵编码算法或方案(例如，可变长度编码 (variable length coding，VLC)方案、上下文自适应VLC方案(context adaptiveVLC scheme，CALVC)、算术编码方案、上下文自适应二进制算术编码(context adaptivebinary arithmetic coding，CABAC)，例如，以获取可由输出端172以编码码流171的形式输出的编码图像数据171。

图2示出了示例性视频解码器200，用于接收例如由编码器100编码的编码图像数据 (例如，编码码流)171，获取解码图像231。

解码器200包括输入端202、熵解码单元204、反量化单元210、逆变换单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器230、预测单元260、帧间预测单元244、帧内预测单元254、模式选择单元260和输出端232。

熵解码单元204用于对编码图像数据171执行熵解码，以获取量化系数209和/或解码的编码参数(未在图2中示出)，例如，(解码的)帧间预测参数143、帧内预测参数153和/或环路滤波参数中的任一个或全部。

在解码器200的实施例中，反量化单元210、逆变换单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器230、预测单元260和模式选择单元260用于执行编码器100(及其相应功能单元)的逆处理以解码所述编码图像数据171。

具体而言，反量化单元210的功能可与反量化单元110的功能相同，逆变换单元212的功能可与逆变换单元112的功能相同，重建单元214的功能可与重建单元114的功能相同，缓冲器216的功能可与缓冲器116的功能相同，环路滤波器220的功能可与环路滤波器220的功能相同(关于实际环路滤波器，因为环路滤波器220通常不包括根据原始图像101或块103确定滤波参数的滤波分析单元，但从例如熵解码单元204接收(显式地或隐式地)或获取用于编码的滤波参数)，解码图像缓冲器230的功能可以与解码图像缓冲器130的功能相同。

预测单元260可包括帧间预测单元244和帧间预测单元254，其中帧间预测单元144的功能可与帧间预测单元144的功能相同，帧间预测单元154的功能可与帧内预测单元154的功能相同。预测单元260和模式选择单元262通常用于执行块预测和/或仅从编码数据171获取预测块265(无需原始图像101的任何其它信息)以及从例如熵解码单元204接收或获取(显式地或隐式地)预测参数143或153和/或关于选定预测模式的信息。

解码器200用于输出解码图像230，例如，通过输出端232，向用户呈现或查看。

尽管已主要根据视频编码描述了本发明的实施例，但应注意，编码器100和解码器200 (对应地，系统300)的实施例也可以用于静止图像处理或编码，即，视频编码中独立于任何之前或连续的图像的单个图像的处理或编码。通常，在图像处理编码限于单个图像101的情况下，仅帧间估计142和帧间预测144、242不可用。视频编码器100和视频解码器200 的大部分(如果不是全部)其它功能(也称为工具或技术)同样可用于静止图像，例如，划分、变换(缩放)106、量化108、反量化110、逆变换112、帧内估计142、帧内预测154、 254和/或环路滤波120、220、熵编码170和熵解码204。

本发明处理去块效应滤波器的内部运作，在图1和图2中，去块效应滤波器也称为环路滤波器。

以块为基础的混合视频编码的成功原理，设计了H.264/AVC、HEVC等视频编码方案。利用这一原理，首先将图像划分成块，然后使用帧内预测或帧间预测来预测每个块。这些块相对地由相邻块编码，并且估算原始信号具有一定程度相似性。由于编码块仅估算原始信号，因此近似值之间的差可能导致预测块和变换块边界处的不连续性。这些不连续性被去块效应滤波器消减。HEVC将H.264/AVC的宏块结构替换为最大大小为64×64像素的编码树单元 (coding tree unit，CTU)的概念。CTU可以在四叉树分解方案中进一步划分为更小的编码单元(coding unit，CU)，该编码单元可以细分为最小大小8×8像素。HEVC还引入了预测块(prediction block，PB)和变换块(transform block，TB)的概念。

在HEVC中，对属于与8×8网格重叠的编码单元(coding unit，CU)、预测单元(prediction unit，PU)和变换单元(transform unit，TU)的所有边界进行去块效应处理。此外，与在4×4网格上执行滤波操作的H.264/AVC相比，HEVC中的去块效应滤波器更易于并行处理。HEVC中的垂直和水平块边界的处理顺序与H.264/AVC中的不同。在HEVC 中，首先对图像中所有垂直块边界进行滤波，然后对所有水平块边界进行滤波。由于HEVC 中两个并行块边界之间的最小距离为8个像素点，并且HEVC去块效应处理最多修改来自块边界的3个像素点并使用来自块边界的4个像素点进行去块效应决策，因此对一个垂直边界的滤波不影响对任何其它垂直边界的滤波。这意味着没有跨越块边界的去块效应依赖性。原则上，任何垂直块边界都可以与任何其它垂直边界并行处理。同样适用于水平边界，尽管通过对垂直边界进行滤波的修改像素点用作对水平边界进行滤波的输入。

ITU-T VCEG(Q6/16)和ISO/IEC MPEG(JTC 1/SC 29/WG 11)正在研究未来视频编码技术标准化的潜在需求，其压缩能力大大超过目前的HEVC标准(包括当前扩展和近期扩展的屏幕内容编码和高动态范围编码)。这两个小组正在共同开展这项探索活动，称为联合视频探索小组(Joint Video Exploration Team，JVET)，以评估其专家在这一领域中提出的压缩技术设计。

联合探索模型(Joint Exploration Model，JEM)描述了ITU-T VCEG和ISO/IECMPEG 的联合视频探索团队(Joint Video Exploration Team，JVET)正在协同测试模型研究的特性，这些特性是HEVC能力范围之外的潜在的增强视频编码技术。

联合探索模型(Joint Exploratory Model，JEM)软件采用一种新的划分块结构方案，称为四叉树加二叉树(Quadtree plus binary tree，QTBT)。

QTBT结构删除了多个划分类型的概念，即，去除编码单元(coding unit，CU)、预测单元(prediction unit，PU)和变换单元(transform unit，TU)的分离。因此，CU＝PU＝TU。QTBT支持更灵活的CU划分形状，其中CU可以具有正方形或矩形形状。CU的最小宽度和高度可以是4个像素点，CU的大小也可以是4×N或N×4，其中N可以取[4、8、16、32] 范围内的值。

JEM中的当前LUMA去块效应滤波器对所有CU块边界(包括属于大小为4×N和N× 4的CU的边界)都进行滤波，产生了以下缺点：

●已滤波像素点会影响连续块边界的滤波决策

●相邻块边界无法并行处理

图4示出了用于JEM(使用QTBT划分)的当前去块效应滤波操作。

编码块401、402、403也称为P、Q和R，是三个属于CU的块，CU的三个块大小分别为8×8、4×8和4×8(N＝8)个像素点。边界404也称为E1，对其进行强滤波修改了在虚线框406中标记的像素点。边界405也称为E2，对其进行强滤波修改了在虚线框407中标记的像素点。可以看到，方框406和方框407存在重叠，因此

■边界E1进行滤波时块Q中的已经滤波的像素点影响了连续块边界(边界E2)的滤波决策

■相邻块边界(E1和E2)处理无法并行进行

因此，需要以串行方式进行去块效应滤波。这会导致处理时间很长。尤其是随着处理器技术的不断进步，使用的并行处理结构越来越多，这会导致不必要地加长处理时间。通过使去块效应滤波并行工作，可以节省大量的处理时间。

现在，根据图5至图8，简要描述本发明的第一方面、第二方面和第三方面的不同实施例。图5至图8中描绘的实施例的详细功能稍后结合图9至图13进行描述。

图5示出了根据本发明第一方面的图像处理设备的第一实施例。图像处理设备501包括用于对使用块码进行编码的图像中的第一编码块与第二编码块之间的块边界进行滤波的滤波器。

图像处理设备501尤其用于对使用块码进行编码的图像中的第一编码块与第二编码块之间的块边界进行去块效应处理。第一编码块具有块大小S_A，所述块大小S_A的方向垂直于块边界，而第二编码块具有块大小S_B，所述块大小S_B的方向垂直于块边界。图像处理设备501包括用于对块边界进行滤波的滤波器502。滤波器用于：

_–修改与块边界相邻的第一编码块的最多M_A个像素点的值，作为第一滤波输出值；

_–修改与块边界相邻的第二编码块的最多M_B个像素点的值，作为第二滤波输出值；

_–将与块边界相邻的第一编码块的最多I_A个像素点的值用作第一滤波输入值，用于计算第一滤波输出值和/或第二滤波输出值；

_–将与块边界相邻的第二编码块的最多I_B个像素点的值用作第二滤波输入值，用于计算第一滤波输出值和/或第二滤波输出值，如上所述。

在这里，I_A不等于I_B，M_A不等于M_B。

图6示出了根据本发明第二方面的编码器的实施例。编码器600包括图像处理设备601，图像处理设备601又包括滤波器602。图像处理设备601对应于图5中的图像处理设备501。编码器根据图1所示编码器的原理工作。环路滤波器也称为图1的去块效应滤波器，由此处所示的图像处理设备601代替。

图7示出了本发明第三方面的解码器的实施例。解码器700包括图像处理设备701，图像处理设备701又包括滤波器702。图像处理设备701对应于图5中的图像处理设备501。解码器700根据图2所示解码器的原理工作。环路滤波器也称为图2的去块效应滤波器，由此处所示的图像处理设备701代替。

最后，图8示出了根据本发明第一方面的图像处理设备的另一实施例。图像处理设备 801包括滤波器802和确定器803。确定器803判断是否对块边界进行滤波及/或是执行强滤波还是弱滤波。该决策以作为第一滤波决策值的与块边界相邻的第一编码块的最多D_A个像素点的值和作为第二滤波决策值的与块边界相邻的第二编码块的最多D_B个像素点的值为基础。

滤波决策值不必与根据图5描述的滤波输入值相同。但实际上，它们可能是相同的。

此外，根据图8所述的图像处理设备包括滤波器802，滤波器802的操作与图5的滤波器502的操作类似。

详细来说，并行化去块效应滤波的问题可以通过如图9所示的方法解决。在这里，图像 900包括三个编码块901、902和903。编码块901和902之间存在块边界904。编码块902和903之间存在块边界905。当对边界904执行滤波时，考虑虚线906中所示的像素点值。如前所述，这些是滤波输入值。同时，只有虚线907内描绘的像素点值通过滤波进行修改。如前所述，这些像素点值是滤波输出值。

当对块边界905进行滤波时，将虚线908内的像素点值用作滤波输入值，而只有虚线 909内的像素点值被修改并构成滤波输出值。

可以清楚地看到，虚线907中所示的对边界904进行滤波的滤波输出值与虚线908中所示的对边界905进行滤波的滤波输入值不重叠。反之亦然，虚线909中所示的对块边界905 进行滤波的滤波输出值与虚线906中所示的对块边界904进行滤波的滤波输入值不重叠。由于两个块边界904和905的处理之间不存在相互依赖关系，因此可以并行处理对两个块边界的滤波。

此外，此处可以清楚地看到，用作滤波输入值和滤波输出值的像素点值的数量取决于当前处理的编码块的大小。例如，编码块901的编码块大小为8个像素。因此，将滤波输入像素点的数量I设为4。同时，将修改像素点值的数量M设为3。I对应于像素P_3，x、P_2，x、P_1，x和P_0，x，而像素点值I对应于像素P_2，x、P_1，x和P_0，x。

同时，编码块902的块大小S仅为4，因此，输入像素点值I的数量设为3，而修改像素点值的数量设为1。

这意味着，在待滤波块边界周围的块大小不相同的情况下，使用非对称滤波器。

由于块901的块宽度为8个像素点，因此滤波决策可以使用像素点P_i,j，其中 i∈[0,1,2,3]，j∈[0,1,2,3，4，5，6，7]。由于块Q的块宽度为4个像素点，因此滤波决策可以仅使用像素点Q_i，j，其中i∈[3,2,1]，j∈[0,1,2,3,4,5,6,7]。

对于实际滤波操作，即，在滤波操作期间被修改的像素点，以下适用：

对于块901，由于其块宽度为8个像素点，因此最多可以修改3个像素点。因此，可以修改像素点P_i,j，其中i∈[0,1,2]，j∈[0,1，2，3，4，5，6，7]。

对于块902，由于其块宽度仅为4个像素点，因此最多可以修改1个像素点，以确保不存在滤波重叠。因此，可以修改像素点Q_i，j，其中i∈[3]，j∈[0，1，2，3，4，5,6，7]。

对于边界905，共享该边界的两个相邻块分别为902和903，块宽度分别为4和4。

由于块902的块宽度为4个像素点，因此滤波决策可以使用像素点Q_i,j，其中i∈[0,1,2]， j∈[0,1,2,3，4，5，6，7]。由于块903的块宽度为4个像素点，因此滤波决策可以仅使用像素点 R_i,j，其中i∈[3,2,1]，j∈[0,1,2,3,4,5,6,7]。

对于块902，由于其块宽度为8个像素点，因此最多可以修改3个像素点。因此，可以修改像素点Q_i,j，其中i∈[0,1,2]，j∈[0,1,2,3,4,5,6,7]。同样，由于块R的块宽度为4个像素点，因此最多只能修改1个像素点，以确保不存在滤波重叠。因此，可以修改像素点R_i,j，其中i∈[3]，j∈[0,1,2,3,4,5,6,7]。

因此，非对称滤波器最多修改块901中的3个像素点、块902中的1个像素点和块903中的1个像素点。

对于大小为4个像素点的块的实际强滤波操作设置如下：

假设有两个块与块边界相邻，其大小等于4个像素点，则：

强滤波决策

设为

强滤波器和普通滤波器虽然只改变一个像素，因此，只有当应用强滤波器时，块p中的一个像素点才会作如下修改：p′₀＝(p₂+2p₁+2p₀+2q₀+q₁+4)＞＞3。

对于弱滤波，仅使用较少的像素点值作为滤波输入像素点。尤其使用以下滤波等式：

p₀′＝p₀+Δ₀，

q₀′＝q₀-Δ₀，

Δ₀＝Clip3(-t_C，t_C，δ)，

δ＝(9*(q₀-p₀)-3*(q₁-p₁)+8)＞＞4。

图10中提出了替代使用上述非对称滤波器的替代性示例性方案。在第一步骤1000中，检查当前滤波块边界是否与8×8编码像素点网格对齐。如果当前滤波块边界与8×8编码像素点网格对齐，则在第二步骤1001中，检查待滤波块边界是否为预测单元或变换单元之间的边界。如果待滤波块边界为预测单元或变换单元之间的边界，则在第三步骤1002中，检查边界强度Bs是否大于0。如果边界强度Bs大于0，则在第四步骤1003中，检查条件7.1 是否成立。

条件7.1用于检查是否对块边界进行去块效应滤波。该条件尤其检查块边界两侧的信号偏离直线(斜面)的程度。

如果不满足该条件7.1，或者步骤1000、1001和1002中进行的任意一个检查不满足，则在第五步骤1004中决定不进行滤波。

在第六步骤1005中，现在检查待滤波边界周围的两个块中的任何一个块的块大小是否为4。如果待滤波边界周围的两个块中的任何一个块的块大小不是4，则在第七步骤1006中，检查是否满足条件7.2、7.3和7.4。

条件7.2检查在块边界的侧面没有明显的信号变化。条件7.3验证两侧的信号是平滑的。条件7.4确保块边界侧的像素点值之间的步长较小。

如果条件7.2、7.3和7.4全部成立，则在第八步骤1007中，执行强滤波。如果条件7.2、7.3和7.4不成立，则在第九步骤1008中，决定执行普通滤波。然后，通过第十步骤1009继续进行普通滤波处理。

如果在第六步骤1005中检查出至少一个块的块大小为4的情况下，不执行步骤1006、 1007和1008，而是直接执行步骤1009。此方案强制进行去块效应流程图的一部分，因此只修改一个像素点。

在第十步骤1009中，检查是否满足另一条件7.12。条件7.12评估在块边界处的不连续性是否有可能是自然边界或由块伪影引起。

如果条件7.12不成立，则在第十一步骤1010中，决定最终不进行滤波。如果条件7.12 成立，则在第十二步骤1011中，修改直接位于边界周围的像素值p0和q0。

在另一步骤1012中，检查是否满足另一条件7.5。条件7.5检查信号在块边界(即，块 P)一侧的平滑程度。信号越平滑，滤波越多。

如果条件7.5成立，则在第十四步骤1013中修改像素值p1。然后，流程进行到第十五步骤1014。如果不满足条件7.5，则直接进行第十五步骤1014，检查另一条件7.6。

条件7.6检查信号在块边界(即，块Q)一侧的平滑程度。信号越平滑，滤波越多。如果满足条件7.6，则在第十六步骤1015中修改像素值q1。如果不满足条件7.6，则不修改像素值q1。

上述情况有助于在块大小中的至少一个为4的情况下，显著减少确定是否执行滤波以及执行哪种类型的滤波所需的检查量。

有关上述标准符合条件的细节，请参阅VivienneSze、MudhukarBudagavi、Gary J.Sullivan发表的“High Efficiency Video Coding(HEVC):Algorithms andArchitectures(高效视频编码(HEVC)；算法和架构)”(具体来说，条件7.1至7.6和7.12对应于第7章中的等式7.1至7.6和7.12)。

图11中也示出了上述方法。图11示出了包括三个块1101、1102和1103的图像1100。块边界1104将块1101和1102分隔开。块边界1105将块1102和1103分隔开。如图10所示，由于块1102的块大小为4，因此在对块边界1104进行处理期间检查块大小时，确定所涉及的块1101、1102中的至少一个块的块大小为4，以及在滤波决策中，采取了步骤1005的快捷方式。因此，仅修改直接位于块边界1104处的像素点值，而在块边界1104的两侧，两个连续的像素点值用作滤波输入值。对块边界1105的处理也是如此。

因此，图10和图11中描绘的选项包括：如果检查到所涉及的块中的至少一个块的块大小为4，则强制进行弱滤波。

尤其采用以下等式：

p₀′＝p₀+Δ₀，

q₀′＝q₀-Δ₀，

Δ₀＝Clip3(-t_C,t_C,δ)，

δ＝(9*(q₀-p₀)-3*(q₁-p₁)+8)＞＞4。

在未来的视频编码标准中，可以使用修改超过3个像素点的“长抽头”滤波器。在下文中，无论块大小是大于还是等于16个像素点，可以使用将8个像素点用作滤波输入值并修改最多7个像素点的“长抽头”滤波器。

为了确保在这种场景下，并行去块效应处理是可能的，提出了两种方案：

方案1a：仅在当前块大小大于等于16个像素点，且相邻块大小也大于等于16个像素点时，才使用“长抽头”滤波。

方案2a：如上文所解释，强制使用“非对称滤波器”。

因此，“非对称滤波器”修改用作输入值的像素点，修改值与块宽度相关：

例如，如果

●块宽度＝＝4，则3个像素点可用于

滤波决策，且可修改1个像素点

●块宽度＝＝8，则4个像素点可用于

滤波决策与修改

●当块宽度＞＝16时，长抽头滤波器可以

使用原来的规则。

需要考虑的另一方面是，相应块边界相对于编码图像的位置。特别地，如果当前滤波块边界与编码树单元(coding tree unit，CTU)边界对齐，且当前滤波块边界为水平块边界，则滤波输入值和滤波输出值的数量对执行编码的线路存储器的数量影响很大。图12指出了这一点。

图12示出了包括多个编码树单元CTU1至CTU40的图像1200。例如，每个编码树单元具有256×256个像素点的值。如上文所解释，如果要执行长抽头滤波，考虑编码块边界周围的8个像素点的值以确定滤波输出值。由于依次处理编码单元CTU1至CTU40，因此会导致所需线路存储器的数量极大。

考虑图12中所示的块边界1201的去块效应滤波。在此，在编码单元CTU17和CTU25的整个宽度周围绘制块边界1201。然而，在实践中，由于不对编码树单元尺度进行编码，因此编码块大小将大大减小。

由于编码树单元CTU1至CTU40是依次处理的，为了对编码块边界1201进行去块效应处理，有必要将编码树单元CTU17至CTU24的整个下方水平边界区域保留在线路存储器内。在此处显示的示例中，以8个编码树单元CTU17至CTU24、每个编码单元的256个像素点的宽度以及8个相关像素点值作为滤波输入值，因此需要存储器大小为8×256×8＝16384个像素点的线路存储器。对于每个水平编码块边界，都会产生这个问题。对于编码树单元CTU9、CTU17、CTU25和CTU33来说，这尤其成，因为在任何这些情况下，之前的编码树单元行的整个水平边界区域需要保存在线路存储器中。图13进一步描述了这一点。

在图13中，仅描述了图像1300的相关块1301和1302。图像1300对应于图12中的图像1200。块1301对应于图12的编码单元17的最下编码块，而块1302对应于图12的编码单元25的最上编码块。块边界1303对应于图12中块边界1201。

为了限制上述情况下的必要的线路存储器的数量，仅使用前一块1301中等于4的滤波输入像素点值，而仅修改等于3的滤波输出像素点数量。这大大减少了必要的线路存储器的数量，因为现在只需要将8×256×4＝8096个像素点保存在线路存储器中。

最后，图14示出了根据本发明第四方面的去块效应方法的实施例。

在第一步骤1400中，提供使用块码进行编码的图像中以块边界分隔的第一编码块和第二编码块。

在第二步骤1401中，将与块边界相邻的第一编码块的最多I_A个像素点的值用作第一滤波输入值。在第三步骤1402中，将与块边界相邻的第二编码块的最多I_B个像素点的值用作第二滤波输入值。在第四步骤1403中，修改与块边界相邻的第一编码块的最多M_A个像素点的值，作为第一滤波输出值。最后，在第五步骤1404中，修改与块边界相邻的第二编码块的最多M_B个像素点的值，作为第二滤波输出值。其中，M_A不等于M_B。

需要说明的是，滤波输入值是垂直于块边界，且开始于块边界的连续值。此外，滤波输出值是垂直于块边界，且开始于块边界的连续值。

在此结合各种实施例描述了本发明。但本领域技术人员通过实践本发明，研究附图、本发明以及所附的权利要求，能够理解并获得公开实施例的其它变体。在权利要求书中，词语“包括”不排除其它元件或步骤，“一”不排除多个元件或步骤。单个处理器或其它单元可满足权利要求中描述的几项的功能。在仅凭某些措施被记载在通常不同的从属权利要求书中这个单纯的事实并不意味着这些措施的结合不能被有效地使用。计算机程序可存储或分发到合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质，还可以以其它形式例如通过因特网或者其它有线或无线电信系统分发。

凡实施例和描述中提及术语“存储器”，除非另有明确说明，否则术语“存储器”应被理解和/或应包括[所有可能存储器的列表]磁盘、光盘、只读存储器(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，RAM)……

凡实施例和说明中提及术语“网络”，除非另有明确说明，否则术语“网络”应被理解和/或应包括[所有可能存储器的列表]……

本领域技术人员将理解，各种图式(方法和装置)的“块”(“单元”)表示或描述本发明的实施例的功能(而不一定是硬件或软件中的单独“单元”)，因此同样描述装置实施例以及方法实施例的功能或特征(单元＝步骤)。

术语“单元”仅用于说明编码器/解码器的功能性，并非旨在限制本发明。

在本应用中提供的若干实施例中，应理解，所公开的系统、装置和方法可通过其它方式实现。例如，所描述的装置实施例仅仅是示例性的。例如，单元划分仅仅是逻辑功能划分且在实际实现中可以是其它划分。例如，可将多个单元或部件合并或集成到另一系统中，或可忽略或不执行部分特征。另外，所显示或讨论的相互耦合或直接耦合或通信连接可以是通过一些接口来实现的。装置或单元之间的直接耦合或通信连接可通过电子、机械或其它形式实现。

作为单独部分描述的单元可或可不物理分离，作为单元描述的部分可为或可不为物理单元、可位于一个位置或可在多个网络单元上分布。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，本发明实施例中的功能单元可集成到一个处理单元中，或每个单元可物理上单独存在，或两个或更多单元可集成到一个单元中。

本发明的实施例还可包括装置，例如，编码器和/或解码器，包括用于执行本文描述的任何方法和/或过程的处理电路。

实施例可以实施为硬件、固件、软件或其任何组合。例如，编码或解码/解码的装置/方法的功能可由处理电路执行，无论其是否有固件或软件，例如，处理器、微控制器、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(fieldprogrammable gate array，FPGA)、专用集成电路(application-specific integratedcircuit，ASIC)等。

编码器100(和对应的编码方法100)和/或解码器200(和对应的解码方法200)的功能可以通过存储在计算机可读介质上的程序指令来实现。当执行程序指令时，使得处理电路、计算机、处理器等执行编码和/或解码方法的步骤。计算机可读介质可以是存储程序的任何介质，包括非瞬时性存储介质，例如蓝光光盘、DVD、CD、USB(闪存)驱动器、硬盘、通过网络可用的服务器存储器等。

本发明实施例包括或是一种计算机程序，包括程序代码，当其在计算机上执行时执行本文中所描述的任何方法。

本发明实施例包括或是一种计算机可读介质，包括程序代码，当所述程序代码由处理器执行时，使计算机系统执行本文描述的任何方法。

参考符号列表

图1

100 编码器

103 图像块

102 输入端(例如，输入端口、输入接口)

104 残差计算[单元或步骤]

105 残差块

106 变换(例如，另外包括缩放)[单元或步骤]

107 变换系数

108 量化[单元或步骤]

109 量化系数

110 反量化[单元或步骤]

111 解量化系数

112 逆变换(例如，另外包括缩放)[单元或步骤]

113 逆变换块

114 重建[单元或步骤]

115 重建块

116 (列)缓冲[单元或步骤]

117 参考像素点

120 环路滤波[单元或步骤]

121 滤波块

130 解码图像缓冲[单元或步骤]

142 帧间估计(inter estimation或inter picture estimation)[单元或步骤]

143 帧间估计参数(例如，参考图像/参考图像索引、运动矢量/偏移)

144 帧间预测(inter prediction或inter picture prediction)[单元或步骤]

145 帧间预测块

152 帧内估计(intra estimation或intra picture estimation)[单元或步骤]

153 帧内预测参数(例如，帧内预测模式)

154 帧内预测(intra prediction或intra frame/picture prediction)[单元或步骤]

155 帧内预测块

162 模式选择[单元或步骤]

165 预测块(帧间预测块145或帧内预测块155)

170 熵编码[单元或步骤]

171 编码图像数据(例如，码流)

172 输出端(输出端口、输出接口)

231 解码图像

图2

200 解码器

171 编码图像数据(例如，码流)

202 输入端(端口/接口)

204 熵解码

209 量化系数

210 反量化

211 解量化系数

212 逆变换(缩放)

213 逆变换块

214 重建(单元)

215 重建块

216 (列)缓冲器

217 参考像素点

220 环路滤波器(在环路滤波器内)

221 滤波块

230 解码图像缓冲器(Decoded picture buffer，DPB)

231 解码图像

232 输出端(端口/接口)

244 帧间预测(inter prediction或inter frame/picture prediction)

245 帧间预测块

254 帧内预测(intra prediction或intra frame/picture prediction)

255 帧内预测块

260 模式选择

265 预测块(帧间预测块245或帧内预测块255)

图3

300 编码系统

310 源设备

312 图像源

313 (原始)图像数据

314 预处理器/预处理单元

315 预处理图像数据

318 通信单元/接口

320 目的地设备

322 通信单元/接口

326 后处理器/后处理单元

327 后处理图像数据

328 显示设备/单元

330 发送/接收/传达(编码)的图像数据

图4

400 图像

401 第一编码块

402 第二编码块

403 第三编码块

404 第一编码块边界

405 第二编码块边界

406 第一修改像素点

407 第二修改像素点

图5

501 图像处理设备

502 滤波器

图6

600 编码器

601 图像处理设备

602 滤波器

图7

700 解码器

701 图像处理设备

702 滤波器

图8

801 图像处理设备

802 滤波器

803 决策器

图9

900 图像

901 第一编码块

902 第二编码块

903 第三编码块

904 第一编码块边界

905 第二编码块边界

906 第一输入像素点

907 第一修改像素点

908 第二输入像素点

909 第二修改像素点

图10

1000 第一步骤

1001 第二步骤

1002 第三步骤

1003 第四步骤

1004 第五步骤

1005 第六步骤

1006 第七步骤

1007 第八步骤

1008 第九步骤

1009 第十步骤

1010 第十一步骤

1011 第十二步骤

1012 第十三步骤

1013 第十四步骤

1014 第十五步骤

1015 第十六步骤

图11

1100 图像

1101 第一编码块

1102 第二编码块

1103 第三编码块

1104 第一块边界

1105 第二块边界

图12

1200 图像

1201 块边界

CU1-CU40 编码单元1至40

图13

1300 图像

1301 第一编码块

1302 第二编码块

1303 块边界

图14

1400 第一步骤

1401 第二步骤

1402 第三步骤

1403 第四步骤

1404 第五步骤

Claims

1.一种用于图像编码器和/或图像解码器中的图像处理设备，其特征在于，用于对图像中的第一编码块和第二编码块之间的块边界进行去块效应处理，

所述第一编码块具有块大小S_A x N，其中所述S_A个像素点所在的一行或一列垂直于所述块边界以及所述N个像素点所在的一列或一行平行于所述块边界，

所述第二编码块具有块大小S_B x N，其中所述S_B个像素点所在的一行或一列垂直于所述块边界以及所述N个像素点所在的一列或一行平行于所述块边界，

所述图像处理设备包括用于对块边界进行滤波的滤波器，用于：

–将所述第一编码块的最多I_A个像素点的值用作第一滤波输入值，用于计算第一滤波输出值和/或第二滤波输出值，其中，所述最多I_A个像素点处于与所述块边界垂直的一行或一列中且所述最多I_A个像素点与所述块边界相邻；其中所述最多I_A个像素点不包括3个像素点；

–将所述第二编码块的最多I_B个像素点的值用作第二滤波输入值，用于计算所述第一滤波输出值和/或所述第二滤波输出值，其中，所述最多I_B个像素点处于与所述块边界垂直的一行或一列中且所述最多I_B个像素点与所述块边界相邻；

–修改所述第一编码块的最多M_A个像素点的值，作为所述第一滤波输出值，其中，所述最多M_A个像素点处于与所述块边界垂直的一行或一列中且所述最多M_A个像素点与所述块边界相邻；

–修改所述第二编码块的最多M_B个像素点的值，作为所述第二滤波输出值，其中，所述最多M_B个像素点处于与所述块边界垂直的一行或一列中且所述最多M_B个像素点与所述块边界相邻；

其中，I_A≠I_B和M_A≠M_B，S_A≠S_B；

如果S_A＝8，则所述滤波器用于：

–将I_A设为S_A/2；

–将M_A设为S_A/2或S_A/2–1。

2.根据权利要求1所述的图像处理设备，其特征在于，

所述图像处理设备包括确定器，用于根据以下内容判断是否对所述块边界进行滤波及/或是执行强滤波还是弱滤波：

–作为第一滤波决策值的、所述第一编码块的最多D_A个像素点的值，其中，所述最多D_A个像素点处于与所述块边界垂直的一行或一列中且所述最多D_A个像素点与所述块边界相邻的；

–作为第二滤波决策值的、所述第二编码块的最多D_B个像素点的值，其中，所述最多D_B个像素点处于与所述块边界垂直的一行或一列中且所述最多D_B个像素点与所述块边界相邻的。

3.根据权利要求2所述的图像处理设备，其特征在于，

所述第一滤波输入值与所述第一滤波决策值相同；

所述第二滤波输入值与所述第二滤波决策值相同。

4.根据权利要求1至3任一项所述的图像处理设备，其特征在于，

–如果所述块边界为水平块边界，

–如果所述块边界与所述图像的编码树单元(coding tree unit，CTU)块边界重叠，以及

–如果所述第二编码块是当前块且所述第一编码块是该当前块的相邻块，

–则所述滤波器用于：

–将I_A设为4；

–将M_A设为3或4。

5.一种用于编码图像的编码器，其特征在于，包括根据权利要求1至4中任一项所述的图像处理设备。

6.一种用于解码图像的解码器，其特征在于，包括根据权利要求1至4中任一项所述的图像处理设备。

7.一种去块效应方法，其特征在于，用于在图像编码和/或图像解码中对使用块码进行编码的图像中的第一编码块和第二编码块之间的块边界进行去块效应处理，

所述第一编码块具有块大小S_A x N，所述块大小S_A个像素点所在的一行或一列垂直于所述块边界以及所述N个像素点所在的一列或一行平行于所述块边界，

所述第二编码块具有块大小S_B x N，所述块大小S_B个像素点所在的一行或一列垂直于所述块边界以及所述N个像素点所在的一列或一行平行于所述块边界，

所述解码包括滤波，包括：

其中，S_A≠S_B，I_A≠I_B和M_A≠M_B；

如果S_A＝8，则将I_A设为S_A/2；

将M_A设为S_A/2或S_A/2–1。

8.一种具有程序代码的计算机存储介质，其特征在于，当所述计算机程序在计算机上运行时，用于执行根据权利要求7所述的方法。