CN109660797A - 自适应滤波方法、装置、电子设备及计算机可读介质 - Google Patents

自适应滤波方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN109660797A
CN109660797A CN201811330024.8A CN201811330024A CN109660797A CN 109660797 A CN109660797 A CN 109660797A CN 201811330024 A CN201811330024 A CN 201811330024A CN 109660797 A CN109660797 A CN 109660797A
Authority
CN
China
Prior art keywords
piece
pixel
metric
except
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811330024.8A
Other languages
English (en)
Inventor
陈宇聪
闻兴
郑云飞
陈敏
王晓楠
蔡砚刚
黄跃
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201811330024.8A priority Critical patent/CN109660797A/zh
Publication of CN109660797A publication Critical patent/CN109660797A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请是关于一种自适应滤波方法、装置、电子设备和计算机可读介质。所述自适应滤波方法包括：接收和图像相关的重建视频数据；基于重建视频数据将图像分成多个块；对多个块中的每个块计算度量信息；根据每个块的度量信息确定每个块的类别，其中，当计算每个块的度量信息时，如果需用使用所述块之外的至少一个特定像素，使用虚拟像素样本替换所述至少一个特定像素，所述虚拟像素样本为在块之外的相应位置依据设定规则填充的像素值。所述块所述块该方法将重建视频数据相关的图像分成多个块，并在对于每个块计算度量信息时，当需要使用块之外的像素时，采用相应的虚拟像素样本，从而解决各个块之间的数据依赖问题，使得能够并行地进行块的处理。

Description

自适应滤波方法、装置、电子设备及计算机可读介质
技术领域
本申请属于视频图像处理领域，尤其是一种环路滤波的处理方法、装置、 电子设备和计算机可读介质。
背景技术
在视频编码技术中，环路滤波是其中的重要技术之一。该技术通过编码 滤波器系数，对重建视频数据进行滤波，降低图像中的压缩失真。在HEVC 测试模型7(HEVC TestModel 7，HM-7)之前，一种环路滤波技术，被称为 自适应环路滤波(Adaptive LoopFiltering，ALF)，被包含于测试模型中。 为了优化性能，ALF使用维纳滤波技术来导出滤波器系数。滤波器系数被编 码于自适应参数集(Adaptation Parameter Set，APS)。
根据高效率视频译码(HEVC)，一帧图像被分割为多个不重叠的最大编码 单元(Largest Coding Unit，LCU)，也被称为编码树单元(Coding Tree Unit，CTU)。在自适应滤波阶段，基于编码树单元或编码单元进行分 类，根据分类结果选择不同的滤波器进行滤波。然而，在对编码树单元或编 码单元进行分类计算时，某些情况下需要使用和该编码树单元或编码单元之 外的像素的像素值。如图1所示，区块11的分类计算需要使用周边相邻的像 素，包括位于编码树单元CTU1边界之外的部分像素。这样的数据依赖意味着， 在以CTU1为单位进行WPP(Wavefront Parallel Processing，波前并行处 理)时，只有当CTU2,CTU3,CTU4的前续操作全部完成，当前CTU1的分类操 作才能开始。这样的操作导致并行处理出现延迟，从而降低并行的处理效率。
发明内容
为克服相关技术中存在的问题，本申请公开一种自适应滤波方法、装置、 电子设备及计算机可读介质，在自适应滤波阶段，通过使用虚拟像素样本进 行分类计算，以解决分类计算中的数据依赖问题。
根据本申请实施例的第一方面，提供一种自适应滤波方法，包括：
接收和图像相关的重建视频数据；
基于所述重建视频数据将所述图像分成多个块；
对所述多个块中的每个块计算度量信息；
根据每个块的度量信息确定每个块的类别，所述类别用于对应多个预设 的滤波器中的一个滤波器，
其中，当计算每个块的度量信息时，如果需用使用所述块之外的至少一 个特定像素，使用虚拟像素样本替换所述至少一个特定像素，所述虚拟像素 样本为在所述块之外的相应位置依据设定规则填充的像素值。
所述块所述块可选地，所述虚拟像素样本通过以下步骤获得：
在每个块之外填充和所述虚拟像素样本位置最接近的像素的像素值；
以每个块的块边界点为中点，在所述块边界之外镜像填充所述虚拟像素 样本的像素值；
采用之前任意编码阶段的相同位置的像素值填充所述虚拟像素样本的像 素值。
可选地，根据每个块中的一个或多个像素的活动性和/或方向计算每个块 的度量信息。
可选地，还包括：判断所述需要使用的所述块之外的至少一个特定像素 是否可用；
所述计算模块在所述需要使用的所述块之外的至少一个特定像素不可 用，则使用虚拟像素样本，如果所述需要使用的所述块之外的至少一个特定 像素可用，则使用所述至少一个特定像素计算度量信息。
可选地，通过判断当前块是否可以跨块操作的开/关控制旗标判断所述需 要使用的所述块之外的至少一个特定像素是否可用。
可选地，所述多个块为多个编码树单元或多个编码单元。
可选地，还包括：将所述是否可以跨块操作的开/关控制旗标编码到自适 应滤波信息中。
根据本申请实施例的第二方面，提供一种自适应滤波装置，包括：
接收模块，用于接收和图像相关的重建视频数据；
分块模块，用于基于所述重建视频数据将所述图像分成多个块；
填充模块，用于使用虚拟像素样本，在所述块之外相应位置填充像素值 作为所述虚拟像素样本；
计算模块，用于对所述多个块的每个块计算度量信息；
导出模块，用于根据每个块的度量信息确定每个块的类别，所述类别用 于对应多个预设的滤波器中的一个滤波器，
其中，所述计算模块在计算每个块的度量信息时，如果需用使用所述块 之外的至少一个特定像素，使用虚拟像素样本替换所述至少一个特定像素， 所述虚拟像素样本为在所述块之外的相应位置依据设定规则填充的像素值。
可选地，所述设定规则为以下规则之一：
在每个块之外填充和所述虚拟像素样本位置最接近的像素的像素值；
以每个块的块边界点为中点，在所述块边界之外镜像填充所述虚拟像素 样本的像素值；
采用之前任意编码阶段的相同位置的像素值填充所述虚拟像素样本的像 素值。
可选地，所述计算模块根据每个块中的一个或多个像素的活动性和/或方 向计算每个块的度量信息。
可选地，还包括：判断模块，用于判断所述需要使用的所述块之外的至 少一个特定像素是否可用；
所述计算模块用于如果所述需要使用的所述块之外的至少一个特定像素 不可用，则使用虚拟像素样本，如果所述需要使用的所述块之外的至少一个 特定像素可用，则使用所述至少一个特定像素计算度量信息。
可选地，所述多个块为多个编码树单元或多个编码单元。
根据本申请实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述任意一项所述的环路滤波方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计 算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现上述任 一项所述的环路滤波方法。
根据本发明的第五方面，提供计算机程序产品，包括计算机程序产品， 所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述 电子设备执行上述自适应滤波方法。
本申请的实施例提供的技术方案可以包括以下有益效果：在自适应滤波 阶段，当将重建视频数据相关的图像分成多个块，并在对于每个块计算度量 信息时，当需要使用块之外的像素时，采用相应的虚拟像素样本，进而根据 块的度量信息从多个预设的滤波器中确定一个滤波器，从而解决各个块之间 的数据依赖问题，使得能够并行地进行块的处理。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性 的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申 请的实施例，并与说明书一起用于解释本申请的原理。
图1是编码树单元和区块的示意图；
图2所示为结合环路自适应滤波处理的视频编码系统的示意图。
图3A是展示用于自适应环路滤波器的基于区的分类的概念图。
图3B是展示用于自适应环路滤波器的基于块的分类的概念图。
图4是基于本申请实施例的编码树单元和区块11的示意图。
图5所示为根据本申请实施例的自适应滤波方法的流程图。
图6是编码树单元和编码树区块的关系示意图。
图7所示为根据本申请实施例的自适应滤波装置的结构图。
图8是根据一示例性实施例示出的一种执行自适应滤波方法的电子设备 1200的框图。
图9是根据一示例性实施例示出的一种执行自适应滤波方法的电子设备 1300的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的 描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的 要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所 有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一 些方面相一致的装置和方法的例子。
图2所示为结合环路自适应滤波处理的视频编码系统的示意图。
输入图片由帧内预测110或帧间预测(即，运动估计/运动补偿)112来编 码。对于帧间预测，帧间预测112基于来自其它单个图片或多个图片的视频 数据提供预测数据。开关114选择帧内预测110或帧间预测112的数据，且 已选择的预测数据被提供到加法器116以形成预测误差，也被称为残差。接 着，预测误差由转换/量化(Transform/Quantization，T/Q)118来处理。 然后输出的残差由熵编码器122来编码以产生对应于已压缩视频数据的视频 比特流。与残差相关联的比特流被打包。在帧内模式下，重建块可用于形成 空间邻近块的帧内预测。因此，来自重建128的重建块可被提供到帧内预测 110。在帧间预测模式下，参考的单个图片或多个图片也必须在编码器端被重 建。因此，输出的残差由逆量化/逆转换(Inverse Quantization/Inverse Transform，IQ/IT)126处理以恢复此残差。接着，残差被加回到重建128 的预测数据136中以得到重建视频数据。重建视频数据可被储存在参考图片 缓冲器134，且被用于其它帧的预测。
如图2所示，输入的视频数据在编码器端进行一系列的处理。来自重建 128的重建视频数据可能会因为一系列处理而受到各种损害。因此，为了提 高视频质量，在重建视频数据被储存于参考图片缓冲器134之前，各种环路 滤波被应用于重建视频数据。包括解块(deblocking，DB)处理模块130、样 本自适应偏置(Sample Adaptive Offset，SAO)处理模块131、自适应环路 滤波模块132，目的是增强重建视频数据。环路滤波的信息可被并入到比特 流中，以使解码器可以合适地恢复所需的信息。如图2所示，自适应环路滤 波模块通常位于整个编码环路的最后一个阶段，对SAO输出得到的像素样本 进行处理，降低重建视频数据的图像失真。
在HEVC中，提出了用于自适应滤波模块导出自适应滤波器系数的两个分 类模式：基于块的模式和基于区的模式。图3A是展示用于自适应环路滤波器 的基于区的分类的概念图。如图3A所示，对于基于区的自适应模式，可将图 像划分为16个区，这些16个区中的每一个由指示所属区所使用的特定组线 性滤波器系数的编号(0到15)表示。所述数目(0到15)可为存储于视频编码 器端的滤波器的索引编号，即每一编号(0到15)为滤波器集合中的特定一个 滤波器的索引。图3B是展示用于自适应环路滤波器的基于块的分类的概念图。如图3B所示，图像被划分为4×4块，且每一4×4块通过使用方向和 活动性信息计算度量而导出一个类别。在一个实例性的基于块的模式中，每 一4×4块通过使用方向和活动性信息进行计算得到度量而导出类别。方向 和活动性和对应类别可根据以下等式来计算。在以下等式中，(i，j)表示根 据水平和垂直坐标的像素的位置。
■方向
■垂直方向Ver(i,j)＝abs(X(i,j)<<1-X(i,j-1)-X(i,j+1))
■水平方向Hor(i,j)＝abs(X(i,j)<<1-X(i-1,j)-X(i+1,j))
■
■
■方向＝0，1(HB>2V)，2(VB>2H)
■活动性LB＝HB+VB
■类别0，1，2，3，4
■度量＝活动性+5*方向
■类别15classes(0，1，...，14，15)
Hor(I,j)表示当前像素(i，j)的水平活动性且Ver(i,j)表示当前像素 (i，j)的垂直活动性。X(i，j)指当前像素(i，j)的像素值，其中i和j指 帧或块内的当前像素的水平和垂直坐标。在此上下文中，活动性是像素之间 在位置上的梯度或变化。可将4x4块的活动性(LB)确定为水平活动性与垂直 活动性的总和。将LB的值分类为一范围。此特定实例展示N个范围，N为正 整数。也就是说，可使用任何数目的范围。基于活动性和方向的组合，可选择用于4x4像素块的滤波器。作为可选实例，可基于活动性和方向到滤波器 的二维映射来选择滤波器，或可将活动性和方向组合为单个度量，且可使用 单个度量来选择滤波器。
应该指出，基于块的分类计算可能使用自身所述块之外的像素。
为了解除分类计算中对于所述块之外的像素的数据依赖，本申请实施例 提出虚拟像素样本的概念。图4是基于本申请实施例的编码树单元和区块11 的示意图。参考图4，区块11为L*L的区块,计算11的度量信息时，需要使 用周边3个花纹填充的区块，但是这三个像素均在区块11之外，那么这三个 像素在需要使用时可能无法得到其像素值，即为不可用状态。例如，当前CTU2 前序处理还未完成，或者CTU1不允许跨CTU操作。等等。当发现这三个区块 内的像素不可用时，使用在这三个位置上的虚拟像素样本，虚拟像素样本为 在这三个位置上填充的像素值。如图所示，当L为2时，会用到的虚拟像素 样本不超过周边2行的虚拟像素样本，以此类推。在CTU中的像素值例如以 YUV表示，并以诸如YcbCr4:2:0、YCbCr4:2:2、YCbCr4:1:1和YCbCr4:4:4 的色度采样呈现。因此相应地，对于像素值的计算最终会落实到对于色度数 据和亮度数据的计算上。例如，一个像素的度量信息可根据该像素以及相邻 像素的亮度数据和/或色度数据得到。一个区块的度量信息可根据该区块以及该区块相邻像素的亮度数据和/或色度数据得到。在一个实施例中，先分别计 算一个区块内的亮度数据的度量信息和色度数据的度量信息，然后将两者求 和得到区块的度量信息。在另一个实施例中，只计算该区块内的亮度数据的 度量信息作为该区块的度量信息。
图5所示为根据本申请实施例的自适应滤波方法的流程图。具体包括以 下步骤。
在步骤S501中，接收和图像相关的重建视频数据。
在步骤S502中，基于重建视频数据将图像分成多个块。
在步骤S503中，对多个块的每个块计算度量信息。
在步骤S504中，根据度量信息确定类别。每个类别对应于一个滤波器。
其中，在步骤S503中，当计算每个块中的每个块的度量信息时，如果需 用使用的所述块之外的至少一个特定像素，则使用虚拟像素样本，在所述块 之外相应位置填充像素值作为虚拟像素样本。
根据本申请实施例，在自适应滤波阶段，当将重建视频数据相关的图像 分成多个块，并对于每个块计算度量信息时，当需要使用块之外的至少一个 特定像素时，采用相应的虚拟像素样本，进而根据块的度量信息从多个预设 的滤波器中确定一个滤波器，从而解决各个块之间的数据依赖问题，使得能 够并行地处理块。
在可选的实施例中，多个块可以是多个编码树单元(CTU)、多个编码单 元(CU)、多个编码树单元组成的多个区块或多个编码单元组成的多个区块。 HEVC编码技术中，编码树单元是编码器编码的处理单元，编码树单元(CTU) 可以包含有一个编码单元(CodingUnit,CU)或是切割成多个较小的编码单 元。但实际上，区块是真正储存资料的地方。图6是编码树单元和编码树区 块的关系示意图。以图6所示的输入影像采用YUV的格式，一个编码树单元 是由一个亮度(Luma)编码树区块、两个色度编码树区块(Cb和Cr)及语法元素(Syntax Element)。HEVC编码技术中，支持的编码树单元大小为LxL，其中 L＝8、16、32或64。相应地，亮度编码树区块的大小可以为8*8或16*16或 32*32或64*64，而色度编码树区块的大小可以为4*4或8*8或16*16或32*32。另外，编码树单元的语法元素可以包含指示对于每个编码树单元的是 否可以跨编码树单元的开/关控制旗标。编码单元中可以包含指示是否可以跨 编码单元的开/关控制旗标。同理，块的语法信息中也可以包含指示是否可以跨块的开/关控制旗标。这些开/关控制旗标可以同时控制三个颜色分量。当 开/关控制旗标表示可以跨块时，则可以采用块之外的像素，否则不可采用块 之外的像素。而且，这些开/关控制旗标可以编码到自适应滤波信息中，当自 适应滤波信息被传递到解码端时，从中取出该开/关控制旗标进行解码操作。
在可选的实施例中，填充虚拟像素样本可以采用和虚拟像素样本位置最 接近的像素的像素值，或者以每个块的块边界点为中点，在块边界之外镜像 填充虚拟像素样本的像素值，或者采用之前任意编码阶段的相同位置的像素 值填充所述虚拟像素样本的像素值。
在可选的实施例中，可以根据每个块中的一个或多个像素的活动性和/ 或方向计算每个块的度量信息，活动性和方向的公式在前述段落已有相应描 述，在此不再赘述。
还应该指出，虽然在上述实施例中指出，当计算一个块的度量信息时， 如果用到块之外至少一个特定像素，则采用虚拟像素样本，但是优选方式是 先判断所述至少一个特定像素当前是否可用，如果可用，使用所述至少一个 特定像素计算度量信息，如果不可用时，再使用虚拟像素样本计算度量信息。 而对于所述至少一个特定像素是否可用的判断方式有多种实现方式，例如通 过判断当前块是否可以跨块操作的开/关控制旗标判断所述至少一个特定像 素是否可用，再例如，通过共享块或像素的当前状态判断所述至少一个特定像素是否可用。
图7所示为根据本申请实施例的自适应滤波装置的结构图。该自适应滤 波装置位于如图2所示的SAO之后的ALF阶段。具体包括接收模块701、分 块模块702、填充模块703、计算模块704和导出模块705。
接收模块701用于接收和图像相关的重建视频数据。
分块模块702用于基于重建视频数据将图像分成多个块；
填充模块703用于使用虚拟像素样本，在所述块之外相应位置填充像素 值作为虚拟像素样本。
计算模块704用于对多个块的每个块计算度量信息。
导出模块705用于根据度量信息导出类别，每个类别对应于一个滤波器。
根据现有技术，在自适应滤波阶段，对于一个图像帧，可以有多个滤波 器。每个滤波器对应一组滤波器系数。在基于块的分类中，将图像分成不重 叠的多个块，计算每个块的度量信息，基于度量信息导出类别，根据类别确 定滤波器。而根据本申请实施例，在计算每个块的度量信息时，采用虚拟像 素样本。通过在相应位置上填充已有的像素值以得到虚拟像素样本，或者通 过线性插值计算相应位置上的像素值以得到虚拟像素样本。
本实施例的自适应滤波装置和上述自适应滤波方法对应，因此在此以相 对简略的方式描述自适应滤波装置。
图8是根据一示例性实施例示出的一种执行自适应滤波方法的电子设备 1200的框图。例如，交互电子设备1200可以是移动电话，计算机，数字广 播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个 人数字助理等。
参照图8，电子设备1200可以包括以下一个或多个组件：处理组件1202， 存储器1204，电源组件1206，多媒体组件1208，音频组件1210，输入/输出 (I/O)的接口1212，传感器组件1214，以及通信组件1216。
处理组件1202通常控制电子设备1200的整体操作，诸如与显示，电话 呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包 括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步 骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和 其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多 媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。 这些数据的示例包括用于在电子设备1200上操作的任何应用程序或方法的 指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由 任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存 取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程 只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)， 磁存储器，快闪存储器，磁盘或光盘。
电源组件1206为电子设备1200的各种组件提供电力。电源组件1206 可以包括电源管理系统，一个或多个电源，及其他与为电子设备1200生成、 管理和分配电力相关联的组件。
多媒体组件1208包括在所述电子设备1200和用户之间的提供一个输出 接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板 (TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用 户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触 摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而 且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中， 多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操 作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外 部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜 系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210 包括一个麦克风(MIC)，当电子设备1200处于操作模式，如呼叫模式、记 录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音 频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些 实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外 围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页 按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器，用于为电子设备1200提供各 个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/ 关闭状态，组件的相对定位，例如所述组件为电子设备1200的显示器和小键 盘，传感器组件1214还可以检测电子设备1200或电子设备1200一个组件的 位置改变，用户与电子设备1200接触的存在或不存在，电子设备1200方位 或加速/减速和电子设备1200的温度变化。传感器组件1214可以包括接近传 感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组 件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用 中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀 螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1216被配置为便于电子设备1200和其他设备之间有线或无线 方式的通信。电子设备1200可以接入基于通信标准的无线网络，如WiFi， 运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例 中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广 播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信 (NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID) 技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和 其他技术来实现。
在示例性实施例中，电子设备1200可以被一个或多个应用专用集成电路 (ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻 辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器 或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储 介质，例如包括指令的存储器1204，上述指令可由电子设备1200的处理器 1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是 ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了计算机程序产品，包括计算机程序产品， 所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述 电子设备执行上述自适应滤波方法。
图9是根据一示例性实施例示出的一种执行自适应滤波方法的电子设备 1300的框图。例如，电子设备1300可以被提供为一服务器。参照图9，电子 设备1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存 储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令， 例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每 一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执 行上述信息列表显示方法。
电子设备1300还可以包括一个电源组件1326被配置为执行电子设备 1300的电源管理，一个有线或无线网络接口1350被配置为将电子设备1300 连接到网络，和一个输入输出(I/O)接口1358。电子设备1300可以操作基 于存储在存储器1332的操作系统，例如Windows ServerTM，Mac OS XTM， UnixTM,LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本 申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性 变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申 请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被 视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确 结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所 附的权利要求来限制。

Claims (10)

1.一种自适应滤波方法，其特征在于，包括：
接收和图像相关的重建视频数据；
基于所述重建视频数据将所述图像分成多个块；
对所述多个块中的每个块计算度量信息；
根据每个块的度量信息确定每个块的类别，所述类别用于对应多个预设的滤波器中的一个滤波器，
其中，当计算每个块的度量信息时，如果需用使用所述块之外的至少一个特定像素，使用虚拟像素样本替换所述至少一个特定像素，所述虚拟像素样本为在所述块之外的相应位置依据设定规则填充的像素值。
2.根据权利要求1所述的自适应滤波方法，其特征在于，所述设定规则为以下规则之一：
在每个块之外填充和所述虚拟像素样本位置最接近的像素的像素值；
以每个块的块边界点为中点，在所述块边界之外镜像填充所述虚拟像素样本的像素值；
采用之前任意编码阶段的相同位置的像素值填充所述虚拟像素样本的像素值。
3.根据权利要求1所述的自适应滤波方法，其特征在于，根据每个块中的一个或多个像素的活动性和/或方向计算每个块的度量信息。
4.根据权利要求1所述的自适应滤波方法，其特征在于，还包括：判断所述需要使用的所述块之外的至少一个特定像素是否可用；
如果所述需要使用的所述块之外的至少一个特定像素不可用，则使用虚拟像素样本，如果所述需要使用的所述块之外的至少一个特定像素可用，则使用所述至少一个特定像素计算度量信息。
5.根据权利要求4所述的自适应滤波方法，其特征在于，通过判断当前块是否可以跨块操作的开/关控制旗标判断所述需要使用的所述块之外的至少一个特定像素是否可用。
6.根据权利要求1至5任意一项所述的自适应滤波方法，其特征在于，所述多个块为多个编码树单元或多个编码单元。
7.一种自适应滤波装置，其特征在于，包括：
接收模块，用于接收和图像相关的重建视频数据；
分块模块，用于基于所述重建视频数据将所述图像分成多个块；
填充模块，用于使用虚拟像素样本，在所述块之外相应位置填充像素值作为所述虚拟像素样本；
计算模块，用于对所述多个块的每个块计算度量信息；
导出模块，用于根据每个块的度量信息确定每个块的类别，所述类别用于对应多个预设的滤波器中的一个滤波器，
其中，所述计算模块在计算每个块的度量信息时，如果需用使用所述块之外的至少一个特定像素，使用虚拟像素样本替换所述至少一个特定像素，所述虚拟像素样本为在所述块之外的相应位置依据设定规则填充的像素值。
8.根据权利要求7所述的自适应滤波装置，其特征在于，所述设定规则为以下规则之一：
在每个块之外填充和所述虚拟像素样本位置最接近的像素的像素值；
以每个块的块边界点为中点，在所述块边界之外镜像填充所述虚拟像素样本的像素值；
采用之前任意编码阶段的相同位置的像素值填充所述虚拟像素样本的像素值。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1至6任意一项所述的环路滤波方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如权利要求1至6任一项所述的环路滤波方法。
CN201811330024.8A 2018-11-09 2018-11-09 自适应滤波方法、装置、电子设备及计算机可读介质 Pending CN109660797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811330024.8A CN109660797A (zh) 2018-11-09 2018-11-09 自适应滤波方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811330024.8A CN109660797A (zh) 2018-11-09 2018-11-09 自适应滤波方法、装置、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN109660797A true CN109660797A (zh) 2019-04-19

Family

ID=66110766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811330024.8A Pending CN109660797A (zh) 2018-11-09 2018-11-09 自适应滤波方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN109660797A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249123A1 (en) * 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries
CN113489998A (zh) * 2021-05-27 2021-10-08 杭州博雅鸿图视频技术有限公司 一种去块效应滤波方法、装置、电子设备及介质
CN114128278A (zh) * 2019-07-11 2022-03-01 北京字节跳动网络技术有限公司 自适应环路滤波中的样点填充
US11490082B2 (en) 2019-06-14 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11553179B2 (en) 2019-07-09 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11652998B2 (en) 2019-09-22 2023-05-16 Beijing Bytedance Network Technology Co., Ltd. Padding process in adaptive loop filtering
US11683488B2 (en) 2019-09-27 2023-06-20 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
US11700368B2 (en) 2019-07-15 2023-07-11 Beijing Bytedance Network Technology Co., Ltd. Classification in adaptive loop filtering
US11706462B2 (en) 2019-10-10 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Padding process at unavailable sample locations in adaptive loop filtering

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013051452A1 (ja) * 2011-10-07 2013-04-11 ソニー株式会社 画像処理装置および方法
CN103460699A (zh) * 2011-03-30 2013-12-18 Lg电子株式会社 环路滤波方法及其设备
CN104702963A (zh) * 2015-02-13 2015-06-10 北京大学 一种自适应环路滤波的边界处理方法及装置
CN107211154A (zh) * 2015-02-11 2017-09-26 高通股份有限公司 译码树单元级自适应环路滤波器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460699A (zh) * 2011-03-30 2013-12-18 Lg电子株式会社 环路滤波方法及其设备
CN103460699B (zh) * 2011-03-30 2017-06-20 Lg电子株式会社 环路滤波方法及其设备
WO2013051452A1 (ja) * 2011-10-07 2013-04-11 ソニー株式会社 画像処理装置および方法
CN107211154A (zh) * 2015-02-11 2017-09-26 高通股份有限公司 译码树单元级自适应环路滤波器
CN104702963A (zh) * 2015-02-13 2015-06-10 北京大学 一种自适应环路滤波的边界处理方法及装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020249123A1 (en) * 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries
CN114424539A (zh) * 2019-06-14 2022-04-29 北京字节跳动网络技术有限公司 处理视频单元边界和虚拟边界
US11490082B2 (en) 2019-06-14 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11553179B2 (en) 2019-07-09 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11831869B2 (en) 2019-07-09 2023-11-28 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11589042B2 (en) 2019-07-11 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
CN114128278A (zh) * 2019-07-11 2022-03-01 北京字节跳动网络技术有限公司 自适应环路滤波中的样点填充
CN114128278B (zh) * 2019-07-11 2023-12-05 北京字节跳动网络技术有限公司 自适应环路滤波中的样点填充
US11700368B2 (en) 2019-07-15 2023-07-11 Beijing Bytedance Network Technology Co., Ltd. Classification in adaptive loop filtering
US11652998B2 (en) 2019-09-22 2023-05-16 Beijing Bytedance Network Technology Co., Ltd. Padding process in adaptive loop filtering
US11671594B2 (en) 2019-09-22 2023-06-06 Beijing Bytedance Network Technology Co., Ltd. Selective application of sample padding in adaptive loop filtering
US11683488B2 (en) 2019-09-27 2023-06-20 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
US11706462B2 (en) 2019-10-10 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Padding process at unavailable sample locations in adaptive loop filtering
CN113489998A (zh) * 2021-05-27 2021-10-08 杭州博雅鸿图视频技术有限公司 一种去块效应滤波方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN109600611A (zh) 环路滤波方法、环路滤波装置、电子设备和可读介质
CN109660797A (zh) 自适应滤波方法、装置、电子设备及计算机可读介质
EP2041981B1 (en) Methods and apparatus for adaptive reference filtering
CN110708559B (zh) 图像处理方法、装置及存储介质
EP3855741A1 (en) Interpolation filter training method and device, video image encoding method, video image decoding method, encoder, and decoder
EP4246978A2 (en) Methods and apparatus of video coding for triangle prediction
US20230345003A1 (en) Network based image filtering for video coding
EP3935839A1 (en) Methods and apparatuses for signaling of merge modes in video coding
JP7488358B2 (ja) ビデオ符号化における構文要素のシグナリングのための方法および装置
WO2019077197A1 (en) METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR VIDEO ENCODING AND DECODING
JP2024016288A (ja) ビデオコーディングにおけるデコーダ側動きベクトル補正のための方法および装置
CN114128263A (zh) 用于视频编解码中的自适应运动矢量分辨率的方法和设备
US20230126175A1 (en) Methods and devices for prediction dependent residual scaling for video coding
JP2024515894A (ja) ビデオコーディングのためのネットワークベースの画像フィルタリング
CN116569548A (zh) 用于视频编解码的基于网络的图像滤波
CN109660794B (zh) 帧内预测模式的决策方法、决策装置和计算机可读存储介质
CN114009019A (zh) 用于在视频编解码中用信令传递合并模式的方法和装置
US20240080498A1 (en) Systems and methods for motion compensated temporal filtering during image processing operations
CN114342390B (zh) 用于仿射运动补偿的预测细化的方法和装置
CN114051732A (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN114402618A (zh) 用于视频编解码中的解码器端运动矢量细化的方法和装置
CN116097279A (zh) 用于视频编解码的神经网络的混合训练的方法和装置
CN114080808A (zh) 用于视频编解码中的解码器侧运动矢量细化的方法和装置
CN115699759A (zh) 采用基于satd的成本计算对视频进行编解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190419

RJ01 Rejection of invention patent application after publication