CN101841706A - 改善视频质量的方法和装置 - Google Patents
改善视频质量的方法和装置 Download PDFInfo
- Publication number
- CN101841706A CN101841706A CN201010126557.1A CN201010126557A CN101841706A CN 101841706 A CN101841706 A CN 101841706A CN 201010126557 A CN201010126557 A CN 201010126557A CN 101841706 A CN101841706 A CN 101841706A
- Authority
- CN
- China
- Prior art keywords
- filter
- similarity
- linear
- filtering
- unified loop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000001914 filtration Methods 0.000 claims abstract description 100
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 238000012163 sequencing technique Methods 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000004075 alteration Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 16
- 230000000903 blocking effect Effects 0.000 description 10
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 208000018375 cerebral sinovenous thrombosis Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及用于改善编码视频质量的方法和装置。本发明提供一个统一环路滤波器，其包括：一个像素分类确定单元，其根据上下文信息来确定像素分类类型；一个相似度变换单元，其将一个非线性滤波器变换成一个非线性相似度排序统计滤波器；以及一个集成单元，其将非线性相似度排序统计滤波器与一个线性图像恢复滤波器集成在一起。当编码器或解码器正在处理一个视频信号时，统一环路滤波器适用于对重建帧进行滤波。
Description
技术领域
本发明通常涉及数字视频处理，特别涉及包括进行编码和解码的数字视频编码。
发明背景
数字视频编码包括各种步骤，诸如但不限于在运动补偿残余或帧内内插块上的变换、量化、运动估计、环内去块滤波和熵编码。这些步骤是分别由各个装置进行实施的。为了获得更好的编码效率，在诸如H.264/AVC的视频标准内，基于块的DPCM(差分脉冲编码调制)技术适用于这些步骤。
数字视频内的图像质量是通过主观质量和客观质量进行测量的。主观质量是由观察者如何感觉图像以及观察者如何通过比较视频里发现的失真说出哪个视频有较好的图像质量来进行测量。使用基于块的DPCM技术，块效应被引入到视频图像内，因而需要进行消除。消除块效应的步骤通常被称为去块效应。在基于块的技术里，视频像素通过视频压缩逐个块地进行编码。这些块被逆变换并被解码以重建图像。
客观质量是通过诸如峰值信噪比(PSNR)的参数进行测量。视频图像里存在的噪声越多，PSNR越低，将越不能令人满意。有各种类型的噪声，如高斯噪声、量化噪声，通常期望能够抑制这些噪声。
为了提高主观质量，设计一个环内去块滤波来消除视频编码标准H.264/AVC里的块效应。设计这种环内去块滤波的一种方法是使用一组预设的低通滤波器。低通滤波器在List，P.；Joch，A.；Lainema，J.；Bjontegaard，G.；Karczewicz，M.，Adaptive Deblocking Filter，IEEE Trans.CSVT，Vol.13，No.7，2003里有描述。低通滤波器假设平滑图像模型，并能够去除块效应。但是，平滑图像模型不会总是适用的。视频图像可能包含许多奇异点，如边缘、纹理等，并且低通滤波器不能适当处理这些奇异点，因为低通滤波器可能会平滑这些奇异点。
设计环内去块滤波的另一种方法是使用一个非线性双边滤波器。非线性双边滤波器在C.Tomasi.R.Manduchi，Bilateral filtering for grayand color images，Proceedings of IEEE Int.Conf.Computer Vision，1998里有描述，其用来解决低通滤波器在处理奇异值时的缺点，因为非线性双边滤波器在去除块效应和振铃效应时非常有效，同时保持奇异点的锐度，如边缘。但是，低通滤波器和非线性双边滤波器都不具有频率选择性，从而不能最优地抑制高斯噪声。
为了提高客观质量，维纳滤波器可以用来抑制视频里的高斯噪声、模糊和失真。维纳滤波器也提供进一步的应用，如通过确定运动估计或运动补偿模块里半像素层或四分之一像素层上的内插滤波器系数，从而改善视频编码标准H.264/AVC的编码效率，以获得更好的图像预测。但是，维纳滤波器不能消除块效应，从而无法改善主观图像质量。
因此需要一种环内滤波，其能够优化主观质量和客观质量。
发明概述
本发明不仅在去除块效应和振铃效应以改善主观质量方面有效，而且能够实现峰值信噪比(PSNR)增益以改善客观质量，同时能够降低比特率以保持编码效率。本发明适用于各种编码方法和编码结构，如IPPP、IBBP和分层B。
本发明能够考虑在每个视频帧内不同区域上的不同特性以进一步改善图像质量。为了实现这种改善，本发明将每个帧里的像素分类成增强像素或恢复像素以确定其类型。像素是增强像素还是恢复像素是依照上下文特征如边界强度来确定的。为了增强这种分类的效率，本发明的一个实施例使用基于块的像素分类而不是样本层的像素分类以降低计算复杂性。使用基于块的像素分类同样能够增强编码性能，从而需要较低的比特率。
本发明结合线性图像滤波和非线性图像滤波以改善客观和主观方面的图像质量。通过结合线性图像滤波和非线性图像滤波，本发明不仅考虑了像素样本的光度相似度，而且考虑了几何贴近度或空间排序统计。
本发明使用一个相似度函数以将一个非线性滤波变换成一个非线性相似度排序统计滤波来考虑光度相似度。此外，本发明结合一个线性滤波如自适应维纳滤波和非线性相似度排序统计滤波，其通过连接线性滤波和非线性相似度排序统计滤波来处理几何贴近性或空间排序统计。
通过确定最优权重向量以最小化一个代价函数，本发明适合奇异点以更好地保持边缘。通过在重建帧和原始帧之间使用一个最小均方差(LMSE)准则，来优化统一环路滤波器，并适用于每个帧。通过依照像素分类结果选择不同特性的滤波器，使得统一环路滤波器适用于不同类型的像素。滤波器属性如滤波器抽头类型和滤波器抽头长度，是基于率失真优化进行选择以最小化滤波后的图像和原始图像之间的失真。为了进一步增强编码效率，可以采用滤波器的对称性。滤波器属性如滤波器抽头类型和滤波器系数量化比特被编码，然后传输到解码端。
统一环路滤波器适用于任何混合视频编码系统，如H.264/AVC，KTA或AVS，并且统一环路滤波器能够代替传统视频编解码器内的去块环路滤波器。
如以下实施例所述，本发明的其它方面也将进行披露。
附图说明
参照以下附图，其后将详细描述本发明的目的、方面和实施例，其中：
图1显示一个统一环路滤波器的典型实施例；
图2显示如何确定像素是增强像素或是恢复像素的一个典型实施例的流程图；
图3A显示为一个图像亮度(Y)分量的增强像素配置的滤波器抽头的一个实施例；
图3B显示为一个图像色度(Cr或Cb)分量的增强像素配置的滤波器抽头的一个实施例；
图4A显示为一个图像亮度(Y)分量的恢复像素配置的滤波器抽头的一个实施例；
图4B显示为图像色度(Cr或Cb)分量的恢复像素配置的滤波器抽头的一个实施例；
图5显示编码器上一个统一环路滤波过程的流程图；
图6显示解码器上一个统一环路滤波过程的流程图；
图7显示一个具有统一环路滤波的视频编码系统的实施例的模块示意图。
发明详述
图1显示本发明一个统一环路滤波的典型实施例。统一环路滤波处理一个进行高性能视频编码后的输入信号。统一环路滤波包括一个像素类型确定单元110、一个相似度变换单元120、和一个集成单元130。
像素类型确定单元110根据将被滤波的像素的上下文特征来确定像素类型。确定像素类型，使得具有较高量化误差的像素能够被识别，并分别进行处理。具有高量化误差的像素有可能是那些靠近区块边界或区块转角的像素。例如，像素可以被分成两种类型：增强像素和恢复像素。增强像素是具有块效应的边界像素。恢复像素是那些不是增强像素的像素。像素类型的确定是基于像素的上下文特征进行的，如边界强度(BS)。换言之，具有块效应的区块边界周围的像素被分类成增强像素。
图2显示一个为根据H.264/AVC编码标准确定一个像素是增强像素或是恢复像素的典型实施例的流程图。为了确定像素是增强像素还是恢复像素，有许多分类方法，如块级像素分类和样本级像素分类。在一个实施例里，块级像素分类被用来降低计算复杂性。为了便于描述，以一个图像内的两个相邻块作为例子。这两个块是块P201和块Q202。由于增强像素被定义为边界像素，因此对整个确定过程选择步骤211仅考虑块P201和块Q202之间的边界像素。块P201和块Q202之间的边界强度(BS)是通过使用图2内的流程进行确定。确定边界强度(BS)的详情在Lou，J.；Jagmohan，A.；He，D；Lu，L.；Sun，M.T，H.264 Deblocking Speedup，IEEETrans.CSVT，Vol.19，No.8，2009里有描述，在此其披露通过引用被结合到本发明。如果块P201和块Q202之间的边界强度(BS)大于0，那么在块边界周围的像素则被分类成增强像素，否则，那些块边界像素和内部块像素被分类成恢复像素。尽管该技术是示范性的，但应该理解，在本发明里可以使用任何能够准确确定边界强度的技术。
在确定像素是增强像素或是恢复像素之后，就可以获得一张像素分类图，并被提供到统一环路滤波100以通过像素确定单元110进行进一步的处理。
相似度变换单元是将一个非线性图像滤波器部分(图中未显示)变换成一个非线性相似度排序统计型图像滤波器部分131，以对一个来自编码器或解码器输出的重建信号进行滤波。非线性图像滤波器部分是这样一个滤波器，其能够有效地去除图像噪声，如高斯噪声、块效应和振铃效应，并保持边缘锐度。非线性图像滤波器部分的一个典型实施例是一个排序统计型滤波器，但本发明并不仅限于此。
非线性图像滤波器部分的变换是由相似度变换单元120执行的，通过将非线性图像滤波器部分转换成一个滤波器，其使一个非线性滤波器能够与一个线性滤波器结合。形成的滤波器是一个非线性滤波器，其能够以最小化均方差被优化。该滤波器的一个实施例是但不限于是一个非线性相似度排序统计型图像滤波器部分131。
一个线性滤波器的常用函数是y＝WX。y是线性滤波器的输出，W是线性滤波器系数向量，而X是观察向量。而不是直接使用观察向量X＝(x1，x2，…，xM)T，我们使用排序统计向量Xr。排序统计向量被定义为Xr＝(x(1)，x(3)，…，x(M))T，其中Xr的元素是升序排列：x(1)≤x(2)≤…≤x(M)。因此，排序统计滤波的输出是：
其中Wr是M个被优化的滤波器系数的向量。在一个实施例里，仅有一个小权重被赋予排序统计的极限阶，以增强出现奇异点时滤波的强健性。这是因为奇异点倾向位于排序统计的极限阶。
但是，排序统计信息仅提供像素奇异点的有限指示。在另一个实施例里，为了引入如双边滤波器中的光度相似度信息，需要将观察向量X变换成相似度统计向量X’＝(x’1，x’2，…，x’M)T。相似度变换被定义为：
x′i＝[1-f(xc，xi)]·xc+f(xc，xi)·xi
其中f(xc，xi)是相似度函数，其将比较两个样本，当两者之间的强度差值降低时，两个样本之间的相似度增加。实数相似度函数必须满足以下约束：1.lim|a-b|→0 f(a，b)＝1，
2.lim|a-b|→0 f(a，b)＝0， (4)3.f(a1，b1)≥f(a2，b2)，if|a1-b1|≤|a2-b2|.
相似度函数的例子包括均匀函数、高斯函数和三角函数。以下相似度函数被用来合并双边滤波：
f(a，b)＝1-Clip(0，1，(a-b)2/δ2) (5)
其中δ是控制相似度变换强度的扩散参数，而Clip(x，y，z)是一个夹在x和y之间的z值的函数。
在相似度变换之后，通过使用以下规则，相似度统计向量X’还被排序以形成相似度排序统计向量Xs＝(x’(1)，x’(2)，…，x’(M))T：
|x′(i)-xc|≤|x′(i+1)-xc| (6)
接着，相似度排序统计滤波的输出变成：
集成单元130将合并非线性相似度排序统计型图像滤波部分131和一个线性图像滤波部分132。线性图像滤波部分132是一个线性滤波器，其能够处理因压缩引起的高斯噪声、模糊和失真导致退化的图像。在一个实施例里，线性图像滤波132是一个维纳滤波器，维纳滤波器的输出由以下等式提供：
其中Wl是N个被优化的滤波器系数的向量，其通过使用最小均方差(LMSE)算法获得。
非线性相似度排序统计型图像滤波部分131与一个线性图像滤波部分132合并，除光度相似度之外，其允许非线性相似度排序统计型图像滤波部分131考虑像素样本的几何贴近度或空间排序统计。在一个实施例里，等式8的线性维纳滤波器与等式7的非线性相似度排序统计滤波器连接，反之亦然。统一环路滤波变成：
其中Xu＝(x’(1)，x’(2)，…，x’(M)，x1，x2，…，xN)T，Wu是一个M+N个被优化的滤波器系数的向量。
通过使用一个信号质量优化单元140以优化滤波性能，统一环路滤波101被进一步优化。优化涉及确定最优的权重向量W以最小化一个具体代价函数。在一个实施例里，均方差被用作代价函数，以至代价函数可被微分，从而改善客观和主观质量。对统一环路滤波器里的空间排序和相似度排序统计的线性合并，以下通过最小化均方差，可以实现优化：
其中xo是原始视频帧。
统一环路滤波器101还包括一个滤波器抽头选择单元150。基于由像素分类确定单元110获得的像素分类图，通过使用滤波器抽头选择单元150，对各种类型的像素，统一环路滤波器101被优化。
(1)增强像素
图3(A)显示为图像量度(Y)分量的增强像素配置的滤波器抽头的一个实施例。滤波器抽头以这样的方式设置，使得着重去块增强，同时考虑恢复。在一个实施例里，非线性相似度排序统计型图像滤波部分131以诸如钻石型滤波器的形式被选择，其有一个抽头尺寸，如5抽头315，并且线性图像滤波部分132以诸如象限对称的钻石型滤波器的形式被选择，其有一个滤波器抽头长度，如一抽头321、5抽头325、7抽头327和9抽头329。
图3B显示为图像色度(Cr或Cb)分量的增强像素配置的滤波器抽头的一个实施例。在一个实施例里，非线性相似度排序统计型图像滤波部分131以钻石型滤波器的形式被选择，其有一个滤波器抽头长度，如3抽头333，并且线性图像滤波部分132以象限对称的钻石型滤波器的形式被选择，其有一个滤波器抽头长度，如一抽头341和5抽头345。
(2)恢复像素
图4A显示为图像亮度(Y)分量的恢复像素配置的滤波器抽头的一个实施例。滤波器抽头以这样的方式设置，使得恢复得到加强，同时考虑去振铃效应。在一个实施例里，非线性相似度排序统计的图像滤波部分131以十字型滤波器的形式被选择，其滤波器抽头长度如5抽头415，而线性图像滤波分132以中心点对称的钻石型滤波器的形式被选择，其滤波器抽头长度如5抽头425、7抽头427和9抽头429。
图4B显示为图像色度(Cr或Cb)分量的恢复像素配置的滤波器抽头的一个实施例。在一个实施例里，非线性相似度排序统计的图像滤波部分131以十字型滤波器的形式被选择，其有一个滤波器抽头长度，如3抽头433，而线性图像滤波部分132以中心点对称的钻石型滤波器的形式被选择，其有一个滤波器抽头长度，如5抽头445。
图5显示在编码器上一个统一环路滤波过程的流程图。执行像素分类步骤510，基于将被滤波的像素的上下文特征来确定像素是增强像素或是恢复像素。在一个实施例里，边界强度值(BS值)被用作上下文特征。像素分类步骤510是由像素确定单元110执行以确定一个像素是增强像素或是恢复像素。执行统一环路滤波器形成步骤520以将一个非线性图像滤波部分转换成一个非线性相似度排序统计型图像滤波部分，以便通过相似度变换单元120对重建信号进行滤波，并通过集成单元130连接非线性相似度排序统计型图像滤波部分和一个线性图像滤波部分，使得由线性图像滤波部分滤波的重建信号也由非线性相似度排序统计型图像滤波部分滤波。执行滤波器系数估计步骤530以基于最小均方差算法来优化非线性相似度排序统计型图像滤波部分和线性图像滤波部分，以通过信号质量优化单元140找出最优的统一环路滤波器系数。滤波器抽头选择步骤540是由滤波器抽头选择单元150执行。增强像素和恢复像素的每个统一环路滤波的滤波器抽头长度是通过但不限于整个帧内的率失真优化选择进行确定的。
Jfilter＝D+λR (9)
其中D是滤波帧和最优帧之间的失真，而R表示滤波器编码开销比特。滤波器编码开销比特包括滤波器抽头类型和滤波器系数量化比特。滤波器抽头选择步骤540将同时挑选一组滤波器抽头类型和滤波器抽头长度用于非线性相似度排序统计图像滤波部分131和线性图像滤波部分132。测量滤波后的帧和原始帧之间的失真。不同组的滤波器抽头类型和滤波器抽头长度被用来重复统一环路滤波步骤520和滤波器系数估计步骤530以获得不同的失真结果。所有失真结果相互进行比较以确定哪一组滤波器抽头类型和滤波器抽头长度提供最小失真，然后其将被用来对帧进行滤波。
滤波器抽头和系数编码步骤550是由滤波器信息编码单元160执行以编码滤波器信息，如滤波器抽头类型和滤波器系数量化比特，并传送同一信息到解码器端。滤波器系数以两种方式进行编码：采用指数-哥伦布码的时域预测编码和10比特的固定长度编码(一个比特用于符号，9个比特用于幅值)。
图6显示在解码器上一个统一环路滤波过程的流程图。执行像素分类步骤610以基于将被滤波的像素的上下文特征来确定像素类型。在一个实施例里，边界强度值(BS值)被用作上下文特征。像素分类步骤510是由像素确定单元110执行，以确定像素是增强像素或是恢复像素。滤波器抽头和系数步骤620是由滤波器信息解码单元(图中未显示)执行，以提供滤波器信息，如滤波器抽头类型、滤波器抽头长度和滤波器系数量化比特，给统一环路滤波器形成步骤630。
统一环路滤波器形成步骤630将一个非线性图像滤波部分变换成一个非线性相似度排序统计图像滤波部分，以便通过相似度变换单元120对重建信号进行滤波，并使用集成单元130连接非线性相似度排序统计图像滤波部分和一个线性图像滤波部分，使得由线性图像滤波部分滤波的重建信号也由非线性相似度排序统计图像滤波部分进行滤波。
图像帧是由统一环路滤波器形成步骤630上形成的统一环路滤波器在图像滤波步骤640里进行滤波。
图7显示一个具有统一环路滤波的视频编码系统的一个实施例的模块示意图。视频编码系统的输入是一个视频701，并且通过从当前帧减去一个参考帧而获得一个残余图象。残余图像通过变换710和量化720。在变换和量化之后，残余图像通过逆变换和去量化730重新获取。残余图像与参考帧合并以获得一个重建图像。重建图像由统一环路滤波750进行滤波以提供一个被滤波的图像用于显示或存储在一个参考缓冲器760上作为帧内预测771或帧间预测772的一个参考图像。参考图像与来自视频701的当前帧一起也被用来进行运动估计780。
通常，统一环路滤波的各种实施例可以实施在各种终端设备或用户设备内，包括但不限于移动电话和其它无线通信设备、个人数字助理(PDA)、便携式和台式计算机、图像/视频设备如数码相机、音频-视频(AV)装置如视频播放器、游戏机设备、允许访问和浏览的互联网或局域网(LAN)设备，以及集合上述这些功能的便携式单元或设备。
本发明实施例可以以软件、硬件、应用程序逻辑或一个组合的软件、硬件和应用程序逻辑的方式实施。软件、应用程序逻辑和/或硬件可以安置在集成电路芯片、模组或存储器上。如果期望的话，部分软件、硬件和/或应用程序逻辑可以安置在集成电路芯片上，部分软件、硬件和/或应用程序逻辑可以安置在模组上，并且部分软件、硬件和/或应用程序逻辑可以安置在存储器上。在一个典型实施例里，应用程序逻辑、软件或指令集合保留在任何一个各种传统计算机可读媒介上。在本应用的上下文里，“计算机可读媒介”可以是任何媒介或装置，其能够保留、存储、传送、传播和发送指令由指令可执行系统、装置或设备如计算机使用或与之相连系。计算机可读媒介可以包括一个计算机可读存储媒介，其可以是任何媒介或装置，其能够保留或存储指令由指令执行系统、装置或设备如计算机使用或与之相连系。
可选地，在此所述的不同函数可以以不同次序和/或互相并行地执行。此外，如果期望的话，一个或多个上述函数可以是选择性的或可以被合并。
尽管在所附权利要求里阐述了本发明的各个方面，但本发明的其它方面包括所述实施例的特征和/或具有独立权利要求特征的附属权利要求的特征的组合，而不仅仅是在权利要求里阐述的特征组合。
在此也会注意到，虽然以上描述了本发明的典型实施例，但这些描述不应该被看作是限制性的含义，相反，对其可以作出一些变化和修改，而不会脱离如所附权利要求所定义的本发明的范围。
Claims (16)
1.一个用于对输入信号进行视频编码后的重建信号的统一环路滤波器，包括：
一个像素分类确定单元，其根据将被滤波的像素的上下文特征来确定像素分类的类型；
一个相似度变换单元，其将一个非线性图像滤波部分变换成一个非线性相似度排序统计图像滤波部分，以便对一个来自编码器或解码器输出的重建信号进行滤波；和
一个集成单元，其集成由相似度变换单元产生的非线性相似度排序统计图像滤波器部分和一个线性图像恢复滤波器部分构成，使得重建信号能被非线性滤波器和线性滤波器统一滤波；
其中线性图像滤波部分能够改善重建信号的客观质量，并且非线性图像滤波部分能够改善重建信号的主观质量。
2.根据权利要求1所述的统一环路滤波器，还包括：
一个信号质量优化单元，其基于最小均方差算法来优化非线性相似度排序统计图像滤波器部分和线性图像恢复滤波器部分以找出最佳的统一环路滤波器系数。
3.根据权利要求1所述的统一环路滤波器，还包括：
一个滤波器抽头选择单元，其基于率失真优化，为每个非线性图像滤波器部分和非线性图像滤波器部分选择一个滤波器抽头。
4.根据权利要求1所述的统一环路滤波器，还包括：
一个滤波器系数编码器，其通过采用指数-哥伦布码的时域预测编码对统一环路滤波器的滤波器系数进行编码。
5.根据权利要求1所述的统一环路滤波器，还包括：
一个滤波器系数编码器，其通过一个固定长度编码对统一环路滤波器的滤波器系数进行编码。
6.根据权利要求1所述的统一环路滤波器，其中：
相似度变换单元还对相似度统计向量的分量进行排序；
其中一个相似度函数，是从均匀函数、高斯函数或三角函数里挑选出来的，被用来将排序统计向量变换成相似度统计向量。
7.一种统一环路滤波方法，用于对来自编码器和解码器输出的重建信号进行滤波，包括：
使用权利要求1所述的统一环路滤波，对将被滤波的重建信号进行滤波。
8.一种对重建信号进行滤波的统一环路滤波方法，包括：
基于像素的上下文特征，确定一个将被滤波的像素的分类类型；
将一个非线性图像滤波器部分变换成一个非线性相似度排序统计图像滤波器部分，以便对重建信号进行滤波；和
连接非线性相似度排序统计图像滤波器部分和一个线性图像恢复滤波器部分，使得重建信号能被非线性滤波器和线性滤波器统一滤波；
其中线性图像滤波器部分能够改善重建信号的客观质量，而非线性相似度排序统计的图像滤波器部分能够改善重建信号的主观质量。
9.根据权利要求8所述的统一环路滤波方法，还包括：
基于最小均方差算法，优化非线性图像滤波器部分和线性图像滤波器部分以找出最优的统一环路滤波器系数。
10.根据权利要求9所述的统一环路滤波方法，还包括：
基于率失真优化，为每个线性图像滤波器部分和非线性图像滤波器部分，选择一个滤波器抽头。
11.根据权利要求9所述的统一环路滤波方法，还包括：
通过一个采用指数-哥伦布码的时域预测编码，对统一环路滤波器的滤波器系数进行编码。
12.根据权利要求9所述的统一环路滤波方法，还包括：
通过一个固定长度编码对统一环路滤波器的滤波器系数进行编码。
13.根据权利要求8所述的统一环路滤波方法，还包括：
对相似度统计向量的分量进行排序；
其中一个相似度函数，是从均匀函数、高斯函数或三角函数里挑选出来的，被用来将排序统计向量变换成相似度统计向量。
14.一个对数字视频信号进行编码的编码器，包括：
如权利要求1所述的统一环路滤波器；和
一个环路单元，其使用多个滤波器抽头类型和滤波器长度迭代形成统一环路滤波器以执行率失真优化选择。
15.一个对数字视频信号进行解码的解码器，包括：
如权利要求1所述的统一环路滤波器；和
一个解码单元，用于解码滤波器信息以获取参数用来形成统一环路滤波器。
16.一个用于进行视频压缩的系统，包括：
第一单元，其在从当前视频信号减去参考视频信号而获得的一个残余视频信号上执行变换和量化；
第二单元，其用于执行逆变换和去量化以获得残余视频信号，使得一个重建的当前视频信号是通过添加残余视频信号和参考视频信号而形成；和
如权利要求1所述的统一环路滤波器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/635,383 | 2009-12-10 | ||
| US12/635,383 US8259819B2 (en) | 2009-12-10 | 2009-12-10 | Method and apparatus for improving video quality by utilizing a unified loop filter |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101841706A true CN101841706A (zh) | 2010-09-22 |
| CN101841706B CN101841706B (zh) | 2011-08-10 |
Family
ID=42744779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010126557.1A Expired - Fee Related CN101841706B (zh) | 2009-12-10 | 2010-02-12 | 改善视频质量的方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8259819B2 (zh) |
| CN (1) | CN101841706B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102325256A (zh) * | 2011-09-14 | 2012-01-18 | 河海大学常州校区 | 基于图像宏块编码模式决策的环路滤波方法 |
| WO2012045270A1 (en) * | 2010-10-05 | 2012-04-12 | Mediatek Inc. | Method and apparatus of adaptive loop filtering |
| CN103974070A (zh) * | 2014-04-25 | 2014-08-06 | 广州市香港科大霍英东研究院 | 基于多用户输入输出的无线视频传输方法及系统 |
| CN103971345A (zh) * | 2014-05-27 | 2014-08-06 | 上海电力学院 | 一种基于改进双边滤波的图像去噪方法 |
| CN108028924A (zh) * | 2015-09-08 | 2018-05-11 | Lg 电子株式会社 | 用于编码/解码图像的方法及其装置 |
| CN109076217A (zh) * | 2016-05-02 | 2018-12-21 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN113228646A (zh) * | 2018-12-21 | 2021-08-06 | 佳能株式会社 | 具有非线性限幅的自适应环路滤波(alf) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012510202A (ja) * | 2008-11-25 | 2012-04-26 | トムソン ライセンシング | ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置 |
| JP2011151431A (ja) * | 2009-12-25 | 2011-08-04 | Sony Corp | 画像処理装置および方法 |
| US8630356B2 (en) * | 2011-01-04 | 2014-01-14 | The Chinese University Of Hong Kong | High performance loop filters in video compression |
| US8780971B1 (en) * | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method of encoding using selectable loop filters |
| US8908979B2 (en) * | 2011-06-16 | 2014-12-09 | Samsung Electronics Co., Ltd. | Shape and symmetry design for filters in video/image coding |
| JP2013118605A (ja) * | 2011-06-28 | 2013-06-13 | Sony Corp | 画像処理装置と画像処理方法 |
| CN102903077A (zh) * | 2011-07-26 | 2013-01-30 | 陈奋 | 一种快速图像去模糊算法 |
| JP6058021B2 (ja) * | 2011-11-28 | 2017-01-11 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ひずみ／品質測定 |
| US9131073B1 (en) | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
| US10129540B2 (en) * | 2012-04-10 | 2018-11-13 | Texas Instruments Incorporated | Reduced complexity coefficient transmission for adaptive loop filtering (ALF) in video coding |
| US20140010278A1 (en) * | 2012-07-09 | 2014-01-09 | Motorola Mobility Llc | Method and apparatus for coding adaptive-loop filter coefficients |
| US9344729B1 (en) | 2012-07-11 | 2016-05-17 | Google Inc. | Selective prediction signal filtering |
| SG11201500311XA (en) * | 2012-09-28 | 2015-02-27 | Intel Corp | Inter-layer pixel sample prediction |
| US9208545B2 (en) * | 2013-09-20 | 2015-12-08 | Texas Instruments Incorporated | Adaptive weighted-local-difference order statistics filters |
| US10102613B2 (en) | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
| US10728549B2 (en) * | 2017-11-06 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Adaptive loop filtering for high-dynamic range video |
| EP3928524A4 (en) * | 2019-04-15 | 2022-06-22 | Beijing Bytedance Network Technology Co., Ltd. | TIME PREDICTION OF PARAMETERS IN A NONLINEAR ADAPTIVE LOOP FILTER |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5825936A (en) * | 1994-09-22 | 1998-10-20 | University Of South Florida | Image analyzing device using adaptive criteria |
| CN1285214C (zh) * | 2004-01-14 | 2006-11-15 | 华中科技大学 | 一种环路滤波方法和环路滤波器 |
| US7551793B2 (en) * | 2004-01-14 | 2009-06-23 | Samsung Electronics Co., Ltd. | Methods and apparatuses for adaptive loop filtering for reducing blocking artifacts |
| EP1841230A1 (en) | 2006-03-27 | 2007-10-03 | Matsushita Electric Industrial Co., Ltd. | Adaptive wiener filter for video coding |
| WO2008136771A1 (en) * | 2007-05-02 | 2008-11-13 | Agency For Science, Technology And Research | Motion compensated image averaging |
| US20090154567A1 (en) * | 2007-12-13 | 2009-06-18 | Shaw-Min Lei | In-loop fidelity enhancement for video compression |
-
2009
- 2009-12-10 US US12/635,383 patent/US8259819B2/en active Active
-
2010
- 2010-02-12 CN CN201010126557.1A patent/CN101841706B/zh not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103141094B (zh) * | 2010-10-05 | 2016-10-26 | 寰发股份有限公司 | 自适应环路滤波方法和装置 |
| WO2012045270A1 (en) * | 2010-10-05 | 2012-04-12 | Mediatek Inc. | Method and apparatus of adaptive loop filtering |
| CN103141094A (zh) * | 2010-10-05 | 2013-06-05 | 联发科技股份有限公司 | 自适应环路滤波方法和装置 |
| US9813738B2 (en) | 2010-10-05 | 2017-11-07 | Hfi Innovation Inc. | Method and apparatus of adaptive loop filtering |
| CN102325256A (zh) * | 2011-09-14 | 2012-01-18 | 河海大学常州校区 | 基于图像宏块编码模式决策的环路滤波方法 |
| CN103974070B (zh) * | 2014-04-25 | 2017-08-15 | 广州市香港科大霍英东研究院 | 基于多用户输入输出的无线视频传输方法及系统 |
| CN103974070A (zh) * | 2014-04-25 | 2014-08-06 | 广州市香港科大霍英东研究院 | 基于多用户输入输出的无线视频传输方法及系统 |
| CN103971345A (zh) * | 2014-05-27 | 2014-08-06 | 上海电力学院 | 一种基于改进双边滤波的图像去噪方法 |
| CN103971345B (zh) * | 2014-05-27 | 2018-03-02 | 上海电力学院 | 一种基于改进双边滤波的图像去噪方法 |
| CN108028924A (zh) * | 2015-09-08 | 2018-05-11 | Lg 电子株式会社 | 用于编码/解码图像的方法及其装置 |
| CN109076217A (zh) * | 2016-05-02 | 2018-12-21 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN113228646A (zh) * | 2018-12-21 | 2021-08-06 | 佳能株式会社 | 具有非线性限幅的自适应环路滤波(alf) |
| US11750804B2 (en) | 2018-12-21 | 2023-09-05 | Canon Kabushiki Kaisha | Adaptive loop filtering (ALF) with non-linear clipping |
| CN113228646B (zh) * | 2018-12-21 | 2024-04-05 | 佳能株式会社 | 具有非线性限幅的自适应环路滤波(alf) |
Also Published As
| Publication number | Publication date |
|---|---|
| US20110142136A1 (en) | 2011-06-16 |
| CN101841706B (zh) | 2011-08-10 |
| US8259819B2 (en) | 2012-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101841706B (zh) | 改善视频质量的方法和装置 | |
| US9786066B2 (en) | Image compression and decompression | |
| CN101322403B (zh) | 用于图像和视频去噪的自回归方法和滤波 | |
| CN100373950C (zh) | 活动图像专家组视讯译码器可适性去区块滤波装置及方法 | |
| US7136536B2 (en) | Adaptive filter | |
| EP1882236B1 (en) | Method and apparatus for noise filtering in video coding | |
| Liu et al. | Data-driven soft decoding of compressed images in dual transform-pixel domain | |
| CN109120937B (zh) | 一种视频编码方法、解码方法、装置及电子设备 | |
| US20030053711A1 (en) | Reducing blocking and ringing artifacts in low-bit-rate coding | |
| Cheng et al. | Performance comparison of convolutional autoencoders, generative adversarial networks and super-resolution for image compression | |
| US20140254676A1 (en) | Video encoding and decoding based on image refinement | |
| TW200535717A (en) | Directional video filters for locally adaptive spatial noise reduction | |
| CN108900848A (zh) | 一种基于自适应可分离卷积的视频质量增强方法 | |
| Jakhetiya et al. | Maximum a posterior and perceptually motivated reconstruction algorithm: A generic framework | |
| Zhou et al. | $\ell_ {2} $ Restoration of $\ell_ {\infty} $-Decoded Images Via Soft-Decision Estimation | |
| US20110182355A1 (en) | Apparatus and method for determining adaptive filter tap to encode wavelet transform coefficient, wavelet transform apparatus and method using the same, and recording medium for the same | |
| Dar et al. | Optimized pre-compensating compression | |
| US9681131B2 (en) | Methods and devices for encoding and decoding at least one image implementing an estimation in the transform domain, and corresponding signal and computer program | |
| US7123776B2 (en) | Method of processing digital images for low-bit rate applications | |
| Del Corso et al. | MNR: A novel approach to correct MPEG temporal distortions | |
| JPH07307942A (ja) | 画像雑音除去装置 | |
| Neethu et al. | Improved quality of JPEG compressed image using approximate K-SVD algorithm | |
| Tadala et al. | A Novel PSNR-B Approach for Evaluating the Quality of De-blocked Images | |
| Ikonin et al. | Hadamard transform domain filter for video coding | |
| Gandam et al. | Designing of three regions de-blocking filters in BDCT coded images at low bit rate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110810 |