CN101971632A - 自适应滤波 - Google Patents

自适应滤波 Download PDF

Info

Publication number
CN101971632A
CN101971632A CN2008801242918A CN200880124291A CN101971632A CN 101971632 A CN101971632 A CN 101971632A CN 2008801242918 A CN2008801242918 A CN 2008801242918A CN 200880124291 A CN200880124291 A CN 200880124291A CN 101971632 A CN101971632 A CN 101971632A
Authority
CN
China
Prior art keywords
filter
block
sef
pixels
adaptivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801242918A
Other languages
English (en)
Other versions
CN101971632B (zh
Inventor
肯尼思·安德森
珀·福罗德亨
克林顿·普瑞德
乔纳坦·萨缪尔森
理查德·肖伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN101971632A publication Critical patent/CN101971632A/zh
Application granted granted Critical
Publication of CN101971632B publication Critical patent/CN101971632B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

通过将至少一个滤波器参数定义为具有第一自适应性级别并且将至少一个其它滤波器参数定义为具有不同的第二自适应性级别，来确定具有多个滤波器参数的自适应滤波器。在可允许滤波器参数值的第一集合中确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述参数值。在可允许滤波器参数值的不同的第二集合中相应地确定具有所述第二自适应性级别的所述至少一个滤波器参数的所述参数值。由于所述第二集合包括比所述第一集合更多的可允许滤波器参数值，因此实现所述自适应滤波器的所述滤波器参数中的所述不同的自适应性级别。在视频编码和解码期间在帧内或者帧间预测的滤波中，有利的使用所述自适应滤波器。

Description

自适应滤波
技术领域
本发明一般地涉及自适应滤波，并且具体地涉及在可应用于图像和视频编码的帧间和帧内预测中有用的自适应滤波。
背景技术
可以使用预测来充分利用时间和空间冗余，以让视频信号的紧凑表示成为可能。像素预测是视频编码标准(比如H.261、H.263、MPEG-4以及H.264[1])的重要部分。在H.264中，有三种被使用的像素预测方法，即帧内预测、帧间预测和双向预测。帧内预测从当前帧的先前已解码像素提供对当前像素块的空间预测。帧间预测使用先前已解码帧中相应但是发生位移的像素块来给出对当前像素块的时间预测。双向预测给出两个帧间预测的加权平均。
H.264的帧间预测方法可以实现运动估计中的分数像素解析度。首先可应用具有滤波器抽头[1 -5 20 20 -5 1]/32的固定的半像素滤波器以获得初始半像素解析度。然后可以在全像素样本以及半像素样本上应用双线性滤波器以实现四分之一像素解析度。在H.264中使用的这些分数像素插值滤波器是固定的，意味着不管对哪个具体块进行编码，都使用相同的滤波器抽头。
这些年已经建议了很多技术以改进帧间预测，例如通过使用自适应插值滤波器。已经建议的该方案是首先通过对要进行编码的每一个图像块使用固定的H.264插值滤波器，以确定位移向量。然后使用获得的位移向量，进行对二维不可分离的自适应Wiener插值滤波器[2]、可分离的自适应插值滤波器[3]、定向自适应插值滤波器[4]或者自适应插值滤波器[5]的自适应滤波器系数的计算。
发明内容
由于所有滤波器抽头具有相同数量的自适应性，因此过于复杂破坏了现有技术的自适应插值滤波器。这进而导致当确定滤波器的滤波器系数时以及当将其用于对输入数据进行滤波时的大量计算工作。此外，在已编码信号中需要大量的开销来表示滤波器。
本实施例克服了现有技术方案的这些和其他缺陷。
本发明的整体目的是提供一种自适应滤波器，该自适应滤波器具有带有不同级别的自适应性的滤波器参数。
由所附的专利权利要求所定义的实施例来满足该目的和其他的目的。
简而言之，通过将多个滤波器参数定义或者分类为具有不同自适应性级别的至少两种类型的滤波器参数，来确定具有多个滤波器参数的自适应滤波器。从而，将该自适应滤波器的至少一个滤波器参数定义为具有第一自适应性级别，并且将至少一个其他滤波器参数定义为具有不同的第二自适应性级别。从可允许滤波器参数值的第一集合中确定或者选择具有第一自适应性级别的滤波器参数的滤波器参数值。可允许滤波器参数值相应的不同的第二集合用于确定具有第二自适应性级别的滤波器参数的滤波器参数值。
由于第二集合包括比第一集合更多的可允许滤波器参数值，因此实现了滤波器参数的自适应性上的不同。
在实施例中，自适应滤波器的滤波器参数是滤波器的滤波器抽头。在该情况中，滤波器具有多个滤波器抽头，该滤波器抽头中的至少一个具有第一自适应性级别，并且该滤波器抽头中的至少一个其他滤波器抽头具有不同的第二自适应性级别。优选地由不同优化准则的优化来确定具有不同自适应性级别的滤波器抽头的相应滤波器系数。例如，可以确定第一粗糙自适应性级别的滤波器抽头的滤波器系数以降低滤波操作的复杂度，该滤波操作使用该自适应滤波器用于滤波输入数据。优选地基于具有粗糙精确度和自适应性的滤波器抽头的限制来确定第二精细自适应性级别的滤波器抽头的滤波器系数，更优选地通过最小化原始数据和经滤波的输入数据之间的误差来确定第二精细自适应性级别的滤波器抽头的滤波器系数。
与使用固定的滤波器相比，本实施例改进了对输入数据进行滤波的精确度。与具有对于所有滤波器系数来说同一个自适应性级别的现有技术自适应滤波器相比，该改进通过在确定自适应滤波器时小得多的计算复杂度而实现。因此本实施例的自适应滤波器在对滤波的结果具有最大影响的滤波器抽头/参数中具有高的精确度和自适应性，并且相反对没有那么大影响的滤波器抽头/参数使用较低的精确度和自适应性。
当阅读下面对实施例的描述时，将理解本文所提供的其他优点。
附图说明
通过参考下列描述以及附图，可以最佳地理解实施例以及这些实施例的其他目标和优点，其中：
图1是示出了根据实施例确定自适应滤波器的方法的流程图；
图2是示出了图1中滤波器确定方法的附加可选步骤的流程图；
图3是示出了图1中滤波器确定方法的附加可选步骤的流程图；
图4是示出了图1中滤波器确定方法的附加可选步骤的流程图；
图5是示出了图1中滤波器确定方法的附加可选步骤的流程图；
图6是示出了图1中滤波器确定方法的附加可选步骤的流程图；
图7是示出了根据实施例使用自适应滤波器对像素块进行编码的方法的流程图；
图8是示出了根据实施例使用自适应滤波器对编码像素块进行解码的方法的流程图；
图9是示出了图8中解码方法的滤波器提供步骤的实施例的流程图；
图10是对帧的视频序列的示意说明；
图11是对像素块和经插值的子像素的说明；
图12是对视频序列中的帧的示意说明；
图13是对被帧内编码为子像素解析度的像素块的说明；
图14是根据实施例用于确定自适应滤波器的设备的示意框图；
图15是根据实施例用于对像素块进行编码的编码器的示意框图；
图16是根据另一实施例用于对像素块进行编码的编码器的示意框图；
图17是根据实施例用于对经编码像素块进行解码的解码器的示意框图；
图18是图17中解码器的滤波器提供器的实施例的示意框图；以及
图19是根据另一实施例用于对编码像素块进行解码的解码器的示意框图。
具体实施方式
在附图中，相同的引用符号将被用于相应或者相似的元素。
本实施例关注于具有在滤波器参数中的不同自适应性级别的自适应滤波器。这意味着对滤波的结果具有较大影响并且因此具有较高重要性的滤波器参数具有精细的自适应性级别，而与滤波的结果不那么相关的其他滤波器参数可以具有较低或者较粗糙的自适应性级别。通过将复杂度放入到那些重要的滤波器参数中并且降低其他滤波器参数的复杂度来进行滤波效率和复杂度之间的折衷。例如，由于不是所有由自适应滤波器滤波的属性值都具有相同的重要性，因此可以显著地降低自适应滤波器确定的整体复杂度以及自适应滤波器的应用，同时通过在本实施例的滤波器中差异化自适应性的应用，依然可以实现充分的效率以及质量。
因此相对于现有技术的自适应滤波器来说，本实施例的自适应滤波器确定和使用在处理复杂度方面得到了极大的简化。然而，即使对复杂度进行了简化，滤波输出的质量依然非常高。
图1是示出了根据实施例确定具有多个滤波器参数的自适应滤波器的方法的流程图。该方法开始于步骤S1，步骤S1将多个滤波器参数中的至少一个滤波器参数定义为具有第一自适应性级别。接下来，将该第一自适应性级别非限制性地定义为相比于第二自适应性级别的粗糙的自适应性级别，认为该第二自适应性级别构成精细的自适应性级别。在步骤S2中定义具有第二、精细自适应性级别的至少一个滤波器参数。在备选的实现中，第一自适应性级别比第二自适应性级别更精细。
一般地，由滤波器的滤波器参数来定义该滤波器。例如，滤波器具有一定数量的抽头，该一定数量的抽头构成该滤波器的滤波器系数。滤波器可以是一维的，即，是具有T个滤波器抽头和系数的T-抽头滤波器，其中T是等于或者大于二的整数值。相应地，二维滤波器具有T1×T2个滤波器抽头，并且因此可以将他们应用于输入数据元素块上，其中T1、T2是相互独立的等于或者大于二的整数值。除了滤波器抽头之外，滤波器可以具有缩放引子，可以将该缩放因子加到输出上以实现对经滤波的数据的缩放。从而，可以将使用T-抽头滤波器来滤波输入数据元素的集合描述为[I1h1+I2h2+…+IThT+FS+2N-1]＞＞N，其中I1-T定义T个输入数据元素，H1-T代表滤波器的T个滤波器系数，FS是缩放因子，2N-1是典型固定的取整因子，N是预定义的整数并且＞＞代表右移位操作。
如本文所使用的，“滤波器参数”从而包含被用于定义具体的自适应滤波器的不同自适应滤波器单元。因此，这种滤波器参数可以是自适应滤波器的滤波器抽头。另一个示例是自适应滤波器的缩放因子。在该情况中，步骤S1和S2可以例如将缩放因子定义为粗糙级别的滤波器参数，并且将全部滤波器抽头或滤波器抽头的子集定义为精细级自适应性的滤波器参数。备选地，步骤S1可以将滤波器抽头的子集定义为构成粗糙的自适应性级别的滤波器参数，同时步骤S2将滤波器抽头的另一个子集定义为精细的自适应滤波器参数。
下文中，主要结合使用滤波器抽头作为自适应滤波器的滤波器参数来讨论实施例。然而，应当将这种方式作为优选，而不是限制本实施例的公开内容，并且可以备选地或者附加地使用其他类型的滤波器参数(比如缩放因子)。
在实施例中，定义步骤S1和S2定义了针对每一个自适应性级别指定的滤波器抽头的数量，以及自适应滤波器中哪一个具体的滤波器抽头应当具有对应的自适应性级别。在优选实现中，基于将要由该自适应滤波器滤波的具体输入，至少部分地执行步骤S 1和S2的抽头定义。例如，如果要将该自适应滤波器应用于像素块中多个参考像素的集合以获得作为滤波输出的插值像素时，在使用自适应滤波器进行滤波中参考像素的相对位置对在确定插值像素中参考像素的具体相关性进行了定义。应当用具有高自适应性级别和精确度的滤波器系数来滤波那些被认为更重要的参考像素位置(典型地(但不总是)在自适应滤波器的中央或者中间位置)，从而增加滤波输出的精确度。这意味着在步骤S2中，将与具有高重要性的参考像素位置相对应的那些滤波器抽头定义为具有精细的自适应性级别，同时应当使用具有粗糙的自适应性级别和精确度的滤波器抽头来滤波其他不那么重要的参考像素位置(典型地，更加远离自适应滤波器中央的位置)。
因此在典型的实施例中，基于要滤波的具体输入数据来选择自适应滤波器中不同滤波器抽头的具体自适应性级别。因此在这些实施例中，对于具体的输入数据类型来说，哪些滤波器抽头应当分别具有粗糙和精细的自适应性级别的定义应当是固定的。
然而，另一个实施例提供了在滤波器抽头的自适应性级别的定义中的调整。从而，可以在优化过程中动态地确定自适应滤波器中的精细和粗糙级别的自适应滤波器抽头的具体分布。从而，在滤波器中不存在固定的精细和粗糙滤波器抽头位置的预定义分布。
从而，可以根据不同的实施例对根据步骤S1和S2的滤波器参数进行定义。这些实施例的共同特征是该自适应滤波器的至少一个滤波器参数具有第一粗糙自适应性级别，同时至少一个其他滤波器参数具有第二精细自适应性级别。
将滤波器参数(比如滤波器抽头)分为不同的自适应性级别当然可以被扩展为具有多于两个自适应性级别。例如，对于三个不同的自适应性级别来说，至少一个滤波器参数(比如滤波器抽头或者缩放因子)具有第一粗糙自适应性级别，至少一个滤波器参数(比如另一个滤波器抽头)具有的第二中等自适应性级别，同时至少一个滤波器参数(比如其他滤波器抽头)具有精细的第三自适应性级别。还可以使用不具有任何自适应性(即，固定)的至少一个滤波器参数(比如滤波器抽头)来补足多个(即至少两个)自适应性级别。在该情况中，自适应滤波器可以例如包括具有粗糙自适应性级别的m个滤波器抽头、具有精细自适应性级别的n个滤波器抽头以及具有固定滤波器系数的o个滤波器抽头，其中m、n、o是相互独立的等于或者大于一的整数。因此对自适应滤波器的确定可以仅影响具有自适应性的m+n个滤波器抽头以及可能的任何其他自适应滤波器参数，同时不可能对该o个滤波器抽头进行调整。
可以如图1所示顺序地进行该两个步骤S1和S2，然而可以交换这两个步骤的具体顺序。备选地，可以在共同的优化或者选择过程中并行地或者甚至同时进行这两个步骤。
下一个步骤S3对在步骤S1中定义的至少一个滤波器参数的滤波器参数值进行确定，并且该滤波器参数值具有第一粗糙自适应性级别。优选地，在可允许滤波器参数值的第一集合中确定这些所谓的粗糙滤波器参数值。在该情况中，自适应性的级别对集合的大小进行定义。从而，较精细的自适应性级别意味着相比于分配给较粗糙的自适应性级别的集合来说，相关联的集合包含更多的可允许滤波器参数值。
步骤S4相应地确定滤波器参数值或者在步骤S2中定义并具有第二精细自适应性级别的至少一个滤波器参数的参数值。类似于步骤S3，步骤S4优选地在可允许滤波器参数值的第二集合中确定滤波器参数值。该第二集合包括N个滤波器参数值，而第一集合包括M个滤波器参数值。为了提供不同的自适应性级别，N大于M。在滤波器参数处于滤波器抽头的形式的情况下，步骤S3确定具有粗糙自适应性级别的自适应滤波器的滤波器抽头的滤波器系数，同时步骤S4确定具有精细自适应性级别的自适应滤波器抽头的滤波器系数。
可以根据不同的实施例来定义滤波器参数值的这两个集合。例如，可以为每一个自适应性级别提供各自的参数表。则该表包含具体的可允许滤波器参数值。因此在步骤S3和S4中对滤波器参数值的确定涉及从相应参数表中选择滤波器参数值。
备选地，在比特数方面，该集合可以定义可允许滤波器参数值的范围，可以用有限的参数值解析度来表示该范围，该范围可用于该自适应滤波器。在该情况中，第一集合可以包含第一区间[α，β]中的参数值，而第二集合包括第二区间[χ，δ]中的参数值，其中χ≤α并且β≤δ，此外，如果χ＝α则β＜δ，并且如果β＝δ，则χ＜α。
其他实施例还使用参数值的区间或者范围[α，β]。然而，在该实施例中，相同的区间对于两个自适应性级别是可用的。在该情况中，在使用粗糙自适应性级别表示滤波器参数值中的解析度可以低于在使用高自适应性级别表示滤波器系数中的解析度。从而，如果针对具体的自适应性级别的解析度是B个比特，这意味着在区间[α，β]中有2B个不同的参数值是可用的。这2B个参数值优选地包括区间的端点值(即α和β)以及2B-2个作为两个端点值不同加权或者线性组合来计算的中间系数值。在该方案中，粗糙自适应性级别的解析度B1小于精细自适应性级别的解析度B2。
在再一个实施中，对于以上的不同自适应性级别来说，相同的参数值区间[α，β]是可用的。然而在该情况中，粗糙自适应性级别仅可以选择该区间中的M个预定义的参数值，而对于精细自适应性级别来说N个预定义的系数值是可用的，其中，M＜N。
此外的实施例具有M个预定义滤波器的第一集合以及N个预定义滤波器的第二集合。第一集合包含M个滤波器，这M个滤波器具有自适应滤波器中滤波器抽头的滤波器系数的不同组合，该自适应滤波器具有粗糙自适应性级别。剩下的滤波器抽头(如果有的话)优选地具有固定的滤波器系数，并且更优选地等于零。相应地，第二集合包括N个滤波器，这N个滤波器具有滤波器抽头的滤波器系数的不同组合，在自适应滤波器中，该滤波器抽头被定义来具有精细自适应性级别。其它滤波器抽头(如果有的话)具有优选为零的预定义滤波器系数。然后将来自第一集合的所谓粗糙滤波器与来自第二集合的精细滤波器组合以提供自适应滤波器。这等价于将滤波器输入与粗糙滤波器卷积以得到第一滤波器输出，并且将滤波器输入与精细滤波器卷积以得到第二滤波器输出，然后对这两个滤波器输出求和。
例如，假定将自适应滤波器定义为[f1 a1 a2 f2]，其中f1，2代表具有粗糙自适应性级别的滤波器系数并且a1，2指示具有精细自适应性级别的滤波器系数。在这种情况中，第一滤波器集合包括M个粗糙滤波器[f1 0 0 f2]，其中，这M个中的每一个具有滤波器系数f1和f2的唯一组合。第二滤波器集合包括N个预定义的精细滤波器[0 a1 a2 0]，该N个精细滤波器具有滤波器系数a1和a2的不同组合。
粗糙和/或精细自适应性级别的滤波器系数可以具有
Figure BPA00001181875800091
的形式，其中x是零或者正数或负数，优选地是整数，并且y是非零归一化因子。可以通过使不同的值x可用于粗糙和精细的自适应性级别，来进行滤波器系数的自适应性。附加地或者备选地，可以改变归一化因子y以得到不同的滤波器系数。该归一化因子与滤波器系数的表示精确度高度相关。一般地，如果需要滤波器系数的精细微调，则典型地使用大的归一化因子。因此可以通过使用改变的归一化因子来获得不同的滤波器特征。
可以通过不同优化准则的优化来执行步骤S3中对粗糙级滤波器参数值的确定以及步骤S4中精细级滤波器参数值的确定。在这种情况中，应用与粗糙级滤波器参数值相关的第一优化准则，同时将不同的第二优化准则用于精细级的参数值。本文中通过下面图2至5来进一步讨论该不同的优化准则的示例。
可以如图中所示顺序地执行步骤S3和S4，然而步骤S3和S4的顺序是可以互换的。备选地，可以并行地或者甚至在共同的系数确定过程中进行步骤S3和S4。在具体实施例中，首先通过根据第一优化准则确定的粗糙级滤波器参数值来进行步骤S3。然后在确定粗糙级滤波器参数值之后执行步骤S4。因此基于对具有低精确度的滤波器参数值的约束，该实施例确定具有高精确度的滤波器参数值。
图2是示出了图1的滤波器确定方法的附加可选步骤的流程图。在该实施例中，在步骤S10中根据最小化或至少降低滤波器操作复杂度的优化准则来执行对粗糙级滤波器系数的确定。从而，为了降低用自适应滤波器对输入数据进行滤波的复杂度，从滤波器系数或者参数值的粗糙集合中选择针对粗糙级滤波器抽头或者滤波器参数的系数值或者参数值。
在步骤S10中，该复杂度最小化的示例是选择系数值以在滤波期间避免乘法(有利于加法和/或移位)。例如，滤波器系数的粗糙集合可以包括系数值
Figure BPA00001181875800101
0、
Figure BPA00001181875800102
其中2L是归一化因子并且L是零或者正整数。典型地，使用定点运算来将优选固定的归一化因子作为滤波中的最后一步操作来执行。在该情况中，如果用于对滤波器参数进行编码的最小量化步长是
Figure BPA00001181875800103
的倍数，则使用粗糙滤波器抽头的这些滤波器系数将滤波操作限制为针对这些粗糙位置的输入数据的加法。否则执行作为移位的滤波器操作，移位在计算上依然比执行乘法要显著地更有效率。
一旦在步骤S10中已经满足优化准则(即最小化滤波复杂度)，则方法继续至图1的步骤S3，在该步骤中基于该标准确定具有粗糙自适应性的滤波器抽头的滤波器系数。
如图3的附加步骤S20所示，针对具有粗糙自适应性级别的滤波器抽头或者滤波器参数的另一个目标或者优化准则是优化自适应滤波器的频率形状。频率形状优化意味着该自适应滤波器可以用于实现更多或者更少的低通滤波。这允许移除在高频域中典型存在的噪音。因此自适应滤波器的具体低通级别取决于输入数据的质量，并且具体地取决于其中存在的噪音。因此，通过在步骤S3中确定粗糙级滤波器系数或者参数值，步骤S20优化自适应滤波器的频率形状，以实现自适应滤波器的所需低通滤波特征。如下面进一步公开的，可以通过使用自适应性缩放因子来调整自适应滤波器的低通滤波特征。
图4示出了可以用于粗糙自适应性级别的另一优化准则。该方法从图1的步骤S2继续进行。取决于粗糙级滤波器抽头或者滤波器参数的值，下一步骤S30优化将被应用于将要滤波的不同输入值或者已滤波数据的缩放，从而改变将被滤波的输入数据的平均值(比如参考像素块)。可以将参考像素块的平均值的改变作为加法或者乘法缩放因子来处理，该缩放因子被包括在具有精细自适应性级别的滤波器抽头的滤波中。然后图1的步骤S3确定粗糙级滤波器抽头，以得到实现该经选择或者经优化的像素值缩放的值。可以例如将加法缩放因子估计为一个或者若干原始像素块的平均值与一个或者若干相应参考像素块的平均值之间的差。如果缩放是乘法的，则可以将缩放因子估计为一个或者若干原始像素块的平均值和一个或者若干相应参考像素块的平均值之间的比。
图5示出了用于具有精细自适应性级别的滤波器抽头或者滤波器参数的优化准则的实施例。该实施例特别适合当为了确定原始像素属性值的预测而对参考像素滤波时使用。在该情况中，优化准则优选地是最小化一个或者若干原始像素块以及通过使用自适应滤波器来滤波参考像素块获得的一个或者若干预测像素块之间的预测误差：
E 2 = Σ n ( S n - Σ i P n - 1 AF i ) 2
其中，S是原始像素块，P是参考像素块并且AF是自适应滤波器。在将E2相对于精细级滤波器系数求导数并且将结果设置为0之后，可以确定精细级滤波器系数。然后根据在步骤S40中对预测误差的最小化，在图1的步骤S4中确定具有精细自适应性级别的滤波器抽头的具体系数值。
如图1所公开的，优选地在编码器中确定本实施例的自适应滤波器，然后可以结合对输入数据进行的编码和解码使用该自适应滤波器。例如，可以同时在帧间(包括双向)和帧内编码中使用本文公开的该自适应滤波器。在该情况中，在帧间编码中，该自适应滤波器可以用于对参考像素块或者将要被编码/解码的当前像素块的帧间预测进行滤波。相应地，在帧内编码中，自适应滤波器可以用于对参考像素块滤波，该参考像素块被用作将要被编码/解码的当前像素块的帧内预测。另外，在帧内和帧间编码中，本文公开的自适应滤波器都可以用于预滤波和/或后滤波和/或循环滤波。
在自适应滤波器的这些应用中，优选地由与编码过程有关的编码器来确定该滤波器。然后将已确定的自适应滤波器以及已编码的数据以信号形式发送给解码器。解码器可以使用以信号形式发送的自适应滤波器的数据描述，并且在解码过程中应用该数据描述。在该情况中，可以以非量化的和非编码的形式来发送该自适应滤波器的滤波器系数。然而，为了降低在以信号形式发送自适应滤波器的信息中的开销，优选地进行如图6所示的量化和编码过程。
方法从图1的步骤S4继续进行。对于自适应滤波器的每一个滤波器系数来说，基于来自参考滤波器的相应系数预测，下一步骤S50确定滤波器系数的预测误差。因此通过计算自适应滤波器的滤波器系数以及参考滤波器的滤波器系数(即系数预测)之间的相应差值来实现该步骤S50；pej＝AFj-RFj，其中，pe代表预测误差，AF表示自适应滤波器，RF指示参考滤波器并且j是具体滤波器抽头的索引。
该参考滤波器优选地是可同时用于编码器和解码器的预定义滤波器。在典型的实现中，该参考滤波器是Wiener滤波器。备选地，结合在基于帧间或者帧内预测的编码期间对像素块进行编码，该参考滤波器可以是帧中之前的像素块的块特有的自适应滤波器的情况下所确定的自适应滤波器。如果使用帧或者片具体的自适应滤波器，则该参考滤波器可以是为视频序列的之前帧或者片确定的自适应滤波器。
下一个可选步骤S51量化所确定的预测误差。在现有技术中存在若干不同的量化过程，并且可以在步骤S51中使用它们。例如，可以逐比特地将预测误差向右移位L步以得到量化的预测误差；peq＝pe＞＞L。另一个量化实施例是将预测误差除以值2L。然而，这实际与逐比特地将预测误差向右位移L步是相同的。在备选方案中，除数不一定必须是二的幂，而是可以备选使用其他非零整数和非整数。
通常用浮点运算来确定自适应滤波器系数，比如half(即浮点16(fp16))、float(即浮点32(fp32))、或者double(即浮点64(fp64))。从而针对一个系数的预测误差典型地是浮点，但是其可以是具有高精确度的定点。在该情况中，可以通过计算每一个滤波器抽头的相应索引来进行对该浮点的量化：
index = sign × int ( abs ( pe ) step + 0.5 )
其中，
Figure BPA00001181875800122
sign表示预测误差的符号，并且如果是负数则为-1，否则为+1。浮点预测误差的精度pe是N-1个比特+1个符号比特。在步骤S52中对索引进行编码。则重构建的预测误差是sign×index×step。当将该重构建的误差与参考滤波器系数相加，便得到滤波器系数。
然后，在步骤S52中对量化的预测误差进行编码，以得到自适应滤波器的编码表示。在步骤S52中可以使用不同的编码算法，例如不同类型的熵编码器，包括但不限于：基于上下文的自适应二元算术编码(CABAC)、基于上下文的自适应可变长度编码(CAVLC)、Golomb-Rice、Huffman或者Tunnstall，这些在本技术领域中都是众所周知的，因此本文不再对其进行讨论。
在这种熵编码中，更可能的并且更短的索引(在比特数量方面)一般地比更长的、更不可能的索引给出更短的码字。
则滤波器的编码表示与(帧间或者帧内)编码数据相关联，并且还可以将该滤波器的编码表示发送至解码器。
以信号形式发送本发明的自适应滤波器的另一个实施例是使用表索引。如前所述，第一表可以包含具有粗糙自适应性级别的滤波器抽头的可用滤波器系数值的集合，并且第二表包括具有精细自适应性级别的滤波器抽头的系数值。在这种情况中，可以为具有自适应性级别的每一个滤波器抽头分配一个系数索引，以及可选地分配一个表索引。在两个自适应性级别(即粗糙和精细)的情况中，该表索引可以是1比特索引，或者在三个或者四个自适应性级别(即零自适应性、粗糙、中等和精细)的情况中，该表索引可以是2比特索引。该索引指向至少第一表和第二表中具体的表，以用于给定的滤波器抽头位置。如果预定义了粗糙和精细自适应滤波器抽头的分布，则不需要表索引。系数索引与相关表中的多个系数值中的一个相关联。因此可以用多个这种表和系数索引的形式来以信号形式发送自适应滤波器。如果精细和粗糙级各自的可用系数值数量相当小时，该实施例特别有效率。
图7是示出使用自适应滤波器对图像或者视频序列的帧中的像素块进行编码的方法的流程图。
参见图10，视频序列1包括多个(即至少两个)帧或者图片10、20。可以进而将该帧10、20视为由一个或者更多片的系列构成，其中该片由像素或者图像元素16、26的一个或者更多宏块14、24构成。该像素16、26具有相关联的属性值，比如颜色(红色、绿色、蓝色)(RGB)、空间、或者亮度(Y)以及色度(Cr、Cb或者有时定义为U、V)。
将像素16、26组织为像素16、26的组或者块14、24。表达“像素块”14、24代表任何现有技术中已知的对帧10、20的划分，并且分为在解码和编码期间同时处理的像素16、26的聚集。一般地，该像素块14、24是像素16、26的矩形块(R×T)或者正方形块(R×R)。该分组的示例是视频压缩标准中的宏块。宏块一般具有16×16个像素16、26。宏块可以包含多个所谓的子宏块分区，比如16×8、8×16、8×8、8×4、4×8以及4×4个像素16、26。通常将8×8子宏块分区定义为子宏块或者子块，而将4×4分区定义为块。
图7的第一步骤S60估计与参考像素块相关联的或者指向参考像素块的参数或者位移表示。将在对当前像素块中的像素的属性值进行编码中使用该参考像素块，或者更正确的是像素块中像素的参考属性值。
如下通过步骤S61和图11所描述的，该步骤S60的估计典型地涉及使用固定插值滤波器。参数表示包括在帧间预测中具有子像素精确度的运动向量。
如图10所示，为了执行像素块14的帧间编码，该参数表示可以指的是视频序列1中的另一个帧或者参考帧20中的参考像素块24。然后，除非这是预定义的，否则这种位移表示包括参考帧20的标识符，比如使用视频序列1中前一个编码帧i-1作为当前帧i 10中像素块14的参考帧20。此外，该表示包括所谓的位移或者运动向量40，位移或者运动向量40确定参考像素块24在参考帧20中相对于相应像素块位置的位置，当前像素块14占用当前帧10。该估计一般涉及执行可以根据现有技术来进行的参数估计，比如在[1、4、6-7]中所描述的那些现有技术。简而言之，对一个或者更多候选参考帧中的一定数量的候选参考像素块进行调查，以确定这些候选参考像素块中的哪些参考像素块具有与将被编码的当前像素块14的像素属性值(在某种意义上)最匹配的像素属性值。在该像素块搜索中使用的误差标准可以是对候选像素块以及当前像素块中的属性值的绝对差值的和(SAD)，或者是作为误差标准的说明性示例的差的平方和(SSD)。
备选地并且如图12所示，该参数表示可以指的是相同帧10中在帧内编码的情况中作为当前像素块14的参考像素块18。可以根据与不同预测方向相关联的不同预测模式来执行帧内编码。在该情况中，位移表示对可用的预测模式或者方向中的一个进行定义。可以根据众所周知的技术来执行该估计，比如在[1、8]中所公开的。简而言之，基于当前像素块14的属性值，可以使用率失真优化技术来确定哪个帧内预测给出(某种意义上)最佳率失真性能。
基于步骤S60中识别的参考像素块，下一个可选步骤S61确定当前像素块的像素块预测。在实现中，可以将参考像素块直接用作像素块预测。然而，在其他应用中，可以通过允许子像素属性值来实现预测中增加的精确度。在该情况中，通过用一个或者更多插值滤波器来对参考像素块的像素属性值滤波，在步骤S61中确定像素块预测。因此步骤S61提供插值滤波器或者插值滤波器集合，该插值滤波器或者插值滤波器集合可应用于被识别的参考像素块中的至少一部分像素的属性值。该插值滤波器可应用于像素以获得子像素或者分数像素属性值。例如，可以将一个或者更多插值滤波器应用于参考像素块中的属性值集合，以获得半像素(1/2)、四分之一像素(1/4)或者甚至八分之一像素(1/8)解析度。如本领域众所周知的，可以提供第一插值滤波器以获得第一级别的子像素解析度，比如半像素解析度。然后可以将第二插值滤波器(比如双线性滤波器)应用于半像素像素值及其相邻的全像素值，以获得第二级别的子像素解析度，比如四分之一像素解析度。
在步骤S61中提供的插值滤波器可以是固定滤波器，比如在H.264中使用的插值滤波器。在H.264中，首先应用具有滤波器系数[1 -520 20 -5 1]/32的滤波器来获得半像素值，然后应用双线性滤波器来获得四分之一像素解析度。
本发明预期：用于在步骤S61中确定像素块预测的至少一个插值滤波器可以是不可分离的2维滤波器，即同时在垂直和水平方向上进行滤波。备选地，在插值过程中使用可分离的垂直和水平插值滤波器。
在备选实现中中，不使用固定插值滤波器并且省略步骤S61。明显相反地，使用本文所公开的自适应滤波器作为自适应插值滤波器，在该情况中，用至少一个自适应插值滤波器来对参考像素块滤波，以在步骤S63中确定像素块预测。
图11示意地示出了使用在参考帧中确定的参考块24以及此外参考帧中相邻像素块的一些值来生成插值像素块预测。该图示出了基于全像素像素值，对半像素以及四分之一像素值进行插值的概念。在图中，用大写字母代表全像素值，而用小写字母代表子像素值。
在所示出的图中，假定了6抽头插值滤波器。在第一实施例中，首先逐行应用这种滤波器来计算值b1、b2、b、b4至b6。然后逐列应用相同的滤波器或者另一个插值滤波器来获得值d1至d2、h以及d4至d6。还可以在由b1、b2、b、b4至b6形成的列上应用该滤波器以计算j。所有这些值都是半像素值。然后在已计算的半像素位置和存在的全像素位置处应用双线性滤波器来获得四分之一像素值a、c、d、e、f、g、i、k、l、m、n以及o。
备选地，可以使用三个分离的6抽头水平滤波器，并将其应用到C1至C6以计算半像素21和四分之一像素23的值a、b和c。优选地还可以向行应用该相同的水平滤波器以获得值ai、bi以及ci，其中i＝1、2、4、5、6。然后可以在列A3-F3、a1-a6、b1-b6、c1-c6上应用12个垂直插值滤波器(每列三个滤波器)以计算剩余的半像素25和四分之一像素27的值。然后由像素值C3、a-o形成的块形成当前像素块的插值预测。
图13是具有多个像素块14、18的帧10的一部分的示意图。在帧内预测中，参考像素块由来自相同帧10的一个或者更多相邻像素块18的像素构成。从哪些相邻像素块18获取像素值取决于分配给当前块14的位移表示。图13示出了该概念以及帧内插值。在该情况中，对块14中像素16的像素值的预测是来自位于当前像素块14的对角线上方的像素块18的插值值11。向量40说明了在帧内预测中使用的预测方向。在该情况中，根据下面表I，存在可用帧内预测和位移表示的不同集合：
表I-帧内预测方向
Figure BPA00001181875800171
表I中列出的数字指代帧内预测向量40相对于水平轴的角度45。对于集合1-4的帧内预测方向来说，可要求像素插值。
下一个步骤S62根据如本文之前所描述的实施例来确定至少一个自适应滤波器。在步骤S63中优选地将该至少一个自适应滤波器应用于参考像素块的像素属性值，从而提供经滤波的像素属性值。
在用于帧间预测的自适应滤波器的实现中，以片或者帧为基础对自适应滤波器进行优化，用于相应的子像素位置a-o或者子像素位置的集合。则这意味着可以在之前的步骤S60和S61中的任意一个之前执行步骤S62，并且可以对当前片或者帧分别进行步骤S62。
在任意一种情况中，可以将在步骤S63中使用确定的自适应滤波器对参考像素块进行滤波(或者为当前像素块确定的或者为更高级别(比如片或者帧)优化的)视为使用该自适应滤波器对来自步骤S60的参数估计求精。
在步骤S64中，基于将被编码的当前像素块的属性值以及来自步骤S63的经滤波的参考像素块的属性值，计算残留误差。更优选地，将该预测误差计算为当前像素块和用至少一个自适应滤波器滤波后的参考像素块之间的差值。如果执行步骤S61，优选地在步骤S61中基于将被编码的当前像素块的属性值、来自步骤S61的像素块预测的属性值、来自步骤S60的参考像素块的属性值以及在步骤S62中确定的自适应滤波器来计算残留误差。更优选地，将预测误差计算为当前像素块和像素块预测之间的差值，并且用至少一个自适应滤波器对参考像素块滤波。
然后，在步骤S65中将当前像素块编码为对位移表示以及残留误差表示的表示。像素块的编码表示优选地还包括如前所述的自适应滤波器的表示。备选地，可以以帧或者片为基础来发送该自适应滤波器表示。对于每一个参数表示或者参数表示的集合，该自适应滤波器表示还可以是特定的，例如，图11中的子像素位置a-o或者表I中的帧内预测方向。
然后，方法结束。
自适应滤波器示例
如果在一个方向上执行对参考像素块的插值，具有不同自适应性级别的滤波器抽头的自适应滤波器的实施例可以是6抽头滤波器[f1 f2 a1 a2 f2 f1]，其中，f1表示具有粗糙自适应性级别的滤波器抽头1和6的滤波器系数，f2表示具有粗糙自适应性级别的滤波器抽头2和5的滤波器系数，以及a1和a2表示具有精细自适应性级别的滤波器抽头3和4的滤波器系数。这种类型的自适应滤波器可以将参考像素属性值进行位移以更好的匹配目标像素属性值(具体地，通过改变a1和a2的值)。通过改变滤波器系数f1和f2，可以改变自适应滤波器的频率形状。当所有滤波器系数的和不等于一时，这种类型的滤波器还可以对参考像素属性值进行缩放。
对于表示图11所示的帧间预测和插值中的子像素位置a、c、d以及l，自适应滤波器的该实施例是有用的。
自适应滤波器的另一个示例是使用4×4自适应插值滤波器。
f 1 f 2 f 2 f 1 f 2 a 1 a 2 f 2 f 2 a 3 a 4 f 2 f 1 f 2 f 2 f 1
在该自适应滤波器中，用具有精细自适应性级别的四个滤波器抽头a1、a2、a3以及a4对该滤波器的中央部分进行建模。由具有粗糙自适应性级别的两个不同滤波器系数f1和f2的滤波器抽头来环绕该滤波器中央。
该自适应滤波器可以通过让ai，i＝1-4具有不同值来同时在水平和垂直方向上对参考像素进行位移。通过改变f1和f2，可以改变自适应滤波器的频率形状。当所有滤波器系数的和不等于一时，该类型的滤波器还可以对参考像素属性值进行缩放。该4×4自适应滤波器对于表示图11所示的帧间预测和插值中的子像素位置e、f、g、i、k、m、n以及o是有用的。
半像素位置j的备选是使用类似于b和h的对称方案。在该情况中，在如上所述的4×4自适应插值滤波器中，用a2来代替ai，i＝1-4，并且用a1来代替f2。
用于在一个方向上进行滤波的自适应滤波器的其他示例是使用具有两个精细自适应滤波器系数a1和a2以及单个粗糙自适应滤波器系数f1的6抽头滤波器[f1 a1 a2 a2 a1 f1]。在该情况中，可以取决于滤波器系数的值来使得参考像素平滑或者锐利。该滤波器对于表示图11所示的帧间预测和插值中的子像素位置b以及h是有用的。
自适应滤波器的另一个示例是具有12个非零滤波器抽头的稀疏6×6自适应插值滤波器。
f 1 0 0 0 0 f 1 0 a 1 0 0 a 1 0 0 0 a 2 a 2 0 0 0 0 a 2 a 2 0 0 0 a 1 0 0 a 1 0 f 1 0 0 0 0 f 1
用具有精细自适应性级别的两个滤波器系数a1和a2对该自适应滤波器的中央部分进行建模。角落滤波器抽头具有粗糙自适应性级别的相同滤波器系数f1。在该情况中，可以取决于滤波器系数的值使得参考像素平滑或者锐利。该自适应滤波器适合表示图11所示的帧间预测和插值中的子像素位置j。
用于在一个方向上进行滤波的自适应滤波器的另一个示例是具有加法缩放因子的6抽头滤波器[g a1 a2 a3 a1 g]+f1。用具有精细自适应性级别a1、a2以及a3的三个滤波器系数对该6抽头滤波器部分进行建模。限制该6抽头滤波器部分为合计等于一，例如由于
Figure BPA00001181875800201
因此没有参考像素值的乘法缩放。一个具有粗糙自适应性级别的滤波器参数f1让参考像素的加法缩放成为可能。该加法缩放因子用于使用与参考像素值无关的6抽头滤波器部分来调整预测。在定点实现中，优选地在对用6抽头滤波器部分进行滤波的结果进行取整和向右移位之前，应用该加法缩放因子。
用于在一个方向上进行滤波的自适应滤波器的另一个示例是具有乘法缩放因子的6抽头滤波器[g a1 a2 a3 a1 g]*f1。用具有精细自适应性级别a1、a2以及a3的三个滤波器系数对该6抽头滤波器部分进行建模。将该6抽头滤波器部分限制为合计等于一，例如由于
Figure BPA00001181875800202
因此没有参考像素值的乘法缩放。一个具有粗糙自适应性级别的滤波器参数f1让参考像素的乘法缩放成为可能。该乘法缩放因子用于使用取决于参考像素值的6抽头滤波器部分来调整预测。优选地在进行滤波之前，应用该乘法缩放因子。
图8是示出了对编码图像或者视频序列的帧中的编码像素块进行解码的相应方法的流程图。该方法在步骤S70中开始，在步骤S70中识别参考像素块。该步骤S70可以可选地涉及识别与当前像素块相关联并且包括该参考像素块的参考帧。如果对该像素块进行帧内编码，则参考帧是视频序列中的当前帧。然而，对于帧间编码的像素块来说，该帧可以例如是已经解码的之前的帧。在该情况中，该参考帧在视频序列中可以具有相对于当前帧的预定时间位置，比如是最接近的之前的帧。备选地，将帧识别器与当前帧、当前片或者甚至当前像素块相关联，用于识别所需的参考帧。
利用参考帧中被识别出的参考像素块来作为对当前像素块的预测。基于与像素块相关联并且出现在编码帧中的参数表示来执行该像素块识别。该表示可以是指向参考帧中的参考像素块的位移或者运动向量。备选地，该参数表示可以指定与具体解码方向相关联的具体帧内模式，用于识别帧中的相邻像素以使用作为当前像素块的预测。
可选的下一个步骤S71基于识别出的参考块来确定像素块预测。如针对图7的块编码方法所讨论的，可以直接使用该参考像素块作为像素块预测。在该情况中可以省略该步骤。然而，在备选实施例中，通过用至少一个插值滤波器对参考像素块进行插值来获得像素块预测，以获得子像素像素属性值。
可以预定义该至少一个插值滤波器(比如至少一个水平插值滤波器和至少一个垂直插值滤波器)，比如使用H.264插值滤波器。备选地，可以将解码器配置为重新使用帧中先前已解码像素块的插值滤波器。还可以基于不同标准(例如两个像素块之间的DC级别差值、像素块的残留误差中的差值等等)，通过修改用于相邻解码像素块的插值滤波器的滤波器系数，来对此进行扩展。还可以将像素块与修改表示的滤波器相关联，将该表示应用于相邻像素块的插值滤波器以获得将被用于当前像素块的插值滤波器。甚至可以通过实际在至少一个插值滤波器中包括滤波器系数的表示来扩展该概念。
下一个步骤S72提供本文公开的至少一个自适应滤波器。该编码像素块优选地包括该至少一个自适应滤波器的滤波器系数的表示。然后步骤S72的提供涉及基于该表示生成至少一个自适应滤波器。例如，可以以非量化和非编码的形式来提供该滤波器系数。然后步骤S72涉及从编码数据中取回该滤波器系数。备选地，该表示可以包括系数索引，并且优选地包括滤波器抽头的表索引。在该情况中，这些索引用于从具有粗糙自适应性级别的表中取回抽头的正确的滤波器系数，或者用于从具有高自适应性级别的系数的表中取回抽头的正确的滤波器系数。
在图9的流程图中说明了步骤S72的其他实施例。滤波器提供在步骤S80中开始，在步骤S80中对自适应滤波器的编码表示(即编码和量化的预测误差)进行解码。步骤S80的解码基本上是图6的编码步骤S52的反向操作。从而优选地根据熵解码来进行该解码，熵解码例如CABAC、CAVLC、Golomb-Rice、Huffman或者Tunnstall。解码的结果是自适应滤波器的每一个滤波器系数的相应量化预测误差。在步骤S81中对这些被量化的预测误差进行反量化。由编码器执行的量化过程来指定该具体的反量化操作。例如，该反量化可以涉及将量化预测误差逐比特向左位移L步：pe＝peq＜＜L。备选地，将量化预测误差乘以量化因子(比如作为二的幂的因子2L)，以获得反量化的预测误差。该量化参数L、2L可以是固定的，或者可以出现在编码像素块中。另一个方案是在从预测误差计算索引的情况中，由sign×index×step来重构建预测误差。当将该重构建的预测误差与参考滤波器系数相加时，得到滤波器系数。
在步骤S82中基于反量化的预测误差和参考滤波器(比如预定义的Wiener滤波器)来确定该自适应滤波器的滤波器系数。用于当前像素块的备选参考滤波器是为在当前帧或者视频序列中已经解码的之前的像素块、之前的片或者之前的帧提供的自适应滤波器。典型地通过将相应的预测误差与参考滤波器的相应滤波器系数相加来确定滤波器系数。
一旦已经提供了至少一个自适应滤波器(比如根据图9的实施例)，在步骤S73中使用该至少一个自适应滤波器对参考像素块的像素属性值进行滤波。在步骤S73中，可以在一步或者两步滤波过程中对在步骤S70中识别出的参考像素块的参考像素属性值进行滤波，以获得滤波器属性值。一步骤滤波过程同时在水平和垂直方向对参考像素进行滤波。在两步过程中，在不同步骤中可能使用不同的自适应滤波器来执行水平和垂直滤波。
作为参考块使用的像素块可以与将被解码的像素块的不同像素不一样，特别是对于帧内解码来说。从而，使用第一相邻像素组作为针对一些像素的两步滤波过程中的参考像素块，而在涉及一个或者更多参考相邻像素块的分别的两步过程中获得其他像素属性值。
预期在步骤S73中进行的滤波不一定仅涉及参考像素块的像素，而是实际可能还包含被部分解码的帧中的一些相邻像素。从而，得到在块边界上的共同滤波(co-filtering)。
最终，步骤S74基于步骤S73中滤波的像素属性值以及与编码像素块相关联的残留误差的表示来生成编码像素块的解码表示。基本上，逐像素的将经滤波的参考像素属性值与残留误差相加以得到解码像素块的最终表示。备选地，在解码表示的生成中还可以使用像素块预测的属性值，并且因此将像素块预测的属性值逐像素的与经滤波的参考像素属性值以及残留误差的和相加。然后方法结束。
在之前的描述中，主要结合修改帧间或者帧内预测来描述本实施例的自适应滤波器，比如将本实施例的自适应滤波器用于精细地调整帧间/帧插值值。然而该自适应滤波器还可用于其他应用，比如预滤波、后滤波和/或循环滤波。
图14是根据实施例的自适应滤波设备100的示意框图。该自适应滤波设备100包括滤波器参数定义器110，其用于将多抽头自适应性参数定义为具有第一粗糙自适应性级别。该参数定义器110还将自适应滤波器的至少一个滤波器参数定义为具有第二精细自适应滤波器级别。如前所述，可以将其扩展描述为具有多于两个不同的自适应性级别，和/或还将至少一个滤波器参数定义为具有零自适应性级别，即具有固定的滤波器参数值。该参数定义器110可以将滤波器抽头以及可选地缩放因子定义为优选类型的具有不同自适应性级别的滤波器参数。
在自适应滤波设备100上实施第一粗糙参数确定器120，用于确定与参数定义器110所确定的具有粗糙自适应性级别的至少一个滤波器参数相对应的滤波器参数值。该粗糙参数确定器120优选地在可允许滤波器参数值的第一粗糙集合中确定相应的滤波器参数值。在该情况中，该自适应滤波设备100优选地包括滤波器存储器140，该滤波器存储器140包括第一粗糙表142，该第一粗糙表142包括具有粗糙自适应性级别的M个可允许滤波器参数值的集合。
基于优化标准的优化，该粗糙参数确定器120优选地确定具有粗糙自适应性级别的至少一个滤波器参数的滤波器参数值。可以使用任何之前讨论的优化标准，包括当用自适应参考滤波器对输入数据滤波时最小化滤波器操作的复杂度、优化自适应滤波器的频率形状和/或优化自适应滤波器所滤波的参考像素集合的像素属性值的缩放或者偏移量。
自适应滤波设备100还包括第二精细滤波器参数确定器130。与粗糙参数确定器120相对应的，该精细滤波系数参数130被配置为用于确定与参数定义器110定义的具有精细自适应性级别的至少一个滤波器参数相对应的滤波器参数值。该精细参数确定器130优选地从包括该自适应性级别的多个可用参数值在内的集合中选择该/这些精细自适应滤波器参数的具体滤波器参数值。该第二精细集合还包括比可用于粗糙参数确定器120的第一粗糙集合更多的不同参数值。
在典型实施例中，滤波器存储器140包括第二粗糙表144，该表144包括精细自适应性级别的可用的N个系数值，其中M＜N。
优选地实现该精细参数确定器130，以在粗糙参数确定器120已经确定粗糙级滤波器参数值之后确定精细级滤波器参数值。在该情况中，基于具有低精确度的滤波器参数值(即粗糙级系数)的限制来确定具有高精确度的滤波器参数(即精细级系数)。
基于第二优化准则的优化，精细参数确定器130优选地为具有精细自适应性级别的滤波器参数选择或者确定滤波器参数值，典型地，该第二优化准则与粗糙参数确定器120的优化准则不同。例如，该精细参数确定器130优选地通过最小化至少一个原始像素属性值和至少一个所预测的像素属性值之间的误差来确定该精细自适应滤波器参数值，其中，通过使用自适应滤波器对多个参考像素的集合进行滤波来获得该至少一个所预测的像素属性值。
自适应滤波设备100还可以确定已确定的自适应滤波设备100的表示。然后还可以从编码器向解码器发送该表示。与和自适应滤波器的所有单个滤波器参数相对应的比特序列相比，该自适应滤波器的表示在比特数量上优选地要更小。对于自适应滤波器的每一个滤波器抽头来说，该表示的示例将包括对粗糙表142和精细表144中的表进行识别的表索引。如果该自适应滤波器分别具有其粗糙和精细级滤波器抽头的预定位置，则可以省略该表索引。另外，对于每一个滤波器抽头来说，该表示包括对表142、144中一个系数值进行识别的系数索引，识别是通过表索引或者通过自适应滤波器中具体抽头位置的预定义自适应性级别来进行的。
在备选实施例中，滤波器设备100包括误差计算器150，针对自适应滤波器的每一个滤波器系数，误差计算器150用于基于滤波器系数和参考滤波器的系数预测来计算预测误差。该参考滤波器可以是自适应滤波设备100的存储器位置146中包括的固定滤波器。备选地，如果操作该自适应滤波设备100以确定图像或者视频序列的帧中像素块序列的至少一个自适应滤波器，则该参考滤波器等价于于针对之前的像素块确定的自适应滤波器。
实现误差量化器160，以根据任何一个之前公开的量化算法来量化由误差计算器150计算的预测误差。
该自适应滤波设备100优选地还包括误差编码器170，比如具有熵编码器的形式的误差编码器170，误差编码器170用于通过对量化后的预测误差进行编码(优选地，熵编码)来生成自适应滤波器的编码表示。
从而该编码表示包括这些编码以及量化后的预测误差，可选地还包括使用的量化参数以及可选地该参考滤波器的标识符。
可以将自适应滤波设备100的单元110-130、150-170作为硬件、软件或者硬件和软件的组合来提供。
图15是用于对视频序列的帧中的像素块进行编码的编码器200的示意框图。通过参数估计器210从相同帧或者之前帧中已经提供的像素块来执行位移表示估计，对当前像素块进行预测。在帧间预测的情况中，估计的结果是与参考像素块相关联的位移向量。位移补偿预测器220利用该位移向量，使用可选的预测确定器240来输出像素块的帧间预测。该预测确定器240可以是编码器200分离的功能，或者构成位移补偿预测器220和/或帧内预测器230的一部分。该预测确定器240优选地通过用至少一个插值滤波器来对参考像素块的像素属性值进行滤波，以确定像素块预测，该至少一个插值滤波器是从滤波器存储器270获取的或者由如图14所示的设备100所确定的。
备选地，帧内预测器230选择帧内预测方向作为方向表示。该帧内预测器230还计算像素块的帧内预测，优选地通过使用至少一个插值滤波器并且使用参数估计器210或者如图14所述的设备100的操作来进行计算。
在编码器200中实现用于如前所述地确定至少一个自适应滤波器的设备100。该设备100可以构成如图所示的位移补偿预测器220和/或帧内预测器230的一部分。备选地，可以在编码器200的其他地方实现该设备100。在这两种情况中，设备100确定可应用于参考像素块的像素属性值的至少一个自适应滤波器。
将帧间或者帧内预测转发至误差计算器250，基于原始像素块的像素属性值、为来自设备100的至少一个自适应滤波器所滤波的参考像素块的像素属性值以及可选地像素块预测的像素属性值，误差计算器250对残留误差进行计算。
使用块编码器360(比如熵编码器)对残留误差进行变换(比如离散余弦变换)和量化，然后进行编码。在帧间编码中，还将所估计的位移向量发送到编码器260处，用于生成当前像素块的编码表示。该编码表示优选地还包括由设备100确定并且用于对参考像素块进行滤波的至少一个自适应滤波器的表示。
可以将编码器200的单元100、210-260作为硬件、软件或者硬件和软件的组合来提供。
图16是根据另一个实施例的编码器200的示意框图。编码器200包括如前面通过图15描述的参数估计器210、位移补偿预测器220以及帧内预测器230。实现可选的帧内插值器235，以在帧内模式下运行时确定像素块预测。然后，该帧内插值器235使用至少一个插值滤波器或者至少一个自适应插值滤波器，并且将其应用于来自帧内预测器230的参考像素块，以生成像素块预测。
将该像素块预测和参考像素块转发至误差计算器250，误差计算器250将残留误差计算为原始像素块与参考和预测像素块的属性值之间的差。变换该残留误差(例如，通过离散余弦变换252)并且将其量化254，之后是进行编码260。
还向反量化器256以及反变换器258提供当前像素块的变换和量化后的残留误差，以取回原始的残留误差。将该原始残留误差误差与参考像素块和从位移补偿预测器220或者帧内插值器235输出的像素块预测相加，以创建可以在对该帧的下一个像素块进行预测和编码中使用的参考像素块。在让新的参考像素块对于帧内预测器230、参数估计器210以及位移补偿预测器220可用之前，首先可以由解块滤波器280对该新的参考像素块进行处理。
图17是用于对编码后的图像或者视频序列的帧中经编码的像素块进行解码的解码器300的示意框图。在该实施例中，解码器300包括用于识别视频序列中相同帧或者另一个帧中的参考像素块的块识别器310。该块识别器310使用与编码后的像素块相关联的参数表示，在帧间预测的情况中，该参数表示可以是位移向量，并且在帧内预测的情况中可以是模式识别器。
在解码器300中实施可选的预测确定器320，用于基于由块识别器310识别的参考块以及优选地从滤波器存储器360提供的至少一个插值滤波器或者来自滤波器提供器330的至少一个自适应插值滤波器，来确定像素块预测。
在解码器300中实现滤波器提供器330，用于提供与编码像素块相关联并且优选地在编码像素块的比特流中包括的至少一个自适应滤波器。备选地，解码器300可以之前已经接收到该至少一个自适应滤波器的表示，并且因此该表示出现在滤波器存储器360中。
解码器300包括滤波器单元340，该滤波器单元340使用来自滤波器提供器330的至少一个自适应滤波器对来自块识别器310的参考像素块的像素属性值进行滤波。
然后，块解码器350使用来自滤波器单元340的滤波后的参考像素块、可选的来自预测确定器320的像素块预测以及编码后的像素块中包括的残留误差的表示，来生成编码像素块的解码表示。
可以将解码器300的单元310至360作为硬件、软件或者硬件和软件的组合来提供。
图18是图17的解码器300中的滤波器提供器330的实施例的示意框图。该滤波器提供器330包括滤波器解码器332，用于对至少一个自适应滤波器的编码表示进行解码以获得量化后的预测误差的集合，优选地，针对自适应滤波器中的每一个滤波器抽头有一个这样的预测误差。滤波器解码器332优选地是熵解码器。将量化后的预测误差输入反量化器334，实现反量化器334来对预测误差进行反量化，以获得预测误差的集合。然后，滤波器确定器336使用这些预测误差与参考滤波器(比如固定的，可能是Wiener滤波器或者之前已解码的自适应滤波器)来确定该至少一个自适应滤波器的滤波器系数。
可以将滤波器提供器330的单元332至336作为硬件、软件或者硬件和软件的组合来提供。还可以在滤波器提供器330中实现全部单元332至336。备选地，具有解码器中其他地方提供的单元332至336中的至少一个的分布式实现是可能的。
图19是解码器300的另一个实施例的示意框图。解码器300包括块解码器350，用于对编码像素块的编码表示进行解码以获得量化和变换后的残留误差的集合。对这些残留误差进行反量化352以及反变换354，以获得残留误差的集合。
将这些残留误差与参考像素块的属性值和像素块预测的属性值相加。取决于执行帧间还是帧内预测，通过位移补偿370或者帧内插值380来确定参考像素块的属性值。此外，通过使用至少一个自适应滤波器对来自位移补偿370或者帧内插值380的参考像素进行自适应滤波，来获得像素块预测的属性值。
示例
该示例说明了关键技术区域(KTA)中具有方向性的自适应插值滤波(DAIF)的复杂度简化。该示例说明了对于定点运算可以将DAIF的滤波复杂度平均降低21％，并且对于浮点运算平均降低31％。可以将自适应滤波器系数的计算降低大约12％。对于视频编码专家组(VCEG)公共编码测试条件来说，相比于DAIF以增加0.8％的平均比特率为代价降低滤波复杂度6％。对于浮点运算来说，相比于DAIF复杂度降低9％。
方案
先前已经针对可分离的插值滤波执行了根据位移和频率形状属性的不同子像素位置a至o的参数化(参见图11)[9]。在该情况中，该参数化被用于KTA模型1.6[10]中的DAIF[4]，并在此处表示为DAIFM。在[9]中类似地，将H.264固定插值滤波器用于获得宏块分区和运动向量。然后，类似地进行对预测误差的最小平方最小化以获得滤波器参数。如前所述，然后用优化的滤波器对帧进行编码，并且如果率失真成本低于H.264滤波器所编码的帧的成本，则选择该帧以使用自适应滤波器进行编码。
在该情况中，选择两个滤波器模型中的一个来表示五个滤波器集合中的每一个。从预测误差的最小平方最小化中确定每一个滤波器集合的滤波器模型参数：
E 2 = Σ n ( S n - Σ i P n - i IF i + Σ j P n - j PF j ) 2
其中，S是原始帧，P是参考帧，IF是参考插值滤波器，PF是自适应滤波器，i是所选参考插值滤波器系数的索引，以及j是模型参数的索引。在将E2关于滤波器参数求导并且将结果设置为0之后，给出Axm＝b。A是大小为2×2的自相关矩阵并且b是针对特定子像素位置的大小为2×1的互相关向量，以及xm是滤波器模型m的滤波器参数。
在该示例中，可以将自适应滤波器视作由具有粗糙自适应性级别的滤波器抽头的自适应滤波器以及具有精细自适应性级别的滤波器抽头的至少一个自适应滤波器构成。另外，对于每一个子像素位置，可以从两个预定义的滤波器的一个中选择粗糙级别的自适应滤波器，从而得到粗糙滤波器参数的两级自适应性。
图11中的子像素位置b和h可以使用根据模型1和模型2的下列自适应滤波器：
模型1：[1  -5 20 20 -5  1]/32-[a12 a11 a11 a12]
模型2：[-1 3  14 14 3  -1]/32-[a12 a11 a11 a12]
图11中的子像素位置a和d可以使用根据模型1和模型2的下列自适应滤波器：
模型1：[1  -5 52 20 -5 1]/64-[a21 a22]
模型2：[-1 0  25 9  0  -1]/32-[a21 a22]
图11中的子像素位置c和l可以使用根据模型1和模型2的下列自适应滤波器：
模型1：[1  -5 20 52 -5 1]/64-[a22 a21]
模型2：[-1 0  9  25 0  -1]/32-[a22 a21]
图11中的子像素位置j可以使用根据模型1和模型2的下列自适应滤波器：
模型1： 1 0 0 0 0 1 0 - 5 0 0 - 5 0 0 0 20 20 0 0 0 0 20 20 0 0 0 - 5 0 0 - 5 0 1 0 0 0 0 1 × 1 64 - 0 0 0 0 0 0 0 a 31 0 0 a 31 0 0 0 a 32 a 32 0 0 0 0 a 32 a 32 0 0 0 a 31 0 0 a 31 0 0 0 0 0 0 0
模型2： - 1 0 0 0 0 - 1 0 2 0 0 2 0 0 0 7 7 0 0 0 0 7 7 0 0 0 2 0 0 2 0 - 1 0 0 0 0 - 1 × 1 32 - 0 0 0 0 0 0 0 a 31 0 0 a 31 0 0 0 a 32 a 32 0 0 0 0 a 32 a 32 0 0 0 a 31 0 0 a 31 0 0 0 0 0 0 0
图11中的子像素位置e可以使用根据模型1和模型2的下列自适应滤波器：
模型1： 1 0 0 0 0 1 0 - 5 0 0 0 0 0 0 52 0 0 0 0 0 0 20 0 0 0 0 0 0 - 5 0 0 0 0 0 0 1 × 1 64 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 a 41 0 0 0 0 0 0 a 42 0 0 0 0 0 0 0 0 0 0 0 0 0 0
模型2： - 10 0 0 0 0 0 0 0 0 0 0 0 0 0 25 0 0 0 0 0 0 9 0 0 0 - 5 0 0 - 5 0 0 0 0 0 0 - 1 × 1 32 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 a 41 0 0 0 0 0 0 a 42 0 0 0 0 0 0 0 0 0 0 0 0 0 0
子像素位置o的自适应滤波器是e的相应自适应滤波器的镜像，并且类似地但沿着另一条对角线来产生m和g。
图11中的子像素位置f可以使用根据模型1和模型2的下列自适应滤波器：
模型1： 1 0 0 0 0 1 0 - 5 0 0 - 5 0 0 0 52 52 0 0 0 0 20 20 0 0 0 - 5 0 0 - 5 0 1 0 0 0 0 1 × 1 128 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 a 51 a 51 0 0 0 0 a 52 a 52 0 0 0 0 0 0 0 0 0 0 0 0 0 0
模型2： - 1 0 0 0 0 - 1 0 0 0 0 0 0 0 0 13 13 0 0 0 0 5 5 0 0 0 - 5 0 0 - 5 0 - 1 0 0 0 0 - 1 × 1 32 - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 a 51 a 51 0 0 0 0 a 52 a 52 0 0 0 0 0 0 0 0 0 0 0 0 0 0
子像素位置n的自适应滤波器是f的相应自适应滤波器的镜像，并且类似地但逆时针旋转90°来产生I和k。
在将针对相应滤波器的模型滤波器集合进行优化之后，用9个比特对滤波器参数进行量化，一个符号比特以及用于大小的8个比特。然后选择具有最小平方误差的模型来表示相应的滤波器集合。然后针对每一个滤波器集合，执行对所选择的滤波器参数和滤波器参数中的一个之和执行编码。
滤波复杂度
下面，将针对定点运算的子像素插值的平均操作数量与H.264、DAIF和DAIFM的8×8像素块插值在最差情况下的操作数量进行比较。从[4]中得到DAIF的数量。假定乘法、加法和移位的成本是相同的。则与[11]中类似地计算对子像素位置进行确定的平均成本。
H.264
下面是针对不同子像素位置的操作数量的计算：
aop、cop、dop、lop：C3+b+1＞＞1→12个操作
bop、hop：C1+C6+(C2+C5)×(-5)+(C3+C4)×20+16＞＞5→9个操作
eop、gop、mop、oop：b+h+1＞＞1→21个操作
fop、nop、iop、kop：b+j+1＞＞1→66个操作
jop：b1+b6+(b2+b5)×(-5)+(b3+b4)×20+32＞＞5→63个操作
faverage：(8×fop+56×(2×bop+3)9/64)＝26.6个操作
javerage：(8×jop+56×(2×bop))/64＝23.6个操作
平均：(4×aop+2×bop+4×eop+4×faverage+javerage)/15＝18.7个操作
最差情况：26.6个操作
DAIFM
下面是针对模型1的不同子像素位置的定点运算的操作数量的计算，其中h1，2是优化后的滤波器系数并且g1，2是固定的滤波器系数：
aop、cop、dop、lop：((C1+C6)＜＜g1)+(C2+C5)×g2+C3×h1+C4×h2+128＞＞8→11个操作
bop、hop：((C1+C6)＜＜g1+(C2+C5)×g2+(C3+C4)×h2+128＞＞8→10个操作
eop、gop、mop、oop：与aop、cop、dop、lop相同→11个操作
fop、nop、iop、kop：((A1+A6+F1+F6)＜＜g1)+(B2+B5+E2+E5)×g2+
                    (C3+C4)×h1+(D3+D4)×h2+128＞＞8→17个操作
jop：((A1+A6+F1+F6)＜＜g1+(B2+B5+E2+E5)×h1+
     (C3+C4+D3+D4)×h2+128＞＞8→16个操作
从而模型1的每像素的平均成本是：
(8×aop+2×bop+jop+4×fop)/15＝12.8个操作。
模型2具有下列相应的子像素位置的操作数量：
aop、cop、dop、lop：((C1+C6)＜＜g1)+C3×h1+C4×h2+128＞＞8→8个操作
bop、hop：((C1+C6)＜＜g1+(C2+C5)×h1+(C3+C4)×h2+128＞＞8→10个操作
eop、gop、mop、oop：与aop、cop、dop、lop相同→8个操作
fop、nop、iop、kop：((A1+A6+F1+F6)＜＜g1)+
                    (C3+C4)×h1+(D3+D4)×h2+128＞＞8→12个操作
jop：((A1+A6+F1+F6)＜＜g1+(B2+B5+E2+E5)×h1+
     (C3+C4+D3+D4)×h2+128＞＞8→16个操作
从而模型2的每像素的平均成本是：
(8×aop+2×bop+jop+4×fop)/15＝9.87个操作。
假定两个模型具有相等的概率，所有子像素位置DAIFM具有11.33个操作的平均成本。DAIF具有每像素14.4个操作的平均成本。这意味着DAIFM可以平均降低DAIF滤波成本21％。在最差情况中，DAIF具有每像素19个操作，DAIFM具有每像素17个操作。对于8×8像素块，H.264具有18.7个操作的平均滤波器成本。这意味着DAIFM可以降低H.264的平均滤波成本39％。
注意到由于是2的倍数，因此可以通过移位操作而不是乘法来得到对本实施例的自适应滤波器的边界滤波器抽头的滤波。对于相应子像素位置来说，该移位值也是固定的。
对于浮点运算来说，由于对于自适应滤波器的边界滤波器抽头来说不需要乘法或者移位(由于他们对于两种模型来说分别固定为1和-1)，因此滤波成本甚至会更低。为此，DAIFM对于模型1具有10.8个操作，对于模型2具有7.9个操作，给出了每像素9.3个操作的平均成本。从而，相比于DAIF来说可以降低滤波复杂度31％，相比于H.264来说降低48％。
编码器复杂度
自适应插值方案的主要编码器复杂度是确定互相关向量和自相关矩阵。DAIF要求每像素18到63个操作，而所提出的实施例DAIFM仅需要每像素32至39个操作来累加统计数据。这意味着DAIFM降低累加统计数据的复杂度大约12％。解DAIF的具有3到6个未知参数的方程也比解DAIFM的具有两个未知参数的方程要复杂得多。
误差鲁棒性
相对于将若干子像素绑定以使用相同编码的DAIF来说，分别对15个子像素位置的每一个进行编码也增加了鲁棒性。
实验结果
下面是DAIFM与DAIF和H.264(KTA 1.6)在使用BD度量[12]的编码效率方面以及在VCEG公共编码条件[13]的计算复杂度方面的比较。相比于DAIF，总体平均是0.8％比特率增加。复杂度比较显示了在定点运算方面，DAIFM相比于dAIF可以降低6％的滤波成本，并且相比于H.264可以降低16％。对于浮点运算来说，DAIFM相比于DAIF可以降低9％的滤波成本，并且相比于H.264可以降低19％。
表2-针对VCEG测试条件的所有帧的滤波复杂度
Figure BPA00001181875800341
*每像素的操作
对于基准线测试条件上的HD序列来说，DAIFM的编码和解码总的测量到的计算时间是517,671s，H.264的时间是273,095s并且DAIF的时间是526,929s。
本领域技术人员应当理解可以在不背离由所附权利要求所定义的本发明的范围的情况下，对本发明做出不同的修改和改变。
引用文献
[1]ITU-T Rec.H.264/ISO/IEC MPEG 14496-10，2003
[2]Vatis et al.，Two-dimensional non-separable adaptive Wienerinterpolation filter for H-264/AVC，ITU-TelecommunicationsStandardization Sector，Study Group 16，Question 6，DocumentVCEG-Z17，April 2005
[3]Wittman and Wedi，Separable adaptive interpolation filter，ITU-Telecommunications Standardization Sector，Study Group 16，Question 6，Document C-219，July 2007
[4]Rusanovskyy et al.，Adaptive interpolation with directional filters，ITU-Telecommunications Standardization Sector，Study Group 16，Question 6，Document VCEG-AG21，October 2007
[5]Ye and Karcwewicz，Enhanced adaptive interpolation filter，ITU-Telecommunications Standardization Sector，Study Group 16，Question 6，Document C-464，April 2008
[6]Y.Vatis and J.Osterman，″Locally adaptive non-separableinterpolation filter for H.264/AVC″，ICIP 2006
[7]T.Wedi，″Adaptive interpolation filter for motion and aliasingcompensated filtering″，VCIP 2002
[8]ITU-Telecommunications Standardization Sector，VCEG-AG05，″Adaptive Multidirectional intra prediction″
[9]K.Andersson，″Complexity reduced separable adaptiveinterpolation filter″，ITU-Telecommunications Standardization Sector，Study Group 16，Question 6，Document VCEG-AH27，January 2008
[10]KTA reference Model 1.6，http://iphome.hhi.de/suehring/tml/download/KTA/jm11.0kta1.6.zip，January 2008
[11]Y.Vatis and J.Ostermann，″Comparison of complexity betweentwo-dimensional non-separable adaptive interpolation filter and standardWiener filter″，ITU-Telecommunications Standardization Sector，StudyGroup 16，Question 6，Document VCEG-AA11，October 2005
[12]G.
Figure BPA00001181875800361
″Calculation of average PSNR differencesbetween RD-Curves″，ITU-Telecommunications Standardization Sector，Study Group 16，Question 6，Document VCEG-M33，April 2001
[13]T.K.Tan et al.，″Recommended simulation common conditionsfor coding efficiency experiments revision 2″，ITU-TelecommunicationsStandardization Sector，Study Group 16，Question 6，DocumentVCEG-AH10，January 2008

Claims (26)

1.一种确定具有多个滤波器参数的自适应滤波器的方法，所述方法包括下列步骤：
a)将所述多个滤波器参数中的至少一个滤波器参数定义为具有第一自适应性级别；
b)将所述多个滤波器参数中的至少一个滤波器参数定义为具有第二自适应性级别；
c)在可允许滤波器参数值的第一集合中确定具有所述第一自适应性级别的所述至少一个滤波器参数的滤波器参数值；以及
d)在可允许滤波器参数值的第二集合中确定具有所述第二自适应性级别的所述至少一个滤波器参数的滤波器参数值，其中，所述可允许滤波器参数值的第一集合小于所述可允许滤波器参数值的第二集合。
2.根据权利要求1所述的方法，其中
所述确定步骤c)包括：基于第一优化准则的优化，确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述滤波器参数值；以及
所述确定步骤d)包括：基于不同的第二优化准则的优化，确定具有所述第二自适应性级别的所述至少一个滤波器参数的所述滤波器参数值。
3.根据权利要求1或2所述的方法，其中，所述确定步骤c)包括：通过最小化滤波操作的复杂度来确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述滤波器参数值，所述滤波操作包括使用所述自适应滤波器对多个参考像素的集合进行滤波。
4.根据权利要求1至4中任意一项所述的方法，其中，所述确定步骤c)包括：通过优化所述自适应滤波器的频率形状，确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述滤波器参数值。
5.根据权利要求1至4中任意一项所述的方法，其中，所述确定步骤d)包括：通过最小化原始像素属性值和所预测的像素属性值之间的误差，确定具有所述第二自适应性级别的所述至少一个滤波器参数的所述滤波器参数值，所预测的像素属性值是通过使用所述自适应滤波器对多个参考像素的集合进行滤波来获得的。
6.根据权利要求1至5中任意一项所述的方法，其中，所述确定步骤d)包括：在所述确定步骤c)中确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述滤波器参数值之后，确定具有所述第二自适应性级别的所述至少一个滤波器参数的所述滤波器参数值。
7.根据权利要求1至6中任意一项所述的方法，其中，所述自适应滤波器具有多个滤波器抽头，并且
所述定义步骤a)包括：将所述多个滤波器抽头中的至少一个滤波器抽头定义为具有所述第一自适应性级别；
所述定义步骤b)包括：将所述多个滤波器抽头中的至少一个滤波器抽头定义为具有所述第二自适应性级别；
所述确定步骤c)包括：在可允许滤波器系数的第一集合中确定具有所述第一自适应性级别的所述至少一个滤波器抽头的滤波器系数；以及
所述确定步骤d)包括：在可允许滤波器系数的第二集合中确定具有所述第二自适应性级别的所述至少一个滤波器抽头的滤波器系数，其中，所述可允许滤波器系数的第一集合小于所述可允许滤波器系数的第二集合。
8.根据权利要求7所述的方法，还包括下列步骤：
针对所述自适应滤波器的每一个滤波器系数，基于来自参考滤波器的系数预测来确定所述滤波器系数的预测误差；
量化所述预测误差；以及
通过对经量化的预测误差进行编码，生成所述自适应滤波器的编码表示。
9.一种对图像或者视频序列的帧中的像素块进行编码的方法，所述方法包括下列步骤：
基于所述像素块的像素属性值，估计与所述图像或者视频序列的帧中的参考像素块相关联的参数表示；
根据权利要求1至8中任意一项来确定至少一个自适应滤波器；
使用所述至少一个自适应滤波器来对所述参考像素块的像素属性值进行滤波；
基于所述像素块的所述像素属性值以及所述参考像素块的经滤波的像素属性值来计算残留误差；以及
提供对所述参数表示和对所述残留误差的表示的表示，作为所述像素块的编码表示。
10.根据权利要求9所述的方法，还包括：基于所述参考像素块以及至少一个插值滤波器来确定像素块预测，其中，所述计算步骤包括：基于所述像素块的所述像素属性值、所述参考像素块的所述经滤波的像素属性值以及所述像素块预测的像素属性值来计算所述残留误差。
11.一种对经编码的图像或者视频序列的帧中经编码的像素块进行解码的方法，所述方法包括下列步骤：
基于与所述经编码的像素块相关联的参数表示，识别所述经编码的图像或所述视频序列的帧中的参考像素块；
提供与所述经编码的像素块相关联的至少一个自适应滤波器，所述至少一个自适应滤波器是根据权利要求1至8中任意一项所确定的；
使用所述至少一个自适应滤波器对所述参考像素块的像素属性值进行滤波；以及
基于所述参考像素块的所述经滤波的像素属性值以及与所述经编码的像素块相关联的残留误差的表示，确定所述经编码的像素块的解码表示。
12.根据权利要求11所述的方法，还包括基于所述参考像素块以及至少一个插值滤波器来确定像素块预测，其中，所述确定步骤包括：基于所述参考像素块的所述经滤波的像素属性值、所述像素块预测的像素属性值以及所述与所述经编码的像素块相关联的残留误差的表示，来确定所述经编码的像素块的所述解码表示。
13.根据权利要求11或12所述的方法，其中，所述提供步骤包括下列步骤：
对根据权利要求1至8中任意一项确定的所述自适应滤波器的编码表示进行解码，以获得经量化的预测误差的集合；
对所述经量化的预测误差的集合进行反量化，以获得预测误差的集合；以及
基于所述预测误差的集合和参考滤波器，确定所述至少一个自适应滤波器。
14.一种用于确定具有多个滤波器参数的自适应滤波器的设备，所述设备包括：
滤波器参数定义器，用于将所述多个滤波器参数中的至少一个滤波器参数定义为具有第一自适应性级别，以及用于将所述多个滤波器参数中的至少一个滤波器参数定义为具有第二自适应性级别；
第一参数确定器，用于在可允许滤波器参数值的第一集合中确定具有所述第一自适应性级别的所述至少一个滤波器参数的滤波器参数值；以及
第二滤波器参数确定器，用于在可允许滤波器参数值的第二集合中确定具有所述第二自适应性级别的所述至少一个滤波器抽头的滤波器参数值，其中，所述可允许滤波器参数值的第一集合小于所述可允许滤波器参数值的第二集合。
15.根据权利要求14所述的设备，其中
所述第一参数确定器被配置为：基于第一优化准则的优化，确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述滤波器参数值；以及
所述第二参数确定器被配置为：基于不同的第二优化准则的优化，确定具有所述第二自适应性级别的所述至少一个滤波器参数的所述滤波器参数值。
16.根据权利要求14或15所述的设备，其中，所述第一参数确定器被配置为：通过最小化滤波操作的复杂度，确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述滤波器参数值，所述滤波操作包括使用所述自适应滤波器对多个参考像素的集合进行滤波。
17.根据权利要求14至16中任意一项所述的设备，其中，所述第一参数确定器被配置为：通过优化所述自适应滤波器的频率形状，确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述滤波器参数值。
18.根据权利要求14至17中任意一项所述的设备，其中，所述第二参数确定器被配置为：通过最小化原始像素属性值和所预测的像素属性值之间的误差，确定具有所述第二自适应性级别的所述至少一个滤波器参数的所述滤波器参数值，所预测的像素属性值是通过使用所述自适应滤波器对多个参考像素的集合进行滤波来获得的。
19.根据权利要求14至18中任意一项所述的设备，其中，所述第二参数确定器被配置为：在所述第一参数确定器已经确定具有所述第一自适应性级别的所述至少一个滤波器参数的所述滤波器参数值之后，确定具有所述第二自适应性级别的所述至少一个滤波器参数的所述滤波器参数值。
20.根据权利要求14至19中任意一项所述的设备，其中，所述自适应滤波器具有多个滤波器抽头，并且
所述滤波器参数定义器被配置为：将所述多个滤波器抽头中的至少一个滤波器抽头定义为具有所述第一自适应性级别，以及将所述多个滤波器抽头中的至少一个滤波器抽头定义为具有所述第二自适应性级别；
所述第一参数确定器被配置为：在可允许滤波器系数的第一集合中确定具有所述第一自适应性级别的所述至少一个滤波器抽头的滤波器系数；以及
所述第二滤波器参数确定器被配置为：在可允许滤波器系数的第二集合中确定具有所述第二自适应性级别的所述至少一个滤波器抽头的滤波器系数，其中，所述可允许滤波器系数的第一集合小于所述可允许滤波器系数的第二集合。
21.根据权利要求20所述的设备，还包括：
误差计算器，用于针对所述自适应滤波器的每一个滤波器系数，基于来自参考滤波器的系数预测来计算所述滤波器系数的预测误差；
误差量化器，用于对由所述误差计算器计算的所述预测误差进行量化；以及
误差编码器，用于通过对被所述误差量化器量化的经量化的预测误差进行编码，生成所述自适应滤波器的编码表示。
22.一种用于对图像或者视频序列的帧中的像素块进行编码的编码器，所述编码器包括：
参数估计器，用于基于所述像素块的像素属性值，估计与所述图像或者视频序列的帧中的参考像素块相关联的参数表示；
根据权利要求14至21中任意一项所述的设备，用于确定能够应用于所述参考像素块的像素属性值的至少一个自适应滤波器；
误差计算器，用于基于所述像素块的所述像素属性值、所述参考像素块的所述像素属性值以及由所述设备确定的所述至少一个自适应滤波器，计算残留误差；以及
块编码器，用于提供对所述参数表示和对所述残留误差的表示的表示，作为所述像素块的编码表示。
23.根据权利要求22所述的编码器，还包括预测确定器，用于基于所述参考像素块以及至少一个插值滤波器来确定像素块预测，其中，所述误差计算器被配置为：基于所述像素块的所述像素属性值、所述参考像素块的所述像素属性值、所述像素块预测的属性值以及由所述设备确定的所述至少一个自适应滤波器，计算所述残留误差。
24.一种用于对经编码的图像或者视频序列的帧中经编码的像素块进行解码的解码器，所述解码器包括：
块识别器，用于基于与所述经编码的像素块相关联的参数表示，识别所述经编码的图像或所述视频序列的帧中的参考像素块；
滤波器提供器，用于提供与所述经编码的像素块相关联的至少一个自适应滤波器，所述至少一个自适应滤波器是根据权利要求14至21中任意一项所确定的；
滤波器单元，用于使用由所述滤波器提供器提供的所述至少一个自适应滤波器，对由所述块识别器识别的所述参考像素块的像素属性值进行滤波；以及
块解码器，用于基于所述参考像素块的所述经滤波的像素属性值以及与所述经编码的像素块相关联的残留误差的表示，确定所述经编码的像素块的解码表示。
25.根据权利要求24所述的解码器，还包括预测确定器，用于基于由所述块识别器识别的所述参考像素块以及至少一个插值滤波器来确定像素块预测，其中，所述块解码器被配置为：基于所述参考像素块的所述经滤波的像素属性值、所述像素块预测的像素属性值以及所述与所述经编码的像素块相关联的残留误差的表示，来确定所述经编码的像素块的所述解码表示。
26.根据权利要求24或25所述的解码器，其中，所述滤波器提供器包括：
滤波器解码器，用于对根据权利要求14至21中任意一项所述的设备所确定的所述至少一个自适应滤波器的编码表示进行解码，以获得经量化的预测误差的集合；
反量化器，用于对所述经量化的预测误差的集合进行反量化，以获得预测误差的集合；以及
滤波器确定器，用于基于所述预测误差的集合和参考滤波器来确定所述至少一个自适应滤波器。
CN2008801242918A 2008-01-08 2008-10-08 自适应滤波 Expired - Fee Related CN101971632B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US1972708P 2008-01-08 2008-01-08
US61/019,727 2008-01-08
US12376908P 2008-04-11 2008-04-11
US61/123,769 2008-04-11
PCT/SE2008/051149 WO2009088340A1 (en) 2008-01-08 2008-10-08 Adaptive filtering

Publications (2)

Publication Number Publication Date
CN101971632A true CN101971632A (zh) 2011-02-09
CN101971632B CN101971632B (zh) 2013-10-16

Family

ID=40202148

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008801242918A Expired - Fee Related CN101971632B (zh) 2008-01-08 2008-10-08 自适应滤波
CN2009801018211A Active CN101939993B (zh) 2008-01-08 2009-01-08 对滤波器系数进行编码

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2009801018211A Active CN101939993B (zh) 2008-01-08 2009-01-08 对滤波器系数进行编码

Country Status (5)

Country Link
US (3) US8576906B2 (zh)
EP (3) EP2232874B1 (zh)
JP (1) JP5236746B2 (zh)
CN (2) CN101971632B (zh)
WO (3) WO2009088340A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831406A (zh) * 2012-08-17 2012-12-19 广东非思智能科技股份有限公司 基于空间滤波器的人脸识别方法
CN103392339A (zh) * 2011-02-23 2013-11-13 高通股份有限公司 多度量滤波
CN103548356A (zh) * 2011-04-12 2014-01-29 韩国电子通信研究院 使用跳跃模式的图像编码方法及使用该方法的装置
CN104469379A (zh) * 2013-09-18 2015-03-25 想象技术有限公司 生成用于包括在视频序列中的输出帧
CN106231312A (zh) * 2010-07-31 2016-12-14 M&K控股株式会社 用于对图像进行编码的装置
CN107079171A (zh) * 2014-10-01 2017-08-18 Lg 电子株式会社 使用改进的预测滤波器编码和解码视频信号的方法和装置
CN107105242A (zh) * 2011-06-24 2017-08-29 Lg 电子株式会社 图像信息编码和解码方法
CN107820081A (zh) * 2011-10-18 2018-03-20 株式会社Kt 视频信号解码方法
WO2020063552A1 (en) * 2018-09-25 2020-04-02 Huawei Technologies Co., Ltd. Method and apparatus for image filtering with adaptive multiplier coefficients, and terminal device
CN113301334A (zh) * 2015-11-17 2021-08-24 华为技术有限公司 视频编码样本自适应滤波的方法和装置

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
JP5303659B2 (ja) * 2009-02-13 2013-10-02 リサーチ イン モーション リミテッド イントラコード化された画像またはフレームのインループ非ブロック化
KR101510108B1 (ko) 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
JP5964755B2 (ja) * 2009-12-31 2016-08-03 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ符号化および復号化用の適応型結合前処理および後処理フィルタのための方法および装置
WO2011083666A1 (ja) * 2010-01-08 2011-07-14 シャープ株式会社 符号化装置、復号装置、および、データ構造
WO2011126759A1 (en) * 2010-04-09 2011-10-13 Sony Corporation Optimal separable adaptive loop filter
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
US20120063515A1 (en) * 2010-09-09 2012-03-15 Qualcomm Incorporated Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
US10142630B2 (en) * 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
JP5478740B2 (ja) * 2011-01-12 2014-04-23 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9049454B2 (en) * 2011-01-19 2015-06-02 Google Technology Holdings Llc. High efficiency low complexity interpolation filters
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US20120230407A1 (en) 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9432699B2 (en) * 2011-05-18 2016-08-30 Nokia Technologies Oy Methods, apparatuses and computer programs for video coding
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
EP2724534A2 (en) 2011-06-24 2014-04-30 Motorola Mobility LLC Selection of phase offsets for interpolation filters for motion compensation
AU2012277160B2 (en) 2011-06-27 2016-12-15 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
CN106658014B (zh) 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
EP2727358A1 (en) * 2011-07-01 2014-05-07 Motorola Mobility LLC Joint sub-pixel interpolation filter for temporal prediction
EP2551846B1 (en) * 2011-07-26 2022-01-19 AKG Acoustics GmbH Noise reducing sound reproduction
JP5762243B2 (ja) * 2011-10-18 2015-08-12 日本電信電話株式会社 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
EP2595382B1 (en) * 2011-11-21 2019-01-09 BlackBerry Limited Methods and devices for encoding and decoding transform domain filters
WO2013075329A1 (en) * 2011-11-25 2013-05-30 Thomson Licensing Method and apparatus for generating a bitstream of repetitive structure discovery based 3d model compression
US20140320492A1 (en) * 2011-11-25 2014-10-30 Wenfei Jiang Methods and apparatus for reflective symmetry based 3d model compression
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
GB2499844B (en) * 2012-03-02 2014-12-17 Canon Kk Methods for encoding and decoding an image, and corresponding devices
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9264706B2 (en) * 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
TWI595776B (zh) * 2012-06-27 2017-08-11 Sony Corp Image processing device and method
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
CN103716628B (zh) * 2012-09-29 2017-08-18 华为技术有限公司 编解码处理方法、编码器和解码器
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
GB2509707B (en) * 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
CN104969545B (zh) * 2013-02-05 2018-03-20 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US9195860B1 (en) 2014-01-10 2015-11-24 Seagate Technology Llc Adaptively combining waveforms
CN108141603B (zh) 2015-09-25 2020-12-15 华为技术有限公司 视频编解码方法及视频编解码器
CA2999700C (en) 2015-09-25 2022-06-21 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
BR112018006031A2 (pt) 2015-09-25 2018-10-09 Huawei Tech Co Ltd codificador de vídeo, decodificador de vídeo e métodos para codificação e decodificação preditiva
NZ741321A (en) 2015-09-25 2019-10-25 Huawei Tech Co Ltd Adaptive sharpening filter for predictive coding
RU2696311C1 (ru) 2015-09-25 2019-08-01 Хуавэй Текнолоджиз Ко., Лтд. Устройство и способ для компенсации движения видео с выбираемым интерполяционным фильтром
EP3151559A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method for coding and decoding a plurality of picture blocks and corresponding devices
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
US10116957B2 (en) 2016-09-15 2018-10-30 Google Inc. Dual filter type for motion compensated prediction in video coding
EP3568980A4 (en) * 2017-01-10 2020-01-08 Telefonaktiebolaget LM Ericsson (publ) ENTBLOCKUNGSFILTRIERUNGSSTEUERUNG
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
WO2020132825A1 (zh) * 2018-12-24 2020-07-02 华为技术有限公司 图像处理装置和图像处理方法
US11818343B2 (en) * 2021-03-12 2023-11-14 Tencent America LLC Sample offset with predefined filters
US11785213B2 (en) * 2021-03-12 2023-10-10 Tencent America LLC Method and apparatus for video filtering
CN115955217B (zh) * 2023-03-15 2023-05-16 南京沁恒微电子股份有限公司 一种低复杂度数字滤波器系数自适应组合编码方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
JP4226172B2 (ja) * 1998-11-24 2009-02-18 株式会社ハイニックスセミコンダクター 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
EP1062813A1 (en) * 1999-01-13 2000-12-27 Koninklijke Philips Electronics N.V. Embedding supplemental data in an encoded signal
FI107495B (fi) * 1999-08-13 2001-08-15 Nokia Multimedia Network Termi Menetelmä ja järjestely koodatun digitaalisen kuvabittivirran volyymin tai tahdin pienentämiseksi
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
EP1466477B1 (en) * 2002-01-14 2013-02-27 Nokia Corporation Coding dynamic filters
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
EP3133813B1 (en) * 2004-09-16 2020-06-17 InterDigital VC Holdings, Inc. Method and apparatus for weighted prediction video codec utilizing local brightness variation
JP2008536414A (ja) 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
KR100782815B1 (ko) * 2005-08-09 2007-12-06 삼성전자주식회사 인텐서티 보상을 위한 영상 디코딩 방법 및 장치
SG130962A1 (en) * 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals
US7885341B2 (en) * 2005-10-21 2011-02-08 Cisco Technology, Inc. Spatial filtering for improving compression efficiency of motion compensated interframe coding
KR101293086B1 (ko) * 2006-02-17 2013-08-06 톰슨 라이센싱 비디오 데이터 밝기 변화를 다루는 지역화된 가중 예측
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231312B (zh) * 2010-07-31 2019-04-12 M&K控股株式会社 用于对图像进行编码的装置
CN106231312A (zh) * 2010-07-31 2016-12-14 M&K控股株式会社 用于对图像进行编码的装置
US9819936B2 (en) 2011-02-23 2017-11-14 Qualcomm Incorporated Multi-metric filtering
CN103392339A (zh) * 2011-02-23 2013-11-13 高通股份有限公司 多度量滤波
US9877023B2 (en) 2011-02-23 2018-01-23 Qualcomm Incorporated Multi-metric filtering
CN103392339B (zh) * 2011-02-23 2016-08-24 高通股份有限公司 一种多度量滤波方法及装置
US11910013B2 (en) 2011-04-12 2024-02-20 Electronics And Telecommunications Research Institute Image encoding method using a skip mode, and a device using the method
US11902575B2 (en) 2011-04-12 2024-02-13 Electronics And Telecommunications Research Institute Image encoding method using a skip mode, and a device using the method
US10575014B2 (en) 2011-04-12 2020-02-25 Electronics Telecommunications Research Institute Image encoding method using a skip mode, and a device using the method
CN103548356B (zh) * 2011-04-12 2017-12-05 韩国电子通信研究院 使用跳跃模式的图像解码方法及使用该方法的装置
US11910014B2 (en) 2011-04-12 2024-02-20 Electronics And Telecommunications Research Institute Image encoding method using a skip mode, and a device using the method
US11523133B2 (en) 2011-04-12 2022-12-06 Electronics And Telecommunications Research Institute Image encoding method using a skip mode, and a device using the method
US10992956B2 (en) 2011-04-12 2021-04-27 Electronics And Telecommunications Research Institute Image encoding method using a skip mode, and a device using the method
US10142623B2 (en) 2011-04-12 2018-11-27 Electronics And Telecommunications Research Institute Image encoding method using a skip mode, and a device using the method
CN103548356A (zh) * 2011-04-12 2014-01-29 韩国电子通信研究院 使用跳跃模式的图像编码方法及使用该方法的装置
US10547837B2 (en) 2011-06-24 2020-01-28 Lg Electronics Inc. Image information encoding and decoding method
US10944968B2 (en) 2011-06-24 2021-03-09 Lg Electronics Inc. Image information encoding and decoding method
CN107105242A (zh) * 2011-06-24 2017-08-29 Lg 电子株式会社 图像信息编码和解码方法
US11700369B2 (en) 2011-06-24 2023-07-11 Lg Electronics Inc. Image information encoding and decoding method
CN107105242B (zh) * 2011-06-24 2020-03-06 Lg 电子株式会社 一种用于解码图片的解码装置和编码图片的编码装置
US11303893B2 (en) 2011-06-24 2022-04-12 Lg Electronics Inc. Image information encoding and decoding method
CN107820081B (zh) * 2011-10-18 2021-08-10 株式会社Kt 视频信号解码方法
CN107820078A (zh) * 2011-10-18 2018-03-20 株式会社Kt 视频信号解码方法
CN107820081A (zh) * 2011-10-18 2018-03-20 株式会社Kt 视频信号解码方法
CN102831406A (zh) * 2012-08-17 2012-12-19 广东非思智能科技股份有限公司 基于空间滤波器的人脸识别方法
CN104469379B (zh) * 2013-09-18 2020-02-21 想象技术有限公司 生成用于包括在视频序列中的输出帧
CN104469379A (zh) * 2013-09-18 2015-03-25 想象技术有限公司 生成用于包括在视频序列中的输出帧
CN107079171B (zh) * 2014-10-01 2021-01-29 Lg 电子株式会社 使用改进的预测滤波器编码和解码视频信号的方法和装置
US10390025B2 (en) 2014-10-01 2019-08-20 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using improved prediction filter
CN107079171A (zh) * 2014-10-01 2017-08-18 Lg 电子株式会社 使用改进的预测滤波器编码和解码视频信号的方法和装置
CN113301334A (zh) * 2015-11-17 2021-08-24 华为技术有限公司 视频编码样本自适应滤波的方法和装置
CN113301334B (zh) * 2015-11-17 2023-11-03 华为技术有限公司 视频编码样本自适应滤波的方法和装置
US11902515B2 (en) 2015-11-17 2024-02-13 Huawei Technologies Co., Ltd. Method and apparatus for video coding
WO2020063552A1 (en) * 2018-09-25 2020-04-02 Huawei Technologies Co., Ltd. Method and apparatus for image filtering with adaptive multiplier coefficients, and terminal device

Also Published As

Publication number Publication date
CN101971632B (zh) 2013-10-16
EP2241112A1 (en) 2010-10-20
US8687711B2 (en) 2014-04-01
US20100284458A1 (en) 2010-11-11
WO2009088353A1 (en) 2009-07-16
JP2011509594A (ja) 2011-03-24
EP2241112B1 (en) 2012-06-27
JP5236746B2 (ja) 2013-07-17
EP2227909A1 (en) 2010-09-15
US20100284461A1 (en) 2010-11-11
EP2232874B1 (en) 2012-12-05
WO2009087095A1 (en) 2009-07-16
US20100278269A1 (en) 2010-11-04
WO2009088340A1 (en) 2009-07-16
CN101939993B (zh) 2013-01-02
EP2232874A1 (en) 2010-09-29
EP2227909A4 (en) 2011-04-20
CN101939993A (zh) 2011-01-05
US8576906B2 (en) 2013-11-05

Similar Documents

Publication Publication Date Title
CN101971632B (zh) 自适应滤波
CN104811714B (zh) 使用平面表达的增强帧内预测编码
CN108540811B (zh) 使用亮度采样的色度块的内部预测方法以及使用其的装置
CN102792688B (zh) 用于视频的数据压缩
CN104320666B (zh) 图像处理设备和方法
CN107105279B (zh) 用于引导合并候选块的方法和使用该方法的设备
CN110121884A (zh) 用于滤波的方法和装置
CN104378637A (zh) 视频信号解码方法
CN104967851B (zh) 用于运动补偿预测的方法和设备
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
TW202315408A (zh) 以區塊為基礎之預測技術
CN101491107A (zh) 视频数据管理
CN103891289A (zh) 插值方法和使用其的预测方法
CN102422643A (zh) 图像处理装置、方法和程序
CN102007770B (zh) 切分成线性形式的像素分区的图像或图像序列的编码和解码
TW202402050A (zh) 使用基於矩陣之內預測及二次轉換之寫碼技術
WO2008149327A2 (en) Method and apparatus for motion-compensated video signal prediction
CN102396231A (zh) 图像处理设备及方法
CN102067602B (zh) 通过预先确定基准像素族而进行的图像预测、使用这样的预测的编码和解码
AU2019210554B2 (en) Enhanced intra-prediction coding using planar representations
TW202332274A (zh) 在4:4:4色度格式及單一樹狀結構情況下針對所有通道之基於矩陣的內部預測技術

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131016

Termination date: 20181008

CF01 Termination of patent right due to non-payment of annual fee