CN101939993B - 对滤波器系数进行编码 - Google Patents

对滤波器系数进行编码 Download PDF

Info

Publication number
CN101939993B
CN101939993B CN2009801018211A CN200980101821A CN101939993B CN 101939993 B CN101939993 B CN 101939993B CN 2009801018211 A CN2009801018211 A CN 2009801018211A CN 200980101821 A CN200980101821 A CN 200980101821A CN 101939993 B CN101939993 B CN 101939993B
Authority
CN
China
Prior art keywords
filter coefficient
adaptive filter
prediction
overbar
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801018211A
Other languages
English (en)
Other versions
CN101939993A (zh
Inventor
肯尼思·安德森
珀·福罗德亨
克林顿·普瑞德
乔纳坦·萨缪尔森
理查德·肖伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN101939993A publication Critical patent/CN101939993A/zh
Application granted granted Critical
Publication of CN101939993B publication Critical patent/CN101939993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种将多个自适应滤波器系数(104、107、112)编码为比特流(110)的方法。所述方法包括下列步骤:将所述自适应滤波器系数(104、107、112)熵编码(109)为所述比特流(110),由此基于至少一个剩余的自适应滤波器系数(206)来确定(201)所述自适应滤波器系数的实例(204)的预测(202),基于所述自适应滤波器系数的所述实例(204)以及所述预测(202)之间的差值来确定(203)预测误差(205),并且其中对所述多个自适应滤波器系数(104、107、112)进行熵编码(109)的所述步骤包括对所述自适应滤波器系数的所述实例(204)的所述预测误差(205)进行熵编码(109)以及对所述剩余的自适应滤波器系数(206)进行熵编码(109)。本发明还提供了一种将编码的自适应滤波器系数的比特流(110)解码为解码的自适应滤波器系数(116、118、120、123)的相应方法。

Description

对滤波器系数进行编码
技术领域
本发明一般地涉及视频编码和解码中的自适应帧内和帧间预测。本发明更具体地涉及帧内和帧间预测中对自适应滤波器的自适应滤波器系数进行编码。
背景技术
通过使用之前的帧,可以使用对当前帧中像素值的预测来利用时间冗余性。像素预测是诸如H.261、H.263、MPEG-4以及H.264[1]的视频编码标准中的重要部分。在H.264中,存在两种像素预测方法,即帧内和帧间预测。帧内预测使用相同帧中之前所重构建的像素,给出对当前将被编码的帧中的块的空间预测。帧间预测使用之前所重构建的帧中相应但是发生位移的块(例如参考块)来给出对当前块的时间预测。帧间预测还可以使用两个帧间预测的加权平均。然后将与原始块进行比较的预测误差进行变换编码和量化。然后可以通过将预测与编码后的预测误差相加来生成重构建的帧。然后在将该帧存储于参考帧缓存之前应用循环滤波器来减少编码伪像,以备随后帧间预测的使用。
为了增加当前视频编码标准的编码效率,已经提出了用于帧间预测[2]或者循环或后滤波[6]的自适应滤波器。在帧间预测中,对于每一个帧典型地使用几个子像素运动特有的自适应滤波器。如果对于每个帧使用很多自适应滤波器系数,则将存在大量的开销用于自适应滤波器系数的表示。典型地从自适应滤波器系数中减去与Wiener滤波器相对应的参考自适应滤波器系数,以实现小的差分滤波器系数[2]。然后量化该差分滤波器系数。在一些情况中[4]利用来自附近的子像素位置的经量化的差分滤波器系数之间的预测。可以将自适应滤波器系数的上下文中的预测解释为对自适应滤波器系数的估计。对自适应滤波器系数的预测[3,4,5]可以利用滤波器对称性。
由于在编码器中确定自适应滤波器系数并且向解码器提供该自适应滤波器系数,因此这添加了总比特率的开销。自适应滤波器系数对总比特率的相对开销取决于所使用的实际比特率。对于低解析度视频来说,该开销可能非常高,大于10%。
发明内容
因此本发明的目标是减少由自适应滤波器系数引起的编码开销。
在一种根据权利要求1将多个自适应滤波器系数编码为比特流的方法中实现该目标。所述方法包括下列步骤:将自适应滤波器系数熵编码为比特流,基于剩余的自适应滤波器系数中的至少一个来确定对所述自适应滤波器系数的实例的预测,基于所述自适应滤波器系数的实例与所述预测之间的差来确定预测误差。对所述多个自适应滤波器系数进行熵编码的步骤包括对所述自适应滤波器系数的实例的预测误差进行熵编码,并且对剩余的自适应滤波器系数进行熵编码。
可以使用相同滤波器的其他系数的值来预测或者估计一个系数的值。将被用于预测的特别良好的假设是未量化的自适应滤波器系数典型地应当总和为一,例如没有平均像素值的放大。换言之,保持DC等级。如引用文献[7]中描述的,滤波器的DC增益等于滤波器系数之和。这通常是根据H.264[1]的帧内和帧间预测中的情况。在该情况中,对象的像素值的平均在连续视频帧中是相同的。同样在特定自适应滤波器中,可以利用使用了矩阵表示的自适应滤波器系数的内部对称性。
在本发明的实施例中,所述方法应用于差分滤波器系数,由此所述方法还包括下列步骤:通过从相应的自适应滤波器系数中减去参考自适应滤波器系数,来确定所述差分滤波器系数。参考自适应滤波器系数涉及H.264或者根据标准或者视频编码比特流中定义的任何其他滤波器,其中该自适应滤波器系数与滤波器相对应,该滤波器与具有共同的自适应滤波器系数的参考滤波器相似,修改该滤波器以具有自适应特征。
在本发明的实施例中,确定所述自适应滤波器系数的实例的预测的步骤包括:确定所述剩余的自适应滤波器系数之和,通过从常数中减去所述和来确定所述预测。所述常数等于所述自适应滤波器的DC增益,并且所述DC增益等于所有自适应滤波器系数之和。在差分滤波器系数的情况中,所述常数等于零。
特别地,自适应滤波器系数之和典型地等于一这一事实用于预测一个或者几个自适应滤波器系数。
在本发明的实施例中,在具有至少一个对称轴的自适应滤波器系数的矩阵中布置所述自适应滤波器系数,并且确定至少一个自适应滤波器系数的至少一个预测的步骤包括:将相应自适应滤波器系数绕所述矩阵的所述至少一个对称轴进行镜像的步骤。
通过利用自适应滤波器系数之间的相关性,可以减少视频或图像编码中部署自适应滤波器的开销。对于在具有自适应滤波器系数的相应滤波器矩阵中的垂直或者水平轴上具有对称性的滤波器来说,对自适应滤波器系数的镜像是用于预测自适应滤波器系数的实用工具。
在本发明的另一个实施例中,在矩阵中布置所述自适应滤波器系数。确定所述自适应滤波器系数的实例的预测的步骤包括:将所述自适应滤波器系数的矩阵划分为多个子矩阵,所述多个子矩阵的每一个具有自适应滤波器系数的子集合,针对所述子矩阵中的每一个,使用不在所述子矩阵中的自适应滤波器系数,对在所述子矩阵中的自适应滤波器系数进行预测;向具有所预测的自适应滤波器系数的子矩阵的每一个及其相关联的不在所述子矩阵中的自适应滤波器系数应用成本函数,选择具有最低成本的所述子矩阵作为将被编码的子矩阵,以及对所述选择的子矩阵的索引进行编码。
将所述矩阵划分为子矩阵允许对可以一起预测的相关自适应滤波器系数进行最优选择。通过预定义子矩阵,可以进行子矩阵的最优选择,该最优选择产生将被编码的比特的最小成本。
根据本发明的其他实施例,可以通过从滤波器矩阵中选择中心自适应滤波器系数来构成子矩阵,所述中心自适应滤波器系数具有最大值。通过预测最大值,可以实现将被编码的比特的最高节约。
确定至少一个自适应滤波器系数的至少一个预测的步骤之前,对所述自适应滤波器系数进行量化的步骤可以是对自适应滤波器系数进行编码的过程的一部分。
本发明可以用于表示帧间和帧内编码中的自适应滤波器。在帧间编码中,可以用于表示运动补偿的自适应滤波器。在帧内编码中,可以用于表示用于帧内预测的滤波器。在帧内和帧间编码中,本发明都可以用于表示用于预滤波、后滤波以及循环滤波的自适应滤波器。
可以将用于标识例如6个自适应系数的比特潜在地减少17%。使用与针对四分之一通用中间格式(QCIF)相同量的每像素自适应性,可以减少总的比特率大约2%。如果使用2个自适应滤波器系数,则可以将用于表示所述自适应滤波器的比特数量减少大约50%。
还在一种对自适应滤波器系数进行编码的编码器中实现本发明的目标。所述编码器包括:第一接口装置,用于接收自适应滤波器系数;第二接口装置,用于输出编码后的自适应滤波器系数的比特流;以及处理装置,分别可操作地连接到所述第一接口装置(401)和所述第二接口装置。所述处理装置特别适于如上所述的方法及其实施例中的步骤。所述编码器可以可选地具有第三接口,用于接收参考自适应滤波器系数,其中,使用根据本发明的预测将差分滤波器系数编码为所述比特流。
还在一种将编码的自适应滤波器系数的比特流解码为多个解码的自适应滤波器系数的方法中实现该目标。所述方法包括下列步骤:将所述比特流熵解码为自适应滤波器系数,由此将所述比特流熵解码为自适应滤波器系数的步骤包括下列步骤:对与所述自适应滤波器系数的实例相对应的预测误差进行熵解码,对来自所述比特流的剩余的自适应滤波器系数进行熵解码,从所述剩余的自适应滤波器系数的至少一个中确定所述自适应滤波器系数的所述实例的预测,以及通过将所述预测误差与所述预测相加,恢复所述自适应滤波器系数的所述实例。
对所述比特流进行解码的所述方法使用与将所述自适应滤波器系数编码为所述比特流的方法相同的预测自适应滤波器系数的方法。然而通过所述解码的预测误差与所述预测相加以获得所述原始的自适应滤波器系数,所述预测的自适应滤波器系数用于重构建所述实际自适应滤波器系数。
在根据本发明进行解码的方法的另一个实施例中,自适应滤波器系数还可以是差分滤波器系数,由此所述方法还包括通过将参考自适应滤波器系数与所述相应的差分滤波器系数相加,来确定多个自适应滤波器系数的步骤。
在根据本发明进行解码的方法的另一个实施例中,在具有至少一个对称轴的自适应滤波器系数矩阵中布置所述自适应滤波器系数。确定至少一个自适应滤波器系数的至少一个预测的步骤包括:通过将相应的自适应滤波器系数绕所述矩阵的所述至少一个对称轴进行镜像,来预测至少一个自适应滤波器系数的步骤。
在本发明的实施例中,从至少一个所述剩余的自适应滤波器系数中确定所述自适应滤波器系数的所述实例的预测的步骤包括:确定所述剩余的自适应滤波器系数之和,通过从常数中减去所述和来确定所述预测。所述常数等于所述自适应滤波器的DC增益。对于差分滤波器系数来说,所述常数等于零。
在根据本发明进行解码的方法的另一个实施例中,所述比特流包括子矩阵索引。所述方法还包括:对所述子矩阵索引进行解码,对来自与所述子矩阵索引相对应的子矩阵中的至少一个预测误差进行解码,对不与所述子矩阵中的所述预测误差相对应的所述多个自适应滤波器系数进行解码,从与所述预测误差相对应的所述多个自适应滤波器系数中确定自适应滤波器系数的预测,以及从所述自适应滤波器系数的预测与所述相应的预测误差来重构建自适应滤波器系数。
在根据本发明进行解码的方法的另一个实施例中,所述方法还包括对所述自适应滤波器系数进行反量化的步骤。
还在一种用于将比特流解码为自适应滤波器系数的解码器中实现本发明的目标。所述解码器包括:第一接口装置,用于接收所述比特流;第二接口装置,用于输出解码后的自适应滤波器系数;以及处理装置,分别可操作地连接到所述第一接口装置和所述第二接口装置(405),特别适于执行如上所述的将编码的自适应滤波器系数的比特流解码为自适应滤波器系数的方法中的步骤。
在本发明的实施例中,所述解码器还包括与所述处理装置可操作地相连的第三接口,用于接收参考自适应滤波器系数,其中使用根据本发明的预测,从所述比特流中解码差分滤波器系数。
附图说明
图1a示出了根据本领域现有技术对自适应滤波器系数进行编码的过程的框图。
图1b示出了与图1a的框图相对应,根据本领域现有技术对自适应滤波器系数进行解码的过程的框图。
图2a示出了根据本发明的实施例对自适应滤波器系数进行编码的过程的框图。
图2b示出了与图2a的框图相对应,根据本发明的实施例对自适应滤波器系数进行解码的过程的框图。
图3a示出了根据本发明的示例实施例的对自适应滤波器系数进行编码的框图。
图3b示出了与图3a的框图相对应,根据本发明的示例实施例的使用预测对自适应滤波器系数进行解码的框图。
图4a示出了根据本发明的实施例与图2a和3a相对应的用于执行对自适应滤波器系数进行编码的过程的编码器的框图。
图4b示出了根据本发明的实施例与图2b和3b相对应的用于执行对自适应滤波器系数进行解码的过程的解码器的框图。
具体实施方式
在视频编码和解码中的帧间和帧内预测中,在帧间预测中将来自于之前的帧或者在帧内预测中将来自于当前帧的已解码的像素用来建立经预测的像素块形式。将使用向量代数的滤波或者滤波器算法用来从之前已解码的像素确定所预测的块。可以将自适应滤波用于使得来取决于将被编码的帧的属性或者取决于帧的内容使用不同的滤波器策略成为可能。自适应滤波器与标准滤波器的不同之处在于,在对视频帧编码的过程中确定自适应滤波器的滤波器系数,而标准或者参考滤波器是由标准(例如H.264[1])预先确定的。为此,视频编码器需要将自适应滤波器系数发送给相应的视频解码器,以使得使用相同的自适应滤波器来获得正确地重新构建的视频帧成为可能。
在自适应滤波中,将滤波器函数f应用于当前帧中像素值的块上,以得到滤波后的像素值,如公式1中的示例所示,示出了具有半像素插值的滤波器:
P ( k , l ) = Σ i = 0 N - 1 Σ j = 0 M - 1 F ( i , j ) X ( k - i + int ( N 2 ) , l - j + int ( M 2 ) ) 公式1
其中,P(k,l)是在已滤波的块的第k行和第l列的像素,X是像素值的帧,F(i,j)是在位置(i,j)处具有N行和M列的二维空间转移函数,k1和l1是对与像素值的帧中当前块的位置相对应的已滤波的块进行定位的偏移量,int是整数截断函数。
如[1]中所描述的,在帧间预测和循环滤波中,滤波发生在视频编码的编码循环内。在帧间预测中,像素值的帧X是从与将被预测的当前块的时刻不同的另一个时刻之前解码和重新构建的帧。该位置还是根据帧之间的运动的偏移量。在[2]中示出了使用具有自适应滤波器的帧间预测的示例。在循环滤波中,像素值的帧X是针对帧间预测进行显示和存储之前的当前重新构建的帧。然后,可以将该已被循环滤波的帧用于显示和帧间预测。
在视频编码中的自适应后滤波中[6],滤波在编码循环之外。在该示例中,像素值的块X与可以用于帧间预测的重新构建的块相对应。然后优选地,将后滤波后的图像用于显示视频。
在视频编码中,将涉及将被编码的视频帧的信息以及与如何执行编码和解码有关的参数编码为比特流,可以解码该比特流以精确地重新构建视频帧。当使用自适应滤波时,还需要将滤波器类型和自适应滤波器系数编码为比特流。这些自适应滤波器系数向比特流添加了比特容量开销,从而潜在地降低了总的比特率。因此应当尽可能有效率地执行对自适应滤波器系数的编码以及后续的解码。
下面示出了在帧间预测的背景下自适应滤波器的示例,该示例类似于[5]中给出的一个滤波器,但是更一般化:
f = f 1 0 0 0 0 f 7 0 f 2 0 0 f 8 0 0 0 f 3 f 9 0 0 0 0 f 10 f 4 0 0 0 f 11 0 0 f 5 0 f 12 0 0 0 0 f 6 公式2
其中f1,...,f12是自适应滤波器系数。
在图1中,示出了根据本领域现有技术对自适应滤波器系数进行编码的过程。在发送至兼容的解码器之前,在编码器中可以将自适应滤波器101的自适应滤波器系数112进行量化105、预测106以及熵编码109,以在编码视频帧的比特流110中进行发送。在预测106中,可以基于来自其它自适应滤波器[4]的系数,对一些(量化的)自适应滤波器系数107进行预测。通过在编码器和解码器中都使用对来自其它源的自适应滤波器系数的预测或估计,可以省略对相应的实际自适应滤波器系数的发送,从而减少比特流110中的比特容量开销。
在本领域中,熵编码109是众所周知的,熵编码109被用于向符号分配唯一的前缀或者码,从而通过符号的出现概率来确定该码的比特数量。熵编码的示例是Huffman编码、依靠可变长度码(VLC)的编码以及上下文算法熵编码(CABAC)。
量化步骤105(其中自适应滤波器系数可以假定的值的数量是有限的)是可选的,然而正常情况下在被量化的系数的域中进行预测106。在公式3中示出了一个自适应滤波器系数fi的量化:
f ‾ i = sign ( f i ) * int ( abs ( f i ) ) * 2 B + 0.5 公式3
其中,abs(fi)是fi的幅度,sign(fi)是fi的符号,B是用于量化fi的幅度的比特数量。
类似于在现有技术[2]中所进行的,作为附加步骤,可以通过从自适应滤波器系数112中减去/移除103参考滤波器102的参考自适应滤波器系数,来构建差分滤波器系数104。该参考滤波器可以是标准的H.264滤波器[1]。在一般的示例中示出了该减法103,参见公式4:
D=F-R                      公式4
其中,D是包含差分滤波器系数的差分矩阵,F是自适应滤波器矩阵以及R是差分滤波器矩阵。
在公式5中的完整矩阵表示中:
公式5
其中,d1,...,d12是差分滤波器系数,f1,...,f12是自适应滤波器系数,以及r1,...,r12是参考自适应滤波器系数。
在公式6中示出了在[5]中使用的类似H.264的参考滤波器的实际示例:
R = 1 0 0 0 0 1 0 - 5 0 0 - 5 0 0 0 52 52 0 0 0 0 20 20 0 0 0 - 5 0 0 - 5 0 1 0 0 0 0 1 × 1 128 公式6
可以将所获得的差分滤波器系数104进行量化105。可以通过利用对称性,从其它空间位置的系数来对一些系数进行预测106[5]。在该情况中,减少了将被编码的系数的数量。在公式9中示出了在自适应滤波器系数以及差分滤波器系数的定义中利用了对称性,其中,绕着滤波器矩阵中间的垂直轴对自适应滤波器系数进行镜像。可以在[3,4]中找到利用对称性的一些其他示例。
在图1b中,示出了根据本领域现有技术的对自适应滤波器系数进行解码的过程的示例。对比特流110进行熵解码113以获得经量化的自适应滤波器系数114,执行系数预测115以及可选地反量化117,以获得自适应滤波器系数123。在根据本领域现有技术的系数预测115中,还可以如[4]中公布的一样基于来自其他自适应滤波器的系数来预测自适应滤波器系数。
自适应滤波器系数fi的预测
Figure BPA00001181874200101
可以基于未经量化的自适应滤波器系数fi或者基于经量化的自适应滤波器系数
Figure BPA00001181874200102
基于未经量化的差分系数di或者基于经量化的差分系数
Figure BPA00001181874200103
。在下面的示例中,自适应滤波器系数的预测是基于经量化的自适应滤波器系数的。
图2a示出了根据本发明的实施例对自适应滤波器系数进行编码的过程。
对图1a中的步骤106进行增强,使得在预测步骤201中,从至少一个剩余的自适应滤波器系数206中产生与自适应滤波器系数
Figure BPA00001181874200104
相对应的经预测的自适应滤波器系数202。可以以不同方式来预测自适应滤波器系数204。例如可以使用对称性从另一个自适应滤波器系数206对自适应滤波器系数204进行预测。在对称性中,使用滤波器
Figure BPA00001181874200108
的矩阵表示来预测自适应滤波器系数,由此通过将滤波器系数在矩阵的对称轴上进行镜像来预测滤波器系数。
通过从实际自适应滤波器系数
Figure BPA00001181874200109
204中减去预测
Figure BPA000011818742001010
202来确定预测误差ei 205。在步骤109中将该预测误差ei 205与剩余的实际自适应滤波器系数206一起进行编码,没有为该剩余的自适应滤波器系数206确定预测误差ei 205。
图2b示出了根据本发明对自适应滤波器系数进行解码的过程。
在该实施例中,如图1b所示在步骤113中对比特流110进行熵解码。该步骤将图2a的步骤109中的熵解码进行反向。从比特流110中的编码比特中恢复在步骤109中输入的包括预测误差205和剩余的自适应滤波器系数206在内的编码符号108。熵解码步骤113的输出114包含经解码的预测误差ei 209以及经解码的剩余的自适应滤波器系数211,针对该剩余的自适应滤波器系数211,没有确定预测误差ei 205。对图1b的系数预测步骤115进行增强,使得在预测步骤208中,通过将经预测的自适应滤波器系数
Figure BPA00001181874200111
210与经解码的预测误差ei 209相加207,来产生与预测误差ei 209相对应的经预测的自适应滤波器系数
Figure BPA00001181874200112
210,重新产生经解码的实际的自适应滤波器系数fi 212。与经解码的剩余的自适应滤波器系数211一起,可以重新构建完整的经量化的滤波器
Figure BPA00001181874200113
参见图1b,可以在可选步骤117中对经量化的滤波器
Figure BPA00001181874200114
进行反量化,并且取决于于是否对差分滤波器系数的自适应滤波器系数进行编码,可以通过加上119参考滤波器R122来恢复自适应滤波器F 121。
在公式7中示出了使用对称性来预测滤波器中的自适应滤波器系数的示例:
F ‾ = f ‾ 1 0 0 0 0 f ‾ 7 0 f ‾ 2 0 0 f ‾ 8 0 0 0 f ‾ 3 f ‾ 9 0 0 0 0 f ‾ 10 f ‾ 4 0 0 0 f ‾ 11 0 0 f ‾ 5 0 f ‾ 12 0 0 0 0 f ‾ 6
= f ‾ 1 0 0 0 0 f ^ 7 + e 7 0 f ‾ 2 0 0 f ^ 8 + e 8 0 0 0 f ‾ 3 f ^ 9 + e 9 0 0 0 0 f ^ 10 + e 10 f ‾ 4 0 0 0 f ^ 11 + e 11 0 0 f ‾ 5 0 f ^ 12 + e 12 0 0 0 0 f ‾ 6
= f ‾ 1 0 0 0 0 f ‾ 1 + e 7 0 f ‾ 2 0 0 f ‾ 2 + e 8 0 0 0 f ‾ 3 f ‾ 3 + e 9 0 0 0 0 f ‾ 4 + e 10 f ‾ 4 0 0 0 f ‾ 5 + e 11 0 0 f ‾ 5 0 f ‾ 6 + e 12 0 0 0 0 f ‾ 6 公式7
其中,ei是与系数
Figure BPA00001181874200124
相对应的预测误差。在该示例中,使用对称性,由矩阵中从左上到右下的对角线上的自适应滤波器系数来预测沿着从右上到左下的对角线上的自适应滤波器系数。在该示例中,使用了公式8:
f ^ i = f ‾ i - 6 , i ∈ [ 7 , , 12 ] 公式8
因此,使用对称性,
Figure BPA00001181874200127
的预测
Figure BPA00001181874200128
等于,由此e7
Figure BPA000011818742001210
的实际值及其预测
Figure BPA000011818742001211
之间的误差。可以将预测方法、系数
Figure BPA000011818742001212
以及预测误差e7..e12编码到比特流110中,其中,不对
Figure BPA000011818742001213
进行编码。由于预测误差e7..e12的值要远小于相关联的自适应滤波器系数
Figure BPA000011818742001214
,因此总共需要更少的比特来对滤波器
Figure BPA000011818742001215
进行编码。可以将该预测方法与由H.264标准[1]指定的滤波器类型相关联,因此可以将滤波器类型而非对预测方法编码到比特流110中。根据[5],滤波器类型的示例是用于特定子像素位置的滤波器。
与根据公式7的编码相对应的解码开始于识别滤波器类型,然后对来自于比特流110的相应系数
Figure BPA00001181874200131
以及预测误差e7..e12进行解码。然后,以与编码过程中根据公式8使用对称性的相同方式对每一个系数进行预测。然后可以根据公式9来重新构建自适应滤波器系数
Figure BPA00001181874200133
f ‾ i = f ^ i + e i = f ‾ i - 6 + e i , i ∈ [ 7 , , 12 ] 公式9
图3a示出了根据本发明的示例实施例对自适应滤波器系数进行编码的框图。注意到在帧间预测(例如运动预测)中,预测中的像素的平均像素值(DC)或者亮度应当与参考帧中(从该参考帧中进行预测)的相应像素的平均像素值(DC)或者亮度相同。使用该假设,(未经量化)的自适应滤波器的DC增益应当是一,因此,典型地自适应滤波器系数应当总计为一,例如不改变平均像素值(DC)。在如公式4和5所示的差分滤波器系数104的情况中,已经从自适应滤波器中减去参考滤波器,这是通过让差分滤波器系数104总计为零来完成的。
相应地,用于对自适应滤波器系数进行编码的好策略是开始对小系数108进行编码,这是由于相对于对大系数进行编码来说,对小系数进行编码在表示中要求较少的比特。可以基于对经编码的较小系数的了解来预测较大的系数。这样,可以预测大系数,并且仅需要对相对小的系数预测误差进行编码。因此,对自适应滤波器系数
Figure BPA00001181874200135
的预测
Figure BPA00001181874200136
还可以基于之前被解码的差分滤波器系数之和。该预测使得该和包括具有所维持的DC级别的自适应滤波器中的预测结果,例如没有对像素值的放大。
在图3a中,通过确定301剩余的自适应滤波器系数206之和304以及从常数C 303中减去302该和304,来确定自适应滤波器系数204的经预测的自适应滤波器系数202,该常数C 303是待编码的滤波器的DC增益。然后,从实际的自适应滤波器系数204中减去203该经预测的自适应滤波器系数202。该差值是预测误差ei 205,然后将该预测误差ei 205与剩余的自适应滤波器系数206一起进行熵编码109。
常数C指的是自适应滤波器DC增益,是自适应滤波器系数的总和。对于未经量化的自适应滤波器系数112来说,C=1,对于差分滤波器系数104来说(未经量化的以及经量化的),由于自适应滤波器系数和参考自适应滤波器系数应当加起来为一,因此C=0。如果用B个比特对每一个自适应滤波器系数进行量化,则对于经量化的自适应滤波器系数107来说,C=2B。如果对每一个经量化的自适应滤波器系数107进行不同的量化,则
Figure BPA00001181874200141
其中,N是系数的数量并且Bmax是用于对滤波器的自适应滤波器系数进行最精细量化的比特数量。
如果在对每一个自适应滤波器系数fi或者插值滤波器系数的量化中使用了不同的Bi比特数量,则需要在将他们加起来之前,对每一个系数进行缩放。将第i个自适应滤波器系数的缩放定义为
Figure BPA00001181874200142
其中,Bmax是用于最精细量化的比特数量并且Bi是用于量化自适应滤波器系数fi的比特数量。
图3b示出了使用根据图3a的发明实施例的预测,对自适应滤波器系数进行解码的相应示例。
经解码的预测误差209与经解码的剩余的自适应滤波器系数211一起形成了熵解码步骤113的结果114。通过确定305经解码的剩余的自适应滤波器系数211之和308,并且通过从常数C 307中减去306该和308,来使用剩余的自适应滤波器系数211确定经解码的自适应滤波器系数预测
Figure BPA00001181874200143
210,如图3a的编码示例中一样,该常数C 307是滤波器的DC增益。通过将经解码的自适应滤波器系数预测
Figure BPA00001181874200151
210与经解码的预测误差ei 209相加207,获得经解码的原始自适应滤波器系数
Figure BPA00001181874200152
212。经解码的原始自适应滤波器系数
Figure BPA00001181874200153
212与经解码的剩余的自适应滤波器系数211一起形成框图1b的可选反量化步骤116的输入116,并且可选地使用在图2b中描述的参考滤波器R,该输入116可以用于恢复滤波器F。
根据本发明的其他实施例,通过将具有最高预期比特编码成本的那些系数中的系数进行分组,可以将滤波器矩阵的自适应滤波器系数划分为一个或者更多具有待预测系数的子矩阵。每一个矩阵可以包含至少一个系数。可以基于预定义的标准对矩阵
Figure BPA00001181874200154
进行划分。该标准可以与滤波器类型相关联。该标准的示例可以是系数的幅度以及系数的布置顺序。
作为通用规则,在具有待预测的自适应滤波器系数的矩阵中将最大的自适应滤波器系数分组是有利的。同样的,这些自适应滤波器系数优选地具有相似的幅度。将在幅度上相差大的自适应滤波器系数进行混合是不利的。
划分滤波器矩阵的另一个示例是使用如公式7中所示的滤波器的系数的位置。可以将公式7的自适应滤波器矩阵
Figure BPA00001181874200155
划分为两个子矩阵
Figure BPA00001181874200156
Figure BPA00001181874200158
Figure BPA00001181874200159
可以具有共同的系数,所以可以如下所示的将
Figure BPA000011818742001510
Figure BPA000011818742001511
重叠:
S ‾ 1 = - - - - - - - - - - - - - - f ‾ 3 f ‾ 9 - - - - - - - - - - - - - - - - - - - - , S ‾ 2 = - - - - - - - - - - - - - - f ‾ 3 f ‾ 9 - - - - f ‾ 10 f ‾ 4 - - - - - - - - - - - - - - 公式10a
将剩余的系数分别存储在相应的矩阵
Figure BPA000011818742001513
Figure BPA000011818742001514
中:
T ‾ 1 = f ‾ 1 - - - - f ‾ 7 - f ‾ 2 - - f ‾ 8 - - - - - - - - - f ‾ 10 f ‾ 4 - - - f ‾ 11 - - f ‾ 5 - f ‾ 12 - - - - f ‾ 6 , T ‾ 2 = f ‾ 1 - - - - f ‾ 7 - f ‾ 2 - - f ‾ 8 - - - - - - - - - - - - - - f ‾ 11 - - f ‾ 5 - f ‾ 12 - - - - f ‾ 6 公式10b
如公式11所示,可以针对编码所有自适应滤波器系数所需的比特数量来确定成本函数Y:
Cost i = Y ( S ‾ i , T ‾ i ) 公式11
备选地,该成本还可以基于失真。失真的示例是原始像素值和经滤波的像素值之间的绝对方差或者均方差之和。可以如公式1或者公式9一样来获得经滤波的像素值。
针对每一个组合
Figure BPA00001181874200163
对成本函数Y进行评估。将选择给出最少总成本的组合
Figure BPA00001181874200164
。将所选组合
Figure BPA00001181874200165
的索引i编码到比特流110中。在已经对所选矩阵
Figure BPA00001181874200166
之外的所有系数进行编码之后,对所选矩阵
Figure BPA00001181874200167
的系数进行预测。如果
Figure BPA00001181874200168
是所选矩阵,则让
Figure BPA00001181874200169
的预测等于常数C减去
Figure BPA000011818742001610
中系数之和,由此,使用在滤波器中出现的次数来缩放每一个系数,并且将结果除以所选矩阵中的系数数量,如公式12所示:
f ^ 3 = C - ( f ‾ 1 + f ‾ 2 + f ‾ 4 + f ‾ 5 + f ‾ 6 + f ‾ 7 + f ‾ 8 + f ‾ 10 + f ‾ 11 + f ‾ 12 ) 2 公式12
将预测误差e3确定为:
e 3 = f ‾ 3 - f ^ 3 公式13
将预测误差e3编码到比特流110中。
下一个步骤是预测所选矩阵
Figure BPA000011818742001613
中的剩余系数,例如
Figure BPA000011818742001614
。对
Figure BPA000011818742001615
的预测是C减去
Figure BPA00001181874200171
中的系数与
Figure BPA00001181874200172
之和,并且将结果除以所选矩阵中剩余系数的数量,其中使用在滤波器中的出现次数对每一个系数进行缩放:
f ^ 9 = C - ( f ‾ 1 + f ‾ 2 + f ‾ 3 + f ‾ 4 + f ‾ 5 + f ‾ 6 + f ‾ 7 + f ‾ 8 + f ‾ 10 + f ‾ 11 + f ‾ 12 ) 公式14
预测误差e9是:
e 9 = f ‾ 9 - f ^ 9 公式15
然后将预测误差编码e9到比特流110中。
可以如下描述对与公式10a和10b相对应的编码示例的自适应滤波器系数进行的解码。首先从比特流110中解码出所选矩阵
Figure BPA00001181874200175
然后解码出在所选矩阵
Figure BPA00001181874200176
之外的系数。如果例如所选矩阵是
Figure BPA00001181874200177
则该解码将得到经量化的自适应滤波器系数
Figure BPA00001181874200179
。然后可以如下评估对
Figure BPA000011818742001710
的预测:
f ^ 3 = C - ( f ‾ 1 + f ‾ 2 + f ‾ 4 + f ‾ 5 + f ‾ 6 + f ‾ 7 + f ‾ 8 + f ‾ 10 + f ‾ 11 + f ‾ 12 ) 2 公式16
其中,C=2B。然后从比特流110中解码出预测误差e3。则可以如下生成
Figure BPA000011818742001712
的量化值:
f ‾ 3 = e 3 + f ^ 3 公式17
Figure BPA000011818742001714
的预测是:
f ^ 9 = C - ( f ‾ 1 + f ‾ 2 + f ‾ 3 + f ‾ 4 + f ‾ 5 + f ‾ 6 + f ‾ 7 + f ‾ 8 + f ‾ 10 + f ‾ 11 + f ‾ 12 ) 公式18
从而已对所有自适应滤波器系数进行了解码和重新构建。
当在定点算法(这是大多数情况)中实现滤波时,可以如下使用经量化的值来直接执行公式1中所示的滤波:
P ( k , l ) = ( Σ i = 0 N - 1 Σ j = 0 M - 1 F ‾ ( i , j ) R ( k - i + int ( N 2 ) , l - j + int ( M 2 ) ) + 2 B - 1 ) > > B 公式19
其中,>>与下移位B个比特相对应,或者类似于除以2B,并且2B-1与取整因子相对应。
在另一个示例中,如针对[5]中的一个滤波器类型所描述的,在自适应滤波器系数的定义中使用自适应滤波器系数的镜像。在公式20中描述了该滤波器:
F ‾ = f ‾ 1 0 0 0 0 f ‾ 7 0 f ‾ 2 0 0 f ‾ 8 0 0 0 f ‾ 3 f ‾ 9 0 0 0 0 f ‾ 10 f ‾ 4 0 0 0 f ‾ 11 0 0 f ‾ 5 0 f ‾ 12 0 0 0 0 f ‾ 6 = f ‾ 1 0 0 0 0 f ‾ 1 0 f ‾ 2 0 0 f ‾ 2 0 0 0 f ‾ 3 f ‾ 3 0 0 0 0 f ‾ 4 f ‾ 4 0 0 0 f ‾ 5 0 0 f ‾ 5 0 f ‾ 6 0 0 0 0 f ‾ 6 公式20
如上所述,可以针对滤波器的中心系数将自适应滤波器矩阵
Figure BPA00001181874200183
划分为例如两个子矩阵
Figure BPA00001181874200184
。可以再一次将
Figure BPA00001181874200185
Figure BPA00001181874200186
重叠,使得他们具有共同的系数。
S ‾ 1 = - - - - - - - - - - - - - - f ‾ 3 f ‾ 3 - - - - - - - - - - - - - - - - - - - - , S ‾ 2 = - - - - - - - - - - - - - - f ‾ 3 f ‾ 3 - - - - f ‾ 4 f ‾ 4 - - - - - - - - - - - - - - 公式21a
分别将剩余的系数存储在相应的矩阵T1,T2中。
T ‾ 1 = f ‾ 1 - - - - f ‾ 1 - f ‾ 2 - - f ‾ 2 - - - - - - - - - f ‾ 4 f ‾ 4 - - - f ‾ 5 - - f ‾ 5 - f ‾ 6 - - - - f ‾ 6 , T ‾ 2 = f ‾ 1 - - - - f ‾ 1 - f ‾ 2 - - f ‾ 2 - - - - - - - - - - - - - - f ‾ 5 - - f ‾ 5 - f ‾ 6 - - - - f ‾ 6 公式21b
针对每一个组合
Figure BPA00001181874200191
来对成本函数进行评估。将选择给出最少总成本的组合。将所选组合
Figure BPA00001181874200193
的索引i编码到比特流110中。在已经对所选矩阵
Figure BPA00001181874200194
之外的所有系数进行编码之后,对所选矩阵的系数进行预测。如果
Figure BPA00001181874200196
是所选矩阵,则使的预测等于常数C减去T2中系数之和,由此通过滤波器中的出现次数来缩放每一个系数,并且将结果除以所选矩阵中的系数数量:
f ^ 4 = C - ( 2 * f ‾ 1 + 2 * f ‾ 2 + 2 * f ‾ 5 + 2 * f ‾ 6 ) 4 公式22
如下确定预测误差e4
e 4 = f ‾ 4 - f ^ 4 公式23
将预测误差e4编码到比特流110中。下一个步骤是预测所选矩阵
Figure BPA000011818742001911
中的剩余系数,例如
Figure BPA000011818742001912
Figure BPA000011818742001913
的预测等于C减去
Figure BPA000011818742001914
中的系数与
Figure BPA000011818742001915
之和,用滤波器中的出现次数对每一个系数进行缩放,并且将结果除以所选矩阵中剩余系数的数量:
f ^ 3 = C - ( 2 * f ‾ 1 + 2 * f ‾ 2 + 2 * f ‾ 4 + 2 * f ‾ 5 + 2 * f ‾ 6 ) 2 公式24
预测误差e3是:
e 3 = f ‾ 3 - f ^ 3 公式25
然后将预测误差编码e3进比特流110。
可以如下描述与公式21a和21b示例相对应的自适应滤波器系数的解码过程:
首先从比特流110中解码出所选矩阵。然后解码出在所选矩阵之外的系数。如果所选矩阵是则这将得到经量化的自适应滤波器系数
Figure BPA00001181874200203
。然后可以如下评估对
Figure BPA00001181874200205
的预测
Figure BPA00001181874200206
f ^ 3 = C - ( 2 * f ‾ 1 + 2 * f ‾ 2 + 2 * f ‾ 4 + 2 * f ‾ 5 + 2 * f ‾ 6 ) 2 公式26
然后,从比特流110中解码出预测误差e3。则可以如下生成经量化的自适应滤波器系数
Figure BPA00001181874200208
f ‾ 3 = e 3 + f ^ 3 公式27
由于对e3进行了解码并且对
Figure BPA000011818742002010
进行了预测,所有经量化的自适应滤波器系数
Figure BPA000011818742002011
是可用的。使用根据公式20的镜像,可以确定相应的系数
Figure BPA000011818742002012
,完成对自适应滤波器
Figure BPA000011818742002013
的解码和重新构建。
对于本领域技术人员来说显而易见地,处理了自适应滤波器系数的所有情况,类似地可以处理差分滤波器系数,或者反之亦然。上面描述的教导不仅可以应用于6x6滤波器矩阵,还可以应用于其他大小和比率的滤波器矩阵。
当根据上述方法来使用自适应滤波器系数的预测和编码时,可以由编码器向解码器进行通知,例如通过向比特流110中插入标记或者通知。该通知可以与上述的滤波器类型相关联。编码器选择花费最少的比特数量来对特定的滤波器系数进行编码的方法。
图4a示出了根据与图2a和3a相对应的发明的实施例,用于执行对自适应滤波器系数进行编码的过程的编码器的框图。
在根据本发明的前述方法中使用的编码器可以包括用于接收自适应滤波器坐标112的第一接口401。该第一接口401可以是例如计算机存储器中的变量、适用于从其他进程接收自适应滤波器系数的串行接口的并行接口。该编码器还可以具有技术上与第一接口相似的第二接口402,用于输出经编码的自适应滤波器系数的比特流110。该编码器还可选地具有技术上与第一和第二接口类似的第三接口,用于接收参考自适应滤波器系数。该编码器还可以包括处理403装置,比如数据处理器和存储器,该存储器加载有计算机指令,特别适于引起处理器执行如上所述的对自适应滤波器系数进行编码的方法的步骤。该处理装置403还可以包括用于执行至少部分编码过程的专用硬件。
处理装置403控制第一接口401,使得可以由处理装置403来接收和处理自适应滤波器系数104、107、112并且将他们编码进比特流110。可以例如经由适用于接收自适应滤波器系数104、107、112的计算机存储器中的变量、并行端口或者串行端口来接收例如自适应滤波器系数104、107、112。该处理装置403还控制第二接口402,使得可以经由接口402将通过如上所述处理所获得比特流110输出,用于将比特流110解码为解码的视频帧。可以将比特流110例如写为存储器、并行端口或者串行端口中的数据,用于其它用途。类似地,可以由处理装置403来控制第三接口,以获得参考自适应滤波器系数111。可以从存储器、并行端口或者串行端口中读取这些参考自适应滤波器系数111。
图4b示出了根据与图2b和3b相对应的发明的实施例,用于执行对自适应滤波器系数进行解码的过程的解码器的框图。
在根据本发明的上述方法中使用的解码器可以包括用于从通过图4a描述的编码器中接收经编码的自适应滤波器系数的比特流110的第一接口404。该解码器还可以具有技术上类似于第一接口404的第二接口405,用于输出解码的自适应滤波器系数120。该解码器还可选地具有技术上与第一和第二接口类似的第三接口,用于接收参考自适应滤波器系数。该解码器还包括处理装置406,比如数据处理器和存储器,该存储器加载有计算机指令,特别适于引起处理器执行如上所述的从比特流110中解码自适应滤波器系数的方法的步骤。处理装置406还可以包括用于执行至少一部分解码过程的专用硬件。
处理装置406控制第一接口404,使得可以由处理装置406接收和处理比特流110。可以经由适用于接收编码的自适应滤波器系数的比特流110的计算机存储器中的变量、并行端口或者串行端口来接收比特流110。处理装置406还控制第二接口405,使得可以将通过如上所述处理所获得的经解码的自适应滤波器系数116、118、121输出,用于将比特流110解码为经解码的视频帧。可以将经解码的自适应滤波器系数例如写为存储器、并行端口或者串行端口中的数据,以用于其它用途。类似地,可以由处理装置406来控制第三接口,以获得参考自适应滤波器系数123。可以从存储器、并行端口或者串行端口中读取这些参考自适应滤波器系数123。
上面描述的实施例仅作示例之用。本领域技术人员将理解可以在不背离由下面阐述的权利要求的范围的情况下,改变、修改或者偏离这些实施例。
简写
H.264-视频编码标准
DC-区域中平均亮度或者色度值
参考文献
[1]ITU-T Rec.H.264/ISO/IEC MPEG 14496-10,2003
[2]Y.Vatis,B.Edler,D.T.Nguyen,J.Ostermann,“Two-dimensional non-separable Adaptive Wiener Interpolation Filter forH.264/AVC”,ITU-T SGI 6/Q.6 Doc.VCEG-Z17,Busan,South Korea,April 2005
[3]“Syntax of adaptive filter coefficients in the KTA referencemodel”,VCEG-AF09,ITU-T,Study group 16,Question 6,April 2007
[4]“Separable Adaptive Interpolation Filter”,COM16-C219,Matsushita,July 2007
[5]D.Rusanovskyy,K.Ugur,J.Lainema,“Adaptive Interpolationwith Directional Filters”,ITU-T Q.6/SG16 VCEG,VCEG-AG21,October2007
[6]S.Wittman,T.Wedi,Post-filter SEI message for 4:4:4 coding,MPEG/ITU Joint Video Team,JVT-S030rl,April 2006
[7]Mark Owen,Practical Signal Processing,chapter 4,CambridgeUniversity Press,2007

Claims (15)

1.一种将自适应滤波器的多个滤波器系数(104、107、112)编码为比特流(110)的方法,所述方法包括下列步骤:
a)将滤波器系数(104、107、112)熵编码(109)为比特流(110);
b)基于剩余的滤波器系数(206)中的至少一个来确定(201)对实际的自适应滤波器系数(204)的预测(202);
c)基于所述实际的自适应滤波器系数(204)与所述预测(202)之间的差来确定(203)预测误差(205);
d)以及,对所述多个滤波器系数(104、107、112)进行熵编码(109)的步骤包括对所述实际的自适应滤波器系数(204)的预测误差(205)进行熵编码(109),并且对剩余的滤波器系数(206)进行熵编码(109);
其特征在于
e)在矩阵中布置所述滤波器系数(104、107、112);以及确定(201)对所述实际的自适应滤波器系数(204)的预测(202)的步骤还包括:
f)将所述滤波器系数的矩阵划分为多个子矩阵,所述多个子矩阵的每一个具有滤波器系数的子集合;
g)针对所述子矩阵中的每一个,使用不在所述子矩阵中的滤波器系数,对在所述子矩阵中的滤波器系数进行预测;
h)向具有所预测的滤波器系数的子矩阵的每一个及其相关联的不在所述子矩阵中的滤波器系数应用成本函数;
i)选择具有最低成本的子矩阵作为将被编码的子矩阵;
j)对所选择的子矩阵的索引进行编码。
2.根据权利要求1所述的方法,其中,将所述滤波器系数的矩阵划分为至少两个子矩阵,所述至少两个子矩阵具有来自所述矩阵的中心部分的系数。
3.根据权利要求1所述的方法,其中,在具有至少一个对称轴的滤波器系数矩阵中布置所述滤波器系数(104、107、112),并且,确定(201)对所述实际的自适应滤波器系数(204)的预测(202)的步骤包括绕所述矩阵的所述至少一个对称轴来对相应的滤波器系数进行镜像的步骤。
4.根据权利要求1-3中任一项所述的方法,其中,所述滤波器系数是差分滤波器系数(104),所述方法还包括下列步骤:通过从相应的滤波器系数(112)中减去参考滤波器系数(111),来确定(103)所述差分滤波器系数(104)。
5.根据权利要求4所述的方法,其中,确定(201)对所述实际的自适应滤波器系数(204)的预测(202)的步骤包括:
a)确定(301)剩余的滤波器系数(206)之和(304);
b)通过从常数(303)中减去所述和(304)来确定所述预测(202);
c)其中,所述常数(303)等于所述滤波器的DC增益,并且所述DC增益等于所有滤波器系数之和;或者
d)对于所述差分滤波器系数,所述常数(303)等于零。
6.根据权利要求1-3中任一项所述的方法,还包括在预测(106)滤波器系数的步骤之前,对所述滤波器系数(104、112)进行量化(105)的步骤。
7.一种对自适应滤波器的滤波器系数(104、107、112)进行编码的编码器,所述编码器包括:
a)第一接口装置(401),用于接收滤波器系数(104、107、112);
b)第二接口装置(402),用于输出编码后的滤波器系数的比特流(110);
c)处理装置(403),分别可操作地连接到所述第一接口装置(401)和所述第二接口装置(402),特别适于执行权利要求1-6中任一项所述的方法中的步骤。
8.根据权利要求7所述的编码器,还包括可操作地连接到所述处理装置(403)的第三接口,用于接收参考滤波器系数。
9.一种将编码后的自适应滤波器的滤波器系数的比特流(110)解码为多个解码后的滤波器系数(116、118、120)的方法,所述方法包括下列步骤:
a)将所述比特流(110)熵解码(113)为滤波器系数(114);
其特征在于,将所述比特流(110)熵解码为滤波器系数的步骤包括下列步骤:
b)对与实际的自适应滤波器系数(212)相对应的预测误差(209)进行熵解码(113);
c)对来自所述比特流(110)的剩余的滤波器系数(211)进行熵解码;
d)从所述剩余的自适应滤波器系数(211)的至少一个中确定(201)对所述实际的自适应滤波器系数(212)的预测(210);
e)通过将所述预测误差(209)与所述预测(210)相加,恢复所述实际的自适应滤波器系数(212);
其特征在于
f)所述比特流(110)包括子矩阵索引,所述方法还包括:
g)对所述子矩阵索引进行解码;
h)对来自与所述子矩阵索引相对应的子矩阵中的至少一个预测误差进行解码;
i)对不在所述子矩阵中的多个滤波器系数进行解码;
j)从与所述预测误差相对应的多个滤波器系数中确定对滤波器系数的预测;
k)从对所述滤波器系数的预测与相应的预测误差来恢复滤波器系数。
10.根据权利要求9所述的方法,其中,所述滤波器系数(116、118)是差分滤波器系数,所述方法还包括以下步骤:通过将参考滤波器系数(123)与相应的差分滤波器系数相加(119)来确定滤波器系数(120)。
11.根据权利要求10所述的方法,其中,从所述剩余的滤波器系数(211)的至少一个中确定(201)对所述实际的自适应滤波器系数(212)的预测(210)的步骤包括:
a)确定(305)所述剩余的滤波器系数(211)之和(308);
b)通过从常数(307)中减去(306)所述和(308)来确定所述预测(210);
c)其中,所述常数(307)等于所述滤波器的DC增益;或者
d)对于所述差分滤波器系数,所述常数(307)等于零。
12.根据权利要求9-11中任一项所述的方法,其中,将所述滤波器系数布置在具有至少一个对称轴的滤波器系数矩阵中,并且确定至少一个滤波器系数的至少一个预测的步骤包括以下步骤:通过绕所述矩阵的所述至少一个对称轴来对相应的滤波器系数进行镜像,来预测至少一个滤波器系数。
13.根据权利要求9-11中任一项所述的方法,还包括对所述自适应滤波器系数(116)进行反量化(117)的步骤。
14.一种用于将比特流(110)解码为自适应滤波器的滤波器系数的解码器,所述解码器包括:
a)第一接口装置(404),用于接收所述比特流(110);
b)第二接口装置(405),用于输出解码后的滤波器系数(120);
c)处理装置(406),分别可操作地连接到所述第一接口装置(404)和所述第二接口装置(405),特别适于执行权利要求9-13中任一项所述的方法中的步骤。
15.根据权利要求14所述的解码器,还包括可操作地连接到所述处理装置(406)的第三接口,用于接收参考滤波器系数。
CN2009801018211A 2008-01-08 2009-01-08 对滤波器系数进行编码 Active CN101939993B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US1972708P 2008-01-08 2008-01-08
US61/019,727 2008-01-08
US12376908P 2008-04-11 2008-04-11
US61/123,769 2008-04-11
PCT/EP2009/000065 WO2009087095A1 (en) 2008-01-08 2009-01-08 Encoding filter coefficients

Publications (2)

Publication Number Publication Date
CN101939993A CN101939993A (zh) 2011-01-05
CN101939993B true CN101939993B (zh) 2013-01-02

Family

ID=40202148

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008801242918A Expired - Fee Related CN101971632B (zh) 2008-01-08 2008-10-08 自适应滤波
CN2009801018211A Active CN101939993B (zh) 2008-01-08 2009-01-08 对滤波器系数进行编码

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2008801242918A Expired - Fee Related CN101971632B (zh) 2008-01-08 2008-10-08 自适应滤波

Country Status (5)

Country Link
US (3) US8576906B2 (zh)
EP (3) EP2232874B1 (zh)
JP (1) JP5236746B2 (zh)
CN (2) CN101971632B (zh)
WO (3) WO2009088340A1 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
KR101260157B1 (ko) * 2009-02-13 2013-05-06 리서치 인 모션 리미티드 인트라코딩된 이미지 또는 프레임에 대한 인루프 디블로킹
KR101510108B1 (ko) 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
US9883207B2 (en) * 2009-12-31 2018-01-30 Thomson Licensing Dtv Methods and apparatus for adaptive coupled pre-processing and post-processing filters for video encoding and decoding
WO2011083666A1 (ja) * 2010-01-08 2011-07-14 シャープ株式会社 符号化装置、復号装置、および、データ構造
US8787449B2 (en) 2010-04-09 2014-07-22 Sony Corporation Optimal separable adaptive loop filter
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
KR101663764B1 (ko) * 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
US20120063515A1 (en) * 2010-09-09 2012-03-15 Qualcomm Incorporated Efficient Coding of Video Parameters for Weighted Motion Compensated Prediction in Video Coding
US10142630B2 (en) * 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
SG10202008690XA (en) * 2011-01-12 2020-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
US9049454B2 (en) * 2011-01-19 2015-06-02 Google Technology Holdings Llc. High efficiency low complexity interpolation filters
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US8964852B2 (en) * 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
US20120230407A1 (en) 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
CN107623857B (zh) 2011-04-12 2021-01-05 韩国电子通信研究院 视频编码/解码方法、设备以及生成和存储比特流的方法
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9432699B2 (en) * 2011-05-18 2016-08-30 Nokia Technologies Oy Methods, apparatuses and computer programs for video coding
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US9264725B2 (en) 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
CN107426579B (zh) 2011-06-24 2020-03-10 Lg 电子株式会社 图像信息编码和解码方法
EP2725799B1 (en) 2011-06-27 2020-04-29 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
KR102111917B1 (ko) * 2011-06-30 2020-05-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
MX2013015056A (es) * 2011-07-01 2014-06-23 Motorola Mobility Llc Filtro de interpolacion de sub-pixel conjunto para prediccion temporal.
EP2551846B1 (en) * 2011-07-26 2022-01-19 AKG Acoustics GmbH Noise reducing sound reproduction
JP5762243B2 (ja) * 2011-10-18 2015-08-12 日本電信電話株式会社 映像符号化方法,装置,映像復号方法,装置およびそれらのプログラム
CN107835420B (zh) * 2011-10-18 2021-05-14 株式会社Kt 视频信号解码方法
EP2595382B1 (en) * 2011-11-21 2019-01-09 BlackBerry Limited Methods and devices for encoding and decoding transform domain filters
CN103975593B (zh) 2011-11-25 2018-10-16 汤姆逊许可公司 基于三维模型压缩而生成重复性结构发现的比特流的方法和设备
EP2783350A4 (en) * 2011-11-25 2016-06-22 Thomson Licensing METHODS AND APPARATUS FOR THREE-DIMENSIONAL MODEL COMPRESSION BASED ON REFLECTION SYMMETRY
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
GB2499844B (en) * 2012-03-02 2014-12-17 Canon Kk Methods for encoding and decoding an image, and corresponding devices
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9264706B2 (en) * 2012-04-11 2016-02-16 Qualcomm Incorporated Bypass bins for reference index coding in video coding
TWI618404B (zh) * 2012-06-27 2018-03-11 Sony Corp Image processing device and method
US9185414B1 (en) 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
CN102831406B (zh) * 2012-08-17 2016-02-24 广东非思智能科技股份有限公司 基于空间滤波器的人脸识别方法
CN103716628B (zh) * 2012-09-29 2017-08-18 华为技术有限公司 编解码处理方法、编码器和解码器
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
GB2509707B (en) * 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
WO2014122804A1 (ja) * 2013-02-05 2014-08-14 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
GB2518603B (en) * 2013-09-18 2015-08-19 Imagination Tech Ltd Generating an output frame for inclusion in a video sequence
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US9195860B1 (en) 2014-01-10 2015-11-24 Seagate Technology Llc Adaptively combining waveforms
CN107079171B (zh) * 2014-10-01 2021-01-29 Lg 电子株式会社 使用改进的预测滤波器编码和解码视频信号的方法和装置
MY197611A (en) 2015-09-25 2023-06-28 Huawei Tech Co Ltd Apparatus and method for video motion compensation
EP3354027A1 (en) 2015-09-25 2018-08-01 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
WO2017052409A1 (en) * 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
CN108141603B (zh) 2015-09-25 2020-12-15 华为技术有限公司 视频编解码方法及视频编解码器
JP6678735B2 (ja) 2015-09-25 2020-04-08 華為技術有限公司Huawei Technologies Co.,Ltd. 予測符号化のための適応シャープニングフィルタ
EP3151559A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method for coding and decoding a plurality of picture blocks and corresponding devices
CA3005417A1 (en) 2015-11-17 2017-05-26 Huawei Technologies Co., Ltd. Method and apparatus for video coding
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
US10116957B2 (en) 2016-09-15 2018-10-30 Google Inc. Dual filter type for motion compensated prediction in video coding
CN110169062A (zh) * 2017-01-10 2019-08-23 瑞典爱立信有限公司 去块滤波控制
US12058309B2 (en) * 2018-07-08 2024-08-06 Mellanox Technologies, Ltd. Application accelerator
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
WO2020063552A1 (en) * 2018-09-25 2020-04-02 Huawei Technologies Co., Ltd. Method and apparatus for image filtering with adaptive multiplier coefficients, and terminal device
WO2020132825A1 (zh) * 2018-12-24 2020-07-02 华为技术有限公司 图像处理装置和图像处理方法
US11818343B2 (en) * 2021-03-12 2023-11-14 Tencent America LLC Sample offset with predefined filters
US11785213B2 (en) * 2021-03-12 2023-10-10 Tencent America LLC Method and apparatus for video filtering
CN117834864A (zh) * 2022-09-27 2024-04-05 中兴通讯股份有限公司 一种视频编解码环路滤波方法、视频解码方法及装置
CN115955217B (zh) * 2023-03-15 2023-05-16 南京沁恒微电子股份有限公司 一种低复杂度数字滤波器系数自适应组合编码方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1296701A (zh) * 1999-01-13 2001-05-23 皇家菲利浦电子有限公司 在编码信号中嵌入补充数据
WO2003058945A2 (en) * 2002-01-14 2003-07-17 Nokia Corporation Coding dynamic filters
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
JP4226172B2 (ja) * 1998-11-24 2009-02-18 株式会社ハイニックスセミコンダクター 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
FI107495B (fi) * 1999-08-13 2001-08-15 Nokia Multimedia Network Termi Menetelmä ja järjestely koodatun digitaalisen kuvabittivirran volyymin tai tahdin pienentämiseksi
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US8284837B2 (en) * 2004-09-16 2012-10-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
KR100782815B1 (ko) * 2005-08-09 2007-12-06 삼성전자주식회사 인텐서티 보상을 위한 영상 디코딩 방법 및 장치
SG130962A1 (en) * 2005-09-16 2007-04-26 St Microelectronics Asia A method and system for adaptive pre-filtering for digital video signals
US7885341B2 (en) * 2005-10-21 2011-02-08 Cisco Technology, Inc. Spatial filtering for improving compression efficiency of motion compensated interframe coding
WO2007094792A1 (en) * 2006-02-17 2007-08-23 Thomson Licensing Localized weighted prediction handling video data brightness variations
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1296701A (zh) * 1999-01-13 2001-05-23 皇家菲利浦电子有限公司 在编码信号中嵌入补充数据
WO2003058945A2 (en) * 2002-01-14 2003-07-17 Nokia Corporation Coding dynamic filters
CN1615645A (zh) * 2002-01-14 2005-05-11 诺基亚有限公司 编码动态滤波器
WO2006108654A2 (en) * 2005-04-13 2006-10-19 Universität Hannover Method and apparatus for enhanced video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yumi Sohn,et al..ONE DIMENSIONAL TRANSFORM FOR H.264 BASED INTRA CODING.《Picture Coding Symposium 2007》.2007, *

Also Published As

Publication number Publication date
EP2232874B1 (en) 2012-12-05
US8687711B2 (en) 2014-04-01
WO2009087095A1 (en) 2009-07-16
EP2241112B1 (en) 2012-06-27
CN101971632A (zh) 2011-02-09
EP2227909A4 (en) 2011-04-20
CN101939993A (zh) 2011-01-05
CN101971632B (zh) 2013-10-16
EP2227909A1 (en) 2010-09-15
US20100278269A1 (en) 2010-11-04
US20100284461A1 (en) 2010-11-11
JP5236746B2 (ja) 2013-07-17
WO2009088340A1 (en) 2009-07-16
JP2011509594A (ja) 2011-03-24
EP2241112A1 (en) 2010-10-20
EP2232874A1 (en) 2010-09-29
WO2009088353A1 (en) 2009-07-16
US20100284458A1 (en) 2010-11-11
US8576906B2 (en) 2013-11-05

Similar Documents

Publication Publication Date Title
CN101939993B (zh) 对滤波器系数进行编码
CN105379283B (zh) 数据编码和解码
CN101969566B (zh) 运动图像编码装置以及运动图像编码方法
TWI527438B (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及其程式產品
CN103650496A (zh) 用于在hevc中编码的基于像素的帧内预测
CN104185989A (zh) 用于帧内预测残差的二值化方案和hevc中无损编码中的改进帧内预测
IL224195A (en) A method and device for encoding and decoding an image by predicting
CN101352046A (zh) 图像编码/解码方法与装置
CN104041040A (zh) 用于无损视频编码的预测残差编码
JP5594841B2 (ja) 画像符号化装置及び画像復号装置
CN101589624A (zh) 图像再编码设备、图像再编码方法以及图像编码程序
EP2664149A1 (en) Deblocking filtering
US20130188694A1 (en) Method of determining binary codewords for transform coefficients
CN115150612A (zh) 图像编解码方法、编码器、解码器以及存储介质
CN104967851A (zh) 用于运动补偿预测的方法和设备
CN104350752A (zh) 用于高性能视频编码中的无损编码模式的环内滤波
CN102282850A (zh) 运动图像编码方法以及运动图像解码方法
WO2023049374A1 (en) Hybrid neural network based end-to-end image and video coding method
AU2019467372B2 (en) Image coding/decoding method, coder, decoder, and storage medium
CN117426088A (zh) 视频编解码方法、设备、系统、及存储介质
US20220030239A1 (en) Image decoding method, encoding method, devices, terminal equipment and computer programs therefor
JP5571542B2 (ja) 映像符号化方法、及び映像復号方法
CN101742323B (zh) 无再损视频编码和解码的方法和装置
CN112616326B (zh) 图像解码装置、图像解码方法和存储介质
CN102215384B (zh) 图像压缩方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant