CN107896330A - 一种用于帧内和帧间预测的滤波方法 - Google Patents

一种用于帧内和帧间预测的滤波方法 Download PDF

Info

Publication number
CN107896330A
CN107896330A CN201711224118.2A CN201711224118A CN107896330A CN 107896330 A CN107896330 A CN 107896330A CN 201711224118 A CN201711224118 A CN 201711224118A CN 107896330 A CN107896330 A CN 107896330A
Authority
CN
China
Prior art keywords
prediction
prediction block
formula
filter
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711224118.2A
Other languages
English (en)
Other versions
CN107896330B (zh
Inventor
王荣刚
范逵
李革
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201711224118.2A priority Critical patent/CN107896330B/zh
Publication of CN107896330A publication Critical patent/CN107896330A/zh
Priority to PCT/CN2018/107208 priority patent/WO2019105120A1/zh
Priority to US16/645,618 priority patent/US10939124B1/en
Application granted granted Critical
Publication of CN107896330B publication Critical patent/CN107896330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公布了一种用于帧内和帧间预测的滤波方法，对预测之后得到的像素值，通过RDO决策自适应地选择是否对预测块进行滤波；基于广义高斯分布函数建立滤波器，不同尺寸的预测块采用不同的滤波器，通过对各尺寸的预测块进行训练得到滤波器参数，包括：在编码端对每一个编码单元进行RDO，首先对每一个编码单元进行帧内预测或帧间预测；再使用本发明滤波方法对预测块进行滤波，通过RDO决策确定是否使用预测块滤波；在解码端，针对不同的预测块大小设置不同的滤波系数；根据标记进行解码；由此解决预测块失真问题，并能够增加预测精度，提升帧内和帧间预测块的编码效率。

Description

一种用于帧内和帧间预测的滤波方法
技术领域
本发明涉及视频编码技术领域，具体涉及一种用于帧内和帧间预测的滤波方法，可用于对帧内预测块和帧间预测块进行滤波，增强预测的准确度，从而提升编码效率。
背景技术
预测滤波技术是一个非常有效的编码工具，用于优化预测块的边界，可有效缓解预测块边界处的失真。
在High Efficiency Video Coding(HEVC)标准中，现有方法采用了两种帧内预测边界滤波器技术。一种是针对DC(Direct Current)预测模式(直流预测模式)，使用一个两抽头的滤波器(滤波系数为[1/4 3/4])对帧内预测块的第一行和第一列进行滤波；另外一种是针对水平和竖直预测模式，对水平预测模式的第一行和竖直预测模式的第一列进行滤波。
上述滤波技术主要存在的缺陷包括以下几方面：
(一)以上现有滤波技术只是针对少数几个帧内预测模式，并且滤波范围十分有限，因此在一定程度上局限了预测滤波技术的性能；
(二)这些滤波技术并没有充分地利用像素点之间的空间相关性来减少预测失真；
(三)这些滤波技术只被用于帧内预测部分，并没有考虑帧间预测的情况。
发明内容
为了克服上述现有技术的不足，本发明提供一种用于帧内和帧间预测的滤波方法，用以有效地解决预测块失真问题，并能够提升预测块的预测精度。
本发明提供的技术方案是：
一种用于帧内和帧间预测的滤波方法，通过率失真优化(Rate distortionoptimization,RDO)决策自适应地选择是否对预测块进行滤波；本方法所采用的滤波器是基于广义高斯分布函数建立，不同尺寸的预测块采用不同的滤波器，滤波器参数通过对各个尺寸的预测块进行训练得到；由此解决预测块失真问题，并能够增加预测精度，提升帧内和帧间预测块的编码效率；包括如下步骤：
1)在编码端对每一个编码单元(Coding unit,CU)进行率失真优化，执行如下操作：
11)首先，对每一个编码单元(Coding unit,CU)进行帧内预测或是帧间预测；
12)使用本发明提出的滤波方法对预测块进行滤波，滤波具体包括如下过程：
首先，从已经编码完成的编码单元(即已经重建的编码单元)中获取与当前预测块相邻的重建像素点，作为滤波的参考像素点；
之后，根据预测模式选取滤波所需的参考像素点。如果是帧内编码单元(IntraCU)则根据当前帧内编码单元的预测模式，选择滤波所用的参考像素点；如果是帧间编码单元(Inter CU)则使用当前帧间预测块左侧和上方所有与之相邻的参考像素点。
最后，根据预测块的尺寸，选取滤波系数，使用参考像素点对当前预测块进行滤波，得到新的预测值；
13)通过RDO决策确定是否使用预测块滤波(即本发明提供的滤波方法)；每一个编码单元中均传输1-bit的标记到码流中，用于标识是否使用了预测块滤波；
2)在解码端对每一个编码单元，读取码流中的1-bit标记，根据标记进行解码；执行如下步骤：
21)首先，对每一个编码单元(Coding unit,CU)进行帧内预测或是帧间预测
22)根据从码流中读取的1-bit标记确定解码端是否使用预测块滤波；
23)若使用了预测块滤波，则使用本发明提出的滤波方法对预测块进行滤波，包括如下过程：
首先，从已经重建的编码单元中获取与当前预测块相邻的重建像素点，作为滤波的参考像素点；
之后，根据预测模式选取滤波所需的参考像素点。如果是帧内编码单元(IntraCU)则根据当前帧内编码单元的预测模式，选择滤波所用的参考像素点；如果是帧间编码单元(Inter CU)则使用当前帧间预测块左侧和上方所有与之相邻的参考像素点。
最后，根据预测块的尺寸，选取滤波系数，使用参考像素点对当前预测块进行滤波，得到新的预测值；
本发明的核心是对预测之后得到的像素值进行滤波，包括对编码端和解码端进行处理。
具体地，在编码端，在每一个编码单元(Coding unit,CU)进行率失真优化(Ratedistortion optimization,RDO)过程时，都需要尝试进行预测块滤波，再通过RDO决策最终是否使用本发明提出的预测块滤波方法(如果预测块滤波无法带来增益，则不使用预测块滤波)。编码单元中需要传输1-bit的标记到码流中，来标识是否使用了预测块滤波方法。在解码端，则读取码流中的1-bit标记，根据标记的意义，由解码端决定是否使用预测块滤波。
本发明提出的预测块滤波器是一个三抽头的滤波器，该滤波器可表示为式1：
P′(x,y)＝f(x)·P(-1,y)+f(y)·P(x,-1)+(1-f(x)-f(y))·P(x,y) (式1)
0≤x,y<N
对于一个预测像素点，使用与它同一行P(-1,y)和同一列P(x,-1)的两个参考像素点进行滤波，f(x)和f(y)分别为这两个参考像素点的滤波系数。P(x,y)为预测之后得到的预测像素点；P′(x,y)为进行预测块滤波之后的像素点；x、y为预测块内的坐标，x＝0表示预测块中的第一列，y＝0表示预测块中的第一行。N为当前预测块尺寸。
特别地，当f(y)衰减为0时，式1退化为两抽头的滤波器，如式2所示。当f(x)衰减为0时，式1也会退化为两抽头的滤波器，如式3所示。
P′(x,y)＝f(x)·P(-1,y)+(1-f(x))·P(x,y),x<N (式2)
P′(x,y)＝f(y)·P(x,-1)+(1-f(y))·P(x,y),y<N (式3)
为了方便，以上两个滤波器可以使用式4统一表示。
p′(x)＝f(x)·p(-1)+(1-f(x))·p(x) (式4)
其中p(x)为预测之后得到的像素值，p′(x)为进行预测块滤波之后的像素点，p(-1)为预测块滤波中所使用的参考像素点，x表示当前像素值距离预测块边界的距离。
本发明提出的预测块滤波器f采用了基于广义高斯分布函数的滤波器系数，如式5所示：
其中，a,b,c,t均为广义高斯分布函数的参数，x表示当前预测值距离边界的距离。t是一个常量，在本发明中t可以设置为2。针对不同的预测块大小，本发明设计了不同的滤波系数。每个预测块的滤波器参数a,b,c则通过在滤波后的预测值和原始像素之间建立最小化二乘关系获得。
与现有技术相比，本发明的有益效果是：
本发明提供一种用于帧内预测和帧间预测的滤波方法，用以有效地解决预测块失真问题，并能够增加预测精度，提升预测块的编码效率。具体地，本发明的技术优势体现为以下几方面：
本发明通过RDO决策决定是否使用预测块滤波，相当于自适应的选择是否对预测块进行滤波。由于并不是每一个预测块都适合进行滤波，所以通过RDO决策增加了滤波技术的实用性和鲁棒性。
并且，本发明提出的滤波器会被应用于所有的帧内和帧间预测模式，这大大增强了预测块滤波器的影响范围，提升了预测滤波的效用。
另外，本发明提出使用滤波器系数基于广义高斯分布函数建立，而广义高斯分布函数非常灵活，可以通过参数的变化转化为幂指数函数、高斯函数和均匀分布函数等。所以本发明中的滤波器可以覆盖很多种不同类型的滤波器系数，可以更好的拟合像素值之间的空间相关性。并且。针对不同的帧内预测模式、帧间预测模式和预测块尺寸设计不同的滤波器系数，可以获得更好的滤波效果。
附图说明
图1为本发明中的编码单元(CU)的编码流程框图。
图2为本发明中的编码单元(CU)的解码流程框图。
图3为HEVC中帧内预测滤波系数示意图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种有效的预测滤波方法，通过RDO决策自适应的选择是否对预测块进行滤波；提出的预测块滤波技术，在帧内预测或是帧间预测之后对预测块进行滤波。本发明的滤波器系数基于广义高斯分布函数；不同尺寸的预测块采用不同的滤波器，针对不同的预测块大小，通过训练得到不同的广义高斯分布函数的参数；本发明能够解决预测块失真问题，并能够增加预测精度，提升预测块的编码效率。
图1为本发明编码端的编码流程图。对于一个编码单元来说，首先进行常规预测(即当前现有编码器已经使用的帧内或是帧间预测方法)。随后从已经重建的编码单元中获取与当前预测块相邻的重建像素点，作为滤波的参考像素点。并根据预测模式选取滤波所需的参考像素点，根据预测块的尺寸，选取滤波系数，使用本发明提出的滤波技术对预测块进行滤波，得到新的预测值。随后，使用率失真优化(RDO：Rate-distortion optimization)选择是否使用预测块滤波，并输出1-bit的标记到码流中。
图2为本发明解码端的解码流程框图。对一个编码单元，首先读取1-bit的标记，然后进行常规的帧内或是帧间预测。随后根据读取的标记的值决定是否进行预测块滤波。如果无需进行滤波，则直接进行编码块的重建即可。否则，从已经重建的编码单元中获取与当前预测块相邻的重建像素点，作为滤波的参考像素点。并根据预测模式选取滤波所需的参考像素点，根据预测块的尺寸，选取滤波系数，使用本发明提出的滤波技术对预测块进行滤波，得到新的预测值。之后进行编码块的重建。
本发明提出的预测块滤波器采用了基于广义高斯分布函数的滤波器系数。针对不同的预测块大小，设计了不同的滤波强度。每个预测块的滤波器参数a,b,c则通过在滤波后的预测值和原始像素之间建立最小化二乘关系获得。
首先，我们建立最小二乘法的关系，如式6所示。
其中I(x)为原始像素值，G(n)表示滤波后的预测像素值与原始像素值之间的平方差。通过结合式4和式5，G(n)可以表示为式7。式7中的I(x)-p(x)即为预测失真，用D(x)表示，所以可以得到最终的G(n)表达式如式8所示。
预测块的滤波器参数a,b,c通过最小化G(n)得到。我们可以设G(0)等于0，如式9所示。
G(0)＝(a·(p(-1)-p(0))-D(0))2＝0 (式9)
通过求解式9可以得到参数a的表达式，如式10所示。
对于每一个位置的预测值，都可以计算出参数a。在本发明的滤波器中，使用期望作为最优的参数估计值，即使用所有计算得到参数的均值作为滤波器参数。所以可以得到参数a的估计值，如式11所示。
同样的，参数b和参数c可以通过分别设G(1)和G(2)为0得出，如式12和式13所示。
得到参数b和参数c的估计值分别如式14和式15所示。
为了对不同尺寸的预测块应用不同的滤波器，在计算滤波器参数时需要使用不同的训练数据。具体来说，使用与预测块尺寸对应的训练数据来计算该尺寸的滤波器参数。例如，对于32x32的预测块，其滤波器参数通过将32x32的编码数据(包括重建像素值、预测像素值和原始图像)输入到式11、式14、式15，从而计算得到尺寸为32x32的预测块的滤波器参数a,b,c。
在本发明中提出的滤波器对特定预测模式进行不同的滤波操作。以图3中HEVC的帧内预测模式为例，在模式2～17中，只使用式3对预测块进行滤波；在模式19～34中，只使用式2对预测块进行滤波；在其他帧内预测模式或是帧间预测块时，使用式1进行滤波。
为了避免进行浮点计算，可将本发明中所提出的浮点滤波器系数转换为整数，并在滤波之后进行右移操作。具体来说，可将滤波器系数乘以2的m次幂，滤波计算之后再将修改后的预测值右移m位。以式4为例，转化为整数计算后的表达式如式16所示。m的取值与所需的计算精度相关，所需的精度越高则m值越大，计算结果越准确。
p′(x)＝(2m·f(x)·p(-1)+(2m-2m·f(x))·p(x)+2m-1)＞＞m (式15)
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种用于帧内和帧间预测的编码方法，在编码端，对每一个编码单元进行率失真优化；对预测之后得到的像素值，通过率失真优化决策自适应地选择是否对预测块进行滤波；所述滤波基于广义高斯分布函数建立滤波器，不同尺寸的预测块采用不同的滤波器，通过对各尺寸的预测块进行训练得到滤波器参数，由此解决预测块失真问题，并能够增加预测精度，提升帧内和帧间预测块的编码效率；包括如下步骤：
11)对每一个编码单元进行帧内预测或帧间预测；
12)使用所述滤波器对预测块进行滤波，包括如下过程：
首先，从已经重建的编码单元中获取与当前预测块相邻的重建像素点，作为滤波的参考像素点；
之后，根据预测模式选取滤波所需的参考像素点：如果是帧内编码单元，则根据当前帧内编码单元的预测模式，选择滤波所用的参考像素点；如果是帧间编码单元，则使用当前帧间预测块左侧和上方所有与之相邻的参考像素点；
最后，根据预测块的尺寸选取滤波系数，使用参考像素点对当前预测块进行滤波，得到新的预测值；具体采用三抽头的预测块滤波器，对于一个预测像素点，使用与该预测像素点同一行P(-1,y)和同一列P(x,-1)的两个参考像素点进行滤波；所述三抽头的预测块滤波器表示为式1：
P′(x,y)＝f(x)·P(-1,y)+f(y)·P(x,-1)+(1-f(x)-f(y))·P(x,y) (式1)
0≤x,y<N
其中，f(x)和f(y)分别为两个参考像素点的滤波系数；P(x,y)为预测之后得到的预测像素点；P′(x,y)为进行预测块滤波之后的像素点；x、y为预测块内的坐标，x＝0表示预测块中的第一列，y＝0表示预测块中的第一行；N为当前预测块尺寸；
预测块滤波器采用基于广义高斯分布函数的滤波器系数，表示为式5：
其中，a,b,c,t均为广义高斯分布函数的参数；x表示当前预测值距离边界的距离；t是一个常量；针对不同的预测块大小设置不同的滤波系数；
13)通过率失真优化决策确定是否使用预测块滤波；每一个编码单元中均传输一个标记到码流中，用于标识是否使用了预测块滤波。
2.如权利要求1所述编码方法，其特征是，每一个编码单元中传输到码流中、用于标识是否使用了预测块滤波的标记为1-bit标记。
3.如权利要求1所述编码方法，其特征是，当所述三抽头的预测块滤波器的滤波系数f(y)或f(x)衰减为0时，则退化为两抽头的滤波器，分别表示为式2、式3：
P′(x,y)＝f(x)·P(-1,y)+(1-f(x))·P(x,y),x<N (式2)
P′(x,y)＝f(y)·P(x,-1)+(1-f(y))·P(x,y),y<N (式3)
将式2、式3统一表示为式4：
p′(x)＝f(x)·p(-1)+(1-f(x))·p(x) (式4)
其中，p(x)为预测之后得到的像素值，p′(x)为进行预测块滤波之后的像素点，p(-1)为预测块滤波中所使用的参考像素点，x表示当前像素值距离预测块边界的距离。
4.如权利要求1所述编码方法，其特征是，式5表示的基于广义高斯分布函数的滤波器系数中，参数t取值设置为2。
5.如权利要求1所述编码方法，其特征是，针对不同的预测块，通过在滤波后的预测值和原始像素之间建立最小化二乘关系，获得每个预测块的滤波器参数a、b、c，由此针对不同的预测块大小设置不同的滤波系数；所述最小二乘关系表示如式6：
其中，I(x)为原始像素值；G(n)表示滤波后的预测像素值与原始像素值之间的平方差，表示为式7：
式7中的I(x)-p(x)即为预测失真，用D(x)表示，由此G(n)表示为式8：
通过最小化G(n)即得到预测块的滤波器参数a、b、c。
6.如权利要求5所述编码方法，其特征是，设G(0)等于0，表示如式9：
G(0)＝(a·(p(-1)-p(0))-D(0))2＝0 (式9)
通过求解式9得到参数a的表达式，表示为式10：
参数b和参数c通过分别设G(1)和G(2)为0得到，分别表示如式12、式13：
对每一个位置的预测值，分别通过式10、式12、式13计算得到参数a、参数b和参数c。
7.如权利要求6所述编码方法，其特征是，使用期望作为最优的参数估计值，即使用所有计算得到参数的均值作为滤波器参数。
8.一种用于帧内和帧间预测的解码方法，在解码端，对每一个编码单元，读取码流中的1-bit标记，根据标记进行解码；对预测之后得到的像素值，根据从码流中读取的标记确定解码端是否使用预测块滤波；所述预测块滤波基于广义高斯分布函数建立滤波器，不同尺寸的预测块采用不同的滤波器，通过对各尺寸的预测块进行训练得到滤波器参数，由此解决预测块失真问题，并能够增加预测精度；包括如下步骤：
21)对每一个编码单元进行帧内预测或是帧间预测
22)根据从码流中读取的标记确定解码端是否使用预测块滤波；
23)若使用了预测块滤波，则使用所述滤波方法对预测块进行滤波，包括如下过程：
首先，从已经重建的编码单元中获取与当前预测块相邻的重建像素点，作为滤波的参考像素点；
之后，根据预测模式选取滤波所需的参考像素点：如果是帧内编码单元，则根据当前帧内编码单元的预测模式，选择滤波所用的参考像素点；如果是帧间编码单元，则使用当前帧间预测块左侧和上方所有与之相邻的参考像素点；
最后，根据预测块的尺寸选取滤波系数，使用参考像素点对当前预测块采用所述预测块滤波方法进行滤波，得到新的预测值；
所述预测块滤波方法具体采用三抽头的预测块滤波器，对于一个预测像素点，使用与该预测像素点同一行P(-1,y)和同一列P(x,-1)的两个参考像素点进行滤波；所述三抽头的预测块滤波器表示为式1：
P′(x,y)＝f(x)·P(-1,y)+f(y)·P(x,-1)+(1-f(x)-f(y))·P(x,y) (式1)
0≤x,y<N
其中，f(x)和f(y)分别为两个参考像素点的滤波系数；P(x,y)为预测之后得到的预测像素点；P′(x,y)为进行预测块滤波之后的像素点；x、y为预测块内的坐标，x＝0表示预测块中的第一列，y＝0表示预测块中的第一行；N为当前预测块尺寸；
预测块滤波器采用基于广义高斯分布函数的滤波器系数，表示为式5：
其中，a,b,c,t均为广义高斯分布函数的参数；x表示当前预测值距离边界的距离；t是一个常量；针对不同的预测块大小设置不同的滤波系数。
9.如权利要求8所述解码方法，其特征是，针对不同的预测块，通过在滤波后的预测值和原始像素之间建立最小化二乘关系，获得每个预测块的滤波器参数a、b、c，由此针对不同的预测块大小设置不同的滤波系数；所述最小二乘关系表示如式6：
其中，I(x)为原始像素值；G(n)表示滤波后的预测像素值与原始像素值之间的平方差，表示为式7：
式7中的I(x)-p(x)即为预测失真，用D(x)表示，由此G(n)表示为式8：
通过最小化G(n)即得到预测块的滤波器参数a、b、c。
10.如权利要求8所述解码方法，其特征是，设G(0)等于0，表示如式9：
G(0)＝(a·(p(-1)-p(0))-D(0))2＝0 (式9)
通过求解式9得到参数a的表达式，表示为式10：
参数b和参数c通过分别设G(1)和G(2)为0得到，分别表示如式12、式13：
对每一个位置的预测值，分别通过式10、式12、式13计算得到参数a、参数b和参数c；
再使用所有计算得到参数的均值作为滤波器参数。
CN201711224118.2A 2017-11-29 2017-11-29 一种用于帧内和帧间预测的滤波方法 Active CN107896330B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711224118.2A CN107896330B (zh) 2017-11-29 2017-11-29 一种用于帧内和帧间预测的滤波方法
PCT/CN2018/107208 WO2019105120A1 (zh) 2017-11-29 2018-09-25 一种用于帧内和帧间预测的滤波方法
US16/645,618 US10939124B1 (en) 2017-11-29 2018-09-25 Filtering method for intra-frame and inter-frame prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711224118.2A CN107896330B (zh) 2017-11-29 2017-11-29 一种用于帧内和帧间预测的滤波方法

Publications (2)

Publication Number Publication Date
CN107896330A true CN107896330A (zh) 2018-04-10
CN107896330B CN107896330B (zh) 2019-08-13

Family

ID=61806565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711224118.2A Active CN107896330B (zh) 2017-11-29 2017-11-29 一种用于帧内和帧间预测的滤波方法

Country Status (3)

Country Link
US (1) US10939124B1 (zh)
CN (1) CN107896330B (zh)
WO (1) WO2019105120A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105120A1 (zh) * 2017-11-29 2019-06-06 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
CN111083474A (zh) * 2019-12-03 2020-04-28 咪咕文化科技有限公司 帧间预测的滤波方法、电子设备及计算机可读存储介质
CN111245683A (zh) * 2020-01-10 2020-06-05 成都优博创通信技术股份有限公司 一种rssi信号强度值的计算方法和装置
CN111436226A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 用于帧间预测的运动矢量存储
CN111669584A (zh) * 2020-06-11 2020-09-15 浙江大华技术股份有限公司 一种帧间预测滤波方法、装置和计算机可读存储介质
CN112055224A (zh) * 2020-08-22 2020-12-08 浙江大华技术股份有限公司 一种用于预测的滤波方法、编解码系统以及存储介质
CN113452998A (zh) * 2020-03-25 2021-09-28 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备
CN113491129A (zh) * 2019-02-27 2021-10-08 谷歌有限责任公司 图像/视频压缩中的自适应滤波器帧内预测模式
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
WO2023241634A1 (en) * 2022-06-18 2023-12-21 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499661A (zh) 2019-09-09 2024-02-02 北京字节跳动网络技术有限公司 高精度图像和视频编解码的系数缩放
CN117376550A (zh) 2019-09-21 2024-01-09 北京字节跳动网络技术有限公司 用于图像和视频编解码的高精度变换和量化
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter
CN113709504B (zh) * 2021-10-27 2022-02-15 深圳传音控股股份有限公司 图像处理方法、智能终端及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050228654A1 (en) * 2004-03-30 2005-10-13 Yolanda Prieto Method and apparatus for improved bit rate efficiency in wavelet based codecs by means of subband correlation
CN101895751A (zh) * 2010-07-06 2010-11-24 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN103796032A (zh) * 2012-10-31 2014-05-14 朱洪波 逐行或逐列帧内预测
CN103813176A (zh) * 2012-11-14 2014-05-21 北京三星通信技术研究有限公司 视频编解码中的去块效应滤波方法和自适应环路滤波方法
US20140211845A1 (en) * 2013-01-29 2014-07-31 Fujitsu Limited Moving image encoding apparatus
CN106060564A (zh) * 2016-06-16 2016-10-26 北京大学深圳研究生院 帧内预测参考像素点滤波控制方法、装置及编码器

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867602A (en) * 1994-09-21 1999-02-02 Ricoh Corporation Reversible wavelet transform and embedded codestream manipulation
AU1062999A (en) * 1997-09-29 1999-04-23 Rockwell Semiconductor Systems, Inc. System and method for compressing images using multi-threshold wavelet coding
US6813387B1 (en) * 2000-02-29 2004-11-02 Ricoh Co., Ltd. Tile boundary artifact removal for arbitrary wavelet filters
US6687294B2 (en) * 2001-04-27 2004-02-03 Koninklijke Philips Electronics N.V. Distortion quantizer model for video encoding
US7412109B2 (en) * 2003-11-07 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. System and method for filtering artifacts in images
CN102595131B (zh) * 2004-06-18 2015-02-04 汤姆逊许可公司 用于对图像块的视频信号数据进行编码的编码器
US7953152B1 (en) * 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
US7778480B2 (en) * 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
KR101369746B1 (ko) * 2007-01-22 2014-03-07 삼성전자주식회사 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
US8204128B2 (en) * 2007-08-01 2012-06-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Learning filters for enhancing the quality of block coded still and video images
EP2131594B1 (en) * 2008-06-06 2013-08-14 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for image compression
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
US8724692B2 (en) * 2010-01-08 2014-05-13 Nokia Corporation Apparatus, a method and a computer program for video coding
US9258573B2 (en) 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
KR20120140181A (ko) 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US9282344B2 (en) * 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
MX2014005021A (es) * 2011-11-08 2014-07-09 Ericsson Telefon Ab L M Tamaño de baldosa de codificacion de video.
TWI473039B (zh) * 2013-03-05 2015-02-11 Univ Tamkang 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
JP6545515B2 (ja) * 2015-04-24 2019-07-17 株式会社東芝 画像復号装置
US10321162B2 (en) * 2015-06-08 2019-06-11 Qualcomm Incorporated Derivation of color gamut scalability parameters and tables in scalable video coding
WO2017065357A1 (ko) * 2015-10-16 2017-04-20 엘지전자 주식회사 영상 코딩 시스템에서 예측 향상을 위한 필터링 방법 및 장치
US11064195B2 (en) * 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
CN107896330B (zh) * 2017-11-29 2019-08-13 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050228654A1 (en) * 2004-03-30 2005-10-13 Yolanda Prieto Method and apparatus for improved bit rate efficiency in wavelet based codecs by means of subband correlation
CN101895751A (zh) * 2010-07-06 2010-11-24 北京大学 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN103796032A (zh) * 2012-10-31 2014-05-14 朱洪波 逐行或逐列帧内预测
CN103813176A (zh) * 2012-11-14 2014-05-21 北京三星通信技术研究有限公司 视频编解码中的去块效应滤波方法和自适应环路滤波方法
US20140211845A1 (en) * 2013-01-29 2014-07-31 Fujitsu Limited Moving image encoding apparatus
CN106060564A (zh) * 2016-06-16 2016-10-26 北京大学深圳研究生院 帧内预测参考像素点滤波控制方法、装置及编码器

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105120A1 (zh) * 2017-11-29 2019-06-06 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
US10939124B1 (en) 2017-11-29 2021-03-02 Peking University Shenzhen Graduate School Filtering method for intra-frame and inter-frame prediction
US11889108B2 (en) 2018-10-22 2024-01-30 Beijing Bytedance Network Technology Co., Ltd Gradient computation in bi-directional optical flow
US11838539B2 (en) 2018-10-22 2023-12-05 Beijing Bytedance Network Technology Co., Ltd Utilization of refined motion vector
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN111436226A (zh) * 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 用于帧间预测的运动矢量存储
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11956465B2 (en) 2018-11-20 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Difference calculation based on partial position
CN113491129B (zh) * 2019-02-27 2022-08-23 谷歌有限责任公司 图像/视频压缩中的自适应滤波器帧内预测模式
CN113491129A (zh) * 2019-02-27 2021-10-08 谷歌有限责任公司 图像/视频压缩中的自适应滤波器帧内预测模式
US11979564B2 (en) 2019-02-27 2024-05-07 Google Llc Adaptive filter intra prediction modes in image/video compression
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
CN111083474A (zh) * 2019-12-03 2020-04-28 咪咕文化科技有限公司 帧间预测的滤波方法、电子设备及计算机可读存储介质
CN111245683A (zh) * 2020-01-10 2020-06-05 成都优博创通信技术股份有限公司 一种rssi信号强度值的计算方法和装置
CN113452998A (zh) * 2020-03-25 2021-09-28 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备
CN114007082B (zh) * 2020-03-25 2022-12-23 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备
AU2021243003B2 (en) * 2020-03-25 2024-01-11 Hangzhou Hikvision Digital Technology Co., Ltd. Decoding, encoding, and encoding/decoding methods, apparatuses and devices
TWI784452B (zh) * 2020-03-25 2022-11-21 大陸商杭州海康威視數字技術股份有限公司 解碼、編碼、編解碼方法、裝置及其設備
WO2021190518A1 (zh) * 2020-03-25 2021-09-30 杭州海康威视数字技术股份有限公司 解码、编码、编解码方法、装置及其设备
CN113452998B (zh) * 2020-03-25 2022-05-31 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备
CN114007082A (zh) * 2020-03-25 2022-02-01 杭州海康威视数字技术股份有限公司 一种解码、编码、编解码方法、装置及其设备
CN111669584A (zh) * 2020-06-11 2020-09-15 浙江大华技术股份有限公司 一种帧间预测滤波方法、装置和计算机可读存储介质
CN112055224A (zh) * 2020-08-22 2020-12-08 浙江大华技术股份有限公司 一种用于预测的滤波方法、编解码系统以及存储介质
WO2023241634A1 (en) * 2022-06-18 2023-12-21 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
CN107896330B (zh) 2019-08-13
WO2019105120A1 (zh) 2019-06-06
US10939124B1 (en) 2021-03-02
US20210058627A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
CN107896330A (zh) 一种用于帧内和帧间预测的滤波方法
CN107801024B (zh) 一种用于帧内预测的边界滤波方法
CN105007485B (zh) 产生量化块的方法
CN101529916B (zh) 利用帧内编码选择的视频编码
CN104935930B (zh) 图像解码设备
CN104883578B (zh) 对帧内预测模式进行解码的方法
CN103096069B (zh) 推导帧内预测模式的方法和设备
CN102804776B (zh) 采用自适应回路滤波器处理编码视频的方法和装置
CN105338352B (zh) 一种视频编码中自适应反量化方法及装置
CN107613293A (zh) 产生重构块的方法
CN107888919A (zh) 用于导出重建图像的装置
CN103581682B (zh) 一种hevc帧内编码的快速模式决策算法及其应用
CN107040778A (zh) 环路滤波方法以及环路滤波装置
CN102685497B (zh) 一种avs编码器快速帧间模式选择方法及装置
CN101841722B (zh) 滤波边界强度的检测装置的检测方法
Zhang et al. Fast intra prediction mode decision algorithm for HEVC
CN107948643A (zh) 一种降低jpeg图像方块效应的方法
CN112752105A (zh) 一种适用于hevc标准的帧内预测编码复杂度降低方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant