CN105791877A - 视频编解码中自适应环路滤波的方法 - Google Patents

视频编解码中自适应环路滤波的方法 Download PDF

Info

Publication number
CN105791877A
CN105791877A CN201610147472.9A CN201610147472A CN105791877A CN 105791877 A CN105791877 A CN 105791877A CN 201610147472 A CN201610147472 A CN 201610147472A CN 105791877 A CN105791877 A CN 105791877A
Authority
CN
China
Prior art keywords
matrix
filtering
image
image block
color channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610147472.9A
Other languages
English (en)
Other versions
CN105791877B (zh
Inventor
马思伟
张新峰
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201610147472.9A priority Critical patent/CN105791877B/zh
Publication of CN105791877A publication Critical patent/CN105791877A/zh
Application granted granted Critical
Publication of CN105791877B publication Critical patent/CN105791877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种视频编解码中自适应环路滤波的方法。该方法主要包括:对输入的重构视频图像进行图像块划分,根据图像块组成相似块矩阵,对所述相似块矩阵进行奇异值分解,得到所述相似块矩阵的奇异值;计算出所述重构视频图像的标准差,根据所述重构视频图像的标准差、编码模式和量化参数确定所述相似块矩阵的收缩滤波阈值,利用所述收缩滤波阈值对所述相似块矩阵的奇异值进行收缩滤波;利用收缩后的奇异值重构所述相似块矩阵内的图像块,得到自适应环路滤波的视频图像。本发明实施例利用视频图像内部非局部相似性提出了自适应的滤波控制参数估计方法,实现视频编码解码中高效的自适应环路滤波,有效提高了视频压缩性能。

Description

视频编解码中自适应环路滤波的方法
技术领域
本发明涉及视频编解码技术领域,尤其涉及一种视频编解码中自适应环路滤波的方法。
背景技术
以分块预测和变换为基础的混合视频编码框架已经广泛应用于主流的视频编码系统中,如MPEG-1/2/4,H.261/H.263/H.264和HEVC编码系统中。上述编码系统以块为基本单位,通过帧内、帧间预测,正交变换,熵编码和后处理降低视频冗余,提高压缩效率。在压缩过程中,由于有损操作一量化(quantization)的存在,解码的重构视频中会存在压缩噪声,尤其是在低码率情况下,以块效应和振铃效应为代表的压缩噪声会显著影响视频质量。同时,帧间运动补偿技术会进一步将已编码图像的压缩噪声引入到后续编码图像中,从而造成误差传递。
为了降低压缩噪声,H.264首次在编码标准中采用了去块效应滤波器(deblockingfilter,DF)。该去块效应滤波器根据压缩中每个块的量化参数(QuantizationParameter,QP)和相邻块的编码模式等信息,来自适应地决策滤波强度。最新的视频编码标准(HighEfficiencyVideoCoding,HEVC)除保留deblockingfilter外,更进一步采用了样本自适应补偿滤波器(SampleAdaptiveOffset,SAO)。这些环路滤波器的采用不仅能够降低压缩噪声,提高当前解码图像质量,更能够为后续编码图像提供高质量的参考图像,从而提高压缩效率。
无论是DF还是SAO,他们都是利用图像的局部相关性,通过对邻域像素滤波或者对像素直接补偿的方式降低压缩噪声,效果并不理想。
发明内容
本发明的实施例提供了一种视频编解码中自适应环路滤波的方法,以提高视频压缩性能。
为了实现上述目的,本发明采取了如下技术方案。
一种视频编解码中自适应环路滤波的方法,包括:
对输入的重构视频图像进行图像块划分,根据图像块组成相似块矩阵,对所述相似块矩阵进行奇异值分解,得到所述相似块矩阵的奇异值;
计算出所述重构视频图像的标准差,根据所述重构视频图像的标准差、编码模式和量化参数确定所述相似块矩阵的收缩滤波阈值,利用所述收缩滤波阈值对所述相似块矩阵的奇异值进行收缩滤波;
利用收缩后的奇异值重构所述相似块矩阵内的图像块,得到自适应环路滤波的视频图像。
进一步地,所述的对输入的重构视频图像进行图像块划分,根据图像块组成得到相似块矩阵,包括:
将输入的重构视频图像的每个颜色分量分解成N×N的图像块,根据不同图像块中像素值的均方误差d度量不同图像块之间的相似性,均方误差d越大,图像块之间的相似性越大,所述不同图像块中像素值的均方误差d的计算公式如下:
d = | | y i , 0 - y i , j | | 2 2
yi,0和yi,j为图像块;
对于每个图像块选择与其相似性最大的K个图像块构成一个图像块组,记作Gi={yi,0,yi,1,yi,2,...,yi,K},其中yi,j是图像块的向量形式,将每一个图像块组组织成为一个相似块矩阵,Yi=[yi,1,yi,2,...,yi,K]。
进一步地,所述的对所述相似块矩阵进行奇异值分解,得到所述相似块矩阵的奇异值,包括:
对每个相似块矩阵进行奇异值分解得到每个相似块矩阵的奇异值;其中,Ui和Vi是两个单位正交方阵,是Vi的共轭转置矩阵,Λi是一个对角矩阵,对角线元素是相似块矩阵的奇异值,所述对角线元素写成向量si
进一步地,所述的计算出所述重构视频图像的标准差,包括:
计算出图像块组中图像块像素的标准差σy,i,根据图像块组中图像块像素的标准差计算出图像块组中压缩噪声的标准差σn,i
σn,i=a(σy,i)b
其中,σy,i是重构视频图像内第i个图像块组中图像块像素的标准差,σn,i是重构视频图像内第i个图像块组中压缩噪声的标准差,参数a和b通过离线训练方式得到,σy,i根据如下公式计算得到;
σ y , i = 1 KN 2 Σ v = 0 N 2 Σ u = 0 K - 1 ( Y i ( u , v ) - μ i ) 2 , μ i = 1 KN 2 Σ v = 0 N 2 Σ u = 0 K - 1 Y i ( u , v )
计算出所述重构视频图像的标准差σx,k,i
σ x , k , i = max ( λ y , k , i 2 H i - σ n , i 2 , 0 )
其中,λy,k,i为第i个相似块矩阵Yi的第k个奇异值,Hi是第i个相似块矩阵Yi的最小维度,σn,i是第i个图像块组中压缩噪声的标准差,σx,k,i为第i个相似图像块组对应的第i个相似块矩阵Yi的重构视频图像在奇异值分解空间的第k维的标准差。
进一步地,所述的根据所述重构视频图像的标准差、编码模式和量化参数确定所述相似块矩阵的收缩滤波阈值,利用所述收缩滤波阈值对所述相似块矩阵的奇异值进行收缩滤波,包括:
图像块组的收缩滤波的阈值的计算公式如下:
τ i , k = cσ n , i 2 σ x , k , i ,
其中σx,k,i是第i个图像块组对应的无失真的重构视频图像在奇异值分解空间的第k维的标准差,c是一个和编码模式相关的常数,阈值τi,k是第i个图像块组的第k个奇异值的阈值;
按照所述第i个图像块组的收缩滤波的阈值,采用软阈值方法对于第i个图像块组对应的相似块矩阵的奇异值向量si中每个元素进行收缩计算;
λ′k=max(|λk|-τi,k,0)
其中λk是奇异值向量中第k个元素,λ′k是收缩后的奇异值,该公式计算将小于阈值的奇异值置零,同时将大于阈值的奇异值减去阈值;
将收缩后的奇异值放回到对角矩阵Λi中,得到一个对角线元素收缩后的矩阵利用所述矩阵重建奇异值矩阵中每个相似图像块的像素值,得到降噪后的相似块矩阵
X ^ i = U i Λ i ( τ ) V i * . - - - ( 6 )
其中上所示,Ui和Vi是两个单位正交方阵,是Vi的共轭转置矩阵,Λi是一个对角矩阵,对角线元素是相似块矩阵的奇异值,所述对角线元素写成向量si
进一步地,所述的方法还包括:
当同一个图像块在不同的相似块组矩阵中产生多个估计值时,对同一个图像块的多个估计值采用加权平均的方式产生最终的滤波像素值,每个相似块组矩阵内像素权重的计算公式如下:
w i = 1 T m a x ( ( 1 - r i H i ) , 1 H i )
其中,wi是相似块组矩阵Yi的像素权重,T是归一化因子,Hi是相似块组矩阵Yi的最小维度,ri是相似块组矩阵Yi的秩。
进一步地,所述的方法还包括:
对于滤波后的视频图像的不同颜色通道的滤波开关进行设置,当仅设置帧级开关时,如果对当前颜色通道滤波后使得该颜色通道的失真减小,则将该颜色通道的帧级控制开关置为第一指定数值,该第一指定数值表示该颜色通道的编解码端采用滤波后的像素值作为输出像素值;如果对当前颜色通道滤波后使得该颜色通道的失真增大,将该颜色通道的帧级控制开关置为第二指定数值,该第二指定数值表示该颜色通道的编解码端采用滤波前的像素值作为输出像素值。
进一步地,所述的方法还包括:
当对于滤波后的视频图像的不同颜色通道同时设置了区域控制开关和帧级开关时,先进行区域控制开关设置,如果对当前颜色通道滤波后使得该颜色通道中的最大编码单元的失真减小,则将该颜色通道中的最大编码单元的区域控制开关置为第一指定数值,该第一指定数值表示该颜色通道中的最大编码单元的编解码端采用滤波后的像素值作为输出像素值;如果对当前颜色通道滤波后使得该颜色通道中的最大编码单元的失真增大,将该颜色通道中的最大编码单元的区域控制开关置为第二指定数值,该第二指定数值表示该颜色通道中的最大编码单元的编解码端采用滤波前的像素值作为输出像素值;
再进行帧级开关的设置,如果当前帧中第c个颜色通道滤波的率失真代价小于0,将该当前帧的帧级滤波控制开关置为第一指定数值,该第一指定数值表示当前帧中第c个颜色通道的编解码端采用滤波后的像素值作为输出像素值,当前帧中最大颜色通道是否采用滤波后的像素值作为输出像素值根据当前帧中最大颜色通道的区域控制开关来决定;如果当前帧中第c个颜色通道滤波的率失真代价大于0,将该当前帧的帧级滤波控制开关置为第二指定数值,该第二指定数值表示当前帧中第c个颜色通道的编解码端采用滤波前的像素值作为输出像素值。
进一步地,所述的方法还包括:
当前帧中第c个颜色通道滤波的率失真代价的计算公式如下,
J c = Σ i L δ ( i ) ( d c , i ′ - d c , i ) + λ c R c ,
其中,d′c,i表示滤波后第i个最大编码单元失真,dc,i表示滤波前第i个最大编码单元的失真,λc是第c个颜色通道的拉格朗日常数,Rc是实际编码第c个颜色通道的每个最大编码单元对应的滤波控制开关所消耗的码率,δ(i)是指示函数,和第i个最大编码单元的滤波控制开关具有相同的值。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例通过利用视频图像内部非局部相似性,提出了一种新的视频编码环路滤波器,并提出了自适应的滤波控制参数估计方法和有效的滤波器开关控制机制,实现视频编码解码中高效的自适应环路滤波,从而有效地提高了最新视频编码标准的效率,有效提高了视频压缩性能。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提出的一种利用视频图像非局部相似性的视频编解码中的环路滤波方法的实现原理示意图;
图2为本发明实施例提出的一种视频编解码中自适应环路滤波的方法的处理流程图;
图3为本发明实施例的滤波方法在混合视频编码标准框架中位置示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
图像除了存在局部相关性外,还存在非局部相关性,即图像自身内部存在相似内容或者结构的重复。在本发明实施例中,将图像的这种性质成为图像的非局部相似性。在目前的编码技术中,图像非局部相似性还没有得到有效应用,因此,本发明实施例提出利用图像的非局部相似性降低压缩噪声,重构高质量的视频,从而最终提高压缩效率。
本发明提出了一种采用图像非局部相似性的自适应滤波处理已编码视频图像的方法和装置,有效地提高了视频压缩效率。
实施例一
本发明实施例提出的一种利用视频图像非局部相似性的视频编解码中的环路滤波方法的实现原理示意图如图1所示,具体处理流程如图2所示,包括如下步骤:
步骤S210、对输入的重构视频的每个颜色通道划分为N×N的图像块,对每个图像块选择其最相似的K个图像块,组成一个非局部相似块矩阵Yi
本发明提出的滤波器可以位于视频编码环路中反量化重构视频和压缩视频输出缓存之间的任意位置,如图3所示HEVC中编码框架为例,其中位置A、B、C都适合于集成本发明提出的滤波器模块。本发明实施例将输入滤波器的视频称为重构视频图像,将滤波器的输出视频称为滤波视频图像。
本发明提出将重构视频图像的每个颜色分量分解成N×N的图像块,然后对于每个图像块选择与其最相似的K个图像块构成一个图像块组,记作Gi={yi,0,yi,1,yi,2,...,yi,K},其中yi,j是图像块的向量形式。
根据不同图像块中像素值的均方误差d度量不同图像块之间的相似性,均方误差d越大,图像块之间的相似性越大。
d = | | y i , 0 - y i , j | | 2 2 - - - ( 1 )
将每一个图像块组组织成为一个相似块矩阵,Yi=[yi,1,yi,2,...,yi,K]。由于该矩阵内每列元素都是相似的图像块组成,因此该相似块矩阵具有低秩特性。
步骤S220、对每个相似块矩阵进行奇异值分解得到每个相似块矩阵的奇异值。
其中,Ui和Vi是两个单位正交方阵(是Vi的共轭转置矩阵),Λi是一个对角矩阵,对角线元素是相似块矩阵的奇异值,本发明将该对角线元素写成向量si
步骤S230、根据每个图像块组的相似块矩阵中的图像块的标准差、编码模式和量化参数(QP)估计该图像块组的压缩噪声的标准差。
然后对每个QP值,分别对帧内和帧间编码图像的每个颜色通道进行拟合,建立图像块组中相似图像块的像素标准差和压缩噪声标准差。采用公式(2)所示的幂函数对σy,i和σn,i分别对不同颜色通道,不同编码模式(帧间编码和帧内编码)以及不同QP下进行拟合。
σn,i=a(σy,i)b,(2)
其中,σy,i是重构视频图像内第i个图像块组中图像块像素的标准差,σn,i是重构视频图像内第i个图像块组中压缩噪声的标准差。这里我们通过离线训练方式得到参数a和b,即选择数个视频序列进行压缩,然后计算每个重构视频图像中每个图像块组的压缩噪声的标准差和像素的标准差,对这两个变量采用公式(2)进行拟合得到参数a和b。σy,i根据标准差如下定义得到,
σ y , i = 1 KN 2 Σ v = 0 N 2 Σ u = 0 K - 1 ( Y i ( u , v ) - μ i ) 2 , μ i = 1 KN 2 Σ v = 0 N 2 Σ u = 0 K - 1 Y i ( u , v )
步骤S240、根据每个相似块矩阵的奇异值和压缩噪声的标准差估计无失真的原始图像信号的标准差。
采用公式(3)计算每个相似块矩阵的无失真的原始图像信号的标准差。
σ x , k , i = max ( λ y , k , i 2 H i - σ n , i 2 , 0 ) . - - - ( 3 )
其中,λy,k,i为第i个相似块矩阵Yi的第k个奇异值,Hi是第i个相似块矩阵Yi的最小维度,σn,i是第i个图像块组中压缩噪声的标准差,σx,k,i为第i个相似图像块组对应的第i个相似块矩阵Yi的无失真的原始图像信号在奇异值分解空间的第k维的标准差。
步骤S250、对每个相似块矩阵的奇异值进行收缩滤波,并利用收缩后的奇异值重构每个相似块矩阵内的图像块。
本发明实施例提出了一种根据视频统计特性、编码模式和量化参数联合的阈值决策方法。每个图像块组的收缩滤波的阈值随量化噪声标准差的增加而增加,本发明实施例提出的图像块组的收缩滤波的阈值的计算公式如下:
τ i , k = cσ n , i 2 σ x , k , i , - - - ( 4 )
其中σx,k,i是第i个图像块组对应的无失真的原始图像信号的在奇异值分解空间的第k维的标准差,c是一个和编码模式相关的常数,阈值τi,k是第i个图像块组的第k个奇异值的阈值。
按照上述第i个图像块组的收缩滤波的阈值,采用公式(5)的软阈值方法对于第i个图像块组对应的相似块组矩阵的奇异值向量si中每个元素进行收缩操作。
λ′k=max(|λk|-τi,k,0)(5)
其中λk是奇异值向量中第k个元素,λ′k是收缩后的奇异值,该公式计算将小于阈值的奇异值置零,同时将大于阈值的奇异值减去阈值,从而将整个变换域上的奇异值收缩,达到滤波的目的。
对于相似块组矩阵的奇异值向量si中每个元素进行收缩操作,将收缩后的奇异值放回到对角矩阵Λi中,得到一个对角线元素收缩后的矩阵利用所述矩阵重建奇异值矩阵中每个相似图像块的像素值,将所有相似块组进行奇异值收缩滤波后得到图像块放回原来的位置,经过收缩操作的降噪后的相似块组矩阵可以表示为:
X ^ i = U i Λ i ( τ ) V i * . - - - ( 6 )
其中上所示,Ui和Vi是两个单位正交方阵,是Vi的共轭转置矩阵,Λi是一个对角矩阵,对角线元素是相似块矩阵的奇异值,所述对角线元素写成向量si
步骤S260、加权平均每个像素的所有估计值得到重构图像;
由于相同图像块可能存在于不同的图像块矩阵中,那么同一个图像块或者像素会在不同的相似块组矩阵中产生多个估计值。因此,本发明提出对同一个图像块或者像素的多个估计值采用加权平均的方式产生最终的滤波像素值。权重可以采用多种方式设置,本发明提出一种根据相似块矩阵的秩决定每个相似块组矩阵内像素权重的方法,每个相似块组矩阵内像素权重的计算公式如下:
w i = 1 T m a x ( ( 1 - r i H i ) , 1 H i ) - - - ( 7 )
其中,wi是相似块组矩阵Yi的像素权重,T是归一化因子,Hi是相似块组矩阵Yi的最小维度,ri是相似块组矩阵Yi的秩。
步骤S270、根据滤波后的率失真性能决策当前图像颜色通道是否进行滤波,并编码滤波控制参数。
对于滤波后的视频图像不同颜色通道的滤波开关进行设置,当仅利用帧级开关时,如果滤波器对当前颜色通道滤波后使得该通道的失真减小,那么将该通道的帧级控制开关置为1,表示该通道编解码端采用本发明提出的环路滤波器;否则,该颜色通道帧级控制开关置为0,表示该通道编解码端都不应用本发明提出的环路滤波器。
当联合利用帧级控制开关和区域控制开关时,对每个颜色通道,首先比较每个最大编码单元滤波前后的失真变化,如果滤波后失真减小,那么将该最大编码单元的对应的控制开关,例如亮度通道LCU_Y[i],置为1,表示该滤波单元采用本发明提出的滤波器滤波后的像素作为输出像素;否则该单元对应的控制开关置为0,表示该滤波单元采用本发明提出的滤波器滤波前的像素作为输出像素。随后,进行帧级滤波开关的决策,如果当前帧第c个颜色通道滤波的率失真代价小于0,那么该通道的帧级滤波控制开关置为1,表示该通道应用本发明提出的滤波器,但是每个最大编码单元是采用滤波前还是滤波后的像素值作为输出像素值,取决于每个最大编码单元的滤波控制开关;否则如果当前帧第c个颜色通道滤波的率失真代价大于等于0,那么该通道的帧级滤波控制开关置为0,表示该通道不应用本发明提出的滤波器,即输出像素为滤波前的像素值。
对于滤波后的第c个颜色通道的率失真代价计算公式如下,
J c = Σ i L δ ( i ) ( d c , i ′ - d c , i ) + λ c R c , - - - ( 8 )
其中,d′c,i表示滤波后第i个最大编码单元失真,dc,i表示滤波前第i个最大编码单元的失真,λc是第c个颜色通道的拉格朗日常数,Rc是实际编码第c个颜色通道的每个最大编码单元对应的滤波控制开关所消耗的码率,δ(i)是指示函数,和第i个最大编码单元的滤波控制开关具有相同的值。
滤波前后失真采用原始像素和失真像素差的平方和表示,并且编码器需要编码帧级和最大编码单元级的滤波控制开关。
实施例二
一种视频编解码中的环路滤波方法,其包含的步骤与实施例2相同;区别在于采用帧间和帧内编码方法,分别在所有QP下压缩一些常见视频序列,从这些压缩视频中统计每个图像块组的压缩噪声的标准差σn,i和每个图像块组中像素的标准差σy,i,然后对每个QP值,分别对帧内和帧间编码图像的每个颜色通道进行拟合,建立图像块组中相似图像块中像素标准差和压缩噪声的标准差。
实施例三
一种视频编解码中的环路滤波方法,其包含的步骤与实施例二相同;区别在于采用公式(2)所示的幂函数对σy,i和σn,i分别对不同颜色通道,不同编码方法(帧间编码和帧内编码)以及不同QP下进行拟合。对常见QP下的拟合结果如表1所示:
表1常见量化参数下亮度通道拟合参数(a,b)
为了验证本发明的性能,我们将该算法实现在最新视频编码标准平台参考软件HM7.0上,并对标准通测序列进行测试,得到编码性能提示如表2所示,其中负数采用本发明方法后表示节省码率的百分比,正数表示增加码率的百分比。
表2:本发明提出的环路滤波方法在最新视频编码平台下的不同测试配置条件下的性能增益
综上所述,本发明实施例通过利用视频图像内部非局部相似性,提出了一种新的视频编码环路滤波器,并提出了自适应的滤波控制参数估计方法和有效的滤波器开关控制机制,实现视频编码解码中高效的自适应环路滤波,从而有效地提高了最新视频编码标准的效率,有效提高了视频压缩性能。
本发明实施例通过对编码重构图像进行环路滤波,降低视频中的压缩噪声,提高压缩视频质量,并为后续编码图像提供高质量的预测,从而有效提高视频压缩效率。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种视频编解码中自适应环路滤波的方法,其特征在于,包括:
对输入的重构视频图像进行图像块划分,根据图像块组成相似块矩阵,对所述相似块矩阵进行奇异值分解,得到所述相似块矩阵的奇异值;
计算出所述重构视频图像的标准差,根据所述重构视频图像的标准差、编码模式和量化参数确定所述相似块矩阵的收缩滤波阈值,利用所述收缩滤波阈值对所述相似块矩阵的奇异值进行收缩滤波;
利用收缩后的奇异值重构所述相似块矩阵内的图像块,得到自适应环路滤波的视频图像。
2.根据权利要求1所述的视频编解码中自适应环路滤波的方法,其特征在于,所述的对输入的重构视频图像进行图像块划分,根据图像块组成得到相似块矩阵,包括:
将输入的重构视频图像的每个颜色分量分解成N×N的图像块,根据不同图像块中像素值的均方误差d度量不同图像块之间的相似性,均方误差d越大,图像块之间的相似性越大,所述不同图像块中像素值的均方误差d的计算公式如下:
d = | | y i , 0 - y i , j | | 2 2
yi,0和yi,j为图像块;
对于每个图像块选择与其相似性最大的K个图像块构成一个图像块组,记作Gi={yi,0,yi,1,yi,2,...,yi,K},其中yi,j是图像块的向量形式,将每一个图像块组组织成为一个相似块矩阵,Yi=[yi,1,yi,2,...,yi,K]。
3.根据权利要求2所述的视频编解码中自适应环路滤波的方法,其特征在于,所述的对所述相似块矩阵进行奇异值分解,得到所述相似块矩阵的奇异值,包括:
对每个相似块矩阵进行奇异值分解得到每个相似块矩阵的奇异值;其中,Ui和Vi是两个单位正交方阵,是Vi的共轭转置矩阵,Λi是一个对角矩阵,对角线元素是相似块矩阵的奇异值,所述对角线元素写成向量si
4.根据权利要求3所述的视频编解码中自适应环路滤波的方法,其特征在于,所述的计算出所述重构视频图像的标准差,包括:
计算出图像块组中图像块像素的标准差σy,i,根据图像块组中图像块像素的标准差计算出图像块组中压缩噪声的标准差σn,i
σn,i=a(σy,i)b
其中,σy,i是重构视频图像内第i个图像块组中图像块像素的标准差,σn,i是重构视频图像内第i个图像块组中压缩噪声的标准差,参数a和b通过离线训练方式得到,σy,i根据如下公式计算得到;
σ y , i = 1 KN 2 Σ v = 0 N 2 Σ u = 0 K - 1 ( Y i ( u , v ) - μ i ) 2 · μ i - 1 KN z Σ v = 0 N 2 Σ u = 0 K - 1 Y i ( u , v )
计算出所述重构视频图像的标准差σx,k,i
σ x , k , i = max ( λ y , k , i 2 H i · σ n , i 2 , 0 )
其中,λy,k,i为第i个相似块矩阵Yi的第k个奇异值,Hi是第i个相似块矩阵Yi的最小维度,σn,i是第i个图像块组中压缩噪声的标准差,σx,k,i为第i个相似图像块组对应的第i个相似块矩阵Yi的重构视频图像在奇异值分解空间的第k维的标准差。
5.根据权利要求4所述的视频编解码中自适应环路滤波的方法,其特征在于,所述的根据所述重构视频图像的标准差、编码模式和量化参数确定所述相似块矩阵的收缩滤波阈值,利用所述收缩滤波阈值对所述相似块矩阵的奇异值进行收缩滤波,包括:
图像块组的收缩滤波的阈值的计算公式如下:
τ i , k = cσ n , i 2 σ x , k , i ,
其中σx,k,i是第i个图像块组对应的无失真的重构视频图像在奇异值分解空间的第k维的标准差,c是一个和编码模式相关的常数,阈值τi,k是第i个图像块组的第k个奇异值的阈值;
按照所述第i个图像块组的收缩滤波的阈值,采用软阈值方法对于第i个图像块组对应的相似块矩阵的奇异值向量si中每个元素进行收缩计算;
λ′k=max(|λk|-τi,k,0)
其中λk是奇异值向量中第k个元素,λ′k是收缩后的奇异值,该公式计算将小于阈值的奇异值置零,同时将大于阈值的奇异值减去阈值;
将收缩后的奇异值放回到对角矩阵Λi中,得到一个对角线元素收缩后的矩阵利用所述矩阵重建奇异值矩阵中每个相似图像块的像素值,得到降噪后的相似块矩阵
其中上所示,Ui和Vi是两个单位正交方阵,是Vi的共轭转置矩阵,Λi是一个对角矩阵,对角线元素是相似块矩阵的奇异值,所述对角线元素写成向量si
6.根据权利要求5所述的视频编解码中自适应环路滤波的方法,其特征在于,所述的方法还包括:
当同一个图像块在不同的相似块组矩阵中产生多个估计值时,对同一个图像块的多个估计值采用加权平均的方式产生最终的滤波像素值,每个相似块组矩阵内像素权重的计算公式如下:
w i = 1 T max ( ( 1 - r i H i ) , 1 H i )
其中,wi是相似块组矩阵Yi的像素权重,T是归一化因子,Hi是相似块组矩阵Yi的最小维度,ri是相似块组矩阵Yi的秩。
7.根据权利要求1至6任一项所述的视频编解码中自适应环路滤波的方法,其特征在于,所述的方法还包括:
对于滤波后的视频图像的不同颜色通道的滤波开关进行设置,当仅设置帧级开关时,如果对当前颜色通道滤波后使得该颜色通道的失真减小,则将该颜色通道的帧级控制开关置为第一指定数值,该第一指定数值表示该颜色通道的编解码端采用滤波后的像素值作为输出像素值;如果对当前颜色通道滤波后使得该颜色通道的失真增大,将该颜色通道的帧级控制开关置为第二指定数值,该第二指定数值表示该颜色通道的编解码端采用滤波前的像素值作为输出像素值。
8.根据权利要求7所述的视频编解码中自适应环路滤波的方法,其特征在于,所述的方法还包括:
当对于滤波后的视频图像的不同颜色通道同时设置了区域控制开关和帧级开关时,先进行区域控制开关设置,如果对当前颜色通道滤波后使得该颜色通道中的最大编码单元的失真减小,则将该颜色通道中的最大编码单元的区域控制开关置为第一指定数值,该第一指定数值表示该颜色通道中的最大编码单元的编解码端采用滤波后的像素值作为输出像素值;如果对当前颜色通道滤波后使得该颜色通道中的最大编码单元的失真增大,将该颜色通道中的最大编码单元的区域控制开关置为第二指定数值,该第二指定数值表示该颜色通道中的最大编码单元的编解码端采用滤波前的像素值作为输出像素值;
再进行帧级开关的设置,如果当前帧中第c个颜色通道滤波的率失真代价小于0,将该当前帧的帧级滤波控制开关置为第一指定数值,该第一指定数值表示当前帧中第c个颜色通道的编解码端采用滤波后的像素值作为输出像素值,当前帧中最大颜色通道是否采用滤波后的像素值作为输出像素值根据当前帧中最大颜色通道的区域控制开关来决定;如果当前帧中第c个颜色通道滤波的率失真代价大于0,将该当前帧的帧级滤波控制开关置为第二指定数值,该第二指定数值表示当前帧中第c个颜色通道的编解码端采用滤波前的像素值作为输出像素值。
9.根据权利要求8所述的视频编解码中自适应环路滤波的方法,其特征在于,所述的方法还包括:
当前帧中第c个颜色通道滤波的率失真代价的计算公式如下,
J c = Σ i L δ ( i ) ( d c , i ′ - d c , i ) + λ c R c ,
其中,d′c,i表示滤波后第i个最大编码单元失真,dc,i表示滤波前第i个最大编码单元的失真,λc是第c个颜色通道的拉格朗日常数,Rc是实际编码第c个颜色通道的每个最大编码单元对应的滤波控制开关所消耗的码率,δ(i)是指示函数,和第i个最大编码单元的滤波控制开关具有相同的值。
CN201610147472.9A 2016-03-15 2016-03-15 视频编解码中自适应环路滤波的方法 Active CN105791877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610147472.9A CN105791877B (zh) 2016-03-15 2016-03-15 视频编解码中自适应环路滤波的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610147472.9A CN105791877B (zh) 2016-03-15 2016-03-15 视频编解码中自适应环路滤波的方法

Publications (2)

Publication Number Publication Date
CN105791877A true CN105791877A (zh) 2016-07-20
CN105791877B CN105791877B (zh) 2019-06-07

Family

ID=56392738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610147472.9A Active CN105791877B (zh) 2016-03-15 2016-03-15 视频编解码中自适应环路滤波的方法

Country Status (1)

Country Link
CN (1) CN105791877B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820083A (zh) * 2017-10-20 2018-03-20 大连大学 基于角点检测和非局部相似性的视频压缩感知重构算法
WO2018113696A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
WO2018224006A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Improved non-local adaptive loop filter processing
CN109565594A (zh) * 2016-08-02 2019-04-02 高通股份有限公司 基于几何变换的自适应环路滤波
CN109964482A (zh) * 2016-12-01 2019-07-02 高通股份有限公司 视频译码中的双边滤波器使用的指示
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
WO2019192071A1 (zh) * 2018-04-02 2019-10-10 北京大学 用于视频处理的方法和设备
CN110383331A (zh) * 2017-03-16 2019-10-25 联发科技股份有限公司 非局部适应性环路滤波器处理
WO2020177134A1 (zh) * 2019-03-07 2020-09-10 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
CN111742552A (zh) * 2019-06-25 2020-10-02 北京大学 环路滤波的方法与装置
CN113132738A (zh) * 2019-12-31 2021-07-16 四川大学 一种结合空时域噪声建模的hevc环路滤波优化方法
WO2021196822A1 (zh) * 2020-03-31 2021-10-07 电子科技大学 一种基于自适应自导向滤波的环路滤波方法
WO2024012167A1 (en) * 2022-07-15 2024-01-18 Mediatek Inc. Method and apparatus for adaptive loop filter with non-local or high degree taps for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448159A (zh) * 2009-01-08 2009-06-03 北京航空航天大学 一种基于率失真代价和模式频率的快速帧间模式选择方法
EP2466890A2 (en) * 2009-08-14 2012-06-20 Samsung Electronics Co., Ltd. Video coding and decoding methods and video coding and decoding devices using adaptive loop filtering
CN104735450A (zh) * 2015-02-26 2015-06-24 北京大学 一种在视频编解码中进行自适应环路滤波的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448159A (zh) * 2009-01-08 2009-06-03 北京航空航天大学 一种基于率失真代价和模式频率的快速帧间模式选择方法
EP2466890A2 (en) * 2009-08-14 2012-06-20 Samsung Electronics Co., Ltd. Video coding and decoding methods and video coding and decoding devices using adaptive loop filtering
CN104735450A (zh) * 2015-02-26 2015-06-24 北京大学 一种在视频编解码中进行自适应环路滤波的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《2015 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》 *
《光电子•激光》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109565594A (zh) * 2016-08-02 2019-04-02 高通股份有限公司 基于几何变换的自适应环路滤波
CN109565594B (zh) * 2016-08-02 2022-03-29 高通股份有限公司 基于几何变换的自适应环路滤波的视频编解码方法及装置
US11095922B2 (en) 2016-08-02 2021-08-17 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
CN109964482A (zh) * 2016-12-01 2019-07-02 高通股份有限公司 视频译码中的双边滤波器使用的指示
CN109964482B (zh) * 2016-12-01 2021-07-02 高通股份有限公司 视频译码中指示双边滤波器使用的方法
WO2018113696A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
TWI677239B (zh) * 2016-12-22 2019-11-11 聯發科技股份有限公司 結合多個去雜訊化技術及並行分組圖像補塊的非局部適應性環路濾波器
CN110383331B (zh) * 2017-03-16 2023-08-18 联发科技股份有限公司 非局部适应性环路滤波器处理
CN110383331A (zh) * 2017-03-16 2019-10-25 联发科技股份有限公司 非局部适应性环路滤波器处理
WO2018224006A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Improved non-local adaptive loop filter processing
CN107820083B (zh) * 2017-10-20 2019-11-15 大连大学 基于角点检测和非局部相似性的视频压缩感知重构方法
CN107820083A (zh) * 2017-10-20 2018-03-20 大连大学 基于角点检测和非局部相似性的视频压缩感知重构算法
WO2019191892A1 (zh) * 2018-04-02 2019-10-10 北京大学 用于视频编解码的方法和设备
CN110383837A (zh) * 2018-04-02 2019-10-25 北京大学 用于视频处理的方法和设备
CN110352599A (zh) * 2018-04-02 2019-10-18 北京大学 用于视频处理的方法和设备
CN110383837B (zh) * 2018-04-02 2021-10-22 北京大学 用于视频处理的方法和设备
WO2019192071A1 (zh) * 2018-04-02 2019-10-10 北京大学 用于视频处理的方法和设备
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
US11394966B2 (en) * 2018-04-02 2022-07-19 SZ DJI Technology Co., Ltd. Video encoding and decoding method and apparatus
US11627342B2 (en) 2019-03-07 2023-04-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Loop filtering implementation method and apparatus, and computer storage medium
WO2020177134A1 (zh) * 2019-03-07 2020-09-10 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
CN111742552A (zh) * 2019-06-25 2020-10-02 北京大学 环路滤波的方法与装置
CN111742552B (zh) * 2019-06-25 2021-08-31 北京大学 环路滤波的方法与装置
CN113132738A (zh) * 2019-12-31 2021-07-16 四川大学 一种结合空时域噪声建模的hevc环路滤波优化方法
WO2021196822A1 (zh) * 2020-03-31 2021-10-07 电子科技大学 一种基于自适应自导向滤波的环路滤波方法
US11388444B2 (en) 2020-03-31 2022-07-12 University Of Electronic Science And Technology Of China Loop filtering method based on adaptive self-guided filtering
WO2024012167A1 (en) * 2022-07-15 2024-01-18 Mediatek Inc. Method and apparatus for adaptive loop filter with non-local or high degree taps for video coding

Also Published As

Publication number Publication date
CN105791877B (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN105791877A (zh) 视频编解码中自适应环路滤波的方法
Zhang et al. Low-rank-based nonlocal adaptive loop filter for high-efficiency video compression
CN105049850B (zh) 基于感兴趣区域的hevc码率控制方法
Wang et al. Neural network based inter prediction for HEVC
EP1773071A2 (en) Method of and apparatus for lossless video encoding and decoding
CN105763881A (zh) 利用图像非局部结构相似性特征的视频编码图像滤波方法
WO2008004768A1 (en) Image encoding/decoding method and apparatus
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
US20080151999A1 (en) Bypass using sum of absolute transformed differences value (SATD) in a video coding process
CN109889852B (zh) 一种基于邻近值的hevc帧内编码优化方法
EP3993425A1 (en) Loop filtering method and device
CN114915789B (zh) 一种帧间的拉格朗日乘子优化方法、系统、设备及介质
EP4331231A1 (en) Network based image filtering for video coding
Jia et al. Residual guided deblocking with deep learning
EP4245030A1 (en) Network based image filtering for video coding
CN110100437A (zh) 用于有损视频编码的混合域协作环路滤波器
Lee et al. CNN-based approach for visual quality improvement on HEVC
US8442338B2 (en) Visually optimized quantization
Meyer et al. A novel cross-component context model for end-to-end wavelet image coding
Yuan et al. Block-based learned image coding with convolutional autoencoder and intra-prediction aided entropy coding
CN115914654A (zh) 一种用于视频编码的神经网络环路滤波方法及装置
CN112954350B (zh) 一种基于帧分类的视频后处理优化方法及装置
Brand et al. P-frame coding with generalized difference: A novel conditional coding approach
CN111263158A (zh) 一种基于空间相关度的多变换核快速处理方法
CN114554213B (zh) 一种运动自适应和关注细节的压缩视频质量增强方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant