CN105763881A - 利用图像非局部结构相似性特征的视频编码图像滤波方法 - Google Patents

利用图像非局部结构相似性特征的视频编码图像滤波方法 Download PDF

Info

Publication number
CN105763881A
CN105763881A CN201610098989.3A CN201610098989A CN105763881A CN 105763881 A CN105763881 A CN 105763881A CN 201610098989 A CN201610098989 A CN 201610098989A CN 105763881 A CN105763881 A CN 105763881A
Authority
CN
China
Prior art keywords
filtering
coded pictures
block
video coded
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610098989.3A
Other languages
English (en)
Inventor
马思伟
贾川民
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201610098989.3A priority Critical patent/CN105763881A/zh
Publication of CN105763881A publication Critical patent/CN105763881A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种利用图像非局部结构相似性特征的视频编码图像滤波方法。该方法主要包括:在视频编码框架中,将原始的视频编码图像帧划分为若干重叠的块In×n,对每个块In×n按照设定的搜索半径进行相似块搜索,将搜索到的相似块构建成群组G;对群组G进行奇异值分解得到奇异值对角矩阵Σ,根据自适应滤波阈值对奇异值对角矩阵Σ进行硬阈值滤波操作,得到经过滤波的结构相似组G’,根据原始的视频编码图像帧中的所有像素对应的重构值进行帧重构,得到经过滤波的视频编码图像帧。本发明的方法可以根据离线训练的参数确定自适应选择滤波阈值,进行滤波操作之后进行均匀重构,从而达到更好的主观和客观质量,从而达到提升编码性能的目的。

Description

利用图像非局部结构相似性特征的视频编码图像滤波方法
技术领域
本发明涉及图像编码滤波技术领域,尤其涉及一种利用图像非局部结构相似性特征的视频编码图像滤波方法。
背景技术
随着视频压缩效率的不断提升,对于视频编码框架中高效滤波算法的性能要求也越来越高。在新一代视频编码标准HEVC(HighEfficiencyVideoCoding,高效率视频码流)当中,采用了去块效应滤波(DF)和样本补偿滤波(SAO)。不仅从主观质量上得到提升,更能通过滤波弥补量化过程中引入的失真从而达到降低码率,提升视频编码性能的目的。因此,高效的环路滤波算法成为视频编码框架中重要的一环。
在高效视频编码标准HEVC当中,采用了去块效应滤波和样本补偿滤波的方法。去块效应滤波主要可以提升压缩视频的主观质量,通过平滑处理编码单元的块边界附近的像素使得整体的图像质量更均衡。样本补偿滤波通过对每个像素增加偏移值以达到去除部分量化噪声的目的。在标准的制定过程中还出现过自适应环路滤波算法,不过由于复杂度而没有被最终采纳进入标准。
目前,还没有一种基于非局部结构相似性的图像稀疏表示算法。
发明内容
本发明的实施例提供了一种利用图像非局部结构相似性特征的视频编码图像滤波方法,以实现对视频编码图像进行有效的滤波。
为了实现上述目的,本发明采取了如下技术方案。
一种利用图像非局部结构相似性特征的视频编码图像滤波方法,包括:
将去块滤波之后的原始的视频编码图像帧划分为若干重叠的块In×n,对每个块In×n按照设定的搜索半径进行相似块搜索,将搜索到的设定数量的相似块经过列向量化操作后构建成群组G;
对所述群组G进行奇异值分解得到奇异值对角矩阵Σ,根据离线训练得到的自适应滤波阈值对奇异值对角矩阵Σ进行硬阈值滤波操作,得到经过滤波的结构相似组G’;
针对原始的视频编码图像帧中的某个像素,将包含所述某个像素的所有块In×n对应的结构相似组G’中对应的像素值求平均值,根据原始的视频编码图像帧中的所有像素对应的平均值进行帧重构,得到重构后的经过滤波的视频编码图像帧。
进一步地,所述的将去块滤波之后的原始的视频编码图像帧划分为若干重叠的块In×n,对每个块In×n按照设定的搜索半径进行相似块搜索,将搜索到的设定数量的相似块构建成群组G,包括:
将去块滤波之后的视频编码图像帧进行保存,记作FDF,再将FDF的另一份拷贝图像划分为若干重叠的块In×n,每个块的大小都相同,包含n×n个像素,每个块的亮度分量和色度分量也相同。
针对图像的每一个In×n块,以In×n块左上角元素c为中心,距c上下左右各设定像素的正方形区域内进行相似块匹配搜索,每个相似块也包含n×n个像素,计算当前In×n块内所有像素值与相似块中对应的所有像素值的绝对误差和SAE;
S A E = Σ i = 1 n Σ j = 1 n | | p i j - q i j | |
pij为当前In×n块中的像素,qij为相似块中的像素。
将所有相似块的SAE按照升序排序,并且取出SAE最小的前m个相似块,将所述m个相似块进行列向量化处理后,构建成群组G。
进一步地,其特征在于,所述的对所述群组G进行奇异值分解得到奇异值对角矩阵Σ,根据训练得到的自适应滤波阈值对奇异值对角矩阵Σ进行硬阈值滤波操作,得到经过滤波的结构相似组G’,包括:
对所述群组G进行奇异值分解,奇异值分解的计算公式为:
G=UΣVT
得到左右奇异矩阵U和V,以及奇异值对角矩阵Σ;
根据训练得到的自适应滤波阈值对奇异值对角矩阵Σ进行硬阈值滤波操作,硬阈值滤波操作的计算公式为:
σΣ=hard(YΣ,τ)
YΣ为计算得到奇异值对角矩阵G的奇异值,τ为自适应选择的硬阈值,如果计算得到的奇异值大于自适应选择的硬阈值τ,则保留该奇异值,否则就将该奇异值置零;
将所述硬阈值滤波后得到的奇异值对角矩阵Σ‘与所述左右奇异矩阵U和V进行矩阵乘法操作,得到经过滤波的结构相似组G’:
G‘=UΣ’VT
进一步地,所述的自适应选择的硬阈值τ的计算公式为:
τ = ( n + m ) * ( α * Q S t e p + β )
n为块的大小,m为群组G中的相似块个数,量化参数QP为设定的数值,Qstep是视频编码标准中与量化参数QP直接相关的量化步长:
Q S t e p = 2 ( Q P - 4 ) 6
α和β是离线训练得到的参数,在不同的编码配置下取值不同。
进一步地,所述的针对原始的视频编码图像帧中的某个像素,将包含所述某个像素的所有块In×n对应的结构相似组G’中对应的像素值求平均值,根据原始的视频编码图像帧中的所有像素对应的平均值进行帧重构,得到重构后的经过滤波的视频编码图像帧,包括:
计算出所述原始的视频编码图像帧中每个块对应的结构相似组G’,针对原始的视频编码图像帧中的某个像素,获取包含所述某个像素的所有块In×n,设包含所述某个像素的所有块In×n的总数为weight,将包含所述某个像素的每个块In×n对应的结构相似组G’中所述某个像素对应的像素值进行求和,得到数值Σpix,计算出所述某个像素对应的重构值pixel:
pixel=Σpix/weight
根据所述原始的视频编码图像帧中的每个像素对应的重构值进行视频编码图像帧重构,得到重构后的视频编码图像帧,将所述重构后的视频编码图像帧作为所述原始的视频编码图像帧滤波后的视频编码图像帧并用于后续编码中。
进一步地,所述的方法应用于视频编码框架中的环路滤波位置,在去块滤波之后、样本补偿滤波之前执行。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例提出了一种新的视频编码环路滤波方法,在视频编码框架中,在环路滤波位置(例如去块滤波之后)处理当前图像。该方法充分利用图像的非局部相似性结构,构建相似结构组,并根据离线训练的参数确定自适应选择滤波阈值,进行滤波操作之后进行均匀重构,从而达到更好的主观和客观质量,该滤波方法能够保留更多的边缘细节信息,可以根据图像的内容结构特点动态的调整每一个结构组滤波的阈值,自适应的对每一帧内容进行调整滤波,不仅提升了主观视觉质量,同时也因为客观质量的提高为后续编码过程提供了更优质的预测信息,从主观和客观两方面都提升了编码性能。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种利用图像非局部结构相似性特征的视频编码图像滤波方法的处理流程图;
图2为本发明实施例的结构相似组滤波算法中离线训练得到的滤波参数α和β的取值示意图的选择示意图;
图3为本发明实施例的结构相似组滤波算法与高效视频编码HEVC参考软件(HEVC参考软件版本为HM12.0)的RD性能比较图,图3.a:关闭自适应环路滤波(ALF),图3.b:打开自适应环路滤波(ALF)。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
本发明实施例提出了一种新的视频编码框架环路滤波算法。该算法可应用于视频编码框架中的环路滤波位置(本说明说以去块滤波之后、样本补偿滤波之前为例,在环路滤波的其他位置也可以用本算法处理)。该方法通过探索图像本身的非局部结构相似性,以绝对误差和为度量进行相似块匹配搜索,筛选出具有非局部相似性的块构建相似结构组,通过对相似结构组进行自适应滤波从而取得视频图像更好的主观和客观质量,本发明实施例提出的自适应滤波阈值的选择方法可以根据图像的内容结构特点动态的调整每一个结构组滤波的阈值,从而达到更好的效果。
本发明实施例提供的一种利用图像非局部结构相似性特征的视频编码图像滤波方法的具体处理流程如图1所示,包括如下的处理步骤:
步骤S110、将去块滤波之后的原始的视频编码图像帧划分为若干重叠的块,对每个块按照设定的搜索半径进行相似块搜索,计算当前块内所有像素值与相似块中对应的所有像素值的绝对误差和。上述搜索半径可以根据用户自行调整。
将去块滤波之后的视频编码图像帧进行保存,记作FDF。再将FDF的另一份拷贝图像划分为若干重叠的块In×n,每个块的大小都相同,包含n×n个像素,每个块的亮度分量和色度分量也相同。
针对图像的每一个In×n块,以In×n块左上角元素c为中心,距c上下左右各p个像素的正方形区域内进行相似块匹配搜索,每个相似块也包含n×n个像素,计算当前In×n块内所有像素值与相似块中对应的所有像素值的SAE(sumofabsolutedifferences,绝对误差和)
S A E = Σ i = 1 n Σ j = 1 n | | p i j - q i j | | 公式1
pij为当前In×n块中的像素,qij为相似块中的像素。
步骤S120、将所有相似块的SAE按照升序排序,并且取出SAE最小的前m个相似块,将这m个相似块进行列向量化处理后,构建成群组G。
步骤S130、对群组G按照公式(2)进行奇异值分解,奇异值分解的计算公式为:
G=UΣVT公式2
得到左右奇异矩阵U和V,以及奇异值对角矩阵Σ。
根据训练得到的自适应滤波阈值对奇异值对角矩阵Σ进行硬阈值滤波操作,硬阈值τ的计算公式为:
τ = ( n + m ) * ( α * Q S t e p + β ) 公式3
n为块的大小,m为群组G中的相似块个数,量化参数QP为设定的数值,在编码配置文件中已指定好。Qstep是视频编码标准中与量化参数QP直接相关的量化步长:
Q S t e p = 2 ( Q P - 4 ) 6
α和β是离线训练得到的滤波参数,在不同的编码配置下取值不同(帧间编码和帧内编码取值不同),图2为本发明实施例提供的一种结构相似组滤波算法中滤波参数α和β的取值示意图,其中三种编码配置为:AI:帧内编码,LDB:低延时B帧编码,RA:随机访问点。
对得到的奇异值对角矩阵Σ按照公式4进行硬阈值滤波:
σΣ=hard(YΣ,τ)公式4
公式(4)中的YΣ为公式(2)计算得到奇异值对角矩阵Σ的奇异值,τ为自适应选择的硬阈值。如果计算得到的奇异值大于自适应选择的硬阈值τ,则保留该奇异值,否则就将该奇异值置零。奇异值对角矩阵Σ经过硬阈值滤波后得到奇异值对角矩阵Σ‘。
步骤S140、将上述滤波后得到的奇异值对角矩阵Σ‘与上述奇异值分解得到的左右奇异矩阵U和V进行矩阵乘法操作,得到经过滤波的结构相似组G’:
G‘=UΣ’VT
结构相似组G’的大小和结构形式都和原始的视频编码图像帧相同。
步骤S150、针对原始的视频编码图像帧中的某个像素,将包含所述某个像素的所有块In×n对应的结构相似组G’中对应的像素值求平均值,该平均值即为重构值,根据原始的视频编码图像帧中的所有像素对应的重构值进行帧重构,得到重构后的经过滤波的视频编码图像帧。
将结构相似组G’中m个n×n块的像素值都保存在和上述视频编码图像帧的大小匹配的两个缓冲区中。对上述视频编码图像帧中所有的块进行上述步骤S110到步骤S150的操作。
由于原始的视频编码图像帧被划分为了多个重叠的块I,因此原始的视频编码图像帧中每个像素都会被多次处理。缓冲区一(缓冲区一的大小与图像大小相同且均初始化为零)逐个累加的保存每个元素每次经过硬阈值滤波操作处理后的像素值(pix),缓冲区二中对应保存当前像素被处理的次数(weight)。
原始的视频编码图像帧中每个像素最终经过滤波后的值,即重构值为上述缓冲区一的值除以缓冲区二的值:
pixel=∑pix/weight
比如,原始的视频编码图像帧中的像素1,在块I1对应的结构相似组G’中的像素值为D1,在块I2对应的结构相似组G’中的像素值为D2,在块I3对应的结构相似组G’中的像素值为D3,在块I6对应的结构相似组G’中的像素值为D6,则缓冲区一中保存的原始的视频编码图像帧中的像素1对应的值为:D1+D2+D3+D6。则缓冲区一中保存的原始的视频编码图像帧中的像素1对应的值为4
原始的视频编码图像帧中像素1最终经过滤波后的值为:
p i x e l = D 1 + D 2 + D 3 + D 6 4
步骤S160、直到视频编码图像帧中的所有的块都处理完毕,即整个视频编码图像帧处理完毕,根据上述缓冲区一中保存的原始的视频编码图像帧中的每个像素对应的值,进行视频编码图像帧重构,得到重构后的视频编码图像帧FNLSF,将上述重构后的视频编码图像帧作为所述原始的视频编码图像帧滤波后的视频编码图像帧FNLSF,用于后续编码过程。
在编码端计算FDF和FNLSF的峰值信噪比(PSNR),并发送标志位到解码端,解码端根据标志位选择是否采用本方法提出的非局部滤波方式。
利用本发明在实际视频编码框架中进行了测试。首先针对原始图像进行了测试,图3为本发明实施例提供的一种本发明的算法与高效视频编码HEVC参考软件(参考软件平台版本为HM12.0)的RD性能比较图,其中,图3.a:关闭自适应环路滤波,图3.b:打开自适应环路滤波。表1中显示了本发明的算法与其他新一代视频编码标准HEVC的RD性能对比结果。编码的配置为帧内编码(AI),低延时编码(LDB)以及随机访问编码(RA),所有的测试序列为新一代视频编码标准的通用测试序列,分辨率从1920x1080一直到416x240,测试帧数为100帧。其中量化参数QP设置为22,27,32,37。目前该算法的在不同模式的下的编解码复杂度在表1中列出。
表1.各模式下的编解码复杂度
模式:AI:帧内编码,LDB:低延时B帧编码,RA:随机访问点。
综上所述,本发明实施例提出了一种新的视频编码环路滤波方法,算法作用的位置在视频编码框架中的环路滤波处(本说明说以去块滤波之后样本补偿滤波之前为例,在环路滤波的其他位置也可以用本方法)。该方法充分利用图像的非局部相似性结构,构建相似结构组,并根据离线训练的参数确定自适应选择滤波阈值,进行滤波操作之后进行均匀重构,从而达到更好的主观和客观质量,该滤波方法能够保留更多的边缘与非局部细节信息,在滤波去除量化噪声的同时可避免模糊效应,从主观和客观两个方面得到编码性能提升。同时,本方法可以根据图像的内容结构特点动态的调整每一个结构组滤波的阈值,自适应阈值的好处在于避免了对所有图像的均匀一致处理,可以更大程度的保留图像本身的细节,抑制编码过程中引入的块效应以及其他效应,从而为后续编码中提供了更优质的预测信息。
实验结果表明本发明实施例的方法能够显著提高主客观性,可以有效地应用在实际视频压缩框架当中。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种利用图像非局部结构相似性特征的视频编码图像滤波方法,其特征在于,包括:
将去块滤波之后的原始的视频编码图像帧划分为若干重叠的块In×n,对每个块In×n按照设定的搜索半径进行相似块搜索,将搜索到的设定数量的相似块经过列向量化操作后构建成群组G;
对所述群组G进行奇异值分解得到奇异值对角矩阵Σ,根据离线训练得到的自适应滤波阈值对奇异值对角矩阵Σ进行硬阈值滤波操作,得到经过滤波的结构相似组G’;
针对原始的视频编码图像帧中的某个像素,将包含所述某个像素的所有块In×n对应的结构相似组G’中对应的像素值求平均值,根据原始的视频编码图像帧中的所有像素对应的平均值进行帧重构,得到重构后的经过滤波的视频编码图像帧。
2.根据权利要求1所述的利用图像非局部结构相似性特征的视频编码图像滤波方法,其特征在于,所述的将去块滤波之后的原始的视频编码图像帧划分为若干重叠的块In×n,对每个块In×n按照设定的搜索半径进行相似块搜索,将搜索到的设定数量的相似块构建成群组G,包括:
将去块滤波之后的视频编码图像帧进行保存,记作FDF,再将FDF的另一份拷贝图像划分为若干重叠的块In×n,每个块的大小都相同,包含n×n个像素,每个块的亮度分量和色度分量也相同。
针对图像的每一个In×n块,以In×n块左上角元素c为中心,距c上下左右各设定像素的正方形区域内进行相似块匹配搜索,每个相似块也包含n×n个像素,计算当前In×n块内所有像素值与相似块中对应的所有像素值的绝对误差和SAE;
S A E = Σ i = 1 n Σ j = 1 n | | p i j - q i j | |
pij为当前In×n块中的像素,qij为相似块中的像素。
将所有相似块的SAE按照升序排序,并且取出SAE最小的前m个相似块,将所述m个相似块进行列向量化处理后,构建成群组G。
3.根据权利要求2所述的利用图像非局部结构相似性特征的视频编码图像滤波方法,其特征在于,所述的对所述群组G进行奇异值分解得到奇异值对角矩阵Σ,根据训练得到的自适应滤波阈值对奇异值对角矩阵Σ进行硬阈值滤波操作,得到经过滤波的结构相似组G’,包括:
对所述群组G进行奇异值分解,奇异值分解的计算公式为:
G=UΣVT
得到左右奇异矩阵U和V,以及奇异值对角矩阵Σ;
根据训练得到的自适应滤波阈值对奇异值对角矩阵Σ进行硬阈值滤波操作,硬阈值滤波操作的计算公式为:
σΣ=hard(YΣ,τ)
YΣ为计算得到奇异值对角矩阵G的奇异值,τ为自适应选择的硬阈值,如果计算得到的奇异值大于自适应选择的硬阈值τ,则保留该奇异值,否则就将该奇异值置零;
将所述硬阈值滤波后得到的奇异值对角矩阵Σ‘与所述左右奇异矩阵U和V进行矩阵乘法操作,得到经过滤波的结构相似组G’:
G‘=UΣ’VT
4.根据权利要求3所述的利用图像非局部结构相似性特征的视频编码图像滤波方法,其特征在于,所述的自适应选择的硬阈值τ的计算公式为:
τ = ( n + m ) * ( α * Q S t e p + β )
n为块的大小,m为群组G中的相似块个数,量化参数QP为设定的数值,Qstep是视频编码标准中与量化参数QP直接相关的量化步长:
Q S t e p = 2 ( Q P - 4 ) 6
α和β是离线训练得到的参数,在不同的编码配置下取值不同。
5.根据权利要求3或者4所述的利用图像非局部结构相似性特征的视频编码图像滤波方法,其特征在于,所述的针对原始的视频编码图像帧中的某个像素,将包含所述某个像素的所有块In×n对应的结构相似组G’中对应的像素值求平均值,根据原始的视频编码图像帧中的所有像素对应的平均值进行帧重构,得到重构后的经过滤波的视频编码图像帧,包括:
计算出所述原始的视频编码图像帧中每个块对应的结构相似组G’,针对原始的视频编码图像帧中的某个像素,获取包含所述某个像素的所有块In×n,设包含所述某个像素的所有块In×n的总数为weight,将包含所述某个像素的每个块In×n对应的结构相似组G’中所述某个像素对应的像素值进行求和,得到数值Σpix,计算出所述某个像素对应的重构值pixel:
p i x e l = Σ p i x / w e i g h t
根据所述原始的视频编码图像帧中的每个像素对应的重构值进行视频编码图像帧重构,得到重构后的视频编码图像帧,将所述重构后的视频编码图像帧作为所述原始的视频编码图像帧滤波后的视频编码图像帧并用于后续编码中。
6.根据权利要求1所述的利用图像非局部结构相似性特征的视频编码图像滤波方法,其特征在于,所述的方法应用于视频编码框架中的环路滤波位置,在去块滤波之后、样本补偿滤波之前执行。
CN201610098989.3A 2016-02-23 2016-02-23 利用图像非局部结构相似性特征的视频编码图像滤波方法 Pending CN105763881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610098989.3A CN105763881A (zh) 2016-02-23 2016-02-23 利用图像非局部结构相似性特征的视频编码图像滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610098989.3A CN105763881A (zh) 2016-02-23 2016-02-23 利用图像非局部结构相似性特征的视频编码图像滤波方法

Publications (1)

Publication Number Publication Date
CN105763881A true CN105763881A (zh) 2016-07-13

Family

ID=56331094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610098989.3A Pending CN105763881A (zh) 2016-02-23 2016-02-23 利用图像非局部结构相似性特征的视频编码图像滤波方法

Country Status (1)

Country Link
CN (1) CN105763881A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018113696A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
CN108933942A (zh) * 2017-05-27 2018-12-04 浙江大学 一种压缩视频的滤波方法及针对压缩视频的滤波装置
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
CN110307855A (zh) * 2019-05-20 2019-10-08 特斯联(北京)科技有限公司 一种野外景区自助导航系统及其站点设备
WO2019192071A1 (zh) * 2018-04-02 2019-10-10 北京大学 用于视频处理的方法和设备
CN110337812A (zh) * 2018-04-02 2019-10-15 北京大学 环路滤波的方法、装置和计算机系统
CN110383331A (zh) * 2017-03-16 2019-10-25 联发科技股份有限公司 非局部适应性环路滤波器处理
CN112437344A (zh) * 2020-10-30 2021-03-02 福建星网视易信息系统有限公司 一种视频匹配方法及终端
CN112449198A (zh) * 2019-09-02 2021-03-05 珠海格力电器股份有限公司 视频编码方法、装置以及计算设备、存储介质
TWI733474B (zh) * 2020-03-23 2021-07-11 瑞昱半導體股份有限公司 用於針對影像進行搜尋的方法以及影像處理電路
CN115115553A (zh) * 2022-08-26 2022-09-27 华伦医疗用品(深圳)有限公司 一种内窥镜图像降噪处理方法、电子设备及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661611A (zh) * 2009-09-25 2010-03-03 西安电子科技大学 基于贝叶斯非局部均值滤波器的实现方法
CN103093434A (zh) * 2013-01-27 2013-05-08 西安电子科技大学 基于奇异值分解的非局部维纳滤波图像去噪方法
CN103473740A (zh) * 2013-08-31 2013-12-25 西安电子科技大学 基于稀疏表示和低秩双重约束的非局部去噪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661611A (zh) * 2009-09-25 2010-03-03 西安电子科技大学 基于贝叶斯非局部均值滤波器的实现方法
CN103093434A (zh) * 2013-01-27 2013-05-08 西安电子科技大学 基于奇异值分解的非局部维纳滤波图像去噪方法
CN103473740A (zh) * 2013-08-31 2013-12-25 西安电子科技大学 基于稀疏表示和低秩双重约束的非局部去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAN ZHANG; CHUANMIN JIA; SIWEI MA; WEN GAO: "Non-Local Structure-Based Filter for Video Coding", 《MULTIMEDIA (ISM), 2015 IEEE INTERNATIONAL SYMPOSIUM ON》 *
迈克尔J.弗林等: "《计算机系统设计:片上系统》", 30 June 2015 *
马思伟: "AVS视频编码标准技术回顾及最新进展", 《计算机研究与发展》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110036637A (zh) * 2016-12-22 2019-07-19 联发科技股份有限公司 结合多个去噪声化技术及并行分组图像补块的非局部适应性环路滤波器
CN110036637B (zh) * 2016-12-22 2022-06-14 联发科技股份有限公司 去噪声化已重构图像的方法及装置
WO2018113696A1 (en) * 2016-12-22 2018-06-28 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
CN110383331A (zh) * 2017-03-16 2019-10-25 联发科技股份有限公司 非局部适应性环路滤波器处理
CN110383331B (zh) * 2017-03-16 2023-08-18 联发科技股份有限公司 非局部适应性环路滤波器处理
CN108933942A (zh) * 2017-05-27 2018-12-04 浙江大学 一种压缩视频的滤波方法及针对压缩视频的滤波装置
CN108933942B (zh) * 2017-05-27 2020-10-30 浙江大学 一种压缩视频的滤波方法及针对压缩视频的滤波装置
CN110383837A (zh) * 2018-04-02 2019-10-25 北京大学 用于视频处理的方法和设备
CN110383837B (zh) * 2018-04-02 2021-10-22 北京大学 用于视频处理的方法和设备
CN110337812A (zh) * 2018-04-02 2019-10-15 北京大学 环路滤波的方法、装置和计算机系统
WO2019192071A1 (zh) * 2018-04-02 2019-10-10 北京大学 用于视频处理的方法和设备
CN110291791A (zh) * 2018-04-02 2019-09-27 北京大学 用于视频编解码的方法和设备
WO2019191892A1 (zh) * 2018-04-02 2019-10-10 北京大学 用于视频编解码的方法和设备
US11394966B2 (en) 2018-04-02 2022-07-19 SZ DJI Technology Co., Ltd. Video encoding and decoding method and apparatus
CN110352599A (zh) * 2018-04-02 2019-10-18 北京大学 用于视频处理的方法和设备
CN110307855A (zh) * 2019-05-20 2019-10-08 特斯联(北京)科技有限公司 一种野外景区自助导航系统及其站点设备
CN110307855B (zh) * 2019-05-20 2020-04-24 特斯联(北京)科技有限公司 一种野外景区自助导航系统及其站点设备
CN112449198A (zh) * 2019-09-02 2021-03-05 珠海格力电器股份有限公司 视频编码方法、装置以及计算设备、存储介质
CN112449198B (zh) * 2019-09-02 2023-09-29 珠海格力电器股份有限公司 视频编码方法、装置以及计算设备、存储介质
TWI733474B (zh) * 2020-03-23 2021-07-11 瑞昱半導體股份有限公司 用於針對影像進行搜尋的方法以及影像處理電路
CN112437344A (zh) * 2020-10-30 2021-03-02 福建星网视易信息系统有限公司 一种视频匹配方法及终端
CN112437344B (zh) * 2020-10-30 2023-02-28 福建星网视易信息系统有限公司 一种视频匹配方法及终端
CN115115553A (zh) * 2022-08-26 2022-09-27 华伦医疗用品(深圳)有限公司 一种内窥镜图像降噪处理方法、电子设备及系统

Similar Documents

Publication Publication Date Title
CN105763881A (zh) 利用图像非局部结构相似性特征的视频编码图像滤波方法
Ballé et al. End-to-end optimization of nonlinear transform codes for perceptual quality
Li et al. An efficient deep convolutional neural networks model for compressed image deblocking
Zhang et al. Low-rank-based nonlocal adaptive loop filter for high-efficiency video compression
US20210125310A1 (en) Image Distortion Correction Method and Device and Electronic Device
US10462459B2 (en) Non-local adaptive loop filter
CN111866521B (zh) 一种视频图像压缩伪影去除方法
CN108495135B (zh) 一种屏幕内容视频编码的快速编码方法
CN105791877A (zh) 视频编解码中自适应环路滤波的方法
JPH07131757A (ja) 画像処理装置
US9621884B2 (en) Method and apparatus for estimating a quantization table for a video image
CN111105357B (zh) 一种失真图像的去失真方法、装置及电子设备
Chen et al. In-loop filter with dense residual convolutional neural network for VVC
CN110610467A (zh) 一种基于深度学习的多帧视频去压缩噪声方法
Jia et al. Residual guided deblocking with deep learning
Xu et al. Dense inception attention neural network for in-loop filter
Lee et al. CNN-based approach for visual quality improvement on HEVC
Lin et al. Deep multi-scale residual learning-based blocking artifacts reduction for compressed images
Bouaafia et al. VVC In‐Loop Filtering Based on Deep Convolutional Neural Network
KR101998036B1 (ko) 왜곡 제거 방법 및 장치
CN114173130B (zh) 一种适用于低码率条件的深度神经网络的环路滤波方法
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
CN105141967A (zh) 基于恰可觉察失真模型的快速自适应环路滤波算法
Qi et al. CNN-Based Post-Processing Filter for Video Compression with Multi-Scale Feature Representation
Wang et al. Neural network based in-loop filter with constrained memory

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160713

RJ01 Rejection of invention patent application after publication